引起原因： spring4.x中原请求servlet-mapping为/ 拦截所有请求 需要修改为*.html,需使用spring4.x 重现： 原本是直接修改servlet-mapping /改位*.html 结果：修改为*.html过后 请求无法正常发挥Json,一直报错htpp 406 无法接受的请求头 寻找问题并解决过程： 发现spring-servlet.xml的xsi原始指向位spring3.x 果断修改为4.x 后来干脆直接删掉后缀，如下：
使用VirtualBox时，发现一个分区大小不够用，使用resize扩容，提示失败。 D:\VirtualBox>VBoxManage modifyhd "D:\vx\docker1\docker1.vdi" --resize 15480 0%... Progress state: VBOX_E_NOT_SUPPORTED VBoxManage.exe: error: Failed to resize medium VBoxManage.exe: error: Resizing to new size 16231956480 is not yet supported for medium 'D:\vx\docker1\docker1.vdi' VBoxManage.exe: error: D...阅读全文
一、错误背景： 在java程序中加入了spring的成分，然后使用mvn clean package -Dmaven.test.skip=true进行打包，打包完毕后通过java -jar xx.jar执行程序，结果就报错了。更加详细的错误见如下： [QC] WARN [main] org.springframework.context.support.AbstractApplicationContext.refresh(546) | Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.parsing.BeanDe...阅读全文
简介 Mybatis Generator (MBG) 是 Mybatis 官方提供的代码生成器，通过它可以在项目中自动生成简单的 CRUD 方法，甚至“无所不能”的高级条件查询（MyBatis3DynamicSql，有了它根本不需要 Mybatis Plus），让我们避免了进行数据库交互时需要手动创建对象和配置 Mybatis 映射等基础工作。 另外，MBG 有很好地扩展性，它提供了大量的接口和插件用来给我们自定义生成的代码应该是什么样子，例如我们可以自定义注释、代码格式化、添加 toString 方法等。本文将讲解如何使用这些接口。 本文内容大致如下，由于篇幅较长，可选择阅读： 如何使用 MBG 生成代码； 详解 MBG 的配置，将配置使用自定义注释生成器、实体类中添加 toString/...阅读全文
I've a small Spring project, that I've booted up with roo 1.2.2 I can run the main class just fine within Eclipse Juno. However when I try to run the JAR file built with mvn package, I get the following error: Exception in thread "main" org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unable to locate...阅读全文
不管是传统数据库或者基于sql的分布式大数据分析工具，基本原理都是把一个sql转换成sql语法树(AST)，通过对语法树的分析转换成执行计划。传统数据库会根据执行计划通过执行引擎并返回结果；而大数据sql分析工具，由于针对更大数据量而生，为了更好的扩展性、容错性和高可用，会把执行计划分成逻辑执行计划和物理执行计划，并且根据查询sql的特点切分逻辑计划，这样可以把分块的逻辑计划分配到更具扩展性的并行节点，最后根据逻辑执行计划转成物理执行计划进行查询。 本文档以当前流行的分布式大数据查询引擎Presto为切入点，分析一个query语句怎么生成为一个分段的逻辑计划。下图是当前流行大数据sql查询引擎(包括hive/sparksql)，生成逻辑计划的过程：SQL引擎生成逻辑计划 从图中可以看到，当用...阅读全文
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，然后对每个key对应的元素集合进行操作 1.1 准备数据 1.2 spark分组操作处理数据 下面的操作以groupBy算子为例，分组后，输出结果数据，观察结果数据结构 def main(args: Array[String])...阅读全文
2012年创建的字节跳动，短短几年时间发展到估值接近千亿美元的互联网大鳄，拥有今日头条、抖音、西瓜视频等多个爆品app，除了搭上了移动互联网的春风，其企业自身的核心竞争力也得到了极大的体现。因此，对其核心竞争力进行一定的分析，抓住对自身团队有益的核心逻辑，予以学习和实践就变得很有价值了。文本首先从组织的角度分析字节跳动公司核心竞争力的来源，之后结合自身团队总结出适合落地的方法论，最后从个体的角度阐释一下具有竞争力的特质。 : 处理输入数据和Channel...阅读全文
This documentation ONLY refers to using the jetty-maven-plugin with Jetty 7.x or Jetty 8.x which are both EOL. All development and stable releases are being performed with Jetty 9, 10 and 11. Direct links to documentation: Jetty 9.x: https://www.eclipse.org/jetty/documentation/jetty-9/index.html#jetty-maven-plugin Jetty 10.x: https://www.eclipse.or...阅读全文
目录 使用情景 将定时任务录入数据库（这样做的好处是定时任务可视化，也可以动态修改各个任务的执行时间），通过反射执行对应的方法； 配合Netty实现简单的HTTP请求处理框架 其他需要使用反射执行Spring方法的业务亦可 目的 很多文章都提到了反射，但是对于方法参数处理这一块都是明确了类型，不支持按照实际参数动态转换，而本篇文章提供了一个思路怎么做到方法参数的动态调用。 大家也可以通过利用本文的方法结合自己的业务场景写出复用性更高、可扩展性更好的代码。欢迎各位指出文章中的错误，如果有更好的思路可以在下方评论，我们一起讨论。 欢迎转发，请注明出处。 实现方式 前提: 明确清楚需要执行的类和方法。 思路 通过Spring容器获取需要执行的类，注意：从spring容器中获取的类可能是被JDK或C...阅读全文
LDAP入门LDAP入门 首先要先理解什么是LDAP，当时我看了很多解释，也是云里雾里，弄不清楚。在这里给大家稍微捋一捋。 首先LDAP是一种通讯协议，LDAP支持TCP/IP。协议就是标准，并且是抽象的。在这套标准下，AD（Active Directory）是微软出的一套实现。 那AD是什么呢？暂且把它理解成是个数据库。也有很多人直接把LDAP说成数据库(可以把LDAP理解成存储数据的数据库)。像是其他数据库一样，LDAP也是有client端和server端。server端是用来存放资源，client端用来操作增删改查等操作。 而我们通常说的LDAP是指运行这个数据库的服务器。 可以简单理解AD =LDAP服务器＋LDAP应用。 那LDAP这种数据库有什么特殊的呢？ 我们知道，像MySQL...阅读全文
@Around是一种建议类型，可确保方法执行前后的通知可以运行。 以下是@Around通知的语法： 语法 @Pointcut("execution(* com.yiibai.Student.getAge(..))") private void selectGetName(){} @Around("selectGetAge()") public void aroundAdvice(ProceedingJoinPoint proceedingJoinPoint){ System.out.println("[aroundAdvice] Around advice"); Object[] args=jp.getArgs(); if(args.length>0){ System.out.print("...阅读全文
引言我们使用mysql的时候经常遇到分页查询的场景，在mysql中使用limit关键字来实现分页。比如下面的示例。select * from orders_history where type=8 limit 100,100; select * from orders_history where type=8 limit 1000,100; select * from orders_history where type=8 limit 10000,100;ElasticsSearch（以下简称ES）同样也有很多分页查询的场景，比如在数据量比较大的情况下，并且查询条件比较复杂，在mysql中无法命中索引，我们往往会选择使用ES的分页查询。ES实现分页查询有几种不同的方案，每种方案都有自己的优缺...阅读全文
ChannelPipeline ChannelPipeline不是单独存在,它肯定会和Channel、ChannelHandler、ChannelHandlerContext关联在一起,所以有关概念这里一起讲。 一、ChannelHandler 1、概念 先看图 ChannelHandler下主要是两个子接口 ChannelInboundHandler(入站): 处理输入数据和Channel状态类型改变。 适配器: ChannelInboundHandlerAdapter（适配器设计模式） 常用的: SimpleChannelInboundHandler ChannelOutboundHandler(出站): 处理输出数据 适配器: ChannelOutboundHandlerAdapter...阅读全文
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个...阅读全文
通常情况下，namespace对应的URI是一个存放XSD的地址，尽管规范没有这么要求。如果没有提供schemaLocation，那么Spring的XML解析器会从namespace的URI里加载XSD文件。我们可以把配置文件改成这个样子，也是可以正常工作的：[html] view plain copy
我写的《Flink原理与实践》已由人民邮电出版社出版，感兴趣的朋友请到电商平台购买，谢谢！微信公号：ilulaoshi 个人网站：https://lulaoshi.info/flink/chapter-time-window/window.html我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Window stream .keyBy(...) <- 按照一个Key进行分组 .window(...) <- 将数据流中的元素分配到相应的窗口中 ...阅读全文
（一）scroll的介绍 有时候我们可能想要读取整个es索引的数据或者其中的大部分数据，来重建索引或者加工数据，相信大多数人都会说这很简单啊直接用from+size就能搞定，但实际情况是from+size的分页方法不适合用于这种全量数据的抽取，越到后面这种方法的性能就越低，这也是es里面为什么限制了单次查询结果的数据不能超过1万条数据的原因。 es里面提供了scroll的方式来全量读取索引数据其与数据库里面的游标（cursor）的概念非常类似，使用scroll读取数据的时候，只需要发送一次查询请求，然后es服务端会生成一个当前请求索引的快照数据集，接着我们每次通过scrollId来读取指定大小的批次数据，直到把整个索引的数据读取完毕。 这里面需要注意，当索引快照集生成的时候，其实在es内部维...阅读全文
ｄｏｗｎｌｏａｄ：Java工程师高薪训练营 public static boolean isWifiEnabled(Context context) { ConnectivityManager mgrConn = (ConnectivityManager) context .getSystemService(Context.CONNECTIVITY_SERVICE); TelephonyManager mgrTel = (TelephonyManager) context .getSystemService(Context.TELEPHONY_SERVICE); return ((mgrConn.getActiveNetworkInfo() != null && mgrConn .getAc...阅读全文
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。二、实现原理1、在Reudce端进行连接。 在Reudce端进行连接是MapReduce框架进行表之间join操作最为常见的模式，其具体的实现原理如下：Map端的主要工作：为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为...阅读全文
groovy是一种动态脚本语言，适用于一些可变、和规则配置性的需求，目前Spring提供ScriptSource接口，支持两种类型，一种是 ResourceScriptSource，另一种是 StaticScriptSource，但是有的场景我们需要把groovy代码放进DB中，所以我们需要扩展这个。 ResourceScriptSource：在 resources 下面写groovy类 StaticScriptSource：把groovy类代码放进XML里 DatabaseScriptSource：把groovy类代码放进数据库中 工程模块为： ResourceScriptSource groovy的pom
首先祝大家端午节快乐！事业 家庭 更上一层楼。！最近遇见一个需要上传百兆大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文，丢包重传的概率也更大），用户不能刷新页面，只能耐心等待请求完成。下面从文件上传方式入手，整理大文件上传的思路，并给出了相关实例代码，由于PHP内置了比较方便的文件拆分和拼接方法，因此服务端代码使用PHP进行示例编写。文件上传的几种方式首先我们来看看文件上传的几种方式。普通表单上传使用PHP来展示常规的表单上传是一个不错的选择。首先构建文件上传的表单，...阅读全文
在mybatis一级缓存二级缓存中已经介绍过了二级缓存的大致原理。下面我们用redis来实现一下二级缓存。环境是springmvc+mybatis+redis 步骤一、引入redis相关的maven依赖
在 Spring Boot 项目中，怎样将 pom.xml 文件里面添加的依赖中的 bean 注册到 Spring Boot 项目的 Spring 容器中呢？你可能会首先想到使用 @ComponentScan 注解，遗憾的是 @ComponentScan 注解只能扫描 Spring Boot 项目包内的 bean 并注册到 Spring 容器中，项目依赖包中的 bean 不会被扫描和注册。此时，我们需要使用 @EnableAutoConfiguration 注解来注册项目依赖包中的 bean。而 spring.factories 文件，可用来记录项目包外需要注册的 bean 类名。使用 spring.factories 文件有什么好处呢？假如我们封装了一个插件，该插件提供给其他开发人员使用。...阅读全文
TIP 本文主要是介绍 Flink-SpringBoot结合案例 。 Spring Boot整合Flink【----------------------------】Flink与Spring Boot的集成Spring容器的集成点依赖jar包注意点maven打包注意点注意包冲突目前方案的缺陷与解决思路参考文章 # Spring Boot整合Flink 使用spring boot整合flink可以快速的构建起整个应用，将关注点重点放在业务逻辑的实现上。在整合的过程中遇到许多问题，最大的问题是flink流无法访问spring容器中的类，从而导致空指针异常，解决思路是在流中进行spring bean的初始化以获得ApplicationContext，进而使用其getBean方法获取类实例。 软件版...阅读全文
一个简单的Spring定时任务的 demo，全部代码见下载地址：https://download.csdn.net/download/yx0628/10511753 对于 applicationContext 的配置如下：调度器线程池 task:scheduler 和 task:executor 的意义在后边例子中会详细的测试和说明。
2、BeanPostProcessors接口 public interface BeanPostProcessor { /** * Apply this BeanPostProcessor to the given new bean instance before any bean * initialization callbacks (like InitializingBean's {@code afterPropertiesSet} * or a custom init-method). The bean will already be populated with property values. */ //实例化、依赖注入完毕，在调用显示的初始化之前完成一些定制的初始化...阅读全文
综述字节跳动在发展过程中，逐渐形成了十分复杂的超大规模微服务体系，对后端整体的可观测性解决方案提出了极高的要求。为了解决这个问题，基础架构智能运维团队自研链路追踪系统，将海量 Metrics/Trace/Log 数据进行整合与统一，并在此基础上实现了新一代的一站式全链路观测诊断平台，帮助业务解决监控排障、链路梳理、性能分析等问题。本文将会介绍字节跳动链路追踪系统的整体功能和技术架构，以及实践过程中我们的思考与总结。什么是分布式链路追踪(Trace) ？M T L 的关系可观测性的三大基础数据是 Metrics / Log / Trace。说到这三大件，可能大家会想到当需要监控变化趋势和配置告警时就去用 Metrics；当需要细查问题时去查 log；对于微服务数量较多的系统，还得有 Trace...阅读全文
前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文
有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文
背景 项目中有时我们需要对应用进行诊断和调试，如调用某个接口进行业务验证、业务执行、数据修复、刷新缓存、查询数据、跑批量任务等等。 微服务项目 如基于Dubbo搭建的微服务，我们可使用Dubbo支持的telnet运维管理，其中invoke命令方便直接调用Dubbo接口; 也可整合swagger-dubbo，方便在网页界面上直接调用Dubbo接口。 web项目 如使用了SpringMVC、Jersey等框架，可考虑暴露一些运维相关的内部rest api，里面调用业务方法，用于某些场景下人工操作处理。 有些情况下以上条件不具备，如不能修改代码、希望不修改代码、不方便修改代码、没有源代码等原因。 Arthas Arthas 是Alibaba开源的Java诊断工具，可以用于快速诊断Java应用和定位...阅读全文
目前，前端领域中 React 势头正盛，使用者众多却少有能够深入剖析内部实现机制和原理。本系列文章希望通过剖析 React 源码，理解其内部的实现原理，知其然更要知其所以然。React diff 作为 Virtual DOM 的加速器，其算法上的改进优化是 React 整个界面渲染的基础，以及性能提高的保障，同时也是 React 源码中最神秘、最不可思议的部分，本文从源码入手，深入剖析 React diff 的不可思议之处。阅读本文需要对 React 有一定的了解，如果你不知何为 React，请详读 React 官方文档。如果你对 React diff 存在些许疑惑，或者你对算法优化感兴趣，那么本文值得阅读和讨论。前言React 中最值得称道的部分莫过于 Virtual DOM 与 diff...阅读全文
webflux是什么 webflux是spring推出的响应式web框架，它的对标产品为spring-mvc, 与传统的spring-mvc相比较，webflux是完全非阻塞式的。spring官网上的这张图向我们展示了两者之间的主要差别： 编程模式：命令式编程(mvc:imperative) VS 声明式编程（webflux:declarative） 在mvc中，我们在方法为单位，组织我们的每一条命令，虚拟机按照我们的编排，顺序地执行这些命令，程序执行 流程易于理解，编程和debug较为简单 在webflux中，我们以操作符（operator）串起来的流来定义我们想让程序如何执行，但这只是一个声明，就好 像我们写的是一个菜谱，没有原材料来的话，它就是一个静态的菜谱，在webflux中，这个材...阅读全文
数组 package com.xs; import ognl.Ognl; import ognl.OgnlContext; import ognl.OgnlException; public class OgnlAarray { /** * @param args * @throws OgnlException */ public static void main(String[] args) throws OgnlException { User user0 = new User(); user0.setPassword("word0"); user0.setUsername("user0"); User user1 = new User(); user1.setPassword("wor...阅读全文
目录SpringSecurity设置角色和权限概念使用mock代码在controller中为方法添加权限控制Security角色和权限的概念Security中一些可选的表达式SpringSecurity设置角色和权限概念在UserDetailsService的loadUserByUsername方法里去构建当前登陆的用户时，你可以选择两种授权方法，即角色授权和权限授权，对应使用的代码是hasRole和hasAuthority，而这两种方式在设置时也有不同，下面介绍一下：角色授权：授权代码需要加ROLE_前缀，controller上使用时不要加前缀权限授权：设置和使用时，名称保持一至即可使用mock代码@Componentpublic class MyU...阅读全文
进行sql优化时有些sql输出巨长，一执行疯狂刷屏。这里列一个小汇总，记录各类数据库如何不输出执行结果只显示执行时间 / 执行计划。 Oracle set autotrace trace set timing on -- 恢复输出 set autottrace off SqlServer 其实SqlServer基本没有这个需求，SqlServer主要都是用图形化的工具 --实际执行计划 set statistics profile on --返回执行时间和CPU时间 set statistics time on --输出语句物理读和逻辑读数目 set statistics io on PG EXPLAIN ANALYZE sql语句 在pg中查看sql的解析时间 van=# set log_...阅读全文
 视频特效人才紧缺、需求量大、薪资高，学习正当时，所以今天给大家讲讲关于热门视频特效技术- OpenGL的相关知识，通过本文章，我将带着大家从0到1手把手实现特效美颜相机，让大家系统性掌握OpenGL 核心技术，从而轻松实现各种酷炫的视频特效、吃透视频特效原理，并积累大量图形学/数学知识，助力大家快速成为视频特效技术抢手人才！ 那么，首先，我们先来了解一下，什么是OpenGL？ OpenGL（Open Graphics Library）是一个跨平台、跨语言的图形编程接口（API）。它被广泛用于实现2D和3D图形渲染，并且是许...阅读全文
参数简介InitiatingHeapOccupancyPercent，简称IHOP。我们都知道在G1中，主要的收集方式是Minor GC（回收整个年轻代Young Region）和Mixed GC（回收整个年轻代Young Region & 部分老年代Old Region）。什么？你跟我说还有Full GC。其实在G1设计之初，Oracle认为G1依托Minor GC和Mixed GC就够了，如果你出现了Full GC那说明你的参数设置的不正确。所以在早期版本（JDK10之前）的G1实现中，Oracle只设计了串行的Full GC来擦**（单线程的Mark-Compact）。但是程序总是复杂的，尽管我们极力避免，在一些特殊的情况下如并发回收的速度跟不上分配的速度等，我们依然会面临Full G...阅读全文
1 文本表达式 文本表达式支持字符串、 日期 、 数字（正数 、 实数及十六进制数） 、 布尔类型及 null。其中的字符表达式可使用单引号来表示，形如：'Deniro'。如果表达式中包含单引号或者双引号字符，那么可以使用转义字符 /。 ExpressionParser parser = new SpelExpressionParser(); //字符串解析 String str = (String) parser.parseExpression("'你好'").getValue(); System.out.println(str); //整型解析 int intVal = (Integer) parser.parseExpression("0x2F").getValue(); System...阅读全文
什么是 OpenTelemetry？ OpenTelemetry 是一个开源的可观测性框架，由云原生基金会(CNCF)托管。它是 OpenCensus 和 OpenTracing 项目的合并。旨在为所有类型的可观测信号(如跟踪、指标和日志)提供单一标准。 https://opentelemetry.io https://www.cncf.io https://opencensus.io OpenTelemetry 指定了如何收集遥测数据并将其发送到后端平台。通过提供通用的数据格式和 API, OpenTelemetry 使组织更容易共享和重用遥测数据，从而与各种可观测性工具和平台集成。 OpenTelemetry 架构促进了灵活性、互操作性和可扩展性，使开发人员能够采用满足其特定需求和环境的...阅读全文
