假设我们作业中有这样一段逻辑stream.map(xxx).filter(_ != null).xxx，并且map算子有可能返回NULL，你觉得作业运行会抛NPE吗？明明下游有filter not null，不应该出错才对？但实际情况是运行中有可能抛出异常。1.异常信息可能抛出的异常信息大致如下： // 1. 如果map算子返回值类型为Java Tuple Caused by: java.lang.NullPointerException at org.apache.flink.api.java.typeutils.runtime.TupleSerializer.copy(TupleSerializer.java:111) at org.apache.flink.api.java.typeu...阅读全文
1 标准参数 标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容； 通过命令 java即可查看 如下 where options include: -d32 use a 32-bit data model if available -d64 use a 64-bit data model if available -server to select the "server" VM The default VM is server, because you are running on a server-class machine. -cp
TIP 本文主要是介绍 Flink-SpringBoot结合案例 。 Spring Boot整合Flink【----------------------------】Flink与Spring Boot的集成Spring容器的集成点依赖jar包注意点maven打包注意点注意包冲突目前方案的缺陷与解决思路参考文章 # Spring Boot整合Flink 使用spring boot整合flink可以快速的构建起整个应用，将关注点重点放在业务逻辑的实现上。在整合的过程中遇到许多问题，最大的问题是flink流无法访问spring容器中的类，从而导致空指针异常，解决思路是在流中进行spring bean的初始化以获得ApplicationContext，进而使用其getBean方法获取类实例。 软件版...阅读全文
概述 本文介绍GC基础原理和理论，GC调优方法思路和方法，基于Hotspot jdk1.8，学习之后将了解如何对生产系统出现的GC问题进行排查解决 阅读时长约30分钟，内容主要如下： GC基础原理，涉及调优目标，GC事件分类、JVM内存分配策略、GC日志分析等 CMS原理及调优 G1原理及调优 GC问题排查和解决思路 GC基础原理 1 GC调优目标 大多数情况下对 Java 程序进行GC调优, 主要关注两个目标：响应速度、吞吐量 响应速度(Responsiveness) 响应速度指程序或系统对一个请求的响应有多迅速。比如，用户订单查询响应时间，对响应速度要求很高的系统，较大的停顿时间是不可接受的。调优的重点是在短的时间内快速响应 吞吐量(Throughput) 吞吐量关注在一个特定时间段内应...阅读全文
主流的Web服务软件，通常都基于OpenSSL和Java两种基础密码库。 Tomcat、Weblogic、JBoss等Web服务软件，一般使用Java提供的密码库。通过Java Development Kit（JDK）工具包中的Keytool工具，生成Java Keystore（JKS）格式的证书文件。Apache、Nginx等Web服务软件，一般使用OpenSSL工具提供的密码库，生成PEM、KEY、CRT等格式的证书文件。IBM的Web服务产品，如Websphere、IBM Http Server（IHS）等，一般使用IBM产品自带的iKeyman工具，生成KDB格式的证书文件。微软Windows Server中的Internet Information Services（IIS）服务，...阅读全文
周五在公司搭好的ELK上查看日志，组长让看看其中NullPointerException出现很多的原因。 通过NullPointerException搜索，点看其中一个查看，发现异常的信息就一行java.lang.NullPointerException，并没有堆栈信息。 看了几个都没有，然后翻代码看记日志的地方，调用了日志基础工程的一个方法，异常对象通过封装传了进去，其中异常信息属性取值用的是Throwables.getStackTraceAsString(e)，这是guava包提供的方法，点进去看是取了所有堆栈信息的。 那么问题来了，为什么堆栈信息没显示出来呢？ 百度了下，关键字：NullPointerException 没有堆栈 找到类似的问题，发现是JVM虚拟机对异常信息进行了优化，...阅读全文
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。二、实现原理1、在Reudce端进行连接。 在Reudce端进行连接是MapReduce框架进行表之间join操作最为常见的模式，其具体的实现原理如下：Map端的主要工作：为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为...阅读全文
背景String作为JDK最核心的数据类型之一，非常有必要专门学习一下，重点关注这4个文件jdk/src/java.base/share/native/libjava/String.cjdk/src/java.base/share/classes/java/lang/String.javajdk/src/java.base/share/classes/java/lang/StringLatin1.javajdk/src/java.base/share/classes/java/lang/StringUTF16.java存储无论是何种语言的何种实现，String本质上都是字节序列，所有可能的字符加起来就构成了字符集，给字符集中每个字符一个序号就是字符编码，使用最广泛的就是Unicode了，它几...阅读全文
如题，今天我们来看下java.math.BigDecimal是如何解决浮点数的精度问题的，在那之前当然得先了解下浮点数精度问题是什么问题了。下面我们先从IEEE 754说起。 IEEE 754 IEEE二进制浮点数算术标准（IEEE 754）是20世纪80年代以来最广泛使用的浮点数运算标准，为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式（包括负零-0）与反常值（denormal number）），一些特殊数值（无穷（Inf）与非数值（NaN）），以及这些数值的“浮点数运算符”；它也指明了四种数值舍入规则和五种异常状况（包括异常发生的时机与处理方式）。 下面我们就以双精度，也就是double类型，为例来看看浮点数的格式。 signexponentfraction1位11位52位...阅读全文
粉丝朋友们，不知道大家看故事看腻了没（要是没腻可一定留言告诉我_），今天这篇文章换换口味，正经的来写写技术文。言归正传，咱们开始吧！ 本文结构： - 需求背景 - 进击的 Python - Java 和 Python - 给 Python 加速 - 寻找方向 - Jython? - Python->Native 代码 - 整体思路 - 实际动手 - 自动化 - 关键问题 - import 的问题 - Python GIL 问题 - 测试效果 - 总结 需求背景 进击的 Python 随着人工智能的兴起，Python 这门曾经小众的编程语言可谓是焕发了第二春。 以 tensorflow、pytorch 等为主的机器学习／深度学习的开发框架大行其道，助推了 python 这门曾经以爬虫见长（py...阅读全文
在mybatis一级缓存二级缓存中已经介绍过了二级缓存的大致原理。下面我们用redis来实现一下二级缓存。环境是springmvc+mybatis+redis 步骤一、引入redis相关的maven依赖
ｄｏｗｎｌｏａｄ：Java工程师高薪训练营 public static boolean isWifiEnabled(Context context) { ConnectivityManager mgrConn = (ConnectivityManager) context .getSystemService(Context.CONNECTIVITY_SERVICE); TelephonyManager mgrTel = (TelephonyManager) context .getSystemService(Context.TELEPHONY_SERVICE); return ((mgrConn.getActiveNetworkInfo() != null && mgrConn .getAc...阅读全文
1. DirectBuffer 属于堆外存，那应该还是属于用户内存，而不是内核内存？来自 ByteBuffer (Java Platform SE 8 )The contents of direct buffers may reside outside of the normal garbage-collected heap所以是否真的是堆外存并不是强制的，是依赖jvm实现的。回归正题：用户内存还是内核内存？首先，我们知道，每个进程是有独立的地址空间的，也就是说对于一个java进程来说，他只能看到自己的内存，他只能读写自己的内存。而内核其实是有上帝视角的，如早期的linux，内核是能看到并读写所有物理内存的（关于这一点，有兴趣的可以参看我的简写版linux的实现：https://github...阅读全文
byte 1 byte byte 值。 boolean 1 byte 布尔值，0 表示假，非零表示真。 int 4 byte 4 字节有符号整数。 long 8 byte 8 字节有符号整数。 objectID 依据 target Java 虚拟机而定，最大 8 byte Target Java 虚拟机中对象（object）的唯一 ID。这个值在整个 JDWP 的会话中不会被重用，始终指向同一个对象，即使该对象已经被 GC 回收（引用被回收的对象将返回 INVALID_OBJECT 错误。 Tagged-objectID objectID 的长度加 1 第一个 byte 表示对象的类型，比如，整型，字符串，类等等。紧接着是一个 objectID。 threadID 同 objectID 的长...阅读全文
在平时的开发中，我们不可避免的会使用到Debug工具，JVM作为一个单独的进程，我们使用的Debug工具可以获取JVM运行时的相关的信息，查看变量值，甚至加入断点控制，还有我们平时使用JDK自带的JMAP、JSTACK等工具，可以在JVM运行时动态的dump内存、查询线程信息，甚至一些第三方的工具，比如说京东内部使用的JEX、pfinder，阿里巴巴的Arthas，优秀的开源的框架skywalking等等，也可以做到这些，那么这些工具究竟是通过什么技术手段来实现对JVM的监控和动态修改呢？本文会进行介绍和简单的原理分析，同时附带一些样例代码来进行分析。从JVMTI说起JVM在设计之初，就考虑到了虚拟机状态的监控、debug、线程和内存分析等功能，在JDK5.0之前，JVM规范就定义了JVMP...阅读全文
Java中的“菱形继承”问题 什么是菱形继承Java代码场景一场景二 简单结论解决办法 什么是菱形继承 一张图说明。在C++中允许多继承，D类继承自B、C,而B、C有同一个父类A。那么这个时候调用say方法是否成功？答案是不能,编译器并不能判断这个say来自哪个父类。 #include
Elasticsearch Java API的基本使用说明 在明确了ES的基本概念和使用方法后，我们来学习如何使用ES的Java API. 本文假设你已经对ES的基本概念已经有了一个比较全面的认识。 客户端 你可以用Java客户端做很多事情： 执行标准的index,get,delete,update,search等操作。 在正在运行的集群上执行管理任务。 但是，通过官方文档可以得知，现在存在至少三种Java客户端。 Transport Client Java High Level REST Client Java Low Level Rest Client 造成这种混乱的原因是： 长久以来，ES并没有官方的Java客户端，并且Java自身是可以简单支持ES的API的，于是就先做成了Trans...阅读全文
groovy是一种动态脚本语言，适用于一些可变、和规则配置性的需求，目前Spring提供ScriptSource接口，支持两种类型，一种是 ResourceScriptSource，另一种是 StaticScriptSource，但是有的场景我们需要把groovy代码放进DB中，所以我们需要扩展这个。 ResourceScriptSource：在 resources 下面写groovy类 StaticScriptSource：把groovy类代码放进XML里 DatabaseScriptSource：把groovy类代码放进数据库中 工程模块为： ResourceScriptSource groovy的pom
前两天被人问到这样一个问题: “松哥，为什么我的 Spring Boot 项目打包成的 jar ，被其他项目依赖之后，总是报找不到类的错误？” 大伙有这样的疑问，就是因为还没搞清楚可执行 jar 和普通 jar 到底有什么区别？今天松哥就和大家来聊一聊这个问题。 多了一个插件 Spring Boot 中默认打包成的 jar 叫做 可执行 jar，这种 jar 不同于普通的 jar，普通的 jar 不可以通过 java -jar xxx.jar 命令执行，普通的 jar 主要是被其他应用依赖，Spring Boot 打成的 jar 可以执行，但是不可以被其他的应用所依赖，即使强制依赖，也无法获取里边的类。但是可执行 jar 并不是 Spring Boot 独有的，Java 工程本身就可以打包成...阅读全文
文章目录 频繁出现的反序列化漏洞parse()及parseObject()AutoType及安全校验AutoType安全校验AutoType黑名单机制SafeMode安全机制攻击思路 反序列化攻击模拟TemplatesImpl攻击调用链路攻击类Translet生成构造攻击JSON串攻击模拟 写在最后 频繁出现的反序列化漏洞 最近公司的小伙伴们收到了一波安全工单，因为FastJson存在高危漏洞，要求将FastJson版本号升级到1.2.69及以上 漏洞描述如下 在Fastjson<=1.2.68的版本中，通过新的Gadgets链绕过autoType开关，在autoType关闭的情况下仍然可能可以绕过黑白名单防御机制，实现了反序列化漏洞利用的远程代码执行效果，同时，此次修复补丁也补充了auto...阅读全文
很多文章在谈论到BIO、NIO、AIO的时候仅仅是抛出一堆定义，以及一些生动的例子。看似很好理解。但是并没有将最基础的本质原理显现出来，如果没有没有从IO的原理出发的话是很难理解这三者之间的区别的。所以本篇文章从Java是如何进行IO操作为开头进行分析。 Java中的IO原理 首先Java中的IO都是依赖操作系统内核进行的，我们程序中的IO读写其实调用的是操作系统内核中的read&write两大系统调用。 那内核是如何进行IO交互的呢？ 网卡收到经过网线传来的网络数据，并将网络数据写到内存中。 当网卡把数据写入到内存后，网卡向cpu发出一个中断信号，操作系统便能得知有新数据到来，再通过网卡中断程序去处理数据。 将内存中的网络数据写入到对应socket的接收缓冲区中。 当接收缓冲区的数据写好之...阅读全文
前言我们在上篇文章 排序算法（五）-双调排序 介绍了双调排序，今天我们来看一下另一种排序算法 —— TimSort。TimSort是Tim Peters发明的一种混合排序，最早是Python语言的内置排序算法。关于Python内置的TimSort描述可以查看该 文档。关于TimSort的理论基础，可以查看该篇论文 Optimistic Sorting and Information Theoretic Complexity，这篇论文论证了插入排序和归并排序合并后效率提高的可能性，即TimSort的理论基础。Java自Java 7 后加入TimSort，其实现参考了Python版本的实现，我们可以在JDK源码的util包下找到它，java.util.TimSort，这个class不是publi...阅读全文
utf-8格式如何转化为gbk格式 02-27 阅读数 6225 utf-8格式如何转化为gbk格式 今天在编码的时候由于存储的数据和取得数据格式不一致，... 博文 来自： HY845638534的博客 解决中文字符乱码问题，如何将gbk格式转换utf-8格式 04-06 阅读数 2104 中文乱码的原因是因为编码格式是gbk的，而显示的时候是utf-8格式的，所以需要将其utf-8格式，才能正常显示出来。1.gbk生成utf8程序需要经过两次转化。 1.gbk->uni... 博文 来自： u012681014的专栏 Java练习>转换流>>将GBK编码的文本文件，转换为UTF-8编码的文本文件 08-13 阅读数 1312 练习：转换文件编码。题目：将GBK编码的文本文件，转换为...阅读全文
前言 最近一直在看Spring源码，其实我之前一直知道AOP的基本实现原理： 如果针对接口做代理默认使用的是JDK自带的Proxy+InvocationHandler 如果针对类做代理使用的是Cglib 即使针对接口做代理，也可以将代理方式配置成走Cglib的 之后要看AOP源码了，Proxy+InvocationHandler这套我已经很熟了，想着如果把Cglib研究研究，应该看AOP源码的时候会更快一些，因此本文就研究一下Cglib是什么、如何一些基本的使用、底层实现原理。 Cglib是什么 Cglib是一个强大的、高性能的代码生成包，它广泛被许多AOP框架使用，为他们提供方法的拦截。下图是我网上找到的一张Cglib与一些框架和语言的关系： 对此图总结一下： 最底层的是字节码Byteco...阅读全文
步骤： 一：获取到bean的class实例，方式分两种， 1.通过spring注入的：通过Spring上下文获取到需要代理执行的class实例 Class selectsClass = SpringContextUtils.getBean("beanName").getClass(); 2.没使用spring注入的：通过Class.forName初始化加载bean Class selectsClass= Class.forName(TableSelectsUtil.class.getName()); 二:通过方法名从class实例中获取方法实例 Method method = selectsClass.getMethod("getAll", new Class[] {String.class...阅读全文
项目中途引入Mybatis-plus后报错：Caused by: java.lang.ClassNotFoundException: org.mybatis.logging.LoggerFactory 1、网上有提供解决办法1： 在引入mybatis-plus之前，是存在mybatis的包和pagehelper包的，把这两个注释掉就可以了。 分页就使用mybatis-plus自带的IPage。