今天周五，从上个公司离职到现在，忙了3,4天，之前拿到offer的那家公司在往外包公司发展，办公环境也实在不行，于是便有了这几天忙活的事情，这几天投了不少，原本面试已经排到下周二，不过现在算是告一段落了，也拿到了一个初创公司的offer。下面是一些自我总结，方便自己以后查阅，不对也欢迎大家指正和补充。 1.关于oracle的列转行 以及oracle的存储过程 （当时并未回答上）google之主要可使用union all(列转行) ；case when then ，decode（行转列）等 参考http://blog.163.com/magicc_love/blog/static/185853662201371481247696/ 2.token失效和定时器的实现。 线程 setInterva...阅读全文
tcp断开连接的四次挥手 先说说tcp的四次挥手，这里假定A端为主动发起关闭端，B端为被动接收关闭请求端。A把tcp的数据包中标识位FIN置为1，seq为一个随机数，发送这个包给B端，自己进入FIN_WAIT_1状态；B端收到了马上给A端回复ack（A端收到ack进入FIN_WAIT_2状态），然后自己进入CLOSE_WAIT状态。然后这个时候需要业务代码处理，把自己需要发给客户端的数据发送完，然后业务代码主动调用相应语言库函数提供的close函数，来触发关闭操作:给A端发送FIN seq的数据包，这是第三次握手。这个时候自己进入last ack状态。 A端此时收到包然后给B端口发送相应ack.A端自己此时进入time_wait状态。 B端收到ack后从last_ack就顺利进入close状...阅读全文
引言： 个人理解的线程，协程和单，多核线程 单核CPU上运行的多线程程序, 同一时间只能一个线程在跑, 系统帮你切换线程而已（cpu时间切片）, 系统给每个线程分配时间片来执行, 每个时间片大概10ms左右, 看起来像是同时跑, 但实际上是每个线程跑一点点就换到其它线程继续跑,效率不会有提高的,切换线程反倒会增加开销（线程的上下文切换），宏观的可看着并行，单核里面只是并发，真正执行的一个cpu核心只在同一时刻执行一个线程（不是进程）。 多线程的用处在于，做某个耗时的操作时，需要等待返回结果，这时用多线程可以提高程序并发程度。如果一个不需要任何等待并且顺序执行能够完成的任务，用多线程是十分浪费的。 个人见解，对于Thread Runable以及ThreadPoolExcutor等建立的线程，线...阅读全文
之前一直使用云笔记写自己遇到的一些体会，最近因为工作需要，准备回头梳理下以前自己学习的知识点，想把以前的记录下载博客里，既方便自己以后查阅，同时也能让自己有一个更深刻的记忆。 关于反射： super.getClass() 得到的依然是runtime当前类，若要得到真正的父类，需要用super.getClass().getSuperclass() 虽然这里写的是super，但其实用this也一样 Integer i01=59 的时候，会调用 Integer 的 valueOf 方法， 1 2 3 4 5 publicstaticInteger valueOf(inti) { assertIntegerCache.high>= 127; if(i >= IntegerCache.low&& i ...阅读全文
java使用局部线程池为什么会造成线程泄露 一、思考 - 造成泄露，肯定是无法被GC回收，那为什么局部线程池没有被回收，我们来通过源码一探究竟 这里先给出结论：ThreadPoolExecutor -> Worker -> Thread 由于存在这样的引用关系，并且 Thread 作为 GC Root ，所以无法被回收 二、通过ThreadPoolExecutor类对源码一探究竟 不详解 ExecutorService threadPool = new ThreadPoolExecutor( 1, 1, 300, TimeUnit.SECONDS, new LinkedBlockingQueue<>(1), Executors.defaultThreadFactory() ); thread...阅读全文
感谢同事【魏鹏】投递本稿。 Dedicate to Molly. 简介 提供了一个基于FIFO队列，可以用于构建锁或者其他相关同步装置的基础框架。该同步器（以下简称同步器）利用了一个int来表示状态，期望它能够成为实现大部分同步需求的基础。使用的方法是继承，子类通过继承同步器并需要实现它的方法来管理其状态，管理的方式就是通过类似acquire和release的方式来操纵状态。然而多线程环境中对状态的操纵必须确保原子性，因此子类对于状态的把握，需要使用这个同步器提供的以下三个方法对状态进行操作： java.util.concurrent.locks.AbstractQueuedSynchronizer.getState() java.util.concurrent.locks.Abstract...阅读全文
TIP 本文主要是介绍 并发编程-JUC简介 。 1. JUC 简介2. volatile 关键字3. i++ 的原子性问题3.1 CAS 算法4. 并发容器类4.1 ConcurrentHashMap4.2 CountDownLatch(闭锁)5. 创建执行线程的方式三6. 同步锁(Lock)7. ReadWriteLock(读写锁)8. 线程同步锁9. 线程池9.1 线程调度10 Fork/Join 框架参考文章 # 导读【重要】 进入Java多线程进阶篇的学习。初学者通过基础篇的学习，应该已经对多线程的初步使用有了基本概念和掌握。多线程这块知识的学习，真正的难点不在于多线程程序的逻辑有多复杂，而在于理清J.U.C包中各个多线程工具类之间的关系、特点及其使用场景（从整体到局部、高屋建瓴，...阅读全文
首先聊聊反射 java和golang都有各自的反射机制，为什么标准库会提供反射机制呢？ 反射（reflection）允许程序在运行时（runtime）检查、修改程序（比如对象,struct等）的结构与行为，跳过编译检查，越过访问权限，运行时对象生成，方法调用等。如果没有反射，那么需要完全手动进行硬编码，比如如果没有反射，那么在spring的ioc容器管理实现就需要我们使用new来创建对象，那么也就不叫spring ioc，不会有spring ioc的诞生了。 静态编译（多数静态语言）：在编译时确定类型，绑定对象。 动态编译（多数动态语言）：运行时确定类型，绑定对象。可以实现动态创建对象和编译，体现出很大的灵活性（特别是在J2EE的开发中它的灵活性就表现的十分明显）。通过反射机制我们可以获得类...阅读全文
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为 CoarseGrainedExecutor Backend，一个CoarseGrainedExecutor Backend进程有且仅有一个executor对象，它负责将Task包装成taskRunner，并从...阅读全文
一般程序的内存分配在讲Golang的内存分配之前，让我们先来看看一般程序的内存分布情况： 以上是程序内存的逻辑分类情况。 我们再来看看一般程序的内存的真实(真实逻辑)图: Go的内存分配核心思想Go是内置运行时的编程语言(runtime)，像这种内置运行时的编程语言通常会抛弃传统的内存分配方式，改为自己管理。这样可以完成类似预分配、内存池等操作，以避开系统调用带来的性能问题，防止每次分配内存都需要系统调用。 Go的内存分配的核心思想可以分为以下几点： 每次从操作系统申请一大块儿的内存，由Go来对这块儿内存做分配，减少系统调用 内存分配算法采用Google的TCMalloc算法。算法比较复杂，究其原理可自行查阅。其核心思想就是把内存切分的非常的细小，分为多级管理，以降低锁的粒度。 回收对象内存...阅读全文
学习Java并发，到后面总会接触到happens-before偏序关系。初接触玩意儿简直就是不知所云，下面是经过一段时间折腾后个人对此的一点浅薄理解，希望对初接触的人有帮助。如有不正确之处，欢迎指正。 synchronized、大部分锁，众所周知的一个功能就是使多个线程互斥/串行的（共享锁允许多个线程同时访问，如读锁）访问临界区，但他们的第二个功能 —— 保证变量的可见性 —— 常被遗忘。 为什么存在可见性问题？简单介绍下。相对于内存，CPU的速度是极高的，如果CPU需要存取数据时都直接与内存打交道，在存取过程中，CPU将一直空闲，这是一种极大的浪费，妈妈说，浪费是不好的，所以，现代的CPU里都有很多寄存器，多级cache，他们比内存的存取速度高多了。某个线程执行时，内存中的一份数据，会存在...阅读全文
### 首先聊聊反射 java和golang都有各自的反射机制，为什么标准库会提供反射机制呢？ 反射（reflection）允许程序在运行时（runtime）检查、修改程序（比如对象,struct等）的结构与行为，跳过编译检查，越过访问权限，运行时对象生成，方法调用等。如果没有反射，那么需要完全手动进行硬编码，比如如果没有反射，那么在spring的ioc容器管理实现就需要我们使用new来创建对象，那么也就不叫spring ioc，不会有spring ioc的诞生了。 静态编译（多数静态语言）：在编译时确定类型，绑定对象。 动态编译（多数动态语言）：运行时确定类型，绑定对象。可以实现动态创建对象和编译，体现出很大的灵活性（特别是在J2EE的开发中它的灵活性就表现的十分...阅读全文
ZGC简介 JDK14 2020年3月份，JDK14发布，可能我们大部分小伙伴的生产环境还停留在JDK8。目前LTS版本的JDLK主要是7，8，以及11。其他版本的支持周期都比较短，一般不建议在生产环境中使用的，不过这不影响我们了解最新的JDK的一些特性，这些可能是后面Java语言的发展方向。这次JDK14就带来了非常多的新特性，主要如下： Pattern Matching for instanceof (Preview) Packaging Tool (Incubator) NUMA-Aware Memory Allocation for G1 垃圾收集中分层，冷对象移出，需要硬件层面的支持。 JFR Event Streaming Non-Volatile Mapped Byte Buf...阅读全文
内存屏障是硬件之上、操作系统或JVM之下，对并发作出的最后一层支持。再向下是是硬件提供的支持；向上是操作系统或JVM对内存屏障作出的各种封装。内存屏障是一种标准，各厂商可能采用不同的实现。 本文仅为了帮助理解JVM提供的并发机制。首先，从volatile的语义引出可见性与重排序问题；接下来，阐述问题的产生原理，了解为什么需要内存屏障；然后，浅谈内存屏障的标准、厂商对内存屏障的支持，并以volatile为例讨论内存屏障如何解决这些问题；最后，补充介绍JVM在内存屏障之上作出的几个封装。为了帮助理解，会简要讨论硬件架构层面的一些基本原理（特别是CPU架构），但不会深入实现机制。 内存屏障的实现涉及大量硬件架构层面的知识，又需要操作系统或JVM的配合才能发挥威力，单纯从任何一个层面都无法理解。本文...阅读全文
TalkingData 440 Flink Slot详解与Job Execution Graph优化 flink 阅读约 18 分钟 前言 近期将Flink Job从Standalone迁移至了OnYarn，随后发现Job性能较之前有所降低：迁移前有8.3W+/S的数据消费速度，迁移到Yarn后分配同样的资源但消费速度降为7.8W+/S，且较之前的消费速度有轻微的抖动。经过原因分析和测试验证，最终采用了在保持分配给Job的资源不变的情况下将总Container数量减半、每个Container持有的资源从1C2G 1Slot变更为2C4G 2Slot的方式，使该问题得以解决。 经历该问题后，发现深入理解Slot和Flink Runtime Graph是十分必要的，于是撰写了这篇文章。本文内容分...阅读全文
1. 前言 Thrift是Facebook贡献给apache的rpc框架，但是这款框架的java版本在公司内部并不是那么受待见，因为其性能相比C++版本差了很多，但是后续基于netty重写了以后性能得到了极大的提升，相比于C++版本已经差距不大了。为此取了个新的名字Nifty = Netty + Thrift。 如果你使用过thrift的话，基本都会使用自动生成的代码，那真的是没法看，即使定义一个简单的类都会生成巨多的代码，把read，write方法全部写到里面去了。总之早期的thrfit各方面都似乎不那么友好。后面架构进行了升级，提供了新的swift库，注意这个不是ios的swift，从而生成的java类和普通的java类基本一致，无非多了点注解，而序列化反序列化也都移到了相应的包中，从而...阅读全文
Mybatis的缓存级别 Mybatis提供了查询缓存来查询数据，使在项目开发中提高性能。 Mybatis的缓存分为一级缓存和二级缓存，一级缓存是SqlSession级别的缓存，二级缓存是mapper级别的缓存，二级缓存是多个SqlSession共享的。Mybatis通过缓存机制减轻数据压力，提高数据库的性能。 一.一级缓存没有过期时间，只有生命周期 （1）.Mybatis在开启一个数据库会话时，会创建一个新的SqlSession对象。SqlSession对象的缓存是Mybatis的一级缓存，在操作数据库时需要创建SqlSession对象，在对象中有hashMap用于保存缓存数据（对象的id作为key，而对象作为 value保存的）。一级缓存的作用范围是SqlSession范围的，当一个Sq...阅读全文
为什么引入CompletableFutrue? 回调 回调函数的机制： 定义一个回调函数 提供函数实现的一方在初始化时候，将回调函数的函数指针注册给调用者 当特定的事件或条件发生的时候，调用者使用函数指针调用回调函数对事件进行处理 回调方式的异步编程 所谓异步调用其实就是实现一个可无需等待被调用函数的返回值而让操作继续运行的方法。在 Java 语言中，简单的讲就是另启一个线程来完成调用中的部分计算，使调用继续运行或返回，而不需要等待计算结果。但调用者仍需要取线程的计算结果。 JDK5新增了Future接口，用于描述一个异步计算的结果。虽然 Future 以及相关使用方法提供了异步执行任务的能力，但是对于结果的获取却是很不方便，只能通过阻塞或者轮询的方式得到任务的结果。阻塞的方式显然和我们的异...阅读全文
载：https://blog.csdn.net/zhou2s_101216/article/details/79202893 http://blog.jobbole.com/109170/ https://my.oschina.net/robinyao/blog/983822 https://blog.csdn.net/coderlius/article/details/79272773 http://www.cnblogs.com/aspirant/p/8663872.html https://crowhawk.github.io/tags/#JVM 可以看看 概述 G1(Garbage-First )收集器是一种server-style 回收器，主要面向多核，大内存的服务器。G1 在实现...阅读全文
### 引言： #### 个人理解的线程，协程和单，多核线程 1. 单核CPU上运行的多线程程序, 同一时间只能一个线程在跑, 系统帮你切换线程而已（cpu时间切片）, 系统给每个线程分配时间片来执行, 每个时间片大概10ms左右, 看起来像是同时跑, 但实际上是每个线程跑一点点就换到其它线程继续跑,效率不会有提高的,切换线程反倒会增加开销（线程的上下文切换），宏观的可看着并行，单核里面只是并发，真正执行的一个cpu核心只在同一时刻执行一个线程（不是进程）。 2. 多线程的用处在于，做某个耗时的操作时，需要等待返回结果，这时用多线程可以提高程序并发程度。如果一个不需要任何等待并且顺序执行能够完成的任务，用多线程是十分浪费的。 3. 个人见解，对于Thread Runable以及Thr...阅读全文
目前，当Go需要和C/C++代码集成的时候，大家最先想到的肯定是CGO。毕竟是官方的解决方案，而且简单。 但是CGO是非常慢的。因为CGO其实一个桥接器，通过自动生成代码，CGO在保留了C/C++运行时的情况下，搭建了一个桥来沟通C/C++世界和Go的世界。这就意味着，兼容性很好，但是对C的函数的调用，必须先把当前的goroutine挂起，并切换执行栈到当前的线程M的主栈（大小2MB）。如果不做这个操作，那么只能在goroutine的栈上执行C函数调用，可是，goroutine的栈一般都很小，很容易就导致了栈溢出了。 调用C函数的时候，必须切换当前的栈为线程的主栈，这带来了两个比较严重的问题： 线程的栈在Go运行时是比较少的，受到P/M数量的限制，一般可以简单的理解成受到GOMAXPROCS...阅读全文
ZGC（The Z Garbage Collector）是JDK 11中推出的一款低延迟垃圾回收器，它的设计目标包括：停顿时间不超过10ms；停顿时间不会随着堆的大小，或者活跃对象的大小而增加；支持8MB~4TB级别的堆（未来支持16TB）。从设计目标来看，我们知道ZGC适用于大内存低延迟服务的内存管理和回收。本文主要介绍ZGC在低延时场景中的应用和卓越表现，文章内容主要分为四部分：GC之痛：介绍实际业务中遇到的GC痛点，并分析CMS收集器和G1收集器停顿时间瓶颈；ZGC原理：分析ZGC停顿时间比G1或CMS更短的本质原因，以及背后的技术原理；ZGC调优实践：重点分享对ZGC调优的理解，并分析若干个实际调优案例；升级ZGC效果：展示在生产环境应用ZGC取得的效果。GC之痛很多低延迟高可用Ja...阅读全文
锁原理 - 信号量 vs 管程：JDK 为什么选择管程 目录锁原理 - 信号量 vs 管程：JDK 为什么选择管程1. 并发编程解决方案 - 信号量 vs 管程1.1 相关概念1.2 信号量 vs 管程2. 信号量(Semaphere)2.1 原理2.2 代码实现2.3 使用场景2.3.1 互斥访问2.3.2 条件访问2.3.3 阻塞队列2. 管程(Monitor)2.1 MESA 模型2.2 互斥2.3 同步2.4 wait() 的正确姿势2.5 notify() 何时可以使用2.6 AQS 和 synchronized 原理 并发编程之美系列目录：https://www.cnblogs.com/binarylei/p/9569428.html 管程和信号量都能解决并发问题，它们是等价的。...阅读全文
通过这篇文章可以了解到下面几个问题 问题1：MySQL innodb引擎的update的流程； 问题2：以及写redo,undo,binlog的顺序，然后刷盘的顺序又是什么呢？ 问题3：以及刷新redo和脏数据的相关进程； 总结以上的三个问题，其实就是关于MySQL innodb事务的流程；那么接下来，我将详细总结下一一一：MySQL innodb的事务流程： 1.接下来我就以update为例，讲解下MySQL5.6的innodb的事务流程，总结起来就是： 镇对update he set name='liuwenhe' where id=5; 1）事务开始 2）对id=5这条数据上排他锁，并且给5两边的临近范围加gap锁，防止别的事务insert新数据； 3）将需要修改的数据页PIN到inn...阅读全文
内存屏障（Memory barrier） 为什么会有内存屏障 每个CPU都会有自己的缓存（有的甚至L1,L2,L3），缓存的目的就是为了提高性能，避免每次都要向内存取。但是这样的弊端也很明显：不能实时的和内存发生信息交换，分在不同CPU执行的不同线程对同一个变量的缓存值不同。 用volatile关键字修饰变量可以解决上述问题，那么volatile是如何做到这一点的呢？那就是内存屏障，内存屏障是硬件层的概念，不同的硬件平台实现内存屏障的手段并不是一样，java通过屏蔽这些差异，统一由jvm来生成内存屏障的指令。 内存屏障是什么 硬件层的内存屏障分为两种：Load Barrier 和 Store Barrier即读屏障和写屏障。 内存屏障有两个作用： 阻止屏障两侧的指令重排序； 强制把写缓冲区/...阅读全文
G1垃圾回收器详解在前一篇的文章《HotSpot垃圾回收算法概述》里面，对于Serial, Parallel和CMS几种垃圾回收器做了比较详细的描述。但是对于G1的叙述是比较粗糙的。这篇文章则是提供了G1垃圾回收器的详细分析。 概述 G1垃圾回收器是在Java7 update 4之后引入的一个新的垃圾回收器。G1是一个分代的，增量的，并行与并发的标记-复制垃圾回收器。它的设计目标是为了适应现在不断扩大的内存和不断增加的处理器数量，进一步降低暂停时间（pause time），同时兼顾良好的吞吐量。G1回收器和CMS比起来，有以下不同： G1垃圾回收器是compacting的，因此其回收得到的空间是连续的。这避免了CMS回收器因为不连续空间所造成的问题。如需要更大的堆空间，更多的floating...阅读全文
Java 并发包下的提供Lock，Lock相对于Synchronized可以更好的解决线程同步问题，更加的灵活和高效，并且ReadWriteLock锁还能实现读、写的分离。但线程间仅仅互斥是不够的，还需要通信，本篇的内容是基于上篇之上，使用Lock如何处理线程通信。阻塞队列(BlockingQueue)就是使用condition的和lock实现的。可以查看：Java并发编程-阻塞队列(BlockingQueue)的实现原理 Condition 那么引入本篇的主角，Condition，Condition 将 Object的通信方法（wait、notify 和 notifyAll）分解成截然不同的对象，以便通过将这些对象与任意 Lock 实现组合使用，为每个对象提供多个等待 set （wait-...阅读全文
你的位置：业余草 > JAVA > 定时器 OOM(OutOfMemoryError) 了，其他线程受影响吗？ 定时器 OOM(OutOfMemoryError) 了，其他线程受影响吗？ JAVA herman 3年前 (2018-09-22) 3347浏览 0评论 公告：“业余草”微信公众号提供免费CSDN下载服务(只下Java资源)，关注业余草微信公众号，添加作者微信：codedq，发送下载链接帮助你免费下载！ 本博客日IP超过2000，PV 3000 左右，急需赞助商。 极客时间所有课程通过我的二维码购买后返现24元微信红包，请加博主新的微信号：codedq，之前的微信号好友位已满，备注：返现 受密码保护的文章请关注“业余草”公众号，回复关键字“0”获得密码 所有面试题(java、前端...阅读全文
前言 再通过对THsHaServer的源码学习后，我们知道THsHaServer缺点为主线程仍然需要完成所有socket的监听接收（accept）、数据读取和数据写入操作(read/write)。当并发请求数较大时，且发送数据量较多时，负责监听的主线程就只有一个。监听socket上新连接请求不能被及时接受。 ##TThreadedSelectorServer TThreadedSelectorServer是对THsHaServer的一种扩充与完善，它将selector中的读写IO事件(read/write)从主线程中分离出来。交给了多个专门负责读写IO事件的SelectorThread，同时引入worker工作线程池，负责业务处理。它也是种Half-Sync/Half-Async的服务模型。...阅读全文
在《操作系统同步原语》 这篇文章中，介绍了操作系统在面对 进程/线程 间同步的时候，所支持的一些同步原语，其中 semaphore 信号量 和 mutex 互斥量是最重要的同步原语。 在使用基本的 mutex 进行并发控制时，需要程序员非常小心地控制 mutex 的 down 和 up 操作，否则很容易引起死锁等问题。为了更容易地编写出正确的并发程序，所以在 mutex 和 semaphore 的基础上，提出了更高层次的同步原语 monitor，管程就可以对开发者屏蔽掉这些手动细节，在语言内部实现，更加简单易用。 不过需要注意的是，操作系统本身并不支持 monitor 机制，实际上，monitor 是属于编程语言的范畴，当你想要使用 monitor 时，先了解一下语言本身是否支持 monit...阅读全文
彤哥读源码 · 2019年10月06日 死磕 java同步系列之JMM（Java Memory Model） Java （手机横屏看源码更方便）简介Java内存模型是在硬件内存模型上的更高层的抽象，它屏蔽了各种硬件和操作系统访问的差异性，保证了Java程序在各种平台下对内存的访问都能达到一致的效果。硬件内存模型在正式讲解Java的内存模型之前，我们有必要先了解一下硬件层面的一些东西。在现代计算机的硬件体系中，CPU的运算速度是非常快的，远远高于它从存储介质读取数据的速度，这里的存储介质有很多，比如磁盘、光盘、网卡、内存等，这些存储介质有一个很明显的特点——距离CPU越近的存储介质往往越小越贵越快，距离CPU越远的存储介质往往越大越便宜越慢。所以，在程序运行的过程中，CPU大部分时间都浪费在了...阅读全文
Java并发编程：volatile关键字解析 volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的，因此在讲述volatile关键之前，我们先来了解一下与内存模型相关的概念和知识，然后分析了volatile关键字的实现原理，最后给出了几个使用volatile关键字的场景。 以下是本文的目录大纲： 一.内存模型的相关概念 二.并发编程中的三个概念 三.Java内存模型 四..深入剖析volatile关键...阅读全文
前言 今天小伙伴遇到个小问题，线程池提交的任务如果没有catch异常，那么会抛到哪里去，之前倒是没研究过，本着实事求是的原则，看了一下代码。 正文 小问题 考虑下面这段代码，有什么区别呢？你可以猜猜会不会有异常打出呢？如果打出来的话是在哪里？: ExecutorService threadPool = Executors.newFixedThreadPool(1); threadPool.submit(() -> { Object obj = null; System.out.println(obj.toString()); }); threadPool.execute(() -> { Object obj = null; System.out.println(obj.toString())...阅读全文
回顾本系列的第一部分，重点讲述了操作系统调度器的各个方面，这些知识对于理解和分析 Go 调度器的语义是非常重要的。在本文中，我将从语义层面解析 Go 调度器是如何工作的，并重点介绍其高级特性。Go 调度器是一个非常复杂的系统，我们不会过分关注一些细节，而是侧重于剖析它的设计模型和工作方式。我们通过学习它的优点以便够做出更好的工程决策。 开始 当 Go 程序启动时，它会为主机上标识的每个虚拟核心提供一个逻辑处理器（P）。如果处理器每个物理核心可以提供多个硬件线程（超线程），那么每个硬件线程都将作为虚拟核心呈现给 Go 程序。为了更好地理解这一点，下面实验都基于如下配置的 MacBook Pro 的系统。 可以看到它是一个 4 核 8 线程的处理器。这将告诉 Go 程序有 8 个虚拟核心可用于并...阅读全文
引子记得那是一个风和日丽的周末，太阳红彤彤，花儿五颜六色，96 年的普哥微信找到我，描述了一个诡异的线上问题：线上程序使用了 NIO FileChannel 的 堆内内存（HeapByteBuffer）作为缓冲区，读写文件，逻辑可以说相当简单，但根据监控，却发现堆外内存（DirectByteBuffer）飙升，导致了 OutOfMemeory 的异常。 由这个线上问题，引出了这篇文章的主题，主要包括：FileChannel 源码分析，堆外内存监控，堆外内存回收。 问题分析 & 源码分析根据异常日志的定位，发现的确使用的是 HeapByteBuffer 来进行读写，但却导致堆外内存飙升，随即翻了 FileChannel 的源码，来一探究竟。 FileChannel 使用的是 IOUtil 进行...阅读全文
Go语言在2016年再次拿下TIBOE年度编程语言称号，这充分证明了Go语言这几年在全世界范围内的受欢迎程度。如果要对世界范围内的gopher发起一次“你究竟喜欢Go的哪一点”的调查，我相信很多Gopher会提到：goroutine。 Goroutine是Go语言原生支持并发的具体实现，你的Go代码都无一例外地跑在goroutine中。你可以启动许多甚至成千上万的goroutine，Go的runtime负责对goroutine进行管理。所谓的管理就是“调度”，粗糙地说调度就是决定何时哪个goroutine将获得资源开始执行、哪个goroutine应该停止执行让出资源、哪个goroutine应该被唤醒恢复执行等。goroutine的调度是Go team care的事情，大多数gopher们无需...阅读全文
一、不可变对象 1.1 什么是不可变对象 immutable Objects就是那些一旦被创建，它们的状态就不能被改变的Objects，每次对他们的改变都是产生了新的immutable的对象，而mutable Objects就是那些创建后，状态可以被改变的Objects。 不可变的优势： （1）提高效率。如果你知道一个对象是不可变的，那么需要拷贝这个对象的内容时，就不用复制它的本身而只是复制它的地址。复制地址需要很小的内存，效率也很高；对于同时引用这个“ABC”的其他变量也不会造成影响。 （2）安全也简化了程序的开发。在多线程应用中可以不使用锁机制就能被其他线程共享。 1.2 String类为什么是不可变的 字符串常量池(String pool, String intern pool, St...阅读全文
引子最近遇到很多朋友过来咨询G1调优的问题，我自己去年有专门学过一次G1，但是当时只是看了个皮毛，因此自己也有不少问题。总体来讲，对于G1我有几个疑惑，希望能够在这篇文章中得到解决。 G1出现的初衷是什么？ G1适合在什么场景下使用？ G1的trade-off是什么？ G1的详细过程？ 如何理解G1的gc日志? G1的调优思路？ G1和CMS的对比和选择？ 一、基础知识1. 初衷在G1提出之前，经典的垃圾收集器主要有三种类型：串行收集器、并行收集器和并发标记清除收集器，这三种收集器分别可以是满足Java应用三种不同的需求：内存占用及并发开销最小化、应用吞吐量最大化和应用GC暂停时间最小化，但是，上述三种垃圾收集器都有几个共同的问题：（1）所有针对老年代的操作必须扫描整个老年代空间；（2）年轻...阅读全文
登录注册写文章首页下载APP抽奖JAVA并发（2）—PV机制与monitor（管程）机制小胖学编程关注赞赏支持JAVA并发（2）—PV机制与monitor（管程）机制在操作系统中，进程之间经常有互斥和协作两种关系，为了有效处理这两种情况，W.Dijkstra在1965年提出了信号量（semaphore 塞吗佛）和PV操作。 1. 信号量与PV机制 信号量是一种抽象的数据类型，由一个整型S变量和P原语、V原语组成（原语：即不可中断的过程）。并且这个整型变量只能由PV改变。 P(S)意味着S-1，若S-1<0，说明资源不够用，将进程加入到等待队列中； V(S)意味着S+1，若S+1<=0，说明等待队列中存在进程，那么唤醒一个等待进程； 信号是操作系统提供的一种协调共享资源访问的方法。信号量由操作...阅读全文
Netty学习（五）—IdleStateHandler心跳机制 Netty的IdleStateHandler心跳机制主要是用来检测远端是否存活，如果不存活或活跃则对空闲Socket连接进行处理避免资源的浪费； 个人主页：tuzhenyu’s page 原文地址：Netty学习（五）—IdleStateHandler心跳机制 (0)基础 心跳机制 心跳是在TCP长连接中，客户端和服务端定时向对方发送数据包通知对方自己还在线，保证连接的有效性的一种机制在服务器和客户端之间一定时间内没有数据交互时, 即处于 idle 状态时, 客户端或服务器会发送一个特殊的数据包给对方, 当接收方收到这个数据报文后, 也立即发送一个特殊的数据报文, 回应发送方, 此即一个 PING-PONG 交互. 自然地, ...阅读全文
1 Spring 版本 5.1.4.RELEASE 2 基本使用 2.1 开启对异步任务的支持 @EnableAsync和@Configuration类一起使用，如下所示，为整个Spring应用程序上下文启用注释驱动的异步处理 @Configuration @EnableAsync public class AppConfig { } 复制代码2.2 编写异步任务 @Component public class EmailService { @Async //无返回类型 public void send(String from, String to, String subject, String text) { //do send } @Async //有返回类型 public Future...阅读全文
前言 Thrift提供的网络服务模型：单线程、多线程、事件驱动，从另一个角度划分为：阻塞服务模型、非阻塞服务模型。 阻塞服务模型：TSimpleServer、TThreadPoolServer。 非阻塞服务模型：TNonblockingServer、THsHaServer和TThreadedSelectorServer。 TServer类的层次关系： 正文 TServer TServer定义了静态内部类Args，Args继承自抽象类AbstractServerArgs。AbstractServerArgs采用了建造者模式，向TServer提供各种工厂： 工厂属性 工厂类型 作用 ProcessorFactory TProcessorFactory 处理层工厂类，用于具体的TProcessor...阅读全文
总第405篇2020年 第29篇很多低延迟高可用Java服务的系统可用性经常受GC停顿的困扰，作为新一代的低延迟垃圾回收器，ZGC在大内存低延迟服务的内存管理和回收方面，有着非常不错的表现。本文从GC之痛、ZGC原理、ZGC调优实践、升级ZGC效果等维度展开，详述了ZGC在美团低延时场景中的应用，以及在生产环境中取得的一些成果。希望这些实践对大家有所帮助或者启发。ZGC（The Z Garbage Collector）是JDK 11中推出的一款低延迟垃圾回收器，它的设计目标包括：停顿时间不超过10ms；停顿时间不会随着堆的大小，或者活跃对象的大小而增加；支持8MB~4TB级别的堆（未来支持16TB）。从设计目标来看，我们知道ZGC适用于大内存低延迟服务的内存管理和回收。本文主要介绍ZGC在低...阅读全文
JVM运行时内存数据区域 2018-01-20 Tommy.Tesla JVM 虚拟机栈 方法区 Java堆 运行时常量池 1 讨论背景 周志明老师写的《深入理解Java虚拟机》应该很多程序员都读过，第二章中阐述了Java虚拟机在执行Java程序的过程中是如何管理内存的，以及这些内存是如何被划分成更细的逻辑区域的。如下图所示，按照书中的论述JVM运行时数据区域包含以下几个数据区[1]。 按照《Java虚拟机规范（Java SE 7版）》，各区域的功能简要介绍如下： 程序计数器：各线程私有。用于记录每个线程下一条待执行的字节码指令以及相关信息。这是唯一的不会抛出OOM异常的区域。 Java虚拟机栈：各线程私有。虚拟机栈由一个个的栈帧组成，每个栈帧包含了对应方法执行所需要的信息，具体包括：局部变...阅读全文
过去的几天里，我把JVM内部的垃圾回收算法和垃圾回收器。还剩下最后一个G1回收器没有说，我们今天数一下G1回收器和常见的参数配置。G1回收器G1 (Garbage-First)是一款面向服务器的垃圾收集器，主要针对配备多颗处理器及大容量内存的机器，以极高概率满足GC停顿时间要求的同时,还具备高吞吐量性能特征。我们会想一下我们上次课说的parNew+CMS回收器已经很厉害了，但是我们的服务器是那种超大内存的服务器呢？比如内存是32G的，可能最后我们的堆内存需要分配到十多个G，我们用parNew+CMS对于STW时间还是很长的，需要清理的越多，时间消耗越长啊，但是我们的G1垃圾回收器可以做到限制时间来收集，我们先看一下G1的模型图。来解释一下这个图，G1垃圾回收器，会把你的堆内存分为 大小相等 ...阅读全文
更多精彩文章。 《微服务不是全部，只是特定领域的子集》 《“分库分表" ？选型和流程要慎重，否则会失控》 这么多监控组件，总有一款适合你 《使用Netty，我们到底在开发些什么？》 《这可能是最中肯的Redis规范了》 《程序员画像，十年沉浮》 最有用系列： 《Linux生产环境上，最常用的一套“vim“技巧》 《Linux生产环境上，最常用的一套“Sed“技巧》 《Linux生产环境上，最常用的一套“AWK“技巧》 如果你认同这些知识，欢迎关注微信公众号小姐姐味道 ID：xjjdog 假设我们有一个线程池，由于程序需要，我们向该线程池中提交了好多好多任务，但是 这些任务都没有对异常进行try catch处理，并且运行的时候都抛出了异常 。这会对线程池的运行带来什么影响？ 正确答案是：没有影...阅读全文
（接上文《Java并发基石——所谓“阻塞”：Object Monitor和AQS（1）》） 3、AQS 上文我们较为详细的介绍了Java线程调度中的Object Monitor机制以及其工作情况，本文我们开始介绍Java线程调度中的另一种实现机制AQS，包括它的使用方式和底层工作原理。 3.1、AQS介绍 JAVA中的AQS队列从根本上来讲是基于CAS的典型实现（也是使用volatile关键字的典型案例）。从技术层面的依赖关系上讲它首先依赖于java中的java.util.concurrent.locks.LockSupport类，这个类在本专题之前的文章中已经介绍过，专门用来实现应用程序级别对硬件级别的“同步多线程(SMT)”技术的封装。 同步多线程(SMT) 技术是一种硬件层面的技术，具...阅读全文
Java里，每个线程都有自己的ThreadLocalMap，里边存着自己私有的对象。Map的Entry里，key为ThreadLocal对象，value即为私有对象T。在spring MVC中，常用ThreadLocal保存当前登陆用户信息，这样线程在任意地方都可以取到用户信息了。 public class UserContext { private static final ThreadLocal
相关示例代码见：http://download.csdn.net/detail/hjx_1000/8374829 五、 Thrift服务器端几种工作模式分析与总结 Thrift为服务器端提供了多种工作模式，本文中将涉及以下5中工作模式：TSimpleServer、TNonblockingServer、THsHaServer、TThreadPoolServer、TThreadedSelectorServer，这5中工作模式的详细工作原理如下： 1. TSimpleServer模式 TSimpleServer的工作模式只有一个工作线程，循环监听新请求的到来并完成对请求的处理，它只是在简单的演示时候使用，它的工作方式如图5.1所示： 图5.1 TSimpleServer的工作模式 TSimpleS...阅读全文
在两年前的文章 JVM 学习——垃圾收集器与内存分配策略 中，已经对 GC 算法的原理以及常用的垃圾收集器做了相应的总结。今天这篇文章主要是对生产环境中（Java7）常用的两种垃圾收集器（ParNew：年轻代，CMS：老年代）从日志信息上进行分析，做一下总结，这样当我们在排查相应的问题时，看到 GC 的日志信息，不会再那么陌生，能清楚地知道这些日志是什么意思，GC 线程当前处在哪个阶段，正在做什么事情等。 ParNew 收集器ParNew 收集器是年轻代常用的垃圾收集器，它采用的是复制算法，youngGC 时一个典型的日志信息如下所示： 12018-04-12T13:48:26.134+0800: 15578.050: [GC2018-04-12T13:48:26.135+0800: 155...阅读全文
