引言： 个人理解的线程，协程和单，多核线程 单核CPU上运行的多线程程序, 同一时间只能一个线程在跑, 系统帮你切换线程而已（cpu时间切片）, 系统给每个线程分配时间片来执行, 每个时间片大概10ms左右, 看起来像是同时跑, 但实际上是每个线程跑一点点就换到其它线程继续跑,效率不会有提高的,切换线程反倒会增加开销（线程的上下文切换），宏观的可看着并行，单核里面只是并发，真正执行的一个cpu核心只在同一时刻执行一个线程（不是进程）。 多线程的用处在于，做某个耗时的操作时，需要等待返回结果，这时用多线程可以提高程序并发程度。如果一个不需要任何等待并且顺序执行能够完成的任务，用多线程是十分浪费的。 个人见解，对于Thread Runable以及ThreadPoolExcutor等建立的线程，线...阅读全文
一. Go GC 要点先来回顾一下GC的几个重要的阶段: Mark Prepare - STW做标记阶段的准备工作，需要停止所有正在运行的goroutine(即STW)，标记根对象，启用内存屏障，内存屏障有点像内存读写钩子，它用于在后续并发标记的过程中，维护三色标记的完备性(三色不变性)，这个过程通常很快，大概在10-30微秒。 Marking - Concurrent标记阶段会将大概25%(gcBackgroundUtilization)的P用于标记对象，逐个扫描所有G的堆栈，执行三色标记，在这个过程中，所有新分配的对象都是黑色，被扫描的G会被暂停，扫描完成后恢复，这部分工作叫后台标记(gcBgMarkWorker)。这会降低系统大概25%的吞吐量，比如MAXPROCS=6，那么GC P期...阅读全文
一般程序的内存分配在讲Golang的内存分配之前，让我们先来看看一般程序的内存分布情况： 以上是程序内存的逻辑分类情况。 我们再来看看一般程序的内存的真实(真实逻辑)图: Go的内存分配核心思想Go是内置运行时的编程语言(runtime)，像这种内置运行时的编程语言通常会抛弃传统的内存分配方式，改为自己管理。这样可以完成类似预分配、内存池等操作，以避开系统调用带来的性能问题，防止每次分配内存都需要系统调用。 Go的内存分配的核心思想可以分为以下几点： 每次从操作系统申请一大块儿的内存，由Go来对这块儿内存做分配，减少系统调用 内存分配算法采用Google的TCMalloc算法。算法比较复杂，究其原理可自行查阅。其核心思想就是把内存切分的非常的细小，分为多级管理，以降低锁的粒度。 回收对象内存...阅读全文
本篇文章简要介绍了go语言执行跟踪程序(Trace)，从功能和性能上阐述了它的优势。前言你有没有考虑过，你的goroutines是如何被go的runtime系统调度的？是否尝试理解过为什么在程序中增加了并发，但并没有给它带来更好的性能？go执行跟踪程序可以帮助回答这些疑问，还有其他和其有关性能的问题，例如延迟、竞争和较低的并行效率。该工具是Go 1.5版本加入的，通过度量go语言特定事件的运行时，例如：创建，启动和终止goroutines阻塞/非阻塞goroutines(syscalls, channels, locks)网络 I/OSyscalls垃圾回收以上事件的所有数据会被跟踪器收集，而且不会做任何类型的聚合和抽样。这在一些复杂的应用程序中，通过 go tool trace 命令对其进...阅读全文
Golang使用Groutine和channels实现了CSP(Communicating Sequential Processes)模型，channles在goroutine的通信和同步中承担着重要的角色。在GopherCon 2017中，Golang专家Kavya深入介绍了 Go Channels 的内部机制，以及运行时调度器和内存管理系统是如何支持Channel的，本文根据Kavya的ppt学习和分析一下go channels的原理，希望能够对以后正确高效使用golang的并发带来一些启发。以一个简单的channel应用开始，使用goroutine和channel实现一个任务队列，并行处理多个任务。func main(){ //带缓冲的channel ch := make(chan T...阅读全文
Golang的主要 设计目标之一就是面向大规模后端服务程序，网络通信这块是服务端 程序必不可少也是至关重要的一部分。在日常应用中，我们也可以看到Go中的net以及其subdirectories下的包均是“高频+刚需”，而TCP socket则是网络编程的主流，即便您没有直接使用到net中有关TCP Socket方面的接口，但net/http总是用到了吧，http底层依旧是用tcp socket实现的。 网络编程方面，我们最常用的就是tcp socket编程了，在posix标准出来后，socket在各大主流OS平台上都得到了很好的支持。关于tcp programming，最好的资料莫过于W. Richard Stevens 的网络编程圣经《UNIX网络 编程 卷1：套接字联网API》 了，书中...阅读全文
### 引言： #### 个人理解的线程，协程和单，多核线程 1. 单核CPU上运行的多线程程序, 同一时间只能一个线程在跑, 系统帮你切换线程而已（cpu时间切片）, 系统给每个线程分配时间片来执行, 每个时间片大概10ms左右, 看起来像是同时跑, 但实际上是每个线程跑一点点就换到其它线程继续跑,效率不会有提高的,切换线程反倒会增加开销（线程的上下文切换），宏观的可看着并行，单核里面只是并发，真正执行的一个cpu核心只在同一时刻执行一个线程（不是进程）。 2. 多线程的用处在于，做某个耗时的操作时，需要等待返回结果，这时用多线程可以提高程序并发程度。如果一个不需要任何等待并且顺序执行能够完成的任务，用多线程是十分浪费的。 3. 个人见解，对于Thread Runable以及Thr...阅读全文
一、前言Go语言的内存模型规定了一个goroutine可以看到另外一个goroutine修改同一个变量的值的条件，这类似java内存模型中内存可见性问题（Java内存可见性问题可以参考拙作：Java并发编程之美一书）。。当多个goroutine并发同时存取同一个数据时候必须把并发的存取的操作顺序化，在go中可以实现操作顺序化的工具有高级的通道（channel）通信和同步原语比如sync包中的Mutex(互斥锁)、RWMutex(读写锁)或者和sync/atomic中的原子操作。二、Happens Before原则当程序里面只有一个goroutine时候，虽然编译器和CPU由于开启了优化功能可能调整读写操作的顺序，但是这个调整是不会影响程序的执行正确性:a := 1//1 b := 2//2 ...阅读全文
回顾本系列的第一部分，重点讲述了操作系统调度器的各个方面，这些知识对于理解和分析 Go 调度器的语义是非常重要的。在本文中，我将从语义层面解析 Go 调度器是如何工作的，并重点介绍其高级特性。Go 调度器是一个非常复杂的系统，我们不会过分关注一些细节，而是侧重于剖析它的设计模型和工作方式。我们通过学习它的优点以便够做出更好的工程决策。 开始 当 Go 程序启动时，它会为主机上标识的每个虚拟核心提供一个逻辑处理器（P）。如果处理器每个物理核心可以提供多个硬件线程（超线程），那么每个硬件线程都将作为虚拟核心呈现给 Go 程序。为了更好地理解这一点，下面实验都基于如下配置的 MacBook Pro 的系统。 可以看到它是一个 4 核 8 线程的处理器。这将告诉 Go 程序有 8 个虚拟核心可用于并...阅读全文
Go语言在2016年再次拿下TIBOE年度编程语言称号，这充分证明了Go语言这几年在全世界范围内的受欢迎程度。如果要对世界范围内的gopher发起一次“你究竟喜欢Go的哪一点”的调查，我相信很多Gopher会提到：goroutine。 Goroutine是Go语言原生支持并发的具体实现，你的Go代码都无一例外地跑在goroutine中。你可以启动许多甚至成千上万的goroutine，Go的runtime负责对goroutine进行管理。所谓的管理就是“调度”，粗糙地说调度就是决定何时哪个goroutine将获得资源开始执行、哪个goroutine应该停止执行让出资源、哪个goroutine应该被唤醒恢复执行等。goroutine的调度是Go team care的事情，大多数gopher们无需...阅读全文
序言最近一位非常热心的网友建议结合demo来分析一下goroutine的调度器，而且还提供了一个demo代码，于是便有了本文，在此对这位网友表示衷心的感谢！这位网友提供的demo程序可能有的gopher以前见过，已经知道了具体原因，但本文假定我们是第一次遇到这种问题，然后从零开始，通过一步一步的分析和定位，最终找到问题的根源及解决方案。虽然本文不需要太多的背景知识，但最好使用过gdb或delve调试工具，了解汇编语言及函数调用栈当然就更好了。本文我们需要重点了解下面这3个内容。调试工具无法准确显示函数调用栈时如何找到函数调用链；发生GC时，如何STOP THE WORLD；什么时候抢占调度不会起作用以及如何规避。本文的实验环境为AMD64 Linux + go1.12Demo程序及运行现象p...阅读全文
背景 在多核CPU机器下，为了充分利用多核计算机的资源，我们需要进行并发编程，提高对CPU的利用率， # 提示：如你已了解或无意了解并行和并发，可以跳过本段，直达标题 ”传统并发和基于消息传递的并发“ 并行(parallel): 物理上同一时间处理不同任务 并发(concurrent): 逻辑上处理同时的任务的能力 通常所说的并发编程，也就是说它允许多个任务同时执行，但实际上并不一定在同一时刻被执行。 在单核处理器上，通过多线程共享CPU时间片串行执行(并发非并行)。 而并行则依赖于多核处理器等物理资源，让多个任务可以实现并行执行(并发且并行)。 如下是一些编程语言，以及它们相应的并发机制: Actors Model — Erlang, Scala, Rust CSP — Go-lang 多...阅读全文
【完结28章】Go开发疑难杂症终结者通关指南 随着互联网的普及和信息化的发展，软件项目的开发也越来越受到重视。在众多的编程语言中，Go语言因其强大的性能、高效的并发能力和简单易学的语法成为了众多开发者的首选。 并发控制与竞态条件 Go语言的并发模型被称为“goroutine”，它使得并发开发变得非常简单。但是并发开发也会面临一些挑战，特别是竞态条件。竞态条件指在多线程环境下，由于线程执行的顺序不确定，导致程序输出结果的不确定性。在Go语言中，可以使用互斥锁（mutex）或通道（channel）来解决竞态条件的问题。互斥锁可以在访问共享资源前进行加锁，在访问结束后释放锁，保证同一时间只有一个goroutine可以访问该资源。而通道可以将数据从一个goroutine发送给另一个goroutine...阅读全文
【完结21章附电子书】2024全新GO工程师面试总攻略，助力快速斩获offer GO工程师面试总攻略主要包括以下几个方面：基础知识复习、进阶知识掌握、项目经验准备、面试技巧提升、实战演练以及持续学习与社区参与。 一、基础知识复习 Go语言基础：理解Go语言的基本语法，如变量声明、控制结构、函数等。 类型系统：熟悉基本数据类型、复合类型以及类型转换。 并发模型：深入理解goroutine和channel的工作原理及其在并发编程中的应用。 内存管理：了解垃圾回收机制及如何避免内存泄漏。 标准库：熟悉常用的包如fmt、io/ioutil、net/http等，并能灵活运用。 二、进阶知识掌握 错误处理：掌握使用error类型进行错误处理的方法，了解如何优雅地处理程序中的异常情况。 测试：学会编写单...阅读全文
Go从入门到进阶，大厂案例全流程实践 获课：jzit.top/5244/ 获取ZY↑↑方打开链接↑↑ 如何极速构建实用的Go语言体系 要极速构建一个实用的 Go 语言体系，主要可以从以下几个步骤进行系统化学习和实践： 1. 掌握 Go 语言基础 语法基础：首先要理解 Go 语言的基本语法和特性，包括数据类型、控制结构、函数、数组、切片、映射等。 数据类型：了解常见的数据类型（int, float, string, bool等）及其零值、声明方式。 控制结构：掌握 if, switch, for, defer, go, select 等基本控制语句。 函数：学会如何定义函数、传参、返回值及匿名函数的使用。 结构体和接口：深入理解 Go 的面向对象特性，例如结构体（struct）、接口（inte...阅读全文
go高手必修课-直击go开发中各类疑难问题解决来百度APP畅享高清图片获课：itazs.fun/14325/获取ZY↑↑方打开链接↑↑Go语言开发中遇到疑难问题是很常见的，解决这些问题通常需要理解错误信息、查阅官方文档和社区资源、以及应用调试技巧。下面是一些常见问题及其解决方案：编译错误：如果遇到了编译器报错，首先仔细阅读错误信息，它通常会给出问题发生的位置和原因。检查代码是否符合Go语言的语法规范，变量类型是否匹配等。运行时错误（Panic）：使用defer语句包裹recover()来捕获可能发生的panic，并进行适当的处理。确保在访问数组或切片元素之前检查索引范围，避免越界访问。并发编程问题：Go的goroutine和channel机制非常强大，但不当使用可能会导致死锁（deadlo...阅读全文
获课：97java.xyz/5244/获取ZY↑↑方打开链接↑↑摘要：本文以Go语言为核心，从入门到进阶，结合大厂案例，全方位解析Go语言在实际项目中的应用，帮助读者掌握Go语言的核心技能，助力职业发展。一、引言近年来，Go语言因其简洁、高效、并发性强等特点，逐渐成为众多企业的首选开发语言。本文将带领大家从Go语言的基础知识出发，逐步深入，并结合大厂案例，全流程实践Go语言的开发过程。二、Go语言入门Go语言简介Go语言是由Google开发的一种静态强类型、编译型、并发型语言，具有高性能、简洁易懂的特点。Go语言环境搭建（1）下载安装Go语言环境；（2）配置环境变量；（3）验证安装成功。Go语言基础语法（1）变量和常量；（2）数据类型；（3）流程控制；（4）函数和方法；（5）错误处理。三、G...阅读全文
深入Go底层原理，重写Redis中间件实战（完结无秘）获课：999it点top/1997/获取ZY↑↑方打开链接↑↑Go在高并发下的数据结构Go语言在高并发环境下的数据结构选择与优化引言Go语言，因其内置的goroutine和channel机制，在处理高并发任务时表现出色。然而，为了确保在高并发场景下程序的性能、正确性和可维护性，选择合适的数据结构是至关重要的。本文将探讨一些适合于Go语言高并发编程的数据结构，并提供关于如何有效使用它们的建议。1. 并发安全的Map：sync.MapGo标准库提供的sync.Map是一个专门设计用于并发访问的键值存储。它比传统的map更高效，因为它避免了对整个映射进行锁操作，而是针对每个元素进行细粒度锁定。这使得在多线程环境中读写不同键对应的值时不会互相阻...阅读全文
体系课-慕课Go开发工程师2023全新版（完结）成为慕课Go开发工程师：从入门到进阶的成长之路作为一名开发工程师，掌握多个编程语言和技术栈是进入开发行业的基本能力，而Go语言，作为近年来备受欢迎的编程语言之一，凭借其高效的性能、简洁的语法和出色的并发模型，已经成为许多公司后端开发、云计算和微服务架构的首选语言之一。对于学习者来说，成为一名Go开发工程师，不仅需要掌握Go语言的基础，还需要具备开发工具、设计模式、性能优化等多方面的能力。在这篇文章中，我们将从入门、进阶到实战，介绍如何通过慕课网等在线教育平台，系统学习Go语言，成为一名高效的Go开发工程师。一、Go语言简介Go语言（也称为Golang）是由Google开发的一种静态类型、编译型语言，首次发布于2009年。Go的设计目标是提高程序...阅读全文
JKSJ-初级go工程师训练营【完结】获课：789it.top/6141/JKSJ-初级Go工程师训练营" 看起来像是一个培训项目或学习课程，旨在帮助学员成为初级的Go语言工程师。Go语言（又称Golang）是一种由Google开发的编程语言，广泛用于系统编程、Web开发、微服务和云计算等领域。通常，初级Go工程师训练营会包括以下内容：Go语言基础：学习Go的语法、数据结构、面向对象编程（尽管Go没有传统的类和继承机制）、并发编程等基础内容。开发工具和环境：如何安装Go语言开发环境（例如Go工具链、IDE、调试工具等）。项目实战：通常会通过一些简单的项目或案例来帮助学员理解如何使用Go进行实际的开发工作。并发编程：Go语言的一大亮点就是其强大的并发支持，通过goroutine和channe...阅读全文
课程概述这个课程旨在帮助学员掌握使用Go语言开发高性能、高并发的服务端应用程序，特别适用于构建微服务架构和实现分布式系统的高可用性。通过深入学习Go语言的核心特性和最佳实践，学员将能够设计并实现复杂的后端系统。获课：keyouit.xyz/1922/获取ZY↑↑方打开链接↑↑主要内容Go语言基础与进阶基础知识：包括语法、数据类型、控制结构等。高级特性：深入理解接口(interface)、通道(channel)、goroutine等Go语言核心概念，这些是实现并发编程的基础。标准库：熟悉Go的标准库，特别是那些用于网络编程、文件操作、加密等的包。并发编程Goroutines和Channels：学习如何利用Go轻量级线程(goroutine)和通道(channel)来编写高效的并发程序。同步机制...阅读全文
Golang的`goroutine`与Java的线程在高并发场景下的性能差异主要体现在**上下文切换开销**和**CPU利用率**上。以下从多个角度分析两者的差异及实际效益： --- ### 一、上下文切换开销对比 #### 1. **线程（Java）的上下文切换** - **内核态切换**：Java线程基于操作系统内核线程（LWP），切换时需要从用户态切换到内核态，涉及模式切换和完整的寄存器保存（如16个通用寄存器、PC、SP等），耗时约**1-10微秒**。 - **调度开销大**：线程调度由操作系统内核完成，采用抢占式调度，频繁切换会导致缓存失效和CPU时间浪费。 #### 2. **Goroutine（Go）的上下文切换** - **用户态调度**：Go的调度器在用户空间完成协程切换...阅读全文
虚拟线程或协程的设计核心在于其轻量级特性，允许高并发场景下高效调度资源。当它们被放入池中重用时，这种优势会被削弱 ### **1. 资源调度的灵活性受限** - **虚拟线程（如Java）**：其设计目标是按需创建，遇到阻塞时立即挂起并释放底层线程。池化会限制虚拟线程的数量（如固定大小的线程池），导致任务必须等待可用线程，无法充分利用其“无限”扩展的能力。 - **Goroutine（Golang）**：Go运行时默认动态管理协程，无需池化即可高效调度。若强行池化，固定数量的协程池会限制并发任务数，违背了协程“按需创建”的设计初衷，导致任务排队等待，降低吞吐量。 ### **2. 阻塞操作的负面影响被放大** - 池化后，若所有池中的虚拟线程或协程均被阻塞（如等待I/O），新的任务将无法立即...阅读全文
获课：weiranit.fun/14413/获取ZY↑↑方打开链接↑↑第 1 - 2 课时：并发编程深度优化1.1 Goroutine 调度原理（GMP 模型）理论剖析Goroutine 作为 Golang 并发编程的核心，其调度机制直接影响程序性能。课程首先深入讲解 GMP 模型，即 Goroutine、M（Machine，操作系统线程）、P（Processor，逻辑处理器）之间的关系。详细分析 Goroutine 如何在 M 和 P 的协助下，实现高效的并发调度，包括 Goroutine 的创建、调度、暂停与恢复等生命周期管理。通过图文并茂的方式，展示 GMP 模型的工作流程，帮助学员理解其内部机制。案例实操为了让学员更好地理解 GMP 模型，课程将通过多个实际案例，展示 ...阅读全文
