众所周知，Docker相比于虚拟机，在隔离性上略显不足，而这个不足的存在使得其在安全等方面可能存在着一些隐患（当然了，蜂巢采用在虚拟机中运行容器等的方法，使得运行在上面的业务绝对安全）。但今天的重点并不是要对这方面的问题进行探讨，本文主要是说明和解决因 Docker隔离性不足所引入的资源显示问题。 这是什么意思呢，请看以下示例（文中示例均基于 Docker 1.12.0）： 由上面的示例我们可能会联想到这样的场景：如果我们在一台物理机上为不同用户提供了不同规格的容器作为开发机使用，但是每个用户进入容器却能看到完整的物理机资源，一方面这会让用户很困惑，另一方面又泄露了物理机信息，这对用户来说显得很不友好。 那么为什么会出现这种情况呢？ 问题原因 虽然 Docker原生的资源查询接口可以正确地识...阅读全文
Tmux 是一个终端复用器（terminal multiplexer），非常有用，属于常用的开发工具。 本文介绍如何使用 Tmux。 一、Tmux 是什么？ 1.1 会话与进程 命令行的典型使用方式是，打开一个终端窗口（terminal window，以下简称"窗口"），在里面输入命令。用户与计算机的这种临时的交互，称为一次"会话"（session） 。 会话的一个重要特点是，窗口与其中启动的进程是连在一起的。打开窗口，会话开始；关闭窗口，会话结束，会话内部的进程也会随之终止，不管有没有运行完。 一个典型的例子就是，SSH 登录远程计算机，打开一个远程窗口执行命令。这时，网络突然断线，再次登录的时候，是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了，里面的进程也随之消失了。 为...阅读全文
Why HTTP/2HTTP/1.1 是文本协议对用户友好，但对计算机不友好 (parse 不高效)TCP 连接管理TCP 慢启动，因此尽可能的复用连接 (keep-alive)一个 TCP 连接上只能有一个 request/response，可以使用 pipeline 实现并发请求，但会有头部阻塞问题，现代浏览器默认不启用 pipeline，而是通过对一个域名同时建立多个连接 workaround头部 field 重复，造成资源浪费资源没有优先级HTTP/2 特性：HTTP/2 没有改变 HTTP/1.1 的语义 (method, status code, URI, header 均保留)，其改变了数据是如何传输的。多路复用: 为了更高效地利用多路复用，另外实现了 Flow Control...阅读全文
一：流量控制什么是流量控制？流量控制的目的？如果发送者发送数据过快，接收者来不及接收，那么就会有分组丢失。为了避免分组丢失，控制发送者的发送速度，使得接收者来得及接收，这就是流量控制。流量控制根本目的是防止分组丢失，它是构成TCP可靠性的一方面。如何实现流量控制？由滑动窗口协议（连续ARQ协议）实现。滑动窗口协议既保证了分组无差错、有序接收，也实现了流量控制。主要的方式就是接收方返回的 ACK 中会包含自己的接收窗口的大小，并且利用大小来控制发送方的数据发送。流量控制引发的死锁？怎么避免死锁的发生？当发送者收到了一个窗口为0的应答，发送者便停止发送，等待接收者的下一个应答。但是如果这个窗口不为0的应答在传输过程丢失，发送者一直等待下去，而接收者以为发送者已经收到该应答，等待接收新数据，这样双...阅读全文
拿沃尔玛来说，现在要进行OLAP分析，针对三个维分别是时间维，商品维和地点维，这三个维度抽象成图像就是一个立方体，也就是Data Cube，在时间维上是四个季度，在地点维上，是北京、洛杉矶、伦敦、东京、柏林等等，在商品维上是电子类、食品类、生活用品类，Data Cube中的每一个小立方体表示某个地点（比如北京），在某个时间（比如第一季度）在某类商品上（比如电子类）的销售额。 现在开始Rool-Up，就是将细度减少，比如你将地点扩大为北美洲、亚洲、欧洲（这是根据你原有的地点对应有哪些大洲来扩大的），现在每一个小立方体的含义就变成在某个大洲（比如亚洲）、某个时间（第一季度）、某类商品（电子类商品）的销售额。简单来说，Rool-UP类似对维度的汇总。 而Drill-Down就是将细度增加，比如我们...阅读全文
我写的《Flink原理与实践》已由人民邮电出版社出版，感兴趣的朋友请到电商平台购买，谢谢！微信公号：ilulaoshi 个人网站：https://lulaoshi.info/flink/chapter-time-window/window.html我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Window stream .keyBy(...) <- 按照一个Key进行分组 .window(...) <- 将数据流中的元素分配到相应的窗口中 ...阅读全文
浅谈flink-cdc的使用 chenzuoli的博客 12-19 3961 Flink cdc1.x和2.x区别太大了，如果能升级最好了，不能升级，那么我们怎么避免1.x给我们带来的问题呢？ 下面结合我在公司生产的实践，给大家说说。 解决Ubuntu挂载U盘失败的解决方法 csd_meb的专栏 03-03 9096 问题：unable to mount …: not authorized 首先：sudo fdisk -l 列出当前系统下的文件设备 然后创建一个临时目录，用于挂在U盘 sudo mkdir /media/external 这里也可以换其他的目录 最后将U盘挂在到刚刚创建的临时目录，由于我的U盘是fat32格式，所以使用vfat参数,/dev/s 深入理解 Flink 容错机制...阅读全文
下载地址：百度网盘SpringCloud+Vertx+Disruptor 金融业撮合交易系统实战金融软件工程师一直是高薪争抢的稀缺人才，作为金融软件工程师，需要同时具备软件研发基础和金融业务知识。这门课对于想涉猎、了解以及从事金融行业的技术人员，非常有帮助。课程将带你总览金融行业的IT全景图，重点讲解证券交易中的撮合业务，并利用Vue+Spring Boot等技术栈，从搭建前后端分离的委托终端开始，带你从无到有开发一个高可用低延时的撮合交易系统。助力你成为为国家金融行业基础设施建设添砖加瓦的IT工程师适合人群有前后端基础知识，想投身证券金融行业做开发的同学想进入Fintech行业或银行业，非银金融，互联网金融业的IT工程师技术储备要求具备Java、JavaScript基础了解Spring C...阅读全文
# 分布式理论 - BASEBASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。@pdai分布式理论 - BASE什么是BASECAP 与 BASE 关系CAP 与 ACID 关系# 什么是BASEeBay 的架构师 Dan Pritchett 源于对大规模分布式系统的实践总结，在 ACM 上发表文章提出 BASE 理论，BASE 理论是对 CAP 理论的延伸，核心思想是即使无法做到强一致性（Strong Consistency，CAP 的一致性就是强一致性），但应用可以采用适合的方式达到最终一致性（...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
一课掌握Java并发编程精髓（完结13章） 分享一套Java课程——一课掌握Java并发编程精髓（完结13章），附源码+PDF课件下载。 并发编程 1.多线程 Java 是最先支持多线程的开发的语言之一，Java 从一开始就支持了多线程能力。由于现在的 CPU 已经多是多核处理器了,是可以同时执行多个线程的。 多线程优点 多线程技术使程序的响应速度更快 ,可以在进行其它工作的同时一直处于活动状态,程序性能得到提升。 性能提升的本质 就是榨取硬件的剩余价值(硬件利用率)。 并行与并发 单核 cpu 下，线程实际是串行执行的。操作系统中有一个组件叫做任务调度器，将 cpu 的时间片,分给不同的线程使用，只是由于 cpu 在线程间（时间片很短）的切换非常快，人类感觉是同时运行的。 总结为一句话就是...阅读全文
近日，国际人工智能顶会CVPR 2024举办的第6届自然场景情感行为分析挑战赛（6th Workshop and Competition on Affective Behavior Analysis in-the-wild，简称ABAW）公布比赛结果，天翼云AI团队（CtyunAI）在情感识别任务中表现出色，斩获双赛道亚军、单个赛道季军，并受邀在CVPR ABAW研讨会上作论文分享。这是继天翼云在CVPR中荣获多次佳绩后再一次斩获殊荣。CVPR会议是由IEEE主办的关于计算机视觉和模式识别的国际学术会议，收录了该领域最新的研究成果和技术发展，是全球计算机视觉三大顶/级会议之一。ABAW竞赛是由国际顶/级计算机视觉研究者和科学家们共同发起的竞赛，致力于解决自然情境下计算机对人的情感行为...阅读全文
近日，Meta公司发布了其最新研发成果——开源大模型Llama 3，共包含Llama 3 8B和Llama 3 70B两种规格，参数量级分别为80亿与700亿，并表示这是目前同体量下性能最好的开源模型。相较于前代产品Llama 2，Llama 3在预训练数据上扩大了整整7倍（达到15T tokens），并且在数据质量与训练方式上也进行了深度优化，这无疑为开源大型语言模型（LLM）领域发展再次书写了辉煌篇章。为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术，天翼云基于开源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架, 搭建了一键部署、开箱即用的云主机镜像。同时，天翼云CPU/GPU云主机近期即将上线Llama 3大模...阅读全文
