前言argo 是一个基于 kubernetes CRD 实现的一个 Workflow(工作流) 工具，基于 kubernetes 的调度能力实现了工作流的控制和任务的运行，同时提供了一个 UI 来方便我们查看任务的进程和详情等等；因为基于 kubernetes CRD 来进行 Workflow 的配置，所以我们使用标准的 kubernetes 来进行相关的配置，并可以直接 kubectl 来进行管理；在 argo 配置 Workflow 的实现中，template 是一个重要的概念，他是我们配置 Workflow 的支撑；templatetemplate 在 argo 中代表可运行的节点，一共有 6 种分类，分别是 Container, Script, Resource, Suspend, ...阅读全文
TalkingData 440 Flink Slot详解与Job Execution Graph优化 flink 阅读约 18 分钟 前言 近期将Flink Job从Standalone迁移至了OnYarn，随后发现Job性能较之前有所降低：迁移前有8.3W+/S的数据消费速度，迁移到Yarn后分配同样的资源但消费速度降为7.8W+/S，且较之前的消费速度有轻微的抖动。经过原因分析和测试验证，最终采用了在保持分配给Job的资源不变的情况下将总Container数量减半、每个Container持有的资源从1C2G 1Slot变更为2C4G 2Slot的方式，使该问题得以解决。 经历该问题后，发现深入理解Slot和Flink Runtime Graph是十分必要的，于是撰写了这篇文章。本文内容分...阅读全文
企业不同的发展阶段对项目管理的形式、对项目经理有着不同的期望，企业的发展正对应着一个项目经理的发展方向。 一、从零到一组建项目管理团队，重点在理不在管 首先，对于从零开始组建项目管理团队的公司，这时候普遍的问题是技术团队开始庞大（可能超过100人了），天天加班，需求推进缓慢。 项目管理团队在这个时点介入的重点在于理而不在于管： 1、首要任务是梳理清楚目前各个业务线或者产品线的工作流程，并清晰化当前正在做的以及规划中的各种需求和资源。 2、派驻项目经理到具体的业务产品线里，跟技术团队一起工作，规范化日常的需求或小项目，例如按周或按日出进度报告，把每一个需求都具体到明确的人来跟进。 3、理清项目完成的进度，解决方案，让老板能一目了然看清楚整个团队在做些什么...阅读全文
某家婴儿车公司的CEO接到了一个严重的产品质量问题投诉，句句在理，针针见血。CEO非常重视，紧急召开高阶主管会议，研究对策。讨论几小时后，各部门都有不少改进的提议，执行长也提出很多要求。最后执行长说：「不看广告看疗效，大家要立刻行动起来。散会。」 CEO对大家的态度都很满意。直到有一天，他问负责产品的副总裁：「上次开会时，我让你派人去德国考察一下他们的质量管理体系，你们去了吗？感觉怎么样？」 副总裁说：「啊？我正在忙质量改进的事，还没空想这件事，真要去考察啊？」 这么重要的事情，副总裁居然没放在心上。为什么会这样？是因为副总裁笨吗？是因为他缺乏执行力吗？都不是。因为这家公司缺少一种叫作「PDCA循环」的管理文化。 架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖...阅读全文
一个简单的Spring定时任务的 demo，全部代码见下载地址：https://download.csdn.net/download/yx0628/10511753 对于 applicationContext 的配置如下：调度器线程池 task:scheduler 和 task:executor 的意义在后边例子中会详细的测试和说明。
文章目录 官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html 1.任务 Task:任务 是一个阶段多个相同功能的subtask的集合 ==》 对比于spark中的taskSet SubTask:子任务 subTask是Flink中任务的最小单元，subta...阅读全文
点击上方蓝字关注一下吧 看完记得点个关注呦~，了解更多职场及大数据，人工智能，java等技术文章。 在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗？Flink的并行度设置是怎样的？2.任务并行度与slot之间的关系？3.Flink并行度设置优先级？4.并行的任务，需要占用多少slot？5. slot并行的条件？6. taskmanager与slot之间的关系？7.什么是slot共享，slot共享的好处？8.一个流处理程序，到底包含多少个任务？ 接下来的介绍相信你会对这些问题有一个答案，当然文章最后也有对应的参考答案×02 概念解读taskmanager：Flink中每一个worker(TaskManager)都...阅读全文
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的受管理的内存。...阅读全文
本文分享自天翼云开发者社区《NUMA架构介绍及优缺点分析》，作者:郁****航什么是NUMA架构1、概念NUMA（Non-Uniform Memory Access，非统一内存访问）架构是一种针对多处理器系统的内存组织方式。在这种架构中，处理器被分配到不同的节点，每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存，但访问本地内存的速度要快于访问其他节点的内存。 2、设计原理NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加，内存带宽需求也会相应提高。然而，在传统的统一内存访问（UMA）架构中，所有处理器共享同一块内存，导致内存访问延迟增加、内存带宽成为系统性能的瓶颈。NUMA架构通过将内存分配到各个节点，使处理器优先访问本地内存，降低内...阅读全文
 一、Spark3.0.0运行环境安装 Spark常见部署模式： Local模式：在本地部署单个Spark服务 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。 在IDEA中运行代码的环境称之为开发环境，和Local模式还是有区别的。 Standalone模式：Spark自带的任务调度模式。（国内常用） YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了...阅读全文
两会期间，“新质生产力”是热点词汇之一。习总shu记在参加十四届全国人大二次会议江苏代表团审议时强调，要牢牢把握高质量发展这个首要任务，因地制宜发展新质生产力。政府工作报告提出，大力推进现代化产业体系建设，加快发展新质生产力。全国政协委员，中国电信董事长、党组书记柯瑞文特别关注科技创新和新质生产力，他在接受《人民邮电》报专访时表示，“新质生产力，特点在‘新’，关键在‘质’，落脚在‘生产力’，即以科技创新推动产业创新，特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能。”柯瑞文说，当前，随着新一轮科技革命和产业变革的加速演进，人工智能、云计算、大数据、量子科技等新技术迅猛发展，为加快发展新质生产力提供了重要支撑。我们必须要把科技创新摆在更加突出的位置，加快关键核心技术攻关，进一步打通“科...阅读全文
在企业数字化转型的浪潮中，核心业务的上云和迁云无疑是转型过程的重中之重。随着企业云上业务的复杂化，云上云下技术栈的多样化，以及云上运维组织规模的扩大化，云上业务的稳定性和连续性面临着更大挑战的同时，企业对于数字安全性及等保合规层面的需求也日益强烈，混合云成为诸多大型政府企业客户上云迁云的首选方案。为了保障混合云场景下客户云上业务的稳定性，阿里混合云应用观测平台团队旗下的Sunfire全景智能化观测平台（以下简称Sunfire平台）产品，也不断转型升级、推陈出新，走出了一条跌宕起伏的道路。在这条道路上，我们究竟经历了哪些挑战和困难，我们又如何思考和应对？在历经挑战之后，我们又取得了哪些产品技术成果和客户价值？要回答这些问题，我们要先从观测本身谈起。 乱花渐欲迷人眼：我们需要什么样的观测 观测是...阅读全文
Flink1.19源码剖析【完结】 Flink是一个复杂的分布式计算框架，通过对其源代码进行分析，可以深入了解Flink的内部实现原理，包括任务调度、数据流处理、状态管理等方面。而从源代码目录入手，进行Flink源代码分析是非常必要的。因为Flink是一个开源的项目，其源代码是公开的，其组织结构非常清晰，不同模块的代码都被分别放置在不同的目录中，因此从源代码目录入手可以更加方便地找到需要分析的代码，而且可以更加系统地了解Flink的整体架构和设计思路。 一、时间类型解析 1、处理时间(Processing Time)：处理时间是指数据被计算引擎处理的时间，以各个计算节点的本地时间为准。 2、事件事件(Event Time)：事件时间是指数据发生的时间，通常产生于数据采集设备中，与Flink计...阅读全文
简介流式作业长时间运行过程中常常会经历不同流量负载的情况。流量负载会出现周期性的变化，如：白天与晚上、周末与工作日、节假日与非节假日，这些波动可能是突发事件或是业务的自然增长。虽然这些波动有些是可预见的，但是如果想要在所有场景下保证相同的服务质量，那么就需要解决如何让作业资源随着需求的变化而动态调整。 一个简单的衡量当前所需资源与可用资源是否匹配的方法是：计算当前负载与可用的 workers 数之间的面积。如下图所示，左图中分配了固定的资源量，可用看到：实际负载与可用的 workers 之间有很大的差距 —— 因此造成了资源的浪费。右图中展示了弹性资源分配的情况，红线与黑线之间的距离在负载的变化中不断的努力减小。 多亏了 Flink 1.2 引入的可扩展状态（rescalable state...阅读全文
