java技术圈 为您找到相关结果 10

基于 kubernetes 的工作流任务调度工具 argo

前言argo 是一个基于 kubernetes CRD 实现的一个 Workflow(工作流) 工具,基于 kubernetes 的调度能力实现了工作流的控制和任务的运行,同时提供了一个 UI 来方便我们查看任务的进程和详情等等;因为基于 kubernetes CRD 来进行 Workflow 的配置,所以我们使用标准的 kubernetes 来进行相关的配置,并可以直接 kubectl 来进行管理;在 argo 配置 Workflow 的实现中,template 是一个重要的概念,他是我们配置 Workflow 的支撑;templatetemplate 在 argo 中代表可运行的节点,一共有 6 种分类,分别是 Container, Script, Resource, Suspend, ...阅读全文

博文 2019-04-04 15:44:01 知乎

互联网浪潮下,项目经理该如何应变?

企业不同的发展阶段对项目管理的形式、对项目经理有着不同的期望,企业的发展正对应着一个项目经理的发展方向。 一、从零到一组建项目管理团队,重点在理不在管 首先,对于从零开始组建项目管理团队的公司,这时候普遍的问题是技术团队开始庞大(可能超过100人了),天天加班,需求推进缓慢。 项目管理团队在这个时点介入的重点在于理而不在于管: 1、首要任务是梳理清楚目前各个业务线或者产品线的工作流程,并清晰化当前正在做的以及规划中的各种需求和资源。 2、派驻项目经理到具体的业务产品线里,跟技术团队一起工作,规范化日常的需求或小项目,例如按周或按日出进度报告,把每一个需求都具体到明确的人来跟进。 3、理清项目完成的进度,解决方案,让老板能一目了然看清楚整个团队在做些什么...阅读全文

一分钟让你学会PDCA循环项目管理模式

某家婴儿车公司的CEO接到了一个严重的产品质量问题投诉,句句在理,针针见血。CEO非常重视,紧急召开高阶主管会议,研究对策。讨论几小时后,各部门都有不少改进的提议,执行长也提出很多要求。最后执行长说:「不看广告看疗效,大家要立刻行动起来。散会。」 CEO对大家的态度都很满意。直到有一天,他问负责产品的副总裁:「上次开会时,我让你派人去德国考察一下他们的质量管理体系,你们去了吗?感觉怎么样?」 副总裁说:「啊?我正在忙质量改进的事,还没空想这件事,真要去考察啊?」 这么重要的事情,副总裁居然没放在心上。为什么会这样?是因为副总裁笨吗?是因为他缺乏执行力吗?都不是。因为这家公司缺少一种叫作「PDCA循环」的管理文化。 ![image.png](https://img-blog.csdnimg.c...阅读全文

博文 2020-04-27 07:28:25 CORNERSTONE

Flink 中 slot ,task,并行度的详解及其高频面试题

点击上方蓝字关注一下吧 看完记得点个关注呦~,了解更多职场及大数据,人工智能,java等技术文章。 在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗?Flink的并行度设置是怎样的?2.任务并行度与slot之间的关系?3.Flink并行度设置优先级?4.并行的任务,需要占用多少slot?5. slot并行的条件?6. taskmanager与slot之间的关系?7.什么是slot共享,slot共享的好处?8.一个流处理程序,到底包含多少个任务? 接下来的介绍相信你会对这些问题有一个答案,当然文章最后也有对应的参考答案×02 概念解读taskmanager:Flink中每一个worker(TaskManager)都...阅读全文

博文 2022-08-04 07:04:07 墨天轮

NUMA架构介绍及优缺点分析

本文分享自天翼云开发者社区《NUMA架构介绍及优缺点分析》,作者:郁****航什么是NUMA架构1、概念NUMA(Non-Uniform Memory Access,非统一内存访问)架构是一种针对多处理器系统的内存组织方式。在这种架构中,处理器被分配到不同的节点,每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存,但访问本地内存的速度要快于访问其他节点的内存。 2、设计原理NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加,内存带宽需求也会相应提高。然而,在传统的统一内存访问(UMA)架构中,所有处理器共享同一块内存,导致内存访问延迟增加、内存带宽成为系统性能的瓶颈。NUMA架构通过将内存分配到各个节点,使处理器优先访问本地内存,降低内...阅读全文

[完结23章]大数据硬核技能进阶 Spark3实战智能物业运营系统

![1.png](http://static.itsharecircle.com/240226/688bf4b78ccdeb07b5e123c9d3773387.png) 一、Spark3.0.0运行环境安装 Spark常见部署模式: Local模式:在本地部署单个Spark服务 所谓的Local模式,就是不需要其他任何节点资源就可以在本地执行Spark代码的环境,一般用于教学,调试,演示等。 在IDEA中运行代码的环境称之为开发环境,和Local模式还是有区别的。 Standalone模式:Spark自带的任务调度模式。(国内常用) YARN模式:Spark使用Hadoop的YARN组件进行资源与任务调度。(国内常用) Windows模式:为了方便在学习测试spark程序,Spark提供了...阅读全文

博文 2024-02-26 10:52:20 gaindiuhgw

两会专访丨全国政协委员、中国电信董事长柯瑞文:强化科技创新 加快新质生产力形成

两会期间,“新质生产力”是热点词汇之一。习总shu记在参加十四届全国人大二次会议江苏代表团审议时强调,要牢牢把握高质量发展这个首要任务,因地制宜发展新质生产力。政府工作报告提出,大力推进现代化产业体系建设,加快发展新质生产力。全国政协委员,中国电信董事长、党组书记柯瑞文特别关注科技创新和新质生产力,他在接受《人民邮电》报专访时表示,“新质生产力,特点在‘新’,关键在‘质’,落脚在‘生产力’,即以科技创新推动产业创新,特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能。”​柯瑞文说,当前,随着新一轮科技革命和产业变革的加速演进,人工智能、云计算、大数据、量子科技等新技术迅猛发展,为加快发展新质生产力提供了重要支撑。我们必须要把科技创新摆在更加突出的位置,加快关键核心技术攻关,进一步打通“科...阅读全文

博文 2024-03-12 10:42:28 Tianyiyun

Apsara Stack 技术百科 | 混合云全景智能化观测平台Sunfire

在企业数字化转型的浪潮中,核心业务的上云和迁云无疑是转型过程的重中之重。随着企业云上业务的复杂化,云上云下技术栈的多样化,以及云上运维组织规模的扩大化,云上业务的稳定性和连续性面临着更大挑战的同时,企业对于数字安全性及等保合规层面的需求也日益强烈,混合云成为诸多大型政府企业客户上云迁云的首选方案。为了保障混合云场景下客户云上业务的稳定性,阿里混合云应用观测平台团队旗下的Sunfire全景智能化观测平台(以下简称Sunfire平台)产品,也不断转型升级、推陈出新,走出了一条跌宕起伏的道路。在这条道路上,我们究竟经历了哪些挑战和困难,我们又如何思考和应对?在历经挑战之后,我们又取得了哪些产品技术成果和客户价值?要回答这些问题,我们要先从观测本身谈起。 乱花渐欲迷人眼:我们需要什么样的观测 观测是...阅读全文

博文 2024-07-11 19:34:56 阿里云开发者社区

Flink1.19源码剖析【完结】

Flink1.19源码剖析【完结】 Flink是一个复杂的分布式计算框架,通过对其源代码进行分析,可以深入了解Flink的内部实现原理,包括任务调度、数据流处理、状态管理等方面。而从源代码目录入手,进行Flink源代码分析是非常必要的。因为Flink是一个开源的项目,其源代码是公开的,其组织结构非常清晰,不同模块的代码都被分别放置在不同的目录中,因此从源代码目录入手可以更加方便地找到需要分析的代码,而且可以更加系统地了解Flink的整体架构和设计思路。 一、时间类型解析 1、处理时间(Processing Time):处理时间是指数据被计算引擎处理的时间,以各个计算节点的本地时间为准。 2、事件事件(Event Time):事件时间是指数据发生的时间,通常产生于数据采集设备中,与Flink计...阅读全文

博文 2024-09-05 15:44:33 woaidaqipaiqiu1122