干货|8000字长文,深度介绍Flink在字节跳动数据流的实践!

DataLeap 字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点,也叫Event Tracking,是数据和业务之间的桥梁,是数据分析、推荐、运营的基石. 用户在使用App、小程序、Web等各种线上应用时产生的行为,主要通过埋点的形式进行采集上报,按不同的来源分为客户端埋点、Web端埋点、服务端埋点。 不同来源的埋点都通过数据流的日志采集服务接收到MQ,然后经过一系列的Flink实时ETL对埋点进行数据标准化、数据清洗、实时风控反作弊等处理,最终分发到下游,主要的下游包括ABTest...阅读全文

亿信华辰 2022-05-23 00:00 亿信华辰

探索AI,拥抱未来,欢迎加入魔乐世界!

近日,2024开放原子开源生态大会在北京亦庄开幕,大会以“开源赋能产业,生态共筑未来”为主题,来自政府、企业、学术界、研究机构的专家学者汇聚一堂,共同探讨开源在人工智能领域的创新应用与生态构建。在人工智能开源开放生态分论坛上,中国电信天翼云产品专家、魔乐社区负责人李宝龙发表《与魔乐一起,繁荣AI生态》演讲,向与会嘉宾分享了天翼云通过魔乐(Modelers)开发者社区,团结国内AI产业链,携手业界共同促进AI生态繁荣的创新成果和实践案例。​人工智能是发展新质生产力的重要引擎。当前我国人工智能产业迅...阅读全文

java技术圈 2024-10-25 15:56:24 Tianyiyun

AI时代云动力:新一代弹性计算云主机开启智能计算新纪元!

随着信息技术的飞速发展,云计算在企业数字化转型中发挥着愈发重要的作用。弹性计算作为云计算技术的重要组成部分,以灵活的资源分配、高可用性等优势,在数字化转型中扮演着举足轻重的角色。为打造更加卓越的上云体验,天翼云不断升级弹性计算服务,自研第八代升级款弹性云主机,依托天翼云自研TeleCloudOS4.0架构,实现从底层硬件到IaaS云平台的融合优化,AI场景平均性能提升超过50%,计算增强型c8e实例性能提升高达15%,相同功耗下平均性能提升超过20%,带来更高的能源效率和更低的运营成本。同时该款...阅读全文

java技术圈 2024-10-25 15:54:49 Tianyiyun

速来围观!天翼云荣誉墙上新!

近日,由中国通信标准化协会主办、中国信息通信研究院承办、中国通信企业协会支持的“2024数字化转型发展大会”在北京召开。大会现场为第三届“鼎新杯”数字化转型应用优秀案例获奖单位颁发证书,天翼云荣获多个奖项,其中,《天翼云全流程数字化转型支撑量质并重规模发展》等案例获评“业务融合创新”赛道一等奖,技术实力与创新能力再次得到权威认可;同时,大会发布可信Bench测试天梯图,天翼全栈混合云成功入选。天翼云科技有限公司智算产品线资深技术专家瞿龙在企业级人工智能应用专题论坛发表演讲,分享了天翼云“息壤”一...阅读全文

java技术圈 2024-10-25 15:52:17 Tianyiyun

创新+1+1+1+1!筑牢算力底座,助推AI产业繁荣发展!

近日,ICT中国·2024高层论坛-云原生发展论坛在北京国家会议中心举办。天翼云出席《城市算力互联网实践指南》编制工作启动仪式、AI Cloud人工智能云服务标准体系阶段性成果发布仪式、算力互联网服务能力标准体系正式启动暨《算力互联网服务能力要求 个人终端算力(卡)》标准发布仪式、国际化服务合作计划成立暨《云计算企业出海研究报告》发布仪式等多个重磅环节。天翼云科技有限公司端云平台事业部研发总监李涛在会上发表演讲,介绍了天翼云智算云容器在助力云原生AI应用部署方面的技术优势与落地实践。践行国云使命...阅读全文

java技术圈 2024-10-25 15:50:12 Tianyiyun

React面试宝典

React面试宝典 React 是靠数据驱动视图改变的一种框架,它的核心驱动方法就是用其提供的 setState 方法设置 state 中的数据从而驱动存放在内存中的虚拟 DOM 树的更新。 更新方法就是通过 React 的 Diff 算法比较旧虚拟 DOM 树和新虚拟 DOM 树之间的 Change ,然后批处理这些改变。 React 性能优化的手段 React 中进行性能优化的手段可以从多个维度进行分类,以下是一些关键类别及其对应的优化策略: 1. 组件优化 使用...阅读全文

java技术圈 2024-10-24 15:15:00 woaidaqipaiqiu1 等

遗传算法介绍

本文分享自天翼云开发者社区《遗传算法介绍》,作者:朱****洲遗传算法(Genetic Algorithm, GA)起源于对生物系统所进行的计算机模拟研究。它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法,借鉴了达尔文的进化论和孟德尔的遗传学说。由于遗传算法是模拟自然规律的一种算法,它常用术语也都是用自然科学的名词来代替,主要有以下部分:1.个体:问题的一个解(无论可行)2.种群:问题的一个解的集合,包含多个个体3.染色体:个体以编码形式的存在方式4.基因:标识染色体的信息最小存在5....阅读全文

java技术圈 2024-10-22 15:03:28 Tianyiyun

浅谈混合云的特点及管理

本文分享自天翼云开发者社区《浅谈混合云的特点及管理》,作者:罗****义近年来云计算技术的已被广泛的应用于各大行业,同时使用者也高度重视云计算技术的发展和管理,混合云就是基于云计算技术融合了公有云和私有云,为使用者提供更多的服务发展机遇,同时混合云应用也成为当前的选择主流。一、混合云特点目前私有云面向的广大用户,出于安全考虑,使用者更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果,同时混合云...阅读全文

java技术圈 2024-10-22 15:02:04 Tianyiyun

Qwik-能帮你移出项目中99%的JS代码

本文分享自天翼云开发者社区《Qwik-能帮你移出项目中99%的JS代码》,作者:尹****勇什么是 QwikQwik 是一款全栈SSR框架,它号称 -能帮你移出项目中99%的JS代码-FCPFCP (First Content Paint 首次内容绘制)测量 页面从开始加载到页面内容的任何部分在屏幕上完成渲染的时间现在基本采用 react、vue 等框架进行开发,这就需要如下过程1.下载框架代码2.执行框架代码3.由框架完成页面渲染这无疑导致了FCP指标的下降Qwik 采用了SSR,这就省去了上...阅读全文

java技术圈 2024-10-22 15:01:08 Tianyiyun

Llama3大模型原理代码精讲与部署微调评估实战

Llama3大模型原理代码精讲与部署微调评估实战 Llama 3 大模型 使用的是 标准的 仅解码 Decoder-Only 式的 Transformer 架构 ; 与之相对的 ChatGPT 使用的是 GPT ( Generative Pre-trained Transformer ) 架构 , 包含了编码器 ( Encoder ) 和 解码器 ( Decoder ) 的特性 ; Llama 3已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是...阅读全文

java技术圈 2024-10-21 11:38:38 woaidaqipaiqiu1 等

2024算力中国·年度重大成果!天翼云成功入选!

近日,以“聚智向新 算领未来”为主题的2024中国算力大会在河南郑州举行。本届大会由工业和信息化部新闻宣传中心、中国信息通信研究院联合主办。大会按照“1+2+20+Y”整体架构,举办1场开幕式、2场主论坛、20场分论坛以及Y场特色活动,解读算力产业政策,共享算力发展成果,研讨技术发展趋势,搭建“政产学研用金”精准对接、高效互通、协同发展的互动平台,助力我国算力产业高质量发展。实力认证天翼云上榜“算力中国·年度重大成果”在主论坛上,“算力中国·年度重大成果”正式发布,该征集活动启动以来,得到社会各...阅读全文

java技术圈 2024-10-18 14:21:10 Tianyiyun

创新突破!天翼云荣膺CCF HPC China 2024高性能计算创新大奖

近日,第20届CCF全国高性能计算学术年会(CCF HPC China 2024)在武汉隆重召开。CCF HPC China是全球高性能计算领域三大标志性盛会之一,本届大会以“华章廿载 新质未来”为主题,由12位院士领衔,携手来自算力领域的400多位顶尖学者,进行学术交流和专题分享。​在本次大会上,天翼云弹性高性能计算E-HPC凭借过硬的技术实力及广泛的行业应用,荣获产品创新奖。作为大会的重要一环,产品创新奖评选旨在鼓励具有技术和行业应用潜力的技术创新、平台创新、产品创新和服务创新型企业及产品,...阅读全文

java技术圈 2024-10-18 14:15:21 Tianyiyun

过关斩将!天翼云红盾安全团队荣获双项大奖!

近日,在数智“新”北京暨2024(第二十一届)北京互联网大会上举行了2024京津冀信息通信领域网络安全实战攻防演练颁奖仪式。天翼云科技有限公司红盾安全队凭借优异表现,一举斩获“卓越攻击团队”及“优秀个人”双项大奖。​​本次攻防演练由工业和信息化部网络安全管理局指导、京津冀三地通信管理局组织开展,共有16支攻击队伍及29支防守队伍参与。演练旨在促进网络安全和数据安全技术交流、经验共享,加强行业网络和数据安全能力体系建设,提升网络安全技术水平和防护能力。作为云服务国家队,天翼云始终把安全视为重中之重...阅读全文

java技术圈 2024-10-18 14:11:04 Tianyiyun

创新数据新要素 发展新质生产力!天翼云助力数字经济高质量发展

近日,由中国通信企业协会主办的2024中国信息通信业发展高层论坛在北京召开。本届大会围绕“创新数据新要素 发展新质生产力”进行交流研讨、实践分享。​当前,人工智能已经成为数字经济发展的新引擎。全面提升智能算力供给水平,将有效推动人工智能应用商业落地。天翼云科技有限公司行业解决方案总监祁超在会上发表《云智一体 国云助力数字经济高质量发展》演讲,阐述了天翼云秉持国云使命,积极布局智算产业,以丰富的智算资源、强大的智算服务能力和开放的模型应用生态,赋能数字经济发展的创新举措及实践成就。​祁超表示,天翼...阅读全文

java技术圈 2024-10-18 14:09:57 Tianyiyun

Apache Flink:基于 Reactive Mode 的 Flink 自动扩容 › Coco's Mark

简介流式作业长时间运行过程中常常会经历不同流量负载的情况。流量负载会出现周期性的变化,如:白天与晚上、周末与工作日、节假日与非节假日,这些波动可能是突发事件或是业务的自然增长。虽然这些波动有些是可预见的,但是如果想要在所有场景下保证相同的服务质量,那么就需要解决如何让作业资源随着需求的变化而动态调整。 一个简单的衡量当前所需资源与可用资源是否匹配的方法是:计算当前负载与可用的 workers 数之间的面积。如下图所示,左图中分配了固定的资源量,可用看到:实际负载与可用的 workers 之间有很...阅读全文

coco-mark.github.io 2021-08-28 00:00 coco-mark.githu 等

初识VPC网络的能力

本文分享自天翼云开发者社区《初识VPC网络的能力》,作者:布小匠VPC网络的来源在云计算早期是没有VPC的概念的,有的是虚拟网络和虚拟路由器的功能。虚拟网络的作用是为用户提供一个虚拟的网络环境,但是这个虚拟的网络环境是独立且隔离的三层网络,就好比一座孤岛,虽然美丽但是无法与外界通信终究是遗憾的。这个时候就轮到了虚拟路由器出场,虚拟路由器正好可以提供路由的功能,可以将虚拟网络之间通过路由的形式进行连通、配置和管理等。但是在当下不断优化的用户体验下,两个独立的产品无异于增加了用户操作上的诸多繁杂的点...阅读全文

java技术圈 2024-10-12 17:07:46 Tianyiyun

OpenAPI 简介

本文分享自天翼云开发者社区《OpenAPI 简介》,作者:蔡****钊一、什么是open APIAPI的全称是应用编程接口(Application Programming Interface),而所谓的open API其实就是一种面向客户的开放接口能力,而对应的客户,从我们以往常规认知的个人产品直接使用用户,变为技术用户。正如很多SaaS是提供具体的某个直接可使用的服务或者能力,open API则是将产品接口化提供类似PaaS类的技术能力。二、常见的open API能力你也许觉得open API...阅读全文

java技术圈 2024-10-12 17:05:57 Tianyiyun

一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统

本文分享自天翼云开发者社区《一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统》,作者:郑****团一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统,包括以下步骤:步骤1:准备arm64位基础镜像包在docker官网上下载对应arm64位python-arm-3.7.8-alpine基础镜像包。在预先配置好python包的基础上,alpine相比于centos来说小的多,没有默认的预安装环境。需要自己安装python运行依赖的基础组件,包括bash-doc、...阅读全文

java技术圈 2024-10-12 16:57:49 Tianyiyun

C#多线程与线程同步机制高级实战课程

C#多线程与线程同步机制高级实战课程 多线程是C#中一个重要的概念,多线程指的是在同一进程中同时运行多个线程的机制。多线程适用于需要提高系统并发性、吞吐量和响应速度的场景,可以充分利用多核处理器和系统资源,提高应用程序的性能和效率。 多线程常用场景 CPU 密集型任务. I/O 密集型任务. 并发请求处理. 大数据处理等. 一、什么是多线程 1、进程 当一个程序开始运行时,它就是一个进程,进程包括运行中的程序和程序所使用到的内存和系统资源。 而一个进程又是由多个...阅读全文

java技术圈 2024-10-12 16:05:42 woaidaqipaiqiu1 等

基于云原生的集群自愈系统 Flink Cluster Inspector阿里云计算平台事业部,实时计算&托管生态 SRE

摘要:本文整理自阿里云计算平台事业部,实时计算&托管生态 SRE 团队的许雷力(阿里云技术专家)和张韦杰(阿里云开发工程师),在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为三个部分: 业务背景与挑战 成本优化 - 热点处理 整体规划和未来方向 点击查看原文视频 & 演讲PPT 一、业务背景与挑战 1.1 实时计算集群现状 关于热点机器处理一直是阿里云 Flink 集群运维的一大痛点,不管在日常还是大促都已经是比较严重的问题,同时这也是分布式系统的老大难问...阅读全文