0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，然后对每个key对应的元素集合进行操作 1.1 准备数据 1.2 spark分组操作处理数据 下面的操作以groupBy算子为例，分组后，输出结果数据，观察结果数据结构 def main(args: Array[String])...阅读全文
11月16日，以“数实融合·智引四化”为主题的2023天府数字经济峰会在成都举办。活动现场，天翼云与四川省数字经济研究中心、国家超级计算成都中心、成都智算中心共同发布了《四川省算力应用蓝皮书》（以下简称“蓝皮书”），天翼云科技有限公司市场营销部总经理王彦丹出席发布仪式。蓝皮书以创新发展算力应用，激活本土算力产业活力，构建一体化建设和运营算力的生态体系为目标，建立了服务器和网络等算力基础设施的指标体系，测算了全省数据中心的规模能力，重点对超算、智算和云计算等算力基础设施在城市治理、产业赋能、民生普惠和科技创新等方面的实践做了梳理，将有助于提高算力基础设施建设投资的科学性、促进新技术的推广应用、推动产业协同创新，强化政策支持，进一步促进四川省数字经济的健康发展和全省竞争力的跨越提升。四川省是国...阅读全文
本文分享自微信公众号：中国电信天翼云近年来，随着信息技术的快速发展，人们知识获取方式和传授方式发生了革命性变化，教育领域的数字化改革随之日渐加速。我国在《“十四五”数字经济发展规划》提出“深入推进智慧教育”，强调推进教育新型基础设施建设，推动“互联网+教育”持续健康发展。夯实教育网络底座、泛在智能教学环境是开展数字教育的基础。随着在线教学、远程办公等方式的流行，校园云化数字转型加速进行，广大师生经常需要在校外访问校内各个应用系统，以完成科研、学习等各项任务。但校园网络建设在实际操作中常常面临各种问题，如学术资源访问常常受到网络限制；远程学习、工作网络连接安全性和稳定性无法保证；外出、旅途过程中难以使用移动设备完成抢课、查分等校园系统操作；运维管理无法通过统一的控制台进行精细化权限管控。此外，...阅读全文
8月28日，2024中国国际大数据产业博览会（简称“数博会”）在贵阳市隆重开幕，本届展会以“数智共生：开创数字经济高质量发展新未来”为主题，全方位、多角度展示国内外数据产业最新动态、最新成果和发展趋势。“领先科技成果发布”是数博会重要的系列特色活动之一，主要覆盖大数据、人工智能、区块链、云计算、5G、互联网、物联网、数据安全等领域，评选利用前沿科技实现的具有重大影响力和经济效益的综合类成果。天翼云一体化计算加速平台成功入选“2024数博会十大领先科技成果”，天翼云科技有限公司副总经理弓剑炜出席授牌仪式。本次入选标志着天翼云技术创新性和产品领先性获得权威认可。中国电信云操作系统专业首席专家、天翼云云网产品事业部总经理杨鑫在“十大领先科技成果”推介环节发表演讲，向与会嘉宾介绍了天翼云一体化计算加...阅读全文
2024，Python爬虫系统入门与多领域实战（完结）xia仔课：点我获取资源：上方URL获取资源爬虫技术在多领域的应用探讨随着互联网的快速发展，数据已经成为企业和个人决策的重要依据。网络爬虫作为一种自动化数据抓取技术，因其高效、便捷的特点，在多个领域得到了广泛的应用。本文将从多个角度探讨爬虫技术的应用，包括市场分析、价格监控、内容聚合、学术研究、电商平台、社交媒体分析、房地产与租房平台等。一、市场分析应用场景：竞品分析：通过爬取竞争对手的网站数据，了解其产品特点、价格策略、市场活动等，为自身产品的优化提供参考。行业趋势：收集行业报告、新闻资讯等信息，分析行业发展趋势，为战略规划提供数据支持。技术要点：数据抓取：使用requests和BeautifulSoup等库抓取网页内容。数据清洗：去...阅读全文
随着全面云化时代到来，越来越多政企单位将核心业务迁移上云。这些核心业务对运行环境的性能、可靠性等方面要求较为严苛，尤其是大型数据库、NoSQL数据库、AI训练、游戏渲染等业务场景，对数据读写性能（包括IOPS和时延）提出了较高要求。作为云服务国家队，天翼云以用户需求为导向，积极推进科技创新与产业融合，基于自研高性能分布式存储引擎LAVA，推出了百万级IOPS云硬盘XSSD，在带宽、时延、IOPS等指标方面，相较极速型SSD、超高IO云硬盘，均提升了2~10倍。云硬盘各规格指标性能如下：XSSD云硬盘能力再升级近期，XSSD云硬盘能力再次升级，实现对云硬盘共享功能的支持。共享云硬盘功能通过允许多个云主机并发访问同一个云硬盘，促成多个实例之间的数据共享和协作。共享云硬盘架构示例共享云硬盘功能...阅读全文
2024极客时间AIGC产品经理（完结）获课：2024极客时间AIGC产品经理（完结）极客时间是一个专注于提供高质量技术课程和学习资源的平台，涵盖了从基础编程到前沿技术的多个领域。AIGC（Artificial Intelligence Generated Content，人工智能生成内容）是当前非常热门的一个领域，涉及到使用AI技术自动生成文本、图像、音频、视频等多种形式的内容。在极客时间平台上，你可以找到与AIGC相关的课程和专栏，帮助你深入了解并掌握这一领域的知识和技术。以下是一些具体的推荐和资源介绍：一、AIGC相关课程推荐1.《AIGC核心技术与产业应用》内容简介：该课程深入讲解了AIGC的核心技术和应用场景，包括自然语言处理（NLP）、计算机视觉（CV）、语音合成与识别等方向的技...阅读全文
