背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文
本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文
随着上云成为普遍趋势、企业需求的多样化发展，单一的云模式已经无法满足企业用户的复杂需求，单云模式下深度绑定一朵云所带来的成本不确定性以及安全风险日益增加。数据显示，超过92%的企业计hua选择多云的上云方案。天翼云作为云服务国家队，凭借在资源充裕度、网络覆盖范围、产品安全性和实施性价比等方面的独特优势，成为企业部署多云架构时的首-选。多云方案中备份与迁移是较为常见的实施手段，是指将生产数据以实时同步的方式从一朵云备份到其他云中。生产数据种类很多，包括数据库、文件、文本、日志等，其中数据库是最为重要的一种。因此，企业的多云方案往往从数据库开始。企业部署多云数据库时，仅需购买相同类型或规格更小的云数据库，再使用天翼云数据传输服务TeleDB-DTS（后称天翼云DTS）将其他云的数据库实时同步到天...阅读全文
[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文
网络视频（Web 视频）是指利用 HTML5 技术在浏览器中播放的视频，这类视频资源通常可以被随意下载，某些行业（比如教培行业）如果希望保护自己的视频资源不被下载，就需要对视频做防盗链处理。 防盗链需要着重加强两个方面的安全性：网络传输和客户端。 网络传输安全网络传输层面能做的不多，HTTPS是必要的，除此之外的防护措施效果也有限。 验证 Referer防盗链最常规的手段是验证Referer，而伪造Referer几乎零成本，所以它只防君子不防小人，没用。 请求防重放盗链可以理解成一种对静态资源的“重放攻击”，所以可以用应对重放攻击的思路来改造静态资源请求，通过一个动态接口返回静态资源，并且加入变量让动态请求短时间内失效，比如随机数、时间戳、流水号等等。 这种方式可以做到让链接地址没有复用价值...阅读全文
11月2日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2023上半年）跟踪》报告显示，在中国公有云IaaS市场，中国电信天翼云份额占比再度大幅攀升，稳居业内前三；同时，在公有云IaaS+PaaS市场，天翼云同样增势强劲，以领先优势，位列第三。从中国企业和MNC使用国内公有云IaaS资源的市场角度来看，中国电信天翼云排名第三。天翼云强劲增势离不开持续的科技创新与行业赋能。作为云服务国家队，天翼云在持续优化算力资源布局的基础上，全面突破云操作系统、分布式数据库等关键核心技术，以云操作系统为核心，从底层基础软硬件技术，到上层高阶云能力，实现了全栈技术的自主可控，打造了具备“科技创新、自主可控、安全可信、云网融合、生态开放、绿色低碳”六大特征的国家关键信息基础设施平台，为各行业数字化...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文
1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极-致性能。平台的成功上线，体现了天翼云在大数据自...阅读全文
1月4日，国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。在推动发挥数据要素乘数效应，释放数据要素价值的攻坚路上，海南省一直走在前面。近日，海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则（暂行）》（以下简称《实施细则》），率先探索确定数据产品所有权，从源头上解决数据产品后续资产化、资本化应用，促进数据资源开发利用。基于全省统一的数据产品开发利用、流通交易平台——海南省数据产品超市，《实施细则》进一步明确数据产品所有权的确权登记流程，引导数据产品进行权属确认、流转备案，探索数据资产化、资本化管理。遵循依法...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github 42k的 ，而且社区很活跃，维护频率很高，基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型：由度量名称和键值对标识的时间序列数据 时序数据，是在一段时间内通过重复测量（me...阅读全文
近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文
HBase模式设计是需要注意的问题：1．设计准则1）行键设计读访问模式：通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引，需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能，但是行键的长度变长，行键索引会占用更多的内存资源，由于行键在每个列族中保存，也会需要更多的磁盘空间。写访问模式：避免同一时间段里写入的数据形成热点。随机前缀：在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀：针对随机前缀生成的行键具有不确定性的缺陷，哈希前缀做了改进，通过对原行键调用选定的哈希函数生成前缀。反转键：将原先彼此相邻的行键按字节序反转生成新的行键。以上几种策略都会失去数据按特定行键顺序存放的特性，在进行范围查询时需要访问全部索引数据且需要有更多的磁盘IO操...阅读全文
近日，2023年海关科技装备博览会（简称“关博会”）在北京举办。中国电信围绕“数字政务助力海关事业发展”主题，在主展区展出了数字政务最新成果和实践经验。2023年海关科技装备博览会中国电信展区展区汇集了数字底座、政务数据服务体系、大模型·一网通办-12345政务热线平台、一网协同平台、5G+智慧海关、量子产业布局、卫星手机直连等10余个展项，充分展现了中国电信在数字政务领域富有成效的探索及取得的阶段性成果。自主可控“国云”底座天翼云提供全栈自主可控、一云多芯的安全可靠云基础设施，可以在智慧海关的关键业务领域提供基础底座服务，满足客户技术升级要求，形成基于天翼云的数字信息基础，助力客户实现“多方共识、多元治理、协同共治”的治理局面。一体化智能算力平台为了向政务应用提供安全可靠的算力服务，天翼...阅读全文
本文分享自天翼云开发者社区《CDN与云计算技术的结合：专业视角下的深度融合》，作者：大利随着信息技术的不断发展，内容分发网络（CDN）与云计算技术作为两种重要的互联网基础设施，其结合已成为行业发展的重要趋势。CDN负责高效地分发和传输互联网内容，而云计算则提供强大的计算、存储和应用服务。当这两者结合时，能够为用户提供更加优质、高效的服务体验。本文将从专业的角度深入解析CDN与云计算技术的结合，探讨其优势、应用场景以及未来发展趋势。一、CDN与云计算技术结合的优势资源共享与池化：CDN与云计算的结合使得大量的计算资源和存储资源得以共享和池化，提高了资源的利用率。CDN节点可以作为云计算的一部分，提供计算和存储服务，而云计算平台也可以为CDN提供强大的计算能力和存储支持。弹性扩展与灵活性：云计算...阅读全文
近日，国际数据公司IDC发布的《中国专属云服务市场（2023上半年）跟踪》报告显示，2023上半年，专属云服务市场同比增长26.6%。中国电信天翼云以18.7%的份额占比稳居中国专属云服务市场第一，连续四次登顶，持续领跑中国专属云服务市场。全面数字化浪潮推动下，随着合规要求的趋严、敏捷性需求的增加，以及生成式AI的火热，具备极-致安全与敏捷可靠等独特性能优势的专属云，逐渐成为产业数智化转型的优选，市场需求持续释放。天翼云作为云服务国家队，以科技创新持续夯实国云底座，赋能千行百业数字化转型，目前已形成“2+4+31+X+O”的整体资源布局，并实现了全栈技术的自主可控，打造了“云网边端数智安”全栈云服务产品体系，为海内外客户提供包括公有云、专属云、私有云、边缘云等多类型的高品质云服务。天翼专...阅读全文
概述数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。一、FlumeFlume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析...阅读全文
 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州市公共数据要素流通平台”获此殊荣，为推动数据要素市场化配置、助力数据要素价值释放树立了行业标杆。天翼云相关专家出席会议并分享了天翼云加速向智能云全面升级，在智算服务体系建设、数据要素平台技术创新方面的实践和成果。今年，“人工智能+”首次写入政府工作报告，全面驱动产业数智化升级。作为云服务国家队，天翼云立足全栈自研的技术体系、行业领先的产品服务、安全可信的运营能力，不断巩固和强化竞争优势。没有...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
近日，弗若斯特沙利文（Frost & Sullivan，简称“沙利文”）联合头豹研究院发布《2023年中国边缘云市场报告》，天翼云在2023H1中国边缘云IaaS层细分市场位列第一，领跑中国边缘云市场。近年来，随着5G、物联网等技术的飞速发展，智能终端设备数量迅速增加，产生的数据量呈指数级增长，这对数据处理的时效性、可靠性提出更高要求。边缘云通过将网络、计算、存储资源部署到离用户设备更近的位置，更好地满足用户在敏捷连接、实时业务等不同方面的需求。作为云服务国家队，天翼云立足客户需求，持续深耕边缘计算领域，不断加速算力基础设施建设，并构建完善的边缘云产品矩阵，以低时延、高可靠、高安全、可调度的边缘云服务，助力企业实现敏捷业务响应、释放业务价值，推动算力普惠。在边缘算力布局方面，天翼云充分发挥...阅读全文
夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。如何让数据中心“热辣瘦身”？轻量级存储集群控制器——天翼云存储资源盘活系统HBlock必不可少！“HBlock健身房”究竟是如何发挥功效的？三大招式出击，助力数据中心迅速“逆袭”！第一大招“混合部署”让数据中心精简紧凑，原地“暴瘦”！HBlock作为全用户态的轻量级存储集群控制器，可以和别的业务系统混合部署在同一台服务器内，实现服务器总数量减少。HBlock还可以盘活服务器本地的磁盘，当作高可用虚拟盘提供给服务器现有业务，在3节点起步的轻量集群同时实现计算高可用和存储高可用！例如，某企业有100台资源利用率为50%、单台可用空...阅读全文
本文分享自天翼云开发者社区《如何在弹性云主机上部署高效的数据库系统》，作者：二进制诗人在当今云计算的时代，弹性云主机（Elastic Cloud Compute, EC2）为我们提供了前所未有的灵活性和扩展性，使得在云端部署高效的数据库系统成为可能。本文将从选择合适的云服务配置、优化数据库配置、数据备份与恢复策略以及保障数据库安全四个方面分享如何在弹性云主机上部署高效的数据库系统。1.选择合适的云服务配置选择合适的实例类型弹性云主机提供了多种实例类型，针对不同的用途（如计算优化、内存优化等）。对于数据库系统，通常需要考虑内存优化或存储优化的实例类型，例如AWS的R5实例（内存优化）或I3实例（存储优化）。配置高性能存储数据库性能很大程度上取决于存储性能。推荐使用SSD（固态硬盘）作为数据库的...阅读全文
本文分享自天翼云开发者社区《云迁移中的CT-CMS任务操作指南》，作者：每日知识小分享随着企业业务的快速发展和数据量的不断增长，传统的IT架构逐渐面临性能瓶颈、扩展性不足等问题。为了解决这些问题，越来越多的企业选择将业务迁移到云平台，以实现更高效、灵活和可扩展的IT服务。在云迁移的过程中，CT-CMS（内容管理系统）的迁移是一项重要而复杂的任务。本文将详细介绍云迁移中CT-CMS任务操作的关键步骤、注意事项以及最/佳实践，帮助读者顺利完成CT-CMS的云迁移工作。CT-CMS作为企业内容管理的核心系统，承载着网站内容管理、信息发布、工作流程自动化等重要功能。在云迁移过程中，如何确保CT-CMS系统的稳定性、数据的安全性和业务的连续性，成为了迁移任务的关键。本文将围绕CT-CMS云迁移的任务操...阅读全文
5月8日，第24届IEEE/ACM集群、云和互联网计算国际研讨会（CCGrid 2024）在美国费城隆重举行。来自中国、美国、印度、法国等国家的学术及产业界代表齐聚一堂，围绕云计算相关议题进行深入探讨和交流，并带来最前沿的技术展示。天翼云云网产品事业部弹性网络产品线总监侯叶飞出席大会硬件系统和网络分论坛，对本次被CCGrid长文收录的论文《Towards Better QoS and Lower Costs of P4 EIP Gateway at the Edge》进行专业解析，并分享了天翼云在开放数据中心网络及可编程网关领域的创新与实践经验，再次彰显了天翼云的技术创新实力。作为一种专为描述数据包处理的编程语言，P4允许云网络工程师对数据面网关的转发逻辑进行编程，具备较高的灵活性和可定制...阅读全文
 很高兴给大家讲解关于C++音视频实战方面的知识，本文我将从零设计并开发可靠的高性能的音视频安防流媒体服务器，为大家提供安防流媒体领域的专业知识和实践经验。我将按照GB28181标准来完成监控设备之间的注册、保活、设备资源、 回放记录以及实时/回放流获取和推送。 文章涵盖了上下级的信令和流媒体两套服务器的开发。信令服务器负责处理设备之间的SIP信令交互和控制信息传输，而流媒体服务器则负责音视频实时流和回放流的传输以及视频编解码数据的处理。各个技术模块的处理包括都是按照解耦合思想进行开发，可兼容大家以后从事相关项目不同模块的搭...阅读全文
在数据驱动的时代，高效地存储和处理数据成为了开发者们的重要任务。Redis，作为一个开源的高性能键值对（key-value）数据库，以其独特的数据结构和丰富的功能，成为了众多项目的首选。 今天，我们就来揭开Redis的神秘面纱，看看它是如何通过不同的数据类型，为我们提供高效、灵活的数据存储和处理能力的。 ### 一、字符串（String）：数据的基石 #### String类型简介 字符串是Redis最基本的数据类型，它可以存储文本、数字或者二进制数据。 使用字符串类型，你可以执行原子性的操作，如追加（APPEND）、设置（SET）和获取（GET）。例如，你可以将用户信息作为字符串存储，并通过键快速检索。 - 一个key对应一个value。 - String类型是二进制安全的。只要内容可以使...阅读全文
本文分享自天翼云开发者社区《云审计与大数据审计：区别、优势与应用场景》，作者：每日知识小分享随着信息技术的飞速发展，审计领域也迎来了革命性的变革。云审计和大数据审计作为两种新兴的审计模式，各有其独特的特点和应用场景。本文将对云审计和大数据审计进行深入的比较分析，探讨它们之间的区别、优势以及适用的场景，旨在帮助读者更好地理解这两种审计模式，并为企业选择合适的审计方法提供参考。云审计和大数据审计都是信息技术在审计领域应用的产物。云审计主要利用云计算技术的优势，实现审计数据的集中存储、处理和分析；而大数据审计则侧重于利用大数据技术的能力，对海量数据进行挖掘和分析，以发现潜在的风险和问题。虽然两者在某些方面有相似之处，但它们在数据结构、处理方式、技术应用等方面存在明显的区别。一、云审计与大数据审计的...阅读全文
位于海南省陵水黎族自治县的清水湾，是一个拥有碧海蓝天与温暖阳光的热带海湾。早春三月，海岸线旁的沙滩上满是享受假期生活的游客。在不远处的海域，重量与1000辆小汽车相当、单个罐体直径与“天和号”空间站核心舱相当的几个“大家伙”正隐于波涛之下，安静地工作着。自去年3月底在陵水正式投入运营以来，全球首/个商用海底数据中心已平稳运行近一年，为人工智能、大数据等互联网企业提供数据存储和计算服务。“把数据存进海底”，这一天马行空的想象变成现实，互联网和数据行业与海洋科技打通，形成了全新的交叉业态。数据中心为何由陆向海？错综复杂的海洋环境能否保障数据安全和稳定？“陆数海算”将如何助力我国算力迈上新台阶？一起走近海南陵水商用海底数据中心。海底数据舱正在进行车间建造集成将海洋能源转化为海洋算力在几乎不消耗淡...阅读全文
Prometheus入门与进阶实践（2024最新） 分享一套课程——Prometheus入门与进阶实践（2024最新），附PDF课件+源码下载。 1、什么是Prometheus Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标处收集监控数据，并暴露出一个HTTP接口供Prometheus server查询，Prometheus通过基于HTTP的pul...阅读全文
近日，知名开源大规模并行处理 (MPP) 数据库Greenplum的源代码在其官方GitHub页面突然消失，引发了用户和开发者的广泛关注， PostgreSQL生态系统或将产生新变数。开源软件在面对商业化和盈利需求时的举措，将对行业产生巨大影响：开源信任的挑战：频繁的开源协议变更可能会导致企业和开发者对开源项目的信任度下降。法律和合规考虑：新协议条款可能引发企业对法律和合规风险的重新评估，影响其技术选型和投资决策。作为云服务国家队，天翼云不断加快关键核心技术自主攻关，针对市场需求自研TeleDB数据库，能够助力客户平滑迁移Greenplum数据库，实现应用无缝切换，以更可靠的产品和更优质的服务，提供企业数据管理更优解。TeleDB分析型实例，企业数据库领先之选天翼云TeleDB分析型实例是一...阅读全文
本文分享自天翼云开发者社区《云内GSLB技术及应用场景》，作者:c****n云业务容灾建设节奏一般是同城双活—异地双活—两地三中心（同城双活+异地多活），因为要解决的问题的复杂度和难度也是在逐步上升的，不可能一蹴而就。gslb可以实现两地三中心容灾，这时应用在多数据中心的情况下，业务需要分布式部署，无论哪个数据中心都可以独立承担业务，数据中心内通过服务器负载均衡（lb）进行数据中心内的业务负载，gslb是通过dns给lb做负载均衡，配合健康检查实现业务的故障切换，数据中心切换，一些算法如静态就近性可以就近访问加速等。一、基本概念1.业务域名用户访问应用服务的dns域名。2.服务成员域名最后返回的ip的地址，这个ip地址一般就是slb负载均衡设备的ip。3.地址池一组服务成员的集合，可以选择服...阅读全文
本文分享自天翼云开发者社区《天翼云发布边缘安全加速平台AccessOne，四大产品能力助力企业安全高速发展》，作者：天翼云社区官方账号2023年5月30日全国科技工作者日，以“连接世界从边缘开始”为主题的天翼云边缘安全加速平台发布会在线上顺利举办。会上，天翼云重磅发布边缘安全加速平台AccessOne（后称AccessOne），并深入介绍了产品四大能力，以及在教育行业的实践成果，为企业提供性能、安全、算力等满足不同场景需求的智能边缘网络。应对多重网络应用挑战，一体化服务成优先选择数字化转型进程中，新型产业在改善人们生活质量的同时，也对网络应用服务提出挑战。天翼云智能边缘事业部副总经理鄢智勇指出，首先，越来越多的数据和应用需在离数据源更近的位置进行实时处理和分析，满足对低延迟和高带宽的需求。其...阅读全文
flink实时规则营销系统（39期，2023版） 给大家分享一套课程——flink实时规则营销系统（39期，2023版），附源码+文档+虚拟机下载。 CEP 在 Flink 中以 library 形式存在，并不和其底层引擎代码相绑定，只是继承很多 low-level 的 API，阅读 cep 的代码过程中也可以学习到不少 Flink 上新颖的使用方式。我们可以将 Flink 内部的 CEP 实现简要分成以下几个步骤： 规则解析 规则匹配 匹配事件提取 flink可以广泛用于实时计算,特别是无限流的场景，比如在双11这天,淘宝或者天猫这天网页在某个时间段被用户浏览了多少次，那些热门商品是用户喜欢的。比如说，每隔5分钟，想看看最近一小时内被点击最多的商品。这就是一个很典型的flink-windo...阅读全文
近日，由中国通信企业协会主办的“第13届数据中心产业发展大会暨AIDC智能算力生态合作展览会”在北京顺利举行。现场展示了天翼云“AIDC”“紫金”“云骁”“息壤”等技术和平台能力；中国电信天翼云2023年智算资源池上海节点建设工程获得大会“算力基础设施高质量发展企业案例奖”；天翼云科技有限公司云网发展部副总经理李启荣围绕天翼云新一代智算中心建设方案与创新实践展开分享。随着人工智能的飞速发展，国家出/台一系列政策，为底层算力基础设施建设，以及人工智能赋能经济社会发展指明了方向。2024年政府工作报告中指出，深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群，适度超前建设数字基础设施，加快形成全国一体化算力体系，培育算力产业生态。人工智能已成为引领未来发展...阅读全文
本文分享自天翼云开发者社区《双栈网络使用什么技术实现总部网络能访问分部网络？》，作者：SD万为了实现总部和分部之间的IPv4和IPv6互访，可以使用以下隧道技术：1、IPv4隧道技术：可以使用GRE（Generic Routing Encapsulation）隧道技术，在IPv4网络中隧道传输IPv6数据包。在总部和分部之间分别配置一个GRE隧道接口，并将IPv6数据包封装在IPv4数据包中进行传输。配置完成后，总部的IPv4地址就可以访问分部的IPv4地址。2、IPv6隧道技术：可以使用6to4、Teredo等IPv6隧道技术，在IPv4网络中隧道传输IPv6数据包。在总部和分部之间分别配置一个6to4或Teredo隧道接口，并将IPv4数据包封装在IPv6数据包中进行传输。配置完成后，总...阅读全文
Spring Cloud Alibaba: 实现服务的无损下线功能作者：谁偷走了我的奶酪2024.01.18 02:49浏览量：2简介：在微服务架构中，服务的上线和下线是一个常见的操作。然而，直接关闭服务可能会导致数据丢失或服务中断。本文将介绍如何使用Spring Cloud Alibaba实现服务的无损下线功能。在微服务架构中，服务的上线和下线是一个常见的操作。但是，直接关闭服务可能会导致数据丢失或服务中断，这被称为“有损下线”。为了解决这个问题，我们可以使用Spring Cloud Alibaba提供的解决方案来实现服务的无损下线。无损下线的原理是在服务关闭之前，将所有待处理的任务或者请求全部处理完成，保证服务的正常运行，然后再安全地关闭服务。这样就可以避免数据丢失和服务中断的问题。要实...阅读全文
本文分享自天翼云开发者社区《浅谈Redis的三种集群策略及应用场景》，作者：段林Redis提供了三种集群策略：1.主从模式：这种模式⽐较简单，主库可以读写，并且会和从库进⾏数据同步，这种模式下，客户端直接 连主库或某个从库，但是但主库或从库宕机后，客户端需要⼿动修改IP，另外，这种模式也⽐较难进⾏ 扩容，整个集群所能存储的数据受到某台机器的内存容量，所以不可能⽀持特⼤数据量。2.哨兵模式：这种模式在主从的基础上新增了哨兵节点，但主库节点宕机后，哨兵会发现主库节点宕机， 然后在从库中选择⼀个库作为进的主库，另外哨兵也可以做集群，从⽽可以保证但某⼀个哨兵节点宕机 后，还有其他哨兵节点可以继续⼯作，这种模式可以⽐较好的保证Redis集群的⾼可⽤，但是仍然不能 很好的解决Redis的容量上限问题。3...阅读全文
本文分享自天翼云开发者社区《玩转云端|天翼云边缘安全加速平台AccessOne实用窍门之上传下载极速推进，纵享丝滑体验！》，作者：天翼云社区官方账号随着传媒行业数字化转型驶入深水区，如何提升内容生产与服务能力成为传媒产业新的时代命题。传媒业务数据量庞大，包含海量视频、音频、图像及文字等数据，这意味着传媒业务的内容上传和下载工作成为从业者工作中的重要部分。受限于传输速度和网络拥堵等因素，传媒业务中的上传和下载工作往往会遇到诸多困难。那么，如何提高传媒业务的上传下载速度，助力传媒行业提升平台运营水平与服务效率？天翼云边缘安全加速平台AccessOne来支招！某主流媒体平台为推动线上业务蓬勃发展，搭建了门户网站、APP客户端等多类用户入口，在线提供视频、音频、图片等高质量内容。然而，由于平台用户数...阅读全文
数字时代，数据成为重要的生产要素。随着企业数据量的爆发式增长，管理和维护庞大的数据集合变得愈发复杂。数据库中存储了企业的核心数据资产，一款安全高效的数据库管理工具必不可少。天翼云数据管理服务（AOne-DMS），不仅能让你的数据库管理工作变得轻松简单，还能保障数据安全无忧！ 数据安全 核心坚守安全，一直是数据库管理的重中之重，尤其是在面临管理多云异网数据库时，启用公网访问不仅增加了流量成本，还可能带来安全隐患。天翼云AOne-DMS支持多云异网数据安全管理，可提供“网络+数据”双效安全防护，管理经过AOne网络连接的数据库，并通过精细化的权限管理、操作风险管控、审批流及数据库审计等手段，保障用户数据安全无忧。全局管理 简化操作多云异网数据库面临的不仅仅是安全问题，日常数据库管理的复杂...阅读全文
近日，国际数据公司IDC发布的《中国专属云服务市场（2023下半年）跟踪》报告显示，2023下半年，专属云服务整体市场规模同比增长18.0%。中国电信天翼云以21.8%的市场份额，蝉联中国专属云服务市场第一。天翼云连续五次登顶，以实力持续领跑中国专属云服务市场。IDC报告指出，2023下半年，中国专属云服务市场继续从“规模发展”向“规模+质量并行发展”进阶，企业对于专属云服务的能力要求随着用云深度的不断加深而不断提高。依托自主可控的全栈云服务产品体系，天翼云可为客户提供公有云、专属云、私有云、边缘云等多类型高品质云服务。天翼专属云能够为用户实现资源物理隔离、网络隔离、存储隔离，消除用户之间的资源相互影响和网络互访隐患，具有安全隔离、稳定可靠、灵活可控、易于管理等优势。在专属云内，用户可独享...阅读全文
2024年6月26日，2024世界移动通信大会上海（简称“MWC上海”）盛大开幕。围绕“未来先行”主题，来自全球的产业、技术和社区等各界代表齐聚一堂，共话产业高质量发展。在“智启云领 向新未来”主题馆内，天翼云展出了“息壤”“云骁”“慧聚”三大智算平台和“天翼AI云电脑”“一体化紫金算力基础设施”等最新智算成果，全方位展示在人工智能时代的科技创新实力。算力分发网络平台“息壤”一体化计算加速平台“云骁”一站式智算服务平台“慧聚”一体化紫金算力基础设施天翼AI云电脑夯实智算底座全栈赋能AI产业创新与应用落地天翼云智算云体系中，“息壤”平台可实现跨域、跨服务商异构算力的统一调度管理、并网交易，加快全国一体化算力体系形成，让智算更普惠。“云骁”具备超大规模集群管理、运营和算力加速能力，集“...阅读全文
本文分享自天翼云开发者社区《TiDB体系架构》，作者:x****n如图所示，TiDB体系中三大组成部分：PD、TiDB Server、TiKV1.PD：负责产生全局的TSO时间、控制Region在TIkv中的分布、产生全局事务ID、还有其他ID。2.TiDB：没有数据落地，接收客户端sql语句，对sql语句进行解析和编译，最终形成执行计划。DDL语句和基于MVCC的老版本数据的回收，也是TiDB Server操作。3.TiKV：数据以键值队存储在TiKV中，主要负责数据持久化、MVCC、Coprocessor、事务以及自身副本的高可用和强一致性（由Muti-raft实现）。4.TiFlash：列式存储引擎，主要由扩展的raft共识算法与Tikv进行数据同步，实现负载均衡、强一致读取和实时更...阅读全文
本文分享自天翼云开发者社区《CBR云备份与恢复管控简介》，作者:c****n1.CBR云备份与恢复介绍CBR (Cloud Backup & Restore)是一般云厂商提供的备份与恢复服务。用户可以在云端对数据进行备份和恢复，保证数据的安全性和可靠性。使用CBR，用户可以方便地随时随地备份和恢复数据。采用增量备份、快照备份、跨区域复制等先进的备份和恢复技术，提供快速、高效、可靠的数据保护。此外，CBR还提供了基于agent的备份、快照备份、VSS备份等多种备份方式，以适应不同类型的数据和应用。2.云备份与恢复管控介绍CBR 管理架构旨在为用户提供安全、可靠、易用的备份与恢复服务。该架构由几个关键组件组成，包括备份服务端、消息中间件、备份仓库、备份引擎和恢复引擎。备份服务端为用户提供了基于...阅读全文
本文分享自天翼云开发者社区《ceph数据重构原理》，作者:x****n在分布式存储系统Ceph中，硬盘故障是一种常见问题。为了保证数据安全，当发生硬盘故障后，分布式存储系统会依据算法对故障硬盘上的数据进行数据重构及转储。和一般分布式系统一样的是，Ceph同样使用多副本机制来保证数据的高可靠性（注：EC在实现层面可以理解为副本机制的一种），给定一份数据，Ceph在后台自动存储多份副本（一般使用3个副本），从而使得在硬盘损毁、服务器故障、机柜停电等故障情况下，不会出现数据丢失，甚至数据仍能保持在线。不过在故障发生后，Ceph需要及时做故障恢复，将丢失的数据副本补全，以维系持续的数据高可靠性。一.PG和PGLogCeph中对象数据的维护由PG（Placement Group）负责，PG作为Ceph...阅读全文
本文分享自天翼云开发者社区《快照技术对比学习》，作者:z****n1.快照的分类根据 SNIA 的定义, 快照有全量快照 (full snapshot) 和增量快照 (incremental snapshot) 两种类型。2.全量快照克隆(Clone)：与备份操作类似，克隆技术是一种数据复制和恢复的方法，用于创建源数据的完全副本。将源数据的所有信息和状态以二进制形式进行备份，并在需要时将其恢复到相同或另一个系统中。克隆对象可以是存储卷、文件系统或者LUN，优势在于它提供了完全一致和独立的复制，不受源系统的影响。缺点就是在创建时要完整的复制一份数据，需要占用和源数据空间一样大的存储空间，资源成本高，消耗时间长。镜像分离(Split Mirror)：镜像分离也属于全量快照，先创建源卷的一个镜像卷...阅读全文
近日，由中国互联网协会主办的2024（第二十三届）中国互联网大会在北京举行。天翼云凭借“慧泽”大模型项目荣获首届“金灵光杯”中国互联网创新大赛金灵光大奖以及人工智能专题赛一等奖，天翼云电脑荣获信息技术应用创新专题赛优秀奖。天翼云科技有限公司副总经理、首席网络安全官广小明出席中小企业数据安全工具箱上线仪式，天翼云科技有限公司资深安全专家闫斐围绕“构筑原生安全基础设施，赋能企业数字转型发展”进行分享。以科技创新为引领匠心打造数智化产品服务大会开幕式上，中国工程院院士、中国互联网协会专家咨询委员会主任邬贺铨院士为获奖单位颁发了“金灵光”奖杯和获奖证书。“慧泽”是天翼云推出的政务行业大模型，此次获奖的天翼云“慧泽”大模型项目是基于政府惠民和政务管理的实际需求，在开源基模的基础上，通过持续预训练和有监...阅读全文
