之前文章提到过Kafka的broker端有ISR机制，它可以看成多个副本的集合，里面有leader副本和多个follower副本，数量是我们可以配置的，只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置，例如ack的配置、生产者重试、isr最小数量，消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式，即将一个分区下的数据保存到多个副本中，起到备份数据的作用。这样如果leader挂了，会重新选举follower作为leader继续工作，那么Kafka中leader副本是如何将数据同步到follower副本中的呢？今天想通过这篇文章总结记录下。 1.副本中的高水位（High Watermark） 什么...阅读全文
本文分享自天翼云开发者社区《小谈容灾备份》，作者：胡****静一.容灾分类从其对系统的保护程度来分,可以将容灾系统分为：数据容灾和应用容灾 1.数据容灾数据容灾，指建立一个异地的数据系统，该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。采用的主要技术是数据备份和数据复制技术。数据容灾技术，又称为异地数据复制技术，按照其实现的技术方式来说，主要可以分为同步传输方式和异步传输方式(各厂商在技术用语上可能有所不同)，另外，也有如“半同步”这样的方式。半同步传输方式基本与同步传输方式相同，只是在Read占I/O比重比较大时，相对同步传输方式，可...阅读全文
本文分享自天翼云开发者社区《CRISP-DM的应用与理解》，作者：吴****嫄CRISP-DM是一个数据挖掘项目规划的开放标准流程框架模型，主要分为业务理解、数据理解、数据准备、建模、评估、部署六个阶段。业务理解从业务的角度理解项目的目标和需求，将业务的目的转换为一个数据挖掘的问题，制定一个初步的实现计划计划。商业理解是明确要达到的业务目标，并将其转化为数据挖掘主题。要从商业角度对业务部门的需求进行理解，并把业务需求的理解转化为数据挖掘的定义，拟定达成业务目标的初步方案。具包括商业背景分析、商业成功标准的确定、形势评估、获得企业资源清单、获得企业的要求和想、评估成本和收益、评估风险和意外、初步理解行业术语，并确定数据挖掘的目标和制定数挖掘计划。在整个CRISP-DM的过程当中，围绕数据为核心...阅读全文
【完结14章】MQ大牛成长课--从0到1手写分布式消息队列中间件 消息中间件是一种用于构建分布式系统的软件基础设施，提供了一种异步的，可靠的，可伸缩的消息传递机制。 提高系统性能首先考虑的是数据库的优化，但是数据库因为历史原因，横向扩展是一件非常复杂的工程，所有我们一般会尽量把流量都挡在数据库之前。 不管是无限的横向扩展服务器，还是纵向阻隔到达数据库的流量，都是这个思路。阻隔直达数据库的流量，缓存组件和消息组件是两大杀器。 什么是消息队列 消息队列（Message queue，简称MQ），是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。从字面理解就是一个保存消息的一个容器。 常见的消息队列 当前使用较多的消息队列有RabbitMQ、RocketM...阅读全文
本文分享自天翼云开发者社区《云灾备：云时代的数据安全》，作者：l****n灾备（DR），在信息化的IT系统中，指的是容灾与备份结合，利用IT技术对企业数据、业务高可用进行保护，确保系统遭受灾难时数据安全、业务快速恢复。其作为“网络安全的最后一公里”，是网络安全保障体系的重要组成部分，也是网络与系统基础设施持续有效运行的基本保障。对于各行各业而言，数据是最核心、最重要的财富。但是火灾、地震、黑客攻击、人为失误等时刻威胁数据和信息系统的稳定运行。一、容灾的分类从其对系统的保护程度来分，可以将容灾系统分为：数据容灾和应用容灾，数据容灾就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。应用容灾是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备...阅读全文
DataLeap 字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点，也叫Event Tracking，是数据和业务之间的桥梁，是数据分析、推荐、运营的基石. 用户在使用App、小程序、Web等各种线上应用时产生的行为，主要通过埋点的形式进行采集上报，按不同的来源分为客户端埋点、Web端埋点、服务端埋点。 不同来源的埋点都通过数据流的日志采集服务接收到MQ，然后经过一系列的Flink实时ETL对埋点进行数据标准化、数据清洗、实时风控反作弊等处理，最终分发到下游，主要的下游包括ABTest、推荐、行为分析系统、实时数仓、离线数仓。 所以，如果用一句话来概括数据流主要业务，其实就是埋点的收集、清洗、分发。 目前在字节跳动，清洗和分发环节是基于Flink搭建的。 01 - 数据流业务规模 ...阅读全文
React面试宝典 React 是靠数据驱动视图改变的一种框架，它的核心驱动方法就是用其提供的 setState 方法设置 state 中的数据从而驱动存放在内存中的虚拟 DOM 树的更新。 更新方法就是通过 React 的 Diff 算法比较旧虚拟 DOM 树和新虚拟 DOM 树之间的 Change ，然后批处理这些改变。 React 性能优化的手段 React 中进行性能优化的手段可以从多个维度进行分类，以下是一些关键类别及其对应的优化策略： 1. 组件优化 使用PureComponent或React.memo：对于仅根据props和state改变才重新渲染的组件，使用React.PureComponent或者对其包装一层React.memo，它们都能通过浅比较props来避免不必要的重...阅读全文
近日，由天翼云数据库团队、中国电信云计算研究院和深圳北理莫斯科大学合作完成的《Taste: Towards Practical Deep Learning-based Approaches for Semantic Type Detection in the Cloud》（构建云上基于深度学习的大规模语义类型识别系统）论文被28th International Conference on Extending Database Technology（EDBT）长文收录。EDBT是数据库领域的知名国际会议，也是中国计算机学会CCF推荐的重点学术会议，已连续举办27届。此次天翼云数据库产品线所著论文被EDBT收录，代表着天翼云的科技创新能力再次获得数据库工业界和学术界的权威认可。该论文专注于数据...阅读全文
11月6日，国际数据公司（IDC）最新发布的《中国专属云服务市场（2024上半年）跟踪》报告显示，2024上半年，专属云服务市场同比增长13.4%。中国电信天翼云以21.4%的市场份额持续领跑专属云服务市场。伴随数智化转型不断深入，产业发展对数字基础设施的要求也不断提高，越来越多企业意识到多类异构私有云难以满足自身集约化管理、能力迭代、便捷运营等需求，开始转向既具备公有云能力，又兼具私有云数据本地化优势的专属云。此外，生成式AI的快速发展正促使云服务商将更多高阶服务下沉到属地专属云资源池，并加速向智算专属云换代升级，以满足客户对高性能、高安全性的AI计算需求。作为云服务国家队，天翼云始终坚持科技创新，以自主可控的全栈云服务产品体系，为千行百业向数字化、智能化转型赋能。天翼专属...阅读全文
本文分享自天翼云开发者社区《弹性存储关键技术介绍》，作者：1****m关键技术：（1）一致性HASH算法，保证数据分片尽量均衡在不同的故障域上，提升存储数据的安全可靠性。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为一致性HASH算法的输入，可以随时随地通过计算获取数据所在的底层存储设备并直接通信获取或者写入数据，从而避免查表操作，实现去中心化和高度并发，将数据均衡的存储到各个存储节点，实现数据存储的负载均衡去中心化以及哈希的数据随机分布，使得弹性存储底座在理论上具备无限的可扩展性一致性HASH 算法支持数据的多种备份策略，支持可配置副本数，支持存储节点故障域定义与划分，从而使整个系统具备了高可靠性和高可用性。（2）增加盘级缓存，提升引擎读写性能。为每个存储节点配置两块SSD盘...阅读全文
在linux中查看或监控磁盘的读写性能，可以用到iostat命令，本节介绍下其具体用法。 1，硬盘读写性能， #查看TPS和吞吐量信息 iostat -d -k 1 10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 14.54 417.21 368.06 15719357562 13867444535 dm-0 104.60 415.64 366.87 15660312829 13822621684 dm-1 0.69 1.57 1.19 59041280 44822840 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 0.00 0.00 0.00 0 0 dm-0 0.00...阅读全文
