本文分享自天翼云开发者社区《TiDB体系架构》，作者:x****n如图所示，TiDB体系中三大组成部分：PD、TiDB Server、TiKV1.PD：负责产生全局的TSO时间、控制Region在TIkv中的分布、产生全局事务ID、还有其他ID。2.TiDB：没有数据落地，接收客户端sql语句，对sql语句进行解析和编译，最终形成执行计划。DDL语句和基于MVCC的老版本数据的回收，也是TiDB Server操作。3.TiKV：数据以键值队存储在TiKV中，主要负责数据持久化、MVCC、Coprocessor、事务以及自身副本的高可用和强一致性（由Muti-raft实现）。4.TiFlash：列式存储引擎，主要由扩展的raft共识算法与Tikv进行数据同步，实现负载均衡、强一致读取和实时更...阅读全文
近年来，随着各行业数智转型逐步深入以及人工智能大模型的蓬勃发展，气象分析、大模型训练、自动驾驶、石油勘探、EDA仿真、基因分析等高性能计算（HPC）场景和智算场景（AI）不仅对算力需求激增，也产生了图片、视频等大规模非结构性数据，企业在实践中面临着数据量大、存储性能不足等问题，导致训练阻塞、算力利用率低甚至训练中断现象频繁发生。在此背景下，企业需要不断创新和优化存储系统技术架构，以便实现更加高效、可靠和灵活的存储解决方案。作为云服务国家队，天翼云坚持科技创新，不断加快推进数据存储基础设施建设，创新推出并行文件服务HPFS（CT-HPFS，High Performance File Storage），助力企业构建高性能存储底座。天翼云HPFS支持全NVMe闪存和InfiniBand高速网络，并...阅读全文
之前文章提到过Kafka的broker端有ISR机制，它可以看成多个副本的集合，里面有leader副本和多个follower副本，数量是我们可以配置的，只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置，例如ack的配置、生产者重试、isr最小数量，消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式，即将一个分区下的数据保存到多个副本中，起到备份数据的作用。这样如果leader挂了，会重新选举follower作为leader继续工作，那么Kafka中leader副本是如何将数据同步到follower副本中的呢？今天想通过这篇文章总结记录下。 1.副本中的高水位（High Watermark） 什么...阅读全文
引言 在实际业务开发中，随着业务的变化，数据的复杂性和多样性不断增加。传统的关系型数据库模型在这种情况下会显得受限，因为它们需要预先定义严格的数据模式，并且通常只能存储具有相同结构的数据。而面对非结构化或半结构化数据的存储和处理需求，选择使用非关系型数据库或者创建子表存储这些变化的结构可能会变得复杂。在这种情况下，我们可以利用MySQL的JSON字段类型来解决这个问题。JSON字段提供了灵活的数据存储方式，能够轻松应对数据结构的变化和动态性，从而更好地满足业务需求。 MySQL5.7.8版本引入了JSON数据类型，允许在数据库表中存储和操作符合JSON格式的数据。这种原生支持JSON（JavaScript对象表示法）的数据类型遵循RFC 7159标准，提供了有效存储复杂、半结构化数据的方式。...阅读全文
近日，天翼云联合权威科技媒体InfoQ举办了以“新存储，更轻量”为主题的线上技术分享会。天翼云存储产品线总监武志民讲解了HBlock的创新设计和技术。高性能·高可用·高可靠自研创新解决存储技术难题天翼云自主研发的业内首款存储资源盘活系统HBlock能够与底层基础设施完全解耦，同服务器上现网业务并存，将x86、ARM、龙芯等异构通用服务器中的存储资源统一管理，通过标准的iSCSI协议提供分布式块存储服务。在性能方面，HBlock单卷IOPS可达15万次、读写延迟小于200微秒，这要归功于自研的分布式多控架构和智能调度算法，以及多模式写缓存与读缓存的设计。写缓存方面，HBlock具有三种模式，可以根据不同场景的读写需求动态调整。读缓存方面，HBlock采用按需更新、分段加锁、高效淘汰算法和智能预...阅读全文
本文分享自天翼云开发者社区《Redis缓存异常及解决方案》，作者：l****n本文向读者解释了Redis使用过程中，数据不一致、缓存雪崩、缓存击穿和缓存穿透等问题的定义，并给出对应的解决方案。1、数据不一致 一致指的是：缓存中有数据，那么，缓存的数据值需要和数据库中的值相同；缓存中本身没有数据，那么，数据库中的值必须是最新值。不一致如何发生：对于读写缓存来说，写缓存时同步写数据库，需要使用事务保证缓存和数据库的更新具有原子性。弱一致性情况下，可以使用异步写回。对于只读缓存，删改数据需要既更新数据库，又删除缓存。如果不使用事务，就会出现数据不一致。比如先更新数据库，再删除缓存。更新成功，删除缓存失败，则缓存中为旧值。如果先删除缓存再更新数据库，则缓存删除成功，数据库更新失败，再访问数据库，数据...阅读全文
本文分享自天翼云开发者社区《CRISP-DM的应用与理解》，作者：吴****嫄CRISP-DM是一个数据挖掘项目规划的开放标准流程框架模型，主要分为业务理解、数据理解、数据准备、建模、评估、部署六个阶段。业务理解从业务的角度理解项目的目标和需求，将业务的目的转换为一个数据挖掘的问题，制定一个初步的实现计划计划。商业理解是明确要达到的业务目标，并将其转化为数据挖掘主题。要从商业角度对业务部门的需求进行理解，并把业务需求的理解转化为数据挖掘的定义，拟定达成业务目标的初步方案。具包括商业背景分析、商业成功标准的确定、形势评估、获得企业资源清单、获得企业的要求和想、评估成本和收益、评估风险和意外、初步理解行业术语，并确定数据挖掘的目标和制定数挖掘计划。在整个CRISP-DM的过程当中，围绕数据为核心...阅读全文
DataLeap 字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点，也叫Event Tracking，是数据和业务之间的桥梁，是数据分析、推荐、运营的基石. 用户在使用App、小程序、Web等各种线上应用时产生的行为，主要通过埋点的形式进行采集上报，按不同的来源分为客户端埋点、Web端埋点、服务端埋点。 不同来源的埋点都通过数据流的日志采集服务接收到MQ，然后经过一系列的Flink实时ETL对埋点进行数据标准化、数据清洗、实时风控反作弊等处理，最终分发到下游，主要的下游包括ABTest、推荐、行为分析系统、实时数仓、离线数仓。 所以，如果用一句话来概括数据流主要业务，其实就是埋点的收集、清洗、分发。 目前在字节跳动，清洗和分发环节是基于Flink搭建的。 01 - 数据流业务规模 ...阅读全文
本文分享自天翼云开发者社区《小谈容灾备份》，作者：胡****静一.容灾分类从其对系统的保护程度来分,可以将容灾系统分为：数据容灾和应用容灾 1.数据容灾数据容灾，指建立一个异地的数据系统，该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。采用的主要技术是数据备份和数据复制技术。数据容灾技术，又称为异地数据复制技术，按照其实现的技术方式来说，主要可以分为同步传输方式和异步传输方式(各厂商在技术用语上可能有所不同)，另外，也有如“半同步”这样的方式。半同步传输方式基本与同步传输方式相同，只是在Read占I/O比重比较大时，相对同步传输方式，可...阅读全文
「完结18章」C++大型流媒体项目-从底层到应用层千万级直播系统实战获课：「完结18章」C++大型流媒体项目-从底层到应用层千万级直播系统实战获取ZY↑↑方打开链接↑↑C++通用基础函数库实现构建一个C++通用基础函数库是一个有助于提高代码复用性和开发效率的好方法。这个库可以包含一系列常用的数据结构、算法以及工具函数，以支持各种编程任务。以下是一些建议的模块和它们可能包含的功能：1. 数据结构智能指针：尽管C++11已经引入了std::shared_ptr, std::unique_ptr等，但你可以实现自己的版本来学习内存管理。容器类：如链表、栈、队列、哈希表等，这些可以基于STL（标准模板库）进行扩展或自定义实现。2. 算法排序算法：实现快速排序、归并排序、堆排序等多种排序算法，并考虑...阅读全文
本文分享自天翼云开发者社区《云灾备：云时代的数据安全》，作者：l****n灾备（DR），在信息化的IT系统中，指的是容灾与备份结合，利用IT技术对企业数据、业务高可用进行保护，确保系统遭受灾难时数据安全、业务快速恢复。其作为“网络安全的最后一公里”，是网络安全保障体系的重要组成部分，也是网络与系统基础设施持续有效运行的基本保障。对于各行各业而言，数据是最核心、最重要的财富。但是火灾、地震、黑客攻击、人为失误等时刻威胁数据和信息系统的稳定运行。一、容灾的分类从其对系统的保护程度来分，可以将容灾系统分为：数据容灾和应用容灾，数据容灾就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。应用容灾是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备...阅读全文
xia仔ke：xingkeit.top/9593/ 引言 CentOS（Community ENTerprise Operating System）是一种基于Red Hat Enterprise Linux（RHEL）的开源Linux发行版，广泛应用于服务器环境。由于其稳定性、安全性和长生命周期，CentOS被许多企业和开发者所青睐。本文将探讨CentOS系统的安装过程，包括准备工作、安装步骤、配置与优化以及后续维护等方面。 1. CentOS概述 CentOS是一种社区驱动的Linux发行版，旨在提供一个免费的、企业级的操作系统。它与RHEL保持二进制兼容，但不提供官方支持。CentOS的发布周期通常与RHEL相匹配，确保用户能够获得与企业级版本相似的稳定性和安全性。因此，CentOS成为...阅读全文
本文分享自天翼云开发者社区《如何让JS代码变的安全？》，作者：温****双前端JS代码，直接暴露在浏览器中，任何访问者，都可以随意查看代码。这就导致代码可以被分析、复制、盗用等，进而引发安全问题，如被利用代码bug攻击、揭露功能逻辑、复制出雷同应用等等。对JS代码进行保护：混淆&加密，使代码不可读。即：它人依然可以看到代码，但看到的是加密的代码、无法理解代码，更无法修改。通过混淆加密，使代码变的难以阅读和理解。如果说混淆后机器能执行，人就能理解，只是需要的时间长短问题。这种极端的说法，从理论上来说没错，如果可以投入足够长的时间，程序员甚至可以直接用0101写代码。而从实际角度而言，一段代码如果保护后分析需要的时长，超过开发需要的时长，保护的目的就达到了，就会劝退99.9999%对它有想法的正...阅读全文
xia仔ke：xingkeit.top/9538/ 引言 FFmpeg是一个强大的开源多媒体框架，能够录制、转换和流式传输音频和视频。由于其广泛的功能和灵活性，FFmpeg被广泛应用于视频处理、音频转换、流媒体传输等多个领域。尽管FFmpeg的命令行工具可能对初学者而言略显复杂，但通过对其命令的分类和查询，用户可以更有效地利用FFmpeg进行多媒体处理。本文将对FFmpeg命令进行分类，并介绍每一类命令的主要功能。 1. 输入和输出选项 FFmpeg的命令通常涉及对输入和输出文件的操作。输入和输出选项用于指定要处理的文件及其格式，主要包括以下几个方面： 输入文件：使用-i选项指定要处理的输入文件，可以是音频、视频或图像文件。 输出文件：在命令末尾指定输出文件的名称和格式，FFmpeg会根据文...阅读全文
React面试宝典 React 是靠数据驱动视图改变的一种框架，它的核心驱动方法就是用其提供的 setState 方法设置 state 中的数据从而驱动存放在内存中的虚拟 DOM 树的更新。 更新方法就是通过 React 的 Diff 算法比较旧虚拟 DOM 树和新虚拟 DOM 树之间的 Change ，然后批处理这些改变。 React 性能优化的手段 React 中进行性能优化的手段可以从多个维度进行分类，以下是一些关键类别及其对应的优化策略： 1. 组件优化 使用PureComponent或React.memo：对于仅根据props和state改变才重新渲染的组件，使用React.PureComponent或者对其包装一层React.memo，它们都能通过浅比较props来避免不必要的重...阅读全文
真实高质量低代码商业项目，前端/后端/运维/管理系统(完结)获课：aixuetang.xyz/5050/低代码平台在商业项目中的应用能够极大地提高开发效率，减少技术门槛，帮助团队快速交付应用。对于前端、后端、运维以及管理系统的设计，可以通过低代码平台实现以下几个方面：1.前端部分：低代码平台为前端开发提供了可视化的界面设计工具，开发者可以通过拖拽组件来快速构建用户界面。常见的低代码平台（如OutSystems、Mendix、Appian等）为前端开发提供以下支持：拖拽式界面设计：无需编写大量HTML、CSS和JavaScript代码，通过可视化工具拖动组件并配置属性来构建用户界面。响应式设计：很多低代码平台内建支持响应式布局，能确保应用在不同设备上的良好展示。集成第三方库与组件：可以集成第...阅读全文
【完结21章附电子书】2024全新GO工程师面试总攻略，助力快速斩获offer GO工程师面试总攻略主要包括以下几个方面：基础知识复习、进阶知识掌握、项目经验准备、面试技巧提升、实战演练以及持续学习与社区参与。 一、基础知识复习 Go语言基础：理解Go语言的基本语法，如变量声明、控制结构、函数等。 类型系统：熟悉基本数据类型、复合类型以及类型转换。 并发模型：深入理解goroutine和channel的工作原理及其在并发编程中的应用。 内存管理：了解垃圾回收机制及如何避免内存泄漏。 标准库：熟悉常用的包如fmt、io/ioutil、net/http等，并能灵活运用。 二、进阶知识掌握 错误处理：掌握使用error类型进行错误处理的方法，了解如何优雅地处理程序中的异常情况。 测试：学会编写单...阅读全文
近日，由天翼云数据库团队、中国电信云计算研究院和深圳北理莫斯科大学合作完成的《Taste: Towards Practical Deep Learning-based Approaches for Semantic Type Detection in the Cloud》（构建云上基于深度学习的大规模语义类型识别系统）论文被28th International Conference on Extending Database Technology（EDBT）长文收录。EDBT是数据库领域的知名国际会议，也是中国计算机学会CCF推荐的重点学术会议，已连续举办27届。此次天翼云数据库产品线所著论文被EDBT收录，代表着天翼云的科技创新能力再次获得数据库工业界和学术界的权威认可。该论文专注于数据...阅读全文
DBA数据库工程师 获课地址：itazs.fun/13241/ 获取ZY↑↑方打开链接↑↑ DBA（数据库管理员）和数据库工程师是两个密切相关但有所区别的职业。以下是对这两个角色的探讨： DBA（数据库管理员） DBA主要负责管理和维护数据库管理系统（DBMS），属于运维工程师的一个分支。他们的工作职责包括但不限于： 数据库设计：确定数据库的需求、建立数据库模型、定义表结构、数据字典设计以及性能优化。 安装和升级：安装和升级数据库服务器，以及应用程序工具。 存储管理：熟悉数据库系统的存储结构，预测未来的存储需求，制订数据库的存储方案。 安全性和权限管理：控制和监控用户对数据库的存取访问，制定合理的用户权限和角色管理策略，以确保数据库的安全性。 备份和恢复：负责定义和实施适当的数据库备份和恢复...阅读全文
音视频流媒体高级开发（FFmpeg6.0/WebRTC/RTMP/RTSP/编码解码）xia仔ke：itazs.fun/5158/获取资源：上方URL获取资源构建一个支持多种协议（如FFmpeg、WebRTC、RTMP、RTSP）的流媒体系统，涉及到视频的编码、解码、传输和播放等多个方面。以下是一个详细的指南，帮助你理解并实现这些技术。1. FFmpeg1.1 简介FFmpeg 是一个开源的多媒体框架，可以用来记录、转换和流式传输音视频。它支持多种编解码器和协议，是处理音视频的首选工具。1.2 安装sh深色版本# 在Ubuntu上安装FFmpegsudo apt update sudo apt install ffmpeg 1.3 常用命令转码：将一个视频文件转码为另一种格式。sh深色版本...阅读全文
前言 proxy_cache是nginx内置的一个缓存系统，可实现减小后端负载的作用。 常用参数说明 参数 说明 proxy_cache_path 缓存文件路径。level表示目录层级，1:2表示两个子目录。keys_zone指定缓存区名称和大小。inactive表示缓存有效期。max_size表示硬盘中缓存的大小。use_temp_path为off时表示缓存文件直接写到cache中而不使用temp_path，避免文件拷贝导致影响性能。 proxy_cache 启用缓存并指定缓存区域 proxy_cache_valid 根据状态码来定义缓存的有效期 proxy_cache_min_uses 被访问多少次后才缓存，默认为1 proxy_cache_methods 指定可以被缓存的请求方法，默认...阅读全文
C++数据开放平台实战，手把手教你做工业级项目「完结」来百度APP畅享高清图片获课：itazs.fun/5766/获取资源：上方URL获取资源C++ 数据类型介绍C++ 是一种静态类型的语言，这意味着变量在声明时必须指定类型。C++ 提供了多种内置数据类型，这些类型可以分为以下几类：基本数据类型、复合数据类型和派生数据类型。1. 基本数据类型基本数据类型是最常用的类型，它们直接对应于计算机的硬件支持。C++ 中的基本数据类型包括整型、浮点型、字符型和布尔型。1.1 整型（Integer Types）整型用于表示整数，包括有符号和无符号两种形式。常见的整型有：int：通常为32位，范围通常是 -2,147,483,648 到 2,147,483,647。short：通常为16位，范围通常是 ...阅读全文
11月6日，国际数据公司（IDC）最新发布的《中国专属云服务市场（2024上半年）跟踪》报告显示，2024上半年，专属云服务市场同比增长13.4%。中国电信天翼云以21.4%的市场份额持续领跑专属云服务市场。伴随数智化转型不断深入，产业发展对数字基础设施的要求也不断提高，越来越多企业意识到多类异构私有云难以满足自身集约化管理、能力迭代、便捷运营等需求，开始转向既具备公有云能力，又兼具私有云数据本地化优势的专属云。此外，生成式AI的快速发展正促使云服务商将更多高阶服务下沉到属地专属云资源池，并加速向智算专属云换代升级，以满足客户对高性能、高安全性的AI计算需求。作为云服务国家队，天翼云始终坚持科技创新，以自主可控的全栈云服务产品体系，为千行百业向数字化、智能化转型赋能。天翼专属...阅读全文
C++大型流媒体项目-从底层到应用层千万级直播系统实战（完结）获课：jzit.top/5300/C++在大型流媒体项目中的应用是非常广泛的，尤其是在要求高性能、低延迟和高可靠性的场景下。成功开发和部署一个大型流媒体项目通常需要精心设计和技术选型。以下是一些关键的步骤和考虑因素，帮助你了解如何实现C++大型流媒体项目的成功：1.明确需求和目标在开始开发之前，必须明确项目的目标。流媒体项目通常包括直播、视频点播（VOD）、实时通信等不同类型的流媒体服务。明确需求有助于制定清晰的架构设计和技术选型。直播流媒体： 如实时视频、音频传输，通常要求低延迟。点播流媒体： 视频的按需播放，可以容忍较高的延迟，但需要良好的缓存和分发策略。实时通信： 例如视频会议、在线互动，这要求非常低的延迟和高可用性。2....阅读全文
百万级高并发WebRTC流媒体服务器设计与开发（完结） 获课：xuelingit.xyz/1636/ 获取ZY↑↑方打开链接↑↑ 设计和开发一个百万级高并发的WebRTC流媒体服务器是一个挑战性极高的任务，涉及到多个方面的技术，包括实时传输、分布式架构、负载均衡、服务器性能优化等。下面我将从系统设计的角度，详细介绍如何进行高并发WebRTC流媒体服务器的设计与开发。 1. 需求分析与架构设计 流媒体类型: 首先需要明确支持的流媒体类型，包括视频、音频的实时传输，并确保其低延迟。 并发量: 根据百万级的并发量，服务器的负载需要非常高，因此需要考虑分布式架构来确保系统的可扩展性。 带宽与延迟要求: WebRTC要求低延迟（通常小于500ms），带宽使用高效，尤其是在面对多个并发流时，网络带宽的管...阅读全文
（完结16章）SpringBoot2 仿B站高性能前端+后端项目获课：（完结16章）SpringBoot2 仿B站高性能前端+后端项目获取ZY↑↑方打开链接↑↑SpringBoot2 实现B站核心功能（视频流、弹幕流）实现类似B站的核心功能，如视频流和弹幕流，是一个复杂且庞大的项目。虽然使用Spring Boot 2可以提供一个强大的后端框架，但实现这些功能还需要结合其他技术和工具。以下是一个简化的步骤指南，帮助你了解如何使用Spring Boot 2来实现这些核心功能的基本框架。1. 项目初始化首先，使用Spring Initializr或你喜欢的IDE创建一个Spring Boot项目，并添加必要的依赖，如Spring Web、Spring Data JPA（或你选择的数据库访问技术）...阅读全文
技术大牛成长课，从0到1带你手写一个数据库系统(超清完结)获课：技术大牛成长课，从0到1带你手写一个数据库系统(超清完结)获取ZY↑↑方打开链接↑↑手写数据库系统的必要性，及系统的整体介绍手写数据库系统的必要性手写数据库系统为数据库技术的优化和创新提供了可能。开发者可以尝试新的数据存储模型、索引结构或查询优化算法。例如，研究人员可以开发一种基于新型硬件（如非易失性内存）的存储引擎，以突破传统存储方式的性能瓶颈。在计算机科学教育领域，手写数据库系统是一个非常好的教学实践项目。它可以帮助学生巩固数据结构、算法和操作系统等多门课程的知识。学生通过自己实现数据库的存储引擎、查询处理器等组件，能够将理论知识与实际应用相结合，提高编程和系统设计能力。对于一些具有特殊业务要求的场景，现成的数据库系统可能...阅读全文
本文分享自天翼云开发者社区《NAT原理：概念、使用场景、转发流程及规则》，作者：x****n网络地址转换（NAT）是一种在计算机网络中将一个网络的IP地址转换为另一个网络的IP地址的技术。它通常用于将私有网络的IP地址映射到公共网络的IP地址，以便在Internet上进行通信。NAT技术解决了IPv4地址短缺的问题，同时也提高了网络的安全性。NAT的使用场景主要包括以下几种情况：1.公共IP地址不足：在Internet上分配公共IP地址是有限的，而且越来越昂贵。因此，许多组织和企业使用私有IP地址来管理他们的局域网。但是，当这些网络需要与Internet通信时，就需要使用NAT技术将私有IP地址映射到公共IP地址。2.安全性：NAT技术可以提高网络的安全性，因为它隐藏了私有网络背后的真实IP...阅读全文
程序员基石必修课，计算机网络底层原理（高清完结）获课：程序员基石必修课，计算机网络底层原理（高清完结）获取ZY↑↑方打开链接↑↑掌握通过抓包解决问题的能力掌握通过抓包解决问题的能力，是网络工程师、Web前端开发人员以及网络安全专家等必备的技能之一。以下将详细介绍如何通过抓包来解决问题，并提升相关能力。一、抓包的基本概念抓包（Packet Capture）是指截获、记录和分析网络数据包的技术。通过抓包，可以深入了解网络流量，识别潜在问题，甚至发现安全隐患。二、抓包工具的选择在抓包过程中，选择合适的工具至关重要。以下是一些常用的抓包工具：Wireshark：一款功能强大的开源抓包工具，支持多种操作系统。它提供了丰富的分析功能，能够对捕获的数据包进行深度解析。tcpdump：一个命令行工具，适用...阅读全文
C++大型流媒体项目-从底层到应用层千万级直播系统实战获课：点我获取资源：上方URL获取资源构建一个支持千万级用户的大型流媒体直播系统是一项复杂且具有挑战性的任务。这样的系统需要从底层到应用层进行全面的设计和优化，以确保高性能、高可用性和可扩展性。以下是一个从底层到应用层的详细设计方案，帮助你构建一个支持千万级用户的直播系统。1. 系统架构设计1.1 总体架构前端：用户界面，包括Web、移动应用等。后端：处理业务逻辑，包括用户管理、房间管理、消息管理等。流媒体服务器：处理视频流的推流、转码、分发等。存储系统：存储用户数据、视频数据等。数据库：存储用户信息、直播信息等。缓存系统：提高数据读取速度，减轻数据库压力。消息队列：处理异步任务，如消息推送、日志记录等。监控系统：实时监控系统性能，及时...阅读全文
本文分享自天翼云开发者社区《弹性存储关键技术介绍》，作者：1****m关键技术：（1）一致性HASH算法，保证数据分片尽量均衡在不同的故障域上，提升存储数据的安全可靠性。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为一致性HASH算法的输入，可以随时随地通过计算获取数据所在的底层存储设备并直接通信获取或者写入数据，从而避免查表操作，实现去中心化和高度并发，将数据均衡的存储到各个存储节点，实现数据存储的负载均衡去中心化以及哈希的数据随机分布，使得弹性存储底座在理论上具备无限的可扩展性一致性HASH 算法支持数据的多种备份策略，支持可配置副本数，支持存储节点故障域定义与划分，从而使整个系统具备了高可靠性和高可用性。（2）增加盘级缓存，提升引擎读写性能。为每个存储节点配置两块SSD盘...阅读全文
DBA数据库工程师（已完结）获课：www.999it.top/13241/优秀的数据库管理员（DBA，Database Administrator）在信息技术领域中扮演着至关重要的角色，尤其是在数据成为企业核心资产的今天。一个出色的DBA不仅需要掌握深厚的技术技能，还需要具备良好的沟通能力和业务理解力，以确保数据库系统的稳定、安全和高效运行。以下是优秀DBA的社会地位的一些体现：1.技术权威专业知识：作为数据库专家，DBA拥有对特定数据库管理系统（如Oracle, MySQL, PostgreSQL等）及其相关工具和技术的深入理解。问题解决者：当系统出现问题时，DBA往往是第一个被求助的人，因为他们有能力快速诊断并解决问题。2.业务伙伴战略决策支持：随着数据分析的重要性日益增加，DBA与业...阅读全文
实战Spark3 实时处理，掌握两套企业级处理方案（完结11章） sprark提供实时计算的模块:SparkStreaming、StructuredStreaming Spark Streaming是构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。Spark Streaming于2013年2月在Spark0.7.0版本中引入，发展至今已经成为了在企业中广泛使用的流处理平台。在2016年7月，Spark2.0版本中引入了Structured Streaming，并在Spark2.2版本中达到了生产级别，Structured Streaming是构建在Spark SQL之上的流处理引擎，用户可以使用DataSet/DataFreame API进行流处理，目前Str...阅读全文
MySQL必会核心问题50讲 获课：itazs.fun/13237/ 获取ZY↑↑方打开链接↑↑ 《MySQL 必会核心问题 50 讲》中一些非常重要的内容： 一、基础概念部分 数据存储引擎 InnoDB 是 MySQL 默认的存储引擎。它支持事务，具有 ACID（原子性、一致性、隔离性、持久性）特性。例如，在一个银行转账系统中，从一个账户扣款并向另一个账户存款的操作必须是原子的，要么全部成功，要么全部失败，InnoDB 可以很好地保证这种事务的完整性。 MyISAM 不支持事务，但它的读写速度在某些简单场景下可能比 InnoDB 快。它适用于以读为主的场景，如一些数据仓库中的历史数据查询。MyISAM 存储引擎会将表存储为三个文件，分别是.frm（存储表结构）、.MYD（存储数据）和.MY...阅读全文
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统获课：789it点top/2505/获取ZY↑↑方打开链接↑↑大数据生态圈：构建智能时代的基石在数字化浪潮汹涌的今天，大数据已成为推动各行各业变革的重要力量。大数据生态圈，作为这一变革的核心驱动力，汇聚了Hadoop、Spark、Flink、数据仓库、实时分析以及推荐系统等一系列关键技术，共同构建了一个高效、智能的数据处理与分析体系。本文将深入探讨这些技术如何协同工作，为企业带来前所未有的数据洞察力和业务价值。Hadoop：大数据处理的基石Hadoop，作为大数据领域的基石，为海量数据的存储和处理提供了强大的分布式基础架构。其核心组件HDFS（Hadoop Distributed File System）通过分布...阅读全文
本文分享自天翼云开发者社区《说说天翼云大规模数据中心组网架构的优势》，作者：程****超天翼云大规模数据中心组网架构的优势：扁平化：现代大规模数据中心,以云计算为代表的流量模型，扁平化设计大大缩短服务器之间的通信路径，从而降低延迟，可以显著提高应用程序和服务性能。易扩展：如果 Spine 交换机的带宽不足，我们只需要增加 Spine 节点数，也可以提供路径上的负载均衡；如果接入连接不足，则只需增加 Leaf 节点数。在设计规模上可以达到几万台至十万台级别.低收敛比：容易实现 1:X 甚至是无阻塞的 1:1 的收敛比，而且通过增加 Spine 和 Leaf 设备间的链路带宽也可以降低链路收敛比，充分适应当前大规模集群的通信需求。更可靠: Spine和Leaf节点全连接,提供了更为可靠的组网连接...阅读全文
2024 鸿蒙零基础快速实战-仿抖音App开发（ ArkTS版 ）|完结鸿蒙零基础快速实战——仿抖音App开发随着鸿蒙操作系统的逐渐普及，越来越多的开发者开始探索如何在鸿蒙平台上开发应用。鸿蒙系统（HarmonyOS）由华为推出，旨在为多个终端设备提供统一的操作系统。作为一款面向智能手机、平板、智能穿戴设备等多种硬件的操作系统，鸿蒙提供了很多优秀的开发工具和API，帮助开发者实现更加高效的跨平台应用。本文将通过实战案例，帮助零基础的开发者快速上手鸿蒙开发，实战开发一个仿抖音（TikTok）App，主要包括视频播放、用户互动（点赞、评论）、视频上传等功能。通过这个项目，你将掌握鸿蒙开发的基本概念和实践技巧。一、项目需求分析我们的目标是开发一个仿抖音的应用，主要实现以下几个功能：视频播放：支持用...阅读全文
音视频流媒体高级开发（FFmpeg6.0/WebRTC/RTMP/RTSP/编码解码）获课：789it.top/5158/下面是对FFmpeg6.0、WebRTC、RTMP、RTSP以及编码解码技术的详细介绍：FFmpeg6.0定义与功能：FFmpeg是一套开源的计算机程序，用于记录、转换数字音频和视频，并能将其转化为流。核心组件：FFmpeg包含了非常先进的音视频编解码库libavcodec，该库拥有高度优化的代码，以实现跨平台的应用和高编解码速度。新特性（以FFmpeg6.0为例）：更多的编解码器支持。改进的硬件加速选项。性能优化和bug修复。新的过滤器和工具。应用场景：视频转码：例如，将MP4文件转码为H.264编码的视频和AAC编码的音频。流媒体录制：从RTMP服务器录制流媒体，并...阅读全文
轻松入门大数据：玩转Flink，打造湖仓一体架构（完结无秘）获课：xuelingit点xyz/2159/获取ZY↑↑方打开链接↑↑玩转 Flink，打造湖仓一体架构在大数据时代，数据成为企业决策和创新的核心资产。如何高效地管理和利用这些数据，湖仓一体架构应运而生。Apache Flink 作为一款强大的开源流批一体化处理框架，在打造湖仓一体架构中发挥着关键作用。湖仓一体架构：融合的力量传统的数据架构中，数据仓库和数据湖各自为政。数据仓库以结构化数据为主，注重数据的一致性和准确性，主要用于支持企业的决策分析；而数据湖则以原始的、非结构化或半结构化数据存储为主，强调数据的灵活性和扩展性。但这种分离的架构在实际应用中面临诸多挑战，如数据处理流程复杂、数据一致性难以保证、数据价值难以充分挖掘等。湖...阅读全文
逆向-易道云-C++正逆向全栈课程（零基础到项目实战）获课:www点bcwit点top/2517/获取ZY↑↑方打开链接↑↑在C和C++编程语言中，基本数据类型和计算是编程的基础。了解并掌握这些基本概念对于编写高效、正确的程序至关重要。以下是对C/C++中基本数据类型和计算的一些详细介绍：一、基本数据类型C/C++提供了多种基本数据类型，用于存储不同类型的数据。这些数据类型大致可以分为以下几类：整型（Integer Types）：int：有符号整型，用于存储整数。short：短整型，占用空间比int小。long：长整型，占用空间比int大。long long：更长的整型，用于存储非常大的整数。unsigned：无符号整型，只能存储非负整数。可以与上述整型组合使用，如unsigned int...阅读全文
数据分析50+高频场景实战 业绩提升立竿见影|已完结数据分析在50+高频场景中的实战应用：业绩提升立竿见影随着数字化转型的深入，数据分析已成为各行各业提升业绩的关键工具，尤其是在50+高频场景中，数据分析的价值更加凸显。这些场景往往涉及大量数据流转和快速决策，如何从中提炼出有价值的信息并迅速应用，成为了企业快速提升业绩的核心所在。1. 50+高频场景的特点50+高频场景通常出现在零售、电商、金融、医疗、互联网等行业。这些场景具有几个明显特点：数据量大、变化快：用户行为、交易记录、产品更新等数据量庞大且日常波动较大。决策时效性强：决策需要在极短的时间内完成，无法依赖长周期的分析。行为复杂多样：用户需求和行为呈现多元化趋势，需要精准分析每个细分群体的行为模式。2. 数据分析在50+高频场景中的应...阅读全文
SpringBoot2.X+Vue+UniAPP，全栈开发医疗小程序无秘分享获课：3w-bcwit和top/208/获取ZY↑↑方打开链接↑↑后端技术栈分析在SpringBoot2.X+Vue+UniAPP全栈开发医疗小程序的过程中，后端技术栈的选择与实施至关重要。以下是对这一组合中后端技术栈的详细分析：SpringBoot2.X后端技术栈1. 技术特性与优势自动配置与快速开发：SpringBoot2.X凭借其自动配置的特性，大大简化了Spring应用的初始化和开发过程，使得开发者能够更快速地构建出稳定、高效的后端服务。丰富的生态与工具支持：SpringBoot2.X拥有庞大的生态系统和丰富的工具支持，包括Spring Cloud、Spring Data等，为开发者提供了全方位的技术解决方...阅读全文
2023升级版-Spark+ClickHouse实战企业级数据仓库，进军大厂必备获课地址：jzit.top/819/Spark+ClickHouse实战企业级数据仓库引用Apache Spark和ClickHouse是构建企业级数据仓库的强大工具。Spark用于大规模数据处理，而ClickHouse是一个列式数据库管理系统，适用于在线分析处理（OLAP）场景。以下是使用Spark和ClickHouse实战企业级数据仓库的步骤：1. 需求分析与设计需求收集：与业务团队沟通，了解数据仓库的需求，包括数据源、报表需求、查询性能等。数据模型设计：设计星型模式或雪花模式的模型，以适应ClickHouse的列式存储。2. 环境准备硬件资源：确保有足够的计算和存储资源来部署Spark集群和ClickHou...阅读全文
MySQL必会核心问题50讲 | 完结9章获课：aixuetang.xyz/13237/MySQL是世界上最受欢迎的关系型数据库管理系统之一，广泛应用于各种规模的应用程序中。掌握MySQL的核心问题对于开发人员、DBA和其他IT专业人士来说至关重要。以下是关于MySQL的一些必会核心问题的讲解：1.安装与配置安装过程：熟悉如何在不同操作系统上安装MySQL，并了解其默认配置。安全设置：包括初始化密码设置、移除匿名用户、禁用远程root登录等。优化配置文件（my.cnf/my.ini）：根据硬件资源调整关键参数，如innodb_buffer_pool_size、max_connections等。2.SQL基础数据定义语言（DDL）：创建、修改和删除表结构，例如CREATE TABLE、ALT...阅读全文
2024最新网络安全-信息安全全套资料获课：www点bcwit点top/13802/获取ZY↑↑方打开链接↑↑网络安全和信息安全是当今数字化时代的重要议题，预防网络安全和信息安全问题需要从多个方面入手，以下是一些关键的预防措施：一、加强技术防护安装杀毒软件：为电脑、手机等终端设备安装可靠的杀毒软件，并定期更新病毒库和系统补丁，以防范病毒和木马的攻击。使用防火墙：配置防火墙来监控和过滤网络流量，阻止未经授权的访问和恶意软件的传播。数据加密：对敏感数据进行加密处理，确保数据在传输和存储过程中的安全性。使用安全的网络协议：如HTTPS、SFTP等，这些协议提供了更高的数据传输安全性。二、提升用户安全意识不轻易点击不明链接：避免点击来自不可信来源的链接，特别是包含诱惑性信息的链接，以防止恶意软件的...阅读全文
本文分享自天翼云开发者社区《如何用sockpef测试实例之间的网络时延》，作者：j****n网络时延：指数据（报文/分组、比特流）从网络的一端发送到另一端所需的时间。也叫延迟或迟延。操作步骤：分别在测试机和辅助测试机上执行一下命令，安装sockperfyum install -y autoconf automake libtool gcc-c++cd /optwget ***/tags/3.8.tar.gz –no-check-certificate(官网地址，自行百度）tar -zxf 3.8.tar.gzcd sockperf-3.8/（./autogen.sh && ./configure && make && make install）./autogen.sh./configurem...阅读全文
Flink 从0到1实战实时风控系统获课：97java.xyz/2323/Flink风控系统：实时风险防控的利器随着大数据技术的飞速发展，尤其是流处理技术的不断成熟，实时风控系统已成为金融、电子商务等行业不可或缺的重要组成部分。Apache Flink，作为一款开源的分布式流处理框架，凭借其高吞吐、低延迟和灵活的处理能力，在实时风控系统中发挥着举足轻重的作用。一、Flink简介及其优势Flink最初由柏林工业大学的研究人员开发，旨在实现数据流上的有状态计算。自2014年成为Apache的顶级项目以来，Flink已逐渐发展成为处理无界和有界数据的强大工具。其分布式架构、高可用性、准确性、低延迟、高吞吐量以及灵活性等特点，使其成为实时风控系统的理想选择。分布式架构：Flink程序可以运行在分布式...阅读全文
Flink 从0到1实战实时风控系统(MK完结)获课地址：789it.top/2323/构建一个基于Apache Flink的实时风控系统是一个涉及多个步骤的过程。以下是从0到1构建实时风控系统的实战指南：1. 环境准备安装Java环境（Flink是用Java编写的）。下载并解压Apache Flink。确保有一个可靠的消息队列系统，如Kafka。2. 需求分析明确风控系统的目标，例如检测欺诈交易、异常登录行为等。确定需要监控的数据源和指标。3. 数据收集部署数据收集组件，如日志收集器Flume或直接使用Kafka。确保数据能够实时传输到Flink。4. Flink程序开发4.1 定义数据模型创建POJO类来表示数据模型。java复制public class Transaction { pr...阅读全文
体系课-数据可视化，打造前端差异化竞争力（已完结）获课：jzit.top/1794/获取ZY↑↑方打开链接↑↑数据可视化是关于数据视觉表现形式的科学技术研究，以下是对数据可视化的详细探讨：一、定义与概念数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。它允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。二、发展阶段数据可视化的发展经历了科学可视、信息可视和数据可视等阶段。它是一个处于不断演变之中的概念，其边界在不断地扩大。三、基本原理数据可视化技术包含以下几个基本概念：数据空间：由n维属性和m个元素组成的数据集所构成的多维信息空间。数据开发：利用一定的算法和工具对...阅读全文
SpringBoot3.0 + RocketMq 构建企业级数据中台（完结）获课：97java.xyz/5063/获取ZY↑↑方打开链接↑↑SpringBoot3.0 + RocketMq 构建企业级数据中台与以往传统数据的优特点对比随着信息技术的飞速发展，企业对数据的管理和利用变得越来越重要。传统的数据管理方式在某些场景下已难以满足现代企业的需求，而基于SpringBoot3.0和RocketMq构建的企业级数据中台则为数据的整合、处理和服务提供了新的解决方案。本文将对SpringBoot3.0 + RocketMq构建的企业级数据中台与以往传统数据的优特点进行对比分析。一、SpringBoot3.0 + RocketMq构建的企业级数据中台的优点高效的数据处理能力高性能：SpringBo...阅读全文
