1. 概述 在本教程中，我们将了解RoaringBitmap。我们将使用对一组的一些基本操作作为RoaringBitmap的示例。此外，我们将在 Java 中的RoaringBitmap和BitSet之间执行性能测试。 2. RoaringBitmap简介 RoaringBitmap数据结构由于其高性能和压缩比，通常用于分析、搜索和大数据项目。它背后的想法来自位图索引，这是一种用于有效表示数字数组的数据结构。它类似于JavaBitSet，但经过压缩。 压缩大整数集，同时保持对单个元素的快速访问是RoaringBitmap的显着优势。RoaringBitmap在内部使用不同类型的容器来实现此目的。 3. RoaringBitmap的工作原理 RoaringBitmap是一组无符号整数，由不相交...阅读全文
classloader类加载器_基于java类的加载方式详解 08-29 下面小编就为大家带来一篇classloader类加载器_基于java类的加载方式详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧 Java 动态加载jar文件示例 01-23 Java 动态加载jar文件示例，轻松实现插件式开发 解决classloader的jar包 11-07 包括commons-logging commons-beanutils commons-lang ezmorph json-lib-2.4-jdk15 commons-collections-3.2.1的jar包，可以解决 org/apache/commons/lang/exception/NestableRu...阅读全文
### download：[Vue3+Pinia+Vite+TS 还原高性能外卖APP项目](https://www.zxit666.com/5762/) .Net Core 开发电商后端API 随着电商市场的不断扩大和发展，越来越多的企业开始考虑开发自己的电商平台。而一个成功的电商平台离不开稳定高效的后端API支持。.Net Core是一个快速、跨平台且高效的开发框架，非常适合用于开发电商后端API。本文将介绍如何使用.Net Core开发电商后端API。 第一步：搭建环境 首先需要下载和安装Visual Studio 2019并安装对应的.NET Core SDK。接下来就可以在Visual Studio中创建一个新的ASP.NET Core Web Application项目了。在创建...阅读全文
本文分享自天翼云开发者社区《一种提升SQL改写效率的方法》,作者:唐****律一、背景SQL改写是数据库产品中使用比较频繁的一个技术，在大多数产品中的调用频率也非常高，通常对性能的需求需要接近对应数据库产品的上限。例如在天翼云关系型数据库中的Mysql语法兼容组件，其性能测试标准需要达到接近30万TPS，也意味着SQL改写环节的性能标准需要支持至少每秒30万次以上，否则会成为系统的性能瓶颈。SQL改写的基础是抽象语法树，而抽象语法树则是由SQL字符串经过词法分析和语法分析之后得到的。词法分析器和语法分析器在市面上有非常多的种类可供挑选，例如Lexer、YACC、Antlr、Druid等，一般数据库产品都只在其基础上进行SQL改写,例如基于C语言开发的PG的分布式数据库插件Citus。对于一些...阅读全文
近日，天池FT-Data Ranker竞赛落下帷幕，天翼云智能边缘事业部AI团队（后称天翼云AI团队）凭借在大语言模型（LLM）训练数据增强方面的卓越研究，荣获大语言模型微调数据竞赛——7B模型赛道冠军。FT-Data Ranker竞赛是一场面向大语言模型研究、以数据为中心的竞赛，吸引了包括来自北京大学、Hantec等知名高校、研究机构、企业的近400支优秀队伍参赛。天翼云在激烈的角逐中脱颖而出，展现出强大的技术创新能力。数据在大语言模型（LLM）的能力打造中发挥着至关重要的作用，更好地构建和处理数据集成为大语言模型领域研究的重点。本次竞赛的核心在于独立、精确地评估和提升数据集质量，加速形成基准驱动的数据开发流程，增强大语言模型数据处理能力，提高该领域对数据质量和数据优化的理解能力。本次...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文
本文首发于 vivo互联网技术 微信公众号链接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者：DuZhimin随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。基于时间序列数据的特点，关系型数据库无法满足对时...阅读全文
真正解决方案：java.lang.ClassNotFoundException: javax.xml.bind.JAXBException 1. 故障描述2. 故障原因分析3.解决方案3.1 解决方案一3.2 解决方案二（亲测可行）3.3 解决方案三 1. 故障描述 今天在使用JDK 9.0 环境下使用Hibernate 时候出现了这个错误，错误日志如下： 2. 故障原因分析 JAXB API是java EE 的API，因此在java SE 9.0 中不再包含这个 Jar 包。 java 9 中引入了模块的概念，默认情况下，Java SE中将不再包含java EE 的Jar包 而在 java 6/7 / 8 时关于这个API 都是捆绑在一起的 3.解决方案 3.1 解决方案一 降低JDK 9...阅读全文
随着我国经济实力高速增长和人民生活水平不断提高，加大生态环境保护力度，以良好的生态环境为高质量发展赋能已成为社会共识。在全球数字化浪潮下，运用数字技术建设高效协同的环境治理新形态，提升生态环境统揽全局、监测感知、预警预报、形势分析等能力，是推进生态环境治理能力现代化的主要途径。近年来，青海省生态环境厅以建设和完善生态环境监管、服务和决策为重点，依托5G、云计算、大数据等先进数字技术，全力推进生态环境网络建设和监测工作。以三江源生态保护为契机，青海省生态环境厅携手天翼云，助力“生态之窗”远程高清实时视频观测系统上云建设，为全域生态环境保护工作打造了一扇高效统一的“云上窗口”。环境监管日趋精细“生态之窗”如何“再进一步”“生态之窗”是青海省生态环境厅根据全省重点生态保护区域自然景观分布，以及野...阅读全文
本文分享自天翼云开发者社区《性能调优五步法》，作者：x****nLinux 内核从 2.5 版本开始针对 NUMA 架构做了大量优化工作，同时也提供了丰富的工具和接口，可以帮助我们很容易的完成访问本地内存的设置。所以，通过适当的性能调优，可以提供更高的计算能力。性能优化通常可以通过五个步骤完成1.确认基线性能优化第一步是确定当前性能，并明确性能应提升的程度。如果系统性能不佳，我们就需要花时间进行研究分析，但如果系统性能接近其峰值，那可优化的空间就微乎其微。性能基线必须是一种客观可度量的指标，在明确如何度量特定系统或者应用程序的性能后，在调整和优化之前，运行应用程序并记录其性能，这就是基线值。在记录应用程序基线的同时我们需要对整个系统部件进行基准监控，包括CPU、内存、IO、网络吞吐、响应延时...阅读全文
【完结12章】基于C++从0到1手写Linux高性能网络编程框架 分享一套课程——基于C++从0到1手写Linux高性能网络编程框架，已完结12章，附源码+电子书。大家下载学习。 Socket 网络编程框架 Socket（套接字）是一个网络编程概念，描述了一个通信端点（Endpoint），用于建立网络连接（Connection）并传输数据。 Linux Kernel 提供了一套面向 Socket 的网络编程框架，并通过提供一组标准的 System call APIs，使得开发者可以在 Userspace 中便捷的开发各种 Network Applications，例如：基于 HTTP 协议的 Web 服务器、基于 SMTP 协议的邮件服务器、基于 FTP 协议的文件服务器等等。 Linux ...阅读全文
近日，天翼云大数据平台顺利完成中国信通院无服务器(Serverless) 架构大数据平台测试，成为首批通过该测试的单位之一。本次测试依据《基于无服务器（Serverless）架构的大数据平台技术要求》展开。该要求是中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会（CCSA TC601），联合大数据产业甲方用户与头部企业参与编制的技术标准，覆盖资源调度、数据应用、应用管理三大能力域。天翼云大数据平台在各方面均达到标准要求，充分展现了产品在无服务器架构下的能力与优势。天翼云大数据平台是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。在技术路线上，天翼云大数据平台实现了硬件、操作系统、存储、计算、调度、中台层全栈自主可控，打造了软硬协同的...阅读全文
上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑，好好的字符串用起来不就行了，为什么要用集合这些工具类？本篇文章将简要介绍数据结构，让读者了解它们在计算机中以何种结构方式存在。那么，什么是数据结构呢？下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用？ 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文
一、HBase 读优化 1. HBase客户端优化 和大多数系统一样，客户端作为业务读写的入口，姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法，这里一般需要关注四个问题： 1) scan缓存是否设置合理？ 优化原理：在解释这个问题之前，首先需要解释什么是scan缓存，通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务，另一方面也有可能因为数据量太大导致本地客户端发生OOM。在这样的设计体系下用户会首先加载一部分数据到本地，然后遍历处理，再加载下一部分数据到本地处理，如此往复，直至所有数据都加载完成。数据加载...阅读全文
mmap 基础概念mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间，实现文件磁盘地址和一段进程虚拟地址的映射。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read,write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。操作系统提供了这么一系列 mmap 的配套函数void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset); int munmap( void * addr, size_t len); int msync(...阅读全文
在日常开发中我们经常会遇到需要同时处理多个操作的情况，比如在购物时，我们需要同时完成支付和更新库存两个操作。这时，如果其中一个操作失败了，我们就需要进行回滚，以保证数据的一致性。 那么，如何在MySQL中实现这样的功能呢？答案就是——事务。下面我们就来介绍一下MySQL事务是什么？它是如何使用的？ ## 一、什么是事务？ ### 事务定义 - 事务是一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同。 ### 事务是什么？ ...阅读全文
SpringBoot 3 + Flutter3 实战低代码运营管理-10章 参考资料1：https://pan.baidu.com/s/1sE93jgG-x3QwuVbbKtG_vQ 提取码：2nli 参考资料2：https://pan.baidu.com/s/1xXEFkvYj_0ZX2l2zZShA7w 提取码：d2nw 技术人员唯有多领域发展，才能具备抓住最佳机会和心仪Offer的实力。《SpringBoot 3 + Flutter3 实战低代码运营管理》将带你基于全栈技术（SpringBoot 3+Flutter3），全流程打造多端低代码运营管理平台，助你急速打通“全栈+跨端“综合技能，更快胜任多领域岗位，先人一步成为企业青睐的 “驾驭全局，深广兼备，打通端到端全技能” 的全能型人才...阅读全文
近日，IDC发布的《中国容器市场份额，2022：向阳而生，蓬勃发展》数据显示，天翼云在2022年专属云容器服务市场中高居榜首，实力领跑。云原生时代，企业对应用的敏捷、弹性、迭代效率要求越来越高。容器技术因其敏捷、弹性、易扩展、可移植性等特性，能够有效支撑企业应用的发展，帮助企业提高软件开发、测试和部署效率，带来更灵活、更弹性的基础设施，为企业数字化转型提供了重要的推动作用。作为云计算原创技术策源地，天翼云坚持科技创新，深耕容器应用场景，打造了云容器引擎、容器镜像服务、分布式容器云平台等多款容器产品，以完善的容器产品与服务，满足多元化业务场景需求，助力企业实现敏捷高效上云、加速业务创新。其中，天翼云云容器引擎提供高可靠、高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和...阅读全文
本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文
背景饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用graphite，后来慢慢有对指标有多维的需求(主要体现在对一个指标加多个Tag， 来组成Series，然后对Tag进行Filter和Group进行计算)，这时graphite基本很难满足需求。业界现在用的比较多的主要有如下几类TSDB：InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用InfluxDB。优点，支持多维和多字段，存储也根据TSDB的特点做了优化。但开源的部分不支持，很多公司自己做集群化， 但大多基于指标名来，这样会有单指的热点问题。现在饿了么也是类似的做法，但热点问题很严重，大的指标已经用了最好的服务器，但是查询性能还是不够理想， 如果做成按Series Sharding那成本还是有一...阅读全文
背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文
本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》，作者：3****m随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术，将物理服务器上的资源（如CPU、内存、存储等）汇聚到一个虚拟的云中，然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务，防止数据泄露和攻-击。同时，虚拟化技术还可以实现资源的动态调整和负载均衡，提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术，实现故障自动切换和负载均衡。当某个虚拟机出现故障时，系统会自动将其切...阅读全文
随着上云成为普遍趋势、企业需求的多样化发展，单一的云模式已经无法满足企业用户的复杂需求，单云模式下深度绑定一朵云所带来的成本不确定性以及安全风险日益增加。数据显示，超过92%的企业计hua选择多云的上云方案。天翼云作为云服务国家队，凭借在资源充裕度、网络覆盖范围、产品安全性和实施性价比等方面的独特优势，成为企业部署多云架构时的首-选。多云方案中备份与迁移是较为常见的实施手段，是指将生产数据以实时同步的方式从一朵云备份到其他云中。生产数据种类很多，包括数据库、文件、文本、日志等，其中数据库是最为重要的一种。因此，企业的多云方案往往从数据库开始。企业部署多云数据库时，仅需购买相同类型或规格更小的云数据库，再使用天翼云数据传输服务TeleDB-DTS（后称天翼云DTS）将其他云的数据库实时同步到天...阅读全文
RestTemplate使用JSON发送Post请求 本文我们说下如何使用Spring的 RestTemplate调用post请求，发送json内容。 1. 定义服务端web接口 1.1. 定义业务接口 先定义Person实体类表示post请求的数据： public class Person { private Integer id; private String name; // standard constructor, getters, setters } 再定义PersonService接口并实现两个方法，关联使用Person类： public interface PersonService { public Person saveUpdatePerson(Person person...阅读全文
[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文
某些时候，例如为了搭建一个测试环境，或者克隆一个网站，需要复制一个已存在的mysql数据库。使用以下方法，可以非常简单地实现。 假设已经存在的数据库名字叫db1，想要复制一份，命名为newdb。步骤如下： 1. 首先创建新的数据库newdb #mysql -u root -ppassword mysql>CREATE DATABASE `newdb` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI; 2. 使用mysqldump及mysql的命令组合，一次性完成复制 #mysqldump db1 -u root -ppassword --add-drop-table | mysql newdb -u root -ppassword （注意...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文
11月2日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2023上半年）跟踪》报告显示，在中国公有云IaaS市场，中国电信天翼云份额占比再度大幅攀升，稳居业内前三；同时，在公有云IaaS+PaaS市场，天翼云同样增势强劲，以领先优势，位列第三。从中国企业和MNC使用国内公有云IaaS资源的市场角度来看，中国电信天翼云排名第三。天翼云强劲增势离不开持续的科技创新与行业赋能。作为云服务国家队，天翼云在持续优化算力资源布局的基础上，全面突破云操作系统、分布式数据库等关键核心技术，以云操作系统为核心，从底层基础软硬件技术，到上层高阶云能力，实现了全栈技术的自主可控，打造了具备“科技创新、自主可控、安全可信、云网融合、生态开放、绿色低碳”六大特征的国家关键信息基础设施平台，为各行业数字化...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
本文分享自天翼云开发者社区《如何规避云服务宕机现象？》，作者：不知不觉云服务的广泛应用带来了许多优势，如可扩展性、灵活性以及成本效益等。然而，与此同时，云服务宕机现象也变得越来越普遍。为了避免或减少这种影响，研发人员需要采取一系列措施来确保云服务的稳定性和可用性。本文将探讨如何规避云服务宕机现象，以确保业务的连续性和可靠性。一、容灾备份和恢复计划数据备份：定期备份关键数据和应用程序，以防数据丢失或损坏。同时，确保备份数据存储在安全的地方，并且可以kuai速恢复。kuai速恢复：制定详细的kuai速恢复计划，以尽kuai恢复受影响的系统和应用程序。这可能涉及到从备份中恢复数据、重新配置资源等步骤。异地容灾：在异地建立备份数据中心，以应对自然灾害、网络攻-击等意外事件。确保备份数据中心具有足够的...阅读全文
近日，国际权威标准性能评测组织SPEC（Standard Performance Evaluation Corporation，即国际标准性能评测组织）公布了全新Cloud IaaS 2018 Benchmark 测试结果，天翼云平台在综合性能及平台相对可扩展性比拼中夺得世界第一。在9台组规模测试、ARM指令集架构测试场景中，天翼云平台的测试结果一举刷新世界纪录；应用实例复制数、相对可扩展性和平均实例配置时间等指标均达到全球领先水平，充分体现天翼云平台优秀的算力调度能力和大规模扩展能力。科技硬实力，刷新世界纪录SPEC Cloud IaaS 2018 Benchmark是SPEC开发的基于大数据场景下的云基准标准测试套件，用以衡量云计算的性能，Benchmark基准测试模型主要测试的是Ia...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github 42k的 ，而且社区很活跃，维护频率很高，基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型：由度量名称和键值对标识的时间序列数据 时序数据，是在一段时间内通过重复测量（me...阅读全文
近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文
当时其实我是被他的这个图片给吸引到了（里面的 12 qps 应该是 12k qps）： 他介绍了两个核心系统在经过一个“数据压缩”的操作之后，分别节约了 204C 和 2160C 的服务器资源。共计就是 2364C 的服务器资源。如果按照一般标配的 4C8G 服务器，好家伙，这就是节约了 591 台机器啊，你想想一年就节约了多大一笔开销。 视频中介绍了几种数据压缩的方案，其中方案之一就是用了高性能集合： 因为他们的系统设计中大量用到“本地缓存”，而本地缓存大多就是使用 HashMap 来帮忙。所以他们把 HashMap 换成了性能更好的 IntObjectHashMap，这个类出自 Netty。为什么换了一个类之后，就节约了这么多的资源呢？换言之，IntObjectHashMa...阅读全文
学习地址1：https://pan.baidu.com/s/1OeNVv-9zowTbFVIpjSl8aQ 提取码：86h5 学习地址2：https://pan.baidu.com/s/187GgonRED21EseHMNE5ayg 提取码：bwsj 今天给大家讲解关于Qt的内容，我会在文章里面带着大家从0到1为你系统构建Qt知识体系，然后全流程实战开发项目“云对象存储浏览器”，让大家少走弯路，更快速的掌握Qt技术。 那么我们先来认识一下，什么是QT，他的具体作用是什么，应用在哪些方面？ Qt是一个1991年由Qt Company开发的跨平台C++图形用户界面应用程序开发框架。它既可以开发GUI程序，也可用于开发非GUI程序，比如控制台工具和服务器。 QT之所以能够在全世界范围内得到广大软件...阅读全文
1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极-致性能。平台的成功上线，体现了天翼云在大数据自...阅读全文
1月4日，国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。在推动发挥数据要素乘数效应，释放数据要素价值的攻坚路上，海南省一直走在前面。近日，海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则（暂行）》（以下简称《实施细则》），率先探索确定数据产品所有权，从源头上解决数据产品后续资产化、资本化应用，促进数据资源开发利用。基于全省统一的数据产品开发利用、流通交易平台——海南省数据产品超市，《实施细则》进一步明确数据产品所有权的确权登记流程，引导数据产品进行权属确认、流转备案，探索数据资产化、资本化管理。遵循依法...阅读全文
今天我们来介绍一个在Java开发中非常重要的工具——Maven。如果你是一名Java开发者，那么你一定不会对Maven感到陌生。但是，对于一些新手来说，可能还不太了解Maven是什么，它有什么作用，以及如何使用它。接下来，就让我们一起来深入了解一下Maven吧！ ## 一、maven简介 ### Maven是什么 Maven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。maven是基于Ant 的构建工具，Ant 有...阅读全文
各种资源，各种教程，请=》 当时其实我是被他的这个图片给吸引到了（里面的 12 qps 应该是 12k qps）： 他介绍了两个核心系统在经过一个“数据压缩”的操作之后，分别节约了 204C 和 2160C 的服务器资源。 共计就是 2364C 的服务器资源。 如果按照一般标配的 4C8G 服务器，好家伙，这就是节约了 591 台机器啊，你想想一年就节约了多大一笔开销。 视频中介绍了几种数据压缩的方案，其中方案之一就是用了高性能集合： 因为他们的系统设计中大量用到“本地缓存”，而本地缓存大多就是使用 HashMap 来帮忙。 所以他们把 HashMap 换成了性能更好的 IntObjectHashMap，这个类出自 Netty。 为什么换了一个类之后，就节约了这么多的资源呢？ 换言之，Int...阅读全文
近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文
Maven作为一款强大的项目管理工具，已经成为了Java开发者的必备技能。那么，如何才能更好地利用Maven来管理我们的项目呢？本文将为你介绍Maven的常用命令，让你的项目构建更轻松！ ## 一、maven 的概念模型 Maven 包含了一个项目对象模型 ，一组标准集合，一个项目生命周期，一个依赖管理系统，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。  #### 项目对象模型 (Project Object Model) 一个 maven 工程都有一个 pom.xml 文...阅读全文
参考资料地址1：https://pan.baidu.com/s/1Gml6a50F4DU8uWfoRqa--g 提取码: qczi 参考资料地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）-Kubernetes管理员认证（CKA）计划的目的是提供CKA管理员具有执行Kubernetes管理员职责的技能﹑知识和能力的保证。这个CKA 证书是云原生计算基金会 CNCF 组织的，比国内的一些含水量很大的证书强太多了。 CKA 证书是云原生计算基金会 CNCF 组织的，它考察的是你是否具备足够管理 Kubernetes 集群的必备知识。考试形式是上机直接在集群上操作，限时 3 小时，非常考验...阅读全文
本文分享自天翼云开发者社区《存储程序和程序控制：开发经验分享及操作过程详解》，作者：二进制诗人存储程序和程序控制是计算机行业中非常重要的一部分。它涉及到如何将程序和数据存储在计算机内存中，并通过程序控制来实现各种功能。本文将分享我的开发经验，并详细解释如何进行存储程序和程序控制的操作过程。1.理解存储程序和程序控制的基本概念 在计算机中，存储程序是指将程序和数据存储在内存中的过程。程序控制是指通过编写程序来控制计算机的运行，实现各种功能。理解这些基本概念是进行存储程序和程序控制开发的基础。2.选择合适的编程语言和开发环境根据具体的需求和开发经验，选择合适的编程语言和开发环境非常重要。常用的编程语言包括C、C++、Java等，而开发环境则可以选择Visual Studio、Eclipse等。根...阅读全文
HBase模式设计是需要注意的问题：1．设计准则1）行键设计读访问模式：通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引，需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能，但是行键的长度变长，行键索引会占用更多的内存资源，由于行键在每个列族中保存，也会需要更多的磁盘空间。写访问模式：避免同一时间段里写入的数据形成热点。随机前缀：在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀：针对随机前缀生成的行键具有不确定性的缺陷，哈希前缀做了改进，通过对原行键调用选定的哈希函数生成前缀。反转键：将原先彼此相邻的行键按字节序反转生成新的行键。以上几种策略都会失去数据按特定行键顺序存放的特性，在进行范围查询时需要访问全部索引数据且需要有更多的磁盘IO操...阅读全文
概述数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。一、FlumeFlume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
近日，国际数据公司IDC发布的《中国专属云服务市场（2023上半年）跟踪》报告显示，2023上半年，专属云服务市场同比增长26.6%。中国电信天翼云以18.7%的份额占比稳居中国专属云服务市场第一，连续四次登顶，持续领跑中国专属云服务市场。全面数字化浪潮推动下，随着合规要求的趋严、敏捷性需求的增加，以及生成式AI的火热，具备极-致安全与敏捷可靠等独特性能优势的专属云，逐渐成为产业数智化转型的优选，市场需求持续释放。天翼云作为云服务国家队，以科技创新持续夯实国云底座，赋能千行百业数字化转型，目前已形成“2+4+31+X+O”的整体资源布局，并实现了全栈技术的自主可控，打造了“云网边端数智安”全栈云服务产品体系，为海内外客户提供包括公有云、专属云、私有云、边缘云等多类型的高品质云服务。天翼专...阅读全文
近日，2023年海关科技装备博览会（简称“关博会”）在北京举办。中国电信围绕“数字政务助力海关事业发展”主题，在主展区展出了数字政务最新成果和实践经验。2023年海关科技装备博览会中国电信展区展区汇集了数字底座、政务数据服务体系、大模型·一网通办-12345政务热线平台、一网协同平台、5G+智慧海关、量子产业布局、卫星手机直连等10余个展项，充分展现了中国电信在数字政务领域富有成效的探索及取得的阶段性成果。自主可控“国云”底座天翼云提供全栈自主可控、一云多芯的安全可靠云基础设施，可以在智慧海关的关键业务领域提供基础底座服务，满足客户技术升级要求，形成基于天翼云的数字信息基础，助力客户实现“多方共识、多元治理、协同共治”的治理局面。一体化智能算力平台为了向政务应用提供安全可靠的算力服务，天翼...阅读全文
