今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程，我将深度还原大厂实习期技术成长全流程，让你收获大厂项目开发全流程与实战经验，具备应对大流量场景问题的解决能力，全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载： 网盘地址：https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码：q61x 腾讯微云下载地址：https://share.weiyun.com/o6TKslZV 密码：qn8bim Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spr...阅读全文
HBase 参数设置参考 前言HBase 配置参数极其繁多，参数配置可能会影响到 HBase 性能问题，因此得好好总结下。 HBase 调优是个技术活。得结合多年生产经验加测试环境下性能测试得出。 JVM垃圾回收优化 本地 memstore 分配缓存优化 Region 拆分优化 Region 合并优化 Region 预先加载优化 负载均衡优化 启用压缩，推荐snappy 进行预分区，从而避免自动 split，提高 HBase 响应速度 避免出现 region 热点现象，启动按照 table 级别进行 balance GCHBase CMS GC 配置参考 RS 参数hbase.server.thread.wakefrequency 该值默认是 10 秒，它影响着 Flush 和 Compac...阅读全文
本文分享自天翼云开发者社区《HPC云化部署的优势和挑战》 作者:土豆炒肉丝HPC云化部署指的是将高性能计算（HPC）工作负载部署在云计算平台上，这种方式带来了一些明显的优势，但同时也面临一些挑战。以下是HPC云化部署的主要优势和挑战： 优势：1.灵活性和弹性：云计算平台提供灵活的资源调度和弹性伸缩功能，可以根据需要动态分配计算资源。这使得HPC应用能够更加高效地利用计算资源，根据实际需求进行资源扩展或收缩，从而降低成本。2.成本效益：传统HPC集群的建设和维护需要昂贵的硬件设备和专业技术团队。通过在云平台上进行部署，用户无需投资大量资金购买硬件设备，而是按需付费，只支付实际使用的资源，节省了大量成本。3.全球可访问性：云计算平台的服务通常分布在多个地理位置，用户可以从世界各地的终端设备访问这...阅读全文
文章目录 简介初始化向ByteBuffer写数据手动写入数据从SocketChannel中读入数据至ByteBuffer 从ByteBuffer中读数据复位position读取数据确保数据长度字节序处理 继续写入数据总结 简介 在Java的Socket编程中，若使用阻塞式（BIO），则往往通过ServerSocket的accept()方法获取到客户端Socket之后，再使用客户端Socket的InputStream和OutputStream进行读写。Socket.getInputstream.read(byte[] b)和Socket.getOutputStream.write(byte[] b)的方法中的参数都是字节数组。这种阻塞式的Socket编程显然已经远远不能满足目前的并发式访问需求...阅读全文
RocksDB概述LSM 类存储引擎、数据库之一。所谓LSM，一般的名字叫 Log Structured-Merge Tree（日志结构合并树），来源于分布式数据库领域，也是BigTable 的论文中所使用的文件组织方式。它的特点在于写入的时候是append only的形式，就像名字所显示的那样，跟日志一样只在文件后面追加。LSM 树结构的问题: 写入速度快，读取速度慢，写放大和读放大都较高。Rocksdb本身支持单个kv的读写和批量kv值的读写。由于LSM的出身，它专注于利用LSM树的特性，适应有序、层次化的磁盘读写。在LSM树之上构建了Rocksdb，而在RocksDB之上同样有一些更面向应用层的数据库，包括分布式数据库、查询引擎、大数据存储引擎、图数据库如Janusgraph等。1. ...阅读全文
 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 LSM（Log-Structured Merge-Tree), 基本思想是把用户的随机写入转化为两部分写入：Memstore 内存中的 Map, 保存随机的随机写入，待 memstore 达到一定量的...阅读全文
生xhr对象 现代浏览器，最开始与服务器交换数据，都是通过XMLHttpRequest对象。它可以使用JSON、XML、HTML和text文本等格式发送和接收数据。 好处： 不重新加载页面的情况下更新网页 在页面已加载后从服务器请求/接收数据 在后台向服务器发送数据。 缺点： 使用起来也比较繁琐，需要设置很多值。 早期的IE浏览器有自己的内置对象，这样需要写兼容代码判断是否为XMLHttpRequest对象。 if (window.XMLHttpRequest) { // model browser xhr = new XMLHttpRequest() } else if (window.ActiveXObject) { // IE 6 and older xhr = new ActiveX...阅读全文
本文分享自天翼云开发者社区《数据如何同步到云服务器》，作者：每日知识小分享随着云计算技术的快速发展，越来越多的企业和个人选择将他们的数据和应用程序存储在云服务器上。然而，将数据同步到云服务器是一个复杂的过程，需要一定的技术知识和规划。本文将介绍数据同步到云服务器的最-佳做法，包括数据备份、数据恢复、数据迁移等方面。一、数据同步的概念数据同步是指将数据从一个地方复制或传输到另一个地方，以保证数据的完整性和一致性。在云服务器中，数据同步通常指将本地数据备份到云服务器中，或者将云服务器中的数据恢复到本地或者其他云服务器中。二、数据同步的分类数据备份数据备份是指将本地数据备份到云服务器上，以防止本地数据丢失或损坏。在备份过程中，需要选择合适的备份软件和备份策略，以确保备份数据的完整性和可靠性。同时，...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major Compaction称为大合并，会将一个列族下的所有HFile合并成一个大的HFile，同时删除过期数据、已删除数据（打了Delete标记的）、版本过大的数据等三类无效数据。2. 参数调优1).hba...阅读全文
 一、什么是实时数仓 实时数据仓库（Real-time Data Warehouse）是指能够实时地处理和分析数据，使得数据仓库中的数据是最新的、最准确的，并且可以实时响应用户的查询和分析需求的一种数据仓库系统。 与传统的数据仓库相比，实时数据仓库更加注重数据的实时性和对业务的实时响应能力。传统数据仓库通常是每日、每周或每月定期进行数据的抽取、转换和加载（ETL），更新的速度较慢，一般不支持实时查询和分析。而实时数据仓库则更加注重数据的实时性和对业务的实时响应能力，能够在数据发生变化时及时响应用户的查询和分析需求。 二、安装...阅读全文
本文分享自天翼云开发者社区《一种通过延迟事务提升数据库性能的方法》,作者:唐****律一、背景在数据库代理层中，写节点的数据库连接是一种很重要和稀缺的资源，提升其利用率是一个提升数据库整体性能的重要手段。数据库连接占用过高会大幅增加数据库的资源负担，降低数据库的处理能力。通过延迟启动的事务，可以减少不必要的连接占用时长，提升数据库连接利用率。在用户通过代理层使用数据库的时候，如果提交了一条只读查询，那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务，那么在用户提交或者回滚事务之前，该连接不能归还到连接池，大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中，只读查询语句的查询结果是不可重复的，这时如果事务中没有其它写操作，...阅读全文
## download：[Netty+Nacos+Disruptor自研企业级API网关](https://www.51xuebc.com/thread-566-1-1.html) 数据类型、变量和常量的使用 在计算机编程中，数据类型、变量和常量是非常重要的概念。它们可以帮助程序员更好地理解和处理数据，从而实现更加复杂的功能。本文将详细介绍这些概念及其使用。 数据类型 数据类型是指计算机中可用的不同种类的数据。在编程语言中，通常有多种基本数据类型，如整数、浮点数、布尔值、字符等。每种数据类型都有其自己的特定格式和范围。 例如，在Python编程语言中，有以下常见的数据类型： 整数（int）：表示整数，如1、2、3等。 浮点数（float）：表示小数，如1.5、3.14等。 布尔值（bool）...阅读全文
missing dot in first path element问题解决 技术就是一层窗户纸，能捅破便是拨开云天见月明，捅不破就是一叶障目，不见泰山呀! 今天碰到了个问题，卡了我半天。 malformed module path "XXXX": missing dot in first path element 问题原因 因为在 go1.13 中， go module 名称规范要求路径的第一部分必须满足域名规范，否则可能汇报类似 malformed module path "xxxx": missing dot in first path element 这样的错误。 解决方法 使用go mod 的replace语句对相关的包进行替换。 项目的目录结构： kafka模块的go mod: t...阅读全文
【完结11章】技术大牛成长课,从0到1带你手写一个数据库系统 给大家分享一套数据库课程——技术大牛成长课,从0到1带你手写一个数据库系统，课程已完结，共11章，附源码。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质 、处理对象和管理系统的集合体。 如果分片数据损坏，无法修复，比如某个磁盘坏了，这时候数据无法修复，为了恢复索引状态，可以允许分片的数据丢失，后续通过上层数据来重建索引，这时候我们可以增加 accept_data_loss参数来允许分片数据丢失 POST /_cluster/reroute { "commands": [ { "move": { "index": "test_inde...阅读全文
1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼，那么今天就来把这几个数据库常用术语搞清楚，同时也记录一下。 2. 读写分离 这个相对比较好理解一些，就是将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slaver）进行轮询读取数据的过程，主从库之间通过某种通讯机制进行数据的同步，是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构： 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少，随着数据的增长，数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能，就需要让读写尽可能的不相互影响，各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文
download：https://www.daxiacode.com/7446.html【资源目录】:| ├──1–django 简介.mp4 1.65G| ├──10–权限分配.mp4 637.10M| ├──11–批量操作.mp4 1011.98M| ├──12–权限分配实现.mp4 696.79M| ├──13–rbac组件.mp4 804.36M| ├──14–stark组件(上).mp4 699.82M| ├──15–stark组件(下).mp4 635.81M| ├──16–CRM项目开发(上).mp4 362.90M| ├──2–路由匹配与函数视图.mp4 1.36G| ├──3–数据模型.mp4 1.56G| ├──4–数据查询与网络请求.mp4 1.22G| ├──5–网络...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文
 今天给大家讲讲关于OpenGL的知识，以及结合OpenGL自主高性能三维GIS平台架构与实现的全流程。我将从2D->2.5D->3D立体球,全程零代码到完全实现，带着大家一步步学习。 首先，我们先来看看什么是OpenGL？ OpenGL（英语：Open Graphics Library，译名：开放图形库或者“开放式图形库”）是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口（API）。 OpenGL ES（OpenGL for Embedded Systems）是 OpenGL 三维图形 API 的子集，针对手...阅读全文
本文首发于 vivo互联网技术 微信公众号链接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者：DuZhimin随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。基于时间序列数据的特点，关系型数据库无法满足对时...阅读全文
一、HBase 读优化 1. HBase客户端优化 和大多数系统一样，客户端作为业务读写的入口，姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法，这里一般需要关注四个问题： 1) scan缓存是否设置合理？ 优化原理：在解释这个问题之前，首先需要解释什么是scan缓存，通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务，另一方面也有可能因为数据量太大导致本地客户端发生OOM。在这样的设计体系下用户会首先加载一部分数据到本地，然后遍历处理，再加载下一部分数据到本地处理，如此往复，直至所有数据都加载完成。数据加载...阅读全文
随着我国经济实力高速增长和人民生活水平不断提高，加大生态环境保护力度，以良好的生态环境为高质量发展赋能已成为社会共识。在全球数字化浪潮下，运用数字技术建设高效协同的环境治理新形态，提升生态环境统揽全局、监测感知、预警预报、形势分析等能力，是推进生态环境治理能力现代化的主要途径。近年来，青海省生态环境厅以建设和完善生态环境监管、服务和决策为重点，依托5G、云计算、大数据等先进数字技术，全力推进生态环境网络建设和监测工作。以三江源生态保护为契机，青海省生态环境厅携手天翼云，助力“生态之窗”远程高清实时视频观测系统上云建设，为全域生态环境保护工作打造了一扇高效统一的“云上窗口”。环境监管日趋精细“生态之窗”如何“再进一步”“生态之窗”是青海省生态环境厅根据全省重点生态保护区域自然景观分布，以及野...阅读全文
在日常开发中我们经常会遇到需要同时处理多个操作的情况，比如在购物时，我们需要同时完成支付和更新库存两个操作。这时，如果其中一个操作失败了，我们就需要进行回滚，以保证数据的一致性。 那么，如何在MySQL中实现这样的功能呢？答案就是——事务。下面我们就来介绍一下MySQL事务是什么？它是如何使用的？ ## 一、什么是事务？ ### 事务定义 - 事务是一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同。 ### 事务是什么？ ...阅读全文
上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑，好好的字符串用起来不就行了，为什么要用集合这些工具类？本篇文章将简要介绍数据结构，让读者了解它们在计算机中以何种结构方式存在。那么，什么是数据结构呢？下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用？ 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文
本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文
背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github 42k的 ，而且社区很活跃，维护频率很高，基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型：由度量名称和键值对标识的时间序列数据 时序数据，是在一段时间内通过重复测量（me...阅读全文
作者：vivo互联网服务器团队-Wang Fei一、背景名单管理系统是手机上各个模块将需要管控的应用配置到文件中，然后下发到手机上进行应用管控的系统，比如各个应用的耗电量管控；各个模块的管控应用文件考虑到安全问题，有自己的不同的加密方式，按照以往的经验，我们可以利用模板方法+工厂模式来根据模块的类型来获取到不同的加密方法。代码类层次结构示意如下:获取不同加密方法的类结构图利用工厂模式和模板方法模式，在有新的加密方法时，我们可以通过添加新的handler来满足"对修改关闭，对扩展开放"的原则，但是这种方式不可避免的需要修改代码和需要重新发版本和上线。那么有没有更好的方式能够去解决这个问题，这里就是我们今天要重点讲的主题。二、类加载的时机 一个类型从被加载到虚拟机内存中开始，到卸载出内存为止，它...阅读全文
导语 类加载器算是 JVM 的核心技术，也是比较难懂的知识，因此当然也就是成为了 java 面试中不可少内容，JVM自定义类加载器在代码扩展性在现实中也是我们经常遇到的问题，本次介绍的是VIVO技术团队在类加载器上的实践！ 一、背景 名单管理系统是手机上各个模块将需要管控的应用配置到文件中，然后下发到手机上进行应用管控的系统，比如各个应用的耗电量管控；各个模块的管控应用文件考虑到安全问题，有自己的不同的加密方式，按照以往的经验，我们可以利用模板方法+工厂模式来根据模块的类型来获取到不同的加密方法。代码类层次结构示意如下: 获取不同加密方法的类结构图 利用工厂模式和模板方法模式，在有新的加密方法时，我们可以通过添加新的handler来满足"对修改关闭，对扩展开放"的原则，但是这种方式不可避免的...阅读全文
本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》，作者：3****m随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术，将物理服务器上的资源（如CPU、内存、存储等）汇聚到一个虚拟的云中，然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务，防止数据泄露和攻-击。同时，虚拟化技术还可以实现资源的动态调整和负载均衡，提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术，实现故障自动切换和负载均衡。当某个虚拟机出现故障时，系统会自动将其切...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
随着上云成为普遍趋势、企业需求的多样化发展，单一的云模式已经无法满足企业用户的复杂需求，单云模式下深度绑定一朵云所带来的成本不确定性以及安全风险日益增加。数据显示，超过92%的企业计hua选择多云的上云方案。天翼云作为云服务国家队，凭借在资源充裕度、网络覆盖范围、产品安全性和实施性价比等方面的独特优势，成为企业部署多云架构时的首-选。多云方案中备份与迁移是较为常见的实施手段，是指将生产数据以实时同步的方式从一朵云备份到其他云中。生产数据种类很多，包括数据库、文件、文本、日志等，其中数据库是最为重要的一种。因此，企业的多云方案往往从数据库开始。企业部署多云数据库时，仅需购买相同类型或规格更小的云数据库，再使用天翼云数据传输服务TeleDB-DTS（后称天翼云DTS）将其他云的数据库实时同步到天...阅读全文
[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文
《精通React》大专栏 分享课程——《精通React》大专栏，视频+源码下载。 React 是一款由 Facebook 开发的开源 JavaScript 库，用于构建用户界面，React 推出了许多功能，使得开发人员能够构建复杂的单页面应用程序。许多开发人员已经款悉了 React，但对于初学者来说，React 可能是一个较为复杂的技术。在这篇文章中，我们将介绍一些React 技术的基础知识，帮助初学者更好地理解 React。 react的优势 1 react由faceBook来更新和维护，稳定有保障，而且质量高。 2 react的特点就是前端先驱者，引领很多前端的技术潮流。所以很值得我们去学习 vue框架，很多灵感来自于angular和react，包括vue3的很多新特性，也是借鉴了rea...阅读全文
11月2日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2023上半年）跟踪》报告显示，在中国公有云IaaS市场，中国电信天翼云份额占比再度大幅攀升，稳居业内前三；同时，在公有云IaaS+PaaS市场，天翼云同样增势强劲，以领先优势，位列第三。从中国企业和MNC使用国内公有云IaaS资源的市场角度来看，中国电信天翼云排名第三。天翼云强劲增势离不开持续的科技创新与行业赋能。作为云服务国家队，天翼云在持续优化算力资源布局的基础上，全面突破云操作系统、分布式数据库等关键核心技术，以云操作系统为核心，从底层基础软硬件技术，到上层高阶云能力，实现了全栈技术的自主可控，打造了具备“科技创新、自主可控、安全可信、云网融合、生态开放、绿色低碳”六大特征的国家关键信息基础设施平台，为各行业数字化...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文
近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文
1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极-致性能。平台的成功上线，体现了天翼云在大数据自...阅读全文
近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文
1月4日，国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。在推动发挥数据要素乘数效应，释放数据要素价值的攻坚路上，海南省一直走在前面。近日，海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则（暂行）》（以下简称《实施细则》），率先探索确定数据产品所有权，从源头上解决数据产品后续资产化、资本化应用，促进数据资源开发利用。基于全省统一的数据产品开发利用、流通交易平台——海南省数据产品超市，《实施细则》进一步明确数据产品所有权的确权登记流程，引导数据产品进行权属确认、流转备案，探索数据资产化、资本化管理。遵循依法...阅读全文
概述数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。一、FlumeFlume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析...阅读全文
 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
【完结23章】大数据硬核技能进阶 Spark3实战智能物业运营系统 智慧物业管理系统是一种利用互联网、物联网、大数据、人工智能等技术，对物业管理过程进行数字化、智能化、自动化的系统。智慧物业管理系统的目的是提高物业管理的效率、质量和服务水平，降低物业管理的成本和风险，增强物业管理的透明度和可信度，提升物业管理的价值和竞争力...阅读全文
HBase模式设计是需要注意的问题：1．设计准则1）行键设计读访问模式：通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引，需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能，但是行键的长度变长，行键索引会占用更多的内存资源，由于行键在每个列族中保存，也会需要更多的磁盘空间。写访问模式：避免同一时间段里写入的数据形成热点。随机前缀：在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀：针对随机前缀生成的行键具有不确定性的缺陷，哈希前缀做了改进，通过对原行键调用选定的哈希函数生成前缀。反转键：将原先彼此相邻的行键按字节序反转生成新的行键。以上几种策略都会失去数据按特定行键顺序存放的特性，在进行范围查询时需要访问全部索引数据且需要有更多的磁盘IO操...阅读全文
近日，国际数据公司IDC发布的《中国专属云服务市场（2023上半年）跟踪》报告显示，2023上半年，专属云服务市场同比增长26.6%。中国电信天翼云以18.7%的份额占比稳居中国专属云服务市场第一，连续四次登顶，持续领跑中国专属云服务市场。全面数字化浪潮推动下，随着合规要求的趋严、敏捷性需求的增加，以及生成式AI的火热，具备极-致安全与敏捷可靠等独特性能优势的专属云，逐渐成为产业数智化转型的优选，市场需求持续释放。天翼云作为云服务国家队，以科技创新持续夯实国云底座，赋能千行百业数字化转型，目前已形成“2+4+31+X+O”的整体资源布局，并实现了全栈技术的自主可控，打造了“云网边端数智安”全栈云服务产品体系，为海内外客户提供包括公有云、专属云、私有云、边缘云等多类型的高品质云服务。天翼专...阅读全文
### 前言 通过Java基础的学习，我们掌握了主要的Java语言基本的语法，同时了解学习了Java语言的核心-面向对象编程思想。 从集合框架开始，也就是进入了java这些基础知识及面向对象思想进入实际应用编码的过程，通过jdk中集合这部分代码的阅读学习，就能发现这一点。 本计划在这篇中把框架体系和一些集合的常用方法一起编写。仔细考虑之后，本着不让突出重点，结构清晰的思路，所以把框架体系单独拉出来，为让各位看官对java的集合框架有个清晰的认识，最起码记住常用的几种常用实现类！ 好的，我们进入正题。 ### 集合的框架体系结构 可以在很多书籍或者教程中看到，JAVAEE进阶知识的学习，JDK中提供了满足各种需求的API，主要是让我们去学习和了解它提供的各种API，在使用这些API之前，我们往...阅读全文
