本文分享自天翼云开发者社区《存储结构的种类与比较》，作者：3****m一、存储结构的种类顺序存储结构顺序存储结构是一种线性数据存储方式，数据按照顺序方式存储在一片连续的存储区域中。顺序存储结构的特点是数据元素之间的逻辑关系与物理位置的存储顺序一致。这种存储结构适用于数据量较小、数据元素之间关系简单的情况。链式存储结构链式存储结构是一种非线性数据存储方式，通过指针或链接将各个数据元素链接起来。链式存储结构的特点是数据元素的物理位置可以不相邻，但通过指针或链接保持逻辑上的关联。这种存储结构适用于数据...阅读全文
split hbase是通过regionServer管理table的，一个table对应一个或多个region，hmaster将这些region根据集群负载分配给regionServer进行管理。若一个table没有进行预分区，那么只有一个region，初始化表时数据的读写都命中同一个regionServer，会造成热点问题，且region进行split时集群是不可用的，频繁的split也会造成大量的集群I/O，性能很低。 1、pre-splitting 在创建table时指定pre-s...阅读全文
原文地址：https://cloud.tencent.com/developer/article/1374592 HBase自定义拆分策略 自定义拆分策略 您可以使用自定义RegionSplitPolicy（HBase 0.94+）重写默认拆分策略。通常，自定义拆分策略应该扩展HBase的默认拆分策略： IncreasingToUpperBoundRegionSplitPolicy。 该策略可以通过HBase配置或者也可以基于每个表在全局范围内进行设置。 在hbase-site.xml中全局配置...阅读全文
一、HBase 读优化 1. HBase客户端优化 和大多数系统一样，客户端作为业务读写的入口，姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法，这里一般需要关注四个问题： 1) scan缓存是否设置合理？ 优化原理：在解释这个问题之前，首先需要解释什么是scan缓存，通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其...阅读全文
对表进行预分区，可以防止单分区一次写入数据过大，hbase 集群本身还没来得及自动分裂，导致 region 宕掉的问题。 1、创建表时指定一个拆分点数组 split point 将定义n+1个区域，其中n是分割点的数量， point 为'10'时实际上是在指定字节分割'\x31\30' hbase>create 't1','f',SPLITS => ['10','20','30'] 获取rowkey的第一个字节，按照进行分割 hbase> create 't',{NAME => 'f0',VER...阅读全文
对话式人工智能技术无疑是近年来最引人瞩目的领域之一。这项技术的发展已经改变了人们与计算机交互的方式，为各行各业带来了前所未有的便利与效率，更是在出行、教育、医疗等领域展现出了惊人的潜力。随着不断升级和创新发展，对话式人工智能已成为科技界与社会各界热议的焦点之一。今天我们一起走进思必驰，探访大模型背后的算力“推手”。算力让AI“一路狂飙”思必驰是国内专业的对话式人工智能平台公司。以人机对话交互为核心，为智能汽车、智能家居、智慧政务等领域的客户提供软硬一体化方案，推进智能化转型升级。近年来，随着C...阅读全文
1月9日，计世资讯（CCW Research）发布《2022-2023年中国信创数据库行业市场研究报告》（以下简称“报告”），从产品技术能力和市场及战略能力两个维度对我国主要数据库产品服务商进行竞争力分析。其中，中国电信天翼云凭借其产品丰富的管理功能、灵活的部署架构，位列云数据库产品领域领导者象限。大数据时代，数据库作为三大基础软件之一，其战略地位已经提升至前所未有的高度。基于对信息安全自主可控的需求，政府大力推动数据库等基础软件全面实现国产化替代，国产数据库迎来快速发展。同时，随着云技术在各...阅读全文
近日，IDC发布的《中国容器市场份额，2022：向阳而生，蓬勃发展》数据显示，天翼云在2022年专属云容器服务市场中高居榜首，实力领跑。云原生时代，企业对应用的敏捷、弹性、迭代效率要求越来越高。容器技术因其敏捷、弹性、易扩展、可移植性等特性，能够有效支撑企业应用的发展，帮助企业提高软件开发、测试和部署效率，带来更灵活、更弹性的基础设施，为企业数字化转型提供了重要的推动作用。作为云计算原创技术策源地，天翼云坚持科技创新，深耕容器应用场景，打造了云容器引擎、容器镜像服务、分布式容器云平台等多款容...阅读全文
MyBatis是一个优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。那么，它是如何工作的呢？又如何进行基础的使用呢？本文将带你了解MyBatis的工作原理及基础使用。 ## 一、MyBatis的工作原理 ### 1.1 MyBatis的工作原理 工作原理图示：  **1、读取MyBatis配...阅读全文
 Qt向开发人员提供了可以轻松设计现代GUI和开发应用程序所必需的多种API。Qt可用于开发C++应用程序，也可使用Qt Quick进行开发。Qt Quick使用QML语言。QML是解释型语言，开发人员即使不熟悉C++知识，也可以用QML设计GUI。 Qt 版本说明 Qt 按照不同的版本发行，分为商业版和开源版 。...阅读全文
 一、什么是QT？ Qt是一个跨平台的C++图形用户界面库，由挪威TrollTech公司出品，包括Qt、基于FrameBuffer的Qtopia Core、快速开发工具Qt Designer和国际化工具Qt Linguist等部分。Qt支持所有的UNIX系统，当然也包括Linux系统，还支持WinNT/Win2k、Win...阅读全文
Hbase-之Bloom Filter布隆过滤器&Hbase 1 BloomFilter是什么？ 布隆过滤器，以它的创始人Burton Howard Bloom的名字命名,首先明确一个点，它只是一个数据结构，这个数据结构最开始被设计成预测一个给定的元素在某个数据集中是否存在，它有如下特点： 精确的结果不一定准确，也就是返回的a存在于集合A结果不一定是准确的；不精确的结果一定是对的，即a不存在与集合A那是约等于100%是准确的。 布隆过滤器很适用于类似于Hbase这样的大数据集，如果想了解更多Bl...阅读全文
HBase模式设计是需要注意的问题：1．设计准则1）行键设计读访问模式：通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引，需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能，但是行键的长度变长，行键索引会占用更多的内存资源，由于行键在每个列族中保存，也会需要更多的磁盘空间。写访问模式：避免同一时间段里写入的数据形成热点。随机前缀：在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀：针对随机前缀生成的行键具有不确定性的缺陷，哈希前缀做了改进，通过...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP...阅读全文
前言 前段时间有套线上HBase出了点小问题，导致该套HBase集群服务停止了2个小时，从而造成使用该套HBase作为数据存储的应用也出现了服务异常。在排查问题之余，我们不禁也在思考，以后再出现类似的问题怎么办？这种问题该如何避免？用惯了MySQL，于是乎想到了HBase是否跟MySQL一样，也有其高可用方案？ 答案当然是肯定的，几乎所有的数据库(无论是关系型还是分布式的)，都采用WAL的方式来保障服务异常时候的数据恢复，HBase同样也是通过WAL来保障数据不丢失。HBase在写数据前会先写H...阅读全文
【完结10章】Django+Vue：Python Web全栈开发（基于Django4.1） 给大家分享一套课程——Django+Vue：Python Web全栈开发（基于Django4.1），已完结10章，附源码。 Django是一个高级的Python Web框架，可以快速开发安全和可维护的网站。由经验丰富的开发者构建，Django负责处理网站开发中麻烦的部分，可以专注于编写应用程序，而无需重新开发。它是免费和开源的，有活跃繁荣的社区，丰富的文档，以及很多免费和付费的解决方案...阅读全文
笔者今天给大家讲一下 HBase 生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战经验。HBase 业务资源隔离1. 读写分离场景RegionServer 默认情况下只提供一个请求队列给所有业务使用，导致部分延迟较高的请求影响其他对延迟敏感的业务。针对这种情况，HBase 提供了读写队列隔离方案。我们知道，HBase 有三种典型的API操作类型，分别为 get、scan 和write，其中 g...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的S...阅读全文
本文分享自天翼云开发者社区《云数据库与Web网站：构建高效、可扩展的网络应用》，作者：3****m一、云数据库与Web网站的关系云数据库与Web网站之间存在着密切的关系。Web网站需要数据库来存储和管理用户数据、交易信息、内容资料等关键信息。而云数据库提供的弹性和可扩展性，使得Web网站能够根据业务需求快速地增加或减少存储资源，从而更加高效地应对用户访问和数据增长。同时，云数据库还为Web网站提供了数据安全保障。通过数据加密、访问控制和安全审计等措施，云数据库确保了Web网站的数据安全，防止数据...阅读全文
1月4日，国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。在推动发挥数据要素乘数效应，释放数据要素价值的攻坚路上，海南省一直走在前面。近日，海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则（暂行）》（以下简称《实施细则》），率先探索确定数据产品所有权，从源头上解决数据产品后续资产化、资本化应用，促进数据资源开...阅读全文
