1、Hbase为什么写比读快 （1）根本原因是hbase的存储引擎用的是LSM树，是一种面向磁盘的数据结构： Hbase底层的存储引擎为LSM-Tree(Log-Structured Merge-Tree)。LSM核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到最后多之后，再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的，可以通过合并排序的方式快速合并到一起)。另外，写入时候将随机写入转换成顺序写，数据写入速度也很稳定。 不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 LSM（Log-Structured Merge-Tree), 基本思想是把用户的随机写入转化为两部分写入：Memstore 内存中的 Map, 保存随机的随机写入，待 memstore 达到一定量的...阅读全文
本文分享自天翼云开发者社区《性能调优五步法》，作者：x****nLinux 内核从 2.5 版本开始针对 NUMA 架构做了大量优化工作，同时也提供了丰富的工具和接口，可以帮助我们很容易的完成访问本地内存的设置。所以，通过适当的性能调优，可以提供更高的计算能力。性能优化通常可以通过五个步骤完成1.确认基线性能优化第一步是确定当前性能，并明确性能应提升的程度。如果系统性能不佳，我们就需要花时间进行研究分析，但如果系统性能接近其峰值，那可优化的空间就微乎其微。性能基线必须是一种客观可度量的指标，在明确如何度量特定系统或者应用程序的性能后，在调整和优化之前，运行应用程序并记录其性能，这就是基线值。在记录应用程序基线的同时我们需要对整个系统部件进行基准监控，包括CPU、内存、IO、网络吞吐、响应延时...阅读全文
本文分享自天翼云开发者社区《云数据库的云端故障排除策略：关键技术与实施方案》，作者：3****m一、关键技术自动化监控与预警：云数据库应具备自动监控功能，实时收集性能指标、错误日志等数据，并通过算法分析异常模式。一旦发现异常或潜在故障，系统应自动触发预警通知，以便及时采取措施。分布式容错机制：由于云环境的特性，单点故障可能导致整个系统的瘫痪。因此，云数据库应采用分布式架构，通过数据冗余和副本技术实现容错。当某个节点发生故障时，其他节点可以继续提供服务，确保数据的可用性。智能负载均衡：智能负载均衡技术可以根据系统负载和资源利用情况动态调整请求路由，确保系统的稳定性和高效性。当某个节点负载过高时，请求可以被路由到其他负载较轻的节点，避免因过载导致的故障。数据一致性与完整性保障：在分布式环境下，数...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
本文分享自天翼云开发者社区《云主机AI服务的性能测试和优化》，作者：无敌暴龙兽在云计算的时代，越来越多的人选择将AI模型部署在云主机上，以便利用云服务提供商的弹性和可扩展性。然而，仅仅将AI模型部署到云主机上并不足以保证其性能和效率。本文将介绍云主机AI服务的性能测试和优化的具体操作过程，以帮助您充分发挥云计算平台的优势。第一部分：性能测试性能测试是评估系统在不同负载下的性能表现的过程。在云主机AI服务中，性能测试可以帮助我们了解模型的推理速度、资源利用情况和响应时间等指标。以下是进行性能测试的具体操作步骤：步骤1：选择合适的测试工具选择一个适合的性能测试工具，如Apache JMeter、Gatling或Locust。这些工具可以模拟多个并发用户对云主机AI服务发起请求，以测试系统的性能和...阅读全文
