1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操作HBase。 本篇博客，笔者将为大家介绍另一位一种SQL方式来操作HBase，那就是Hive。 2.内容 2.1 使用场景 熟悉大数据的同学应该都知道，Hive是一个分布式的数据仓库，它能够将海量数据，结构化存储到HDFS上，然后通过SQL的方式对这些海量数据进行业务处理。而且，Hive学习成本很低，熟悉SQL的同学，很快就能编写一个Hive应用程序。 我们通过Hive把数据加载到HBase表中...阅读全文
在对磁盘分区的大小进行规划时，往往不能确定这个分区要使用的空间的大小。而使用 fdisk、gdisk 等工具对磁盘分区后，每个分区的大小就固定了。如果分区设置的过大，就白白浪费了磁盘空间；如果分区设置的过小，就会导致空间不够用的情况出现。对于分区过小的问题，可以从新划分磁盘的分区，或者通过软连接的方式将此分区的目录链接到另外一个分区。这样虽然能够临时解决问题，但是给管理带来了麻烦。类似的问题可以通过 LVM 来解决。说明：本文的演示环境为 ubuntu 16.04。 LVM 是什么 LVM 是 Logical Volume Manager 的缩写，中文一般翻译为 "逻辑卷管理"，它是 Linux 下对磁盘分区进行管理的一种机制。LVM 是建立在磁盘分区和文件系统之间的一个逻辑层，系统管理员可...阅读全文
用了就会爱上，爱上就会离不开。本来给C盘留下了足够的空间，而且没有往其中添加其它文件、也没有安装什么应用，为什么它就不知不觉地满了呢？每次打开电脑打开大型软件就会变卡，甚至显示磁盘空间不足。有些软件虽然删除了但有一些安装软件还是会有卸载残留，极难进行清理，又不放心安装某些国产杀毒清理软件进行清理。那么到底是什么在占据着磁盘空间呢？今天要推荐的软件叫做Spacesniffer。Spacesniffer可以帮助我们一目了然知道你电脑有啥东西，藏得再深也逃不过它的眼睛。这是一款磁盘分析软件，不用安装，仅2MB不到。打开它，选择需要扫描的磁盘，单击“start”，之后它会快速地扫描磁盘，界面内跳动的小方块就像黑客在操作你的电脑。 最上方有扫描的进度，当显示“ready”时，扫描结束，可以根据界面上的...阅读全文
婚后痛经，更应该重视！绝大多数女性都有过痛经的经历，有的人说结婚后痛经就会减轻，但是婚后痛经的人依然很多，婚后痛经要注意以下三种疾病。 ...月季舒阅读 27评论 0赞 ...阅读全文
author：skatetime：2009/12/09 linux删除文件后没有释放空间 今天发现一台服务器的home空间满了，于是要清空无用的文件，当我删除文件后，发现可用空间没有变化 os：centos4.7 现象： 发现当前磁盘空间使用情况： [root@ticketb ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda1 981M 203M 729M 22% /none 16G 0 16G 0% /dev/shm/dev/sda9 2.9G 37M 2.7G 2% /tmp/dev/sda7 4.9G 1.9G 2.7G 42% /usr/dev/sda8 2.9G 145M 2.6G 6% /var/dev/map...阅读全文
在 Linux 下，我们看到的是文件夹（目录）： 在早期的 UNIX 系统中，各个厂家各自定义了自己的 UNIX 系统文件目录，比较混乱。Linux 面世不久后，对文件目录进行了标准化，于1994年对根文件目录做了统一的规范，推出 FHS ( Filesystem Hierarchy Standard ) 的 Linux 文件系统层次结构标准。FHS 标准规定了 Linux 根目录各文件夹的名称及作用，统一了Linux界命名混乱的局面。 无论何种版本的 Linux 发行版，桌面、应用是 Linux 的外衣，文件组织、目录结构才是Linux的内心。 FHS（英文：Filesystem Hierarchy Standard 中文：文件系统层次结构标准），多数 Linux 版本采用这种文件组织形式...阅读全文
一、前言| ES作为现今最流行的搜索存储库，我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态，那么如何去删除这些数据呢，我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢？实际是批量删除数据的意思 功能：根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询条件，根据查询条件去批量删除 "match": {//请求体跟Search API是一样的 "message": "some message" } } }复制Delete By Query 删除原理：...阅读全文
速度优化edit 如果想要获得唯一值的数目， 通常 需要查询整个数据集合（或几乎所有数据）。 所有基于所有数据的操作都必须迅速，原因是显然的。 HyperLogLog 的速度已经很快了，它只是简单的对数据做哈希以及一些位操作。 但如果速度对我们至关重要，可以做进一步的优化。 因为 HLL 只需要字段内容的哈希值，我们可以在索引时就预先计算好。 就能在查询时跳过哈希计算然后将哈希值从 fielddata 直接加载出来。 预先计算哈希值只对内容很长或者基数很高的字段有用，计算这些字段的哈希值的消耗在查询时是无法忽略的。 尽管数值字段的哈希计算是非常快速的，存储它们的原始值通常需要同样（或更少）的内存空间。这对低基数的字符串字段同样适用，Elasticsearch 的内部优化能够保证每个唯一值只计...阅读全文
一、前言哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.RightB树存储引擎是B树的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。LSM树（Log-Structured Merge Tree）存储引擎和B树存储引擎一样，同样支持增、删、读、改、顺序扫描操作。而且通过批量存储技术规避磁盘随机写入问题。当然凡事有利有弊，LSM树和B+树相比，LSM树牺牲了部分读性能，用来大幅提...阅读全文
linux中iptables删除一条规则的方法：1、打开linux终端；2、在终端命令行中输入“iptables -L -n”命令查看出当前的防火墙规则；3、输入“iptables -L -n --line-number”命令查看到每个规则chain的序列号；4、根据序列号删除指定一条防火墙则即可。linux中iptables如何删除一条规则具体操作步骤：1、在linux系统桌面中使用快捷键【Ctrl+Alt+T】打开linux终端命令行模式。2、在linux终端命令行中输入以下命令查看出当前的防火墙规则。iptables -L -n复制3、输入以下命令查看到每个规则chain的序列号。iptables -L -n --line-number复制4、最后输入以下命令根据序列号删除指定一条防火...阅读全文
基于C++从0到1手写Linux高性能网络编程框架（2023新课） 分享课程——基于C++从0到1手写Linux高性能网络编程框架，2023年新课，附源码+电子书，课程包更新。 Linux在服务器领域有着强大的优势，网络编程便是其中一项重要组成部分，运用合理的技巧可以构建出具有高效率、可靠性和强大可拓展性的网络框架，提高服务器功能和效率。 Linux网络编程技巧可以细分为多个方面，首先网络编程的开始必不可少的是编写好的Socket程序。Socket可以说是传输层协议的核心，它充当网络应用程序之间的接口，能够连接本地服务器与外部服务器，实现进程间的通信接口。在Linux环境下，使用C语言需要引入头文件，调用系统函数socket()来生成socket描述符: #include int socke...阅读全文
 Flutter组件采用现代响应式框架构建，这是从React中获得的灵感，中心思想是用组件(widget)构建你的UI。 组件描述了在给定其当前配置和状态时他们显示的样子。当组件状态改变，组件会重构它的描述(description)，Flutter 会对比之前的描述， 以确定底层渲染树从当前状态转换到下一个状态所需要的最小更改。 1、环境搭建 Flutter 的环境搭建十分省心，特别对应 Android 开发者而言，只是在 Android Stuido 上安装插件，并到 GitHub Clone Flutter 项目到本地之...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、nodefs、pid等资源都有驱逐信号，kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定； 驱逐信号列举如下： （1）memory.available； （2）nodefs.available...阅读全文
如何优雅高效的在海量数据存储与查找 对于这个问题我们首先可能会想到直接去存储这40亿个数据，当然这确实是一种方法。但是我们是否考虑过这样做的后果呢？如果你的解决方案就是上面的那种方法的话，那你可能真的没有考虑过后果。所以你有必要继续往下读。 我们先不管后果是什么，现在我来带大家看一组数据，假设这40亿个数据是4个字节的unsigned int 型的数据。那嘛现在 我们要存储这40亿个数据就需要的空间为：(40 * 10^8) * 4byte = 14.9GB (注意这里所换算机制：1GB=2^10Mb=2^20kb=2^30byte,下面涉及到的计算也是采用这种方式)所以大家看见了后果就是占用了这么大的内存空间，一般计算机上的内存根本就放不下嘛，所以这还怎么干活。。。 该怎么办呢？ 那么我们...阅读全文
在日常开发中我们经常会遇到需要同时处理多个操作的情况，比如在购物时，我们需要同时完成支付和更新库存两个操作。这时，如果其中一个操作失败了，我们就需要进行回滚，以保证数据的一致性。 那么，如何在MySQL中实现这样的功能呢？答案就是——事务。下面我们就来介绍一下MySQL事务是什么？它是如何使用的？ ## 一、什么是事务？ ### 事务定义 - 事务是一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同。 ### 事务是什么？ ...阅读全文
Mysql设置binlog过期时间并自动删除 问题： Mysql数据库由于业务原因，数据量增长迅速，binlog日志会增加较多，占用大部分磁盘空间。 解决方案： 出于节约空间考虑，可进行删除多余binary日志，并设置定期删除操作。 1、查看binlog过期时间 mysql> show variables like 'expire_logs_days'; 或者 mysql> select @@global.expire_logs_days; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | expire_logs_days | 0 | +-----------------...阅读全文
在计算机的世界里，Linux操作系统以其强大的功能和灵活性受到了广大程序员和IT爱好者的喜爱。然而，对于初学者来说，Linux的操作命令可能会显得有些复杂和难以理解。 今天，我们就来一起探索一些Linux常用操作命令，让你的计算机操作更加流畅。 ### 一、目录操作 首先带大家了解一下Linux 系统目录： ``` ├── bin -> usr/bin # 用于存放二进制命令 ├── boot # 内核及引导系统程序所在的目录 ├── dev # 所有设备文件的目录（如磁盘、光驱等） ├── etc # 配置文件默认路径、服务启动命令存放目录 ├── home # 用户家目录，root用户为/root ├── lib -> usr/lib # 32位库文件存放目录 ├── lib64 -> ...阅读全文
本文分享自天翼云开发者社区《RAW镜像格式介绍》，作者：z****nRAW（Raw Disk Image）是一种简单而基本的虚拟化镜像格式，用于存储虚拟机的磁盘内容。它是一种原始的二进制文件格式，直接将虚拟机的磁盘映像保存为连续的字节流，没有经过特定的压缩或加密处理。以下是对RAW格式的一些介绍：简单性：RAW格式是一种非常简单的镜像格式，没有复杂的结构或元数据。它仅仅是将虚拟机的磁盘内容以原始的二进制形式保存在文件中。平台无关性：RAW格式是平台无关的，因此可以在各种虚拟化平台和工具中使用。这意味着你可以在不同的虚拟化环境中使用相同的RAW镜像文件，而无需进行转换或修改。兼容性：由于其简单性和平台无关性，RAW格式的虚拟机镜像文件在各种虚拟化平台和工具中具有良好的兼容性。它可以在QEMU、...阅读全文
MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快，PHP， Ruby, Python, Java 各有特点，虽然 NOSQL 最近越來越多的被提到，但是相信大部分架构师还是会选择 MYSQL 来做数据存储。MYSQL 如此方便和稳定，以至于我们在开发 WEB 程序的时候很少想到它。即使想到优化也是程序级别的，比如，不要写过于消耗资源的 SQL 语句。但是除此之外，在整个系统上仍然有很多可以优化的地方。1. 选择合适的存储引擎: InnoDB除非你的数据表使用来做只读或者全文检索 (相信现在提到全文检索，没人会用 MYSQL 了)，你应该默认选择 InnoDB 。你自己在测试的时候可能会发现 MyISAM 比 InnoDB 速度快，这是因为： MyISAM 只缓存索...阅读全文
