规划 副本集，其中加了个隐藏节点，用来做备份，所以备份脚本直接在隐藏节点做，目前数据不大，直接本机磁盘存储，后续如果数据集大，那么在本地存最近一天的备份，远程根据需求存储几天的备份 创建备份用户 db.createUser( { user: "backup", pwd: "password", roles: [ "backup" ] } ) 备份脚本 #!/bin/bash PATH=$PATH:/usr/local/mongodb/bin export PATH port=27017 user="backup" password="password" backup_home="/data/backup" backup_date="`date +"%Y%m%d"`" backup_dir="...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
HBase和HDFS都是Apache Hadoop生态系统中的分布式存储解决方案。它们都支持数据的复制，以提高数据可靠性和可用性。在本文中，我们将探讨HBase和HDFS中副本的概念、原理以及实现方式，以及如何设置和管理副本。 HDFS的副本 HDFS是Hadoop分布式文件系统，它把大文件分割成多个块，通过多个节点存储。HDFS采用副本机制来提高数据的可靠性和可用性。当在一个节点操作数据时，数据分为多个副本存放在不同的节点上，称为数据块。HDFS中每个数据块的默认副本数量为3。数据副本机制有如下的优点： 数据的可靠性：副本机制保证了数据的备份，当一个节点出现故障时，其他副本保证了数据的安全性。 数据的可用性：在数据访问时，可以根据数据块的副本情况选择最快的节点，保证了数据访问的高效性。 在...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
副本集的主要功能 副本集是MongoDB高可用的基础，其主要作用 归纳为以下几点： （1）高可用，防止设备（服务器、网络）故障。提供自动FailOver功能。 （2）无需配置高可用性虚拟节点；无论是SQL Server 的AlwaysOn 还是 MySQL 的 MHA方案 都需要有可用性组 或集群的虚拟IP，要求程序连接使用这个虚拟IP。但是MongoDB 副本集不需要 配置虚拟IP，而是当我们在连接字符串中指定replicaSet 参数设置 后，会自动识别查找master节点。这样 可以省去 DBA 对虚拟高可用IP的配置和管理。另外，还有一点 可以保证 主节点、辅助节点切换 对程序的影响，比如丢数据的影响。就是 程序驱动到每个几点都预先建立了一个连接，这个连接 会实时监控节点状态。当主节...阅读全文
本文分享自天翼云开发者社区《Ceph PG状态介绍》，作者:wwwdl一、基本概念size：副本数(如三副本，size=3)；min_size：支持可读写的最小副本数（如三副本，min_size=2）；upset：pg的目标osd列表；actset：pg可接受读写osd列表。如下为osd异常，重新选择osd，pg的osd列表变化过程：二、pg各个状态（1）creating：创建pool时，自动创建pg，此时会出现该状态；（2）active：pg活跃态，表示pg可以接受读写业务，当pg状态不是active时，集群将业务异常，会导致上层业务大面积瘫痪；（3）clean：pg处于健康态，三个副本的数据是一致的；（4）recovering：pg增量恢复，根据日志条目，复原数据；（5）backfil...阅读全文
之前文章提到过Kafka的broker端有ISR机制，它可以看成多个副本的集合，里面有leader副本和多个follower副本，数量是我们可以配置的，只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置，例如ack的配置、生产者重试、isr最小数量，消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式，即将一个分区下的数据保存到多个副本中，起到备份数据的作用。这样如果leader挂了，会重新选举follower作为leader继续工作，那么Kafka中leader副本是如何将数据同步到follower副本中的呢？今天想通过这篇文章总结记录下。 1.副本中的高水位（High Watermark） 什么...阅读全文
