/proc/sys/net/ipv4/icmp_timeexceed_rate这个在traceroute时导致著名的“Solaris middle star”。这个文件控制发送ICMP Time Exceeded消息的比率。 /proc/sys/net/ipv4/igmp_max_memberships主机上最多有多少个igmp (多播)套接字进行监听。 /proc/sys/net/ipv4/inet_peer_gc_maxtime求 助: Add a little explanation about the inet peer storage? Minimum interval between garbage collection passes. This interval is in e...阅读全文
文章目录 1、创建document 区别使用ES自动生成id使用自定义id 2、更新document 区别PUT全量替换 POST（1）最简单的 update 请求（2）使用脚本局部更新i. 修改_source字段内容ii. 添加数组字段的值iii. 根据内容删除文档iv. 更新可能不存在的文档v. 更新和冲突 3、HTTP 协议之PUT POSTPOSTPUT用PUT还是POST 4、总结：举例，给view字段+1操作疑问 PUT 是 强制创建、全量更新操作 POST 是 创建、局部更新操作 看上去PUT和POST都可以创建、更新document，那么在创建document、更新document的时候有什么区别呢？ 1、创建document 区别 使用ES自动生成id 我们如何确定是完全创...阅读全文
阻塞队列 阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，从队列中获取元素的消费者线程会一直等待直到队列变为非空。当队列满时，向队列中放置元素的生产者线程会等待直到队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。 在阻塞队列不可用时，这两个附加操作提供了4种处理方式： 抛出异常：当队列满时，插入元素会抛出IllegalStateException；返回特殊值：offer()是入队方法，当插入成功时返回true，插入失败返回false；poll()是出队方法，当出队成功时返回元素的值，队列为空时返回null一直阻塞：当队列满时，阻塞执行插入方法的线程；当队列空时，阻塞执行出队方法的...阅读全文
目录1.retries参数说明 2.retries使用建议 3.retries后续发展复制1.retries参数说明参数的设置通常是一种取舍，看下retries参数在版本0.11.3说明：Setting a value greater than zero will cause the client to resend any record whose send fails with a potentially transient error. Note that this retry is no different than if the client resent the record upon receiving the error. Allowing retries without s...阅读全文
今天和大家聊一下，kafka对于消息的可靠性保证。作为消息引擎组件，保证消息不丢失，是非常重要的。 那么kafka是如何保证消息不丢失的呢？前提条件任何消息组件不丢数据都是在特定场景下一定条件的，kafka要保证消息不丢，有两个核心条件。第一，必须是已提交的消息，即committed message。kafka对于committed message的定义是，生产者提交消息到broker，并等到多个broker确认并返回给生产者已提交的确认信息。而这多个broker是由我们自己来定义的，可以选择只要有一个broker成功保存该消息就算是已提交，也可以是令所有broker都成功保存该消息才算是已提交。不论哪种情况，kafka只对已提交的消息做持久化保证。第二，也就是最基本的条件，虽然kafka集...阅读全文
kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会直接发送数据的，而是将其加入到了一个缓存队列里面去，实例化KafkaProducer会实例RecordAccumulator，RecordAccumulator维护了一个Map，key为不同的主题和p...阅读全文
seata的官方文档如下 http://seata.io/zh-cn/docs/overview/what-is-seata.html seata-server的启动和配置 从官方下载seata-server安装包https://github.com/seata/seata/releases，下载完成后解压该安装包 tar -xvf seata-server-1.4.2.tar.gz 在配置文件中修改，设置部署模式为file模式 cd seata-server-1.4.2/confvim file.conf 配置文件如下 ## transaction log store, only used in seata-serverstore { ## store mode: file、db、redi...阅读全文
谈阿里核心业务监控平台SunFire的技术架构 2017-01-01 19:00 相关阅读： 在2016年双11全球购物狂欢节中，天猫全天交易额1207亿元，前30分钟每秒交易峰值17.5万笔，每秒支付峰值12万笔。承载这些秒级数据背后的监控产品是如何实现的呢？接下来本文将从阿里监控体系、监控产品、监控技术架构及实现分别进行详细讲述。 阿里有众多监控产品，且各产品分工明确，百花齐放。整个阿里监控体系如下图： 集团层面的监控，以平台为主，全部为阿里自主研发（除引入了第三方基调、博睿等外部检测系统，用于各地CDN用户体验监控），这些监控平台覆盖了阿里集团80%的监控需求。 此外，每个事业群均根据自身特性自主研发了多套监控系统，以满足自身特定业务场景的监控需求，如广告的GoldenEye、菜鸟的棱...阅读全文
本文分享自天翼云开发者社区《基于快照的异步远程复制介绍》，作者:l****n1、简介:本文介绍了基于RBD快照的异步远程复制技术2、概念介绍：异步远程复制：通过定时的将业务端的数据同步到备份端，从而实现数据的备份和灾难恢复的技术；RBD快照：RBD快照是RBD在某一时刻全部数据的只读镜像，可以保留某个时间点的状态历史；同步快照：当发起定时拷贝任务时，主端（即业务端）创建的RBD快照作为此次同步任务的同步快照；一致性快照：当主从拷贝任务完成后，对从端创建RBD快照，此时从端的数据与主端的同步快照的时间点数据一致，此时的快照称为一致性快照；3、工作原理：创建移步远程复制pair对：选择跨region或者跨AZ的大小一致的卷，建立主从异步远程复制关系对；异步远程复制分为主端设备与从端设备，主端设备...阅读全文
我要讲的内容是偏工程的：怎么在万亿交易量下实现足够实时的秒级监控？ 先介绍一下监控系统 Sunfire，它是阿里集团的业务监控系统，前身是蚂蚁的 xflush, 支持应用标准化监控，如操作系统，JVM，中间件等。除此之外还有更强大的日志监控能力，大多数业务的监控指标都从应用的日志中抽取。目前覆盖了集团几乎所有 BU 和绝大多数业务，每分钟处理 TB 级日志。 下面将从以下四个方面进行讲解： 架构规模与挑战技术选择方向 一、架构 每分钟处理这么大的TB级日志量，我们是怎么设计架构去实现它的呢？ 1.1、传统日志监控 上图是传统的日志监控，现在大多数监控平台采用的一个方案。Agnet 检测日志变化增量推送，经过消息中间件如 kafka，流式计算引擎如 Jstorm/flink 去消费 kafka...阅读全文
本文分享自天翼云开发者社区《分布式系统心跳机制（一）》，作者:白杨分布式系统架构当前大部分分布式系统架构如下图：有一个中心节点来存储集群元数据和管理work儿节点，中心节点采用主备模式来实现HA。当中心节点主故障后，备节点接管业务成为主节点。我们下面讨论的心跳机制就是基于这种分布式架构而设计的。心跳设计目标：1.master控制节点的切换，不可以影响server的心跳。2.server可以感知到master的每一次切换。3.master在任意场景下都不会丢失server故障的事件。4.心跳可以作为其它控制消息是否需要重试的依据。心跳Clien端设计：a.worker2启动后只有master的列表，并不知道哪个是leader，因此先广播bootstrap信息。b.只有leader节点响应b...阅读全文
