hashset底层为hashmap。 源码如下： /** * Constructs a new, empty set; the backing HashMap instance has * default initial capacity (16) and load factor (0.75). */ public HashSet() { map = new HashMap<>(); } 默认 initial capacity（hashmap底层数组大小）为16，load factor 为 0.75 add() 方法 /** * Adds the specified element to this set if it is not already present. * Mo...阅读全文
##前言： java GoLinkedList的简易实现，代码中注释比较详尽，通俗易懂,注意事项亦在注解中标明。 ###正文： GoLinkedList.java package com.anteoy.dataStructuresAndAlgorithm.javav2.my; import java.util.Iterator; /** * Created by zhoudazhuang on 17-3-1. * Description: 简易Linkedlist实现 */ public class GoLinkedList
提一下哈希表，看下百科： 散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。 给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash）表，函数f(key)为哈希(Hash) 函数。 简单理解：1.通过某种算法（使用key的hash算法）,计算出key的磁盘散列值，优点为速度和易用。 2.hashmap底层实现仍为数组（HashMap 底层就是一个数组结构，数组中的每一项又是一个链表。数组每个元素里存的是链表的表头信息，有了表头就可以遍...阅读全文
##前言： java GoBinaryHead二叉堆binaryheap实现优先队列（堆） 1. 二叉堆是完全二叉树 因为完全二叉数的规律（root始终最小） 用数组实现此数据结构优于链表 2. ，注意在插入和删除时，需要在数组实现的完全二叉树结构代码中，对原有节点数据进行上滤和下滤，插入时，和子树的根节点比较， 只有比子树根节点大才能满足定义， 否则循环交换位置。堆内元素向下移动为 下滤，删除后空余的位置，从上至下找最小儿子节点填充 3. 在printHeap()方法中对数组的遍历使用了去null操作。 4. 代码中已给出比较详尽注释。 ###正文： GoBinaryHeap.java package com.anteoy.dataStructuresAndAlgorithm.javav2...阅读全文
在开发过程中，map是必不可少的数据结构，在Golang中，使用map或多或少会遇到与其他语言不一样的体验，比如访问不存在的元素会返回其类型的空值、map的大小究竟是多少，为什么会报"cannot take the address of"错误，遍历map的随机性等等。 本文希望通过研究map的底层实现，以解答这些疑惑。 基于Golang 1.8.3 1. 数据结构及内存管理 hashmap的定义位于 src/runtime/hashmap.go 中，首先我们看下hashmap和bucket的定义： type hmap struct { count int // 元素的个数 flags uint8 // 状态标志 B uint8 // 可以最多容纳 6.5 * 2 ^ B 个元素，6.5为装载...阅读全文
map是Go语言中基础的数据结构，在日常的使用中经常被用到。但是它底层是如何实现的呢？ Golang中map的底层实现是一个散列表，因此实现map的过程实际上就是实现散表的过程。在这个散列表中，主要出现的结构体有两个，一个叫hmap(a header for a go map)，一个叫bmap(a bucket for a Go map，通常叫其bucket)。这两种结构的样子分别如下所示：hmap: 图中有很多字段，但是便于理解map的架构，你只需要关心的只有一个，就是标红的字段：buckets数组。Golang的map中用于存储的结构是bucket数组。而bucket(即bmap)的结构是怎样的呢？ bucket： 相比于hmap，bucket的结构显得简单一些，标红的字段依然是“核心”...阅读全文
本节介绍一种应文件系统所需而生的一种 B-树的变型树——B+树。前面介绍了B-树，B+树其实同B-树有许多相同之处，本节将用B-树同B+树通过对比两者的差异来介绍B+树。 什么是B+树？ 一颗 m 阶的 B+树和 m 阶的 B-树的差异在于： 有 n 棵子树的结点中含有 n 个关键字； 在上一节中，在 B-树中的每个结点关键字个数 n 的取值范围为⌈m/2⌉ -1≤n≤m-1，而在 B+树中每个结点中关键字个数 n 的取值范围为：⌈m/2⌉≤n≤m。 所有的叶子结点中包含了全部关键字的信息，及指向含这些关键字记录的指针，且叶子结点本身依关键字的大小自小而大顺序链接。 所有的非终端结点（非叶子结点）可以看成是索引部分，结点中仅含有其子树（根结点）中的最大（或最小）关键字。 例如，图 1 中所示...阅读全文
最近在技术博客中看到一篇关于 HashMap 的优化使用建议，觉得非常有意思，于是转载该篇博文，和大家一起分享技术。 HashMap 在JDK 7 与 JDK8 下的差别顺便理一下HashMap.get(Object key)的几个关键步骤，作为后面讨论的基础。 1.1 获取key的HashCode并二次加工因为对原Key的hashCode质量没信心，怕会存在大量冲突，HashMap进行了二次加工。 JDK7的做法： h ^= (h >>> 20) ^ (h >>> 12);return h ^ (h >>> 7) ^ (h >>> 4); JDK8 因为对自己改造过的哈希大量冲突时的红黑树有信心，所以简单一些，只是把高16位异或下来。 return h ^ (h >>> 16); 所以即使...阅读全文
随着4G的普及，“五模十三频，七模十九频”之类的电信专业用语开始来轰炸消费者。除了要判断能否支持自己的手机卡之外，现在还要再考虑手机能否支持相应的4G频段。如果希望购买的是水货手机，那还要考虑国内外的网络频段差异，以及3、4G信号回落的问题。很多人听着这些用语或许都已经头大了，所以本文将对常用的网络制式进行科普，希望本文能帮助大家，看懂手机参数表中的网络支持列表，能判断机器是否支持你的手机卡，能否使用国内的4G，以及其是否有破解网络的潜力。网络频段分配但怎么知道自己的手机卡要什么网络制式呢？这又是个深刻的人生命题。这里简单科普一下网络制式问题。所有故事都要从电磁波的特性说起，从红外紫外可见光，到wifi和手机信号，都是电磁波……好吧，篇幅有限，说点结论性的东西。手机的2/3/4G网络和wif...阅读全文
1、 计算机的存储体系 内存是计算机很重要的一个资源，因为程序只有被加载到内存中才可以运行；此外，CPU所需要的指令与数据也都是来自内存的。可以说，内存是影响计算机性能的一个很重要的因素。 在介绍内存管理的细节前，先要了解一下分层存储器体系： 大部分的计算机都有一个存储器层次结构，即少量的非常快速、昂贵、易变的高速缓存(cache)；若干兆字节的中等速度、中等价格、易变的主存储器(RAM)；数百兆或数千兆的低速、廉价、不易变的磁盘。这些资源的合理使用与否直接关系着系统的效率。 CPU缓存（Cache Memory）：是位于CPU与内存之间的临时存储器，它的容量比内存小的多但是交换速度却比内存要快得多。缓存的出现主要是为了解决CPU运算速度与内存 读写速度不匹配的矛盾，因为CPU运算速度要比内...阅读全文
前言 1、Hive分区的概念与传统关系型数据库分区不同。 2、传统数据库的分区方式：如oracle，分区独立存在于字段，里面存储真实的数据，在数据进行插入的时候自动分配分区。 3、Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。 即，当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原有的目录上添加数据文件。 动态分区和静态分区(Hive-0.14以后的特性) 1、动态分区：分区不固定；关键在于“动态”，不需要人为使用 alter table 命令执行添加分区 2、静态分区：分区固定，需要认为使用 alter table 命令添加分区 最大区别：动态分区与静态分区区别就是不指定分区目录，由系统...阅读全文
Netty之ChannelPipeline理解二 ChannelPipeline不是单独存在,它肯定会和Channel、ChannelHandler、ChannelHandlerContext关联在一起,所以有关概念这里一起讲。 参考：https://www.cnblogs.com/qdhxhz/p/10234908.html ChannelPipeline不是单独存在,它肯定会和Channel、ChannelHandler、ChannelHandlerContext关联在一起,所以有关概念这里一起讲。 ChannelHandler 概念 handler.png ChannelHandler下主要是两个子接口 ChannelInboundHandler(入站): 处理输入数据和Channel...阅读全文
其实大家提的 LSM 最开始论文里面都使用树做搜索结构的, 现在在用的都不是严格的树结构了。 如[这篇文章](https://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/)解释的一样，从最朴素的角度上来讲可以把`SSTable(sorted string table)`作为一个连续的kv构成的块。SSTable +-+---+----+---+ |k| v | k | v | ... +-+---+----+---+对于一个大文件来说，读取整个文件以后就能构成一个各个键值的索引，当然可以在文件追加一块索引，和文件一起保存。Index +-+-------+ |k|offset | +-+------...阅读全文
UEFI+GPT最好用64位操作系统。 似乎人人都可以张嘴就说“我懂电脑”，但是总有一些看起来完全不懂但实际上非常基础的东西让“懂”与“不懂”清晰地划清界限。比如UEFI+GPT就是其中之一，那些之前认为自己已经精通电脑的人，遇到这个东西，忽然发现自己连系统都不会装了。 尽管UEFI以及GPT从诞生迄今已经十余年了，但是由于它们的不普及性，导致对于绝大多数人来讲它们是完全陌生的 ，甚至根本就不知道还有这种东西。 但是由于Windows8操作系统的面世，预装Windows8的电脑开始统一采用UEFI+GPT，很多人被迫接触到，感觉就像突然从天上掉下来的东西一样，无所适从，一筹莫展—— “这到底是个什么东西呢？” 一旦出现系统问题，唯一能做的解决办法除了品牌机自带的系统还原，最大能力不过就是把U...阅读全文
五一假期前落下了几节操作系统的课，现在艰难的恶补中。。 以下是分页存储管理相关的一些知识点梳理。 首先我们应该知道的概念： 逻辑地址：是程序编译后，生成的目标模块进行编址时都是从0号开始编址，称之为目标模块的相对地址，即逻辑地址。 虚拟地址：计算机处理器的地址有32位和64位的两种，对应的虚拟地址的空间大小分别是2^32字节和2^64字节，字节用B表示。 页：分页存储管理将进程的逻辑地址空间划分为若干页（面），并且对其编号，号数从0开始，每个页（面）的大小称为页面大小，且大小应为2的幂。 物理块：将内存的物理地址空间划分为若干块，称为物理块，物理块与页（面）一一对应。 页表：又称页面映像表，存储在内存中，通过页表建立页（面）与物理块的索引。 下面通过举例子梳理一下： 假设我们已经知道了逻辑地...阅读全文
登录注册写文章首页下载APPIT技术抽奖Skip List--跳表（全网最详细的跳表文章没有之一）fanrui关注赞赏支持Skip List--跳表（全网最详细的跳表文章没有之一）跳表是一种神奇的数据结构，因为几乎所有版本的大学本科教材上都没有跳表这种数据结构，而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的时间复杂度跟红黑树都是一样量级的，时间复杂度都是O(logn)，而且跳表有一个特性是红黑树无法匹敌的（具体什么特性后面会提到）。所以在工业中，跳表也会经常被用到。废话不多说了，开始今天的跳表学习。 通过本文，你能 get 到以下知识： 什么是跳表？ 跳表的查找、插入、删除元素的流程 跳表查找、插入、删除元素的时间复杂度 跳表插入元素时，如何动态...阅读全文
背景String作为JDK最核心的数据类型之一，非常有必要专门学习一下，重点关注这4个文件jdk/src/java.base/share/native/libjava/String.cjdk/src/java.base/share/classes/java/lang/String.javajdk/src/java.base/share/classes/java/lang/StringLatin1.javajdk/src/java.base/share/classes/java/lang/StringUTF16.java存储无论是何种语言的何种实现，String本质上都是字节序列，所有可能的字符加起来就构成了字符集，给字符集中每个字符一个序号就是字符编码，使用最广泛的就是Unicode了，它几...阅读全文
官网解释 Managed and External Tables By default Hive creates managed tables, where files, metadata and statistics are managed by internal Hive processes. A managed table is stored under the hive.metastore.warehouse.dir path property, by default in a folder path similar to /apps/hive/warehouse/databasename.db/tablename/. The default location can be over...阅读全文
Tair 分布式K-V存储方案 tair 是淘宝的一个开源项目，它是一个分布式的key/value结构数据的解决方案。 作为一个分布式系统，Tair由一个中心控制节点（config server）和一系列的服务节点（data server）组成， config server 负责管理所有的data server，并维护data server的状态信息；为了保证高可用（High Available），config server可通过hearbeat 以一主一备形式提供服务； data server 对外提供各种数据服务，并以心跳的形式将自身状况汇报给config server；所有的 data server 地位都是等价的。 tair集群的基本概念： configID，唯一标识一个tair集群...阅读全文
图解LinkedHashMap原理1 前言 LinkedHashMap继承于HashMap，如果对HashMap原理还不清楚的同学，请先看上一篇：图解HashMap原理 2 LinkedHashMap使用与实现 先来一张LinkedHashMap的结构图，不要虚，看完文章再来看这个图，就秒懂了，先混个面熟： LinkedHashMap结构.png 2.1 应用场景 HashMap是无序的，当我们希望有顺序地去存储key-value时，就需要使用LinkedHashMap了。 Map
大热的《阿里巴巴Java开发规约》中有提到： 【推荐】集合初始化时，指定集合初始值大小。说明：HashMap使用如下构造方法进行初始化，如果暂时无法确定集合大小，那么指定默认值（16）即可： public HashMap (int initialCapacity) { this(initialCapacity, DEFAULT_LOAD_FACTOR); } 看到代码规约这一条的时候，我觉得是不是有点太 low 了，身为开发，大家都知道 HashMap 的原理。 什么？这个要通过插件监测？没必要吧，哪个开发不知道默认大小，何时 resize 啊，然后我和孤尽打赌随机咨询几位同学以下几个问题： HashMap 默认bucket数组多大？ 如果new HashMap<>(19)，bucket数组...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。 hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储 Hive官方网站对Hive partition的介绍: 可以使用Partitioned BY子句创建分区表。一个表可以有一个或多个分区列，并且为分区列...阅读全文
本节主要介绍explode和posexplode函数的使用。1、数据介绍 主要包括三列，分别是班级、姓名以及成绩，数据表名是default.classinfo。2、单列Explode 首先来看下最基本的，我们如何把student这一列中的数据由一行变成多行。这里需要使用split和explode，并结合lateral view实现。代码如下：select class,student_name from default.classinfo lateral view explode(split(student,',')) t as student_name 结果如下：3、单列Posexplode 接下来，我们想要给每个同学来一个编号，假设编号就按姓名的顺序，此时我们要用到另一个hive函数，叫做...阅读全文
在使用Hive处理数据时，经常遇到行列转换的场景，本文将对Hive的行列转换操作做详细的说明。 行转列## 1）多行转多列 假设数据表 row2col： col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为： col1 c d e a 1 2 3 b 4 5 6 此时需要使用到max(case … when … then … else 0 end)，仅限于转化的字段为数值类型，且为正值的情况。 HQL语句为： select col1, max(case col2 when 'c' then col3 else 0 end) as c, max(case col2 when 'd' then col3 else 0 end) a...阅读全文
从具体到抽象 Abstract Syntax Tree抽象语法树（通常被简写成AST）实际上只是一个解析树(parse tree)的一个精简版本。在编译器设计的语境中，"AST" 和 "语法树"(syntax tree)是可以互换的。什么是解析树呢？我们知道一棵解析树是包含代码所有语法信息的树型结构，它是代码的直接翻译。所以解析树，也被成为具象语法树（Concret Syntax Tree, 简称CST）;而抽象语法树，忽略了一些解析树包含的一些语法信息，剥离掉一些不重要的细节，所以它看起并不像解析树那么事无巨细，这也是AST名字中抽象一词的由来。在继续下一步之前，我们先统一一下文中的概念表达形式，以便更好的理解内容解析树 = Parse Tree = CST 抽象语法树 = Syntax ...阅读全文
通过前面文章的介绍，相信大家对Java集合框架有了简单的理解，接下来说说集合中最常使用的一个集合类的父类，List 集合。那么，List到底是什么？它有哪些特性？又该如何使用呢？让我们一起来揭开List的神秘面纱。 List，顾名思义，就是列表的意思。在Java中，List是一个接口，它继承了Collection接口，表示一个有序的、可重复的元素集合。下面我们从List 接口的概念、特点和常用方法等方面来介绍List。 ## 一、List 接口介绍 java.util.List 接口，继承自 Collection 接口(可以回看咱们第二篇中的框架体系)，List 接口是单列集合的一个重要分支，习惯性地将实现了List 接口的对象称为List集合。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文
上篇我们介绍了单列集合中常用的list接口，本篇我们来聊聊单列集合中的另外一个重要接口Set集合。 ### 1 Set 介绍 java.util.Set接口和java.util.List接口一样，同样实现了Collection接口，它与Collection接口中的方法基本一致，并没有对Collection接口进行功能上的扩充，只是比Collection接口更加严格了。 与List接口不同的是，Set接口中元素无序，并且都会以某种规则保证存入的元素不出现重复，这里的某种规则，我们在后面中给大家揭秘，大家不要着急。 - 无序 - 不可重复 它没有索引，所以不能使用普通for 循环进行遍历。 >Set 集合 遍历元素的方式 迭代器，增强for 来，我们通过案例练习来看看 ``` //创建集合对象 ...阅读全文
## 1 概述 现实生活中，我们常会看到这样的一种集合：IP地址与主机名，身份证号与个人，学号与学生等，这种一一对应的关系，就叫做映射。Java提供了专门的集合类用来存放这种对象关系的对象，即java.util.Map接口。 Map 接口下的集合与Collection 接口下的集合，他们的存储形式有所不同，如下图：  Collection 集合，元素是独立的，存储的元素是一个一个的存储。Map中的集合，元素是成对出现。每个元素由键与值两部分组成，通过键可以找到所对应的值。所以我们前面所说 Collection是单列集...阅读全文
 前端高手特训 从0到1带你手写一个微信小程序底层框架，今天就带着大家从0到深入学习小程序框架底层原理，无论你是一位新手，还是一位有经验的开发者，能够自研一套小程序底层框架，都是你突破技术瓶颈有效途径。 今天就由我带领大家从架构设计 ，原理剖析，再到源码的实现，一步步地实战构建一个完整的微信小程序底层框架，让你深度掌握小程序双线程原理，助力你具备把握最佳机会的能力和提升获取心仪Offer的成功率，成为一个真正有实力的技术人才 。 小程序使用的是Exparser组件模型，Exparser组件模型与Web Components中...阅读全文
1简介 在工作中，有一种常见的场景是要安装一个系统，这个系统可能安装好了开发环境、环境变量配置、网卡驱动等设置，如果要重新安装一个一模一样的系统，会非常复杂，在这个场景下我们就可以借助工具，即dd命令来完整把这个系统拷贝到另外一个硬盘上，dd命令会完整的拷贝文件系统，分区，网卡，系统配置等信息到另外的硬盘上，这样把这个携带一模一样的硬盘安装到另外的服务器上，只要在开机时，指定启动项，即可进入一个安装好的一模一样的环境，这时只要修改一下ip即可正常使用，省时省力。 2操作步骤 2.1命令集合 2.1.1 fdisk 分区是将一个硬盘驱动器分成若干个逻辑驱动器，分区是把硬盘连续的区块当做一个独立的磁硬使用。分区表是一个硬盘分区的索引,分区的信息都会写进分区表。 fdisk主要作用是进行分区表控制...阅读全文
Arthas 官方社区正在举行征文活动，参加即有奖品拿哦~点击投稿 作者 | 张云翔 最近我们线上有个应用服务器有点上头，CPU总能跑到99%，我寻思着它流量也不大啊，为啥能把自己整这么累？于是我登上这台服务器，看看它到底在干啥！ 以前碰到类似问题，可能会考虑使用 top -Hp 加 jstack 命令去排查，虽然能大致定位到问题范围，但有效信息还是太少了，多数时候还是要靠猜。今天向大家推荐一款更高效更精准的工具：Arthas！Arthas 是 Alibaba 开源的 Java 诊断工具，能够帮助我们快速定位线上问题。基本的安装使用可以参考官方文档：https://alibaba.github.io/arthas 这次我们利用它来排查 CPU 负载高的问题。CPU 负载过高一般是某个或某几个...阅读全文
HashMap是Java中的一个集合类，它实现了Map接口，提供了一种存储键值对的方式。你可以把它想象成一个没有固定大小和形状的储物柜，你可以随时往里面放东西，也可以随时取出东西。而且，这个储物柜还有一个神奇的功能，那就是无论你放进去的是什么，取出来的总是你放进去的那个。 上篇文章讲了Map接口的概念，以及Map接口中的常用方法和对Map集合的遍历，本篇文章我们将继续介绍另一个十分重要的双列集合—HashMap。 ## HashMap 概念 HashMap集合是Map接口的一个实现类，它用于存储键值映射关系，该集合的键和值允许为空，但键不能重复，且集合中的元素是无序的。 #### 特点 HashMap底层是由哈希表结构组成的，其实就是“数组+链表”的组合体，数组是HashMap的主体结构，链...阅读全文
文链接：https://www.cnblogs.com/harrymore/p/13782261.html 1. 前言 最近公司的服务器硬盘坏了，需要换一个新的硬盘，容量是2TB，用的fdisk进行分区，期间搜索分区工具，看到了关于MBR(Master Boot Record)与GPT（GUID partition table）硬盘分区表的一些区别，其中说到MBR分区表最多只能管理2TB的容量，对此查了一下《鸟哥的私房菜》发现是简化过的，并没有解决疑惑，于是查了一些资料，总结如下。 2. 机械硬盘的结构 2.1. 基本结构 机械硬盘主要由磁盘盘片、磁头（header）、主轴与传动轴等组成，数据就存放在磁盘盘片中，实际图片如下： 值得注意的是，硬盘是上下磁头的，也就是一个盘片有两个磁头进行操作...阅读全文
本文分享自天翼云开发者社区《前端项目性能优化方案有哪些》，作者:王****祺一、加载优化（减少http请求数）常用的减少HTTP请求的方法有以下几种：1.合并图片：当页面图片较多时，可以将相似的图片合并为一张大图，从而减少HTTP请求次数。对于不经常变化的图片，使用精灵图或雪碧图进行合并，可以充分利用浏览器缓存提升性能。2.合并压缩CSS样式表和JS脚本：将相似或通用的CSS和JS文件进行合并，压缩后减少HTTP连接数。这种方法可以减少资源文件的大小，从而提升网页加载速度。3.去掉不必要的请求：在代码编写或系统升级之后，可能会有一些无效的链接残留在页面中，应该及时清理这些无效链接，以减少HTTP请求的次数。4.首屏加载优化：优化首屏的加载，使得页面能够快速显示，可以提高用户对页面速度的感知。...阅读全文
本文分享自天翼云开发者社区《基于三层流量卸载方案的子网路由》，作者:l****n顾名思义，子网路由是子网级别的。如果子网关联了子网路由，那么会优先查子网路由表中的路由。通过使用子网路由，用户的虚拟私有网络将具备一些高/级的功能，比如在VPC中部署集中式防火墙等。本文介绍的子网路由功能是基于三层流量卸载方案、通过OpenFlow流表方式来实现的。在介绍子网路由之前，先了解一下东西向三层流量卸载方案。如图1所示，vm1、vm2和vm3分别属于三个不同网段的子网，同属于一个VPC，即三层可通。在卸载之前，同VPC三层流量均需要通过租户网关TGW拉通，导致TGW的流量压力较大，无法满足大客户对于同VPC三层互访流量的需求。图1 基本组网图卸载前同主机跨网段和跨主机跨网段互访流量路径分别如下图2和图...阅读全文
本文分享自天翼云开发者社区《nvme磁盘故障注入方法》，作者：曹****飞在存储系统中，磁盘的故障是很可能出现的问题。存储软件的设计需要对故障进行处理，提高系统的健壮性。然而磁盘的故障是不可控的，当我们想测试软件故障处理的分支时，不是很方便。用软件模拟的方法能覆盖的场景比较少，而且和实际故障的差距会比较大。因此，如果能让故障下沉到磁盘，尽可能的靠近磁盘，才能构造出尽可能真实的故障场景。本文针对nvme磁盘，在磁盘驱动这一层调研了几种可以注入磁盘故障的方法。1. write uncorrectable通过向nvme控制器发送write uncor命令，标记指定的LBA范围为invalid，当读到这个LBA范围时，ctrl会返回Unrecovered Read Error错误。可以用于模拟读的m...阅读全文
本文分享自天翼云开发者社区《ISA-L库调研》，作者:何****尔1.Intel SIMD指令集SIMD(single instruction multiple data)单指令多数据流，能够复制多个操作数，并把它们打包在大型寄存器的一组指令集。以同步方式，在同一时间内执行同一条指令。以加法指令为例，单指令单数据（SISD）的CPU对加法指令译码后，执行部件先访问内存，取得第一个操作数；之后再一次访问内存，取得第二个操作数；随后才能进行求和运算。而在SIMD型的CPU中，指令译码后几个执行部件同时访问内存，一次性获得所有操作数进行运算。这个特点使SIMD特别适合于多媒体应用等数据密集型运算。目前主流的支持SIMD相关指令的寄存器有128bit（XMM 指令)、256bit(YMM 指令)这两...阅读全文
本文分享自天翼云开发者社区《redis渐进式rehash》，作者:l****nRedis是k-v型数据库，其内部设计了一种dict类型的数据结构用来存储键值结构。dict 通常的存储结构是 Key-Value 形式的，通过 Hash 函数对 key 求 Hash 值来确定 Value 的位置，因此也叫 Hash 表，是一种用来解决算法中查找问题的数据结构，默认的算法复杂度接近 O(1)。使用哈希表总是会遇到哈希碰撞问题，dict使用拉链法将发生碰撞的元素组成链表，挂在发生碰撞的桶下，但是随着存储元素的不断增加，碰撞发生的几率也不断增大，一个桶下链接的链表长度越来越长，定位一个key的时间复杂度就无法保证了，redis作为内存数据库，本身追求的是更高的处理性能，线性增加的耗时无疑是不能接受的，...阅读全文
一、REDIS_INCODING_HT (dict字典，hashtable） dict是一个用于维护key和value映射关系的数据结构。redis的一个database中所有的key到value的映射，就是使用一个dict来维护的。不过，他在redis被使用的地方还很多，比如，一个redis hash结构，当它的field较多的时候，便会采用dict来存储。再比如，redis配合使用dict和skiplist来共同维护一个zset。 在redis中，dict也是一个基于哈希表的算法。和传统的哈希算法类似，它采用某个哈希函数从key计算得到哈希表中的位置，用拉链发解决冲突，并在元素数量超过装载因子的时候rehash。redis的hash表最显著的一个特点，就在于它哈希表的重哈希，采用了一种增...阅读全文
得物App是全球领先的集正品潮流电商和潮流生活社区于一体的新一代潮流网购社区。 得物App在传统电商模式的基础上增加鉴别真假与查验瑕疵的服务，以强中心化平台定位深入管理把控全程：严格的商品上架标准、更公平的竞价交易机制、统一履约交付和尽心高效的客服沟通等流程体验。同时作为年轻人的潮流生活社区，得物App社区通过持续沉淀潮流话题内容，正在成为年轻用户的潮流风向标和发声阵地。 得物App聚集了一大批热爱球鞋、潮品穿搭和潮流文化的爱好者，话题讨论集中在球鞋、潮牌、手办、街头文化、汽车腕表和时尚艺术等年轻人关注的热点话题。得物App正在成为中国潮流文化发展的土壤...阅读全文
本文分享自天翼云开发者社区《IPv6的优势分析》，作者：没烦恼IPv6的优势分析1.更大的地址空间IPv6中IP地址的长度为128位，其地址容量则达到了2^128个，远远大于IPv4地址容量，足以满足日益增长的互联网用户以及未来物联网地址的分配需求。2.报文结构更精简IPv4的报文长度不固定，且有一个变化无常的 option 字段来实现一些特定功能，因此整体结构比较复杂。而IPv6的报文长度则是固定的，且将 option 字段、分片的字段的功能转移到IPv6扩展报头中，这就极大精简了 IPv6 的报文结构，更多的功能通过添加不同的扩展报头来实现。3.内容获取速度更快IPv6的地址分配遵循“聚类”原则，可使路由器在路由表中用一条记录来表明一片子网，这样大大减小了路由器中路由表的长度，路由器转发...阅读全文
本文分享自天翼云开发者社区《ping命令使用及其常用参数》，作者：刘****帅PING (Packet Internet Groper)，因特网包探索器，用于测试网络连接量检查网络是否连通，可以很好地帮助我们分析和判定网络故障。Ping发送一个ICMP(Internet Control Messages Protocol）即因特网信报控制协议；回声请求消息给目的地并报告是否收到所希望的ICMP echo（ICMP回声应答）。它是用来检查网络是否通畅或者网络连接速度的命令。它所利用的原理是这样的：利用网络上机器IP地址的唯一性，给目标IP地址发送一个数据包，再要求对方返回一个同样大小的数据包来确定两台网络机器是否连接相通，时延是多少。ping命令参数（windows）-t ping 指定的主机...阅读全文
本文分享自天翼云开发者社区《初识VPC网络的能力》，作者：布小匠VPC网络的来源在云计算早期是没有VPC的概念的，有的是虚拟网络和虚拟路由器的功能。虚拟网络的作用是为用户提供一个虚拟的网络环境，但是这个虚拟的网络环境是独立且隔离的三层网络，就好比一座孤岛，虽然美丽但是无法与外界通信终究是遗憾的。这个时候就轮到了虚拟路由器出场，虚拟路由器正好可以提供路由的功能，可以将虚拟网络之间通过路由的形式进行连通、配置和管理等。但是在当下不断优化的用户体验下，两个独立的产品无异于增加了用户操作上的诸多繁杂的点击操作，于是VPC顺应而出，对虚拟网络和虚拟路由器的功能进行了整合，成为了当下虚拟网络和虚拟路由器的集成实现产物。VPC网络的功能VPC网络的主要功能依旧是为用户提供一个逻辑隔离的区域，构建一个安全可...阅读全文
