Redis 数据结构的底层实现 (二) dict skiplist intset - 茶饭不撕

一、REDIS_INCODING_HT (dict字典,hashtable)  dict是一个用于维护key和value映射关系的数据结构。redis的一个database中所有的key到value的映射,就是使用一个dict来维护的。不过,他在redis被使用的地方还很多,比如,一个redis hash结构,当它的field较多的时候,便会采用dict来存储。再比如,redis配合使用dict和skiplist来共同维护一个zset。 在redis中,dict也是一个基于哈希表的算法。和传统的...阅读全文

博客园 2019-04-16 09:46 博客园

智算引领,数耀鹭岛!天翼云与厦门电信共筑智算时代新底座!

在数字化浪潮的推动下,算力已成为推动社会进步的重要力量。近日,由厦门市数据管理局指导,天翼云科技有限公司、中国电信有限公司厦门分公司(以下简称“厦门电信”)主办的“智算引领 数耀鹭岛”——厦门智算中心(电信中心)发布会暨算力补贴政策宣贯会在福建厦门成功举办。本次会议聚焦于算力、AI、云等前沿技术,旨在构建数字生态新合力,为厦门乃至全国的数字经济发展注入新动力。​降低算力使用成本及门槛赋能数字经济发展厦门市数据管理局局长张朱及表示,培育和发展人工智能产业是厦门市首选优势赛道,随着大模型等人工智能产...阅读全文

java技术圈 2024-08-01 17:51:17 Tianyiyun

行业标准引领者!天翼云助推智算领域规范化发展!

7月24日,2024可信云大会召开期间,智算云服务论坛上,天翼云荣获中国信通院颁发的“智算工程平台能力要求标准参编证书”,代表了业界对天翼云在推动行业标准制定中所作贡献及成果的重要肯定,以及对天翼云技术创新水平的高度认可。会上,天翼云科技有限公司智算产品线资深技术专家瞿龙发表演讲,介绍了天翼云智算平台加速大模型应用方面的技术亮点与成功案例。​智算服务领域标准参编单位颁证仪式随着人工智能技术的快速发展,智算成为推动科技进步和产业发展的重要力量。为了促进智算技术的标准化、规范化发展,提升我国在全球智...阅读全文

java技术圈 2024-08-01 17:49:54 Tianyiyun

独“数”一帜 双证加冕!TeleDB亮相可信数据库发展大会

近日,2024可信数据库发展大会在北京召开,主题为“自主、创新、引领”。大会重磅发布多项中国信通院及中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)在数据库领域最新研究和实践成果。一众数据库领域的专家、学者、创业者汇聚一堂,围绕金融、电信、能源与政务领域的数据库应用创新带来切实的落地经验,分享AI+DB、搜索与分析型数据库、多模数据库、数据库生态、数据库国际化等前沿技术趋势。天翼云数据库产品线首席技术官李跃森在大会发表《天翼云在数据库领域的创新探索和深入实践》演讲,分享了天翼云...阅读全文

java技术圈 2024-08-01 17:48:34 Tianyiyun

荣誉再加码!2024可信云大会,天翼云载誉而归!

7月23日,由中国通信标准化协会主办,中国信息通信研究院(以下简称“中国信通院”)承办的2024可信云大会在北京成功召开。大会主论坛上,中国信通院携手天翼云共同发布《央国企云上数智实践指南(2024)》,天翼云科技有限公司助理总经理宫梅霞出席发布仪式;同时,天翼云还参加了《云网融合下智能算力网络应用发展白皮书——基于DPU的SRv6应用实践》《低空经济云发展研究报告》《大模型智算服务研究报告》等多个重磅仪式,通过多项可信云评估并斩获多项“最佳实践”奖。天翼云科技有限公司行业事业部总经理王晓东发表...阅读全文

java技术圈 2024-08-01 17:46:17 Tianyiyun

kernel-bypass

Kernel-bypass,即绕过内核的意思,是一种计算机科学中的技术方法,用于减少操作系统内核在数据处理路径中的参与,从而降低系统调用的开销,提高数据传输和处理的效率。在高吞吐量、低延迟的应用场景中,如高性能网络通信、大数据处理、金融交易系统等,kernel-bypass技术尤为重要。传统的数据传输流程需要经过用户空间(User Space)到内核空间(Kernel Space)的上下文切换,这个过程会引入额外的延迟。Kernel-bypass技术允许应用程序直接访问硬件资源(如网卡、存储设备...阅读全文

java技术圈 2024-07-31 15:07:08 zhidiantech

ceph数据重构原理

本文分享自天翼云开发者社区《ceph数据重构原理》,作者:x****n在分布式存储系统Ceph中,硬盘故障是一种常见问题。为了保证数据安全,当发生硬盘故障后,分布式存储系统会依据算法对故障硬盘上的数据进行数据重构及转储。和一般分布式系统一样的是,Ceph同样使用多副本机制来保证数据的高可靠性(注:EC在实现层面可以理解为副本机制的一种),给定一份数据,Ceph在后台自动存储多份副本(一般使用3个副本),从而使得在硬盘损毁、服务器故障、机柜停电等故障情况下,不会出现数据丢失,甚至数据仍能保持在线。...阅读全文

java技术圈 2024-07-31 11:32:53 Tianyiyun

CBR云备份与恢复管控简介

本文分享自天翼云开发者社区《CBR云备份与恢复管控简介》,作者:c****n1.CBR云备份与恢复介绍CBR (Cloud Backup & Restore)是一般云厂商提供的备份与恢复服务。用户可以在云端对数据进行备份和恢复,保证数据的安全性和可靠性。使用CBR,用户可以方便地随时随地备份和恢复数据。采用增量备份、快照备份、跨区域复制等先进的备份和恢复技术,提供快速、高效、可靠的数据保护。此外,CBR还提供了基于agent的备份、快照备份、VSS备份等多种备份方式,以适应不同类型的数据和应用。...阅读全文

java技术圈 2024-07-31 11:31:52 Tianyiyun

Git的一些基本用法

本文分享自天翼云开发者社区《Git的一些基本用法》,作者:l****n基本操作git branch 查看当前分支git branch -a 查看所有分支git pull 更新当前分支git checkout XXX 切换到某分支git checkout . 放弃所有更改git log --pretty=oneline 查看当前分支的commit id(或者git rev-parse HEAD)待确认,下回实验一下,可能是查看head版本号git branch -d 分支名 删除分支当对本地分支进...阅读全文

java技术圈 2024-07-31 11:27:49 Tianyiyun

分布式系统心跳机制(一)

本文分享自天翼云开发者社区《分布式系统心跳机制(一)》,作者:白杨分布式系统架构当前大部分分布式系统架构如下图:​有一个中心节点来存储集群元数据和管理work儿节点,中心节点采用主备模式来实现HA。当中心节点主故障后,备节点接管业务成为主节点。我们下面讨论的心跳机制就是基于这种分布式架构而设计的。心跳设计目标:1.master控制节点的切换,不可以影响server的心跳。2.server可以感知到master的每一次切换。3.master在任意场景下都不会丢失server故障的事件。4.心跳可以...阅读全文

java技术圈 2024-07-31 11:25:40 Tianyiyun

促进云边协同发展,我们一直在努力!

7月18日,由中国通信标准化协会主办的第四届“云边协同”大会暨首届分布式算力论坛在北京召开,大会聚焦云边端分布式算力领域技术新突破、应用新场景、发展新价值,搭建政产学研用交流对接平台,深化产业链协同开放合作。在“人工智能+”发展背景下,云边端分布式算力实现“中心集约化训练、边缘分布式推理”新模式,推动AI泛在普惠发展。大会发布2024年边缘计算和分布式云算力最新评估结果,天翼云全栈混合云&云骁一体化加速平台成为首批通过分布式云算力评估测试的产品,体现了天翼云在分布式云智能计算方向的技术与实践优势...阅读全文

java技术圈 2024-07-31 11:22:40 Tianyiyun

“分离”“聚合”两手抓,天翼云聚合计算赋能多元化应用场景!

随着大数据、人工智能和高性能计算的迅猛发展,在大数据分析、基因测序、芯片设计、数据库和AI训练等“大计算”应用场景中,计算资源需求呈现爆发式增长态势,而传统的计算架构在资源利用率、扩展性、IO性能等方面存在诸多挑战。为了应对这些挑战,天翼云提出全新的云计算基础设施产品理念——聚合计算,旨在突破物理限制,资源池化分离,聚合异构算力。天翼云聚合计算是由天翼云自主研发的下一代云计算算力基础设施,面向数据库、芯片设计、大数据、AI训练等场景,提供超聚合主机、超大内存主机、内存即服务、池化计算加速四种产品...阅读全文

java技术圈 2024-07-31 11:21:13 Tianyiyun

最佳产品奖,TeleDB拿下!

近日,第十三届PostgreSQL技术大会在杭州举行。本次大会以“聚焦云端创新,汇聚智慧共享”为主题,行业大咖、学术精英、技术专家和技术爱好者齐聚一堂,共同探讨数据库领域的发展趋势、技术创新和实践经验。中国电信天翼云受邀参会并斩获数据库最佳产品奖。​​天翼云数据库产品线首席技术官李跃森在大会主论坛发表《天翼云下一代分布式数据库的探索和实践》演讲,分享了天翼云TeleDB分布式数据库的发展历程、对下一代分布式数据库的技术探索以及当前数据库产品的落地实践与应用效果,并对数据库产品的未来发展做出展望。...阅读全文

java技术圈 2024-07-31 11:20:15 Tianyiyun

“夺金”2024中国互联网大会!天翼云斩获三项大奖!

近日,由中国互联网协会主办的2024(第二十三届)中国互联网大会在北京举行。天翼云凭借“慧泽”大模型项目荣获首届“金灵光杯”中国互联网创新大赛金灵光大奖以及人工智能专题赛一等奖,天翼云电脑荣获信息技术应用创新专题赛优秀奖。天翼云科技有限公司副总经理、首席网络安全官广小明出席中小企业数据安全工具箱上线仪式,天翼云科技有限公司资深安全专家闫斐围绕“构筑原生安全基础设施,赋能企业数字转型发展”进行分享。以科技创新为引领匠心打造数智化产品服务大会开幕式上,中国工程院院士、中国互联网协会专家咨询委员会主任...阅读全文

java技术圈 2024-07-31 11:17:06 Tianyiyun

update 没加索引会锁全表?

# update 没加索引会锁全表? 大家好,我是小林。 昨晚在群划水的时候,看到有位读者说了这么一件事。 大概就是,在线上执行一条 update 语句修改数据库数据的时候,where 条件没有带上索引,导致业务直接崩了,被老板教训了一波 这次我们就来看看: 为什么会发生这种的事故? 又该如何避免这种事故的发生? 说个前提,接下来说的案例都是基于 InnoDB 存储引擎,且事务的隔离级别是可重复读。 # 为什么会发生这种的事故? InnoDB 存储引擎的默认事务隔离级别是「可重复读」,但是在这个...阅读全文

小林coding 2024-07-30 10:36 小林coding

Ceph PG状态介绍

本文分享自天翼云开发者社区《Ceph PG状态介绍》,作者:wwwdl一、基本概念size:副本数(如三副本,size=3);min_size:支持可读写的最小副本数(如三副本,min_size=2);upset:pg的目标osd列表;actset:pg可接受读写osd列表。如下为osd异常,重新选择osd,pg的osd列表变化过程:​二、pg各个状态(1)creating:创建pool时,自动创建pg,此时会出现该状态;(2)active:pg活跃态,表示pg可以接受读写业务,当pg状态不是a...阅读全文

java技术圈 2024-07-19 15:59:04 Tianyiyun

云容灾关键技术点简介

本文分享自天翼云开发者社区《云容灾关键技术点简介》,作者:武****昱容灾与备份区别备份是为防止系统出现操作失误或系统故障导致数据丢失,而将全系统或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质的过程。备份是数据高可用的最后一道防线。容灾是当灾难发生时,在保证生产系统的数据尽量少丢失的情况下,保持生产系统的业务不间断地运行。容灾必须通过系统冗余、灾难检测和系统迁移等技术来实现。备份的目的在于应付系统数据中的逻辑错误和历史数据保存,从而实现恢复过去某个时间点的数据。容灾的目的在于保证系统数据...阅读全文

java技术圈 2024-07-19 15:57:39 Tianyiyun

ISA-L库调研

本文分享自天翼云开发者社区《ISA-L库调研》,作者:何****尔1.Intel SIMD指令集SIMD(single instruction multiple data)单指令多数据流,能够复制多个操作数,并把它们打包在大型寄存器的一组指令集。以同步方式,在同一时间内执行同一条指令。以加法指令为例,单指令单数据(SISD)的CPU对加法指令译码后,执行部件先访问内存,取得第一个操作数;之后再一次访问内存,取得第二个操作数;随后才能进行求和运算。而在SIMD型的CPU中,指令译码后几个执行部件同...阅读全文

java技术圈 2024-07-19 15:56:33 Tianyiyun

快照技术对比学习

本文分享自天翼云开发者社区《快照技术对比学习》,作者:z****n1.快照的分类根据 SNIA 的定义, 快照有全量快照 (full snapshot) 和增量快照 (incremental snapshot) 两种类型。2.全量快照克隆(Clone):与备份操作类似,克隆技术是一种数据复制和恢复的方法,用于创建源数据的完全副本。将源数据的所有信息和状态以二进制形式进行备份,并在需要时将其恢复到相同或另一个系统中。克隆对象可以是存储卷、文件系统或者LUN,优势在于它提供了完全一致和独立的复制,不...阅读全文

java技术圈 2024-07-19 15:55:41 Tianyiyun

加快构建全国一体化算力网,我们这样做!

7月10日至11日,2024算力互联网大会(重庆)明月湖·π全球创新大会在重庆举办。大会以“算力互联普惠化 赋能新质生产力”为主题,围绕算力互联互通、算力互联网发展与实践,聚焦全球科技创新热点话题,探讨科技创新未来发展趋势及全国一体化算力体系建设。会上,中国信息通信研究院发布算力互联公共服务平台,联合中国电信等产业代表开展算力互联网共识共创行动,共同推动算力互联新进程。算力作为数字经济时代新引擎,正以蓬勃的动力,全面推动经济发展;而算力互联互通标准建立,则是确保新引擎高效、稳定运转的基石,对于推...阅读全文

java技术圈 2024-07-18 16:41:03 Tianyiyun