近日，由中国互联网协会主办的2024（第二十三届）中国互联网大会在北京举行。天翼云凭借“慧泽”大模型项目荣获首届“金灵光杯”中国互联网创新大赛金灵光大奖以及人工智能专题赛一等奖，天翼云电脑荣获信息技术应用创新专题赛优秀奖。天翼云科技有限公司副总经理、首席网络安全官广小明出席中小企业数据安全工具箱上线仪式，天翼云科技有限公司资深安全专家闫斐围绕“构筑原生安全基础设施，赋能企业数字转型发展”进行分享。以科技创新为引领匠心打造数智化产品服务大会开幕式上，中国工程院院士、中国互联网协会专家咨询委员会主任邬贺铨院士为获奖单位颁发了“金灵光”奖杯和获奖证书。“慧泽”是天翼云推出的政务行业大模型，此次获奖的天翼云“慧泽”大模型项目是基于政府惠民和政务管理的实际需求，在开源基模的基础上，通过持续预训练和有监...阅读全文
今天打算写一下 Javaagent，一开始我对它的概念也比较陌生，后来在别人口中听到 字节码插桩，bTrace，Arthas后面才逐渐了解到Java还提供了这么个工具。 JVM启动前静态Instrument Javaagent 是什么？ Javaagent是java命令的一个参数。参数 javaagent 可以用于指定一个 jar 包，并且对该 java 包有2个要求： 这个 jar 包的 MANIFEST.MF 文件必须指定 Premain-Class 项。 Premain-Class 指定的那个类必须实现 premain() 方法。 premain 方法，从字面上理解，就是运行在 main 函数之前的的类。当Java 虚拟机启动时，在执行 main 函数之前，JVM 会先运行-javaa...阅读全文
引言 在实际业务开发中，随着业务的变化，数据的复杂性和多样性不断增加。传统的关系型数据库模型在这种情况下会显得受限，因为它们需要预先定义严格的数据模式，并且通常只能存储具有相同结构的数据。而面对非结构化或半结构化数据的存储和处理需求，选择使用非关系型数据库或者创建子表存储这些变化的结构可能会变得复杂。在这种情况下，我们可以利用MySQL的JSON字段类型来解决这个问题。JSON字段提供了灵活的数据存储方式，能够轻松应对数据结构的变化和动态性，从而更好地满足业务需求。 MySQL5.7.8版本引入了JSON数据类型，允许在数据库表中存储和操作符合JSON格式的数据。这种原生支持JSON（JavaScript对象表示法）的数据类型遵循RFC 7159标准，提供了有效存储复杂、半结构化数据的方式。...阅读全文
近日，2024可信数据库发展大会在北京召开，主题为“自主、创新、引领”。大会重磅发布多项中国信通院及中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）在数据库领域最新研究和实践成果。一众数据库领域的专家、学者、创业者汇聚一堂，围绕金融、电信、能源与政务领域的数据库应用创新带来切实的落地经验，分享AI+DB、搜索与分析型数据库、多模数据库、数据库生态、数据库国际化等前沿技术趋势。天翼云数据库产品线首席技术官李跃森在大会发表《天翼云在数据库领域的创新探索和深入实践》演讲，分享了天翼云数据库的发展历程、产品布局、核心优势及生态建设相关情况 。他表示，围绕多云时代、多样化的数据库需求，天翼云TeleDB数据库致力于为企业数据库全栈上云提供一站式服务，帮助用户高效上云、用云，并为客户提...阅读全文
近年来，随着各行业数智转型逐步深入以及人工智能大模型的蓬勃发展，气象分析、大模型训练、自动驾驶、石油勘探、EDA仿真、基因分析等高性能计算（HPC）场景和智算场景（AI）不仅对算力需求激增，也产生了图片、视频等大规模非结构性数据，企业在实践中面临着数据量大、存储性能不足等问题，导致训练阻塞、算力利用率低甚至训练中断现象频繁发生。在此背景下，企业需要不断创新和优化存储系统技术架构，以便实现更加高效、可靠和灵活的存储解决方案。作为云服务国家队，天翼云坚持科技创新，不断加快推进数据存储基础设施建设，创新推出并行文件服务HPFS（CT-HPFS，High Performance File Storage），助力企业构建高性能存储底座。天翼云HPFS支持全NVMe闪存和InfiniBand高速网络，并...阅读全文
本文分享自天翼云开发者社区《Redis缓存异常及解决方案》，作者：l****n本文向读者解释了Redis使用过程中，数据不一致、缓存雪崩、缓存击穿和缓存穿透等问题的定义，并给出对应的解决方案。1、数据不一致 一致指的是：缓存中有数据，那么，缓存的数据值需要和数据库中的值相同；缓存中本身没有数据，那么，数据库中的值必须是最新值。不一致如何发生：对于读写缓存来说，写缓存时同步写数据库，需要使用事务保证缓存和数据库的更新具有原子性。弱一致性情况下，可以使用异步写回。对于只读缓存，删改数据需要既更新数据库，又删除缓存。如果不使用事务，就会出现数据不一致。比如先更新数据库，再删除缓存。更新成功，删除缓存失败，则缓存中为旧值。如果先删除缓存再更新数据库，则缓存删除成功，数据库更新失败，再访问数据库，数据...阅读全文
近日，天翼云联合权威科技媒体InfoQ举办了以“新存储，更轻量”为主题的线上技术分享会。天翼云存储产品线总监武志民讲解了HBlock的创新设计和技术。高性能·高可用·高可靠自研创新解决存储技术难题天翼云自主研发的业内首款存储资源盘活系统HBlock能够与底层基础设施完全解耦，同服务器上现网业务并存，将x86、ARM、龙芯等异构通用服务器中的存储资源统一管理，通过标准的iSCSI协议提供分布式块存储服务。在性能方面，HBlock单卷IOPS可达15万次、读写延迟小于200微秒，这要归功于自研的分布式多控架构和智能调度算法，以及多模式写缓存与读缓存的设计。写缓存方面，HBlock具有三种模式，可以根据不同场景的读写需求动态调整。读缓存方面，HBlock采用按需更新、分段加锁、高效淘汰算法和智能预...阅读全文
之前文章提到过Kafka的broker端有ISR机制，它可以看成多个副本的集合，里面有leader副本和多个follower副本，数量是我们可以配置的，只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置，例如ack的配置、生产者重试、isr最小数量，消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式，即将一个分区下的数据保存到多个副本中，起到备份数据的作用。这样如果leader挂了，会重新选举follower作为leader继续工作，那么Kafka中leader副本是如何将数据同步到follower副本中的呢？今天想通过这篇文章总结记录下。 1.副本中的高水位（High Watermark） 什么...阅读全文
本文分享自天翼云开发者社区《小谈容灾备份》，作者：胡****静一.容灾分类从其对系统的保护程度来分,可以将容灾系统分为：数据容灾和应用容灾 1.数据容灾数据容灾，指建立一个异地的数据系统，该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。采用的主要技术是数据备份和数据复制技术。数据容灾技术，又称为异地数据复制技术，按照其实现的技术方式来说，主要可以分为同步传输方式和异步传输方式(各厂商在技术用语上可能有所不同)，另外，也有如“半同步”这样的方式。半同步传输方式基本与同步传输方式相同，只是在Read占I/O比重比较大时，相对同步传输方式，可...阅读全文
饿了么轻量级分布式时序数据库的设计与探索 2018-07-19 10:14 作者介绍 黄杰，2015年加入饿了么，现任框架工具部高级开发经理，主要负责饿了么的监控系统及监控系统周边的工具。 一、背景 饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用的是graphite，后来慢慢对指标有了多维的需求，主要体现在对一个指标加多个Tag来组成Series，然后对Tag进行Filter和Group进行计算，这时graphite基本很难满足需求。 业界现在用的比较多的主要有如下几类TSDB： InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用的InfluxDB。其优点在于支持多维和多字段，存储也根据TSDB的特点做了优化，不过开源的部分并不支持。很多公司自己做集...阅读全文
本文分享自天翼云开发者社区《CRISP-DM的应用与理解》，作者：吴****嫄CRISP-DM是一个数据挖掘项目规划的开放标准流程框架模型，主要分为业务理解、数据理解、数据准备、建模、评估、部署六个阶段。业务理解从业务的角度理解项目的目标和需求，将业务的目的转换为一个数据挖掘的问题，制定一个初步的实现计划计划。商业理解是明确要达到的业务目标，并将其转化为数据挖掘主题。要从商业角度对业务部门的需求进行理解，并把业务需求的理解转化为数据挖掘的定义，拟定达成业务目标的初步方案。具包括商业背景分析、商业成功标准的确定、形势评估、获得企业资源清单、获得企业的要求和想、评估成本和收益、评估风险和意外、初步理解行业术语，并确定数据挖掘的目标和制定数挖掘计划。在整个CRISP-DM的过程当中，围绕数据为核心...阅读全文
【20章全】AI最火Agent实战(打造你代理) 一、Agent的基本概念 Agent是指能够感知环境并采取行动以影响该环境的实体。在人工智能领域，Agent通常指具有一定智能行为的软件实体，它们可以自主地执行任务，并与外部环境或其他Agent交互。随着大模型的发展，Agent能够利用这些模型的强大能力来完成更为复杂的任务。 常用Agent介绍 自然语言询问数据库Agent 在数据库管理中，我们通过结构化查询语言（SQL）来完成所有操作。SQL是一种专门的语言，用于向计算机明确传达我们从数据库中提取信息或执行操作的需求。这意味着，我们不仅需要掌握这种技术，还要深入了解我们正在处理的数据。 但是现在我们可以通过Agent完成从"人为使用SQL告诉数据库我们想要什么”到“直接告诉数据库我们想要什...阅读全文
近日，第15届中国数据库技术大会（DTCC2024）在北京召开。大会以“自研创新 数智未来”为主题，重点围绕向量数据库与向量检索技术实践、数据治理与数据资产管理、云原生数据库开发与实践、特定场景下的数据库管理与优化、大数据平台建设等内容展开分享和探讨。天翼云数据库产品线首席技术官李跃森、天翼云资深研发专家胡彬参会，分享了天翼云在数据库领域的产品布局、技术创新与实践应用。数据库是存储、管理和检索数据的有效工具，在企业运营管理中发挥着重要作用。作为云服务国家队，天翼云始终坚持科技创新，倾力打造TeleDB数据库，致力于为企业数据库全栈上云提供一站式服务，帮助用户高效上云、用云，并为客户提供多云数据管理和数据赋能。CCIA（中国计算机协会）常务理事 韩峰（左）天翼云数据库产品线首席技术官 李跃森...阅读全文
本文分享自天翼云开发者社区《云灾备：云时代的数据安全》，作者：l****n灾备（DR），在信息化的IT系统中，指的是容灾与备份结合，利用IT技术对企业数据、业务高可用进行保护，确保系统遭受灾难时数据安全、业务快速恢复。其作为“网络安全的最后一公里”，是网络安全保障体系的重要组成部分，也是网络与系统基础设施持续有效运行的基本保障。对于各行各业而言，数据是最核心、最重要的财富。但是火灾、地震、黑客攻击、人为失误等时刻威胁数据和信息系统的稳定运行。一、容灾的分类从其对系统的保护程度来分，可以将容灾系统分为：数据容灾和应用容灾，数据容灾就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。应用容灾是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备...阅读全文
我使用的安装文件是 flink-1.9.3-bin-scala_2.12.tgz ，以下内容均以此版本进行说明。 说明 搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Flink Standalone 集群，其中三台主机Flink01、Flink02、Flink03 均为 worker 节点，Flink01 为 master 节点。 1. 配置免密登录【每台服务器】 Flink 组件之间需要基于 SSH 进行通讯。 1.1 配置映射 配置 ip 地址和主机名映射：==很关键==通过ifconfig查询本机的ip地址，这个地方没有配置正确的话节点会有问题。 vim /etc/hosts xxx.xx.x.x flink01 flink01 xxx.xx...阅读全文
DataLeap 字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点，也叫Event Tracking，是数据和业务之间的桥梁，是数据分析、推荐、运营的基石. 用户在使用App、小程序、Web等各种线上应用时产生的行为，主要通过埋点的形式进行采集上报，按不同的来源分为客户端埋点、Web端埋点、服务端埋点。 不同来源的埋点都通过数据流的日志采集服务接收到MQ，然后经过一系列的Flink实时ETL对埋点进行数据标准化、数据清洗、实时风控反作弊等处理，最终分发到下游，主要的下游包括ABTest、推荐、行为分析系统、实时数仓、离线数仓。 所以，如果用一句话来概括数据流主要业务，其实就是埋点的收集、清洗、分发。 目前在字节跳动，清洗和分发环节是基于Flink搭建的。 01 - 数据流业务规模 ...阅读全文
近日，由中国通信标准化协会主办、中国信息通信研究院承办、中国通信企业协会支持的“2024数字化转型发展大会”在北京召开。大会现场为第三届“鼎新杯”数字化转型应用优秀案例获奖单位颁发证书，天翼云荣获多个奖项，其中，《天翼云全流程数字化转型支撑量质并重规模发展》等案例获评“业务融合创新”赛道一等奖，技术实力与创新能力再次得到权威认可；同时，大会发布可信Bench测试天梯图，天翼全栈混合云成功入选。天翼云科技有限公司智算产品线资深技术专家瞿龙在企业级人工智能应用专题论坛发表演讲，分享了天翼云“息壤”一体化智算服务平台如何破解大模型应用的技术挑战、加速大模型开发与应用。坚持科技创新，国云实力屡获认证“鼎新杯”旨在打造一批具有产业引领与推广应用效应的数字化转型示范案例，为各行业企业搭建共享交流平台。...阅读全文
Llama3大模型原理代码精讲与部署微调评估实战 Llama 3 大模型 使用的是 标准的 仅解码 Decoder-Only 式的 Transformer 架构 ; 与之相对的 ChatGPT 使用的是 GPT ( Generative Pre-trained Transformer ) 架构 , 包含了编码器 ( Encoder ) 和 解码器 ( Decoder ) 的特性 ; Llama 3已经在多种行业基准测试上展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型。 在架构层面，Llama3选择了标准的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K ...阅读全文
React面试宝典 React 是靠数据驱动视图改变的一种框架，它的核心驱动方法就是用其提供的 setState 方法设置 state 中的数据从而驱动存放在内存中的虚拟 DOM 树的更新。 更新方法就是通过 React 的 Diff 算法比较旧虚拟 DOM 树和新虚拟 DOM 树之间的 Change ，然后批处理这些改变。 React 性能优化的手段 React 中进行性能优化的手段可以从多个维度进行分类，以下是一些关键类别及其对应的优化策略： 1. 组件优化 使用PureComponent或React.memo：对于仅根据props和state改变才重新渲染的组件，使用React.PureComponent或者对其包装一层React.memo，它们都能通过浅比较props来避免不必要的重...阅读全文
近日，由天翼云数据库团队、中国电信云计算研究院和深圳北理莫斯科大学合作完成的《Taste: Towards Practical Deep Learning-based Approaches for Semantic Type Detection in the Cloud》（构建云上基于深度学习的大规模语义类型识别系统）论文被28th International Conference on Extending Database Technology（EDBT）长文收录。EDBT是数据库领域的知名国际会议，也是中国计算机学会CCF推荐的重点学术会议，已连续举办27届。此次天翼云数据库产品线所著论文被EDBT收录，代表着天翼云的科技创新能力再次获得数据库工业界和学术界的权威认可。该论文专注于数据...阅读全文
本文分享自天翼云开发者社区《提升前端开发效率的五种实用技术》，作者：大耳朵涂涂一、组件化开发：提高代码复用性和维护性组件化开发是一种将页面拆分成独立的可重用组件的开发方式。通过组件化开发，我们能够将复杂的界面逻辑拆分成独立的模块，提高代码的复用性和维护性。常用的组件化框架如React、Vue和Angular，它们提供了强大的组件化开发能力，使我们能够轻松构建复杂的用户界面，并提供了组件的生命周期管理和状态管理机制。二、自动化测试：保证代码质量和稳定性自动化测试是一种通过编写测试脚本自动执行测试用例的方式来验证代码的正确性和稳定性。使用自动化测试工具如Jest、Mocha和Selenium，我们能够编写测试用例并自动运行测试，及早发现潜在的问题和错误。自动化测试不仅能够保证代码的质量，还能够提...阅读全文
当今的许多相机，尤其是无反相机，都可以让您在机械快门和电子快门之间进行选择。有些相机还有第三种选择，称为“电子前帘快门”（EFCS），它是机械快门与电子快门的混合体。每种快门机制都有利有弊，如果您选错了快门方式，可能会影响到图像质量。什么是机械快门？机械快门是静态摄影默认的快门机制。许多旧一些的相机只允许您使用机械快门拍照。机械快门使用物理“快门帘幕”，一般由两个帘幕组成，像舞台“拉幕”一样左右或上下缝隙“划过”，以便于光线照射到传感器中。您可以在图像底部附近看到两个快门帘幕之间的间隙，如下图所示。什么是电子快门？电子快门如今越来越流行，电子快门通过逐行读取相机传感器的数据来工作。一些电影摄影机有一种叫做“全局快门”的东西，它可以同时读取整个传感器，而不是逐行读取，但是，至少目前，这项技术还...阅读全文
本文分享自天翼云开发者社区《容器、容器云和容器化PaaS平台之间到底是什么关系？》，作者：s****n一直都有很多人迷惑于容器应该属于 IaaS 或是 PaaS 层，也搞不清楚容器云到底是该归到哪里，该由哪个团队来建设、哪个团队来维护。K8s 是不是就等同于容器云？所以我们看到概念和定义的混乱，在实施容器云的时候也会有众多的分歧，无所适从。目前又有众多的公司推出容器化 PaaS 的概念，更搞不清楚谁是谁了。那么容器、容器云、容器化 PaaS 以及与 Docker 、 Kubernetes 之间是个什么样的关系？这是需要我们明确并理解的问题。容器是一种操作系统级虚拟化技术， Docker 是一种容器引擎。使用 Docker 来运行操作容器。但从容器自身来说，其提供的是 IaaS 层能力。Ku...阅读全文
11月6日，国际数据公司（IDC）最新发布的《中国专属云服务市场（2024上半年）跟踪》报告显示，2024上半年，专属云服务市场同比增长13.4%。中国电信天翼云以21.4%的市场份额持续领跑专属云服务市场。伴随数智化转型不断深入，产业发展对数字基础设施的要求也不断提高，越来越多企业意识到多类异构私有云难以满足自身集约化管理、能力迭代、便捷运营等需求，开始转向既具备公有云能力，又兼具私有云数据本地化优势的专属云。此外，生成式AI的快速发展正促使云服务商将更多高阶服务下沉到属地专属云资源池，并加速向智算专属云换代升级，以满足客户对高性能、高安全性的AI计算需求。作为云服务国家队，天翼云始终坚持科技创新，以自主可控的全栈云服务产品体系，为千行百业向数字化、智能化转型赋能。天翼专属...阅读全文
本文分享自天翼云开发者社区《弹性存储关键技术介绍》，作者：1****m关键技术：（1）一致性HASH算法，保证数据分片尽量均衡在不同的故障域上，提升存储数据的安全可靠性。以数据唯一标识符、当前存储集群的拓扑结构以及数据备份策略作为一致性HASH算法的输入，可以随时随地通过计算获取数据所在的底层存储设备并直接通信获取或者写入数据，从而避免查表操作，实现去中心化和高度并发，将数据均衡的存储到各个存储节点，实现数据存储的负载均衡去中心化以及哈希的数据随机分布，使得弹性存储底座在理论上具备无限的可扩展性一致性HASH 算法支持数据的多种备份策略，支持可配置副本数，支持存储节点故障域定义与划分，从而使整个系统具备了高可靠性和高可用性。（2）增加盘级缓存，提升引擎读写性能。为每个存储节点配置两块SSD盘...阅读全文
download : https://www.daxiacode.com/4346.html〖资源目录〗:├──{10}–第11周JMeter性能测试| ├──{1}–性能测试认知| | ├──{1}–第1章Bug引发的又一次思考| | ├──{2}–第2章性能测试认知| | └──{3}–第3章课程总结| └──{2}–JMeter测试工具篇| | ├──{0}–附件| | ├──{1}–第1章课程介绍| | ├──{2}–第2章JMeter介绍与安装| | ├──{3}–第3章JMeter模拟多用户同时发送请求| | ├──{4}–第4章JMeter脚本开发精要技巧| | └──{5}–第5章课程总结├──{11}–第12周JMeter性能测试项目实战| ├──{1}–Linux与MyS...阅读全文
### download：[从零到一整合业务数据，构建企业可复用的数据中台[完结](https://www.zxit666.com/6588/) 作者：折向东 链接：https://www.zhihu.com/question/587955685/answer/2924772952 来源：知乎 著作权归作者一切。商业转载请联络作者取得受权，非商业转载请注明出处。 在Spring Boot中整合RocketMQ，能够经过以下步骤完成： 添加RocketMQ的依赖 在pom.xml文件中添加RocketMQ的依赖： org.apache.rocketmq rocketmq-spring-boot-starter 2.2.0 配置RocketMQ 在application.properties文件...阅读全文
在linux中查看或监控磁盘的读写性能，可以用到iostat命令，本节介绍下其具体用法。 1，硬盘读写性能， #查看TPS和吞吐量信息 iostat -d -k 1 10 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 14.54 417.21 368.06 15719357562 13867444535 dm-0 104.60 415.64 366.87 15660312829 13822621684 dm-1 0.69 1.57 1.19 59041280 44822840 Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 0.00 0.00 0.00 0 0 dm-0 0.00...阅读全文
WeTest 导读 HTTP/1.X出色地满足互联网的普遍访问需求，但随着互联网的不断发展，其性能越来越成为瓶颈。IETF在2015年发布了HTTP/2标准, 着重于提高HTTP的访问体验, HTTP2优势主要包括: 二进制传输、头部压缩、多路复用和服务器推送(Server Push)。 截止目前, 大部分CDN厂商已经宣布支持HTTP/2，然而”支持”大多省略了服务器推送(ServerPush)特性。估计这和nginx开源版本没有支持Server Push相关。为提供完备的HTTP2能力，腾讯CDN现已完成HTTP/2的Server Push支持，并完成了详细的性能测试。 序言 在介绍Server Push功能之前，先来分析网站的加载过程。图1是腾讯课堂(https://ke.qq.com...阅读全文
