 离线计算作为大数据计算领域领军技能，在成本、稳定性、数据一致性等方面有着绝对优势。吃透Spark离线技术及相关生态，就掌握了大数据工程师的高薪密码。本文章将结合生产级项目，一栈式点亮：数据收集(DataX)、数据湖(Iceberg)、数据分析(Spark)、智能调度(DS)、数据服务(DBApi)、AI大模型(ChatG...阅读全文
 一、Spark3.0.0运行环境安装 Spark常见部署模式： Local模式：在本地部署单个Spark服务 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。 在IDEA中运行代码的环境称之为开发环境，和Local模式还是有区别的。 Stan...阅读全文
原文时间：2017-01-28 20:39:23原文作者：永动机原文出处：Linux使用ssh超时断开连接的真正原因一、挖坑这篇的起因主要是来自上一个问题「iTerm2中ssh保持连接不断开」。原本以为是个很常见的小问题，随手一搜，解决办法一大堆，试了试可行，就觉得没什么问题了。但，正因为觉得太简单了，在文末去查看了一下服务端配置，想找找问题起因，结果却发现开辟了一个深坑……查看的默认配置：$ echo $TMOUT $ # ... #TCPKeepAlive yes # ... #Client...阅读全文
Lockfile的作用1、确保每次install时生成稳定的依赖树，锁定依赖和依赖的依赖的版本。2、提升install的速度。yarn和npm都有一些诸如适配和提取公共依赖版本、扁平化依赖的优化策略，lockfile的存在可节省计算时间。package-lock.json和yarn.lockyarn.lock生成和更新策略如下：若yarn.lock不存在，安装依赖并生成yarn.lock。若yarn.lock存在且与package.json中的版本范围匹配，yarn.lock保持不变，yarn不...阅读全文
初步学习vue的时候学会两种创建vue项目的方法： 1.vue init webpack-simple 2.vue init webpack 一开始习惯使用vue init webpack-simple创建项目，发现vue init webpack-simple创建项目不会自动生成package-lock.json文件。（package-lock.json的功能：其实用一句话来概括很简单，就是锁定安装时的包的版本号，并且需要上传到git，以保证其他人在npm install时大家的依赖能保证一致...阅读全文
为什么慢 执行 yarn 各种命令的时候，默认是去 npm/yarn 官方镜像源获取需要安装的具体软件信息 以下命令查看当前使用的镜像源 yarn config get registry 默认源地址在国外，从国内访问的速度肯定比较慢 如何修改镜像源 阿里旗下维护着一个完整的 npm 镜像源 https://registry.npm.taobao.org/ 同样适用于 yarn 1. 临时修改 yarn save 软件名 --registry https://registry.npm.taobao...阅读全文
近日，AAAI 2024 Global Competition on Math Problem Solving and Reasoning大赛落下帷幕，天翼云智能边缘事业部AI团队凭借在大模型基础能力研究领域的数据处理与模型训练策略的领先优势，在众多参赛队伍中脱颖而出，荣获本次竞赛冠军。AAAI（Association for the Advancement of Artificial Intelligence）是人工智能领域的国际权威学术组织，其举办的会议和赛事聚集全球AI从业者，是展示最...阅读全文
假设目前在做的一个项目名为demoproject，目前版本为v1.0.0，标准开发都是在demoproject上进行的，但是有一个客户需要做定制化，需要将项目中的一些信息改为客户的，于是基于demoproject拉了一个v1.0.0-custom，然后将这个v1.0.0-custom交付给了客户。过了一段时间，客户又提了新的需求，经过评估，这个需求是要做到标准版本上的，于是基于v1.0.0拉取了一个v1.1.0版本。等开发完成后，需要出一个v1.1.0-custom版本的交给客户。这个要怎么实现...阅读全文
1 文本表达式 文本表达式支持字符串、 日期 、 数字（正数 、 实数及十六进制数） 、 布尔类型及 null。其中的字符表达式可使用单引号来表示，形如：'Deniro'。如果表达式中包含单引号或者双引号字符，那么可以使用转义字符 /。 ExpressionParser parser = new SpelExpressionParser(); //字符串解析 String str = (String) parser.parseExpression("'你好'").getValue(); Syst...阅读全文
本文分享自天翼云开发者社区《云数据库实现架构与设计的构想》，作者：不知不觉随着云计算技术的飞速发展，云数据库作为云计算的重要组成部分，其实现架构与设计日益受到开发工程师的关注。本文将从开发工程师的角度出发，探讨云数据库的实现架构，并提出云数据库设计的构想，以期为云数据库的发展提供参考。一、云数据库实现架构分布式架构：云数据库通常采用分布式架构，通过多个数据库节点协同工作，实现数据的水平扩展和高可用性。这种架构可以充分利用云计算资源，提高数据库的处理能力和容错性。虚拟化技术：云数据库利用虚拟化技术...阅读全文
本文分享自天翼云开发者社区《CDN与云计算技术的结合：专业视角下的深度融合》，作者：大利随着信息技术的不断发展，内容分发网络（CDN）与云计算技术作为两种重要的互联网基础设施，其结合已成为行业发展的重要趋势。CDN负责高效地分发和传输互联网内容，而云计算则提供强大的计算、存储和应用服务。当这两者结合时，能够为用户提供更加优质、高效的服务体验。本文将从专业的角度深入解析CDN与云计算技术的结合，探讨其优势、应用场景以及未来发展趋势。一、CDN与云计算技术结合的优势资源共享与池化：CDN与云计算的结...阅读全文
在数据驱动的时代，高效地存储和处理数据成为了开发者们的重要任务。Redis，作为一个开源的高性能键值对（key-value）数据库，以其独特的数据结构和丰富的功能，成为了众多项目的首选。 今天，我们就来揭开Redis的神秘面纱，看看它是如何通过不同的数据类型，为我们提供高效、灵活的数据存储和处理能力的。 ### 一、字符串（String）：数据的基石 #### String类型简介 字符串是Redis最基本的数据类型，它可以存储文本、数字或者二进制数据。 使用字符串类型，你...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github ...阅读全文
 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控...阅读全文
1.临时生效 # 查看默认设置的过期时间 show variables like "%expire_logs%"; # 设置保留15天 set global expire_logs_days=15 # 刷新日志 flush logs； #查看新生成的binlog日志 show master status\G: 注意：以上命令在数据库执行会立即生效，请确定设置数据的保留日期，以免误删 2.永久生效 # 修改配置文件 vim /et...阅读全文
Mysql设置binlog过期时间并自动删除 问题： Mysql数据库由于业务原因，数据量增长迅速，binlog日志会增加较多，占用大部分磁盘空间。 解决方案： 出于节约空间考虑，可进行删除多余binary日志，并设置定期删除操作。 1、查看binlog过期时间 mysql> show variables like 'expire_logs_days'; 或者 mysql> select @@global.expire_logs_days; +------------------+-------...阅读全文
在当今数据驱动的世界中，快速存取信息成为了技术发展的关键。而在众多存储解决方案中，Redis以其独特的魅力和强大的功能，成为了开发者们的宠儿。今天，就让我们一起来认识一下Redis。 ### 一、Redis是什么，可以用来干什么？ Redis，英文全称是Remote Dictionary Server（远程字典服务），是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 