目地 目前k8s ingress是配合traefik使用的，此时需要对某一个域名添加一个basic auth安全认证，原本traefik也可以正常配置（生产环境已有不少使用traefik basic auth），但是由于此处的域名需要在其他web域中调用，涉及到跨域问题，参考traefik文档未发现在k8s有关联说明解决basic auth相关跨域问题。后来分析了下nginx下的basic auth,最终使用nginx + ingress + traefik解决了这一问题。 简要步骤 生成basic auth用户密码文件 htpasswd -bc ngauth username password 配置nginx的k8s configMap: kind: ConfigMap apiVersio...阅读全文
V2Ray配置常见问题 1. 打开客户端闪退 可能原因：客户端的配置文件上不正确。 修正方法：请仔细检查配置文件并修改正确。 2. 客户端提示 Socks: unknown Socks version: 可能原因：客户端配置的 inboud 设置成了 socks 而浏览器的代理协议设置为 http。 修正方法：修改配置文件使客户端的 inboud 的 protocol 和浏览器代理设置的协议保持一致。 3. 客户端提示 Proxy|HTTP: failed to read http request > malformed HTTP request "\x05\x01\x00" 可能原因：客户端配置的 inboud 设置成了 https 而浏览器的代理协议设置为 socks4 或者 socks...阅读全文
问题场景： 1、国内访问maven默认远程中央镜像特别慢 2、用阿里的镜像替代远程中央镜像 3、大部分jar包都可以在阿里镜像中找到，部分jar包在阿里镜像中没有，需要单独配置镜像 我想达到的目标： 在maven中配置一主一副两个镜像，大部分jar直接通过主镜像可以找到，部分特殊jar在主镜像中找不到时，自动去副镜像中寻找。 我所处的阶段： 修改了maven的全局配置文件setting.xml(其所处位置maven的安装目录maven/apache-maven-3.3.9/conf/setting.xml)： 1、配置了本地仓库：
自——找不到出处了。。ref->这里 简介 SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。 特色功能 集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器都可以感知到。另外，Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务，但在执行任务时崩溃的机器，在重启后，或者集群选出候选者时，可以再次执行这个未完成的任务。 自动容错SolrC...阅读全文
文地址： http://www.111cn.net/sys/linux/65797.htm linux中有很多命令已经存在了N多年，渐渐一些已被一些新命令所代替，不过由于习惯的原因，很多时候我们并不能一下子适应过来 ，例如ifconfig之于ip命令。该命令是用来替代service和chkconfig两个命令的 — 尽管个人感觉还是后者好用。 为了顺应时间的发展，这里总结下。在目前很多linux的新发行版本里，系统对于daemon的启动管理方法不再采用SystemV形式，而是使用了sytemd的架构来管理daemon的启动。 一、runlevel 到 target的改变 在systemd的管理体系里面，以前的运行级别（runlevel）的概念被新的运行目标（target）所取代。tartge...阅读全文
安装环境： ubuntu 16.04 LTS 一台待克隆的计算机，一台原始ubuntu16.04计算机 安装过程： 1. 在新的计算机中安装好ubuntu16.04 LTS（这篇文章主要介绍系统的克隆，对于初始安装这里不再赘述,所有操作请确保自己拥有root权限） 2. 使用tar压缩源计算机的相关文件（包括配置，软件，文件等） tar -zcpPf /media/zhoudazhuang/NEWSMY/ubuntu.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/media/zhoudazhuang/NEWSMY/ubuntu.tar.gz --exclude=/media --exclude=/mnt --exclude=/...阅读全文
ubuntu16.04 自动挂载新分区到指定目录下 Author anteoy@gmail.com | Posted 2016-12-28 23:08:00 ###引言： 起因：ubuntu系统使用固态硬盘120G不够使用，如今已无法满足日常需要，于是增加了一枚机械硬盘，分别分了两个空闲分区，依次使系统自启时挂在到/home/和/usr/指定目录下 ###安装环境： 1. ubuntu 16.04 LTS 2. 有剩余未分配空间的硬盘 ###安装过程： 1. 查看硬盘所有分区并记录下待挂在分区（主要以硬盘，分区大小和格式确定） fdisk -l 2. 格式化分区为ext4 mkfs.ext4 /dev/sda7 3. 查看分区UUID sudo blkid 4. 编辑系统挂载配置文件/etc...阅读全文
目地 为k8s的docker服务提供http/https代理,解决docker无法pull gcr.io/google_containers 谷歌镜像问题 环境 GCE ubuntu 16.04 k8s集群机器 ubuntu16.04 简要步骤 GCE 搭建squid正向http/https代理服务器 直接使用apt-get install 安装 apt-get install squid3 -y 注意:配置文件在/etc/squid或/etc/squid3下,根据系统不同可能会有一点差异,由于这里进行快速安装,不需要暴露端口给外部使用,也不需要密码,所以配置文件我这里保持默认 GCE 安装stunnel代理服务器 stunnel主要用来在GCE和k8s机器上代理的数据传输进行加密,否则明文...阅读全文
Kiali 为网格管理和可观察性提供了良好的用户体验的可视化工具;Kiali 为我们提供了查看相关服务与配置提供了统一化的可视化界面，并且能在其中展示他们的关联；同时他还提供了界面让我们可以很方便的验证 istio 配置与错误提示;官方功能介绍大致如下：目前官方没有提供能够方便用户一键部署的 yaml 配置文件，需要 clone 项目代码并运行 make k8s-deploy进行部署，为了部署方便我整理了一份部署 yaml 如下；将该配置复制保存为文件然后运行 kubectl apply -f deploy-kiali.yaml -n istio-system即可；(注意，一定修改配置里 Secret 里面的用户名密码配置，不然就只是简单的 admin，admin); 注:目前(18-08-...阅读全文
tags: ip_local_port_range 端口范围 sysctl Linux中有限定端口的使用范围，如果我要为我的程序预留某些端口，那么我需要控制这个端口范围， 本文主要描述如何去修改端口范围。 1 2 /proc/sys/net/ipv4/ip_local_port_range的原文解释： The /proc/sys/net/ipv4/ip_local_port_range defines the local port range that is used by TCP and UDP traffic to choose the local port. You will see in the parameters of this file two numbers: The fir...阅读全文
前言 let’s encrypt 是免费的ssl/tls 证书颁发的机构，致力于实现整个Web的TLS/SSL认证。https可降低网站被劫持的风险，并具有更好的加密性能，避免用户信息泄露，增强网站的安全性。 准备 已解析正确的域名 www.anteoy.me A记录所指向的服务器 nginx 环境 GCE ubuntu16.04 let’s encrypt认证过程 certbot是let’s encrypt的官方客户端工具，客户端在认证过程中会在host上生成自己的加密文件，let’s encrypt服务端访问客户端提供的域名并尝试去获取这个文件，如果成功获取并确认是客户端生成的正确文件，则确认客户端所在主机的域名控制权，然后开始为此域名颁发CA证书。 部署过程 使用nginx以便let’...阅读全文
新冠肺炎疫情防控期间可以说是我国数字化时代最大规模的一次集体远程办公。对于IT互联网企业来说，远程办公并不陌生，但对于传统行业来说，远程办公面临着诸多问题及系列隐私数据安全隐患。 不管是远程办公还是传统的办公楼集群式办公都是基于人与人之间的沟通、基于文档获取与协作完成的。对于传统企业来说，远程办公难度更大，它对企业内部及内外部的沟通效率、文件快速获取能力、文档安全性的要求更加高。 本次疫情或将进一步加快线上办公对传统办公模式的替代，它让许多不愿改变的企业主动接受线上办公，当然也暴露出诸多问题。今天，我们就围绕上述的三大核心问题进行探讨，企业到底该如何应对? [CORNERSTONE](https://www.cornerstone365.cn/)又可以做些什么？ 一、企业内...阅读全文
80、90后的青春，一半是周杰伦，一半是五月天。这两天朋友圈最火的莫过于周杰伦的新歌《说好不哭》，方文山作词，周杰伦作曲，歌曲中还有周董、阿信的倾情合唱，依旧是熟悉的节奏和小清新的风格，中年人的青春记忆，又回来了！  大家都说，周杰伦是“最懂青春的人”。因此，周杰伦本身就代表着一种青春的情怀。这种“约定”与“成全”的情歌，直接把QQ音乐搞崩的，也只有周董能做...阅读全文
chrysalis 69 http传输格式是文本还是二进制？ 网络传输协议 http 最近突然对这个问题产生了困惑，我知道http是超文本传输协议，它传输过程和传输结果都是文本文件么？但它又可以传输二进制文件（如上传下载图片），所以http传输的格式到底是什么？用搜索引擎和看书都没有发现确切的答案，望解答 阅读 10.8k 评论 2016-08-21 提问 提交评...阅读全文
lmdb创建完env对象,打开时,会做data file和lock file的mmap映射: env->me_lfd = open(lpath, O_RDWR|O_CREAT|MDB_CLOEXEC, mode); void *m = mmap(NULL, rsize, PROT_READ|PROT_WRITE, MAP_SHARED, env->me_lfd, 0); env->me_txns = m; env->me_fd = open(dpath, oflags, mode); env->me_map = mmap(addr, env->me_mapsize, prot, MAP_SHARED, env->me_fd, 0); 其他时刻都直接使用内存指针，通过系统级别的缺页异常获取对应...阅读全文
人工智能、物联网、大数据时代，Linux正有着一统天下的趋势，几乎每个程序员岗位，都要求掌握Linux。本课程零基础也能轻松入门。 本课程以简洁易懂的语言手把手教你系统掌握日常所需的Linux知识，每个知识点都会配合案例实战让你融汇贯通。课程通俗易懂，简洁流畅，适合0基础以及对Linux掌握不熟练的人学习； 【限时福利】 1）购课后按提示添加小助手，进答疑群，还可获得价值300元的编程大礼包！ 2）本月购买此套餐加入老师答疑交流群，可参加老师的免费分享活动，学习最新技术项目经验。 --------------------------------------------------------------- 29元=掌握Linux必修知识+社群答疑+讲师社群分享会+700元编程礼包...阅读全文
archlinux采用滚动更新,需要经常更新系统,因此一个快速且足够新的镜像就很重要了 获得镜像列表 选择镜像主要考虑速度和状态两方面,速度快的镜像可以让你更快的更新系统,状态新的镜像可以是你的系统一直保持最新状态. 如果你想知道知道中国大陆都有哪些镜像站可以访问Pacman镜像列表生成器或是直接下载官方镜像列表,pacman的配置文件在/etc/pacman.d/mirrorlist wget -O /etc/pacman.d/mirrorlist https://www.archlinux.org/mirrorlist/all/ #或是 wget -O /etc/pacman.d/mirrorlist https://www.archlinux.org/mirrorlist/?count...阅读全文
有些朋友经常问我是不是该升级电脑了，我通常的建议却是升级机械硬盘HDD到固态硬盘SSD。CPU隔个几代升级也许会让你的系统感觉快了一些，内存大了也会好一些，但HDD到SSD的升级却是质的变化。好刚要用到刀刃上，要升级SSD当然是升级系统盘了。“重装系统好麻烦！”，“硬件驱动恐怕找不到了！”等等问题是大家升级系统盘的顾虑。是啊，重装系统耗时耗力，古老的驱动盘不知道丢到哪里去了，还不如一步到位装个新电脑呢？可又看看钱袋子，还是忍忍吧！如果我说可以克隆HDD到SSD，而不必重装系统呢？相信很多人就立刻来了兴趣。但是先别高兴，还有一些棘手的问题需要考虑：硬盘大小不一致怎么办？HDD和SSD的介质不一样，克隆会不会出问题呢？今天我们就一步一步介绍给你如何从HDD迁移到SSD，首先我们为了保持我们专栏一...阅读全文
996.ICU是什么？ 前段时间，由程序员在GitHub上发起的“996.ICU”引起大家关注，所谓996，是指上班时间早9点-晚9点，一周工作6天，这一工作制度几乎成为互联网企业加班的代名词。  当然，在当前这种竞争异常激烈的条件之下，很多公司为了在竞争中活下来...阅读全文
前言 1、Hive分区的概念与传统关系型数据库分区不同。 2、传统数据库的分区方式：如oracle，分区独立存在于字段，里面存储真实的数据，在数据进行插入的时候自动分配分区。 3、Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。 即，当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原有的目录上添加数据文件。 动态分区和静态分区(Hive-0.14以后的特性) 1、动态分区：分区不固定；关键在于“动态”，不需要人为使用 alter table 命令执行添加分区 2、静态分区：分区固定，需要认为使用 alter table 命令添加分区 最大区别：动态分区与静态分区区别就是不指定分区目录，由系统...阅读全文
日期：2021-3-15简介：因为计网作业需要，今天就是讲一讲如何使用ffmpeg把图片转视频以及视频转图片。一、下载ffmpeg你可以在ffmpeg的bin文件下看见以下三个.exe文件二、建个快速打开命令行的bat文件可以新建文件夹.txt->在.txt文件中输入cmd并保存->将.txt后缀名改成.bat可以看一下打开.bat文件后的效果三、自己录制个视频放入bin目录中四、视频转图片打开.bat文件->输入ffmpeg -i GGGabc.mp4 -t 5 -s 1080x1080 -r 15 %3d.jpg 其中-i GGGabc.mp4表示调用bin目录下的GGGabc.mp4视频-t 5表示选取视频中的前五秒进行视频转图像-s 1080x1080表示视频转图片后图片的像素-r ...阅读全文
UEFI+GPT最好用64位操作系统。 似乎人人都可以张嘴就说“我懂电脑”，但是总有一些看起来完全不懂但实际上非常基础的东西让“懂”与“不懂”清晰地划清界限。比如UEFI+GPT就是其中之一，那些之前认为自己已经精通电脑的人，遇到这个东西，忽然发现自己连系统都不会装了。 尽管UEFI以及GPT从诞生迄今已经十余年了，但是由于它们的不普及性，导致对于绝大多数人来讲它们是完全陌生的 ，甚至根本就不知道还有这种东西。 但是由于Windows8操作系统的面世，预装Windows8的电脑开始统一采用UEFI+GPT，很多人被迫接触到，感觉就像突然从天上掉下来的东西一样，无所适从，一筹莫展—— “这到底是个什么东西呢？” 一旦出现系统问题，唯一能做的解决办法除了品牌机自带的系统还原，最大能力不过就是把U...阅读全文
 腾讯做产品厉害，这个众人皆知。他们不仅打造了QQ和微信这样的国民产品，还形成了自己的产品方法和文化。 阿里最早的“中供铁军”名声远扬，他们的推广销售和业务拓展能力也形成了一种阿里文化。 百度一直以技术自居，从传统的核心搜索技术到目前押宝人工智能，在技术路线上百度一直有自己的追求。 腾讯的产...阅读全文
概要 settings.xml有什么用？ 如果在Eclipse中使用过Maven插件，想必会有这个经验：配置settings.xml文件的路径。 settings.xml文件是干什么的，为什么要配置它呢？ 从settings.xml的文件名就可以看出，它是用来设置maven参数的配置文件。并且，settings.xml是maven的全局配置文件。而pom.xml文件是所在项目的局部配置。 Settings.xml中包含类似本地仓储位置、修改远程仓储服务器、认证信息等配置。 settings.xml文件位置 settings.xml文件一般存在于两个位置： 全局配置: ${M2_HOME}/conf/settings.xml 用户配置: \({user.home}/.m2/settings.x...阅读全文
很多学习半导体技术的人弄不清CMOS与BIOS之间的联系与区别，容易误认为两个表达的是一个东西，其实不然，两者有关联却不相同。 什么是CMOS与BIOS？ CMOS又被称作互补金属氧化物半导体，电压控制的一种放大器件，是组成CMOS数字集成电路的基本单元。在计算机领域，CMOS常指保存计算机基本启动信息（如日期、时间、启动设置等）的芯片。有时人们会把CMOS和BIOS混称，其实CMOS是主板上的一块可读写的并行或串行FLASH芯片，是用来保存BIOS的硬件配置和用户对某些参数的设定。在今日，CMOS制造工艺也被应用于制作数码影像器材的感光元件，尤其是片幅规格较大的单反数码相机。 BIOS是就是基本输入输出系统。在IBM PC兼容系统上，是一种业界标准的固件接口。BIOS这个字眼是在1975年...阅读全文
通常情况下，namespace对应的URI是一个存放XSD的地址，尽管规范没有这么要求。如果没有提供schemaLocation，那么Spring的XML解析器会从namespace的URI里加载XSD文件。我们可以把配置文件改成这个样子，也是可以正常工作的：[html] view plain copy
luotuo44的专栏 05-12 5343 Linux安装软件时，/etc/profile、/etc/bash.bahsrc、~/.profile、~/.bashrc的用途 之前安装Linux的一些软件时，总要修改Linux的配置文件。当时也是一知半解。而且，网上有些安装教程，会说，修改配置文件后要重启Linux。但事实上是不需要重启的。 Linux安装时可能要修改的配置文件：/etc/profile、/etc/bashrc(ubuntu没有这个文件，对应地，其有/etc/bash.bashrc文件。我用的是ubuntu系统，所以下面将一律使用... 陈光泉的博客 07-13 324 Centos6 系统配置文件 /etc/profile, ~/.bash_profile 等区别 各环境变...阅读全文
今天和两个同事讨论Log4j，他们都需要解决一个问题，怎么分开输出Logger。这么讲不清楚，举个例子： Java代码 package com.gmail.at.ankyhe.log4jtest; import org.apache.log4j.Logger; public class ClassA { private static Logger logger = Logger.getLogger(ClassA.class.getName()); public ClassA() { logger.info("ENTER ClassA()"); } public void foo() { logger.info("foo()"); bar(); } public void bar() { Lo...阅读全文
浅谈flink-cdc的使用 chenzuoli的博客 12-19 3961 Flink cdc1.x和2.x区别太大了，如果能升级最好了，不能升级，那么我们怎么避免1.x给我们带来的问题呢？ 下面结合我在公司生产的实践，给大家说说。 解决Ubuntu挂载U盘失败的解决方法 csd_meb的专栏 03-03 9096 问题：unable to mount …: not authorized 首先：sudo fdisk -l 列出当前系统下的文件设备 然后创建一个临时目录，用于挂在U盘 sudo mkdir /media/external 这里也可以换其他的目录 最后将U盘挂在到刚刚创建的临时目录，由于我的U盘是fat32格式，所以使用vfat参数,/dev/s 深入理解 Flink 容错机制...阅读全文
昨天写一个脚本花了一天的2/3的时间，而且大部分时间都耗在了sed命令上，今天不总结一下都对不起昨天流逝的时间啊~~~ 用sed命令在行首或行尾添加字符的命令有以下几种： 假设处理的文本为test.file 在每行的头添加字符，比如"HEAD"，命令如下： sed 's/^/HEAD&/g' test.file 在每行的行尾添加字符，比如“TAIL”，命令如下： sed 's/$/&TAIL/g' test.file 运行结果如下图： 几点说明： 1."^"代表行首，"$"代表行尾 2.'s/$/&TAIL/g'中的字符g代表每行出现的字符全部替换，如果想在特定字符处添加，g就有用了，否则只会替换每行第一个，而不继续往后找了 例： 3.如果想导出文件，在命令末尾加"> outfile_nam...阅读全文
utf-8格式如何转化为gbk格式 02-27 阅读数 6225 utf-8格式如何转化为gbk格式 今天在编码的时候由于存储的数据和取得数据格式不一致，... 博文 来自： HY845638534的博客 解决中文字符乱码问题，如何将gbk格式转换utf-8格式 04-06 阅读数 2104 中文乱码的原因是因为编码格式是gbk的，而显示的时候是utf-8格式的，所以需要将其utf-8格式，才能正常显示出来。1.gbk生成utf8程序需要经过两次转化。 1.gbk->uni... 博文 来自： u012681014的专栏 Java练习>转换流>>将GBK编码的文本文件，转换为UTF-8编码的文本文件 08-13 阅读数 1312 练习：转换文件编码。题目：将GBK编码的文本文件，转换为...阅读全文
X-server管理鼠标、键盘、显卡、显示器 X-client处理程序的运行 ---------------------------------------------------------------------------------------------------- WM管理窗口：移动、变型、关闭、装饰...... ---------------------------------------------------------------------------------------------------- DE桌面环境：窗口管理器+面板+文件管理器+配套软件...... ---------------------------------------------------...阅读全文
GNU sed 4.5 版参考文档全文翻译 各命令和随带20个示例详细解析（一） HZ_Samuel博客 05-03 385 文档记录了一个版本4.5的流编辑器——GNU sed。 版权所有© 1998—2018自由软件基金会。 根据GNU免费文档许可证、自由软件基金会发布1.3及其后续版本，本文档被允许复制、分发和、或修改；没有不变的部分，没有封面文本，也没有封底文本。许可证副本包含在标题为“GNU免费文档许可证”的部分中。 sed (GNU) C/C++,Win/Linux使用与开发技巧 11-15 1294 simplified "info sed" linux mac下使用sed a\追加文本 热门推荐 cbbbc 01-07 1万+ 由于mac系统是原生于bsd系，sed命令和gn...阅读全文
网上有一些maven-shade-plugin替代maven-assembly-plugin的文章，原因是代maven-assembly-plugin打出的jar包中要么是不能设置Main-Class，要么spring的META-INF/spring.*文件相互覆盖了。对于这两个问题，maven-assembly-plugin在当前的版本(3.1.0)中都可以解决了(方法见https://my.oschina.net/u/2377110/blog/1584205)。 实际上这两个插件所针对的用途其实是有差异的，而它们与maven默认的maven-jar-plugin都是打包插件，简单的区别如下： plugin function maven-jar-plugin maven 默认打包插件，用来...阅读全文
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的受管理的内存。...阅读全文
下载地址：百度网盘SpringCloud+Vertx+Disruptor 金融业撮合交易系统实战金融软件工程师一直是高薪争抢的稀缺人才，作为金融软件工程师，需要同时具备软件研发基础和金融业务知识。这门课对于想涉猎、了解以及从事金融行业的技术人员，非常有帮助。课程将带你总览金融行业的IT全景图，重点讲解证券交易中的撮合业务，并利用Vue+Spring Boot等技术栈，从搭建前后端分离的委托终端开始，带你从无到有开发一个高可用低延时的撮合交易系统。助力你成为为国家金融行业基础设施建设添砖加瓦的IT工程师适合人群有前后端基础知识，想投身证券金融行业做开发的同学想进入Fintech行业或银行业，非银金融，互联网金融业的IT工程师技术储备要求具备Java、JavaScript基础了解Spring C...阅读全文
log4j logback logger和root的关系 Log4j或logback的配置文件中，root和logger是父子的关系。Logger的appender根据参数additivity决定是否要叠加root的appender，logger的级别是其自身定义的级别，和root的级别没什么关系。判断一个类的日志输出情况，首先找到这个类所在的logger（如果特别定义了一个类的logger,那么则为这个定义的logger,没有特别定义则默认为roo... 复制链...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或 多个store files。每个column family 是...阅读全文
> 编程乐园 > 编程内功 > 架构&设计模式 > ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) 架构&设计模式 water 5年前 (2017-03-29) 3348℃ 0评论 repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/ 背景说明 由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本，需要将index迁移过去，查了很多资料，最后决定用es的快照/恢复模块来实现索引迁移。...阅读全文
前面我们了解了 Prometheus 中 Relabeling 重新标记的使用，本文我们将学习 Prometheus 中是如何使用服务发现来查找和抓取目标的。我们知道在 Prometheus 配置文件中可以通过一个 static_configs 来配置静态的抓取任务，但是在云环境下，特别是容器环境下，抓取目标地址是经常变动的，所以用静态的方式就不能满足这些场景了。所以我们需要监控系统能够动态感知这个变化，不可能每次变动都去手动重新配置的，为了应对复杂的动态环境，Prometheus 也提供了与基础设施中的服务发现集成的功能。Prometheus 已经支持多种内置的服务发现机制：发现云服务商的 VM 虚拟机Kubernetes 上的自动发现通用的服务查找，例如 DNS、Consul、Zooke...阅读全文
参考地址1：https://pan.baidu.com/s/1N-x48vz9Z0peZdjOU5Gh-g 提取码: nxts 参考地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 关于数据库系统的开发一直以来都是一个难点，它的流程复杂，涉及到的技术点众多，特别在部署这块尤为重要，今天就带着大家手把手去实现这样一个数据库系统项目。 我将从理论结合实际场景综合性落地，让大家轻松吃透核心技术底层原理。 首先是应用场景这块：复用到日常开发场景中，如何运用高级数据结构、算法和设计模式，如何正确面对高并发进行编程，如何进行数据库的优化，如何理解数据库的执行计划分析慢SQL的原因等； 其次是原理剖析： 深度剖析数据库系统原理，将数据库几十年发展精髓拆解并呈现...阅读全文
目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点
系统学习大数据技术：大数据高级工程师学习路线 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 三天入门大数据实操课程 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： 课程目标 VMWare WorkStation 安装 创建虚拟机 安装 Centos 7 操作系统 Centos 7 网络配置方式说明 Centos 7 网络配置 使用客户端登录操作虚拟机 克隆三台虚拟机 修改主机名 ip 映射主机名 配置无密钥登录 虚拟机的文件上传和下载 关闭防火墙 安装 Java 请在看本篇博客之前务必学习完上面视频课程中章节，如果你能学习完 三天入门大数据实操课程 所有的章节的话就更好，因为你学完这个课程可以有以下三大收获： 搭建一个属于自己的大数据集...阅读全文
download：https://caodada.com/8103.html【资源目录】:├──第1章 课程介绍| ├──1-1导学_ev.mp4 98.00M| ├──1-2学习方法注意事项_ev.mp4 35.09M| ├──1-3如何用Git客户端下载课程代码_ev.mp4 15.34M| └──1-4 本章总结_ev.mp4 2.74M├──第2章 大健康体检项目全栈环境搭建| ├──2-10使用MyCat管理MySQL集群（一）_ev.mp4 48.72M| ├──2-11使用MyCat管理MySQL集群（二）_ev.mp4 48.18M| ├──2-12使用MyCat管理MySQL集群（三）_ev.mp4 58.73M| ├──2-13搭建其余后端中间件（一）_ev.mp4 56...阅读全文
【完结23章+电子书】SpringBoot+Vue3+MySQL集群 开发大健康体检双系统  分享课程——SpringBoot+Vue3+MySQL集群 开发健康体检双系统，已完结23章，附电子书。 Spring框架是Java平台上的一种开源应用框架，提供具有控制反转特性的容器。尽管Spring框架自身对编程模型没有限制，但其在Java应用中的频繁使用让它备受青睐，以至于后来让它作为EJB（EnterpriseJavaBeans）模型的补充，甚至是替补。Spring框架为开发提供了一系列的解决方案，比如利用控制反转的...阅读全文
今天小编给带来一篇linux解压方面的资料 Linux解压gz文件的命令有：gunzip命令、gzip命令、tar命令。下面本篇文章就来带大家了解一下 gz文件是一种压缩文件，以.gz或者.tar.gz(.tgz)为扩展名，在Linux、UNIX和OSX下常见，Linux和OSX都可以直接解压使用这种压缩文件。在Windows下常用压缩软件WinRAR打开gz文件，它相当于常见的RAR和ZIP格式。 .gz文件解压 如果是以.gz扩展名结尾的gz文件，可以使用gunzip命令、gzip命令来解压。 gunzip命令 作用是解压文件，使用权限是所有用户。例： gunzip FileName.gz gzip命令 gzip命令是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令，既方便又...阅读全文
学习地址1：https://pan.baidu.com/s/1OWDu5fNq_BXRUbLGrxzpJw 提取码：tjty 学习地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 今天跟大家交流一下关于开发一款数据库系统的相关事宜，从零开始，手把手带着大家一步步去实现这个功能，希望对大家有所帮助。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质 、处理对象和管理系统的集合体。 数据库系统DBS（Data Base System，简称DBS）通常由软件、数据库和数据管理员组成。其软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
[完结14章]Flink 从0到1实战实时风控系统 网盘地址：https://pan.baidu.com/s/1gHz7xsniPotnoL6oVFyGmA 提取码：hf2e 腾讯微云下载地址：https://share.weiyun.com/zUoCBRio 密码：dc5hxc 对于程序化交易用户而言，无论是证券还是期货市场，每一个交易指令都需要进行充分的业务检查，通过后才能进入交易所的订单队列进行匹配成交。 在程序化交易中，除了验资、验持仓等基础的风控检查外，符合交易所异常交易管理办法规定的监管标准，杜绝和防范异常交易行为也是程序化交易风控的重中之重，比如是否存在自成交、日内过度交易、频繁报撤单、大额报撤单、报单流速控制等情况。 事前风控是指在交易指令发送到交易所前，对交易指令进行风险检...阅读全文
