目地 目前k8s ingress是配合traefik使用的，此时需要对某一个域名添加一个basic auth安全认证，原本traefik也可以正常配置（生产环境已有不少使用traefik basic auth），但是由于此处的域名需要在其他web域中调用，涉及到跨域问题，参考traefik文档未发现在k8s有关联说明解决basic auth相关跨域问题。后来分析了下nginx下的basic auth,最终使用nginx + ingress + traefik解决了这一问题。 简要步骤 生成basic auth用户密码文件 htpasswd -bc ngauth username password 配置nginx的k8s configMap: kind: ConfigMap apiVersio...阅读全文
V2Ray配置常见问题 1. 打开客户端闪退 可能原因：客户端的配置文件上不正确。 修正方法：请仔细检查配置文件并修改正确。 2. 客户端提示 Socks: unknown Socks version: 可能原因：客户端配置的 inboud 设置成了 socks 而浏览器的代理协议设置为 http。 修正方法：修改配置文件使客户端的 inboud 的 protocol 和浏览器代理设置的协议保持一致。 3. 客户端提示 Proxy|HTTP: failed to read http request > malformed HTTP request "\x05\x01\x00" 可能原因：客户端配置的 inboud 设置成了 https 而浏览器的代理协议设置为 socks4 或者 socks...阅读全文
问题场景： 1、国内访问maven默认远程中央镜像特别慢 2、用阿里的镜像替代远程中央镜像 3、大部分jar包都可以在阿里镜像中找到，部分jar包在阿里镜像中没有，需要单独配置镜像 我想达到的目标： 在maven中配置一主一副两个镜像，大部分jar直接通过主镜像可以找到，部分特殊jar在主镜像中找不到时，自动去副镜像中寻找。 我所处的阶段： 修改了maven的全局配置文件setting.xml(其所处位置maven的安装目录maven/apache-maven-3.3.9/conf/setting.xml)： 1、配置了本地仓库：
自——找不到出处了。。ref->这里 简介 SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。 特色功能 集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器都可以感知到。另外，Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务，但在执行任务时崩溃的机器，在重启后，或者集群选出候选者时，可以再次执行这个未完成的任务。 自动容错SolrC...阅读全文
文地址： http://www.111cn.net/sys/linux/65797.htm linux中有很多命令已经存在了N多年，渐渐一些已被一些新命令所代替，不过由于习惯的原因，很多时候我们并不能一下子适应过来 ，例如ifconfig之于ip命令。该命令是用来替代service和chkconfig两个命令的 — 尽管个人感觉还是后者好用。 为了顺应时间的发展，这里总结下。在目前很多linux的新发行版本里，系统对于daemon的启动管理方法不再采用SystemV形式，而是使用了sytemd的架构来管理daemon的启动。 一、runlevel 到 target的改变 在systemd的管理体系里面，以前的运行级别（runlevel）的概念被新的运行目标（target）所取代。tartge...阅读全文
安装环境： ubuntu 16.04 LTS 一台待克隆的计算机，一台原始ubuntu16.04计算机 安装过程： 1. 在新的计算机中安装好ubuntu16.04 LTS（这篇文章主要介绍系统的克隆，对于初始安装这里不再赘述,所有操作请确保自己拥有root权限） 2. 使用tar压缩源计算机的相关文件（包括配置，软件，文件等） tar -zcpPf /media/zhoudazhuang/NEWSMY/ubuntu.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/media/zhoudazhuang/NEWSMY/ubuntu.tar.gz --exclude=/media --exclude=/mnt --exclude=/...阅读全文
ubuntu16.04 自动挂载新分区到指定目录下 Author anteoy@gmail.com | Posted 2016-12-28 23:08:00 ###引言： 起因：ubuntu系统使用固态硬盘120G不够使用，如今已无法满足日常需要，于是增加了一枚机械硬盘，分别分了两个空闲分区，依次使系统自启时挂在到/home/和/usr/指定目录下 ###安装环境： 1. ubuntu 16.04 LTS 2. 有剩余未分配空间的硬盘 ###安装过程： 1. 查看硬盘所有分区并记录下待挂在分区（主要以硬盘，分区大小和格式确定） fdisk -l 2. 格式化分区为ext4 mkfs.ext4 /dev/sda7 3. 查看分区UUID sudo blkid 4. 编辑系统挂载配置文件/etc...阅读全文
目地 为k8s的docker服务提供http/https代理,解决docker无法pull gcr.io/google_containers 谷歌镜像问题 环境 GCE ubuntu 16.04 k8s集群机器 ubuntu16.04 简要步骤 GCE 搭建squid正向http/https代理服务器 直接使用apt-get install 安装 apt-get install squid3 -y 注意:配置文件在/etc/squid或/etc/squid3下,根据系统不同可能会有一点差异,由于这里进行快速安装,不需要暴露端口给外部使用,也不需要密码,所以配置文件我这里保持默认 GCE 安装stunnel代理服务器 stunnel主要用来在GCE和k8s机器上代理的数据传输进行加密,否则明文...阅读全文
Kiali 为网格管理和可观察性提供了良好的用户体验的可视化工具;Kiali 为我们提供了查看相关服务与配置提供了统一化的可视化界面，并且能在其中展示他们的关联；同时他还提供了界面让我们可以很方便的验证 istio 配置与错误提示;官方功能介绍大致如下：目前官方没有提供能够方便用户一键部署的 yaml 配置文件，需要 clone 项目代码并运行 make k8s-deploy进行部署，为了部署方便我整理了一份部署 yaml 如下；将该配置复制保存为文件然后运行 kubectl apply -f deploy-kiali.yaml -n istio-system即可；(注意，一定修改配置里 Secret 里面的用户名密码配置，不然就只是简单的 admin，admin); 注:目前(18-08-...阅读全文
tags: ip_local_port_range 端口范围 sysctl Linux中有限定端口的使用范围，如果我要为我的程序预留某些端口，那么我需要控制这个端口范围， 本文主要描述如何去修改端口范围。 1 2 /proc/sys/net/ipv4/ip_local_port_range的原文解释： The /proc/sys/net/ipv4/ip_local_port_range defines the local port range that is used by TCP and UDP traffic to choose the local port. You will see in the parameters of this file two numbers: The fir...阅读全文
前言 let’s encrypt 是免费的ssl/tls 证书颁发的机构，致力于实现整个Web的TLS/SSL认证。https可降低网站被劫持的风险，并具有更好的加密性能，避免用户信息泄露，增强网站的安全性。 准备 已解析正确的域名 www.anteoy.me A记录所指向的服务器 nginx 环境 GCE ubuntu16.04 let’s encrypt认证过程 certbot是let’s encrypt的官方客户端工具，客户端在认证过程中会在host上生成自己的加密文件，let’s encrypt服务端访问客户端提供的域名并尝试去获取这个文件，如果成功获取并确认是客户端生成的正确文件，则确认客户端所在主机的域名控制权，然后开始为此域名颁发CA证书。 部署过程 使用nginx以便let’...阅读全文
新冠肺炎疫情防控期间可以说是我国数字化时代最大规模的一次集体远程办公。对于IT互联网企业来说，远程办公并不陌生，但对于传统行业来说，远程办公面临着诸多问题及系列隐私数据安全隐患。 不管是远程办公还是传统的办公楼集群式办公都是基于人与人之间的沟通、基于文档获取与协作完成的。对于传统企业来说，远程办公难度更大，它对企业内部及内外部的沟通效率、文件快速获取能力、文档安全性的要求更加高。 本次疫情或将进一步加快线上办公对传统办公模式的替代，它让许多不愿改变的企业主动接受线上办公，当然也暴露出诸多问题。今天，我们就围绕上述的三大核心问题进行探讨，企业到底该如何应对? [CORNERSTONE](https://www.cornerstone365.cn/)又可以做些什么？ 一、企业内...阅读全文
chrysalis 69 http传输格式是文本还是二进制？ 网络传输协议 http 最近突然对这个问题产生了困惑，我知道http是超文本传输协议，它传输过程和传输结果都是文本文件么？但它又可以传输二进制文件（如上传下载图片），所以http传输的格式到底是什么？用搜索引擎和看书都没有发现确切的答案，望解答 阅读 10.8k 评论 2016-08-21 提问 提交评...阅读全文
lmdb创建完env对象,打开时,会做data file和lock file的mmap映射: env->me_lfd = open(lpath, O_RDWR|O_CREAT|MDB_CLOEXEC, mode); void *m = mmap(NULL, rsize, PROT_READ|PROT_WRITE, MAP_SHARED, env->me_lfd, 0); env->me_txns = m; env->me_fd = open(dpath, oflags, mode); env->me_map = mmap(addr, env->me_mapsize, prot, MAP_SHARED, env->me_fd, 0); 其他时刻都直接使用内存指针，通过系统级别的缺页异常获取对应...阅读全文
人工智能、物联网、大数据时代，Linux正有着一统天下的趋势，几乎每个程序员岗位，都要求掌握Linux。本课程零基础也能轻松入门。 本课程以简洁易懂的语言手把手教你系统掌握日常所需的Linux知识，每个知识点都会配合案例实战让你融汇贯通。课程通俗易懂，简洁流畅，适合0基础以及对Linux掌握不熟练的人学习； 【限时福利】 1）购课后按提示添加小助手，进答疑群，还可获得价值300元的编程大礼包！ 2）本月购买此套餐加入老师答疑交流群，可参加老师的免费分享活动，学习最新技术项目经验。 --------------------------------------------------------------- 29元=掌握Linux必修知识+社群答疑+讲师社群分享会+700元编程礼包...阅读全文
 如何定义字节跳动这家公司？它是一家以娱乐为主的公司，还是一家以新闻资讯为主的公司？如何定义今日头条这款超级爆品？它是一个新闻媒体，还是一个移动互联网时代的资讯嫁接平台？ 同样，如何定义创始人张一鸣，未来他会成为中国的传媒大亨，还是成为中国智能算法的第一人？ 1、低调的独角兽 ...阅读全文
archlinux采用滚动更新,需要经常更新系统,因此一个快速且足够新的镜像就很重要了 获得镜像列表 选择镜像主要考虑速度和状态两方面,速度快的镜像可以让你更快的更新系统,状态新的镜像可以是你的系统一直保持最新状态. 如果你想知道知道中国大陆都有哪些镜像站可以访问Pacman镜像列表生成器或是直接下载官方镜像列表,pacman的配置文件在/etc/pacman.d/mirrorlist wget -O /etc/pacman.d/mirrorlist https://www.archlinux.org/mirrorlist/all/ #或是 wget -O /etc/pacman.d/mirrorlist https://www.archlinux.org/mirrorlist/?count...阅读全文
996.ICU是什么？ 前段时间，由程序员在GitHub上发起的“996.ICU”引起大家关注，所谓996，是指上班时间早9点-晚9点，一周工作6天，这一工作制度几乎成为互联网企业加班的代名词。  当然，在当前这种竞争异常激烈的条件之下，很多公司为了在竞争中活下来...阅读全文
前言 1、Hive分区的概念与传统关系型数据库分区不同。 2、传统数据库的分区方式：如oracle，分区独立存在于字段，里面存储真实的数据，在数据进行插入的时候自动分配分区。 3、Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。 即，当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原有的目录上添加数据文件。 动态分区和静态分区(Hive-0.14以后的特性) 1、动态分区：分区不固定；关键在于“动态”，不需要人为使用 alter table 命令执行添加分区 2、静态分区：分区固定，需要认为使用 alter table 命令添加分区 最大区别：动态分区与静态分区区别就是不指定分区目录，由系统...阅读全文
日期：2021-3-15简介：因为计网作业需要，今天就是讲一讲如何使用ffmpeg把图片转视频以及视频转图片。一、下载ffmpeg你可以在ffmpeg的bin文件下看见以下三个.exe文件二、建个快速打开命令行的bat文件可以新建文件夹.txt->在.txt文件中输入cmd并保存->将.txt后缀名改成.bat可以看一下打开.bat文件后的效果三、自己录制个视频放入bin目录中四、视频转图片打开.bat文件->输入ffmpeg -i GGGabc.mp4 -t 5 -s 1080x1080 -r 15 %3d.jpg 其中-i GGGabc.mp4表示调用bin目录下的GGGabc.mp4视频-t 5表示选取视频中的前五秒进行视频转图像-s 1080x1080表示视频转图片后图片的像素-r ...阅读全文
UEFI+GPT最好用64位操作系统。 似乎人人都可以张嘴就说“我懂电脑”，但是总有一些看起来完全不懂但实际上非常基础的东西让“懂”与“不懂”清晰地划清界限。比如UEFI+GPT就是其中之一，那些之前认为自己已经精通电脑的人，遇到这个东西，忽然发现自己连系统都不会装了。 尽管UEFI以及GPT从诞生迄今已经十余年了，但是由于它们的不普及性，导致对于绝大多数人来讲它们是完全陌生的 ，甚至根本就不知道还有这种东西。 但是由于Windows8操作系统的面世，预装Windows8的电脑开始统一采用UEFI+GPT，很多人被迫接触到，感觉就像突然从天上掉下来的东西一样，无所适从，一筹莫展—— “这到底是个什么东西呢？” 一旦出现系统问题，唯一能做的解决办法除了品牌机自带的系统还原，最大能力不过就是把U...阅读全文
登录注册写文章首页下载APPIT技术抽奖理解RTMP、HttpFlv和HLS的正确姿势北塔资讯关注赞赏支持理解RTMP、HttpFlv和HLS的正确姿势 需求比协议重要，理解你的需求在前，选择应用的协议在后！ 第一、是什么？ 解释这个问题有很大的难度，你所处的角度不同，决定了所需答案的不同。不管怎么样，协议是为了解决问题而生的，它有着天然的指向性。同时，也有着它自身的局限。这三个协议的背后，有着一段凄美的爱情故事。我说说，你听听，在想当初…. 千禧年的钟声敲响了，人们迈进了一个新的世纪。当时的移动和联通还不能互发信息，手机是什么样咱们心里也多少有点儿数。就在这样的环境里，就在这样一个网络生存条件下，一小撮内心躁动的人开始不安了！它就是Macromedia。 Macromedia 对，就是它。...阅读全文
概要 settings.xml有什么用？ 如果在Eclipse中使用过Maven插件，想必会有这个经验：配置settings.xml文件的路径。 settings.xml文件是干什么的，为什么要配置它呢？ 从settings.xml的文件名就可以看出，它是用来设置maven参数的配置文件。并且，settings.xml是maven的全局配置文件。而pom.xml文件是所在项目的局部配置。 Settings.xml中包含类似本地仓储位置、修改远程仓储服务器、认证信息等配置。 settings.xml文件位置 settings.xml文件一般存在于两个位置： 全局配置: ${M2_HOME}/conf/settings.xml 用户配置: \({user.home}/.m2/settings.x...阅读全文
通常情况下，namespace对应的URI是一个存放XSD的地址，尽管规范没有这么要求。如果没有提供schemaLocation，那么Spring的XML解析器会从namespace的URI里加载XSD文件。我们可以把配置文件改成这个样子，也是可以正常工作的：[html] view plain copy
luotuo44的专栏 05-12 5343 Linux安装软件时，/etc/profile、/etc/bash.bahsrc、~/.profile、~/.bashrc的用途 之前安装Linux的一些软件时，总要修改Linux的配置文件。当时也是一知半解。而且，网上有些安装教程，会说，修改配置文件后要重启Linux。但事实上是不需要重启的。 Linux安装时可能要修改的配置文件：/etc/profile、/etc/bashrc(ubuntu没有这个文件，对应地，其有/etc/bash.bashrc文件。我用的是ubuntu系统，所以下面将一律使用... 陈光泉的博客 07-13 324 Centos6 系统配置文件 /etc/profile, ~/.bash_profile 等区别 各环境变...阅读全文
今天和两个同事讨论Log4j，他们都需要解决一个问题，怎么分开输出Logger。这么讲不清楚，举个例子： Java代码 package com.gmail.at.ankyhe.log4jtest; import org.apache.log4j.Logger; public class ClassA { private static Logger logger = Logger.getLogger(ClassA.class.getName()); public ClassA() { logger.info("ENTER ClassA()"); } public void foo() { logger.info("foo()"); bar(); } public void bar() { Lo...阅读全文
昨天写一个脚本花了一天的2/3的时间，而且大部分时间都耗在了sed命令上，今天不总结一下都对不起昨天流逝的时间啊~~~ 用sed命令在行首或行尾添加字符的命令有以下几种： 假设处理的文本为test.file 在每行的头添加字符，比如"HEAD"，命令如下： sed 's/^/HEAD&/g' test.file 在每行的行尾添加字符，比如“TAIL”，命令如下： sed 's/$/&TAIL/g' test.file 运行结果如下图： 几点说明： 1."^"代表行首，"$"代表行尾 2.'s/$/&TAIL/g'中的字符g代表每行出现的字符全部替换，如果想在特定字符处添加，g就有用了，否则只会替换每行第一个，而不继续往后找了 例： 3.如果想导出文件，在命令末尾加"> outfile_nam...阅读全文
utf-8格式如何转化为gbk格式 02-27 阅读数 6225 utf-8格式如何转化为gbk格式 今天在编码的时候由于存储的数据和取得数据格式不一致，... 博文 来自： HY845638534的博客 解决中文字符乱码问题，如何将gbk格式转换utf-8格式 04-06 阅读数 2104 中文乱码的原因是因为编码格式是gbk的，而显示的时候是utf-8格式的，所以需要将其utf-8格式，才能正常显示出来。1.gbk生成utf8程序需要经过两次转化。 1.gbk->uni... 博文 来自： u012681014的专栏 Java练习>转换流>>将GBK编码的文本文件，转换为UTF-8编码的文本文件 08-13 阅读数 1312 练习：转换文件编码。题目：将GBK编码的文本文件，转换为...阅读全文
GNU sed 4.5 版参考文档全文翻译 各命令和随带20个示例详细解析（一） HZ_Samuel博客 05-03 385 文档记录了一个版本4.5的流编辑器——GNU sed。 版权所有© 1998—2018自由软件基金会。 根据GNU免费文档许可证、自由软件基金会发布1.3及其后续版本，本文档被允许复制、分发和、或修改；没有不变的部分，没有封面文本，也没有封底文本。许可证副本包含在标题为“GNU免费文档许可证”的部分中。 sed (GNU) C/C++,Win/Linux使用与开发技巧 11-15 1294 simplified "info sed" linux mac下使用sed a\追加文本 热门推荐 cbbbc 01-07 1万+ 由于mac系统是原生于bsd系，sed命令和gn...阅读全文
网上有一些maven-shade-plugin替代maven-assembly-plugin的文章，原因是代maven-assembly-plugin打出的jar包中要么是不能设置Main-Class，要么spring的META-INF/spring.*文件相互覆盖了。对于这两个问题，maven-assembly-plugin在当前的版本(3.1.0)中都可以解决了(方法见https://my.oschina.net/u/2377110/blog/1584205)。 实际上这两个插件所针对的用途其实是有差异的，而它们与maven默认的maven-jar-plugin都是打包插件，简单的区别如下： plugin function maven-jar-plugin maven 默认打包插件，用来...阅读全文
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的受管理的内存。...阅读全文
log4j logback logger和root的关系 Log4j或logback的配置文件中，root和logger是父子的关系。Logger的appender根据参数additivity决定是否要叠加root的appender，logger的级别是其自身定义的级别，和root的级别没什么关系。判断一个类的日志输出情况，首先找到这个类所在的logger（如果特别定义了一个类的logger,那么则为这个定义的logger,没有特别定义则默认为roo... 复制链...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或 多个store files。每个column family 是...阅读全文
> 编程乐园 > 编程内功 > 架构&设计模式 > ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) 架构&设计模式 water 5年前 (2017-03-29) 3348℃ 0评论 repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/ 背景说明 由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本，需要将index迁移过去，查了很多资料，最后决定用es的快照/恢复模块来实现索引迁移。...阅读全文
 一、什么是Stable Diffusion Stable Diffusion 是 Diffusion 扩散模型中最先进的模式（ Diffusion 有一些早期版本，比如： 原始Diffusion、Latent Diffusion）。它采用了更加稳定、可控和高效的方法来生成高质量图像。在生成图像的质量、速度和成本上都有显著的进步，因此该模型可以直接在消费级显卡上实现图像生成，可达至少 512*512 像素的图像。最新的 XL 版本可以在 1024*1024 像素的级别上生成可控的图像，生成效率也比以往的 Diffusion ...阅读全文
Presentify Mac 破解版是mac上一款实用的屏幕绘制标注和鼠标高亮工具，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示。Presentify破解版是视频录制、教学视频的最佳工具。 [Presentify 在Mac App Store售价 30.00 元] Presentify 4.1.5 Mac 破解版 介绍 Presentify 是一个macOS菜单栏应用程序，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示，在线课程或视频教程。您可以在屏幕上注释任何内容，例如图像，视频，pdf，代码等。Presentify对于在线教学，录制视频教程，进行演示，远程工作等非常有用。 画在任何地方任何时候 您可以在任何屏幕上绘制或注释您希望。只需从菜单栏中选择“注释...阅读全文
前面我们了解了 Prometheus 中 Relabeling 重新标记的使用，本文我们将学习 Prometheus 中是如何使用服务发现来查找和抓取目标的。我们知道在 Prometheus 配置文件中可以通过一个 static_configs 来配置静态的抓取任务，但是在云环境下，特别是容器环境下，抓取目标地址是经常变动的，所以用静态的方式就不能满足这些场景了。所以我们需要监控系统能够动态感知这个变化，不可能每次变动都去手动重新配置的，为了应对复杂的动态环境，Prometheus 也提供了与基础设施中的服务发现集成的功能。Prometheus 已经支持多种内置的服务发现机制：发现云服务商的 VM 虚拟机Kubernetes 上的自动发现通用的服务查找，例如 DNS、Consul、Zooke...阅读全文
目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点
系统学习大数据技术：大数据高级工程师学习路线 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 三天入门大数据实操课程 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： 课程目标 VMWare WorkStation 安装 创建虚拟机 安装 Centos 7 操作系统 Centos 7 网络配置方式说明 Centos 7 网络配置 使用客户端登录操作虚拟机 克隆三台虚拟机 修改主机名 ip 映射主机名 配置无密钥登录 虚拟机的文件上传和下载 关闭防火墙 安装 Java 请在看本篇博客之前务必学习完上面视频课程中章节，如果你能学习完 三天入门大数据实操课程 所有的章节的话就更好，因为你学完这个课程可以有以下三大收获： 搭建一个属于自己的大数据集...阅读全文
今天小编给带来一篇linux解压方面的资料 Linux解压gz文件的命令有：gunzip命令、gzip命令、tar命令。下面本篇文章就来带大家了解一下 gz文件是一种压缩文件，以.gz或者.tar.gz(.tgz)为扩展名，在Linux、UNIX和OSX下常见，Linux和OSX都可以直接解压使用这种压缩文件。在Windows下常用压缩软件WinRAR打开gz文件，它相当于常见的RAR和ZIP格式。 .gz文件解压 如果是以.gz扩展名结尾的gz文件，可以使用gunzip命令、gzip命令来解压。 gunzip命令 作用是解压文件，使用权限是所有用户。例： gunzip FileName.gz gzip命令 gzip命令是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令，既方便又...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
MySQL调优之innodb_buffer_pool_size大小设置 相关查看命令 sql> show global variables like 'innodb_buffer_pool_size'; sql> show global status like 'Innodb_buffer_pool_pages_data'; sql> show global status like 'Innodb_page_size'; 或 sql> use mysql; sql> select @@innodb_buffer_pool_size; .... MariaDB [(none)]> show global variables like 'innodb_buffer_pool_size'; +--...阅读全文
 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文
昨天maven的deploy任务需要只选择单个模块并且把它依赖的模块一起打包，第一时间便想到了-pl参数，然后就开始处理，但是因为之前只看了一下命令的介绍，竟然花了近半小时才完全跑通，故记录此文。 假设现有项目结构如下 dailylog-parent|-dailylog-common|-dailylog-web 三个文件夹处在同级目录中 dailylog-web依赖dailylog-common dailylog-parent管理dailylog-common和dailylog-web。 根据资料已知： 参数 全称 释义 说明 -pl --projects Build specified reactor projects instead of all projects 选项后可跟随{grou...阅读全文
本文分享自天翼云开发者社区《创建本地yum仓库》，作者: zzzzgj；背景有的部署环境不通外网，但希望继续使用yum命令下载依赖包而不修改部署脚本逻辑。因此记录一个本地repo的建立方法。1、获取依赖包# 如在通网的机器上下载openssl-devel所有依赖yumdownloader --resolve --alldeps openssl-devel2、创建仓库创建一个（本地）存储库并用yum它来解决您的依赖关系。CentOS wiki提供了一个如何做到这一点。CentOS wiki HowTos / CreateLocalRepos。简要操作如下：1.为本地存储库创建一个目录，例如/home/teledb/repo。2.将RPM放置到该目录中：cd /home/teledb/repoy...阅读全文
一，原因 原因：出现 “grub rescue” 错误通常表示您的计算机无法正常引导到操作系统，而是进入了 GRUB（Grand Unified Bootloader）紧急模式。这可能是由于引导加载程序配置错误、硬盘驱动器损坏或其他引导问题引起的。 二，解决办法 要解决这个问题，您可以尝试以下步骤： 1，尝试使用命令查看可用的分区： 在 “grub rescue” 提示符下，您可以使用以下命令列出可用的分区和文件系统：执行 ls命令 grub rescue> ls 这将显示类似于 (hd0,msdos1) 的分区标识符列表，其中 hd0 表示第一个硬盘，msdos1 表示分区号。您需要找到包含您的 Ubuntu 安装的分区。 2.找到 grub 文件夹所在分区 如果系统的「/boot」文...阅读全文
前言 Nacos最近项目一直在使用，其简单灵活，支持更细粒度的命令空间，分组等为麻烦复杂的环境切换提供了方便；同时也很好支持动态路由的配置，只需要简单的几步即可。在国产的注册中心、配置中心中比较突出，容易上手，本文通过gateway、nacos-consumer、nacos-provider三个简单模块来展示：Nacos下动态路由配置。 博文中源码已上传至github(https://github.com/Jian0110/learning-cloudalibaba)，欢迎小伙伴们star 一、Nacos环境准备 1、启动Nacos配置中心并创建路由配置 具体的Nacos怎么配置就不介绍了，可以参考阿里巴巴的官方介绍，这里通过windows直接本地启动开启单机模式，登录Nacos Conso...阅读全文
CentOS系统中有两个日志服务，分别是传统的 rsyslog 和 systemd-journal systemd-journald是一个改进型日志管理服务，可以收集来自内核、系统早期启动阶段的日志、系统守护进程在启动和运行中的标准输出和错误信息，还有syslog的日志。 该日志服务仅仅把日志集中保存在单一结构的日志文件/run/log中，由于日志是经历过压缩和格式化的二进制数据，所以在查看和定位的时候很迅速。 本文转自米扑博客：Linux 系统 /var/log/journal/ 垃圾日志清理 默认情况下并不会持久化保存日志，只会保留一个月的日志。另外，一些rsyslog无法收集的日志也会被journal记录到。 rsyslog作为传统的系统日志服务，把所有收集到的日志都记录到/var/l...阅读全文
 音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频扮演着越来越重要的角色，比如视频会议、直播、短视频、播放器、语音聊天等。因此，从事音视频是一件比较有意义的事情，机遇与挑战并存。 音频基础 音频包括：采样率、声道数与声道布局、采样格式、PCM与波形图、音质、音频编码格式、音频封装格式。 采样率 声道布局 采样格式 PCM与波形图 音质:音色、音调、音量 编码格式:mp3、aac、ac3、opus等 封装格式: mp3、m4a、flac、wav等 视频基础...阅读全文
