1. 什么是OLAP OLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点：OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储，以及多维模型多视角多层次的数据组织形式，如果脱离的这两点，OLAP将不复存在，也就没有优势可言。参考：http://webdataanalysis.net/web-data-warehouse/data-cube-and-olap/2. OLAP引擎的常见操作下面所述几种OLAP操作，是针对Kimball的星型模型（Sta...阅读全文
es 6.3的插件xpack内置了sql, 和NPLChina的elasticsearch-sql插件相比,要少很多实用性的功能,但相比有蛮多性能上的优势。今天看看都有哪些sql优化点。 x-pack sql做的sql优化 PruneDuplicatesInGroupBy: 裁剪重复的group by 字段。以sqlselect * from table group by code,code,这里两次group by都是code,在elasticsearch-sql中,会被group by两次重复计算。xpack-sql做了这个优化，然而是一个没用的优化，因为xpack-sql不支持多字段group by，直接报错。 ReplaceDuplicateAggsWithReferences: 对...阅读全文
一._score字段 存储的原始数据。_source中的内容就是搜索api返回的内容，如： 默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字段里的内容，我们在Elasticsearch中搜索文档，查看的文档内容就是_source中的内容。另一份是倒排索引，倒排索引中的数据结构是倒排记录表，记录了词项和文档之间的对应关系。 https://www.cnblogs.com/wangzhuxing/p/9527151.html#_label1_2 二.index字段 index使用倒排索引存储的是，分析器分析完的词和文档的对应关系。如图： 文档索引到Elasticsearch的时候，默认情况下是对所有字段创建倒排索引的(动态mapping解析出来为数字类...阅读全文
对于要达到同一查询结果而言，join和where的用法是语句格式不一样，查询的结果是一样的。 先来看看join的语句分类： left join :左连接，返回左表中所有的记录以及右表中连接字段相等的记录。 right join :右连接，返回右表中所有的记录以及左表中连接字段相等的记录。 inner join: 内连接，又叫等值连接，只返回两个表中连接字段相等的行。 full join:外连接，返回两个表中的行：left join + right join。 cross join:结果是笛卡尔积，就是第一个表的行数乘以第二个表的行数。 关键字: on 数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。 在使用left jion时，on和wher...阅读全文
JDK8 的FullGC 之 metaspace前言： 由于最近写的程序在运行一段时间后出现高cpu，然后不可用故进而进行排查，最终定位到由于metaspace引...Michael_xlp阅读 16,563评论 6赞 1...阅读全文
##一次CMS GC问题排查过程（理解原理+读懂GC日志）一次CMS GC问题排查过程（理解原理+读懂GC日志） - iamzhongyong - ITeye技术网站 h...葡萄喃喃呓语阅读 1,089评论 0赞 1...阅读全文
0x00 背景介绍最近尝试用ES + Kibana来快速搭建一个全新的可视化平台，有机会仔细阅读了一下ES的文档，发现mapping里有很多设置选项，初次看时令人眼花缭乱，若设置不当，有可能浪费存储空间，也有可能导致无法使用Aggregations，故在此记录一下重点内容。如有错误，恳请点击这里提issue,我会及时改正。 本文参照的版本为 Elasticsearch 5.6 0x01 配置项速查这里列出了各个选项的名称、作用以及注意事项，仅供速查使用。详细解释请阅读下文。 配置项 作用 注意事项 默认值 index 是否加入倒排索引 关闭后无法对其进行搜索 字段仍会存储到_source和doc_values 字段可以被排序和聚合 开启 _source 存储post到ES的原始文档 会占用很...阅读全文
本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文
0、最初的写法(这样写也是可以的，就是太麻烦了，可读性不好) String param = "name={0}&idcard={1}&phone={2}&sex={3}&national={4}&birthday={5}&address={6}" + "&issuance=&effective=&effective_end=&front_photo=&back_photo=&scene_photo={7}&card_type=身份证&mopenid="; String sex = ""; if (usr.getAuthSex() == 0) { sex = "男"; } else if (usr.getAuthSex() == 1) { sex = "女"; } param = Messag...阅读全文
基本概念 在深入解读Lucene之前，先了解下Lucene的几个基本概念，以及这几个概念背后隐藏的一些东西。 Index（索引） 类似数据库的表的概念，但是与传统表的概念会有很大的不同。传统关系型数据库或者NoSQL数据库的表，在创建时至少要定义表的Scheme，定义表的主键或列等，会有一些明确定义的约束。 而Lucene的Index，则完全没有约束。 Lucene的Index可以理解为一个文档收纳箱，你可以往内部塞入新的文档，或者从里面拿出文档，但如果你要修改里面的某个文档，则必须先拿出来修改后再塞回去。 这个收纳箱可以塞入各种类型的文档，文档里的内容可以任意定义，Lucene都能对其进行索引。 Document（文档） 类似数据库内的行或者文档数据库内的文档的概念，一个Index内会包含...阅读全文
背景饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用graphite，后来慢慢有对指标有多维的需求(主要体现在对一个指标加多个Tag， 来组成Series，然后对Tag进行Filter和Group进行计算)，这时graphite基本很难满足需求。业界现在用的比较多的主要有如下几类TSDB：InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用InfluxDB。优点，支持多维和多字段，存储也根据TSDB的特点做了优化。但开源的部分不支持，很多公司自己做集群化， 但大多基于指标名来，这样会有单指的热点问题。现在饿了么也是类似的做法，但热点问题很严重，大的指标已经用了最好的服务器，但是查询性能还是不够理想， 如果做成按Series Sharding那成本还是有一...阅读全文
 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
饿了么轻量级分布式时序数据库的设计与探索 2018-07-19 10:14 作者介绍 黄杰，2015年加入饿了么，现任框架工具部高级开发经理，主要负责饿了么的监控系统及监控系统周边的工具。 一、背景 饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用的是graphite，后来慢慢对指标有了多维的需求，主要体现在对一个指标加多个Tag来组成Series，然后对Tag进行Filter和Group进行计算，这时graphite基本很难满足需求。 业界现在用的比较多的主要有如下几类TSDB： InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用的InfluxDB。其优点在于支持多维和多字段，存储也根据TSDB的特点做了优化，不过开源的部分并不支持。很多公司自己做集...阅读全文
近日，2024大湾区网络安全大会暨第二十六期花城院士科技会议在广州启幕。学者专家、高校院长、政府相关负责人及行业大咖齐聚一堂，围绕网络安全的前沿话题与挑战展开深入交流与探讨。天翼云科技有限公司网络安全领域高级产品经理刘寿浩在教育行业信息网络安全论坛发表演讲，阐述了天翼云AOne边缘安全加速平台在构筑教育网络安全堡垒方面的创新举措，为教育行业健康平稳发展贡献智慧力量。随着经济社会数字化进程加快，网络安全威胁和风险日益突出，全面加强网络安全保障体系和能力建设成为上云企业的当务之急。对于教育行业来说，网络与信息安全工作关系着教育信息化的稳步推进，是教育现代化不可或缺的重要部分。刘寿浩表示，教育行业的信息化安全建设需求主要集中在合规管理、安全运维、真实防护等方面。对此，天翼云通过融合终端、云网资源...阅读全文
