实战Flink+Doris实时数仓

 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 技术，在数据查询延迟上表现非常突出。 6、Doris 的聚合模型主要用于数据的汇总分析，明细模型主要用于明细数据的查询。 7、相对于 Kylin 只支持汇总模型，Doris 适用的数据场景更加广泛。 三、Doris核心技术特点： 存储模型：聚合模型，唯一Key模型，重复Key模型。通过Catalog方式接入外部数据源 丰富索引：倒排索引，排序索引，布隆过滤器，范围索引等。 查询：向量化计算，MPP查询，支持多表Join 智能优化器：支持CBO和RBO PipeLine执行：算子粒度并发级别调整 多态Schema：自动拓展Schema(2.0) 文本字段倒排索引，布隆过滤，实现类ES文本索引功能 湖仓一体：湖仓加速，元数据打通，支持Catalog 物化视图：单表物化，多表物化 对比Trino(Presto)有3倍的性能提升 高度兼容Mysql协议，支持高并发，多表Join性能好，支持事务导入，支持物化视图，支持实时和离线导入，支持联邦查询，支持倒排索引 应用案例：主要有画像，用户行为分析，日志分析，实时、离线报表分析