今天受邀去参加了某个公司面试的第二轮复试，今天复试的是公司的一个项目主管，感觉比之前面试的更懂技术一些，还问了一些比较刁钻的问题，在这里记录一些自己的不足和自己觉得比较有价值的东西，作为自己的部分参考。 ①关于docker和vmware优势 docker在磁盘空间上的节省不用说了，MB 与 GB的对比； VMware公司指出虚拟化会只会引入大约2%到4%的性能损失。在Docker容器中运行像Redis这样的应用程序，其性能是完全可以接受的，而其在安全、管理等方面的优势使得Docker容器成为虚拟化方面的推荐选择； Docker的简易性。“Docker为从根本上为简化和加快软件产品的构建提供了巨大的潜力”； docker其他的优势： 轻量级的隔离环境比虚拟机能够更方便和快捷地启动和停止； 可以...阅读全文
###引言： 不积跬步，无以至千里；不积小流，无以成江海。原本自以为对git相关的东西以及原理已经有了不错的认识和理解，然而当碰到一个小小的problem才发现自己掌握得并没有自己想象的那么好，好记性不如烂笔头，于是决定把自己对.gitignore以及submodule的部分理解简单记录下来，由于个人能力有限，如有不当之处，欢迎指正。 ###git submodule git submodule在项目中虽一直在使用（用于维护自有公共类库），不过对此知之甚少，于是抽空做一个小小的总结。可运行git submodule –help获取帮助doc。 目地：多项目维护共用公共类库starjazz 步骤： ####在项目中初始化submodule 1. 在即将引用的项目中初始化此git submodu...阅读全文
本文出自 Lesca技术宅，转载时请注明出处及相应链接。 本文永久链接: http://lesca.me/archives/iptables-tutorial-structures-configuratios-examples.html iptables防火墙可以用于创建过滤(filter)与NAT规则。所有Linux发行版都能使用iptables，因此理解如何配置iptables将会帮助你更有效地管理Linux防火墙。如果你是第一次接触iptables，你会觉得它很复杂，但是一旦你理解iptables的工作原理，你会发现其实它很简单。 首先介绍iptables的结构：iptables -> Tables -> Chains -> Rules. 简单地讲，tables由chains组成，而c...阅读全文
本文转载自http://www.hollischuang.com/archives/1658 Java事务的类型有三种：JDBC事务、JTA(Java Transaction API)事务、容器事务。 常见的容器事务如Spring事务，容器事务主要是J2EE应用服务器提供的，容器事务大多是基于JTA完成，这是一个基于JNDI的，相当复杂的API实现。所以本文暂不讨论容器事务。本文主要介绍J2EE开发中两个比较基本的事务：JDBC事务和JTA事务。 JDBC事务 JDBC的一切行为包括事务是基于一个Connection的，在JDBC中是通过Connection对象进行事务管理。在JDBC中，常用的和事务相关的方法是： setAutoCommit、commit、rollback等。 Java_j...阅读全文
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。MapReduce实现基本SQL操作的原理详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的...阅读全文
虚拟内存的那点事儿概述 我们都知道一个进程是与其他进程共享CPU和内存资源的。正因如此，操作系统需要有一套完善的内存管理机制才能防止...SylvanasSun阅读 2,647评论 0赞 2...阅读全文
Golang使用Groutine和channels实现了CSP(Communicating Sequential Processes)模型，channles在goroutine的通信和同步中承担着重要的角色。在GopherCon 2017中，Golang专家Kavya深入介绍了 Go Channels 的内部机制，以及运行时调度器和内存管理系统是如何支持Channel的，本文根据Kavya的ppt学习和分析一下go channels的原理，希望能够对以后正确高效使用golang的并发带来一些启发。以一个简单的channel应用开始，使用goroutine和channel实现一个任务队列，并行处理多个任务。func main(){ //带缓冲的channel ch := make(chan T...阅读全文
就在今年的3月份，字节跳动迎来新一轮组织架构大调整。 不同于同时期崛起的创业企业，过去很长一段时间里，字节跳动的架构中极少有CXO的身影，更没有CFO、CMO和CTO。 14名高管直接向CEO张一鸣汇报，涵盖公司所有职能，这一模式让张一鸣很难有富余的时间精力去做除了团队管理和业务沟通以外的事。 又可以做些什么？ 一、企业内...阅读全文
80、90后的青春，一半是周杰伦，一半是五月天。这两天朋友圈最火的莫过于周杰伦的新歌《说好不哭》，方文山作词，周杰伦作曲，歌曲中还有周董、阿信的倾情合唱，依旧是熟悉的节奏和小清新的风格，中年人的青春记忆，又回来了！  大家都说，周杰伦是“最懂青春的人”。因此，周杰伦本身就代表着一种青春的情怀。这种“约定”与“成全”的情歌，直接把QQ音乐搞崩的，也只有周董能做...阅读全文
1. 什么是OLAP OLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点：OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不可变更的数据存储，以及多维模型多视角多层次的数据组织形式，如果脱离的这两点，OLAP将不复存在，也就没有优势可言。参考：http://webdataanalysis.net/web-data-warehouse/data-cube-and-olap/2. OLAP引擎的常见操作下面所述几种OLAP操作，是针对Kimball的星型模型（Sta...阅读全文
企业上云，顾名思义就是将企业环境部署到云端，“云”一般指的是互联网，不用安装服务器，可即时开通使用。根据Garther的统计数据，近年来云服务市场一直以两位数增长，越来越多的企业选择“上云”，项目管理领域的云服务工具也得到越来越多企业的青睐。 一、本地安装和云服务 本地安装和云服务是两种不一样的部署方式，本地安装指的是服务器部署，需要在公司安装服务器等硬件设备，云服务则是在云端部署，不用安装服务器，也不需要运维人员；二者各有特点，企业一般根据自己的需求选择： 二、本地安装的优点 ①安全性较高：本地安装因为数据都在自己公司和服务器上，泄露和被黑客攻击的可能性较低，是比较安全的一种部署方式。 ②自主性较高：因为所有的数据都被买断，购买本地安装的企业，如果不考虑成本...阅读全文
这篇文章的目的是让你知道怎么了解你正在运行的Mongdb是否健康。 mongostat详解 mongostat是mongdb自带的状态检测工具，在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态，并输出。如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用mongostat来查看mongo的状态。 它的输出有以下几列： inserts/s 每秒插入次数 query/s 每秒查询次数 update/s 每秒更新次数 delete/s 每秒删除次数 getmore/s 每秒执行getmore次数 command/s 每秒的命令数，比以上插入、查找、更新、删除的综合还多，还统计了别的命令 flushs/s 每秒执行fsync将数据写入硬盘的次数。 mapped/s 所...阅读全文
在上一篇文章 通过某瓣真实案例看 Elasticsearch 优化 写了最近获得的一些优化 Elasticsearch (以下简称 ES) 的经验，也把这些分享给厂内使用 ES 的同事和萨 (SA)。 讨论中萨同事提了一个问题: 话说项目有 topK 这种聚合请求么？记得多分片情况下请求参数不合理可能出现不准确的聚合结果 我当时看完的第一反应是「啥？」，但是同事一提我突然隐约想起来曾经在什么地方看过这个问题。然后一顿搜索找到了官方文档的说明 (延伸阅读链接 1)，我详细的说说 聚合的结果不准确的原因 我们假设要聚合符合某要求的 N 个结果 (也就是请求参数中的 size)，ES 集群分片数为 S。 ES 分发聚合请求到所有的分片上单独处理，最后汇总结果。在单个分片的聚合过程中会把每个要聚合的...阅读全文
##1 浮点数为什么不精确先看两个case // case1: 135.90*100 ====// float32var f1 float32 = 135.90fmt.Println(f1 * 100) // output:13589.999// float64var f2 float64 = 135.90fmt.Println(f2 * 100) // output:13590 浮点数在单精度下, 135.9*100即出现了偏差, 双精度下结果正确. // case2: 0.1 add 10 times ===// float32var f3 float32 = 0for i := 0; i < 10; i++ { f3 += 0.1}fmt.Println(f3) //output:1....阅读全文
在新型冠性肺炎的侵袭下，似乎那一夜之间，国内大多数企业都接受了在线办公，云端协同的理念。其中，在线项目协作需求激增，根据媒体调查报告显示，疫情在家办公期间，在线项目管理工具每天应用的平均时长达5.89小时，成为疫情期间远程办公的最热SaaS应用Top 5。 如今，企业已陆续复工，越来越多企业都意识到在线项目管理的必要性和重要性，将项目工作彻底搬上云端不再是赶潮流的事情，而是变成了硬需求。选择一个合适的云端项目管理工具成为企业线上项目开展的第一步。 之前企业开展全员在家线上办公主要围绕员工建立规律性、有作息为主，使用的大多数在线办公软件也只是完成以工作计划、文档协同、考勤为主的企业内部管理业务，在项目工作的执行方面还远远不足够，比如：任务分解，进度管理、成本控制、项目追踪等等，难以...阅读全文
Mybatis的缓存级别 Mybatis提供了查询缓存来查询数据，使在项目开发中提高性能。 Mybatis的缓存分为一级缓存和二级缓存，一级缓存是SqlSession级别的缓存，二级缓存是mapper级别的缓存，二级缓存是多个SqlSession共享的。Mybatis通过缓存机制减轻数据压力，提高数据库的性能。 一.一级缓存没有过期时间，只有生命周期 （1）.Mybatis在开启一个数据库会话时，会创建一个新的SqlSession对象。SqlSession对象的缓存是Mybatis的一级缓存，在操作数据库时需要创建SqlSession对象，在对象中有hashMap用于保存缓存数据（对象的id作为key，而对象作为 value保存的）。一级缓存的作用范围是SqlSession范围的，当一个Sq...阅读全文
1、概述 首先要看TCP/IP协议，涉及到四层：链路层，网络层，传输层，应用层。 其中以太网（Ethernet）的数据帧在链路层 IP包在网络层 TCP或UDP包在传输层 TCP或UDP中的数据（Data)在应用层 它们的关系是 数据帧｛IP包｛TCP或UDP包｛Data｝｝｝ 不同的协议层对数据包有不同的称谓，在传输层叫做段(segment)，在网络层叫做数据报(datagram)，在链路层叫做帧(frame)。数据封装成帧后发到传输介质上，到达目的主机后每层协议再剥掉相应的首部，最后将应用层数据交给应用程序处理。 在应用程序中我们用到的Data的长度最大是多少，直接取决于底层的限制。 我们从下到上分析一下： 1.在链路层，由以太网的物理特性决定了数据帧的长度为(46＋18)－(1500＋...阅读全文
大部分人在日常的工作当中，都或多或少的会参与项目，而项目要能顺利执行其实并不简单，如果又渉及多个单位合作，困难程度又大增。 对项目经理来说，从他们的工作日志片段可以看出每个人都有自己悲惨的故事，程度恐怕只有过之而无不及。那我们该如何做好项目管理呢？ 一、什么是项目管理 在日常工作中开发一个新产品，举行一场大型国际会议，为客户做ERP系统的咨询、开发、实施与培训等，这些活动都可以称为一个项目。根据美国项目管理协会定义，项目是为创造独特的产品、服务或成果而进行的临时性工作。 而项目管理是指把各种系统、方法和人员结合在一起，在规定的时间、预算和质量目标范围内完成项目的各项工作。即从项目的投资决策开始到项目结束的全过程进行计划、组织、指挥、协调、控制和评价，以实现项目的目标。...阅读全文
本文尝试以提问回答的方式来介绍笔者所理解的图数据库。包括图数据库的基本定义，图数据库如何表达数据，图数据相比关系型数据库的优势，图数据库使用场景等。Q：什么是图数据库？A：图数据库是图数据库管理系统的简称，使用图形化的模型进行查询的数据库，通过节点、边和属性等方式来表示和存储数据，支持增删改查（CRUD）等操作。图数据库一般用于OLTP系统中，提供在线事务处理能力。与图数据库对应的是图计算引擎，一般用于OLAP系统中，提供基于图的大数据分析能力。Q：图数据库如何表达数据？或者其建模方式A：图数据库使用图模型来操作数据。目前使用的图模型有3种，分别是属性图（Property Graph）、资源描述框架（RDF）三元组和超图（HyperGraph）。现在较为知名的图数据库主要是基于属性图，更确切...阅读全文
前几日，罗永浩被限制消费令，再次引起了广泛的关注。而罗永浩则在微博上回应称，限制消费令已经取消，将努力工作尽快还债。  罗永浩自从锤子手机失败以来，就深陷债务危机。在今年罗永浩表示将利用自己强大的口才和粉丝团进军直播带货，进而想方设法的进行还债。  产品经理顾名思义就是负责产品管理的岗位，是一个产品从诞生到维护的牵头人，全权负责产品的最终完成。从大体上看，产品经理的主要工作内容有五大板块：产品的前期规划、产品设计、产品的实现以及后续迭代优化、管理工具的配合。 一、产品的...阅读全文
近年来，在高科技行业，为了响应快速的技术迭代和产品升级，敏捷开发流程正成为越来越多企业的选择。企业希望通过敏捷开发模式，基于自身的线性发展，来获取非线性的创新与竞争优势。 敏捷开发宣言是这样重新定义研发过程： • 个体和交互胜过过程和工具 • 可以工作的软件胜过面面俱到的文档 • 客户合作胜过合同谈判 • 响应变化胜过遵循计划 敏捷开发模式的践行，并非易事。首先是团队观念的转变和组织变革，然后这些还并不足够，在敏捷流程中特别强调沟通的高效，快速而有序。要做到这样，您还需要一个协作平台。 敏捷开发有多种不同的流程变型，但其主体流程，基本都遵循如下几个过程： TCP 连接管理TCP 慢启动，因此尽可能的复用连接 (keep-alive)一个 TCP 连接上只能有一个 request/response，可以使用 pipeline 实现并发请求，但会有头部阻塞问题，现代浏览器默认不启用 pipeline，而是通过对一个域名同时建立多个连接 workaround头部 field 重复，造成资源浪费资源没有优先级HTTP/2 特性：HTTP/2 没有改变 HTTP/1.1 的语义 (method, status code, URI, header 均保留)，其改变了数据是如何传输的。多路复用: 为了更高效地利用多路复用，另外实现了 Flow Control...阅读全文
作者 | 翟娜大数据时代，数据的价值越来越被重视，企业从海量大数据中挖掘所需要的信息，用来驱动业务决策以获得更大的商业价值。与此同时，出现了越来越多的大数据技术帮助企业进行大数据分析，例如 Apache Hadoop，Hive，Spark，Presto，Drill，以及今天我们即将介绍的 Apache Kylin 和 Apache Phoenix 项目等，都是使用 SQL 语言就可以分析大数据，极大地降低了大数据的使用门槛。这些大数据技术提供 SQL 查询接口，不只是因为 SQL 学习成本低，同时也和 SQL 拥有丰富而强大的表达能力、能满足绝大多数的分析需求的特性有关系。了解 Apache Kylin 和 Apache Phoenix 的同学都知道，它们都是使用 Apache HBase ...阅读全文
Flink 的 window 有两个基本款，TimeWindow 和 CountWindow。 TimeWindow 是到时间就触发窗口，CountWindow 是到数量就触发。如果我需要到时间就触发，并且到时间之前如果已经积累了足够数量的数据；或者在限定时间内没有积累足够数量的数据，我依然希望触发窗口业务，那么就需要自定义触发器。import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.common.state.ReducingState; import org.apache.flink.api.common.state.ReducingStateDescriptor; ...阅读全文
项目管理工具，一般指为了使工作项目能够按照预定的成本、进度、质量顺利完成，而对人员、产品、过程和项目进行分析和管理的一类软件。 从上述定义上看，项目管理工具是为了帮助管理者，但管理者需要了解自己在特定情况下的“缺点”，才能从“恰当”的工具中获得“恰当”的帮助。 如果你不知道在某个特定项目中自己（作为项目经理）的缺点，也不知道自己需要利用哪些好用的项目管理工具获得哪些帮助，那么项目的成功完全是靠运气。 市场上大部分项目管理工具都是信息记录工具，如看板（KANBAN）工具和MS project项目管理工具。 看板工具模拟的是在白板上使用黄色便利贴手动记录和更改信息。MS project模拟是人类在电子表格中拟写项目计划。 在项目执行过程中，单纯的信息记录工具并没有检...阅读全文
@Transactional注解就代表支持事务管理，@Transactional 注解可以被应用于接口定义和接口方法、类定义和类的 public 方法上。如果这个注解在类上，那么表示该注解对于所有该类中的public方法都生效；如果注解出现在方法上，则代表该注解仅对该方法有效，会覆盖先前从类层次继承下来的注解。 @Transactional 注解只能应用到 public 可见度的方法上。 如果你在 protected、private 或者 package-visible 的方法上使用 @Transactional 注解，它也不会报错， 但是这个被注解的方法将不会展示已配置的事务设置。 注意仅仅 @Transactional 注解的出现不足于开启事务行为，它仅仅 是一种元数据。必须在配置文件中...阅读全文
大部分人在日常的工作当中，都或多或少的会参与项目，而项目要能顺利执行其实并不简单，如果又渉及多个单位合作，困难程度又大增。 对项目经理来说，从他们的工作日志片段可以看出每个人都有自己悲惨的故事，程度恐怕只有过之而无不及。那我们该如何做好项目管理呢？ 今天CORNERSTONE就从以下几个方面来给大家分享如何做好项目管理： 1.什么是项目管理？ 2.项目管理的难点在哪？ 3.项目管理与产品管理有何不同？ 4.我们该如何做好项目管理？ 5.好用的项目管理软件推荐 一、什么是项目管理 在日常工作中开发一个新产品，举行一场大型国际会议，为客户做ERP系统的咨询、开发、实施与培训等，这些活动都可以称为一个项目。根据美国项目管理协会定义，项目是为创造独特的产品、服务或成...阅读全文
项目管理是企业实现组织目标过程中经常使用的一种管理工具。它指的是项目实施者在有限的时间、资源、空间和外部环境等因素的约束下，运用系统化、结构化思维方法、技能和工具，对项目决策、实施、检查、验收、评价全过程进行有效的计划、组织、领导、控制，以实现项目目标的各种活动。项目管理是知识和资源通过整合、创造转化为经济产出的重要途径，是实现企业经营战略的核心载体，在企业成长中的发挥着引领性、支撑性作用。 打造以项目为中心的业绩管理体系，是不少创新型企业保持竞争力的重要手段。项目管理有一套相对严密的流程控制，以保证项目实施达到预期成效。在这个过程中，项目经理发挥着组织者、管理者和执行者的关键作用。项目管理一般经过启动、计划、执行、控制、验收评价共五个阶段和流程。 弄清项目目标、...阅读全文
前言 Http 缓存机制作为 web 性能优化的重要手段，对于从事 Web 开发的同学们来说，应该是知识体系库中的一个基础环节，同时对于有志成为前端架构师的同学来说是必备的知识技能。 但是对于很多前端同学来说，仅仅只是知道浏览器会对请求的静态文件进行缓存，但是为什么被缓存，缓存是怎样生效的，却并不是很清楚。 在此，我会尝试用简单明了的文字，像大家系统的介绍HTTP缓存机制，期望对各位正确的理解前端缓存有所帮助。 在介绍HTTP缓存之前，作为知识铺垫，先简单介绍一下HTTP报文 HTTP报文就是浏览器和服务器间通信时发送及响应的数据块。 浏览器向服务器请求数据，发送请求(request)报文；服务器向浏览器返回数据，返回响应(response)报文。 报文信息主要分为两部分 1.包含属性的首部...阅读全文
最近很多客户沟通中会聊到一个话题，还没有上规模的企业，需要不需要进行项目式管理？ 我给到的答案是肯定的。而且越早越好。 很多企业管理者认为，项目管理是中大型企业针对大型的项目进行的集中式管理，形成一个个完备建制的项目团队完成指定任务。还组建项目团队，形成一整套项目流程。小型企业根本没有这么多的精力去完成这样的操作。 项目管理其实是指在项目活动中运用专门的知识、技能、工具和方法，使项目能够在有限资源限定条件下，实现或超过设定的需求和期望的过程。 那么无论公司大小，任何行业都存在激烈的商业竞争，如何才能提升产品质量，降低生产成本，提供更有性价比的产品才能占据市场主导地位，在当下激烈的商业竞争中脱颖而出。所以如何进行高效项目管理是每一个企业都不能忽视的问题。 一、项目...阅读全文
概述 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 数据准备 数据格式 2015-03,2015-03-10,cookie1 2015-03,2015-03-10,cookie5 2015-03,2015-03-12,cookie7 2015-04,2015-04-12,cookie3 2015-04,2015-04-13,cookie2 2015-04,2015-04-13,cookie4 2015-04,2015-04-16,cookie4 2015-03,2015-03-10,cookie2 2015-03,2015-03-10,cook...阅读全文
企业信息化是企业高效运行的基础。如何达到高效的目的跟管理软件的选型分不开。管理软件以企业管理需求为基础，以IT技术为支撑，为企业提供数据信息的综合管理办法。 随着项目管理思想逐步被接受，市面上涌现出越来越多的管理软件出现在公众的面前，如雨后春笋般层出不穷，一时间“管理软件”名声大噪。市场反响较好的有[CORNERSTONE](https://www.cornerstone365.cn/)，一款软件聚合多种功能 , 全流程帮助各大企业管理整个项目生命周期。  1、动态分区：分区不固定；关键在于“动态”，不需要人为使用 alter table 命令执行添加分区 2、静态分区：分区固定，需要认为使用 alter table 命令添加分区 最大区别：动态分区与静态分区区别就是不指定分区目录，由系统...阅读全文
1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操作HBase。 本篇博客，笔者将为大家介绍另一位一种SQL方式来操作HBase，那就是Hive。 2.内容 2.1 使用场景 熟悉大数据的同学应该都知道，Hive是一个分布式的数据仓库，它能够将海量数据，结构化存储到HDFS上，然后通过SQL的方式对这些海量数据进行业务处理。而且，Hive学习成本很低，熟悉SQL的同学，很快就能编写一个Hive应用程序。 我们通过Hive把数据加载到HBase表中...阅读全文
随着新一轮SaaS风潮的到来，企业对SaaS软件的接受度不断提高。 根据国际咨询公司Gartner的研究报告显示，2020年有36%的企业将使用云技术来支持超过企业一半的交易。 你是否正在考虑将企业业务迁移到云端，是否正在为寻找合适的SaaS软件而烦恼？ 接下来，与CORNERSTONE一起探讨企业该如何选择合适的SaaS软件。 一、什么是SaaS？ 。 在这样的CPU中，总是以4字节对齐的方式来读取或写入内存， 那么同样这4个字节的数据是以什么顺序保存在内存中的呢？我们下面详细探讨一下。 字节序包括：大端序和小端序。 而所谓大端序（big endian），便是指其“最高有效位（most significant byte）”落在低地址上的存储方式。 而对于小端序（little endian）来说就正好相反了，它把“最低有效位（least significant byte）”放在低地址上。 go处理字节序接口 Go中处理大小端序的代码位于 encoding/binary ,包中的全局变量...阅读全文
奇技指南近日，我们邀请到百度高级研发工程师李超勇前来360，分享百度开源数据库Apache Doris 的原理与实践。Apache Doris简介Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据库，由百度在2017年开源，2018年8月进入 Apache 孵化器。本次将主要从以下三部分介绍Apache Doris.Doris定位：即 Doris所要面临的业务场景及解决的问题Doris关键技术Doris案例介绍01 Doris定位 实时数据仓库Doris产品定位我们首先看一下Doris整个的定位。MPP 架构的关系型分析数据库PB 级别大数据集，秒级/毫秒级查询主要用于多维分析和报表查询2018年进入 Apache 孵化器使用场景上图是整个Doris的具体使用场...阅读全文
数据仓库中星型模型和雪花模型参考：理解数据仓库中星型模型和雪花模型 在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构 ...浮生若梦____阅读 659评论 0赞 ...阅读全文
一文读懂Apache Kylin“麒麟出没，必有祥瑞。” —— 中国古谚语 Kylin思维导图 前言 随着移动互联网、物联网等技术的发展，近些年人类所积累的数据正在呈爆炸式的增长，大数据时代已经来临。但是海量数据的收集只是大数据技术的第一步，如何让数据产生价值才是大数据领域的终极目标。Hadoop的出现解决了数据存储问题，但如何对海量数据进行OLAP查询，却一直令人十分头疼。 企业中的查询大致可分为即席查询和定制查询两种。之前出现的很多OLAP引擎，包括Hive、Presto、SparkSQL等，虽然在很大程度上降低了数据分析的难度，但它们都只适用于即席查询的场景。它们的优点是查询灵活，但是随着数据量和计算复杂度的增长，响应时间不能得到保证。而定制查询多数情况下是对用户的操作做出实时反应，H...阅读全文
前言 前一篇「硬不硬你说了算！近 40 张图解被问千百遍的 TCP 三次握手和四次挥手面试题」得到了很多读者的认可，在此特别感谢你们的认可，大家都暖暖的。 来了，今天又来图解 TCP 了，小林可能会迟到，但不会缺席。 迟到的原因，主要是 TCP 巨复杂，它为了保证可靠性，用了巨多的机制来保证，真是个「伟大」的协议，写着写着发现这水太深了。。。 本文的全部图片都是小林绘画的，非常的辛苦且累，不废话了，直接进入正文，Go！ 正文 相信大家都知道 TCP 是一个可靠传输的协议，那它是如何保证可靠的呢？ 为了实现可靠性传输，需要考虑很多事情，例如数据的破坏、丢包、重复以及分片顺序混乱等问题。如不能解决这些问题，也就无从谈起可靠传输。 那么，TCP 是通过序列号、确认应答、重发控制、连接管理以及窗口控...阅读全文
Spring CloudSpring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智...卡卡罗2017阅读 104,206评论 12赞 12...阅读全文
从上一节的内容可以看到，选项TCP_NODELAY是禁用Nagle算法，即数据包立即发送出去，而选项TCP_CORK与此相反，可以认为它是Nagle算法的进一步增强，即阻塞数据包发送，具体点说就是：TCP_CORK选项的功能类似于在发送数据管道出口处插入一个“塞子”，使得发送数据全部被阻塞，直到取消TCP_CORK选项（即拔去塞子）或被阻塞数据长度已超过MSS才将其发送出去。举个对比示例，比如收到接收端的ACK确认后，Nagle算法可以让当前待发送数据包发送出去，即便它的当前长度仍然不够一个MSS，但选项TCP_CORK则会要求继续等待，这在前面的tcp_nagle_check()函数分析时已提到这一点，即如果包数据长度小于当前MSS &&（（加塞 || …）|| …），那么缓存数据而不立即...阅读全文
目录 1 背景 2 何为Counter类型？ 2.1 Counter定义 3 何为Gauge类型？ 3.1 Gauge定义 4 Counter和Gauge的对比 1 背景 Prometheus整体架构分为Server端和Exporter端，而Exporter通常是基于官方的SDK开发（例如Go SDK）。 这里要明确一个概念：数据指标类型只是Client端的一个概念，用于维护Metric的生产，以方便在业务上有所区分。 而Server端是不区分数据类型的，因为所有的数据都是一种格式，也即时间序列 Metric
Apache Doris 在美团点评的实践 作者: 康凯森 日期: 2019-04-27 分类: OLAP 技术选型 背景 用户需求 Why Not Other ROLAP Why Doris 典型应用 变化维表 Join 明细 + 聚合 外卖准实时数仓 Doris 服务现状 平台化建设 Hive To Doris Kafka To Doris 功能改造 谓词下推的传递性优化 查询执行多实例并发 Colocate Join 未来规划 致谢 本文的内容是我 4 月 13 日在 Doris Meetup 上的分享，我主要从技术选型，典型应用，平台化建设，功能改造 4 方面进行了分享。 技术选型 背景 在2017年年底，我们已经维护了 Kylin 和 Druid 两个开源 OLAP 系统，Kyli...阅读全文
Spring CloudSpring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智...卡卡罗2017阅读 89,952评论 13赞 12...阅读全文
