想起之前面试，面试官问我：什么是数据仓库？能用通俗易懂的方式说一下吗？好家伙，这不正好是我的拿手好戏吗。好，开讲！ 什么是数据仓库 数据仓库（下文以“数仓”称），顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、CRM、存款业务等数据。用于企业做数据分析、出报告、做决策；在有些公司也作为各业务系统的数据来源。 从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。 他们最主要的区别在于，传统事务型数据库如 MySQL 用于做联机事务处理（OLTP），例如交易事件的发生等；而数据仓库主要用于联...

大学时因为课程较赶，老师把视图的章节跳过了，让我一度以为基本没用，等到入了职才知道原来有用到。 为了找到面试的感觉，前几天专门投了简历，没想到还问了物化视图。还好看过，不然就尴尬了。 普通视图 视图可以理解为一张表或多张表的预计算，这些表称为基表。 它可以将所需要查询的结果封装成一张虚拟表，基于它创建时指定的查询语句返回的结果集。 视图具有以下特点： 安全性：只将需要的结果呈现出来，查询者不知道具体用了哪些表或哪些字段，因此比较安全； 屏蔽复杂性：下层计算可能做了很多复杂的关联操作，只需要让开发者将其实现，将结果以视图呈现给使用者。 如何创建普通视图 CREATE [OR REPLACE]...

#实习和正式工作最大的区别是什么# 实习：多给我点工作，从中学到东西！正式：谁给我活干，我和谁不共戴天！ 实习：领导，学校有点事，请一下假。正式：哦哟，肚子痛，请假吧。年假舍不得，病假还得扣工资，算了算了，忍一下。 实习：工资不是我考虑的，有工作就行。正式：就这点钱还想叫我干活？不干！加钱！实习：哎，这个不会，问下大佬。正式：哎，这个不会，先放着吧。

之前更完了《Kafka从入门到放弃》系列文章，本人决定开新坑——hive从入门到放弃，今天先认识一下hive。 hive介绍 hive是一个开源的用于大数据分析和统计的数据库工具，它的存储基于HDFS，计算基于MapReduce或Spark，可以将结构化数据映射成表，并提供类SQL查询功能。 特点 提供类SQL查询，容易上手，开发方便 封装了很多方法，尽量避免了开发MapReduce程序，减少成本 支持自定义函数，可以根据需求实现函数 适用于处理大规模数据，小数据的处理没有优势 执行延迟较高，适合用于数据分析，不适合对时效性要求较高的场景 hive的架构 MetaStore：元数据，数...

#实际工作与面试不符怎么办# 大部份人都会遇到这种情况，如果是校招生，可能因为没有工作经验，对实际工作有一个想象，特别是技术相关的，面试问的问题都差不多，等到入职后会发现实际工作不一样。比如数据开发，面试问的都是大数据组件，实际工作大部份都是写sql。所以，如果入职了，摆正自己的心态，先做着看看，然后看看其他同学或同事的工作，对比一下。如果觉得大家都差不多，而且自己也能接受，那就做着。如果没入职，建议面试的时候就了解清楚，查网上的信息，问面试官。

#入职被领导发现是水货怎么办# 知道了也没得办法，努力提高自己就是了，只要领导没有刁难你，说明还是没放在心上；如果还给你安排同等难度工作，说明还是看好你的；如果直接不给你活干或者边缘化你，那就要做好润的准备了。如果还没被发现，建议干完活后再去汇报。

#如何避免被同事甩锅# 最好在群聊的时候把双方领导拉上，如果没有，那就要有文档记录；如果是提需求的，让他把需求写好，没需求文档不做。

前几天 Oracle 数据库空间告警了，嗯，是时候清除数据了。 于是我分析了一波，决定删除某张大表的历史数据，保留近几个月的数据。 然后我发起了流程，因为比较急，所以我匆匆在测试环境写下如下代码： alter table xxx_table_name drop partition xxxx_partition_name;因为测试环境分区数量比较少，而且数据比较少，直接执行后没什么问题。于是到了晚上，我在生产环境执行这段代码。不出意料，果然成功了。但过了一会，告警显示索引失效。 我一拍脑门，心中骂了自己一句，XX，忘记重建索引了！ 于是我马上执行如下代码： alter index xxxx_pa...

Kafka从入门到放弃（三）—— 细说消费者 之前介绍了Kafka以及生产者，包括它的一些特性和参数，这回写一下消费者。 之前没看得可以点击链接阅读： Kafka从入门到放弃（一）—— 初识Kafka Kafka 从入门到放弃（二）—— 生产者 消费者与消费者组 在Kafka中消费者是消费消息的对象。假设目前有一个消费者正在消费消息，但生产数据的速度突然上升，这时候消费者会有点力不从心，跟不上消息生产的速度，这时候咋办呢？ 我们对消费者进行横向扩展，加几个消费者，达到负载均衡的作用。但是要做点限制吧，不然几个消费者消费同一个分区的消息，不仅没办法提高消费能力，还会造成重复消费。因此让他们分别消...

上一篇对Kafka做了简单介绍（还没看的朋友可以点击链接），消息中间件必须与生产者和消费者一起存在才有意义，不然就只是一台机器，所以这次先来聊聊Kafka的生产者。 在开始之前，先了解一下消息在Kafka中是如何存储的，如下图所示，一般我们称那些数字为offset（偏移量）一般来说，消息在持久化后应该是有序的，这里的有序是针对分区的，而不是针对 Topic 的。 而且，生产者写入消息时，是往 Leader 写入，Follower 从 Leader 进行复制。 别看生产者只是发消息，调用 API 也是几行代码，但它的学问多着呢。为更好地理解后面的内容，请带着以下问题阅读： 生产者发送消息前会...

消息中间件的使用已经越来越广泛，基本上具有一定规模的系统都会用到它，在大数据领域也是个必需品，但为什么使用它呢？一个技术的广泛使用必然有它的道理。 背景与问题 以前一些传统的系统，基本上都是“用户——系统——数据库”一条线，拿下单做例子，用户下单，系统接受并处理请求，把数据存到数据库。 这样的好处就是简单，但随着需求越来越多，用户量越来越大，系统需要承载的压力就越大；如果需要扩展系统，修改代码，牵一发动全身，麻烦滴很。 消息队列可以解决这些问题，它是一个存放消息的队列，生产者往队列推数，消费者从队列取数。 优点 解耦 一个系统一般都有很多个模块，但业务发展起来，系统的体量就跟着变大，就需要多做...

HDFS全称Hadoop Distributed File System，看名字就知道是Hadoop生态的一个组件，它是一个分布式文件系统。它的出现解决了独立机器存储大数据集的压力，它将数据集进行切分，存储在若干台计算机上。 HDFS 的特点与应用场景 适合存储大文件 HDFS 支持 GB 级别甚至 TB 级别的文件，它会把大文件切分成若干个块存储在不同的节点上，在进行大文件读写时采用并行的方式提高数据的吞吐量。 容错性高 HDFS有多副本机制，它会自动保存副本到不同的节点。即使有一台节点宕机了也不会丢失数据。 适用于流式的数据访问 HDFS 适用于批量数据的处理，不适合交互式处理。它设计的目...

一、简介 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。之所以说它是国人之光，是因为它是首个由国人主导的Apache顶级开源项目，能在亚秒内查询巨大的表。  二、基本概念 先了解一下几个概念，如下有一张表 ID 客户号 交易日期 交易类型 金额 1 ...

  很多程序员都学过MySQL，而且也会写SQL语句。但仅仅会写还远远不够，在面试中以及在工作中，还必须要会事务和并发。 一、事务 事务是满足 ACID 特性的操作，可以通过 Commit 提交事务，也可以使用 Rollback 进行回滚。 A（Atomicity）原子性：事务被视为不可分割的小单元，事务的所有操作要么全部提交成功，要么全部失败回滚。 C（Consistency）一致性：数据库在事务执行前后都保持一致性状态。在一致性状态下，所有事务对一个数据的读取结果都是相同的。 I（Iso...