大数据面试题

前沿介绍关于大数据面试岗位，经过近十多年的发展，对于大数据岗位的分工逐渐细化，从最开始的数据开发工程师，到拆分为离线开发和流计算开发，到拆分为基础组件开发、大数据运维、大数据产品等等一系列的细分岗位，这其中无疑是「大数据」的概念深入到各个行业领域，「数据」对于社会的发展和进步带来了实质性的作用，从大约2014年，2015年左右时间开始，移动互联网开始蓬勃发展，以数据为底座的各种移动应用百花齐发，面向C端群体的各种用户分析、行为预测、广告推荐以及基于算法+数据的内容推送平台都利用自身的数据采集技术，加上数据算法调度能力进行业务扩展。整个大数据历史背景，就不多加赘述了，本篇作为专栏的开篇内容，更多...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 面经及答案 1.有没有做过一些SQL优化，用过布隆过滤器吗 * 我们要明白为什么要做SQL优化？ 当然时因为任务跑的慢，那么哪些算子跑的慢呢？ 最常见的包括 join、group by、count(distinct)、row_number等等 接下来就一一讲一下针对每一种算子有哪些优化的方法论（这里主要说一下count distinct） 第一种最常见的方法就是两阶段聚合，即使用两层group by（这时候选取key非常重要，可能会因为选取的key倾斜导致代码执行并没有变快） 第二种就是布...

Spark Streaming面试题： 什么是Spark Streaming？它与Spark有什么不同？ Spark Streaming如何处理离线数据？ 什么是DStream（离散数据流）？如何创建一个DStream？ 什么是RDD（弹性分布式数据集）？ 如何将已有的RDD转换为DStream？ 过滤器转换器（Filter Transformers）是什么？在Spark Streaming中有哪些可用的过滤器转换器？ 什么是窗口操作？如何使用它们？ 什么是输出操作？在Spark Streaming中有哪些可用的输出操作？ 你在处理数据时遇到了内存问题，你该如何处理？ 在处理数据时，你发现处...

本篇内容主要从不同类型的面试者视角来聊一聊怎么来准备面试的事情，具体来说可以分为实习生、校招生、社招面试，在社招面试里面可以分为工作1-3年的，3-5年，5-10年，10以上的这么几个区间。为什么要把这个单独拿出一个篇幅来写呢？主要来源于我在日常面试以及面试辅导学生的过程中发现了以下几个问题点：人生中第一次跟企业面试官面试，实习生不知道怎么样来准备相关技能。校招生总感觉自己掌握的东西太少了，不足以来应对企业的校招面试。社招人员总感觉自己工作没有什么沉淀，感觉对面试没有任何作用。当然，以上这几个不同阶段遇到的问题，我其实也都遇到过，大学时因为即将要找工作，然后觉得自己专业课学的一塌糊涂，没有任何...