数仓面试

总体问的都是蛮基础的，也是根据简历来问的，你简历上写熟悉哪些，就会问哪些1.自我介绍2.项目来源，自己做的还是网上找来做的3.离线数仓介绍4.项目遇到的问题（提到kafka的重复数据）5.为什么kafka会出现重复数据6.你项目中怎么处理的7.数仓分层的好处8.数仓分了哪几个数据域9.讲一些维度建模10.常见的维度模型（雪花、星型）11.使用场景12.除了维度建模，还有哪些建模理论(E-R）13.E-R模型讲一下（提到数据库范式）14.讲一下三范式15.事实表的分类16.spark相比mr的优点（因为项目是hive on spark）17.hadoop的读写原理18.读写过程中，datenode挂掉了，怎么处理19.你两个项目更倾向于做哪方面（一个实时，一个离线）20.==和equals的区别21.StringBuilder和StringBuffer区别22.简历提到的做过python开发，是做了什么23.平时是用python语言写脚本还是shell语言24.hive的优化方式25.自定义udf的过程26.窗口函数使用过哪些，介绍一下27.row_numer和rank以及dense_rank的区别28.学习途径29.校园经历30.对工作上出现的一些场景的看法31.反问教训：1.不能够很好的表达意思，表达较为混乱，其实都是一些基础的八股。解决：可以多用自己的话去回答这些八股题，不然面试一紧张，就语无伦次，多用自己的话去总结回答问题2.简历中提到的东西，尽量去弄懂搞清楚，并把相关的八股好好准备一下3.可以拓展面试官的问题的回答，提到一些自己知道的东西，然后引导面试官往那方面提问。 #数仓面试# #有车以后#广州的一个中小公司吧

很多刚开始学习大数据的同学还不知道数仓是什么？数仓的资料很少，面试如何准备该部分？数仓hc远多于数开hc？ 【是的】很多同学offer上写的虽然是大数据开发工程师，其实仍然是数仓开发的岗位？ 【是的】首先我们明确一下数据仓库是什么？数据仓库是一个面向主题的（比如订单、商品、会员）、集成的（来自不同数据源的统一数据规范比如男女的取值，命名规范的统一，字段类型的统一）、非易失（一般不会进行删除和修改操作）且随时间变化（并不是数据会变，而是数据随着时间会不断增多）的数据集合，主要用于存储历史数据，然后通过分析整理进而提供数据支持和辅助决策。【面试问到，就这么回答，绝对满分答案】接下来聊一下...

HBase 的适用场景是什么？HBase 是一种分布式的、可伸缩的列式存储系统，适用于以下场景：大规模数据存储和处理：HBase适用于需要存储和处理大规模数据集的场景，可以处理PB级别的数据。实时读写需求：HBase提供了快速的随机读写能力，适用于需要实时访问和更新数据的场景。高可靠性和容错性要求：HBase在设计上具有高可靠性和容错性，通过数据的复制和分布式存储，可以保证数据的可靠性和可用性。高并发读写需求：HBase支持高并发的读写操作，能够满足多用户同时访问和更新数据的需求。弹性扩展性：HBase可以方便地进行水平扩展，可以根据数据量的增长自动进行分片和负载均衡，适用于需要灵活扩展存储容...

1.数仓为什么要分层数仓分层是为了提高数据的管理和使用效率。首先，分层可以帮助数据仓库实现数据的结构化和整理。通过将数据按照不同的层级进行分类，可以更好地对数据进行管理和组织，使数据结构清晰明确。其次，分层可以提供不同的数据访问方式和权限控制。将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。此外，分层还可以提升数据仓库的性能和扩展性。将数据仓库按照不同的层级进行划分，可以根据需求优化每个层级的性能，使数据的查询和分析更加高效。同时，分层也便于数据仓库的扩展和维护，可以根据需要进行层级的增加或删除。最后，分层还可...

火车票业务有点久远一直忘了写，就记得这么多一面：1、自我介绍2、聊实习，扣细节3、聊实习项目技术难点，聊到了我用later view遇到的坑，面试官直接激动，并表示他前几天也碰到了这个坑，两边都很惊喜，直接惺惺相惜4、聊竞赛经历，内容以及遇到的难点5、开始八股，写吐了，这里就省略了，要看的看我之前的帖子6、sql题，是啥忘了，难度中等吧7、反问二面 主管面：1、自我介绍2、聊实习实习项目聊到cube优化两边理解有gap，扯了半天给我急死了，也是因为这里导致二面面评只有b，一面是a3、你作为一个实习生，这么核心的项目交给你来？还是说你负责其中的某个方面？解释完了4、聊职业规划和职业理解5、反问h...

到店业务有点久远一直忘了写，就记得这么多一面：1、自我介绍2、比赛中遇到的难点3、实习中做的项目，聊项目细节 (大部分时间都在问这个)我好像很多面经都这么简略的写，这次写细点儿哈，里面涉及到的一些知识点，具体项目就不聊了数仓模型设计方法数据质量如何判断如何保障下游查出时间对于重要程度不同的任务如何合理分配资源dwd层建模方法，考虑哪些东西spark任务调参逻辑和常用参数cube使用优化roaringbitmap实现原理和应用场景项目的目标是什么业务过程详细讲解反思之前的某个项目，有没有可以优化的地方4、spark任务提交过程5、spark和hadoop的区别6、宽窄依赖7、数据倾斜场景、原理...

1.计算优化主要从数据倾斜方面讨论任务优化Map倾斜为什么Map的主要功能是从磁盘中将数据读入内存，由于读入数据的文件大小分布不均匀，因此会导致有些map task读取并且处理的数据特别多，而有些map task处理的数据特别少，造成map端长尾。以下两种情况可能会导致Map端长尾：上游表文件的大小特别不均匀，并且小文件特别多Map端做聚合时，比如map join，某些map task读取文件的某个值特别多怎么办针对第一种情况，可以对上游的小文件进行合并，通常就是调整小文件的参数来进行优化，比如 调节map任务的map task的数量，以及 调节单个map task读取的小文件个数。针对第二种...

## 数据开发工程师#社招#急招### 职位描述1. 参与数据中台的汇聚和采集ETL详细设计和开发工作；2. 负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；3. 负责数据分析需求的模型开发和实现；4. 负责来自业务团队数据方面的研发需求。### 职位要求1. 0-5年以上大数据开发经验，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；2. 熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；3. 熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；4. 熟练scala、python、java中至少一种语言；5. 具有良好服务意识，抗压力和沟通能力强，有过toB行业服务经验优先。### base 重庆/北京/上海/深圳 【 **有能力的小伙伴 可以带简历v ************** 】#大数据##面试##招聘##实习##社招##数仓面试#

数据开发工程师#实习#社招#急招 10+坑位职位描述参与数据中台的汇聚和采集ETL详细设计和开发工作；负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地；负责数据分析需求的模型开发和实现；负责来自业务团队数据方面的研发需求。职位要求0-5 年大数据开发经验 都可以，精通SQL语言，具备存储过程开发能力，能熟练进行SQL查询优化；熟悉Hive数据仓库设计，了解数据仓库模型及思想、维度建模思想，了解数据仓库、CDP者优先；熟悉Hadoop、Spark、Flink、Sqoop、DataX、Hive、Flume、Kafka等相关技术；熟练scala、python、java...

#数仓面试#大厂企业级数仓建设规划https://z.itpub.net/article/detail/18D686000EA5B82E83569C32A5437266

干货满满(òωó)👍👉大数据开发面试必备