#软件开发笔面经# 美团一面1. 说一说对Hadoop体系的理解及其核心组件的功能。2. 数据上传到HDFS时如何划分数据块以及块与文件的对应关系。3. Hive常见的优化方案以及具体的实施方法。4. 数据仓库的分层结构DWD和DWS层是必须的吗？它们分别是做什么的。5. MySQL事务的四个原则（ACID）及其含义。6. MySQL中索引的分类及其区别（如聚集索引、簇状索引、非簇状索引）。7. 前缀索引及最左匹配原则的理解。8. Spark中RDD的宽窄依赖的区分，并举例说明哪些算子属于宽依赖或窄依赖。9. 简历深挖10. 遇到的最大的困难写sql，次日留存率讲讲你对维度建模的理解你觉得什么样的数仓是一个比较好的数仓？写sql，最大连续登录天数

#软件开发笔面经# 北京朗境科技有限责任公司一面（实习）来个简单的自我介绍吧你做过数仓项目吧，那你说说你在数仓搭建的职责是什么？Hive你学过吧，SQL优化你知道哪些HDFS的读写流程是什么？写流程呢？你们这个项目是几个人做的啊？你和团队怎么配合沟通合作的呢？你在桂电是吧，你目前在北京吗，为什么想来北京实习？你实习的时间，多长呢？Python你怎么用的？Pandas库知道吧，我要读个csv文件，我需要哪些API呢我：不会

#软件开发笔面经# 上海腾桥信息技术（实习）数仓做个简单的自我介绍吧2你学习过Hadoop吧，说一下用他做了哪些开发吧3 谈谈hdfs的理解4 namenode主要存储什么数据5 namenode存储了大量的文件（不是小文件），那么怎么解决6 谈谈HDFS的读写流程7 HDFS中如果namenode挂了，怎么办？8 谈谈你对SecondaryNamenode的看法，我不用他行不行？9 你学过Kafka是吧，那么他为什么可以高吞吐量10 消费Kafka是，一个分区可以供给多个线程，还是多个线程可以读一个分区11 Kafka的数据你们存储多少？ 每秒有多大的数据量12 Kafka的数据读写为什么快？13 你在项目中怎么用的Kafka？14 你学过Hive是吧？那么我问你一个题目15 两个题目，SQL的有用户id，有登录日期，请你计算连续7天登录的人数16 我有员工id，我有支付金额，请你计算每个人的最大的金额17 这个题目比较开放，我有一张新的表，存储新的数据，你如何大体的了解这张表的信息，说思路18 怎么解决的数据倾斜问题19 你在桂电，你现在是在学校吗？ 为什么想来上海20 你每周5天，实习三个月可以吗？21 反问

#软件开发笔面经# 自我介绍说说doris的模型 分区 分桶如何选择？说说你之前实习如何和产品或数分沟通协作的说一下你从事了哪些业务线说一下你从事业务下的核心指标（这里最好补充一下派生指标）你们的纬度表有哪些(主要考察你是不是做了这块业务线) 说一下数仓的星型模型和雪花模型理解(最好说概念，说一下当下业务线选择模型的原因)场景题：看你做的很多，说一下数据规范应该怎么做（简单说一下，表，字段，规则，要求举例）有从事数据治理相关的么（说一下治理大纲就行）说一下GC模型 遇到过gc调优吗yarn有哪些了解讲讲hql转化为MR源码hbase读写流程hive数据倾斜checkpoint介绍一下状态后端讲一下flink exactly-once如何保证flink的minibatch

#软件开发笔面经# 实习 货拉拉1面-数仓自我介绍 被打断哈哈项目深挖数仓怎么分层的？分层的好处？数据倾斜怎么解决的？ADS指标怎么开发的？实时数仓过程中遇到的问题？比如数据一致性？数据治理过程中怎么和业务方沟通，怎么推进（leader&下游），有什么问题？有么有遇到数据漂移，怎么解决（说实话突然就卡住了，解决方法基本上就是业务时间落盘保障时间，然后就是dqc 监控）技术题（基本等于没问）：sql了解多少，说一下开窗函数有哪些（老生常谈了）为什么选择我们公司？你对我们公司业务有多少的了解

数仓是什么？？？数仓在企业是什么定位？？老油条带你再上一个理解层次！看图！！ #实习#  #大数据#  #校招#  #秋招#  #数开#  #数仓#

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题 #实习#  #大数据#  #校招#  #秋招#  #数开#

双非二本大数据仔：数开 or 后端？别再让我纠结啦粉丝内容：双非二本大数据专业大三学生。我现在会 Hadoop、spark、hive、kafaka、flume 这些玩意儿呢，一直跟着 sgg 路线走。可我瞅着吧，感觉双非上岸数据开发那难度就像攀珠峰，太高啦！我就开始犹豫，是接着在这条路上死磕呢，还是转头去学后端？或者干脆贪心点，两个一起学？辉哥锐评：这网上信息看多了，那真是越看越迷糊，就跟进了迷宫似的，净让我焦虑。咱得整点实在的，多学点东西才是王道啊！多去跟大佬取取经，学学他们的经验。还有啊，得把简历好好优化优化，那可是咱的“敲门砖”呢！另外，数据仓库相关技术也得多搞搞，后面面试和工作都能用上 #实习#  #大数据#  #校招#  #秋招#  #数开#

桔子，万分感谢，我冲到了滴滴厂了 数据开发岗位 #大数据#  #数开#  #校招#   #秋招#  #实习#

终于拿到了校招offer 太牛了  数开

咱们的内容大屏搭起来了 嘿嘿，便于分析咯  也便于后续同学精准学习  #数开#  #大数据#

#大数据#  #试用期#

实习要主动请求参与工作么？当然了，你是来实习的 来成长的 一定要珍惜机会！ #实习#  #大数据#

大佬们，数仓任务有根据定时执行的，有根据血缘来执行的，有没有什么算法能将任务分布的很均衡，不要再一个时间段将资源打满，有什么调度算法可以参考吗1. 给资源池加80-90的限制 比如限制worker 数量 yarn任务数量 任务内存cpu数量2. 给任务加权重，权重高的优先进队列 用平台实现 #我的求职思考#  #大数据#  #数仓#