2023秋招-好未来-数据开发工程师-二面

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题 #实习#  #大数据#  #校招#  #秋招#  #数开#

#软件开发笔面经# 自我介绍第一个项目中的成员分工数据规模是多少数据模型是怎样考虑的项目中有没有遇到过什么问题，是如何解决的当时考虑接外部软件是吧，为什么没有考虑在数据可视化部分自己做一些定制化的开发第二个项目是部署上线的，可使用的项目是吧SQL中做行列转换如何操作如何找到脏数据中十条重复数据并删除如果直接筛，可能导致被锁住，有其他办法么SQL中几种删除方式的区别索引有了解吗，有哪些索引的类型什么情况下会导致索引失效分区有了解过吗大数据量处理慢SQL的解决和优化方法雪花模型和星型模型的区别事实表和维度表有什么区别Hive中内外部表有什么区别Hive和Spark有什么区别Sqoop在项目中主要做什么如何用Sqoop实现增量数据的处理常用Linux命令具体讲解改文件执行权限用什么命令做定时任务用什么命令找到某一目录下，找到占用空间的最大的文件创建文件呢校园经历，写过PPT是吧

#软件开发笔面经# 美团一面1. 说一说对Hadoop体系的理解及其核心组件的功能。2. 数据上传到HDFS时如何划分数据块以及块与文件的对应关系。3. Hive常见的优化方案以及具体的实施方法。4. 数据仓库的分层结构DWD和DWS层是必须的吗？它们分别是做什么的。5. MySQL事务的四个原则（ACID）及其含义。6. MySQL中索引的分类及其区别（如聚集索引、簇状索引、非簇状索引）。7. 前缀索引及最左匹配原则的理解。8. Spark中RDD的宽窄依赖的区分，并举例说明哪些算子属于宽依赖或窄依赖。9. 简历深挖10. 遇到的最大的困难写sql，次日留存率讲讲你对维度建模的理解你觉得什么样的数仓是一个比较好的数仓？写sql，最大连续登录天数

秋招结束咯～写写之前的面经攒人品～自我介绍为什么选数据开发，对数据开发的理解。HDFS的读写机制什么是数仓（不是只有结构化如果副本机制只有2，会有什么优点和危害？spark的计算都是在内存里吗项目中怎么进行数据清洗数据库的主键、唯一、外键索引（主键索引是唯一索引的一种，一个表中可以有多个唯一索引但只能有一个主键，主键列不能有空值，而唯一索引允许空值，主键可以作为其他表的外键）如果有大量客户注册，应该怎么优化数据库？Python的进程，线程和协程（进程是资源分配和调度的基本单位，有自己的独立空间，开销大；线程是CPU调度的基本单位，进程的实体；协程是用户态的轻量级线程，单线程内执行多任务；切换效率：协程＞线程＞进程）Python的复制，浅拷贝，深拷贝（浅拷贝只拷贝最外层，深拷贝拷贝所有完全独立。当原始对象的最外层改变时，两者都不变；当原始对象的子对象改变时，浅拷贝随之变化。修改浅拷贝的子对象会影响原始对象，但深拷贝不会。）学习大数据的时候遇到的一些难点手撕：链表反转，积分最高sql反问：需要做的主要工作，工作氛围，工作地点