1. 自我介绍2. java基础。equal和‘==’区别、&和&&区别、常用集合、list的实现类、list和set区别、继承特性、list和set区别。3. 介绍一下hadoop，说一下上传数据的流程。4. yarn的作用，资源调度过程。5. mapreduce过程、shuffle过程。6. hadoop高可用如何实现、通过什么方法调度、namenode挂一个怎么办、namenode重新上线后会怎么样。7. 介绍一下Hbase、region作用，用什么管理region？8. hive的作用和特点、hive中表的类型区别、hql转换成mapreduce过程、hive如何进行调优、hive中join操作类型。9. zookeeper的作用、zookeeper如何实现分布式锁、选举机制、zookeeper集群监控方式。10. kafka的作用、kafka如何保证消息顺序和一致性、介绍kafka中topic和partition、如何提高kafka的吞吐量。11. flume的作用、如何保证数据的可靠传输。12. 介绍spark、spark中数据处理模型、RDD的五大特性、RDD和DateFrame的区别、两者之间如何转换、介绍spark的核心组件、spark如何处理数据倾斜问题。13. 机器学习和深度学习的区别、有监督学习和无监督学习的区别。14. 问项目、项目中负责什么工作、亮点。反问xxx这个岗位主要是参与那种高校学习实验平台的建设、听面试官说主要负责一些实验教案的编写。问的东西真的多，小组件的一些东西，我说不会说的我自己都想笑了

1. 自我介绍2. 讲解一下项目3. 项目中数仓为什么要这样分层。4. 关于数模比赛项目的问题。xxx5. 写sql题。用户访问日志：user_id, device_id, date求1. 给定时间2024-06-17 用户、设备的数量，都有重复值，都有可能为空第一次写法：        select            count(distinct user_id) user_cnt            count(distinct device_id) device_cnt        from              t        where date_format(date,'yyyy-MM-dd') = '2024-06-07'追问这样写会导致什么问题，如何解决？会导致数据倾斜，先提前过滤空值再使用group by，再套一层直接统计

1. 维度建模和范式建模是什么，两者之间比较大的区别。2. 为什么说维度建模可以故意引入数据冗余，而范式建模要避免数据冗余，它们这样做的目的是什么？3. 两道Sql题。       order_info (                    order_id bigint,    -- 订单id                    city_name string,   -- 城市名                    driver_id bigint,    -- 司机id                    passenger_id bigint,    -- 乘客id                    call_time string,   -- 订单呼叫时间                    finish_time string,   -- 订单完成时间                    pay_time string)  -- 订单支付时间这个表是订单粒度的一个打车记录，call_time、finish_time、pay_time都有可能为空。（1）  求有多少个用户曾经呼叫过，多少个用户曾经完成过订单，多少个用户曾经支付过订单。用户可能多次打车。（2）  求每个城市完成订单最多的十个司机。4.  项目中数仓分了几层？为什么要分成5层？

处女面，很紧张1. 问项目2. 项目中为什么使用kafka作为缓冲队列。3. mapreduce原理。4. 如果mapreduce发生数据倾斜该如何解决。5. 解释一下列式存储、列式存储的文件格式。6. 星型模型、雪花模型、星座模型的区别和应用场景。7. 拉链表是什么、一般解决什么问题。8. 什么是指标体系、如何明确指标体系。9. zookeeper、datax等（项目上写的组件）这些组件的原理熟悉吗？10. Python的运用水平。11. 能否编写shell脚本完成日常数据导入？反问xxx已oc