阅文集团，用户画像算法工程师面经

进来交流一下  互相交流一下学习

学校学的课程、Python经常使用的库有哪些，HiveSQL与SparkSQL的区别项目拷打、HDFS在数仓里的地位毕设做的怎么样、实习规划、技术方面的规划、怎么看待出差和加班SQL拷打：考勤表（员工编号、员工打卡时间、打卡类型（上午、下午））正常打卡时间是9-17点日期表（时间、是否工作日）求全勤的人数

无自我介绍首先聊了聊项目在做的过程中有哪些难点，方案是怎么落实的1.数据倾斜的定位，处理方式2.spark和flink的区别3.flink在事件流中会遇到什么问题，怎么解决我答：乱序问题，解释了一下watermark 4.参加过社团吗，印象最深刻的经历5.项目为什么采用hive on spark架构我说了hive的优点，spark相比mr快的原因，以及与spark on hive的区别与优劣势6.列举mysql中你所熟悉的知识如事务，mvcc，存储引擎，索引结构7.脏读，幻读，不可重复读的理解8.最熟悉那种语言9.列举java有哪些数据结构10.arraylist与linkedlist的区别11描述.hashmap的结构，以及在插入的过程有哪些改变，平时是怎么使用的12.给你1亿条数据，怎么去做etl我答用sql去重与异常值处理，但面试官应该是想让我描述在大量数据场景下的去重或者说排序方案，其实就是布隆过滤器的问题，我这里呆了没考虑到，面试官似乎不满意我的答案……13.为什么考虑做大数据方向，未来的职业规划已oc

介绍开源项目介绍离线数仓可视化用的什么框架spark的submit的参数了解和做过数据清洗吗数据怎么清洗数据倾斜的优化思路了解scala吗给场景进行去重 和 选最近一条数据两道代码两数之和数组的小和1个小时有些忘了