如题，虽然还是0offer，但是上两个星期至少一天能有一个面试，运气好能有两个，这个星期开始邮箱变得静悄悄了。是不是默认已经结束了

写在前面：这段时间经过了一段高强度笔面，但还是颗粒无收面试面试官进来就说：你不会flink？我：了解的不多那我们这次可能通过概率不大，但我们仍然可以就大数据来一波交流实时：Flink的checkpointFlink的反压Flink的状态后端离线：Kafka的有序性（不可全局有序，但可分区有序）面试官说不对？？我让他下去再好好看看Kafka一定不会丢数据嘛?Spark的内存模型（yarn-client，yarn——cluster）数据仓库的意义怎么衡量一个好的数仓（一致，质量，复用，统一口径。。。。)数据治理相关知识Hive的执行计划看过没？看过，通过stage，定位数据倾斜。维度建模方法：雪花，星型拉链表三个sql：连续登录，互相关注，最大直播间人数（全秒了）无奈啊，面试官说你这离线这边很扎实，但知乎的数仓只用实时，主要做实时推荐。寄！

Java的设计模式100g的数据在小内存里如何排序（spark）Spark为什么比mr快Hbase的适用场景Hbase为什么快和Clickhouse一样的数据库Clickhouse底层数据结构Clickhouse为什么快（很细）两个sql（难度较大）Hadoop的高可用触发后，会发生什么（面试官说不要背八股，详细说里面的流程）Flink水位线激活函数有哪些（sigmoid，relu）为什么要用激活函数Xdm好好学spark，面试官说现在业界离线基本都用spark。

一二面答的自我感觉都还行，结果二面完秒挂。最近有点破防了，加上遇到国庆放假，之前面完的都挂在终面了。鼠鼠真的抑郁了。有没有佬指点一下到底哪出问题了一面 常规八股+sql 20minMr的总流程Spark提交流程Mysql索引，为什么用b+树Jvm的垃圾回收算法Mysql的mvcc数仓建模理论，为什么分层，分几层，每层的作用是什么开窗函数，详细说一说sum（） over（）三个sql：主键出现次数>1的列个数连续登录某直播间最大流量一面没啥问题，该答的也都答完了，sql也写了。二面 15min项目详细介绍：ads层的表，最后分析的指标，ads层中表的每一列详细介绍。为什么选择大数据开发（实习的时候接触到过sql和etl）还学过其他什么组件（spark，flink，hvie等等都学过）数据开发的整个链路知道吗（底层基础平台-etl-数仓-上层的数据分析，数据挖掘）以后想做那一部分（从下到上每层都做）对以后职业发展的规划（如上）反问

更新，已感谢信，hr面挂——————————————————————————————面试战况为4对1拷打，虽然没有手撕，但鼠鼠受到了终极八股+项目拷打上来自我介绍+项目 讲10minSql相关：mvcc，事务，索引。Sql的限制（啥东西）查一个表索引重复怎么办？给题说思路：包括连接，开窗，去重，等等各种，explain，sql优化，Binlog，undolog，redolog（这部分答的还行）Linux：蚌埠住了，不该说会linux的改用户名，找一个文本具体某行，修改abc为bca怎么做，不能vim给用户owner赋予权限，chmod -x 777(不对）删除一个进程 kill -9（就会这一个）查看总的内存占用：top （参数是啥）不会之后还有，记不住了，到这就快顶不住了大数据相关：kafka为什么快，hive存储结构，orc和parquet具体深挖。kafka中zk作用Maxwell怎么同步，datex配置文件，hdfs上传文件，不同datenod之间是同步还是异步，mapreduce流程，flink窗口+水位线，hive转mr的执行过程，数据倾斜，小文件，flume的sink和source，udf编写到上传完整流程（这个建议好好看看，问的很细）调度器ds，连搭建三机架分布式流程都问了，蚌埠住了数据结构：排序算法会哪些，时间复杂度，springboot会吗？（不会）反问3-5天出结果 等就完事了

1h10 min面试官是个大佬，全程面试偏场景题八股：数仓建模，分层，每层作用，数据倾斜（group by，join）很细，小文件场景题：快手在某一时刻某主播开播时流量巨大，然后同一时间段还有多个主播开播有一些些主播可能粉丝少，但因为在搞活动，把在线列表和主播表join时会发生数据倾斜，这怎么解决雪花模型用过吗？（用过）讲一个使用雪花模型的场景（多值维度？）面试官说不对。然后只能说没用过上层埋点时如果出现时间不一致怎么解决（什么玩意，不会）离线数仓的实时性了解吗？（没太听懂面试官的点）但还是答了自己理解为什么实时数仓现在还是在企业里无法完全替代离线数仓？FLINK的缺点知道吗（不太了解）手撕3个sql：比较简单，经典连续登录，留存率，left join 问题，全搞出来了反问：面试表现：基础尚可，但缺少实际的企业项目经验。（寄了）面试官主要做的工作：管整个大数据组的，什么项目都做一点鉴定为寄

更新：第一天晚上做完英语测评，第二天早上挂了（虽然测评确实没认真做）————————————————————————————————————40min面试体验感超好，德子好感+1Spark sql了解吗？Dateframe 是啥（不会）项目里数据怎么拉的？Flume+kafka+flume+hdfs有什么过滤器吗？：3个flume拦截器 判断文件类型+时间戳过滤器+落hdfs小文件检测数据量：千万 flume拉取时间是多少？（不会，瞎编的10分钟有兄弟了解吗）Spark小文件怎么处理Kafka 的整体结构：broke+produce+consume （这边比较细）Jvm：可达性分析+引用计数+gc+jvm内存结构+volatileSpark 数据倾斜：加盐减盐，广播小表，提高并行度，map聚合等等反问：业务（之前一直以为德子的业务应该是写sql，但是后面了解到德子的业务很大，有搞spakr的有搞flink的有搞kafka的等等，给德子点赞）还有下一面吗：过了的话会有，业务主管面还有其他八股，无手撕#面经#

30min自我介绍项目：介绍一下项目几层。每层干了什么。去掉一层可以吗（又来）dwd和dws和ads都可以去掉 balabala数据量千万级别数据怎么同步？业务datex+maxwell，行为 直接flume拉。多久同步一次？一天一次。Ads层怎么接到可视化看板？手拉（这边傻逼了，忘记说接clickhouse同步然后接到可视化软件上了）Zk在kafka里的作用？保留offset，选举（半数机制），消费者负载均衡，broker负载均衡。管理一消费者一分区，topic注册，broker注册，（应该还有其他的这边很细）还有其他简单八股#面经#

一面1h10min面试官很和蔼，这次吸取上次教训提前背了自我介绍和项目，基本都答上来了实习（10min）实验室项目（5min）Mr流程Spark和mr区别窗口函数Shffule流程Spaker的宽窄依赖数仓建模的方法，层数，意义，每层都干了什么平时为什么用维度建模，范式建模有什么缺点数据倾斜（很细）熟悉的排序算法说时间复杂度一个大数组求topn（bitmap）然后追问，面试官说用堆。这块真没看手撕：写个快排Sql窗口函数 （lag，lead）反问

个人情况：本双一流硕211非科班，一段搞深度学习的实习。项目自己做的。全程面试被追问麻了面试官有问题必追问自我介绍项目深挖（20min）实习工作介绍（5min）数据倾斜有哪几种解决方法Group by 倾斜，join倾斜，null值倾斜分别说说这些倾斜怎么解决：全说上来了，面试官问：还有呢？。。。开启负载均衡，对小文件进行合并，对数据类型进行检查，还有呢？我就记得这些了Hdfs小文件危害，元数据压垮namenode，怎么处理：conbineinputformat，linux本地聚合，开启hive的自动聚合。还有呢？忘记了为什么开启map—join后会减小数据倾斜小表进内存，循环扫描大表，减小io次数.就这些吗？我说对说一下你熟悉的排序算法（快排，归并，冒泡）还有呢？（说了桶排，堆排）不太熟悉，针对熟悉的说说时间复杂度。数仓建模的层数：ods,dwd,dim,dws,ads（如果去掉几层或者多几层可以吗？）？？？缓慢变化维度怎么处理：拉链表，还有呢？：直接丢弃，添加新列，使用历史表，嗯，还有呢？不知道了。。。。哪两个拉链表如何更新？Row——number（）开窗，小的start_time在后面，大的start——time的序号在前面，然后取前面的值进行更新，后面的值更新最新日期。如果两个拉链表有重叠呢？说了sql取between，如果重叠就继续更新。哪拉链表如果出现断链怎么办（不会）（到这就不会了，然后继续深挖，问麻了都）Hdfs怎么保证高可用：分布式，副本存储，secondnode，备胎机制还有呢？传数据时的确认机制，还有呢？就这些了。面试官眉头一皱。Reduce和map的个数由扫描决定的？Map由块决定，redcue由分区决定。怎么优化分区的键值：hash打散，map聚合。还有呢？特殊后缀，Null值填充。还有呢？就这些了介绍一下rdd，五大特性，rdd的map-join知道吗？（不太了解）二叉树有几种遍历方式？前中后中的前中后代表什么。根据两个遍历可以确定第三个吗？可以。面试官接着问：你确定？。。。。。还有一些答上来的八股不太记得了，突出一个很慌手撕：处理特殊字符串。反问。