有没有数据挖掘的面经啊。。

岗位名是数据开发，实则是做数据挖掘的组。问了很多算法😅1.介绍spark2.hash shuffle和sort shuffle区别3.文件少了什么会快？4.hash连接和join连接区别5.spark streaming和flink区别6.对NLP处理技术的了解7.讲一下什么是降维8.一个简历怎么变为一个向量9.编码器的输出是啥10.编码器和解码器为什么不同？11.编码器为什么不能生成12.GBDT讲一下13.它的目标函数咋设计的14.GBDT每个决策树拟合的目标是啥，为什么不能用一颗决策树。

Day6:统计学知识点总结（Part1） 核心知识点：3、假设检验、显著性水平、置信区间假设检验(hypothesis testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。其先对总体要得到的结论提出假设，然后利用样本信息去检验这个假设是否成立。显著性检验是假设检验中最常用的一种方法，也是一种最基本的统计推断形式，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。常用的假设检验方法有Z检验、t检验、卡方检验、F检验等。假设检验的基本思想:利用“小概率事件”原理，即小概率事件在一次试验中基本上不会发生。为了检验一个假设H0是...

2024.12.23（一面）一面 （1h 5mins）- 实习拷打  - 快手-评论模版留存率（10 mins）    - 严格漏斗和非严格漏斗的区别  - 字节-链路改造优化    - 延伸：数据的时效性怎么保证（从整体和单点分别叙述）    - 延伸：优化任务的思路    - 延伸：并行度相关的改法（三种）    - repartition（）能改变第一个stage的shuffle write的并行度吗？    - 第一个stage的shuffle write的并行度由什么决定？  - 字节怎么分的数据域  - 字节分了哪些主题域  - 数据域和主题域的区别（主题域：自上向下，从分析的角度划分）  - 分层的意义（复用性和一致性）  - 怎么考虑分层，该分多少层（直接说了没必要在意这个，要理解分层的本质，面试官表明说的也有道理，也抛了另一个观点：肯定要分层，需要有不同粒度的数据，每个人在意数据都不同，比如说老板在意汇总层的数据，数分可能更在意明细层的数据，另外，在做归因分析的时候也需要血缘追踪）- SQL题二面 （26 mins）全程实习拷打- 自我介绍- 字节实习  - 多机房代码一致性怎么保证的（治理存量，增量通过oceanus）  - 多机房涉及到的网络问题（通过全球化数据迁移解决）- 快手实习  - 评论模版留存率    - 严格漏斗和非严格漏斗的区别（准确性和计算量之间的取舍）    - 为什么这样设计    - 最终的目的是什么    - 有没有想过通过抽样解决数据量大的问题- 反问

Hadoop 有哪些组件？请简要介绍Hadoop 是一个由多个核心组件构成的分布式计算框架，每个组件负责不同的功能模块，共同支持大规模数据处理。以下是主要组件及其核心作用：HDFS（Hadoop Distributed File System）HDFS 是 Hadoop 的分布式文件系统，专为存储超大规模数据而设计。其核心特性包括：分块存储：文件被分割为固定大小的块（默认 128MB 或 256MB），分散存储在不同节点上。高容错性：通过多副本机制（默认 3 副本）确保数据可靠性。主从架构：包含 NameNode（管理元数据）和 DataNode（存储实际数据块）。YARN（Yet Anoth...