中信信用卡数据挖掘面经

建立有需要改的吗#国企是春招机械人最好的去处吗##正在春招的你，也参与了去年秋招吗？##牛客创作赏金赛#

Hadoop 有哪些组件？请简要介绍Hadoop 是一个由多个核心组件构成的分布式计算框架，每个组件负责不同的功能模块，共同支持大规模数据处理。以下是主要组件及其核心作用：HDFS（Hadoop Distributed File System）HDFS 是 Hadoop 的分布式文件系统，专为存储超大规模数据而设计。其核心特性包括：分块存储：文件被分割为固定大小的块（默认 128MB 或 256MB），分散存储在不同节点上。高容错性：通过多副本机制（默认 3 副本）确保数据可靠性。主从架构：包含 NameNode（管理元数据）和 DataNode（存储实际数据块）。YARN（Yet Anoth...

2024.12.23（一面）一面 （1h 5mins）- 实习拷打  - 快手-评论模版留存率（10 mins）    - 严格漏斗和非严格漏斗的区别  - 字节-链路改造优化    - 延伸：数据的时效性怎么保证（从整体和单点分别叙述）    - 延伸：优化任务的思路    - 延伸：并行度相关的改法（三种）    - repartition（）能改变第一个stage的shuffle write的并行度吗？    - 第一个stage的shuffle write的并行度由什么决定？  - 字节怎么分的数据域  - 字节分了哪些主题域  - 数据域和主题域的区别（主题域：自上向下，从分析的角度划分）  - 分层的意义（复用性和一致性）  - 怎么考虑分层，该分多少层（直接说了没必要在意这个，要理解分层的本质，面试官表明说的也有道理，也抛了另一个观点：肯定要分层，需要有不同粒度的数据，每个人在意数据都不同，比如说老板在意汇总层的数据，数分可能更在意明细层的数据，另外，在做归因分析的时候也需要血缘追踪）- SQL题二面 （26 mins）全程实习拷打- 自我介绍- 字节实习  - 多机房代码一致性怎么保证的（治理存量，增量通过oceanus）  - 多机房涉及到的网络问题（通过全球化数据迁移解决）- 快手实习  - 评论模版留存率    - 严格漏斗和非严格漏斗的区别（准确性和计算量之间的取舍）    - 为什么这样设计    - 最终的目的是什么    - 有没有想过通过抽样解决数据量大的问题- 反问

近期，有参加春招的同学和我交流了他的面试历程，我针对这些内容进行了细致的总结与梳理，并在此分享出来，希望能助力大家学习与借鉴。1. 自我介绍大家好，我是xxx，就读于xxx学校，今天我主要从专业技能和项目经历两个方面来介绍，在学校期间，学习过Hadoop、Spark、Flink等大数据框架以及Spring、SpringBoot等web框架，同时做过一个数仓的项目，整个项目分为3个模块，xxx；曾经在xx家公司工作/实习过xx时间，做的主要工作包括3个部分，分别是xxx；以上就是我的自我介绍，谢谢面试官2.八股文1）RDD是什么全称（Resilient Distributed Dataset）叫...