虎牙数仓实习

🐮🉑大佬的面经是没有整理的; flink框架和计网是没有学习的; 力扣算法是没刷的; 实习项目是没有整理和深挖的

常见的窗口排序函数你知道哪些？说一下他们各自作用。HDFS如何保证数据的可靠性和高可用性？它的副本机制是如何工作的？ES是如何保证数据高可用性的？如果一个节点宕机，系统会如何处理？Hive表里的分桶有哪几种形式，分桶与分区的区别？什么时候要去做分桶？Spark调优思路?常见的窗口排序函数你知道哪些？说一下他们各自作用。常见的窗口排序函数主要包括 ROW_NUMBER()、RANK()、DENSE_RANK()、NTILE() 等，它们常配合窗口函数 OVER(PARTITION BY ... ORDER BY ...) 使用，作用是对分组内的数据进行排序和排名。ROW_NUMBER() 是最常...

timeline3.05投递一面 3.19二面 3.243.28 流程终止 一面  1h1.数仓分层2.每一层的作用3.数据域有哪些4.周期快照 累计快照5.mr 和 spark join6.mr shuffle  reduce个数怎么确定7.深挖实习8.一道sql 每个类别消费最多的人9.一道力扣 买卖股票最佳时机二面 52min1.自我介绍2.如何看待数据仓库3.集成 面向主题分别是什么意思4.数仓项目 5.窗口函数 举一个使用lead的场景6.主题划分原因7.项目学习到了什么8.计算留存率 怎么设计模型9.给一个appid spark ui怎么看 怎么优化10.mr过程 如何优化11.hql解析 详细过程12.未来规划13.目前学习规划14.sql题 主播标签数

流处理系统架构 流处理架构图 [数据源] → [数据接入层] → [流处理引擎] → [数据输出层] ↑ ↓ [状态存储层] [协调服务层] 数据源（Source） 功能：持续生成或传输数据流，作为系统的输入。 消息队列：Kafka、RabbitMQ、AWS Kinesis（高吞吐、持久化）。 日志系统：Fluentd、Logstash（实时采集应用日志）。 数据库CDC：Debezium（捕获MySQL/Oracle变更日志）。 数据接入层（Ingestion Layer） 功能：将数据从源头可...