科拉奥数据开发一面

岗位：大数据开发实习生职位描述1、参与字节抖音小游戏与玩法业务离线和实时数据仓库建设工作；2、面向PB级超大规模数据问题，每天处理千亿增量的用户行为数据；3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程；4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。职位要求1、2026届及以后毕业，本科及以上学历在读，计算机相关专业，或具备同等计算机知识水平和学习能力的其他专业应届生；2、熟悉数据仓库实施方法论、了解数据仓库体系；3、会使用SQL，掌握Java、Python、R、Scala、C/C++ 中任意一门编程语言；4、 有大数据集、分布式计算工具（Map/Reduce，Hadoop，Hive等）工作经验优先；5、 思路清晰，善于思考，有很强的数据分析能力，能独立分析问题并推动解决问题；6、 每周可以实习4天以上，连续实习3个月以上。目前急招中，跟进很快，最好之前做过数仓实习，base北京知春路有意投简历至某易邮箱tang_3145

流处理系统架构 流处理架构图 [数据源] → [数据接入层] → [流处理引擎] → [数据输出层] ↑ ↓ [状态存储层] [协调服务层] 数据源（Source） 功能：持续生成或传输数据流，作为系统的输入。 消息队列：Kafka、RabbitMQ、AWS Kinesis（高吞吐、持久化）。 日志系统：Fluentd、Logstash（实时采集应用日志）。 数据库CDC：Debezium（捕获MySQL/Oracle变更日志）。 数据接入层（Ingestion Layer） 功能：将数据从源头可...

3.26美团一面自我介绍spark相关的八股：宽窄依赖，spark join，spark sql执行过程，spark任务的提交流程，spark算子，driver 在什么时候运行等等hadoop 的文件存储格式java 的arraylist hashmap concurrent hashmap mysql的acid，四种隔离级别还有好多记不清了 手撕 寻找数组中第k大的值一面挂4.3一面(被捞)全程无八股，聊实习聊项目 手撕sql留存率问题4.3晚约二面4.11二面聊实习聊项目4.11晚offer二面在上午，结束后没有沟通，晚上直接发了offer #实习进度记录#  #牛客创作赏金赛#

Flink SQL开发链路全流程先确定源，一般都是Mysql到kafka/mq，通过读binlog获取，也可以直接读后端提供kafka/mq，其次是流表，流表大多数都在中间件中存放，最后落地结果时可落starrocks/doris中。流程如下：流表创建首先需要先创建流表的库就是流表kafka、olap的ods、dwd、dws、ads方便后续操作，再创建配置流表。实时开发存在3版块内容，1flink sql实现实时sql方式查询，2.实时jar包上传，3.flink cdc来接入来源库数据源CDC接入方法1：Binlog获取，DTS配置，生成ODS流表这里任务名和ODS任务保持一致即可，配置好M...