数据开发

#牛客AI配图神器#上来自我介绍，个人信息、在校所学专业、毕业时间、为什么学习大数据。询问出生年份。（没懂为什么专门问这个）介绍项目，离线数仓的五层是怎么设计的，DataX做首日的全量采集、Maxwell做后续每日的增量采集，Flume传输数据，Kafka起缓存作用，解耦各个组件。大数据竞赛拿了全国一等奖，那么这个竞赛中做的是什么业务？学校主修课是什么，大数据是否是自学？介绍一下简历中的离线数仓。说一下Maxwell的底层实现原理。讲一下Hive On Spark引擎的特点。介绍一下简历中的实时数仓。说一下checkpoint机制和精准一次。Docker的常用命令。Doris需要更新数据吗，怎么更新数据的，是用update吗？Doris在项目中的作用。Kafka的偏移量需要手动维护吗。项目的数据来自哪里，是真实的数据吗？数据量有多少，能达到什么级别，有一亿条数据吗？HBase在项目中是怎么使用的，为什么维表存到HBase中？为什么没有存到Redis中？FastJson了解吗，说一下。SpringBoot的拦截器和过滤器的区别。现在是否在校？反问工作压力大吗？公司有食堂吗？（我在想没食堂 可以买拼好饭吃😋）刚才回答的内容还算可以吗？（面试官：回答得没问题，学生能学到这个程度，已经可以了）写面经攒人品，希望能一把过#数仓面试##数据开发##数仓开发#

一面经典的自我介绍我看你实习经历挺多的，你挑一个项目讲讲看吧？我希望听到的是背景，目的以及你做了什么balabala嗯嗯，这么看我了解你的业务背景了，那你觉得你项目的目的是什么呢？我：balabala，为了看a，b，这几个指标拆解之后是看这些内容，但是主要是为了什么呢？是不是为了提升用户的体验（面试官真的一步步引导）再说说你做了哪些表吧，涉及到哪些层？有哪些比较重要的指标。balabala所以你怎么理解这些内容之间的关系呢？你觉得为什么要存在ads这一层？不能直接从dws取数据吗？看你有说到这个cdm覆盖率跟ods穿透率，这两个指标是什么意思？那你讲讲你认为各层的作用？什么情况下中间层是可以不要的？有做过数据治理的内容吗？都写过什么DQC？UDF写过吗？举个例子sql写的怎么样？开窗熟悉吗？举几个例子反问：问了下负责的业务，有哪些数据二面经典自我介绍 被打断我比较关心你在饿了么的实习，你讲下这个吧我balabala讲了下我负责的业务系统，然后接触了哪两块的数据所以可以理解的是，你在这三个环节里，负责第一个跟第三个是吗？那你讲讲第一个都有些什么内容好的，我了解了，感觉第三个环节更为复杂，你聊聊这个？balabala所以你一共是建了三张表是吧？那这些涉及到哪些层呢？你们的需求都是直接来自产运团队吗？项目看中些什么呢？工作会考虑北方吗？有做过数据治理的内容吗？你怎么保证时效性跟准确性这些的？手撕：连续一小时在线男用户人数，急了没撕出来。想到最后准备写60个lag()，面试官就让我写成在线人数就好。你有了解hive跟spark吗？一个sql任务会有多少次shuffle？我：取决于map跟reduce的数量？有做过数据倾斜的处理吗？打散大键大小表这种呢？mapjoin广播小表小文件呢？我：预聚合。追问除了预聚合呢？我：不太记得。面试官：可以调整块大小，我：哦block，对不起有点忘了。反问三面经典自我介绍看你不是大数据这个方向的，怎么想了做这个？balabala挑一个你实习期间比较难的问题讲讲吧？你是怎么思考的？怎么沉淀的？怎么学习新东西的？大部分都是些场景题和一些发散的问题，没有专业知识的拷打。反问：没什么问题，一面二面都问过了。--------timeline---------------------9.23 5点10开始一面 38分钟左右结束了，10分钟约了二面9.23 6点30开始二面 7点10的样子结束的，就问了20分钟吧9.24下午约三面 9.25晚7点三面 6点58开始的，面了45分钟9.29检查官网 三面已挂#秋招# #面经##数据开发##滴滴#

目前感觉自己存在的问题有：1、项目经历不行，是尚硅谷上找的项目，而且数量较少2、校园经历不行，研究生阶段帮老师横向做多了反而没什么拿的出手的项目文章请问要怎么修改比较好？另外还有些涉及军工的敏感项目怎么表述会比较合适？后续如果想加成2页再补充什么比较好？还有就是博客写在哪个部分比较好？谢谢#简历中的项目经历要怎么写##最后再改一次简历##数据开发#

笔试时间：3.15日（00:00-23:59）笔试时长：2h（自由选择作答的时间段）笔试内容：数据开发基础知识、算法、SQL1.选择题20道选择题（2分/题，共40分），主要涉及的内容如下：大数据框架：HDFS/MapReduce等基础算法知识：排序算法（插入/选择/归并/快排），栈，队列，树（前/中/后序遍历）SQL语法/数据库基础知识Linux基础知识python语法概率论与数理统计（会涉及到简单的微积分计算）2.编程题三道编程题（共60分）：两道算法+一道SQL题1炸金花（15分）：很简单的字符串问题输入3个长度为2的字符串（不重复），表示三张牌如果三张牌中，位置为0的字符相同，则输出F...

本人是26届数开选手 找的日常实习 中科院信工所的数据开发主要业务是做安全相关的 底层是大数据技术。11/26 一面，问题如下1. 自我介绍2. 实习时长，实验室研究方向，如果进来的话会考虑转正吗3. 了解过liunx吗？如果我们要查看各个运行的进程具体情况用哪些指令，查看显卡运行情况用什么指令4. 熟悉哪些语言？java常见集合有哪些5. 如果我们往hashmap中插入一个元素，说说这个过程底层是怎么实现的6. 项目数据来源，说说用什么方式采集的7. 简单说说kafka架构是怎么样的，那它里面数据是有序的吗？怎么解决kafka中数据重复问题8. HDFS小文件过多有什么影响，应该怎么解决？9. 了解过spark吗？spark相关算子有哪些？groupbykey和reducebykey有什么区别 具体说说10. 了解过flink吗反问环节总结：无手撕，面试官反应 基础知识不是很牢固 项目使用的组件不太清楚 被认为数仓搭建没有自己从0-1动手做（实际自己跟着视频一步步敲了 不过确实答的不好）因为项目是离线数仓 所以被问到spark和flink直摇头，面试的老师还是挺好的，继续学习吧#日常实习面试##数据开发##寒假实习#

大家好啊啊啊啊，目前大三上，学了hadoop,hive,spark，做了一个离线数仓的项目，之后又去学了kafka、flink，现在打算做一个实时的数仓，我这个方向是对的吗？如果打算年后找实习的话，有没有好的建议呢？#hadoop##hive##spark##flink##数据仓库##数据开发##kafka##数据开发工程师##ai智能作图#

timeline: 8.24 一面 8.28二面 8.31 hr面 9.7 oc 一面： 项目介绍 什么是指标体系 指标体系包含元素 指标分类 数仓分层、分层好处 数仓分层和指标分类之间有什么关系 什么是总线矩阵 什么样的数仓是一个比较好的数仓 什么方法可以落实上面说的数仓 缓慢变化维；除了拉链表还有哪些方式 什么情况下可以使用map join 怎么解决数据倾斜问题 Java 垃圾回收机制 SQL题： 波峰波谷、连续三天 Java: 字符串最后一个字符长度 两段实习...