问题描述：有一张tmp表，字段分别是 开始时间start_date，结束时间end_date，欠费金额amount 2015-03-02 2015-03-05 10 2015-03-04 2015-03-06 20 输出描述：用户每天需要还的金额 2015-03-02 10 2015-03-03 10 2015-03-04 30 2015-03-05 30 2015-03-06 20 分析：根据题目描述的输入输出，很容易知道思路哈，就是想要把从开始时间到结束时间的每一条数据都拆开存储，然后根据日期去聚合就可以得到每天的欠费金额了，所以难点就在于如何根据一个起始时间来进行拆分呢？一行转多行，...

这是一篇总结了牛客网中10+篇字节大数据开发面经的文章，希望能够对大家有所帮助本篇后续将会持续更新~~~ 【不断更新答案】Hadoop篇1.介绍一下Hadoop hadoop是什么2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce3.hdfs源码你知道的话，讲讲元数据怎么管理的？4.hdfs 你知道namenode的问题吗？怎么解决？应该就是联邦机制5.hdfs写数据流程6.namenode如果挂掉了怎么办 【HA配置】7.说一下mapredeuce 8.哪个阶段最费时间，环形缓冲区的调优以及什么时候需要调 shuffle：排序和溢写磁盘 ...

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。经过无数场的面试，不断总结，终于摸清了面试官到底喜欢问哪些问题。今天把自己总结的一些内容分享给大家，欢迎大家补充讨论！！！ps：这里仅提供了部分大数据开发面试的相关内容1. MapReduce的原理map阶段：首先通过InputFormat把输入目录下的文件进行逻辑切片，默认大小等于block大小，并且每一个切片由一个maptask来处理，同时将切片中的数据解析成<key,value>的键值对，k表示偏移量，...

前言：如果你面试的是金融信贷行业的公司，那么如果你懂一些这方面的业务知识，面试官一定会眼前一亮！！！本篇主要介绍金融信贷的线上模式——网贷，主要从网贷的业务模式和业务指标来介绍一些基本业务知识网贷的业务模式网贷最重要的三部分：资金（钱从哪儿来）风控（风险控制）获取用户（用户从哪里来）业务指标用户类指标申请用户数：完成贷款申请行为的用户放款用户数：通过审核并成功放款的用户复借用户数：借款次数超过一次的用户复借率：通常会结合时间维度，比如30天的复借率=首次放款用户中30天内复借的用户数/首次放款用户数申请情况类指标审批通过率：放款用户数/申请用户数（用于衡量审批策略的稳定性）逾期类指标用于量化公...

请各位同学注意了，发给我简历的同学们，注意确认一下内推邮件，选择的部门是 蚂蚁集团-CTO线-数据与平台技术事业群-蚂蚁智能引擎与数据中台技术事业部-数据产品与技术部，岗位是 数据研发工程师

蚂蚁集团大数据部招收2024届数据研发岗（包括但不限于数据挖掘、数据分析、数据仓库、ETL等方向）暑期实习生，Base杭州，有转正机会！部门直推，流程少一步简历筛选的过程，节约时间！自信一些，勇敢一些，快把你的简历放到我的碗里（不是）邮箱里来吧！本硕博都可～简历请按【学校-专业-姓名-手机号】来命名～！！！投递的时候一定注意，下面的内推码就是内推数据研发岗位的，但是数据分析等相关岗位也可以投递该岗位，另外，一定要用下面的内推码进行投递，然后发我简历，我会给到部门主管那边投递方式：联系方式：牛客不允许透露个人信息，所以大家可以私信我或者关注评论区提供你：薪资400元/day+房补2000/mon...

2023春招找实习的同学跟我分享了他的面试经历，在这里我进行了一些总结梳理，然后发出来供大家学习1. 自我介绍2.八股文hive的数据类型有哪些hive中计算排名前N的函数有哪些hive的优化手段你知道哪些遇到过数据倾斜吗mapjoin如何开启，参数是什么3.SQL题rt_ data表存放了当天每半小时的店铺销售数据，表名: rt_ data，字段名: shop id (店铺id)，stat date (时间) , ord_ amt(销售额)。找出昨天10点各店铺的销售金额及前半小时的销售金额和后1个小时的销售金额。思路：（开窗函数，lead和lag）4.数仓理论谈谈你对数仓的理解你们的数仓是...

2023春招找实习的同学跟我分享了他的面试经历，在这里我进行了一些总结梳理，然后发出来供大家学习1.自我介绍2.八股文你写的这个实时数仓，维表是怎么更新的flink了解吧，flink里面断流怎么处理flink的exactly-once是怎么实现的checkpoint的时候barrier什么时候发送checkpoint产生了很多快照，怎么进行处理呢sparkstreaming和structedstreaming的区别zookeeper的分布式一致性协议是什么，raft讲一下，paxos讲一下hive调优怎么调的数据倾斜怎么处理的你在做需求的过程中遇到过的最大的难点是什么 3.SQL题 差不多写...

2023春招找实习的同学跟我分享了他的面试经历，在这里我进行了一些总结梳理，然后发出来供大家学习注意这是日常实习！！！1.自我介绍2.刷题 冒泡排序3.八股文3.1 JVMJVM的内存结构类的加载过程静态代码块和代码块初始化的顺序，以及静态代码块在哪个阶段被加载【初始化】垃圾回收器一个方法报错了，怎么进行分析，比如A方法调用B方法，B方法调用C方法....【没太懂】3.2 并发保证线程安全的方法有哪些3.3 大数据hdfs的架构hdfs的读写流程MapReduce的shuffle过程kafka有几种消费方式kafka从生产到消费的一个流程hive数据倾斜原因及解决方法hive场景题：主要就是问...

-- 如下为某直播平台主播开播及关播时间，根据该数据计算出平台最高峰同时在线的主播人数。id stt edt1001 2021-06-14 12:12:12 2021-06-14 18:12:121003 2021-06-14 13:12:12 2021-06-14 16:12:121004 2021-06-14 13:15:12 2021-06-14 20:12:121002 2021-06-14 15:12:12 2021-06-14 16:12:121005 2021-06-14 15:18:12 2021-06-14 20:12:121001 2021-06-14 20:12:12 2...

我在2022年春招实习中，拿到过滴滴美团蚂蚁字节微众等大厂offer，想在这篇文章分享一下自己找实习的时候面试的一些经验------------------------------------------------------------------------------------------------------------------------首先在面试前要进行相关岗位的一些技术栈的学习，刷算法题，准备项目等，另外大数据开发的学习路线在我前面的文章中已经提到过，感兴趣的可以去看看然后最重要的一点就是准备自己的简历，不仅仅决定了你是能够获得公司的面试机会，而且还决定了面试官在跟你o...