很多小伙伴在跟我交流的过程中，会问我这样一个问题："大数据框架这么多，学了有啥用，有没有一些框架可以不学，企业里面开发要求会用这么多框架吗"我刚开始学习大数据的时候也和大家一样，这么多框架，不知道从何下手，又想速战速决，还不知道自己学习的内容是否能够对付未来在企业的开发工作...之前自己在学习大数据的时候浪费了很多的时间，这里为了帮助大家在学习大数据的时候少走弯路，同时也是对自己过去三年学习大数据过程的一个总结，今天就好好跟小伙伴们说一说如何高效学习大数据，一路直通大厂！！！学习路线预览编程语言Java：对于目标岗位是数仓开发的同学来说，只需要学习Java基础部分即可，后续...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0SQL题目来自蚂蚁数据研发一面有一张用户贷款信息表dwd_trd_loan_tb_dd，包含uid（用户id）、amt（贷款金额）、ovd_days（逾期天数）、dt（时间分区）以及逾期等级配置表dim_ovd_config_dd，包含ovd_days（逾期天数），user_level（用户风险等级）注意：当ovd_days=1且user_level=1，表示用户逾期天数<=1时，用户风险等级都为1；当ovd_days=30且user_level=2，表示用户逾期天数>1同时<=3...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0面试经验来自牛客#数据人的面试交流地1.自我介绍2.项目内容：背景，uv，pv，功能，项目人数，分工3.数仓的设计思路4.分层数仓和使用普通数仓的区别5.为什么ods不直接对接app层6.项目用了哪些技术栈7.hdfs如何保证高可用8.hdfs写入数据流程，写入过程中datanode挂了怎么办9.小文件原因，危害，解决方法10.数据倾斜介绍，数据倾斜如何排查11.spark的两种shuffle12.sql题：商铺的最大销量的类目13.设计题：数据量pb级别，要获取近30天和近90天的活跃用户uv，设...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自字节跳动数据开发一面 有一张用户登录日志表ods_login_usr_log, 包含user_id（用户id）和login_dt（登录日期） 问题：计算每个用户最大的连续登录天数，可以间隔一天 -- 举例如下： -- 输入 use_id login_dt 1001 20240812 1002 20240812 1001 20240813 1001 20240814 1001 20240816 1002 20240816 1001 202...

全文汇总30+篇美团面经，供大家复习使用Java1.写一个多线程代码2.写一个单例代码3.LinkedBlockingQueue原理4.模板设计模式5.如何设计一个 生产者-消费者队列6.堆内存和栈内存7.ThreadLocal底层8.synchronized的原理，缺点是什么，如何解决9.volatile使用场景和原理 ，与synchronized的区别10.Java内存模型11.如何提高hashtable、hashmap性能12.redis的缓存问题13.布隆过滤器14.多线程的实现方式和区别15.线程池的作用以及如何实现大数据1.hdfs的读写流程2.hdfs副本机制，为什么三副本，副本...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自字节、阿里、腾讯、pdd等数据研发一面二面 有一张用户登录日志表ods_usr_login_log, 包含user_id（用户id）、login_dt（登录日期），一个用户当天可能登录多次 问题：计算存在新用户登录的日期的次日留存率以及3日留存率 N日留存用户数：某日活跃的用户在之后的第N日活跃用户数 答案解析 模拟数据 INSERT INTO ods_usr_login_log VALUES ('001','20240701'), ('001','20240...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自今日头条数据研发一面 有一张股票交易价格表ods_stock_trd_log, 包含sto_code（股票代码）、trade_dt（交易日期）以及price（交易价格） 问题：求出每只股票对应的波峰和波谷 波峰：股票价格高于前一天和后一天价格时 波谷：股票价格低于前一天和后一天价格时 答案解析 模拟数据 INSERT INTO ods_stock_trd_log VALUES ('001','20220104',11.06), ('002','20220104...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 面试考察频率 低频考察函数 想必大家都比较了解高频函数的使用，以下主要讲解低频函数的使用 FIRST_VALUE select deptno, ename, sal, first_value(sal) over (partition by deptno order by sal desc) as first_value from emp; NTILE select deptno, ename, sal, ...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自字节跳动数据研发二面 有一张用户行为日志表ods_usr_log, 包含user_id（用户id）、start_time（登录时间）以及end_time（注销时间） 问题：求出用户登录的所有最大时间段，比如用户1在10:00登录且11点注销，用户2在10:30登录且12:00注销，那么最大时间段就是 10:00到12:00 答案解析 模拟数据 insert into ods_usr_log(user_id, start_time, end_time) values ...

2025届提前批已经开始，随之而来的就是最为重要的秋招，你准备好了吗？ 1. 回顾过去 时间真快，距离自己参加2023届秋招/提前批已经过去快两年了，当时我还在阿里实习 晚上下班回家就复习八股文，参加了滴滴和字节的提前批面试，滴滴是一天面完的（10月发的offer） 字节从一面到二面再到三面，其实都挺顺利的，但是迟迟不发offer（也差不多10月沟通的） 9月份，参加了实习转正答辩，不出意外的通过了转正，有底牌之后面试就非常自信大胆 整个秋招期间，面试过上百家公司，包括大中小厂、国企、银行等等，也非常幸运的拿到了字节、滴滴、阿里、微众银行、携程、星环科技、杭州银行等offer 2. ...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自拼多多数据研发一面 有一张用户行为日志表ods_usr_log, 包含用户id（user_id）和页面id（page_id）以及进入页面时间（in_ts） 问题：统计每天进入A页面后，立刻进入B页面，又进入C页面的用户数【注意：进入C页面之前可能进入过其他页面】 答案解析 模拟数据 insert into ods_usr_log(user_id, page_id, in_ts) values (1, 'A', '2020-1-1 12:01:03'), (2, 'A...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 SQL题目 来自牛客SQL题库 已知一张用户行为日志表tb_user_log，字段包括uid-用户ID、artical_id-文章ID、in_time-进入时间、out_time-离开时间、sign_in-是否签到 注意1：只有artical_id为0时sign_in值才有效； 注意2：从2021年7月7日0点开始，用户每天签到可以领1金币，并可以开始累积签到天数，连续签到的第3、7天分别可额外领2、6金币，每连续签到7天后重新累积签到天数 问题：计算每个用户2021年7月至10月每月...

推荐阅读文章列表大数据开发面经汇总【持续更新...】我的大数据学习之路大数据开发面试笔记V6.0写在前面在面试中你是否遇到过如下问题：有没有遇到过小文件问题？做项目的过程中有没有遇到一些难点？你认为项目中比较有亮点的地方是什么？不管面试官如何问，都可以这样去回答：产生的原因1）离线计算场景，一个reduce会对应一个小文件，如果reduce设置较大，就会对应大量的小文件2）实时计算场景，流计算都是基于一个小窗口的数据来进行实时计算，显然会产生大量的小文件3）数据源本身存在大量的小文件带来的问题1）存储问题：存储大量的小文件，会占用namenode大量的内存来存储元数据信息2）计算问题：每个小文...

推荐阅读文章列表 大数据开发面经汇总【持续更新...】 我的大数据学习之路 大数据开发面试笔记V6.0 前言 数据倾斜既是工作中最常见的一个问题，也是大数据求职面试中最常见的一个话题。 想必大家一定听说过数据倾斜，也知道很多的解决方案，但是你是否知道哪些算子最容易发生数据倾斜，对应的解决方案又有哪些呢？比如最常见的热门算子：join、group by、count(distinct)、row_number【数据倾斜出现频率从高至低】 本文将会从 数据倾斜定义、如何分析数据倾斜、解决方案 三个方面来剖析数据倾斜问题 数据倾斜定义 定义：通俗来讲，一张表中某个或某些特定值出现的频次远大于其他数值，...