汇量科技大数据2023-02-07

一面：自我介绍 3min1、为什么转go，go和java区别2、了解网络编程吗3、tcp udp区别4、tcp 如何保证数据顺序性5、http了解吗，基于tcp还是udp6、地址栏输入uri到响应的过程代码部分1、两个sql题：一个union，一个inner join2、设计一个web限流方案，每个ip每秒最多访问三次该接口3、快排面试官真的超级超级无敌好，我特别紧张，全程在引导我，写快排的时候时间不多了，甚至给我换成了冒泡，还有小提醒。最后问我对自己今天的表现满意吗，我说我其实很紧张，表现得不太好，面试官安慰我，说要相信自己，真的很好的一个人二面：1、自我介绍2、项目难点3、介绍了一下组内业务4、聊了聊对AI编程的看法后续：太久没给回复 ，offer撕了，大概率是其他候选人上位了。#面经##mobvista#

笔试时间：邮件中会有截止日期，在此之前完成即可笔试时长：1h30min笔试内容：数据开发基础知识、算法1.选择题10道单选+5道多选（3分/题，多选题错选漏选均不得分），主要涉及的内容如下：数据仓库基础知识（如维度建模理论，数仓分层）数据库基础知识（如ACID，事务）SQL语法（如group by的作用，如何授予权限，DML语句有哪些）HDFSHive语法（insert into的含义，基本数据类型有哪些）示例1：对关系SPJ的属性QTY的修改权限授予用户A的语句是什么示例2：数据仓库的公共层有哪些（选项：ods dwd ads dws）2.编程题三道算法题1数组中有且只有一个数字的出现次数超...

- 大数据基础架构部门- 职责有点不匹配，全程被拷打了，根本不了解底层的事情## 项目- 数仓这一块目前总标准分层的一个概念，你这块熟悉吗？- 你最后输出指标是什么样的？是新型模型还是雪花模型？- 最后superset的引擎用的什么- spark数据倾斜具体看的sparkUI哪一个指标哪一个参数  - local read数据量？shuffle read数据量？shuffle write数据量？## 八股- spark常见的shuffle策略，这些不同的策略分别在哪些项目中用到- 常见的shuffle流程  - 他在系统层面有什么弊端，特别是面对高并发情况下- Hive查询优化有什么方式  - SMB join是怎么具体实现的- java相关的锁机制（其实就是锁机制）  - 乐观锁悲观锁- 设计模式了解吗- Java性能排查有没有什么SOP## 高并发场景题这个场景题完全不懂，也没怎么接触过，要求设计一个从数据基建到建模的整个思路来应对高并发的场景

1. 自我介绍2. 项目介绍3. 详细介绍一下抽奖项目的流程（穿插一些八股，分布式锁……定时任务……缓存数据库一致性……防止超卖……ThreadLocal如何从父线程传递到子线程……）（有些忘了）共计十分钟场景共计35分钟，基本都是连续追问问道无法回答为止，问答顺序记不清楚了场景题1：4.线程池的实现原理（八股）5.有一千个任务在线程池内，任务的执行时间各不相同（大数据场景），我们希望同时解决多个问题包括    (1) 长任务超时会保留数据，不会重来，不能重新发任务    (2) 多个执行的任务中，有的时间长有的时间短，我们不希望长任务的长时间执行导致短任务的饥饿    (3) 短任务的结果能优先看到场景题2：6.看你是图数据的科研方向，如果一张日活用户图上有4000w个用户点，点赞/关注都可以都可以作为边，考虑如何评价前二十(top 20) 的高质量用户并予以奖励？以什么作为评价指标？如何计算？如何让偏差率收敛到1-5%之内？7.单机无法计算的情况下，如何拆分？拆分原则是什么？如果分多台机器，那些会被分到哪些机器上？如何判定边界？如果判定了边界导致南北方人，或者不同文化背景的人所处的图不同，违反了b站的原则（不分具体的人只看质量，不能用相似类型评判质量）怎么办？你的划分还有效吗？(最后提示去看google的pagerank论文)8. 了解大数据相关内容吗(不了解)结束反问：1.使用语言？业务前景？服务对象？2. 4000w的具体场景？问实习时间实习时长等发面经求好运