#腾讯大数据开发工程师面经#
#大数据开发工程师面经#
#大数据面试

昨天面试腾讯大数据开发,面试题奉上,欢迎大佬指点

问题:
 1.自我介绍
 2.项目细节
 3.题目 有用户对于微信文章表t_user_log,数据量约40亿,t_wx_doc表,数据量约400W,
 表结构信息如下
 create table default.t_user_log (
   ip string comment 'ip',
   ts string comment '时间戳',
   userid string comment '用户id',
   docid string comment '文章id',
   action string comment '用户行为1 阅读,2点赞,3 分享,4 打赏, 5 评论',
   entry  string comment '如口'
 ) partitioned by (
   day string comment ''
 )

create table default.t_wx_doc (
cpid string comment '公众号id',
ts string comment '发文时间戳' ,
docid string comment '文章id',
text string comment '文章内容',
category string comment '文章分类'
)
机器资源有限,(vcore 小与100, &&men<400G)请编程解决下面两个问题
计算框架 算法不限
1 .找出热门的公众号top10
2. 给定一个10000w 大小用户包(userid 字符长度为16)计算他们各自最可能喜欢的5个公众号

4. Flink如何保障在使用kafka的时候是execyly-one的?
5. Flink与spark的区别
6. Flink内存模型
7. Spark内存模型
8. Spark shuffle过程
9. Spark Rdd属性
10. Rdd的那个算子可以重分区但是不用shuffle
11. 问题3热门文章数据量大的时候,出现数据倾斜如何解决

面试完之后感觉要跪了,效果很差。继续加油补知识
全部评论
感谢分享
点赞 回复 分享
发布于 2020-07-02 12:28
码一下,我是刚选方向的菜鸡
点赞 回复 分享
发布于 2020-07-14 01:41
能问下怎么投的大数据开发吗?校招岗位只有数据分析啊😂
点赞 回复 分享
发布于 2020-07-14 11:10
大佬知道是腾讯哪个事业群吗?
点赞 回复 分享
发布于 2021-01-20 15:24

相关推荐

03-05 15:15
已编辑
中国人民大学 Java
发面经,涨好运一面&nbsp;2.251h30min,无算法,基本上是全程八股1.go&nbsp;slice实现原理,追问扩容数组拷贝很耗时,有了解怎么做的优化吗2.redis缓存雪崩,缓存击穿,缓存穿透3.缓存击穿提到了分布式锁方案,问分布式锁如何实现。追问分布式锁抢锁失败应该做什么4.缓存穿透提到了布隆过滤器,问布隆过滤器的原理,追问写操作时写布隆过滤器和写redis数据缓存的一致性如何保障5.kafka如何保证消息的可靠性,追问消费者幂等性如何实现。幂等性提到了唯一id的方案,追问唯一id在哪里生成6.内存只有512M,进程分配1G内存可以实现吗。追问如何关闭换页机制,追问oom&nbsp;kill时杀哪些进程7.问tcp可靠性如何保证8.tcp场景,发送端发seq=11,12,13,接收端只收到11,13,接收端回复什么信息。追问超时重传,快速重传。追问tcp滑动窗口的概念,滑动窗口的初始大小通过什么参数调整9.发http请求的过程,追问tls握手过程,追问一个会话如何记录用户的状态信息(token),追问为什么用了https还需要session,token这些东西10.线程池优化相关,为什么线程多了性能反而受到影响,追问linux线程调度的实现,追问线程调度优先级如何设置11.聊实习的时候顺便基于当时的场景问了一个时序问题,A,B两个机器向C发请求,A比B先发,怎么保证到C的请求的时序和A,B发请求的时序是同一个(这个问题聊了一会,当时没意识到没办法实现),追问为什么没办法实现。追问如果A,B在一个进程里,能实现吗,如何实现二面&nbsp;3.3约面的时候说要面1h30min,结果最后只面了30min1.简单聊了一下两个项目的架构,一两个关于项目的问题,但不深2.问我熟不熟悉微服务sidecar架构3.一些个人bg方面的问题4.等边三角形三个顶点上三只蚂蚁,每只等概率往两边走,问蚂蚁不相撞的概率是多少5.一道口述的算法题,平面上一堆点,找出所有最小围住的区域的集合。一开始以为是力扣那种恶心人的平面几何数学题,后面沟通让我用图论的方式做,又聊了一下思路,说不用写代码了,也不知道他是觉得算法能力强还是弱6.反问出结果时间,说要横向对比感觉二面啥都没问,面完就有种要挂掉的预感,果然今天早上看挂了。#面经##腾讯#
点赞 评论 收藏
分享
评论
10
25
分享

创作者周榜

更多
牛客网
牛客企业服务