投的大数据开发工程师，被捞为系统开发，泡池子中... 1面： 1、项目的数据来源？怎么想到做这两个项目？ 2、算法题：合并有序数组A和数组B到A中，假设A有足够大的空间。可以把代码再简化一点。找一些目前有的方法还可以把代码简化。 3、java里用过哪些集合相关的类。list的arraylist和linkedlist的优缺点？set用过哪些，hashset和treeset的区别。定制某些对象的排序规则怎么实现？ 4、TCP和UDP； 5、用过并发里多线程相关的东西吗？callable怎么实现的？暂停一个线程的运行怎么做？sleep和wait有什么区别？能直接调用一个线程的wait方法吗？...

许愿offer 1面： 1、为什么换了方向呢？ 2、二叉树的广度优先遍历和深度优先遍历。 3、TCP的三次握手和四次挥手。 4、平时编程用什么语言？ 5、kafka的消息有序吗？当时是怎么了解kafka这些的？kafka这块是看的相关的书籍还是博客呢?kafka怎么回溯数据？（下游消费kafka里的数据，数据丢了，要重新消费昨天的数据怎么做这个回溯呢？） kafka的数据保存在哪呢？像这种被消费之后的数据。 6、sqoop将数据导入数仓吗？底层原理是什么样的？ 7、tez运行，你知道hive有哪些引擎？ 8、有自己写过udf，udtf吗？udtf写的是什么？ 9、hive窗口函数了解吗？...

1、能说下实时处理这块搭建的系统的架构吗？ 2、SparkStreaming从kafka消费数据，怎么保证不会重复呢？偏移量也不是实时去提交，假如说在消费的过程中，出现重启，这种情况下怎么确保不会有部分数据重复处理？ SparkStreaming有这个机制吗？ 3、sparkstreaming的工作过程。 4、采用redis对当日日活设备进行过滤统计，这个怎么理解呢？这样能实时动态的展示日活量吗？怎么统计的日活量？ 5、大屏实时显示日活数，怎么做的？这里又用到redis又用到hbase，主要目的是什么呢？ 为什么选择hbase呢，市面上也有一些关系型数据库是可以支撑的。 6、phenix的索引...

进程和线程的区别。 常见的数据结构。 希尔排序。 kafka怎么会有这么高的效率。 kafka怎么保证消息不重复不丢失。 非科班你经验不足，有什么优势？ 总15min左右。。。

一面： 1、能讲下你做的项目吗？ 2、前端的log怎么来的？ 3、ngnix，负载均衡用的是哪个策略？iphash还是最小连接，还是权重？ 4、码入Mysql这块怎么做的？你是通过什么往里面写数据的？要监听mysql要开始row模式吗？ 5、kafka的isr和osr。ack有几种值？ 6、最终会落到ES吗？那ES的索引是怎么建的？数据量有多大？数据量大的时候index怎么办？可以按照时间分区去建索引。 7、HDFS怎么读文件和写文件的？ 8、最终MR文件输出的个数取决于什么？ 9、ZK的ZAB选举算法。他的一个选举算法。ZK里的节点类型有几种？（临时节点、永久节点用来作什么？） 10、HIV...

一面： 1、简述scala和java的主要区别，使用过程中。scala的版本。 2、scala的根缀表达式。 3、接口和特质的区别 4、大数据的排序、去重的算法。（快排在大数据是不适用的）bitmap、布隆过滤平时可了解过。 5、遇到过jar包冲突的情况吗？ 6、yarn资源申请过程。资源响应、资源分配是怎么进行的。 7、容器是什么。什么东西调用这个机器的资源？container是以什么形式存在于内存当中。（本质上也是一种线程）。 8、yarn的源码看过吗？有从某个入口进去，把yarn资源调度的过程自己捋一遍。 9、hdfs的读写路径。 10、具体通过什么途径进行通信。rpc 11、文件读取的...

一面： 你搭建的hadoop有哪些进程？ hadoopHA的原理。具体的是怎么实现的？ kafka的副本机制 副本是怎么同步消息的？ kafka的消费者组你知道吗？他们是怎么消费消息的。怎么找到消息的，消费的是哪一个副本？ spark你是怎么理解的？ spark怎么对接kafka的数据流？怎么获取kafka的数据？ kakfa-spark-es中间如果有挂掉，怎么保证数据不重复不丢失。 spark如果挂掉的话，数据不就丢失了？ 多线程 你知道什么数据结构，链表的跳表怎么实现的。 Mysql知道吗？ 第一次面试，回答的太差了，问什么不会什么。。。面试官还是挺有耐心的，还一直问我是否有...

1面后隔一周2面，2面后隔一周hr就说通过了，发了意向offer 一面 1、本科对于大数据方面的课程有吗？ 2、数据结构了解过吗？ 3、数组和链表的区别？ 4、链表和数组插入数据的时间复杂度？ 5、用链表模拟栈的功能？ 6、JAVA本身有了解吗？会看JAVA的资料吗？ 7、JAVA里面StringBuffer和String有了解吗？ 8、 怎么理解线程安全和线程不安全？ 9、 怎么解决线程安全问题？（像StringBuffer怎么解决的？） 10、死锁怎么产生的？ 11、有什么解决办法？ 12、看你了解scala，python，c++，但自己还是用JAVA多点是嘛？ 13、对于java...

1面： 1、算法题，两个有序数组找中位数 2、java的map，list，arraylist的扩容机制 3、volatile 4、nio 5、反射 6、tcp，udp，tcp的拥塞控制算法 7、介绍项目，有什么难点。

1面完当天下午2面，14天后收到hr电话。hr说9月底到10月初会有结果。 1面 1、你对JAVA的面向对象的理解？ 2、接口不属于面向对象吗？java中可不可以多继承？ 3、多态的理解？多态有什么好处呢？ 4、方法的覆盖和重载有什么区别？ 5、构造函数可以被重载吗？ 6、对象生成的生命周期？ 7、数据库中索引的理解。 8、left join和right join 9、假设一张表没有主键，有两条一模一样的数据，想要删除一条保留一条有什么办法？除了rownumber还有其他思路吗？ 10、mapreduce的过程。maptask数量是怎么决定的？reducetask的数量呢？分区数怎么设...