1、Flume使用场景（☆☆☆☆☆） 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输 2、Flume丢包问题（☆☆☆☆☆） 单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包，因此很多公司在搭建系统时，抛弃了Flume，自己研发传输系统，但是往往会参考Flume的Source-Channel-Sink模式 一些公司在Flume工作过程...

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因 map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大 （1）key分布不均匀 （2）业务数据本身的特性 （3）建表时考虑不周 （4）某些SQL语句本身就有数据倾斜 如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值 2）解决方案 （1）参数调节：  hive.map.aggr = true  ...

Zookeeper面试题 1、请简述Zookeeper的选举机制 假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么 1）服务器1启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是LOOKING状态 2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(...

上篇：https://www.nowcoder.com/discuss/943408?source_id=profile_create_nctrack&channel=-1 三、Hadoop面试题——MapReduce 1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 序列化和反序列化 1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。 为...

  大数据面试题——Hadoop面试题（一）_笔经面经_牛客网 https://www.nowcoder.com/discuss/943408?source_id=profile_create_nctrack&channel=-1

我的大数据开发学习之路，希望大家都能拿到理想offer  我的大数据开发学习之路_笔经面经_牛客网 https://www.nowcoder.com/discuss/943395?source_id=profile_create_nctrack&channel=-1

一、Hadoop面试题——基础 1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务 2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统 ...

刚刚在牛客上搜“大数据开发学习路线”，正好搜到之前一个师弟的帖子，师弟当时学习路线基本上就是我以前学习时总结的路线。 这篇学习路线是当年我秋招完，根据自己学习的资料整理的，基本上是避开了不少坑。 在其他平台的一个数据： <stron> </stron> 因为牛客上不能放链接，所以我看过的一些视频、资料，这里就没放链接了。 一、前言 说在最前面，可能有些地方理解的不是很好，有不好的地方，望见谅，毕竟每个人想法不一样，不喜勿喷，谢谢~ 要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法...

Spark算子调优 1、算子调优一：mapPartitions 普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。 如果是mapPartition算子，由于一个task处理一个RDD的partition，那么一个task只会执行一次function，function一次接收所有的partition数据，效率比较高。 比如，当要把RDD中的所有数据...

Spark常规性能调优 1、常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如下所示： bin/spark-submit \ --class com.atguigu.spark.Analysis \ --master yarn --deploy-mode cluster --num-executors 80 \ --driv...

1、Java中操作字符串都有哪些类？它们之间有什么区别？ 参考答案： 操作字符串的类有：String、StringBuffer、StringBuilder 。 String和StringBuffer、StringBuilder的区别在于String声明的是不可变的对象，每次操作都会生成新的String对象，然后将指针指向新的String对象。而StringBuffer、StringBuilder可以在原有对象的基础上进行操作，所以在经常改变字符串内容的情况下最好不要使用String。 StringBuffer和StringBuilder最大的区别在于，StringBuf...

大家好，我是蓦然 这段时间，春招、实习等一系列都来了，最近也帮很多小伙伴看了他们准备的简历，其实当看简历的时候，就能够发现，有的小伙伴的简历无论是排版还是内容，都是简洁明了，该有的都有，不该有的基本没有，而有的小伙伴，一看简历就比较乱，该有不该有的，一把抓，第一眼看去，给人的感觉就不一样，所以今天想说下我们在投简历之前怎么去写一篇简历。 见过一些好的简历（后续听他们反馈，一般实习、秋招都能拿到比较好的offer），一般具备以下特点： 基本信息（姓名，性别，出生年月，电话，邮箱） 熟悉什么编程语言、数据库、框架，分类写好 ...

Java基础面试题（上篇）： https://www.nowcoder.com/discuss/937588 20、访问修饰符 public，private，protected，以及不写（默认） 时的区别？ 类的成员不写访问修饰时默认为 default。默认对于同一个包中的其他类相当于公开（public），对于不是同一个包中的其他类相当于私有（private）。受保护 （protected）对子类相当于公开，对不是同一包中的没有父子关系的类相当于私有。Java中，外部类的修饰符只能是public或默认，类的成员（包括内部类）的修饰符可以是以上四种。 21...

Java基础面试题（下篇） https://www.nowcoder.com/discuss/938576 1、short s1 = 1; s1 = s1 + 1;有错吗? short s1 = 1; s1 += 1; 有错吗？ 对于short s1=1;s1=s1+1：由于1是int类型，因此s1+1运算结果也是int型，需要强制转换类型才能赋值给short型。 而shorts1=1;s1 +=1;+=操作符会进行隐式自动类型转换，是Java 语言规定的运算符：Java编译器会对它进行特殊处理，因此可以正确编译。因为s1+=1;相当于s1=(short)(s...