大数据工程师

家人们，二本本科，硕士双非能搞大数据开发吗？想去中厂会不会卡第一学历啊 #大数据#  #大数据工程师#  #数仓开发#  #Java#  #sql#

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你花在简历上的时间有多少？小伙伴们回忆一下，在你过往的跳槽经历中，用了多少时间来回顾自己的工作内容和项目经历？简历是花了多长时间来写？简历从第一版到最后投递出去，总共改了多少次？如果屏幕前的你，只写了一版简历，就在各大互联网公司乱投，那大概率是拿不到好 Offer 的，或者即使拿到 Offer， Offer 含金量也是远低于你的真实水平。（换句话说，你损失了本该属于你的薪水和职级）大部分人忽...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

​我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！某个task莫名其妙内存溢出的情况这种情况下去定位出问题的代码就比较容易了。我们建议直接看yarn-client模式下本地log的异常栈，或者是通过YARN查看yarn-cluster模式下的log中的异常栈。一般来说，通过异常栈信息就可以定位到你的代码中哪一行发生了内存溢出。然后在那行代码附近找找，一般也会有shuffle类算子，此时很可能就是这个算子导致了数据倾斜。但是大家要注意的是，...

1. Flink 的核心组件：JobManager 和 TaskManager在 Apache Flink 中，JobManager 和 TaskManager 是分布式执行的核心组件，负责协调和执行应用程序。1.1 JobManagerJobManager 是 Flink 集群的大脑，它主要负责三个方面的工作：•作业调度： 接收用户提交的作业，并将这些作业拆分成不同的任务。•资源管理： 与 Flink 的资源管理器（如 YARN 或 Mesos）协作，为作业分配必要的资源。•容错与状态管理： 控制作业的执行，包括容错机制。负责设置检查点（checkpoints）来保存作业的状态，以便在失败时...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案八：参数调优shuffle相关参数调优以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。Spark 参数优化详解以下列举了Spark参数调优的一些关键参数及其优化建议：1. spark.shuffle.file.buffer (默认值：32k)该参数用于设置 shuffle write task 的 Buf...

原则一：避免创建重复的RDD通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作（比如map、reduce等）串起来，这个“RDD串”，就是RDD lineage，也就是“RDD的血缘关系链”。我们在开发过程中要注意：对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。一个简单的例子：错误的做法： val rdd1 = sc.textFile("hdf...

CMS 垃圾收集器是什么？CMS（Concurrent Mark-Sweep，即并发标记清扫）是一种用于Java的垃圾收集技术，主要处理堆内存中老年代的垃圾回收。CMS垃圾收集器的主要特性1.并发性：CMS收集器的目标是避免冻结所有的应用线程，也就是"Stop-The-World"的操作。为了实现这一目标，CMS在标记和清除阶段的大部分时间与应用线程并发运行。2.四阶段工作过程：CMS收集器的工作流程包括以下四个阶段：•初始标记（Initial Mark)：这个阶段需要暂停所有的应用线程，以标记所有从GC Roots开始即能直接关联到的对象。•并发标记（Concurrent...

调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如...

调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，是我们写的业务代码造成的。这种情况比较少见。数据倾斜发生的原理数据倾斜的原理很简单：在进行shuffle的时候，...

在线分析处理(OLAP)在大数据环境中极为重要，它可以帮助我们快速查询和执行多维分析。今天，我们将讨论两种在OLAP场景中得到广泛应用的大数据技术—Druid和ClickHouse，并进行比较。Druid介绍Druid是一个高性能的、实时的，面向列的分布式数据存储系统。它被广泛应用于因特网公司，用于用户行为分析，时序数据分析等场景。Druid的一些特性包括：•实时插入和实时查询： Druid可以实时地（毫秒级别）摄入和查询数据。•高并发性能 ：匠心设计的索引结构使得Druid在高并发下仍能保持秒级响应。•水平扩展 ：可以通过增加Druid服务节点来扩展存储和查询能力。尽管Druid在处理实时O...

原则六：使用高性能的算子除了shuffle相关的算子有优化原则之外，其他的算子也都有着相应的优化原则。使用reduceByKey/aggregateByKey替代groupByKey:详情见“原则五：使用map-side预聚合的shuffle操作”。使用mapPartitions替代普通map:mapPartitions类的算子，一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法...

原则四：尽量避免使用shuffle类算子如果有可能的话，要尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，简单来说，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他节点需要通过网络传输拉取各个节点上的磁盘文件中的相同key。而且相同key都拉取到同一个节点进行聚合操作时，还有可能会因为一个节点上处理的key过多，导致内存不够存放，...

1. Flink时间语义的理解Flink提供了三种时间语义，以满足不同计算场景的需求：处理时间，事件时间和注入时间。•处理时间(Processing Time)：一种直观的时间语义，表示数据进入算子并开始处理的实际时间点。•事件时间(Event Time)：表示事件实际发生的时间，通常在消息的时间戳字段中找到。由于可能会有数据乱序的问题，但它能保证精确度高的计算场景。•注入时间(Ingestion Time)：介于处理时间和事件时间之间的折中选择，代表数据进入Flink处理系统的时间。这方面的细节问题较少被询问。2. 理解时间语义的应用场景和优势每种时间语义都有其独特的使用场景和优势。•处理时...

原则三：对多次使用的RDD进行持久化当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业第一步的优化了，也就是尽可能复用RDD。此时就该在这个基础之上，进行第二步优化了，也就是要保证对一个RDD执行多次算子操作时，这个RDD本身仅仅被计算一次。Spark中对于一个RDD执行多次算子的默认原理是这样的：每次你对一个RDD执行一个算子操作时，都会重新从源头处计算一遍，计算出那个RDD来，然后再对这个RDD执行你的算子操作。这种方式的性能是很差的。因此对于这种情况，我们的建议是：对多次使用的RDD进行持久化。此时Spark就会根据你的持久化策略，将RDD中的数据保存到...

1. 数据处理模型：流处理、批处理和微批处理我们首先来认识一些基本的数据处理模型。在大数据世界中，你会遇到流处理、批处理和微批处理这三种模型。流处理是一种实时的数据处理方式，数据一生成就立即被处理，无需等待。其连续且高效的特性使得它适用于需要实时分析结果的场景，例如实时股票市场分析或网络监控。流处理的代表有 Apache Flink 和 Apache Storm。相比之下，批处理增加了一个数据积累阶段，仅在数据达到一定量时才进行处理。这种模式适用于不需要实时响应的场景，比如零售业的日销售数据分析。Hadoop MapReduce 则在批处理领域卓有成效。最后，微批处理作为一种折衷策略，介于流处...

在处理流数据时，窗口运算是一项关键技能。特别是在Flink这种实时计算平台上，理解和合理使用窗口运算对于数据处理的效率和精准度至关重要。1. Flink窗口运算的理解Flink提供了丰富的窗口运算支持，包括滚动窗口、滑动窗口、会话窗口等多种窗口类型，适应各种各样的需求场景。•滚动窗口(Tumbling Windows)：窗口之间没有重叠和间隙，通常用于固定时间间隔的数据统计和分析。•滑动窗口(Sliding Windows)：窗口之间有重叠，某个数据可能属于多个窗口，适用于需要连续观测变化的场景。•会话窗口(Session Windows)：窗口之间有间隙，针对的是数据的活动会话或者事件，适用...