Spark

问过的一些公司：字节x2，小米×2，平安，阿里x 2，海康，美团x2，一点咨询，趋势科技，快手x2，阿里云社招，祖龙娱乐，360，字节社招，端点数据(2021.07)，大华(2021.07)，触宝(2021.07)x2，携程(2021.09) 参考答案： RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 RDD特点 RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个...

内推渠道，没有笔试直接进入Open Day名单 不能只被面试两眼一抹黑啊！参观公司仔细考察，近距离接触技术负责人，交流想法才是王道！ 作为金牌内推小达人已经连续2年内推，入职近百人，想查进度我也可以帮助大家！ 悄咪咪的说一句，客户端剩余名额较多，成功率大！ 介绍一下具体福利： 快看是七险一金（公积金12%），每年提供健康检查，有暖心夜宵及交通报销 珍爱生命拒绝996，周末双休，17天全薪假期是不是一股清流 福利早午餐及免费下午茶及晚餐，我在夏天沉浸在一元硬币大的车厘子中不能自拔 员工生日福利、...

问过的一些公司：头条， 字节，阿里 x 3，腾讯，竞技世界 参考答案： 1、容错方式 容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，Spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性。 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储...

可回答：executor内存分配 问过的一些公司：流利说，陌陌，商汤科技，阿里 参考答案： 在执行Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能。下方内容中的 Spark 内存均特指 Executor 的内存。 1、堆内和堆外内存规划 ...

问过的一些公司：vivo，陌陌(2021.07) 参考答案： 1、相关问题描述 当我们使用spark sql执行etl时候出现了，可能最终结果大小只有几百k，但是小文件一个分区有上千的情况。 这样就会导致以下的一些危害： hdfs有最大文件数限制； 浪费磁盘资源（可能存在空文件）； hive中进行统计,计算的时候,会产生很多个map,影响计算的速度。 2、解决方案 1） 方法一：通过spark的coalesce()方法和repartition()方法  val rdd2 =...

想问下大家，Spark3.0+版本中开启AQE的话会自动对较大的分区做拆分，这样的话数据倾斜问题还存在吗#大数据##Spark#

大数据开发工程师（无锡 上海） 参与公司大数据平台、企业客户大数据平台系统项目设计开发工作。 深入研究Hadoop、Spark、Hive、HBase等大数据技术，docker、k8s容器等技术。 任职要求： 计算机基础知识扎实，熟悉掌握Java/Python/C#等其中一种语言 办公地点（可选）：无锡滨湖区昌兴国际金融大厦6楼 徐汇区云锦路500号绿地汇中心A座 2201室 联系人：吉祥，邮箱：zhaopin@xuelangyun.com，电话：0510-68517005

工作本身就积极支持在社区做开源贡献，不用自己熬夜单兵作战。有 PMC/Committer 社区专家提供辅导。也可以参与一些新项目，后面整体打包开源出去。总之，我们是基于开源生态的产品，遵循开源社区合作的开发模式。鼓励和支持各种技术分享交流。不限于 Hadoop / Spark，是这个生态圈子的牛人或者毕业打算加入这个圈子的毕业生都行。欢迎找我联系，马上内推走流程，绝不拖拉。

出现错误如下： hive failed with java.lang.classnotfoundexception:org.apache.hadoop.crypto.key.keyprovider 真的很急，拜托各位大佬，跪求解决！！！ 我的spark版本是 spark-2.0.0 without-hive（在官网上下载的是匹配Hadoop2.4的） 我的hive版本 是 2.3.2 我的Hadoop版本是2.7.3 一开始以为版本差别不大应该没事呢，结果运行插入，建表没问题，如果查询就会出错 我现在的解决办法是把Hadoop-common-2.4.1放到hive/lib中，请问可...

部门直招，直接安排面试，感兴趣简历发我邮箱yuzhou.zk@alibaba-inc.com  对大数据感兴趣的同学随时欢迎联系！！！base 北京 团队介绍 阿里云智能事业群 EMR 是阿里巴巴计算平台事业部的开源大数据生态体系核心技术团队。我们以 Apache Hadoop 和 Spark为核心打造一站式大数据分析平台，在阿里云上提供有竞争力的 E-MapReduce大数据上云服务产品套件，涵盖众多主流核心开源组件，如 Hadoop，Spark，Hive，Presto，Kafka，Hbase，Flink，Tensorflow 等。在过去一年，基于最新打造的 Jin...

运行官方案例 / bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.0.2.jar 报错 报 File file:/opt/spark/examples/jars/spark-examples_2.11-2.0.2.jar does not exist 有大牛知道怎么解决吗

想转大数据要所以想系统学一下hive hbase mr spark storm之类的，目前只知道b站有一些培训课程，要不就是看书，但书里的版本都太老了唉