海康大数据开发笔试

分享一下我在大数据方向的学习路线，列出的基本上是必须掌握的内容。对于项目方面，建议先离线后实时项目，再之后便是数据湖等项目。另外推荐《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。比如：阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1. Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以，不要花太多时间在Java的学习上，也不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架，除非涉及到数据平台开发。2. Linux+Shell，熟悉基本操作即可3. Git、Maven（了解会用，如果需要使用能快速学习上手使用即可）4. Hadoop（重点，HDFS，MapReduce，Yarn）5. Zookeeper6. Hadoop高可用（了解即可）7. Flume8. Kafka（重点，时间紧张的话可以大致了解用途，后面可以和Flink一起学，主要用来处理实时数据）9. Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）10. Spark（重点，大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等，来不及的话可以先跳过Java API编写Spark代码的学习）11. Maxwell、DataX、DolphinScheduler（项目中数据同步、模拟日常调度工作）12. 离线数仓项目：sgg电商数仓6.0（跟着做完这个项目，就知道数仓、维度模型、指标体系等等，以及生产中一些内容。这套教程比较全面，若来不及可以选择sgg其它离线数仓项目）。学到这里可以去找实习，实时数仓等技术可以在实习中抽空学13. Flink（重点）14. MPP架构（如：Doris、Clickhouse、StarRocks）15. 实时数仓项目16. 数据治理17. 数据湖、湖仓一体18. 刷算法、刷sql、刷场景题 #数据开发工程师# #秋招#  #春招#  #实习#  #大厂#

Hadoop 有哪些组件？请简要介绍Hadoop 是一个由多个核心组件构成的分布式计算框架，每个组件负责不同的功能模块，共同支持大规模数据处理。以下是主要组件及其核心作用：HDFS（Hadoop Distributed File System）HDFS 是 Hadoop 的分布式文件系统，专为存储超大规模数据而设计。其核心特性包括：分块存储：文件被分割为固定大小的块（默认 128MB 或 256MB），分散存储在不同节点上。高容错性：通过多副本机制（默认 3 副本）确保数据可靠性。主从架构：包含 NameNode（管理元数据）和 DataNode（存储实际数据块）。YARN（Yet Anoth...

求改简历😭😭

一面：自我介绍工作内容提问（读研之前有过工作经历）用过rabbbitMQ吗？用过es吗？redis了解多少？mysql了解多少？spring框架了解多少？java开发有多熟练，工具了解多少？---由于我说了我比较擅长数据结构和算法，所以问了我：红黑树原理堆排序原理二面：给一个关键词，如何在一个文档中查询其位置？字符串匹配太慢了，有别的方法吗？给一个关键词，如何在上亿个文档中定位？如果采用倒排索引，如何处理分词错误的情况？