大数据开发工程师

数据采集与清洗：从多源获取海量数据，并进行清洗、去噪、格式标准化，确保数据的完整性、一致性和安全性。 数据开发与调优：基于大数据架构，构建并维护数据开发算子，并通过数据标注、数据增强、数据合成等能力，交付高质量数据集；通过数据调优技术和工程，给出数据优化策略，为AI模型优化提供高质量输入。 数据管理与建模：制定数据管理规范，设计分层分级的数架构，构建数据标签、数据血缘等技术能力，确保数据的可发现性和可解释性，同时，制定数据优化存储策略（如冷热数据分层、分布式存储），支持模型训练与推理的高效访问。 数据工程：设计并搭建高效的数据处理流水线，包括数据存储策略（如SQL/NoSQL数据库）、ETL流程优化、实时/离线计算框架开发，提升数据吞吐和查询性能，开发自动化工具（如数据监控、质量检查），确保数据全生命周期可追溯，并支持业务决策的可视化分析。 AI for data：探索大模型在无线研发知识领域的应用，提升研发效率；探索利用AI技术提升AI数据采集、开发、管理等工作的效率。

1. 熟练掌握Python/Java/Scala等语言，熟悉Hadoop/Spark/Flink等大数据框架，具备SQL/NoSQL数据库设计与优化经验。 2. 精通数据清洗、特征工程、分布式计算等技术，了解主流数据挖掘算法（如决策树、SVM、神经网络）。 3. 熟悉机器学习流程（如数据标注、模型评估指标）和深度学习框架（如TensorFlow/PyTorch），有实际项目落地经验优先。 4. 具备数据仓库设计、实时计算开发或大型AI项目（如推荐系统、自然语言处理）实践经验，熟悉数据治理与合规要求。 5. 计算机科学、统计学、数据科学等数据相关专业本科及以上学历。