首页 / 数据研发
#

数据研发

#
14478次浏览 160人互动
此刻你想和大家分享什么
热门 最新
2023-05-17 22:57
已编辑
门头沟学院 大数据开发工程师
hellosrc:来一些故障排查,监控调优?比如发现 sql 执行很慢,但是发现 sql 自身没问题。使用 普罗米修斯收集HDFS和Yarn的jmx指标,在grafana 里聚合展示。发现RPC延迟高达10+ms级别,JVM GC平均耗时高达 ms级别,以及IOPS的磁盘IO速率很差。于是对磁盘做优化,对JVM内存做调参。对Hadoop RPC限流做优化...... 瞎编吧
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
2023-04-18 10:28
已编辑
数据研发岗的技术难点应该怎么说呢
哈哈哈,你是老六:多的是呢,拿etl来说,数据如何不丢不缺失,null值怎么处理,数仓建模表怎么设计,怎么加快etl任务,flink如何确保数据都能处理到,窗口划分,ads做数据服务如何实现实时调用接口,如何展示报表,集群安全性,每天跑的任务效率不高怎么优化,等等吧,你们玩了数据开发绝对会遇到
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
2023-10-29 16:23
点赞 评论 收藏
分享
玩命加载中
牛客网
牛客企业服务