首页 / 数据研发
#
数据研发
#14478次浏览 160人互动
此刻你想和大家分享什么
hellosrc:来一些故障排查,监控调优?比如发现 sql 执行很慢,但是发现 sql 自身没问题。使用 普罗米修斯收集HDFS和Yarn的jmx指标,在grafana 里聚合展示。发现RPC延迟高达10+ms级别,JVM GC平均耗时高达 ms级别,以及IOPS的磁盘IO速率很差。于是对磁盘做优化,对JVM内存做调参。对Hadoop RPC限流做优化...... 瞎编吧
点赞 评论 收藏
分享
点赞 评论 收藏
分享
数据研发岗的技术难点应该怎么说呢
哈哈哈,你是老六:多的是呢,拿etl来说,数据如何不丢不缺失,null值怎么处理,数仓建模表怎么设计,怎么加快etl任务,flink如何确保数据都能处理到,窗口划分,ads做数据服务如何实现实时调用接口,如何展示报表,集群安全性,每天跑的任务效率不高怎么优化,等等吧,你们玩了数据开发绝对会遇到
点赞 评论 收藏
分享
蚂蚁|支付宝-数据研发/分析-实习生招聘启动啦!!!
投递蚂蚁集团等公司10个岗位 >
点赞 评论 收藏
分享
点赞 评论 收藏
分享
10-18 14:29
门头沟学院 大数据开发工程师 点赞 评论 收藏
分享
2023-05-28 10:09
门头沟学院 大数据开发工程师 点赞 评论 收藏
分享
玩命加载中