最近群里有同学找实习被某大厂问到数据基线和sla提效的问题， 在我的简历中，说到了数据基线和sla提效的问题，被问到了是怎么提效的？ （1）基线排查问题：首先点开基线，基线有个甘特图，点开后会展示每一个任务的运行时间，知道末尾的节点，及运行时长，因此可以定位它每一段到底哪个任务运行时间最长，在哪个任务卡住，甚至还能发现，部分任务中间有间隔（例如任务定时7点执行，但上游5点执行结束，导致2小时浪费），先定位各任务样貌。 （2）同步任务运行时间过长：在梳理完基线后，由于数据表是全量同步，因此发现同步数据花了近3小时，同时dwd也保持全量读取，因此都会导致数据变慢，可以对任务进行全量改...

ID的生成 在我们熟知的各种数据中，一般主键ID都是一个全局无重复的整数类型(long),比如数据库的主键id，是递增增长的，在订单中,订单id的生成就比较有讲究，需要兼顾效率和唯一性:订单ID的要求：全局唯一性高性能:并发要高、延迟低、在一些大型公司,很重要高可用:稳定、不容易挂掉简单易用:目前,在订单ID生成的选择上大致有如下几种方式选择：自增的id:一般对于要求不高，量级和并发都不大的情况下使用时间戳+随机数分布式算法UUID生成雪花算法等订单序号+其他信息（时间、日期、序号、...）例如淘宝id号：就是序号+买方信息等拼接而成一般订单id是作为数据库主键存在，而订单号则并非数...

前言 这次还是想聊聊数据价值这个话题，最近群友问的比较多，同时呢在上周五我参加阿里云meet up，台下台上问的最多的问题也是数据价值，甚至cto也在苦于如何展现价值，如何向老板汇报，我们这一期还是谈一下数据价值，搞清楚它，以及我在总结时，面试时如何说数据价值。 价值概念 价值可以理解为你对团队创造贡献或你能为团队创造的贡献，例如阿里p7加入某小厂可以带来技术思路带来价值，同理之前参与过某个核心项目也具备对应的价值。 价值考评 价值考评在于你直接的主管（老板），因此主管是什么样的，他自己也会定义哪些是高价值，哪些是低价值，因此价值考评可以分为两种（1）专业老板晋升上去的或者之前从事这块工作的（...

HIVESQL解析流程之前讲过,hivesql最终会被翻译成对应的MR程序最终执行（sparksql翻译到底层的RDDtask执行）等等，SQL只是一个抽象的语言。SQL的的执行流程主要的流程：1.词法/句法解析：有的是用的Antrl语言规则，有的用的是Calcite语法规则，通过该规则完成对sql语言的解析生成对应的抽象语法树（AST Tree）ANTLR（Another Tool for Language Recognition），一个通过语法描述来自动构造自定义语言的识别器（recognizer），编译器（parser）和解释器（translator）的框架。。antlr是指可以根据输入...

什么是数据倾斜？并行处理的数据集中，某一部分（如Spark的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。造成数据倾斜的原因有很多，其中一个常见场景是一张表中少量key的记录条数特别多，导致在做Join的时候，同一key的大量数据被一个task执行，导致这个task执行耗时过长。数据倾斜不仅可以由join导致，也会有group by，partition by，count(distinct)等需要对数据进行重分区的场景导致。数据倾斜的表现任务运行几个小时甚至数十个小时任务OOM需要进一步定位数据倾斜排查思路Join数据倾斜解决思路无效Key J...

问题定位流程常见案例案例一：执行失败OOM现象：任务执行失败UI排查：点击失败的job点击job id 查看失败的stage点击失败的stage查看失败原因报错 ExecutorLostFailure (executor 1497 exited caused by one of the running tasks) Reason: (Exit reason: JVM exception - Java heap space OOM, Suggestion: Increase spark.executor.memory) 解决办法：    查看当前运行的参数： 1.参数优化-加参数、加...

Spark专题Spark Web UI课程简介：认识Spark Web Ui ：Spark Web Ui 的基础信息介绍使用Spark Web Ui：Spark Web Ui 从问题定位到问题解决课程难度：⭐️⭐️课程使用的平台：EasyData spark版本：3.3.1.2Spark Web UI 是什么？Spark Web UI 是 Apache Spark 提供的一个基于 Web 的用户界面。它是 Spark 监控和调试的重要工具，随着 Spark 应用程序的运行而自动启动，用于展示应用程序运行过程中的各种详细信息。Spark Web UI 作用Web UI 作用详情监控作业执行...

1.拼接json背景作为数仓同学，除了给业务方搭建看板、建设宽表等，同时也会给后端推送数据，应用在产品展示中，一般在推数之前后端同学会提供MQ Topic及Address，用于数据传输，数据传输可通过数据集成工具（Sea Tunnel），或Flink进行消息推送，因此需要数仓同学将数据转化为JSON格式。2.消息任务开发流程因此开发任务为3个任务1：开发出业务需要的数据可以是明细、也可以是指标（逻辑由产品+业务出），任务命名为dwd_xxxx_di/df or ads_xxxx任务2：将数据转化成json格式（就是接下来要说的），任务命名为dwd_xxxx_json_di/df or ads_...

写这期之前，语兴及其他同学在开发使用时遇到很多不同JSON相关例子，期望通过这一期讲解能快速提升大家JSON解析效率在解析JSON之前建议大家把JSON放到JSON解析相关站点或工具1.正常JSON解析样例数据这里以一个社区动态数据为例子 { "tag": "语兴好物好鞋分享", "spuList": "Asics JOG 100 2 轻便透气入门级专业跑步鞋 黑武士 男女同款 ", "circle": "", "contentTyp...

存储资源治理背景对于存储资源治理来说，由于早期数仓在存储资源充足情况下，未考虑到后续扩容和存储格式问题导致后续存储资源紧张，从而需要整体治理。语兴作为数仓开发，在之前工作经历中也经常收到存储水位线告警信息，但遇到这类问题很多数仓同学可能想到的都是加资源，这个想法其实在数仓扩张期适用（全面做中间层、应用层），但到业务缓慢变化，基建完善后回过头来看需要做大面积降本。存储资源治理思路梳理出长期未被使用/引用模型，及生命周期不符合当前标准数据模型，未分区，空表，文件数，文件格式，长期全量存储等（通过元数据模型或平台捞出）。优化方案，可以从这几点优先入手。用最少的人力成本和时间成本，达到显著的优化。下线...

【引言】本文的目的只有一个：希望大家看完后， 每次跳槽，薪资涨幅至少要在20-30%，上不封顶！在求职过程中，最重要也是打工人最关心的一环就是和HR谈薪定价，这直接关系着未来几年的薪资水平。在内推过程中，很多同学也都会咨询，如何谈薪才能拿到自己满意的薪资。本文会从四个错误的谈薪姿势，结合正确的谈薪技巧去帮助大家在谈薪过程中取得最大化的利益。同时以字节跳动定薪环节的薪资收集材料为例，看看hr定薪会重点参考什么信息！【错误的谈薪姿势】1.左右摇摆，憨憨型这种情况很容易出现在大多数据人的身上，当Hr问你的每月期望薪资是多少的时候，你回答 40K左右。完了，BBQ了。经验丰富的HR已经知道你的底限了，...

问题背景最近语兴从同事视角以及自身视角发现我们部门其中大多数问题集中在数据质量，让业务失去数据信心，虽然我们有开发流程，前期也会和业务对接，但最后业务方还是能发现好几个数据BUG,反复赶工，因此语兴复盘了一下导致数据质量问题发生的情况。（1）没有数据产品经理对接业务。（2）口径一直对不齐，没有明确口径。（3）测试前指标看上去没问题，但上线后出现问题很多（没搞清楚底层数据情况）。（4）因为需求过多，历史bug工单太多导致没时间仔细code review。（5）源头数据质量就有问题，但业务方总以为是数仓的问题。问题拆解没有数据产品经理对接业务正常开发流程中都是需要数据产品/数据分析来对接业务的，好...

前言作为数据er，数据质量一直是最大的困扰，问题来源2个方面，1是下游反馈较多Bug工单导致，Bug工单会延迟大家项目进度，同时不作为数据价值产出，但还是得给业务方解答反馈，2是基线问题，不知道各位数据er是什么情况，就语兴原来在阿里及网易的值班经历来说，当时组内一人值班一周，7天值班时间有5天夜间都被电话叫醒，更难受在于夜间不止1个电话，最终基线还会破线，较为头疼，因此对于数据质量治理在数仓团队内部较为重要。本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践数据质量治理背景大家应该知道数据质量保障措施包括DQC、基线/SLA、数据问题上报平台、数据质量长期监测跟踪体系等。这里...