数开

数开面试题使用的hive，tez计算引擎1.如何建模、以及数据开发过程中需要注意的问题（数据探查、数据开发、数据质量监测、数据核对）2.页面数据有问题、如何排查3.抽数、推数数据量异常如何自动停止任务（要有工作日、非工作日的判断，非工作日不生效，UDF函数）4.hive表生命周期管理失效，如何进行生命周期管理（设成自动任务的话可能会使用shell脚本）（3个月前每月保留第一天与最后一天的数据，注意是业务时间第一天与最后一天，非调度时间）5.数据量大的表推数慢影响页面展示怎么解决6.根据2个日期计算工作日天数7.去重方式（开窗函数如何控制窗口的大小）8.列转行（清洗、分隔符统一、注意有些业务数据（比如一条数据楼栋面积字段（可能是总面积）对应多个房屋或多个楼栋）、LATERAL VIEW explode）9.明细表数据量大，每月还要都保留一份，怎处理？怎么优化？达梦分区（范围分区、哈希分区、列表分区、组合（多级）分区、间隔分区（属于范围分区）INTERVAL <间隔表达式>）10.更新数据效率更高的方式update采用的类似nested loop的方式，对更新的每一行，都会对查询的表扫描一次；merge into这里选择的是hash join，则针对每张表都是做了一次 full table scan，对每张表都只是扫描一次。11、筛选的时候in（不适合B大）、exists不适合B大）、join的底层以及效率12.常用的分析函数13.连续3天及以上连续出现的次数（减序号） #实习#  #校招#  #大厂#  #数开#  #数仓#

#数开#面试时被问到一个问题是：1.用sql实现topn问题，那么如何用MR程序来实现同样的topn功能呢？还有一次被问到，两表join，如何用MR来实现它呢？给我搞的很迷茫，不知道该怎么回答。难道看到SQL就知道它的执行计划，然后就可以写出对应的MR程序了？有大佬知道这两个问题答案是什么？这样的问题该怎么准备呢？

末流985本，大三想投寒假实习，GPA40%，无实习经历，项目基本上是学校的课设想投数分或者数开简历有什么问题？如果寒假实习不行，希望大佬推荐学习路线~谢谢！

双非二本大数据仔：数开 or 后端？别再让我纠结啦粉丝内容：双非二本大数据专业大三学生。我现在会 Hadoop、spark、hive、kafaka、flume 这些玩意儿呢，一直跟着 sgg 路线走。可我瞅着吧，感觉双非上岸数据开发那难度就像攀珠峰，太高啦！我就开始犹豫，是接着在这条路上死磕呢，还是转头去学后端？或者干脆贪心点，两个一起学？辉哥锐评：这网上信息看多了，那真是越看越迷糊，就跟进了迷宫似的，净让我焦虑。咱得整点实在的，多学点东西才是王道啊！多去跟大佬取取经，学学他们的经验。还有啊，得把简历好好优化优化，那可是咱的“敲门砖”呢！另外，数据仓库相关技术也得多搞搞，后面面试和工作都能用上 #实习#  #大数据#  #校招#  #秋招#  #数开#

看了下牛客各位大佬们的数据开发简历，几乎每张都有一个《尚硅谷电商数仓与实时数仓》，我想问下你们在面试的时候，面试官没有怀疑这个项目的真实性嘛？特别是实时数仓，我真的被狠狠批了一顿。#数据##数开##数开简历#

桔子，万分感谢，我冲到了滴滴厂了 数据开发岗位 #大数据#  #数开#  #校招#   #秋招#  #实习#

数仓开发全攻略 数仓内容内部面经面试指导投递渔术问题答疑全年提问SparkFlink数仓面试题数仓建模理论数仓建模实践数仓知识库数仓SQL题实战录DQCSLA #实习#  #校招#  #大厂#  #数开#  #数仓#

bg双非计算机研二，26届，目前有了半年中小厂数开实习，刚入职百度数开实习，准备明年3，4月找下一家实习，想问下各位佬是继续垂直找数开呢，还是尝试一下算法类的实习如果尝试算法，哪个方向比较好呢？LLM，搜推广，风控......？大家投票后可否在评论区留下理由呢，谢谢各位大佬 #算法#  #数开#  #我的实习求职记录#

Doris设计分区与分桶的分享分区首先看下游使用者是否经常会查询增量时间字段 或者 是否表数据量巨大，以判断是否要做分区 Doris的分区可以是小时、按天、按星期、按月、按年进行分区经验：如果一天超过了30W数据行或者超过了日增300MB数据，建议做分区考虑 ， 再有一个情况是如果下游查询是可以带上一个业务增量时间的 那就可以用时间做分区分桶我自己的经验会按照2048MB=2GB （可以粗略以2048000=204w行计算，具体的有条件可以根据表详情存储去判断2GB=多少行） 给一个桶去分配，控制在128个桶内例子：比如我有一个表，每天10w数据 大概100MB 一年就是 36500MB=36GB 我们可以按照三年的数据量来预估 36*3=108GB ，按照之前的思路 2GB给一个桶，我们这里如果不做分区的情况下 可以给108/2=54个桶，也进一下整数可以给成60个桶  #大厂#  #数开#  #数仓#  #校招#  #实习#

数仓是什么？？？数仓在企业是什么定位？？老油条带你再上一个理解层次！看图！！ #实习#  #大数据#  #校招#  #秋招#  #数开#  #数仓#

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题 #实习#  #大数据#  #校招#  #秋招#  #数开#

咱们的内容大屏搭起来了 嘿嘿，便于分析咯  也便于后续同学精准学习  #数开#  #大数据#

有uu面过这个岗位吗？能交流一下吗？#小米##数开##大模型数据开发#

入职阶段，害怕选错，不知道真实岗位的情况，怎么解？你就和HR说 我需要和面试官沟通下 工作岗位的具体内容和职责或者有面试官直接沟通渠道也可直接说1. 问具体的工作内容2. 具体用什么语音比较多3. 问你入职以后大概是做什么工作，是否是你招聘相关的4.一些你比较在意的事情 比如加不加班为啥问？因为太多挂羊头卖狗肉的招聘 #实习#  #校招#  #大厂#  #数开#  #数仓#

名词解释域地盘业务域顾名思义，以业务模块/业务系统划分的地盘数据域是以数据粒度划分的地盘，一般从业务域往下拆解主题域是以分析视角来抽象划分的地盘，可能会涉及多个数据域来做计算以及分析二级数据域、二级主题域不看二级 还是本义，加上二级 为子集的关系 也就是在XX域里又拆分了下 叫二级XX域业务域&数据域&主题域【大图】