这实习让我搞的。。

#你最想要的公司福利是？# 月薪越高越好，保障要齐全公司没有竞争压力，没有业绩压力早点下午茶，公司小零食，晚上小火锅每个人都能开开心心工作没有职场歧视，每个人都是平等的福利待遇平等，没有关系户🕒岗位/面试时间

数开面试题使用的hive，tez计算引擎1.如何建模、以及数据开发过程中需要注意的问题（数据探查、数据开发、数据质量监测、数据核对）2.页面数据有问题、如何排查3.抽数、推数数据量异常如何自动停止任务（要有工作日、非工作日的判断，非工作日不生效，UDF函数）4.hive表生命周期管理失效，如何进行生命周期管理（设成自动任务的话可能会使用shell脚本）（3个月前每月保留第一天与最后一天的数据，注意是业务时间第一天与最后一天，非调度时间）5.数据量大的表推数慢影响页面展示怎么解决6.根据2个日期计算工作日天数7.去重方式（开窗函数如何控制窗口的大小）8.列转行（清洗、分隔符统一、注意有些业务数据（比如一条数据楼栋面积字段（可能是总面积）对应多个房屋或多个楼栋）、LATERAL VIEW explode）9.明细表数据量大，每月还要都保留一份，怎处理？怎么优化？达梦分区（范围分区、哈希分区、列表分区、组合（多级）分区、间隔分区（属于范围分区）INTERVAL <间隔表达式>）10.更新数据效率更高的方式update采用的类似nested loop的方式，对更新的每一行，都会对查询的表扫描一次；merge into这里选择的是hash join，则针对每张表都是做了一次 full table scan，对每张表都只是扫描一次。11、筛选的时候in（不适合B大）、exists不适合B大）、join的底层以及效率12.常用的分析函数13.连续3天及以上连续出现的次数（减序号） #实习#  #校招#  #大厂#  #数开#  #数仓#

辉哥，hive中有没有实现递归的方案？我有个场景，需要循环350次，第二天的数据依赖第一天的数据计算，第三天依赖第二天的数据计算，以此类推到350次。目前用的阿里云的mc，但是CTE只有10次，无法满足该需求。用阿里那边自带的while循环，跑完350次大概要3个半多小时，有没有啥方案可以优化的呀em，背景就是电商平台的那种预测销量表，比如根据今天的库存，算接下来的350天的值，大概逻辑为：当天的实际库存-季节因子*增长因子+实际需要库存的数量。比如今天预测的11-19号数据，来源于18号，然后将19号的数据写入对应的日期，下一个循环，再从20号拿19号的数据计算。1. 没有业务数据细节，没有背景，我只能建议udf，或者另外开发java etl2.用的阿里的，直接向他们要优化方案3.原数据能不能预聚合下 我看你的需求是不是聚合一个天粒度销量能缓解数据量问题 #实习#  #大数据#  #校招#  #秋招#  #数开#

百度这个面试官感觉是做数分的，简历中充数量的数分项目都问了个遍，整体感觉还好，可能是缺人的原因，面经如下--------------------------------------------1. 介绍用户行为分析及推荐系统构建项目2. 数据来源3. 数据维度有多少4. kmeans按照什么聚类5. 目标向量是什么6. 漏斗分析的收益7. 留存率流失率8. 数仓分层架构9. 活动表会影响哪一些用户，怎么剔除出来10. 零点漂移11. 拉链表12. 拉链表的更新周期13. 天气预测模型项目介绍14. 时间序列上的考虑15. 模型有哪些参数16. 开窗函数17. 分区和分桶18. 数据倾斜mr，spark19. 写mr编程（没写）20. 怎么判断用户上次登录是否7天前21. 用户数据大，select怎么查询进行调优22. 25号写好的表，26号更新lag怎么更新23. select怎么随机抽取 rand()-------------------------------------------hr跟我说通过了，但是还没发入职邮件，不知道会不会鸽我