从事数据开发，手写面试题5W字，涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件，文档可以后台踢我1、Hadoop特点hadoop是一个分布式计算平台，能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件：HDFS（分布式文件存储平台）、MR（计算引擎）、YARN（资源调度平台）特点：高扩容：hadoop在集群键分发数据并完成数据计算，集群可以方便进行扩展节点成本低：hadoop使用链家的机器组成集群来分发和处理数据，不依赖高端成本，高效率：在集群中处理和分发数据，处理速度非常快可靠性：存储在hdfs上的...

众所周知，mysql的数据文件是保存在磁盘上的，但中间的数据具体保存在哪个文件夹下面呢？其实不然，了解过数据库索引的小伙伴都知道，mysql中有不同种类的索引，哪这些索引与mysql存储数据又有什么关系？今天就解决这个问题一、mysql数据存放在哪？在本地mysql中建了leetcode库，中间创建了实例表t_order，具体如下图所示：在存储表数据的目录中会出现如下的文件：其中：db.opt：存储了当前数据库的默认字符集和字符校验规则t_order.frm：存储了表结构，在mysql的InnoDB引擎规则下，新建一张表，就会生成一个以表名开头，以.frm结尾的文件；t_order.ibd：会...

在这个特别的日子里，我想对牛客说：“感谢你，是你给了我一个展示自我、提升能力的平台。是你让我结识了一群志同道合的朋友，一起为了梦想努力奋斗。未来的日子里，无论我走到哪里，我都会铭记牛客给予我的帮助和支持。愿牛客越来越好，成为更多求职者的坚强后盾！牛客十周年生日快乐(˶╹ꇴ╹˶)🧨 #你都收到了哪些公司的感谢信#牛客十周岁生日快乐#

#假如你的老板掉河里，你的工作能为他做什么#拉个会，讨论一下要不要救，怎么救，多久救，谁去救......，完了之后发个邮件审批一下

面经5.0重磅来啦！！！技术栈涵盖了Hadoop、Hive、Zookeeper、Kafka、Spark、Flink、Mysql、Mysql原和架构、Java、数仓、真实面试题148、Flink架构Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算特点：  高吞吐和低延迟：每秒数百万个事件，毫秒级延迟  结果的准确性：提供了事件时间和处理时间语义，提供结果的一致性  精确一次的状态的一致性保证jobmanager包含三个组件：jobmaster：是jobmanager中最核心的组件，负责处理单独的job，jobmaster和具体的job是一一对应的 resourc...

大 数 据 吐 血 面 经 速 来！！！！！！https://www.nowcoder.com/creation/manager/columnDetail/mwkw2Y

有时候在家想自己做一点数据分析的相关内容，但是没有大量的数据，这时候该怎么办？①可以找相关网站，下载所需要的数据②到官方竞赛网站，查找完整数据，比如天池大赛③自己可以爬取相关网页的数据（记得查看rebot协议），避免违法行为你还有哪些方法呢？ #牛客在线求职答疑中心##牛客创作赏金赛#

#AI了，我在打一种很新的工#1、ChatGPTchatgpt可谓是当今人工智能领域类炙手可热的新星，有一次需要写一个数据库备份的脚本，把需求导进去，很快出了结果，如果不满意，可以再添加新的需求；例如：我需要同时备份多个数据库的数据，并且只保留最近7天的数据，也会立马生成；2、通义灵码集成再各大IDE中，对于大数据开发程序员，不仅可以快速生成专业的注释，也可以解释冗余的代码，优化整个代码结构；并且run的时候，可以一键解释报错的点，很快定位到错误；

#牛客创作赏金赛#1、电商业务中有哪些常用指标？网站流量指标：PV（page visite），UV（user visite），DAU（日活跃用户数），DMU（月活跃用户数），DNV，DOV，人均页面访问数，停留时间，产品页转化率日活和月活：日活：一天之内打开某平台的用户数（去重），一个人一天打开了100次，还是算作一次，通常根据日期分组，根据用户去重，计算用户数月活：在一个月内，打开某平台的用户数（去重）；如果你每天都打开，也算作一次商品数据化运营指标：GMV（总订单额，包括退货的订单），订单量，商品销售量，客单价，订单转化率，订单有效率，支付转化率，商品毛利和毛利率，SPU，SKU站外营销推广指标：广告点击量，广告点击率，CPA，CPC，CPD，CPM会员数据指标：注册会员数，激活会员数，购买会员数，会员活跃度，ARPU，会员复购率，会员平均购买次数，会员流失率，会员留存率2、电商业务中哪三个业务最重要？人，货，场1）客服体验和服务：提供友好的界面，提供优质的客户服务，个性化推荐和营销2）确保产品质量和种类多样化，建立可靠的供应链，预测需求，避免库存或积压断货3）采用营销手段，吸引潜在客户，指定促销增加销售额，提升转化率

#推荐一首陪你工作的歌吧# 到我办公室来一趟

#如果你有一天可以担任公司的CEO，你会做哪三件事？#让每个人都在自己喜欢的岗位上做自己喜欢的事情，所有的优待都会在工资上有个体现，我能得到什么，各位就能得到什么；说白了就是羡慕影视剧风的工作

#你的工资什么时候发？# 每月15号11点半左右 准时发 #牛客在线求职答疑中心#

#如果再来一次，你还会选择这个工作吗？#大数据是天坑，学历差真别学了，面试时后问你有没有经验，刚毕业哪来的经验，没经验的就是看学历；一般招聘平台都是1-3年，发现进去之后全是“表哥”。而且大数据岗位对比java少很多，80%的岗位都集中在沿海，在沿海的80%中，又有70%是大厂，没开始看文凭了；远不如公务员事业编国企单位，果然，宇宙的尽头是考公........#数据人的面试交流地#

今天也是想离职的一天！今天一如既往卡点了，8:58点打的卡。今天工作闲，准备6点下班，已经连续7天到点下班了。🔔距离下次发工资还有23天，心情很nice#工作两年想退休了#

#你上一次加班是什么时候？# 昨天😅

补充：Spark的内存，OOM和哪些参数有关Spark中的内存溢出，无非两点：  1、Driver内存不够：    读取内存数据太大，    数据需要回传  2、Exectuor内存不够：    map类操作产生大量的数据，包括map/flatmap/filter    shuffle后产生数据倾斜补充：在数仓工作中，产品和业务沟通不够导致的指标不一致，可能是有哪些问题导致的，应该怎么去做包括如下几个方面：1、需求理解差异2、缺乏标准化3、数据口径不统一4、沟通不畅5、文档缺失或不完善解决方法：加强沟通需求/建立数据标准化体系/统一数据口径/加强跨团队沟通与合作/完善文档管理补充：RDBMS和...