#hive##优化Hive配置设置hive.merge.mapfiles和hive.merge.mapredfiles为true调整hive.merge.size.per.task和hive.merge.size.smallfiles.avgsize参数使用更大的hive thrift socket time out数据处理优化减少数据倾斜，避免全表扫描避免笛卡尔积产生，减少不必要的计算分区粒度设计更细，减少后续任务处理数据量JVM重用与优化开启JVM重用，特别是在处理小文件或Task数量多的情况下Job执行模式调整将Job交给Yarn执行，以提高效率SQL查询优化不要使用MapReduce进行查询避免在SQL字符串中配对操作使用Parquet或ORC格式存储数据，提高读写速度数据导入策略确保Hive采取读时模式(Schema On Read)，以提高导入速度解决特定问题对于map阶段缓慢，考虑开启map端聚合等优化措施解决任务执行进度卡在99%的问题，通过调整Counters平均值来优化

#数据分析#专栏不错，https://www.zhihu.com/column/c_1127620971670196224

#机器学习#什么是 SHAP 值？SHAP 值基于博弈论中的 Shapley 值。在博弈论中，Shapley值有助于确定协作博弈中的每个玩家对总支出的贡献。对于机器学习模型，每个特征都被视为一个“玩家”。要素的 Shapley 值表示该要素在所有可能的特征组合中的贡献的平均量级。具体而言，SHAP 值是通过比较存在和不存在特定特征的模型预测来计算的。这是针对数据集中的每个要素和每个样本以迭代方式完成的。通过为每个特征分配每个预测的重要性值，SHAP 值提供了模型行为的本地、一致的解释。它们揭示了哪些特征对特定预测的影响最大，无论是正面的还是负面的。这对于理解复杂机器学习模型（如深度神经网络）背后的推理很有价值。https://www.mvrlink.com/using-shap-values-to-achieve-model-interpretability/

#AI公司#中国新锐技术企业DatawhaleDify.AIMiniMaxMoonshot AI 月之暗面百川智能幻方｜人工智能零一万物那一科技深言科技智谱 AI

如何选择BI工具？Tableau VS. FINE BIhttps://zhuanlan.zhihu.com/p/665208939如何选择BI工具：Power BI“向左”，Tableau“向右”https://xilejun.com/other-bi/tableau_vs_power_bi/

#数据分析#https://julius.ai/

#机器学习#https://ytzfhqs.github.io/AAAMLP-CN/

#gpt#真的可以吗https://github.com/chat2db/Chat2DB/blob/main/README_CN.mdhttps://github.com/eosphoros-ai/DB-GPT/blob/main/README.zh.md

#算法#数据结构与算法教程 https://www.hello-algo.com/

微软Power BI的认证，https://learn.microsoft.com/zh-cn/credentials/certifications/exams/pl-300/

#数据产品#之前看别人写的不错的文章，分享给大家，数据产品经理实战 - 团队搭建 https://xie.infoq.cn/article/add257f165f9fb314a4714cc5

#数仓面试#大厂企业级数仓建设规划https://z.itpub.net/article/detail/18D686000EA5B82E83569C32A5437266

#大数据知识体系# 挺好的,继续加油https://www.sqlboy.tech/

#powerbi#DAX 中的表有两类，一类叫基表（base table）,它们是直接位于数据模型中的表；基表（base table）属于表（table）；某些 DAX 函数只能用基表作为参数，而不能用 VAR 定义的表作为参数；但可以用 VAR 定义的表作为参数的函数都可以用基表；用基表的方式是它的名字：表引用。总结如下：DAX 中的基本结构有两种：值（value）与表（table）。数据模型中的表，叫：基表（base table）。基表是表，但表不一定是基表。如：VAR 的表就不是基表。某些 DAX 函数的参数只能用基表形态的表。如：VALUES 等。使用基表或基表中列的方式是表引用或列引用。https://zhuanlan.zhihu.com/p/370554832