数据分析教程

SQL系列（一）快速掌握Hive查询的重难点 作为一名数（取）据（数）分（工）析（具）师（人），不得不夸一下SQL，毕竟凭一己之力养活了80%的数据分析师，甚至更多。SQL语言短小精悍，简单易学，而且分析师重点只关注查询，使得学习成本和时间成本瞬间就下来了。 企业日常涉及的SQL很多，常见的如MySQL、Hive、Presto、ES（ElasticSearch）等。但分析师日常使用最多的还是Hive，因此本文就将日常工作的Hive查询重难点做个汇总，分享给大家～ ⚠️注意：这里不是介绍SQL的基础，基础知识在上期【数据分析师的必要条件】已经提及。该系列的核心是学完即用，因此后续的所有分享都是...

SQL系列（二）最常见的业务实战 本文将通过构建三张表，几个SQL实例带大家掌握最常见的业务需求，同时这些实例也覆盖了面试中80%的考点。 临时表概览 temp.hh_user_active：用户活跃信息表，存储了2021年每日活跃的用户ID。dt+uid为唯一值。 col_name data_type comment sample dt string 活跃日期 2021-01-01 uid string 用户ID 91 temp.hh_user_exercise：用户练习信息表，存储了2021年每日练习的用户数据。id为唯一值。 col_name data_ty...

Python小案例（八）基于自动节点树进行维度下钻 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章

Python小案例（九）PySpark读写数据 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章

Python小案例（七）事件流分析之桑基、漏斗图 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章

Python小案例（六）通过墒权法计算指标权重 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章 https://uploadfiles.nowcoder.com/images/20230217/407538858_1676606920390/8D0B0C3A11E74EFD5FDFD7910257E70B

Python小案例（十）利用PySpark循环写入数据 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章

Python小案例（五）循环判断进行分组 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章 https://uploadfiles.nowcoder.com/images/20230217/407538858_1676606920390/8D0B0C3A11E74EFD5FDFD7910257E70B

Python小案例（四）批量操作文件 顾名思义，这次分享的内容是如何进行文件批处理操作。 批量生成文件 import os import pandas as pd import random 下面代码的结果：在当前路径下新建batch_files文件夹，在该文件夹下批量生成三个日期的文件夹，每个日期文件夹里写入abcd四个txt文件，文件内容是随机的10个100以内的随机数。 dates = pd.date_range('2022-01-01','2022-01-03').strftime("%Y-%m-%d").to_list() init_path = './batch_files/'...

Python小案例（二）长宽表转换 在日常与运营、产品打交道时，你会发现他们提供给数分的Excel大多数是宽表，而数分提供给业务的多是长表。因此进行长宽表转换就显得很有必要性了。 import pandas as pd 长表转宽表 # 构造长表数据 df_len = pd.DataFrame( {'阶段':['小学','小学','小学','小学','小学','小学','小学','小学','小学','初中','初中','初中','初中','初中','初中'], '科目':['英语','英语','英语','语文','语文','语文','数学','数学','数学','数学'...

SQL系列（三）SQL使用的旁枝末节 首先，来揭晓上期的答案。方法不唯一，符合结果即可～ with temp as ( select 2 as st，5 as en union all select 11 as st，9 as en ) select st ,en ,collect_list(numbers_end) as result -- 得到等差数组 from ( select st ,en ,if(s...

Python小案例（三）解方程 日常业务实践中，经常会将一些问题抽象化为数学方程，对于一些简单的方程可以手动计算解决，但如果方程比较复杂，手动求解又过于繁琐的情况下，则可以利用Python的sympy进行方程求解。 当然，当养成习惯后，利用python求解方程能极大的提高工作效率和正确率。 简单方程 {x+3y=172x−3y=6\left\{\begin{array}{l}x+3 y=17 \\ 2 x-3 y=6\end{array}\right.{x+3y=172x−3y=6​ from sympy import * x = Symbol('x') y = Symbol('y') s...

统计系列（一）统计基础 ⚠️：链接失效可微信搜索公众号HsuHeinrich阅读同名文章

Python小案例（一）非结构化文本数据处理 日常业务需求中，仅凭SQL一招鲜是没法吃遍天的，这个时候就需要更为强大的Python进行支持了。这个系列主要分享一些Python小案例，都是根据笔者日常工作需求抽离总结的，如有雷同，纯属巧合～ 这一期，主要是利用python处理非结构化文本数据。而且每个小案例可能隐藏着一些使用的Pandas技巧. 嵌套json展开 隐藏知识点：函数递归 # ⚠️注意：用`json.loads`处理json型字符串时，键值应用双引号，外围用单引号。否则会转换失败，这里只是简单处理，所以采用`eval`函数避免转换错误。 # 随机构造一个json型的字符串 s = "...