作者：极数特攻 链接：https://www.nowcoder.com/discuss/597453?channel=666&source_id=feed_index_nctrack 来源：牛客网 2021年的春招马上开始了，对于2022届的同学来说，通过春招进入大型企业参与暑期实习是拿到校招offer的最佳途径。 作为想要进入数据分析岗位实习的小伙伴们，你们准备的怎么样了？ 数据分析必会的知识点，你们都复习去全了吗？ 对于简历制作的技巧你们都掌握了吗？ 对于面试中的一些坑，你们都已经踩过了吗？ 别担心，看这里，我会每天更新一个数据分析相...

接上一期的分享，今天继续学习统计学的相关知识，今天涉及到的五个知识点主要包括离散型概率分布、连续型概率分布、假设检验、假设检验的运用（一类错误与二类错误）以及相关、因果以及回归关系。 一、离散型概率分布  离散型随机变量是所有取值能够一一列举出来，这样的随机变量称为离散型随机变量。例如掷骰子试验，朝上的点数只能从1，2，3，4，5，6中取值。而关于离散型随机变量的分布就是离散型概率分布，离散型概率分布主要包括三类，几何分布；二项分布以及泊松分布。下表汇总了这三类离散型概率分布的部分计算公式。 1. 几何分布 （1）定义 伯努利试验是只有两种可能结果的单次随机试验。伯努...

前面几讲，我们从数据岗的知识体系出发，学习了常用的SQL语法，复习了统计学的基础知识。今天的分享我们是数据分析岗的最后一讲，着重于分享常用的统计学指标以及数据分析师的常用分析方法。 「 Part 1 常用的统计学指标 」 数据集合包括无序数据集、有序数据集两种类型，对于不同类型的数据集，对应着不同类型的统计指标，下表小编为大家整理了不同类型数据对应的统计指标以及EXCEL函数和SQL函数。 「 Part 2 基础数据分析 」 一、对比分析 二、结构分析 不同的构成成分又不一样的增长速度、成本、管理难易程度，分析...

前面几讲我们基于数据分析师需要掌握的基本技能，从SQL出发，学习了统计学的基本知识，在系统层面基本讲完了数据分析师需要具备的能力。下面几讲，我们会围绕数据挖掘工程师需具备的知识体系展开，今天会着重介绍机器学习中模型评估与选择的基础知识。 01 数据集的划分 留一法、交叉验证、自助法 1.留一法(hold-out) 将训练集划分为互斥的两个集合，其中一个作为训练集，另一个作为测试集。（划分比例通常情况下是8：2 或7：3） 留出法（hold-out），即从数据集中分层采样（stratified sampling）出约30%的数据作为测试集。分层采样的目的是要保持数据...

模型评估与选择 在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的，所以此篇我们讨论在偏差和方差之间的权衡（Bias-Variance Tradeoff）。 在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」...

在数据分析中，窗口函数是我们经常用到的函数，今天的文章我们总结了常用的各类窗口函数并给出实例。 一.创建数据集 from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.appName('Windowfunction').enableHiveSupport().getOrCreate() import pyspark.sql.functions # 原始数据 test = spark.createDataFrame([('001','1',100,87,67,83,98...

数据预处理的方法主要包括去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析等，这篇文章将会全面地总结数据预处理的基本方法。 一、去除唯一属性 唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属性即可。 二、缺失值处理 （一）缺失值的分类 完全随机缺失：指的是数据的缺失是完全随机的； 随机缺失：指的是数据的缺失不是完全随机的，和完全变量有关； 完全不随机缺失：指的是数据的缺失与不完全变量自身的取值相关；缺失值会使得系...

何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。 本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，特征工程的目的是去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。 特征工程的重要性有以下几点： 特征越好，灵活性越强。好的特征的灵活性在于它允许你选择不复杂的模型，同时运行速度也更快，也更容易和维护。 特征越好，构建的模型越简单。好的特征可以在参数不是最优的情况，依然得到很好的性能，减少调参的工作量和时间，也就可以大大降低模型复杂度。 特征越好，模型的性能越出色。特征工程的目的本来...

本章我们通过简单线性回归模型预测黄金的价格,我们将会从数据读入、数据预处理、数据集划分、模型建立、模型效果验证等方面展开。 数据读入及预处理 from sklearn.linear_model import LinearRegression # LinearRegression is a machine learning library for linear regression from sklearn.linear_model import LinearRegression # pandas and numpy are used for data manipulation imp...

一、LDA（线型判别分析-Linear Discriminant Analysis） 1.基本原理 给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能地远离；在对新样本分类时，将其投影点同样的投影到这条直线上，再根据投影点的位置来确定新样例的位置。 LDA的中心思想就是最大化类间距离以及最小化类内距离。 <figcaption> 图片来源于周志红的《机器学习》 </figcaption> 2.LDA降维的流程 <figcaption> 图片引用自[简书]蘑菇...

Feature Selection 是在模型构建过程中选择最相关、最有利于提高预测效果的特征子集的过程，也是数据预处理的重要步骤之一。 什么是特征选择 机器学习中的特征选择（Feature Selection）也被称为 Variable Selection 或 Attribute Selection 虽然特征选择和降维（dimensionality reduction）都是为了减少特征的数量，但是特征选择不同于降维 降维是创造特征的新组合，比如PCA 和 SVD 特征选择则只是从原有特征中进行选择或排除，不涉及原有特征的转变 为什么需要特征选择...

一、L1、L2正则化概述 1. L1和L2的定义 L1正则化，又叫Lasso Regression 如下图所示，L1是向量各元素的绝对值之和 L2正则化，又叫Ridge Regression 如下图所示，L2是向量各元素的平方和，然后再求平方根 2.L1和L2的异同点 相同点：都用于避免过拟合 不同点： 1.L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，用于特征选择。 L2正则化可以产生参数值较小的模型，能适应不同的数据集，一定程度上防止过拟合，抗扰动能力强。 2.L1可以让一部分特征...

估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得思考更加全面。具体的答案不是要求必须正确，重要的的是分析思路这类练习题不要，多练练思路，多看看平时的新闻报道，掌握一些基本数据sense 就行。下面我们通过几道常见的面试题来说明这类题怎么回答。 ...

点击蓝字 关注我们 估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得思考更加全面。具体的答案不是要求必须正确，重要的的是分析思路这类练习题不要，多练练思路，多看看平时的新闻报道，掌握一些基本数据sense 就行。下面我们通过几道常见的面试...