数据库简介 概念 人类在进化的过程中，创造了数字、文字、符号等来进行数据的记录，但是承受着认知能力和创造能力的提升，数据量越来越大，对于数据的记录和准确查找，成为了一个重大的难题。计算机诞生后，数据开始在计算机中存储并计算，并设计出了数据库系统，数据库系统要解决的问题主要是：持久化存储，优化读写，保证数据的有效性。 当前使用的数据库主要分为两类：文档型和服务型。 文档型：比如说sqllite，就是一个文件，通过对文件的复制完成数据库的复制。 服务型：比如说MySQL，postgre，数据存储在一个物理文件中，但是需要使用终端以tvp/ip协议连接，进行数据库的读写操作。 三范式 概念 ...

# 导入相关的包 import scipy.misc as misc import matplotlib.pyplot as plt import numpy as np # 获取图片 图片和文件放在同一目录下 face_g = misc.face(gray=True) plt.imshow(face_g, cmap="gray") plt.show() print(face_g.shape) 输出结果为： (768, 1024) # 将彩色图片变为灰色图片 彩色图片是三维的，灰色图片是二维的 im_data = plt.imread("芝麻.jpg&q...

import numpy as np import matplotlib.pyplot as plt '''' ---text():在Axes对象的任意位置添加文字 ---xlabel():为X轴添加标签 ---ylabel():为Y轴添加标签 ---title():为Axes对象添加标题 ---legend():为Axes对象添加图例 ---figtext():在Figure对象的任意位置添加文字 ---suptitle():为Figgure对象添加中心化的标题 ---annotate():为Axes对象添加注释(箭头可选) 所有的方***返回一个matplotlib.text.Text...

import matplotlib.pyplot as plt import numpy as np '''plot语句中支持除X,Y以外的参数，以字符串形式存在，来控制颜色、线性、点型等要素，语法形式如下： plt.plot(X,Y,"format",...)''' '''颜色：参数color或c 颜色值的方式：(1)别名color="r";(2)合法的HTML颜色名color="red";(3)HTML十六进制字符串color="#eeefff";(4)归一化到[0,1]的RGB元组color=(0.3...

Matplotlib是一个Python语言的2D会图库，它支持各种平台，并且功能强大，能够轻易绘制出各种专业的图像。 介绍 Matplotlib适用于各种环境，包括： -Python脚本 -IPython shell -jupyter notebook -Web应用服务器 -用户图形界面工具包 使用Matplotlib，能够轻易的生成各种类型的图像，例如：直方图，波谱图，条形图，散点图等，并且可以轻松的实现定制。 Matplotlib的基本元素 Matplotlib中的基本元素图表包括的元素： —x轴和y轴：水平和垂直的轴线 —x轴和y轴刻度：刻度表示坐标轴均分隔，包括...

常见的聚合方法及说明 count—————–计数 describe————-给出各列的常用统计量 min,max————-最大最小值 argmin,argmax—-最大最小值的索引位置（整数） idxmin,idxmax—–最大最小值的索引值 quantile————-计算样本分位数 sum,mean———-对列求和，均值 mediam————-中位数 mad——————根据平均值计算平均绝对离差 var,std—————方差，标准差 skew—————–偏度（三阶矩） Kurt——————峰度（四阶矩） cumsum————累积和 Cummins，cummax—累...

DataFrame的简介 DataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】(共用一个索引）。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引， 也有列索引。行索引：index。列索引：columns。值：values（numpy的二维数组）。 from pandas import DataFrame import pandas as pd import numpy as np df = pd.read_csv("winequality-red.csv&quo...

pandas纳入了大量库和一些标准的数据类型，提供了高效的操作数据集所需的工具，pandas提供了大量能使我们快速便捷的处理数据的函数和方法，它使Python成为强大而高效的数据分析环境的重要元素之一。 Series Series 是一种类似于一维数组的对象，由下面的两部分组成： values: 一组数据（ndarray类型）。 index: 相关的数据索引标签。 import pandas as pd from pandas import Series import numpy as np nd = np.array([1, 2, 3]) print(nd) # [1 2 ...

最近在学习python爬虫以及数据分析，故想做一个简单的项目来检验一下自己最近的学习状况。在豆瓣上查看正在热映的电影有很多，选择了《黄蜂女现身》这部电影来练手，将豆瓣上对它的影评做一个简单的分析吧！后期还会继续对其他的电影进行分析，下次的分析可能会包括地区等属性，此次只是针对评论进行简单的分析。 1、抓取网页数据 首先是抓取网页数据，打开豆瓣电影，点击最近的热映电影后，点击全部评论，我们则选取改网址作为我们的数据来源地址。 import urllib.request import re def movie_comment_Crawler(url): headers =...

条形图 条形图常常用来描述一组数据的对比情况，例如：一周七天，每天的城市车流量等。【条形图有两个参数x,y】bar()绘制竖直条形图、barh()绘制水平条形图。 导入绘图工具包： import matplotlib.pyplot as plt import numpy as np 绘制竖直条形图 x = np.linspace(0, 5, 5) y = np.random.randint(0, 20, size=5) # 表示先生成15(5*3)个随机数，然后将它们组装成5行，那么每行三个数，对应了颜色的三个组成部分 color = np.random.rand(15).resha...

这是一个常用的数据，给大家个链接，可以去该链接下载数据集http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt 评论区有人提供了这个链接，大家试试把 https://datahub.csail.mit.edu/download/jander/historic/file/titanic.csv

今天在VMware中装centos8出现了一点点小问题，无奈只能装centos7的了，在这里把常用的linux命令记录下，以后有需要再取。 （1）切换用户 su - 用户名 (2)切换目录cd cd /etc 表示进入etc这个目录中 cd …/ 表示返回上一级目录 cd 表示当前用户的家目录 （3）查看文件 ls -l（简称ll）和ls 这两种都可以用来查看文件，但ll是显示详细信息。 （4）新建一个目录或文件 使用mkdir （5）新建一个文件 使用 touch （6）删除文件使用 rm - rf 文件名 （7）编辑文件 vim 文件名 编辑文件的步骤是先打开文件 v...

昨天晚上想配置三台虚拟机和安装并配置好Hadoop的时候才发现，自己并不是那么清晰的记得自己做的流程步骤，那么我今天将根据昨晚做过的步骤重新做一遍（安装VMware的步骤就不显示了，那个比较简单）。 CentOS7的下载地址centos7下载 一、安装虚拟机 1.选择典型 2.选择 稍后安装操作系统 3.选择linux，版本选择CentOS7 64位 4.更改虚拟机名称和安装目录 5.指定磁盘容量，根据你自己的电脑进行选择，之后点击下一步完成即可。 二、配置虚拟机 1. 这里按照你自己的电脑的实际大小来进行配置。 2.配置完成点击启动虚拟机，安装CentOS7操作系统 3.在这...

虚拟机的基本配置 1.切换到root用户 su - root 2.关闭防火墙和禁止防火墙自启动 systemctl stop firewalld.service systemctl disable firewalld.service 3.配置时间自动同步 crontab -e 在文件中插入: */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com 4.修改/etc/hosts文件 vi /etc/hosts 192.168.X.X 主机名 5.在/opt下创建module目录，并修改它的所有者和所属组为Hadoop cd /opt mkdir modu...