自然语言处理简单应用---预测文章获得的赞同数量
Hacker News(http://news.ycombinator.com/) 是一个国外新闻社区，用户创造的内容质量远远超出其他创业者主题的网站。
数据下载地址：https://github.com/arnauddri/hn
数据集中存储了从HackerNews上爬取的内容，我们的目的是通过对每篇文章的headline进行分析，预测文章获得的赞同数量，数据样例为：
读取文件
import pandas as pd
submissions=pd.read_csv('./data/sel_hn_stories.csv')
submissions.columns=["submission_time", "upvotes", "url", "headline"]
submissions = submissions.dropna()
submissions.head()
对headline进行分词处理：
tokenized_headlines=[]
for headline in submissions['headline']:
tokenized_headlines.append(headline.split(" "))
# 处理tokens：大小写转换、去标点符号，生成unique_words
punctuation = [",", ":", ";", ".", "'", '"', "’", "?", "/", "-", "+", "&", "(", ")"]
clean_tokenized = []
for item in tokenized_headlines:
tokens=[]
for token in item:
token=token.lower()
for punc in punctuation:
token.replace(punc,"")
tokens.append(token)
clean_tokenized.append(tokens)
clean_tokenized
清理完以后的样式：
生成单词矩阵：
#生成单词矩阵，并对每个headline进行词频统计
import numpy as np
unique_words=[]
sigle_words=[]
for item in clean_tokenized:
for token in item:
if token not in sigle_words:
sigle_words.append(token)
elif token not in unique_words:
unique_words.append(token)
counts=pd.DataFrame(0,index=np.arange(len(clean_tokenized)),columns=unique_words)
counts.head()
#词频统计
for i,item in enumerate(clean_tokenized):
for word in item:
if word in unique_words:
counts.iloc[i][word]+=1
counts.head()
为了提高预测的准确性，我们需要过滤掉出现次数较少的单词、次数较多的单词（如a、an等），这类词对提高预测准确率没有什么帮助。
# Cleaning dataframe：删除出现频率过多、过少columns
word_counts=counts.sum(axis=0)
counts=counts.loc[:,(word_counts>=5)&(word_counts<=100)]
counts.head()
接下来为预测过程：
产生训练集、测试集--训练模型--做出预测
# Split dataset to train and test set
from sklearn.cross_validation import train_test_split
x_train,x_test,y_train,y_test=train_test_split(counts,submissions['upvotes'],test_size=.2,random_state=1)
from sklearn.linear_model import LinearRegression
lr=LinearRegression()
lr.fit(x_train,y_train)
predictions=lr.predict(x_test)
mse=sum((y_test-predictions)**2)/len(predictions)
mse
得到mse为：2558.0535509833271
在我们的数据中，平均赞数为10，标准差为39.5。即便对mse开方，得到的值为46.7，依然偏大。这意味着我们的平均错误为46.7，远远大于标准差，与真实值偏差太大了。
之所以偏差这么大是因为以下几个原因：
- 为了方便操作，我使用的数据集仅仅为爬取的文件中的很小一部分，可以尝试使用更多的数据来提高预测性。
- 尝试增加一些特征：比如标题长度、单词平均长度
- 尝试使用其他模式，如RandomForest、Ensemble等进行预测，观察模型的性能变化。
投递阿里巴巴控股集团等公司10个岗位 >