定义原始语料集合

train_set=[]
f=open("./data/all.txt")
lines=f.readlines()
for line in lines:
content = (line.lower()).split("\t")[2] + (line.lower()).split("\t")[1]

切词，etl函数用于去掉无用的符号，cut_all表示非全切分

word_list = filter(lambda x: len(x)>0,map(etl,jieba.cut(content,cut_all=False)))train_set.append(word_list)

f.close()
得到的tain_set就是原始语料了，然后对这些语料导入到词典中，建立一个词典。

生成字典

dictionary = corpora.Dictionary(train_set)

去除极低频的杂质词

dictionary.filter_extremes(no_below=1,no_above=1,keep_n=None)

将词典保存下来，方便后续使用

dictionary.save(output + "all.dic")
将语料导入词典后，每个词实际上就已经被编号成1,2,3....这种编号了，这是向量化的第一步，然后把词典保存下来。
然后生成数字语料

corpus = [dictionary.doc2bow(text) for text in train_set]
这一句表示把每一条原始数据向量化成编号，这样以后，corpus这个变量是个二维数据，每一行表示一个文档的每个词的编号和词频，每一行像这样

[(1,2),(2,4),(5,2)....] 表示编号为1的词出现了2次，编号为2的词出现了4次....

OK，前期准备OK了，原始文章通过切词-->建立词典-->生成语料后已经被我们数字化了，后面就简单了。

4.1 TFIDF模型

有了数字语料以后，我们可以生成一个TFIDF模型

使用数字语料生成TFIDF模型

tfidfModel = models.TfidfModel(corpus)

存储tfidfModel

tfidfModel.save(output + "allTFIDF.mdl")
这一句是关键，我们用了原始的数字语料，生成了一个TFIDF模型，这个模型能干什么呢？gensim重载了[]操作符，我们可以用类似[(1,2),(2,4),(5,2)....]的原始向量传进去，变成一个tfidf的向量，像这样[(1,0.98),(2,0.23),(5,0.56)....]，这样就说明编号1的词的重要性比后面两个词都要大，这个向量可以作为后面LDA的原始向量输入。

然后我们把所有的语料都TFIDF向量化，并作为一个索引数据存起来方便以后查找的时候使用

把全部语料向量化成TFIDF模式，这个tfidfModel可以传入二维数组

tfidfVectors = tfidfModel[corpus]

建立索引并保存

indexTfidf = similarities.MatrixSimilarity(tfidfVectors)
indexTfidf.save(output + "allTFIDF.idx")
好了，TFIDF部分完了，先记下来，我们生成了一个模型数据(allTFIDF.mdl)，生成了一份全部语料的TFIDF向量的索引数据(allTFIDF.idx)，加上上面的词典数据(all.dic)，我们现在有三份数据了，后面再说怎么用，现在先继续LDA部分。

4.2 LDA模型

LDA上一篇讲了那么多，在gensim看来就是下面几行代码，而且使用了传说中的机器学习哦。只能说gensim的代码封装得太简洁了。

通过TFIDF向量生成LDA模型，id2word表示编号的对应词典，num_topics表示主题数，我们这里设定的50，主题太多时间受不了。

lda = models.LdaModel(tfidfVectors, id2word=dictionary, num_topics=50)

把模型保存下来

lda.save(output + "allLDA50Topic.mdl")

把所有TFIDF向量变成LDA的向量

corpus_lda = lda[tfidfVectors]

建立索引，把LDA数据保存下来

indexLDA = similarities.MatrixSimilarity(corpus_lda)
indexLDA.save(output + "allLDA50Topic.idx")
虽然只有这三步，但是还是挺耗时的，在log打开的情况下可以看到处理过程，我随便截取了几个，像下面一样，很明显，前面几个主题都和汽车相关，后面几个主题都和技术相关，看样子还算比较靠谱的。

38 (0.020): 0.003新奇 + 0.003骏 + 0.002途安 + 0.002配备 + 0.002都市 + 0.001除 + 0.001*昂科威

27 (0.020): 0.003配置 + 0.003内饰 + 0.003车型 + 0.002气囊 + 0.002瑞风 + 0.002万元 + 0.002*逸致 +

0 (0.020): 0.004奔腾 + 0.003加速 + 0.003嘉年华 + 0.002油门 + 0.002爱丽舍 + 0.002秒

49 (0.020): 0.004瑞虎 + 0.004绅宝 + 0.004欧诺 + 0.002雷克萨斯 + 0.002车型 + 0.002乐途

26 (0.020): 0.011列表 + 0.009流 + 0.007快捷键 + 0.006崩溃 + 0.002大神 + 0.002混淆 + 0.002*邮箱

21 (0.020): 0.035命令 + 0.018浏览器 + 0.007第三方 + 0.007安装 + 0.006*控制台

topic # 25 (0.020): 0.064文件 + 0.004约束 + 0.004练习 + 0.003复制到 + 0.003就行了 + 0.003反编译
好了，LDA部分也完了，又多了两个文件allLDA50Topic.mdl和allLDA50Topic.idx，加上前面的3个，一共5个文件了，OK，休息一下，喝杯可乐，继续下一步。

5. 验证结果

好了，第四部分中不知不觉我们已经使用机器学习这么高端的东西了，那现在要验证一下这么高端的东西到底效果如何了。

前面的TFIDF和LDA我们都保存了模型和向量数据，那么我们就用两篇新的文章，来看看和这篇文章最相似的文章都有哪些来验证这两个模型靠谱不靠谱吧。

我随便打开一个汽车网站，选了一篇汽车的文章(宝马的评测)，再找了我之前的一篇技术的文章(讲搜索引擎的)，并且只随机截取了文章的一段进行测试。

看开头这应该是一篇为全新宝马X1 Li（下文简称新X1）洗地的文章，我想很多宝马死忠、车神也已经准备移步评论........

一般情况下，搜索引擎默认会认为索引是不会有太大的变化的，所以把索引分为全量索引和增量索引两部分，全量索引一般是以天.......

好，文章选好了，先载入之前保存的数据文件

载入字典

dictionary = corpora.Dictionary.load(output + "all.dic")

载入TFIDF模型和索引

tfidfModel = models.TfidfModel.load(output+"allTFIDF.mdl")
indexTfidf = similarities.MatrixSimilarity.load(output + "allTFIDF.idx")

载入LDA模型和索引

ldaModel = models.LdaModel.load(output + "allLDA50Topic.mdl")
indexLDA = similarities.MatrixSimilarity.load(output + "allLDA50Topic.idx")
然后把测试数据进行切词，TFIDF向量化，找相似，LDA向量化，找相似

query就是测试数据，先切词

query_bow = dictionary.doc2bow(filter(lambda x: len(x)>0,map(etl,jieba.cut(query,cut_all=False))))

使用TFIDF模型向量化

tfidfvect = tfidfModel[query_bow]

然后LDA向量化，因为我们训练时的LDA是在TFIDF基础上做的，所以用itidfvect再向量化一次

ldavec = ldaModel[tfidfvect]

TFIDF相似性

simstfidf = indexTfidf[tfidfvect]

LDA相似性

simlda = indexLDA[ldavec]
好了，结束，所有代码就这么些了。太简单了。。。。我们来看看效果。

6 输出结果

我们先看TFIDF的结果

汽车的测试文章TFIDF结果(前10结果中随机选3个)

优惠购车推荐宝马x3优惠3.5-7万元
保时捷macan竞争力分析宝马x3
宝马2014年新车展望多达十余款新车

技术的测试文章TFIDF结果（前10结果中随机选3个）

用golang写一个搜索引擎（0x06）
索引那点事
[搜索引擎] sphinx 的介绍和原理探索

很明显，结果基本都比较靠谱，第一个基本是说宝马车的，第二个基本都在说搜索引擎和索引。

我们再看看LDA的结果，LDA的主要功能是文本分类而不是关键词的匹配，就是看测试文章分类分得对不对，我们这里基本上是两类文章，一类技术文章，一类汽车文章，所以我们通过找和测试文章最相似的文章，然后看看找出来最相似的文章是不是正好都是技术类的或者汽车类的，如果是，表示模型比较好。

汽车的测试文章LDA结果(前10结果中随机选3个)

编辑心中最美中级车一汽-大众新cc
25万时尚品质4款豪华紧凑车之奔驰a级
iphone手机html5上传图片方向问题解决

技术的测试文章LDA结果（前10结果中随机选3个）

java 多线程核心技术梳理(附源码)
springsession原理解析
并发中的锁文件模式

从结果看，基本比较靠谱，但汽车那个出现了一个badcaseiphone手机html5上传图片方向问题解决，这是篇技术文章，但是出现在了汽车类上面。

7. 结果分析

我们来分析一下这个结果，对于TFIDF模型，在现有数据集(12000篇文章)的情况下，推荐结果强相关，让人觉得推荐结果很靠谱，这也是TFIDF这种算法简单有效的地方，他把文章中的关键词很好的提取出来了，所以推荐的结果让人觉得强相关，但是他也有自己的问题。

对于比较短的文章(比如微博这类的)，由于文本太短了，TFIDF比较难提取出重要的关键词或者提取得不对，导致推荐结果不靠谱。
单纯以词频来说明这个词的重要性感觉不全面，比如这篇文章，人类来看的话应该是文本相似性最重要，但有可能按TFIDF算出来是模型这个词最重要。
对于纯文本的推荐系统来说，这种文本相关性的推荐可能比较适合垂直类的网站，比如像SegmentFault这种，看某篇文章的人很可能希望看到类似的文章，更深入的了解这个领域，这种算法比较靠谱，不过据我观察，SegmentFault是使用的标签推荐，这种推荐效果更好，但人为因素更多点，要是我写文章的时候随便打标签就比较麻烦了。

再来看看LDA模型，LDA主要用在文本聚类上，而且他的基础是主题，如果把他作为推荐系统的算法来使用，要看具体场景，他的推荐结果在数据样本不太够的情况下，可能看上去不太靠谱(即便样本大可能也看上去不太好)，显得粒度很粗，但正因为很粗，所以比较适合做内容发现，比如我对数码新闻感兴趣，这种感兴趣不仅仅是只对iphone感兴趣，只要是数码这个主题的我都感兴趣，所以用LDA可以很好的给我推荐数码这个主题下的东西，这比正在看iphone的文章，下面全是iphone的文章要靠谱多了。

LDA出现上一节的哪种badcase的时候怎么办呢？因为基本不太可能改模型，那么只能从几个方面入手。

如果只是偶尔的一两个，可以选择忍了。
如果多的话，那只能先调一调主题个数，然后LDA里面有些个参数可以调调（算法工程师的价值所在啊）
还有一条路子就是把输入的数据尽可能的清洗干净，把无用的杂质去掉（算法工程师必备技能耐心和细心）
所以，不同的模型对于不同的场景是很重要的，根据你的场景选择合适的模型才能达到合适的效果。

8. 写在后面的话

这篇文章只是一个文本相似性的最最基本的文章，可以最直观的了解一下TFIDF模型和LDA模型，同时，也使用了目前最热的机器学习技术哦。

其实，像LDA，以及word2vec这种模型，已经是被数学抽象得很强的模型了，和实际场景基本上已经脱离了，已经完全数学化了，所以其实不一定要用在文本处理上，在流量分析，用户行为分析上一样有用，这就是算法工程师要想的事情，一个好的算法如何用在现有的场景中。

试想一下，如果我们想给我们的用户分个类，看看哪些用户兴趣比较相似。我们其实可以这么来做：

首先，如果我们有一堆用户的浏览行为数据，每一条数据记录了用户点击某个链接，或者点击了某个按钮。
把这些浏览行为按照用户维度进行合并，那么新数据中每一条数据就是一个用户的操作记录，按顺序就是他几点几分有什么行为。类似于用户A ：[浏览了a页面，点击了b按钮，浏览了c页面....]
好，如果我们发挥算法工程师的必备技能之一----想象力，那么我们把每个用户的行为当成一篇文章，每个行为数据当成一个词语，然后使用LDA.....呵呵
这样算出来的主题，是不是就是用户的类别呢？有相似行为数据的用户会出现在相同的主题下，那么这样就把这些用户分类了，那么是不是可以理解为同样类别的下的用户有着相似的爱好呢？如果你觉得可行，可以拿你公司的用户数据试试，看看效果好不好：）