AI产品经理，如何从零开始打造专业领域的停用词库

2019-03-06 14:31:00

在SEO中，为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词即被称为停用词。那么对于AI产品经理来说，要如何从零开始打造专业领域的停用词库？

人工智能领域有三大基础：数据、计算力和算法，只有有了数据，才会有数据智能，有了数据才能描绘用户精准画像，从而进行丰富的个性化推荐、精准营销。计算力现在各家体力相当，没有多大差别，而好的算法却能够让你的AI产品更加智能。
在智能客服、垂直行业的AI助手：法律、金融、体育、医疗健康、智能语音助手领域，如何从零打造自己的停用词库是一个产品经理必备技能？

什么是停用词

停用词（Stop Words），词典译为“电脑检索中的虚字、非检索用字”。在SEO中，为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词即被称为Stop Words（停用词）。
停用词一定程度上相当于过滤词（Filter Words），不过过滤词的范围更大一些，包含黄色、政治等敏感信息的关键词都会被视做过滤词加以处理，停用词本身则没有这个限制。通常意义上，停用词（Stop Words）大致可分为如下两类：
（1）使用十分广泛，甚至是过于频繁的一些单词。比如英文的“i”、“is”、“what”，中文的“我”、“就”之类词几乎在每个文档上均会出现，查询这样的词搜索引擎就无法保证能够给出真正相关的搜索结果，难于缩小搜索范围提高搜索结果的准确性，同时还会降低搜索的效率。
因此，在真正的工作中，Google和百度等搜索引擎会忽略掉特定的常用词，在搜索的时候，如果我们使用了太多的停用词，也同样有可能无法得到非常精确的结果，甚至是可能大量毫不相关的搜索结果。
（2）文本中出现频率很高，但实际意义又不大的词。这一类主要包括了语气助词、副词、介词、连词等，通常自身并无明确意义，只有将其放入一个完整的句子中才有一定作用的词语。如常见的“的”、“在”、“和”、“接着”之类，比如：“AI产品经理总舵是AI产品经理的汇集地”这句话中的“是”、“的”就是两个停用词。

为什么要建停用词库

文本中如果大量使用停用词容易对聊天对话中的有效信息造成噪音干扰，所以QA搜索引擎在运算之前都要对所索引的信息进行消除噪音的处理。了解了停用词，在对话语料内容中适当地减少停用词出现的频率，可以有效地提高关键词密度，使得自然语言理解过程中的意图识别和语义匹配更加准确。
所以搭建专业领域的停用词库，对处理专业语料库及用户问题的意图识别及语义匹配的准确性会有很大提高。

如何搭建专业停用词库

1. 汇总通用停用词库

标点符号：。、？“”等
语气词：呵呵呜呜哈呸等
指代词：我你各位等
连接词：即使即便却或等
总结词：总的来说再者说何乐不为等
英文词：yourself yes who等

现在网上有一些通用停用词库，例如：百度停用词列表、四川大学机器智能实验室停用词库、哈工大停用词表等，整理去重后有2428条。但是每个领域有专业语言特色，特别是金融领域医药领域和法律领域，如果能够加上专业停用词做补充，那样识别和匹配结果效果会更好。

2. 筛选行业专有停用词

以保险行业为例，首先通过网络搜集保险行业问答QA语料，如下图所示：

将QA分别做分词处理，然后统计词频按数量排序，如下图所示：

将该数据和通用停用词做去重后，人工筛选行业专有停用词。将筛选完成的专业专有停用词和通用停用词合并，就构成了保险行业的专有停用词库了。

AI产品经理的极致理论

AI产品已经进入精细化设计阶段，因为对话型机器人产品特性原因，输入输出的极度简单，也就造成了处理过程的极度复杂。一个对话型机器人系统包含了近二十项技术模块，每个模块都会影响最终输出的结果，只有把颗粒度分的足够细小，在每一个颗粒度上做到“好一点”，才能使得最终结有明显提升。
小米产品里有一个极致思维，估计大家都听过木桶理论，说是一个木桶，能装多少水，取决于拼凑这个木桶所有的木板最短的那块。然而在AI产品已经普及（例如智能音箱），避免出现短板，已经不是最大的难题了。
难题是什么呢？
如何提高每一块板的高度，这时候就需要用到极致思维。就是说怎么在每一块板子上下功夫，把每一块板子都做到极致。
举个例子：IPod刚出来的时候和其他MP3最大的区别是什么呢？是在机器里面加了一个小硬盘，能存上千首歌。连续播放几天集不重样，就因为这一点做到了极致，迅速占领了音乐播放器市场。小米产品能够迅速占领市场，是因为他优化了整个供应链系统，才有了物美价廉的产品。

AI产品经理要有数据信仰

AI产品要坚信，未来的技术及产品的底层智能是数据智能，数据是一切运算及逻辑的本质基础，具备数据信仰才能做好AI产品。数据是基础，算法是路径，具备了足够干净的数据和合适的算法，才会有更准确的结果。
这里说的算法不仅仅指的工程师写出来的算法，那只是狭义的算法，我所说的是广义的算法，既包括产品经理的做事的前后顺序及做事方法，一切选择都会对结果造成影响，一切影响都会左右最终结果，这里不做价值判断。
AI产品经理在工作中要有数据信仰，多做数据判断，少做主观判断，这样最终结果才不会和预期有太大偏差。
雷军曾经说过，要想知道产品的迭代方向，不是产品经理拍脑门想出来的，也不是通过客服反映出来的，客服反映的只是愿意表达的那部分用户的需求，而不是全部用户的需求，就像是现在的一些论坛，看帖的用户数是发帖用户数的十倍以上，所有帖子中热帖数量只占到所有帖子数量的1%。
也就是说论坛其实是1000个人在听1个人讲话，甚至更低，而这一个人根本不能代表1000个人的需求。
数据信仰就是要去看数据的本质，透过数据本质才能找到更好的算法。中国汉字有4万个，常用的只有3500个，常用对话句式有10W条，但是抽离出来的停用词也就不到2500个。

作者：老张，宜信集团保险事业部智能保险产品负责人，运营军师联盟创始人之一，《运营实战手册》作者之一。

关键字：产品经理

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击举报进行投诉反馈！