互联网潜规则：如何进行敏感词屏蔽

2016-10-19 11:57:00

最近对直播比较感兴趣，被问到一个问题——如何屏蔽弹幕中的不良内容？于是便有了如下的学习内容。

一、什么是敏感词汇？

1.分类

敏感词可大致分为以下几类：政治相关和人名、迷信邪教、黄赌毒、枪支弹药类、骂人讽刺类、时事类、广告和非法信息、其他类。

网上有很多专门的敏感词库，我在网盘里上传了一份名为百度内部的敏感词文件，仅供查看https://pan.baidu.com/s/1o8xtX1K。

2.常出没的地方

所有传播的信息都需要。发送这些垃圾信息的人或者团队被称为“垃圾虫”。

敏感词不仅出现在社区论坛、IM聊天、影音娱乐等内部的评论或上传信息区域，还隐藏在头像、昵称和签名这种地方，需要全面鉴别。

3.哪些地方需要屏蔽？

平常我们主要做的屏蔽是广告过滤、黄赌毒、暴力恐怖、谣言排查等几种。不同的场合屏蔽的级别不同，而且基于传播时效性的不同，屏蔽方式分为同步过滤和异步召回。

比如微博的屏蔽就需要做到基础和全面，甚至一些时事热点也要纳入屏蔽范围。

再比如B站，为了保持弹幕的质量，它还需要屏蔽一些刷屏的、内容尴尬的弹幕，这些弹幕的内容不算敏感，只是让人不喜欢。B站在弹幕方面算是鼻祖，做到了极致—— 用户可以根据颜色、字体大小、展示方式甚至自定义的文本来进行屏蔽，同时，在视频右边还有专门的弹幕栏，也就是说，我可以弹幕内容当做评论一条条地看而不受其干扰。如图所示：

二、目前有哪些手段可以进行屏蔽？

综合说来，技术屏蔽手段主要通过特征库、语义分析、机器学习等方法来展开。网易易盾上是分三类来写的：垃圾发现、垃圾识别、垃圾处理，有点表意不明，所以下面具体来介绍一下。（以下综合易盾和joylnwang的博客整理而成。）

1.垃圾发现——针对新垃圾

①用户举报：主要是指用户在使用产品过程中遇到不良信息，于是进行投诉。

为了保证投诉的效果，我们需要在举报的便捷性、显眼展示和奖励机制上花一些功夫去做，同时还需要建立科学的举报分类，不仅方便用户选择，还能极大地帮助反垃圾训练特征样本，综合来做才能有更好的效果。

②内容聚合：主要是通过判断内容的相似性，从而确定是否为垃圾信息。

就文本来说，其相似度分为两个层面，第一是基于编辑距离的文本相似度计算，这种算法是根据一段文字如何经过增删、移动而转化为另一段文字的操作步数，来计算两段文字的相似程度，运算的时间和空间复杂度都很高，对于评论，标题这样的短文本往往能获得不错的效果，缺点是对长文本不太适用，且没有考虑文本中意群的重要性。

第二是需要在原始文本中切分出有意义的Term ，然后对于两篇文章的Term集合，运算得出文本的相似程度。复杂性上要高于前者，但在处理长文本的方面有优势，而且更有可能从意义的角度识别出相似的文本族（来源于http://blog.csdn.net/joylnwang/article/details/6831565）。

③ 蜜罐系统：主要是针对专业的垃圾虫团体。

通常垃圾虫都有特定的工具协助，而这些工具大多会分析页面元素并进行调用。如果在页面中埋伏一些“蜜罐”，正常的用户无法看到这些入口，但是程序会直接调用这些入口进行垃圾信息发送。比如某一些隐藏的评论主题，只有程序才会去抓取这些主题并对它们发送垃圾信息。那么进了这些“蜜罐”里的人，都可以被判断为非正常的用户。