搭建内容安全审核系统的设计思路

liyo龙 2023-07-27 09:52:02

今年负责的APP产品涉及到内容的审核，并且针对性的做了一套内容审核系统和账号安全体系。因此总结了一些经验。

内容审核基础逻辑：

审核模块：

通过简单的流程梳理，不难看出涉及的对象有：发送用户、接收用户、内容审核（人员、管理员等）等；那么考虑设计时，有两个方向去思考：一方面，单纯考虑针对某个对象，要做什么机制处理。另一个方面，将相关联对象串联起来，考虑产品设计。

一、对于发送用户

可以通过用户的账号进行处理，用户的所有行为都能说明用户想干什么，是什么样的用户。

针对用户可以建立一套账号基础信息、用户分值系统、用户风险监控系统。

用户基础信息可以有用户年龄、性别、地理位置、设备、ip地址、使用时长、交易信息、用户发布各类信息等。用户数据是对用户进行分析的基础，有些数据可以在一定程度上反应用户信用。

用户分值系统则是通过用户基础数据进行分析，并数值化，可以按权重累加、按总分值加总均可。

比如：发布过一个违规内容的用户，则分值降低等。仅分值系统可能不够，比如分值高的用户，但是还是有可能发布不好的内容。因此需要再通过其他策略处理，比如高中低风险用户制度、黑白名单制度等。

比如：一个用户发布了一个违规内容被检测出来后，和分值解耦的另外一个平台定义其为高风险用户，该用户后续内容将多次放到人工审核机制中。

内容上传后，就是常用的先跑系统审核流程——人工审核流程——及其他申述复审流程等。

常见可选择敏感词策略有：不同类型内容选择不同。

（1）关键词：禁止关键词，一旦识别立即拦截。疑似关键词：支持更多策略，可以设置阈值，处理的方式有：疑似送审、拦截不送审、拦截加黑名单。设置的阈值指的是：设置一定数，若检测出超过一定次数后，则对应处理。

（2）黑白名单：顾名思义，黑名单一律拦截、白名单一律不检测拦截。

（3）用户频次：主要针对用户发送的方式、次数等次数进行统计，形成用户频次统计数据。根据频次可对用户进行处理：疑似送审、直接拦截、拦截加黑。

（4）黑白指纹：指纹-唯一，对内容文件通过消息摘要算法生成MD5，配置入黑名单，一旦发现相同MD5则拦截。反之白名单一样。

（1）文本

主要是关键词过滤，关键词大可分为：禁止、需审核关键词。禁止关键词：自动禁止的关键词（色情、广告等）；审核关键词：检测到比较模糊是否为违规关键词的需要进入人工审核流程。

关键词的类型分为不同类型进行检测，关键词的库做成可配置的方式，以供应对不同的场景。

（2）图片

图片的审核有几种类型：图片主体、图片动作、图片文字、图片质量、图片广告（二维码、水印等）。针对不同的检测内容，可自行配置图片审核策略。

（3）视频

视频审核和图片审核是一样的，不同的地方在于，视频的审核需要先进行截取视频某一帧画面然后再进行图片审核。不同于图片，视频还可进行音频审核。

（4）音频

音频审核最主要是两点：1.是关键词内容，音频转为文字，进行校验关键词。2.是音频动物、喘息声纹就监控，这个需要阈值管理，主要有三个区域：正常区域、疑似区域、违规区域。

（5）其他

限定符：设置字符间可忽略的字符数；例如：“黄色”为违规词，为了规避用户可能会用“黄1色”，因此在“黄色”中间加入限定符以检测。

还有正则表达式、乱码等。

（1）人工审核机制

内容给到人工进行审核主要有：各系统转发至人工审核（系统审核为疑似内容、检测为高危用户等）、随机抽样审核；

人工任务分配机制：

（2）人工审核系统

人工审核系统主要分为几块：

账号管理：超级管理员可以通过系统管理人工审核账号，包括开通、删除、权限管理等。
监管平台：对于人工审核的质量也需要监管。简单的监管，可以直接抽样观察+操作日志记录即可。复杂的可以深入设计，对于审核人员来说他们的KPI大都是在一定时间内完成一定数量审核。那么这样很容易忽略质量，因此交叉审核、复审是有必要的。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门（KPI不同），若两次审核结果不一致则需复审，复审由更高一级负责人完成。
人工审核平台：审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。and 许多配套功能，倍速浏览、自动播放功能等。