风控系统的建设，具体怎么做？

柠檬饼干净又卫生 2023-10-07 09:37:39

一、风险的分类

产品的运营伴随着风险的产生，其中会有来自各方面的不同类型风险，这些风险都会一定程度上影响产品的运营效果。

1. 按风险的来源分类

1）法律禁止类

指由相关国家机构明令禁止的内容/行为，比如涉黄、涉政、未成年、引起不良社会现象的谣言等内容，或者诈骗、盗窃等行为。这类内容/行为被监管部门发现，则会导致公司的产品受到影响（比如下架、勒令整改）。此外，国家禁止的内容/行为会随着随着文化管控的需求变更会有新的防控要求变更，比如为了惩治网络暴力，监管部门有对相关内容APP提出内容管控要求。

2）黑灰产业类

指通过作弊进行非正常手段获利，比如抽奖活动刷抽奖、拉新注册刷人头薅羊毛等，这些行为会导致产品的运营收益下降。

3）三方平台类

指依赖于第三方平台合作的产品（比如安卓应用商城、苹果Apple store，通过上架第三方平台）通过符合其他平台的规则来实现盈利，如果出现违规，可能会导致下架、功能限制等平台处罚措施，导致产品的正常运营受到影响。

4）脚本外挂类

主要指用户通过脚本、外挂等方式，进行非正常的用户操作，从而破坏产品的用户生态，比如游戏的外挂、网赚产品的自动完成任务，这些行为一方面损害了正常用户的利益，一方面导致平台运营成本增大（游戏的外挂/脚本会加速游戏内容的损耗、网赚平台则会加大平均的让利成本）。

5）竞品竞争类

主要指其他竞品平台的不良内容，用商业诋毁官方或者合作的公司，导致品牌利益受损。一般容易出现在内容平台上，比如水军进行负面舆论的爆破。

6）内部风险类

指内部成员产生的风险内容，比如内部成员泄露商业机密、发表负面言论内容等，对企业造成损失。

7）业务影响类

有些内容虽然不会违反法律法规，也不属于上面的类型，但它却会对产品的运营产生影响，基本由运营人员基于业务特征进行总结。比如内容社区会有些内容会不符合平台的调性，影响核心用户的留存；比如女性社区的厌女内容，业务上会需要对这些风险内容进行一定程度的限制。

2. 按风险的主体分类

1）内容风险

来自各方（比如用户、黑产、竞品、内部）发表的对产品具有风险内容，其中涵盖法律禁止、黑灰产业、不良竞争广告、影响用户体验等影响业务效果的内容。比如用户发表敏感内容、发表广告、发表不符合社区规范的内容。

2）行为风险

来自各方（比如用户、黑产、竞品、内部）做出的对产品具有风险的行为，其中涵盖黑灰产业、脚本外挂、竞品竞争、内部风险、业务影响等方面。比如黑产高频刷注册；比如竞品在社区内高频发布引流广告。

3）账号风险

指用户账号安全相关的风险，主要来自黑产对用户、用户对用户之间。用户账号信息、密码等如果被泄露或窃取，可能会导致账号被他人盗号，从而做出损害原号主利益的事情。比如，盗号者用原号主的账号发表违规内容，进行违法犯罪的行为，或者直接卖掉账号。

4）产品风险

指黑产对产品、用户对产品产生的风险，例如被黑客攻击或者承载服务量级过高导致产生的问题。

黑产有时会直接对产品本身进行攻击，从而对产品的运营造成严重影响，并以此威胁企业支付赎金才停止攻击。举个例子，曾经有一款名为《濡沫江湖》的游戏，在上线初期遭受黑客的DDoS攻击，导致公司的服务器瘫痪。黑客通过邮件直接向游戏厂商勒索，迫使厂商不得不购买第三方防护技术，花费了整整一年90万的费用才成功抵御住这次攻击。

此外，还有一些产品面临的风险是用户访问量超过原本的承载量，导致用户原本的使用受到影响。当产品的用户访问量超出了原有的承载能力时，可能会导致产品性能下降、用户体验恶化等问题。

5）互动风险：

用户之间的互动行为可能会带来一定的风险，尤其是在双边/多边平台上，例如滴滴的司机与用户之间的互动以及闲鱼的卖家与买家之间的互动。不良的滴滴司机可能会对用户造成伤害，而不良的闲鱼买家可能会进行商品掉包等行为。

这些互动所产生的风险可能会违反法律法规，从而对产品的运营产生不利影响。

这些风险内容往往会集中出现在具有以下特征的产品上：

用户能自由发表内容的产品，比如社区、聊天产品。
用户能够通过产品获取实际利益的产品，比如网赚返利产品、电商平台产品。
商品/内容供不应求的产品，比如演唱会卖票产品。
能够被作弊手段破解，并且从中获取便利的产品，比如游戏。

二、风控系统的建设目的

由上文可见，风险内容的覆盖面极广，基本上所有的产品都可能会面临风险。同时风险内容的危害极大，可能招致法律铁拳的降维打击，也可能影响核心用户的体验。所以，企业可以通过构建一个风控系统进行所有业务线的风险防控。其优点在于：

1.通过统一的功能建设，可以避免重复造轮子，降低边际成本。（风控识别涉及到的技术一般实现成本较大，比如AI模型）

2.风控积累防控能力建设，将已经发生过的问题在其他产品线上建立防控机制，避免重复踩坑。

三、风控的节点

风控的按“事件发生节点”分为事前风控、事中风控、事后风控，分别指在风险事件发生前中后阶段分别进行的防控内容。

1. 事前风控

在风险事件发生前，通过识别和评估潜在风险，以制定相应的策略和措施来降低风险的发生概率。

2. 事中风控

在风险事件发生过程中，尽早发现和干预风险事件，以减少损失并防止进一步扩大。

3. 事后风控

在风险事件发生后，对风险事件进行调查、分析和总结，以及采取措施防止类似事件再次发生。

四、风控的核心功能模块

除了B端系统常见的基础功能模块（如系统权限模块、数据采集系统、效果复盘系统），风险防控系统的功能可以分为风险预防、信息采集、风险评估、风险应对四大模块。

而风险按内容风险、行为风险、账号风险、产品风险、互动风险等不同的风险类型，在四大模块也有不同的内容。

1. 风险预防

风险预防属于事前风控环节，用以降低风险发生的概率，以下为常见的预防手段：

1）人机校验

通过引入人机校验功能，企业可以区分用户和机器，从而提前拦截黑产脚本的恶意行为。

最常见的人机检验方案有滑块验证码、图像识别验证码、拼图验证码、解密验证码等。但随着黑产破解技术的发展，像是打码平台、图像识别等破解技术的引入，原有的人机校验方案有了被破解的风险。企业的校验方案也被迫越来越复杂，往形式多样化、交互复杂化的方向发展。

人机检验方案的难度越高，对用户体验的影响也越大，可能会影响产品的转化率。

为了平衡安全性和用户体验，厂商可以在常见的操作环节采用低难度的验证方案，例如滑块验证码，以略微提高黑产门槛，同时不会对用户体验产生过大的影响。而对于高风险操作行为，如支付和修改密码，可以采用更高难度的验证方案，以确保整体安全性。

2）身份校验机制

与人机检验不同，身份验证主要用于验证用户是否本人。常见的身份验证方案包括手机验证、身份证验证和邮箱验证等，这些方案要求用户提供证明其拥有这些信息使用权的证据，以证明其身份的真实性。

身份验证环节通常用于敏感操作，例如修改密码和进行支付等。通过进行身份验证，企业可以确保只有授权用户才能进行这些敏感操作，从而提高整体安全性。

3）规则预防

通过调整产品规则和条件，可以有效限制风险行为的发生。

举例来说，针对注册刷量行为，我们可以限制同一设备或身份证每天只能注册两个账号，这样黑产需要额外花费购买注册所需的信息，增加了他们的成本和门槛。

另外，对于存在违规倒卖行为的卖家，我们可以设定普通用户每天只能出售两三个物品的限制，而对于核心用户则不受此限制。这样一来，黑产从事违规行为的门槛会提高，因为他们无法大规模利用普通用户账号进行违规倒卖。

4）用户教育

风险防控是一个敌暗我明的业务，企业必须面对各种意料之外的风险。为了应对这些风险，我们需要通过用户教育来增强用户的风险意识，将用户纳入我们的防控战线。

企业可以通过公告、邮件、用户须知等途径向用户传达风险信息，告知他们风险的危害性。同时，我们也可以公示处罚结果，以警示其他用户。

此外，为了挖掘意料之外的风险内容，我们可以提供举报功能和相应的奖励机制，鼓励用户参与其中。通过让用户参与风险挖掘的过程，我们可以借助用户的力量，共同发现潜在的风险内容。

2. 信息采集

信息采集环节在风险控制中扮演着重要的角色，其主要目的是获取用户的基础信息和风险情报，以支持风险控制系统的功能执行。

1）基础信息采集

内容/用户信息/行为日志采集：在用户使用我们的产品时，除了采集与风险控制相关的内容（例如用户发表的言论、发送的图片），我们还可以在合法范围内收集用户的账号、设备和身份信息，以进行用户身份认证。同时，我们还会采集用户在系统中的各种行为日志，以辅助后续的风险控制措施执行。
采集作弊检测：然而，具备技术能力的黑产可能会采用各种手段绕过我们的信息采集，或者伪造虚假信息进行上报，从而使我们难以准确识别和应对风险。因此，风险控制系统的信息采集模块需要考虑如何应对这些风险。我们需要从客户端层面拦截绕过上报或数据篡改的数据，并从服务端层面识别并过滤绕过和篡改的数据。

2）风险情报采集

除了基础的信息采集，还需要采集来自各个业务线的风险情报，例如用户举报、其他业务线的反馈、风险热点采集等。这些途径获取的风险情报往往能够挖掘出一些我们意料之外的风险内容，以便及时对视野盲区中的意外风险进行应对。

信息采集是一个持续迭代的过程。我们需要不断优化采集策略和技术手段，以适应不断变化的风险形势和用户行为。同时，我们也要注重用户隐私保护，确保信息采集的合法性和合规性。

3. 风险评估

1）内容风险

内容风险指风险文本、图片、语音、视频等类型的内容，不同类型的内容的风险评估建设也有所差异，下方分别讲讲。

i）敏感内容库：

我们可以将特定的敏感内容添加到一个名为”敏感内容库”的数据库中。当某个内容与库中的内容高度相似或完全一致时，我们将其标记为”风险内容”。

对于文本内容，我们可以通过自定义词库进行风险过滤，采用文本匹配或正则表达式匹配的方式来识别风险内容。正则表达式匹配主要用于应对”规则对抗”的情况，例如将识别到的”黄赌毒”写成”黄|赌|毒”，或者写成”黄du毒”，以混淆的方式绕过识别。词库的内容来源包括相关部门的要求和业务部门的整理，可以涵盖各种类型的风险内容。

针对图片、语音和视频等内容类型，我们可以通过判断它们是否”高度相似”或者”完全一致”来标记为”风险内容”。

举个例子，如果某张图片已经被业务人员判断为”风险内容”，那么当同样内容的图片再次出现时，我们可以直接跳过机器或人工判断，直接将其标记为”风险内容”。假设这张风险图片稍作修改，我们也可以通过相似度判断是否应标记为”风险内容”。如果相似度高于设定的阈值，我们可以直接将其标记为”风险”。

为了确保敏感内容库的有效性，我们需要设立企业内容维护角色，定期从竞争对手、新闻报道、相关部门等信息来源收集需要关注的敏感内容，并及时更新敏感内容库，以应对不断变化的风险形势和新出现的风险内容。

ii）风险识别AI

在前文中提到，用户可能会采取”规则对抗”的行为，试图通过对抗手段绕过敏感内容库的检测。虽然我们可以通过补充内容库的方式来识别这些内容，但这种方法只能在事后补充规则，属于事后防范的措施。

为了更好地应对这种情况，我们可以自行训练风险识别人工智能（AI），建立AI风险识别模型，以拓展风险识别的能力。通过该模型，我们可以对已经出现的风险内容进行标记，将其分类为”高风险”、”中风险”、”低风险”或”无风险”，从而辅助我们判断如何处理这些内容。

当然，风险内容的形态是多样的，包括文本、图片、语音、视频等多种类型，因此我们需要分别对这些内容形态进行AI模型的建设。对于视频和语音等具有”时长”概念的内容形态，我们还需要考虑如何在审核过程中降低成本，例如通过对视频和语音进行切片审核的方式。

iii）人工审核

在某些情况下，一些内容无法通过内容库进行拦截，人工智能也无法准确判断其是否存在风险。因此，引入人工审核环节作为风险判断的最后一道防线是必要的。

然而，人力资源是有限的，无法对所有内容都进行审核。因此，我们可以通过人工智能的筛选、用户举报和用户反馈等方式，对高优先级的内容进行优先审核。对于视频和语音等具有”时长”概念的内容形式，我们还需要考虑如何降低审核成本，例如采用切片审核的方法。

此外，人工的审核由于需要消耗时间，因此这里还可分为“先发后审”和“先审后发”两种模式，表示了内容是否需要经过人审才能对外。使用哪种审核模式需要结合人力效率、内容量、内容风险影响程度、业务影响程度等因素进行综合判断。

2）行为/账号/产品/互动风险

行为风险、账号风险、产品风险、互动风险的识别方案大体相同，分为风险规则库和黑名单。

i）风险规则库

通过分析采集的各类日志，我们可以总结出各类风险行为的特征。

比如抓刷注册的用户，我们可以监控注册日志，并将在短时间内多次注册的行为视为潜在的“行为风险”。

比如存在账号风险的用户，我们可以监控登录日志的IP，并将在短时间内多次变更所在IP的用户视为有潜在的“账号风险”的用户。

我们可以将这些风险行为的特征整合到”风险规则库”中，以便按照规则进行跟踪和识别，并根据业务的变化来调整规则条件。根据规则的识别结果，我们可以将其分类为”高风险”、”中风险”和”低风险”。

同时，我们也可以将某个业务线上总结的防控经验应用到其他业务中，以提高整体的风险防控能力。

需要强调的是，风险特征的提取是一个不断调整的过程，需要结合实际的防控效果来调整阈值，以确保规则的召回率和准确率都在业务可接受的范围内。

ii）人工审核

对于规则库判断结果不准确的内容，可以考虑引入人工审核环节，以避免误判。整体和内容的人审类似，需要考虑审核工作量的问题，此处不赘述。

iii）黑名单

基于已经明确存在风险的用户，我们可以建立黑名单，用于限制这些黑产用户的活动，以避免重复的审核工作，并及时进行风险防控。

当黑产账号被限制后，他们可能会更换一个UID来继续从事违规行为。因此，我们还可以根据设备号、身份证号、IP地址、手机号等维度来建立黑名单，以封禁与同一黑产有关的其他账号。尽管黑产可能会尝试更换设备号、身份证号、IP地址、手机号等信息来继续违规行为，但这无疑会增加他们的操作成本和难度。

此外，在执行黑名单封禁时，我们需要注意评估误处罚的风险。例如，封禁某个IP可能会误伤正常用户，封禁设备号可能会误伤使用模拟器的用户（在某些环节下无法获取到用户的真实设备号，在系统层面它们都是同一个默认设备号），封禁身份证号可能会误伤个人信息被黑产盗用的用户。

4. 风险应对

在完成风险识别后，需要采取相应措施来处理这些风险，以实现最小化损失的目标。针对风险的应对手段可以根据其防控效果和对用户体验的影响程度进行分类和评级。

然而，由于风险识别并非百分之百准确，对用户体验产生影响的应对方案如果误伤正常用户，可能会对产品的运营产生负面影响，甚至引发不良的舆情。例如，错误封禁用户账号可能导致用户在社交媒体上发帖抨击产品，给产品带来负面的舆论影响。

因此，建议首先优先考虑高效且对用户影响较小的应对方案，其次再考虑其他方案。

不同的风险内容应对方式也不同，以下介绍一些常见的应对手段：

1）内容风险应对

i）禁止发表

这是一种事前风控的方案。

我们可以在用户发表内容之前对其进行过滤，如果发现风险内容，则阻止其发表。然而，这种方案可能会对用户体验产生影响，特别是在风险识别非常敏感的情况下，用户可能会花费很长时间才能成功发表内容。

ii）屏蔽or替换

这是一种事中/事后风控的方案。

对于违规内容，最常见的方案是屏蔽或替换风险内容，例如将敏感文本内容替换为”***”。

类似地，对于风险图片，可以进行屏蔽处理。例如微博采用的”夹图”功能，即将敏感内容替换为一张默认图片。

屏蔽或替换的关键在于保持内容可以正常发表，而不中止用户的发表行为，对用户体验的影响较小。

iii）仅发布者可见

这是一种事中/事后风控的方案。

这种方案采用了仅对发布者可见的方式，以确保内容不会被其他用户看到，从而避免风险的暴露并减少用户的反感。

在内容发布后但审核完成前（先发后审模式下），也可以采用”仅发布者可见”的方案，以减少风险的可能性。

iv）强制下架

这种方案属于事后风控。

强制取消本次内容的发布，并告知用户内容存在风险，一般用于对漏网之鱼进行处理。

v）限流

这是一种事中/事后风控的方案。

这种方案指的是通过限制内容的曝光程度来降低其影响范围，通常在带有算法推荐功能的内容产品中使用。这种风险控制方案对用户体验的影响较小。

对于刚发布的内容，在审核完成之前（先发后审模式下），也可以采取适当的限流措施，待审核完成后再解除限流，以控制整体风险。

2）行为风险应对

i）行为封禁

在发现风险行为时，我们可以采取限制用户在产品中的行为，如登录、发言和充值等，以防止其继续从事风险行为。根据封禁时机，我们可以将其分为事前封禁、事中封禁和事后封禁。

事前封禁可以预防潜在风险，但实际执行时可能存在较高的误封率。事中封禁可以相对及时地拦截风险行为，效果相对较好，但要求风控系统能够及时发现风险行为。事后封禁只能起到事后补救或警告的作用，防控效果较差。

此外，封禁措施还可以设置封禁时长。对于频繁犯案或严重程度较高的风险行为，可以适当延长限制时长，甚至采取账号封禁措施（禁止全部操作行为），用于威慑或警告。

封禁的执行可以由系统或人工进行，为了降低误封率，可以将准确率较高的识别规则交由系统自动执行封禁，而对于存疑的内容，则需要进行人工审核，以判断是否进行封禁。

考虑到系统可能存在误封的情况，我们可以提供一套申诉机制，使被误封的用户能够自行提出申诉并进行自证解封，并且他们可以提供相关样本以供我们优化规则。

如图的游戏则是引导到客服进行申诉。

ii）坐连封禁

在进行行为封禁时，我们通常以账号为操作维度。然而，黑产往往不仅仅拥有一个账号备用。因此，为了尽可能提高黑产的犯罪成本，我们可以根据设备号、身份证号、IP地址、手机号等维度进行关联封禁。

值得一提的是，如果黑产存在刷注册的行为，我们无法仅通过账号维度进行限制，因为刷注册操作的是账号本身。因此，我们只能通过关联账号的设备号、身份证号、IP地址、手机号等维度来执行注册限制。

iii）警告提示

这是一种“低用户体验影响&低防控效果”的应对方案，一般用于“规则准确率较低”或“警告提示”的时候，比如用户疑似开挂，警告用户开挂的危害，以及被抓后的后果。

iv）人机/身份校验

针对识别准确率较低的高风险行为，我们可以要求用户进行人机/身份检验（前文预防环节有提及），以中断风险行为。通过这种方式，在不影响用户体验的前提下，提高黑产从事违规行为的成本，减少其对系统的影响。

3）账号风险应对

i）账号冻结

这种方案通常适用于风险识别准确的情况。账号冻结类似于账号封禁，当系统检测到账号存在被盗风险时，会禁止用户登录账号，并要求用户进行个人身份验证，例如使用身份证、手机等方式进行验证，以确保用户身份的真实性。同时，系统可以提示用户修改账号密码以增加安全性。

ii）安全校验

这种方案对用户体验的影响相对较小。当系统检测到用户账号存在风险时，会要求用户进行安全校验。常见的安全校验形式包括邮箱校验、手机校验、身份证校验和安全问题校验，其核心逻辑在于要求用户进行自我验证。

下图展示了常见的邮箱验证码安全校验功能。

4）产品风险应对

i）扩容方案

兵来将挡水来土掩！过多的访问就扩充服务器数量，不过这种方案需要根据实际需求和成本考量。

ii）高防方案

高防服务器是一种能够应对黑客攻击并避免勒索的解决方案，但相应地，服务器成本也会增加。对于企业而言，如果存在被攻击的潜在风险，可以提前准备好高防机制，并在需要时启用。

iii）限流方案

如果遇到黑产高频访问或用户量级过高的情况，可以考虑对这些情况进行限流措施。限流可以分为排队限流、功能限流和用户限流两种方式。

排队限流是一种控制产品用户数量的方法，通过让过多的用户排队等待，直到有空余的位置时再允许部分用户进入，以确保用户数量不超过服务的承载能力。这种限流方式可以有效地平衡用户访问量和产品性能，防止过载导致的服务崩溃。

功能限流是指在特殊情况下暂时关闭某些功能的使用，例如临时停止注册功能，优先为已登录的用户提供服务，待情况稳定后再逐步开放其他功能。

用户限流是指针对具有特定属性的用户（例如IP黑名单用户）进行操作限制（类似于功能封禁），禁止这些账号登录，以限制黑产的活动。

iv）服务中止方案

如果以上方法无法解决产品面临的风险，不得不考虑暂时中止服务。在这种情况下，需要通过安抚用户情绪，并紧急制定维护修复方案，尽快完成维护工作，并在之后进行补偿措施的发放。

5）互动风险应对

i）平台中立机构

在用户之间存在较小的纠纷时，企业可以设立专门的中立机构来负责裁决这些纠纷。其中，最常见的机构就是客服部门，他们可以处理用户对商家或其他用户的投诉，并提供具体的解决方案。例如，在闲鱼平台上就设有一个名为”闲鱼小法庭”的机构，邀请第三方用户充当裁判，对事件进行裁决。

需要注意的是，纠纷处理结果中败诉方可能会对结果感到不满，因此如何让败诉方接受处理方案是产品需要考虑的一个重要问题。

ii）国家相关机构

在用户之间出现涉及严重法律问题的情况下，企业可以直接协助用户联系相关部门进行介入和处理。举例来说，对于滴滴司机犯罪的风险，企业可以及时提醒用户报警，以便迅速应对潜在的风险问题。

五、风控的难点

1. 风险无法根除，利益驱动下黑产层出不穷。除了用户个体行为外，风险的产生更多是源于黑产对利益的追逐。正如《资本论》所提到的：“如果有100%的利润，资本家们会不择手段…”，因此只要存在足够的利润，就会吸引大量黑产的涌入。

2. 风险防控是一场持续不断的技术对抗，双方技术能力螺旋上升。

“上有政策，下有对策”。当我们开发一项新的风险防控技术时，黑产也会不断尝试对抗，直至突破我们的防线。

这是一场明争暗斗、人多势众的过程，而且黑产具备专业化、职业化和利益链复杂的特点。只要对黑产的收益大于成本，我们的防控技术终将被新技术所破解。

3. 风控的成本高，但性价比低，并不能直接带来收益。

尽管风险控制业务具有一定的重要性，但它并不是一项直接产生收益的业务。

为了应对产品中存在的风险，我们需要建立一整套预防、采集、识别和应对技术，其中还涉及到高难度的人工智能等技术能力。

从产品设计和优先级规划的角度来看，风险控制并不属于MVP功能，其投资回报率较低。在产品初期，我们并不需要过多地投入精力来建设风险控制系统。从盈利的角度来看，风险控制只是能够对收入进行止损，并不能对收益产生增幅。风险控制系统并不能在产品的增量拉收中起到重要作用。因此，大力发展风险控制并不是一个明智的选择。

4. 在当前阶段，基于AI防控规则的召回率与准确率很难达到平衡，因此仍然需要一定程度的人力兜底。

目前的AI技术尚未达到人工通用智能（AGI）的水平，这导致风险识别规则往往难以在全面性和准确性之间取得平衡。

要么我们可以采用广泛的规则以确保尽可能多的风险被识别，但这可能会导致准确率下降；要么我们可以采用更严格的规则以提高准确率，但可能会导致一些风险被遗漏。

因此，为了最大化风险的识别召回和准确性，仍然需要一定数量的人力资源进行审核，这也意味着需要相当的人力支出。