AI模型稳定性评估指标：PSI的原理和计算
前面两篇文章分别介绍了如何评估分类模型和回归模型的性能。
模型上线前的评估，除了前文提到的模型性能之外，还需要考虑模型的稳定性，只有稳定性足够好的模型才能达到上线的标准。
本文就来介绍一下常用的模型稳定性指标———客群稳定性指标（PSI）。
一、什么是PSI？
模型构建时，我们以历史数据作为样本，以历史数据的表现作为模型评估的依据。
但实际上，由于客群变化（不同时间段给到模型的样本数据会有变化）或数据源采集变化等因素影响，实际样本分布也会不可避免的发生偏移，从而导致模型不稳定。
如果模型不稳定，那么我们根据历史数据样本得到的“合适”阈值，去给实际数据样本做评判，就会直接影响模型结果的合理性。
所谓PSI指标就是客群稳定性指标（Population Stability Index），通过该指标，可以得到不同时间段的样本下，模型在各分数段分布的稳定性。
二、如何计算PSI？
我们先来看一下PSI的计算公式：
PSI（Population Stability Index）= SUM((实际占比-预期占比) * ln(实际占比/预期占比))
从公式中可以看到，想要计算稳定性，就需要有一个基准数据（预期占比）作为参照，然后用实际数据和基准数据就可以计算PSI值。
计算PSI值一般分为以下三步：
- 分箱：分别将模型输出的预期分布和实际分布进行分箱操作。有等频分箱和等距分箱两种方式。
- 计算分布：分别计算落在各区间的人数占比，分别得到每个区间的预期占比和时机占比数值。
- 计算PSI值：根据公式 (实际占比-预期占比) * ln(实际占比/预期占比) 计算每个区间的PSI值，再求和，就可以得到最终的PSI值。
三、判断标准
PSI表示的是实际占比和预期占比之间的差距，所以PSI值越小，说明实际占比和预期占比的差异也比较小，代表模型越稳定。
我们一般会这么定义模型的稳定性：
- 若PSI<0.1，稳定性良好，说明样本分布仅有微小变化，模型很稳定；
- 若PSI在0.1~0.25之间，稳定性一般，说明样本分布有变化，需要根据实际情况调整评分切点或调整模型；
- 若PSI>0.25，稳定性较差，说明样本分布有显著变化，模型不稳定，必须调整模型。
四、局限性
但是我们也不能迷信PSI指标，PSI只是一个粗糙的指标，有它的局限性，严重受制于数据质量、样本代表性和分档数量。
- 数据质量：当PSI指标表明模型不稳定时，首先要确定数据是否存在问题，比如数据是否正常提供、接口是否正常工作、网关数据传输过程是否正常、加工过程是否遭到数据污染或逻辑上有疏忽遗漏等。
- 样本代表性：既要确保选取的样本数量足够反应总体数据的信息，又要确保选取的样本结构和总体数据的结构一致（分层抽样）
- 分档数量和方式：不同的分组数和分组方式也会对PSI值有小幅的影响
五、总结
本文我们介绍了如何使用PSI指标评估模型的稳定性，模型稳定性是判断模型是否可用的一个非常重要的条件，虽然我们实际上不需要手动计算PSI值，但通过计算过程我们可以更深入的理解其原理。
至此，我们用三篇文章分别讲述了分类模型性能评估、回归模型性能评估和模型稳定评估的指标和计算方法，希望对大家有所帮助。
接下来，我们开始进入AI算法大篇章的学习，由于计算分享的算法较多，我会在算法篇适当增加更新的频率，争取在一个月内完成算法相关的文章，敬请期待。
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
