什么是好监控

好的监控,一定不只是展示某种结果,还要提供发现问题的路径。

如果监控发现了异常,难不成还要另做一套分析吗?不需要的,你的监控应该包括这部分功能。那怎么做呢?

监控转化路径,监控模型效果,做好趋势分析,对比对比,细分分析。光有一个数据是没有意义的,比较才能使其有洞见,怎么比?和过去比,和其他的比,分开了自己比。

例如ks下降了很多,你应该干什么?这等于,跟ks有关的有什么,那有什么呢?不要看,先想想,朋友们。

客群,不同的客群ks肯定是不一样的;

通过率,通过率发生变化,ks也会有影响;

风险,其实风险是不太会直接改变ks结果的,如果这里的风险变化是自变量而不是因变量的话。这里的意思是,什么都没变,风险发生了变化,例如疫情,其实ks不怎么变的,因为那几乎是等比例上涨。如果风险发生了变化,其实是因为收缩了策略降低了通过率,那它就不是自变量。

这在你的监控里得体现出来。如果只是一个ks,你就看不到客群,看不到通过率,看不到风险变化。

当然了,还有一个可能,那就是你的模型生产出问题了。实时模型的话线上字段发生了变化,工程上没顾及到,离线模型的话,则可能是特征字段或者依赖关系出问题了。但这些更应该在发生初期通过分布监控告警而知,而不是几个月后发现ks有问题。

于是,你还应该对比其他的模型。如果所有的模型都发生同样的趋势变化,你还那么担心某个模型出现异常吗?

监控其实没有固定模版,所有真正有用的东西都没有什么固定模版,它更取决于你到底要干什么。一个好的监控,意味着你清晰地知道要干什么。‍‍‍‍‍‍

又可以用一段之前写过的东西了。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

最好的应对当然是在事前,你一定要非常清楚你的风险策略。它解决了什么问题,它没解决什么问题,它的弱点在哪里等等。

事前预防,但不能完全规避。风控策略做得再好,也是2倍的lift、3倍的lift,不可能是10倍的lift、100倍的lift,不可能把坏用户做绝了。如果做的已经不错了,就没必要天天盯着坏用户,要再降个10%、20%、30%。

最重要的应对在于事后,做好跟踪,做好对比。重贷轻管的风险管理思路让很多放贷机构对于存量客户的风险变化感知不足,而市场过度饱和又使得机构必须做好存户的精细化运营。精细化运营的必然要求就是精细化监控。‍‍‍‍‍‍‍

风险分析,一定要有合适的参考系,但也别一个劲儿地追求所谓的固定的某种参考系。额度策略是不是一定要用收入,我就举过一个例子,在朋友圈说过了:‍

把你关在一个完全隔绝的房子里,没有钟表,待三十天,待满给1kw。你待不下去的,过不了几天就会时间错乱,起初过去了十几个小时会以为过了一天,再后甚至会把2个小时当一天。不管做什么,你一定是需要一个参考系的。例如,额度策略里,收入就是这个参考系。但不同的是,你并不处在完全隔绝的环境里,你有很多背景信息,中国人的收入分布、这个行业大致的额度分布,等等。

不要让某种东西成为你的约束,让它成为你的助力。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

用一个问题说明跟踪对比的重要性吧。

提额用户的风险,应该和谁比?新用户,还是老用户,还是同质未提额的老用户?

提额用户的风险小于新用户就可以,你觉得这提升了放款额?错。提额用户的风险小于老用户就可以?也错,提额用户是老用户中的优质用户,提额增大了风险,一个往好一个往坏,哪个大?果不应超过因。‍‍‍

新用户的风险 > 老用户的风险 > 提额用户的风险 > 同质且未提额的老用户风险。这才是最合理的结果。‍‍‍‍‍‍‍‍‍‍‍

使用没有监控的模型,就像使用没有指针的钟表,它可能在工作,但你怎么知道呢?

作者:雷帅
公众号「雷帅快与慢」,WX:thunderbro,幸会

版权声明

本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部