Agent开发平台数据运营体系：企业如何衡量大模型投入产出比ROI？
大模型到底为公司带来了多大的好处？为应用大模型，采购了第三方的AgentBuilder平台，或者自研搭建了大模型应用平台，效果咋样？企业内部的员工会用了吗？还是依赖外部的第三方提供解决方案呢？用大模型时，需要考虑信息安全相关的事儿，权限粒度能满足要求吗？违规碰触拦得住吗？……一连串的问题，让数据来回答……
1.大模型落地stakeholders&成本
企业都想在这波技术生产力变革中，不被落下，无论是自动驾驶、具身智能、机器人还是内部的IT系统，迎来了“换脑子”的机会。都想干，怎么入手呢？一般大模型落地需要五个角色的人彼此协作。如果是外采第三方MaaS平台，那么3、4、5就由第三方公司出人。
2.Agent开发平台产品功能MAP
要评估自建、还是外采，那么先来看下，Agent开发平台，应该有哪些必备的“能力”。搭建这样一个平台，贵公司需要多久？投入多少成本/资源？
3.Agent平台数据运营
3.1 ROI
ROI=W/(XorY+Z+M+N+O)
3.2 平台运营：有数据可用
节约成本：每个月做数据清洗、数据查询、口径对齐、取数等工作，2*15=30人天/月
3.3 平台运营：需要的数据
有了这些数据，可以回答下面一系列问题：
- 高层可以了解，各层级部门应用大模型的进展C
- 高层可以了解，当前员工用大模型的情况F
还可以了解：
- 昨天，员工跟大模型交流对话了多少轮？消耗多少token(需要花多少钱)？大模型回复了多少token(代替人回答问题)？大模型累计服务时长是多少？X/8小时，相当于一天里，有多少名虚拟数字员工在代替人干活～～
- 上周，营销Agent，一共生产多少篇营销图文/视频等，投放到各个渠道的效果怎么样，热度、用户回复、传播效果与大上周、或者与人工产出文案同环比，为小程序、APP拉新、促活引流效果如何……
- 7月，销售助手Agent，累计应答多少次销售问询，以更好的给用户做售前解答。售后服务Agent，累计应答多少次售后服务同学，以更快捷的协助用户解决问题……
- 7月，零件Agent，累计应答多少次零件在库问询/同类零件可替代问询，发出多少个零件的库存红线采购预警，以确保供应链最优，成本最优……
- Q2，舆情监控Agent，一共搜集到多少个外部渠道的用户呼声，其中有多少是正面舆情，多少是负面舆情。有多少做了即时回复，有多少通过人工处理～～
所有的环节，数字化+智能化的协作是大模型让企业动起来的表征……
4.举例：大模型安全识别、拦截、放行数据分析漏斗图
计算公式：
1.输入拦截率=输入拦截次数/用户输入总量=5+(4+X2)/1
2.输出拦截率=输出拦截次数/大模型输出总量=11+(X2+10)/1
3.漏拦截率=漏拦截次数/（拦截次数-误拦截次数+漏拦截次数）=4+X2+10/（5+11-6-X1-12+4+X2+10）
4.误拦截率=误拦截次数/拦截次数=（6+X1+12）/5+11
受作者领域认知深度所限及技术无时无刻不在更新迭代，业界对LLM、AGI、Agent、GPT……的衍生应用必定是珠零锦粲。无法在一篇中尽现全貌，未来可能会彻底推翻当下的种种尝试而不得知。能为大家带去一点点新的启发，以深感欣慰。文中难免有纰漏或不准确的地方，欢迎大家批评指正。撰写中参考网络上各位同仁的最新观点，拿来主义未打招呼，还望见谅。若有任何建议或意见，欢迎联系作者探讨。
作者：shucay用图表达，比文字更有趣
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
