论关于GPT发展的异样感及其思考

SiegZhong 2023-08-09 13:16:42

在当前火热的生成式AI行业中，大模型的技术日新月异，对于那些一无所知的人来说，就如同面对着未知的世界，无所适从。

可以说，在这些领域上没有足够的技术知识，就像是当今社会的文盲一样，可能会错失很多机会。

然而，随着越来越多的企业、创业团队和研究机构进入这个领域，个人感到颇为奇怪，觉得这个领域的发展过快，仿佛有什么不对劲的地方。

这是一个非常有价值的话题，因此想在这里简要分享一下想法。

一、GPT发展的异样感

从各大厂商推出的大模型产品来看，它们借助自身的研发实力和财力，推出了文心一言、通义千问等产品，并早先进行内测和应用。

但是，其本质上的思路都是仿照OpenAI的思路，通过数据和预训练模型打造中国版的ChatGPT。初看起来，这似乎是适合我们发展的道路。

但这里面其实有着我们目前无法解决的两个关键问题：

算力问题。如我国目前仍未有类似于英伟达的NVlink技术（将多个芯片连在一起的带宽技术，从而可以提供更为强大的计算能力），而这项技术是训练大模型的关键技术之一。
数据问题。在ChatGPT的训练数据中，中文数据占比仅为0.09905%，优质数据相较于其他语言，占比太少。

以上两个问题，个人认为是涉及到大模型行业发展的最重要的问题，没有之一。

其中，问题1目前国内并没有可以攻克的实力，更多的需要依赖国外的技术支持。

问题2关于中文数据的问题，目前中文在全世界应用的范围有限，在解决中文数据质量及数量问题上，仍需要时间。

根据《ChatGPT挑起的这场AI竞赛，有一个肮脏的秘密》描述：训练GPT-3消耗了1287兆瓦时，并导致超过550吨二氧化碳的排放——相当于一个人在纽约和旧金山之间往返550次。

大模型的训练成本不是一个中小型甚至是大型公司能够轻易承受的成本。此外，还需关注环境、灾害管理和训练方法等课题。这些因素会导致企业面临高昂的成本问题。

尽管我个人认为很多初创公司的思考仍然不够，但这并不影响认为这是一个需要关注的问题。

很多公司仍在喊口号：“未来，我们要打造属于XX行业的大模型”。仅注重应用场景的深度和广度，并未提及到自身企业的优势、成本及技术经验的储备。

类似于以往互联网、电商的发展，很多企业（包括openAI）已经在疯狂抢夺大模型人才。相关JD描述不少都是需要有大模型训练、GPT使用工具经验及prompt工程等要求。而这些在2022年前，都还不为大众所熟悉。

薪酬方面只要牵扯到GPT大型模型相关的，基本都保持在20w-80w的高水平（以深圳为例）。

另外大模型也出现了不少行业大模型，如BloombergGPT（金融）、MathGPT（数学）等，未来肯定还有更多行业属性的大模型出现。

但这个是很奇怪的一个现象，类似于以往的语音agents，又将通用智能割裂成一个又一个模块。后面也许又会变成比较哪一个行业大模型更智能的问题上。

1）国家层面

2）企业层面

从业者或者期望从业者

自主学习。尝试使用各类生成AI工具，在生活、工作及学习中使用，有时间可以整理分析各类AI工具的竞品分析材料.
尝试应聘相关AI产品岗位时，带着你的思考和总结材料（如对目标公司的产品分析及产品原型，特别是AI相关的场景应用）去应聘，不用很详细，但最好有自己的独到见解。
（慎用）考虑是否有必要进修。AI行业本身就是存在一定门槛，很多时候对技术的学习需要系统化，结合自己的情况，了解海外或者国内比较有名的院校（一般都是人工智能、数据科学、计算机等专业）。

针对第三点尤其要提的是，由于当前国内的学历贬值现象比较严重，深造是机会成本较高的选择，无论是跨学科还是非跨学科，都有时间、经济和精力相关的成本。毕业后的就业也是一个挑战，所以需要结合自身情况，仔细考虑是否进修。

参考内容

hanniman，“最近ChatGPT这么火，总感觉有点不对劲”。

本文作者 @SiegZhong

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击举报进行投诉反馈！