大模型的注意力机制给我们的启示

开始一个系列，智能时代的变革与思考

大模型的注意力机制给我们的启示

大模型的核心：注意力机制

现在的大模型比上一代更加智能，上一代深度学习是基于对语言和语义的理解，而现在的大模型直接采用了人脑的机制——注意力机制。

打个比方，任何人看到一幅画面，或多或少都会被某个部分吸引，而且这个吸引点因人而异。这个被吸引的部分就是注意力机制。在大模型的训练过程中，通过样本不断地训练注意力机制相关的参数，让大模型能够快速的抓住上下文的重点，以便生成最准确的内容。

再举个例子，图书馆里有藏书，为了方便检索，每一本书都被做了标记。当任何人想要了解“XX”，系统会给根据要求给出相关条目以及条目的优先级。

这时候大模型为提高效率，并不是所有的书都会仔细看。而是将一些关联度高的条目认真阅读，而关联度低的条目做概要扫描，然后就就对检索内容有全面的了解，之后就可以开始自动生成相关的内容。而注意力机制则是对应落地实现的一种高效算法。

海量的数据加上注意力机制造就了现在的大模型，也把信息技术从智能1.0时代带入到了智能2.0时代。

当AI有了注意力机制，就不仅仅是算法，不仅仅是机器，有了注意力机制就有了学习能力，不断的迭代。

现在的AI越来越像人了，以至于很多人害怕被AI替代，这个是有根据的，因为人类的思考过程就是根据记忆包括已有的知识和经验来进行决策和判断。

而AI现在有记忆，知识储备上也大于人类，通过不停的学习，在经验上也超越人类。

在决策判断环节，AI在处理任务时，可以有意识地选择最重要的信息，忽略不相关的干扰。而人类的注意力机制则更加复杂和多变，受到情绪、环境、兴趣和疲劳等多种因素的影响。

今天重点讨论一下注意力

与AI相比，人类的注意力可以主动调节，但也容易被外界因素分散。

现在的人越来越难保持专注了，我们过去看长视频，看电影，后来看综艺，再后来看短视频，看抖音，15秒就需要一个刺激，我们越来越难在两三个小时不去看手机了

为什么我们的专注力越来越弱，是因为现在的世界是被信息流覆盖的世界，我们每天面对的是数以千计，数以万计的消息，我们的信息变得越来越快，每一份的时间变的越来越小，所以我们的注意力越来越散，我们要做的事情越来越多，导致我们的注意力越来越不够用。

于是，我们越来越焦虑，越来越感到力不从心。

如何强化我们的注意力：

• 如是观。要明白我们处于什么样的时代。了解AI的注意力机制，知道自己的注意力都放在哪里。这意味着要时刻反思，我们的时间和精力都花在了什么地方。
• 知识库。不断更新自己的认知，更新我们的知识库，也就是让自己的注意力权重，同时做减法，去掉不相关的事，不相关的念头，有效的专注在更重要的事情上。
• 强心力。心力就是保持专注的能力，我们不停的刷抖音就是心力不足的结果，这就是获取情绪价值来为心力买单。

参考书籍

《变革者：深度学习的未来》

“随着注意力机制的不断发展，它们将超越自然语言处理，成为包括计算机视觉和强化学习在内的各种人工智能应用的核心。”

《注意力危机》

“网络似乎正在逐渐削弱我集中注意力和深思熟虑的能力。无论我是否在线，我的大脑现在都期望像网络分发信息那样快速接收信息：在快速移动的粒子流中。”

《注意力革命》

“我们注意力的质量决定了我们生活的质量。当我们的注意力不稳定时，我们的生活也会不稳定。但当我们的注意力稳定时，我们的生活也会变得稳定。”

你的注意力是能让你有所产出的唯一资源。

——李笑来

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！