产品经理的独门技能——AI监督学习(6000字干货)
各位看官:
今天,我们将探讨人工智能中的一个重要领域——监督学习。
本篇将主要介绍什么是监督学习、监督学习中的一个入门原理:感知器,我们如何评估AI监督学习是否有效,同时,还会揭示ChatGPT中监督学习的部分规则,讨论产品经理如何运用AI监督学习在工作中脱颖而出,提高工作效率。
一、什么是监督学习?
监督学习是人工智能领域中的一种重要学习方式,其本质是机器通过提供已知输入和对应输出的训练数据,学习输入与输出之间的映射关系,以便在面对新的未知输入时能够做出准确的预测。
这种学习方式就像是给机器提供了一个“导师”,这个导师就是训练数据中的标签或输出值,可以理解成我们给机器的样本数据,这些样本数据就像是老师在考试卷上标记的答案一样,告诉机器每道题是否回答正确,正确答案是什么。在训练中,如果错误,就会纠偏,更新权重,从概念上讲,这意味着人工智能从失败中学习,而不是从成功中学习。
比如说,我们要教机器认识猫和狗的图片。我们给机器看了一堆猫和狗的图片,并告诉它哪些是猫,哪些是狗。如果回答错误,我们就要反馈“否”给到机器,如果回答正确,我们就要反馈“是”给到机器。机器就像是一个聪明的学生,通过观察大量的例子,学会了如何在以后看到新图片时准确地说出这是猫还是狗。
由此可见,监督学习的目标是使机器能够从已知数据中学到一种通用的规律,并能够在面对新的、以前未见过的数据时做出准确的预测。就像考试时学生能够根据之前学过的知识来回答新的问题一样。
百度首席科学家、Coursera的联合创始人吴恩达(Andrew Ng),也是斯坦福大学计算机科学系和电子工程系副教授,人工智能实验室主任,全球人工智能和机器学习领域最权威的学者之一。在2017年2月斯坦福MSx未来论坛上的演讲时就提出,驱动百亿的市场容量的,基本上属于同一种AI:监督学习(Supervisedlearning),即用AI来确定A–>B的映射——输入A和响应B的映射。比如用Email作为输入A,判断是否是垃圾邮件是响应B。
软件可以学习这些输入A到响应B的映射——有很多好的工具来让机器学习。比如50,000小时的音频和对应的文本,就能让机器学到如何从音频内容转化为文本内容。通过大量的电邮数据和区分垃圾的标签,也可以很快地训练出一个垃圾邮件过滤器。
AI不是近几年才开始有最佳实践的,只不过因为ChatGPT的爆火,更多人开始关注AI领域,其实AI监督学习早就已经广泛应用在我们生活中,比如AI帮助我们检查网络安全,AI语音助手能够听懂我们说的话,AI照片软件能够自动识别出照片中的人物,这些都是AI监督学习的成果。
二、监督学习的入门原理-感知器
了解监督学习的技术实现原理,可以先从感知器开始,感知器(Perceptron)是一种简单的机器学习模型,是监督学习的基础。感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络。
感知器是生物神经细胞的简单抽象。在生物神经细胞结构中,包括树突、突触、细胞体及轴突。单个神经细胞可被看作一种只有两种状态的机器——激活时为‘是’,未激活时为‘否’。神经细胞的状态取决于其它神经细胞输入信号的数量和突触的强度(抑制或加强)。当信号总和超过某个阈值时,细胞体就会激活,产生电脉冲。电脉冲沿着轴突传递,并通过突触传递到其他神经元。
为了模拟神经细胞行为,感知器的基础概念被提出,包括权重(突触)、偏置(阈值)及激活函数(细胞体)。这些概念帮助我们理解感知器是如何模拟神经元的基本工作原理的。
回到感知器,其结构很简单,它接收多个输入(例如特征值),对每个输入施加权重,然后将所有加权输入求和。这个总和经过一个阈值函数(激活函数)处理,输出一个二元的结果,通常是0或1。这个输出可以被视为感知器对某个特定模式或概念的判断。比如,他通过图片判断,是“猫”还是“狗”。
虽然感知器在解决一些简单的问题上表现良好,但它有一些局限性,比如无法解决非线性可分的问题。随着机器学习的发展,更复杂的模型如神经网络逐渐取代了感知器在实际应用中的地位。然而,了解感知器有助于理解监督学习的基本原理和起源。
三、评估AI监督学习的实践效果
接上段,我们提到了感知器模型,接下来我们就需要知道监督学习模型在真实世界的实践结果,通过一些数据指标可以帮助我们更深入和全面的了解监督学习模型,也能帮助我们感知到监督学习的价值。
1. 准确率(Accuracy)
准确率是指模型正确预测的样本数占总样本数的比例。准确率是最直观的性能指标,可以直观地了解模型在所有样本上的正确预测比例。
计算公式:
准确率=(真正例+真负例)/总样本数=正确预测的样本数/总样本数
准确率是一个总体性能的度量,适用于样本分布相对均匀的情况。然而,当类别不平衡时,准确率可能会失真,因为模型更倾向于预测占多数的类别。
场景应用:贷款申请
在贷款申请审核时,需要银行或金融机构审核贷款申请,判断是否批准贷款。使用准确率来评估模型在整个贷款申请数据集上正确预测是否批准的比例,确保准确决策。
总部位于美国加利福尼亚州的Upstart公司,其不断打磨的AI风控系统就是公司的核心竞争力,AI风控模型中的回归与分类算法属于监督学习范畴,核心在于根据申请者实时变化的各种维度信息进行动态地参数调节。2018-2020年营收同比增速分别为73%、65%、42%,净利润于2020年年底回正,并于2020年末上市。
2. 精确率(Precision)
精确率衡量模型在预测为正类别的样本中,有多少是真正的正类别。强调了预测的准确性。
计算公式:
精确率=正确预测的正例数/预测为正例的样本数
精确率关注的是模型预测为正例的样本中,有多少是真正的正例。在一些场景中,精确率比准确率更有用。
场景应用:垃圾邮件过滤
在垃圾邮件过滤时,需要识别和过滤垃圾邮件,确保用户收件箱中的邮件质量。使用精确率来评估模型标记为垃圾邮件的邮件中,真正是垃圾邮件的比例,以降低误报率,确保用户不会错过重要邮件。
微软和谷歌已经在其电子邮件服务中使用了人工智能和监督学习来过滤垃圾邮件。2012年2月,微软就已经声称,它能够过滤掉Hotmail 97%的垃圾邮件。谷歌后来作出回应,称它的Gmail能够过滤掉大约99%的垃圾邮件。
3. 召回率(Recall)
召回率是指模型成功预测出正例(真实为正类别的样本)的比例。
计算公式:
召回率=正确预测的正例数/实际正例数
召回率关注的是模型对正例的覆盖程度,尤其在重视遗漏正例的场景中,召回率是一个重要的指标。但是,过高的召回率可能导致误伤(将负例错误预测为正例)增加。
场景应用:网络安全
在网络安全监督时,需要检测网络中的恶意活动,确保尽可能多的识别潜在的安全威胁。使用召回率来评估模型在整个网络数据集上正确识别恶意活动的比例,确保尽可能提高检测到潜在威胁的几率。
4. F1 分数(F1 Score)
F1 分数是精确率和召回率的调和平均值,综合考虑了两者。
计算公式:
F1=(2×精确率×召回率)/(精确率+召回率)
F1 分数对于处理不平衡类别的数据集很有用,可以在精确率和召回率之间找到平衡。F1分数的取值范围在0,1之间,越接近1表示模型在精确率(Precision)和召回率(Recall)上的平衡越好。
场景应用:医学诊断
在医学诊断时,对于一些疾病的诊断,既要确保尽可能多地捕捉到患病者(高召回率),又要确保被诊断为患病的人确实是患病者(高精确率)。使用F1 分数综合考虑精确率和召回率,帮助找到一个平衡点,使模型在患病者的识别中取得较好的综合表现。
由广州市妇女儿童医疗中心的夏慧敏教授、加州大学圣地亚哥分校的张康教授等专家组成的医疗数据智能化应用团队,研发了一款名为“辅诊熊”的人工智能诊断平台。“辅诊熊”就是模仿医生的诊断过程,把文本病历转换成输入和输出两个对应的部分,输入部分包含患儿的性别年龄等基本信息、身高体重等生命体征、以及症状、化验指标和影像检查标志物等,而输出部分就是诊断结果。有趣的是,它的准确度与经验丰富的儿科医师差不多。
2019年2月12日,这项医疗人工智能研究成果以《使用人工智能评估和准确诊断儿科疾病》为题,刊登在了世界顶级医学科研期刊《自然·医学》(Nature Medicine)
5. 真负率(True Negative Rate)
也称为特异性(Specificity),特异性关注的是模型在负类别上的性能,即负例被正确预测的比例。
计算公式:
真负率=正确预测的负例数 / 实际负例数
真负率衡量的是模型在负例上的识别能力,即在真实负例中,模型能够正确识别为负例的比例。真负率越高,模型在负例识别上的性能越好。
场景应用:智能学习辅导
在个性化学习辅导时,需要智能学习系统准确识别学生可能存在的问题,确保模型不会误将正常反馈识别为问题。使用真负率来评估模型在负例(正常反馈)中的性能,确保模型在分析学生反馈时不会产生过多误报,提高正常反馈的准确性。
Jogoda.ai 作为目前教育融合 AI 智能体的典型案例,由德国程序员开发,是一款人工智能驱动的在线辅导工具,为各学科提供个性化辅助,包括数学、生物学、化学等,可以通过真负率来评估其智能AI模型是否可以真正了解学生的真实个性化问题,并提供解决方案。
6. 补充说明
精确率和准确率的区别在于,精确率强调的是在模型认为是正例的情况下,有多少是真正的正例,更专注于模型的预测准确性。准确率考虑整个数据集,包括正例和负例,关注的是模型的整体性能。
其中,精确率和召回率通常是相互矛盾的,提高一个可能会降低另一个。因此,根据任务的特性和需求,需要综合考虑这两个指标,甚至可以使用 F1 分数等综合指标来综合评估模型性能。
在实际应用中,选择使用哪个指标取决于具体问题的特点和对模型性能的需求。
四、ChatGPT是如何通过监督学习来给出正确回复的
ChatGPT的训练过程是一个复杂而深入的过程,它结合了无监督学习和有监督学习的元素,旨在使模型能够理解和生成自然语言。下面我将揭示部分ChatGPT的训练方法以及它是如何通过监督学习来给出正确回答的。
1. ChatGPT的训练过程
1)无监督预训练
ChatGPT的第一阶段是无监督预训练,这是一个规模庞大的学习过程。在这个阶段,模型暴露于海量文本数据,从中学习语言的基本结构和规律。
这类似于一个学生在阅读大量书籍并自学语言知识的过程。ChatGPT通过预测下一个词的方式,不断优化自己的语言理解能力,形成了对语言世界的抽象表示。
2)有监督微调
有了无监督学习的基础,ChatGPT进入了有监督微调阶段。在这个阶段,模型接触到了有标签的对话数据,这些对话数据包含了对话的上下文和相应的正确回应。这相当于一个老师指导学生如何在特定对话场景中给出恰当回答。
ChatGPT通过比较生成的回应与实际标签之间的差异,利用反向传播算法来微调自身参数,以更好地适应对话生成的任务。
2. 监督学习中的模型优化
在有监督学习中,ChatGPT受到了标签数据的指导,以便更准确地生成对话回应。监督学习的核心在于最小化模型生成结果与标签之间的差异。通过损失函数的计算,模型调整自身参数,使其在特定任务中更为优秀。
在监督学习的框架下,ChatGPT通过对对话的上下文进行理解,并生成相应的回应。模型需要考虑语境中的信息、上下文之间的关联,以及生成回应的语法和语义。这个过程中,模型的每一步都受到监督信号的引导,以更好地符合实际任务需求。
所以,在实际应用中,我们根据ChatGPT的回答,告知它我们对回答的满意程度和新的要求,或者是借助一些prompt提示词,来提升其回复的质量,都是在优化其模型,让模型通过不断地在有监督学习中接触新的对话样本,通过不断地优化,提高其在特定任务上的表现。
3. ChatGPT在监督学习中的应用场景
当我们谈论ChatGPT在监督学习中的应用场景时,实际上是在探讨ChatGPT如何通过反馈,自我迭代学习,以便于更好地解决我们的真实问题。以下就是一些常见的应用场景,ChatGPT都可以给我们提供帮助。
1)应用场景1:在线教育辅助
想象一下,在一个在线学习平台上,有很多学生提出各种各样的问题,涉及到不同的学科和难度级别。通过监督学习,ChatGPT可以从老师和专业人士提供的答案中学到正确的回应。这样,当有学生提出新问题时,模型就能更准确、更有深度地回答,提供个性化的学科辅导。
2)应用场景2:程序开发助手
对于程序员来说,ChatGPT可以通过监督学习来学习关于编程的问题和解决方案。它可以从开发者社区中获取反馈,并逐渐理解和熟悉各种编程语言、框架和算法。这使得它能够为开发者提供更具深度和实用性的编程建议。
3)应用场景3:医学问答专家
在医学领域,ChatGPT可以被训练用于回答各种医学相关的问题。医生和专业人士的意见可以被作为监督信号,帮助模型理解病症、诊断和治疗方案。这为广大用户提供了一个更加可靠的健康信息来源。研究表明,ChatGPT可以回答真实世界的健康问题,并且在情感上更具有同理心和更高的质量。
最近常看到一些帖子提到,“AI只会淘汰不会使用AI的人”,ChatGPT的强大让一部分人惊喜,也让一部分人惊吓。我们必须承认,工智能的广泛应用已经在多个领域带来了巨大的改变,涉及到工作、教育、生活等方方面面。
也许,我们也应该借鉴一下AI的“监督学习模型”,从不断的反馈中纠偏和迭代自己,学习人工智能相关的技能,适应技术的发展,成为AI使用者或创造者,是更积极的应对方式。
五、产品经理如何将AI监督学习运用到工作之中
最后,我们从产品经理的角度出发来看AI,随着自动化和智能化的发展,某些重复性高、机械性强的工作可能会被自动化取代。那些无法适应新技术、不具备相关技能的人可能会在就业市场上面临更大的竞争压力。
产品经理作为业务价值和用户价值的操盘手,其自身也需要不断适应和进化,学习一些AI的知识,将AI运用起来,已经是一条必经之路了。
“需求分析”是产品经理工作场景的关键一环。借助AI的监督学习模型,我们可以更精准地分析市场趋势,理解用户行为,为产品优化提供更有力的支持。
比如,产品经理可以学习如何运用监督学习中的分类算法,对用户需求进行更深入的挖掘,洞察出真实核心的用户痛点。
以下简单举例一些AI涉及的产品领域,希望对产品经理们有些启发。
产品领域1:电商
如果你是电商平台的产品经理,可以通过监督学习中的分类算法对用户购物行为进行精准分析。你可以通过监督学习模型,预测用户可能感兴趣的商品类别,甚至可以个性化推荐商品。
例如,通过对用户过去购物历史的监督学习,系统可以学到用户的购物偏好,从而在用户浏览电商平台时向其推荐更符合兴趣的商品,提高购物体验,同时促进销售。
产品领域2:社交
如果你是社交平台的产品经理,可以通过监督学习中的分类算法优化内容推送。你可以通过监督学习模型,分析用户对不同类型内容的反馈,预测用户更有可能关注的话题或发布的内容。
这样,社交媒体平台可以在用户的个性化时间线上呈现更吸引人的内容,提高用户留存率和参与度。
产品领域3:教育
如果你是在线教育平台的产品经理,可以利用监督学习,分析学生的学习行为和学科偏好,预测学生可能感兴趣的课程和学习路径。
通过监督学习模型,平台可以为学生制定个性化的学习计划,推荐符合其学科水平和兴趣的课程,提高学习效果,真正实现“因材施教”。
产品领域4:金融
如果你是金融平台的产品经理,可以利用监督学习,分析用户的投资偏好、风险承受能力等数据,为用户提供个性化的投资建议。
通过监督学习,投顾系统可以更好地理解用户的需求,提供符合其风险偏好的投资组合,实现更智能的资产配置。
无论你是搞电商、社交、教育还是金融或其他领域,都要来点AI的独门技能。别怕,不是要你成为AI专家,但至少要知道AI是怎么一回事。就像开车不用成为修车大师,但要知道引擎是怎么个玩意儿。
别让那些大模型和算法吓到你,其实它们是另一种包着规则和逻辑的产品思维模型,而这些思维模型能给你的产品带来更多可能性,也会给你的职业带来更多惊喜。
未来属于不断学习和进化的人,只有持续提升自己的技能,才能在激烈的竞争中脱颖而出。
本文作者 @果酿 。
版权声明
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!