机器学习的未来，真的能技术民主化吗？

人工智能一直是近几年热炒的话题，但随着资本兴趣的转移，人工智能行业也逐渐趋于冷静，各企业算法工程师岗位逐年缩减，竞争也逐年激烈。

一个朋友跟我说，他18年的时候转了NLP方向，他觉得他算是跨专业转型的最后一批选手，再后来他手里的简历基本是清北华五计算机科班的了。从从业人员水平来看，人工智能已经变成普通人不再能轻易能涉足的行业。但技术如果不能服务社会，赋能行业，那便是无用的技术。

目前人工智能行业处在冷静期，但用户对机器学习的需求从未冷静。更多的企业在一边沉淀技术，一边积极寻求更好的落地场景。

从17年底开始，陆陆续续有企业发布机器学习平台，其实所谓机器学习平台本质是机器学习工具。而工具的好处在于，AI企业终于不用花太多精力在场景选择上，而是追求产品的卓越上。就像卖剪刀的企业，不用太关心剪刀是拿去剪绳子还是剪纸片，用户自己会发挥剪刀的价值。

最近体验了一下Amazon SageMaker Canvas，感受到AI企业正很努力地将人工智能变成普通人能够轻松使用的技术。

先聊一下Amazon，2017年11月亚马逊云科技推出了SageMaker这一机器学习平台，并且在三年内收获了很多世界500强知名企业客户。在去年12月份，SageMaker为了让更多人能以更低的门槛享受到机器学习的服务，他们推出了SageMaker Canvas。

我们先不着急直接看SageMaker Canvas是什么，我们先了解一下机器学习平台是什么样的赛道。

一、冰山下埋着千亿规模市场

随着C端互联网经济增长放缓，越来越多的人将目光投向B端，技术逐渐向产业倾斜。腾讯、阿里、亚马逊等大厂概莫如是。

而B端目前如火如荼发展的正是数字化转型。清华“姚班”的带头人姚期智院士公开说，数据、算法、算力是数字经济核心技术。机器学习同样离不开数据、算法、算力。

根据最近一篇东吴证券的行业报告可以看到，国内机器学习赛道目前是百亿规模市场，但带动的却是千亿产业规模。

我们可以将相关产业规模和机器学习市场规模比较，相关产业规模大概在机器学习市场规模的7倍。美团在做外卖业务的时候烧钱烧了20亿美元，王慧文有一句话很经典：知道市场体量，才有烧钱的魄力。美团外卖烧了20亿美金，但是现在美团外卖规模1000亿美金，市场每天外卖单数5000万单。冰山下的千亿市场，才是真正值得机器学习从业者们耐心挖掘的。

国内机器学习产业规模

二、大厂和独角兽的角力

机器学习市场带动的相关产业规模仅国内就有上千亿产业规模，铺开到全球范围，这无疑是一个大金矿。对于人工智能细分领域的创业公司有很多，但是对于机器学习平台，就只能看大厂和独角兽们的角逐了。因为一方面机器学习平台烧钱，另一方面机器学习平台需要大量数据去训练和验证平台能力。

2020年百度开始密集地发布线上活动，推广百度智能云。而同时，华为云不甘落后地推出ModelArt。

而对比国外，早在2017年，Gartner第一次提出数据科学平台（也叫AI平台）概念，将机器学习、深度学习模块纳入数据分析平台之中。Alteryx在18年进入数据科学平台魔力象限领导者，同期国内也涌现出第四范式、九章云极等优秀企业。

Amazon SageMaker 在2021年进入Gartner数据平台魔力象限，值得一提的小插曲是，Amazon SageMaker在2020年本就该在魔力象限远见者中占据一席之地，但由于发布时间比评选时间晚了点，错了过了当年的评选，而是获得当年的荣誉提名。

Gartner在2021年对Amazon SageMaker的评价优势是：

1. 云平台的深度和广度；
2. 性能、可扩展和精细度；
3. 数据标记和人机交互功能。

需要注意的事项是：

1. 不断发展公民数据科学新引力；
2. 需要快速开发以匹配竞品的功能；
3. 成熟的本地、混合和多云的支持。

因为Gartner对Amazon SageMaker的这番评价，让我更加想了解一下Amazon SageMaker。

三、SageMaker Canvas：亚马逊云科技的科技民主化之旅

终于要聊到想聊的正主了。SageMaKer Canvas是亚马逊云科技在平台概念和目标用户上的一次全力突围。从产品使用过程来说，是一次能感受到产品背后后厚积薄发的酣畅体验。

Canvas是SageMaker的全新功能，通过低代码的形式让非专业人员也能便捷地享受机器学习的福利。

我有一个朋友是物流运营的小伙伴，她希望客户的订单都能按时送达。为了满足这个目标，她希望能够对订单是否能准时送达做提前预测，以便她能提前发掘可能延期的订单。我从她手里要来了两份脱敏后的数据，一份是商品清单，另一份是发货订单。

因为Canvas的介绍里并不需要写代码，我尝试使用Canvas搭建一个订单送货的预测模型，看看是否能实现她要的。Canvas的操作如同它的引导书一样，仅有四步：选择数据，创建模型，分析结果，生成预测。

Canvas首页

1. 选择数据

我把从朋友那边拿到的脱敏数据上传到Canvas里以便训练使用。Canvas的数据导入有4种方式：本地上传、Amazon S3导入、Snowflake导入、Redshift导入。

第一次上传失败了，因为本地上传需要在S3里修改一项配置，在按官网操作之后，顺利地上传了本地的CSV文件。Amazon S3是亚马逊自己的云存储，类似云盘。Redshift是亚马逊的数仓平台。

比较意外的是看到了Snowflake，可能很多人不知道Snowflake，这是一家做云原生数仓的公司，推的是DaaS，但收费模式却是SaaS企业最想要的模式，建议SaaS企业的小伙伴可以研究一下。

比较意外是亚马逊自己有Redshift为啥还要引入第三方数仓，转念一想也挺有道理，一方面Snowflake确实做得好，有广大的用户群，另一方面snowflake是云服务商而不是云设备商，Snowflake也可以是亚马逊的客户。

Canvas的数据录入页面

通过本地上传数据之后，Canvas支持Join功能。这个可能稍微偏一点技术，其实就是开发最常用的Join函数的意思，能够把数据库表拼接。

首先，我把朋友给的商品清单和发货订单进行拼接，两张表里有相同的字段ProductID。拼接之后我得到了一个维度更多的CSV文件，或者说特征更多的CSV文件。

然后将拼接好的数据上传到了Canvas里。Canvas会对上传的数据进行简单的统计。下图里JoinData是我拼接后的文件，我们后文就专业一点叫把这个CSV文件称为数据集。这个数据集大小是16列10000行。

在导入数据集的时候，Canvas支持数据集的预览，避免用户导入错数据集。

Canvas选择数据页面

2. 创建模型

正常来说，建模这个事情真的是炼丹师们登场，非专业人士紧急避让。但是Canvas里的操作简单到让人不可思议。

在创建模型的页面选择自己关注的字段，然后选择自己需要参与到模型分析的字段就可以了。这里简单一点理解，就像求解一个复杂的函数 y = f (x1, x2, x3，…… )。我们关注的字段是 y，需要参与分析的字段是x1，x2，x3等等。相当于是在寻求一个函数的计算结果。

比如在这次订单的测试里，我把是否准时送到这个字段作为我关注的字段 y，我们用 y=1 表示可以准时送到，y=0表示不能准时送到。剩余的字段运输优先级、距离、发货地等作为x1，x2，x3进入模型参与运算和分析。

Canvas创建模型

通过预分析建模，能够得到SageMaker建议的模型分类。比如预测是否能准时送达，SageMaker给出的建议是一个二分类的模型，就只会出现两种结果，准时送达和不准时送达。

在预分析建模后，能够得到模型的准确率和各个特征的影响系数。影响系数越大，表示这个字段对结果越重要。比如图里可以看到预建模的结果是，运送优先级最大程度影响是否能按时送达。

但是预建模只能让我们知道准确率，还没有更详细的信息。Canvas支持标准建模和快速建模，根据数据集的大小不同，标准建模和快速建模的耗时也不同。我用10000行数据测试，快速建模大概需要2-15分钟，标准建模需要1小时45分钟左右。

标准建模能让模型更加准确，运算的时间也更长一些。这里满足了两类人的需求，定性的看问题的小伙伴快速建模就可以了，对结果定量严格要求的用户可以标准建模，标准建模还能将模型分享给算法团队进行进一步的开发。

算下来创建模型页面就三个配置模块，建模完成以后就进入了下一阶段数据分析。

3. 数据分析

数据分析阶段和创建模型的预建模步骤拿到的信息类似，主要是模型准确率和各个特征的权重。也可以单独看某个特征值的预测影响。而最主要的是能够看到分析结果里的高级矩阵，同时能看到F1得分、准确率、精确度、召回率和AUC。

Canvas 分析页面

Canvas 高级矩阵页面

这些高级矩阵的指标其实是由页面里蓝粉框内的TP、TN、FP、FN数值计算得到的，这一部分业务人员其实不是很关心，但是可能有小伙伴感兴趣，我们简单扫个盲。

• TP：True Positive，即正确预测出的正样本个数（实际是准时，模型预测也是准时）。
• FP：False Positive，即错误预测出的正样本个数（实际是延期，被模型预测成了准时）。
• TN：True Negative，即正确预测出的负样本个数（实际是延期，模型预测也是延期）。
• FN：False Negative，即错误预测出的负样本个数（实际是准时，被模型预测成了延期）。

准确率（Accuracy）＝ (TP + TN) / 总样本 ＝(944 + 945)/2000 = 94.45%。定义是：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。

精确率（Precision）＝ TP / (TP + FP) = 944/（944+54） = 94.589%。它表示：预测为正的样本中有多少是真正的正样本，它是针对我们预测结果而言的。Precision又称为查准率。

召回率（Recall）＝ TP / (TP + FN) = 944/（944+57） = 94.306% 。它表示：样本中的正例有多少被预测正确了， 它是针对我们原来的样本而言的。Recall又称为查全率。

F1分数（F1 Score），是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0。

AUC（Area under curve）曲线下面区域的面积，这条曲线一般指ROC（Receiver operator characteristic curve）曲线。按照定义，AUC是ROC曲线下的面积，而ROC曲线的横轴是FP，纵轴是TP。

4. 生成预测

第三步主要是分析模型训练的结果，没有过多可操作的页面，模型生成之后，第四步可以通过模型来预测结果。

在预测新结果的时候，我们只需把新的特征值放进模型，模型会计算出对应的结果。

我们任意设定订单的优先级，运输方式，目的地距离等参数，Canvas能够基于我们输入的特征值给我们返回一个预测结果：准时或者延期。Canvas可以直接单点预测和批量预测。

利用批量预测的功能，我朋友就能得到她后续处理的订单是否能准时送达的预测结果了。

单点预测

批量预测

5. 使用小结

我大概统计了一下操作用时，第一次使用花了半小时左右，主要在探索功能上多花了点时间。熟练操作后可能5-10分钟就可以把Canvas的完整流程走完。

看下来Canvas把建模完全变成了黑盒测试，用户只需给Canvas设定输入参数和输出参数，Canvas就可以实现模型创建，并能为用户提供预测功能。官方主打的低代码虽然和APaaS行业里的低代码认知有挺出入，但从操作流程来看也说不上虚假宣传，确实没有需要coding的地方。

我想这个产品应该算是亚马逊云科技对技术民主化的一次探索，将晦涩复杂的技术用最简单的方式呈现，以期降低用户使用技术的门槛。从Canvas的产品表现来看，实实在在降低了机器学习准入门槛。

但是，完全没有人工智能知识或数据分析知识的小伙伴可能上手还是有一些困难，这个困难不是囿于产品的使用，而是囿于知识版图的缺失。

不知道Canvas后续会不会进一步降低使用门槛，还是说目前产品目标受众就是懂一部分数据分析和人工智能的运营人员。如果用户只局限在互联网相关的产品运营人员的话，那可能就有点格局没打开。还有很多场景值得机器学习发挥，比如银行通过客户的行为数据预测用户是否可能会延期还款，工厂通过设备的监控数据预测设备是否会损坏。

在这些场景下，需要掌握机器学习能力的人不再是产品经理，运营。还有银行的风控、工业里的IT和OT人员等等。

从Canvas简洁的UI画风来看，Canvas团队对产品要求的还是相对严格的。包括在数据拼接和数据导入的时候，有很多小细节来做柔性处理。比如数据拼接时，对不同数据来源数据集的字段用不同的颜色表示；比如数据导入之后，在选择目标列的时候，对所有字段的类型做了预定义，并且配了很形象的Icon去表征数据类型。

但是在模型构建的部分只能看到耗时和预测用时，无法看到剩余用时或者训练进度。这里的设计会让用户处于没有安全感的等待中。用户并不知道是因为网速问题、浏览器问题、还是Canvas的服务问题一直未完成训练。

Canvas的页面细节

另外，无论是SageMaker Canvas也好，还是其他的ML平台也好。整个行业应该没有很好的模型可解释性。这一点是比较反人类认知的。我们从小接受的教育都是要逻辑严谨，要不然也不会在数学物理里做了那么多证明题。

现在ML平台的解决方案是非常简单粗暴的，给一堆特征参数，然后返回一个预测结果。但是为什么有这个结果，是目前谁都说不清楚的。如果ML平台把模型可解释性提高，相信会有更多的用户接受。

四、市场所需的机器学习平台到底是什么样的？

前面聊了很多我自己的使用体会，我们也一起了解了一下市场到底需要什么样的机器学习平台。Garnter2021数据科学和机器学习平台的魔力象限里提到，他们对机器学习平台的考量标准在五个点：

1. 数据科学和机器学习平台能力；
2. 企业的收入和增长；
3. 客户数量；
4. 市场吸引力；
5. 产品能力评分。

但是Gartner的考量维度是以一个中立视角从企业层面对机器学习平台进行评价。而更能说明产品能力的，还是用户反馈。勇于尝鲜的部分企业用户其实已经对现有的机器学习平台开始了深度探索，我从字母点评整理了一个小样本的机器学习平台调研结果，可以一起看一下。

机器学习平台第三方评价

机器学习平台用户满意度

从第三方的数据来看，不同用户对主流机器学习平台能力评价总体接近，一些头部机器学习平台的客户满意度远超行业平均值。从用户的实际口碑来看，Amazon SageMaker的产品竞争力比较靠前，用户普遍反馈的是可以放心地让SageMaker托管自己的机器学习任务，而相对抱怨较多的是Amazon的付费模式过于复杂。

其实普通企业用户对机器学习平台核心诉求就两点：

1）安全

机器学习平台需要保证用户的数据绝对安全，这也是很多企业目前还在犹豫上不上公有云的困扰，企业需要确保自己的数据不泄露，不被篡改。

2）准确

对于选择了机器学习平台的用户来说，他们需要模型能有较为精确的结果。而准确性也是对机器学习平台的算法能力比较大的挑战，模型是否准确其实在用户心里也是个二分类问题，不会严格的像算法里给出90%精确这样。用户心里需要的是放心的托管和信任。在这两点核心诉求的满足上，ML平台缺一不可。

而在这两点核心诉求之上，才是便捷易用和模型可解释。当然一开始着手设计低门槛的产品和平台是否安全、模型是否准确这两点并不冲突。

目前已经获得客户好评的企业，不知道打造的是不是最终市场所需的机器学习平台，但至少眼前他们的路是正确且踏实的。

五、最后

最后，要回过头反思一下咱们标题的问题了。毫无疑问，Amazon SageMaker Canvas的出现，是在传递一个信号，亚马逊云科技正在把复杂深奥的技术，简化成一系列简单的配置，让更多人可以轻易地借助机器学习的力量改善自己的工作状况。

但无论是从大厂动向的观察，还是从历史发展必然性的反思，机器学习的未来应该是科技向善，科技亲民，让更多的人享受到真实有效的服务。当前疫情之下，国内经济发展启动双循环。企业运营迫切需要改革，效率迫切需要提升，技术民主化才真正是当下各类科技的最佳实践，所以标题的问题不再是问题，而是科技企业们需要给出的答案。

#作者#

忙里偷贤，公众号：忙里偷贤。B端产品，低代码玩家，工具类产品思考者。热爱分享，务实的理想主义者。

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！