无论是作为一项技术，还是在使用方式上，AI都正处于转型期。越来越多的公司将 AI 试点项目带出测试实验室，并进行大规模部署，一些公司因此看到了巨大的好处。尽管 AI 有不确定性，忽视其潜力都会导致公司以老旧方式开展业务并面临破产的风险。
然而，对于许多公司来说，从 AI 中获取价值可能是难以预测的。他们的模型可能没有经过调整；训练数据集可能还不够大；客户可能会心存疑虑，还有对偏见、道德和透明度的担忧等等。在准备好将AI 计划投入生产之前，或者在适当审查其结果之前，就将 AI 战略提前可能会花费公司资金，或者更糟糕的是，将对业务发展不利。
那么如何知道，一个 AI 项目是否会改变或破坏公司呢？如果没有直接的 ROI 数字，公司就必须通过创造性的方式来确定这一点。以下是 IT 领导者和业内人士如何衡量 AI 的价值。
成熟与突破性技术
衡量任何计划或技术的商业价值并不总是线性计算， AI 当然也不例外，尤其是考虑到成熟度和业务潜力时。经验证实和预测的变量——如数据挖掘、节省成本和培训、投资和促进新用途的能力——会影响可接受投资回报率的决策，但对技术给予一定程度的信任，无论是对新兴还是对成熟技术，都至关重要。
美国宇航局（NASA）喷气推进实验室的 CTO 兼创新官 Chris Mattmann 说，一些 AI 的案例应用已经非常成熟。以自动化业务流程为例。
他说：“每家公司都有无聊的东西，我们也有。所以我们自动化了很多事情，比如处理票据、搜索、数据挖掘、使用 AI 查看合同和分包合同。”
JPL 通过使用已实现商业化的技术来做到这一点，包括 DataRobot 和 Google Cloud，Mattmann 说。为了确定一项特定技术是否值得投资，公司会考虑它是否会节省成本、时间和资源。 “它已经是成熟的，所以应该能够证明这一点。”
对于处于中等成熟度的技术，JPL 着眼于该技术是否有实现新功能的能力以及成本如何。他说：“例如我们要去火星，有一个用于深空电信的细管道。而今天，有足够的带宽每天从火星向地球发送大约 200 张照片。
我们派出的那些出色的火星探测器有豌豆大小的大脑，他们正在运行 iPhone 1 处理器。我们只把经过辐射硬化的东西留的太空中，我们相信它们可以承受深空环境。我们知道性能良好的芯片是那些较旧的芯片，因此我们不在漫游车上进行高级 AI 或 ML。
但 Ingenuity 直升机最初只是作为技术演示而并非任务的核心，它搭载了高通骁龙处理器，即 AI 芯片。这向我们证明，有可能拥有更新的芯片并做更多的 AI。”
在这里， AI 将启用目前无法实现的新用例。例如，漫游者无需每天发回 200 张图像，而是可以使用 AI 分析图像，向地球发送一百万个文字说明；例如，在特定方向上有一个干涸的湖床，我们可以通过文本获得比现阶段更多的可见度。
最后，对于最前沿的实验性 AI 技术，衡量成功的标准是它们是否允许完成新的科学，以及撰写并发表新论文。
Mattmann 说：“训练和建立模型是有成本的。像谷歌和微软等公司可以随时访问海量的训练数据，但在 JPL数据集很难获取，需要博士级的专家进行分析和标记。在 NASA，我们训练新 AI 模型的成本是商业行业的 10 到 20 倍。”
在这里，新技术的出现可以让 NASA 用更少的人工标签来创建 AI 模型。
AI 测量及其影响范围
当没有直接的方法来衡量 AI 项目的业务影响时，公司会从相关的关键绩效指标 (KPI) 中挖掘数据。这些代理变量通常与业务目标相关，其中包括客户满意度、上市时间或员工保留率。
Atlantic Health System 公司就是一个典型的例子。Sunil Dadlani 是该公司的高级副总裁兼 CIO，他认为在其公司病人是每个决策的核心。因此在许多方面， AI 投资的回报是通过观察病人护理的改进来衡量的。他说，这些以病人为中心的指标包括缩短住院时间、加快治疗时间、加快保险资格验证以及更快的事先保险授权。
另一个项目涉及使用 AI 来支持放射科医生检查扫描结果。其中一个KPI 是放射科医生对潜在异常发现的警报频率。Dadlani 说：“截至 2022 年 4 月，我们 99% 的放射科医生报告说使用 AI 分析了12,000 多份研究报告。并补充说这已经触发近 600 次警报。因此医生可以尽快解决潜在的严重问题。”
来自美国第五大会计师事务所 RSM 的管理咨询、业务和技术转型团队的合伙人 Richard Davis 认为，在 RSM，AI 投资遵循两条紧密相连的路径：一是生产力和分析工具，可以帮助员工更好地工作；二是客户使用相同或相似的工具。
例如，在与客户合作时，可能会要求 RSM 从多个系统（会计、销售和营销、人力资源、物流）中提取数据，并将所有内容整合到一个窗格中。Davis 说， AI 可以帮助加快这一过程，然后 AI 可用于识别工作如何通过这些系统进行，以及潜在的挑战和障碍可能在哪里。
那么公司如何知道其 AI 是否朝着正确的方向发展呢？
Davis 拒绝提供 RSM 在 AI 计划或投资回报率方面的投资细节，但是他说：“第一，我们可以非常清楚地衡量工具的使用情况。随着时间的推移，我们希望看到的是更有效地交付参与。”
他还表示，参与度的提高应该会提生生产力。因此，如果过去需要花一周才能完成某件事，那么现在的目标可能是将其缩短到一天。
专注于商业利益
衡量 AI 的成功也可能是主观的。麻省理工学院的 AI 研究科学家兼零售行业的数据科学家 Eugenio Zuccarelli 说，评估一个 AI 项目就像开发 AI 本身一样是一门艺术。
Zuccarelli 说，尽管如此，能够解释 AI 对业务的影响仍然很重要。 他说：“KPI 不应该围绕模型本身设定，而应该围绕业务和人员设置指标，这应该是项目的最终目标。”否则，选择一个看似成功但实际上并不能转化为对公司有效影响的技术指标太容易了。
Zuccarelli 还曾在宝马和特斯拉等公司担任过数据科学职位，他也警告过不要孤立地衡量进展。例如，如果一个 AI 项目旨在改进由于其他原因已经在改进的东西，那么需要一个对照组来确定实际上有多少改进是由 AI 引起的。
具有多年金融服务行业经验的 Vladislav Shapiro 表示，AI 项目其他有价值的 KPI 可能是，减少错误警报或自动删除过多的特权。Shapiro 是 Costidity 公司的创始人，一家专门从事 IT 的咨询小组安全和身份治理管理的企业。
他说，在最近一次由 AI 驱动的安全部署中，误报率降低了三倍，并且许多以前的人工流程都实现了自动化。
“当你向公司高级管理层展示这些数字时，他们就会明白，上述所有措施都降低了被泄露的风险，并增加了问责制和治理”他说。
渐进式衡量成功
全球专业服务公司 Genpact 的首席数字策略师 Sanjay Srivastava 表示，自动化导致成本降低是展示 AI 经济效益最简单、最清晰的方式。但 AI 也可以促进新的收入来源，甚至彻底改变一个公司的商业模式。
比如借助 AI ，一家飞机发动机制造商发现它可以更好地预测故障和改善物流，从而可以开始提供发动机服务。他说：“对于最终消费者来说，购买飞行里程比购买发动机本身更好。这是一种新的商业模式，它改变了公司的运营方式，因为有 AI 技术支持。与此同时，对业务的影响也很明显”
因此，为了证明在那段时间内对 AI 的投资是合理的，这家特定的制造商需要这个长期目标，但将其转化为可以通过其他方式衡量的短期项目。
他还说，“与其说十年后我们将改变行业，不如说在第一年，我们将开始研究需要储备哪些零件。你还没有改变这个行业的飞行里程，你只是说，我们需要数量达标的正确零件。这是个为期一年的项目，旨在优化仓库系统并减少在库存方面的投资。”
除了供应链优化外，其他短期进度衡量指标还包括客户满意度。
他说：“如果飞机在孟买停留了五天等待一个零件，客户就会有不好的感受。”
与战略愿景保持一致
还有一个现实是，在短期内，一些 AI 项目可能会影响亏损，但从长远来看仍然是重要且有变革性的。例如，用机器人提供客户服务的公司可以解决一些单调的任务。Gartner 分析师 Whit Andrews 表示：“但聊天机器人也可能会有弊端。因为有些人擅长追加销售并希望与人互动，所以公司可能不希望用聊天机器人。”
这就回到了你想成为什么样的公司。“在某些时候，你必须问自己的公司是否是这样一家公司，比如，如果交付搞砸了，客户可以打电话通过询问到底哪里出了问题，然后你与他们直接互动，尝试着在交付后每个月向他们推销产品。”
如果公司致力于 AI 驱动的转型，有可衡量的投资回报率的支持，并有一个以客户为中心的愿景，那么它可能会忽略直接影响到收益指标，转而关注其他潜在更有意义的指标。
Andrews 说：“一个更自动化的公司可能会更成功，因为它正在增加市场份额。但是你可以开发你的数据，这样你就可以在和他们关联度更高时间触达他们。如果有什么东西你可以指着它说，逻辑思考告诉我们，它能使我们的客户更快乐，我们的员工更成功，那么就去实现它吧。”
来源：www.cio.com
