利用生成式人工智能打造优秀产品

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， New Relic， Generative Ai， Product Strategy， Data Utilization， Operational Efficiency， Developer Productivity]

导读

Generative AI正在改变独立软件供应商(ISVs)对其业务的思考方式。在本次会议中，您将看到各种ISV如何使用生成式AI技术来改进其运营并提升产品质量。了解大多数ISV目前在采用曲线上的位置，探讨在您的业务中采用生成式AI的考虑因素，并了解亚马逊云科技提供的支持您生成式AI之旅的项目。

演讲精华

以下是小编为您整理的本次演讲的精华。

下午好大家。我们现在开始吧。我是Jeffrey Hammond，是亚马逊云科技全球ISP产品管理转型的负责人。这意味着我要花很多时间与产品团队合作，他们是我们的客户，在设计体验时，你可以想象，很多体验都涉及将生成式AI作为产品策略的一部分，我今天将就此谈一点。

我也想介绍一下Siraj。大家下午好!很高兴见到大家。我是Siraj Krishtan，是新Relicon工程遥测数据平台的集团副总裁。

Siraj将带领我们深入探讨一家公司在应用生成式AI方面的产品体验。正如我所提到的，我将从更广泛的角度开始。我要做的一件事就是花很多时间与不同的客户交谈，因此我想让你们了解我们看到许多不同的软件公司是如何应对生成式AI的，以及他们如何将这项技术作为产品策略的一部分来使用。

大多数软件公司会关注两种不同类型的用例，并对它们采取非常不同的对待方式。让我们从专注于公司本身如何有效交付推动其业务的产品的运营改进的优化之旅开始。在运营改进方面，你经常会看到投资于诸如客户自助服务、改善收入运营、提高销售产品的效率、创建作为营销策略一部分的内容等方面，这也是营销推广产品的一部分。我们看到生成式AI被用于潜在客户开发运营以及整体软件产品交付。

刚开始使用生成技术的公司往往会关注这些用例，尽管你从这些投资中看到的回报实际上往往会低于另一种选择。为什么会这样呢?因为这些用例中的许多都是相对低风险的，当你只是想了解你能做什么、生成式AI如何作为你努力的一部分时，在你开始时保持人工干预总是很好的，这样可以降低一些风险，否则你的客户可能会突然遇到一些挑战、一些幻觉。

一个来自亚马逊的例子是生成合成测试数据。如果你不熟悉亚马逊One，它是我们的一项服务，可以读取掌纹并让你在商店结账。要达到使这项技术成为可行技术所需的弹性和关键任务级别，你真的必须能够在数百万个掌纹上进行测试。你能想象需要花费多少时间和精力去寻找100万个这样的掌纹、捕获它们并将它们作为测试套件的一部分吗?通过能够生成合成测试数据，他们能够显著减少生成所需测试数据量的工作量，从而达到所需的弹性水平。

另一个例子是一家金融服务领域的客户。他们提到的一件事是，他们的客户希望确保自己的基础设施能够扩展到数百万客户，每天可能有数千万笔交易，因此他们需要构建基础设施来设置、执行这些测试并将其拆除，以证明他们现在向企业客户销售的能力。这是一个测试数据生成问题，加上一个DevOps和自动化问题，是生成式技术的理想应用场景，可用于合成测试数据。

另一个例子是使用亚马逊CodeWhisperer来加速开发，提高自身软件开发实践的效率。在这些专注于内部运营改进的努力中，我们看到了一些例子，比如25%的更快开发速度、高达40%的开发人员生产力提高、37%的代码被开发人员接受率、12%的重复性任务自动化增加。在Evident的案例中，能够在几分钟内现代化遗留代码，并降低整体运营成本，包括开发成本和销售自身产品的成本。

虽然运营改进很有趣，但从产品团队的角度来看，更具战略意义的用例是将这些技术嵌入到他们作为整体产品策略的一部分销售的产品中，我倾向于就此进行更深入的探讨并与团队合作。我们看到的一些例子包括:投资于差异化，使你已经拥有的特色变得更加与众不同，通过应用生成式技术;通过新产品(如聊天机器人或协同飞行员)产生额外增长;简化用户体验;改善自动化;总结运营数据或甚至点亮暗数据。

Appian是一个有趣的例子，因为当他们首次开始研究语义搜索时(这是我们看到人们使用生成式技术的常见用例之一)，他们是使用自己的文档、客户支持材料来做的。在学会如何做到这一点后，他们将这些信息插入到自己的产品中，并进一步利用产品本身的数据来创建更加强大的混合搜索功能，帮助客户做出选择，在他们的案例中是如何成功应用数据和分析。

另一个例子是Alida。如果你不熟悉Alida，他们为拥有产品的客户服务，通常是实体产品、服装零售等。当他们的客户对产品发表评论，说明他们喜欢产品的哪些方面或对产品有何疑虑时，Alida会对这些信息进行总结并从中提取见解，然后将其提供给Alida客户的产品经理，以便他们能够识别潜在趋势、潜在问题、客户满意度方面的潜在挑战。能够快速总结这些信息，否则产品领导者就必须浏览大量信息才能了解客户的观点可能有何不足之处，这将是一大堆苦力活。

我们开始看到的另一件事是对我所谓的可执行制品生成的投资，SnapLogic就是一个很好的例子。很容易将可执行制品视为代码。我可以生成Python或Java或其他编程语言，但是如果你的产品有一个非常强大的元模型或数据类型集，能够生成和使用这种可执行制品就可以为你的客户创造非常强大的效果。在SnapLogic的案例中，这种可执行制品就是产品能够执行并能够加快与多个其他组织集成的速度的管道。

Greenhouse是将这些不同技术结合到一个非常有效的产品策略中的一个很好的例子。它从生成工作招聘信息开始，这是自然语言生成。然后生成测试和面试问题，也是自然语言生成，但它变得更加复杂，能够评估提交的简历背后的意图，这是自然语言理解，能够改善DEI结果，或者对简历进行匿名化，或者采用其他可导致更好招聘结果的技术。这是一个很好的例子，将负责任的AI实践应用于他们在自然语言问答方面的投资，这是为了让做出招聘决定的人能够非常快速地获取他们试图招聘的人的信息。这是一个很好的减少繁重工作的例子，最后，能够自动化招聘过程中的预约安排，使整个招聘过程中的繁重工作得以消除，这是一个非常好的可执行制品生成的例子。

为什么这很重要?因为对于你可能拥有的每一个产品，你都可以开始提出这些问题:哪里有机会进行自然语言生成?哪里有机会进行自然语言理解?我们产品构建围绕的元模型中有哪些可执行制品?我们如何以负责任的方式做到这一点，从而实现任务自动化、减少繁重工作并点亮暗数据?

根据McKinsey的数据，由于这些技术，可以增加15%到40%的经济影响力。我们还发现，已经有20家公司中就有一家将10%的税前收益增长归因于他们在生成式AI方面的投资。

那么，这些独立软件供应商(ISV)是如何做到的呢?他们在做哪些投资?首先，从技能角度来看，它始于我们认为每个人都需要的技能。最明显的是能够进行良好的提示工程，我们认为大多数C级高管都应该能够编写体面的提示，从而思考这可能如何影响他们正在设计的产品。

但是还有一些互补的技能。除此之外，我们需要每个人都能够提出诸如“这个答案看起来正确吗?”这样的问题。他们能够进行批判性思维，并努力去理解他们是否提供了有价值的回应吗?其他广泛的技能包括将数据转化为价值的能力、重新设计和优化流程以减少重复劳动的能力、任务自动化能力，以及通过成功的变革管理流程实施这种变化的能力，因为这是一种重大的中断。如果你无法管理这些流程，我们发现许多公司实际上会开始陷入困境。

我们还发现，思考如何做到这一点的一种方式是考虑实践社区或卓越中心模式。卓越中心模式是我们通常在人力资源、财务等组织中看到的，有专门的组织，但每个软件公司都需要了解足够的财务知识，了解足够的人力资源知识，以确保我们不会做出错误的事情，并正确报告我们的收入。因此，卓越中心确保这些最佳实践被整个组织所采纳。

我们现在看到类似的情况发生在生成式人工智能领域，您将看到一个核心团队负责许多常见服务，如不同的大型语言模型和多模型路由器，以及连接单个数据存储或甚至将数据引入单一数据湖的能力，该数据湖可用于开发工作，然后这些技术使用共享服务模式嵌入到单个产品团队中。

从设计的角度来看，在考虑如何将这些技术嵌入到您的产品中时，也有可能采用不同的设计范式。我现在想给你两个非常不同的例子。它们都不是错误的，只是在你的客户将如何使用你所做的投资方面有不同的后果。

我将从Canva开始。Canva采取了我所认为的沉浸式方法，将生成式人工智能能力融入到他们的主要产品中。我将播放大约一分钟，我希望你能数一数你看到生成式人工智能能力的地方有多少个。

[视频播放，显示多个生成式人工智能能力集成到Canva的产品中]

与客户前往单独的体验进行生成式人工智能不同，它只是成为产品的一部分，并增强了产品本身。为什么在考虑为你正在创建的产品定价时，这一点很重要?在某个时候，你将不得不证明你的生成式人工智能投资所需的成本，那么你是在你的主要产品上做这件事吗?你是否要尝试销售一个单独的产品?当你开始制定你的市场营销策略时，这将如何影响你的成功?

一种非常不同的体验可能更为常见，我们看到很多——协同助手，如Salesforce Einstein这样的品牌特殊协同助手，或者在会计领域，Zero有一个名为Just Ask Zero或Jax的协同助手。对于协同助手，它更接近于一种结对编程体验，或者我有一个助手在帮助我。这些体验往往在交互方面更多是文本形式的。我要求协同助手为我做某事，它就去做，我所做的有一种对话的方面。

在考虑如何做到这一点时，看看你自己的客户群，说哪种体验能让我在产品中提供我想要的功能和差异化。

在设计你的生成式人工智能体验时，我们发现另一件事情是，组织很快就会遇到他们想要使用的数据的问题。如果你想一想，如果你想通过生成式人工智能实现差异化，你的数据就存在差异化，因为这些数据是独一无二的。对于你的竞争对手来说很难获得，如果你能帮助你的客户利用他们自己独特的数据，你就可以帮助他们通过这些数据实现差异化。

你可能听我几次使用了这个短语“黑暗数据”。我与一位客户合作，他们的客户可能有几十年的建筑规划、施工图存放在文件柜中，所有这些在为新客户进行新设计时都有潜在的应用。他们如何获取这些数据并使其变得有价值，以便他们能够从之前的设计师、CAD技术人员等人那里获得优势。

因此，如果你想在人工智能方面取得成功，你需要掌握你的数据，并将其置于技术本身可以使用的位置。为了做到这一点，我们发现软件公司需要一些能力。他们需要能够收集这些数据、清理这些数据的能力。如果你想谈论幻觉，如果你有脏数据，你就会从中得到幻觉。你需要能够对其进行注释并教会生成式人工智能技术它的含义，尤其是如果你试图将其用于可执行的工件。你必须教会它你产品中事物的语法。你必须能够对其进行版本控制。你必须确保你对它有正确的系谱，只有这样，它才能很好地为你的生成式人工智能策略提供支持。

让我们谈谈一些你的组织为了在这方面取得成功所需具备的技术技能。在处理数据时，你需要考虑做的一件事是建立你将用于拉取这个通用数据平台、通用数据湖的租户，无论你决定采用哪种策略。

你需要做的第一件事是开始将你的数据视为一种产品本身，这是我经常进行讨论的一个话题。让我们回到金融服务行业。想想一个金融服务交易平台获取的所有数据，以及其他组织如何使用这些数据，但有一个非常基本的问题——他们是否准备好使用它?他们是否准备好甚至销售一种数据产品?他们是否拥有数据的所有权，或者这是客户的数据，如何规定的?

这些都是必须解决的问题，要尊重客户的隐私、同意和保密性，客户拥有那些数据。了解哪些数据集可以用于驱动不同的观点和不同的产品。天气数据就是一个很好的例子。几周前我与一位从事农业领域的客户进行了交谈，如果你想想他们的客户获得的所有数据，以及在农业行业中能够根据天气结果做出明智决策的潜力，这是非常重大的。

然后，你如何创建一个不是说“不”而是在正确的条件下说“是”的治理制度?现在，对于软件公司来说，在你的生成式人工智能策略中，你还必须非常擅长并解决一些特殊的问题。

通常，解决这个数据隐私问题并理解谁拥有什么是组织必须克服的第一个问题。但紧随其后的是，能够使用多个模型是我在很多对话中经常遇到的问题。

我给你举个例子，几周前与一位澳大利亚的客户合作，对他们来说，一件非常重要的事情是在他们试图创建的用例上达到一定的准确度，因为如果无法达到那个准确度水平，就对客户没有用处。不同的模型使他们在这种情况下能够达到不同的准确度水平。

这就是我们看到更先进的软件公司开始为他们的产品团队创建这些多模型基础设施作为一组通用服务的原因之一。灵活性是另一个原因。我们看到，在原型设计中使用像Amazon Bedrock这样的工具可以让组织快速取得进展，但随着规模的扩大，价格等因素变得重要时，有时我们会看到组织转向使用像Amazon SageMaker这样的较低级别方法，以便他们能够更好地控制大规模运营的成本。

同时拥有这两种选择是很好的，我们将在几分钟后谈论一下价格与性能的问题。总的来说，我们看到独立软件供应商正在从这个三角形的顶部开始，使用诸如提示工程之类的方法来尝试驱动他们试图成功实现的用例，并达到所需的准确度水平。

但从那里开始，就可以很快进入诸如检索增强生成等领域，您可以使用数据来提高准确度，提高差异化程度。但是当你沿着这个金字塔向下走到微调生成式人工智能模型，甚至训练你自己的人工智能模型时，成本往往会上升，复杂性也会上升。

因此，虽然我们确实看到有很多软件公司会这样做，但这往往是你需要非常谨慎考虑的事情，因为如果你从那里开始，你可能会在成功的生成式人工智能用例的平衡中遇到很多麻烦。

我认为这个三角形的起点是准确性，因此当你思考某个特定的使用案例时，要问自己这个模型需要达到多大的准确度才能让客户认为是成功的结果?是需要90%的准确度还是95%?

从那里你就可以开始思考我们需要做些什么来达到那个准确度水平?需要花费多少成本，我们能做到多快?如果你做得很快很便宜，但准确度不够，那可能就不会对你的产品策略产生很大价值和用处。

所有这些都是你需要权衡的事情，这就是多模型、多技术、多方法可以帮助你平衡扩展生成式体验的不同方面的原因。

我们通常发现微调可以提高准确度。预训练也可以提高准确度，从推理的角度来看，你还需要考虑在执行推理时需要多少上下文，因为这也会增加成本。所以尽管这些模型拥有巨大的上下文窗口是件好事，但如果要权衡成本，你就必须确保在单个推理中不会使用过多的上下文。

尽管如此，你可能会发现在某些情况下，目前无法让这个三角形保持平衡。这并不意味着你应该放弃这个想法。这表明也许你需要推迟几个月，或者先进行一些内部原型设计，了解你将如何实现，因为我们已经看到，在过去两年里，使用生成式大型语言模型进行推理的成本急剧下降，我们没有理由不期望这种成本下降水平会持续下去，所以对于一些目前在大规模使用时无法获利的使用案例，情况可能会在六个月或十二个月后发生改变。

我要结束我的发言了。从亚马逊云科技的角度来看，我们提供了许多帮助你解决这些决策的方式，无论是构建自己模型所需的所有基础设施——我相信你们这周会听到很多相关内容，还是用于构建组织的工具，你的产品团队可以使用这些共享服务来构建自己的使用案例，或者更高级别的使用案例，比如Amazon CodeWhisperer或Amazon QuickSight Q，可以嵌入到产品中用于自然语言查询、自然语言生成或可执行工件生成。

但不仅仅是产品。作为我们为客户提供的ISV部分的另一个方面，我们还提供了一些加速这一过程的计划。比如Generative AI Accelerator，这是一个为期一两天的活动，亚马逊云科技专家将帮助你了解你想要处理的特定使用案例，确定你将如何推进这些案例，并就此达成高层次的一致。我们还提供基于体验的加速服务，这是一种敏捷的、沉浸式的与云能力的互动，可以加速你围绕生成式机会所获得的业务价值。还有Generative AI Incubator，它允许你利用我们自己的机器学习专家进行头脑风暴会议，以确定和利用我们的解决方案来实现你自己的减少重复工作、自动化等目标。当然，如果你想自己动手，也有自学习的选择，比如亚马逊云科技 Builders Labs或我们提供的自学习实验室。

就这样，我要非常感谢大家，现在我把时间交给Siraj，让他来讲讲New Relic在这一过程中的旅程，以及他们在试图平衡各种需求时所面临的挑战。

Siraj Krishtan随后分享了New Relic在生成式人工智能方面的旅程，首先关注通过验证价值的使用案例来实现内部运营效率。重点领域包括通过自动化代码审查、标准遵从性和代码生成来提高开发人员的生产力。他们看到了跨工程师级别P1(刚毕业，大约2年经验)、P2(大约4-5年)和P3(主要工程师)平均约15%的生产力提升。

另一个领域是事件管理自动化，代理人会自动确认问题、通过关联警报和历史事件执行根本原因分析、总结潜在解决方案，并实施所选修复方案。这允许异步操作，代理人需要5分钟到1小时的时间为其他团队创建拉取请求，然后返回完成。

云成本优化也利用了生成式人工智能和经典机器学习技术。这包括对按团队和资源标记的云成本进行异常检测，以及智能可转换预留实例管理，每年节省400万至500万美元。

对于他们的可观测性产品，New Relic构建了一个面向人工智能的平台，每天摄取大量数据，处理约7PB的数据，数十亿个事件。它在底层有一个知识平台，上面分层构建了概率和确定性智能引擎，用于洞见和建议。

他们集成了生成式人工智能，用于自然语言查询，将提示翻译成他们专有的查询语言NRQL。这允许新客户在不学习NRQL的情况下进行查询。他们还与Amazon QuickSight Q集成，以跨平台查询亚马逊云科技资源。

其他使用案例包括人工智能监控，用于跟踪模型性能、延迟和与新模型相比的准确性。智能警报优化可减少误报和漏报，并且可以在无需人工干预的情况下自动设置新警报。

对于事件管理，代理人会关联警报、事件和过去的事件，自动生成根本原因分析并建议缓解措施供用户审查，并可选择单击实施。它还会跟踪事件期间的变化，以供分析。

Siraj强调要衡量实现的价值，而不是概念验证。他提倡在适当的情况下将生成式人工智能与经典机器学习相结合，快速原型设计，每2-3周迭代一次，将使用案例范围缩小，与收入利益(如生产力提高或成本节约)保持一致，并在进行昂贵的微调投资之前，先采用经济高效的检索增强生成。

他强调了上下文的重要性，建议诸如检索增强生成等方法可能比从头构建专门的微调模型(可能需要6-12个月和数百万美元)更有效和经济。他强调使用经典机器学习进行容量预测，而不是生成式人工智能。

总之，New Relic采取了一种务实的方法——首先解决高影响力领域，如开发人员生产力提高15%，衡量价值实现，将生成式人工智能与经典机器学习技术相结合，采取迭代、节约成本的路径，专注于他们的关键优先事项，同时在云成本上节省数百万美元。他们采用了负责任的做法，如提示工程，而不是从肮脏数据中产生危险的虚构内容。

这些发言者提供了一个全面的行业视角，在运营效率和产品创新方面战略性地利用生成式人工智能能力，同时掌握数据、技能、技术范式和负责任的实践。他们强调优先考虑高价值的使用案例，管理准确性与成本之间的权衡，接受新兴模型(如卓越中心)，以及高层次一致的重要性。具体的数字和示例说明了在收入、成本、生产力和客户体验指标方面的潜在影响。

下面是一些演讲现场的精彩瞬间：

Siraj Krishtan，新瑞利康工程遥测数据平台的集团副总裁，在reInvent2024上向观众致意。

亚马逊One利用合成数据生成技术在数百万个掌纹上测试其掌纹识别技术，从而减少构建健壮测试套件所需的工作量。

亚马逊强调将生成式AI技术嵌入产品中的战略用例，以增强差异化、产生新的产品、简化用户体验、减少工作量、提高自动化水平并从暗数据中获取洞见。

Greenhouse将生成式AI创新应用于招聘广告、面试问题、简历分析、DEI增强和自动化排程，从而简化了招聘流程。

亚马逊云科技提供了各种计划，如生成式AI加速器、基于体验的加速和生成式AI孵化器，帮助客户加速生成式AI之旅并利用亚马逊云科技的能力。

NRAI、Nudally AI Monitoring帮助客户监控其AI模型的性能、成本和延迟，实现持续优化和迭代。

总结

在这个富有洞见的演讲中，Jeffrey Hammond和Siraj Krishtan深入探讨了将生成式人工智能战略性地整合到软件产品中。他们强调了这项技术的变革潜力，为企业有效利用这一技术提供了路线图。

Hammond强调了确定高价值用例的重要性，例如优化运营、增强客户体验和自动化重复性任务。他展示了企业利用生成式人工智能进行合成数据生成、代码开发和内容创作的真实案例，从而实现了显著的生产力提升。

Krishtan分享了New Relic的经历，详细阐述了他们如何在内部利用生成式人工智能来提高开发人员的生产力、改善事件管理和优化云成本。他强调了衡量所产生的价值、进行原型实验以及利用经典机器学习和生成式人工智能技术的重要性。

该演讲强调了采取平衡的方法的必要性，考虑准确性、成本和性能权衡等因素。它强调了数据掌控、提示工程以及建立卓越中心或共享服务模式来推动生成式人工智能的成功采用的重要性。

最后，演讲者鼓励企业从自身独特的数据和流程出发，优先考虑高影响力的用例，并不断迭代和完善他们的策略。他们强调了生成式人工智能在推动软件公司创新、差异化和运营效率方面的变革潜力。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。