以 Web为中心的指标不会将理解错误的请求或消息延迟计算在内，因此聊天机器人需要新的指标。如果您已经熟悉Web指标，则您可以立即跳转到聊天机器人特定指标相关说明：
我们之前已经写过一篇对话机器人/聊天机器人的深入指南。聊天机器人的基础知识在另一篇文章中提供。我们提出的观点是：聊天机器人将改变世界，跟上技术潮流很重要。了解聊天机器人的功能并不断测试聊天机器人的性能也很重要。因此，在本文中我们将分享一些关键指标。
什么是指标？
指标是一种可量化的度量，用于跟踪和评估特定业务流程的状态
定义指标非常重要。由于聊天机器人的许多功能将通过这些指标进行测量。对于新创建的聊天机器人，这些指标可能会大幅波动。聊天机器人部署实施后，公司需要对其进行密切监控。由于我们开发机器人程序的目标的是提高效率、实现更快的响应和更高的转化率，因此公司需要定义正确的指标，这样就可以合理监控机器人的性能并提高效率。对于数据科学家来说，这个层面的问题提供了许多用例。
用户指标
- 1- 总用户数： 这是最基本的指标。它获取了使用聊天机器人的总人数。这一点很重要，因为它的变化趋势显示了用户数量的实际变化，从而展示了您的聊天机器人已经暴露的数据量。此外，这将提供有关市场规模计算和聊天机器人潜在影响的关键信息。
- 2- 激活的用户： 激活用户可以定义为在指定的时间范围内在聊天机器人应用中阅读消息的用户，激活的用户是您的潜在目标。您可以从该数字估算推广活动的潜在影响。阅读消息的人数至关重要，这与社交媒体上的促销内容类似。虽不保证用户一定会使用产品，但用户一定已经看到了相关信息。
- 3- 参与的用户： 这些用户是使用了聊天机器人的用户。他们在聊天机器人应用中接收和发送消息。这个指标重要，因为您的聊天机器人将能够基于此来提供对话统计信息。它们可能会影响您对聊天机器人有效性的决策制定。如果聊天机器人无法开始与用户对话，则没有任何意义。
- 4- 新用户： 此指标可统计聊天机器人推广活动的成功情况。需要新用户来维持激活用户数量。客户的偏好程度会随时间而变化，与聊天机器人的交互量会呈指数级衰减。因此，新用户将维持您庞大的客户群。
消息指标
前四个指标可获取用户群的总体趋势，但您需要更多有关用户如何与您的聊天机器人交互的细节。其中一个指标组是消息指标。
- 5- 会话启动消息：这是启动与聊天机器人交互时机器人发送的消息数。这对于衡量平台的有机性至关重要。可以通过向用户发送消息来获得用户的响应，但随着时间的推移，公司仅需要较低的数字指标。由于我们部署聊天机器人是用于客户关系管理和数字营销，因此在聊天机器人发起初始问候后，我们需要源源不断的用户直接发送消息到聊天机器人。.
- 6- 聊天机器人消息：机器人消息指标是聊天机器人在每次交互中发送的消息总数。该指标衡量了客户和聊天机器人之间的对话长度。我们通常希望消息数量多，但这有一个关键条件，我们的聊天机器人需要能够正确响应。如果误解或无法理解用户的输入，聊天机器人就会重复做出相似的应答。
- 7- 正在交互中： 该指标显示用户发送的消息。我们需要查看用户是否与聊天机器人互动。如果该指标明显较低，我们则不需要使用聊天机器人。使用常规社交媒体（如 Facebook主页或Twitter帐户）可能更有意义，而非使用Facebook Messenger聊天机器人或语音辅助技术。
- 8-聊天机器人无法理解的信息： 这类信息表示聊天机器人无法处理的信息。此指标可能难以计算。需要统计聊天机器人无法解释输入的次数。如果公司业务开始涉及习惯使用方言表达的国家，这将是一个关键指标。
- 9- 会话总数： 在给定某天内开始并成功完成的对话数。这是抽象统计参与的用户量。
- 10- 新对话： 开始的新对话数。该指标统计没有使用经验的用户以及返回的旧用户就不同事项、问题或订单启动的对话。
Pulse Chat等初创公司侧重于统计消息数量，并在其平台中提供详细信息。他们的创新解决方案使得即时维持和提高对话质量成为可能。
上述指标是我们指标体系中的关键指标。我们知道，其他传统的数字营销指标可以使用这些基本指标构建。
聊天机器人指标
现在，我们将介绍一些对衡量聊天机器人性能至关重要的一些其他指标。
- 11- 保留率： 这是在给定时间范围内返回继续使用聊天机器人的用户的百分比。这一点很重要，因为我们需要让客户持续使用聊天机器人，让他们花时间在聊天机器人上，从而帮助我们获得关于客户偏好的有价值信息。通过促销活动（如聊天到接收折扣）或抽奖（如猜词游戏）可以实现更高的保留率。重要的是通过合理的过程保持高留存率。这主要通过提供满足客户期望和需求的高质量聊天机器人来实现。
- 12- 目标完成率（GCR）：该指标表示了通过聊天机器人成功参与用户的百分比。用户可能会尝试访问不同的信息或服务。对于电子商务公司的机器人来说，其目标可能是通知用户产品的详细信息或购买产品。这表明了我们的聊天机器人成功处理输入并提供询问信息的次数。还有其他方法可以利用这个概念。一种方法是通过用户提出的问题来挖掘数据。这将显示消费者偏好的总体趋势。因此，在训练聊天机器人时，可以更加重视这个方面的问题。
在上图中，我们可以看到此类用例的示例。用户大多使用聊天机器人来安排他们的乘车时间，因此应该更加重视这个方面应用的相关问题，以保持消费者的参与度和活跃。
- 12/13/14 – 目标完成时间/消息/点击： 聊天机器人需要提供无缝高效的体验，并且他们拥有大量的替代品，如公司的网页或应用程序。最小化用户的目标完成时间可以改善用户体验。
- 15-回退率（FBR）： 不存在完美的聊天机器人。因此，聊天机器人有时会失败，但真正重要的是这些故障经常发生或在某些极端情况下发生。回退率捕获了该信息，该指标表示了我们的聊天机器人失败或经历故障情况的次数百分比。我们的目标是尽量减少这种情况，因为我们需要一个聊天机器人来取代人，如客户服务代表，销售人员和呼叫中心人员。当遇到高回退率时，尝试寻找新的数据源或训练集以提高性能可能是正确的解决方式。
- 16-用户满意度：这是一个可通过问卷调查来定义的新指标。客户或者与聊天机器人互动的人可以评价他们的体验，以进一步帮助产品改善。这可以用判断题问答形式来调查，例如“机器人性能良好吗？”–“是”或”否”，或者我们可以创建更复杂的评估表单，为每个不同的类别进行排名和打分。该项指标将从用户体验的角度从用户直接获取聊天机器人的总体有效性信息。
- 17-扩散性： 并非所有的机器人程序都能快速推广，但激励用户邀请其他人加入谈话可以实现病毒式扩散和推广。如果你的解决方案在使用过程中可以涉及到其他人加入，那肯定会有助于增长。你可以阅读 这篇关于病毒式特性如何让机器人程序快速增长的分析。
以上是经常使用的关键性能指标，当然您也可以更改并创建指标。基于内容筛选是获取指标所需详细信息的一种方式。您也可以定义临时指标，但对于典型的用例，这14个指标是最关键的。聊天机器人是测试和了解人工智能能力的主要应用领域。
Botanalytics是一家专注于聊天机器人分析的大公司，其总部位于旧金山，拥有先进的对话分析工具。它们成立于2016年，其主要目标是通过数据来改善人机交互和对话UI。通过为机器人提供分析，他们让机器人程序的开发人员、企业品牌和各大机构能够使用历史对话和实时对话数据来改进聊天机器人。
您是否正在寻找AI供应商？
