CTI论坛(ctiforum.com)(编译/老秦):自动化和人工智能在数字参与计划中使用时提供了惊人的好处。我们继续看到机器人和自动化在聊天、消息传递、语音甚至社交对话程序中的广泛使用。 Insider Intelligence 预测,到 2024 年,全球消费者通过聊天机器人进行的零售支出将达到 1420 亿美元,高于 2019 年的 28 亿美元。
![](http://www.ctiforum.com/uploadfile/2022/0919/20220919094650415.jpg)
在 LivePerson,我们已经看到 Conversational Cloud 上超过 70% 的对话使用某种类型的自动化,这一趋势没有放缓的迹象。这意味着我们需要正确评估聊天机器人的成功,但这并不总是意味着依赖熟悉的关键绩效指标 (KPIs)。
当联络中心新的人工座席走上工作岗位时,我们不会立即让他们与客户交互。他们经过培训和管理,机器人应该受到同样的礼遇,无论它们是用于简单的任务--路由到人工座席或收集信息--还是用于复杂的任务--销售烤架或处理保险索赔。与人类一样,机器人需要在其一生中受到监控、培养和培训。
这意味着使用为他们设计的指标来衡量聊天机器人的性能。我经常听到领导者使用诸如遏制、满意度(CSAT 或 NPS)和情绪之类的 KPIs。
问题?这些传统的测量方法是行不通的。原因如下:
![](http://www.ctiforum.com/uploadfile/2022/0919/20220919093751810.jpg)
我们经常看到机器人像这样失败的例子。机器人响应遵循特定的脚本,不能总是对消费者做出反应,从而导致负面互动。您可能认为这些问题可以通过传统指标来识别,但事实并非如此。
使用以下 KPIs 对聊天机器人进行分析所产生的问题:
遏制对话统计
如果品牌座席是机器人,并且没有人工座席参与对话,则认为用户交互是包含的。问题是这个 KPI 没有考虑解决结果。因此,虽然上面的示例完全被机器人包含,但显然没有解决问题。
许多自动化程序旨在防止消费者接触到在线座席。在这些情况下,遏制可能是衡量品牌成功的一个很好的衡量标准,但并不能真正反映消费者的体验。
客户满意度调查
客户满意度 (CSAT) 和净推荐值 (NPS) 是流行的聊天机器人性能指标。但是,收集该数据可能是一个有缺陷的过程,因为它通常需要客户完成调查。在上述示例的交互中,客户从未收到调查,因为对话在技术上尚未完成。此外,Delighted 告诉我们,"根据使用的渠道,2021 年客户调查的平均响应率在 6% 到 16% 之间。"在这些比率下,数据就不可能可靠或具有代表性。
此外,如果对话从机器人升级为人工座席,则调查结果可能会因人工交互而产生偏差。如果调查回复基于此,而不是完全基于聊天机器人用户的体验,则数据再次变得不可靠。
衡量客户满意度和情绪的情绪
LivePerson 有一种情绪评分算法,称为有意义的对话评分 (MCS)。衡量情绪的好处在于它适用于客户发送的每条消息,并且不依赖于调查、机器人与人工座席或座席行为。这使其成为一种有效的对话分析工具,可根据所使用的语言帮助识别消费者在整个对话过程中的情绪。
不幸的是,情绪分析无法在自动机器人响应中准确识别客户情绪。
在我们的示例中,客户的文本变得简短(通常是一个词)并且情绪中立。即使是负面陈述--"这是一个笑话"--也可以被情绪引擎正面或负面地解释。机器人设计还通常在脚本中使用引导流程,其中机器人为客户提供了一组选项。因此,当通过单击按钮获得响应时,情绪将始终是中性的。基本上,人们的文本与机器人不同,具有简短、中性的情绪响应,使得情绪分析成为衡量机器人性能的不完整指标。
聊天机器人客户旅程中的传输率
这是指实时座席参与的频率,这是用于聊天机器人分析的常见 KPI。但这种测量存在三个挑战:
- 放弃的对话(如我们上面的示例)不会反映在传输率分数中,因为现场座席从未参与其中。
- 转移是某些机器人的目标。
- 此测量也没有考虑客户要求人工座席开始对话,这反映了客户的心态而不是聊天机器人的有效性,并且不准确地夸大了负面测量。
例如,路由机器人应该有 100% 的传输率,而面向任务的机器人(即我的订单状态是什么)应该有一个显着较低的传输率。像这样的聊天机器人指标要求我们单独测量每个机器人以获得最有价值的洞察力,这是管理大型自动化程序时的一个繁琐过程。
重新定义聊天机器人指标以更好地衡量和提供出色的客户支持
我们衡量对话互动方式的这种转变并不是什么新鲜事。在异步消息传递的早期,我们不得不重新定义衡量联络中心座席的方式,因为平均处理时间和并发性等传统指标已经过时。现在,随着我们被锁定在人工智能和自动化的世界中,并且更多地依赖机器人来支持消费者参与计划,我们需要再次重新定义我们衡量成功的方式--因为传统的指标不再起作用了。
声明:版权所有 非合作媒体谢绝转载
作者:Chris Radanovic
原文网址:https://www.liveperson.com/blog/chatbot-metrics/