用户潜在不满预测分析现状
当前,AI技术驱动满意度提升,持续提升用户体验成为中国移动重点关注的课题。回归到市场,电信行业的市场竞争主要表现为存量竞争,用户服务质量是用户归属的关键。中国移动目前积累了大量用户服务数据(10086语音、外呼语音、在线服务记录、服务标签等),每日全网内产生的语音条数可高达百万,并且可以借助语音转写引擎将语音转换为文本信息。但是目前大部分语音数据仅做短暂存储并未对潜在投诉进行回溯,对投诉语音数据的价值挖掘还存在不足之处。挖掘投诉语音数据价值,识别出的用户情绪、语义信息等可为电信运营商提供决策支持,而且提前获知用户的潜在不满意倾向甚至离网倾向,也有助于持续提升用户使用体验。
对用户潜在不满进行预测是中国移动用户服务分析的重要内容,主要用于挖掘潜在不满用户,并且给予精准维系和服务,从而提升用户服务感知。中国移动各服务领域应用呈现日趋复杂的特性,比如数据来源众多、系统逻辑复杂、应用需求繁杂等,因此中国移动潜在不满预测系统在构建中也面临“多而杂”的场景。具体来看,包括智能应答侧提供的投诉工单、在线服务记录、需求文档、业务管理规定、语音转写文本等,以及存量运营侧需要获取的用户特征、用户标签、场景化行为、DPI解析数据等。因此构建一种服务预警的认知概念网络,针对不同场景定制模型,将对中国移动服务提升产生重要作用。不可否认的是,在相关模型构建过程中数据处理、模型学习等工作也面临巨大挑战。
就目前来看,既有衡量用户体验满意度的方法无法定位出用户不满意的原因,即便是通过统计方法,也只能定位出可能影响满意度的指标,缺少语义进行具体分析,而且业务人员在后期精准运营和业务推荐时可参考的资料较少。
因此,本文提出一种面向用户潜在不满预测的事理认知图谱分析方法,意在实现更有效的信息沉淀,即事理认知图谱可以通过数据进行自动构建,快速抽取关系,沉淀经验;更清晰地呈现,即事理认知图谱通过语义网络将基于时间线的用户事件知识进行关联,使知识关系更清晰;更有效地判别潜在不满,即事理认知图谱可以展现用户不满意的置信度以及语义原因,使业务人员在维护时能够有更好的参照。
事理认知图谱功能架构
本方案通过事理认知图谱进行以无线、家庭宽带、资费数据为基础的事理逻辑分析,从而对负面事件(用户不满、升级投诉、离网预警等)进行演化规律预测。该方案设计了一种面向用户满意度预测事件实体、事理逻辑关系(如顺承、因果、条件、上下位等)的事件知识表示方法,并通过事理认知图谱可视化地呈现单个用户的发展趋势,最终融合业务事件和事实事件,将单个用户生命周期内的事件进行时间序列串联,从而形成清晰、有逻辑的事件时间线,输出潜在不满用户列表,并将时间线关联的事件信息输出。
技术架构
该方案技术架构主要由数据层、构建层、计算层、应用层构成,如图1所示。具体来看,该方案在数据层的基础上设计事件图谱构建层及事件图谱计算层,通过事件抽取及事件关系预测从业务数据中构建事件图谱,通过事件图谱计算层补充事件关系并对事件属性及演化趋势进行计算,最终以接口及文本同步方式对上层应用赋能,实现潜在不满用户列表输出。
图1 面向用户潜在不满预测的事理认知图谱技术架构
·事件抽取
事件抽取主要包括事件类型判断、触发词管理、业务实体管理、事件名生成,即通过人工设定的触发词对业务数据进行筛选,将包含触发词的数据初筛出来,下一步进行事件类型及业务实体判断,进而根据事件类型、触发词及业务实体进行事件名的预测输出。
·事件关系预测
事件关系预测主要对抽取出的多个事件进行关系判断,其中可能包括时序关系、共指关系、从属关系、因果关系等。
·事件计算
事件计算主要对抽取出的海量事件进行相似度计算及统计,对事件进行权重、质量、热度等维度的标签划分,用以辅助后续图谱的关系推理及计算。
·事件推理
根据上述已有的图谱信息,对事件进行关系推理及补充,并计算演化趋势。
构建方法
本文涉及的用户满意度预测本质上是一个分类任务,即通过分析带有时间线的用户事件序列,将用户分为满意与不满意两类并进行演化预测。基于事理认知图谱的用户演化分析流程如图2所示。
对于已有服务场景下弱时序的稀疏事件序列,既有方法很难直接从事件序列中挖掘出用户对服务的满意程度。为此,本文提出了一种PA-LSTM模型,它分为事件特征提取、用户画像构建、个性化预测3个模块。
事件特征提取模块使用LSTM从用户事件序列中提取事件特征,包括网络黑点、家庭宽带网络低质探测特征、无线网络质差、10086服务热线满意与否、投诉工单原因等,实现多维度、多场景下来源复杂用户数据的时序关系特征向量化表达。用户画像构建模块使用TCN根据用户的属性信息(如在网时长、当月通话、当月流量等)提取用户固有的时序画像特征。个性化预测即使用注意力机制分析用户敏感事件,基于事件数据和画像数据,并根据用户相近群体的满意度偏好来辅助判断用户满意度。事理认知图谱的构建模型如图3所示。
步骤1:针对现有事件图谱数据源,基于移动通信领域服务事件时序关系弱以及事件稀疏的特点,提出了PA-LSTM模型,使用事件特征提取事件语义信息,进行用户敏感度分析,指导用户画像构建。
步骤2:系统通过用户的属性信息、业务信息、位置信息以及无线网络感知和家宽探测等数据,为用户构建了基于时序事件关系的画像。同时,系统利用注意力机制个性化地学习特定用户的事件序列,同时考虑用户群体的满意度倾向来辅助预测。
步骤3:在中国移动的实际工业数据集上进行应用,通过回收运营结果,证明本方法能够很好地预测用户不满意度,为提前进行干预提供重要帮助。
面向用户自感知的事件知识图谱满意度预测分析结果示例,如图4所示。
事理认知图谱应用实例
2022年初,该方案已在天津移动存量运营工作中正式应用。据统计,正式应用以来,该方案模型查准率达85%,查全率达63%,已执行了75.2万名用户的维系挽留,推荐成功率达32%,带来直接经济收入超4700万元。该方案的生产运营效益主要体现在减少潜在离网用户量、降本增效、节约人工成本等方面。
营销收入拓展
该方案成果应用于存量用户智慧运营体系,以机器学习算法、知识图谱对运营进行动态调优,并在多次迭代优化中,不断提升目标用户输出与策略匹配的精准度,促进营销外呼成功率提升至其他方案的2倍。针对存量用户价值循环升档、到期续约、低端用户维系、异动修复、5G终端营销、权益营销等,共完成1100万次营销,成功104万人次,推荐策略满足用户价值循环升档,用户折后ARPU提升了6.35元/户/年,方案总体创收金额达到660.5万元。
减少离网率, 提升在网收益
该方案通过多场景联合运营,有效提升了用户保有率,减少了用户离网率。截至2021年12月,月均离网9.3万户,同比减少36.7%;运营用户离网率低于大网离网率,挽回流失用户12.4万户,户均挽回损失46.5元,年挽回损失(在网收益)3459万元。
事理认知图谱方案价值
本方案遵循自下向上的构建方法,通过模式设计、抽取实体、关系计算3个主要步骤,构建了面向运营商用户的潜在不满意预测事理认知图谱。提出的个性化不满意预测模型PA-LSTM,能够很好地结合用户属性信息分析用户事件序列对用户满意度的影响,同时考虑到用户群体的不满意偏向性,该模型在中国移动提供的真实用户事件数据集上取得了良好效果。
本方案依据天津移动实践经验构建的事理认知图谱,融合业务数据与大数据标签数据,使图谱语义网络能够捕捉用户的潜在意图及推荐商机,并且基于多种可能的推荐链路进行推荐排序,能够支撑市场营销人员的权益推荐、用户维系以及策略制定等运营工作。与此同时,本文以AI技术驱动运营体系进行图谱化重构,实现了推荐、维系、策略、数据分析结果可读可理解,对于打造人工智能智慧运营的认知分析图谱具有重要价值。
本方案对中国移动全网知识图谱试点工作具有重要支撑作用,提出的基于认知分析的知识图谱构建方案对全网分析类知识图谱有较强指导意义。本方案的构建方法可以适配通用场景,在运营分析、服务预警、离网预警等方面具有广泛的应用前景。
本方案对认知图谱在满意度预测领域的应用及业务运营具有重要意义,将传统机器学习的知识图谱构建与推理改进为纳入语义分析能力的认知推理,在电信运营商业务推荐、存量运营、服务感知分析领域体现出“可解释”的优势。目前,认知图谱已收纳天津移动900万用户的73个大数据标签、32个家宽探测特征和9个无线网络特征并建立起原子网络,以“监督+自动生成”方式产生了29个原因概念和50余个基础概念,在天津移动满意度预测中提升了查准率,为预测结果提供了明确的解释理由,为运营人员提供了有力抓手。
结论
本方案利用无线、家庭宽带、资费等多源数据构建事件序列知识图谱网络,以清晰、有逻辑的事件图谱串接相关数据,并进行演化规律预测,可以有效帮助服务运营人员分析用户不满意原因。本方案打造的事理认知图谱,实现了以无线、家庭宽带、资费数据为基础的事理逻辑分析,已在天津移动的大数据分析、存量运营、服务推荐等场景取得良好效果。