AI产品经理需要了解的语音交互评价指标.pdf

AI产品经理需要了解的语音交互评价指标本文主要从5大方面具体介绍了现在行业内对语音交互系统的常见评价指标，分别是语音识别、自然语言处理、语音合成、对话系统和整体用户数据指标。enjoy~最近，在饭团“AI产品经理大本营”里，有团员提问：如何制定针对自然语言语音交互系统的评价体系？有没有通用的标准？例如在车载环境中，站在用户角度，从客观，主观角度的评价指标？上周，我在专属微信群内抛出了这个问题，当晚，胡含、我偏笑、艳龙等朋友就分享了不少干货心得；最近几天，在飞艳同学的协助整理下，我又补充了一些信息，最终形成这篇文章，以飨大家。一、语音识别ASR语音识别（AutomaticSpeechRecognition），一般简称ASR，是将声音转化为文字的过程，相当于人类的耳朵。1、识别率看纯引擎的识别率，以及不同信噪比状态下的识别率（信噪比模拟不同车速、车窗、空调状态等），还有在线/离线识别的区别。实际工作中，一般识别率的直接指标是“WER（词错误率，WordErrorRate）”定义：为了使识别出来的词序列和标准的词序列之间保持一致，需要进行替换、删除或者插入某些词，这些插入、替换或删除的词的总个数，除以标准的词序列中词的总个数的百分比，即为WER。公式为：Substitution——替换Deletion——删除Insertion——插入N——单词数目3点说明：WER可以分男女、快慢、口音、数字/英文/中文等情况，分别来看。因为有插入词，所以理论上WER有可能大于100%，但实际中、特别是大样本量的时候，是不可能的，否则就太差了，不可能被商用。站在纯产品体验角度，很多人会以为识别率应该等于“句子识别正确的个数/总的句子个数”，即“识别（正确）率等于96%”这种，实际工作中，这个应该指向“SER（句错误率，SentenceErrorRate）”，即“句子识别错误的个数/总的句子个数”。不过据说在实际工作中，一般句错误率是字错误率的2~3倍，所以可能就不怎么看了。2、语音唤醒相关的指标先需要介绍下语音唤醒（VoiceTrigger，VT）的相关信息。（1）语音唤醒的需求背景近场识别时，比如使用语音输入法时，用户可以按住手机上siri的语音按钮，直接说话（结束之后松开）；近场情况下信噪比（SignaltoNoiseRatio,SNR）比较高，信号清晰，简单算法也能做到有效可靠。但是在远场识别时，比如在智能音箱场景，用户不能用手接触设备，需要进行语音唤醒，相当于叫这个AI（机器人）的名字，引起ta的注意，比如苹果的“HeySiri”，Google的“OKGoogle”，亚马逊Echo的“Alexa”等。（2）语音唤醒的含义简单来说是“喊名字，引起听者（AI）的注意”。如果语音唤醒判断结果是正确的唤醒（激活）词，那后续的语音就应该被识别；否则，不进行识别。（3）语音唤醒的相关指标a.唤醒率。叫AI的时候，ta成功被唤醒的比率。b.误唤醒率。没叫AI的时候，ta自己跳出来讲话的比率。如果误唤醒比较多，特别比如半夜时，智能音箱突然开始唱歌或讲故事，会特别吓人的……c.唤醒词的音节长度。一般技术上要求，最少3个音节，比如“OKGoogle”和“Alexa”有四个音节，“HeySiri”有三个音节；国内的智能音箱，比如小雅，唤醒词是“小雅小雅”，而不能用“小雅”——如果音节太短，一般误唤醒率会比较高。d.唤醒响应时间。之前看过傅盛的文章，说世界上所有的音箱，除了Echo和他们做的小雅智能音箱能达到1.5秒，其他的都在3秒以上。e.功耗（要低）。看过报道，说iPhone4s出现Siri，但直到iPhone6s之后才允许不接电源的情况下直接喊“HeySiri”进行语音唤醒；这是因为有6s上有一颗专门进行语音激活的低功耗芯片，当然算法和硬件要进行配合，算法也要进行优化。以上a、b、d相对更重要。（4）其他涉及AEC（语音自适应回声消除，AutomaticEchoCancellation）的，还要考察WER相对改善情况。二、自然语言处理NLP自然语言处理（NaturalLanguageProcessing），一般简称NLP，通俗理解就是“让计算机能够理解和生成人类语言”。1、准确率、召回率附上之前文章《AI产品经理需要了解的数据标注工作入门》中，分享过的一段解释：准确率：识别为正确的样本数/识别出来的样本数召回率：识别为正确的样本数/所有样本中正确的数举个栗子...