![](http://www.ctiforum.com/uploadfile/2018/0409/20180409033354269.jpg)
微软5日於官方的部落格发表用AI技术协助失聪学生学习的成果Presentation Translator,透过语音辨识技术,将课堂上教授的演讲内容转为文字,来帮助失聪的学生可以同步得到最完整且准确的资讯,并透过AI技术来实现翻译,目前可超过支援60种语言,系统能够即时翻译成不同的语言,让学生选择自己较熟悉的语言来学习。
微软团队在去年开始,与美国纽约州罗彻斯特理工大学的美国国家聋人技术学院合作,为了打造出能够正确辨识课堂上学术名词的模型,研究团队收集了该学院超过10年的课堂讲座资料,包含教授在简报中的文字和注解,透过AI技术辨识每个特定领域专有名词的念法,当教授在课堂上说出专有名词,系统就能成功自动识别,并即时提供文字。
通常课堂上有听力障碍的学生时,学院会聘请一位手语翻译,将教授在课堂上所讲述的内容,转换成手语,以帮助学生理解上课的内容,但是也因为口语和手语之间的转换,让学生没办法即时跟上教授上课的内容,常常学生还在透过手语翻译了解方程式的资讯时,教授的投影片已经换到下一页,再加上有些学生其实不太熟悉手语,导致在课堂上的学习困难重重。
而微软与罗彻斯特理工大学的美国国家聋人技术学院合作,该理工学院大约有1,500名听力受损的学生,微软在简报软体Power Point中加入即时上字幕(Real-time captions)的功能,透过语音辨识的技术,将教授所说的话,包括术语、口语的话,转成有标点符号的文句,呈现在投影幕上,现在可支援超过60种翻译语言,学生也可以在自己的电脑或平板上,选择自己较熟悉的语言来学习。
学院中一名一年级的学生Joseph Adjei就表示,刚进到学校上课时,花了很多心力在手语上,当他第一次在课堂上接触到这套即时语音转文字的服务时,他认为,透过这语音转文字,可以跟听得见的同学在同一时间接收到资讯,举例来说,在生物课堂上,能够让他跟上课程,并且还能学习正确地拼写那些课堂上的专有名词。
除此之外,Joseph Adjei认为语音转文字的服务是额外辅助学习的工具,当他看不懂手语或是从手语翻译那端漏掉讯息後,还可以看语音转文字来辅助。不过,他指出,目前还是有些字会辨识错误,像是「I」和「Eye」,但是有文字可以参考总比没有好。
此外,Joseph Adjei还在智慧型手机上使用了微软的翻译App,当课堂讨论时,有时候同学讲话太快,不容易读唇语,微软翻译App则可以显示出同学讲话的内容,让他更能够参与课堂上的讨论。