Whisper是一种令人激动的新型语言模型,采用了全新的语音识别方法,即使是低质量的音频,Whisper也能产生高质量的结果,并且对各种声音和语言的适应性极强,无需进行微调。
Whisper是开源的,有一系列可用的模型尺寸,可以作为众多语音转文字应用的有效解决方案,包括翻译、智能个人助理、车辆语音控制系统、客户服务运营等等。
在这篇文章中,我们将探讨Whisper与其他语音识别模型的不同之处,并将展示如何使用在Graphcore(拟未) IPU上运行的预构建的Paperspace Gradient Notebook,来起用Whisper Tiny的Hugging Face实现。
链接:https://ipu.dev/rDk9lk
Whisper有什么聪明之处?
OpenAI的Whisper创始人们开始着手解决自动语音识别(ASR)迄今面临的几个基本挑战:
语音模型训练花费不低
许多ASR模型依赖于超高质量的标记音频/文本数据来进行监督学习。遗憾的是,这种符合“黄金标准”的训练数据是很缺乏的。以这种方式训练的模型能够在理想的条件下产生良好的语音识别结果。然而,由于它们对不同训练示例的接触有限,往往不能很好地进行概括,在处理低质量的真实世界音频时可能会遇到困难,并且通常需要额外的语音微调来为特定的用例做好准备。
显然,改进这类模型的方法是在更多的数据上训练它们,但高质量数据集