什么是语音转文字？
语音转文本是将口述内容转换为文本形式的过程。它有时也被称为“音频转文本”，通常以SaaS（软件即服务）的形式提供。
该系统通常结合了人工智能驱动的语音识别技术（也称为自动语音识别）与语音转录流程。计算机程序以声波振动的形式捕捉声音，并利用语言算法将语音输入转换为数字字符、单词和短语。
机器学习、深度学习以及诸如 OpenAI 的 GPT（生成式预训练变换器）等大语言模型，使得语音转文字软件变得更加先进且高效；这是因为它们能够从海量的音频和文本样本中提取口语的模式。
生成式人工智能可以与语音转文字软件相结合，创建能够通过电话协助客户或与支持语音指令的应用程序进行交互的助手；此外，生成式人工智能还能将文本转换回语音——即“文本转语音”或“AI配音”——并呈现出逼真自然的音质。
语音转文字是如何工作的？
语音转文字软件包含多个组件，其中包括：
- 语音输入：麦克风捕捉所说的词语。
- 特征提取：计算机在此过程中识别语音的音高及独特的语音模式。
- 解码器（Decoder）：在该组件中，算法通过语言模型将语音特征与字符及单词进行匹配。
- 单词输出：即对最终文本进行格式化，使用正确的标点符号和大写字母，使其适合人类阅读。
总体而言，语音转文字的过程包含以下步骤：
- 音频预处理：在获取音频录音后，对其进行预处理以提高质量和识别准确度。这包括去除背景噪音和无关频率、稳定音量、将音频片段进行分割以便于处理，以及将音频文件转换为标准格式。
- 语音分析与特征提取：语音信号通常以语谱图（spectrograms）的形式呈现，这是频率随时间变化的视觉表示。录音中的相关片段被分割成一系列音素（phonemes），即区分不同单词的最小语音单位；音素主要分为元音和辅音。语言模型和解码单元能够将音素匹配为单词，进而组成句子。基于深度学习的语音模型则能够根据上下文，预测接下来最可能出现的字母和单词。
实现语音识别主要有三种方式：同步、异步和流式处理。
- 同步识别：指将语音即时转换为文本的过程。该技术仅能处理时长不足一分钟的音频文件，常用于电视广播的实时字幕生成。
- 流式识别：在此过程中，流式音频被实时处理，因此当用户仍在说话时，可能会显示片段化的文本。
- 异步识别：在此过程中，提交预先录制的大型音频文件进行转录。这些文件可能会被放入处理队列，并在稍后交付结果。
Google、Microsoft、Amazon 和 IBM® 等公司通过云端提供语音转文本软件（以 API 形式），从而支持将其与其他应用程序、工具及设备结合使用。
Apple iPhone 手机配备了“听写”（Dictation）功能，该功能集成了 iOS 系统内置的语音转文字技术；Android 用户则可以下载 Gboard 等应用程序来实现语音转文字功能，部分 Pixel 设备还允许用户通过 Google 助理（Assistant）进行语音输入。语音转文字软件的选择多种多样，既包括开源软件，也包括专有软件。
语音转文字系统的发展
在语音识别技术发展的早期阶段，相关软件依赖于有限的词汇库。而近年来，从汽车到医疗保健等各行各业对该技术的应用，有力地推动了数据科学、深度学习及人工智能领域的进步。
20世纪50年代，贝尔实验室开发了首个名为AUDREY的语音识别系统，能够识别口述的数字。随后，IBM于1962年开发了Shoebox系统，该系统能够识别数字以及16个不同的单词。
在此期间，计算机科学家开发了音素识别模型以及诸如隐马尔可夫模型（Hidden Markov Models）之类的统计模型，这些模型至今仍是语音识别领域常用的算法。大约在20世纪70年代，卡内基梅隆大学开发的一款名为HARPY的程序，使计算机能够识别1000个单词。
20世纪80年代，IBM的Tangora语音转录系统利用统计方法识别多达20,000个单词。该系统应用于首款面向办公人员的语音激活听写应用，并为现代语音转文字软件奠定了基础。此类软件不断得到开发与改进，最终在21世纪的第一个十年实现了商业化。
随着机器学习和深度学习算法的出现，它们取代了传统的统计模型，提高了识别准确率，并拓展了应用范围。深度学习能够更有效地捕捉语言的细微差别和非正式表达。大语言模型（LLM）可用于提供上下文信息，从而在词汇选择较为模糊或因方言导致发音差异的情况下提供辅助。随着虚拟助手和智能音箱的兴起，将语音转文本技术与大语言模型、自然语言处理（NLP）及其他云服务进行整合已成为可能。
诸如 Transformer 之类的端到端深度学习模型对于大语言模型至关重要；这些模型在包含语音与文本配对的大规模无标注数据集上进行训练，以学习如何将语音信号与文本转录内容建立关联。
在训练过程中，模型会隐式地学习单词的形态特征以及哪些单词倾向于按特定顺序组合出现；此外，模型还能推断出语法规则和语言结构，并将其自行应用。深度学习将传统语音转文字技术中一些最为繁琐的步骤进行了整合。
语音转文字的应用
语音转文字软件有许多应用场景：
- 呼叫中心洞察与坐席辅助
- 实时语音转写与翻译服务
- 语音识别
- 语音输入与听写应用
- 内容监控
- 电影、电视剧及视频字幕翻译
- 社交媒体宣传与推广视频的音频转文字
呼叫中心洞察与坐席辅助
语音转文字软件能够自动转录客户互动内容、按需转接通话、从客户对话中提取洞察，并进行情感分析。
例如：对于客户服务呼叫中心，人工智能语音助手可以利用语音转文字技术处理客户提出的简单且高频的问题，并将更复杂的请求转交给人工客服。
实时语音转写与翻译服务
该技术能够转录在线会议或研讨会的内容，并为视频生成字幕（subtitles）、说明文字（captions）或配音。它还可以与翻译软件结合使用，提供多语言版本的转录文档。此外，专用应用程序还能满足医疗保健、法律和教育领域的语音转录需求。
例如：亚马逊提供一项医疗转录服务，利用语音转文字技术将医生与患者的对话转录为临床记录，并转化远程医疗咨询内容。
例如：Makina 提供专门的转录服务，用于为各类视频（无论是电视剧、电影、纪录片还是宣传片）制作字幕。
语音识别
借助自然语言处理技术，语音识别系统能够从转录文本中提取含义，识别并执行可操作的指令。这使得用户能够通过聊天机器人或数字助理（如 Alexa、Cortana、Google Assistant 和 Siri）发出语音指令，从而实现拨打电话、进行网络搜索，或控制智能家居中的照明、温控器及其他联网设备等操作。
例如： Amazon Alexa 现已利用语音转文字和文字转语音技术来控制灯光、调节特定房间的温度，或根据您最近购买的食品杂货推荐食谱。
语音输入与听写应用
残障人士可以使用这些应用程序与计算机及智能手机进行交互，而无需进行物理输入；他们可以通过口述的方式来撰写短信、笔记、电子邮件等内容。
例如：患有阅读障碍或近期手臂受伤的学生，可以在运行 Microsoft 系统的计算机上通过语音记录笔记；这一功能由 Azure Speech 服务提供支持。
内容监控
人工智能可以检查视频和音频内容的文本以查找不当内容，并充当审核员，标记可疑素材以供人工审查。
例如： Vatis Tech 提供了一款利用语音转文字技术的工具，用于营销领域的社交媒体监测，从而帮助品牌识别自身何时成为热门话题，并洞察客户互动背后的意图。
阿拉伯语语音转写面临的挑战
- 国家与地区间的方言多样性
- 阿拉伯语方言在发音、词汇，甚至句子结构方面都存在显著差异。
- 例如：单词“سيارة”（汽车）在埃及方言中通常读作“عربية”，在摩洛哥方言中读作“طوموبيل”，而在标准阿拉伯语中则读作“سيارة”。
- 这种差异会干扰语音识别系统，因为这些系统通常仅针对单一方言或标准语进行训练。
- 即使在同一个国家内部，南北方方言之间也可能存在明显的差异。
- 发音与文本中缺乏标音符号
- 阿拉伯语依靠变音符号来区分含义，但在日常口语中通常不将其读出，在书面文本中也极少标注。
- 例如：单词“عَلِمَ”（意为“知道”）、“عُلِمَ”（意为“被知晓”）和“عَلَّمَ”（意为“教导”），如果元音符号（哈拉卡特）发音不清晰，它们在听觉上会非常相似。
- 这迫使系统或人工转录员依赖上下文，而这可能会导致理解错误。
- 同音词（发音相似的词）
- 有些阿拉伯语单词尽管含义不同，但在发音上却非常相似。
- 例如：“عَمّ”（叔叔/伯伯）、“عام”（年份）和“عمّ”（蔓延/普及），在语速较快或语音不清晰的情况下，这几个词的发音可能几乎完全相同。
- 如果未被编程以根据上下文分析含义，自动化程序可能会写出错误的单词。
- 多位发言者与声音重叠
- 在会议或对话中，可能会出现多人同时发言，或者有人打断他人说话的情况。
- 这使得区分不同声音变得困难，尤其是当缺乏识别“谁在说话”的智能系统时。
- 即使是人工转录员，在跟上语速极快的对话和重叠的语音片段时也会感到困难。
- 语速过快与发音不清
- 许多阿拉伯语使用者说话语速很快，往往会缩减词汇或吞掉某些字母。
- 例如：在埃及方言中，短语“ma taqul lish”（别告诉我）在语速较快时可能会变成“mataqlish”。
- 音量较低或伴有背景噪音的录音，会增加辨别词语的难度。
- 语码转换 (Code-switching)
- 许多阿拉伯语使用者在日常交谈中会融入外来词（英语或法语），尤其是在马格里布地区或海湾国家。
- 例如：“帮我在线订票”或“我需要一个新的汽车启动器”。
- 这会给转录系统带来困扰，因为它们需要同时识别多种语言。
- 录音质量差
- 在嘈杂环境中、使用性能不佳的麦克风或通过不稳定的互联网连接进行录音，会降低语音的清晰度。
- 环境噪音（如儿童声、汽车声、笑声、回声）可能会导致转录过程中出现大量错误。
- 即使是最强大的人工智能系统，如果声音不清晰，也可能会出错。
Makna在应对阿拉伯语语音转写挑战方面的贡献
随着人工智能和自然语言处理技术的发展，针对阿拉伯语语音转写的高级解决方案应运而生，其中包括“Makina”（مكنة） 。这是一个旨在为各种阿拉伯语方言内容提供精准、快速语音转写服务的平台或技术。
其贡献体现在多个方面：
- 了解阿拉伯语方言
- “Makina” 依托于针对多种方言训练而成的语音模型，使其能够理解从海湾方言、马格里布方言，到埃及方言和黎凡特方言等各种方言中的词汇与发音方式。
- 这项功能减少了因不同地区发音差异而产生的错误。
- 流畅地融合标准语与方言
- “Makina” 能够处理在同一文本中混合使用标准语和方言的对话，这种情况在采访和媒体访谈中十分常见。
- 这减少了同一录音中存在多种语言风格的问题。
- 识别外来词（语码转换）
- “Makina” 能够识别阿拉伯语对话中夹杂的外语单词（无论是英语、法语还是其他语言），并准确地将其书写出来。
- 这在频繁使用外语术语的工作或教育环境中非常有用。
- 与编辑工具集成
- “Makina” 可与文本编辑软件或内容管理系统连接，从而便于将录音转换为适合发布或归档的书面内容。
既然你已经精通了这个精彩世界的基础知识，现在正是付诸实践的时候。
准备好将录音转换为点缀视频的文字了吗？
今天就开启您的音频内容之旅。
免费体验“ Makina ”平台，不到一分钟即可将音频转换为文本！
来源：IBM.COM