Преобразование речи в текст (Speech-to-Text)

Что такое преобразование речи в текст?

Преобразование речи в текст — это процесс перевода произносимых слов в текстовый формат. Этот процесс также называют преобразованием аудио в текст, и чаще всего он предоставляется в виде облачного сервиса (SaaS).

Как правило, эта система сочетает в себе технологию распознавания речи на базе искусственного интеллекта (также известную как автоматическое распознавание речи) и процесс транскрибирования. Компьютерная программа улавливает звук в виде колебаний звуковых волн и использует лингвистические алгоритмы для преобразования входящего аудиосигнала в цифровые символы, слова и фразы.

Машинное обучение, глубокое обучение и большие языковые модели (такие как GPT — генеративный предварительно обученный трансформер от OpenAI) сделали программы преобразования речи в текст более совершенными и эффективными, поскольку они способны выявлять закономерности устной речи на основе огромных массивов аудио- и текстовых образцов.

Генеративный искусственный интеллект можно интегрировать с системами преобразования речи в текст для создания помощников, способных взаимодействовать с клиентами по телефону или работать с приложениями, поддерживающими голосовые команды; кроме того, генеративный ИИ способен преобразовывать текст обратно в речь (технология Text-to- Speech) — то есть создавать реалистичное и естественное голосовое сопровождение.

Как работает преобразование речи в текст?

Программы преобразования речи в текст содержат несколько компонентов, включая:

1. Ввод речи: микрофон улавливает произносимые слова.
2. Извлечение признаков: процесс , в ходе которого компьютер определяет высоту тона и характерные речевые закономерности.
3. Декодер (Decoder): компонент , в котором алгоритм сопоставляет речевые признаки с символами и словами с помощью языковой модели.
4. Вывод слов: этап, на котором конечный текст оформляется с использованием правильной пунктуации и заглавных букв, чтобы он был пригоден для чтения человеком.

В целом процесс преобразования речи в текст состоит из следующих этапов:

1. Предварительная обработка аудио: после получения аудиозаписей они проходят предварительную обработку для повышения качества и точности распознавания. Этот процесс включает устранение фонового шума и нерелевантных частот, нормализацию уровня громкости, сегментацию записи для облегчения обработки, а также преобразование аудиофайла в стандартный формат.
2. Анализ звука и извлечение признаков: звуковые сигналы часто представляются в виде спектрограмм — визуальных отображений частотных характеристик во времени. Значимые фрагменты аудиозаписей разбиваются на последовательности фонем — мельчайших речевых единиц, позволяющих различать слова. К основным категориям фонем относятся гласные и согласные звуки. Языковые модели и декодеры способны сопоставлять фонемы со словами, а затем и с предложениями. Акустические модели, основанные на методах глубокого обучения, могут прогнозировать, какие буквы и слова с наибольшей вероятностью появятся далее, исходя из контекста.

Существуют три основных способа распознавания речи: синхронный, асинхронный и потоковый.

1. Синхронное распознавание: происходит при мгновенном преобразовании речи в текст. Система способна обрабатывать только аудиофайлы длительностью менее одной минуты. Этот метод используется для создания текстовой трансляции в реальном времени (субтитров) во время телеэфира.
2. Потоковое распознавание: в этом режиме аудиопоток обрабатывается в реальном времени, поэтому фрагменты текста могут появляться еще в процессе речи пользователя.
3. Асинхронное распознавание: предполагает отправку крупных предварительно записанных аудиофайлов для транскрибации; они могут быть помещены в очередь на обработку и выданы позднее.

Такие компании, как Google, Microsoft, Amazon и IBM®, предлагают решения для преобразования речи в текст в виде облачных API, что позволяет использовать их совместно с другими приложениями, инструментами и устройствами.

Смартфоны Apple iPhone оснащены функцией диктовки, использующей встроенную в iOS технологию преобразования речи в текст; пользователи Android могут загружать такие приложения, как Gboard, для выполнения этой задачи, а некоторые устройства Pixel позволяют вводить текст голосом с помощью Google Ассистента. Существует множество вариантов программного обеспечения для преобразования речи в текст — как с открытым исходным кодом, так и проприетарных решений.

Развитие систем преобразования речи в текст

На ранних этапах развития системы распознавания речи опирались на ограниченный словарный запас. Однако их недавнее внедрение в различных отраслях — от автомобилестроения до здравоохранения — способствовало прогрессу в области науки о данных, глубокого обучения и искусственного интеллекта.

В 1950-х годах компания Bell Labs разработала первую систему распознавания речи под названием AUDREY, способную распознавать произносимые цифры. Позднее, в 1962 году, IBM создала систему Shoebox, которая могла распознавать цифры и 16 различных слов.

В течение этих десятилетий специалисты в области компьютерных наук разработали модели распознавания фонем и статистические модели, такие как скрытые марковские модели (Hidden Markov Models), которые до сих пор остаются популярными алгоритмами распознавания речи. Примерно в 1970-х годах программа под названием HARPY, созданная в Университете Карнеги-Меллона, позволила компьютерам распознавать 1000 слов.

В 1980-х годах система транскрипции речи Tangora от IBM использовала статистические методы для распознавания до 20 000 слов. Она применялась в первой системе голосовой диктовки для офисных работников и заложила основу для современных программ преобразования речи в текст. Разработка и совершенствование программного обеспечения этого типа продолжались вплоть до его коммерческого выпуска в первом десятилетии XXI века.

С появлением алгоритмов машинного и глубокого обучения они пришли на смену статистическим моделям, повысив точность распознавания и расширив сферу применения технологий. Методы глубокого обучения позволяют лучше улавливать тонкие нюансы и неформальные выражения. Использование больших языковых моделей (LLM) помогает учитывать контекст, что особенно важно при неоднозначном выборе слов или наличии различий в произношении, обусловленных диалектами. Появление виртуальных помощников и умных колонок сделало возможной интеграцию систем преобразования речи в текст с большими языковыми моделями, технологиями обработки естественного языка (NLP) и другими облачными сервисами.

Модели глубокого обучения сквозного типа (end-to-end), такие как трансформеры (Transformers), играют ключевую роль в создании больших языковых моделей; они обучаются на обширных неразмеченных наборах данных, состоящих из пар «аудио — текст», чтобы научиться сопоставлять аудиосигналы с их текстовыми расшифровками.

В процессе обучения модель неявно усваивает, как выглядят слова и какие из них с наибольшей вероятностью встречаются в последовательности вместе; она также способна самостоятельно выводить грамматические правила и структуру языка. Глубокое обучение объединяет некоторые из наиболее трудоемких этапов, характерных для традиционных технологий преобразования речи в текст.

Варианты использования преобразования речи в текст

Существует множество вариантов использования программ для преобразования речи в текст:

1. Аналитика для контакт-центров и помощь операторам
2. Услуги транскрибации и перевода в режиме реального времени
3. Распознавание голоса
4. Приложения для голосового ввода и диктовки
5. Мониторинг контента
6. Перевод фильмов, сериалов и видеороликов
7. Транскрибация рекламных и промо-видео для социальных сетей

Аналитика для контакт-центров и помощь операторам

Программы преобразования речи в текст могут автоматически расшифровывать взаимодействия с клиентами, перенаправлять звонки по мере необходимости, извлекать ценную информацию из бесед и проводить анализ тональности.

Пример: в контакт-центрах службы поддержки голосовые помощники на базе искусственного интеллекта могут использовать технологию преобразования речи в текст для обработки простых и часто задаваемых вопросов клиентов, а также перенаправлять более сложные запросы операторам-людям.

Услуги транскрибации и перевода в режиме реального времени

Система способна расшифровывать записи онлайн-совещаний или вебинаров, а также создавать субтитры или титры для видеоматериалов. Ее также можно использовать в сочетании с программами перевода для получения расшифровок на различных языках. Специализированные приложения позволяют выполнять расшифровку аудиозаписей для сфер здравоохранения, юриспруденции и образования.

Пример: Amazon предлагает услугу медицинской транскрипции, использующую технологию преобразования речи в текст для фиксации бесед врачей и пациентов в виде клинических записей, а также для расшифровки дистанционных медицинских консультаций.

Пример: Makina предлагает услугу транскрибации, специально адаптированную для создания субтитров к видеоматериалам различных типов — будь то сериалы, фильмы, документальные или рекламные ролики.

Распознавание голоса

Благодаря технологиям обработки естественного языка системы распознавания речи могут извлекать смысл из преобразованного в текст аудиосигнала, выделять конкретные команды и выполнять их. Это позволяет пользователям отдавать голосовые команды — например, для совершения телефонных звонков, поиска информации в интернете или управления освещением, термостатами и другими подключенными устройствами в системе «умного дома» — с помощью чат-ботов или цифровых помощников, таких как Alexa, Cortana, Google Assistant и Siri.

Пример: Amazon Alexa теперь использует технологии преобразования речи в текст и текста в речь, чтобы включать свет, регулировать температуру в конкретной комнате или предлагать рецепты на основе ваших недавних покупок продуктов.

Приложения для голосового ввода и диктовки

Люди с ограниченными возможностями могут использовать эти приложения для взаимодействия с компьютерами и смартфонами, не прибегая к физическому набору текста. Вместо этого они могут диктовать текстовые сообщения, заметки, электронные письма и многое другое.

Пример: учащиеся с дислексией или недавними травмами рук могут делать заметки с помощью голоса на компьютере под управлением Microsoft — эта возможность обеспечивается сервисами Azure Speech.

Мониторинг контента

Искусственный интеллект может анализировать текстовое содержание видео- и аудиозаписей для выявления неподобающего контента и выступать в роли модератора, помечая сомнительные материалы для проверки человеком.

Пример: компания Vatis Tech предлагает инструмент, использующий технологию преобразования речи в текст для мониторинга социальных сетей в маркетинговых целях; это помогает брендам определять моменты, когда они становятся популярными, а также понимать намерения, стоящие за взаимодействиями клиентов.

Проблемы транскрибирования арабской речи

1. Диалектное разнообразие между странами и регионами
2. Арабские диалекты существенно различаются произношением, лексикой и даже построением предложений.
3. Например: слово «سيارة» (саяра) в египетском диалекте чаще всего произносится как «арабийя», в марокканском — как «тумобиль», тогда как в литературном языке оно звучит как «саяра».
4. Это различие сбивает с толку системы распознавания речи, которые зачастую обучаются на одном диалекте или только на литературном языке.
5. Даже в пределах одного государства могут существовать заметные различия между северными и южными диалектами.
6. Отсутствие огласовок в произношении и текстах
7. Арабский язык опирается на огласовки для различения смысла, однако в повседневной речи они зачастую не произносятся, а в письменных текстах — редко проставляются.
8. Пример: слова «‘алима» (знал), «‘улима» (стало известно) и «‘алляма» (обучал) — все они звучат похоже, если огласовки не произносятся четко.
9. Это вынуждает систему или специалиста по расшифровке полагаться на контекст, что может привести к ошибкам в понимании.
10. Фонетическое сходство слов (омофоны)
11. Некоторые арабские слова очень похожи по произношению, несмотря на различие в значении.
12. Пример: «‘амм» (брат отца), «‘аам» (год) и «‘амма» (распространяться) — все они могут звучать практически одинаково при быстрой речи или плохой слышимости.
13. Автоматические программы могут написать неверное слово, если они не запрограммированы на анализ смысла исходя из контекста.
14. Множество говорящих и наложение голосов
15. Во время совещаний или бесед может случиться так, что несколько человек говорят одновременно или перебивают друг друга.
16. Это затрудняет различение голосов, особенно при отсутствии интеллектуальной системы для определения того, кто именно говорит.
17. Даже человеку, занимающемуся расшифровкой, трудно уследить за быстрой речью и накладывающимися друг на друга репликами.
18. Быстрый темп речи и неразборчивость произношения
19. Многие арабы говорят очень быстро, сокращая слова или «проглатывая» некоторые буквы.
20. Пример: в египетском разговорном языке фраза «ма такуль-лиш» (не говори мне) при быстрой речи может превратиться в «мат’алишь».
21. Записи с низкой громкостью или фоновым шумом затрудняют различение слов.
22. Переключение кодов (Code-switching)
23. Многие арабы включают в свою повседневную речь иностранные слова (английские или французские), особенно в странах Магриба или Персидского залива.
24. Пример: «Забронируй мне билет онлайн» или «Мне нужен новый стартер для машины».
25. Это сбивает с толку системы транскрибирования, поскольку им приходится распознавать более одного языка одновременно.
26. Низкое качество записей
27. Запись в шумной обстановке, использование микрофона низкого качества или нестабильное интернет-соединение снижают разборчивость речи.
28. Посторонние звуки (дети, автомобили, смех, эхо) могут привести к многочисленным ошибкам при расшифровке.
29. Даже самые мощные системы искусственного интеллекта могут ошибаться, если звук нечистый.

Вклад Makna в решение проблем транскрибации арабской речи

С развитием искусственного интеллекта и технологий обработки естественного языка появились передовые решения для транскрибации арабской речи; одним из них является «Макна» (Makna) — платформа (или технология), призванная обеспечить точную и быструю транскрибацию арабоязычного контента с учетом различных диалектов.

Ее вклад заключается в нескольких аспектах:

1. Знакомство с арабскими диалектами
2. Система «Makina» опирается на речевые модели, обученные на широком спектре диалектов, что позволяет ей распознавать разнообразную лексику и особенности произношения — от диалектов стран Персидского залива и Магриба до египетского и левантийского диалектов.
3. Эта функция снижает количество ошибок, возникающих из-за различий в произношении в разных регионах.
4. Плавное сочетание литературного языка и разговорной речи
5. Система «Makina» способна обрабатывать беседы, в которых литературный язык сочетается с разговорным в рамках одного текста, — явление, часто встречающееся в интервью и медийных дискуссиях.
6. Это снижает проблему разнообразия языковых стилей в пределах одной записи.
7. Распознавание заимствованных слов (переключение кодов)
8. Система «Makina» способна распознавать иностранные слова, включенные в арабскую речь, и точно их записывать — будь то английские, французские или иные слова.
9. Это полезно в рабочей или учебной среде, где часто используются иностранные термины.
10. Интеграция с инструментами редактирования
11. Систему «Makina» можно интегрировать с текстовыми редакторами или системами управления контентом, что упрощает преобразование записей в письменные материалы, готовые к публикации или архивации.

Теперь, когда вы стали экспертом в основах этого захватывающего мира, пришло время перейти к практике.

Готовы ли вы превратить свои записи в тексты, которые украсят ваши видео?

Начните свое путешествие в мир аудиоконтента уже сегодня.

Попробуйте платформу « Makina » бесплатно и преобразуйте аудиозапись в текст менее чем за минуту!

Начните бесплатную пробную версию прямо сейчас

Источник: IBM.COM