Разработчики Института умных систем и искусственного интеллекта (ISSAI) при Назарбаев Университете представили в Астане новые AI-решения для повседневного использования с учетом казахского языка и местного контекста. Презентация прошла на мероприятии ISSAI Connect.
Среди ключевых разработок — платформа ISSAI Voice Studio, мобильное приложение MangiSoz для распознавания и перевода речи, а также Joldas AI для незрячих и слабовидящих пользователей.
Автодубляж и расшифровка речи
Одной из главных разработок стала ISSAI Voice Studio — платформа, которая объединяет автоматический дубляж, эмоциональный синтез речи, распознавание и разделение голосов нескольких собеседников.
По словам аналитика данных ISSAI Рахата Мейрамова, платформа позволяет автоматически выполнять дубляж с сохранением тембра голоса и эмоциональной окраски оригинального спикера. Также система обеспечивает естественное озвучивание текста и разделяет речь нескольких участников разговора, формируя структурированные расшифровки встреч, интервью, подкастов и конференций.
Во время демонстрации гостям показали фрагмент фильма, автоматически дублированный на казахский язык с сохранением синхронизации артикуляции, естественной интонации и эмоциональной окраски. В другом примере система в режиме реального времени разделила речь нескольких участников разговора и распределила реплики по отдельным спикерам.
Перевод и транскрипция в реальном времени
Для упрощения многоязычного общения разработчики создали мобильное приложение MangiSoz. Оно предназначено для распознавания речи, автоматической транскрипции и перевода, при этом особое внимание в проекте уделено качественной работе с казахским языком.
Приложение поддерживает распознавание речи в реальном времени и мгновенный перевод во время разговора. Пользователи также могут распознавать и переводить текст с фотографий и изображений, что может быть полезно во время путешествий, учебы или работы с документами.
Интерфейс приложения разделен на две части для отдельных собеседников, благодаря чему оба пользователя одновременно видят перевод на своем языке без необходимости передавать друг другу смартфон. Кроме того, сервис автоматически преобразует речь в текст, что делает его удобным инструментом для журналистов, исследователей и студентов.
Помощь незрячим и слабовидящим
Еще одной представленной разработкой стало мобильное приложение Joldas AI, созданное для незрячих и слабовидящих пользователей.
Приложение объединяет технологии компьютерного зрения и обработки речи и помогает ориентироваться в окружающей среде, предоставляя голосовые описания на казахском языке. С помощью камеры смартфона Joldas AI может распознавать дорожные и информационные знаки, считывать текст, определять объекты, описывать окружающее пространство и озвучивать полученную информацию естественным голосом.
Заместитель директора ISSAI по продуктам и внешним связям Амина Байкенова заявила, что все представленные технологии создавались прежде всего для практического применения. По ее словам, цель команды — разрабатывать AI-продукты, которые решают реальные задачи: помогают людям с нарушениями зрения, упрощают многоязычное общение, обеспечивают безопасную обработку документов без доступа к интернету и расширяют возможности создания качественного медиаконтента на казахском языке.
