Встречайте Meta SeamlessM4T: многоязычный переводчик

Meta только что выпустила впечатляющий новый инструмент под названием SeamlessM4T. Эта великолепная модель искусственного интеллекта может расшифровывать и переводить почти на 100 языков, и это большой шаг вперед к тому, чтобы языковые барьеры остались в прошлом.

Компания утверждает, что SeamlessM4T, многоязычный и мультимодальный машинный перевод, может преобразовывать голос в текст и текст в речь почти на 100 языках. Он определяет 100 языков ввода и преобразует их в 35 языков вывода для функций преобразования речи в речь и текста в речь.

Поскольку он распространяется под лицензией Creative Commons CC BY-NC 4.0, исследователи могут его улучшать. Информация для SeamlessAlign, части открытого набора данных перевода Meta, также была доступна вместе с SeamlessM4T. По словам Меты, в отличие от существующих больших моделей перевода, которые разделяют перевод между несколькими системами, SeamlessM4T выполняет всю работу по переводу за одну операцию, что делает его «значительным прорывом».

Если SeamlessM4T работает так, как задумано, одним из его интригующих аспектов является его предполагаемая способность обнаруживать переключение кода или переход между двумя или более языками внутри одной фразы. Например, Мета показала на видео, как модель сразу различает хинди, телугу и английский языки.

Он может похвастаться возможностью мгновенно распознавать, когда говорящий пересекает языки, как показано в увлекательном видео, где он без особых усилий различает хинди, телугу и английский язык. Эта возможность может произвести революцию в межкультурном общении, создав мир, в котором язык больше не является барьером.

«В соответствии с нашим подходом к открытой науке, мы публично выпускаем SeamlessM4T под исследовательской лицензией, чтобы позволить исследователям и разработчикам использовать эту работу. Мы также публикуем метаданные SeamlessAlign, крупнейшего на сегодняшний день открытого набора данных мультимодального перевода. всего 270 000 часов добытой речи и выравнивания текста», — говорит Мета.

Что такое Лама2: Объяснение ИИ Меты

Чтобы создавать более легкие модели и управлять большим количеством информации, Meta заявила, что модифицировала свой набор инструментов для моделирования последовательностей Fairseq, чтобы генерировать SeamlessM4T.

По словам Meta, она создала систему, способную распознавать вредоносные или деликатные фразы при создании SeamlessM4T. Согласно определению Меты, токсичными словами являются те слова, «перевод которых может спровоцировать ненависть, насилие, ненормативную лексику или оскорбления». Цель состоит в том, чтобы иметь возможность идентифицировать случаи, когда токсичность, привносимая выходным переводом, ранее не существовала в исходном контенте.