Google: новая библиотека для языковых моделей ИИ

Google: новая библиотека для языковых моделей ИИ

Компания Google представила новую библиотеку для предварительной подготовки языковых моделей TensorFlow.Text. Со дня презентации приложение машинного обучения с открытым исходным кодом, созданное командой Google Brain, загрузило более 41 миллиона пользователей.

Библиотеку TensorFlow.Text, которая включает возможность разделения текста и анализа слов, цифр и знаков препинания, можно установить с помощью PIP.

Приложение способно распознавать пробелы, сценарии Unicode и предопределенные последовательности фрагментов слов, такие как суффиксы или префиксы. Google называет их wordpieces и применяет в методах предварительной подготовки при создании языковых моделей.

Библиотека также содержит опции для нормализации, n-граммы и функции ограничения последовательности для маркировки.

В токенайзерах TensorFlow.Text используется новый вид тензора RaggedTensors, созданный специально для распознавания текста. Впервые поддержка тензора и Unicode была анонсирована инженером Google Марком Омерником (Mark Omernick) в начале этого года на саммите разработчиков TensorFlow.

По словам разработчиков, TensorFlow.Text – новейшая специализированная библиотека Google, предназначена для того, чтобы помочь пользователям решать конкретные задачи с помощью машинного обучения. В прошлом месяце компания выпустила новый инструмент TensorFlow Graphics для более глубокого изучения графики и 3D-моделей.
Также в библиотеке инструментов Google для искусственного интеллекта (ИИ) появилось две новые модели сегментации изображений. Алгоритмы отличаются рекордной производительностью и оптимизированы для облачных тензорных процессоров (TPU).

Оставьте свой комментарий