Журнал СФУ. Техника и технологии / О применимости рекуррентных нейронных сетей к задаче статистического моделирования русского языка

Полный текст (.pdf)
Номер
Журнал СФУ. Техника и технологии. 2016 9 (8)
Авторы
Кудинов, М.С.
Контактная информация
Кудинов, М.С.: ООО «Исследовательский центр Samsung» Россия, 127018, Москва, ул. Двинцев, 12, стр. 1
Ключевые слова
языковые модели; рекуррентная нейронная сеть; флективные языки; распознавание речи; language models; recurrent neural network; inflected languages; speech recognition
Аннотация

В статье представлены данные экспериментов по использованию рекуррентных нейронных сетей для языкового моделирования русского языка. Ранее уже была продемонстрирована невысокая эффективность стандартной архитектуры рекуррентной нейронной сети для моделирования русского языка. В данной статье рассматривается модель, осуществляющая предсказание леммы и морфологии последующего слова отдельно. Показано, что модель, использующая только леммы, превосходит n-граммную модель Кнессера-Нея как по перплексии, так и в простом эксперименте по ранжированию гипотез в распознавании речи. В то же время попытки внедрения морфологии в обучение нейронной сети не приводят к улучшениям

Страницы
1291-1301
Статья в архиве электронных ресурсов СФУ
https://elib.sfu-kras.ru/handle/2311/30351

Лицензия Creative Commons Эта работа лицензируется по лицензии Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0).