Журнал СФУ. Гуманитарные науки / Опыт создания открытого корпуса текстов на литературном даргинском языке и разработки морфологического парсера для его аннотации

Полный текст (.pdf)
Номер
Журнал СФУ. Гуманитарные науки. 2024 17 (5)
Авторы
Толдова, С. Ю.; Сокур, Е. О.
Контактная информация
Толдова, С. Ю.: Национальный исследовательский университет «Высшая школа экономики» Российская Федерация, Москва; Сокур, Е. О.: Национальный исследовательский университет «Высшая школа экономики» Российская Федерация, Москва
Ключевые слова
under-resourced language; corpus development; Standard Dargwa; Nakh-Daghestanian languages; morphological parser; interlinear glossing; малоресурсные языки; корпуса текстов; литературный даргинский; нахско-дагестанские языки; предоставившим нам данные по Даргве
Аннотация

This paper is devoted to the ongoing project of creating a Standard Dargwa Сorpus (Standard Dargwa is a Nakh-Dagestanian language). A pilot version was released in 2022. The paper describes building a fully-functional version of the corpus. First, we describe the pipeline used to develop the corpus. Second, we discuss the procedure of building and enhancing the morphological parser. The parser provides morphological annotation. The layers include the morphemic structure of a word, the grammatical labels of morphemes, the translations of lexemes from the dictionary. Third, we discuss the drawbacks of the parser and ways for overcoming them. Finally, we describe the corpus usage functionality

Статья посвящена продолжающемуся проекту по созданию корпуса текстов на литературном даргинском языке (нахско-дагестанская группа языков). Пилотная версия корпуса была создана в 2022 г. В настоящей статье описывается опыт разработки полной версии корпуса. Во-первых, дан полный цикл разработки корпуса (необходимая последовательность этапов его разработки). Во-вторых, обсуждается процедура разработки и оптимизации морфологического парсера, обеспечивающего поморфемную аннотацию текстов в корпусе. Слои такой аннотации для каждой словоформы в корпусе включают: (а) слой поморфемной сегментации, (б) слой словарной формы, (в) слой грамматической поморфемной аннотации, (в) перевод лексемы на русский язык по двуязычному словарю. В‑третьих, анализируются проблемы, возникающие при применении выбранного инструмента для разработки системы морфологической аннотации (системы UniParser Т. Архангельского) к материалу даргинского языка, а также возможные пути их решения. Помимо этого, в статье описывается корпусной функционал

Страницы
905–915
EDN
QCUVBE
Статья в архиве электронных ресурсов СФУ
https://elib.sfu-kras.ru/handle/2311/152894

Лицензия Creative Commons Эта работа лицензируется по лицензии Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0).