logo logo

Автоматическое распознавание и разбиение немецких сложных слов на основе технологии представления слов векторов

HUANG Hongrui ,  

LI Yuan ,  

摘要

Технология представления слов в виде векторов позволяет отображать лексемы в векторы и сравнивать связь между их контекстными семантическими распределениями, обеспечивая математическую основу для вычислительного моделирования словообразовательного анализа. Семантические и морфологические особенности немецких сложных слов доминируют центральным компонентом, что создает благоприятные условия для их автоматической обработки. В связи с тем, что традиционные методы оценки сложности, основанные на частотности слов, склонны переоценивать сложность понимания сложных слов, в данной работе предложен метод автоматического распознавания и разбиения немецких сложных слов, объединяющий семантическое сходство и морфологические правила. Метод основан на модели de_core_news_lg платформы spaCy, вычисляет сходство векторов между сложным словом и его кандидатами на составные части, сочетает это с определением порога на основе фонового шума, а также вводит морфологические ограничения, такие как определение суффикса как существительного и исключение производных компонентов. Оценка показывает, что метод демонстрирует хорошие показатели точности и чувствительности. Исследование предоставляет новый инструмент для анализирования словообразования в немецкой вычислительной лингвистике и служит технической опорой для маркировки сложности текста, цифровой разработки учебных материалов, а также изучения обработки производных и инфлектированных слов. В будущем планируется повысить точность и применимость метода путем внедрения специальных правил оценки, механизма ручной проверки и оптимизации модели для охвата большего количества редко встречающихся слов.

关键词

вектор;обработка естественного языка;немецкие сложные слова;автоматическое распознавание и разбиение

阅读全文