logo logo

Reconhecimento e segmentação automática de palavras compostas alemãs baseado na tecnologia de vetores de palavras

HUANG Hongrui ,  

LI Yuan ,  

摘要

A tecnologia de vetores de palavras pode mapear o vocabulário para vetores e comparar a correlação entre suas distribuições semânticas contextuais, fornecendo uma base matemática para a modelagem computacional da análise da formação de palavras. As características semânticas e morfológicas das palavras compostas em alemão são dominadas pelo componente central, o que cria condições favoráveis para seu processamento automático. Diante do problema de que os métodos tradicionais de avaliação de dificuldade baseados na frequência tendem a superestimar a dificuldade de compreensão das palavras compostas, este artigo propõe um método automático para reconhecimento e segmentação de palavras compostas alemãs que integra similaridade semântica e regras morfológicas. O método baseia-se no modelo de_core_news_lg da plataforma spaCy, calcula a similaridade entre vetores das palavras compostas e seus componentes candidatos, determina um limiar com base no ruído de fundo e introduz regras morfológicas como a determinação do sufixo nominal e a exclusão de componentes derivados como restrições. Os resultados da avaliação mostram que o método apresenta bom desempenho em precisão e sensibilidade. Este estudo oferece uma nova ferramenta para a análise da formação de palavras na linguística computacional do alemão e uma referência técnica para a identificação da dificuldade de textos, o desenvolvimento digital de materiais didáticos e o estudo do processamento de palavras derivadas e flexionadas. No futuro, a introdução de regras de julgamento especiais, um mecanismo de verificação manual e a otimização do modelo para cobrir mais palavras de baixa frequência aumentarão ainda mais a precisão e o alcance da aplicação do método.

关键词

vetor;processamento de linguagem natural;palavras compostas alemãs;reconhecimento e segmentação automática

阅读全文