Reconocimiento y segmentación automática de palabras compuestas alemanas basado en la tecnología de vectores de palabras
HUANG Hongrui
,
LI Yuan
,
DOI:
摘要
La tecnología de vectores de palabras puede mapear vocabulario a vectores y comparar la correlación entre sus distribuciones semánticas contextuales, proporcionando una base matemática para la modelación computacional del análisis de formación de palabras. Las características semánticas y morfológicas de las palabras compuestas alemanas están dominadas por el componente central, lo que crea condiciones favorables para su procesamiento automático. Frente al problema de que los métodos tradicionales de evaluación basados en la frecuencia tienden a sobrestimar la dificultad de comprensión de palabras compuestas, este artículo propone un método automático para el reconocimiento y segmentación de palabras compuestas alemanas que integra la similitud semántica y las reglas morfológicas. El método se basa en el modelo de spaCy de_core_news_lg, calcula la similitud entre vectores de la palabra compuesta y sus posibles componentes, determina un umbral según el ruido de fondo, e introduce reglas morfológicas como la determinación del sufijo nominal y la exclusión de componentes derivados para imponer restricciones. Los resultados de la evaluación muestran que el método presenta un buen desempeño en precisión y sensibilidad. Este estudio proporciona una nueva herramienta para el análisis de formación de palabras en la lingüística computacional alemana, y una referencia técnica para la identificación de la dificultad del texto, el desarrollo digital de materiales didácticos y el estudio del procesamiento de palabras derivadas e inflexionadas. En el futuro, la introducción de reglas de juicio especiales, un mecanismo de verificación manual y la optimización del modelo para cubrir más palabras de baja frecuencia mejorarán aún más la precisión y el alcance de la aplicación del método.
关键词
vector;procesamiento del lenguaje natural;palabras compuestas alemanas;reconocimiento y segmentación automática