Tecnología Electrónica

Tareas NLP de Texto a Texto: Traducción, Resumen, Preguntas y Respuestas y Más

Texto a texto (seq2seq) transforma una secuencia de texto de entrada en una secuencia de texto de destino. Son la columna vertebral de los LLM modernos (T5, BART, GPT, LLaMA).

Categorías principales de tareas

TareaEntrada → SalidaEjemplo
TraducciónIdioma A → Idioma B“Hello” → “Hola”
ResumenDocumento largo → Resumen cortoArtículo → 3 viñetas
Preguntas y respuestasContexto + Pregunta → RespuestaPasaje + “¿Quién ganó?” → “Equipo A”
ParafraseoTexto → Mismo significado, nuevas palabras“Está lloviendo” → “Está cayendo precipitación”
Clasificación de textoTexto → Etiqueta(s)Reseña → “Positiva”
Corrección gramaticalRuidoso → Limpio“Él va” → “Él va”
Generación de códigoLenguaje natural → Código“Ordenar lista” → sorted(lst)
DiálogoHistorial → Siguiente enunciadoContexto de chat → Respuesta del bot

Enfoques de modelado

  • Codificador-decodificador (T5, BART) – Codificador bidireccional + decodidor autorregresivo; entrenado con corrupción de span / desnoise.
  • Solo decodificador (GPT, LLaMA) – Pila autorregresiva única; solicitado con prefijo de tarea (“Traducir al francés: …”).
  • Ajuste de prefijo / LoRA – Adaptación eficiente a nuevas tareas de texto a texto.

Métricas de evaluación

  • BLEU / chrF / TER – Traducción.
  • ROUGE / BERTScore – Resumen.
  • Coincidencia exacta / F1 – QA extractiva.
  • Exactitud / F1 – Clasificación.

Desafíos

  • Alucinación (fidelidad a la fuente).
  • Control de longitud (resumen demasiado largo/corto).
  • Idiomas de bajos recursos.
  • Control de estilo/tono.

El marco unificado de texto a texto (Raffel et al., 2019) convirtió el NLP en “todo es generación”, permitiendo multitarea a escala con un solo modelo.

>

<

Mensajería de texto (SMS/MMS)