IAAA / PSTALN: Structured Learning for Natural Language Processing

Objectifs : Comprendre et explorer quelques modèles de prédictions structurées à l'état de l’art en traitement automatique du langage. En particulier, ce cours donne des éléments pour explorer les questions suivantes :

  • Faut-il des architectures neuronales spécifiques pour le TAL ?
  • Quel est le compromis entre stratégie de décodage et finesse de modélisation ?
  • Existe-t-il des représentations linguistiques universelles ?
Les thèmes abordés sont :
  • Typologie de problème et modèles DL pour le TAL
  • Représentations de non contextuelles et contextuelles
  • Préapprentissage par auto-supervision

2020-2021