Informatique et sciences numériques (2023-2024) – Benoît Sagot

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : L'IA axée sur les objectifs : vers des machines capables d'apprendre, de raisonner et de planifierIntervenant : Yann LeCun, Professeur invité, Collège de France, Chief AI Scientist, Meta, Professor, NYURésuméComment les machines pourraient-elles apprendre aussi efficacement que les humains et les animaux ? Comment les machines pourraient-elles apprendre le fonctionnement du monde et acquérir le sens commun ? Comment les machines pourraient-elles apprendre à raisonner et à planifier ?Les architectures d'IA actuelles, telles que les modèles de langage auto-régressifs à grande échelle, sont insuffisantes. Je proposerai une architecture cognitive modulaire qui pourrait constituer un chemin vers la réponse à ces questions. La pièce maîtresse de l'architecture est un modèle prédictif du monde qui permet au système de prédire les conséquences de ses actions et de planifier une séquence d'actions qui optimisent un ensemble d'objectifs. Les objectifs incluent des garde-fous qui garantissent la contrôlabilité et la sécurité du système. Le modèle du monde utilise une architecture hiérarchique jointe de prédiction d'embeddings (H-JEPA, pour Hierarchical Joint Embedding Predictive Architecture) entraîné par apprentissage auto-supervisé. L'architecture JEPA apprend des représentations abstraites des perceptions qui sont simultanément maximales en termes d'information et de prédictibilité.Yann LeCunYann LeCun is VP & Chief AI Scientist at Meta and Silver Professor at NYU affiliated with the Courant Institute of Mathematical Sciences & the Center for Data Science. He was the founding Director of FAIR and of the NYU Center for Data Science. He received an Engineering Diploma from ESIEE (Paris) and a PhD from Sorbonne Université. After a postdoc in Toronto he joined AT&T Bell Labs in 1988, and AT&T Labs in 1996 as Head of Image Processing Research. He joined NYU as a professor in 2003 and Meta/Facebook in 2013. His interests include AI, machine learning, computer perception, robotics, and computational neuroscience. He is the recipient of the 2018 ACM Turing Award (with Geoffrey Hinton and Yoshua Bengio) for "conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing", a member of the National Academy of Sciences, the National Academy of Engineering, the French Académie des Sciences.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202408 - Apprendre les langues aux machines : Multimodalités : TAL et images, TAL et paroleRésuméMultimodalité : TAL et images, TAL et parole. Améliorer la traduction automatique grâce au contexte, notamment aux images. Le TAL sans l'écrit : réconcilier TAL et traitement de la parole, avec l'exemple de la traduction automatique de la parole.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Prédire c'est comprendre : un modèle neuro-cognitif du langage fondé sur la prédictionIntervenant : Philippe Blache, directeur de recherche CNRSRésuméLa compréhension mutuelle pendant une conversation est un processus extrêmement rapide et efficace : nous pouvons traiter trois mots par seconde, souvent plus. Cette observation n'est cependant pas conforme aux expériences de laboratoire montrant que le traitement d'un seul mot peut prendre jusqu'à une seconde. La rapidité du traitement s'explique par notre capacité à prédire ce que va dire l'interlocuteur, d'une certaine façon à la manière des modèles de langage. Aujourd'hui, il n'existe pas de modèle global permettant d'intégrer à une architecture classique du traitement du langage (de la phonétique à la sémantique en passant par la syntaxe) ce phénomène de facilitation reposant sur la prédiction. Je présenterai les bases d'un tel modèle permettant d'expliquer comment cohabitent des processus superficiels (effets de facilitation) et profonds (en cas de difficulté). Cette architecture repose sur un mécanisme central, la prédiction, que je décrirai en l'abordant à la fois du point de vue computationnel et neurolinguistique. Cette approche repose sur les résultats obtenus dans le cadre de théories récentes en sciences cognitives (« prediction-by-production ») et en neurosciences (« predictive coding ») conduisant à penser que les participants à une conversation utilisent le même mécanisme pour produire et comprendre la parole.Philippe BlachePhilippe Blache is Senior Researcher at the CNRS. His works focus on the cognitive and cerebral basis of language processing taken in its natural context. He develops in this perspective an interdisciplinary approach bringing together computational modeling, formal linguistics and neuroscience. Philippe Blache created and has been the director of two research institutes (ILCB and BLRI). He was previously the head of 2 CNRS labs in France (LPL, 2LC). He is author of more than 200 publications and has been PI of many research projects at the national and international level. He has been actively involved in research management and chaired around 20 international conferences.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202407 - Apprendre les langues aux machines : Converser avec la machineRésuméAgents conversationnels, chatbots et « large language models » conversationnels : d'Eliza à ChatGPT et ChatLLAMA. Comment les très grands modèles conversationnels ont-ils été entraînés ? Quelles limites, quels enjeux éthiques, quelles utilisations, quel avenir ?

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Analyse automatique de l'argumentation dans les débats politiquesIntervenant : Elena Cabrio, professeur des Universités, université Côte-d'Azur, Inria, CNRS, I3S, FranceRésuméLes débats politiques offrent aux citoyens une occasion unique d'apprécier la position des représentants politiques sur les sujets les plus controversés de l'actualité. Au regard des prises actives de paroles des différents acteurs de la vie politique, ces débats constituent une source d'information qu'il se doit d'être capitalisée afin de mieux appréhender les dynamiques sociétales. Compte tenu de leur qualité argumentative innée, ces échanges constituent un scénario d'application adéquat pour la mise en œuvre de méthodes computationnelles d'extraction d'arguments. La fouille d'arguments est un axe de recherche étudié dans le domaine du traitement du langage naturel et dont l'objectif consiste en l'extraction et l'identification automatique des structures argumentatives d'un texte en langage naturel à l'aide de programmes informatiques. L'analyse des structures argumentaires est une tâche complexe s'attachant à l'étude des composants et des schémas d'argumentation, aux relations entre les arguments ou encore aux stratégies de contre-argumentation. Au cours de cet exposé, je détaillerai les étapes nécessaires quant à l'automatisation de l'analyse du discours politique par le biais de méthodes de fouille d'arguments. En premier lieu, il s'agira de présenter les approches dédiées à l'identification des structures argumentatives et leurs relations. Ensuite, je décrirai les stratégies déployées dans le cadre de l'identification automatique des arguments fallacieux, notamment à travers l'analyse des différentes formes d'argumentation et la détection des manœuvres stratégiques dans le discours argumentatif.Elena CabrioElena Cabrio est professeur à l'université Côte-d'Azur et membre de l'équipe de recherche Wimmics de l'Inria-I3S. En 2021, elle a obtenu une chaire en Intelligence artificielle à l'Institut interdisciplinaire d'intelligence artificielle 3IA Côte d'Azur sur le thème « IA et langage naturel ». Ses domaines de recherche principaux sont le traitement automatique du langage, en particulier la fouille d'arguments, l'extraction d'informations et la détection de discours haineux. L'objectif de ses recherches est de concevoir des technologies de débat pour des systèmes avancés d'aide à la décision, afin de soutenir l'échange d'informations et d'opinions dans différents domaines (comme la santé et la politique), en tirant parti de l'interdisciplinarité et des avancées en matière d'apprentissage automatique pour le traitement du langage naturel. Elle a publié plus de cent articles scientifiques, notamment dans des revues et des conférences internationales sur l'intelligence artificielle et le traitement du langage naturel. Elle coordonne actuellement le projet ANTIDOTE (ArgumeNtaTIon-Driven explainable artificial intelligence fOr digiTal mEdicine) (CHIST-ERA XAI 2019).

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202406 - Apprendre les langues aux machines : Linguistique computationnelleRésuméLe TAL au service de la linguistique, avec un bref détour par les applications du TAL au service des humanités et sciences sociales. La linguistique comme domaine d'application du TAL, en trois exemples : morphologie computationnelle et complexité morphologique ; approches informatiques de la linguistique historique et de la phylogénétique linguistique ; scriptométrie quantitative pour l'étude de la naissance de l'orthographe en français.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Génération de texte à partir de connaissancesIntervenant :Claire Gardent, directrice de recherche CNRSRésuméLa génération de texte peut cibler différents types de langues et prendre en entrée différents types de connaissances. Dans cette présentation, je montrerai comment adapter les modèles de langue neuronaux pour générer du texte à partir de graphes de représentation sémantique, de graphes de connaissances et de documents multiples. Les architectures neuronales présentées permettront également d'illustrer comment générer à partir d'une même source des textes, soit dans vingt et une langues de l'Union européenne, soit dans des langues dites peu dotées comme le breton, le gallois et l'irlandais. Enfin les travaux sur la génération de biographies Wikipédia à partir de documents multiples permettront de mettre en lumière l'impact de biais de données sur la qualité des textes générés. Les travaux présentés ont été réalisés dans le cadre de la chaire IA xNLG (Génération de textes multilingues et multisources) cofinancée par l'ANR, Meta et la région Grand-Est.Claire Gardent est directrice de recherche au Centre national de la recherche scientifique (CNRS) au LORIA, à Nancy. Ses recherches portent sur le traitement automatique des langues avec une attention particulière à la génération multilingue et multisource. Elle a été nommée présidente du chapitre européen de l'Association of Computational Linguistics (EACL), rédactrice en chef des revues Traitement Automatique des Langues et Language and Linguistic Compass (Computational and Mathematical Section). En 2022, elle a reçu la médaille d'argent du CNRS et a été sélectionnée par l'Association of Computational Linguistics (ACL) comme ACL Fellow. Elle porte actuellement la chaire IA xNLG (Génération de textes multilingues et multisources) cofinancée par l'ANR, Meta et la région Grand-Est.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202405 - Apprendre les langues aux machines : Approches neuronales pour quelques tâches applicativesRésuméQuelques autres tâches aval : reconnaissance d'entités nommées ; analyse syntaxique ; la classification de phrases : approches classiques, embeddings de phrases ; la simplification de textes.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-2024Séminaire : Traduction neuronale massivement multilingueIntervenant :François Yvon, directeur de recherche CNRSRésuméLe développement d'architectures exploitant les méthodes d'apprentissage neuronal « profond » en traduction automatique a conduit à une augmentation considérable de l'acceptabilité et de l'utilisabilité des traductions calculées par la machine. Ces nouvelles architectures ont également permis de mettre en œuvre des dispositifs de traduction automatique dépassant le cadre habituel de la traduction d'un texte en langue source vers un texte en langue cible : traduction directe de parole, traduction conjointe de texte et d'image, etc. Dans cet exposé, je présenterai un de ces dispositifs, destiné à traduire depuis de multiples langues sources vers de multiples langues sources, en soulignant sur les bénéfices computationnels et linguistiques qu'apportent ces systèmes de traduction multilingues, en particulier pour traduire depuis et vers des langues minoritaires.François Yvon est directeur de recherche au CNRS et exerce ses fonctions dans l'équipe MLIA de l'Institut des Systèmes Intelligents et de Robotique (ISIR/CNRS et Sorbonne Université depuis juillet 2023. Titulaire d'un doctorat en informatique de l'ENST (1996), il y est recruté comme maître de conférences au sein du département Informatique et réseaux, puis est nommé professeur d'informatique à l'université Paris-Sud en 2007. Il intègre à cette occasion le LIMSI-CNRS à Orsay et y développe les activités de traduction automatique au sein de l'équipe « Traitement du Language Parlé ». Il rejoint le CNRS durant son mandat de directeur du LIMSI (2013-2019). Ses activités de recherche couvrent un large spectre de thématiques en traitement automatique des langues, depuis la morphologie computationnelle jusqu'à la fouille de textes et les méthodes d'apprentissage structuré. Durant ces dernières années, l'accent a été mis sur les traitements multilingues : traduction automatique et alignements, apprentissage par transfert interlingue, étude des grands modèles de langue massivement multilingues.

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202404 - Apprendre les langues aux machines : Traduction automatiqueRésuméHistoire de la discipline, approches récentes. Enjeux actuels : couvrir les langues moins dotées ; prendre en compte le contexte ; être robuste à la variation linguistique.