
Christophe Servan
Présentation
Qui suis-je ?
Actuellement Chercheur contarctuel CNRS au sein de l'équipe SEME du Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CNRS, à Orsay, je fut responsable scientifique et chercheur en Traitement Automatique des Langues (NLP) chez Qwant, le moteur de recherche français et européen pendant 6 ans. Mes principaux centres d’intérêt en recherche sont l’Apprentissage Automatique appliqué au TAL, la Compréhension de la Langue dans le cadre d'un système de dialogue ou de Recherche d'Information, la Traduction Automatique Statistique (TAS) de la Parole, et plus généralement le Traitement Automatique des Langues (TAL).
Actuellement, mes recherches se concentrent sur l'utilisabilité des modèles fondés sur l'apprentissage profond (Deep Learning) et plus particulièrement l'utilisation des modèles Transformer pour la compréhension dans le cadre d'un système de question-réponse.
Depuis 2020, j'assure la présidence de l'ATALA, l'association francophone pour le Traitement Automatique des Langues (https://www.atala.org).
Short Bio
Christophe Servan est actuellement Chercheur contarctuel CNRS au sein de l'équipe SEME du Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), CNRS, à Orsay.
Auparavant, il a obtenu un Doctorat (2008) en informatique, spécialité Traitement Automatique de la Langue Naturelle Écrite et Orale à l’Université d’Avignon. Il a travaillé 1 an, en 2009, au CEA-LIST en tant que chercheur sur le TALN en général. En 2010, il fut recruté 3 ans comme chercheur post-doctorant en Traduction Automatique Statistique (TAS) à l’Université du Maine (Le Mans) dans l’équipe Speech and Language Technology. Il a poursuivi mes recherches en TAS sur l’adaptation au domaine en 2013 au Xerox Research Centre Europe comme Research Scientist, dans un cadre international (la langue de travail au XRCE étant l'Anglais) pour rejoindre en 2015, le GETALP à l'université de Grenoble. Après 18 mois chez Systran en 2016, il rejoint Qwant Research de janvier 2018 pour continuer mes recherches sur les réseaux de neurones profonds et étudier le TAL appliqué au domaine de la Recherche d'Information. Depuis mars 2024, il rejoins l'équipe SEME du LINS auein duquel il partage son expérience en apprentissage automatique pour le TALN dans un cadre dynamique et applicatif, notamment dans le domaine médical.
Recherche
Thématiques de Recherche
- Apprentissage Automatique pour le TAP et le TAL (ML4NLP)
- Compréhension de la langue (NLU/SLU)
- Systèmes de dialogue
- Systèmes de Recherche d'Information
- Réseaux de Neurones Profonds (DNN)
- Représentation de mots dans un espace continu (word embeddings)
- Traduction Automatique Statistique (SMT)
- Méthodes d'évaluations
- Mesures de Confiance (Confidence Estimation)
- Adaptation au Domaine
Apprentissage Automatique pour le TAL
- Utilisabilité des modèles Neuronnaux pour le TAL. Exploration et création de modèles de type Transformer pour le TAL & les systèmes de Question-Réponse
- Réseaux de Neurones Profond pour la TAS. Exploration de différentes méthodes pour l’estimation de scores de confiance à travers les Réseaux de Neurones Profonds. Ces travaux font suite à mes recherches sur la mise-à-jour des modèles de traduction.
- Estimation de paramètres avec le Modèle Transférable de Croyance. J’ai exploré une méthode originale d’estimation de paramètres du modèle de traduction. Je m’intéresse aux différentes méthodes permettant l’amélioration des modèles de traduction.
- Optimisation Multi-Critère. Utilisation de différentes métriques en même temps lors du processus d’optimisation de poids de paramètres d’un système de traduction statistique. Effectué dans le cadre du projet de la DARPA, GALE.
Compréhension de la parole et systèmes de dialogues
- Thèse de Doctorat : Apprentissage Automatique et Compréhension de la Parole dans le cadre d’un Dialogue Homme-Machine Téléphonique à Initiative Mixte. J’ai exploré la problématique de la compréhension de la parole à travers des approches statistiques dans le contexte d’un dialogue puis de coupler plus efficacement la compréhension et la transcription de la parole dans le cadre d’une réservation d’hôtel. Financé par le projet Technolangue/Evalda/MEDIA.
- Génération de réponse pour un système de dialogue. Utilisant un analyseur morpho-syntaxique profond, j’ai proposé une approche permettant l’extraction de patrons contenant des informations syntaxiques pour la génération de texte.
- Compréhension de la parole multilingue. Coupler la compréhension de la parole et la traduction automatique statistique dans le cadre du projet Européen EU LUNA.
- Classication et routage d’appel téléphonique. Etude d’un prototypage rapide d’un système de classication et de routage d’appel combinant des approches issues de la compréhension de la parole et de l’adaptation au domaine. Effectué dans lecadre d’une étude pour le département de Vaucluse, transposition du site Vos droits et démarches .
- Consultant expert en Systèmes de Dialogue. Lors d'un projet interne chez Xerox, j'ai conseillé les chercheurs et les responsables de projets sur le prototypage et la réalisation de systèmes de dialogues. Cela inclu un Etat de l'Art et une étude approfondie des débouchés de ce type de système.
Traduction Automatique Statistique de la parole et du texte
- Génération automatique de paire de segments. Utilisant une terminologie spécifique, j’ai proposé de l’insérer dans le modèle de traduction en y ajoutant un contexte. Ce contexte est extrapolé à partir des données existantes dans le modèle de traduction. Travaux effectués dans le cadre du projet européen TransLectures.
- Adaptation au domaine/document. À travers différentes approches classiques, j’ai étudié la possibilité d’adapter les modèles de traduction et de language dans le cadre de la traduction d’un document écrit ou oral. Travaux eectués dans le cadre des projets européens MateCAT & TransLectures.
- Mise-à-jour automatique de modèles de traduction. Dans le cadre d’une traduction assistée par ordinateur, j’ai exploré une approche permettant la mise-à-jour du modèle de traduction à partir de données post-éditée par des traducteurs professionels. Travaux eectués dans le cadre du projet européen MateCAT.
- Alignement d’expressions idiomatiques et de mots composés. Utilisation de la combinaisons de l’analyse syntaxique, d’informations lexicales et d’approche statistique an d’améliorer les dictionnaires bilingues. Eectué dans le cadre du projet ANR WebCrossling.
Responsabilités
Dans les plupart des projets auxquels j'ai participé, mon implication s'est matérialisée par une participation active à :
- des réunions de travail avec les membres des consortium,
- de communications vers les instances de contrôle (principalement présentations & rédaction de workpackage)
- de la proposition de projets
- des travaux collaboratifs, j'ai notamment initié deux articles communs entre plusieurs partenaires d'un consortium pour les pojets TransLectures et MateCAT. Ce dernier article a été réécrit pour pour être publié en revue.
Participation aux projets
Responsable des projets pour Qwant:
- PIA ANSWER (consortium leader)
- H2020 AI4EU
- H2020 SocialTruth
- PIA MOSS
- ANR TextToKids
- ANR KodiCare
En outre, j'ai été responsable de workpackages dans les projets :
- OpenNMT (Systran)
- PAPYRUS (DGA)
- KEHATH (ANR)
- TransLectures (EU)
- MateCAT (EU)
- PEA TRAD (DGA)
- Technolangue/Evalda/Media
et participé aux projets :
- DARPA GALE (DARPA - USA)
- EuroMatrixPlus (EU)
- WebCrossLing (ANR)
- LUNA (EU)
Encadrement
J'encadre des étudiants en stage de Master, mais également ponctuellement, des étudiants en thèse (pour un projet ou une publication). J'ai orienté les travaux de recherche doctoraux de Tien LE (GETAP), Alexandre, Frédéric BLAIN, AlexandreBERARD, ainsi que deux étudiants de Master 2 Recherche au LIG (GETALP), 5 étudiants de M2 à QWANT. Enfin, j'ai co-encadré la thèse de Oralie CATTAN, doctorante chez QWANT et à Paris-Orsay au LISN, thèse soutenue en décembre 2021.
Actuelle, je participe à l'encadrement de Pierre Lepagnol, Iskandar Boucharenc et Aygalic Jara sur les domaines applicatifs des LLM en TAL.
Outils
- FrALBERT : un modèle de type BERT léger pour le français (https://huggingface.co/qwant/fralbert-base)
- METEOR-E : une extention de la métrique METEOR incluant les Word Embeddings (https://github.com/cservan/METEOR-E)
- LIG-WCE : J'ai suppervisé la finalisation et le packaging de l'outil pour les mesures de confiance du GETALP du LIG (https://github.com/besacier/WCE-LIG)
- TERcpp : un outil pour mesurer le score de Translation Edit Rate (TER) en C++ pour la TAS. Il est utilisé dans Moses et dans Travatar (https://github.com/cservan/tercpp)
- TERcpp-E : extention de TERcpp utilisant les Word Embeddings permettant également d'estimer un WER augmenté avec les Embeddings, WER-E (https://github.com/cservan/tercpp-embeddings)
- Simple Similarity : Un outil de recherche d’information pour faire un simple tf-idf ou, au choix, une mesure bm25 afin de mesurer la distance en deux documents ou phrase avec la mesure cosine, qui peut être combinée à une option de vectorisation. Codé en C++ (https://sourceforge.net/projects/cpp-similarity/)
- Faisant partie de l’équipe de développeur de Moses, ma principale contribution est la mise en place de la première version d’optimisation de poids de paramètres multi-critère (à l’aide de plusieurs métriques en même temps) (https://github.com/moses-smt/mosesdecoder)
Publications
Publications
|
Translation project adaptation for MT-enhanced computer assisted translationMachine Translation, 2014, Machine Translation Journal, 28, pp.127. ⟨10.1007/s10590-014-9152-1⟩
Article dans une revue
hal-01157893
v1
|
|
Optimising Multiple Metrics with MERTThe Prague Bulletin of Mathematical Linguistics, 2011, 96, pp.109
Article dans une revue
hal-01157949
v1
|
|
A Benchmark Evaluation of Clinical Named Entity Recognition in FrenchThe 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Torino, Italy. pp.14-21
Communication dans un congrès
hal-04523267
v1
|
|
Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024), Jul 2024, Toulouse, France. pp.113-129
Communication dans un congrès
hal-04623012
v2
|
|
Nouvelle tâche sémantique pour le corpus de compréhension de parole en français MEDIA35èmes Journées d'Études sur la Parole (JEP 2024), Jul 2024, Toulouse, France. pp.470-480
Communication dans un congrès
hal-04623097
v1
|
|
Small Language Models are Good Too: An Empirical Study of Zero-Shot ClassificationThe 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, TURIN, Italy. pp.14923-14936
Communication dans un congrès
hal-04519930
v2
|
|
New Semantic Task for the French Spoken Language Understanding MEDIA BenchmarkThe 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Torino, Italy. pp.12227-12246
Communication dans un congrès
hal-04523286
v1
|
|
mALBERT: Is a Compact Multilingual BERT Model Still Worth It?The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), May 2024, Torino, Italy. pp.11023-11029
Communication dans un congrès
hal-04520797
v1
|
|
LongEval: Longitudinal Evaluation of Model Performance at CLEF 202446th European Conference on Information Retrieval (ECIR 2024), Mar 2024, Glasgow, United Kingdom. pp.60-66, ⟨10.1007/978-3-031-56072-9_8⟩
Communication dans un congrès
hal-04577466
v1
|
LongEval: Longitudinal Evaluation of Model Performance at CLEF 202345th European Conference on Information Retrieval (ECIR 2023), Apr 2023, Dublin, Ireland. pp.499-505, ⟨10.1007/978-3-031-28241-6_58⟩
Communication dans un congrès
hal-04060056
v1
|
|
Overview of the CLEF-2023 LongEval Lab on Longitudinal Evaluation of Model Performance14th International Conference of the CLEF Association, CLEF 2023, Sep 2023, Thessalonic, Greece. pp.440-458, ⟨10.1007/978-3-031-42448-9_28⟩
Communication dans un congrès
hal-04475726
v1
|
|
|
Étude comparative de modèles Transformers en compréhension de la parole en français34e Journées d'Etudes sur la Parole (JEP2022), Jun 2022, Île de Noirmoutier, France
Communication dans un congrès
hal-03701654
v1
|
|
On the Usability of Transformers-based models for a French Question-Answering taskJoint Conference of the Information Retrieval Communities in Europe (CIRCLE) 2022, Jul 2022, Samatan, France
Communication dans un congrès
hal-03701740
v1
|
|
Benchmarking Transformers-based models on French Spoken Language Understanding tasksINTERSPEECH 2022, Sep 2022, Incheon, South Korea
Communication dans un congrès
hal-03715340
v2
|
|
On the Usability of Transformers-based models for a French Question-Answering taskRecent Advances in Natural Language Processing (RANLP), Sep 2021, Varna, Bulgaria
Communication dans un congrès
hal-03336060
v1
|
|
On the cross-lingual transferability of multilingual prototypical models across NLU tasksACL workshop on Meta Learning and Its Applications to Natural Language Processing (MetaNLP), 2021, Bangkok, Thailand
Communication dans un congrès
hal-03298026
v1
|
|
Conception d'un système de détection d'intention pour un moteur de recherche sur Internet6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 4 : Démonstrations et résumés d'articles internationaux, Jun 2020, Nancy, France. pp.50-52
Communication dans un congrès
hal-02768512
v3
|
|
Neural Networks approaches focused on French Spoken Language Understanding: application to the MEDIA Evaluation TaskIn Proceedings of The 28th International Conference on Computational Linguistics (COLING’2020), 2020, Dec 2020, Barcelona (online), Spain
Communication dans un congrès
hal-03007482
v1
|
|
Qwant Research @DEFT 2019 : appariement de documents et extraction d'informations à partir de cas cliniquesAtelier Défi Fouilles de Texte 2019, Jul 2019, TOULOUSE, France
Communication dans un congrès
hal-02172582
v1
|
|
Using Whole Document Context in Neural Machine Translation16th International Workshop on Spoken Language Translation 2019, Nov 2019, Hong-Kong, China
Communication dans un congrès
hal-02316397
v1
|
|
Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text TranslationNIPS Workshop on end-to-end learning for speech and audio processing, Dec 2016, Barcelona, Spain
Communication dans un congrès
hal-01408086
v1
|
|
Word2Vec vs DBnary: Augmenting METEOR using Vector Representations or Lexical Resources?COLING 2016, ANLP & ICCL, Dec 2016, Osaka, Japan
Communication dans un congrès
hal-01376948
v1
|
|
MultiVec: a Multilingual and Multilevel Representation Learning Toolkit for NLPThe 10th edition of the Language Resources and Evaluation Conference (LREC), May 2016, Portoroz, Slovenia
Communication dans un congrès
hal-01335930
v1
|
|
Word2Vec vs DBnary ou comment (ré)concilier représentations distribuées et réseaux lexico-sémantiques ? Le cas de l’évaluation en traduction automatiqueTALN 2016, Jul 2016, Paris, France
Communication dans un congrès
hal-01350101
v1
|
|
Better Evaluation of ASR in Speech Translation Context Using Word EmbeddingsInterspeech 2016, Sep 2016, San-Francisco, United States
Communication dans un congrès
hal-01350102
v1
|
|
Adaptation par enrichissement terminologique en traduction automatique statistique fondée sur la génération et le filtrage de bi-segments virtuels22ème Conférence sur le Traitement Automatique des Langues Naturelles, ATALA, Jun 2015, Caen, France
Communication dans un congrès
hal-01157850
v1
|
|
An Open Source Toolkit for Word-level Confidence Estimation in Machine TranslationThe 12th International Workshop on Spoken Language Translation (IWSLT'15), Dec 2015, Da Nang, Vietnam
Communication dans un congrès
hal-01244477
v1
|
|
Comparison of Data Selection Techniques for the Translation of Video LecturesThe eleventh biennial conference of the Association for Machine Translation in the Americas (AMTA-2014), AMTA, Oct 2014, Vancouver, Canada
Communication dans un congrès
hal-01157888
v1
|
|
Issues in Incremental Adaptation of Statistical MT from Human Post-editsMT Summit XIV Workshop on Post-editing Technology and Practice, Sep 2013, Nice, France
Communication dans un congrès
hal-01158054
v1
|
|
Utilisation des fonctions de croyance pour l’estimation de paramètres en traduction automatiqueLa conférence conjointe JEP-TALN-RECITAL 2012, Jun 2012, Grenoble, France
Communication dans un congrès
hal-01158101
v1
|
|
Calculation of phrase probabilities for Statistical Machine Translation by using belief functionsThe 24th International Conference on Computational Linguistics (COLING 2012), Dec 2012, Mumbai, India
Communication dans un congrès
hal-01158098
v1
|
|
LIUM's SMT Machine Translation Systems for WMT 2012The Seventh Workshop on Statistical Machine Translation (WMT12), Jun 2012, Montreal, Canada
Communication dans un congrès
hal-01158083
v1
|
|
Investigations on Translation Model Adaptation Using Monolingual DataSixth Workshop on Statistical Machine Translation, Jul 2011, Edinburgh, United Kingdom. pp.284-293
Communication dans un congrès
hal-00625481
v1
|
|
LIUM's SMT Machine Translation Systems for WMT 2011The Sixth workshop on Statistical Machine Translation, Jul 2011, Edinburgh, United Kingdom
Communication dans un congrès
hal-01158072
v1
|
|
Using Cross-Language Information Retrieval for Machine Translation5th Language & Technology Conference: Human Language Technologies as a Challenge for Computer Science and Linguistics, Nov 2011, Poznań, Poland
Communication dans un congrès
hal-01490031
v1
|
LIUM’s SMT Machine Translation Systems for WMT 2011Proceedings of the sixth Workshop on Statistical Macine Translation, Jul 2011, Edinburgh, United Kingdom
Communication dans un congrès
hal-01454948
v1
|
|
|
A Hybrid Word Alignment Approach to Improve Translation Lexicons with Compound Words and Idiomatic ExpressionsThe 32nd Translating and the Computer Conference - ASLIB, Nov 2010, London, United Kingdom
Communication dans un congrès
hal-01158113
v1
|
|
A Hybrid Approach for Machine Translation Based on Cross-language Information RetrievalThe International Workshop on Spoken Language Translation (IWSLT 2010), Dec 2010, Paris, France
Communication dans un congrès
hal-01158549
v1
|
On the Use of Machine Translation for Spoken Language Understanding PortabilityIEEE International Conference on Acoustics, Speech, and Signal Processing, IEEE, Mar 2010, Dallas, Texas, United States. pp.5330 - 5333, ⟨10.1109/ICASSP.2010.5494960⟩
Communication dans un congrès
inria-00523967
v1
|
|
Composition sémantique pour la compréhension de la parole dans le cadre de dialogueJournées d'Etude sur la Parole (JEP), 2008, Avignon, France
Communication dans un congrès
hal-01434056
v1
|
|
|
Frame-Based Acoustic Feature Integration for Speech UnderstandingIEEE International Conference on Acoustics, Speech and Signal Processing, 2008. ICASSP 2008., Mar 2008, Las Vegas, NV,, United States. pp.4997-5000, ⟨10.1109/ICASSP.2008.4518780⟩
Communication dans un congrès
hal-00424663
v1
|
|
Semantic composition process in a speech understanding systemThe 2008 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Mar 2008, Las Vegas, United States. ⟨10.1109/ICASSP.2008.4518788⟩
Communication dans un congrès
hal-01158578
v1
|
|
Fast call-classification system development without in-domain training dataThe proceedings of the International Conference on Speech and Language Processing (ICSLP) Interspeech 2008, Sep 2008, Brisbane, Australia
Communication dans un congrès
hal-01158650
v1
|
|
Composition sémantique pour la compréhension de la parole dans un cadre de dialogueLes 27e Journées d’Etudes sur la Parole (JEP), Jun 2008, Avignon, France
Communication dans un congrès
hal-01159983
v1
|
|
Conceptual decoding from word lattices: application to the spoken dialogue corpus MEDIAThe Ninth International Conference on Spoken Language Processing (Interspeech 2006 - ICSLP), Sep 2006, Pittsburgh, United States
Communication dans un congrès
hal-01160181
v1
|
|
Décodage conceptuel et apprentissage automatique : application au corpus de dialogue Homme-Machine MEDIALa 13ème édition de la conférence sur le Traitement Automatique des Langues Naturelles (TALN 2006), Apr 2006, Louvain, Belgium
Communication dans un congrès
hal-01160173
v1
|
|
Décodage conceptuel à partir de graphes de mots sur le corpus de dialogue Homme-Machine MEDIALes XXVIes Journées d'Étude sur la Parole (JEP 2006), Jun 2006, Dinard, France
Communication dans un congrès
hal-01160185
v1
|
|
Results of the French Evalda-Media evaluation campaign for literal understandingThe fifth international conference on Language Resources and Evaluation (LREC 2006), May 2006, Genes, Italy
Communication dans un congrès
hal-01160167
v1
|
Utilisation des transducteurs dans le décodage conceptuel application au corpus MEDIAMAnifestation des JEunes Chercheurs en Sciences et Technologies de l'Information et de la Communication (MajecSTIC), 2006, Lorient, France
Communication dans un congrès
hal-01434201
v1
|
|
|
Utilisation des transducteurs dans le décodage conceptuel : application au corpus MEDIAMajecSTIC, Nov 2006, Lorient, France
Communication dans un congrès
hal-00480199
v1
|
|
On the cross-lingual transferability of multilingual prototypical models across NLU tasksACL-IJCNLP 2021, Aug 2021, Bangkok, Thailand
Poster de conférence
hal-03298408
v1
|
|
Image search using multilingual texts: a cross-modal learning approach between image and text[Research Report] qwant research. 2019
Rapport
(rapport de recherche)
hal-02077556
v1
|
|
Apprentissage automatique et compréhension dans le cadre d’un dialogue homme-machine téléphonique à initiative mixteAutre [cs.OH]. Université d'Avignon, 2008. Français. ⟨NNT : 2008AVIG0173⟩
Thèse
tel-00591997
v1
|