Eric Villemonte De La Clergerie

Publications

Article dans une revue (1)

415P How to generate open source annotated cancer clinical datasets with LLMs to support the development of smaller language models Emmanuelle Kempf,A.T. Vu,Eric Villemonte de La Clergerie,Rémi Flicoteaux ESMO Real World Data and Digital Oncology, 2025, 10, pp.100611. ⟨10.1016/j.esmorw.2025.100611⟩ Article dans une revue hal-05444771v1

Communication dans un congrès (19)

MaTOS: Machine Translation for Open Science Rachel Bawden,Maud Bénard,Eric Villemonte de La Clergerie,José Cornejo Cárcamo,Nicolas Dahanet al. 20th Machine Translation Summit, International Machine Translation Association, Jun 2025, Geneva, Switzerland Communication dans un congrès hal-05228687v1
Q-Filters: Leveraging Query-Key Geometry for Efficient Key-Value Cache Compression Nathan Godey,Alessio Devoto,Yu Zhao,Simone Scardapane,Pasquale Minerviniet al. ICLR 2025 Workshop on Sparsity in LLMs (SLLM), Apr 2025, Singapore, Singapore Communication dans un congrès hal-05441473v1
CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data Rian Touchent,Laurent Romary,Eric De La Clergerie LREC-COLING 2024 - The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy Communication dans un congrès hal-04528508v1
Translate your Own: a Post-Editing Experiment in the NLP domain Rachel Bawden,Ziqian Peng,Maud Bénard,Eric Villemonte de La Clergerie,Raphaël Esamotunuet al. The 25th Annual Conference of the European Association for Machine Translation, European Association for Machine Translation, Jun 2024, Sheffield, United Kingdom Communication dans un congrès hal-04573922v1
Anisotropy Is Inherent to Self-Attention in Transformers Nathan Godey,Eric Villemonte de La Clergerie,Benoît Sagot EACL 2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics, Mar 2024, St Julians, Malta. pp.35-48 Communication dans un congrès hal-04593391v1
Headless Language Models: Learning without Predicting with Contrastive Weight Tying Nathan Godey,Eric Villemonte de La Clergerie,Benoît Sagot The Twelfth International Conference on Learning Representations (ICLR 2024), May 2024, Wien, Austria Communication dans un congrès hal-04264051v1
PatentEval: Understanding Errors in Patent Generation You Zuo,Kim Gerdes,Eric Villemonte de La Clergerie,Benoît Sagot NAACL2024 - 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Jun 2024, Mexico City, Mexico. pp.2687-2710, ⟨10.18653/v1/2024.naacl-long.147⟩ Communication dans un congrès hal-04595013v2
Generating English Synthetic Documents with Clinical Keywords: A Privacy-Sensitive Methodology Simon Meoni,Éric de la Clergerie,Théo Ryffel First Workshop on Patient-Oriented Language Processing (CL4Health), May 2024, Torino, Italy Communication dans un congrès hal-04629537v1
On the Scaling Laws of Geographical Representation in Language Models Nathan Godey,Eric Villemonte de La Clergerie,Benoît Sagot LREC-Coling 2024 - Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy. pp.12416-12422 Communication dans un congrès hal-04552549v1
MaTOS: Traduction automatique pour la science ouverte Maud Bénard,Alexandra Mestivier,Natalie Kubler,Lichao Zhu,Rachel Bawdenet al. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.8-15 Communication dans un congrès hal-04131594v1
Large Language Models as Instructors: A Study on Multilingual Clinical Entity Extraction Simon Meoni,Theo Ryffel,Eric Villemonte de La Clergerie The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, Jul 2023, Toronto, Canada. pp.178-190, ⟨10.18653/v1/2023.bionlp-1.15⟩ Communication dans un congrès hal-04394012v1
Passe ta pharma d'abord ! Simon Meoni,Rian Touchent,Eric De La Clergerie 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.68-76 Communication dans un congrès hal-04131583v1
Annotation d'entités cliniques en utilisant les Larges Modèles de Langue Simon Meoni,Théo Ryffel,Eric De La Clergerie 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.190-203 Communication dans un congrès hal-04130197v1
Constitution de sous-fils de conversations d'emails Lionel Tadonfouet Tadjou,Eric De La Clergerie,Fabrice Bourge,Tiphaine Marie 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.157-171 Communication dans un congrès hal-04131559v2
CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé Rian Touchent,Laurent Romary,Eric De La Clergerie Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, Jun 2023, Paris, France. pp.323-334 Communication dans un congrès hal-04130187v1
MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling Nathan Godey,Roman Castagné,Eric Villemonte de La Clergerie,Benoît Sagot EMNLP 2022 - The 2022 Conference on Empirical Methods in Natural Language Processing, Dec 2022, Abu Dhabi, United Arab Emirates Communication dans un congrès hal-03844262v1
MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases Louis Martin,Angela Fan,Eric Villemonte de La Clergerie,Antoine Bordes,Benoît Sagot LREC 2022 - 13th Language Resources and Evaluation Conference, Jun 2022, Marseille, France Communication dans un congrès hal-03834719v1
Building A Corporate Corpus For Threads Constitution Lionel Tadonfouet Tadjou,Fabrice Bourge,Tiphaine Marie,Laurent Romary,Eric Villemonte de La Clergerie Student Research Workshop associated with the International Conference on Recent Advances in Natural Language Processing (RANLP’2021), Sep 2021, Online, Bulgaria Communication dans un congrès hal-03351533v1
Les modèles de langue contextuels Camembert pour le français : impact de la taille et de l'hétérogénéité des données d'entrainement Louis Martin,Benjamin Muller,Pedro Javier Ortiz Suárez,Yoan Dupont,Laurent Romaryet al. JEP-TALN-RECITAL 2020 - 33ème Journées d’Études sur la Parole, 27ème Conférence sur le Traitement Automatique des Langues Naturelles, 22ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2020, Nancy / Virtuel, France. pp.54-65 Communication dans un congrès hal-02784755v3

Chapitre d'ouvrage (1)

Deux siècles de sources disparates sur l’industrie textile en France : comment automatiser les traitements d’un corpus non-uniforme ? Alix Chagué,Victoria Le Fourner,Manuela Martini,Eric Villemonte de La Clergerie Clarisse Bardiot; Esther Dehoux; Émilien Ruiz. La fabrique numérique des corpus en sciences humaines et sociales, Presses Universitaires du Septentrion; https://www.septentrion.com/livre/?GCOI=27574100990460, 2022 Chapitre d'ouvrage halshs-03973309v1

Pré-publication, Document de travail (9)

Patent Representation Learning via Self-supervision You Zuo,Kim Gerdes,Eric Villemonte de La Clergerie,Benoît Sagot 2025 Pré-publication, Document de travail hal-05333463v2
Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content Rian Touchent,Nathan Godey,Eric de la Clergerie 2026 Pré-publication, Document de travail hal-05444806v1
Gaperon: A Peppered English-French Generative Language Model Suite Nathan Godey,Wissam Antoun,Rian Touchent,Rachel Bawden,Éric de la Clergerieet al. 2025 Pré-publication, Document de travail hal-05410121v1
CamemBERT 2.0: A Smarter French Language Model Aged to Perfection Wissam Antoun,Francis Kulumba,Rian Touchent,Eric Villemonte de La Clergerie,Benoît Sagotet al. 2024 Pré-publication, Document de travail hal-04789028v1
Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck Nathan Godey,Eric Villemonte de La Clergerie,Benoît Sagot 2024 Pré-publication, Document de travail hal-04546134v1
Is Anisotropy Inherent to Transformers? Nathan Godey,Eric Villemonte de La Clergerie,Benoît Sagot 2023 Pré-publication, Document de travail hal-04264026v1
Rethinking Automatic Evaluation in Sentence Simplification Thomas Scialom,Louis Martin,Jacopo Staiano,Eric Villemonte de La Clergerie,Benoît Sagot 2021 Pré-publication, Document de travail hal-03199901v1
Multilingual Unsupervised Sentence Simplification Louis Martin,Angela Fan,Eric Villemonte de La Clergerie,Antoine Bordes,Benoît Sagot 2021 Pré-publication, Document de travail hal-03109299v1
Deux siècles de sources disparates sur l'industrie textile en France : comment automatiser les traitements d'un corpus non-uniforme ? Alix Chagué,Victoria Le Fourner,Manuela Martini,Eric Villemonte de La Clergerie 2019 Pré-publication, Document de travail hal-02951614v1