Eric Villemonte De La Clergerie

30
Documents

Publications

Publications

Deposit thumbnail

Q-Filters: Leveraging Query-Key Geometry for Efficient Key-Value Cache Compression

Nathan Godey , Alessio Devoto , Yu Zhao , Simone Scardapane , Pasquale Minervini et al.

ICLR 2025 Workshop on Sparsity in LLMs (SLLM), Apr 2025, Singapore, Singapore

Communication dans un congrès hal-05441473v1
Deposit thumbnail

MaTOS: Machine Translation for Open Science

Rachel Bawden , Maud Bénard , Eric Villemonte de La Clergerie , José Cornejo Cárcamo , Nicolas Dahan et al.

20th Machine Translation Summit, International Machine Translation Association, Jun 2025, Geneva, Switzerland

Communication dans un congrès hal-05228687v1
Deposit thumbnail

Anisotropy Is Inherent to Self-Attention in Transformers

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot

EACL 2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics, Mar 2024, St Julians, Malta. pp.35-48

Communication dans un congrès hal-04593391v1
Deposit thumbnail

Translate your Own: a Post-Editing Experiment in the NLP domain

Rachel Bawden , Ziqian Peng , Maud Bénard , Eric Villemonte de La Clergerie , Raphaël Esamotunu et al.

The 25th Annual Conference of the European Association for Machine Translation, European Association for Machine Translation, Jun 2024, Sheffield, United Kingdom

Communication dans un congrès hal-04573922v1
Deposit thumbnail

CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

Rian Touchent , Laurent Romary , Eric De La Clergerie

LREC-COLING 2024 - The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy

Communication dans un congrès hal-04528508v1
Deposit thumbnail

Headless Language Models: Learning without Predicting with Contrastive Weight Tying

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot

The Twelfth International Conference on Learning Representations (ICLR 2024), May 2024, Wien, Austria

Communication dans un congrès hal-04264051v1
Deposit thumbnail

PatentEval: Understanding Errors in Patent Generation

You Zuo , Kim Gerdes , Eric Villemonte de La Clergerie , Benoît Sagot

NAACL2024 - 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Jun 2024, Mexico City, Mexico. pp.2687-2710, ⟨10.18653/v1/2024.naacl-long.147⟩

Communication dans un congrès hal-04595013v2
Deposit thumbnail

Generating English Synthetic Documents with Clinical Keywords: A Privacy-Sensitive Methodology

Simon Meoni , Éric de la Clergerie , Théo Ryffel

First Workshop on Patient-Oriented Language Processing (CL4Health), May 2024, Torino, Italy

Communication dans un congrès hal-04629537v1

On the Scaling Laws of Geographical Representation in Language Models

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot

LREC-Coling 2024 - Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy. pp.12416-12422

Communication dans un congrès hal-04552549v1
Deposit thumbnail

Annotation d'entités cliniques en utilisant les Larges Modèles de Langue

Simon Meoni , Théo Ryffel , Eric De La Clergerie

18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.190-203

Communication dans un congrès hal-04130197v1
Deposit thumbnail

Constitution de sous-fils de conversations d'emails

Lionel Tadonfouet Tadjou , Eric De La Clergerie , Fabrice Bourge , Tiphaine Marie

18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.157-171

Communication dans un congrès hal-04131559v2
Deposit thumbnail

Passe ta pharma d'abord !

Simon Meoni , Rian Touchent , Eric De La Clergerie

18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.68-76

Communication dans un congrès hal-04131583v1
Deposit thumbnail

CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé

Rian Touchent , Laurent Romary , Eric De La Clergerie

Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, Jun 2023, Paris, France. pp.323-334

Communication dans un congrès hal-04130187v1
Deposit thumbnail

Large Language Models as Instructors: A Study on Multilingual Clinical Entity Extraction

Simon Meoni , Theo Ryffel , Eric Villemonte de La Clergerie

The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, Jul 2023, Toronto, Canada. pp.178-190, ⟨10.18653/v1/2023.bionlp-1.15⟩

Communication dans un congrès hal-04394012v1
Deposit thumbnail

MaTOS: Traduction automatique pour la science ouverte

Maud Bénard , Alexandra Mestivier , Natalie Kubler , Lichao Zhu , Rachel Bawden et al.

18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.8-15

Communication dans un congrès hal-04131594v1
Deposit thumbnail

MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases

Louis Martin , Angela Fan , Eric Villemonte de La Clergerie , Antoine Bordes , Benoît Sagot

LREC 2022 - 13th Language Resources and Evaluation Conference, Jun 2022, Marseille, France

Communication dans un congrès hal-03834719v1
Deposit thumbnail

MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling

Nathan Godey , Roman Castagné , Eric Villemonte de La Clergerie , Benoît Sagot

EMNLP 2022 - The 2022 Conference on Empirical Methods in Natural Language Processing, Dec 2022, Abu Dhabi, United Arab Emirates

Communication dans un congrès hal-03844262v1
Deposit thumbnail

Building A Corporate Corpus For Threads Constitution

Lionel Tadonfouet Tadjou , Fabrice Bourge , Tiphaine Marie , Laurent Romary , Eric Villemonte de La Clergerie

Student Research Workshop associated with the International Conference on Recent Advances in Natural Language Processing (RANLP’2021), Sep 2021, Online, Bulgaria

Communication dans un congrès hal-03351533v1
Deposit thumbnail

Les modèles de langue contextuels Camembert pour le français : impact de la taille et de l'hétérogénéité des données d'entrainement

Louis Martin , Benjamin Muller , Pedro Javier Ortiz Suárez , Yoan Dupont , Laurent Romary et al.

JEP-TALN-RECITAL 2020 - 33ème Journées d’Études sur la Parole, 27ème Conférence sur le Traitement Automatique des Langues Naturelles, 22ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2020, Nancy / Virtuel, France. pp.54-65

Communication dans un congrès hal-02784755v3
Deposit thumbnail

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

Rian Touchent , Nathan Godey , Eric de la Clergerie

2026

Pré-publication, Document de travail hal-05444806v1

Gaperon: A Peppered English-French Generative Language Model Suite

Nathan Godey , Wissam Antoun , Rian Touchent , Rachel Bawden , Éric de la Clergerie et al.

2025

Pré-publication, Document de travail hal-05410121v1
Deposit thumbnail

Patent Representation Learning via Self-supervision

You Zuo , Kim Gerdes , Eric Villemonte de La Clergerie , Benoît Sagot

2025

Pré-publication, Document de travail hal-05333463v2

CamemBERT 2.0: A Smarter French Language Model Aged to Perfection

Wissam Antoun , Francis Kulumba , Rian Touchent , Eric Villemonte de La Clergerie , Benoît Sagot et al.

2024

Pré-publication, Document de travail hal-04789028v1

Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot

2024

Pré-publication, Document de travail hal-04546134v1

Is Anisotropy Inherent to Transformers?

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot

2023

Pré-publication, Document de travail hal-04264026v1

Rethinking Automatic Evaluation in Sentence Simplification

Thomas Scialom , Louis Martin , Jacopo Staiano , Eric Villemonte de La Clergerie , Benoît Sagot

2021

Pré-publication, Document de travail hal-03199901v1

Multilingual Unsupervised Sentence Simplification

Louis Martin , Angela Fan , Eric Villemonte de La Clergerie , Antoine Bordes , Benoît Sagot

2021

Pré-publication, Document de travail hal-03109299v1
Deposit thumbnail

Deux siècles de sources disparates sur l'industrie textile en France : comment automatiser les traitements d'un corpus non-uniforme ?

Alix Chagué , Victoria Le Fourner , Manuela Martini , Eric Villemonte de La Clergerie

2019

Pré-publication, Document de travail hal-02951614v1