Eric Villemonte De La Clergerie

23
Documents

Publications

Publications

Image document

Anisotropy Is Inherent to Self-Attention in Transformers

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot
EACL 2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics, Mar 2024, St Julians, Malta. pp.35-48
Communication dans un congrès hal-04593391 v1
Image document

Translate your Own: a Post-Editing Experiment in the NLP domain

Rachel Bawden , Ziqian Peng , Maud Bénard , Eric Villemonte de La Clergerie , Raphaël Esamotunu et al.
The 25th Annual Conference of the European Association for Machine Translation, European Association for Machine Translation, Jun 2024, Sheffield, United Kingdom
Communication dans un congrès hal-04573922 v1
Image document

CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

Rian Touchent , Laurent Romary , Eric De La Clergerie
LREC-COLING 2024 - The 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy
Communication dans un congrès hal-04528508 v1
Image document

PatentEval: Understanding Errors in Patent Generation

You Zuo , Kim Gerdes , Eric Villemonte de La Clergerie , Benoît Sagot
NAACL2024 - 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Jun 2024, Mexico City, Mexico. pp.2687-2710, ⟨10.18653/v1/2024.naacl-long.147⟩
Communication dans un congrès hal-04595013 v2
Image document

Generating English Synthetic Documents with Clinical Keywords: A Privacy-Sensitive Methodology

Simon Meoni , Éric de la Clergerie , Théo Ryffel
First Workshop on Patient-Oriented Language Processing (CL4Health), May 2024, Torino, Italy
Communication dans un congrès hal-04629537 v1

On the Scaling Laws of Geographical Representation in Language Models

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot
LREC-Coling 2024 - Joint International Conference on Computational Linguistics, Language Resources and Evaluation, May 2024, Torino, Italy. pp.12416-12422
Communication dans un congrès hal-04552549 v1
Image document

Constitution de sous-fils de conversations d'emails

Lionel Tadonfouet Tadjou , Eric De La Clergerie , Fabrice Bourge , Tiphaine Marie
18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.157-171
Communication dans un congrès hal-04131559 v2
Image document

Annotation d'entités cliniques en utilisant les Larges Modèles de Langue

Simon Meoni , Théo Ryffel , Eric De La Clergerie
18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.190-203
Communication dans un congrès hal-04130197 v1
Image document

Passe ta pharma d'abord !

Simon Meoni , Rian Touchent , Eric De La Clergerie
18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2023, Paris, France. pp.68-76
Communication dans un congrès hal-04131583 v1
Image document

CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé

Rian Touchent , Laurent Romary , Eric De La Clergerie
Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux -- articles longs, Jun 2023, Paris, France. pp.323-334
Communication dans un congrès hal-04130187 v1
Image document

Large Language Models as Instructors: A Study on Multilingual Clinical Entity Extraction

Simon Meoni , Theo Ryffel , Eric Villemonte de La Clergerie
The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, Jul 2023, Toronto, Canada. pp.178-190, ⟨10.18653/v1/2023.bionlp-1.15⟩
Communication dans un congrès hal-04394012 v1
Image document

MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases

Louis Martin , Angela Fan , Eric Villemonte de La Clergerie , Antoine Bordes , Benoît Sagot
LREC 2022 - 13th Language Resources and Evaluation Conference, Jun 2022, Marseille, France
Communication dans un congrès hal-03834719 v1
Image document

MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling

Nathan Godey , Roman Castagné , Eric Villemonte de La Clergerie , Benoît Sagot
EMNLP 2022 - The 2022 Conference on Empirical Methods in Natural Language Processing, Dec 2022, Abu Dhabi, United Arab Emirates
Communication dans un congrès hal-03844262 v1
Image document

Building A Corporate Corpus For Threads Constitution

Lionel Tadonfouet Tadjou , Fabrice Bourge , Tiphaine Marie , Laurent Romary , Eric Villemonte de La Clergerie
Student Research Workshop associated with the International Conference on Recent Advances in Natural Language Processing (RANLP’2021), Sep 2021, Online, Bulgaria
Communication dans un congrès hal-03351533 v1
Image document

Les modèles de langue contextuels Camembert pour le français : impact de la taille et de l'hétérogénéité des données d'entrainement

Louis Martin , Benjamin Muller , Pedro Javier Ortiz Suárez , Yoan Dupont , Laurent Romary et al.
JEP-TALN-RECITAL 2020 - 33ème Journées d’Études sur la Parole, 27ème Conférence sur le Traitement Automatique des Langues Naturelles, 22ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2020, Nancy / Virtuel, France. pp.54-65
Communication dans un congrès hal-02784755 v3

CamemBERT 2.0: A Smarter French Language Model Aged to Perfection

Wissam Antoun , Francis Kulumba , Rian Touchent , Eric Villemonte de La Clergerie , Benoît Sagot et al.
2024
Pré-publication, Document de travail hal-04789028 v1

Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot
2024
Pré-publication, Document de travail hal-04546134 v1

Headless Language Models: Learning without Predicting with Contrastive Weight Tying

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot
2023
Pré-publication, Document de travail hal-04264051 v1

Is Anisotropy Inherent to Transformers?

Nathan Godey , Eric Villemonte de La Clergerie , Benoît Sagot
2023
Pré-publication, Document de travail hal-04264026 v1

Multilingual Unsupervised Sentence Simplification

Louis Martin , Angela Fan , Eric Villemonte de La Clergerie , Antoine Bordes , Benoît Sagot
2021
Pré-publication, Document de travail hal-03109299 v1

Rethinking Automatic Evaluation in Sentence Simplification

Thomas Scialom , Louis Martin , Jacopo Staiano , Eric Villemonte de La Clergerie , Benoît Sagot
2021
Pré-publication, Document de travail hal-03199901 v1
Image document

Deux siècles de sources disparates sur l'industrie textile en France : comment automatiser les traitements d'un corpus non-uniforme ?

Alix Chagué , Victoria Le Fourner , Manuela Martini , Eric Villemonte de La Clergerie
2019
Pré-publication, Document de travail hal-02951614 v1