Accéder directement au contenu
RD

Richard Dufour

Enseignant-Chercheur en Informatique - Traitement automatique du langage et de la parole
160
Documents
Affiliation actuelle
  • Traitement Automatique du Langage Naturel (LS2N - équipe TALN)
Identifiants chercheurs
Contact

Présentation

Traitement automatique du langage et de la parole

Laboratoire des Sciences du Numérique de Nantes (LS2N) - Équipe TALN - Nantes Université

Thèmes de recherche

  • Traitement automatique de la langue écrite et parlée
  • Extraction d'information
  • Analyse des réseaux sociaux et Internet
  • Reconnaissance automatique de la parole

Enseignements dispensés

  • Apprentissage automatique : business intelligence, innovation et recherche...
  • Algorithmie et programmation : architecture des ordinateurs, programmation C et C++, structure de données...
  • Modélisation orientée-objet : génie logiciel, langage UML, design patterns avancés, architecture des systèmes d'information...
  • Réseau et sécurité : web et réseaux, architectures orientées services, sécurité des cartes à puce...

Responsabilités académiques et scientifiques

Résumé travaux de recherche

Mes travaux de recherche ont débuté en reconnaissance automatique de la parole (RAP), en particulier sur le traitement de la parole spontanée. Cette thématique se retrouve dans le projet ANR EPAC, où mes travaux m'ont amené à m'intéresser à l'adaptation des modèles de RAP. J'ai également pu travailler sur l'extraction d'information à travers les systèmes de RAP, que l'on retrouve à la fois dans le projet ANR EPAC, pour la détection de la parole spontanée, mais également le projet ANR PERCOL, pour la reconnaissance et correction de noms propres.

Le spectre de mes thématiques de recherche s'est ensuite élargi pour travailler à la fois sur des documents écrits et parlés, avec comme point central la problématique de la représentation des mots contenus dans les documents en vue de leur utilisation pour d'autres tâches. Mes travaux m'ont alors amené à travailler sur des représentations de documents de plus haut niveau que le simple niveau mot, que l'on retrouve en particulier dans le projet ANR SuMACC. La prise en compte de l'aspect temporel des mots et des documents a également fait partie de mes orientations scientifiques, que l'on retrouve dans le projet ANR ContNomina.

Les problématiques en traitement du langage, intégrant une forte interdisciplinarité, ont pris une place de plus en plus importante dans les travaux de recherche dans lesquels je m'intègre depuis plusieurs années (projets GaFes, TheVoice et RePoGa). En particulier, ceux-ci ont fait émerger des problématiques d'évaluation originales, nécessitant la mise en place de cadres expérimentaux souvent inexistants (responsable du projet ANR DIETS). Nous avons donc oeuvré à la proposition de nouveaux cadres de travail dont la dimension sciences humaines a été un enjeu important, nous permettant également de proposer des approches originales comme par exemple pour l'exploration des réseaux sociaux numériques ou l'étude de la voix jouée.

Outils open-source

Données diffusées

  • NACHOS (par Yanis Labrak) : large corpus de données médicales (8 Go) collectées sur Internet et disponibles à des fins de recherche.
  • WAC (par Noé Cécillon) : un corpus de conversations de Wikipedia pour la détection de messages abusifs dans des conversations.
  • ANTILLES (par Yanis Labrak) : extension des POS tags (classes morphsyntaxiques) s'appuyant sur le corpus UD_French-GSD.

Projets et Partenaires

Porteur projet ANR

  • 2023-2027 : Projet ANR MALADES : Grands modèles de langue adaptables et souverains pour le domaine médical français. Partenaires : Clinique des données (CHU de Nantes), LIA (Avignon Université), LIS (Aix-Marseille Université).
  • 2021-2024 : Projet ANR DIETS : Diagnostic automatique des erreurs des systèmes de transcription de parole end-to-end à partir de leur réception par les utilisateurs. Projet JCJC. Experts impliqués : Jane Wottawa - LIUM (Le Mans Université), Arnaud Rey - LPC (Aix-Marseille Université), Yannick Estève et Mickaël Rouvier - LIA (Avignon Université).

Participation projets financés

  • 2023-2027 : Projet CNRS-AID Naviterm : Montée en compétence des chercheurs sur un domaine de recherche.
  • 2023-2027 : Projet ANR Lexhnology : Modélisation linguistique et computationnelle de la structure discursive des textes juridiques appliquée à l'apprentissage des langues. Partenaires : CRINI (Nantes Université - Porteur), ATILF (Université de Lorraine), LAIRDIL (Université de Toulouse).
  • 2018-2021 : Projet ANR The Voice : Etude de la voix de doublage. Partenaires : IRCAM (Porteur), Dubbing Brothers.
  • 2015-2018 : Projet ANR GaFes : Etude des usages via des données collectées sur Internet et ré-éditorialisation des contenus captés ou produits par les internautes. Partenaires : Centre Norbert Elias (Avignon Université), Syllabs, GECE.
  • 2013-2017 : Projet ANR ContNomina : Reconnaissance des noms propres et contextualisation des systèmes de reconnaissance de la parole. Partenaire : LORIA (Université de Lorraine).
  • 2013-2014 : Projet ANR SuMACC : Identification de concepts multimédias par patrons de collaboration. Partenaires : Eurecom, Syllabs, Wikio.
  • 2012-2014 : Projet ANR PERCOL : Recherche de personnes dans des flux audiovisuels. Partenaires : Orange Labs, LIF (Aix-Marseille Université), LILF (Université de Lille).
  • 2007-2010 : Projet ANR EPAC : Transcription automatique de la parole spontanée. Partenaires : LIUM (Le Mans Université), IRIT (Université de Toulouse), LI (Université de Tours), LIA (Avignon Université).

Collaborations industrielles

  • Valeuriad : Thèse de Xavier Pillet. Co-encadrement avec Anastasia Volkova.
  • Aday (anciennement Européenne des Données (EDD)) : Thèse CIFRE de Mohamed Bouaziz.
  • Orkis : Thèse CIFRE de Killian Janod.
  • Zenidoc : Alternance du Master de Yanis Labrak.

Autres projets financés

  • 2021 : Projet interdisciplinaire MITO : Le Mythe d’un marché Immobilier Transparent grâce à l’Open data. Financé par la structure Agorantic (fédération de recherche d'Avignon Université). Collaboration entre mathématiciens (LMA), géographes (ESPACE) et informatique (LIA).
  • 2020 : Projet interdisciplinaire RePoGa : Utilisation des sources d’information disponibles sur Internet pour comprendre les réseaux d’interaction des acteurs politiques d’un territoire ciblé. Financé par la structure Agoranticstructure Agorantic (fédération de recherche d'Avignon Université). Collaboration entre sciences politiques (LBNC) et informatique (LIA).

Organisateur d'ateliers et campagnes d'évaluation

Participation à des campagnes d'évaluation

Encadrement doctoral et scientifique

Thèses en cours

Thèses soutenues

Post-doctorants

  • Cédric Gernigon - 12 mois - décembre 2024 à décembre 2025. Quantification des modèles de langues. Co-encadrement avec Xavier Pillet (40 %) et Anastasia Volkova (40 %).
  • Antoine Tholly - 10 mois - mars à décembre 2024. Etude ces erreurs de reconnaissance automatique de la parole. Co-encadrement avec Jane Wottawa (80 %).

Stagiaires recherche

  • Hugo Leguillier - Master 2 (6 mois - février à juillet 2024). Generation automatique de QCM pour le domaine biomédical. Co-encadrement avec Solen Quiniou (50 %).
  • Ikram Belmadani - Master 2 (6 mois - février à juillet 2024). Adaptation des modèles de langue au domaine biomédical. Co-encadrement avec Benoit Favre (50 %).
  • Mohammed Hmitouch - Master 2 (6 mois - février à juillet 2024). Approches semi-supervisées pour la récupération des déterminants sociaux de santé dans un entrepôt de données hospitalier. Co-encadrement avec Pacôme Constant dit Beaufils (50 %), CHU de Nantes
  • Mamadou Ciré Diallo - Master 2 (6 mois - février à juillet 2023). Portage et adaptation de modèles de langue ouverts sur une application d’aide à l’organisation de conférences multilingues. Co-encadrement avec Colin de la Higuera (50 %)
  • Rima Boubekeur - Master 2 (5 mois - mars à juillet 2022). Génération automatique de hashtags pour des messsages textuels courts issus de Twitter. Co-encadrement avec Florian Boudin (50 %)
  • Noé Cécillon - Master 2 (6 mois - février à août 2019). Exploration de caractéristiques d’embeddings de graphes pour la détection de messages abusifs. Co-encadrement avec Vincent Labatut (50 %)
  • Adrien Gresse - Master 2 (6 mois - février à août 2015). Recommandation de musiques de films. Co-encadrement avec Georges Linarès (50 %)
  • Mathias Quillot - Licence 2 et 3 (3 mois en 2014/2015). Réalisation d'un démonstrateur pour le projet ANR ContNomina. Co-encadrement avec Georges Linarès (50 %)

Alternants recherche

  • Quentin Raymondaud - Master 2 (2021-2022). Explicabilité de réseaux de neurones profonds en traitement de la parole. Co-encadrement avec Mickaël Rouvier (50 %)
  • Yanis Labrak - Master 1 et 2 (2020-2022). Traitement du langage pour l'analyse de comptes-rendus médicaux. Travaux réalisés dans le cadre de la collaboration industrielle avec l’entreprise Zenidoc.
  • Louis Aracil - Master (2020-2021). Outils pour l’analyse de l’e-réputation d’hôtels. Co- encadrement avec Yannick Estève (50 %). Travaux réalisés dans le cadre de la collaboration industrielle avec l’entreprise Aha Concepts at Home Abroad.
  • Mathias Quillot - Master 2 (2015-2017). Conception et réalisation de l'observatoire des festivals dans la cadre du projet ANR GaFes. Début de travaux de recherche en collaboration avec des sociologues du projet sur la réception de contenus numériques par les publics de festivals. Co-encadrement avec Georges Linarès (50 %)

Diffusion et responsabilités scientifiques

  • Responsable de l’équipe Traitement Automatique du Langage Naturel (TALN) du Laboratoire des Sciences du Numérique de Nantes (LS2N) depuis janv. 2022. Co-responsable : Florian Boudin
  • Coordinateur de l’axe scientifique Langage & Cognition de l’Institut Carnot Cognition (avril 2020-septembre 2021), s’agissant d’un des 4 axes scientifiques structurant l’institut composé de 22 laboratoires. En particulier, cet axe implique 7 laboratoires de recherche, pour environ 130 chercheurs. Co-coordination avec Nuria Gala (50 %)
  • Membre élu suppléant du conseil d'administration de l'Association Francophone de la Communication Parlée (AFCP) pour les mandats 2013-2015, 2015-2017 et 2021-2024.
  • Membre élu du conseil scientifique du Laboratoire Informatique d'Avignon (LIA) mars 2014 - septembre 2021. Participation régulière aux réunions ainsi qu'aux décisions du laboratoire.
  • Relectures : IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) depuis 2010, ISCA InterSpeech (depuis 2010), IEEE EUSIPCO (depuis 2013), IEEE Signal Processing Letters (2013), IEEE/ACM Transactions on Audio, Speech, and Language Processing (2015), IEEE ASRU (depuis 2017), ACM Transactions on Knowledge Discovery from Data (2018), IEEE Access (2019), IEEE SLT (2020) Journées d'Études sur la Parole (JEP) (depuis 2010).
  • Participation au comité de programme et comité scientifique de la conférence JEP 2014 au Mans (France).
  • Sociétés savantes : membre ISCA, IEEE, AFCP.

Professeur des Universités au LS2N (Depuis 2021)

Depuis septembre 2021 au 14 octobre 2023, puis depuis le 1er septembre 2024, je suis professeur des universités au Laboratoire des Sciences du Numérique de Nantes (LS2N) au sein de l'équipe TALN. Je suis responsable de l'équipe TALN avec Florian Boudin. Mes centres d'intérêts actuels se sont principalement concentrés sur l'évaluation de systèmes de reconnaissance automatique de la parole ainsi que sur la modélisation du langage et la constitution de corpus. J'a notamment travaillé sur les modèles de langue masqués pour le domaine de la santé (DrBERT) ainsi que sur les grands modèles de langue (Large Language Models - LLM) avec le projet ANR MALADES dont je suis le porteur. De façon plus large, je participe activement aux projets ANR MALADES, DIETS et Lexhnology, ainsi que le projet CNRS-AID Naviterm.

Maître de Conférences au LIA (2012-2021)

De septembre 2012 au 1er septembre 2021, j'ai été maître de conférences au sein du Laboratoire Informatique d'Avignon (LIA). Mon profil initial, plutôt orienté vers la reconnaissance de la parole et l'extraction d'information dans les flux audio, évolue, d'une manière plus globale, vers le traitement automatique du langage. Mes centres d'intérêts actuels sont ainsi concentrés sur la reconnaissance de la parole, et notamment l'intégration de la théorie des possibilités (thèse de K. Janod) dans ces problématiques (mesures de confiance, modèles acoustiques...), sur la compréhension et l'indexation de la parole dans un contexte multimédia (projets ANR SuMACC, ContNomina, Percol… et thèse de M. Morchid), la délinéarisation de flux vidéos (thèse de M. Bouaziz), ou encore l'extraction d'information dans les réseaux sociaux (travaux autour de Twitter durant la campagne d'évaluation RepLab, ainsi que des travaux de thèse avec M. Morchid sur la caractérisation du phénomène de retweet). Je suis également impliqué dans différentes projets financés par l'Agence Nationale de la Recherche (ANR) ainsi que dans différentes campagnes d'évaluation.

Post-Doctorat à Orange Labs (2011-2012)

De juin 2011 à juin 2012, j'ai été post-doctorant au sein de l'entreprise Orange Labs, à Lannion. J'ai travaillé principalement sur la détection, la caractérisation et la correction d'erreurs dans les transcriptions automatiques. L'objectif de ces travaux de recherche était de retrouver les régions d'erreurs (erreurs consécutives) des transcriptions en sortie des systèmes de reconnaissance de la parole ainsi que de les catégoriser afin de mieux comprendre la nature de l'erreur. Ainsi, la nature de ces erreurs peut être diverse : erreurs de noms de personnes, de noms propres, ou encore dues au phénomène de l'homophonie.
Dans la continuité de ces travaux de détection, nos travaux se sont orientés ensuite vers la correction des erreurs de noms de personnes dans les transcriptions automatiques, avec un lien direct avec le défi REPERE. Les erreurs sur ces noms ont un impact direct, par exemple, dans une problématique d'indexation des documents. Nous avons donc cherché à les corriger automatiquement en utilisant la détection des régions d'erreurs précédemment proposée. Nous avons appliqué une technique de correction au niveau phonétique. En effet, les mots mal transcrits fournis par un système de transcription peuvent être très proches phonétiquement du nom des personnes que nous devions retrouver. Le principe de cette approche est de comparer la séquence phonétique de la région d'erreurs avec l'ensemble des séquences phonétiques des noms de personnes contenues dans un dictionnaire. Le nom de personnes le plus proche de la séquence phonétique de la région d'erreurs est alors choisi comme correction. Par exemple, le nom Sébastien Chabal ("s ei b a s t i in ch a b a l") est le plus proche phonétiquement de la région d'erreurs avec la séquence phonétique "s ei b a t i in ch a r a d e" (c'est bah tiens charade).

Séjour de Recherche à M*Modal 3M (2010)

J'ai eu l'occasion d'effectuer un séjour de recherche de 4 mois (juin à octobre 2010) dans l'entreprise M*Modal à Pittsburgh (Etats-Unis). Cette entreprise a pour activité principale la transcription parfaite de rapports médicaux.
Mon travail s'est porté sur la problématique de la phonétisation automatique des mots du dictionnaire de prononciation du système de transcription de l'entreprise. Un des enjeux a été de proposer des mesures de confiance pour chaque phonétisation automatique proposée par l'outil de Grapheme-To-Phoneme. Cette mesure de confiance a pour utilité principale de guider les corrections manuelles de ces phonétisations : les correcteurs humains se focalisent en priorité sur les mots étant très mal phonétisés automatiquement (mesure de confiance faible). Dans la continuité de ces travaux, j'ai également proposé une solution permettant de choisir automatiquement la ou les meilleures prononciations automatiques d'un mot en s'aidant des documents audio.

Attaché Temporaire de Recherche au LIUM (2010-2011)

D'octobre 2010 à juin 2011, j'ai été Attaché Temporaire d'Enseignement et de Recherche (ATER) à mi-temps au Laboratoire d'Informatique de le Mans Université (LIUM). J'ai notamment étudié la possibilité d'appliquer le détecteur de type de parole afin de caractériser les documents multimédias, particulièrement sur la problématique de la reconnaissance des rôles de locuteurs. Les premiers travaux réalisés ont cherché à mettre en lumière le lien existant entre la spontanéité de la parole et le rôle d'un locuteur dans une émission. Pour ce faire, une étude précise a été menée afin de quantifier un type de parole par rapport à un rôle de locuteur ou à un type d'émission. En effet, nous voulions vérifier expérimentalement, par exemple, qu'un journaliste tend à préparer son discours, alors qu'une personne interviewée aurait tendance à avoir un discours moins structuré et moins fluide, donc une parole plus spontanée. Pour mener à bien cette étude, un corpus de 100 heures d'émissions radiophoniques, annoté manuellement en rôles de locuteurs et types d'émissions, a été utilisé (corpus fourni dans la cadre du projet EPAC), sur lequel j'ai appliqué le détecteur de type de parole développé durant ma thèse.
La seconde partie de mes travaux a alors cherché à reconnaître automatiquement le rôle des locuteurs dans des émissions radiophoniques avec l'utilisation des caractéristiques issues de mes travaux sur la détection de la parole spontanée. Nous voulions donc démontrer qu'il était possible de proposer un système de détection de rôles alternatif à ceux existants en nous appuyant sur notre système de détection du type de parole. Les résultats obtenus ont permis de montrer qu'une reconnaissance des rôles était possible au moyen de cette approche : 74,4% des locuteurs ont été associés avec leur rôle correct.

Doctorat en Informatique (2007-2010)

Transcription automatique de la parole spontanée

Soutenue le 1er décembre 2010 à Le Mans Université.
Manuscrit disponible en ligne : https://tel.archives-ouvertes.fr/tel-00595465/document

Composition du Jury :

Présidente
Martine ADDA-DECKER (LPP/CNRS - Université de Paris 3)

Rapporteurs
Guillaume GRAVIER (IRISA/CNRS - Université de Rennes 1)
Denis JOUVET (LORIA/INRIA - Université de Nancy)

Directeurs
Paul DELÉGLISE (LIUM - Le Mans Université)
Yannick ESTÈVE (LIUM - Le Mans Université)

Résumé de thèse

Les systèmes de Reconnaissance Automatique de la Parole (RAP) atteignent actuellement des performances suffisantes pour être intégrés dans diverses applications (dialogue homme-machine, recherche d'information, indexation automatique...). Cependant, dans le cadre de la reconnaissance automatique de la parole continue à grand vocabulaire, que l'on utilise par exemple pour transcrire des émissions radiophoniques d'information, la qualité des transcriptions varie selon le type de parole contenu dans les documents. En effet, les systèmes de RAP ont beaucoup plus de facilité à transcrire de la parole préparée, proche d'un texte lu, que de la parole spontanée, caractérisée par de nombreuses spécificités (disfluences, agrammaticalité, baisse de la fluidité de la parole...).

Le travail de cette thèse vise le traitement de la parole spontanée et s'inscrit dans le cadre du projet EPAC (Exploration de masse de documents audio pour l'extraction et le traitement de la PArole Conversationnelle). L'objectif principal est de proposer des solutions pour améliorer les performances des systèmes de RAP sur ce type de parole. Nous avons choisi d'aborder, dans notre travail, la parole spontanée en tant qu'objet d'étude particulier nécessitant des traitements spécifiques.

Ainsi, dans un premier temps, nous proposons un outil de détection automatique de la parole spontanée, basé sur les spécificités de ce type de parole. Cet outil est très important puisqu'il nous permet, dans un deuxième temps, de proposer une approche non-supervisée d'adaptation des modèles acoustiques et des modèles de langage du système de RAP à la parole spontanée, en sélectionnant automatiquement les segments contenant ce type de parole. La transcription résultant de cette adaptation propose des hypothèses de reconnaissance différentes de celles fournies par le système de base. La combinaison de ces deux propositions de transcription permet d'observer une réduction significative du taux d'erreur-mot.

Ce besoin de solutions spécifiques a finalement orienté une partie de notre travail vers la correction d'un problème particulièrement présent en français : l'homophonie. Nous cherchons alors à corriger les transcriptions, fournies par un système de RAP, au moyen d'une méthode proposant des solutions spécifiques à certains problèmes particuliers de l'homophonie. L'approche se focalise sur la correction de certaines erreurs, auxquelles une solution particulière est proposée. Cette méthode, en post-traitement des systèmes de RAP, corrige certains mots et classes de mots homophones, indépendamment du système de RAP utilisé.

Habilitation à Diriger des Recherches - HDR (2020)

Traitement automatique du langage : Études et apports aux frontières de l’interdisciplinarité

Soutenue le 8 décembre 2020 à Avignon Université. Manuscrit disponible en ligne : https://hal.science/tel-03076867/document

Composition du Jury :

Rapporteurs
Philippe LANGLAIS (DIRO - Université de Montréal)
Sophie ROSSET (LIMSI - Université Paris-Saclay)
Pascale SEBILLOT (IRISA - Université de Rennes 1)

Examinateurs
Jean-François BONASTRE (LIA - Avignon Université)
Yannick ESTEVE (LIA - Avignon Université)
Emmanuel ETHIS (INSEAC, CNAM - Guingamp)
Georges LINARES (LIA - Avignon Université)
Emmanuel MORIN (LS2N - Université de Nantes)

Résumé HDR

Le traitement automatique du langage naturel (TALN) est un vaste domaine de recherche intégrant de nombreuses thématiques scientifiques (reconnaissance automatique de la parole, indexation automatique de documents, traduction automatique, synthèse vocale...). Grâce aux avancées obtenues au fil des dernières décennies dans chacune de ces thématiques, de nombreux outils et services ont pris vie hors des laboratoires de recherche pour atteindre le tissu socio-économique, et plus généralement le grand public, avec en fer de lance les assistants vocaux intelligents. Malgré ces grandes avancées, le TALN reste un domaine de recherche très actif, avec de nombreuses problématiques scientifiques ouvertes, considérant le fait que le langage, tout comme les usages de la société, ne sont pas figés mais en constante évolution.

Ce manuscrit propose un panorama des différents travaux de recherche auxquels j'ai pu participer ces dernières années, principalement en tant que maître de conférences au LIA, mettant alors en perspective l'évolution de mes travaux, qui m'ont conduit à travailler en collaboration avec d'autres disciplines scientifiques pour l'avancée du domaine du TALN. Ces derniers travaux sont notamment au centre de mes perspectives de recherche.

La première partie du manuscrit est consacrée à une des problématiques historiques, à savoir la représentation du contenu écrit et parlé. Nous présentons nos travaux sur la robustesse des représentations face au langage, en prenant en considération le contexte des documents, ainsi que l'utilisation et la proposition de représentations latentes pour la classification de documents.

Nous voyons ensuite, dans la deuxième partie, certains des travaux que nous avons menés sur la performance et l'évaluation en traitement du langage, allant de l'analyse et la caractérisation des erreurs de reconnaissance automatique de la parole, à leur correction.

La troisième partie montre l'évolution de mes activités de recherche, qui se sont alors orientées vers des problématiques interdisciplinaires pour le traitement du langage, avec nos travaux sur l'exploration des réseaux sociaux pour l'analyse d'événements, la détection de messages abusifs, et enfin le doublage vocal et la recommandation de voix.

La dernière partie résume mes activités de recherche, précisant les projets dans lesquels je me suis intégré, les différents encadrements d'étudiants auxquels j'ai pu participer, et mon implication dans le rayonnement et la vulgarisation scientifiques. Enfin, je termine ce manuscrit par une synthèse de ces différents travaux, me permettant de dresser une esquisse des activités de recherche futures dans lesquelles je souhaite m'impliquer à court, mais également à long terme, s'orientant assez largement vers des travaux interdisciplinaires.

Domaines de recherche

Traitement du texte et du document

Publications

61
56
14
9
4
3
2
2
1
1
1
1
1
1
1
1
1
8
7
7
6
6
5
5
4
4
4
4
4
4
4
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
52
39
27
23
16
15
13
13
11
10
10
10
10
9
9
9
9
9
8
8
8
7
7
7
7
6
6
5
5
5
4
4
4
4
4
4
4
3
3
3
3
3
3
3
3
3
3
3
3
3
3
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
12
16
17
13
9
6
9
4
3
6
9
8
18
12
4
2
7
3
2
81
66
4
3
3
2

Publications