Reconnaissance de parole beatboxée à l'aide d'un système HMM-GMM inspiré de la reconnaissance automatique de la parole

Solène Evain (1) , Adrien Contesse (2) , Antoine Pinchaud (3) , Didier Schwab (4, 1, 5) , Benjamin Lecouteux (1) , Nathalie Henrich Bernardoni (6)

1 LIG - Laboratoire d'Informatique de Grenoble
2 ESAD Amiens
3 Vocalgrammatics
4 UGA - Université Grenoble Alpes
5 GETALP - Groupe d’Étude en Traduction Automatique/Traitement Automatisé des Langues et de la Parole
6 GIPSA-MOVE - GIPSA - Analyse et Modification de l'homme en mouvement : biomécanique, cognition, vocologie

Le human-beatbox est un art vocal utilisant les organes de la parole pour produire des sons percussifs et imiter les instruments de musique. La classification des sons du beatbox représente actuellement un défi. Nous proposons un système de reconnaissance des sons de beatbox s’inspirant de la reconnaissance automatique de la parole. Nous nous appuyons sur la boîte à outils Kaldi, qui est très utilisée dans le cadre de la reconnaissance automatique de la parole (RAP). Notre corpus est composé de sons isolés produits par deux beatboxers et se compose de 80 sons différents. Nous nous sommes concentrés sur le décodage avec des modèles acoustiques monophones, à base de HMM-GMM. La transcription utilisée s’appuie sur un système d’écriture spécifique aux beatboxers, appelé Vocal Grammatics (VG). Ce système d’écriture s’appuie sur les concepts de la phonétique articulatoire.

Mots clés: Kaldi; reconnaissance automatique de la parole; human-beatbox; reconnaissance de sons isolés.

Domaines: Informatique et langage [cs.CL]

Solène Evain, Adrien Contesse, Antoine Pinchaud, Didier Schwab, Benjamin Lecouteux, et al.. Reconnaissance de parole beatboxée à l'aide d'un système HMM-GMM inspiré de la reconnaissance automatique de la parole. JEP-TALN-RECITAL 2020 - 6e conférence conjointe 33e Journées d'Études sur la Parole, 27e Traitement Automatique des Langues Naturelles, 22e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2020, Nancy, France. pp.208-216. ⟨hal-02798538v3⟩