Plusieurs stages sont disponibles pouur des étudiants en Master 2 et pour des ingénieurs en dernière année.
Deux sujets sont détaillés ci-dessous
- L’apprentissage de représentations de la voix pour l’étude du cerveau vocal (financement envisageable pour une poursuite en thèse)
- L’apprentissage automatique et le deep learning pour la chimie radicalaire (financement disponible pour une poursuite en thèse)
Stage : Apprentissage Automatique pour l’étude des représentations cérébrales de la voix
- Stage Master 2 ou Stage de fin d’études Ingénieur
- Aix-Marseille Université et Ecole Centrale Marseille
- Printemps – été 2024
Encadrement
Pascal Belin, équipe Bases neurales de la Communication, Institut de Neurosciences de la Timone (INT, ), Aix-Marseille Université (AMU)
Etienne Thoret, Equipes Bases neurales de la Communication, Institut de Neurosciences de la Timone (INT, ), Aix-Marseille Université (AMU)
Thierry Artières, Équipe QARMA, Laboratoire d’Informatique et des Systèmes (LIS, UMR 7020), Aix-Marseille Université (AMU), Ecole Centrale Marseille (ECM)
Mots-clés
Apprentissage automatique et apprentissage profond, représentations cérébrales de la voix, données IRM et MEG
Contexte
Ce projet de stage a pour but d’approximer les représentations de l’identité de la voix utilisées par le cerveau humain via des techniques de machine learning. Ces méthodes permettent d’analyser des données d’imagerie cérébrale (IRM fonctionnelle, magnétoencéphalographie) acquises en réponses à un grand nombre de voix différentes et de les prédire à partir des données acoustiques.
Des travaux antérieurs réalisé dans le cadre d’une collaboration entre l’équipe Bases Neurales de la Communication à l’Institut de Neurosciences de la Timone à Marseille et l’équipe QARMA d’Apprentissage Automatique du Laboratoire Informatique et Systemes d’Aix Marseille Université. Dans ces travaux antérieurs des stimuli de voix ont notamment pu être reconstruits pour la première fois sur la base de l’activité cérébrale [Lamothe & al. 2022, Lamothe & al. 2023]
Sujet
Le stage porte sur l’exploration de modèles profonds pour construire un espace latent pertinent des voix permettant la mise en correspondance avec les acticités cérébrales de patients écoutant des voix. Il pourra s’agir de devélopper de nouveaux modèles d’apprentissage de représentations de la voix en s’inspirant de stratégies déjà éprouvées sur les données visuelles [Güclü 2015, Güclü 2016, VanRullen et al., 2019] ou sur la musique, ou bien d’exploiter des architectures existantes et éprouvées afin de les tester pour la tâche d’intérêt [Hsu et al., 2017, Chorowski et al. 2019]. Une attention particulière sera portée à l’explicabilité des modèles utilisés et développés : quelles sont les principales dimensions de l’espace latent et donc des données acoustiques qui expliquent l’activité cérébrale etc.
Comment candidater ?
Par email à Pascal Belin (pascal.belin@univ-amu.fr) et Thierry Artières (thierry.artieres@lis-lab.fr).
Nous considérereons à la fois des profils de formation en neurosciences et/ou en apprentissage automatique.
Références
[Chorowski et al. 2019] Chorowski, Jan, et al. “Unsupervised speech representation learning using wavenet autoencoders.” IEEE/ACM transactions on audio,
[Güçlü et al., 2015] Umut Güçlü, Marcel A. J. van Gerven, Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream, Journal of Neuroscience 8 July 2015, 35 (27) 10005-10014.
[Güçlü et al., 2016] Umut Güçlü, Jordy Thielen, Michael Hanke, Marcel van Gerven, Brains on Beats. NIPS 2016.
[Hsu et al., 2017] Wei-Ning Hsu, Yu Zhang, James R. Glass, Learning Latent Representations for Speech Generation and Transformation. INTERSPEECH 2017: 1273-1277.
[Lamothe & al. 2022] Charly Lamothe, Etienne Thoret, Stéphane Ayache, Régis Trapeau, Bruno L Giordano, Sylvain Takerkart, Thierry Artières, Pascal Belin, Reconstructing voice from fMRI using deep neural networks, FENS 2022, July 2022 (https://www.world-wide.org/fens-22/reconstructing-voice-from-fmri-using-2a602c93/).
[Lamothe et al., 2023] Charly Lamothe, Etienne Thoret, Stéphane Ayache, Régis Trapeau, Bruno L Giordano, Sylvain Takerkart, Thierry Artières, Pascal Belin, Reconstructing voice from fMRI using deep neural network, Poster presentation at 29th Annual Meeting of the Organization of Human Brain Mapping, Montréal, Canada, 2023.
[VanRullen et al., 2019] VanRullen, R., Reddy, L. Reconstructing faces from fMRI pattern using deep generative neural networks. Commun Biol 2, 193 (2019).
Stage : L’apprentissage automatique et le deep learning pour la chimie radicalaire
- Stage Master 2 ou Stage de fin d’études Ingénieur
- Aix-Marseille Université et Ecole Centrale Marseille
- Printemps – été 2024
- Poursuite en thèse possible (financement disponible)
Encadrement
- Mario Barabati, Institut de Chimie Radicalaire (ICM), Aix-Marseille Université (AMU)
- Matheus De Oliveira Bispo, Institut de Chimie Radicalaire (ICM), Aix-Marseille Université (AMU)
- Thierry Artières, Équipe QARMA d’Apprentissage Automatique, Laboratoire d’Informatique et des Systèmes (LIS, UMR 7020), Aix-Marseille Université (AMU), Ecole Centrale Marseille
- Hachem Kadri, Équipe QARMA d’Apprentissage Automatique, Laboratoire d’Informatique et des Systèmes (LIS, UMR 7020), Aix-Marseille Université (AMU)
Contacts: Mario Barbatti (mario.BARBATTI@univ-amu.fr) et Thierry Artières (thierry.artieres@lis-lab.fr)
Mots-clés
Apprentissage automatique et apprentissage profond, apprentissage multitaches, apprentissage de gradient
Sujet
Ce stage s’inscrit dans une collaboration entre les équipes CT/ICR et QARMA du LIS qui vise à promouvoir les solutions d’intelligence artificielle (IA) dans la recherche chimique à Aix Marseille Université (AMU), un domaine encore largement inexploré par la communauté chimique locale. Le contexte, simplifié, de l’étude est le suivant. L’objet d’étude de ce projet est la prédiction de quantités d’intérêt pour une molécule donnée. La molécule correspond à une assemblage d’atomes ineragissant via des liaisons, qui possède une certaine énergie E en fonction de sa géométrie G (positions relatives des différents atomes), et qui est soumise à une force F. L’objectif est de prédire l’énergie E mais aussi la force F en fonction de G. Deux particularités sont importantes pour concevoir un modèle de prédiction des quantiés E et F. D’une part F est égal au gradient de l’énergie E. D’autre part il existe plusieurs surfaces d’energie de E en fonction de G, ces surfaces sont des surfaces continues. Lors de l’évolution d’une molécule sa géométrioe peut évoluer, et il peut y avoir un saut d’une surface à une autre en une géométrie G, saut d’autant plus probable que les deux courbes sont proches pour cette géométrie.
Du point de vue du Machine Learning il s’agit d’une tache de prédiction où l’on veut à la fois prédire une fonction d’énergie à partir des caractéristiques géométriques d’une molécule mais également il s’agit de prédire finement le gradient de cette énergie, pour lequel on dispose également d’une supervision. Enfin il s’agit d’un problème que l’on peut modéliser comme de l’apprentissage multi-taches puisqu’il s’agit de prédire plusieurs surfaces d’énergie simultanément.
Le but du stage est de partir d’approches récentes proposée dans le domaine [Batalia et al., 2022, Batzner et al., 2022, Gilmer et al., 2017, Satoki et al., 2024, Thölke et al., 2022], de les tester et de les comparer expérimentalement puis de proposer une approche innovante permettant de dépasser leurs limites. On pourra s’appuyer sur des idées récentes telles que l’apprentissage multitâche [Crawshaw, 2020] et l’apprentissage de gradient [Wu et al., 2010], des approches qui n’ont pas reçu beaucoup d’attention dans la littérature pour cette tâche.
D’un coté l’apprentissage multitâche est un paradigme dans lequel plusieurs tâches sont apprises simultanément afin d’améliorer les performances de généralisation d’une tâche d’apprentissage à l’aide d’autres tâches connexes. Alors que le protocole typique est d’entraîner un modèle indépendamment pour prédire l’énergie, le gradient il pourrzait etre bénéfique d’exploiter des extensions multitâches, qui n’ont pas été employées jusqu’à présent dans ce type de domaine.
D’un autre coté l’apprentissage du gradient est un cadre peu connu mais potentiellement précieux dans lequel l’objectif est d’apprendre le gradient d’une fonction de classification ou de régression, avec ou sans supervision. Outre l’apprentissage conventionnel de l’énergie à l’aide d’informations sur le gradient, nous explorerons des stratégies basées sur l’apprentissage explicite de la fonction de gradient, en commençant par les réseaux neuronaux dans un cadre multi-sorties et multitâches et en élargissant à d’autres conceptions.
Références
[Batatia et al., 2022] Ilyes Batatia, Dávid Péter Kovács, Gregor N. C. Simm, Christoph Ortner, Gábor Csányi: MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields. NeurIPS 2022
[Batzner et al., 2022] Batzner, S., Musaelian, A., Sun, L. et al. E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentials. Nat Commun 13, 2453 (2022). https://doi.org/10.1038/s41467-022-29939-5
[Crawshaw, 2020] Crawshaw, M. arXiv 2020.Multi-Task Learning with Deep Neural Networks: A Survey, https://doi.org/10.48550/ARXIV.2009.09796
[Gilmer et al., 2017] Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals, George E. Dahl: Neural Message Passing for Quantum Chemistry. ICML 2017: 1263-1272
[Satoki et al., 2024] Satoki Ishiai, Ikki Yasuda, Katsuhiro Endo, and Kenji Yasuoka, Graph-Neural-Network-Based Unsupervised Learning of the Temporal Similarity of Structural Features Observed in Molecular Dynamics Simulations, Journal of Chemical Theory and Computation 2024 20 (2), 819-831
[Thölke et al., 2022] Philipp Thölke, Gianni De Fabritiis, Equivariant Transformers for Neural Network based Molecular Potentials. ICLR 2022 [Wu et al., 2010] Qiang Wu, Justin Guinney, Mauro Maggioni, Sayan Mukherjee: Learning Gradients: Predictive Models that Infer Geometry and Statistical Dependence. J. Mach. Learn. Res. 11: 2175-2198 (2010)