Plusieurs stages sont disponibles pouur des \u00e9tudiants en Master 2 et pour des ing\u00e9nieurs en derni\u00e8re ann\u00e9e.<\/p>\n\n\n\n
Deux sujets sont d\u00e9taill\u00e9s ci-dessous<\/p>\n\n\n\n
<\/p>\n\n\n\n
Pascal Belin, \u00e9quipe Bases neurales de la Communication, Institut de Neurosciences de la Timone (INT, ), Aix-Marseille Universit\u00e9 (AMU)<\/p>\n\n\n\n
Etienne Thoret, Equipes Bases neurales de la Communication, Institut de Neurosciences de la Timone (INT, ), Aix-Marseille Universit\u00e9 (AMU)<\/p>\n\n\n\n
Thierry Arti\u00e8res, \u00c9quipe QARMA, Laboratoire d\u2019Informatique et des Syst\u00e8mes (LIS, UMR 7020), Aix-Marseille Universit\u00e9 (AMU), Ecole Centrale Marseille (ECM)<\/p>\n\n\n\n
Apprentissage automatique et apprentissage profond, repr\u00e9sentations c\u00e9r\u00e9brales de la voix, donn\u00e9es IRM et MEG <\/p>\n\n\n\n
Ce projet de stage a pour but d\u2019approximer les repr\u00e9sentations de l\u2019identit\u00e9 de la voix utilis\u00e9es par le cerveau humain via des techniques de machine learning. Ces m\u00e9thodes permettent d’analyser des donn\u00e9es d\u2019imagerie c\u00e9r\u00e9brale (IRM fonctionnelle, magn\u00e9toenc\u00e9phalographie) acquises en r\u00e9ponses \u00e0 un grand nombre de voix diff\u00e9rentes et de les pr\u00e9dire \u00e0 partir des donn\u00e9es acoustiques. <\/p>\n\n\n\n
Des travaux ant\u00e9rieurs r\u00e9alis\u00e9 dans le cadre d\u2019une collaboration entre l\u2019\u00e9quipe Bases Neurales de la Communication \u00e0 l\u2019Institut de Neurosciences de la Timone \u00e0 Marseille et l\u2019\u00e9quipe QARMA d\u2019Apprentissage Automatique du Laboratoire Informatique et Systemes d\u2019Aix Marseille Universit\u00e9. Dans ces travaux ant\u00e9rieurs des stimuli de voix ont notamment pu \u00eatre reconstruits pour la premi\u00e8re fois sur la base de l\u2019activit\u00e9 c\u00e9r\u00e9brale [Lamothe & al. 2022, Lamothe & al. 2023]<\/p>\n\n\n\n
Le stage porte sur l\u2019exploration de mod\u00e8les profonds pour construire un espace latent pertinent des voix permettant la mise en correspondance avec les acticit\u00e9s c\u00e9r\u00e9brales de patients \u00e9coutant des voix. Il pourra s\u2019agir de dev\u00e9lopper de\u00a0 nouveaux mod\u00e8les d\u2019apprentissage de repr\u00e9sentations de la voix en s\u2019inspirant de strat\u00e9gies d\u00e9j\u00e0 \u00e9prouv\u00e9es sur les donn\u00e9es visuelles [G\u00fccl\u00fc 2015, G\u00fccl\u00fc 2016, VanRullen et al., 2019] ou sur la musique, ou bien d\u2019exploiter des architectures existantes et \u00e9prouv\u00e9es afin de les tester pour la t\u00e2che d\u2019int\u00e9r\u00eat [Hsu et al., 2017, Chorowski et al. 2019].\u00a0 Une attention particuli\u00e8re sera port\u00e9e \u00e0 l\u2019explicabilit\u00e9 des mod\u00e8les utilis\u00e9s et d\u00e9velopp\u00e9s : quelles sont les principales dimensions de l\u2019espace latent et donc des donn\u00e9es acoustiques qui expliquent l\u2019activit\u00e9 c\u00e9r\u00e9brale etc.<\/p>\n\n\n\n
Par email \u00e0 Pascal Belin (pascal.belin@univ-amu.fr<\/a>) et Thierry Arti\u00e8res (thierry.artieres@lis-lab.fr<\/a>).<\/p>\n\n\n\n Nous consid\u00e9rereons \u00e0 la fois des profils de formation en neurosciences et\/ou en apprentissage automatique.<\/p>\n\n\n\n [Chorowski et al. 2019] Chorowski, Jan, et al. \u00ab\u00a0Unsupervised speech representation learning using wavenet autoencoders.\u00a0\u00bb IEEE\/ACM transactions on audio, <\/em><\/p>\n\n\n\n [G\u00fc\u00e7l\u00fc et al., 2015] Umut G\u00fc\u00e7l\u00fc, Marcel A. J. van Gerven, Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream, Journal of Neuroscience 8 July 2015, 35 (27) 10005-10014.<\/p>\n\n\n\n [G\u00fc\u00e7l\u00fc et al., 2016] Umut G\u00fc\u00e7l\u00fc, Jordy Thielen, Michael Hanke, Marcel van Gerven, Brains on Beats. NIPS 2016.<\/p>\n\n\n\n [Hsu et al., 2017] Wei-Ning Hsu, Yu Zhang, James R. Glass, Learning Latent Representations for Speech Generation and Transformation. INTERSPEECH 2017: 1273-1277.<\/p>\n\n\n\n [Lamothe & al. 2022] Charly Lamothe, Etienne Thoret, St\u00e9phane Ayache, R\u00e9gis Trapeau, Bruno L Giordano, Sylvain Takerkart, Thierry Arti\u00e8res, Pascal Belin, Reconstructing voice from fMRI using deep neural networks, FENS 2022, July 2022 (https:\/\/www.world-wide.org\/fens-22\/reconstructing-voice-from-fmri-using-2a602c93\/<\/a>).<\/p>\n\n\n\n [Lamothe et al., 2023] Charly Lamothe, Etienne Thoret, St\u00e9phane Ayache, R\u00e9gis Trapeau, Bruno L Giordano, Sylvain Takerkart, Thierry Arti\u00e8res, Pascal Belin, Reconstructing voice from fMRI using deep neural network, Poster presentation at 29th Annual Meeting of the Organization of Human Brain Mapping, Montr\u00e9al, Canada, 2023. <\/p>\n\n\n\n [VanRullen et al., 2019] VanRullen, R., Reddy, L. Reconstructing faces from fMRI pattern using deep generative neural networks. Commun Biol 2, 193 (2019).<\/p>\n\n\n\n Contacts: Mario Barbatti (mario.BARBATTI@univ-amu.fr<\/a>) et Thierry Arti\u00e8res (thierry.artieres@lis-lab.fr<\/a>)<\/p>\n\n\n\n Apprentissage automatique et apprentissage profond, apprentissage multitaches, apprentissage de gradient<\/p>\n\n\n\n Ce stage s\u2019inscrit dans une collaboration entre les \u00e9quipes CT\/ICR et QARMA du LIS qui\u00a0 vise \u00e0 promouvoir les solutions d’intelligence artificielle (IA) dans la recherche chimique \u00e0 Aix Marseille Universit\u00e9 (AMU), un domaine encore largement inexplor\u00e9 par la communaut\u00e9 chimique locale. Le contexte, simplifi\u00e9, de l\u2019\u00e9tude est le suivant. L\u2019objet d\u2019\u00e9tude de ce projet est la pr\u00e9diction de quantit\u00e9s d\u2019int\u00e9r\u00eat pour une mol\u00e9cule donn\u00e9e. La mol\u00e9cule correspond \u00e0 une assemblage d\u2019atomes ineragissant via des liaisons, qui poss\u00e8de une certaine \u00e9nergie E <\/em>en fonction de sa g\u00e9om\u00e9trie G<\/em> (positions relatives des diff\u00e9rents atomes), et qui est soumise \u00e0 une force F<\/em>. L\u2019objectif est de pr\u00e9dire l\u2019\u00e9nergie E <\/em>mais aussi la force F<\/em> en fonction de G<\/em>. Deux particularit\u00e9s sont importantes pour concevoir un mod\u00e8le de pr\u00e9diction des quanti\u00e9s E<\/em> et F<\/em>. D\u2019une part F<\/em> est \u00e9gal au gradient de l\u2019\u00e9nergie E<\/em>. D\u2019autre part il existe plusieurs surfaces d\u2019energie de E<\/em> en fonction de G<\/em>, ces surfaces sont des surfaces continues. Lors de l\u2019\u00e9volution d\u2019une mol\u00e9cule sa g\u00e9om\u00e9trioe peut \u00e9voluer, et il peut y avoir un saut d\u2019une surface \u00e0 une autre en une g\u00e9om\u00e9trie G<\/em>, saut d\u2019autant plus probable que les deux courbes sont proches pour cette g\u00e9om\u00e9trie.<\/p>\n\n\n\n Du point de vue du Machine Learning il s\u2019agit d\u2019une tache de pr\u00e9diction o\u00f9 l\u2019on veut \u00e0 la fois pr\u00e9dire une fonction d\u2019\u00e9nergie \u00e0 partir des caract\u00e9ristiques g\u00e9om\u00e9triques d\u2019une mol\u00e9cule mais \u00e9galement il s\u2019agit de pr\u00e9dire finement le gradient de cette \u00e9nergie, pour lequel on dispose \u00e9galement d\u2019une supervision. Enfin il s\u2019agit d\u2019un probl\u00e8me que l\u2019on peut mod\u00e9liser comme de l\u2019apprentissage multi-taches puisqu\u2019il s\u2019agit de pr\u00e9dire plusieurs surfaces d\u2019\u00e9nergie simultan\u00e9ment.\u00a0\u00a0\u00a0\u00a0<\/p>\n\n\n\n Le but du stage est de partir d\u2019approches r\u00e9centes propos\u00e9e dans le domaine [Batalia et al., 2022, Batzner et al., 2022, Gilmer et al., 2017, Satoki et al., 2024, Th\u00f6lke et al., 2022], de les tester et de les comparer exp\u00e9rimentalement puis de proposer une approche innovante permettant de d\u00e9passer leurs limites. On pourra s\u2019appuyer sur des id\u00e9es r\u00e9centes telles que l’apprentissage multit\u00e2che [Crawshaw, 2020] et l’apprentissage de gradient [Wu et al., 2010], des approches qui n’ont pas re\u00e7u beaucoup d’attention dans la litt\u00e9rature pour cette t\u00e2che.<\/p>\n\n\n\n D\u2019un cot\u00e9 l’apprentissage multit\u00e2che est un paradigme dans lequel plusieurs t\u00e2ches sont apprises simultan\u00e9ment afin d’am\u00e9liorer les performances de g\u00e9n\u00e9ralisation d’une t\u00e2che d’apprentissage \u00e0 l’aide d’autres t\u00e2ches connexes. Alors que le protocole typique est d’entra\u00eener un mod\u00e8le ind\u00e9pendamment pour pr\u00e9dire l’\u00e9nergie, le gradient il pourrzait etre b\u00e9n\u00e9fique d\u2019exploiter des extensions multit\u00e2ches, qui n’ont pas \u00e9t\u00e9 employ\u00e9es jusqu’\u00e0 pr\u00e9sent dans ce type de domaine.<\/p>\n\n\n\n D\u2019un autre cot\u00e9 l’apprentissage du gradient est un cadre peu connu mais potentiellement pr\u00e9cieux dans lequel l’objectif est d’apprendre le gradient d’une fonction de classification ou de r\u00e9gression, avec ou sans supervision. Outre l’apprentissage conventionnel de l’\u00e9nergie \u00e0 l’aide d’informations sur le gradient, nous explorerons des strat\u00e9gies bas\u00e9es sur l’apprentissage explicite de la fonction de gradient, en commen\u00e7ant par les r\u00e9seaux neuronaux dans un cadre multi-sorties et multit\u00e2ches et en \u00e9largissant \u00e0 d’autres conceptions.\u00a0\u00a0<\/p>\n\n\n\n [Batatia et al., 2022] Ilyes Batatia, D\u00e1vid P\u00e9ter Kov\u00e1cs, Gregor N. C. Simm, Christoph Ortner, G\u00e1bor Cs\u00e1nyi: MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields. NeurIPS 2022<\/p>\n\n\n\n [Batzner et al., 2022] Batzner, S., Musaelian, A., Sun, L. et al. E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentials. Nat Commun 13, 2453 (2022). https:\/\/doi.org\/10.1038\/s41467-022-29939-5<\/a><\/p>\n\n\n\nR\u00e9f\u00e9rences <\/h3>\n\n\n\n
\n\n\n\nStage : L’apprentissage automatique et le deep learning pour la chimie radicalaire <\/h2>\n\n\n\n
\n
Encadrement<\/h3>\n\n\n\n
\n
Mots-cl\u00e9s<\/h3>\n\n\n\n
Sujet<\/h3>\n\n\n\n
R\u00e9f\u00e9rences <\/h3>\n\n\n\n