J'effectue actuellement des études sur des joueurs de pianos et je m'intéresse à:
leurs vitesses d'exécutions
à la position de leurs mains.
Je ne vois pas de solution autre que le traitement d'image vu les faibles déplacements (écart entre une touche blanche et la touche noire voisine) , la rapidité des déplacements ; le nombre de 'cibles' à suivre....
Est-il envisageable de traiter l'état du clavier et non le positionnement des mains elles-mêmes ?
position des 2 poignets peut être , et encore tout dépend du cahier des charges : cadence d'accquisition, tolérance admise sur la position de chaque poignet
pour les dix doigts je doute fortement de la faisabilité
Je ne connais pas la technologie mise en oeuvre dans les casques VR
La prelière étape de l'étudeconsistr a rédiger un Cahier des Charges fixant entre autres l'objectif a atteindre en matière de précision sur la position et la cadence des mesures ?
Seule une définition détaillée permet de trouver (éventuellement) une solution technologique au problème, il n'existe pas de technologie universelle de pisitionnement et de suivi de mouvement.
Si le piano était a l'extérieur (satellites en vue) et la position a connaître a1m près alors oui le GPS basique serait un candidat !!
En cherchant 'virtual reality hand tracking' sur Google, on trouve des choses à base d'Oculus Quest. Je ne sais pas ce que c'est, certainement un casque du réalité virtuelle avec peut-être des fonctions spécifiques.
Les casques de réalité virtuelle utilisent une IMU (accéléromètre, gyromètre, magnétomètre éventuellement). Il va sans dire que l'on peut difficilement équiper les 10 doigts d'une telle quantité de capteurs sans que ce soit une gène, même si maintenant ils sont relativement petits.
L'avantage du traitement d'image c'est qu'il n'est pas invasif et ne perturbera pas le musicien.
Par contre pour faire de la 3D il faudrait au minimum 2 caméras et assez rapide.
Je ne vois pas le rapport entre le mode d'acquisition des données et la modélisation. L'IMU ou le traitement d'image retourneront sensiblement les mêmes informations (des coordonnées dans l'espace, des vecteurs vitesse, ...).