TalkShow: Speech to Human Model

Via Aymeric Poulain Maubant. (…) « les systèmes d'IA de type X2Y se multiplient dans toutes les directions, et souvent en quelques jours, grâce à des plateformes d'assemblages de modèles d'IA et d'algos très efficaces. "X2Y" c'est par ex. "text2image", désormais classique. Vous fournissez un "prompt" textuel et le système crée une image. Il y a des text2Y avec Y très original, comme "motion" : vous citez des mouvements, et le système crée une animation réaliste. Mais il y a de plus en plus de X2Y avec X=speech. Vous parlez et le système crée. Voici par ex. TalkShow, publié hier (sur arXiv), qui crée un modèle 3d d'humain réaliste bougeant et s'exprimant, à partir de parole humaine, y compris en français.