Une IA capable de doubler des vidéos en indien en corrigeant la synchro labiale

Une IA capable de doubler des vidéos en indien en corrigeant la synchro labiale

16 février 2020

Chercher
Generic filters
Correspondances exactes seulement
Recherche dans le titre
Rechercher dans le contenu
Rechercher dans l'extrait
Recherche dans les commentaires
Filtrer par type de message personnalisé
À consulter en cas de problème d'affichage ou de mauvais fonctionnement du site.

Si vous rencontrez un problème sur le site ( problème d’affichage, boutons des réseaux sociaux qui ne s’affiches pas, la zone des commentaires ne s’affiche pas ou d’autres problèmes) c’est peut-être à cause d’une extension de votre navigateur. Certaines extensions peuvent provoquer ce genre de problème, en particulier les bloqueurs de pub.

Si vous rencontrez les problèmes cités ci-dessus ou d’autres problèmes, veuillez mettre le site en liste blanche dans les bloqueurs de pub que vous utilisez et vérifié que vous n’utilisez pas d’autres applications susceptibles de bloquer certaines fonctionnalités du site.

Une révolution technologique qui pourrait améliorer le doublage de vos films ou séries préférés

Quoi de plus insupportable qu’un film mal doublé ? Vous savez le timbre de voix qui ne colle pas au personnage et qui vous perturbe au point de ne pas apprécier le film à sa juste valeur…

Et bien là la technologie pourrait avoir son mot à dire dans un futur relativement proche. Une intelligence artificielle qui serait non seulement capable de traduire automatiquement l’audio d’un film, mais aussi de corriger la synchro labiale.

Cette IA peut parfaitement doubler des vidéos en langues indiennes

Les gens en Inde regardent beaucoup de vidéos sur Internet. Selon un rapport du Wall Street Journal, les Indiens dépensent en moyenne plus de 8,5 Go de données mobiles, et la plupart en vidéo. 

L’année dernière, YouTube a déclaré que plus de 95% de la consommation de contenu se faisait dans les langues régionales. Alors naturellement, il y a beaucoup d’appétit pour les vidéos en langue vernaculaire, mais tous les créateurs ne connaissent pas toutes les langues indiennes.

Une solution est le doublage. La semaine dernière, juste après que Parasite a remporté l’Oscar, Mother Jones a affirmé que le doublage était supérieur aux sous-titres traduits. Mais laissez-moi vous dire que ça craint. Il y a beaucoup de films en anglais doublés en hindi ou la synchronisation labiale est souvent mauvaise et le doublage semble assez peu naturel.

Aujourd’hui, des chercheurs de l’Institut international des technologies de l’information de la ville méridionale de Hyderabad, en Inde, ont développé un nouveau modèle d’IA qui traduit et synchronise les lèvres d’une vidéo d’une langue à une autre avec une grande précision.

L’équipe a déclaré que nous disposions déjà de la technologie pour obtenir la traduction textuelle ou vocale d’une vidéo. Cependant, la traduction visuelle comme le mouvement des lèvres est perdue lors du doublage. 

Pour résoudre ce problème, les chercheurs indiens ont développé un nouveau Réseau antagoniste génératif (GAN) appelé LipGAN. Bien qu’il puisse correspondre aux mouvements des lèvres du texte traduit dans une vidéo originale, il peut également corriger les mouvements des lèvres dans un film doublé.

Pour traduire des vidéos, le modèle transcrit la parole dans la vidéo à l’aide de la reconnaissance vocale. Ensuite, il utilise un modèle spécialisé formé aux langues indiennes pour traduire le texte, par exemple de l’anglais vers l’hindi. 

Ensuite, le modèle de reconnaissance vocale le convertit en voix. La traduction “speech-to-speech” couplée à LipGAN constitue le modèle complet. Les chercheurs ont noté que leur modèle de traduction était plus précis que Google Translate.

CV Jawahar, doyen, Recherche et développement, IIIT-H, a déclaré que cette technologie aidera à créer plus de contenu dans les langues régionales:

La création manuelle de contenu vernaculaire à partir de zéro, ou même la traduction et le doublage manuel de vidéos existantes ne s’adapteront pas au rythme de la création de contenu numérique. C’est pourquoi nous voulons que ce soit complètement automatique.

Il existe des vidéos superbement créées sur divers sujets par le MIT et d’autres institutions prestigieuses qui sont inaccessibles à un public indien plus large simplement parce qu’il ne peut pas comprendre le ou les accents. Oubliez les ruraux, même moi je ne comprendrai pas !

CV Jawahar

doyen, Recherche et développement, IIIT-H

L’équipe a ajouté que le modèle avait toujours du mal à bouger ou à faire face à plusieurs visages dans les vidéos. En plus de résoudre ces problèmes, l’équipe souhaite travailler sur l’amélioration des expressions du visage après la traduction.

Nous avons vu beaucoup d’efforts de la part des GANs pour recréer les mouvements du visage ou du corps en utilisant une seule photo. Mais la plupart de ces recherches sont en une seule langue, l’anglais. 

Il a fallu quelques itérations pour que ces modèles d’IA deviennent assez convaincants à l’œil humain. Ainsi, bien que le modèle ci-dessus ait ses inconvénients, il est l’un des rares GAN à travailler sur un modèle multilingue. Il peut certainement s’améliorer avec le temps avec plus de données.

L’année dernière, les deepfakes étaient dans l’actualité pour son utilisation négative. Mais, l’IA de modification vidéo à des fins éducatives ou de divertissement est un cas d’utilisation assez important de cette technologie. Ce modèle en est un parfait exemple.

Vous pouvez lire l’article complet ici.

Looks de Series et Films

Look de Tony Stark dans Avengers Infinity War (Veste et Lunettes)

Arborer le look de Tony Stark, le génie, milliardaire, play-boy, philanthrope de Marvel. Avec une veste de sport à capuche, et une paire de lunette de soleil. Interprété par Robert Downey Jr dans le film Avengers: Infinity War.

Look de “Black Widow” Natasha Romanoff dans Avengers Infinity War (Combinaison et Veste)

Arborer le look de (Black Widow) Natasha Romanoff en combinaison, veste de qualité exceptionnelle et bote en cuir, interprété par Scarlett Johansson dans le filme Avengers Infinity War. Le costume comprend une combinaison, un gilet, une ceinture, un étui, des coudières, des poignets, des gants, des épaulières et une carapace.

Look du Todd dans la serie Scrubs ( bandana et blouse chirurgicale )

Arborer le look de du Todd en blouse chirurgicale, et bandana Surgical Caps Flames, interprété par Robert Maschio dans la série Scrubs.

Look de Olivia Dunham dans la série Fringe (Veste en cuir, Jeans, Ceinture)

Arborer le look de Olivia Dunham en jeans Hudson Petite Signature Boot Cut, ceinture en cuir noir et veste en cuir noir, interprété par Anna Torv dans la série Fringe.

Look de “Black Widow” Natasha Romanoff Captain America Civil War ( jeans, Veste et bottes )

Arborer le look de (Black Widow) Natasha Romanoff en jeans J Brand, veste en Polyester et bote en cuir de couleur marron, interprété par Scarlett Johansson dans le filme Captain America Civil War.

Look combinaison Dharma dans Lost

Arborer le look d’un ouvrier de l’entreprise Dharma Initiative avec cette combinaison *sur mesure* dans la série Lost.

Look de Captain America dans Avengers ( Bouclier )

Arborer le look de super-héros de Captain America avec son bouclier interprété par Chris Evans dans le film Avengers.

Look de Matt Murdock dans daredevil ( lunettes avec châssis argenté et lentille rouge )

Arborer le look de Matt Murdock avec les lunettes a lentille rouge et châssis argenté, interprété par Charlie Cox dans la série Daredevil.

Recherche Google ChrisTec

Abonnez-vous à ce blog par e-mail pour être notifié.

Abonnez-vous avec ce panneau pour être notifié par e-mail.
Saisissez votre adresse e-mail pour vous abonner à ce blog et recevoir une notification de chaque nouvel article par email.

Rejoignez les 27 881 autres abonnés

Information

Communauté

  • CHARPENTIER
  • forrestspruson
  • jeniferwan861
  • albagoldie60
  • Delphine
  • Nasser
  • Nico
  • Pascal31
  • iamthelaw
  • laprasles
  • Stream Complet
  • Ahmed Seddiki
  • Dabrowski maxime
  • canarix27
  • Fredcentr
  • Eddy L.
  • hannahmayah
  • janeendoolittle
  • Diarista
  • Kelapplication
  • eddy56
  • losmontes
  • mikimoto1978
  • maggievenn89
  • augustuscowen
  • angélique joyeux lolotybaby
  • agmvito75064
  • Pene
  • cullenglud52
  • changfredrickse
  • rebekah71v006
  • Totelae
  • Jenifer
  • mariemamanblogueuse
  • gab76
  • sajid ali
  • Julie
  • Ashw
  • Ligicaa
  • maraboutvoyantmedium
  • kristiebounds6
  • Stéphane
  • Paul
  • dustin084576688
  • venettaj81411
  • haoleuu
  • penny67949307
  • carminecormier
  • lanjasso55864
  • Ad

Catégories

Archives

Conclusion

Merci pour la lecture de cet article

Voilà qui conclut cet article. Si vous avez des questions ou des recommandations, n’hésitez pas à utiliser l’espace commentaire juste en dessous. Pour ne rater aucun article, abonnez-vous au site en utilisant l’espace d’abonnement ci-dessous. Quant à moi, je vous dis à bientôt pour de nouveaux articlesur ChrisTec.

Les 8 derniers articles publiés sur le site

Infomaniak lance meet.infomaniak.com, une solution de vidéoconférence gratuite, sécurisée et indépendante

Communiquez en toute sécurité et dans le respect de la vie privée. C’est gratuit ! Basé sur un logiciel open-source, ce service permet d’organiser des réunions en ligne en toute confidentialité, garantissant la vie privée des utilisateurs, et offre ainsi une alternative indépendante aux solutions américaines. Disponible sur ordinateur de bureau et sur mobile,

Bons Plans Amazon (26) 01 / 04 / 2020

Cet article est consacré à la présentation de produits geek et high-tech en promotion sur Amazon du (01 / 04 / 2020) . Le but est de mettre en avant les bons plans du moment à fin que vous puissiez faire de bonnes affaires sur Amazon. Ces promotions ont une durée de temps limité donc dépêchez-vous de profiter de ces bonnes affaires.

Bons Plans Amazon (25) 27 / 03 / 2020

Cet article est consacré à la présentation de produits geek et high-tech en promotion sur Amazon du (27 / 03 / 2020) . Le but est de mettre en avant les bons plans du moment à fin que vous puissiez faire de bonnes affaires sur Amazon. Ces promotions ont une durée de temps limité donc dépêchez-vous de profiter de ces bonnes affaires.

Debotnet : l’outil idéal pour améliorer votre vie privée avec Windows 10

Debotnet est une nouvelle application pour les appareils exécutant le système d’exploitation Windows 10 de Microsoft, conçu pour apporter des modifications de configuration afin d’améliorer la confidentialité. Les utilisateurs intéressés peuvent télécharger la dernière version de l’application depuis la page GitHub du projet.

Bons Plans Amazon (24) 16 / 03 / 2020

Cet article est consacré à la présentation de produits geek et high-tech en promotion sur Amazon du (16 / 03 / 2020) . Le but est de mettre en avant les bons plans du moment à fin que vous puissiez faire de bonnes affaires sur Amazon. Ces promotions ont une durée de temps limité donc dépêchez-vous de profiter de ces bonnes affaires.

Voici les gagnants du concours twitter des 3 paires d’écouteurs intra Ludos Clamor

Voici les gagnants du concours twitter des 3 paires d’écouteurs intra Ludos Clamor, Les écouteurs LUDOS CLAMOR se caractérisent par une construction de haute qualité et un son exceptionnel. Grâce à nos haut-parleurs uniques et améliorés, le son est grandiose, profond et immersif.

Test de la ScreenBar de BenQ la lampe de bureau révolutionnaire

Bienvenue sur cet article de test qui sera consacré à la lampe de bureau ScreenBar de BenQ. Cette lampe est étudiée pour éclairer votre espace de travail sans pour autant vous éblouir ni créer de reflet sur vos écrans d’ordinateur.

Test de Nord VPN, le top pour sécuriser vos connexions

Bienvenue sur cet article qui sera consacré au test de NordVPN. NordVPN a l’avantage de proposer une offre avec beaucoup d’options à un prix très abordable. Avec une grande quantité de serveurs disponible un peu partout dans le monde. NordVPN permet de passer à travers beaucoup de pare-feu gouvernementaux.

Les 3 derniers articles liés

Infomaniak lance meet.infomaniak.com, une solution de vidéoconférence gratuite, sécurisée et indépendante

Infomaniak lance meet.infomaniak.com, une solution de vidéoconférence gratuite, sécurisée et indépendante

Communiquez en toute sécurité et dans le respect de la vie privée. C’est gratuit ! Basé sur un logiciel open-source, ce service permet d’organiser des réunions en ligne en toute confidentialité, garantissant la vie privée des utilisateurs, et offre ainsi une alternative indépendante aux solutions américaines. Disponible sur ordinateur de bureau et sur mobile,

lire plus
WP Rocket découverte et test du plugin de cache pour WordPress

WP Rocket découverte et test du plugin de cache pour WordPress

Vous souhaitez que votre site WordPress se charge rapidement, car vous savez à quel point la vitesse des pages est importante pour l’expérience utilisateur, le référencement et les taux de conversion. Dans cet article, nous allons examiner de plus près WP Rocket, passer en revue les fonctionnalités disponibles, ce que le plugin offre et comment le configurer de manière optimale pour votre site Web.

lire plus

Abonnez-vous à ce blog par e-mail pour être notifié.

Abonnez-vous avec ce panneau pour être notifié par e-mail.
Saisissez votre adresse e-mail pour vous abonner à ce blog et recevoir par e-mail une notification a chaque publication d'un nouvel article.

0 Commentaires

0 commentaires

Laisser un commentaire

Profil

Chris

Chris

Geek passionné de : Multimédia,Informatique,Technologies, Jeux,Cinéma,Série,Science,Art...

Liens Personnels

Afficher le Profil Complet →

Recherche

Chercher
Generic filters
Correspondances exactes seulement
Recherche dans le titre
Rechercher dans le contenu
Rechercher dans l'extrait
Recherche dans les commentaires
Filtrer par type de message personnalisé

Infomaniak

Choisissez Infomaniak, le meilleur hébergement pour vos sites Web et vos e-mails.

Contact

Pour ceux qui désirent me contacter, veuillez le faire depuis ce module. Vous pouvez également utiliser les réseaux sociaux comme Twitter. : @ChrisGeekWorld ou @ChrisDevWorld Adresse e-mail : contact@christec.net

En cas de problème vous pouvez utiliser cette adresse mail : christecpro@gmail.com

Image virus

Information, coronavirus (COVID-19)

L'épidémie de coronavirus grandit en France avec de plus en plus de malades. En l'absence de traitements, les mesures de prévention pour éviter la transmission sont primordiales. Lavage des mains, port de gants, confinement, distance sociale... Voilà comment augmenter vos chances de ne pas tomber malade. Pour plus d'infos, consulter le site du gouvernement en cliquant sur le bouton ci-dessous. Consulter également l'évolution du virus dans le monde et en France grâce aux 2 cartes disponibles ci-dessous.

You have Successfully Subscribed!

Pin It on Pinterest

Secured By miniOrange