Sony a acquis Cinemersive pour l'IA-3D sur PlayStation

# Sony intègre les technologies d'IA de Cinemersive Labs pour la conversion en 3D dans les jeux

Sony Interactive Entertainment a acquis la startup britannique Cinemersive Labs, qui se spécialise dans les outils d'IA pour convertir des photos et vidéos 2D en 3D. L'équipe de la startup rejoindra le Visual Computing Group de SIE, qui se concentre sur le rendu de jeux, l'encodage vidéo et les modèles d'IA générative. Cela renforcera les capacités de calcul visuel de Sony pour PlayStation.

Technologies Cinemersive pour le contenu 3D

Le dernier développement de Cinemersive est l'app Parallax pour VR, conçue pour visionner des photographies à parallaxe. Ces images sont capturées sur smartphones ou caméras professionnelles avec lentilles stéréo et permettent de changer l'angle de vue avec des mouvements naturels de la tête.

Les algorithmes d'IA de Cinemersive convertissent du contenu 2D standard en formats 3D. Le processus implique l'analyse de profondeur, la génération de paires stéréo et le calcul de parallaxe — sans matériel spécialisé requis. Ces outils fonctionnent non seulement pour les photos, mais aussi pour les vidéos, ouvrant des possibilités excitantes pour le contenu de jeux.

Dans les jeux, cela signifie créer rapidement des environnements immersifs à partir d'assets existants, en réduisant le temps de modélisation 3D.

Intégration dans l'écosystème PlayStation

Le Visual Computing Group de SIE tirera parti de l'expertise de Cinemersive pour faire avancer le ML dans les graphismes. Axes de focus principaux :

• Amélioration du rendu en temps réel avec des modèles génératifs.
• Optimisation des textures et de l'éclairage via l'analyse IA.
• Génération de scènes 3D dynamiques à partir de sources 2D pour la génération procédurale.

Sony utilise déjà l'apprentissage automatique dans la PlayStation 5 Pro. PlayStation Spectral Super Resolution (PSSR) met à l'échelle des images basse résolution en 4K en utilisant des réseaux de neurones pour l'interpolation de pixels et la reconstruction de détails.

PSSR s'exécute sur un GPU personnalisé avec accélération ML, offrant des FPS stables à la meilleure qualité. Pour les développeurs, cela simplifie le portage de jeux entre résolutions sans sacrifier les performances.

Perspectives pour le développement de jeux

La conversion 2D vers 3D alimentée par l'IA permettra :

• Automatisation du contenu VR à partir de textures plates.
• Effets stéréoscopiques en temps réel pour vidéo mono.
• Prototypage d'environnements plus rapide dans des moteurs comme Unreal Engine ou les outils propriétaires de Sony.
• Support pour le modding communautaire via des assets 2D accessibles.

Sur PlayStation 5 Pro, PSSR fait ses preuves : les jeux rendent à 1080p-1440p et upscalés en 4K avec des artefacts minimaux. Les approches de Cinemersive étendront cela au contenu 3D complet.

Les défis techniques incluent l'estimation précise de profondeur dans les scènes dynamiques et la minimisation de la latence VR. Sony pourrait combiner cela avec le ray tracing pour un parallaxe photoréaliste.

Points clés

• Cinemersive Labs renforce le Visual Computing Group de SIE avec l'IA pour la conversion 2D vers 3D.
• Parallax : app VR pour photos à parallaxe avec suivi de tête.
• PSSR dans PS5 Pro : upscaling IA vers 4K pour gains de performance.
• Applications dev jeux : 3D procédural, contenu VR, rendu ML.
• Insistance sur le traitement en temps réel sans équipement spécialisé.

— Editorial Team