La realidad virtual está a punto de cambiar el cine para siempre Aquí está cómo

Hollywood está hablando de realidad virtual. En la conferencia de Oculus Connect el mes pasado, todo un panel de exalumnos de Hollywood habló sobre la tecnología y sus aplicaciones en el cine..

Mientras tanto, los bateadores pesados ​​en la industria están comenzando a pesar. James Cameron lo odia. David Attenborough está haciendo un documental al respecto. La reciente (excelente) película Interstellar tuvo una experiencia en VR promocionándola.

La realidad virtual es una nueva forma de comunicarse con su espectador, y muchas personas con experiencia en el cine tradicional consideran que las posibilidades son emocionantes. La realidad virtual, en lugar de simplemente ofrecer una ventana a un nuevo mundo, permite a los directores tomar el control del mundo entero alrededor del espectador.

¿Qué puedes hacer con una cámara VR??

No hace falta mucha imaginación para entusiasmarse con la idea de las cámaras de realidad virtual. Los cineastas podrían, literalmente, poner al público cara a cara con sus personajes y sumergirlos en mundos espectaculares y bizarros. Los fotógrafos pueden capturar escenas enteras, congeladas en el tiempo, para que sean examinadas por cualquiera, en cualquier parte del mundo..

Los documentalistas podrían llevar a las audiencias a lugares que de otra manera nunca podrían visitar. Podrían enviar una cámara de realidad virtual al fondo del océano y dejar que los espectadores se paren en medio del salón de baile hundido del Titanic. Los documentales de la naturaleza podrían manipular el tiempo y el espacio, ubicar a los usuarios entre las hormigas del tamaño de perros o construir secuencias de lapso de tiempo inmersivas. La NASA podría montar una cámara VR en un rover de Marte y permitir que millones de personas se paren en el planeta rojo.

También hay, por supuesto, aplicaciones más mundanas:

Una de las claves para el éxito de la realidad virtual del consumidor serán los videos panorámicos estereoscópicos para gatos..

- John Carmack (@ID_AA_Carmack) 6 de noviembre de 2014

El video VR en vivo también podría ser muy convincente. Los juegos de deportes podrían ser atendidos de forma remota, las cámaras de realidad virtual les darían a todos asientos de la corte. Incluso el turismo podría ser virtual..

Los usuarios pueden alquilar un simple robot de telepresencia (tal vez un Segway con una cámara VR sobre el manubrio) y pilotearlo en cualquier lugar del mundo. El Segway transmitiría su video en vivo, permitiendo a los turistas virtualmente “teletransportarse” Ellos mismos a través del planeta para explorar en cualquier lugar. Parece seguro decir que la realidad virtual cambiará el mundo. Por qué la tecnología de realidad virtual te dejará sin aliento en 5 años. Por qué la tecnología de realidad virtual te dejará sin aliento en 5 años. El futuro de la realidad virtual incluye el seguimiento de la cabeza, los ojos y las expresiones, el toque simulado. , y mucho más. Estas sorprendentes tecnologías estarán disponibles para usted en 5 años o menos. Lee mas .

Sin embargo, el cine de realidad virtual tiene muchos desafíos. ¿Cómo pueden los directores mover la cámara mientras mantiene cómodo al espectador? ¿Cómo cortan la película los directores sin desorientar al espectador? ¿Cómo se aseguran de que el espectador esté mirando en la dirección correcta para capturar eventos importantes de la trama? ¿Los primeros planos tienen sentido??

Sin embargo, quizás los problemas más grandes son los prácticos: ¿cómo se graba el contenido para la realidad virtual? La representación de contenido VR en vivo para juegos es computacionalmente intensiva, pero conceptualmente sencilla. La grabación de la vida real, en contraste, plantea algunos desafíos serios.

Camara panoramica

La solución más simple (y la única más utilizada en este momento) es la captura de video panorámico simple. En este esquema, se utiliza una bola de cámaras convencionales para grabar video en todas direcciones, y los resultados se unen con software para crear una esfera perfecta de video. Estos son muy parecidos a los panoramas que tomas 5 Consejos para tomar fotos panorámicas con tu teléfono inteligente 5 Consejos para tomar fotos panorámicas con tu teléfono inteligente Las imágenes panorámicas de paisajes asombrosos casi siempre parecen maravillosas, pero pueden ser extremadamente difíciles de crear. Usando un teléfono inteligente, hay varias técnicas y trucos que puede emplear para obtener los mejores resultados. Lea más con su teléfono, pero grabado simultáneamente en formato de video. La salida del proceso se ve algo como esto:

Esto es sencillo y barato. Puedes pre-ordenar una cámara panorámica por alrededor de $ 700, pero tiene limitaciones. Lo más importante es la falta de profundidad: los panoramas se representan en una esfera infinitamente grande, por lo que el paralaje entre tus ojos es cero, incluso para partes de la imagen que realmente deberían tener profundidad, como una persona que está a tu lado..

A pesar de esta deficiencia, la experiencia proporcionada por el video panorámico sigue siendo sorprendentemente fresca, especialmente para el contenido que se realiza a distancia (la fotografía aérea es un buen ejemplo). Hace aproximadamente una semana, construí una aplicación Oculus Rift que representa una cabina virtual dentro del video de arriba, y los resultados son convincentes: se siente como viajar en un submarino rodeado de tortugas marinas del tamaño de edificios pequeños.

Piense en este tipo de contenido de VR como un teatro super-IMAX personal en el que se encuentra suspendido en medio de una gran pantalla esférica. El sentido del lugar proporcionado por el video esférico ya es algo que es imposible con las herramientas de creación de películas tradicionales. Incluso con sus limitaciones, esto es probablemente el aspecto que tendrá la mayoría de los videos de realidad virtual en el futuro inmediato. El documental de Richard Attenborough (“La conquista de los cielos“) está siendo filmado en este formato.

Cámara panorámica estéreo

Digamos que un director no está contento con la limitación de los panoramas monoscópicos. Una extensión obvia de la tecnología es incorporar la tecnología 3D lado a lado Old-Time Fun: Cómo hacer imágenes en 3D para ver sin anteojos Old-Time Fun: Cómo hacer imágenes en 3D para ver sin anteojos Lo creas o no, en realidad no necesita gafas 3D para experimentar imágenes 3D (o películas) convincentemente realistas. Solo necesitas hacerte ir “bizco”. Esencialmente, miras dos imágenes, y por intencionalmente ... Leer más. Para hacer esto, el hardware necesita dos cámaras paralelas orientadas en cada dirección, desplazadas en aproximadamente 6.3 cm. Luego, la cámara utiliza el software para unir dos imágenes panorámicas: una para el ojo izquierdo y otra para el derecho. La diferencia entre ellos crea la ilusión de profundidad. Los productos que respaldan esta experiencia están disponibles, aunque son caros ($ 995, más el costo de diez cámaras GoPro).

En un esfuerzo por hacer que este tipo de contenido sea más general, Samsung anunció recientemente “Proyecto mas alla”, Una cámara panorámica estéreo VR para los auriculares portátiles Oculus-Samsung Gear VR. El prototipo actual tiene el factor de forma de un puck pequeño, y utiliza 17 cámaras HD, y genera un gigapixel por segundo de datos.

A 30 fps, eso funciona a cuadros panorámicos que son aproximadamente 15 megapíxeles por ojo, o aproximadamente 50,000 píxeles por ojo por grado visual. La información de precios sigue siendo un misterio, y Samsung enfatiza que este no es un proyecto terminado. Usted puede ver su video de vista previa a continuación.

Los panoramas estéreo son claramente una mejor experiencia que sus hermanos monoscópicos: las cosas grandes se ven grandes, las cosas pequeñas se ven pequeñas, los objetos tienen profundidad y posición, y se siente mucho más como estar allí. Dicho esto, la experiencia aún está lejos de ser perfecta. Como John Carmack describe en su discurso de Oculus Connect, los panoramas estéreo tienen muchos problemas.

“… Los panoramas estereoscópicos, ya sean imágenes fijas o videos, son absolutamente un hack. Hay - sabemos lo que es correcto y esto no es correcto. Lo que terminan haciendo es que tienes partes tomadas de varias cámaras, por lo que en línea recta es el estéreo adecuado para un para-sabio y por aquí es apropiado para esto. Pero eso significa que si estás viendo lo que era correcto para los ojos de aquí, pero estás mirando de reojo aquí, definitivamente no está bien. No es la disparidad adecuada para los ojos..

Y, lo que es peor, si giras la cabeza así [rollos de cabeza], se pone muy mal, porque está preparado solo para los ojos hacia adelante. Así que esto fue algo interesante. Tenemos las cosas donde básicamente sabemos que de alguna manera esto puede ser envenenado, esta puede ser una experiencia realmente mala si la gente con la que usted pasa mucho tiempo se queda encorvada. […]

Estos son problemas técnicos que podrían, quizás, ser resueltos por un mejor hardware. Sin embargo, hay un problema más profundo: ¿qué sucede cuando mueves la cabeza? Los panoramas de ambos ojos aún se representan en el infinito: mover físicamente su cabeza dará como resultado la sensación nauseabunda de que el mundo se está moviendo con usted, especialmente si hay objetos cerca de usted. No hay una forma sencilla de averiguar cómo se vería una imagen estereoscópica desde un nuevo punto de vista.

A pesar de estas limitaciones, las experiencias panorámicas estéreo siguen siendo convincentes. La plataforma Gear VR se centrará en este tipo de experiencias, ya que pueden crearse con hardware moderno y mostrarse sin afectar las capacidades de representación del hardware. Los panoramas estéreo probablemente serán el estándar de oro para la producción de contenido de realidad virtual, al menos durante los próximos años.

Cámaras de profundidad

Una alternativa a la captura de dos imágenes una al lado de la otra (como ocurre con las películas en 3D tradicionales) es capturar lo que se conoce como imágenes de profundidad: una sola imagen capturada desde una perspectiva única, que contiene un canal de color adicional que almacena la distancia desde la lente del pixel en cuestión.

Si lo tiene, el software puede simular que las cámaras virtuales vean la imagen desde nuevas perspectivas, asegurándose de tener siempre una imagen nueva y correcta de cada ojo. Es posible generar imágenes panorámicas en profundidad que permitan un movimiento y rotación natural de la cabeza de una manera que no es posible con los panoramas estéreo. Existen algunas tecnologías que puede utilizar para capturar estas imágenes de profundidad..

Tiempo de vuelo

La versión de esta tecnología con la que probablemente esté más familiarizado es la que se usa en el Kinect. El Kinect V2 (la versión incluida con Xbox One) se basa en lo que se conoce como una cámara de tiempo de vuelo..

La teoría aquí es clara: las cámaras de tiempo de vuelo son cámaras de infrarrojos que son capaces de grabar no solo donde la luz incide en el sensor, sino también cuando La luz golpea el sensor, con una precisión de unos pocos microsegundos. Esto se combina con una cámara de video en color y una luz estroboscópica infrarroja. Al comienzo de cada fotograma, el flash estroboscópico de IR ilumina la escena muy brevemente. Al medir el tiempo que tarda cada píxel en observar el flash, la cámara puede deducir de la velocidad de la luz a qué distancia está cada píxel de la cámara.

Esta tecnología es enormemente poderosa. Los hackers han hecho algunas cosas increíbles 5 Hacks de Microsoft Xbox Kinect que harán volar tu mente 5 Hacks de Microsoft Xbox Kinect que harán volar tu mente Leer más con eso. Al usar varios Kinects en una configuración superpuesta, puede ser posible crear un panorama de una escena, con un valor de profundidad preciso para cada píxel, que se pueda representar en realidad virtual para crear una experiencia inmersiva con la profundidad correcta.

Para tener una idea del tipo de resultados que produce este enfoque, vea este video que muestra la salida de la cámara de profundidad del Kinect V2..

Esta es una imagen de alta calidad en profundidad: muchos detalles, bordes limpios y no demasiado ruido. Sin embargo, existen algunas limitaciones: la mayor advertencia es que el Kinect en este ejemplo está grabando una escena interior con condiciones de iluminación cuidadosamente controladas..

En escenarios reales (y especialmente en el exterior), la interferencia IR ambiental de la luz solar directa e indirecta y las fuentes de luz incandescentes pueden degradar la precisión. También hay un problema más fundamental, que es el tiempo en que las cámaras de vuelo dependen de la iluminación activa. Eso pone algunos límites duros en cuanto a lo que pueden ver. Tampoco se adaptan bien a las superficies transparentes y reflectantes. Y, debido a que la resolución de profundidad está limitada por la precisión del tiempo, las cámaras de tiempo de vuelo no son muy útiles para grabar objetos pequeños, lo que hace imposible jugar con la escala.

Campo de luz

Una tecnología diferente para capturar imágenes de profundidad se conoce como fotografía de 'campo de luz' Cámara de campo de luz Lytro: ¿Snap Happy or Photo Gimmick? Cámara de campo de luz Lytro: Snap Happy or Photo Gimmick? Descrito por un empleado como "el primer gran cambio en la fotografía desde que se inventó la fotografía", la cámara de campo de luz Lytro es ciertamente un dispositivo revolucionario. La cámara sacude las cosas reemplazando gran parte del pesado ... Leer más .

Así es como funciona: en la fotografía convencional, la lente de la cámara enfoca la luz entrante en un sensor. Cada elemento del sensor registra la cantidad de luz que lo golpea. Las cámaras de campo de luz utilizan un sensor especial, en el que cada “píxel” Es en realidad una lente pequeña con muchos sensores debajo de ella. Esto permite que la cámara mida no solo la cantidad de luz que llega a cada píxel, sino también el ángulo en el que entra la luz..

Esto es útil por algunas razones. La aplicación más sencilla es que, al cambiar la forma en que se muestrea este gran "campo de luz", los usuarios finales pueden volver a enfocar una fotografía después de haberla tomado. La aplicación que es interesante para la realidad virtual es que las cámaras de campo claro también son, por cierto, cámaras de profundidad. El ángulo de la luz entrante de un objeto es una función de qué tan lejos está el objeto de la lente, en relación con el tamaño de la abertura. Los objetos lejanos producen luz que es casi perpendicular a la lente. Los objetos muy cercanos producen luz que es casi paralela. A partir de esto, es posible (con mucha precisión) determinar el mapa de profundidad de una imagen.

A continuación, puede ver algunos resultados de una cámara de video de campo de luz temprana, y cómo se ve la imagen reproyectada desde un ángulo diferente.

Debido a que es un proceso pasivo, el límite de rango y la precisión espacial se definen por la resolución y el tamaño de la apertura, y nada más. Eso significa que al usar lentes de aumento, es posible tomar imágenes de profundidad de campo de luz de prácticamente cualquier objeto en cualquier escala bajo cualquier condición. Para obtener un ejemplo de lo que es posible con campos de luz más grandes y precisos, mire este video, que utiliza varios cuadros de una cámara de campo de luz de mano para simular un campo de luz mucho más grande. Genera una geometría 3D bastante convincente a partir de ella..

Las cámaras de campo de luz son una tecnología mucho menos madura que las cámaras de tiempo de vuelo (en este momento solo hay una cámara de campo de luz en el mercado de consumo, y no admite la captura de video). Dicho esto, con más tiempo de desarrollo, las cámaras de campo de luz deberían ofrecer una experiencia de video en profundidad mucho más robusta a largo plazo.

Tratar con la disoclusión

Hay un problema importante con los videos de profundidad que vale la pena mencionar: movimiento de la cabeza. Sí, es posible reproyectar videos en profundidad a nuevas perspectivas, y todos los píxeles terminan donde deberían estar. El video de profundidad no te enfermará. Lamentablemente, sí introducen un nuevo problema: la disoclusión..

Cuando mueves la cabeza de tal manera que estás mirando una parte del mundo que no se ve en la imagen o panorama original, obtienes un desagradable artefacto visual: una sombra. Para tener una idea de lo que estoy hablando, mire este video:

En ese video, un programador hackeó el Kinect para renderizar un video en profundidad de lo que está viendo en el espacio. Al mover la cámara virtual, reproyecta la escena desde varias perspectivas..

Es un Kinect de primera generación, por lo que la transmisión de video es un poco defectuosa, pero los resultados son bastante impresionantes. El mayor inconveniente, que se vuelve obvio cuando comienza a girar la cámara, son las sombras en la escena. La parte de la pared detrás de su cuerpo tiene un enorme orificio con forma de persona recortado: la parte que la cámara no puede ver y no tiene datos. Estas sombras negras aparecerán en panoramas de profundidad tan pronto como su cabeza comience a moverse. Entonces, ¿cómo lidian las cámaras VR con estos agujeros? Bueno, hay algunos enfoques para este problema:

Más cámaras

La solución más sencilla es en realidad simplemente grabar las cosas alrededor de las esquinas y detrás de las superficies de oclusión. Para hacer esto, agrega más cámaras, mucho más. Para permitir que las personas muevan sus cabezas hasta, digamos, un metro en cualquier dirección, la cámara debe ampliarse para crear una esfera de 2 metros de ancho con cámaras de profundidad de FOV de alta resolución, de modo que el software pueda sintetizar cualquier punto de vista dentro de la esfera.

Este es el enfoque más robusto, pero también el menos práctico. Una esfera de cámaras de dos metros no es una cámara estable, portátil, es una instalación y es costosa. Esto podría ser práctico para algunas producciones de alto nivel de Hollywood, pero ciertamente no para la mayoría de las aplicaciones del mundo real. Puede ver un prototipo de esta idea a continuación, implementado en forma de una aplicación de teleconferencia 3D en vivo:

Reconstrucción de la escena

Otro enfoque, si el creador de video está grabando principalmente algunos objetos dinámicos contra un fondo estático, es usar una cámara de profundidad para mapear el entorno antes de que comiencen a filmar, y usar estos datos para rellenar los agujeros en las imágenes grabadas. Esto se puede hacer automáticamente usando una técnica llamada SLAM (Localización y asignación simultáneas), que fusiona automáticamente muchas imágenes de profundidad para crear un mapa 3D completo de una escena. Los resultados se ven algo así:

Esto funciona bastante bien, pero no es apropiado para todas las situaciones. No es difícil imaginarse tratando de filmar una escena en un lugar público ocupado, donde gran parte del fondo está formado por personas que se mueven y se ocluyen entre sí. Capturar una única versión estática de esa escena para rellenar los agujeros simplemente no es posible. Además, para fines documentales, de video en vivo o de noticias, no será práctico realizar un mapeo exhaustivo del ambiente de antemano.

Solo haciendo las cosas

El último enfoque del problema es recurrir a la respuesta habitual en los casos en que no tenga suficientes datos: mentiras descaradas.

La idea aquí es que, en la vida real, el espectador no se va a levantar e intentar caminar por la escena. Estarán sentados, y lo que el software realmente necesita corregir es pequeñas variaciones en la postura, causadas por el hecho de que el espectador se inclina y se desplaza en su asiento: las disocusiones simplemente no serán tan grandes. Eso significa que los datos utilizados para rellenar los orificios no tienen que ser precisos, solo tienen que parecer verosímiles. Aquellos de ustedes que han jugado con el relleno de imágenes de Photoshop (o sus competidores Snapheal para Mac: The Superhero Image Healer [Sorteo] Snapheal para Mac: The Superhero Image Healer [Giveaway] SnapHeal para Mac ($ 14,99) están aquí para salvar su fotografías, y hace un buen trabajo. Esta semana, estaremos regalando 25 copias de Snapheal para Mac por un valor total de $ 375. Si… Leer más) saber a dónde va esto.

Como resultado, los investigadores han ideado algunos algoritmos bastante buenos para rellenar agujeros en secuencias de video en vivo en tiempo real. Puedes ver algunos ejemplos a continuación:

Imagine descomponer una imagen en profundidad en capas, restándolas una a la vez para ver dónde podrían ocurrir sombras, y luego usar este tipo de algoritmos de pintura para generar imágenes plausibles para rellenar los agujeros..

Esto es un poco más difícil que la simple pintura en 2D, ya que el algoritmo también necesita recuperar valores de profundidad razonables para los agujeros, pero se pueden usar muchas de las mismas técnicas. Estos enfoques no funcionarán perfectamente en todas las situaciones, pero siempre que esos artefactos sean menos intrusivos que los grandes agujeros negros en el mundo, eso todavía cuenta como una victoria..

Cuánto tiempo hasta que terminen?

Con las cámaras de realidad virtual, incluso más que otras cosas, lo perfecto es el enemigo de lo bueno..

Incluso con la mejor tecnología que el dinero puede comprar y el metraje cuidadosamente planeado para minimizar los errores de oclusión, los resultados aún serían imperfectos. Las luces especulares, por ejemplo, son puntos de brillo que aparecen en superficies brillantes, que varían en posición dependiendo de la posición de su cabeza, ya que dependen de la luz reflejada en un ángulo muy específico.

Los reflejos especulares grabados incluso en el mejor video VR aparecerán como manchas blancas en la superficie, y no se verán bien en los objetos cercanos durante el movimiento de la cabeza. Esa es una limitación que será difícil de manejar. Además, rellenar los errores de oclusión en escenas complicadas con muchos objetos en movimiento es difícil. Hacerlo a la perfección es imposible y lo será por mucho tiempo..

Pasarán años e incluso décadas antes de que las cámaras de realidad virtual puedan brindar una experiencia perfecta de la misma manera que las películas 2D tradicionales. Ese es el sacrificio que haces para experimentar un medio fundamentalmente más poderoso..

Con todo lo dicho, algunas cosas realmente geniales están por venir en un futuro cercano. Cada opción mencionada en este artículo puede crear experiencias genuinamente valiosas. El anuncio de Samsung de “Proyecto mas alla” Es un signo prometedor de lo que vendrá..

Está previsto que el Oculus Rift se lance en algún momento de 2015, y las cifras de ventas en millones de unidades no parecen un tramo. Si la realidad virtual despega de la forma en que parece que podría suceder, se producirá una enorme cantidad de progreso tecnológico, rápido.

La demanda de contenido hará que las cámaras de realidad virtual sean mejores, más pequeñas y más baratas para satisfacer la demanda. Probablemente no pasarán muchos años antes de que un dispositivo que cueste menos que un teléfono nuevo y quepa en la palma de su mano proporcione una grabación VR cómoda y atractiva de cualquier cosa, y eso será muy, muy bueno.

¿Qué harías con tu propia cámara VR? ¿Por qué tipo de contenido estás más emocionado? Háganos saber en los comentarios.!

Créditos de imagen: concepto de gafas a través de Shutterstock

Explora más sobre: ​​Realidad Virtual, Mundo Virtual.