Cinco preguntas sobre el Proyecto HoloLens de Microsoft

El miércoles por la mañana, Microsoft mostró un proyecto en el que han estado trabajando durante siete años, un auricular de realidad aumentada llamado Proyecto HoloLens.

La visión es ambiciosa: quieren cambiar fundamentalmente la forma en que las personas interactúan con las computadoras, mediante la creación de un par de gafas que pueden combinar contenido virtual y real de forma fluida en el espacio físico del usuario. Esto es como la tecnología de realidad virtual. Por qué la tecnología de realidad virtual te dejará sin aliento en 5 años. Por qué la tecnología de realidad virtual te dejará sin aliento en 5 años. El futuro de la realidad virtual incluye el seguimiento de la cabeza, los ojos y las expresiones, el tacto simulado y mucho más. Estas sorprendentes tecnologías estarán disponibles para usted en 5 años o menos. Leer más, pero fundamentalmente más potente. Además, quieren hacer todo el procesamiento local en las gafas, sin computadora, ni teléfono, ni cables. Incluso están lanzando una versión especial de Windows solo para el nuevo hardware. Esta es la siguiente etapa en la evolución tecnológica de todos los juegos de aplicaciones de realidad aumentada de juegos de AR: ¿Útiles, o solo de Hype? MakeUseOf prueba las aplicaciones de realidad aumentada: ¿es útil o solo es una broma? Pruebas MakeUseOf En 2011, los analistas predijeron el aumento de las aplicaciones móviles de realidad aumentada. La tecnología naciente revolucionaría la forma en que interactuamos con nuestros dispositivos móviles. Avance dos años y decenas de aplicaciones AR llenan todas ... Lea más que instaló en su teléfono una vez y no las ha tocado desde entonces..

Su marco de tiempo es incluso más ambicioso que sus objetivos: quieren enviar kits de desarrollador esta primavera y el producto de consumo. “durante el periodo de tiempo de Windows 10”. Aquí está el terreno de juego.

Todo esto suena genial, pero admito un grado bastante alto de escepticismo.

Las tecnologías que usa Microsoft tienen desafíos serios y fundamentales, y hasta ahora Microsoft ha sido muy estricta acerca de cómo (o si) las resolvió. Si no los han resuelto, entonces su objetivo de envío dentro de un año es muy preocupante. Lo último que necesitan VR y AR es que una empresa grande envíe otro producto a medio cocinar como el Kinect. Recuerda la demo de Project Natal del 2009.?

Sin más preámbulos, aquí están las cinco cosas más importantes que me gustaría saber sobre HoloLens.

Es esta una pantalla de campo de luz?

Para entender esto, debemos profundizar un poco más en 3D y cómo funciona. Para obtener la sensación de un mundo real y tangible en 3D, nuestros cerebros integran una gran cantidad de diferentes tipos de información. Obtenemos pistas de profundidad sobre el mundo de tres formas principales:

• Profundidad estéreo - La disparidad entre lo que nuestros dos ojos ven. Fingir así es como funcionan las películas en 3D.
• Paralaje de movimiento - Los movimientos sutiles de nuestra cabeza y nuestro torso nos dan pistas de profundidad adicionales para los objetos que están más lejos.
• Enfoque optico - cuando nos enfocamos en algo, las lentes de nuestros ojos se deforman físicamente hasta que se enfoca; los objetos de campo cercano requieren una mayor distorsión de la lente, lo que proporciona información de profundidad sobre lo que estamos viendo

El enfoque óptico es fácil de comprobar por sí mismo: cierre un ojo y levante el pulgar frente a una pared de la habitación. Luego, cambia tu enfoque de tu miniatura a la superficie detrás de ella. Al mirar más allá de su pulgar, su pulgar se desenfocará porque la lente de su ojo ahora está menos deformada y no puede recoger correctamente la luz que proviene de él..

Los auriculares de realidad virtual, como el Oculus Rift, brindan los dos primeros indicios con gran precisión, pero no el último, lo que funciona sorprendentemente bien: nuestros ojos están completamente relajados, ya que la óptica enfoca las imágenes a través de la luz que venían de una distancia infinita. La falta de la señal de enfoque óptico no es realista, pero por lo general no distrae. Todavía puedes tener experiencias de juego muy interesantes. 5 Experiencias de juego Oculus Rift que te dejarán boquiabierto. 5 Experiencias de juego Oculus Rift que te dejarán boquiabierto. Ahora que la segunda generación del kit de desarrollo Oculus Rift está a la mano de los desarrolladores de todo el mundo. echemos un vistazo a algunas de las mejores cosas que han golpeado el Rift hasta ahora. Leer más sin él.

En realidad aumentada, el problema es diferente, porque tiene que mezclar luz de objetos reales y virtuales. La luz del mundo real se centrará naturalmente en una variedad de profundidades. Sin embargo, todo el contenido virtual estará enfocado a una distancia fija y artificial dictada por la óptica, probablemente en el infinito. Los objetos virtuales no se verán como si realmente fueran parte de la escena. Estarán fuera de foco cuando mires cosas reales a la misma profundidad y viceversa. No será posible mover el ojo con fluidez a través de la escena mientras lo mantiene enfocado, como lo hace normalmente. Las claves de profundidad en conflicto serán confusas en el mejor de los casos y enfermas en el peor de los casos..

Para solucionar esto, necesita algo que se llama una pantalla de campo de luz. Las pantallas de campo de luz son pantallas que usan una serie de lentes diminutos para mostrar la luz enfocada en muchas profundidades simultáneamente. Esto permite al usuario enfocarse naturalmente en la pantalla y (para la realidad aumentada) resuelve el problema descrito anteriormente.

Sin embargo, hay un problema: las pantallas de campo de luz esencialmente asignan una sola pantalla 2D a un campo de luz tridimensional, lo que significa que cada una “píxel de profundidad” El hecho de que el usuario perciba (y exista en una profundidad focal particular en la escena) está realmente compuesto de luz de muchos píxeles en la pantalla original. Cuanto más detallada sea la profundidad que desea representar, mayor será la resolución a la que tendrá que renunciar..

En general, los campos de luz tienen alrededor de un ocho veces Disminución de la resolución para dar la precisión de profundidad adecuada. Los mejores microdisplays disponibles tienen una resolución de aproximadamente 1080p. Suponiendo que un microdisplay de gama alta maneja cada ojo, eso haría que la resolución real de los audífonos de Microsoft sea de solo 500 x 500 píxeles por ojo, menos que la Oculus Rift DK1. Si la pantalla tiene un alto campo de visión, los objetos virtuales serán burbujas de píxeles incomprensibles. Si no es así, la inmersión sufrirá proporcionalmente. En realidad nunca llegamos a ver a través de la lente (solo re-creaciones de computadora de lo que el usuario está viendo), así que no tenemos idea de cómo es realmente la experiencia del usuario..

Es posible que Microsoft haya encontrado alguna solución novedosa a este problema, para permitir el uso de una pantalla de campo de luz sin el compromiso de resolución. Sin embargo, Microsoft ha sido extremadamente cauteloso con respecto a su tecnología de visualización, lo que me hace sospechar que no lo han hecho. Aquí está la mejor explicación que tenemos hasta ahora (de la CABLEADO manifestación).

Para crear imágenes de Project HoloLens, las partículas de luz rebotan alrededor de millones de veces en el llamado motor de luz del dispositivo. Luego, los fotones ingresan a las dos lentes de las gafas, donde rebotan entre capas de vidrio azul, verde y rojo antes de que lleguen a la parte posterior del ojo..

Este tipo de descripción de la tecnología podría significar prácticamente cualquier cosa (aunque, para ser justos con Microsoft, el hardware impresionó a WIRED, aunque el artículo fue poco claro en los detalles).

No sabremos más a ciencia cierta hasta que Microsoft comience a publicar especificaciones técnicas, probablemente dentro de unos meses. En una nota adicional de la selección de liendres, ¿es realmente necesario ahogar el proyecto en este lenguaje tan publicitario? El procesador dedicado que están utilizando para el seguimiento de la cabeza se llama “procesador holográfico” y las imágenes se llaman “hologramas,” Sin ninguna razón en particular. El producto es lo suficientemente bueno como para que no sea necesario dorarlo así..

¿Es el seguimiento suficientemente bueno??

El auricular HoloLens del proyecto tiene una cámara de profundidad FOV alta montada en él (como el Kinect), que utiliza para averiguar dónde está el auricular en el espacio (al tratar de alinear la imagen de profundidad que está viendo con su modelo del mundo, compuesto de imágenes de profundidad pasadas). Aquí está su demostración en vivo de los auriculares en acción..

El seguimiento es impresionante si se considera que no utiliza marcadores u otros trucos, pero incluso en ese video (en condiciones muy controladas), puede ver una cierta cantidad de oscilación: el seguimiento no es completamente estable. Eso es lo que se espera: este tipo de seguimiento interno es extremadamente difícil..

Sin embargo, la gran lección de los diversos prototipos Oculus Rift Míranos Prueba The Oculus Rift Crescent Bay En el CES 2015 Míranos Intenta The Oculus Rift Crescent Bay En el CES 2015 The Oculus Rift Crescent Bay es un nuevo prototipo que muestra algunas mejoras interesantes en Tecnología de realidad virtual. Lo probamos en el CES 2015. Leer más es que la precisión del seguimiento es muy importante. El seguimiento tembloroso es simplemente molesto cuando se trata de unos pocos objetos en un mundo real en gran parte estable, pero en escenas como la demostración de Marte se muestra en su concepto de video, donde casi todo lo que se ve es virtual, el seguimiento impreciso podría llevar a una falta de “presencia” En la escena virtual, o incluso enfermedad del simulador. ¿Puede Microsoft obtener el seguimiento hasta el estándar establecido por Oculus (precisión de seguimiento submilimétrica y menos de 20 ms de latencia total) para su fecha de envío al final de este año??

Aquí está Michael Abrash, un investigador de VR que ha trabajado para Valve y Oculus, hablando sobre el problema.

[Debido a que siempre hay un retraso en la generación de imágenes virtuales, [...] es muy difícil conseguir que las imágenes virtuales y reales se registren lo suficientemente cerca para que el ojo no se dé cuenta. Por ejemplo, suponga que tiene una lata de Coca real que desea convertir en una lata AR Pepsi dibujando un logotipo de Pepsi sobre el logotipo de la Coca. Si se necesitan docenas de milisegundos para volver a dibujar el logotipo de Pepsi, cada vez que gire la cabeza, el efecto será que el logotipo de Pepsi cambiará algunos grados con respecto a la lata, y una parte del logotipo de Coca será visible; luego, el logotipo de Pepsi volverá al lugar correcto cuando deje de moverse. Claramente esto no es lo suficientemente bueno para un AR difícil.

¿Puede la pantalla dibujar negro??

Otro problema, junto con la profundidad focal y el seguimiento, tiene que ver con el dibujo de colores oscuros. Agregar más luz a una escena es relativamente simple, usando divisores de haz. Sacar la luz es mucho más difícil. ¿Cómo oscureces selectivamente partes del mundo real? Poner una pantalla LCD transparente selectiva no lo cortará, ya que no siempre puede estar en el enfoque correcto para bloquear lo que está mirando. Las herramientas ópticas para resolver este problema, a menos que Microsoft las haya inventado en secreto, simplemente no existen.

Esto es importante, ya que para muchas de las aplicaciones que Microsoft muestra (como ver Netflix en su pared), los auriculares realmente necesitan la capacidad de eliminar la luz proveniente de la pared, o su película siempre tendrá un patrón de estuco visible superpuesto con él: será imposible que las imágenes bloqueen objetos reales en la escena, lo que hace que el uso del auricular sea muy dependiente de las condiciones de iluminación ambiental. De vuelta a Michael Abrash:

[Hasta ahora no ha surgido nada por el estilo en la industria o la literatura de la RA, y a menos que así sea, la RA dura, en el sentido de SF que todos conocemos y amamos, no puede suceder, excepto en la oscuridad cercana.

Eso no significa que AR esté fuera de la mesa, solo que por un tiempo será AR suave, basado en la mezcla aditiva [...] Nuevamente, piense que es translúcido “Cazafantasmas.” Las imágenes virtuales de alta intensidad sin áreas oscuras también funcionarán, especialmente con la ayuda de oscurecimiento regional o global, simplemente no se verán como parte del mundo real.

¿Qué pasa con la oclusión??

“Oclusión” es el término para lo que sucede cuando un objeto pasa frente a otro y le impide ver lo que hay detrás de él. Para que el escenario virtual se sienta como una parte tangible del mundo, es importante que los objetos reales ocluyan objetos virtuales: si levanta la mano frente a una imagen virtual, no debería poder verla. Tu mano. Debido al uso de una cámara de profundidad en el auricular, esto es realmente posible. Pero, mira la demostración en vivo otra vez:

En general, controlan cuidadosamente los ángulos de la cámara para evitar que los objetos reales pasen frente a los virtuales. Sin embargo, cuando el demostrador interactúa con el menú de Windows, puede ver que su mano no lo ocluye en absoluto. Si esto está fuera del alcance de su tecnología, es una mala señal para la viabilidad de su producto de consumo..

Y hablando de esa interfaz de usuario ...

Es esta realmente la interfaz de usuario final?

La IU mostrada por Microsoft en sus videos de demostración parece funcionar al usar una combinación de seguimiento de la mirada y la mano para controlar un cursor en la escena virtual, mientras se usan los controles de voz para seleccionar entre las diferentes opciones. Esto tiene dos inconvenientes principales: te hace parecer un niño pequeño en el Shining que habla con su dedo, pero lo más importante es que también representa un paradigma de diseño fundamentalmente defectuoso..

Históricamente, las mejores interfaces de usuario han sido aquellas que traen intuiciones físicas sobre el mundo al mundo virtual. El ratón trajo clics, arrastres, y ventanas. Interfaz táctil trajo deslizar para desplazarse y pellizcar para ampliar. Ambos fueron fundamentales para hacer que las computadoras fueran más accesibles y útiles para la población en general, porque eran fundamentalmente más intuitivas que las anteriores..

VR y AR te dan mucha más libertad como diseñador: puedes colocar elementos de la IU en cualquier lugar del espacio 3D y hacer que los usuarios interactúen con ellos de forma natural, como si fueran objetos físicos. Un gran número de metáforas obvias se sugieren. Toca un elemento de la interfaz de usuario virtual para seleccionarlo. Pellizcarlo para recogerlo y moverlo. Deslízala para guardarla temporalmente. Aplastarlo para eliminarlo. Puedes imaginarte construyendo una interfaz de usuario tan intuitiva que no requiera explicación. Algo que su abuela puede captar al instante, porque se basa en una base de intuiciones físicas básicas que todos construyen a lo largo de toda una vida de interacción con el mundo. Tómese un minuto y escuche a esta persona inteligente describir qué interfaces inmersivas podrían ser.

En otras palabras, parece obvio (para mí) que una interfaz de usuario inmersiva debe ser al menos tan intuitivo como las interfaces táctiles iniciadas por el iPhone para pantallas multitáctiles 2D. Construyendo una interfaz alrededor de la manipulación de un VR “ratón” es un paso atrás, y expone profundas deficiencias tecnológicas en su tecnología de seguimiento manual o un malentendido fundamental de lo que es interesante acerca de este nuevo medio. De cualquier manera, es una mala señal que este producto sea más que un fracaso colosal de escala Kinect..

Con suerte, Microsoft tiene tiempo para obtener comentarios sobre esto y hacer un mejor trabajo. Como ejemplo, aquí hay una interfaz diseñada por un aficionado para Oculus Rift DK2 y Leap Motion. Una interfaz de usuario inmersiva diseñada por una gran empresa debe ser, al menos, tan buena..

Una muestra de lo que vendrá

En general, soy extremadamente escéptico con respecto al Proyecto HoloLens en general. Estoy muy contento de que una empresa con recursos de Microsoft esté investigando este problema, pero me preocupa que estén tratando de apresurar un producto sin resolver algunos problemas técnicos subyacentes críticos, o de identificar un buen paradigma de UI. HoloLens es un signo de lo que vendrá, pero eso no significa que el producto en sí mismo proporcionará una buena experiencia a los consumidores..

Crédito de la imagen: cortesía de Microsoft.

Explora más sobre: ​​Realidad Aumentada, Microsoft, Realidad Virtual.