ES2688280T3

ES2688280T3 - Sistema de visualización estereoscópica

Info

Publication number: ES2688280T3
Application number: ES11754260.5T
Authority: ES
Inventors: Yuri Kazakevich; John E. Kennedy
Original assignee: Viking Systems Inc
Current assignee: Viking Systems Inc
Priority date: 2010-03-12
Filing date: 2011-03-14
Publication date: 2018-10-31
Anticipated expiration: 2031-03-14
Also published as: JP2013521941A; EP2544579A4; EP2544579A1; EP2544579B1; WO2011113062A1; US20160255324A1; US9192286B2; WO2011113062A9; US20110228049A1

Abstract

Aparato para la presentacion de una imagen estereoscopica a un espectador, comprendiendo el aparato: un endoscopio (401); una videocamara estereoscopica (408) conectada opticamente al endoscopio, comprendiendo la videocamara estereoscopica: un primer y un segundo canales opticos (402A, 402B) para la adquisicion, respectivamente, de una primera y una segunda imagenes de una escena, comprendiendo el primer y el segundo canales opticos un primer y un segundo puntos focales, respectivamente; un primer y un segundo sensores de imagen (411A, 411B) para la adquisicion, respectivamente, de la primera y la segunda imagenes del primer y del segundo canales opticos, estando posicionados el primer y el segundo sensores de imagen a lo largo de un eje; y un medio de ajuste del paralaje para ajustar el paralaje de una imagen estereoscopica adquirida por el primer y el segundo sensores de imagen y presentada en una pantalla (23); caracterizado por que el primer y el segundo canales opticos comprenden cada uno al menos un componente optico (403A, 403B, 404A, 404B, 405A, 405B, 406A, 406B, 407A, 407B, 410A, 410B), y ademas en donde el medio de ajuste del paralaje comprende un medio de movimiento del componente optico para el movimiento simultaneo, longitudinal y lateral, de al menos un componente optico de cada uno del primer y del segundo canales opticos de manera que cambian lateralmente la salida del primer y del segundo canales opticos con respecto al eje del primer y del segundo sensores de imagen de acuerdo con los cambios en el primer y el segundo puntos focales, con el fin de ajustar simultaneamente el enfoque y el paralaje.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCIÓN

Sistema de visualización estereoscópica Campo de la invención

La invención se refiere a sistemas de visualización estereoscópica para endoscopios.

Antecedentes de la invención

Uno de los principales problemas asociados a la televisión estereoscópica es la destrucción de la correlación normal entre la acomodación del ojo humano y la vergencia entre los dos ojos del espectador. Específicamente, en la experiencia visual normal, los ojos humanos se acomodan (es decir se enfocan) en el objeto de observación y, al mismo tiempo, los dos ojos convergen en el mismo objeto. Por lo tanto, el objeto de observación se proyecta en las áreas correspondientes de las dos retinas sin disparidad. Todos los objetos enfrente del objeto de observación tendrán una disparidad cruzada y se sentirán como “cercanos", mientras que todos los objetos detrás del objeto de observación tendrán una disparidad no cruzada y se sentirán como “lejanos".

Sin embargo, esta correlación entre el enfoque de los ojos y su convergencia se altera normalmente en las aplicaciones de video estereoscópicas. En este caso, las representaciones izquierda y derecha de objetos están localizadas físicamente en la superficie del monitor en oposición a los lugares arbitrarios en el espacio para las experiencias visuales regulares. De forma que, con el fin de obtener el mejor enfoque, los ojos necesitan enfocar ópticamente al monitor. Sin embargo, la vergencia de los dos ojos se dicta por el paralaje generado entre las imágenes izquierda y derecha en el monitor y en general no se corresponde con la acomodación del ojo por el mejor foco en el plano del monitor. Véase la Fig. 1, que ilustra un escenario estereoscópico típico en el que hay una desviación en la correspondencia normal entre la distancia focal y la distancia de vergencia. Esta ruptura de la unión entre el foco y la convergencia ocular produce un esfuerzo del ojo y fatiga para el espectador. Véase también, la Fig. 2, que ilustra cómo la relación entre la distancia focal y la distancia de vergencia deberían mantenerse con ciertos enlaces con el fin de que el espectador permanezca en su “zona de confort" (es decir, la denominada “zona de confort de Percival).

El problema descrito anteriormente llega a ser particularmente importante en aplicaciones médicas (por ejemplo, endoscópicas) en las que el sistema de video estereoscópico se puede utilizar para la visión de precisión durante periodos de tiempo prolongados. A modo de ejemplo, pero sin limitación, no es común en casos quirúrgicos que duren más de 2 horas, y un cirujano normalmente lleva a cabo varios casos al día. Debido a la naturaleza crítica de dichas aplicaciones médicas es importante minimizar la fatiga del usuario y proporcionar una visualización confortable mientras que se mantienen todos los beneficios de la percepción profunda.

La Fig. 3 muestra un plano óptico de primer orden de una cámara 5 de doble canal estéreo típica. La cámara 5 de doble canal estéreo comprende en general un sensor de imagen izquierda 10L y un sensor de imagen derecha 10R (por ejemplo, sensores CCD o CMOS), y un sistema óptico 15 que comprende un sistema óptico 20L de canal óptico izquierdo y un sistema óptico 20R de canal óptico derecho (que se muestra esquemática en la Fig. 3 como dos lentes sencillas para cada canal óptico solamente con fines de claridad de la ilustración). Como se conoce bien en la técnica, y mirando ahora en la Fig. 4, se tiene la intención de que la cámara 5 de doble canal estéreo se acople a un endoscopio 21, las señales generadas por los sensores de imagen 10L, 10R se remiten a un sistema electrónico 22 apropiado para el procesamiento (el sistema electrónico 22 puede incluirse con la cámara estéreo 5), y entonces las señales procesadas se remiten a una pantalla estéreo 23 apropiada o dispositivo de registro configurado para presentar o registrar las imágenes capturadas por los sensores de imagen 10L, 10R derecho e izquierdo. Este dispositivo de presentación 23 puede ser un monitor 3D de la manera bien conocida en la técnica, o una pantalla montada en la cabeza, o cualquier otro dispositivo de presentación capaz de presentar las imágenes izquierda y derecha al ojo apropiado del espectador.

En la Fig. 3:

Pi y P2 son el primer y segundo planos principales de los sistemas ópticos de canal izquierdo y derecho 20L, 20R - en la aproximación de primer orden, los sistemas ópticos de canal izquierdo y derecho 20L, 20R se consideran idénticas y sus planos principales correspondientes;

0 es el eje medio de la cámara estéreo 5 de doble canal;

01 u Or son los ejes ópticos de los sistemas ópticos de canal izquierdo y derecho 20L, 20R, respectivamente; f es la longitud focal eficaz de la cámara estéreo 5 de doble canal;

s y s' son las distancias desde un objeto y su imagen respecto a los planes principales correspondientes - por la convención de signos aceptada generalmente en el campo óptico, distancias medidas desde la izquierda de un plano principal se consideran negativas, y las distancias medidas desde la derecha de un plano principal se consideran positivas - por lo tanto, en la Fig. 3, la distancia s se considera negativa mientras que la distancia s' se considera positiva;

F es el punto focal posterior de la cámara estéreo 5 de canal doble;

5

10

15

20

25

30

35

40

45

50

55

60

65

x' es la distancia desde el punto focal F al plano de imagen;

C es el punto de convergencia (véase, posteriormente);

h es la distancia entre el eje medio O y el eje óptico del sistema óptico de canal derecho 20R - por convención de signos, las alturas medidas debajo del eje óptico se consideran negativas mientras que las alturas medidas encima del eje óptico se consideran positivas; y h' es la altura de imagen para el punto de convergencia.

Normalmente, una cámara estéreo de canal dual se alinea para un cierto punto de convergencia en el espacio objeto. El alineamiento se consigue por sensores que compensan los sensores de imagen 10L, 10R en el “plano horizontal" de los ojos, es decir, el “plano horizontal" representado por la línea 25 de la Fig. 3. Se puede ver en la Fig. 3 que los centros de los sensores 10L, 10R están compensados horizontalmente desde los ejes ópticos Ol, Or de los sistemas ópticos derecho e izquierdo 20L, 20R, de manera que el punto de convergencia se presenta con cero paralaje en el dispositivo de pantalla, entonces, para este punto en particular, la unión entre la acomodación del ojo y la convergencia de los ojos se conservará, y para este punto particular de convergencia, la cámara estéreo de canal dual proporcionar al espectador una experiencia visual “normal".

Normalmente, el punto de convergencia se selecciona de manera que esté en el intervalo utilizable de las distancias de objeto que se espera que se van a encontrar en una aplicación en particular. Por ejemplo, se puede escoger que el punto C esté a una distancia de 5 m del sistema óptico para una aplicación típica de videocámara, o a una distancia de 50 mm desde la punta distal de un endoscopio para una aplicación de cirugía laparoscópica general. De manera similar, la distancia entre los ejes ópticos Ol, Or de los sistemas ópticos de canal izquierdo y derecho 20L, 20R, las longitudes focales de los sistemas ópticos izquierdo y derecho 20L, 20R, y los tipos/tamaños de sensores de imagen 10L, 10R se seleccionan normalmente de acuerdo con la aplicación para la que se va a utilizar la cámara estéreo.

El inconveniente de una cámara estéreo convencional es que cuando la cámara se enfoca en cualquier otro punto que está a una distancia diferente del punto de convergencia, entonces el punto en el centro del dispositivo de pantalla tendrá un paralaje que no es cero, rompiendo de esta manera la unión entre la acomodación del ojo u la convergencia. esta rotura de la unión normal entre la acomodación del ojo y la convergencia produce cansancio ocular y fatiga de espectador.

En algunas situaciones, por ejemplo, cuando la cámara estéreo convencional solo se necesita utilizar durante breves periodos de tiempo, y/o cuando no es necesario una visión de la imagen con una precisión significativa, y/o cuando el paralaje es relativamente nominal, esta rotura de la unión normal entre la acomodación del ojo y la convergencia puede producir solamente niveles moderados de cansancio ocular y fatiga para el espectador y puede ser aceptable una cámara estéreo convencional. Sin embargo, en aplicaciones médicas (por ejemplo, endoscópicas) en las que la cámara estéreo se debe utilizar durante largos periodos de tiempo, con gran precisión y cuando el paralaje es frecuentemente sustancial, la rotura de la unión entre la acomodación del ojo y la convergencia puede producir niveles significativos de cansancio ocular y fatiga para el espectador, y una cámara estéreo convencional puede ser insatisfactoria.

Por lo tanto, existe la necesidad de un nuevo y mejorado sistema de visualización estereoscópica que pueda afrontar los problemas anteriores de convergencia en aplicaciones médicas (por ejemplo, endoscópicas) y relacionadas. El documento US 2005/089212 desvela un dispositivo de acuerdo con el preámbulo de la reivindicación 1.

Sumario de la invención

La presente invención proporciona un nuevo y mejorado sistema de visualización estereoscópica que puede afrontar los problemas anteriores de convergencia en aplicaciones médicas (por ejemplo, endoscópicas) y relacionadas. Entre otras cosas, la presente invención afronta los problemas anteriores de convergencia proporcionando un sistema de visualización estereoscópica de acuerdo con las reivindicaciones 1 y 2.

Breve descripción de los dibujos

Estos y otros objetos y características de la presente invención se desvelarán más completamente o se hacen obvios mediante el seguimiento de la descripción detallada de las realizaciones preferidas de la invención, que se van a considerar junto con los dibujos adjuntos en los que números iguales se refieren a partes iguales, y adicionalmente en los que:

La Fig. 1 es una vista esquemática que ilustra un escenario estereoscópico típico en el que hay una desviación de la correspondencia normal entre la distancia focal y la distancia de vergencia;

La Fig. 2 es una vista esquemática que ilustra cómo debería mantenerse la relación entre la distancia focal y la distancia de vergencia en ciertos enlaces con el fin de que el espectador se mantenga en su “zona de confort" (es decir, la denominada “zona de confort de Percival");

La Fig. 3 es una vista esquemática de un plano óptico de primer orden de una cámara estéreo de doble canal

5

10

15

20

25

30

35

40

45

50

55

60

65

típica;

La Fig. 4 es una vista esquemática de un sistema de visualización estereoscópica típico;

La Fig. 5 es una vista esquemática de un nuevo sistema de visualización estereoscópica formado de acuerdo con la presente invención, en el que el nuevo sistema de visualización estereoscópica comprende medios para ajustar el paralaje de una imagen estereoscópica presentada en una pantalla;

La Fig. 6 es una vista esquemática de aspectos seleccionados de un nuevo sistema de visualización estereoscópica formado de acuerdo con la presente invención, en el que el sistema de visualización

estereoscópica se configura para ajustar el paralaje ajustando las disposiciones físicas del sensor de imagen izquierda y el sensor de imagen derecha de acuerdo con el punto focal del sistema de endoscopio estéreo;

La Fig. 7 es una vista esquemática de aspectos seleccionados de un nuevo sistema de visualización estereoscópica formado de acuerdo con la presente invención, en el que el sistema de visualización

estereoscópica se configura para ajustar el paralaje utilizando el modo sobre-desviación y ajustando

electrónicamente las áreas de pantalla del sensor de imagen izquierdo y el sensor de imagen derecho.

La Fig. 8 es una vista esquemática de aspectos seleccionados de un nuevo sistema de visualización estereoscópica formado de acuerdo con la presente invención, en el que el sistema de visualización

estereoscópica se configura para ajustar el paralaje ajustando las disposiciones físicas de los componentes ópticos corriente arriba del sensor de imagen izquierdo y el sensor de imagen derecho; y

La Fig. 9 es una vista esquemática de un nuevo endoscopio de único canal y módulo de cabeza de cámara, en el que el módulo de cabeza de cámara se configura de manera que el paralaje se ajusta ajustando las disposiciones físicas de los componentes ópticos corriente arriba del sensor de imagen izquierdo y el sensor de imagen derecho.

Descripción detallada de las realizaciones preferidas

Nuevo sistema de visualización estereoscópica en el que se ajusta el paralaje ajustando las disposiciones físicas del sensor de imagen izquierdo y el sensor de imagen derecho de acuerdo con el punto focal del sistema de visualización estereoscópica

Asumiendo que el usuario lo más probable es que intentará llevar la imagen a la parte más importante de la escena (por ejemplo, el tejido en tratamiento) con un enfoque apropiado y en el centro de la pantalla, es preferible correlacionar el foco y la vergencia para el centro de la imagen presentada.

Por lo tanto, y mirando ahora a la Fig. 5, en una forma de la presente invención, se proporciona un nuevo sistema de visualización estereoscópica 26 que se configura para mantener la unión entre el enfoque y la vergencia para el centro de la imagen presentada. El sistema de visualización estereoscópica 26 comprende en general el endoscopio 21 para adquirir una vista estéreo de una escena, una nueva cámara estéreo 38 para la captura de la imagen obtenida por el endoscopio 21, un aparato electrónico de procesamiento 29 (que se puede incluir en la nueva cámara estéreo 28) y una pantalla 23 apropiada.

Primero se puede ver a partir de la geometría de la Fig. 3 y de los principios de la formación de imágenes de primer orden:

h' = (h/f) x' (1)

Cuando el objeto se mueve desde una distancia s del primer plano principal Pi hasta alguna otra distancia, el sistema óptico se reenfoca de manera que la imagen del objeto se enfoca de nuevo. Para conseguir esta reenfoque, los sistemas ópticos de ambos canales se mueven como una unidad a lo largo del eje O. Suponiendo que el punto de objeto C se mueve a una nueva posición Ci una distancia As. con el fin de reenfocar, el sistema óptico se moverá una distancia As'. Está claro en la Fig. 3 que según el punto del objeto C se mueve a lo largo del eje 0, el valor h no cambia ya que está definido por la distancia inter-eje de los dos canales (que también se llama base estéreo del sistema óptico estereoscópico). También se puede ver el punto focal F se moverá junto con el sistema óptico la misma distancia As'. La distancia entre el punto focal y el plano de imagen x' se convertirá por lo tanto en x' + As'. Permitiendo que la altura de imagen para el nuevo punto Ci sea hi', entonces:

hi' = (h/f) (x'+ As') (2)

A partir de las ecuaciones (1) y (2) anteriores, se sigue que la diferencia entre la altura de la imagen original y la altura de la nueva imagen se expresa mediante una función lineal simple:

Ah' = (h/f) As' (3)

Por lo tanto, según se mueve el punto del objeto a una nueva posición Ci, su imagen en cada sensor se mueve horizontalmente en direcciones opuestas una distancia Ah' dada por la ecuación (3), por lo tanto, dando como resultado un paralaje horizontal de 2 Ah' según se mide en el plano del sensor. El paralaje actual en la pantalla se escalará de acuerdo con la magnificación entre el dispositivo de pantalla y el sensor.

5

10

15

20

25

30

35

40

45

50

55

60

65

Como se ha expuesto anteriormente, este paralaje creará cansancio ocular y fatiga al usuario. En tanto en cuanto a que la magnitud de este paralaje puede ser sustancial en aplicaciones endoscópicas, y en tanto en cuanto este paralaje puede ser experimentado por el cirujano durante periodos sustanciales de tiempo en las aplicaciones endoscópicas, el cansancio ocular y fatiga asociadas a este paralaje puede ser significativo, hasta el punto de la visualización apropiada del sitio quirúrgico.

La presente invención proporciona medios para eliminar (o ajustar) el paralaje resultante del reenfoque.

En una forma de la invención, el paralaje se puede eliminar (o ajustar) efectuando un desplazamiento “horizontal" apropiado de los sensores de imagen (es decir, a lo largo de la línea 25 de la Fig. 3) de tal manera que se crea una compensación adicional de Ah' dada por la ecuación (3) para cada sensor. Por lo tanto, en una forma de la invención, la nueva cámara estéreo 28 se configura de manera que sus dos sensores de imagen 10L, 10R se moverán al unísono puestamente entre ellos en dirección “horizontal" (es decir, a lo largo de la línea 25 de la Fig. 3), y simultáneamente con el sistema óptico de manera que el sistema óptico enfoca, de manera que el punto del objeto “enfocado" axial se volverá automáticamente un punto de vergencia, proporcionado de esta manera una visualización con cero paralaje.

La Fig. 6 muestra un diagrama cinemático de una realización a modo de ejemplo de esta forma de la invención. En la realización a modo de ejemplo de la Fig. 6, se muestra aspectos seleccionados de la nueva cámara estéreo 28. En esta forma de la invención, el sistema óptico 35 del nuevo sistema estereoscopio de endoscopio 30 (es decir, el sistema óptico 15 de la Fig. 3) está restringido al movimiento axial en el intervalo de enfoque necesario. El sistema óptico está unido de manera rígida a una cámara lineal 40 que puede ser de forma cónica o de prisma triangular. Los sensores de imagen 10L, 10R de la nueva cámara estéreo 28 está restringida al movimiento perpendicular al eje MK y está unida para discurrir por la hipotenusa del triángulo MNK (o MKL, respectivamente), por ejemplo, utilizando muelles y activadores de contacto de punto. El ángulo a se define por la ecuación:

a = arctan (h/f) (4)

donde:

h es la mitad de la distancia inter-axial entre los sistemas ópticos de canal izquierdo y derecho (20L, 20R de la

Fig. 3); y

f es la longitud focal eficaz del sistema óptico 35.

El diagrama esquemático que se muestra en la Fig. 6 es solo un ejemplo de las posibles implementaciones de esta forma de la invención. Es adecuado para el enfoque tanto motorizado como manual. También son posibles otras realizaciones. Por ejemplo, el sistema óptico 35 y los sensores 10L, 10R se pueden dirigir por motores programables separados. En este caso pueden ser necesarias cámaras 40 no físicas ya que los motores se pueden programar para mantener la ecuación (3) durante el enfoque.

Nueva videocámara estereoscópica en la que el paralaje se ajusta utilizando el modo sobre-desviación y ajustando electrónicamente las áreas de pantalla del sensor de imagen izquierdo y el sensor de imagen derecho

En otra forma de la presente invención, no es necesario un movimiento físico de los sensores de imagen 10L, 10R con el fin de ajustar el paralaje en el sistema. Más bien, en esta forma de la invención, el paralaje se ajusta electrónicamente ajustando las áreas de la pantalla de los sensores de imagen izquierdo y derecho.

Más particularmente, el principio de esta realización se muestra en la Fig. 7. Los sensores de imagen 10L, 10R y el dispositivo de pantalla se configuran de manera que operen en el modo “sobrecompensación", ya que la parte del área de creación de imágenes del sensor 45L, 45R se presenta actualmente al usuario. El sistema se programa de tal manera que las áreas presentadas 50L, 50R pueden cambiar sus posiciones a condición de que permanezcan en las áreas de imagen 45L, 45R de los sensores de imagen 10L, 10R, respectivamente. En términos de ajuste horizontal del paralaje, el cambio horizontal de las áreas presentadas 50L, 50R es equivalente a la desviación física de los sensores 10L, 10R en la construcción que se muestra en la Fig. 6, es decir, el cambio horizontal de las áreas presentadas 50L, 50R es hasta la extensión apropiada para eliminar el paralaje resultante del reenfoque.

Esta forma de la invención se puede implementar en distintas realizaciones. Por ejemplo, la videocámara estéreo puede tener un mecanismo de enfoque manual para el sistema óptico, y este mecanismo de enfoque manual se puede proporcionar con medios de posición del sentido. Los medios de posición del sentido suministran electrónicamente la información en tiempo real sobre el desplazamiento As' del sistema óptico. El procesamiento de la unidad de cámara utiliza esta información para cambiar las áreas en pantalla 50L, 50R de los sensores izquierdo y derecho 10L, 10R unas distancias Ah' en direcciones opuestas de acuerdo con la ecuación (3). De manera alternativa, el enfoque de la cámara se puede motorizar y la información del circuito de control del motor se puede introducir en el procesador de la cámara. El sistema se programa de manera que el área presentada cambie y el desplazamiento del sistema de enfoque se une por la ecuación (3). Los sensores de imagen 10L, 10R puede compensado mecánicamente por la posición inicial del punto de convergencia o el ajuste del paralaje completo se

5

10

15

20

25

30

35

40

45

50

55

60

65

puede hacer electrónicamente.

Un beneficio adicional del ajuste electrónico del paralaje es la facilidad de cambiar los parámetros de la ecuación (3), es decir, en esta forma de la invención, dichos cambios de parámetro se pueden efectuar solo mediante un software. Esta característica es útil en aplicaciones endoscópicas en las que se pueden utilizar diferentes sistemas ópticos (por ejemplo, endoscopios) con la misma cámara básica. El sistema de cámara se puede suministrar con medios para el reconocimiento del tipo de endoscopio que se va a utilizar con la cámara, o el tipo de familia de endoscopio (que tiene la misma longitud focal f y distancia inter-axial h) que se van a utilizar con la cámara. Estos parámetros se pueden introducir en el procesador de la cámara al inicio, y el paralaje puede ajustarse automáticamente por la ecuación (3) con un conjunto específico de parámetros para cada familia de endoscopios.

Esta forma de la invención es particularmente muy adecuada para las construcciones que utilizan el diseño de endoscopios estéreo “chip en la punta", ya que no necesita mover partes mecánicas.

Sistema modular que comprende un endoscopio y una cámara estéreo acoplada

Para las aplicaciones endoscópicas, a menudo es ventajoso tener un sistema modular compuesto por un endoscopio y una cámara estéreo acoplados desmontablemente entre ellos. La modularidad del sistema permite el acoplamiento de diferentes tipos/tamaños de endoscopios a la misma cámara estéreo. Normalmente, en aplicaciones endoscópicas, la cámara estéreo también se divide en al menos dos módulos: una cabeza que sujeta la cámara que contiene los sensores de imagen con su circuito conductor y una unidad de control de la cámara que contiene el suministro eléctrico, el circuito de procesamiento de la señal y los conectores de salida de video. La cabeza de la cámara se conecta normalmente a la unidad de control de la cámara mediante un cable o un enlace inalámbrico. La unidad de control de la cámara se conecta a un dispositivo de pantalla. La presencia de una unidad de control de cámara separado es típico, pero no absolutamente necesario - la cabeza de la cámara puede contener todos los circuitos de la cámara y un suministro eléctrico portátil (por ejemplo, una batería). Las Fig. 8 y 9 muestran esquemáticamente dos ejemplos de módulos endoscopio/cámara acoplados (la unidad de control de la cámara no se muestra en las figuras).

En la Fig. 8 el endoscopio 401 es un endoscopio estéreo de doble canal. El endoscopio 401 comprende dos canales ópticos separados 402A, 402B que se extienden desde el extremo distal del endoscopio al extremo proximal del endoscopio. En el extremo distal del endoscopio, cada canal 402A, 402B contiene un objetivo 403A, 403B que forma la imagen de un objeto en observación. Las imágenes formadas por los objetivos 403A, 403B se envían al extremo proximal del endoscopio 401 mediante sistemas de relés ópticos 404A, 404B. Cada sistema de relés 404A, 404B puede comprender una o una pluralidad de relés de lentes (normalmente relés de lentes de barra) o un haz de fibra de imagen coherente. En el extremo proximal el endoscopio de estar provisto de sistemas de separación de canales 405A, 405B que se pueden formar mediante espejos o primas o combinaciones de ambos. Proximalmente a los sistemas de separación de canales, cada canal contiene una lente ocular 406A, 406B. Las lentes oculares 406A, 406B forman haces de luz aproximadamente colimados que salen de los puertos de salida 407A, 407B. Normalmente, el endoscopio 401 representa un dispositivo independiente, sellado, esterilizable que se acopla de manera desmontable a la cabeza de la cámara 408.

El módulo de cabeza de cámara 408 representado en la Fig. 8 es preferentemente un conjunto sellado, esterilizable. El módulo de cabeza de cámara 408 contiene dos puertos ópticos 409A, 409B para la recepción de los haces de luz de los canales izquierdo y derecho del endoscopio 401. Las lentes de enfoque 410A, 410B enfocan la luz de los canales ópticos correspondientes en los sensores de imagen 411A, 411B, respectivamente. Para conseguir el enfoque, las lentes 410A, 410B se mueven axialmente como una unidad hasta que se consigue el mejor enfoque para el objeto deseado en frente del endoscopio 401. Los sensores de imagen 411A, 411B se conecta a sus circuitos conductores 412A, 412B de manera que se producen señales eléctricas sin procesar representativas de la imagen óptica recibida por cada sensor de imagen 411A, 411B. las señales sin procesar del sensor se envían entonces al módulo de unidad de control de la cámara (no mostrado) para el procesamiento de la señal mediante un cable 413 o enlace inalámbrico.

Para el sistema mostrado en la Fig. 8, existen varias posibilidades para mantener una coincidencia entre la convergencia en la parte central del monitor y el mejor enfoque.

Una posibilidad es el movimiento lateral de los sensores de imagen 411A, 411B lejos de y hacia la línea de simetría de la Fig. 8 en correspondencia con el movimiento axial del grupo de enfoque 410A, 410b, es decir, el movimiento físico de los sensores de imagen para reducir el paralaje, de la manera descrita anteriormente en conexión con la fig. 5. En esta forma de la invención, los sensores de imagen 411A, 411B se mueven simétricamente de acuerdo con la ecuación 83) como una función lineal del movimiento axial del grupo de enfoque. En este caso el valor f se interpretará como la longitud focal eficaz de la lente de enfoque 410A o 410B.

Otra implementación alternativa más se basa en la modificación electrónica del paralaje en la pantalla como se expone anteriormente en conexión con la Fig. 7 En esta forma de la invención, la posición axial de las lentes de enfoque 410A, 410B se pueden controlar y registrar por medios electrónicos bien conocidos en la técnica (por

5

10

15

20

25

30

35

40

45

50

55

60

65

ejemplo, posicionamiento de sensores). Cada posición del grupo de lentes de enfoque hacia un cierto punto focal y hasta cierto paralaje de pantalla en el punto de mejor enfoque. Como se estableció en la exposición anterior, la función entre la posición axial de las lentes y el valor del paralaje es lineal. Esta función se puede programar o almacenar como una tabla de consulta. En consecuencia, con el fin de mantener el paralaje cero coincidente con el área de enfoque en el centro de la pantalla, Los datos de detección electrónica de la posición del grupo de enfoque se suministra a los medios de softwares que controlan la desviación electrónica de los dos canales.

Nueva videocámara estereoscópica en la que ajusta el paralaje ajustando las disposiciones físicas de los componentes ópticos corriente arriba del sensor de imagen izquierdo y el sensor de imagen derecho

En las secciones anteriores, se ha desvelado que el paralaje se puede ajustar por el movimiento físico de los sensores de imagen izquierdo y derecho de manera que se mantenga la correlación entre el enfoque y vergencia. Sin embargo, a este respecto se debería apreciar que, normalmente, los sensores de imagen 411A, 411B están fijo permanentemente a placas de circuitos impresos que contienen conductores electrónicos y otros circuitos relacionados. En muchos casos para aplicaciones imagen de alta calidad, cada sensor de imagen representa un bloque de 3 sensores individuales para los colores rojo, verde y azul montados en un prisma de separación del color. Así, en la práctica, los sensores de imagen 411A, 411B pueden constituir conjuntos de complejos electro-opto- mecánicos que no se prestan fácilmente al movimiento físico. Por lo tanto, esta estrategia puede no ser práctica en algunas situaciones.

Una estrategia alternativa, y a veces más práctica, es introducir un componente lateral para el trayecto del grupo de lentes de enfoque 410A, 410B con el fin de ajustar el paralaje. En esta estrategia, las lentes de enfoque 410A, 410B se mueven al unísono a lo largo de líneas discontinuas inclinadas respecto al eje de simetría medio como se muestra en la Fig. 8.

Se debería señalar que el trayecto de las lentes de enfoque a lo largo de los segmentos inclinados puede ser la manera más práctica para ajustar el paralaje sin mover los sensores de imagen 411A, 411B, pero no se la única solución posible para conseguir el objetivo de cambiar el paralaje durante el enfoque. Por ejemplo, el movimiento lateral de las lentes oculares 406A, 406B dará como resultado el cambio de paralaje; y el movimiento lateral de los componentes de separación de canales 405A, 405B también producirá un cambio de paralaje, y el movimiento lateral al unísono de las combinaciones de elementos 405A, 406A y los elementos 405B, 406B producirán un cambio en el paralaje; y el balanceo de las superficies reflectoras de los componentes de separación de canales 405A, 405B en el plano de la Fig. 8 también producirán un cambio de paralaje. Por lo tanto, se verá que, en otra forma de la presente invención, el paralaje se puede ajustar ajustando las disposiciones de los componentes ópticos corriente arriba de los sensores de imagen izquierdo y derecho.

Ajuste del paralaje independientemente y desacoplado del enfoque

En esencia, todas las técnicas descritas anteriormente para ajustar el paralaje introducen una cantidad fija de paralaje de pantalla en la escena completa. Esto es equivalente a mover la imagen hacia la dirección de “atrás de la pantalla" o hacia la dirección de “delante de la pantalla". En algunos casos, la coincidencia exacta entre el área de mejor enfoque y la convergencia en la pantalla no es necesaria o se puede superar por otros factores que afectan la percepción de la imagen estéreo. Por ejemplo, parte de la escena puede contener objetos que tengan un paralaje excesivo que no puedan fusionarse visualmente por el usuario. En dichas circunstancias, puede ser más importante mantener la “asignación de paralaje de pantalla completa" en los límites que pueda fusionar el usuario que intentar conseguir un paralaje de exactamente cero para los objetos enfocados en el centro de la pantalla.

Puede haber también otras razones para desacoplar la acomodación ocular y la vergencia, por ejemplo, una preferencia del usuario para tener la mayoría de la imagen atrás de la pantalla independientemente del mejor enfoque.

Por lo tanto, otras realizaciones de la presente invención incluyen un ajuste del paralaje de pantalla que es independiente y desacoplado del enfoque. Este ajuste puede llevarse a cabo por todos los métodos descritos anteriormente, tal como el desplazamiento físico lateral de los sensores de imagen, o los cambios electrónicos de las imágenes en la pantalla o el desplazamiento físico lateral de los componentes ópticos corriente arriba de los sensores de imagen, etc.

El ajuste del paralaje puede controlado por el espectador, de acuerdo con la preferencia del espectador, mediante los medios del interfaz de usuario de la forma conocida en la técnica, por ejemplo, un mando, botones, deslizadores presentados en la pantalla, etc.

También es posible comparar las imágenes del canal izquierdo y derecho (o regiones específicas de interés) por medios de software y derivar los datos de paralaje, por ejemplo, los valores máximos de paralaje positivo y negativo. Entonces, se puede hacer el ajuste del paralaje utilizando las distintas estrategias descritas anteriormente basándose en los datos de paralaje y ciertos criterios de optimización, por ejemplo, llevando el valor absoluto del paralaje por debajo de un límite predeterminado De hecho, puede ser uno de los criterios llevar el paralaje a un valor

5

10

15

20

25

30

35

40

45

50

55

60

65

cero en la parte central de la imagen. La cámara también puede tener una característica autofoco para asegurar que la parte central de la imagen siempre esté enfocada. El usuario puede tener una elección de criterios para el ajuste del paralaje que se podría implementar en forma de una interfaz de menú del usuario. En esta realización el ajuste del paralaje puede hacerse automáticamente mediante software sin la intervención del usuario.

Por lo tanto, en una forma de la invención, se puede definir una “zona de interés" en la pantalla (por el espectador en el momento de su uso, por el fabricante en el momento de la fabricación, etc.). Entonces, el sistema se configura para determinar el intervalo de valores de paralaje en la región de interés (por ejemplo, comparando la posición relativa de al menos algunos puntos homólogos en los dos sensores de imagen). Esta información se puede utilizar entonces para ajustar el paralaje de acuerdo con algunos criterios deseados. Dichos criterios pueden incluir, pero no se limitan a: (i) limitación del paralaje a un valor negativo máximo, (ii) limitación del paralaje a un valor positivo máximo, (iii) ajuste del paralaje a cero en algún punto de la pantalla (por ejemplo, en el medio de la pantalla), etc.

A modo de ejemplo, pero sin limitación, suponiendo que se determina que el paralaje en la región de interese varía de -50 pixeles a +150 pixeles, y suponiendo que se determina que el paralaje negativo máximo no debería superar los -30 pixeles. En este caso, el sistema puede ajustar el paralaje mediante 20 pixeles positivos, por ejemplo, moviendo físicamente los sensores de imagen lateralmente hasta reducir el paralaje paralelo negativo unos 20 pixeles, o cambiando la imagen electrónicamente de manera que se reduzca el paralaje paralelo unos 20 pixeles, o por movimiento físico de las ópticas corriente arriba de manera que se reduzca el paralaje negativo unos 20 pixeles, etc.

En el ejemplo anterior, el paralaje se expresa en el contexto de pixeles del sensor. Sin embargo, se apreciará que el paralaje se puede expresar también en el contexto de mediciones de longitud en la pantalla, o en medida angular, en cuyo caso es necesario identificar el tamaño de la pantalla y la distancia del espectador desde la pantalla, etc. En este contexto, se supone que el paralaje en la región de intervalos de interés desde -30 mm a +70 mm, y se determina que el paralaje positivo máximo no debería exceder los 64 mm, entonces el sistema puede ajustar el paralaje reduciendo el paralaje positivo máximo unos 6 mm.

Entre otras cosas, se apreciará que puede ser deseable ajustar el paralaje de manera que la imagen presentada al espectador se mantenga visualmente fusionable por el espectador, incluso si la unión normal entre el foco y la convergencia se debiera estrechar. A este respecto, se apreciará que mientras la relación entre la distancia focal y la distancia de vergencia se mantenga dentro de ciertos límites (Fig. 2), el espectador se mantendrá en su “zona de confort" visual (es decir, la zona de confort de Percival).

En una forma preferida de la invención, el nuevo sistema de visualización estereoscópica se puede configurar de manera que el paralaje se ajuste normalmente a cero en el centro de la pantalla (es decir, normalmente la región de enfoque apropiado), a menos de que alguna parte de la imagen no se puede fusionar visualmente por el usuario. En este caso, el sistema de visualización estereoscópica se puede configurar para ajustar los valores de paralaje de la imagen de manera que se mantengan en los intervalos necesarios para hacer que la imagen completa sea fusionable visualmente por el usuario, incluso si el paralaje no se ajusta a cero en el centro de la pantalla.

Se debería señalar que la comparación de las imágenes izquierda y derecha, y la derivación de los datos de paralaje, constituye un proceso de computación intensivo. Llevar esta operación continuamente a la velocidad de imágenes del vídeo puede no ser práctico en algunas situaciones, sin embargo, como en las aplicaciones endoscópicas los cambios de escenario son relativamente lentos, puede ser suficiente llevar a cabo la comparación por computación a intervalos relativamente infrecuentes en comparación con la velocidad de video (por ejemplo, una vez en 1 segundo). Para evitar las cantidades excesivas de ajuste del paralaje que pueden resultar de un movimiento demasiado frecuente y agitado de la imagen en y fuera de la pantalla, se pueden imponer umbrales optimizados en el software para hacer posible el ajuste solo después de que se produzcan cambios sustanciales en los datos de paralaje en la región de interés.

Además, se debería apreciar que las determinaciones del paralaje en la región de interés debería excluir los aspectos visuales de eventos transitorios con no son el núcleo de la imagen que se evalúa. A modo de ejemplo, pero sin limitación, en una aplicación endoscópica típica, el procedimiento quirúrgico puede implicar la electrocauterización, que se acompaña comúnmente por incidentes visuales transitorios tales como burbujeo de líquidos, formación de vapor, etc. En dicha situación, estos incidentes visuales transitorios se deberían excluir de la determinación del paralaje con el fin de asegurar el cálculo apropiado del paralaje. A este respecto se apreciará que la determinación apropiada del paralaje se debería dirigir a regiones relativamente estables de la imagen.

Construcción modular que comprende una cámara estéreo de un canal

La Fig. 9 muestra una versión alternativa de los módulos de cabeza de cámara/endoscopio en la que el endoscopio

501 es de un tipo de canal único. Preferentemente, el endoscopio de canal único se diseña específicamente para endoscopia estereoscópica para percepción estéreo aumentada, aunque se puede utilizar un endoscopio normal. Ópticamente, desde el extremo distal al extremo proximal, el endoscopio de un canal incluye una lente de objetivo

502 que forma la imagen de un objeto bajo observación; y la imagen formada por la lente del objetivo 502 se envía al

5

10

15

20

25

30

35

40

45

extremo proximal del endoscopio 501 por un sistema de relés 503. El sistema de relés puede comprender uno o una pluralidad de relés de lente (normalmente relés de lente de barra) o un haz de fibras de imagen coherente. En el extremo proximal del endoscopio existe una lente ocular 504. La lente ocular 504 forma un haz de luz colimada 505 que sale dl módulo del endoscopio 501. Normalmente, el módulo de endoscopio 501 representa un dispositivo individual, sellado, esterilizable que se une de manera desmontable al módulo de cabeza de cámara 506.

El módulo de cabeza de la cámara 506 contiene dos puertos ópticos 507A, 507B que se localiza en la sección transversal del haz de luz 505. Los puertos ópticos 507A, 507B recortan haces de luz estrechos del haz 505. Estos haces estrechos de luz, si se trazan hacia atrás a través del tren del endoscopio, dará como resultado que dos haces de luz entran en el endoscopio en dos ángulos diferentes desde el objeto bajo observación. Eso es cómo se obtiene la imagen estereoscópica con un endoscopio de un canal. La cabeza de la cámara 506 también incluye un sistema de separación de canales que contiene las lentes 508A, 508B y sistemas de espejos (o prismas) 509A, 509B. La luz de los canales izquierdo y derecho se enfocan por las lentes de enfoque 510A, 510B en los sensores de imagen 511A, 511B. Los sensores de imagen se acoplan a las placas de circuitos de control 512A, 512B que generan señales eléctricas representativas de las imágenes ópticas recibidas por los sensores de imagen. Estas señales eléctricas se envían a la unidad de control de la cámara (no mostrada) para el procesamiento adicional mediante un cable 513 o un enlace inalámbrico.

Todos los aspectos de la invención expuesta anteriormente con respecto a la configuración de endoscopio/cabeza de cámara de doble canal representada en la Fig. 8 se aplica igualmente a la configuración endoscopio/cabeza de cámara de un canal que se muestra en la Fig. 9.

Notas adicionales

Se debería apreciar que la naturaleza esquemática de la descripción anterior no se debería considerar como limitante de la naturaleza general de la invención. Todos los elementos ópticos se muestran esquemáticamente como lentes únicas o la superficie de espejos puede representar en la implementación actual un grupo compuesto de lentes o bloque de prismas sin limitaciones. Los sensores de imagen que se muestran esquemáticamente como un sensor único puede representar un bloque de sensores de 3 chip con prismas separadores del color. La estructura modular del sistema también puede variar. Por ejemplo, las ópticas de enfoque pueden incluirse en un módulo separado sellado, esterilizable (a menudo llamado “endo-acoplador”) que se acopla desmontablemente a la cabeza de la cámara en el extremo proximal y que se acopla de manera desmontable al endoscopio en el extremo distal. La separación de color y componentes oculares que se muestran en la Fig. 8 como parte del módulo del endoscopio puede formar parte del módulo de la cabeza de la cámara o el módulo endo-acoplador. O los conjuntos completos que se muestran en las Fig. 8 y 9 pueden hacerse como módulos únicos sellados sin partes desmontables por el usuario. Además, la pantalla puede ser un monitor 3D de forma bien conocida en la técnica, o una pantalla montada en la cabeza o cualquier otro dispositivo de pantalla capaz de presentar las imágenes izquierda y derecha al ojo apropiado del espectador. En los dispositivos de pantalla que comprenden sistemas ópticos asociados tal como una pantalla montada en la cabeza, la distancia de la pantalla se considera que es la distancia del ojo del espectador a la imagen producida por el sistema óptico de la pantalla.

Modificaciones

Aunque la presente invención se ha descrito en términos de ciertas realizaciones a modo de ejemplo preferidas, se entenderá y se apreciará fácilmente por un experto habituado en la técnica que no está limitada, que se pueden hacer muchas adiciones, eliminaciones y modificaciones a las realizaciones preferidas expuestas anteriormente mientras permanezcan en el alcance de la presente invención.

Claims

10

15

20

25

REIVINDICACIONES

1. Aparato para la presentación de una imagen estereoscópica a un espectador, comprendiendo el aparato:

un endoscopio (401);

una videocámara estereoscópica (408) conectada ópticamente al endoscopio, comprendiendo la videocámara estereoscópica:

un primer y un segundo canales ópticos (402A, 402B) para la adquisición, respectivamente, de una primera y una segunda imágenes de una escena, comprendiendo el primer y el segundo canales ópticos un primer y un segundo puntos focales, respectivamente;

un primer y un segundo sensores de imagen (411A, 411B) para la adquisición, respectivamente, de la primera y la segunda imágenes del primer y del segundo canales ópticos, estando posicionados el primer y el segundo sensores de imagen a lo largo de un eje; y

un medio de ajuste del paralaje para ajustar el paralaje de una imagen estereoscópica adquirida por el primer y el segundo sensores de imagen y presentada en una pantalla (23); caracterizado por que el primer y el segundo canales ópticos comprenden cada uno al menos un componente óptico (403A, 403B, 404A, 404B, 405A, 405B, 406A, 406B, 407A, 407B, 410A, 410B), y además en donde el medio de ajuste del paralaje comprende un medio de movimiento del componente óptico para el movimiento simultáneo, longitudinal y lateral, de al menos un componente óptico de cada uno del primer y del segundo canales ópticos de manera que cambian lateralmente la salida del primer y del segundo canales ópticos con respecto al eje del primer y del segundo sensores de imagen de acuerdo con los cambios en el primer y el segundo puntos focales, con el fin de ajustar simultáneamente el enfoque y el paralaje.
2. El aparato de acuerdo con la reivindicación 1, que comprende adicionalmente un medio de enfoque para ajustar las disposiciones del primer y del segundo puntos focales.