BR102015005263B1 - CORRESPONDENCE-BASED HORIZONTAL STEREOSCOPIC DISPLAY PROCESS - Google Patents

Abstract

PROCESSO PARA EXIBIÇÃO ESTEREOSCÓPICA HORIZONTAL BASEADO EM CORRESPONDÊNCIAS A presente invenção está relacionada à área de exibição de imagens. Mais especificamente, a presente invenção refere-se ao processo para calcular as deformações necessárias para converter um par de imagens em um par estereoscópico adequado para ser exibido na horizontal, proporcionando, ao usuário, a sensação de que existem objetos virtuais apoiados na tela.CORRESPONDENCE-BASED HORIZONTAL STEREOSCOPIC DISPLAY PROCESS The present invention relates to the area of image display. More specifically, the present invention relates to the process for calculating the deformations necessary to convert a pair of images into a stereoscopic pair suitable for being displayed horizontally, providing the user with the sensation that there are virtual objects supported on the screen.

Description

Campo da InvençãoField of Invention

[0001] A presente invenção está relacionada à área de exibição de imagens. Mais especificamente, a presente invenção refere-se ao processo para calcular as deformações necessárias para converter um par de imagens em um par estereoscópico adequado para ser exibido na horizontal, proporcionando, ao usuário, a sensação de que existem objetos virtuais apoiados na tela.[0001] The present invention is related to the image display area. More specifically, the present invention relates to the process for calculating the deformations necessary to convert a pair of images into a stereoscopic pair suitable for being displayed horizontally, providing the user with the sensation that there are virtual objects supported on the screen.

Antecedentes da InvençãoBackground of the Invention

[0002] A estereoscopia é a maneira mais antiga de ver registros e desenhos em terceira dimensão verdadeira, com relevo que sai do plano da figura. Há diversas pesquisas em visualização estereoscópica, como técnica clássica e por meio de tela difrativa, no caminho de se obter o registro e a reprodução holográfica sem necessitar de laser.[0002] Stereoscopy is the oldest way of seeing records and drawings in true third dimension, with relief that leaves the plane of the figure. There are several researches in stereoscopic visualization, as a classic technique and through diffractive screen, in the way of obtaining the holographic recording and reproduction without the need of laser.

[0003] A estereoscopia consiste em registrar duas vistas de uma cena, com a câmara nas posições correspondentes ao olho esquerdo e direito. A filtragem por meio de tintas e papéis celofane coloridos (anaglifo ou bicolor) é uma das técnicas mais antigas para fazer estereoscopia.[0003] Stereoscopy consists of recording two views of a scene, with the camera in the positions corresponding to the left and right eye. Filtering through inks and colored cellophane papers (anaglyph or bicolor) is one of the oldest techniques for stereoscopy.

[0004] A visão tridimensional pode também ser obtida a partir de duas imagens de um mesmo objeto, tomadas de pontos de vista distintos (posição da câmara diferente). Se cada uma das fotografias for simultaneamente observada por apenas um dos olhos, suas imagens serão enviadas ao cérebro, produzindo a visão estereoscópica.[0004] The three-dimensional view can also be obtained from two images of the same object, taken from different points of view (different camera position). If each of the photographs is simultaneously observed by only one of the eyes, their images will be sent to the brain, producing stereoscopic vision.

[0005] A seguir, são apresentadas definições para facilitar o entendimento da presente invenção.[0005] The following are definitions to facilitate understanding of the present invention.

[0006] Por "Par estereoscópico" entende-se duas aerofotos ou imagens que recubram a mesma área.[0006] "Stereoscopic pair" means two aerial photos or images that cover the same area.

[0007] Além do par de aerofotos e estereoscópico, existem métodos mecânicos ou óticos tais como: Anaglifo, Polarização da Luz, Cintilamento, e Encadeamento ótico.[0007] In addition to the aerophoto and stereoscopic pair, there are mechanical or optical methods such as: Anaglyph, Light Polarization, Flicker, and Optical Glare.

[0008] Os Anaglifos não requerem o uso de estereoscópios mas apenas de um par de óculos com filtro verde e vermelho. Em um anáglifo, as duas imagens da visão binocular são montadas em um mesmo suporte, mas desenhadas com cores diferentes: a que deve ser vista por um dos olhos é impressa em vermelho e a outra é impressa em verde. O principio da visão estereográfica de um anáglifo é o mesmo das Luzes de Worth: a quebra de fusão e a complementaridade das cores.[0008] Anaglyphs do not require the use of stereoscopes but only a pair of glasses with a green and red filter. In an anaglyph, the two binocular vision images are mounted on the same support, but drawn in different colors: the one that should be seen by one eye is printed in red and the other is printed in green. The principle of the stereographic view of an anaglyph is the same as that of Worth's Lights: the breakdown of fusion and the complementarity of colors.

[0009] Muitos trabalhos da fotogrametria digital exigem a visão 3D da cena, principalmente na marcação de pontos para a aerotriangulação, no traçado de estradas, limites de feições terrestres, auxiliar na confecção de DTM, etc.[0009] Many digital photogrammetry works require a 3D view of the scene, mainly in the marking of points for aerotriangulation, in the tracing of roads, limits of terrestrial features, assisting in the making of DTM, etc.

[00010] Existem, atualmente 4 formas de obtenção da visão estereoscópica nos monitores das Estações Fotogramétricas: 1) processo de Anaglifo (óculos de cores complementares); 2) estereoscópio de prisma(espelho) ("split-screen"); 3) polarização passiva (tela de cristal liquido na frente do monitor e óculos) e 4) polarização ativa (óculos de cristal liquido, oscilando a 120 Hz).[00010] There are currently 4 ways of obtaining stereoscopic vision on the Photogrammetric Stations' monitors: 1) Anaglyph process (complementary color glasses); 2) prism (mirror) stereoscope ("split-screen"); 3) passive polarization (liquid crystal display in front of monitor and glasses) and 4) active polarization (liquid crystal glasses, oscillating at 120 Hz).

[00011] O primeiro processo, de Anaglifo, só permite o uso de fotografias P&B, há sempre problemas com os diversos tipos de monitor e atrapalha o monitor quando este tem que olhar para as janelas dos comandos do software. O segundo, split-screen, permite o uso de imagens coloridas, mas o operador se cansa devido a ter que ficar sempre numa só posição, não permite visualização simultânea de várias pessoas e atrapalha um pouco quando o operador tem que olhar para as janelas dos comandos do software.[00011] The first process, by Anaglifo, only allows the use of B&W photographs, there are always problems with the different types of monitors and it interferes with the monitor when it has to look at the software command windows. The second, split-screen, allows the use of color images, but the operator gets tired due to having to always stay in one position, it does not allow simultaneous visualization of several people and it gets in the way when the operator has to look at the windows of the software commands.

[00012] O terceiro e quarto processos não apresentam nenhuma dificuldade, principalmente o 3o de polarização passiva. Seu único inconveniente está no alto preço da tela de cristal liquido, polarizante do monitor e ainda, tanto para o processo de polarização ativa quanto o de polarização passiva exigem monitores que tenham taxa de atualização ("vertical refreshing rate") de 120 Hz.[00012] The third and fourth processes do not present any difficulties, especially the 3rd one of passive polarization. Its only drawback is the high price of the liquid crystal screen, polarizing the monitor and yet, both for the process of active polarization and passive polarization require monitors that have a refresh rate ("vertical refreshing rate") of 120 Hz.

[00013] Há diversas técnicas de estereotopia em pedidos de patentes. O documento de patente BR9905217-2 apresenta um sistema para exibição individual de video em ambiente fechado com imagens em 3D. O documento BR0503880-4 fornece um dispositivo estéreo digital com exibidor tridimensional. O documento de patente BR0318657-1 apresenta um sistema de visão estereoscópica de imagens em tempo real. As patentes norte-americanas US6614427 e US7907167 apresentam processos para imagens estereoscópicas.[00013] There are several stereotopy techniques in patent applications. Patent document BR9905217-2 presents a system for individual video display indoors with 3D images. Document BR0503880-4 provides a digital stereo device with a three-dimensional display. Patent document BR0318657-1 presents a real-time stereoscopic image vision system. US patents US6614427 and US7907167 present processes for stereoscopic images.

[00014] Apesar de haver tecnologias relacionadas, não foram encontrados processos de captura e exibição de imagens estereoscópicas em tempo real e na horizontal. O documento de patente W02013067 610, de mesma autoria, apresenta um processo para captura e exibição de imagens estereoscópicas. No entanto, no processo anterior era necessária a utilização de marcações em locais conhecidos na cena 3D, já no presente processo basta o estabelecimento de correspondências de pontos nos pares de imagens.[00014] Although there are related technologies, no processes were found for capturing and displaying stereoscopic images in real time and horizontally. Patent document W02013067 610, by the same author, presents a process for capturing and displaying stereoscopic images. However, in the previous process, it was necessary to use markings in known locations in the 3D scene, while in the present process, it is enough to establish point correspondences in the pairs of images.

[00015] Os filmes tridimensionais existentes hoje não costumam gerar no espectador a sensação de realidade pois a tela, em geral, é limitada, os objetos costumam flutuar no espaço, muitas cenas apresentam muita profundidade e as cenas são apresentadas em uma escala maior, devido ao uso do zoom das câmeras.[00015] The three-dimensional films that exist today do not usually generate a sensation of reality in the viewer because the screen, in general, is limited, objects tend to float in space, many scenes have a lot of depth and the scenes are presented on a larger scale, due to using the camera's zoom.

[00016] Para solucionar essas questões, o conteúdo deve ser apresentado dentro da cena, em uma forma fisicamente plausivel. Adicionalmente, o conteúdo em 3D estéreo deve ser apresentado em um suporte horizontal, a escala da cena deve ser restrita a uma base referencial fisica, a profundidade máxima deve ser limitada e deve-se eliminar a descontinuidade de profundidade na borda da tela de exibição.[00016] To resolve these issues, the content must be presented within the scene, in a physically plausible form. Additionally, 3D stereo content must be presented on a horizontal stand, the scale of the scene must be constrained to a physical frame of reference, the maximum depth must be limited, and depth discontinuity at the edge of the display screen must be eliminated.

[00017] Estes e outros objetos da invenção serão melhor compreendidos através da descrição detalhada da invenção.[00017] These and other objects of the invention will be better understood through the detailed description of the invention.

Descrição das FigurasDescription of Figures

[00018] Figura 1: Par de imagens capturado com pontos homólogos dos Tipos I e II identificados. Os pontos marcados com bolas cheias sào do Tipo I e os com bola vazada são do Tipo II[00018] Figure 1: Pair of images captured with identified Type I and II homologous points. Points scored with full balls are Type I and those with hollow balls are Type II.

[00019] Figura 2: Par de imagens após sofrer a aplicação das homografias que os preparam para ser exibido em uma tela na horizontal.[00019] Figure 2: Pair of images after undergoing the application of homographs that prepare them to be displayed on a horizontal screen.

[00020] Figura 3: Visualização percebida pelo usuário ao observar a tela horizontal exibindo um par estereoscópico deformado adequadamente.[00020] Figure 3: Visualization perceived by the user when observing the horizontal screen displaying a properly deformed stereoscopic pair.

Descrição detalhada da invençãoDetailed description of the invention

[00021] A presente invenção está relacionada à área de exibição de imagens e refere-se ao processo para calcular as deformações necessárias para converter um par de imagens em um par estereoscópico adequado para ser exibido na horizontal, proporcionando, ao usuário, a sensação de que existem objetos virtuais apoiados na tela.[00021] The present invention is related to the image display area and refers to the process for calculating the deformations necessary to convert a pair of images into a stereoscopic pair suitable for being displayed horizontally, providing the user with the sensation of that there are virtual objects supported on the screen.

[00022] Na presente invenção não há necessidade da utilização de marcações em locais conhecidos na cena 3D. No presente processo basta o estabelecimento de correspondências de pontos nos pares de imagens.[00022] In the present invention there is no need to use markings at known locations in the 3D scene. In the present process, it is sufficient to establish point correspondences in the image pairs.

[00023] Esse processo aumenta a versatilidade, pois nem sempre é simples determinar marcações conhecidas na cena 3D. Em particular, o presente processo é adequado, por exemplo, no caso de processamento de fotografias aéreas.[00023] This process increases versatility, as it is not always simple to determine known landmarks in the 3D scene. In particular, the present process is suitable, for example, in the case of processing aerial photographs.

[00024] O objetivo da presente invenção é um processo para determinar homografias que deformem apropriadamente as imagens de entrada, de forma que o resultado corresponda a um par estereoscópico no qual um plano de referência da cena corresponda à superficie de exibição da imagem estereoscópica, que pode ser, por exemplo, uma tela disposta na horizontal.[00024] The object of the present invention is a process for determining homographs that appropriately deform the input images, so that the result corresponds to a stereoscopic pair in which a reference plane of the scene corresponds to the display surface of the stereoscopic image, which it can be, for example, a screen laid out horizontally.

[00025] Devem ser identificados pares de pontos homólogos, que são pontos identificados no par de imagens que correspondem à projeção do mesmo ponto da cena.[00025] Pairs of homologous points must be identified, which are points identified in the pair of images that correspond to the projection of the same point in the scene.

[00026] O processo é efetuado através de um sistema composto por: 1) Dispositivos de captura de imagens ou video, que podem ser, por exemplo: câmeras filmadoras, máquinas fotográficas, entre outros; 2) Dispositivos de exibição, que consistem em algum dispositivo capaz de exibir imagens estereoscópicas disposto na horizontal, montado, por exemplo, utilizando-se projetores apontados para superficies horizontais, ou por monitores posicionados de maneira deitada; 3) Dispositivos computacionais capazes de processar imagens.[00026] The process is carried out through a system composed of: 1) Image or video capture devices, which can be, for example: camcorders, cameras, among others; 2) Display devices, which consist of any device capable of displaying stereoscopic images arranged horizontally, mounted, for example, using projectors aimed at horizontal surfaces, or by monitors positioned lying down; 3) Computing devices capable of processing images.

[00027] Em seu funcionamento, pares de imagens capturados pelos dispositivos de captura são deformados por homografias calculadas pelos dispositivos computacionais de forma apropriada, conforme descrito nas próximas seções, ficando adequados para exibição nos dispositivos de exibição.[00027] In its operation, pairs of images captured by the capture devices are deformed by homographs calculated by the computational devices in an appropriate way, as described in the next sections, being suitable for display on the display devices.

[00028] Tendo em vista que não existe o uso de nenhum padrão de calibração na cena 3D, não é necessária a efetuação de nenhuma etapa de calibração do sistema, dado que as próprias imagens capturadas pelo sistema são utilizadas para determinar as deformações apropriadas a serem aplicadas nas imagens capturadas.[00028] Considering that there is no use of any calibration standard in the 3D scene, it is not necessary to carry out any calibration step of the system, since the images captured by the system are used to determine the appropriate deformations to be applied to captured images.

Processo de determinação das homografiasProcess of determining homographs

[00029] O objetivo é determinar homografias que deformem apropriadamente as imagens de entrada, de forma que o resultado corresponda a um par estereoscópico no qual um plano de referência da cena corresponda à superfície de exibição da imagem estereoscópica, que pode ser, por exemplo, uma tela disposta na horizontal.[00029] The objective is to determine homographs that properly deform the input images, so that the result corresponds to a stereoscopic pair in which a reference plane of the scene corresponds to the display surface of the stereoscopic image, which can be, for example, a screen laid out horizontally.

[00030] Devem ser identificados pares de pontos homólogos, que são pontos identificados no par de imagens que correspondem à projeção do mesmo ponto da cena. Os pares de pontos homólogos devem ser divididos em duas classes dependendo da localização na cena do ponto que os gerou: i) Pares de pontos do Tipo I: gerados por pontos da cena que pertencem ao plano de referência; ii) Pares de pontos do Tipo II: gerados por pontos da cena que não pertencem ao plano de referência.[00030] Pairs of homologous points must be identified, which are points identified in the pair of images that correspond to the projection of the same point in the scene. Homologous point pairs should be divided into two classes depending on the location in the scene of the point that generated them: i) Type I point pairs: generated by scene points that belong to the reference plane; ii) Type II point pairs: generated by scene points that do not belong to the reference plane.

[00031] Quando pares de pontos do Tipo I ou II sofrem o efeito da aplicação de homografias, em algum cálculo, consideramos que os pares de pontos gerados pertencem a mesma classe dos pares que os geraram.[00031] When pairs of Type I or II points suffer the effect of applying homographs, in some calculation, we consider that the pairs of points generated belong to the same class as the pairs that generated them.

[00032] Dado um conjunto de pares de pontos homólogos do Tipo I e do Tipo II, definimos o Erro de Interpretabilidade Tridimensional como sendo uma função que aplica esses pares de pontos em um escalar. Essa função deve ser definida de forma a ter a propriedade de que seu minimo ocorra quando os pontos do Tipo I sejam coincidentes e os pontos do Tipo II possuam a mesma coordenada vertical.[00032] Given a set of Type I and Type II homologous point pairs, we define the Three-Dimensional Interpretability Error as a function that applies these point pairs to a scalar. This function must be defined in such a way as to have the property that its minimum occurs when Type I points are coincident and Type II points have the same vertical coordinate.

[00033] Dada uma câmera, definimos a homografia associada a ela como sendo a homografia que mapeia pontos da imagem captada por ela sobre pontos do plano de referência. Essa homografia é aquela que, para os pontos do Tipo I, efetua um mapeamento correspondente ao processo reverso da projeção realizada pela câmera.[00033] Given a camera, we define the homography associated with it as the homography that maps points of the image captured by it onto points of the reference plane. This homography is the one that, for the Type I points, performs a mapping corresponding to the reverse process of the projection performed by the camera.

[00034] Para resolver o problema deve-se encontrar um par de homografias, que estejam associadas a câmeras cujos parâmetros intrínsecos correspondam aos parâmetros das câmeras utilizadas na captura das imagens, e que aplicadas aos pares de pontos homólogos identificados nas imagens produzam pares de pontos que fazem com os pontos do Tipo I se tornem coincidentes e os pontos do Tipo II passem a ter a mesma coordenada vertical.[00034] To solve the problem, a pair of homographs must be found, which are associated with cameras whose intrinsic parameters correspond to the parameters of the cameras used in capturing the images, and which, applied to the pairs of homologous points identified in the images, produce pairs of points that make the Type I points coincide and the Type II points have the same vertical coordinate.

[00035] A determinação da solução pode ser feita, por exemplo, utilizando-se um método de otimização que minimiza o Erro de Interpretabilidade Tridimensional relativo aos pares de pontos gerados pela aplicação de um par de homografias sobre os pares de pontos homólogos identificados nas imagens. As homografias devem ser parametrizadas pelos parâmetros extrínsecos das câmeras a que estão associadas. Já os parâmetros intrínsecos devem ser mantidos fixados. Para evitar que o Erro de Interpretabilidade Tridimensional possa ser reduzido pela simples mudança de escala da solução basta fixar os parâmetros que correspondem a translação de uma das câmeras.[00035] The determination of the solution can be done, for example, using an optimization method that minimizes the Three-Dimensional Interpretability Error related to the pairs of points generated by the application of a pair of homographs on the pairs of homologous points identified in the images . Homographs must be parameterized by the extrinsic parameters of the cameras to which they are associated. The intrinsic parameters must be kept fixed. To avoid that the Three-Dimensional Interpretability Error can be reduced by simply changing the scale of the solution, it is enough to set the parameters that correspond to the translation of one of the cameras.

ExemplosExamples ImplementaçãoImplementation

[00036] Uma possível implementação para o processo definido na seção anterior é apresentada abaixo.[00036] A possible implementation for the process defined in the previous section is presented below.

[00037] Sejam

pares de pontos homólogos do Tipo I, identificados em um par de imagens, e

pares de pontos homólogos do Tipo II. Podemos definir o Erro de Interpretabilidade Tridimensional como sendo

onde as constantes que multiplicam os somatórios definem a importância dada para as restrições de Tipo I e de Tipo II, ou seja, define o quanto é importante tornar os pontos do Tipo I coincidentes e o quanto é importante tornar os pontos do Tipo II alinhados na mesma coordenada-y.[00037] Be

pairs of Type I homologous spots, identified in a pair of images, and

Type II homologous point pairs. We can define the Three-Dimensional Interpretability Error as being

where the constants that multiply the sums define the importance given to the Type I and Type II constraints, that is, it defines how important it is to make the Type I points coincide and how important it is to make the Type II points aligned in the same y-coordinate.

[00038] Para resolver o problema de encontrar as homografias associadas a câmeras com parâmetros intrínsecos conhecidos, ou previamente estimados, e que aplicadas aos pares de pontos homólogos de entrada minimizam o Erro de Interpretabilidade Tridimensional, basta resolvermos o problema de otimização definido pela função objetivo

onde W1 e W2 são as homografias procuradas,

é um conjunto de pares de pontos do Tipo I,

é um conjunto de pares de pontos do Tipo II.[00038] To solve the problem of finding the homographs associated with cameras with known intrinsic parameters, or previously estimated, and that applied to pairs of homologous input points minimize the Three-Dimensional Interpretability Error, we just need to solve the optimization problem defined by the objective function

where W1 and W2 are the searched homographs,

is a set of Type I point pairs,

is a set of Type II point pairs.

[00039] Deve ser utilizada uma parametrização que fixa os parâmetros intrínsecos das câmeras associadas as homografias. Por exemplo, deve ser definida uma parametrização tal que:

onde

são os parâmetros extrínsecos, que são os parâmetros que precisam ser determinados na solução do problema de otimização.[00039] A parameterization must be used that fixes the intrinsic parameters of the cameras associated with the homographs. For example, a parameterization must be defined such that:

Where

are the extrinsic parameters, which are the parameters that need to be determined in the solution of the optimization problem.

[00040] Dado que se trata de um problema de mínimos quadrados, tem-se que a solução pode ser encontrada pelo emprego do algoritmo Levenberg-Marquardt. Deve-se fixar tl ou t2 para evitar que a função objetivo possa reduzir com uma simples mudança de escala da solução. A matriz de parâmetros intrínsecos K é considerada conhecida ou previamente estimada.[00040] Since this is a least squares problem, the solution can be found by employing the Levenberg-Marquardt algorithm. One must fix tl or t2 to avoid that the objective function can be reduced with a simple change of scale of the solution. The matrix of intrinsic parameters K is considered known or previously estimated.

[00041] Para que o algoritmo Levenberg-Marquardt seja utilizado é necessário determinar uma solução inicial próxima do mínimo da função objetivo. Uma das possíveis maneiras de resolver este problema é fazer o seguinte: 1) Amostrar duas rotações RI e R2 do espaço de rotações. 2) Utilizar Rl e R2 e dois pares de pontos homólogos para encontrar t e t'.[00041] For the Levenberg-Marquardt algorithm to be used, it is necessary to determine an initial solution close to the minimum of the objective function. One of the possible ways to solve this problem is to do the following: 1) Sample two rotations RI and R2 of the rotation space. 2) Use Rl and R2 and two pairs of homologous points to find t and t'.

[00042] Precisamos repetir o processo para diferentes escolhas de RI e R2, e selecionamos os parâmetros extrínsecos {Rl, R2, t, t'} que minimizam o Erro de Interpretabilidade Tridimensional. Esse processo explora o fato do espaço de rotações ser limitado e, portanto, pode ser amostrado.[00042] We need to repeat the process for different choices of RI and R2, and we select the extrinsic parameters {Rl, R2, t, t'} that minimize the Three-Dimensional Interpretability Error. This process exploits the fact that the space of rotations is limited and therefore can be sampled.

[00043] Deve-se evitar escolher Rl e R2 muito afastados das rotações corretas, tendo em vista que existem 3 pares de rotações incorretos que minimizam o Erro de Interpretabilidade Tridimensional. Felizmente as rotações incorretas estão afastadas de 180° das rotações corretas.[00043] One should avoid choosing Rl and R2 too far from the correct rotations, considering that there are 3 incorrect rotation pairs that minimize the Three-Dimensional Interpretability Error. Fortunately the incorrect rotations are 180° away from the correct rotations.

[00044] Para determinar as translações t e t' quando as rotações Rl e R2 estão fixadas, deve-se seguir as seguintes etapas.[00044] To determine the translations t and t' when the rotations Rl and R2 are fixed, follow the steps below.

Estimação das translaçõesEstimation of translations

[00045] Sejam (a,b) e (c,d) as coordenadas em pixels dos pontos homólogos que correspondem ao ponto ml do plano de suporte, e (e,f) e (g,h) são as coordenadas em pixels dos pontos homólogos que correspondem ao ponto m2 do plano de suporte.[00045] Let (a,b) and (c,d) be the coordinates in pixels of the homologous points that correspond to the point ml of the support plane, and (e,f) and (g,h) are the coordinates in pixels of the homologous points that correspond to point m2 of the support plane.

[00046] Sejam

[00046] Be

[00047] Sejam Hl e H2 as homografias que mapeiam pontos do plano de referência em pontos das imagens com coordenadas medidas em pixels.[00047] Let Hl and H2 be the homographs that map points of the reference plane to points in the images with coordinates measured in pixels.

[00048] Ou seja

[00048] That is

[00049] Pode-se escolher qualquer ponto do plano de suporte para ser considerado a origem do sistema para definir os parâmetros das câmeras. Vamos assumir que ml é este ponto. Ao fazer isto temos que

Onde

são escalares a serem determinados.[00049] You can choose any point of the support plane to be considered the origin of the system to define the parameters of the cameras. Let's assume ml is this point. In doing this we have to

Where

are scalars to be determined.

[00050] Então

[00050] So

[00051] Isto significa que t e t' estão definidos a menos dos fatores de escala À1 e À2, pois

e

[00051] This means that tet' are defined less than the scale factors À1 and À2, because

and

[00052] Utilizamos outro par determinar À1 e À2. Como existe temos que apenas a fração entre ser determinada.[00052] We use another pair to determine À1 and À2. As it exists we have only the fraction between to be determined.

[00053] Definamos como sendo a inversa da homografia

e sej a

a inversa da homografia

[00053] Let's define it as the inverse of the homography

and be

the inverse of the homography

[00054] É fácil de perceber que P e Q podem ser calculadas, porque estamos assumindo que a matriz de parâmetros intrínsecos K e as rotações associadas a cada uma das câmeras são conhecidas. Temos que

[00054] It is easy to see that P and Q can be calculated, because we are assuming that the matrix of intrinsic parameters K and the rotations associated with each of the cameras are known. We have to

[00055] Aplicando a homografia a inversa das homografias Hl e H2 sobre (e,f) e (g,h) devemos obter o mesmo ponto no plano de suporte. Isso significa que deve existir um escalar À3 tal que

[00055] Applying the inverse homography of the Hl and H2 homographs on (e,f) and (g,h) we should obtain the same point in the support plane. This means that there must exist a scalar A3 such that

[00056] Segue da equação da primeira linha que

Da equação da terceira linha segue que

Como consequência temos que

[00056] It follows from the equation of the first line that

From the equation in the third line it follows that

As a consequence we have to

Determinação da escala real da soluçãoDetermining the real scale of the solution

[00057] A ambiguidade na determinação da escala das translações acima não permite calcular a escala dos pares estereoscópicos a serem exibidos. Este problema decorre de uma falta de informação da entrada, ou seja, não é matematicamente possivel determinar o tamanho dos pares estereoscópicos a serem exibidos se apenas correspondências entre pontos homólogos forem conhecidas.[00057] The ambiguity in determining the scale of the above translations does not allow calculating the scale of the stereoscopic pairs to be displayed. This problem stems from a lack of input information, that is, it is not mathematically possible to determine the size of the stereoscopic pairs to be displayed if only correspondences between homologous points are known.

[00058] Este problema pode ser resolvido se, por exemplo, as seguintes informações estiverem disponíveis: 1) A distância 1 entre os centros ópticos das câmeras em ambas as poses utilizadas na captura do par estereoscópico. 2) A distância na cena de dois pontos ml e m2 sobre o plano do chão que correspondam a pixels pl e p2 identificáveis no par estereoscópico.[00058] This problem can be solved if, for example, the following information is available: 1) The distance 1 between the optical centers of the cameras in both poses used in capturing the stereoscopic pair. 2) The distance in the scene of two points ml and m2 on the ground plane that correspond to identifiable pixels pl and p2 in the stereoscopic pair.

[00059] A escala deve ser escolhida de tal forma que a razão entre as distâncias entre os pixels pl e p2 e a distância entre os olhos seja igual a razão entre as distâncias entre os pontos ml e m2 e a distância 1.[00059] The scale must be chosen in such a way that the ratio between the distances between the pixels pl and p2 and the distance between the eyes is equal to the ratio between the distances between the points ml and m2 and the distance 1.

[00060] Por exemplo, suponhamos que a distância 1 é 65 m e que a distância entre ml e m2 é 20 metros. Como a distância entre os olhos de uma pessoa é de aproximadamente 6,5 centimetros, temos que a escala de saida deve ser escolhida de tal forma que faça com que os pixels pl e p2 estejam afastados 2 centímetros. Se nenhuma informação geométrica sobre a cena tridimensional estiver disponível, uma possivel solução consiste em ajustar a escala de saida por um método de tentativa e erro até um bom resultado ser atingido.[00060] For example, suppose distance 1 is 65 m and the distance between ml and m2 is 20 meters. As the distance between a person's eyes is approximately 6.5 centimeters, we have that the output scale must be chosen in such a way that the pixels pl and p2 are 2 centimeters apart. If no geometric information about the three-dimensional scene is available, a possible solution is to adjust the output scale by a trial and error method until a good result is achieved.

Claims (2)

1. Processo para exibição estereoscópica horizontal baseado em correspondências, caracterizado pelas etapas de: i. Capturar o par de imagens; ii. Identificar pontos homólogos de Tipo I (gerados por pontos da cena que pertencem ao plano de referência) e de Tipo II (gerados por pontos da cena que não pertencem ao plano de referência) no par capturado; iii. Estimar as homografias que tornam o Erro de Interpretabilidade Tridimensional o menor possivel e cujos parâmetros intrinsecos associados sejam correspondentes aos das câmeras usadas na captura, através de método de otimização que minimize o Erro de Interpretabilidade Tridimensional, fixando os parâmetros intrinsecos e a translação associada a uma das câmeras; iv. Aplicar as homografias encontradas na etapa iii sobre o par de imagens capturado na etapa i, deformando-o adequadamente para exibição na horizontal; v. Exibir o par de imagens deformadas na etapa anterior em um dispositivo estereoscópico com tela na horizontal.1. Correspondence-based horizontal stereoscopic display process, characterized by the steps of: i. Capture the pair of images; ii. Identify Type I homologous points (generated by scene points that belong to the reference plane) and Type II (generated by scene points that do not belong to the reference plane) in the captured pair; iii. Estimate the homographs that make the Three-Dimensional Interpretability Error the smallest possible and whose associated intrinsic parameters correspond to those of the cameras used in the capture, through an optimization method that minimizes the Three-Dimensional Interpretability Error, fixing the intrinsic parameters and the translation associated with a of the cameras; iv. Apply the homographs found in step iii on the pair of images captured in step i, deforming it properly for horizontal display; v. Display the pair of images deformed in the previous step on a stereoscopic device with a horizontal screen. 2. Processo para exibição estereoscópica horizontal baseado em correspondências de acordo com a reivindicação 1, caracterizado por opcionalmente realizar um processamento de recorte sobre o par estereoscópico correspondente à eliminação de partes da cena 3D.2. Correspondence-based horizontal stereoscopic display process according to claim 1, characterized in that it optionally performs a clipping processing on the stereoscopic pair corresponding to the elimination of parts of the 3D scene.

Images