BR102015005263A2 - process for correspondence-based horizontal stereoscopic display - Google Patents

Abstract

processo para exibição estereoscópica horizontal baseado em correspondências. a presente invenção está relacionada à área de exibição de imagens. mais especificamente, a presente invenção refere-se ao processo para calcular as deformações necessárias para converter um par de imagens em um par estereoscópico adequado para ser exibido na horizontal, proporcionando, ao usuário, a sensação de que existem objetos virtuais apoiados na tela.process for horizontal stereoscopic display based on matches. The present invention relates to the image display area. More specifically, the present invention relates to the process of calculating the deformations required to convert a pair of images into a stereoscopic pair suitable for horizontal display, providing the user with the sensation that there are virtual objects propped up on the screen.

Description

PROCESSO PARA EXIBIÇÃO ESTEREOSCÓPICA HORIZONTAL BASEADO EMHORIZONTAL STEREOSCOPIC DISPLAY PROCESS BASED ON

CORRESPONDÊNÇIASCORRESPONDENCES

Campo da Im [0001] A presente invenção está relacionada à área de exibição de imagens. Mais especifícamente, a presente invenção refere-se ao processo para calcular as deformações : ■ · . árias para converter mm par íe im . :· . ■ ■ um par ■ r* ■ · oscôpíco adequado para ser exib* . . - : i.zontal, í · ; rcionando, ao usuário, a sensac . ie : . . existem : _-‘ )S virtuais apoiados na tela.Im Field The present invention relates to the image display area. More specifically, the present invention relates to the process for calculating deformations: ■. arias to convert mm to im. : ·. ■ ■ a suitable pair ■ r * ■ · suitable for display *. . -: i.zontal, i ·; giving the user the sensation. ie:. . there are: _- ‘) Virtual s supported on the screen.

Antecedentes da Invenção [0002] A estereoscopia é a maneira mais antiga de ver registros e desenhos em terceira dimensão verdadeira, com relevo que sai do piano da figura. Há diversas pesquisas em visualização estereoscópica, como técnica clássica e por ••nio '' ■ te1 " ‘ r rat * va, no caminho de se obter o registro e rep ■ ; iç log- fic ; r; rn rssi tar de laser, 001 c re cot a ;onsi is regi^rar duas vistas ; ur j ’ei ·, m , câ· ai * nas i ot des · ·· oonde-ntes a.o i ho . ’.ue 1 do 1 ■·. eit ). A ; t1 ag z · . de tintas e ; pe e( fan ori ic » ·- li fo : . .nr) é uma das ■ - cn , r .is ; ·,s : a a azt · ste^eoscop l.a. 100■· v riciru; sional pode também ser obtida a partir de duas imagens de um mesmo objeto, tomadas de. pontos de vista distintos (posição da câmara diferente). Se çada uma das fotografias for simultaneamente observada por apenas um dos Olhos, suas imagens serão enviadas ao cérebro, produzindo a visão estereoscópica.BACKGROUND OF THE INVENTION Stereoscopy is the oldest way to see real-dimensional, embossed records and drawings coming out of the piano of the picture. There is a lot of research in stereoscopic visualization, such as classical technique and portrayal '' ■ te1 "'r rat * va, in the way of obtaining laser registration and logging; 001 c re cot a; onsi is reg ier two views; ur j 'ei ·, m, cam * in the i ot from where i ho.' .Ue 1 of 1 ■ · eit A; t1 ag z ·. Of paints e; pe e (fan ori ic »· - li fo: .nr) is one of the ■ - cn, r .is; ·, s: aa azt · ste ^ eoscop It can also be obtained from two images of the same subject, taken from different points of view (different camera position) If each photograph is simultaneously viewed by only one Eye, Your images will be sent to the brain, producing stereoscopic vision.

[0005] A seguir, são apresentadas definições para facilitar o entendimento da presente invenção.The following are definitions to facilitate understanding of the present invention.

[0006] Por "Par ester^scói · Zç" · no -se duas a-erofotos ou im - :> - ; ou ) iac .· ■ au m· -·· · · [0007] Além do ; ,r -··; a . '.ot =3 estere.oso oi ;c , exis- m métodos mec u.ic o. · . :oí ta > ;omc: Ana>; ·Λ ir, Polarização .da Luz, Gin ti lamento., e mcautíamentu otic .[0006] By "Par ester ^ scói · Zç" · one does not include two photophotos or im -:> -; or) iac · ■ au m · - ·· · [0007] In addition to; , r - ··; The . '= t = 3 stereo hi, c, there are mechanical methods. ·. : hi ta>; omc: Ana>; Λ go, Polarization. Of Light, Gin tament., And mcautíamentu otic.

[0008] Os Anaglifos não requerem © uso de est-ereosçópios mas apenas de um par de óculos com filtro verde e vermelho.Anaglyphs do not require the use of stereoscopes but only a pair of green and red filter glasses.

Em. um an 1: >, as duas imagens da visão binocular são montadas em um mesmo suporte, mas desenhadas com cores diferentes.·:· a que deve. ser vista por um dos olhos é impressa, em vermelho e a outra é impressa em. verde. 0 principio da visão estereográf.iea de um anáglifo é o. mesmo das Luzes de W.orth: a quebra de fusão e a complementaridade das cores.In. an an 1:>, the two binocular vision images are mounted on the same bracket but drawn in different colors. being seen through one eye is printed in red and the other is printed in. green. The principle of stereographic vision of an anaglyph is. even of W.orth's Lights: the fusion breaking and the complementarity of colors.

[0009] Muitos trabalhos da f©togramecria digital exigem a visão 3D da cena, principalmente na marcação de pontos para a aerptriangu1ação, no traçado de estradas, limites de feições terrestres, auxiliar na confecção de DTK, etc.[0009] Many works of digital photogramming require 3D viewing of the scene, especially marking points for aeration, road tracing, terrestrial feature boundaries, assisting in the making of DTK, etc.

[0001*. Exis; em, atualmente 4 formas de obtenção da visão es* ^reoocóf.ca nos - tores :·· Estações Fotogramétricas: ·. roces‘ de Ana ·· (ócu . cores complementares) ; i) es' . i eosci ■ ' ie pr:t : * espeinc ‘ ("split-screen") ; 31 pr ricaça- p a de cristal liquido na frente do r or et. a 4 polarização ativa (óculos de cristal p. - !o, · lluiiao a 120 Hz) .[0001 *. Exis; There are currently 4 ways to obtain esophageal vision: ·· Photogrametric Stations: ·. rocas ‘de Ana ·· (complementary colors); i) es'. i eosci ■ 'ie pr: t: * espeinc ‘(" split-screen "); 31 pre-enrichment of liquid crystal in front of r or et. a 4 active polarization (crystal glasses p. -! o, · llution at 120 Hz).

[-0001X3 O primeiro processo, de Anáglifo, só permite o uso de fotografias P&B, há sempre problemas com os diversos tipos de monitor e atrapalha o monitor quando este tem que olhar para as janelas dos comandos do software. O segundo, split-screen, permite o uso de imagens coloridas., mas o operador se cansa devido a ter que ficar sempre numa só posição, não permite visual i.z , · * d várias pessoa, e at apal-ha um pouco ; - v dc opt t .-dc r tem que oi . - r para as janelas dos e.oman ; . :o ■ ’ ‘ war .[-0001X3 The first process, from Anaglyph, only allows the use of B&W photographs, there are always problems with the various types of monitor and it disturbs the monitor when looking at the software command windows. The second, split-screen, allows the use of color images., But the operator gets tired due to having to always be in one position, does not allow visual i.z, · * d several people, and even a little; - v dc opt t.-dc r have to hi. - r for e.oman windows; . : the ■ ’‘ war.

[ .?] * terceiro e·. q.uart ■ >c- . j n. aor.e.sent.am • nh .■ i · icuIdade, prin-cipalmente o 3° de polarização passiva. Seu único inconveniente está no alto preço da tela de cristal líquido, polarizante do monitor e ainda, tanto para o processo d;e polar’ ■, â< ativa quanto o tie polarização passiva exigem monitores que tenham taxa de atualização ("vertical refreshing rate") de 120 Hz.[.?] * third and ·. q.uart ■> c-. j n. aor.e.sent.am • necurity ■, especially the 3rd passive polarization. Its only drawback is the high price of the monitor's polarizing liquid crystal display, and for both the active and passive polarization process both monitors have a vertical refreshing rate. ") of 120 Hz.

[00013] Há diversas técnicas de estérèôtopia em pedidos de patentes. 0 documento de patente BR39QS217-2 apresenta um sistema para exibição individual de video em ambiente fechado com imagens em 3D. O documento BR05Q388O-4 fornece um dispositivo estéreo digital com exíbidor tridimensional. O documento de patente BR0318657-1 apresenta um sistema de visão estereoscópica de imagens em tempo real. As patentes norte-americanas US6614427 e ÜS7907167 apresentam processos para imagens estereoscópicas. > Apesar de haver tecnologias relacionadas, não : · m ·■;. ' :,tra ; " processos de captura e exibição de :· · * “rec - : ias tempo real e na horizontal. O :·.···:■ -e ! i’ ■ 1- e Λ Ό67610, de me sma autoria, í| n ' i 1 . i pr · > t , c, ipt . i e exibição de imagens ■ ste: ; cas. ” c.tan’ , r processo anterior era ueces :· . . . uti ±. - -ã· de "are > es em locais conhecidos na ce:<; · , já no pr se· te proce: basta o estabelecimento ^r' "'"t ifespundó"'": ir ue p.. · - "'s pares de imagens. i1 1 - 1 Os : , i* ■ ' r )naís existentes hoje não ' ·■’· <in gera: · pc :t . : · · ensação de realidade pois a . u ’ lerf, i , - ,m.t Ja, objetos costumam flutuar no o . , ; itt · ’ 3 tu resentam muita profundidade e as :e. , .. · api:· - . :a.‘ em uma escala maior, devido ao uso do , ·: : U- c<t- · i .[00013] There are several stereotopic techniques in patent applications. BR39QS217-2 discloses a system for individually displaying indoor video with 3D images. BR05Q388O-4 provides a digital stereo device with three-dimensional display. Patent document BR0318657-1 discloses a stereoscopic real-time image viewing system. US patents US6614427 and ÜS7907167 disclose processes for stereoscopic imaging. > Although there are related technologies, no: · m · ■ ;. ':, tra; "processes for capturing and displaying: · · *“ rec -: ias real time and horizontally. The: ·. ···: ■ -e! i '■ 1- and Λ Ό67610, by myself, í | n 'i 1. i pr ·> t, c, ipt. ie image display ■ ste:; cas. ”c.tan', r previous process was needed: ·.. uti ±. are> in places known in the art: <; ·, In the following case: just the establishment ^ r '"'" t ifespundó "'": go ue p .. · - "' s image pairs. I1 1 - 1 Os:, i * ■ ' r) Nais that exist today do not ': ■' · <in generate: · pc: t.: · · reality teaching because a.u 'lerf, i, -, mt Ja, objects usually float in o.,; itt · '3 you have a lot of depth and the: e., .. · api: · -.: A.' On a larger scale, due to the use of, ·:: U- c <t- · i.

[00016] Para solucionar essas questões, o conteúdo deve s.er apresentado dentro da cena, em uma forma fisicamente plausível. AdicionaImente, o conteúdo em 3D estéreo deve ser apresentado em um suporte horizontal, a e.s-ca-la da cena deve ser restrita a uma base referencial física, a profundidade máxima deve ser limitada e deve-se eliminar a descontinuidade de profundidade na borda da tela de exibição.To address these issues, the content must be presented within the scene in a physically plausible form. In addition, stereo 3D content should be presented on a horizontal stand, the scene's scope should be restricted to a physical reference base, the maximum depth should be limited, and the depth discontinuity at the edge of the frame should be eliminated. display screen.

[00017] Estes e outros objetos da invenção serão melhor compreendidos através da descrição detalhada da invenção.These and other objects of the invention will be better understood by detailed description of the invention.

Descrição das Figuras ! ■' , F:gura 1: Par de imaç* ru ■ · -.ptu · . ; - ara p< ít 3 h r . gos. xos "Tipos I e II t d< ϊ ' : lí ca i )s p· oi .3 marcados. < m bolas cheias V· :o ! . eo I c com ;>o 3 varada sêo do Tipo IIDescription of the Figures! ■ ', F: Figure 1: Image Pair * ru ■ · -.ptu ·. ; - for p <3 hr. go x "Type I and II t d <ϊ ': l ca i) s p · oi .3 marked. <m full balls V ·: o!.

[00019] Figura 2.: Par de i. rs após sofrer a aplicação das homog.rafías que os preparam, pa.r.a· ser exibido em uma tela na horizontal.[00019] Figure 2: Pair of i. rs after undergoing the application of the homog.rafías that prepare them, to be · displayed on a horizontal screen.

[00020] Fig.ura 3: Visualização percebida pelo usuário ao observar a tela horizontal exibindo um par estereoscópico deformado adeq.uadamente.[00020] Fig. 3: Visualization perceived by the user when observing the horizontal screen displaying an appropriately deformed stereoscopic pair.

Pese- . detalhada da. invenção 9021] A i · isente in , ; est , relacionada à área de fc,'.o : çào de :·' •.cen ■ i:ei.e; - n . 1 processo para calcular as * "orma1- ··.·- .· ·· ·;· : · ias pa: * nverter um par de imagens em pa; · :·■: / : < co adv ; 1 do para s.er exibido na 1 ->riz · 1 , p: ; * ·, om>n í , ao . -uár ip, a sensação, de que exiiem oop ' s vir1 .1 3 apoiai'”· ’· 1 cela. , 000. 1 h i gre* ■ o r.venç.j não há necessidade da ,· ‘Líz · ϊ : :■ u, · ; es ■ ·, .oca, - conhecidos n.a cena 3D. No p -er. L· r estabelecimento de co; ; <ísi c;enci ; ; · pontos 1 pares le imagens, f 00í . 3] Esse : ; .ces: ■ aumen* i a ' » satilidade, pois nem •mp.o é símp. ■ de* ct mar r.^rea ■·. conhecidas na. cena . ' . ;m partí curar, . ; 1 ent τι ■ so ê adequado, por e>.-ip , n caso de ; roce merr . i tograf-ia-s aéreas.Weigh. Detailed invention 9021] A; est, related to the area of fc, ': o of: ·' • .cen ■ i: ei.e; - no 1 process for calculating the * "orma1- ··. · -. · ·· ·; ·: · ias pa: * nverting a pair of images into pa; ·: · ■: /: <co adv; 1 from to s .er displayed in 1 -> riz · 1, p:; * ·, om> ni, when. -uár ip, the feeling that the oop 's vir1 .1 3 supported' '·' '1 cell. , 000. 1 hi gre * ■ o r.venç.j there is no need for the `` Liz · ϊ:: ■ u, ·; es ■ ·, .oca, - known in the 3D scene. · R establishment of co;; <ísi c; enci;; · points 1 pairs and images, f 00í. 3] This:; .ces: ■ increased * ',' because it is not even ■ ■ of * ct mar r. ^ rea ■ ·... in the scene. '.; m part to heal,.; 1 then it is only appropriate, for example,>>, in case of; roce merr. i tograf- I was going to fly.

[0C 24 1 objeti .· da p, · -an'· mv· nçâo. é um processo : arc. d-*·'''"- : ar hem gr a fdas cn c* ;:o,rm· i apropriadamente as· ·· 3g- ns :■ ■ < mrad ., d·. · rma t le o res ltade>. corresponda a m p .r este. · is<· ; ic · ~iua. um pia· 3 ;■ referência da ce; 1 corres: : ■ ■ . à sup : ■ íe.·1 de * xí; . 1 da imagem est r ascópít , ;ue pode -er, r > sx* 'r . , uma tela s| '>£·' a na h ■■ . . mt <.l. • 1C ’51 :ev; ι· s< : 1ent "í ·.:.·.· pares de pontos hv :s ó. og o, qui ão oc; i idtrti:. - .dos no par de imagens qu<- cai - : md ;·. à ; rf ,eç : do me c ponto da cena.[0C 24 1 object · da p, · -an '· mv · no. It is a process: arc. d- * · '' '"-: ar hem gr a fdas cn c *; o, rm · i appropriately as · ·· 3g- ns: ■ ■ <mrad., d ·. · rma t le o res lt >. corresponds to this. · is <·; ic · ~ iua. a sink · 3; ■ reference of ce; 1 corres:: ■ ■. to sup: ■ íe · 1 of * xí;. 1 of image is r ascopy,; u can -er, r> sx * 'r., a screen s |'> £ · 'a na h ■■. mt <.l. • 1C '51: ev; ι · s <: 1ent "í ·.:. ·. · Point pairs hv: s ó. og o, if not oc; i idtrti :. - .dos on the pair of images that fall -: - md; ·. The ; rf, eç: do me and c point of the scene.

[00026] O processo é efetuado através de um sistema composto por: 1) Dispositivos de captura de imagens ou vídeo, gue podem ser, por exemplo: câmeras fixadoras, máquinas fotográficas, · tre outros; 2·} Dispôs.' : .os de ■ . ·, ! .· sisttr em algum dispositivo v ,.: z d'· , r in . v ’ · terec >picas disposto na hon · :/ i., μ i ·,·:·. ;■: lo, o lizaado-se projetores apt.-r : i . : .·: . : ,p* í ‘ . : rizor’ os, ou por monitores oosici : .· > ■·■ i* .- i -; 3) 1 positivos computacionais ca·. - -· ·. i* t : , r iS. ’"i' · · . ‘ .ncior. o - nto, j . · d· i :■ aç- : . · u t ura dos : · ,U·' n . ; ■ ' ' - . >S d· Capt i ! ; Sc de ! ---.:5 poi" • moc* i · i : 4.- . idas {. ! dl · · iv ? ono .· . - ais de : orma nu : : . conte.-· de · n= :>r< - .nuas seções, fican :· . ; : . ; ; · par. xi· ■ - nos dispositivos de exibição, [.0002f ’! · : : · ί vista que não existe o uso de nenhum padrãc ; . , ^oração na cena 3D, não é necessária a ef.etut ·- :, nenhuma etapa de calibração do sistema, dado que as próprias imagens capturadas pelo sistema são utilizadas para determinar as deformações apropriadas a serem aplicadas nas imagens capturadas·., Processo, de determinação das homografias )] o· ' · . * errr : o homografias que deformem t · veiada; orr ; -.s ;· entrao , cie forma que o ·· r ., *;ado )- ■ i · : · : t c -istere scõpico no qual um de !·-: >·;·': í. -o . · : respo;. :a à superfície de exi; ' ;ao : . -i . :■ - - ’*-c- - ! .ca., ; ae pode ser, por exer; .o, i:< ■ ’ > i · .zont.al.[00026] The process is carried out by a system consisting of: 1) Image or video capture devices, which may be, for example: camera clamps, cameras, and others; 2 ·} Available. ' : .os of ■. ·,! . · Sisttr on any device v,.: Z d '·, r in. v 'terec> peaks arranged in hon ·: / i., μ i ·, ·: ·. ; ■: lo, the l-se projectors apt.-r: i. :. ·:. :, p * í ‘. : rizor 'os, or by oosici monitors:. ·> ■ · ■ i * .- i -; 3) 1 computational positives ca ·. - - · ·. i * t:, r iS. '"i' · ·. '. lower. o - nto, j. · d · i: ■ action:. · u ure: ·, U ·' n .; ■ '' -.> S d · Capt i !; Sc of! ---.:5 poi "• moc * i · i: 4.-. gone {. ! dl · · iv? no. ·. - other than: orma nu::. count.- · of · n =:> r <- .nine sections, fican: ·. ; :. ; ; · pair. xi · ■ - on display devices, [.0002f ’! ·:: · Ί since there is no use of any standards; . In the 3D scene, no ef.etut · -:, no system calibration steps are required, since the images captured by the system themselves are used to determine the appropriate deformations to be applied to the captured images. , determining homographs)] o · '·. * errr: o deforming homographs that are veined; orr; -s; · enter, so that the ·· r., *; ado) - ■ i ·: ·: t c-typical is where one of! · -:> ·; · ': í. -The . ·: Respo ;. : a at the surface of exi; ' ;to : . -i. : ■ - - ’* -c- -! .ca.,; ae can be, by exer; .o, i: <■ ’> i · .zont.al.

[00(· - )] t i ;··.·. · idos pares de pontos homd . jqos, .· :· = : - o nt . t içados no par de imagens que srres·; ·■ ;- ■ : ; ■ · s n imo po.nt.o. da cena.[00 (· -)] thi; ··. ·. · Old pairs of points homd. jqos,. ·: · =: - the nt. hoisted on the pair of images that srres ·; · ■; - ■:; ■ · s not imo po.nt.o. of the scene.

Os i res d em ser divididos em duas cias - es d< p · : · : · . 1 . . zaç, na cena do ponto que os gerou: i) i . ■ . ;· ; u .■ c Ti{ 1,1 gerados- por ; -.tos da cena que pertencem ao plano de referência; íi) : .-res de. ϊ ηΗ s c >ο ; cr. 3 ρ >s a cer . não }··Γΐ-·ηοβΓ - piar.· : -:ef» · nci ■. )0 13 » . .·: do ; . 1 -· de í untc .· - .; 1 . . . so; <em' o - fc'e '.ο ·; . n liei. ; de ·. irnoc ■ : . . , r . : cá -ulo, con ider . - :jue ; ares·' de ; n‘ j. : a<; ; irter. ·· m a mesma classe dos pares que os geraram, £00032] Dado um conjunto de pares de pontos homólogos do Tipo I e do Tipo II, definímos o Erro de Interpretabilidade Tridimensional como sendo uma função que aplica esses pares de pontos em um escalar. Essa função deve ser definida de forma a ter a propriedade de que seu mínimo ocorra quando os pontos do Tipo I sejam coincidentes e os pontos do Tipo II possuam a mesma coordenada vertical.The i d ds be divided into two c es - d <p ·: ·: ·. 1 . . zaç, in the scene from the point that generated them: i) i. ■. ; ·; ■ c Ti {1.1 generated-by; - all of the scene belonging to the reference plane; (ii):.-res of. ϊ ηΗ s c> ο; cr. 3 ρ> s to cer. no} ·· Γΐ- · ηοβΓ - chirp ·: -: ef »· nci ■. ) 0 13 '. .·: of ; . 1 - · de í untc. · -.; 1 . . . only; <in 'o - fc'e' .ο ·; . no lie. ; in ·. ■ ■:. . , r. : caulo, con ider. -: jue; ares · 'de; no j. : a <; ; irter. ·· m the same class as the pairs that generated them, £ 00032] Given a set of Type I and Type II homologous point pairs, we define the Three-Dimensional Interpretability Error as a function that applies these point pairs to a scalar. This function must be defined to have the property of having its minimum occur when Type I points are coincident and Type II points have the same vertical coordinate.

[00033] Dada uma câmera, definimos a homoçfrafia associada a ela como sendo a homogra.fia que mapeia pontos da imagem captada por ela sobre pontes do plano de referência, Essa h orno gr afia é aquela que, para os pontos do Tipo I, efetua um mapeamento correspondente ao processo reverso da ό)eçâo realizada pela câmera.Given a camera, we define the homography associated with it as the homography that maps points of the image it captures over bridges of the reference plane. This hour is one that, for Type I points, performs a mapping corresponding to the reverse process of the action performed by the camera.

[t‘A0.34.] Para resolver o problema deve-se encontrar um par d· hbm.o.gx a fias t que estejam associadas a câmeras cujos P ãmetros intrínsecos correspondam aos parâmetros das c -1003.3 utilizadas na captura das imagens., e que .aplicadas í 5 pares ie pontos homólogos identificados: nas imagens t odtizaitt p-res de pontos que fazem com os pontos do Tipo I • tornem 3ine.ide.ntes e os pontos do Tipo .11 passem a ter . mesma cc rdenada vertical. 00035] A determinação da solução pode ser feita, por exemplo, utilizando-se um método de otimização que minimiza o Erro de Interpretabilidade Tridimensional relativo aos pares de pontos gerados pela aplicação de um par de homog-raf ias sobre ©s pares de pontos homólogos identificados nas imagens. As homogra fias devem ser par-amet r i radas pelos parâmetros ext rins ecoa das câmeras a que estão associadas. Já os parâmetros intrínsecos devem ser mantidos fixados. Para evitar que o Erro de IflterpretâMl idade tridimensional possa ser reduzido pela simples mudança de escala da solução basta fixar os parâmetros que correspondem a translação de uma das câmeras, Exemplos Implemen tação [Ô0036] Ema possível implementação para o p.r.oces.so definido na seção anterior é apresentada abaixo.[t'A0.34.] To solve the problem a pair d · hbm.o.gx must be found with threads that are associated with cameras whose intrinsic parameters correspond to the parameters of c -1003.3 used in capturing images. , and which are applied to 5 pairs ie identified homologous points: in the odtizaitt p-res images of points that cause Type I points to become 3ine.id.es and Type .11 points to have. same vertical cc. 00035] The solution can be determined, for example, by using an optimization method that minimizes the Three-Dimensional Interpretability Error relative to the pairs of points generated by applying a pair of homogeneities over the homologous pairs of points. identified in the images. Homographies must be matched by the external parameters of the cameras to which they are associated. Already the intrinsic parameters must be kept fixed. To prevent the three-dimensional Iflterpretâ „¢ Error from being reduced by simply scaling the solution, simply set the parameters that correspond to the translation of one of the cameras. previous is shown below.

[00037] Sejam pares de pontos ! mól.og.os do Tipo I, identificados em uro par de imagens., e pares de pontos · ■:·■ : "-os do Tipo II.[00037] Be pairs of points! Molecules Type I, identified in a pair of images., and pairs of dots.

Eode.rri.os definir o Erro de Interpretabilidade Tridimensional como sendo onde as constantes que multiplicam os somatórios definem a importância dada para as restrições de Tipo I e de Tipo II, ou seja, define o quanto é importante tornar os pontos do Tipo I coincidentes e o quanto é importante tornar os pontos do Tipo II alinhados na mesma coordenada-y.You can define the Three-Dimensional Interpretability Error as where the multiplying constants define the importance given to Type I and Type II constraints, that is, how important it is to make Type I points coincident. and how important it is to make Type II points aligned at the same y-coordinate.

[00038] Pa ra resolver o problema de encontrar as homografias associadas a câmeras com parâme' · - iut íns- cos conhecidos, ou obviam · · ’ nu. ios, e qi- .· 1 .cada. aos ■ , res de portf · móloo . -it ■ ada mirai·- . ri c F o cie Interpre.t.abi' ; ; . r Tríc. !■*·',. ■ na;, basta :· , o Lee-nos o problema de > · .o d : j ; pc.a função : ;-»t i v ê um conjunto de pares de pontos do Tipo I, e é um conjunto de pares de pontos do Tipo II, : i: m . ' : , ; v : onde e sãc oí' pe: ‘etro·- ··/1 rí n.··. os, que são os parâmetros que precis-m ... r de' · · ·; . na i ·* ru. solução do problema de timiríÇà . ^004 J ’ ■ do que se trata de um problema de mínimos ! - ’.d - ,,do. , tem-se que a solução pode ser encontrada pelo erí;· |o i algoritmo Levenberg-Marquardt. De.ve-se fixar tl 01, * p .: . evitar que a função objetivo possa reduzir com uma simples mudança de escala da solução. A matriz de parâmetros intrínsecos K é considerada conhecida ou previamente. estimada.[00038] To solve the problem of finding the homographs associated with cameras with known unknown parameters, or obviate naked. ios, and qi. · 1. each. ■ portfolios. -it ■ ada mirai · -. ri c F cie Interpre.t.abi '; ; . r Tric. ! ■ * · ',. ■ na ;, just: ·, Lee us the problem of> · .o d: j; The function is a set of Type I point pairs, and is a set of Type II point pairs: i: m. ':,; v: where is s' oi pe: ‘etro · - ·· / 1 rí n. ··. os, which are the parameters that need -m ... r for '· · ·; . na i · * ru. solution of the problem of timiríÇà. ^ 004 J \ 'what a minimum problem this is! - ’.d - ,, do. , we have that the solution can be found by eri; o | the Levenberg-Marquardt algorithm. It should be fixed tl 01, * p.:. prevent the objective function from being reduced by simply scaling the solution. The intrinsic parameter matrix K is known or known previously. estimated.

[00Q41 ] Para que o algoritmo . · ,■ nb.erg-Marquardt seja utilizado é ne sário o term. · >· uma solução iniciai próxima do mínimo da função obj ‘ >. Uma das possíveis maneiras de resolver este problema é azer o seguinte: 1) Amostrar duas rotações RI e R2 do espaço de rotações. 2. ) Utilizar RI e R2 e do,is pares de pontos homólogos para t:r --r1, r-:r t e t1 .[00Q41] For the algorithm. ·, ■ nb.erg-Marquardt is used the term. ·> · An initial solution near the minimum of the obj ‘> function. One of the possible ways to solve this problem is to do the following: 1) Sample two RI and R2 rotationspace rotations. 2.) Use R1 and R2 and do, homologous point pairs for t: r --r1, r-: r t and t1.

[ 0 1 ' ■:* Precisamos repetir o processo para diferentes escolhas de Rl e R2, e selecionamos os parâmetros extrinsecos {Rl, R2, t, t'} que minimizam o Erro de Interpretabilidade Tridimensional. Esse processo explora o fato do espaço de rotações ser limitado e, portanto, pode ser amostrado.[0 1 '■: * We need to repeat the process for different choices of R1 and R2, and select the extrinsic parameters {R1, R2, t, t'} that minimize the Three-Dimensional Interpretability Error. This process exploits the fact that the rotational space is limited and therefore can be sampled.

[00043] Deve-se evitar escolher Rl e R2 muito afastados das rotações corretas, tendo em vista que existem 3 pares de rotações incorretos que minimizam o Erro de Interpretada. 1 idade Tridimensional. Felizmente as rotações incorretas estão afastadas de 180° das rotações corretas, [0:004 4 ] Para determinar as translações t e t' quando as rotações Rl e R2 estão fixadas, deve-se seguir as seguintes etapas.It should be avoided to choose R1 and R2 too far from the correct rotations, since there are 3 pairs of incorrect rotations that minimize the Interpreted Error. 1 Three-dimensional age. Fortunately the incorrect rotations are 180 ° away from the correct rotations, [0: 004 4] To determine the t and t 'translations when the rotations R1 and R2 are fixed, the following steps must be followed.

Estimação das translações [00045] Sejam (a,b) e {c,d) as coordenadas em pixels dos pontos homólogos que correspondem ao ponto ml do plano de suporte, e (e,f) e (g,h) são as coordenadas em pixels dos pontos homólogos que correspondem, ao ponto m2 do plano de suporte. Ι-00-Ό 4 6 3 Sejam, e [0,0047] Sejam H1 e H2 as homografias que mapeiam pontos do plano de referência em pontos das imagens com coordenadas medidas em pixels.Estimation of Translations Let (a, b) and {c, d) be the pixel coordinates of the homologous points corresponding to the ml point of the support plane, and (e, f) and (g, h) are the coordinates in pixels of the corresponding points corresponding to the point m2 of the support plane. Ι-00-Ό 4 6 3 Let, and [0,0047] Let H1 and H2 be the homographs that map points of the reference plane to points in images with coordinates measured in pixels.

[00048] Du seja e [0004 9] Pode-se escolher qualquer ponto ■ [ · > suporte para ser considerado a origem do pu definir os parâmetros das câmeras. Vamos asse · · >■ ml · ■ este ponto. Ao fazer isto temos que e onde são escalares a serem determinados.[00048] Due e [0004 9] You can choose any point ■ [·> bracket to be considered as the source of pu to set the camera parameters. Let's bake this point. In doing this we have what and where are scalars to be determined.

[00050-3 Então e [00051] Isto significa que t e t' estão defenidos a nien.u.s dos fatores de escala λΐ e A2, pois e [00052] Utilizamos outro par de pontos homólogos para determinar M e Λ2. Como existe uma ambiguidade de escala, 4 ■•'"'OS que apenas a fração entre essas duas constantes pode .ar e‘ -srminada. ' Λ0u:111 u<" r [- ~"r~ - a v t ·, '. : .10" oç : a :.'i e seja a inversa da homografia [00054] É fácil de perceber que P e Q podem ser calculadas, porque estamos assumindo que a matriz de parâmetros intrínsecos K e as rotações associadas a cada uma das câmeras são conhecidas.Then e [00051] This means that t and t 'are defined at nien.u.s of the scale factors λΐ and A2, since e [00052] We use another pair of homologous points to determine M and Λ2. Since there is an ambiguity of scale, OS only that the fraction between these two constants can .ar is' -mined. 'Λ0u: 111 u <"r [- ~" r ~ - avt ·,'. : .10 "oç: a:. 'Ie be the inverse of the homography [00054] It is easy to see that P and Q can be calculated, because we are assuming that the intrinsic parameter matrix K and the rotations associated with each of the cameras are known.

Temos que e [00055] Aplicando a homografia a inversa das h©mogra.f' -s Η1 e H2 sobre (e,f) e (g,h) devemos obter ο ιρβς-, - ponto no plano de suporte. Isso significa eme deve „ . r ^ . e exxst-ir um escalar λ3 -0. t:* [00056;] Segue da equação da primeira linha qUl3 Da equação da terceira linha segue que Como consequência temos que Determinação da es aat 4a solução '0· 57] t rnb: . ·, ·« r = det"rmi na· · ιο cí > escala das 'i inslacõe.· ac i;· . ■ . : rm,' - ’ <· - >,c xl ir i es ;la dos pares e, ter·.·· óp.cxs . · - · r xil i ... ü&-· e ·, rob‘ · na decorre, cie ume f d» : ee ;:.: > . ,· d. errriia, ou seja., n.ão é πέη -matic -.meu· e t - . ·· . ietermi' aι o · am η,-.o dos pares e tereoscó: : .a r > 1 ■ · caídos e »pe· . ■ . ■ res.pondênçias ent · ■ | nto < n· 1 ; i ■ :·· ----.: ec i ;as.We have to e [00055] Applying the inverse homography of h © mogra.f '-s Η1 and H2 on (e, f) and (g, h) we should get ο ιρβς-, - point on the support plane. That means eme should „. r ^. and exxst-go a scalar λ3 -0. t: * [00056;] It follows from the equation of the first line qUl3 From the equation of the third line it follows that As a consequence we have to determine the esaat 4th solution '0 · 57] t rnb:. ·, · «R = det" rmi na · · ιο cí> scale of 'i inslations. · Ac i; ·. ■.: Rm,' - '<· ->, c xl ir i es; , ter ·. ·· op.cxs. · - · r xil i ... ü & - · e ·, rob '· does not follow, cie ume fd »: ee;:.:>., · d. errriia, or ie, it is not πέη -matic -myu · et -. ·· ietermi 'aι o · am η, - o of the pairs and tereoscó:: .ar> 1 ■ · fallen and »pe ·. ■ ■ n.responcences then · ■ | nto <n · 1; i ■: ·· ---- .: ec i; as.

[OOOOo , Esta proí ’ · - ; põe· ..· : rí olv; · . , pox exemplo, as seguintes i: form . .· *s estj · rer ilspc* o o: 1} A distância 1 entre os centros ópticos das câmeras em ambas as poses utilizadas na captura do par estexeosc.ôpi.cp. 2) A distância na cena de dois pontos. ml e m2 sobre o plano do chão que correspondam a pi.....xe.ls pl e p2. identificáveis no par estereoscópico.[OOOOo, This Proi '· -; put · .. ·: rí olv; ·. for example, the following i: form. . * * S estj · rer ilspc * o o: 1} The distance 1 between the camera's optical centers in both poses used to capture the pair estexeosc.ôpi.cp. 2) The distance in the scene from two points. ml and m2 on the ground plane corresponding to pi ..... xe.ls pl and p2. identifiable in the stereoscopic pair.

[00052] A escala dev< ■ s· - · jolhíc . ta1 · orm . o.·? a ra.zão entre as distân .a - - nre as ; reis ; e : ca distância entre os oleo >.>eja . <Uci. - i .* ’···ο en- * - as distâncias entre os p : * o ml e ">2 a ;. tá' .ti.[00052] The scale must <■ s · - · jolhíc. ta1 · orm. The.·? the reason between the distances - - nre as; kings; e: ca distance between oil>.> eja. <Uci. - i. * ’··· ο en- * - the distances between p: * o ml and"> 2 a;. está '.ti.

[.0:0.060'] Por exemr . , uuonha· s q .e ■ 1 ia 1 · 05 m e que a di-s-tânci i ■ r· fi e m2 < · · ‘ -os. C ■ o a distância entre >s f · t ie .ra r ss >& ■ i >\ ■ tximada: ente 6,5 ntime.tr os, ····.' q .. a :& 1<■ ;j' .ia deve ser • ■ Ή de tal f ; · . ou· faç . cc m q .· i ■ telr pl e p2 est· '<an . ■ i vtad< 3 1 enuíme* : os. Ou ■■· ' i · formação -teom cri ca sobre a · · -en itr.a. e · · d ponível, p ssíyel sol . ç< ns.s' - er jurar · a 1 é. ie saida po: ur método de t> 1 ■ ‘iva ero atè um ; m · *su tado ser ati;i gí ; ).[.0: 0.060 '] For example. , uuonha · s q .e ■ 1 ia 1 · 05 m and that di-s-tânci i ■ r · fi e m2 <· · ‘them. C ■ o the distance between> s f · t ie .ra r ss> & ■ i> \ ■ approximated: between 6.5 ntime.tr os, ····. ' q .. a: & 1 <■; j '.ia should be • ■ Ή of such f; ·. or · do it. cc m q. · i ■ telr pl and p2 are · '<an. ■ i vtad <3 1 number *: os. Or ■■ · 'i · -tomics training on · · -en itr.a. e · · d available, p ssíyel sol. ç <ns.s' - er swear · 1 is. ie output po: a method of t> 1 ■ er iva up to one; m * * sued to be active; ).

PROCESSO PARA EXIBIÇÃO ESTEREOSCÓPICA HORIZONTAL. BASEADO EMPROCESS FOR HORIZONTAL STEREOSCOPIC DISPLAY. BASED ON

CORRESPONDÊNC IASMATCHES IAS

REIVINDICAÇÕES

Claims (2)

1, Processo para exibição estereoscópica horizoió i. baseado em correspondências, caracterizado pelas etapas de: i. Capturar o par de imagens; íí. Identificar pontos homólogos de Tipo I (gerados por pontos da cena que pertencem ao plano de referência) e de Tipo II (gerados por pontos da cena que não pertencem ao plano de referência) no par capturado; iii. Estimar as homogr afias que tornam o Erro de Interpretabi1 idade Tridimensional o menor possível e cujos parâmetros intrínsecos associados sejam correspondentes aos das câmeras usadas na captura, através de método de otimização que minimize o Exro.de Inte ■ pr< ' =dí..) ia.de .· ííme.nsio-nal, fixando ç>s parámetr · i 1 :5n cos e - ' nsi c io associada 3 uma da;s c uer * ; iv. A; icar as noir :raf *s encc;.' : . : ; nr ■ ‘ ; i iii s :>re o p;.; íir ·. jens cap- ■ na t ‘ -oa í, d ormando* · eqt ; iamente para exibição na h izontal; v. F ■ bir o· par ie .ms ■ deformadas na et u anterior em um ui spt 11 estereoseópíc.ç com 1 ■ > na horizontal.1, Process for stereoscopic display horizoió i. based on correspondence, characterized by the steps of: i. Capture the pair of images; i. Identify Type I (generated by scene points that belong to the reference plane) and Type II (generated by points of the scene that do not belong to the reference) homologous points in the captured pair; iii. Estimate the homographs that make the Three-Dimensional Interpretability Error as small as possible and whose associated intrinsic parameters correspond to those of the cameras used for capture, through an optimization method that minimizes the Exro.de Inte ■ pr <'= di ..) i.de.national_image, setting the parameters 1: 5 in cos and associated ns 3 one of the; iv. THE; icar as noir: raf * s encc ;. ' :. :; nr ■ ‘; i iii s:> re o p; íir ·. jens cape ■ na t oa -a í, commanding * · eqt; primarily for horizontal display; v. F ■ bir · pair ie .ms ■ deformed in the previous et u in a stereopathic ui spt 11 with 1 ■> horizontally. 2, Processo para exibição estereoscópica horizontal baseado em correspondências de acordo com a reivindicação 1, caracterizado por opci onalmente realizar um processamento de recorte sobre o par estereoscópico correspondente à eliminação de partes da cena 3D..Method for horizontal correspondence-based stereoscopic display according to claim 1, characterized in that it optionally performs cropping processing on the stereoscopic pair corresponding to the elimination of parts of the 3D scene.