KR20070052261A - 수평 원근법 시뮬레이터 - Google Patents
수평 원근법 시뮬레이터 Download PDFInfo
- Publication number
- KR20070052261A KR20070052261A KR1020077000038A KR20077000038A KR20070052261A KR 20070052261 A KR20070052261 A KR 20070052261A KR 1020077000038 A KR1020077000038 A KR 1020077000038A KR 20077000038 A KR20077000038 A KR 20077000038A KR 20070052261 A KR20070052261 A KR 20070052261A
- Authority
- KR
- South Korea
- Prior art keywords
- display
- image
- horizontal perspective
- perspective
- horizontal
- Prior art date
Links
- 238000004088 simulation Methods 0.000 claims abstract description 132
- 230000002093 peripheral effect Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 description 118
- 210000003128 head Anatomy 0.000 description 46
- 210000005069 ears Anatomy 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 23
- 241001147416 Ursus maritimus Species 0.000 description 19
- 230000004044 response Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 14
- 239000011521 glass Substances 0.000 description 14
- 230000008447 perception Effects 0.000 description 13
- 210000004556 brain Anatomy 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 210000000695 crystalline len Anatomy 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000004886 head movement Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000000613 ear canal Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 210000000883 ear external Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Stereophonic System (AREA)
Abstract
본 발명 3D 핸즈온 시뮬레이터 시스템은 3 차원 수평 원근법 디스플레이 및 3 차원 디스플레이에 현실성을 부여하는 두 귀로 듣는 시뮬레이션 같은 3D 오디오 시스템을 포함하는 3 차원 디스플레이 시스템을 개시한다. 3 차원 디스플레이 시스템은 제2 디스플레이와 다양한 이미지를 통합하는 곡면 혼합 디스플레이 부를 추가로 포함한다. 다중 평면 디스플레이 표면은 관찰자의 시점 및 청각점 위치에 따라 다양한 이미지와 3D 사운드를 조정함으로써 관찰자에게 편의를 제공한다. 본 발명 핸즈온 시뮬레이터 시스템은 수평 원근법 이미지를 개방 공간에 투사하고 주변 기기는 최종 사용자가 손 또는 휴대용 장비로 이미지를 조작할 수 있도록 한다.
수평 투시 원근법, 중앙 투시 원근법, 3D 이미지, 3D 사운드
Description
본 출원은 본원에 참고로 합체된 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,187호 "다중 평면(multi palne) 수평 원근법 디스플레이", 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,189호 "다중 평면 수평 원근법 핸즈온 시뮬레이터", 2004년 6월 1일에 출원한 미국 가출원 번호 제60/576,182호 "두 귀로 듣는(binaural) 수평 원근법 디스플레이" 및 2004년 6월 1일 출원한 미국 가출원 번호 제60/576,181호 "두 귀로 듣는 수평 원근법 핸즈온 시뮬레이터"를 우선권으로 주장한다.
본 발명은 3차원 시뮬레이터 시스템에 관한 것이며, 자세하게는 사용자와 상호작용이 가능한 컴퓨터 시뮬레이터 시스템에 관한 것이다.
3 차원(3D)이 가능한 전자제품 및 컴퓨팅 하드웨어 장치 및 실시간으로 3D 컴퓨터 그래픽이 생성되는 컴퓨터는 지난 몇십 년 동안 시각, 오디오, 촉각 시스템의 혁신과 더불어 컴퓨터 과학의 인기있는 영역이었다. 이 영역에 대한 다수의 연구는 특히 좀 더 실제적이고 좀 더 자연스러운 컴퓨터와 인간의 인터페이스를 생성할 수 있도록 설계되었다. 상기 혁신은 특히 최종 사용자의 컴퓨팅 경험을 개선하고 단순화시켜왔다.
인간이 사진을 통해 대화를 한 이래로, 그들은 어떻게 정확하게 그들이 살고 있는 3 차원 세상을 표현할 것인가에 대한 딜레마에 직면하였다. 조각이 3 차원 물체를 묘사하는데 성공적으로 사용되었지만, 이는 물건 사이 및 환경 내에서 존재하는 공간적인 관계를 전달하는 데에는 적합하지 않다. 이를 위해서, 예전에 인간은 그들이 본 것을 2 차원의 수직 평면에 평면화를 시도 했다(예를 들어, 그림, 스케치, 태피스트리). 사람이 똑바로 서있고, 나무에 의해서 둘러싸인 풍경은 수직 평면에 비교적 성공적으로 묘사된다. 그러나 예술가가 서있는 곳으로부터 볼 수 있는 곳까지 수평적으로 확장되는 지면이 있는 풍경은 어떻게 나타낼 것인가?
대답은 3 차원 환영이다. 2 차원의 그림은 3 차원 이미지의 환영을 만들기 위해서 뇌에 다수의 3 차원 단서를 제공하여야 한다. 3 차원 단서의 이러한 효과는 뇌과 그것에 꽤 익숙해진다는 사실로 인해 실제적으로 달성될 수 있다. 삼차원 실제 세상은 항상 눈 뒤쪽에 있는 오목한 표면인 망막에 2차원(예를 들어 높이 및 폭)으로 변형된다. 그리고 이러한 2차원의 이미지로부터 경험 및 지각을 통해서 뇌는 두 가지 종류의 깊이 단서: 단안(하나의 눈에 의한 지각) 및 쌍안(두 개의 눈에 의한 지각)으로부터 3 차원 가장 이미지를 형성하는 깊이 정보를 생성한다. 일반적으로 쌍안 깊이 단서는 선천적이고 생물학적인 반면에 쌍안 깊이 단서는 후천적이고 환경적이다.
주요한 쌍안 깊이 단서는 집중도 및 망막의 불일치이다. 뇌는 물건이 가까울수록 각각의 눈의 시야 사이의 각이 커지므로 거리에 대한 대략적인 평가치를 제공하는 눈의 집중도의 양을 측정한다. 두 개의 눈의 분리로 인한 망막 이미지의 불 일치는 깊이에 대한 지각을 생성하는데 사용된다. 이와 같은 효과는 각각의 눈이 약간 상이한 풍경에 대한 시야를 수신하고, 뇌가 가까운 물체 사이의 거리 비를 결정하기 위해 상기 차이점을 사용하여 그것을 함께 상기 시야를 융합시킨다.
쌍안 지각은 매우 강력한 지각이다. 그러나 평면 이미지의 깊이에 대한 인상을 생성하는 단안 단서이라고 불리는 하나의 눈에 의한 깊이 지각이 또한 존재한다. 주요한 단안 단서은 :겹치기, 상대적인 크기, 선형 원근법, 빛 및 그늘이다. 물체가 부분적으로 가려져서 보인다면, 이러한 가려짐의 패턴은 물체가 보다 멀리 떨어제 있다는 것을 결정하는 단서로 쓰인다. 같은 크기로 알고 있는 두 개의 물체에서 하나가 다른 것보다 작아 보인다면, 이러한 상대 크기의 패턴은 작은 물체가 더 멀리 떨어져 있다는 것을 가정하는 단서로 사용된다. 상대 크기의 단서는 또한 원근법 이미지에서 평행한 선은 하나의 점을 향해서 수렴하는 것처럼 보이므로 사용자로부터 멀리 있는 선은 떨어져 있는 것으로 보이고 가까이에 있는 것은 같이 있는 것으로 보이는 선형 원근법의 단서를 위한 기초를 제공한다. 특정한 각으로 물체에 떨어지는 빛은 물체의 형태 및 깊이에 대한 단서를 제공한다. 물체에 대한 빛과 그늘의 분포는 빛은 위에서부터 내려온다는 생물학적으로 올바른 가정에 의해 제공되는 깊이를 위한 강력한 단안 단서이다.
상대 크기와 함께 원근법 그림은 종이나 캔버스 같은 평면(이차원) 표면에 3차원 환영 및 공간 관계를 달성하기 위해 가장 자주 사용된다. 원근법을 통해서, 3차원 물체는 2차원 평면에 묘사되나, 그것은 3차원 공간에서 나타나는 것으로 눈을 속이는 것이다. 원근법을 달성하기 위한 첫 번째 이론적인 논문은 건축가 Leone Battista Alberti.가 쓴 1400년 초반에 출간된 Depictura이다. 그의 책의 이론 이후에 일반적인 원근법에 대한 세부적인 항목이 매우 잘 문서로 기록되었다. 그러나 다수의 다른 종류의 원근법이 존재한다는 사실은 잘 알려지지 않았다. 일부 예는 도1의 상부에 도시한 밀리터리, 캐벌리어, 등각 원근법, 양각 원근법이 있다.
특별한 관심은 대부분 도1의 하단 좌측에 도시한 중앙 투시 원근법이라 불리는 일반적인 종류의 원근법이다. 1 점 원근법이라고도 불리는 중앙 투시 원근법은 가장 간단한 "순수" 원근법 양식이며 초보자를 위한 미술 및 도면 수업에서 가르쳐진다. 도2는 추가로 중앙 투시 원근법을 도시한다. 중앙 투시 원근법을 사용하여, 2차원의 평면 종이에 도시하였지만 체스판과 체스말은 3차원 물체처럼 보인다. 중앙투시 원근법은 중앙 소실점을 가지며, 직사각형 물체는 영상 평면에 평행한 전면쪽에 위치한다. 물체의 깊이는 영상 평면에 대해 수직이다. 모든 평행 후퇴 모서리는 중앙 소실점을 향해 간다. 관찰자는 일직선 관점으로 상기 소실점을 바라본다. 건축가 또는 예술가가 중앙 투시 원근법을 사용하여 그림을 그릴 때, 그들은 반드시 일 시야 관점을 사용한다. 즉 그림을 그리는 예술가는 그림 표면과 수직으로 하나의 눈을 통해서 바라봄으로써 이미지를 포획한다.
중앙 투시 원근법 이미지를 포함하여, 이미지의 대부분은 시선과 수직인 평면에 디스플레이되고 보이며 포획된다. 90도 다른 각도에서 이미지를 보는 것은 이미지 왜곡을 발생하며, 이는 표면을 바라보는 것이 시선과 수직이 아닐 때 정사각형이 직사각형으로 보이는 것을 의미한다.
중앙 투시 원근법은 몇 가지 예를 들어 과학, 데이터 시각화, 컴퓨터로 작성 된 프로토타이핑, 영화를 위한 특수 효과, 의학 영상 및 건축 같은 수많은 응용으로 3D 컴퓨터 그래픽에서 넓은 범위에 걸쳐 사용된다. 가장 흔하고 잘 알려진 컴퓨핑 응용예 중 하나는 3D 게임으로 이는 본원에서 예로 사용되며, 이는 3D 게임에서 사용되는 핵심 개념이 모든 다른 3D 컴퓨팅 응용에 확장되기 때문이다.
도3은 단순한 예시로 이는 3D 소프트웨어 응용제품의 높은 현실성을 달성하기 위한 기초 필수 구성요소를 목록화하여 스테이지를 설정한다. 가장 고수준에서 3D 게임 개발품(32)은 4 가지 필수 구성요소로 구성된다:
1. 디자인(34): 게임 스토리 라인 및 게임 플레이의 생성
2. 콘텐츠(35): 게임 플레이 동안 활동하는 물체(인물, 풍경 등)
3. 인공 지능(AI)(36): 게임 플레이 동안 콘텐츠 간의 상호작용 제어
4. 실시간으로 컴퓨터 생성 3D 그래픽 엔진(3D 그래픽 엔진)(37): 디자인, 콘텐츠 및 AI 관리. 무엇을 그릴 것인가. 어떻게 그릴 것인가를 결정하고 그것을 컴퓨터 모니터에 묘사.
게임 같은 3D 응용 소프트웨어를 사용하는 사람은 실시간 컴퓨터 생성 3D 그래픽 엔진의 형태로 소프트웨어를 실행시킨다. 엔진의 주요 구성요소 중 하나는 렌더(render)이다. 그것의 역할은 3D 물체를 컴퓨터 생성 세계의 x, y, z 좌표에 존재시키고 실제 세계 x, y 좌표를 갖는 평면(2D)인 컴퓨터 모니터의 화면에 그것을 묘사(그리기/디스플레이)한다.
도4는 3D 그래픽 엔진이 실행될 때 컴퓨터 내부에서 일어나는 일을 나타낸다. 모든 3D 게임 내에서 컴퓨터 생성 3D "세상"이 존재한다. 이러한 세상은 게임 플레이 동안 경험할 수 있는 모든 것을 포함한다. 그것은 또한 3 개의 공간 차원 x, y, z를 갖는 것을 의미하는 데카르트 좌표 시스템을 사용한다. 이러한 3차원은 "가상 세계 좌표"라고 불린다. 일반적인 3D 게임을 위한 게임 플레이는 컴퓨터 생성 3D 지구 및 그것의 괘도를 도는 인공위성으로 시작된다. 가상 세게 좌표 시스템은 지구 및 인공 위성이 컴퓨터 생성 x, y, z 공간에 적절하게 위치하도록 한다.
시간에 따라 그들이 움직이므로, 위성 및 지구는 적절하게 동기화되어 유지되어야 한다. 이를 달성하기 위해, 상기 3D 그래픽 엔진은 컴퓨터 생성 시간(t) 를위한 4차원 우주 공간을 만들어야 한다. 매 시간(t) 마다, 3D 그래픽 엔진은 새로운 위치 및 자전하는 지구의 괘도에 따른 방향에서 위성을 재생한다. 그러므로, 3D 그래픽 엔진의 주요 역할은 모든 컴퓨터 생성 4차원 x, y, z 및 t 내에서 모든 3D 물체를 연속적으로 동기화하고 재생하는 것이다.
도5는 최종 사용자가 플레이 중일 때, 즉 제1 개인 3D 응용소프트웨어를 실행하고 있을 때 컴퓨터 내부에서 무엇을 일어나는지를 도시한 개념도이다. 제1 개인은 컴퓨터 모니터가 창문 같은 역할을 하고, 이를 통해서 게임을 하고 있는 사람이 컴퓨터 생성 세상을 바라보는 것을 의미한다. 이러한 바라봄을 생성하기 위해서, 3D 그래픽 엔진은 컴퓨터 생성 개인의 시점으로 장면을 묘사한다. 컴퓨터 생성 개인은 컴퓨터에 의해 생성된 또는 실제로 게임을 하고 있는 "실제" 사람의 "가상" 시물레이션으로 생각할 수 있다.
3D 응용 소프트웨어를 실행하는 동안 실제 사람, 즉 최종 사용자는 일정 시장에 전체 3D 세계의 작은 일부만을 보게 된다. 이는 최종 사용자가 현재 집중하고 있지 않은 일반적인 3D 응용소프트웨어의 수많은 3D 물체를 생성하는 것은 컴퓨터 하드웨어에 많은 비용이 들기 때문이다. 그러므로 3D 그래픽 엔진의 임계 작업은 컴퓨터 생성 시간(t)의 매시간 동안 절대적으로 필요한 작은 정보만을 그리거나/묘사함으로써 컴퓨터 하드웨어의 컴퓨터 번들을 최소화하는 것이다.
도5의 박스 지역은 어떻게 3D 그래픽 엔진이 하드웨어의 번들을 최소화하는 지를 개념적으로 표현한다. 그것은 3D 응용 소프트웨어의 전체 세계와 비교하여 극도로 작은 정보 지역에 컴퓨터 자원을 집중한다. 이러한 예에서, "컴퓨터 생성" 가장 개인에 의해서 관찰되고 있는 것은 "컴퓨터 생성" 북극곰이다. 최종 사용자가 제1 개인으로 활동하고 있기 때문에, 컴퓨터 생성 개인이 보고 있는 모든 것은 죄종 사용자의 모니터에 묘사된다. 즉 최종 사용자는 컴퓨터 생성 개인에 눈을 통해서 보고 있다.
도5에서 컴퓨터 생성 개인은 한쪽 눈만으로 보고 있다; 다른 말로 하면 외눈 시점이다. 이는 3D 그래픽 엔진의 렌더가 3D 물체를 2D 표면에 그리거나/묘사하는데 중앙 투시 원근법을 사용하기 때문이고, 중앙 투시 원근법은 한쪽 눈만으로 바라볼 필요가 있다. 컴퓨터 생성 개인이 외눈으로 바라보는 지역은 표시 체적이라고 불리며, 이러한 표시 체적 안에 있는 컴퓨터 생성 3D 물체는 실제로 컴퓨터 모니터의 2D 화면에 묘사되는 것이다.
도6은 좀 더 자세하게 표시 체적을 도시한다. 표시 체적은 "카메라 모델"의 서브셋이다. 카메라 모델은 3D 그래픽 엔진의 하드웨어와 소프트웨어 모두의 특징을 정의하는 블루프린트이다. 매우 복잡하고 고도로 세련된 자동차 엔진처럼, 3D 그래픽 엔진은 그들의 카메라 모델은 참고되는 본질적인 구성요소만을 도시하도록 종종 단순화되는 매우 많은 부분으로 구성된다.
도6에 도시한 카메라 모델은 컴퓨터 모니터의 수직 2D 화면에 컴퓨터 생성 3D 물체를 묘사하기 위해서 중앙 투시 원근법을 이용하는 3D 그래픽 엔진을 도시한다. 도6에 도시한 표시 체적은 좀 더 자세하긴 하지만 도5에 나타낸 표시 체적과 동일하다. 3D 그래픽 엔진이 컴퓨터 생성 개인의 한쪽 눈이 카메라 포인트(따라서 카메라 모델)을 보고 있다고 가정하기 때문에 유일한 차이점은 의미론적 차이이다.
카메라 모델의 모든 구성 요소는 "구성 성분"라고 불린다. 단순화된 카메라 모델에서, 근접 클립 평면이라고도 불리는 투사 평면은 표시 체적 내의 3D 물체의 x, y, z 좌표가 묘사되는 2D 평면이다. 각각의 투사 선은 카메라 포인트에서 시작하여 표시 체적 내의 가상 3D 물체의 x, y, z 좌표 점에서 끝난다. 3D 그래픽 엔진은 그 후 투사 선이 근접 클립 평면과 교차하는 곳을 결정하고 상기 교차가 발생하는 곳의 x 및 y 점이 근접 클립 평면에 묘사된다. 3D 그래픽 엔진의 렌더가 모든 필요한 수학적 투사를 끝마치고 나면, 근접 클립 평면은 도6의 하단에 도시한 것처럼 컴퓨터 모니터의 2D 화면에 디스플레이된다.
종래의 3D 컴퓨터 그래픽 기술의 기초는 중앙 투시 원근법 투사가다. 3D 중앙 투시 원근법 투사는 실제적인 3D 환영을 제공하지만 사용자가 3D 디스플레이와 실제적인 교감을 갖는데에는 몇 가지 제한이 있다.
우리가 " 수평 원근법"이라고 부르는 잘 알려지지 않은 이미지 종류가 존재하며 이는 머리를 들고 바라볼 때에는 이미지가 왜곡된 것처럼 보이지만 똑바른 시 야 위치에서 바라볼 때는 3 차원으로 디스플레이되는 것이다. 수평 원근법에서 화면과 시선 사이의 각은 45도인 것이 좋으나 대부분의 각도가 가능하고 화면은 수평("수평 원근법"이라고 불린다는 점에서)인 것이 좋으나, 그것에 대한 시선이 직각을 형성하지 않는 한 어떠한 표면도 가능하다.
수평 원근법 이미지는 실제적인 3차원 환영을 제공하지만 좁은 시야 위치(관찰자의 시점이 이미지 투사 지점과 정확하게 일치되어야 하는) 및 2차원 이미지의 투사 또는 4차원 모델의 수평 원근법 이미지에 대한 투사와 관련한 복잡성 때문에 잘 알려지지 않았다.
수평 원근법 이미지의 생성은 일반적인 수직 이미지보다 생성하는데 비교적 많은 전문적 지식이 필요하다. 일반적인 수직 이미지는 사용자 또는 카메라 포인트로부터 직접 만들어질 수 있다. 단순히 필요한 한가지는 어느 방향에서든 이미지를 획득하기 위해 눈을 뜨거나 카메라를 가리키는 것이다. 게다가 수직 이미지로부터의 3차원 깊이 단서로 바라보는 것을 많이 경험함으로써, 관찰자는 카메라 포인트로부터의 편차로 인해 생성된 현저한 양의 왜곡을 견딜 수 있다. 대조적으로, 수평 원근법 이미지를 생성하는 것은 많은 조작을 필요로 한다. 이미지를 시선과 수직하게 평면에 투사함으로써 일반적인 카메라는 수평 원근법 이미지를 생성하지 않는다. 수평 원근법 그림을 만드는 것은 많은 노력과 시간 소비를 필요로 한다. 게다가, 인간은 수평 원근법 이미지에 대해 제한된 경험을 갖고 있기 때문에, 관찰자의 눈은 이미지 왜곡을 피하기 위해서 투사 시점이 가리키는 곳에 정확하게 위치하여야 한다. 그러므로 수평 원근법은 이러한 어려움 때문에 관심을 받지 못했다.
실제적인 3차원 시뮬레이션을 위해서, 두 귀로 듣는 또는 3차원 오디오 시뮬레이션 역시 필요하다.
본 발명은 개인용 컴퓨터가 수평 원근법 디스플레이에 적절하다는 것을 인지한다. 그것은 개인용 이므로 개인의 작동을 위해 설계되었으나, 강력한 마이크로프로세서를 구비한 컴퓨터는 다양한 수평 이미지를 관찰자에게 묘사할 수 있는 능력이 있다. 게다가 수평 원근법은 3D 이미지의 개방 공간 디스플레이를 제공하며, 그로인해 최종 사용자의 상호작용을 가능하게 한다.
그러므로 본 발명은 적어도 두 개의 디스플레이 표면을 포함하고, 그 중 하나는 3 차원 수평 원근법 이미지를 디스플레이하는 다중 평면(multi plane) 핸즈온 시뮬레이터 시스템을 개시한다. 다른 디스플레이 평면은 2 차원 이미지를 디스플레이하거나, 바람직하게는 3 차원 중앙 투시 원근법 이미지를 디스플레이할 수 있다. 추가로, 디스플레이 표면은 다양한 이미지를 병합하는 곡선 병합 디스플레이 부를 포함할 수 있다. 다중 평면 핸드온 시뮬레이터는 다양한 카메라 시점을 포함할 수 있으며, 이중 하나는 수평 원근법 이미지를 위한 것이며, 다른 하나는 중앙 투시 원근법 이미지를 위한 것이고, 선택적으로 또 다른 하나는 곡선 병합 디스플레이 표면을 위한 것이다. 다중 평면 디스플레이 표면은 추가로 사용자의 위치에 적응하도록 다양한 이미지를 조절할 수 있다. 사용자의 시점과 동일한 위치로 수평 원근법과 중앙 투시 원근법의 카메라 시점을 유지하기 위해서 디스플레이된 이미지를 변경함으로써, 사용자의 눈은 항상 3차원 환영을 인지하는 적정한 관찰 위치에 위치되며, 그에 따라 사용자의 불편함 및 왜곡 현상을 최소화할 수 있다. 디스플레이는 수평 원근법 이미지의 위치지 재조정하기 위해 컴퓨터 마우스, 트랙볼, 조이스틱, 태블릿 등과 같은 수동 입력 장치를 수용할 수 있다. 디스플레이는 또한 자동으로 사용자의 시점 위치를 제공하는 입력 장치에 기초하여 자동으로 이미지의 위치를 재조정할 수 있다. 다중 평면 핸즈온 시뮬레이터 시스템은 수평 원근법 이미지를 열린 공간에 투사할 수 있으며 최종 사용자가 손 또는 휴대용 장비로 이미지를 조작할 수 있도록 해주는 주변 기기를 포함할 수 있다.
추가로, 디스플레이는 또한 3차원 디스플레이에 리얼리즘을 부가하기 위해 두 귀로 듣는 시뮬레이션 같은 3차원 오디오를 포함할 수 있다.
도1은 다양한 원근법 그림을 도시한 도면.
도2는 일반적인 중앙 원근법 그림을 도시한 도면.
도3은 3D 소프트웨어 애플리케이션을 도시한 도면.
도4는 컴퓨터에 실행되는 3D 애플리케이션을 도시한 도면.
도5는 제1 개인이 관찰하는 3D 애플리케이션을 도시한 도면.
도6은 중앙 투시 카메라 모델을 도시한 도면.
도7은 중앙 투시 원근법(이미지 A)과 수평 원근법(이미지 B)을 비교한 도면.
도8은 3 개의 적층 블록의 중앙 투시 원근법 그림을 도시한 도면.
도9는 3 개의 적층 블록의 수평 원근법을 도시한 도면.
도10은 수평 원근법 그림을 그리는 방법을 도시한 도면.
도11은 수평 원근법 디스플레이 및 관찰자 입력 장치를 도시한 도면.
도12는 수평 원근법 디스플레이, 계산 장치 및 관찰자 입력 장치를 도시한 도면.
도13은 컴퓨터 모니터를 도시한 도면.
도14는 이미지의 부정확한 위치를 표시하는 모니터의 형광층을 도시한 도면.
도15는 이미지의 정확한 위치를 표시하는 모니터의 형광층을 도시한 도면.
도16은 기준 평면 x, y, z 좌표를 도시한 도면.
도17은 각도 카메라(angled camera) 점의 위치를 도시한 도면.
도18은 기준 평면에 대한 수평면의 맵핑(mapping)을 도시한 도면.
도19는 안락 평면을 도시한 도면.
도20은 핸즈온 체적을 도시한 도면.
도21은 내부 평면을 도시한 도면.
도22는 하부 평면을 도시한 도면.
도23은 내부 접속 체적을 도시한 도면.
도24는 최종 사용자의 눈에 맵핑된 각진 카메라를 도시한 도면.
도25는 수평면에 대한 3차원 물체의 맵핑을 도시한 도면.
도26은 쌍안(two-eye) 관찰을 도시한 도면.
도27은 수평 원근법의 시뮬레이션 동작 시기를 도시한 도면.
도28은 수평면을 도시한 도면.
도29는 3D 주변기기를 도시한 도면.
도30은 개방 접속 카메라 모델을 도시한 도면.
도31은 물체 인식의 개념을 도시한 도면.
도32는 물체 인식과 3D 인식의 결합을 도시한 도면.
도33은 다른 개방 접속 카메라 모델을 도시한 도면.
도34는 또 다른 개방 접속 카메라 모델을 도시한 도면.
도35는 휴대용 장비 말단에 대한 가중 부착물의 맵핑을 도시한 도면.
도36은 다중 평면과 다중 관찰 장비를 도시한 도면.
도37은 개방 접속 카메라 모델을 도시한 도면.
도38은 다른 다중 평면 장비를 도시한 도면.
본 문서에 기재된 새롭고 고유한 발명은 전체적으로 새로운 레벨의 현실성 및 단순성을 위해 실시간 컴퓨터 생성 3D 컴퓨터 그래픽, 3D 사운드 및 촉각 컴퓨터 인간 인터페이스를 취함으로써 종래의 기술에 기반을 두고 달성되었다. 좀 더 구체적으로, 신규한 본 발명은 실시간 컴퓨터 생성 3D 시뮬레이션이 최종 사용자 및 다른 실제 세계 물체와 물리적 공간 및 시간에서 공존할 수 있도록 한다. 이러한 능력은 3D 컴퓨터 생성 물체 및 사운드와 직접적인 물리적 접촉을 제공함으로써 드라마틱하게 최종 사용자의 시각적, 청각적 그리고 촉각적 컴퓨팅 경험을 개선한다. 이러한 고유한 능력은 전자공학, 컴퓨터, 생물 측정학, 의학, 교육, 게임, 영화, 과학, 법, 경제, 통신, 법 집행, 국가 보안, 군대, 출판 매체, 텔레비전, 광고, 시사회, 데이터 시각화, 컴퓨터 생성 리얼리티, 애니메이션, CAD/CAE.CAM, 생 산성 소프트웨어, 작동 시스템 등을 포함하지만 이에 제한되지 않은 거의 모든 상상할 수 있는 산업에서 유용하다.
본 발명은 적어도 두 개의 디스플레이 표면을 포함하며, 그 중 하나는 수평 원근법 투사에 기초하여 3 차원 환영을 투사할 수 있는 다중 평면 수평 원근법 핸즈온 시뮬레이터를 개시한다.
일반적으로, 본 발명 수평 원근법 핸즈온 시뮬레이터는 3 차원 이미지를 디스플레이하고 이와 상호작용할 수 있으며 제조업 설계 리뷰, 인간 환경 공학 시뮬레이션, 안전 및 교육, 비디오 게임, 영화 촬영, 과학 3D 관찰 및 의학과 기타 데이터 표시 같은 다양한 산업 응용분야에 대한 명백한 유용성을 가지고 있다.
수평 원근법은 잘 알려지지 않은 원근법이며, 그것의 메카니즘을 설명한 책은 두 권밖에 없다: 입체적 그림(1990년 출판) 및 입체 사진을 만드는 방법(1979년 출판, 절판). 비록 상기 책들이 이러한 잘 알려지지 않은 원급법에 대해 설명하지만. 이름을 동일하게 표현하고 있지는 않다. 첫 번째 책은 그것을 "자유 기립 입체사진(free standing anaglyph)이라고 표현하며 두 번째 책은 "팬토그램" 이라고 표현한다. 또 다른 공개 공보(G. M. Woods 1998년8월 18일 미국 특허 5,795,154)에서는 그것을 "원근법 입체"라고 부른다. 동의한 이름이 없기 때문에, 우리는 그것을 "수평 원근법"이라고 자유롭게 부르기로 한다. 일반적으로 중앙 투시 원근법에서 시선과 직각의 시야 평면은 또한 그림 표면에 투시되며, 깊이 단서는 이러한 평평한 이미지에 깊이 환영을 주기 위해 사용된다. 수평 원근법에서, 시야 평면은 동일하게 남아 있지만, 투사된 이미지는 상기 평면에 존재하지 않는다. 그것은 시야 평 면에 대해 각이진 평면에 존재한다. 일반적으로 이미지는 바닥 표면에 위치한다. 이는 이미지가 시야 평면에 대해서 3 번째 차원에 물리학적으로 존재한다는 것을 의미한다. 그러므로 수평 원근법은 수평 투사라고도 부를 수 있다.
수평 원근법에서, 물체는 종이로부터 이미지를 분리하여 상기 이미지를 수평 원근법 이미지를 투사하는 3 차원 물체에 융합한다. 그러므로 수평 원근법 이미지는 가장 이미지가 자유 직립 3 차원 물체를 형성하도록 융합하기 위해서 반드시 왜곡되어야 한다. 또한 상기 이미지가 똑바른 시점에서 보여져야 하는 것은 필수적이며, 그렇지 않으면 3차원 환영은 소멸한다. 높이 및 폭을 구비하고, 깊이 환영을 투사하며, 그로 인해 물체가 보통 즉시 투사되며 이미지가 층 내부에 있는 것처럼 보이는 중앙 투시 원근법 이미지와는 대조적으로, 수평 원근법 이미지는 실제적인 깊이 및 폭을 가지며 환영은 그들에게 높이를 부여하며, 그로 인해 이미지가 연속적으로 보이기 위해 조절된 이동이 존재한다.
도7은 중앙 투시 원근법과 수평 원근법을 구별하는 주요한 특징을 도시한다. 이미지(A)는 중앙 투시 원근법의 중요한 관련 특징을 보여주며, 이미지(B)는 수평 원근법의 중요한 관련 특징을 보여준다.
다른 말로, 이미지(A)는 한쪽 눈을 감고 수직 그림 표면과 직교하는 시선을 따라 바라보며 미술가가 그린 실제 생활 3 차원 물체(각각 위로 조금씩 쌓인 3개의 블럭)이다.
이미지(B)는 한쪽 눈을 감고 수평 그림 표면과 45도 각도의 시선을 따라 바라보며 미술가가 그린 실제 생활 3 차원 물체이다.
그 결과 발생한 이미지는 한쪽 눈으로 수평으로 45도 각도로 바라보았을 때, 원래 이미지와 동일하게 보인다.
이미지(A)에서 도시한 중앙 투시 원근법과 이미지(B)에서 도시한 수평 원근법의 하나의 주요한 차이점은 투사된 3 차원 이미지와 관련한 디스플레이 평면의 위치이다. 이미지(B)의 수평 원근법에서, 디스플레이 평면은 상하로 조정될 수 있으며, 그로 인해 투사된 이미지는 디스플레이 평면 위에 공중에 디스플레이될 수 있으며, 즉 물리적인 손으로 환영을 만질 수 있으며(또는 통과하거나), 디스플레이 평면 아래에 디스플레이될 수 있다. 즉 디스플레이 평면이 물리적으로 손을 가로막기 때문에 환영을 만질 수는 없다. 이것은 수평 원근법의 성질이며 카메라 시점과 관찰자의 시점이 동일한 장소에 있는 한 환영이 존재한다. 대조적으로 이미지(A)의 중앙 투시 원근법에서, 3 차원 환영은 오직 디스플레이 평면 안에서만 존재하며, 이는 그것을 만질 수 없다는 것을 의미한다. 사용자가 그것을 만질 수 있도록 하기 위해 3 차원 이미지를 디스플레이 평면 밖으로 가지고 나오기 위해서, 중앙 투시 원근법은 둘러싼 이미지 투시와 커다란 체적 같은 복잡한 디스플레이 방식을 필요로 한다.
도8 및 도9는 중앙 투시 원근법을 사용하는 것과 수평 원근법을 사용하는 것에 시각적 차이를 도시한다. 이러한 시각적인 차이를 경험하기 위해서, 우선 한쪽 눈을 통해서 중앙 투시 원근법으로 그려진 도8을 보라. 지금까지 그래왔던 것처럼 당신의 눈과 그림이 직교하게 당신의 앞에 수직으로 종이를 잡아라. 당신은 중앙 투시 원근법으로 3차원 물체를 2 차원 표면에 잘 표현할 수 있다는 것을 알 수 있 다.
지금부터 당신의 책상으로 이동하여 종이를 당신 앞의 책상 위에 놓고(수평으로) 수평 원근법을 사용하여 도시한 도9를 보라. 또다시 한쪽 눈만으로 이미지를 보라. 이는 당신의 눈을 예술가가 그림을 그릴 때의 각도인 종이에 대해 대략 45도에 시점이라고 불리는 한 쪽 눈을 위치시킨다. 당신의 뜬 한쪽 눈과 시선을 예술가의 그것과 일치시키기 위해서 당신의 눈을 45도 각도로 대락 6인치 안밖으로 그림에 가깝게 아래 및 앞으로 움직여라. 이는 상부 및 중간 블록이 공중의 종이 위쪽에서 보이는 것처럼 하는 이상적인 관찰 경험을 발생시킨다.
또다시, 당신의 뜬 한쪽 눈이 이러한 정확한 위치에 있어야 하는 이유는 중앙 투시 원근법 및 수평 원근법 모두가 시점으로부터 시선의 각을 정의할 뿐 아니라, 또한 시점으로부터 그림까지의 거리를 정의하기 때문이다. 이는 도8 및 도9가 그림 표면에 대한 당신의 뜬 한쪽 눈을 위한 이상적인 위치 및 방향에서 그려졌다는 것을 의미한다. 그러나, 한쪽 눈의 위치 및 방향으로부터 편차가 작은 왜곡만을 발생시키는 중앙 투시 원근법과는 달리, 수평 원근법을 볼 때, 한쪽 눈의 사용 및 화면과 관련한 눈의 위치 및 방향은 3차원 수평 원근법 환영을 보기 위해 필수적인 것이다.
도10은 수평 원근법을 사용하여 종이나 캔버스에 단순한 기하학적 그림을 그리는 방법을 설명하는 건축학적 스타일의 도면이다. 도10은 도9에 사용된 동일한 3 개의 블록의 측면도이다. 그것은 수평 원근법의 실제적인 메카니즘을 도시한다. 물체를 구성하는 각각의 점은 점을 수평 그림 표면에 투사함으로써 그려진다. 이를 설명하기 위해서, 도10은 투사선을 통해 수평 그림 표면에 그래진 블럭의 몇몇 좌표를 도시한다. 투사선은 시점(축척 때문에 도10에 도시하지 않음)에서 시작하여 물체에서 한 점과 교차하며, 계속하여 일직선으로 수평 그림 표면과 교차하는 곳까지 진행하며, 이는 종이에 하나의 점으로 물리적으로 그려졌다. 건축가가 블록 위에 각각의 점 및 모든 점을 위해 이러한 과정을 반복할 때, 그림 표면으로부터 시선을 따라 시점에서 보이는 것과 같이 그리고 도9에 도시한 것과 같이 수평 원근법 그림은 완성된다.
도10을 주목하면, 3 개의 블록 중 하나가 수평 그림 평면 아래에서 보인다. 수평 원근법으로, 그림 표면 아래에 위치한 점은 또한 시선을 따라 시점으로부터 보이는 것처럼 수평 그램 평면에 그려진다. 그러므로, 마지막 그림이 보여질 때, 물체는 수평 그림 평면 위에서 보일 수도 있을 뿐 아니라, 그림 평면 아래에서도 보일 수 있다-종이 안쪽으로 후퇴해가는 인상을 줌. 만약 당신이 도9를 다시 본다면, 당신은 하단 박스가 아래쪽에서 보인다거나 종이 안쪽으로 가는 반면 다른 두 개의 박스는 개방 공간에서 종이 위쪽에 나타나 보인다는 것을 알아챌 수 있을 것이다.
수평 원근법 이미지의 생성은 중앙 투시 원근법 이미지를 만드는 것보다 많은 전문적 지식이 필요하다. 비록 두 방법이 관찰자에게 2차원 이미지로부터 발생되는 3 차원 환영을 부여하는 것을 추구하지만, 중앙 투시 원근법 이미지는 관찰자 또는 카메라 포인트로부터 직접 3 차원 풍경을 생성한다. 대조적으로, 수평 원근법 이미지는 사용자가 올려다보면 왜곡되어 보이이나, 이러한 왜곡은 정확한 위치에서 바라볼 때 수평 원근법이 3차원 환영을 생성하도록 정확하게 묘사되어야 한다.
본 발명 수평 원근법 디스플레이 시스템은 관찰자에게 디스플레이된 이미지가 환영 관찰 경험을 최대화할 수 있게 조정하는 수단을 제공함으로써 수평 원근법 투사 관찰을 촉진한다. 마이크로프로세서의 계산 능력 및 실시간 디스플레이를 사용함으로써, 도11에 도시된 본 발명의 수평 원근법 디스플레이는 수평 원근법 이미지를 조정하는 사용자의 입력 장치(102)와 함께 투사된 이미지를 다시 그릴 수 있는 실시간 전자 디스플레이(100)를 포함한다. 수평 원근법 이미지의 투사 시점과 사용자의 시점을 일치시키기 위해 수평 원근법 이미지를 다시 디스플레이함으로써, 본 발명의 수평 원근법 디스플레이는 수평 원근법 방법으로부터 3 차원 환영을 묘사하는데에 있어 최소한의 왜곡을 보장한다. 상기 입력 장치는 사용자가 수동으로 그 또는 그녀의 시점 장소를 수동으로 입력하거나 최상의 3 차원 환영을 획득하기 위해 투사 이미지 시점을 변경하는 경우 수동으로 동작 될 수 있다. 상기 입력 장치는 또한 디스플레이가 자동으로 관찰자의 시점을 추적하고 그에 따라 투사 이미지를 조정하는 경우 자동으로 동작될 수 있다. 본 발명은 관찰자가 그의 머리를 비교적 고정된 위치에 유지해야 하는 제약을 제거하고, 상기 제약은 수평 원근법 또는 홀로그램 디스플레이와 같이 정확한 시점의 획득에 많은 어려움을 발생시킨다.
도12에 도시한 수평 원근법 디스플레이 시스템은 실시간 전자 디스플레이 장치(100) 및 사용자의 시점과 투사 이미지 시점을 일치시킴으로써 사용자에게 현실적이고 최소한의 왜곡이 있는 3 차원 환영을 제공하는 디스플레이를 위해 투사 이미지를 계산하는 계산 장치(110)에 입력을 제공하는 투사 이미지 입력 장치(112) 이외에 계산 장치(110)를 추가로 포함할 수 있다. 상기 시스템은 사용자가 투사 이미지가 보여지는 것을 조정하는 이미지 확대/축소 입력 장치(115) 또는 이미지 회전 입력 장치(117) 또는 이미지 이동 장치(119)를 추가로 포함할 수 있다.
수평 원근법 디스플레이 시스템은 관찰자에게 디스플레이된 이미지가 환영 관찰 경험을 최대화할 수 있게 조정하는 수단을 제공함으로써 수평 원근법 투사 관찰을 촉진한다. 마이크로프로세서의 계산 능력 및 수평 원근법 이미지를 조정하는 사용자의 입력 장치와 함께 투사된 이미지를 다시 그릴 수 있는 실시간 전자 디스플레이를 포함하는 실시간 디스플레이를 사용함으로써, 수평 원근법은 디스플레이된다. 수평 원근법 이미지의 투사 시점과 사용자의 시점을 일치시키기 위해 수평 원근법 이미지를 다시 디스플레이함으로써, 본 발명의 수평 원근법 디스플레이는 수평 원근법 방법으로부터 3 차원 환영을 묘사하는데에 있어 최소한의 왜곡을 보장한다. 상기 입력 장치는 사용자가 수동으로 그 또는 그녀의 시점 장소를 수동으로 입력하거나 최상의 3 차원 환영을 획득하기 위해 투사 이미지 시점을 변경하는 경우 수동으로 동작 될 수 있다. 상기 입력 장치는 또한 디스플레이가 자동으로 관찰자의 시점을 추적하고 그에 따라 투사 이미지를 조정하는 경우 자동으로 동작될 수 있다. 수평 원근법 디스플레이 시스템은 관찰자가 그의 머리를 비교적 고정된 위치에 유지해야 하는 제약을 제거하고, 상기 제약은 수평 원근법 또는 홀로그램 디스플레이와 같이 정확한 시점의 획득에 많은 어려움을 발생시킨다.
수평 원근법 디스플레이 시스템은 실시간 전자 디스플레이 장치 및 사용자의 시점과 투사 이미지 시점을 일치시킴으로써 사용자에게 현실적이고 최소한의 왜곡 이 있는 3 차원 환영을 제공하는 디스플레이를 위해 투사 이미지를 계산하는 계산 장치에 입력을 제공하는 투사 이미지 입력 장치 이외에 계산 장치를 추가로 포함할 수 있다. 상기 시스템은 사용자가 투사 이미지가 보여지는 것을 조정하는 이미지 확대/축소 입력 장치 또는 이미지 회전 입력 장치 또는 이미지 이동 장치를 추가로 포함할 수 있다.
입력 장치는 수동 또는 자동으로 동작할 수 있다. 상기 입력 장치는 사용자 시점의 위치 및 방향을 검출할 수 있으며 검출 결과에 따라 계산하고 이미지를 디스플레이에 투사한다. 대안으로, 상기 입력 장치는 눈동자의 방향을 따라 사용자의 머리의 위치 및 방향을 검출하도록 만들어질 수도 있다. 상기 입력 장치는 사용자의 머리 움직임의 자유를 가능하게 하기 위해 사용자 머리의 위치를 검출하는 적외선 검출 시스템을 포함할 수 있다. 입력 장치의 또 다른 실시예는 본 발명의 머리 추적 목적에 접합한 위치 데이터를 제공하는 CCD 카메라 같은 관찰자 시점 위치를 검출하는 삼각 측량법일 수 있다. 입력 장치는 수평 원근법 디스플레이 이미지의 정확한 디스플레이를 나타내기 위해 키보드, 마우스, 트랙볼, 조이스틱 등과 같이 관찰자에 의해 수동으로 동작 되는 것일 수 있다.
머리 또는 눈 추적 시스템은 기저부 및 관찰자에 머리에 장착되는 머리 장착 센서를 포함할 수 있다. 머리 장착 센서는 사용자의 머리 움직임과 눈의 방향에 응답하여 사용자의 위치와 방향을 보여주는 신호를 처리한다. 상기 신호는 기저부에 의해서 수신되며 적절한 삼차원 투사 이미지를 계산하는데 사용된다. 머리 또는 눈 추적 시스템은 관찰자의 눈의 이미지를 캡쳐하는 적외선 카메라일 수 있다. 캡쳐된 이미지 및 기타 이미지 처리 기술을 사용하여, 관찰자의 눈의 위치 및 방향은 결정될 수 있으며, 그 후 기저부로 제공된다. 머리 및 눈 추적은 연속적인 관찰자의 머리 및 눈 추적을 제공할 수 있도록 작은 시간 간격으로 충분하여 실시간으로 수행된다.
본 문서에 설명된 발명은 다수의 새로운 컴퓨터 하드웨어 및 소프트웨어 구성 요소와 함께 수평 원근법의 개방 공간 특징을 사용하고 이들과 함께 "핸즈온 시뮬레이터"를 생성하도록 처리한다. 가장 단순한 용어로, 핸즈온 시뮬레이터는 최종 사용자가 물리적으로 그리고 직접적으로(핸즈온) 디스플레이 화면 위의 개방 공간, 즉 최종 사용자의 물리적 공간에 나타나는 실시간 컴퓨터 생성 3D 그래픽(시뮬레이션)과 상호작용할 수 있게 한다는 점에서 완전히 새롭고 독특한 컴퓨팅 경험을 만들어낸다.
사용자가 이런 독특한 핸즈온 시뮬레이션을 경험하기 위해서는 컴퓨터 하드웨어 화면은 최종 사용자의 시선이 화면과 45도 각도를 이루는 것처럼 적절하게 수평화되어야 한다. 일반적으로 이는 최종 사용자가 수직으로 서있거나 앉아있고 화면은 지면과 수평으로 위치한다는 것을 의미한다. 비록 최종 사용자가 45도가 아닌 각(예를 들어 55도, 30도 등)으로 핸즈온 시뮬레이션을 경험할 수 있지만, 45도가 개방 공간 이미지에서 최대한의 공간 정보를 뇌가 인식할 수 있는 최상의 각이라는 것을 기억해라. 그러므로, 단순성을 위해서, 우리는 이 문서를 통틀어 "대략 45도"를 의미하는 45도를 사용한다. 게다가, 수평 화면이 수평 지면으로 관찰자의 경험을 시뮬레이션하기 때문에 적합하지만, 어떠한 화면도 역시 3차원 환영 경험을 제공할 수 있다. 수평 원근법 환영은 수평 원근법 이미지를 천장 표면에 투사함으로써 천장에 매달려서 나타날 수 있으며, 또한 수평 원근법 이미지를 수직 벽 표면에 투사함으로써 벽에서 부유하여 나타날 수도 있다.
핸즈온 시뮬레이션은 "핸즈온 체적" 및 "내부 접속 체적"의 두 개의 새로운 구성요소를 만듬으로써 3D 그래픽 엔진의 표시 체적 안에서 발생할 수도 있다. 핸즈온 체적은 물리적인 화면상에서 또는 화면 위에서 적합하다. 그러므로 시뮬레이션이 최종사용자의 물리적 공간에 같이 존재하고 있기 때문에 최종 사용자는 직접 물리적으로 시뮬레이션을 조작할 수 있다. 이러한 1:1 대응은 손 또는 휴대용 장비로 시뮬레이션을 만지고 조작함으로써 정확하고 실제적인 물리적 상호작용을 가능하게 한다. 내부 접속 체적은 화면 아래에 위치하고 이러한 체적 안쪽의 시뮬레이션은 물리적인 화면 안쪽에 나타난다. 그러므로 내부 접속 체적 안쪽에 생성된 시뮬레이션은 최종 사용자와 동일한 물리적 공간을 공유하지 못하며 그러므로 이미지는 직접 물리적으로 손이나 휴대용 장비로 조작될 수 없다. 즉, 그것들은 컴퓨터 마우스 또는 조이스틱을 통해서 간접적으로 조작된다.
이렇게 개시된 핸즈온 시뮬레이터는 시뮬레이션이 최종 사용자의 물리적 공간에 같이 위치하기 때문에 최종 사용자가 직접적 물리적으로 시뮬레이션을 조작할 수 있게 한다. 이를 달성하기 위해서 컴퓨터 생성 세상 구성요소가 그들의 물리적 실제 세상 등가물과 1:1 대응이 되어야 하는 새로운 컴퓨팅 개념이 필요하다: 즉, 물리적 구성요소 및 등가 컴퓨터 생성 구성요소가 동일한 공간과 시간을 점유하고 있다. 이는 새로운 구성요소가 동기화되는 공통 "기준 평면"을 식별하고 설립함으 로써 달성된다.
기준 평면과의 동기화는 시뮬레이션의 "가상" 세계와 "현실" 물리 세계와의 1:1 대응을 생성하기 위한 기초를 형성한다. 다른 것들 사이에, 1:1 대응은 이미지가 적절히 디스플레이되는 것을 보장한다: 화면상에 그리고 그 위에서 보이는 것은 표면상에 그리고 그 위에 즉, 핸즈온 체적에 나타나고: 화면 아래에서 보이는 것은 화면 아래, 즉 내부 접속 체적에 나타난다. 이러한 1:1 대응 및 기준 평면과의 동기화가 존재하는 경우에만 최종 사용자가 물리적으로 그리고 직접적으로 그들의 손 또는 휴대용 장비를 통해서 시뮬레이션에 접속하고 상호작용할 수 있다.
본 발명의 시뮬레이터는 일반적으로 상술한 것과 같으나 3D 이미지를 디스플레이 하기 위해 수평 원근법 투사를 이용하는 실시간 컴퓨터 생성 3D 그래픽 엔진을 추가로 포함한다. 본 발명과 종래의 그래픽 엔진과의 한가지 주요한 차이점은 투사 디스플레이다. 현존하는 3D 그래픽 엔진은 중앙 투사 원근법을 사용하며 그러므로 그것의 표시 체적을 묘사하는 것이 수평 평면이나 본 발명의 시뮬레이터는 "수직" 방향 묘사 평면과 대비되는 "수직" 방향 묘사 평면이 수평 원근법 개방 공간 이미지를 생성하기 위해 필요하다. 수평 원근법 이미지는 중앙 투시 원근법 이미지 보다 휠씬 월등한 개방 공간 접속을 제공한다.
본 발명의 핸즈온 시뮬레이터에서 발명된 구성요소 중 하나는 컴퓨터 생성 세상 구성 요소와 그들의 물리적 현실 세상 등가물과의 1:1 대응이다. 상술한 것처럼, 1:1 대응은 최종 사용자가 물리적으로 그리고 직접적으로 핸즈온 시뮬레이션에 접속하고 상호작용하기 위해서 필수적인 새로운 컴퓨팅 개념이다. 이러한 새로운 개념은 그것의 특유한 x, y, z 공간 좌표를 획득하기 위한 공식뿐 아니라 공통 물리 기준 평면의 생성을 필요로 한다. 기준 평면의 위치 및 크기와 그것의 특유한 좌표를 결정하기 위해서 후술할 이해가 필요하다.
컴퓨터 모니터 또는 화면은 개개로 그리고 함께 두께 또는 깊이를 가지는 다수의 물리적 층으로 만들어진다. 이를 설명하기 위해서 도13은 일반적인 CRT 형식의 영상 장치의 개념 측면도를 포함한다. 모니터 유리 표면의 상층은 물리적인 "화면"이며, 이미지가 만들어지는 인광 물질 층은 물리적인 "이미지 층"이다. 화면 및 이미지 층은 상이한 깊이 또는 영상 장치의 z 축을 따른 z 좌표에 위치하는 분리된 물리적 층이다. 이미지를 디스플레이하기 위해서, CRT의 전자 총은 인광 물질을 자극시키고, 이는 차례로 광자를 방출한다. 이는 당신이 CRT에 이미지를 보고 있을 때, 당신은 창문 같은 CRT의 유리 표면을 통과하는 z축을 따라 보고 있으며 유리 아래에 인광 물질로부터 발생하는 이미지의 빛을 보고 있다는 것을 의미한다.
영상 장치의 z 축을 염두에 두고, 이미지를 수평 원근법을 사용하여 상기 장치에 디스플레이 해보자. 도14에서, 우리는 도10에서 도시한 것과 같은 수평 원근법으로 이미지를 그리기 위해 동일한 건축학적 기술을 사용한다. 도14와 도10을 비교함으로써 당신은 도14의 중간 블록이 화면에 바르게 나타나지 않는다는 것을 알 수 있다. 도10에서 중간 블록의 하부는 수평 그림/화면 평면, 즉 종이의 화면에 바르게 위치한다. 그러나 도14에서, 인광 물질 층, 즉 이미지가 만들어 지는 곳은 CRT의 유리 표면 뒤쪽에 위치한다. 그러므로 중간 블록의 하부는 화면의 뒤쪽은 아래에 올바르지 않게 위치한다.
도15는 CRT 타임의 영상장치의 적적한 3 개의 블록의 위치를 도시한다. 즉, 중간 블록의 하부는 화면에 정확하게 위치하며 이미지 층에 위치하지 않는다. 화면 및 이미지 층의 z축 좌표를 조정하기 위해서 이미지를 바르게 묘사하는 시뮬레이션 엔진이 사용된다. 그러므로 화면 대 이미지 층에 개방 공간 이미지를 정확하게 묘사하는 고유의 작업은 시뮬레이션 이미지를 현실 세계 공간에 정확하게 맴핑하는데 필수적인 것이다.
영상 장치의 화면이 열길 공간 이미지를 디스플레이하는 올바른 물리적 위치하는 것은 이제 명백하다. 그러므로, 화면, 즉 영상 장치의 유리 표면의 상부는 공통 물리적 기준 평면이다. 그러나 화면이 총 이미지 영역보다 크므로 화면의 서브셋 만이 기준 평면이 될 수 있다. 도16은 영상 장치의 화면에 디스플레이된 완전한 이미지의 예이다. 북극 곰을 포함한 상기 이미지는 총 이미지 영역을 보여주며, 이는 영상 장치의 화면 보다 작다.
다수의 영상 장치는 최종 사용자가 이미지의 x 및 y 값을 조정하여 이미지 영역의 크기를 조정할 수 있게 해준다. z 축 정보는 새로운 개념이며 지금까지 개방 공간 이미지의 디스플레이를 위해서만 필요하기 때문에 상기 영상 장치와 동일한 영상장치는 z축 정보에 대한 지식을 제공하거나 이에 접속하지 못한다. 그러나 3 개의 z, y, z 좌표는 모두 공통 물리적 기준 평면의 위치 및 크기를 결정하기 위해 필수적인 것이다. 이를 위한 공식은: 이미지 층은 z 축 좌표 값이 0으로 주어진다. 화면은 이미지 층으로부터 z축을 따라 떨어져 있고 기준 평면의 z 좌표는 화면, 즉 이미지 층으로부터 거리와 동일하다. x 및 y 좌표 또는 기준 평면은 완전한 이미지를 화면에 디스플레이하고 x축 및 y축의 길이를 측정함으로써 결정된다.
공통 물리 기준 평면의 개념은 새로운 발명 개념이다. 그러므로 디스플레이이 제조업은 기준 평면의 좌표를 제공하지 못하거나 또는 이에 대해 할지 못한다. 그러므로 "기준 평면 조절" 처리과정이 기준 평면 좌표를 설립하기 위해 수행되어야 한다. 이러한 조절 처리과정은 최종 사용자에게 그/그녀가 상호작용하는 다수의 조정된 이미지를 제공한다. 상기 이미지에 대한 최종 사용자의 반응은 기준 평면의 올바른 크기와 위치를 식별할 수 있도록 하는 시뮬레이션 엔진에 피드백을 제공한다. 최종 사용자가 상기 처리 과정에 만족하고 이를 완성할 때 좌표는 최종 사용자의 개인 프로파일에 저장된다.
몇몇의 영상 장치에서 화면과 이미지 층 사이의 거리는 꽤 짧다. 그러나 이러한 거리가 작거나 크건 간에, 모둔 기준 평면 x, y, z 좌표가 기술적으로 근접하게 결정될 수 있다는 것이 중요하다.
"물리" 기준 평면 x, y, z에 대한 "컴퓨터 생성" 수평 원근법 투사 디스플레이 평면(수평 평면)의 맵핑 후에, 두 개의 구성요소는 시간 및 공간에서 공존하고 일치한다; 즉, 컴퓨터 생성 수평 평면은 이제 물리 기준 평면의 현실 세상 x, y, z 좌표를 공유하고 그들은 같은 시간에 존재한다.
당신은 당신이 수평 방향 컴퓨터 모니터 앞에 앉아서 핸즈온 시뮬레이터를 사용한다고 상상함으로써 같은 공간 및 시간을 점유하는 컴퓨터 생성 구성요소와 물리 구성요소의 고유한 맴핑을 상상할 수 있다.
당신의 손가락은 모니터 표면에 위치함으로써, 너는 기준 평면(물리 화면의 일부)과 수평 평면(컴퓨터 생성)을 정확히 동시에 만질 수 있고, 다른 말로 하면, 모니터의 물리 평면을 만질 때, 너는 또한 컴퓨터 생성 등가물인 수평 평면을 동시에 만질 수 있고, 이는 동일한 위치 및 시간으로 시뮬레이션 엔진에 의해서 생성되고 맵핑된 것이다.
본 발명 수평 원근법 투사 핸즈온 시뮬레이터의 하나의 구성요소는 도17에 도시된 컴퓨터 생성 "각도 카메라(angled camera)" 점이다. 카메라 포인트는 수평 평면으로부터 임의의 거리에 위치하고 카메라의 시선은 중앙을 통과하여 45도 각도로 바라보는 곳으로 향한다. 최종 사용자의 눈과 관련된 각도 카메라의 위치는 영상 장치의 표면 그리고 그 위의 개방 공간에 나타나는 시뮬레이션의 생성에 필수적이다.
수학적으로, 각도 카메라 포인트의 컴퓨터 생성 x, y, z는 무한 "피라미드"의 정점을 형성하며, 피라미드의 옆면은 기준/수평 평면의 x, y, z 축 좌표를 통과한다. 도18은 상기 무산 피라미드를 도시하며, 이는 각도 카메라 포인트에서 시작하여 원근 클립 평면을 통과하여 연장한다. 피라미드 내부에는 기준/수평 평면과 평행하게 진행하는 새로운 평면이 존재하며, 이는 피라미드의 측면과 옆면과 함께 두 개의 새로운 체적을 정의한다. 이러한 독특한 표시 체적은 핸즈온 체적) 및 내부 접속 체적이라고 불이며, 이는 도18에는 도시되지 않았다. 상기 체적을 정의하는 상기 체적의 차원 및 평면은 피라미드 내의 그들의 위치에 기초한다.
도19는 또한 다른 디스플레이 구성요소와 함께 안락 평면이라고 불리는 평면을 도시한다. 안락 평면은 핸즈온 체적을 정의하는 6 개의 평면 중 하나이고, 이러 한 평면은 각도 카메라 포인트와 가까이에 있으며 기준 평면과 평행하다. 상기 안락 평면은 피라미드 내의 그것의 위치가 최종 사용자의 안락함, 즉 그들의 눈, 머리, 신체 증이 시뮬레이션을 보고 상호작용하는 동안 어떻게 적절하게 위치할 것인가를 결정한다는 점에서 적절히 이름 지어 졌다. 최종 사용자는 "안락 평면 조정" 처리 과정을 통해서 개인의 시각적 안락함에 기초하여 안락 평면의 위치를 조정할 수 있다. 이러한 처리과정은 사용자에게 핸즈온 체적 내에 조정된 시뮬레이션을 제공하고, 기준 평면에 대해 피라미드 내에서 안락 평면의 위치를 조정할 수 있도록 해준다. 최종 사용자가 만족하고 끝마치면 안락 평면의 위치 처리절차는 최종 사용자의 개일 프로파일에 저장된다.
본 발명의 시뮬레이터는 추가로 도20에 도시된 "핸즈온 체적"을 정의한다. 핸즈온 체적은 당신의 손이 달 수 있는 곳에 있고 물리적으로 "만질 수 있는" 시뮬레이션이다. 당신은 당신이 수평 지향 컴퓨터 모니터 앞으로 이동하여 핸즈온 시뮬레이터를 사용하는 것을 상상함으로써 이를 상상할 수 있다. 만약 당신이 당신의 손은 모니터의 평면 몇 인치 위에 위치시킨다면, 당신은 당신의 손을 물리 및 컴퓨터 생성 핸즈온 체적에 동시에 집어넣을 수 있다. 핸즈온 체적은 피라미트 안에 그리고 그 사이에 존재하고 안락 평면 및 기준/수평 평면을 포함한다.
핸즈온 체적이 기준/수평 평면에 그리고 그 위에 존재하는 경우, 본 발명은 선택적으로 물리 화면 아래 또는 그 안에 존재하는 내부 접속 체적을 정의한다. 이러한 이유로, 최종 사용자는 손이나 휴대용 장비를 통해서 내부 접속 체적 안에 위치한 3D 물체와 직접 상호작용할 수 없다. 그러나 컴퓨터 마우스, 조이스틱 또는 다른 비슷한 컴퓨터 주변기기로 전통적인 감각으로 상호접속할 수 있다. "내부 평면"은 피라미드 내의 기준/수평 평면의 바로 밑에 있고 이와 평행하게 추가로 정의된다. 실용적인 이유로, 이러한 두 개의 평면은 동일하다고 할 수 있다. 하부 평면을 따라 내부 평면은 내부 접속 체적을 정의하는 피라미드 내의 6 개의 평면 중 2개이다. 하부 평면은 각도 카메라 포인트로부터 가장 멀리 떨어져 있으나, 이를 원근 클립 평면으로 오해해서는 안 된다. 하부 평면은 또한 기준/수평 평면과 평행하며 내부 접속 평면을 정의하는 6 개의 평면 중 하나이다. 당신이 수평 지향 컴퓨터 모니터 앞에 앉아서 핸즈온 시뮬레이터를 사용한다고 상상함으로써 내부 접속 체적을 상상할 수 있다. 만약 당신의 손을 물리 표면을 통과하여 밀어 넣고 당신의 손이 모니터 안에 위치시킨다면(물론 가능하지는 않지만), 당신은 내부 접속 체적 내부에 당산의 손을 집어넣을 수 있다.
피라미드 하부까지의 최종 사용자의 양호한 관찰 거리는 상기 평면의 위치를 결정한다. 최종 사용자가 하부 평면의 위치를 조정할 수 있는 한 방법은 "하부 평면 조정" 처리 과정을 통해서 달성된다. 이러한 처리 과정은 최종 사용자에게 접속 체적 내의 조정된 시뮬레이션을 제공하며 최종사용자가 물리 기준/수평 평면에 대해서 하부 평면의 위치를 조정하고 상호작용할 수 있게 한다. 최종 사용자가 하부 평면 좌표를 처리과정을 끝마치면 이는 최종 사용자의 개인 프로파일에 저장된다.
최종사용자가 그들의 물리 화면에서 개방 공간 이미지를 보기 위해, 화면은 적절히 위치해야하며, 이는 보통 물리 기준 화면이 지면과 수평으로 위치하여야 한다는 것을 의미한다. 지면에 대한 화면의 위치가 무엇이든 간에, 기준/수평 평면은 최상의 관찰을 위해서 최종 사용자의 시선과 대략 45도 각도가 되어야 한다. 최종 사용자가 이러한 단계를 수행하는 하나의 방법은 CRT 모니터를 마루에 세워놓고, 그래서 기준/수평 평면이 마루와 수평이 되도록 하는 것이다. 상기 예는 CRT 모니터를 사용하였지만, 최종 사용자의 시선과 대략 45도 각도로 위치한 어떠한 종류의 영상 장치도 사용될 수 있다.
"최종 사용자의 눈"의 현실 세계 좌표 및 컴퓨터 생성 카메라 각도 카메라 포인트는 최종 사용자가 적절히 기준/수평 평면 그리고 그 위에 나타나는 열긴 공간 이미지를 보도록 하기 위해 1:1 대응을 가져야 한다. 이를 할 수 있는 한가지 방법은 최종 사용자가 시뮬레이터 엔진에 그들의 눈의 현실 세계 x, y, z 위치 및 물리 기준/수평 평면의 중앙에 관한 시선의 정보를 제공하는 것이다. 예를 들어, 최종 사용자는 기준/수평 평면의 중앙을 보는 동안 그들의 물리적 눈이 12 인치 위 그리고 12 인치 뒤에 위치한다고 시뮬레이션 엔진에 알려줄 수 있다. 상기 시뮬레이션 엔진은 그 후 최종 사용자의 눈 점의 물리적 좌표 및 시선에 대해서 컴퓨터 생성 각도 카메라를 맵핑한다.
본 발명의 수평 원근법 핸즈온 시뮬레이터는 핸즈온 및 내부 접속 체적에 3D 물체를 수학적으로 투사하기 위해 수평 원근법 투사를 사용한다. 물리 기준 평면의 존재 및 그것의 좌표에 대한 지식은 투사 이전의 수평 평면의 좌표를 올바르게 조정하기 위해서 필수적이다. 이러한 수평 평면에 대한 조정은 이미지 층과 화면 사이의 오프셋을 고려함으로써 이미지 층에 대비되는 화면에 개방 공간 이미지가 최종 사용자에게 나타나게 해주며, 화면은 영상 장치의 z 축을 따라 상이한 값에 위 치한다.
핸즈온과 내부 체적 중 어느 하나의 투사선이 물체 점과 오프셋 수평 평면 모두와 교차하기 때문에, 물체의 3 차원 x, y, z점은 수평 평면의 2 차원 x, y 점이 된다(도25 참고). 투사선은 종종 하나의 3D 물체 좌표 이상과 교차하지만, 일정 투사선을 따라 오직 하나의 물체 x, y, z 좌표가 수평 평면의 x, y 좌표가 될 수 있다. 어떤 물체 좌표가 수평 평면상의 점이 될 것인가를 결정하는 것은 각각의 체적에 따라 다르다. 핸즈온 체적에서, 물체 좌표는 수평 평면으로부터 가장 멀리 떨어진 일정 투사선을 따름으로써 이미지 좌표가 된다. 내부 접속 체적에서, 물체 좌표는 수평 평면과 가장 가까운 투사선을 따름으로써 이미지 좌표가 된다. 같은 경우에, 즉 각각의 체적으로부터의 물체점이 같은 수평 면의 2D을 가진다면, 핸즈온 체적의 3D 물체 포인트가 사용된다.
도25는 상술한 새로운 컴퓨터 생성 및 실제 물리 구성요소를 포함하는 본 발명의 시뮬레이션 엔진을 도시한다. 또한 현실 세계 구성요소 및 그것의 컴퓨터 생성 등가물이 1:1로 맵핑되고 공통 기준 평면을 공유하는 것을 도시한다. 이러한 시뮬레이션 엔진의 전체적인 실시로 최종 사용자의 시야와 대략 45도 방향을 두는 영상 장치의 표면 그리고 그 위에 있는 개방 공간에 나타나는 실시간 컴퓨터 생성 3D 그래픽을 구비한 핸즈온 시뮬레이터 발생된다.
핸즈온 시뮬레이터는 첨가되는 완전히 새로운 구성요소와 처리과정 그리고 현존하는 입체 3D 컴퓨터 하드웨어를 추가로 포함한다. 이는 여러 개의 관찰 또는 "다중-관찰" 능력을 구비한 핸즈온 시뮬레이터를 발생한다. 다중 관찰은 최종 사용 자에게 동일한 시뮬레이션의 다중 및/또는 분리된 좌우 관찰을 제공한다.
동작 또는 시간과 연관된 시뮬레이션을 제공하기 위해서, 시뮬레이터는 "SI-시간"이라고 불리는 새로운 컴퓨터 생성 "시간 차원" 구성요소를 추가로 포함한다. SI는 "시뮬레이션 이미지"의 약자이며 화면에 디스플레이된 완전한 하나의 이미지이다. SI-시간은 시뮬레이션 엔진이 하나의 시뮬레이션 이미지를 완전히 생성하고 디스플레이하는데 사용하는 시간이다. 이는 1초당 24번 이미지를 디스플레이하는 영화 투사기와 비슷하다. 그러므로 1/24 초가 투사기에 의해 디스플레이되는 하나의 이미지를 위해 필요하다. 그러나 SI-시간은 변할 수 있으며, 이는 사용자의 표시 체적의 복잡도에 따라 시뮬레이션 엔진이 하나의 SI를 완성하는데 1/120 또는1/2 초가 걸린다는 것을 의미한다.
시뮬레이터는 또한 "EV-시간"이라고 불리는 새로운 컴퓨터 생성 "시간 차원" 구성요소를 포함하며 이는 하나의 "관찰(eye-view)"을 생성하는데 사용되는 시간이다. 예를 들어, 시뮬레이션 엔진이 하나의 좌측 관찰을 생성하는 데 필요하고 하나의 우측 눈이 최종 사용자에게 입체적 3D 경험을 제공하기 위해 필요하다고 가정하자. 만약 시뮬레이션 엔진이 좌측 관찰을 생성하는데 1/2초가 걸린다면, 제1 EV-시간 주기는 1/2 초이다. 만약 1/2초가 우측 관찰을 생성하는데 걸린다면, 제2 EV-시간 주기는 또한 1/2 초이다. 시뮬레이션 엔진이 시뮬레이션 이미지의 분리된 좌우 관찰을 생성하기 때문에, 총 SI-시간은 일 초이다. 즉 제1 EV-시간은 1/2 초이며 제2 EV-시간은 또한 1/2초이고 이는 1 초의 총 SI-시간을 생성한다.
도26은 두 개의 새로운 시간 차원 구성요소를 설명하는 것을 도와준다. 이는 시뮬레이트된 이미지의 두 개의 관찰을 생성할 때 시뮬레이션 엔진의 내부에서 일어나는 것에 대한 개념도이다. 컴퓨터 생성 인간은 입체적 3D 관찰을 위해 필요한 두 개의 눈을 모두 가지고 있으며, 그에 따라 두 개의 분리된 유리한 위치 즉 우측 관찰 및 좌측 관찰로부터 북극 곰을 볼 수 있다. 이러한 두 개의 분리된 관찰은 평균적으로 인간의 눈이 약 2인치 정도 떨어져 있으므로 약간 다르며 오프셋이 있다. 그러므로, 각각의 눈은 공간적으로 분리된 점에서 세상을 보며 뇌는 그들을 합체서 전체 이미지로 만든다. 이것이 우리가 실제 세상을 입체적 3D로 보는 방법이며 그 이유이다.
도27은 어떻게 컴퓨터 생성 인간의 두 개의 관찰이 수평 평면에 투사되고 그 후 입체 3D 가능 영상 장치에 디스플레이되며 하나의 완전한 SI 시간 주기를 표현하는가에 초점을 둔 매우 고수준의 시뮬레이션 엔진 블루프린트이다. 만약 우리가 상술한 단계 3의 예를 사용한다면, SI-시간은 1초가 걸릴것이다. 이러한 SI-시간 일 초 동안 시뮬레이션 엔진은 두 개의 상이한 관찰을 생성할 필요가 있으며, 이는 본 예에서 입체적 3D 영상 장치가 분리된 좌측 및 우측 관찰을 필요로 하기 때문이다. 하나 이상의 분리된 좌측 눈 및 우측 관찰을 필요로 하는 현존하는 입체 3D 영상 장치가 존재한다. 그거나 본원에 설명한 방법은 다중 영상을 생성할 수 있기 때문에 상기 장치에서 잘 적용된다.
도27의 좌측 상부는 제1 관찰 시간 주기 또는 생성된 제1 관찰을 의미하는 시간 구성요소 "EV-시간-1"에서 우측 눈(162)을 위한 각도 카메라 포인트를 도시한다. 도16에서, EV-시간-1은 컴퓨터 생성 인간의 제1 (우측 눈) 관찰을 완성하기 위 해서 시뮬레이션 엔진이 사용하는 시간 주기이다. 이는 본 단계를 위한 작업으로, 이는 EV-시간-1 내에서 x, y, z 좌표에서 각도 카메라를 사용하여 시뮬레이션 엔진이 일정한 시뮬레이션 이미지의 우측 관찰의 묘사 및 디스플레이를 완성하는 것이다.
제1 (우측 눈) 관찰이 완성되면, 시뮬레이션 엔진은 컴퓨터 생성 개인의 제2 (좌측 눈) 관찰을 묘사하는 처리과정을 시작한다. 도27의 좌측 아래의 도면은 시간 구성요소 "EV-시간-2"에서 좌측 눈(164)을 위한 각도 카메라 포인트를 도시한다. 즉, 상기 두 번째 관찰은 EV-시간-2 동안 완성된다. 그러나 묘사 처리 과정을 시작하기 전에, 단계 5는 각도 카메라 포인트를 위한 조정을 수행한다. 이는 도27에 좌측 눈의 x 좌표가 2 인치 증가되는 것으로 도시되었다. 우측 눈의 x 값과 좌측 눈의 x+2 값 사이의 차이는 눈 사이의 2 인치 분리를 제공하며, 이는 입체 3D 관찰을 위해 필요하다.
인간의 눈 사이의 거리는 다양하나 상술한 예처럼 우리는 평균 2인치를 사용한다. 최종 사용자를 위해서 그들의 개인적인 눈 분리 값을 시뮬레이션 엔진에 제공하는 것 또한 가능하다. 이는 좌측 눈을 위한 x 값을 만들고 우측 눈은 일정 최종 사용자를 위해 정확하게 하며 그에 따라 그들의 입체 3D 관찰의 질을 개선한다.
시뮬레이션 엔진이 2 인치 또는 최종 사용자에 의해 공급된 개인적 눈 분리 값으로 각도 카메라 포인트의 x 값을 증가시키면, 제2 (좌측 눈) 관찰에 대한 묘사 및 디스플레이는 완성된다. 이는 각도 카메라 포인트 좌표 x±2, y, z를 사용하여 EV-시간02 내에서 시뮬레이션 엔진에 의해서 수행되고 정확하게 동일한 시뮬레이션 이미지가 묘사된다. 이는 하나의 SI-시간 주기를 완성한다.
사용되는 입체 3D 영상 장치에 따라, 시뮬레이션 엔진은 다음 SI-시간 주기로 옮겨갈 필요가 있기 전까지 상술한 것처럼 좌측 및 우측 이미지를 계속 디스플레이한다. 이번 단계의 작업은 다음 SI-타임 주기로 옮겨가야 할 시간인지를 결정하고, 만약 그렇다면 SI-시간을 증가시키는 것이다. 이것이 발생하는 때의 예는 만약 북극곰이 발 또는 신체의 일부를 움직이려할 때이다. 그러면 새로운 두 번째의 이미지가 새로운 위치에 북극곰을 보여주기 위해서 필요하다. 북극곰의 이러한 새롭게 시뮬레이트된 이미지는 약간 다른 위치에서 새로운 SI-시간 주기 또는 SI-시간-2 동안 묘사된다. 이러한 새로운 SI-시간-2 주기는 고유의 EV-시간-1 및 EV-시간-2를 가지고 그에 따라 상술한 시뮬레이션 과정은 SI-시간-2 동안 반복된다. SI-시간 및 그것의 EV-시간의 멈춤 없는 증가를 통한 다중 관찰 생성의 과정은 시뮬레이션 엔진이 입체 3D에서 실시간 시뮬레이션을 생성하는 한 계속된다.
상기 단계는 다중 관찰 기능을 구비한 핸즈온 시뮬레이터를 구성하는 새롭고 톡득한 구성요소 및 처리과정을 설명한다. 다중 관찰은 최종 사용자에게 동일한 시뮬레이션에 대한 다중 및/또는 분리된 좌측 및 우측 관찰을 제공한다. 다중 관찰 능력은 하나의 관찰보다 현저한 시각적 상호작용적 개선이다.
본 발명은 또한 하나의 시점에서 보여지는 것으로 투사되고 계산되어 공간의 의도된 시점으로부터 사용자가 떨어지는 움직임은 왜곡의 증가를 발생시키는 종래의 3 차원 이미지 디스플레이와 대조적으로,디스플레이가 관찰자의 시점을 추적하고 그에 대응하게 이미지를 다시 디스플레이하기 때문에 커다란 왜곡 없이 사용자 가 3차원 디스플레이 주변을 움직일 수 있도록 한다.
상기 디스플레이 시스템은 추가로 시점 위치의 움직임이 주어지는 투사된 이미지의 재계산이 가능한 컴퓨터를 추가로 포함한다. 수평 원근법 이미지는 매우 복잡하며 예술가 또는 카메라에 대해 자연스러운 방법으로 생성하거나 생성되기에 장황하기 때문에, 작업 수행을 위해서 컴퓨터 시스템의 사용이 필요하다. 복잡한 평면에 물체의 3차원 이미지를 디스플레이하기 위해 또는 애니메이션 연속물을 생성하기 위해 다수의 계산 능력 및 시간이 요구되며 따라서, 이러한 작업은 컴퓨터가 적합하다. 3 차원 가능 전자제품과 컴퓨팅 하드웨어 장비 및 실시간 컴퓨터 생성 3 차원 컴퓨터 그래픽은 시각적, 청각적, 및 촉각적 시스템의 두드러진 혁신으로 최근에 현저히 개선되었고 실제적이고 더욱 자연스런 컴퓨터 인간 인터페이스를 생성하는 뛰어난 하드웨어 및 소프트웨어를 생산하게 되었다.
본 발명의 수평 원근법 디스플레이 시스템은 텔레비전, 영화 및 비디오 게임 같은 엔터테인먼트 매체를 위해서 필요할 뿐 아니라 교육(3 차원 구조물의 디스플레이), 기술 교육(3 차원 장비의 디스플레이) 같은 다양한 분야에 역시 필요하다. 다양한 각도에서 물체와 유사한 이미지를 이용하여 실제 물체의 관찰을 가능하게 하는 3 차원 이미지 디스플레이에 대한 증가하는 수요가 존재한다. 수평 원근법 디스플레이 시스템은 또한 관찰자 관찰을 위한 컴퓨터 생성 리얼리티를 대체할 수도 있다. 본 시스템은 3 차원 환영의 경험을 완성하기 위해서 청각, 시각, 행동 및 사용자로부터의 입력을 포함한다. 수평 원근법 시스템을 위한 입력은 수개의 이미지가 하나의 3 차원 이미지 또는 3 차원 모델을 형성하기 위해 결합된 2 차원 이미지 일 수 있다. 상기 3 차원 이미지 또는 모델은 2차원 이미지보다 많은 정보를 운반하며 관찰 각을 바꿈으로써 관찰자는 상이한 관점에서 연속적으로 동일한 물체를 보는 인상을 얻을 수 있을 것이다.
수평 원근법 디스플레이는 복합 관찰 또는 "다중 관찰" 능력을 추가로 제공할 수 있다. 다중 관찰은 관찰자에게 동일한 시뮬레이션에 대한 다중 및/또는 분리된 좌측 눈 및 우측 관찰을 제공한다. 다중 관찰 능력은 하나의 관찰에 비해 현저한 시각적 상호작용적 개선이다.
다중 관찰 모드에서, 좌측 눈과 우측 눈 이미지 모두는 관찰자의 뇌에 의해서 하나의 3차원 환영으로 혼합된다. 커다란 불일치로 관찰자의 눈의 피로를 발생시키는 입체 이미지,특히 움직이는 이미지에서 고유한 눈의 적응과 수렴 사이의 불일치의 문제는 관찰자의 응시 점이 디스플레이 장면이 변할 때 변하기 때문에 수령 원근법 디스플레이를 사용하여 감소될 수 잇따. 다중 관찰 모드에서, 목표는 깊이 인식, 즉 좌측 눈과 우측 눈이 약간 상이한 이미지를 보는 것을 생성하기 위해 두 개의 눈의 동작을 흉내 내는 것이다. 따라서 본 발명에서 사용될 수 있는 다중 관찰 장비는 입체 사진 방법, 특수 편광 안경 또는 셔터 안경 같은 안경을 사용하는 방법, 시차 입체사진, 수정체 법, 거울 법(오목 및 볼록 렌즈)같은 안경을 사용하지 않는 방법을 포함한다.
입체사진 방법에서, 우측 눈을 위한 디스플레이 이미지와 좌측 눈을 위한 디스플레이 이미지는 각각 예를 들어 빨강 및 파랑의 두 개의 색으로 각각 겹쳐서 디스플레이되며 우측 및 좌측 눈을 위한 이미지 관찰은 색 필터를 사용하여 분리되 며, 그에 따라 사용자는 입체적 이미지를 인식할 수 있다. 상기 이미지는 일정한 각에서 관찰자가 아래를 바라보는 수평 원근법 기술을 사용하여 디스플레이된다. 하나의 눈을 사용하는 수평 원근법 방법이기 때문에, 투사된 이미지의 시점은 관찰자의 시점과 일치되어야 하며, 그러므로 사용자 입력 장치는 사용자가 3 차원 수평 원근법 환영을 관찰할 수 있게 하는데 필수적이다. 입체 사진 방법의 초기 시절부터, 빨강/파랑 안경의 스펙트럼 같은 개선 및 훨씬 현실적이고 관찰자에게 편안함을 만들어주는 디스플레이가 다수 존재했다.
편광 안경 방법에서, 좌측 눈 이미지 및 우측 눈 이미지는 직교 선형 편광자, 원형 편광자, 타원 편광자 같은 상호 소멸 편광 필터의 사용에 의해 분리된다. 이미지는 일반적으로 편광 필터를 사용하여 스크린에 투사되고 관찰자는 대응하는 편광 안경을 제공받는다. 좌측 및 우측 눈 이미지는 스크린에 동시에 나타나지만, 오직 좌측 눈 편광 빛만이 안경의 좌측 렌즈를 통과해서 전달되고 우측 눈 편광 빛만이 우측 눈 렌즈를 통과하여 전달된다.
입체적 디스플레이의 또 다른 방법은 이미지 순차 시스템이다. 이러한 시스템에서, 이미지는 다른 하나와 겹쳐지는 것이 아니라 좌측 눈 및 우측 눈 이미지 사이에서 순차적으로 디스플레이되고, 관찰자의 렌즈는 좌측 이미지가 디스플레이 될때 좌측 눈이 볼 수 있도록 하고, 우측 이미지가 디스플레이될 때 우측 눈이 볼 수 있도록 하여 스크린 디스플레이와 동기화된다. 안경의 개폐는 기계적인 개폐 또는 액정 전자 개폐에 의해서 달성된다. 개폐 안경 방법에서, 우측 및 좌측 눈을 위한 디스플레이 이미지는 시 분배 방법으로 CRT에서 대안적으로 디스플레이되고, 우 측 및 좌측 눈을 위한 관찰 이미지는 디스플레이 이미지와 동기화된 시 분배 방법으로 열리고/닫히는 시 분배 개폐 안경을 사용하여 분리되며, 그에 따라 관찰자가 입체적 이미지를 인식할 수 있게 한다.
입체 이미지를 디스플레이할 수 있는 또 다른 방법은 광학적 방법이다. 상기 방법에서, 프리즘, 거울, 렌즈 등과 같은 광학적 수단을 이용하여 사용자에게 분리되어 디스플레이된 우측 및 좌측 눈을 위한 디스플레이 이미지는 관찰자의 앞에 관찰 이미지로 디스플레이되고, 그에 따라 관찰자는 입체적 이미지를 인식한다. 커다란 볼록 또는 오목 렌즈는 또한 두 개의 이미지 프로젝터가 좌측 눈 및 우측 눈 이미지를 투사하고 관찰자의 좌측 및 우측 눈에 각각 초점을 제공하는 곳에 사용될 수 있다. 광학적 방법의 변종은 이미지가 원통형 렌즈 구성요소 또는 렌즈 구성요소의 2 차원 배열에 형성되는 경우에 렌즈 방법이다.
도27은 컴퓨터 어떻게 생성 인간의 두 관찰이 수평 평면에 투사되고 그 후 입체 3D 가능 영상 장치에 디스플레이되는 지에 집중하는 수평 원근법 디스플레이에 대한 도면이다. 도27은 하나의 완전한 디스플레이 시간 주기를 나타내다. 이러한 디스플레이 시간 주기 동안, 상기 예에서 입체 3D 영상 장치는 분리된 좌측 및 우측 관찰을 필요로 하기 때문에 수평 원근법 디스플레이는 두 개의 상이한 관찰을 생성할 필요가 있다. 분리된 좌측 및 우측 관찰 이상을 필요로 하는 현존하는 입체 3D 영상 장치가 존재하며, 본원에 기술된 방법은 다중 관찰을 상기 장치를 위채 동작할 수 있다.
도27의 좌측 상부의 도면은 제1(우측) 관찰이 생성된 후에 우측 관찰 눈을 위한 각도 카메라 포인트를 도시한다. 제1(우측) 관찰이 완성되고 나면, 수평 원근법 디스플레이는 컴퓨터 생성 인간의 제2(좌측) 관찰을 묘사하는 처리과정을 시작한다. 도27의 좌측 하부 도면은 상기 시간의 완성 후에 좌측 눈을 위한 각도 카메라 포인트를 도시한다. 그러나 묘사 처리과정이 시작되기 전에, 수평 원근법 디스플레이는 좌측 및 우측 눈의 위치의 차이를 고려하여 각도 카메라 포인트의 조정을 수행한다. 이는 좌측 눈의 x 좌표를 2 인치만큼 증가시킴으로써 도27에서 설명되었다. 우측 눈의 x 좌표와 좌측 눈의 x+2 좌표 사이의 차이는 눈 사이의 2 인치 차이를 제공하며, 이는 입체적인 3D 관찰을 위해 필요하다. 사람의 눈 사이의 거리는 다양하나 상기 예에서 우리는 평균값인 2인치를 사용한다. 관찰을 위해서 개인적인 눈 차이 값을 갖는 수평 원근법 디스플레이를 제공하는 것 또한 가능하다. 이는 임의의 사용자를 위해서 좌측 눈을 위한 x 값과 우측 눈을 위한 값을 매우 정확하게 함으로써 입체 3D 관찰의 질을 개선할 수 있다. 수평 원근법 디스플레이가 각도 카메라 포인트의 x 좌표를 2 인치만큼 또는 관찰자에 의해 제공되는 개인적인 눈 차이 값으로 증가시키고 나면, 묘사는 제2(좌측 눈) 관찰을 디스플레이함으로써 계속된다.
사용되는 입체적 3D 영상 장비에 따라서, 수평 원근법 디스플레이는 상술한 바처럼 다음 디스플레이 시간 주기로 옮겨갈 필요가 있기 전까지, 좌측 및 우측 눈 이미지를 계속하여 디스플레이한다. 그러면 북극곰의 새로운 제2 시뮬레이트된 이미지가 약간 다른 위치로 새로운 디스플레이 시간 주기 동안 묘사된다. 이것이 발생하는 때의 예는 만약 북극곰이 발 또는 신체의 일부를 움직이려할 때이다. 그러 면 새로운 두 번째의 이미지가 새로운 위치에 북극곰을 보여주기 위해서 필요하다. 북극곰의 이러한 새롭게 시뮬레이트된 이미지는 약간 다른 위치에서 새로운 디스플레이 주기 동안 묘사된다. 디스플레이 시간의 멈춤 없는 증가를 통한 다중 관찰의 생성의 과정은 시뮬레이션 엔진이 입체 3D에서 실시간 시뮬레이션을 생성하는 한 계속된다.
빠르게 수평 원근법 이미지를 디스플레이함으로써, 3 차원 이동 환영은 실현된다. 일반적으로 1초당 30에서 60개의 이미지가 눈이 움직임을 인식하기 위해서 적당하다. 입체를 구현하기 위해서, 동일한 디스플레이 레이트가 겹쳐진 이미지를 위해서 필요하며, 두 배의 양이 시 순차 방법을 위해 필요하다.
디스플레이 레이트는 디스플레이가 완전하게 생성되고 하나의 이미지를 디스플레이 하는데 사용되는 초당 이미지의 수이다. 이는 초당 24번 이미지를 디스플레이하는 투사기와 유사하다. 그러므로 1/24 초가 투사기에 의해 디스플레이되는 하나의 이미지를 위해 필요하다. 그러나 디스플레이 시간은 변할 수 있으며, 이는 표시 체적의 복잡도에 따라 컴퓨터가 하나의 SI를 완성하는데 1/12 또는 1/2 초가 걸린다는 것을 의미한다. 디스플레이는 동일한 이미지에 대해서 분리된 좌측 및 우측 관찰을 생성하므로, 총 디스플레이 시간은 하나의 눈 이미지를 위한 디스플레이 시간의 두 배이다.
도28은 중앙 투시 원근법 및 수평 원근법 모두와 관련한 수평면을 도시한다.
본 발명 핸즈온 시뮬레이터는 컴퓨터 "주변기기"에 사용되는 기술을 추가로 포함한다. 도29는 주변기기의 좌표 시스템이 주변 기기가 (x, y, z) 공간에서 어떠 한 임의의 점에서도 상호작용할 수 있도록 해준다는 의미를 갖는 6 개의 자유 각도를 구비한 주변기기의 예를 도시한다. 상기 시뮬레이터는 도29에 도시한 스페이스 장갑같은 최종 사용자가 필요한 각각의 주변기기를 위한 "주변기기 개방 접속 체적"을 생성한다. 도30은 어떻게 주변기기의 좌표 시스템이 핸즈온 시뮬레이션 장비 내에서 실행되는 가에 초점을 둔 매우 고 수준의 도면이다.
도30의 예로 스페이스 장갑에 해당하는 새로운 주변기기 개방 접속 체적은 1대1로 열긴 접속 체적에 맵핑된다. 정확한 1대1 맵핑의 달성을 위해 중요한 것은 디스플레이 장비의 화면에 위치하는 물리 화면인 공통 기준에 대해 주변기기의 체적을 조정하는 것이다.
몇몇의 주변기기는 어떠한 최종 사용자의 개입 없이도 핸즈온 시뮬레이션 장비가 이러한 조절을 수행할 수 있는 메커니즘을 제공한다. 그러나 만약 주변기기 조절이 외부 조정을 필요로 한다면, 최종 사용자는 이를 "개방 접속 주변기기 조절" 처리 과정을 통해서 달성할 것이다. 상기 처리 과정은 최종 사용자에게 완벽히 화면과 동기화되기 전까지 주변기기의 체적의 위치를 조정할 수 있는 핸즈온 체적 내에 있는 일련의 시뮬레이션 및 사용자 인터페이스를 제공한다. 조절 처리과정이 완료되면, 핸즈온 시뮬레이션 장비는 사용자의 개인 프로파일에 상기 정보를 저장한다.
주변기기의 체적이 정확하게 화면에 대해 조절되면, 처리과정의 다음 단계가 착수될 수 있다. 핸즈온 시뮬레이션 장치는 계속 개방 접속 체적에 대해 주변기기 체적을 추적하고 맵핑한다. 핸즈온 시뮬레이션 장치는 주변기기 체적에서 데이터에 기초하여 생성한 핸즈온 이미지를 변경한다. 본 처리의 마지막 결과는 핸즈온 시뮬레이션 장비에 의해서 실시간으로 생성된 핸즈온 체적 내에서 시뮬레이션과 상호작용할 수 있는 일정한 주변기기를 사용할 수 있는 최종 사용자의 능력이다.
시뮬레이터에 주변기기를 연결함으로써, 사용자는 디스플레이 모델과 상호작용할 수 있다. 시뮬레이션 엔진은 주변기기를 통해 사용자로부터 입력을 받고 원하는 동작으로 조작한다. 물리적 공간 및 디스플레이 공간과 적절하게 부합된 주변기기를 사용하여, 시뮬레이터는 적절한 상호작용 및 디스플레이를 제공할 수 있다. 본 발명 핸즈온 시뮬레이터는 최종 사용자가 물리적으로 그리고 직접적으로(핸즈온) 디스플레이 화면 위의 개방 공간, 즉 최종 사용자의 물리적 공간에 나타나는 실시간 컴퓨터 생성 3D 그래픽(시뮬레이션)과 상호작용할 수 있게 한다는 점에서 완전히 새롭고 독특한 컴퓨팅 경험을 만들어낸다. 주변기기 추적은 카메라 삼각법 또는 적외선 추적 장비를 통해서 수행된다.
시뮬레이터는 "시뮬레이션 인식 및 3D 오디오"를 위한 3D 오디오 장비를 추가로 포함할 수 있다. 후술할 바처럼, 카메레 모델, 수평면 다중 관찰 장비, 주변 기기, 주파수 수신/발송 장비, 및 휴대용 장비를 갖춘 핸즈온 시뮬레이션 장비에 대한 새로운 발명을 가능하게 한다.
물체 인식은 삼각 측량법이라 불리는 방법에 의해서 시뮬레이션을 위치하도록 하기 위해 카메라 및/또는 기타 센서를 사용하는 기술이다. 삼각 측량법은 삼각법, 센서 및 공간에서 시뮬레이션의 정확한 위치를 결정하기 위해 시뮬레이션으로부터 데이터를 "수신"하는 주파수를 사용하는 처리과정이다. 이러한 이유로 삼각측 량법은 사용하는 센서 및 주파수가 카메라, 레이져, 레이더 및 마이크로웨이브를 포함하나 이에는 제한되지 않는 지도 제작 산업 및 측량산업의 주요 수단이다. 3D 오디오도 삼각 측량법을 사용하나 대조적으로 3D 오디오는 위치를 특정하기 위해 소리의 형태로 데이터를 "발송"하거나 투사한다. 그러나 당신이 데이터를 발송하거나 수신하던지, 3차원 공간에서 시뮬레이션의 위치는 주파수 수신/발성 장비를 사용하여 삼각측량법에 의해서 수행된다. 사용자의 좌우측 귀에 도달하는 사운드 웨이브의 크기 및 위상 각을 변경함으로써, 상기 장비는 효과적으로 사운드 소스의 위치를 에뮬레이트(emulate) 할 수 있다. 귀에 도달하는 사운드는 간접을 방지하기 위해서 고립될 필요가 있다. 고립은 이어폰 같은 것에 의해서 달성되다.
도31은 북극곰의 핸즈온 이미지를 바라보고 있는 최종 사용자를 도시한다. 북극곰은 화면 위의 개방 공간에 나타나기 때문에, 최종 사용자는 북극곰에 닿을 수 있으며 손이나 휴대용 장비로 곰을 조작할 수 있다. 또한 실제 생활에서처럼 최종 사용자가 상이한 각에서 북극곰을 관찰하는 것도 가능하다. 이는 3차원 현실 세계 카메라가 계속적으로 이미지를 고유한 관찰각으로부터 핸즈온 시뮬레이션 툴에 전송하는 삼각측량법을 사용함으로써 달성된다. 이러한 현실 세계의 카메라 데이터는 핸즈온 시뮬레이션 장비가 최종 사용자의 신체 및 컴퓨터의 모니터 화면 내부 및 주위에 위치한 다른 현실 세계 시뮬레이션(도32)을 위치시키고 추적하며 맴핑할 수 있도록 해준다.
도33 또한 북극곰을 관찰하고 이와 상호작용하고 있는 최종 사용자를 도시 하지만, 북극곰의 입에서부터 발산되는 3D 사운드를 포함한다. 이러한 오디오 품질 을 달성하는 위해, 도32에 도시한 것처럼 3 개의 카메라 각각과 분리된 스피커를 물리적으로 결합해야 한다. 카메라의 데이터는 핸즈온 시뮬레이션 장비가 최종 사용자의 "좌우측 귀"를 위치시키고, 추적하며, 맵핑하기 위해 삼각측량법을 사용할 수 있도록 해준다. 그리고 핸즈온 시뮬레이션 장비는 컴퓨터 생성 핸즈온 이미지로서 북극곰을 생성하기 때문에, 북금곰의 입의 정확한 위치를 알 수 있다. 최종 사용자의 귀와 북극곰의 입의 정확한 위치를 인지함으로써, 핸즈온 시뮬레이션 장비는 오디오의 공간적 특성을 변경함으로써 데이터를 전송하는데 삼각측량법을 사용하며, 3D 사운드가 북극곰의 컴퓨터 생성 입에서 나오는 것처럼 보이게 한다.
도31에 도시된 것처럼, 비디오 카메라와 오디오 스피커를 결합함으로써 새로운 주파수 수신/발송 장비를 생성해야 한다. 다른 센서 및/또는 변환기 또한 사용될 수 있다는 것을 유념해야 한다.
상기의 새로운 카메라/스피커 장비를 취하고 이들은 도32에 도시한 컴퓨터 모니터와 같은 표시 장치 근처에 부착하거나 근처에 위치시켜야 한다. 이는 고유하고 분리된 "현실 세계"(x, y, z) 좌표, 시선 및 주파수 수신/발송 체적을 구비한 각각의 카메라/스피커 장비를 가능하게 한다. 상기 파라미터를 이해하기 위해서, 캠코더를 사용하며 뷰 파인더를 통해 보고 있다고 생각하자. 당신이 이를 행하고 있을때, 카메라는 공간상에서 특정한 위치를 가지며 특정 방향을 바라보고 있으며, 당신이 퓨 파인더를 통해 보거나 수신하는 시각 주파수 정보는 "주파수 수신 체적"이다.
삼각 측량법은 각각의 카메라/스피커 장비를 분리하고 위치시킴으로써 동작 하여 그것의 개별적인 주파수 수신/발송 체적이 겹쳐지고 정확하게 동일한 공간 영역을 커버할 수 있도록 한다. 만약 당신이 정확하게 동일한 공간의 영역을 커버하는 3 개의 넓게 떨어져 있는 주파수 수신/발송 체적을 가지고 있다면, 공간 내의 어떠한 시뮬레이션도 정확하게 위치될 수 있다. 다음 과정은 현실 세계 공간을 위한 개방 접속 카메라 모델의 새로운 구성요소를 생성하는 것이며 이는 도33에서 "실제 주파수 수신/발송 체적"이라고 명명됐다.
이러한 실제 주파수 전송/수신 체적은 공통 기준 즉 실제 화면에 조절되어 존재하여야 한다는 것을 기억하라. 다음 단계는 실제 화면에 대한 실제 주파수 수신/전송 체적의 자동 조절이다. 이것은 카메라/스피커 장치가 최종 사용자에 의해 우연히 부딪치거나 움직이게 될 때 카메라/스피커 장치가 올바르게 조절되도록 핸즈온 시뮬레이션 장비에 의해서 연속적으로 수행되는 자동화된 과정이다.
도34는 완전한 개방 접속 카메라 모델의 단순화된 도시이며 도32 및 33에서 상술된 시나리오를 달성하기 위해서 필요한 추가적인 각각의 가정을 설명하는 것을 보조한다.
시뮬레이터는 그 후 최종 사용자의 "좌측 및 우측 눈" 및 그들의 "시선"을 연속적으로 위치시키고 추적함으로써 시뮬레이션 인식을 수행한다. 이러한 현실 세상 좌우 눈 좌표는 그들이 현실 공간에 있고, 위치되고, 추적되고, 맵핑되는 현실 세상 눈 좌표와 매치되기 위해 컴퓨터 생성 카메라 좌표를 연속적으로 조정하는 경우 개방 접속 카메라 모델에 정확하게 맵핑된다. 이는 최종 사용자의 좌우 눈의 정확한 위치에 기초하여 핸즈온 볼륨 내에서 시뮬레이션의 실시간 생성을 가능하게 한다. 이는 최종 사용자가 자유롭게 그들의 머리를 움직이고 왜곡 없이 핸즈온 이미지 주변을 볼 수 있게 한다.
그 후 시뮬레이터는 최종 사용자의 "좌우측 귀" 및 그들의 "청각선"을 연속적으로 위치시키고 추적함으로써 시뮬레이션 인식을 수행한다. 이러한 현실 세상 좌우 귀 좌표는 그들이 현실 공간에 있고, 위치되고, 추적되고, 맵핑되는 현실 세상 귀 좌표와 매치되기 위해 3D 오디오 좌표를 연속적으로 조정하는 경우 개방 접속 카메라 모델에 정확하게 맵핑된다. 이는 최종 사용자의 좌우 귀의 정확한 위치에 기초하여 핸즈온 볼륨 내에서 시뮬레이션의 실시간 생성을 가능하게 한다. 이는 최종 사용자가 자유롭게 그들의 머리를 움직이고 여전히 그들의 올바른 위치로부터 나오는 개방 접속 사운드를 들을 수 있게 한다.
그 후 시뮬레이터는 최종 사용자의 "좌우 손" 및 그들의 "손가락"을 연속적으로 위치시키고 추적함으로써 시뮬레이션 인식을 수행한다. 이러한 현실 세상 좌우 손 좌표는 그들이 현실 공간에 있고, 위치되고, 추적되고, 맵핑되는 현실 세상 손 좌표와 매치 되기 위해 개방 접속 카메라 모델을 연속적으로 조정하는 경우 개방 접속 카메라 모델에 정확하게 맵핑된다. 이는 최종 사용자가 자유롭게 핸즈온 체적 내의 시뮬레이션과 상호작용할 수 있도록 하는 좌우 손의 정확한 위치에 기초하여 핸즈온 볼륨 내에서 시뮬레이션의 실시간 생성을 가능하게 한다.
그 후 시뮬레이터는 연속적으로 "휴대용 장비"를 위치시키고 추적하며, 연속적으로 현실 세계 휴대용 장비를 현실 세계에 위치한 개방 접속 카메라 모델 좌표에 일치하도록 조정하며, 연속적으로 핸즈온 이미지를 위치되고, 추적되며, 맵핑되 는 현실 세계 휴대용 장비 좌표에 일치하도록 조정한다. 이는 핸즈온 장비의 정확한 위치에 기초하여 핸즈온 체적내의 시뮬레이션의 실시간 생성을 가능하게 하며 이는 최종 사용자가 자유롭게 핸즈온 체적 내의 시뮬레이션과 상호작용할 수 있도록 해준다.
도35는 개방 접속 체적 및 휴대용 장비에 대해 본 발명을 추가로 설명하는 것을 보조하기 위한 도면이다. 도35는 휴대용 장비를 사용하여 핸드온 이미지와 상호작용하는 최종 사용자의 시물레이션이다. 도시된 시나리오는 다수의 상관된 개방 접속 3D 시뮬레이션으로 많은 양의 금융 데이터를 시각화하는 최종 사용자이다. 최종 사용자는 도35에 포인팅 장비와 같은 휴대용 장비를 사용하여 개방 접속 시뮬레이션을 검증하고 조작한다.
"컴퓨터 생성 부속물"은 개방 접속 컴퓨터 생성 시뮬레이션의 형태로 도35에 컴퓨터 생성 "지우개"로 최종 사용자에 나타난 휴대용 장비의 팁에 맵핑된다. 최종 사용자는 핸즈온 시뮬레이션 툴이 임의의 컴퓨터 생성 부속물을 일정한 휴대용 장비에 맵핑하는 것을 요구할 수 있다. 예를 들어, 절단, 페이스팅, 용접, 페인팅, 번짐, 가리킴, 잡기 등을 위해 독특한 시각 및 청각 특징을 가진 컴퓨터 생성 부속물이 존재할 수 있다. 상기 컴퓨터 생성 부속물 각각은 그것들이 최종 사용자의 휴대용 장비의 팁에 맵핑될 때 그들이 시뮬레이션하는 실제 장비처럼 행동하거나 들린다.
본 발명은 비 수평 중앙 투시 원근법 디스플레이와 함께 수평 원근법 디스플레이를 포함하는 다중 평면 디스플레이를 추가로 개시한다. 도36은 다중 평면 디스 플레이 개방되었을 때 대략 "L" 모양이 되는 컴퓨터 모니터인 본 발명 다중 평면 디스플레이의 실시예를 도시한다. 최종 사용자는 도36에서 도시한 것처럼 "L"의 하부면과 대략 45도로 컴퓨터 모니터의 곡면에서 L 모양의 컴퓨터 모니터를 관찰한다. 최종 사용자의 시선으로부터, L 모양 컴퓨터 모니터 전체는 하나의 무결점 화면으로 보여진다. 수평으로 위치한 디스플레이의 L의 하부는 수평 원근법 이미지를 보여주며, L 디스플레이의 다른 가지는 중앙 원근법 이미지를 보여준다. 두 개의 디스플레이 분절의 가장자리는 부드럽게 결합되며 수평 원근법 및 중앙 투시 원근법의 두 개의 디스플레이를 결합하기 위해서 곡선 투시를 구비할 수도 있다.
다중 평면 디스플레이는 하나 이상의 물리적인 화면으로 만들어진다. 예를 들어, "L"의 수직 다리형상부는 평면 패널 디스플레이 같은 물리적인 화면일 수 있으며, "L"의 수평 다리형상부는 분리면 평면 패널 디스를레이일 수 있다. 두 개의 디스플레이 분절의 가장자리는 넌(non) 디스플레이 분절일 수 있으며 그에 따라 두 개의 디스플레이 분절은 연속적이 아닐 수도 있다. 다중 평면 디스플레이의 각각의 다리 형상부는 화면이라고 호칭되며 도36의 상부 좌측에서 수직 화면과 수평 화면을 볼 수 있다. 중앙 투시 원근법은 수직 화명에서 생성되며 수평 원근법 이미지는 수평 화면에서 생성되고, 도 36의 하부 우측에 도시한 것처럼, 두 개의 화면이 만나는 곳에서 두 개의 이미지는 혼합된다.
도36은 또한 다중 평면 디스플레이가 다중 관찰의 생성을 할 수 있다는 것을 도시한다. 이는 단일 관찰 이미지, 즉 상부 좌측에 도시된 시뮬레이션 같은 하나의 눈에 의한 원근법을 디스플레이 및/또는 다중 관찰 이미지, 즉 하부 우측에 도시된 시뮬레이션 같은 분리된 좌우측 눈 관찰을 디스플레이 할 수 있다는 것을 의미한다. 그리고 L 모양의 컴퓨터 모니터가 최종 사용자에 의해 사용되지 않을 때는, 그것을 하부 좌측의 시뮬레이션처럼 닫힌다.
도37은 본 발명 다중 평면 디스플레이의 단순화된 도면이다. 도37의 상부 우측은 L 모양 컴퓨터 모니터에 디스플레이된 북극곰의 단일 관찰 이미지의 예시이다. 일반적으로 단일 관찰 또는 단안 이미지는 하나의 카메라 포인트에 의해서 생성되지만, 다중 평면 디스플레이를 위해서는 그것이 단일 관찰 예시라도 적어도 2개의 카메라 포인트가 존재한다는 것을 알 수 있다. 이는 다중 평면 장비의 각각의 화면이 자신의 묘사 원근법을 필요로 하기 때문이다. 하나의 카메라는 수평 원근법 이미지를 위한 것이며 이는 수평 표면에 디스플레이되며, 다른 카메라 포인트는 중앙 투시 원근법을 위한 것이며 수직 표면에 디스플레이된다.
수평 원근법과 중앙 투시 원근법 양자를 생성하기 위해서는 두 개의 상이하고 분리된 OSI 및 CPI로 명명된 카메레 포인트를 위해서 도37에 도시된 것과 같은 (동일하거나 상이한)두 개의 카메라 시점을 생성하는 것이 필요하다. 도 37의 하부에 도시된 것과 같은 L 모양 모니터의 수직 화면은 중앙 투시 원근법 용 디스플레이 화면이며, 그에 따라 상기 화면을 위한 또 다른 공통 기준 평면을 정의할 필요가 있다. 상술한 것처럼, 공통 기준 평면은 이미지가 디스플레이되는 평면이며, 컴퓨터는 디스플레이된 이미지의 위치와 실제 물리적인 위치를 동기화하기 위해서 상기 평면에 대한 추적을 유지할 필요가 있다. L 모양 다중 평명 장비 및 두 개의 디스플레이 평면으로, 시뮬레이션은 3차원 이미지, (OSI) 카메라 시점을 사용한 수평 원근법 이미지 및 (CPI) 카메라 시점을 사용한 중앙 투시 원근법 이미지를 생성할 수 있다.
다중 평명 디스플레이 시스템은 수평 원근법과 중앙 투시 원근법 이미지를 도37에 도시된 "L"의 틈(seam)에서 혼합하는 곡면 접속 디스플레이 부를 추가로 포함할 수 있다. 다중 평면 디스플레이 시스템은 연속적으로 L 모양 다중 평면 장비에서 나타나는 하나의 L 모양 이미지를 갱신하고 디스플레이 할 수 있다.
게다가, 다중 평면 디스플레이는 도38에 도시한 다중 곡면 혼합부와 함께 다중 디스플레이 표면을 포함할 수 있다. 다중 디스플레이 표면은 평면 벽, 다중 인접 평면 벽, 돔(dome), 곡면 둘레 패널일 수 있다.
본 발명 다중 평면 디스플레이 시스템은 그러므로 동시에 복수의 3차원 이미지를 다중 디스플레이 표면에 투사할 수 있으며, 그 중 하나는 수평 원근법 이미지이다. 또한, 관찰자가 3 차원 이미지 프리젠테이션을 위해 입체적 환영을 사용할 수 있는 입체 다중 디스플레이 시스템일 수 있다.
다중 평면 디스플레이 시스템은 적어도 두 개의 디스플레이 표면을 포함하기 때문에, 다양한 필요조건은 3 차원 이미지 투사에서 높은 적합도를 갖도록 제공되어야 한다. 디스플레이 필요조건은 일반적으로 물체와 이미지의 모양이 정확하게 위치되도록 하는 기하학적 정확성, 디스플레이 표면 사이의 연속성을 보장하는 가장자리 일치 정확성, 다양한 디스플레이의 혼합부에서 휘도의 변경이 없도록 보장하는 혼합부 변화의 무존재 및 관찰자의 시점으로부터 연속적인 이미지를 보장하는 관찰 시야이다.
다중 평면 디스플레이 시스템의 혼합부는 바람직하게는 곡면이며, 몇몇의 왜곡 수정이 혼합부 표면에 투사된 이미지가 관찰자에게 올바르게 나타나도록 하기 위해 사용될 수 있다. 디스플레이 시스템에 대한 왜곡 수정 방법으로 특정한 곡면 혼합 디스플레이 부를 위한 이미지 투사 시스템을 설계하는 테스트 패턴 이미지를 사용하거나, 곡면 혼합 부를 위한 조각적 선형 근사화를 사용하는 특수 비디오 하드웨어를 사용하는 것과 같은 다양한 해결책이 존재한다. 곡면 표면 투사를 위한 또 다른 왜곡 수정 해결법은 사용자의 시점과 프로젝터의 임의의 위치에 대한 이미지 왜곡 수정을 자동으로 계산하는 것이다.
다중 평면 디스플레이 시스템이 하나를 초과하는 디스플레이 표면을 포함하기 때문에, 각각의 디스플레이 사이의 틈과 구멍을 최소화하도록 주의해야 한다. 틈 또는 구멍 문제를 방지하기 위해서, 인접하게 겹쳐진 이미지 부분을 생성하는 적어도 두개의 이미지 생성기가 존재한다. 겹쳐진 이미지는 겹쳐진 영역의 투사된 픽셀이 적절한 디스플레이 이미지를 형성하도록 조절되게 하는 이미지 프로세서에 의해 계산된다. 또 다른 해결책은 하나의 디스플레이 표면으로부터 다음 것으로 부드러운 전이를 생성하도록 겹침(overlapping) 감소의 정도를 제어하는 것이다.
3 차원 시뮬레이터는 3 차원 오디오 또는 두 귀로 듣는 시뮬레이션을 구비하지 않고서는 완벽하지 않다. 음체 음향 시뮬레이션은 3D 시각화와 함께 3 차원 이미지에 대한 사실성을 제공한다.
보는 것과 마찬가지로, 하나의 귀를 사용하여 듣는 것은 단청이라고 부르며 두 개의 귀를 사용하여 듣는 것을 두 귀로 듣는 것(binaural)이라고 부른다. 청취 는 사운드 소스의 방향을 제공할 수 있으나 소리보다는 빈약한 해결책이며, 스피치 또는 음악같은 사운드 소스의 콘텐츠를 식별하며 에코(echo), 잔향음을 통해 일반적인공간 또는 열린 공간 같은 환경의 특성을 식별한다.
머리와 귀 그리고 때때로 어깨는 사운드 소스의 위치 거리 및 환경에 대한 정보를 제공하는 안테나 시스템 같은 기능을 한다. 뇌는 직접적인 소리, 머리 둘레의 회절성 사운드와 같이 머리에 도달하는 다양한 종류의 사운드를 적절히 해석할 수 있으며, 외부 귀 및 어깨와 상호작용함으로써, 상이한 사운드 크기 및 상이한 사운드 도달 시간을 해석할 수 있다. 이러한 음향적 변형을 '사운드 단서'라고 부르며 우리에게 사운드의 대한 직접적인 음향 정보를 제공한다.
기본적으로, 사운드 단서는 타이밍, 체적, 주파수 및 반사와 관련이 있다. 타이밍 단서에서, 귀는 사운드다 도달하는 시간을 인지하고 가장 가까운 소스로부터 사운드가 온다고 가정한다. 추가로, 약 8 인치 떨어진 두 개의 분리된 귀로, 다른 귀에 비해서 다른 귀에 대한 사운드의 도달 지연은 사운드 소스의 대한 위치 단서를 제공할 수 있다. 타이밍 단서는 청취자가 나중에 도달하는 소리 파동의 크기에 관계없이 제일 먼저 귀에 도달한 소리파동에 기초하여 사운드의 위치를 정한다는 점에서 레벨 단서보다 강력하다. 체적(또는 레벨) 단서에서, 귀는 사운드의 체적(또는 세기)를 인지하고 가장 시끄러운 방향에서 소리가 오고 있다고 가장한다. 두 귀로 듣는(binaural) 효과로, 귀사이의 크기의 차이점은 사운드 소스의 위치에 대한 강력한 단서가 된다. 주파수(또는 균등화) 단서에서, 귀는 전방 사운드는 고막에 직접 도달하지만, 후방 사운드는 외부 귀에 부딪쳐 돌아와서 고 주파수를 나 타내기 때문에 각각의 귀에 도달하는 사운드의 주파수 균형을 인지한다. 반사 단서에서, 사운드는 다양한 표면에 부딪쳐 돌아오며 귀에 여러 번 도달하기 전에 다양한 정도로 분산되거나 흡수된다.공간의 벽에 대한 반사 및 사운드를 가리는 다양한 층 사이에 대한 차이의 통찰은 위치를 인지하는데 기여한다. 추가로, 신체, 특히 머리는 소리의 위치를 알아내기 위해 사운드 소스와 관련하여 움직일 수 있다.
상술한 다양한 사운드 단서는 과학적으로 3 가지 종류의 공간적 청취 단서로 분류된다: ITD(interaural time difference), ILD(interaural level difference) 및 HRTF(head-related transfer function). ITD는 귀에 도달하는 사운드의 시간 및 두 개의 귀에 도달하는 시간차와 관련이 있다. ILD는 귀에 도달하는 사운드의 주파수 스펙트럼에서의 크기와 두 개의 귀에서 들리는 사운드 주파수의 크기 차와 관련이 있다. HRTF는 음질의 변화와 거리 종속성, 시간 지연 및 직접적인 사운드와 에코 환경에서의 반사에 의해 거리에 대한 지각을 제공한다.
ITD, ILD 및 반사, 청취자의 신체, 머리, 귀 외부 및 어깨에 의해 발생되는 회절 및 제동을 포함하여, HRTF는 개개의 청취자를 위한 공간 단서의 집합이다. 외부 귀 또는 귓바퀴는 HRTF에 대해 현저히 기여한다. 고주파수 사운드는 귓바퀴 필터의 반응이 사운드 소스의 전체적인 방향의 매우 높게 의존하기 때문에 사운드 소스의 측면 위치 또는 방위 및 고도를 인지할 수 있는 방법을 뇌에 죄공하는 귓바퀴에 의해서 걸러진다. 머리는 사운드가 귀에 도달하기 위해서 뇌를 통과하거나 주위를 돌아가야 하기 때문에 사운드의 다양한 주파수에 대해 크기를 감소시킨다. 머리 그림자의 총체적인 효과는 선형 거리 및 사운드 소스의 방향에 대한 인지에 기여한 다. 게다가 1 내지 3 kHz 범위의 사운드 주파수는 사운드 소스의 고도에 의존하여 시간 지연을 나타내는 에코를 생성하는 어깨에서 반사된다. 세상의 표면으로부터의 반사 및 반향은 사운드 거리 및 방향에 대한 위치 측정 판단에 영향을 미친다.
상기 단서에 추가로, 사운드 소스의 위치를 알아내는데 도움을 주는 머리 움직임이 사운드 방향을 확인하는 시각과 함께 매우 중요한 요소다. 3D 현상을 위해, 사운드의 위치를 밝혀내는 메카니즘은 항상 동작 중이며 일반적으로 동의 되어야 한다. 만약 그렇지 않다면, 약간의 불편함과 혼란이 존재할 것이다.
우리가 하나의 귀를 사용하여 들을 수도 있지만, 두 개의 귀를 이용하여 듣는 것이 보다 명확하다. 다수의 사운드 단서는 상대적인 사운드의 세기와 각각의 귀에 도달하는 상대적인 시간에 의존하는 두 귀로 듣는 것(binaural) 인지와 관련이 있다. 그러므로, 두 귀로 듣는 활동은 하나 또는 다수의 사운드 소스의 위치를 밝혀 내는 것,공간의 환경 특성, 다수의 비간섭 및 간선 사운드 소스로부터 오는 신호의 분리 및 반향적 환경에서 선택된 신호의 보강에 대해 명백히 월등하다.
수학적으로 설명하면, HRTF는 귀에 의해서 수신되는 사운드 파동의 주파수 응답이다. 개개의 청취자의 HRTF를 측정하고 디지털 신호 처리를 사용하여 전기적으로 합성함으로써, 사운드는 3 차원에서 가장 사운드 이미지를 생성하기 위해 해드폰이나 스피커를 통해서 청취자에 귀로 전달될 수 있다.
이도(ear canal)으로의 사운드 전송, 즉 HRTF 주파수 응답은 이도(ear canal)에서 자그마한 마이크로폰을 사용하여 정확하게 측정될 수 있다. 측정된 신호는 그 후 사운드 소스 위치에 대응하는 좌우측 귀를 위한 HRTF 주파수 응답을 유 도하기 위해서 컴퓨터에 의해 처리된다
그러므로 3D 오디오 시스템은 오디오 필터 또는 이퀄라이저로서 측정된 HRTF를 사용하여 동작한다. 사운드 신호가 HRTF 필터에 의해 처리될 때, 사운드 위치 단서는 재생되고, 청취자는 HRTF에 의해 특정된 위치에서 신호를 인지할 수 있다. 이러한 두 귀로 듣는 것의 종합 방법은 청취자 자신의 HRTF가 위치 단서를 종합하기 위해 사용할 때 매우 잘 동작한다. 그러나 HRTF의 측정은 복잡한 처리과정이어서, 3D 오디오 시스템은 일반적으로 특정한 인간 또는 인체 해부 모형으로 미리 측정된 HRTF의 단일 집합을 사용한다. 그러므로 HRTF는 때때로 특정한 청취자에 대응하기 위해서 정확하게 변형될 필요가 있다. HRTF 기능의 변경은 다양한 사운드 소스 위치와 환경을 제공하고 사용자에게 식별을 요청함으로써 달성된다.
3D 오디오 시스템은 청취자를 위해서 3D 차원 공간을 정의하고 3D 공간에서 다중 사운드 소스와 청취자의 위치를 정하며 이 모든 것을 실시간 또는 상호작용으로 행한다. 3D 오디오 시스템 이외에, 스테레오 확장과 서라운드 사운드 같은 다른 기술이 3D 위치 결정 또는 상호작용의 몇몇 측면을 제공한다.
확정된 스테레오는 광활함을 추가하고 직송식 방법을 통해서 외부의 좌/우 스피커 위치로부터 사운드가 나오는 것처럼 보이게 하기 위해서 현존하는 스테레오(두 개의 채널) 사운드 트랙을 처리한다. 확정된 사운드 기술의 몇몇의 특징은 청취 영역(스위트 스폿(sweet spot)이라고 불림)의 크기, 스테레오 이미지의 확산 양, 계조(tonal) 변경의 양 및 스피커뿐 아니라 해드폰에서도 효과를 달성할 수 있는 능력을 포함한다.
서라운드 사운드는 서라운드 사운드 5-스피커 설정으로 스테레오 사운드보다 큰 스테이지를 형성한다. 추가적으로, 가상 서라운드 시스템은 일반적이 스테레오 스피커로부터 방출되는 5 개의 스피커의 환영을 형성하여, 5 개의 스피커 설정 없이 서라운드 사운드 청취 체험을 가능하게 한다. 서라운드 사운드 기술의 특징은 제시 정확성, 공간 이미지의 명확함 및 청취 공간의 크기를 포함한다.
더 나은 3D 오디오 시스템을 위해, 오디오 기술은 현실 세계에서 비 상호작용 및 상호작용 청취 및 정취자 주위의 3 차원 공간 어디서든 사운드의 위치를 알 수 있도록 귀가 듣는 3D 오디오 단서를 복제함으로써 실제 생활 같은 청취 경험을 생성할 필요가 있다.
머리 추적 기능 또한 청취자에게 지각 공간 항상성을 제공하는데 매우 중요하다. 다른 말로, 청취자가 머리를 주위로 돌릴 때, 신호가 변화하여 인지된 청각 세계가 공간 위치를 유지하도록 한다. 이를 위해서, 시뮬레이션 시스템은 두 귀로 듣는 것의 임펄스 응답을 알맞게 제어할 수 있도록 머리의 위치를 알 필요가 있다. 머리 위치 센서가 그러므로 제공된다. 몰두하고 있는 효과는 가장 현실의 환경에서 응용에 적절한가 있다.
사운드 필드의 복제는 매우 많은 마이크로 폰을 모든 곳에 위치시킴으로써 행해진다. 매우 많은 채널을 갖는 레코더에 저장된 후에, 상기 레코딩은 각각이 정확하게 마이크로 폰에 대응하도록 위치된 매우 많은 수의 소스 확성기(loudspeaker)를 통해 재생된다. 마이크로 폰과 스피커의 수가 감소할수록, 복제된 사운드 필드의 품질을 나빠진다. 두 개의 채널로 줄일 경우, 높이 단서는 상실 되며 공간 어디에서나 들을 수 있었던 스테이지 대신 스테이지의 소스는 우리가 여전히 존재하는 두 개의 스피커로부터 같은 거리에 있고 스피커를 마주보고 있는 경우에만 위치를 알 수 있다.
그러나, 만약 우리가 각각의 이도(ear canal)의 입구에서 실제 음향을 모방하기 위해 필요한 정확한 사운드를 제공하면, 우리는 두 개의 이도(ear canal)를 가지기 때문에, 우리는 두 개의 사운드 필드만을 생성할 필요가 있으므로, 두 개의 채널이 적합하다. 다른 말로, 우리가 단지 두 개의 귀를 이용하여 현실 세계의 3 차우너 공간에서 들을 수 있기 때문에, 두 개의 스피커 또는 해드폰 세트로 동일할 효과를 달성할 수 있다.
해드폰 재생은 해드폰 마이크로폰이 일반적인 귀 분리에 따라 약 7인치 떨어져 있으며, 스피커 마이크로 폰은 약 7 피트 떨어져 있기 때문에, 스피커 재생과는 상이하다. 게다가 스피커는 혼선에 의한 영향을 받을 수 있어서 혼선 제거와 같은 몇몇의 신호 조절이 3D 스피커 셋업에 필요하다.
스피커 3D 오디오 시스템은 데스크탑 컴퓨팅 환경에 매우 효과적이다. 이는 항상 스피커 사이의 중앙에 위치하며 모니터를 바라보는 단지 하나의 청취자(컴퓨터 사용자)만이 보통 존재하기 때문이다. 그러므로, 데스트탑 사용자는 혼선이 적절히 소거되기 때문에 완전한 3D 효과를 얻을 수 있다. 일반적인 비디오 게임 같은 3D 오디오 애플리케이들은 친구들이 주위에 둘러앉아서 바라본다. 이러한 경우, 최적의 3D 오디오 효과는 그들이 스피커에 대해 중앙에 위치하였을 때 획득된다. 중앙에서 벗어난 청취자는 완전한 효과를 얻지 못하나, 몇몇의 공간 증대 효과를 사 용하여 고 품질 스테레오 프로그램을 들을 수 있다.
3D 오디오를 달성하기 위해서, 스피커는 일반적으로 동일한 수평면에서 청취자 주위에 배열되지만, 천장으로부터 벽을 둘러싸는 마루로 배열되는 것과 같이 청취자 주위에 완전하게 배열되지 못할 수도 있다. 선택적으로, 스피커는 머리 위의 돔 외형으로 배열되는 것처럼 천정이나 마루에 배열되거나 수직 별 외형으로 배열될 수 있다. 게다가 스피커로부터 전송되는 빔(beam)은 해드폰 대신 사용될 수 있다. 스피커로부터 전송되는 빔(beam)은 그것이 단단한 사운드 빔을 제공하기 때문에 스피커 사이에서 혼선 없이 청취자의 움직임의 자유를 제공할 수 있다.
일반적으로 최소한 4 개의 스피커가 적절한 3D 오디오 체험을 성취하기 위해서 필요하지만, 몇몇의 연구는 상당한 큰 정확성을 가지고 음향 환경을 재생산하기 위해 울림이 없는 방에서 20개 이상의 스피커를 사용하였다.
다중 스피커 재생의 주요한 이점은:
-사운드 필드가 개개의 청취자를 참고하지 않고 생성되기 때문에, 개개인의 HRTF에 의존하지 않는다.
-머리 움직임이 자유롭고, 움직여도 제한된 범위 내이다.
-몇몇의 경우, 한 명 이상의 청취자가 동시에 시스템을 청취할 수 있다.
다수의 혼선 소거기는 매우 단순화된 혼선 모델에 기초한다. 예를 들면, 단순한 지연 및 감쇠 과정 또는 지연 및 저역 통과(lowpass) 필터로서 혼선을 모델링한다. 다른 혼선 소거기는 구형 머리 모델에 기초한다. 두 귀로 듣는 것의 합성 방법을 사용함으로써, 혼선 소거기 성능은 인간 머리의 크기 및 모양의 변화에 의해 최후로 제한된다.
3D 오디오 시뮬레이션은 이하의 단계에 의해 달성된다:
-음향 공간의 특성 입력
-청취 위치에서 사운드 도달의 순서를 결정. 각각의 사운드 도달은 다음과 같은 특징을 갖는다: (a) 에코-경로에 따라 움직인 거리에 기초하는 도달 시간, (b) 도달 방향, (c) 에코 경로에 의해 충돌한 표면의 흡수 성실로 인한 소리의 (주파수의 기능으로서) 감쇠,
-다중 사운드 도달에 합체된 음향 공간의 임펄스 응답을 계산
-FIR 필터로부터의 결과는 청취자에게 재생된다. 임펄스 응답이 더미(dummy) 머리 응답을 사용하여 계산된 경우, 결과는 해드폰을 통해 청취자에게 재생된다. 이러한 경우, 특정 해드폰을 위해 필요한 균등화(equalisation) 또한 사용된다.
음향 환경의 시뮬레이션은 이하의 기능 중 하나 이상이 수반된다.
-오디오 소스 입력을 처리하고 공간에 특정 위치에 사운드 소스가 있는 것처럼 하는 다수의 스피커(해드폰)를 통해 청취자에게 전달
-다중 입력 오디오를 처리하여 각각의 소스가 독립적으로 청취자 주위의 공간에 위치하도록 함
-공간 음향의 몇몇의 특성을 모방하는 개선된 처리로, 사용자가 음향적으로 공간의 크기가 마루 및 둘러싼 벽의 특성을 음향적으로 감지할 수 있도록 함.
-사운드 소스의 특징 또는 공간 음향의 몇몇 특징에 집중할 수 있도록 그/그녀가 머리를 움직이고(아마도 제한된 범위 내에서) 돌릴 수 있는 능력.
두 귀는 듣는 시뮬레이션은 일반적으로 임의의 원하지 않는 에코 또는 노이즈로부터 영향이 없는 사운드 소스 요소를 사용하여 수행된다. 사운드 소스 요소는 그 후 청취자로 재생되며, 적절한 HRTF 필터를 사용하여 사운드 소스가 특정한 방향으로부터 발생되는 환영을 생성한다. HRTF 필터링은 단순히 오디오 신호를 HRTF 응답 쌍(해드폰의 각각의 채널을 위한 하나의 HRTF 필터)과 관련시킴으로써 달성된다.
눈과 귀는 종종 동시에 일어나는 사건을 인지한다. 문이 닫치는 것을 보면서, 닫칠 때 발생하는 소리를 듣는 것은 그것이 동시에 일어난다면 하나의 사건으로 해석된다. 만약 우리가 소리없이 문을 닫는다거나, 문이 우리 앞에서 닫혔으나 떠난후에 닫칠 때 발생하는 소리를 듣는다면 우리는 놀라며 혼란스러울 것이다. 다른 시나리오에서, 우리는 앞서 목소리를 들으며 코너에서 복도를 보고 있다면, 오디오 및 시간 단서의 조합으로 우리는 코너 주위에 사람이 서 있다는 것을 알 수 있을 것이다. 동기화된 3D 오디오와 3D 시각 단서는 함께 매우 강한 몰두 체험을 제공한다. 3D 오디오와 3D 그래픽 시스템 모두는 상기 동기화에 의해서 크게 개선될 수 있다.
해드폰을 통한 개선된 재생은 머리 추적의 사용으로 달성된다. 이러한 기술은 청취자의 머리의 위치에 대한 계속적인 측정을 사용하며, 제공된 오디오 신호를 해드폰에 적절하게 적용시킨다. 두 귀로 듣는 신호는 청취자가 좌우 사운드 소스를 쉽게 구분할 수 있게 해주지만, 앞뒤 및 고저를 구분할 수 있는 능력은 일반적으로 머리 움직임이 허용될 때만 가능하다. 다중 스피커 재생 시스템이 이러한 문제를 많이 해결해 주지만, 여전히 해드폰 재생이 적절한 다수의 애플리케이션이 존재하며, 이 경우 머리 추적이 3D 재생의 품질을 개선하는데 유용한 수단으로서 사용된다.
머리 추적 두 귀로 듣기 시스템의 가장 단순한 형태는 울림이 없는 HRTF를 단순히 모방하고 청취자의 머리 움직임에 빠르게 반응하여 HRTF 기능을 변경하는 것이다. 상기 HRFT 변경은 HRTF 표에 나타나지 않은 각도을 해결하기 위해 일부 사항을 추가한 검색표(lookup table)을 사용하여 달성된다,
머리 추적을 갖춘 해드폰을 통한 공간 음향의 시뮬레이션은 초기 반사의 도착 방향이 결과 사운드를 현실성 있게 만드는 데에도 중요하기 때문에 더욱 어렵다. 다수의 연구가는 공간 응답의 반향 꼬리에서의 에코가 일반적으로 확산되어 공간 응답의 반향 꼬리를 위해 청취자 머리 움직임을 추적할 필요가 없다고 믿는다.
머리 추적 재생 시스템의 중요한 특징은 해드폰에서의 오디오 응답을 변경하는 청취자의 머리 움직으로 인한 지연이다. 만약 상기 지연이 과도하다면, 청취자는 적절하지 못한 가장 움직임 형태 및 일반적인 방향 상실을 경험할 것이다. 오디오 단서는 사용자가 그 또는 그녀의 머리를 기울이거나 돌릴 때 그게 변한다. 예를 드렁, 측면을 보기 위해 빠르게 머리를 90도로 돌리는 것은 분리된 순간에 청취자의 츠면으로부터 정면으로 오는 소리와 등가이다. 우리는 종정 소리를 추적하거나 소리를 찾기 위해서 머리를 움직인다. 귀는 눈이 현재 집중하고 있는 지역의 외부 사건에 대해 뇌에 경고하며, 우리는 자동으로 우리의 주위를 바꾼다. 추가로, 우리 는 애매모호한 점을 해결하기 위해 머리를 움직인다; 약하고 낮은 사운드는 우리의 앞 또는 뒤에서 오는 것이며, 그에 따라 우리는 빠르고 무의식적으로 우리의 머리를 왼쪽으로 조금 돌리고, 만약 소리가 오른쪽에서 드리지 않는다면, 소리가 들려오는 곳은 앞이거나 그렇지 않으면 뒤라는 것을 알 수 있다. 상호 작용하는 오디오가 미리 녹음된 오디오(사운드트랙)보다 현실성이 있는 이유 중 하나는 청취자의 머리 움직임이 상호작용 시스템(조이스틱, 마우스, 또는 머리 추적 시스템을 사용하여)에서 적절히 시뮬레이션 되었기 때문이다.
HRTF 함수는 실시간 수행을 위한 디지털 신호 처리(DSP) 하드웨어를 사용하여 수행된다. DSP의 일반적인 특징은 직접적인 사운드는 정확한 크기 및 인지된 방향을 알려 줄 수 있도록 처리되어야 하며, 초기 에코는 (공간 표면의 응향 특성과 함께)공간의 크기를 인지할 수 있도록 해주는 적절한 시간, 크기 및 주파수 응답을 구비하여 청취자에게 도달하여야 하고, 마지막 반향은 청취자 주위의 3D에 자연스럽고 정확하게 분포되어야 한다. 공간 응답의 잔여물과 비교되는 직접적인 사운드의 상대적인 크기는 거리 감각을 제공하는 것을 돕는다.
3D 오디오 시뮬레이션이 두 귀로 듣는 이득을 제공하여서 정확히 동일한 오디오 콘텐츠를 뒤 귀로 듣는 경우에 더욱 잘 들을 수 있고 잘 이해할 수 있으므로, 뇌가 위치를 파악하고 두 귀로 듣는 신호를 뽑아내는 반면, 두 귀로 듣지 않는 신호는 잡음으로 폐기된다. 추가로 그것들은 여전히 공간적으로 분리되었으며 두 귀로 듣는 이득에 의해 "증폭"되었기 때문에, 칵테일 파티 효과라 불리는 효과에 의해 청취자는 개개의 대화로 전환하여 이를 이해할 수 있다. 두 귀로 듣는 시뮬레이 션은 또한 신호가 현실 세계에서 수신된 신호를 반영하기 때문에 보다 빠른 반응을 제공한다. 또한, 두 귀로 듣는 신호는 위치 정보를 전달할 수 있다: 두 귀로 듣는 레이더 경고 사운드는 사용자에게 (고유의 사운드를 가지고)다가오는 특정 물체를 경고할 수 있으며, 자연스럽게 물체가 다가오는 반향을 나타낸다. 또한 두 귀로 듣는 시뮬레이션을 청취하는 것은 우리가 두 귀로 듣는 신호인 머리 외부에서 발생되는 소리는 듣는 것에 익숙하기 때문에 적게 피로하다. 모노 또는 스테레오 신호는 해드폰을 사용하여 들을 때 청취자의 머리 내부에서 발생되는 것처럼 느껴지며 신제 주변의 두 귀로 듣는 신호보다 많은 긴장을 발생시킨다. 마지막으로, 3D 두 귀로 듣는 시뮬레이션은 시각이 두 귀로 듣는 사운드와 동기화될 때 고품질 3D 환경에 몰두할 수 있게 하고 증가된 인지를 제공한다.
Claims (23)
- 3D 이미지를 개방 공간에 디스플레이하기 위해 수평 원근법을 사용하는 제1 수평 원근법 디스플레이;3D 이미지와 관련된 정보를 보여주는 제2 디스플레이; 및3D 이미지를 만짐으로써 디스플레이 이미지를 조작할 수 있는 주변 기기를 포함하는3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 제2 디스플레이는 2D 이미지 또는 중앙 투시 원근법 이미지를 디스플레이하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 제1 및 제2 디스플레이를 혼합하는 제3 곡면 디스플레이를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 주변 기기로부터 입력을 받아서 제1 수평 원근법 디스플레이에 출력을 제공하는 처리부를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 제2 디스플레이로부터 입력을 받아서 제1 수평 원근법 디스 플레이에 출력을 제공하는 처리부를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 3D 이미지에 대해서 물리적인 주변 기기를 추적하는 수단을 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제1항에 있어서, 3D 이미지에 대해서 물리적 주변 기기를 조절하는 수단을 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 수평 원근법 투사에 의한 3D 수평 원근법 시뮬레이션을 위한 방법에 있어서, 상기 수평 원근법 투사는 미지 정해진 투사 시점에 따라 수평 원근법 이미지를 표시하는 단계를 포함하며, 상기 방법은:수평 원근법을 이용하여 제1 디스플레이 표면의 개방 공간에 3D 이미지를 디스플레이 하는 단계;제2 디스플레이에 제2 이미지를 디스플레이하는 단계; 및주변 기기를 사용하여 3D 이미지를 만짐으로써 제1 디스플레이 표면에서 디스플레이 이미지를 조작하는 단계를 포함하는3D 수평 원근법 시뮬레이션을 위한 방법.
- 제8항에 있어서, 제2 디스플레이로부터 입력을 받아서 제1 수평 원근법 디스 플레이에 출력을 제공하는 단계를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 3D 이미지에 대해서 주변 기기를 추적하는 단계를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제10항에 있어서, 주변 기기를 추적하는 단계는 주변 기기의 첨단(tip)을 추적하는 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제10항에 있어서, 주변 기기를 추적하는 단계는 주변 기기의 위치를 처리부에 입력하는 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제10항에 있어서, 주변 기기를 추적하는 단계는 삼각 측량법 또는 적외선 추적 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 3D 이미지에 대해서 물리적 주변 기기를 조절하는 단계를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제14항에 있어서, 상기 조절 단계는 기준 좌표를 수동으로 입력하는 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제14항에 있어서, 상기 조절 단계는 조절 처리 과정을 통해 기준 좌표를 자동으로 입력하는 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 제3 이미지를 제3 곡면 디스플레이에 디스플레이하는 단계를 추가로 포함하고, 상기 곡면 디스플레이는 제1 디스플레이와 제2 디스플레이를 혼합하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 수평 원근법 디스플레이는 입체적 3D 이미지를 디스플레이 하기 위해서 수평 원근법을 사용하는 입체적 수평 원근법 디스플레이는 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 수평 원근법 디스플레이는 내부 접속 체적에 3D 이미지의 일부를 추가로 디스플레이함으로써, 내부 접속 체적의 이미지 부분은 주변 기기에 의해서 만져지지 못하도록 하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 수평 원근법 디스플레이를 위한 자동 또는 수동 시점 추적 단계를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 3D 이미지를 줌(zoom), 회전 또는 이동하는 단계를 추가로 포함하는 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 주변기기에 의해 디스플레이 이미지를 조작하는 단계는 주변 기기의 첨단을 추적하는 단계를 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
- 제8항에 있어서, 조작 단계는 디스플레이 이미지를 변경하는 동작 또는 상이한 이미지를 생성하는 동작을 포함하는 것인 3D 수평 원근법 시뮬레이션 시스템.
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US57618704P | 2004-06-01 | 2004-06-01 | |
US57618104P | 2004-06-01 | 2004-06-01 | |
US57618204P | 2004-06-01 | 2004-06-01 | |
US57618904P | 2004-06-01 | 2004-06-01 | |
US60/576,182 | 2004-06-01 | ||
US60/576,181 | 2004-06-01 | ||
US60/576,187 | 2004-06-01 | ||
US60/576,189 | 2004-06-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20070052261A true KR20070052261A (ko) | 2007-05-21 |
Family
ID=35462954
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020077000038A KR20070052261A (ko) | 2004-06-01 | 2005-05-31 | 수평 원근법 시뮬레이터 |
KR1020077000037A KR20070052260A (ko) | 2004-06-01 | 2005-05-31 | 수평 원근법 디스플레이 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020077000037A KR20070052260A (ko) | 2004-06-01 | 2005-05-31 | 수평 원근법 디스플레이 |
Country Status (5)
Country | Link |
---|---|
US (8) | US20050275915A1 (ko) |
EP (2) | EP1781893A1 (ko) |
JP (2) | JP2008506140A (ko) |
KR (2) | KR20070052261A (ko) |
WO (2) | WO2005118998A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024043772A1 (en) * | 2022-08-23 | 2024-02-29 | Samsung Electronics Co., Ltd. | Method and electronic device for determining relative position of one or more objects in image |
Families Citing this family (148)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1781893A1 (en) | 2004-06-01 | 2007-05-09 | Michael A. Vesely | Horizontal perspective simulator |
CA2482240A1 (en) * | 2004-09-27 | 2006-03-27 | Claude Choquet | Body motion training and qualification system and method |
JP4046121B2 (ja) * | 2005-03-24 | 2008-02-13 | セイコーエプソン株式会社 | 立体画像表示装置及び方法 |
EP1889171A4 (en) | 2005-04-07 | 2012-11-28 | Visionsense Ltd | METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT |
US8717423B2 (en) | 2005-05-09 | 2014-05-06 | Zspace, Inc. | Modifying perspective of stereoscopic images based on changes in user viewpoint |
US7907167B2 (en) * | 2005-05-09 | 2011-03-15 | Infinite Z, Inc. | Three dimensional horizontal perspective workstation |
US20060285832A1 (en) * | 2005-06-16 | 2006-12-21 | River Past Corporation | Systems and methods for creating and recording digital three-dimensional video streams |
KR101309176B1 (ko) * | 2006-01-18 | 2013-09-23 | 삼성전자주식회사 | 증강 현실 장치 및 방법 |
JP4940671B2 (ja) * | 2006-01-26 | 2012-05-30 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
US9104195B2 (en) | 2006-12-20 | 2015-08-11 | Lincoln Global, Inc. | Welding job sequencer |
US10994358B2 (en) | 2006-12-20 | 2021-05-04 | Lincoln Global, Inc. | System and method for creating or modifying a welding sequence based on non-real world weld data |
US9937577B2 (en) | 2006-12-20 | 2018-04-10 | Lincoln Global, Inc. | System for a welding sequencer |
GB2447060B (en) * | 2007-03-01 | 2009-08-05 | Magiqads Sdn Bhd | Method of creation of a virtual three dimensional image to enable its reproduction on planar substrates |
US8665180B2 (en) | 2007-03-02 | 2014-03-04 | Nec Corporation | Image display device |
JP5195744B2 (ja) * | 2007-03-07 | 2013-05-15 | 日本電気株式会社 | 画像表示装置 |
JP2008226400A (ja) * | 2007-03-15 | 2008-09-25 | Sony Computer Entertainment Inc | オーディオ再生装置およびオーディオ再生方法 |
US8269822B2 (en) * | 2007-04-03 | 2012-09-18 | Sony Computer Entertainment America, LLC | Display viewing system and methods for optimizing display view based on active tracking |
US8400493B2 (en) * | 2007-06-25 | 2013-03-19 | Qualcomm Incorporated | Virtual stereoscopic camera |
US8355019B2 (en) * | 2007-11-02 | 2013-01-15 | Dimension Technologies, Inc. | 3D optical illusions from off-axis displays |
US20090125801A1 (en) * | 2007-11-10 | 2009-05-14 | Cherif Atia Algreatly | 3D windows system |
US8452052B2 (en) * | 2008-01-21 | 2013-05-28 | The Boeing Company | Modeling motion capture volumes with distance fields |
JP4991621B2 (ja) * | 2008-04-17 | 2012-08-01 | キヤノン株式会社 | 撮像装置 |
CN101610360A (zh) * | 2008-06-19 | 2009-12-23 | 鸿富锦精密工业(深圳)有限公司 | 自动追踪声源的摄像装置 |
KR101908033B1 (ko) | 2008-07-10 | 2018-12-10 | 리얼 뷰 이미징 리미티드 | 광시야각 디스플레이들 및 사용자 인터페이스들 |
US8747116B2 (en) | 2008-08-21 | 2014-06-10 | Lincoln Global, Inc. | System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback |
US8851896B2 (en) | 2008-08-21 | 2014-10-07 | Lincoln Global, Inc. | Virtual reality GTAW and pipe welding simulator and setup |
US8834168B2 (en) * | 2008-08-21 | 2014-09-16 | Lincoln Global, Inc. | System and method providing combined virtual reality arc welding and three-dimensional (3D) viewing |
US9318026B2 (en) | 2008-08-21 | 2016-04-19 | Lincoln Global, Inc. | Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment |
US8884177B2 (en) | 2009-11-13 | 2014-11-11 | Lincoln Global, Inc. | Systems, methods, and apparatuses for monitoring weld quality |
US8915740B2 (en) | 2008-08-21 | 2014-12-23 | Lincoln Global, Inc. | Virtual reality pipe welding simulator |
US9196169B2 (en) | 2008-08-21 | 2015-11-24 | Lincoln Global, Inc. | Importing and analyzing external data using a virtual reality welding system |
US9330575B2 (en) | 2008-08-21 | 2016-05-03 | Lincoln Global, Inc. | Tablet-based welding simulator |
US8911237B2 (en) | 2008-08-21 | 2014-12-16 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
US9483959B2 (en) | 2008-08-21 | 2016-11-01 | Lincoln Global, Inc. | Welding simulator |
US8657605B2 (en) | 2009-07-10 | 2014-02-25 | Lincoln Global, Inc. | Virtual testing and inspection of a virtual weldment |
US9280913B2 (en) | 2009-07-10 | 2016-03-08 | Lincoln Global, Inc. | Systems and methods providing enhanced education and training in a virtual reality environment |
EP2351668A4 (en) * | 2008-09-12 | 2013-03-13 | Toshiba Kk | IMAGE RADIATION SYSTEM AND IMAGE RADIATION PROCESS |
US20100128112A1 (en) | 2008-11-26 | 2010-05-27 | Samsung Electronics Co., Ltd | Immersive display system for interacting with three-dimensional content |
US20100156907A1 (en) * | 2008-12-23 | 2010-06-24 | Microsoft Corporation | Display surface tracking |
FR2942096B1 (fr) * | 2009-02-11 | 2016-09-02 | Arkamys | Procede pour positionner un objet sonore dans un environnement sonore 3d, support audio mettant en oeuvre le procede, et plate-forme de test associe |
US8274013B2 (en) * | 2009-03-09 | 2012-09-25 | Lincoln Global, Inc. | System for tracking and analyzing welding activity |
TW201039099A (en) * | 2009-04-22 | 2010-11-01 | Song-Yuan Hu | Electronic device |
US8279269B2 (en) * | 2009-04-29 | 2012-10-02 | Ke-Ou Peng | Mobile information kiosk with a three-dimensional imaging effect |
US20100306825A1 (en) * | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
US8477241B2 (en) * | 2009-05-29 | 2013-07-02 | Hewlett-Packard Development Company, L.P. | Multi-projector system and method |
US8269902B2 (en) * | 2009-06-03 | 2012-09-18 | Transpacific Image, Llc | Multimedia projection management |
CN102459656B (zh) * | 2009-06-11 | 2013-08-14 | 新日本制铁株式会社 | 大线能量焊接热影响区韧性优异的厚壁高强度钢板的制造方法 |
CN102804789B (zh) | 2009-06-23 | 2015-04-29 | Lg电子株式会社 | 接收***和提供3d图像的方法 |
EP2452506A4 (en) | 2009-07-07 | 2014-01-22 | Lg Electronics Inc | METHOD FOR DISPLAYING A THREE-DIMENSIONAL USER INTERFACE |
US9221117B2 (en) | 2009-07-08 | 2015-12-29 | Lincoln Global, Inc. | System for characterizing manual welding operations |
US9773429B2 (en) | 2009-07-08 | 2017-09-26 | Lincoln Global, Inc. | System and method for manual welder training |
US9011154B2 (en) | 2009-07-10 | 2015-04-21 | Lincoln Global, Inc. | Virtual welding system |
US10748447B2 (en) | 2013-05-24 | 2020-08-18 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
US9294751B2 (en) | 2009-09-09 | 2016-03-22 | Mattel, Inc. | Method and system for disparity adjustment during stereoscopic zoom |
US9189885B2 (en) * | 2009-09-16 | 2015-11-17 | Knorr-Bremse Systeme Fur Schienenfahrzeuge Gmbh | Visual presentation system |
US8569655B2 (en) | 2009-10-13 | 2013-10-29 | Lincoln Global, Inc. | Welding helmet with integral user interface |
RU2524834C2 (ru) * | 2009-10-14 | 2014-08-10 | Нокиа Корпорейшн | Устройство для автостереоскопического рендеринга и отображения |
CN102577410B (zh) | 2009-10-16 | 2016-03-16 | Lg电子株式会社 | 指示3d内容的方法和处理信号的装置 |
US9468988B2 (en) | 2009-11-13 | 2016-10-18 | Lincoln Global, Inc. | Systems, methods, and apparatuses for monitoring weld quality |
US8569646B2 (en) | 2009-11-13 | 2013-10-29 | Lincoln Global, Inc. | Systems, methods, and apparatuses for monitoring weld quality |
EP2510504A4 (en) * | 2009-12-07 | 2013-08-14 | Photon X Inc | 3D VISUALIZATION SYSTEM |
US8532962B2 (en) | 2009-12-23 | 2013-09-10 | Honeywell International Inc. | Approach for planning, designing and observing building systems |
US8717360B2 (en) | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
DE102010009737A1 (de) * | 2010-03-01 | 2011-09-01 | Institut für Rundfunktechnik GmbH | Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten |
US20110234591A1 (en) * | 2010-03-26 | 2011-09-29 | Microsoft Corporation | Personalized Apparel and Accessories Inventory and Display |
US8581905B2 (en) * | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
TWI407773B (zh) * | 2010-04-13 | 2013-09-01 | Nat Univ Tsing Hua | 提供三維立體影像之方法及系統 |
US9733699B2 (en) * | 2010-04-13 | 2017-08-15 | Dean Stark | Virtual anamorphic product display with viewer height detection |
US8315443B2 (en) | 2010-04-22 | 2012-11-20 | Qualcomm Incorporated | Viewpoint detector based on skin color area and face area |
US8995678B2 (en) | 2010-04-30 | 2015-03-31 | Honeywell International Inc. | Tactile-based guidance system |
US8990049B2 (en) | 2010-05-03 | 2015-03-24 | Honeywell International Inc. | Building structure discovery and display from various data artifacts at scene |
US8538687B2 (en) | 2010-05-04 | 2013-09-17 | Honeywell International Inc. | System for guidance and navigation in a building |
JP2011259373A (ja) * | 2010-06-11 | 2011-12-22 | Sony Corp | 立体画像表示装置及び立体画像表示方法 |
JP5573426B2 (ja) * | 2010-06-30 | 2014-08-20 | ソニー株式会社 | 音声処理装置、音声処理方法、およびプログラム |
JP5488306B2 (ja) * | 2010-07-29 | 2014-05-14 | 船井電機株式会社 | プロジェクタ |
EP2418866A3 (en) * | 2010-08-11 | 2014-05-21 | LG Electronics Inc. | Method for operating image display apparatus |
KR101695819B1 (ko) * | 2010-08-16 | 2017-01-13 | 엘지전자 주식회사 | 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법 |
US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US20120062551A1 (en) * | 2010-09-13 | 2012-03-15 | Lg Electronics Inc. | Image display apparatus and method for operating image display apparatus |
CN103098459B (zh) * | 2010-09-22 | 2016-11-09 | 富士胶片株式会社 | 立体摄像装置及阴影校正方法 |
US9001053B2 (en) | 2010-10-28 | 2015-04-07 | Honeywell International Inc. | Display system for controlling a selector symbol within an image |
KR20120065774A (ko) * | 2010-12-13 | 2012-06-21 | 삼성전자주식회사 | 오디오 처리장치, 오디오 리시버 및 이에 적용되는 오디오 제공방법 |
EP2652726B1 (en) | 2010-12-13 | 2019-11-20 | Lincoln Global, Inc. | Welding training system |
EP3584682B1 (en) | 2010-12-22 | 2021-06-30 | zSpace, Inc. | Three-dimensional tracking of a user control device in a volume |
US8773946B2 (en) | 2010-12-30 | 2014-07-08 | Honeywell International Inc. | Portable housings for generation of building maps |
US8982192B2 (en) | 2011-04-07 | 2015-03-17 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Visual information display on curvilinear display surfaces |
US9766698B2 (en) | 2011-05-05 | 2017-09-19 | Nokia Technologies Oy | Methods and apparatuses for defining the active channel in a stereoscopic view by using eye tracking |
JP5746908B2 (ja) * | 2011-05-06 | 2015-07-08 | 株式会社東芝 | 医用画像処理装置 |
US8786529B1 (en) | 2011-05-18 | 2014-07-22 | Zspace, Inc. | Liquid crystal variable drive voltage |
US9560314B2 (en) | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
JP5846777B2 (ja) * | 2011-06-28 | 2016-01-20 | 株式会社東芝 | 医用画像処理装置 |
US9342928B2 (en) | 2011-06-29 | 2016-05-17 | Honeywell International Inc. | Systems and methods for presenting building information |
DE102011112618A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Interaktion mit einem dreidimensionalen virtuellen Szenario |
WO2013049388A1 (en) * | 2011-09-29 | 2013-04-04 | Dolby Laboratories Licensing Corporation | Representation and coding of multi-view images using tapestry encoding |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
AU2012326218B2 (en) | 2011-10-17 | 2017-03-09 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
US9106903B2 (en) | 2011-11-18 | 2015-08-11 | Zspace, Inc. | Head tracking eyewear system |
WO2013074997A1 (en) | 2011-11-18 | 2013-05-23 | Infinite Z, Inc. | Indirect 3d scene positioning control |
FR2983330B1 (fr) * | 2011-11-24 | 2014-06-20 | Thales Sa | Procede et dispositif de representation d'environnements synthetiques |
ITTO20111150A1 (it) | 2011-12-14 | 2013-06-15 | Univ Degli Studi Genova | Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento |
JP6017795B2 (ja) * | 2012-02-10 | 2016-11-02 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法 |
JP2014006674A (ja) * | 2012-06-22 | 2014-01-16 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
US20160093233A1 (en) | 2012-07-06 | 2016-03-31 | Lincoln Global, Inc. | System for characterizing manual welding operations on pipe and other curved structures |
US9767712B2 (en) | 2012-07-10 | 2017-09-19 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
US20140125763A1 (en) * | 2012-11-07 | 2014-05-08 | Robert Nathan Cohen | 3d led output device and process for emitting 3d content output for large screen applications and which is visible without 3d glasses |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
KR101916663B1 (ko) * | 2012-12-18 | 2018-11-08 | 삼성전자주식회사 | 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치 |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9667889B2 (en) | 2013-04-03 | 2017-05-30 | Butterfly Network, Inc. | Portable electronic devices with integrated imaging capabilities |
US10019130B2 (en) * | 2013-04-21 | 2018-07-10 | Zspace, Inc. | Zero parallax drawing within a three dimensional display |
EP2806404B1 (en) | 2013-05-23 | 2018-10-10 | AIM Sport AG | Image conversion for signage |
US10930174B2 (en) | 2013-05-24 | 2021-02-23 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
US9426598B2 (en) | 2013-07-15 | 2016-08-23 | Dts, Inc. | Spatial calibration of surround sound systems including listener position estimation |
US20150072323A1 (en) | 2013-09-11 | 2015-03-12 | Lincoln Global, Inc. | Learning management system for a real-time simulated virtual reality welding training environment |
US10083627B2 (en) | 2013-11-05 | 2018-09-25 | Lincoln Global, Inc. | Virtual reality and real welding training system and method |
US9805509B2 (en) * | 2013-11-26 | 2017-10-31 | Yoav Shefi | Method and system for constructing a virtual image anchored onto a real-world object |
US9836987B2 (en) | 2014-02-14 | 2017-12-05 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
US9667951B2 (en) | 2014-02-18 | 2017-05-30 | Cisco Technology, Inc. | Three-dimensional television calibration |
US9875573B2 (en) | 2014-03-17 | 2018-01-23 | Meggitt Training Systems, Inc. | Method and apparatus for rendering a 3-dimensional scene |
WO2015185972A1 (en) | 2014-06-02 | 2015-12-10 | Lincoln Global, Inc. | System and method for manual welder training |
US9841844B2 (en) * | 2014-06-20 | 2017-12-12 | Funai Electric Co., Ltd. | Image display device |
JP2016012889A (ja) * | 2014-06-30 | 2016-01-21 | 株式会社リコー | 画像投写システム |
AU2015296639A1 (en) | 2014-07-28 | 2017-03-23 | Beam Authentic, Inc. | Mountable display devices |
WO2016025853A1 (en) | 2014-08-15 | 2016-02-18 | Beam Authentic, LLC | Systems for displaying media on display devices |
US10235807B2 (en) | 2015-01-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Building holographic content using holographic tools |
US20170084084A1 (en) * | 2015-09-22 | 2017-03-23 | Thrillbox, Inc | Mapping of user interaction within a virtual reality environment |
CN106067967B (zh) * | 2016-06-29 | 2018-02-09 | 汇意设计有限公司 | 变形立体全息影像实现方法 |
EP3319066A1 (en) | 2016-11-04 | 2018-05-09 | Lincoln Global, Inc. | Magnetic frequency selection for electromagnetic position tracking |
US10913125B2 (en) | 2016-11-07 | 2021-02-09 | Lincoln Global, Inc. | Welding system providing visual and audio cues to a welding helmet with a display |
US20180130226A1 (en) | 2016-11-07 | 2018-05-10 | Lincoln Global, Inc. | System and method for calibrating a welding trainer |
US10503456B2 (en) | 2017-05-05 | 2019-12-10 | Nvidia Corporation | Method and apparatus for rendering perspective-correct images for a tilted multi-display environment |
CN107193372B (zh) * | 2017-05-15 | 2020-06-19 | 杭州一隅千象科技有限公司 | 从多个任意位置矩形平面到可变投影中心的投影方法 |
JP2018197844A (ja) * | 2017-05-23 | 2018-12-13 | ヘ−ヨン・チョイ | 空間分離映像装置 |
US10373536B2 (en) | 2017-05-26 | 2019-08-06 | Jeffrey Sherretts | 3D signage using an inverse cube illusion fixture |
US10997872B2 (en) | 2017-06-01 | 2021-05-04 | Lincoln Global, Inc. | Spring-loaded tip assembly to support simulated shielded metal arc welding |
CN107333121B (zh) * | 2017-06-27 | 2019-02-26 | 山东大学 | 曲面屏幕上移动视点的沉浸式立体渲染投影***及其方法 |
CA3028794A1 (en) * | 2018-01-04 | 2019-07-04 | 8259402 Canada Inc. | Immersive environment with digital environment to enhance depth sensation |
US11557223B2 (en) | 2018-04-19 | 2023-01-17 | Lincoln Global, Inc. | Modular and reconfigurable chassis for simulated welding training |
US11475792B2 (en) | 2018-04-19 | 2022-10-18 | Lincoln Global, Inc. | Welding simulator with dual-user configuration |
CN110858464A (zh) * | 2018-08-24 | 2020-03-03 | 财团法人工业技术研究院 | 多视角显示装置与操控模拟机 |
CN109407329B (zh) * | 2018-11-06 | 2021-06-25 | 三亚中科遥感研究所 | 一种空间光场显示方法及其装置 |
WO2020102803A1 (en) * | 2018-11-16 | 2020-05-22 | Geomni, Inc. | Systems and methods for generating augmented reality environments from two-dimensional drawings |
IL264032B (en) * | 2018-12-30 | 2020-06-30 | Elbit Systems Ltd | System and methods for removing artifacts in binocular displays |
US11367361B2 (en) * | 2019-02-22 | 2022-06-21 | Kyndryl, Inc. | Emulating unmanned aerial vehicle (UAV) |
US11508131B1 (en) * | 2019-11-08 | 2022-11-22 | Tanzle, Inc. | Generating composite stereoscopic images |
CN112929636A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 3d显示设备、3d图像显示方法 |
US20240169485A1 (en) * | 2021-03-22 | 2024-05-23 | Tas Global Co., Ltd. | Image Processing Method of Processing Images from a Plurality of Cameras in Ship Cleaning Robot Into Single Image, Computer Readable Recording Medium, Computer Program, and Robot Control Method Using the Same |
US20230394886A1 (en) * | 2022-06-05 | 2023-12-07 | Apple Inc. | Providing personalized audio |
Family Cites Families (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1592034A (en) * | 1924-09-06 | 1926-07-13 | Macy Art Process Corp | Process and method of effective angular levitation of printed images and the resulting product |
US4182053A (en) | 1977-09-14 | 1980-01-08 | Systems Technology, Inc. | Display generator for simulating vehicle operation |
US4291380A (en) | 1979-05-14 | 1981-09-22 | The Singer Company | Resolvability test and projection size clipping for polygon face display |
US4677576A (en) * | 1983-06-27 | 1987-06-30 | Grumman Aerospace Corporation | Non-edge computer image generation system |
US4795248A (en) * | 1984-08-31 | 1989-01-03 | Olympus Optical Company Ltd. | Liquid crystal eyeglass |
US4763280A (en) * | 1985-04-29 | 1988-08-09 | Evans & Sutherland Computer Corp. | Curvilinear dynamic image generation system |
GB8701288D0 (en) | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
US5079699A (en) * | 1987-11-27 | 1992-01-07 | Picker International, Inc. | Quick three-dimensional display |
US5361386A (en) | 1987-12-04 | 1994-11-01 | Evans & Sutherland Computer Corp. | System for polygon interpolation using instantaneous values in a variable |
US4853592A (en) * | 1988-03-10 | 1989-08-01 | Rockwell International Corporation | Flat panel display having pixel spacing and luminance levels providing high resolution |
JP2622620B2 (ja) * | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
US5327285A (en) * | 1990-06-11 | 1994-07-05 | Faris Sadeg M | Methods for manufacturing micropolarizers |
US5502481A (en) | 1992-11-16 | 1996-03-26 | Reveo, Inc. | Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view |
US5537144A (en) * | 1990-06-11 | 1996-07-16 | Revfo, Inc. | Electro-optical display system for visually displaying polarized spatially multiplexed images of 3-D objects for use in stereoscopically viewing the same with high image quality and resolution |
US5276785A (en) * | 1990-08-02 | 1994-01-04 | Xerox Corporation | Moving viewpoint with respect to a target in a three-dimensional workspace |
US6392689B1 (en) * | 1991-02-21 | 2002-05-21 | Eugene Dolgoff | System for displaying moving images pseudostereoscopically |
US5168531A (en) | 1991-06-27 | 1992-12-01 | Digital Equipment Corporation | Real-time recognition of pointing information from video |
US5381158A (en) * | 1991-07-12 | 1995-01-10 | Kabushiki Kaisha Toshiba | Information retrieval apparatus |
US5264964A (en) * | 1991-12-18 | 1993-11-23 | Sades Faris | Multi-mode stereoscopic imaging system |
US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5945985A (en) * | 1992-10-27 | 1999-08-31 | Technology International, Inc. | Information system for interactive access to geographic information |
US5574835A (en) * | 1993-04-06 | 1996-11-12 | Silicon Engines, Inc. | Bounding box and projections detection of hidden polygons in three-dimensional spatial databases |
GB2288523B (en) * | 1993-09-28 | 1998-04-01 | Namco Ltd | Clipping processing device, three-dimensional simulator device, and clipping processing method |
US5438623A (en) | 1993-10-04 | 1995-08-01 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Multi-channel spatialization system for audio signals |
US5686975A (en) | 1993-10-18 | 1997-11-11 | Stereographics Corporation | Polarel panel for stereoscopic displays |
US6111598A (en) | 1993-11-12 | 2000-08-29 | Peveo, Inc. | System and method for producing and displaying spectrally-multiplexed images of three-dimensional imagery for use in flicker-free stereoscopic viewing thereof |
US5400177A (en) * | 1993-11-23 | 1995-03-21 | Petitto; Tony | Technique for depth of field viewing of images with improved clarity and contrast |
US5381127A (en) * | 1993-12-22 | 1995-01-10 | Intel Corporation | Fast static cross-unit comparator |
US5684460A (en) * | 1994-04-22 | 1997-11-04 | The United States Of America As Represented By The Secretary Of The Army | Motion and sound monitor and stimulator |
JPH08163603A (ja) | 1994-08-05 | 1996-06-21 | Tomohiko Hattori | 立体映像表示装置 |
AUPN003894A0 (en) | 1994-12-13 | 1995-01-12 | Xenotech Research Pty Ltd | Head tracking system for stereoscopic display apparatus |
US5652617A (en) * | 1995-06-06 | 1997-07-29 | Barbour; Joel | Side scan down hole video tool having two camera |
US5795154A (en) * | 1995-07-07 | 1998-08-18 | Woods; Gail Marjorie | Anaglyphic drawing device |
US6331856B1 (en) * | 1995-11-22 | 2001-12-18 | Nintendo Co., Ltd. | Video game system with coprocessor providing high speed efficient 3D graphics and digital audio signal processing |
US6028593A (en) | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US5574836A (en) | 1996-01-22 | 1996-11-12 | Broemmelsiek; Raymond M. | Interactive display apparatus and method with viewer position compensation |
US6252707B1 (en) * | 1996-01-22 | 2001-06-26 | 3Ality, Inc. | Systems for three-dimensional viewing and projection |
US5880733A (en) * | 1996-04-30 | 1999-03-09 | Microsoft Corporation | Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system |
JPH1063470A (ja) * | 1996-06-12 | 1998-03-06 | Nintendo Co Ltd | 画像表示に連動する音響発生装置 |
US6100903A (en) * | 1996-08-16 | 2000-08-08 | Goettsche; Mark T | Method for generating an ellipse with texture and perspective |
US6108005A (en) * | 1996-08-30 | 2000-08-22 | Space Corporation | Method for producing a synthesized stereoscopic image |
JP4086336B2 (ja) * | 1996-09-18 | 2008-05-14 | 富士通株式会社 | 属性情報提供装置及びマルチメディアシステム |
US6139434A (en) * | 1996-09-24 | 2000-10-31 | Nintendo Co., Ltd. | Three-dimensional image processing apparatus with enhanced automatic and user point of view control |
US6317127B1 (en) | 1996-10-16 | 2001-11-13 | Hughes Electronics Corporation | Multi-user real-time augmented reality system and method |
US6115022A (en) * | 1996-12-10 | 2000-09-05 | Metavision Corporation | Method and apparatus for adjusting multiple projected raster images |
JP3034483B2 (ja) * | 1997-04-21 | 2000-04-17 | 核燃料サイクル開発機構 | オブジェクト探索方法およびその方法を用いた装置 |
US6226008B1 (en) | 1997-09-04 | 2001-05-01 | Kabushiki Kaisha Sega Enterprises | Image processing device |
DE59805342D1 (de) * | 1997-10-30 | 2002-10-02 | Baldeweg Ag Dr | Verfahren und vorrichtung zur bearbeitung von bildobjekten |
US5956046A (en) * | 1997-12-17 | 1999-09-21 | Sun Microsystems, Inc. | Scene synchronization of multiple computer displays |
GB9800397D0 (en) * | 1998-01-09 | 1998-03-04 | Philips Electronics Nv | Virtual environment viewpoint control |
US6047201A (en) * | 1998-04-02 | 2000-04-04 | Jackson, Iii; William H. | Infant blood oxygen monitor and SIDS warning device |
US6529210B1 (en) * | 1998-04-08 | 2003-03-04 | Altor Systems, Inc. | Indirect object manipulation in a simulation |
US20020163482A1 (en) | 1998-04-20 | 2002-11-07 | Alan Sullivan | Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures |
US6466185B2 (en) * | 1998-04-20 | 2002-10-15 | Alan Sullivan | Multi-planar volumetric display system and method of operation using psychological vision cues |
US6211848B1 (en) * | 1998-05-15 | 2001-04-03 | Massachusetts Institute Of Technology | Dynamic holographic video with haptic interaction |
US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6552722B1 (en) * | 1998-07-17 | 2003-04-22 | Sensable Technologies, Inc. | Systems and methods for sculpting virtual objects in a haptic virtual reality environment |
US6351280B1 (en) * | 1998-11-20 | 2002-02-26 | Massachusetts Institute Of Technology | Autostereoscopic display system |
US6373482B1 (en) | 1998-12-23 | 2002-04-16 | Microsoft Corporation | Method, system, and computer program product for modified blending between clip-map tiles |
US6215403B1 (en) * | 1999-01-27 | 2001-04-10 | International Business Machines Corporation | Wireless monitoring system |
US6614427B1 (en) * | 1999-02-01 | 2003-09-02 | Steve Aubrey | Process for making stereoscopic images which are congruent with viewer space |
US6452593B1 (en) * | 1999-02-19 | 2002-09-17 | International Business Machines Corporation | Method and system for rendering a virtual three-dimensional graphical display |
US6198524B1 (en) * | 1999-04-19 | 2001-03-06 | Evergreen Innovations Llc | Polarizing system for motion visual depth effects |
US6346938B1 (en) * | 1999-04-27 | 2002-02-12 | Harris Corporation | Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model |
US6417867B1 (en) * | 1999-05-27 | 2002-07-09 | Sharp Laboratories Of America, Inc. | Image downscaling using peripheral vision area localization |
US6690337B1 (en) * | 1999-06-09 | 2004-02-10 | Panoram Technologies, Inc. | Multi-panel video display |
US6898307B1 (en) * | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
US6593924B1 (en) * | 1999-10-04 | 2003-07-15 | Intel Corporation | Rendering a non-photorealistic image |
US6476813B1 (en) | 1999-11-30 | 2002-11-05 | Silicon Graphics, Inc. | Method and apparatus for preparing a perspective view of an approximately spherical surface portion |
WO2001059749A1 (fr) * | 2000-02-07 | 2001-08-16 | Sony Corporation | Procede et dispositif d'affichage simultane sur plusieurs ecrans, generateur de signaux video et support d'enregistrement |
WO2001063561A1 (en) | 2000-02-25 | 2001-08-30 | The Research Foundation Of State University Of New York | Apparatus and method for volume processing and rendering |
US6669346B2 (en) * | 2000-05-15 | 2003-12-30 | Darrell J. Metcalf | Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action |
US6956576B1 (en) * | 2000-05-16 | 2005-10-18 | Sun Microsystems, Inc. | Graphics system using sample masks for motion blur, depth of field, and transparency |
US6803928B2 (en) * | 2000-06-06 | 2004-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Extended virtual table: an optical extension for table-like projection systems |
US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6643124B1 (en) * | 2000-08-09 | 2003-11-04 | Peter J. Wilk | Multiple display portable computing devices |
US6680735B1 (en) * | 2000-10-04 | 2004-01-20 | Terarecon, Inc. | Method for correcting gradients of irregular spaced graphic data |
US6553256B1 (en) * | 2000-10-13 | 2003-04-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for monitoring and treating sudden infant death syndrome |
GB2370738B (en) * | 2000-10-27 | 2005-02-16 | Canon Kk | Image processing apparatus |
US6593934B1 (en) * | 2000-11-16 | 2003-07-15 | Industrial Technology Research Institute | Automatic gamma correction system for displays |
US20020180727A1 (en) * | 2000-11-22 | 2002-12-05 | Guckenberger Ronald James | Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors |
JP3705739B2 (ja) * | 2000-12-11 | 2005-10-12 | 株式会社ナムコ | 情報記憶媒体及びゲーム装置 |
US6774869B2 (en) * | 2000-12-22 | 2004-08-10 | Board Of Trustees Operating Michigan State University | Teleportal face-to-face system |
US6987512B2 (en) * | 2001-03-29 | 2006-01-17 | Microsoft Corporation | 3D navigation techniques |
GB2375699B (en) | 2001-05-16 | 2003-08-13 | Nibble Ltd | Information management system and method |
US8035635B2 (en) | 2001-05-22 | 2011-10-11 | Yoav Shefi | Method and system for displaying visual content in a virtual three-dimensional space |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
TW579019U (en) | 2001-06-13 | 2004-03-01 | Eturbotouch Technology Inc | Flexible current type touch film |
JP2003085586A (ja) * | 2001-06-27 | 2003-03-20 | Namco Ltd | 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム |
US6478432B1 (en) | 2001-07-13 | 2002-11-12 | Chad D. Dyner | Dynamically generated interactive real imaging device |
US20040135744A1 (en) * | 2001-08-10 | 2004-07-15 | Oliver Bimber | Virtual showcases |
US6715620B2 (en) * | 2001-10-05 | 2004-04-06 | Martin Taschek | Display frame for album covers |
JP3576521B2 (ja) * | 2001-11-02 | 2004-10-13 | 独立行政法人 科学技術振興機構 | 立体表示方法及びその装置 |
US6700573B2 (en) * | 2001-11-07 | 2004-03-02 | Novalogic, Inc. | Method for rendering realistic terrain simulation |
US7466307B2 (en) * | 2002-04-11 | 2008-12-16 | Synaptics Incorporated | Closed-loop sensor on a solid-state object position detector |
CA2386702A1 (en) | 2002-05-17 | 2003-11-17 | Idelix Software Inc. | Computing the inverse of a pdt distortion |
US20040196359A1 (en) * | 2002-05-28 | 2004-10-07 | Blackham Geoffrey Howard | Video conferencing terminal apparatus with part-transmissive curved mirror |
US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
US6943805B2 (en) * | 2002-06-28 | 2005-09-13 | Microsoft Corporation | Systems and methods for providing image rendering using variable rate source sampling |
JP4115188B2 (ja) * | 2002-07-19 | 2008-07-09 | キヤノン株式会社 | 仮想空間描画表示装置 |
US7639838B2 (en) * | 2002-08-30 | 2009-12-29 | Jerry C Nims | Multi-dimensional images system for digital image input and output |
JP4467267B2 (ja) | 2002-09-06 | 2010-05-26 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、画像処理装置、および画像処理システム |
US6943754B2 (en) * | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
US7321682B2 (en) | 2002-11-12 | 2008-01-22 | Namco Bandai Games, Inc. | Image generation system, image generation method, program, and information storage medium |
US20040130525A1 (en) * | 2002-11-19 | 2004-07-08 | Suchocki Edward J. | Dynamic touch screen amusement game controller |
AU2003303099A1 (en) | 2002-11-29 | 2004-08-13 | Bracco Imaging, S.P.A. | System and method for managing a plurality of locations of interest in 3d data displays |
JP4100195B2 (ja) * | 2003-02-26 | 2008-06-11 | ソニー株式会社 | 3次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム |
KR100526741B1 (ko) * | 2003-03-26 | 2005-11-08 | 김시학 | 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템 |
US7495638B2 (en) | 2003-05-13 | 2009-02-24 | Research Triangle Institute | Visual display with increased field of view |
US7324121B2 (en) * | 2003-07-21 | 2008-01-29 | Autodesk, Inc. | Adaptive manipulators |
US20050093859A1 (en) * | 2003-11-04 | 2005-05-05 | Siemens Medical Solutions Usa, Inc. | Viewing direction dependent acquisition or processing for 3D ultrasound imaging |
US7667703B2 (en) * | 2003-12-19 | 2010-02-23 | Palo Alto Research Center Incorporated | Systems and method for turning pages in a three-dimensional electronic document |
US7312806B2 (en) * | 2004-01-28 | 2007-12-25 | Idelix Software Inc. | Dynamic width adjustment for detail-in-context lenses |
JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
US20050219693A1 (en) * | 2004-04-02 | 2005-10-06 | David Hartkop | Scanning aperture three dimensional display device |
US20050219240A1 (en) * | 2004-04-05 | 2005-10-06 | Vesely Michael A | Horizontal perspective hands-on simulator |
US20050248566A1 (en) | 2004-04-05 | 2005-11-10 | Vesely Michael A | Horizontal perspective hands-on simulator |
JP2007536608A (ja) * | 2004-04-05 | 2007-12-13 | マイケル エー. ベセリー | 水平遠近法ハンズオン・シミュレータ |
EP1781893A1 (en) | 2004-06-01 | 2007-05-09 | Michael A. Vesely | Horizontal perspective simulator |
WO2006112896A2 (en) * | 2004-11-30 | 2006-10-26 | Vesely Michael A | Horizontal perspective representation |
WO2006081198A2 (en) * | 2005-01-25 | 2006-08-03 | The Board Of Trustees Of The University Of Illinois | Compact haptic and augmented virtual reality system |
EP1686554A3 (en) * | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
US20060221071A1 (en) | 2005-04-04 | 2006-10-05 | Vesely Michael A | Horizontal perspective display |
US20060250390A1 (en) | 2005-04-04 | 2006-11-09 | Vesely Michael A | Horizontal perspective display |
JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
US7907167B2 (en) | 2005-05-09 | 2011-03-15 | Infinite Z, Inc. | Three dimensional horizontal perspective workstation |
US20060252978A1 (en) | 2005-05-09 | 2006-11-09 | Vesely Michael A | Biofeedback eyewear system |
US20070043466A1 (en) * | 2005-08-18 | 2007-02-22 | Vesely Michael A | Stereoscopic display using polarized eyewear |
US20070040905A1 (en) * | 2005-08-18 | 2007-02-22 | Vesely Michael A | Stereoscopic display using polarized eyewear |
-
2005
- 2005-05-31 EP EP05757162A patent/EP1781893A1/en not_active Withdrawn
- 2005-05-31 US US11/141,650 patent/US20050275915A1/en not_active Abandoned
- 2005-05-31 US US11/141,640 patent/US20050281411A1/en not_active Abandoned
- 2005-05-31 WO PCT/US2005/019069 patent/WO2005118998A1/en active Application Filing
- 2005-05-31 EP EP05758077A patent/EP1759379A2/en not_active Withdrawn
- 2005-05-31 WO PCT/US2005/019068 patent/WO2005119376A2/en active Application Filing
- 2005-05-31 JP JP2007515485A patent/JP2008506140A/ja active Pending
- 2005-05-31 US US11/141,540 patent/US20050275913A1/en not_active Abandoned
- 2005-05-31 US US11/141,649 patent/US7796134B2/en active Active
- 2005-05-31 JP JP2007515486A patent/JP2008507006A/ja active Pending
- 2005-05-31 US US11/141,651 patent/US20050264558A1/en not_active Abandoned
- 2005-05-31 US US11/141,652 patent/US20050264559A1/en not_active Abandoned
- 2005-05-31 US US11/141,541 patent/US20050275914A1/en not_active Abandoned
- 2005-05-31 KR KR1020077000038A patent/KR20070052261A/ko not_active Application Discontinuation
- 2005-05-31 KR KR1020077000037A patent/KR20070052260A/ko not_active Application Discontinuation
- 2005-05-31 US US11/141,606 patent/US20050264857A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024043772A1 (en) * | 2022-08-23 | 2024-02-29 | Samsung Electronics Co., Ltd. | Method and electronic device for determining relative position of one or more objects in image |
Also Published As
Publication number | Publication date |
---|---|
EP1781893A1 (en) | 2007-05-09 |
US20050264857A1 (en) | 2005-12-01 |
US20050264558A1 (en) | 2005-12-01 |
WO2005118998A1 (en) | 2005-12-15 |
US20050275913A1 (en) | 2005-12-15 |
US20050264858A1 (en) | 2005-12-01 |
KR20070052260A (ko) | 2007-05-21 |
EP1759379A2 (en) | 2007-03-07 |
JP2008507006A (ja) | 2008-03-06 |
US7796134B2 (en) | 2010-09-14 |
US20050275914A1 (en) | 2005-12-15 |
US20050275915A1 (en) | 2005-12-15 |
WO2005119376A2 (en) | 2005-12-15 |
WO2005119376A3 (en) | 2006-04-27 |
US20050281411A1 (en) | 2005-12-22 |
JP2008506140A (ja) | 2008-02-28 |
US20050264559A1 (en) | 2005-12-01 |
WO2005118998A8 (en) | 2006-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20070052261A (ko) | 수평 원근법 시뮬레이터 | |
US9684994B2 (en) | Modifying perspective of stereoscopic images based on changes in user viewpoint | |
US7907167B2 (en) | Three dimensional horizontal perspective workstation | |
CN112205005B (zh) | 使声学渲染适应基于图像的对象 | |
US20050219240A1 (en) | Horizontal perspective hands-on simulator | |
KR20070044394A (ko) | 수평 원근법 핸즈온 시뮬레이터 | |
CN101006492A (zh) | 水平透视显示 | |
US20060126927A1 (en) | Horizontal perspective representation | |
US20050248566A1 (en) | Horizontal perspective hands-on simulator | |
de Bruijn | Application of wave field synthesis in videoconferencing | |
EP3595337A1 (en) | Audio apparatus and method of audio processing | |
JP7402185B2 (ja) | 低周波数チャネル間コヒーレンス制御 | |
JP2010199739A (ja) | 立体表示制御装置、立体表示システムおよび立体表示制御方法 | |
Richie | Audio and visual distance perception of familiar and unfamiliar objects using Wave Field Synthesis and a stereoscopic display | |
Bouvier et al. | Immersive visual and audio world in 3D | |
WO2023064870A1 (en) | Voice processing for mixed reality | |
TW202329684A (zh) | 呈現3d視圖及3d立體聲之裸視立體顯示裝置 | |
Zotkin | Algorithms for acquisition and rendering of sounds in perceptual user interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |