KR100385826B1 - 압축 고해상도 파노라마 조망 시스템 - Google Patents

압축 고해상도 파노라마 조망 시스템 Download PDF

Info

Publication number
KR100385826B1
KR100385826B1 KR10-1999-0035567A KR19990035567A KR100385826B1 KR 100385826 B1 KR100385826 B1 KR 100385826B1 KR 19990035567 A KR19990035567 A KR 19990035567A KR 100385826 B1 KR100385826 B1 KR 100385826B1
Authority
KR
South Korea
Prior art keywords
view
cameras
image processing
pyramid
reflective
Prior art date
Application number
KR10-1999-0035567A
Other languages
English (en)
Other versions
KR20000017552A (ko
Inventor
날와싱비슈비트
Original Assignee
루센트 테크놀러지스 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루센트 테크놀러지스 인크 filed Critical 루센트 테크놀러지스 인크
Publication of KR20000017552A publication Critical patent/KR20000017552A/ko
Application granted granted Critical
Publication of KR100385826B1 publication Critical patent/KR100385826B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/143Beam splitting or combining systems operating by reflection only using macroscopically faceted or segmented reflective surfaces
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

압축 고해상도 전방향 또는 파노라마 뷰어는 공통의 가상 광학 중심을 갖는 몇대의 카메라들을 갖는다. 카메라들의 각각의 조망 시야는 전체적으로 보았을 때 지역의 연속적인 360도 조망을 형성하기 위하여 배열된다. 카메라들은 그것들 각각이 피라미드와 같은 다면체의 다른 반사면을 조망하도록 위치된다. 이것은 각 카메라가 피라미드내에 위치한 가상의 광학 중심을 갖도록 한다. 카메라들은 그것들의 가상의 광학 중심들이 서로 상쇄되도록 위치된다. 상쇄들은 피라미드의 반사면들의 엣지들로부터 받은 이미지 왜곡들을 제거하는 수신 정지 좁은 지역들을 생성한다. 반사 피라미드들은 더 높은 압축율의 파노라마 뷰어를 생성하기 위하여 서로 포개지거나 베이스끼리 겹쳐 쌓인다. 아주 근접하여 두개 이상의 반사 피라미드들을 사용하는 것은 동일한 가상 광학 중심을 갖는 많은 카메라들을 사용하는 것을 허용한다. 많은 카메라들을 사용하는 것은 큰 조망 지역을 개개의 카메라가 각각의 작은 지역을 조망하는 많은 작은 지역으로 분할 한다. 각각의 카메라가 작은 지역을 조망하기 때문에, 개선된 해상도가 사용자에게 제공된다.

Description

압축 고해상도 파노라마 조망 시스템 { Compact high resolution panoramic viewing system }
본 발명은 조망 시스템, 특히 파노라마 조망 시스템에 관한 것이다.
좀 더 효율적으로 동작하도록 하기 위해서, 몇몇 작업들이 텔레프레즌스(telepresence)를 사용하도록 하는 것이 바람직하다. 텔레프레즌스는 사용자가 현재 원거리에 있을 지라도 사용자가 느낄 수 있는 시각적 또는 다른 타입의 감각 정보를 원거리 디바이스에서 사용자까지 제공하는 것을 참조한다. 예를 들면, 많은 사업들이 현재 텔레프레즌스를 이용하여 회의를 하고 있다. 텔레프레즌스는 또한 콘서트와 스포츠와 같은 이벤트의 원거리 조망과 근거리 학습에 유용하다. 좀 더 실제적인 텔레프레즌스는 예를 들어, 사용자에게 회의실을 둘러보는 것 같은 능력을, 사용자에게 조망들과 모방의 사이를 스위치할 수 있는 기능이 제공된다.
종전에, 몇가지 뷰어들이 사용자에게 유용하도록 만들어졌을 때, 다른 광학 중심을 갖는 몇가지 카메라들이 사용되었다. 그러한 예가 도 1에 도시된다. 도 1은 광학 중심들(10)와,(12)와,(14)와,(16)을 각각 갖는 카메라들(2)와,(4)와,(6)과,(8)을 도시한다. 사용자가 조망들을 변화하고자 했을 때, 사용자는 간단히 카메라들 사이에서 스위치하였다. 보다 정교한 시스템에서, 사용자가 조망들을 바꾸고자 할때, 사용자는 부가적인 광학적 중심들(18),(20),(22),(24),또는(26)으로부터 뿐만이 아니라 광학 중심들(10),(12),(14),또는(16)으로부터 조망을 얻을 수 있었다. (18),(20),(22),(24),및 (26)과 같은 광학 중심들과 연관된 조망들은 두 개의 가장 가까운 카메라들로부터 선택된 광학 중심까지 조망들을 사용함으로써 얻어진다. 예를 들어, 광학 중심(18)로부터의 조망은 카메라들(2) 및 (4)로부터의 조망들을 사용하고 광학 중심(18)로 부터의 조망을 모의 실험하기 위하여 두 개의 조망들 사이에서 삽입함으로써 얻어진다. 그러한 과정들은 조망들에게 불규칙성을삽입하게 된다. 또한, 이들 삽입된 조망들을 형성하는 것은 많은 양의 계산들과 시간을 필요로 하여 이 기술을 사용자의 명령들에 응답하기에 비싸고 느리게 만들었다. 이 계산의 오버헤드(overhead)는 또한 시스템을 동시에 사용할 수 있는 사용자의 수를 제한한다.
도 1은 종래 기술의 복수의 카메라 조망 시스템을 도시하는 도.
도 2는 반사면들을 갖는 4개의 측면의 피라미드를 사용하는 4대의 카메라 전방향 또는 파노라마 조망 시스템을 도시하는 도.
도 3은 피라미드의 반사면이 각 카메라에게 공통의 광학 중심을 제공하기 위하여 사용되는 방법을 도시하는 도.
도 4는 카메라 위치들을 도시하는 피라미드의 평면도.
도 5는 반사측 표면들을 갖는 8개의 측면을 갖는 피라미드를 도시하는 도.
도 6는 도 5의 피라미드의 평면도.
도 7은 카메라들에 의해 생성되는 데이터를 제어하기 위한 시스템의 블럭 도.
도 8은 카메라들로부터 수신한 데이터와 사용자에게 보여지는 조망사이에서의 연관을 도시하는 도.
도 9은 도 7의 메모리를 위한 번지 지정 개략을 도시하는 도.
도 10은 도 7의 제어기의 블럭 도.
도 11은 5번째 카메라를 갖는 도 2의 조망 시스템을 도시하는 도.
도 12는 옮겨놓은 가상의 광학 중심들을 갖는 도 2의 피라미드의 평면도.
도 13은 수신 정지 지역들에 위치한 명암을 갖는 도 12의 파리미드를 도시하는 도.
도 14는 베이스끼리 쌓아놓은 피라미드들을 사용하는 파노라마 뷰어를 도시하는 도.
도 15는 포개진 피라미드들을 사용하는 파노라마 뷰어를 도시하는 도.
도 16은 포개진 피라미드들을 사용하는 구형의 뷰어를 도시하는 도.
도 17은 파노라마 뷰어를 지원하기 위해 사용되는 스탠드를 도시하는 도.
도 18은 왜곡의 두가지 타입들을 도시하는 도.
도 19는 눈금 측정을 도시하는 도.
도 20는 카메라들로 부터 수신한 데이터와 사용자에게 보여지는 왜곡된 조망사이에서의 연관을 도시하는 도.
도 21은 왜곡된 이미지 데이터가 저장되는 방법을 도시하는 도.
도 22는 매핑된(mapped) 이미지 데이터가 저장되는 방법을 도시하는 도.
도 23은 이미지 매핑(mapping)이 사용되는 파노라마 카메라 시스템의 블럭도.
* 도면의 주요부분에 대한 부호의 설명 *
40 :피라미드 70 : 꼭지점
174 : 제어기 50 : 베이스
72 : 메모리 170 : 다중 송신기
본 발명의 실시예는 복수의 카메라들이 효과적으로 평면 거울에 의해 리다이렉트되는(redirected) 시야를 갖는 이들 카메라들의 최소한 하나에서 공통의 광학 중심을 갖는 전방향의 또는 파노라마 뷰어를 제공한다. 카메라들의 각각의 시야는 전체적으로 연속적인 360도 시야를 형성하기 위하여 배열된다. 종래의 기술에서 사용된 삽입의 계산 오버헤드를 요구함없이 카메라들의 복합 또는 하나 이상, 한 카메라의 출력을 사용하여 간단하게 사용자는 조망의 360도를 바라볼 수 있고 각각의 조망은 동일한 광학 중심에 있거나 근처에 있다. 그러한 배열은 뷰어가 보다 실물과 같은 포맷으로 회의실을 보도록 함으로써 가상회의실의 사용을 높이도록 사용된다. 이 포맷은 사용자가 특정한 시간에 간단하게 조망을 변화하도록 하는 실제의 회의에 참석한 사람들에게 부합한다.
본 발명의 다른 실시예에서, 카메라들은 그것들 각각이 단단한 또는 속이 빈 피라미드와 같은 단단한 또는 속이 빈 다면체의 다른 반사 측면을 조망하도록 위치된다. 이것은 각 카메라가 피라미드내에 위치한 가상의 광학 중심을 갖도록 기인한다. 카메라들은 그것들의 가상의 광학 중심들이 서로 상쇄되도록 위치된다. 상쇄는 피라미드의 반사 측면들의 엣지들로부터 수신된 이미지 왜곡들을 제거하는 좁은 수신 정지 지역들을 생성한다.
본 발명의 또 다른 실시예에서, 스테레오 파노라마 조망은 복수의 가상의 광학 중심들의 사용을 통하여 제공된다. 피라미드와 같은, 영상 다면체 요소는 피라미드내에 제 1 위치에서 실질적으로 같이 위치한 가상의 광학 중심들의 그룹을 형성하는 카메라들의 제 1 세트에서 각 카메라의 조망의 시야를 리다이렉트한다. 상기 피라미드는 또한 피라미드내에 제 2 위치에서 실질적으로 같이 위치한 가상의 광학 중심들의 그룹을 형성하는 카메라들의 제 2 세트에서 각 카메라의 조망의 시야를 리다이렉트한다. 제 1 및 제 2 가상의 광학 중심들로부터의 파노라마 이미지들은 한 파노라마 이미지는 사용자의 왼쪽 눈에 보여지고 다른 파노라마 이미지는 사용자의 오른쪽 눈에 보여질 때 스테레오 파노라마 조망을 제공한다.
본 발명의 또 다른 실시예에서, 반사 측면을 갖는 피라미드와 같은 다면체는 압축된 파노라마 뷰어를 생성하기 위하여 서로 포개어지거나 베이스끼리 겹쳐 있다. 그러한 방식으로 복수의 영상 다면체들을 사용하는 것은 동일한 가상의 광학 중심 또는 거의 동일한 가상의 광학 중심들을 갖는 많은 카메라들을 사용하는 것을 허용한다. 많은 카메라들을 사용하는 것은 하나의 큰 조망 지역을 개별의 카메라가 각각의 작은 지역을 조망하는 많은 작은 지역으로 분할한다. 각각의 카메라가 작은 지역을 조망하기 때문에, 개선된 해상도가 사용자에게 제공된다.
본 발명의 다른 실시예에서, 피라미드와 같은 반사 다면체는 피라미드의 꼭대기를 통과하는 기둥에 의해 지탱된다. 카메라들은 파노라마 뷰어에 밑받침 구조와 개별 카메라들을 지지하기 위한 구조를 제공하기 위하여 기둥에 탑재된다.
본 발명의 또 다른 실시예에서, 거의 구형의 조망은 뷰어의 공통 가상의 광학 중심에 카메라를 위치시킴으로써 사용자에게 제공된다. 구형의 조망을 강화하기 위하여, 공통 가상의 광학 중심에서 카메라는 와이드 앵글 렌즈를 사용할 수 있다.
본 발명의 또 다른 실시예에서, 조망 디바이스는 이미지 처리 디바이스의 어떤 타입이라도 포함할 수 있다. 이미지 처리 디바이스가 카메라이거나 또는 이미지 포착 디바이스의 다른 타입이라면, 파노라마 이미지는 사용자를 위해 포착되고, 이미지 처리 디바이스가 영사기이거나 또는 이미지 생성 디바이스의 다른 타입이라면, 파노라마 이미지가 사용자를 위해 생성된다.
도 2는 사용자에게 360도 조망을 제공하는 4대의 카메라를 도시하고, 카메라들 각각은 그 피라미드내에 공통 또는 거의 공통의 가상의 광학 중심을 갖는다. 피라미드(40)는 반사면들(42),(44),(46) 및 (48)를 가지며 속이 비거나 또는 단단하거나 또는 불완전한 구조일 수 있다. 양호한 실시예에서, 반사 측면들의 각각은 베이스(50)에 평행한 평면과 45도 앵글을 형성하고 피라미드(40)의 꼭지점을 통과한다. 카메라들(52),(54),(56) 및 (58)은 피라미드 반사면들(48),(42),(44),및 (46)에 각각이 연관되어 있다. 카메라들은 광학 스캐너와 같은 이미지 수집 디바이스들이다. 결과적으로, 카메라(52)는 화살표(60)의 방향에서 오브젝트를 조망할 수 있도록 표면(48)로부터의 반사를 조망한다. 카메라(54)는 화살표(62)의 방향에서 오브젝트들을 조망하도록 표면(44)로부터 반사를 조망한다. 카메라(56)는 화살표(64)의 방향에서 오브젝트들을 조망하기 위하여 표면(44)으로 부터 반사를 조망한다. 카메라(58)는 화살표(66)의 방향에서 오브젝트들을 조망하도록 표면(46)으로 부터 반사를 조망한다. 각각의 카메라는 90도의 시야를 갖는다. 그러나 넓 시야들이 사용되고 이미지의 오버랩(overlap) 부분은 오버랩 조망들과 연관된 픽셀들을 조합하거나 삭제함으로써 제거된다. 피라미드(40)상의 연관된 반사면들로부터 4대의 카메라 조망 반사들의 조합은 피라미드(40)의 둘러싸는 지역의 360도 시야를 생성한다. 거울들이 피라미드 베이스에 대해 45도 일때, 피라미드(40)의 교차 꼭지점(70)과 베이스(50)에 평행한 평면상에 각 카메라의 광학 중심을 위치시키는 것이 바람직하다. 각 카메라의 광학 중심은 또한 카메라의 연관된 반사면의 베이스 라인에 수직이고 꼭지점(70)을 통과하는 라인에 위치해야 한다. 예를 들어, 카메라(54)의 광학 중심은 라인(72)에 위치한다. 라인(72)는 반사면(42)의 베이스 라인(74)에 수직이다. 라인(72)는 꼭지점(70)을 통과하는 평면에 위치하고 베이스(50)에 평행하다. 또한, 카메라(56)의 광학 중심은 베이스 라인(78)에 수직인 라인(76)에 위치하고, 카메라(58)의 광학 중심은 베이스 라인(82)에 수직인 라인(80)에 위치하고, 카메라(52)의 광학 중심은 베이스 라인(86)에 수직인 베이스 라인(84)에 위치한다.
각 카메라 광학 중심은 꼭지점(70)으로 부터 거리 X에 전술된 라인들의 하나에 위치하고, 각 카메라는 베이스(50)에 수직인 조망 지시의 방향 또는 광학 축을 갖고 있다. (거리 X는 반사면이 바람직한 카메라 시야의 대부분을 반영할 정도가 되어야 한다. 그러나, 반사면에서의 결함은 카메라가 반사면에 더 가까이 이동할 때 더 가시화된다.) 광학 중심들의 이 위치는, 카메라들이 실질적으로 위치(90)에 위치한 가상의 광학 중심을 공유하도록 한다. 가상의 광학 중심(90)은 꼭지점(70)을 통과하고 베이스(50)에 수직인 라인상의 꼭지점(70)으로부터 거리 X에 위치한다.
피라미드 구성이 이 예에서 논의되어 왔지만, 다른 평면 거울 기하학은 카메라들이 실질적으로 같이 위치하는 가상의 광학 중심들을 갖도록 조망의 시야들을 리다이렉트하기 위하여 사용된다. 예를 들어, 단단한, 속이 빈, 또는 부분적으로 그러한 다면체들이 사용된다. 부가적으로, 피라미드 구성의 경우에서 베이스와 꼭지점은 실질적으로 존재할 필요가 없고 베이스 평면 또는 끝과 꼭지점 또는 끝과 같은 개념적 보조 기구로 간주될 수 있다.
도 3은 오직 카메라(54)가 단순하게 도시된 피라미드(40)의 다른 조망을 도시한다. 카메라(54)는 피라미드(40)내의 위치(90)에 또는 거의 근처에 가상의 광학 중심을 갖도록 라인(72)상에 위치한다. 카메라(54)가 베이스(50)에 수직인 방향에서 조망의 90도 시야를 갖는다면, 그리고 카메라(54)의 광학 중심이 라인(72)를 따라 꼭지점(70)으로부터 X의 거리에 있다면, 카메라(54)는 화살표(62)의 방향에서 90도 조망을 갖는다. 비슷한 방법으로, 카메라들(56),(58) 및 (52)는 화살표(64),(66) 및 (60)의 방향에서 각각 90도의 조망들을 갖는다. 이 배열은 조망의 90도 시야를 갖는 카메라들이 비교적 비싸지 않은 광학을 갖기 때문에 비싸지 않게 지역의 360도 시야를 생성한다.
도 4는 피라미드(40)의 평면도이다. 도 4는 라인(72)를 따라 카메라(54)의광학 중심의 배치를 도시한다. 라인(72)는 꼭지점(90)을 통과하고 베이스(50)에 평행한 평면에 위치하여야 한다. 라인은 피라미드(40)의 베이스 라인(74)에 수직이어야 한다. 카메라의 광학 중심은 라인(72)를 따라 꼭지점(70)으로부터 거리 X 또는 대체적으로 X의 거리에 위치하여야 한다. 포인트(100)은 꼭지점(70)으로부터 라인이 수직적으로 베이스(50)에 교차하는 위치에서 베이스(50)상에 위치한다. 비슷한 방법으로, 카메라들(56),(58) 및 (52)의 광학 중심들은 각각이 라인들(76),(80) 및 (84)를 따라 거리 X 또는 대략적으로 X의 거리에 위치한다.
도 5는 8개의 측면을 갖는 피라미드(120)를 도시한다. 피라미드(120)는 표면들(122)의 각각이 꼭지점(130)을 통과하고 베이스(124)에 평행한 평면과 45도 앵글을 형성하는 반사면들(122)을 갖는다. 도 2의 4개의 측면을 갖는 피라미드처럼, 도 5의 각 반사면은 그것과 연관된 카메라를 갖는다. 각 카메라의 광학 중심은 꼭지점(130)을 통과하고 베이스(124)에 평행한 평면에 존재하는 라인상에 위치한다. 라인은 위치되기 위하여 카메라와 연관된 반사면의 베이스 라인(132)에 수직이다. 8개의 측면을 갖는 피라미드를 사용하는 것은 360도 조망을 얻기 위하여 45도 수평 시야를 갖는 카메라들을 사용하는 것에 이점을 준다. 오직 45도 시야를 갖는 카메라들은 비싸지 않은 광학을 가지며, 360도 조망이 비교적 비싸지 않은 부품들을 사용하여 구성되도록 할 수 있다.
도 6는 피라미드(120)의 평면도이다. 도 5와 관련해서, 각 카메라의 광학 중심은 꼭지점(130)을 통과하고 베이스(124)에 평행한 평면에 위치한 라인(134)를 따라 위치된다. 광학 중심들은 적절한 베이스 라인(132)에 수직인 라인(134)을 따라, 거리 X 또는 실질적으로 X의 거리에 위치한다. 포인트(140)는 꼭지점(130)을 통과하는 라인과 베이스(124)사이의 교차점상의 베이스(124)에 위치하고 베이스(124)에 수직이다.
다소 반사 측면들을 갖는 다면체 또는 피라미드들이 사용된다. 많은 측면들을 갖는 피라미드들을 사용하는 이점은 좁은 시야에 적당한 카메라들이 사용되는 점이다. 적당한 시야를 갖는 카메라들은 비교적 비싸지 않은 광학을 갖는다. 피라미드에서 사용되는 측면의 수는 많은 카메라들을 제공하는 비용에 의해 다소 제한된다. 장면의 360도 조망은 3개의 반사 측면들을 갖는 피라미드를 사용함으로써 제공된다. 조망의 360도 시야를 제공하기 위하여 오직 3개의 측면을 갖는 피라미드를 사용하는 것은 비용이 많이 든다. 본 발명의 이 실시예는 각각이 조망의 120도의 시야를 갖는 3대의 카메라들을 사용하고, 그러한 조망의 넓은 시야를 갖는 카메라들은 비교적 비싼 광학 부품들을 사용한다.
완전 360도 조망이 필요하지 않은 응용에서는, 피라미드의 각 반사면에 연관된 카메라를 갖지 않는 뷰어를 설치하는 것이 가능하다. 불필요한 카메라를 제거하는 것 외에 또, 부분적인 피라미드들 또는 부분적인 다면체들인 반사 요소들을 사용함으로써 불필요한 피라미드 다면체 표면을 제거하는 것이 또한 가능하다.
피라미드 구성이 이 예에서 논의되었음에도 불구하고, 다른 평면 거울 기하학은 카메라들이 실질적으로 같이 위치한 가상의 광학 중심들을 갖도록 조망의 시야를 리다이렉트하기 위하여 사용된다. 부가적으로, 피라미드 구성의 경우에 베이스와 꼭지점은 물리적으로 존재할 필요가 없고 베이스 평면 또는 끝 및 꼭지점 또는 끝과 같은 개념적 도구로써 간주되어질 수 있다.
도 7은 도 2내지 도 4에서 서술된 조망 디바이스과 같은 조망의 카메라들에 의해 생성되는 데이터를 제어하기 위한 시스템의 블럭 도를 도시한다. 카메라들(52),(54),(56),및 (58)은 그것들의 피라미드(40)에 연관된 반사면들을 통하여 지역의 360도 시야를 얻는다. 카메라들(52),(54),(56) 및 (58)의 이미지 신호 또는 출력 신호는 아날로그/디지털 변환기들(A/D)(160),(162),(164) 및 (166)을 각각을 통과한다. 카메라들의 출력은 픽셀들의 흐름으로써 간주되고 A/D들의 출력은 카메라들로부터의 픽셀들의 데이터 표본으로써 간주될 수 있다. A/D들의 출력은 다중 송신기(170)를 통과한다. 다중 송신기(170)는 A/D들의 각각으로부터 픽셀 데이터가 메모리(72)에 도달하도록 한다. 제어기(174)는 모든 A/D들의 출력들이 메모리(72)에 저장되도록 하기 위해 다중 송신기(170)의 선택 라인들을 순환한다. 다중 송신기(170)는 카메라들의 4배의 픽셀 속도로 스위치된다. 다소 카메라들이 사용된다면, 다중 송신기(170)가 스위치되는 속도는 그에 따라 증가되거나 느려질 것이다. 개별적인 메모리에서 각 A/D의 출력을 저장하고 다중 송신기(170)를 삭제하는 것이 가능하다. 제어기(174)는 메모리(172)로 번지 지정을 제공하기 위하여 사용되는 카운터들과 다중 송신기(170)의 스위칭을 제어하는 카운터들로 제어 신호들을 제공하는 마이크로프로세서를 사용하기 위한 수단이 된다. 카운터들로의 제어 신호들은 리셋과 인에이블 및 상쇄 시작을 포함한다.
메모리(172)로 보내지는 픽셀 정보의 결과로써, 메모리(172)는 장면의 360도 조망을 포함한다. 메모리(172)에 저장되는 픽셀 정보는 디지털/아날로그변환기(D/A)(176)에서 비디오 디스플레이(178)까지 통과된다. D/A(176)을 통하여 비디오 디스플레이(178)로 통과되는 메모리(172)의 실제 부분은 사용자 입력 디바이스(180)를 통하여 제어된다. 사용자 입력 디바이스(180)는 마우스,조이스틱,또는 키보드와 같은 일반 디바이스이다. 사용자는 간단히 그의 조망을 오른쪽으로 움직이기 위하여 조이스틱을 오른쪽으로 기울이고 조망을 왼쪽으로 움직이기 위하여 조이스틱을 왼쪽으로 기울이고, 조망을 현상태로 두기 위하여는 중앙에 조이스틱을 놓아두면 된다. 사용자 디바이스(180)로부터 입력에 의거하여, 제어기(174)는 상쇄들과 메모리(172)로 번지 지정을 제공하기 위하여 사용되는 시작 번지들을 변화시킨다.
도 8은 카메라들에 의해 제공되는 데이터와 사용자에게 유용한 조망사이에서의 관계를 도시한다. 카메라들이 가상의 광학 중심을 공유하기 때문에, 조망은 원통형의 조망으로써 간주될 수 있다. 섹터(200)는 카메라(52)에 의해 제공되는 정보 표현으로써 간주될 수 있고, 섹터(202)는 카메라(54)에 의해 제공되는 정보 표현으로써 간주될 수 있고, 섹터(204)는 카메라(56)에 의해 제공되는 정보 표현으로써 간주될 수 있고, 섹터(206)는 카메라(58)에 의해 제공되는 정보 표현으로써 간주될 수 있다. 각 섹터에서 원통형의 표면은 열들의 집합으로써 간주될 수 있고, 각 열들은 픽셀들로 구성된다. 예를 들어, 섹터(200)는 열들(210),(212),(214) 및 (216)을 포함하는 열들의 집합으로써 간주될 수 있다. 또한 역시, 카메라(54)에 의해 생성되는 출력은 섹터(202)에서 열(218)을 포함하는 열들의 집합으로써 간주될 수 있고, 카메라(58)의 출력은 섹터(206)에서 열(220)과 같은 열들을 포함할 수있다.
도 9는 메모리(172)가 사용자 입력 디바이스(180)로부터의 신호들에 의거하여 다른 조망들로 쉽게 액세스 할 수 있도록 분할되는 방법을 도시한다. 섹션들(230),(232),(234) 및 (236)은 각각이 섹터들(206),(200),(202) 및 (204)에 해당한다. 섹션들(230),(232),(234) 및 (236)의 각각은 메모리(172)내의 블럭으로써 간주될 수 있다. 메모리(172)내의 블럭들은 연속적인 번지들의 열들로 쪼개진다. 메모리 세그먼트(230)의 제 1열은 섹터(206)의 픽셀들의 제 1열에 해당한다. 열과 관련된 메모리 위치들의 수는 최소한 특정한 열에서 각 픽셀을 위한 위치를 갖도록 충분해야 한다. 예를 들어, 도 8로부터의 픽셀들의 열이 1000개의 픽셀들을 포함한다면, 도 9의 메모리 세그먼트와 연관된 각 열은 최소한 1000개의 위치를 가져야 한다. 특정한 메모리 세그먼트와 연관된 열들의 수는 도 8의 원통형의 특정한 섹션에 연관된 열들의 수와 최소한 동일해야 한다.
카메라가 수평방향으로 스캐닝 한다면, 상쇄를 카운터 생성된 어드레스로 단순히 변화시킴으로써 특정한 메모리 세그먼트의 인접한 열에. 그러나 어쩌면 다른 행들에 연속적인 픽셀들이 기록된다. 전체의 기록 어드레스는 상쇄를 카운터의 출력에 가산함으로써 생성된다. 이 상쇄는 수평방향으로 스캔된 픽셀들이 수신되는 속도로 변화된다. 결과적으로, 기록 순환 주기동안 메모리의 특정한 세그먼트를 번지 지정할 때, 열들은 수평방향의 픽셀 스캔 속도에서 상쇄를 변화시키고 수직 스캔 속도에서 카운터를 증가시킴으로써 번지 지정된다. 번지 지정 개략의 이 타입은 각 메모리 세그먼트내의 열들을 액세스하기 위하여 사용된다. 기록 순환 주기동안 다른 메모리 세그먼트들을 번지 지정 할 때, 기록 세그먼트 상쇄는 카운터 출력과 열 상쇄의 합에 가산된다. 기록 세그먼트 상쇄는 다중 송신기(170)가 스위치될 때의 동일한 속도로 변화된다.
픽셀 데이터는 유사한 방식으로 메모리(172)로부터 판독된다. 카운터 출력의 합과 상쇄들의 두 셋트들은 판독된 어드레스를 생성하기 위하여 사용된다. 일단 초기의 시작 열이 선택되면, 판독된 어드레스는 비디오 디스플레이의 수평 방향의 스캔 속도과 동일한 속도로 판독된 열 상쇄를 스위칭함으로써 생성된다. 데이터의 하나의 수평 방향의 스캔을 판독한 후에, 판독된 카운터는 증가되고 판독된 열 상쇄들은 디스플레이의 수평방향의 스캔 속도과 동일한 속도로 변화된다. 결과적으로, 상쇄 어드레스들은 디스플레이의 수평 방향의 디스플레이 속도로 변하고 카운터는 디스플레이의 수직 스캔 속도과 동일한 속도로 증가된다. 비디오 디스플레이에 의해 요구되는 것 보다 더 빠른 또는 더 느린 속도로 데이터를 판독하는 것이 가능하다. 그러나, 더 빨리 판독하면, 버퍼 메모리가 사용되고, 더 늦게 판독하면, 비디오 디스플레이가 뷰어에 고르지 못하게 나타난다.
도 8의 픽셀들의 원통형의 배열은 통상적으로 편평하거나 거의 편평한 디스플레이상에 디스플레이되는 것을 인지해야 한다. 결과적으로, 이미지는 원통형의 표면 및 편평한 표면 사이에서의 변환을 위한 보상으로써 디스플레이된다. 이것은 일반적인 집적 회로를 처리하는 일반적인 디지털 신호내에서 간단한 변환 알고리즘을 사용하기 위하여 실행된다. 변환들의 이런 타입들을 위한 방법들은 당업계에 잘 알려져 있고 "에디슨-웨슬리 출판사의 컴퓨터 비젼의 안내 여행, 1993년 메사츄세츠주"에서 찾을 수 있다. 또한 초고해상도 디스플레이를 사용하는 변환을 실행하는 것이 가능하다.
사용자에 의해 선택된 조망이 정확하게 카메라(52)와 같은, 특정한 카메라의 조망에 해당한다면, 열들(240-248)은 메모리(170)로부터 판독된다. 열(240)은 세그먼트(232)에서 제 1열이고, 열 248은 세그먼트(232)에서의 마지말 열이다. 만약 사용자가 카운터 시계 방향으로 조망을 움직이기로 결정한다면, 시작 열은 판독 동작이 열(246)에서 시작하고 열(250)에서 끝나도록 하기 위하여 오른쪽으로 이옹할 것이다. 열(246)은 카메라(56)으로부터 픽셀 데이터를 갖는 메모리 세그먼트(232)와 연관된 제 2 열이라는 점과 열(250)은 카메라(56)과 연관된 픽셀 데이터의 제 1열이라는 점을 인지해야 한다. 사용자가 조망을 이동시킴에 따라, 시작 열은 사용자의 명령들과 관련하여 움직인다. 예를 들어, 사용자가 조망이 카운터 시계방향으로 이동하도록 지시한다면, 도 9의 시작 열은 오른 쪽으로 움직이고, 뷰어가 조망이 시계 방향으로 움직이도록 지시한다면, 시작 열은 왼쪽으로 이동한다. 앞서와 같이, 열들은 상쇄들을 사용함으로써 어드레스되고, 상쇄들이 메모리 세그먼트들 사이에서의 이동을 포함한다면, 판독된 세그먼트 상쇄는 열 상쇄와 카운터 출력의 합에 가산된다.
도 10은 제어기(174)의 블럭도를 도시한다. 제어기(174)는 마이크로프로세서(270)와 메모리(272)를 포함한다. 메모리(272)는 램(RAM)과 롬(ROM)을 포함한다. 프로세서(270)는 사용자 입력 디바이스(180)으로 부터 라인(274)상의 명령들을 수신한다. 마이크로프로세서(270)는 카운터(276)의 시작,정지,리셋을 제어한다. 카운터(276)는 다중 전송기(170)의 선택된 라인들을 제어한다. 카운터(276)는 카메라들의 4배의 수평의 스캔 속도로 카운트한다. 기록 어드레스 생성기(278)는 메모리(172)를 위한 기록 번지 지정을 제공한다. 기록 어드레스 생성기(278)는 카운터와 상쇄들을 저장하기 위한 레지스터와 상쇄들과 카운터 출력을 가산하기 위한 가산기를 포함한다. 마이크로프로세서(270)는 상쇄 선택과 기록 어드레스 생성기(278)에 의해 사용되는 카운터들을 제어한다. 기록 어드레스들은 도 9에 대해 서술한 것과 같이 형성된다. 판독 어드레스 생성기(280)는 판독된 어드레스들을 메모리(172)에 제공한다. 판독 어드레스 생성기(280)는 카운터와 상쇄들을 저장하기 위한 레지스터와 상쇄들과 카운터 출력을 가산하기 위한 가산기를 포함한다. 기록 어드레스 생성기(278)에서 마이크로프로세서(270)는 상쇄 선택과 판독 어드레스 생성기(280)의 카운터들을 제어한다. 마이크로프로세서(270)는 또한 사용자 입력(180)으로부터 라인(274)상에 제공되는 입력들에 의거한 카운터들에 의해 사용된 시작 열들을 제어한다.
메모리(172)가 두개의 포트(port) 메모리를 사용하기 위한 도구가 된다면 기록 및 판독 어드레스들은 개별적으로 메모리(172)에 제공된다. 메모리(172)가 단일 포트 메모리와 함께 쓰인다면, 읽기 및 판독 어드레스들은 메모리(172)로 다중전송된다.
도 11은 제 5 카메라를 갖는 도 2의 조망 시스템을 도시한다. 이미지 수집 디바이스(400) 또는 카메라는 가상 광학 중심(90)에 또는 가깝게 위치한 카메라(400)의 광학 중심을 갖는 피라미드(40)내에 위치한다. 카메라(400)는 화살표(410)의 방향에서 오브젝트들을 조망한다. 남아있는 4대의 카메라들의 조망들과 연결된 결과 조망은 거의 구형의 조망을 제공한다. 도 11의 카메라들이 이미지 생성 디바이스들로 교체된다면, 거의 구형의 조망 시스템은 거의 구형의 영사 시스템이 된다. 카메라 또는 영사 디바이스는 서 너개 이상의 측면들을 갖는 피라미드들을 갖는 조망/영사 디바이스들의 가상의 광학 중심에 위치한다는 점을 인지해야 한다. 반사면들의 베이스 엣지들(420)은 카메라(400)의 시야의 바람직하지 않은 장애물을 피하기 위하여 비스듬히 잘려야 한다는 점을 인지해야 한다. 이동 카메라 또는 이미지 처리 디바이스(400)에 의해 베이스 엣지들(420)로부터 바람직하지 않은 이미지 가공을 피하는 것이 가능하다. 디바이스(400)는 디바이스(400)의 광학 중심이 화살표(410) 방향에서 가상의 광학 중심(90)으로부터 멀리 위치하도록 이동되어야 한다.
도 12는 도 2의 피라미드의 평면도를 도시한다. 도 2 에서, 카메라(52),(54),(56) 및 (58)는 베이스(50)의 방향으로 위로 이동된다. 결과적으로, 가상의 광학 중심들(500),(502),(504) 및 (506)은, 각각이 카메라들(52),(54),(56) 및 (58)에 해당하고, 가상의 광학 중심(90)으로부터 멀리 이동된다. 카메라(52)가 피라미드의 엣지에 의해 영향 받지 않는 라인들(508)과 (510) 사이의 이미지를 포착하고, 카메라(56)가 피라미드의 엣지에 의해 영향을 받지 않는 라인들(516)과 (518)사이의 이미지를 포착하고, 카메라(58)가 피라미드의 엣지에 의해 영향을 받지 않는 라인들(520)과 (522)사이의 이미지를 포착하도록 가상의 광학 중심들을 이동하는 것이 바람직하다. 이것은 카메라들이 좁은 평면 모양의 지역들로 부터 피라미드의 엣지에 의해 왜곡되는 이미지들을 포착하지 않도록 한다. 특별히, 평면 지역들(524),(526),(528) 및 (530)은 사용되지 않고 수신 정지 지역들을 형성한다. 이것은 반사 피라미드의 엣지에 의해 왜곡되는 이미지 지역들을 제거하는 이점을 제공한다. 조망의 시야들의 이러한 부분들을 제거하는 것은 엣지들에서 이미지 장애들을 보상하는 이미지 처리를 제공할 필요성을 덜어준다. 평면들(524),(526),(528), 및 (530)은 엣지 장애들을 피하기 위해 필요한 만큼 얇다. 그러한 얇은 평면들을 유지함으로써, 사용자에 의해 인지되는 주목할만한 효과를 최소화하는 동안 그것들의 공통 경계면들에서 이미지들을 처리할 필요성이 없어진다.
도 13은 평면 지역들(524),(526),(528) 및 (530)에서 위치된 명암들 (560),(562),(564) 및 (566)을 갖는 도 12의 피라미드를 도시한다. 명암들은 카메라들로 들어오는 불필요한 빛의 양을 줄인다. 비슷한 명암들은 하나 또는 그이상의 다른 이미지 처리 디바이스들과 디바이스(400)사이에서의 수신 정지 지역들에 위치한다. 베이스(50)의 뒤의 소스들로 부터 카메라들(52),(54),(56) 및 (58)로 들어가는 불 필요한 빛의 양을 줄이기 위하여 명암의 엣지들을 베이스의 엣지들로 확장하는 베이스(50)상에 명암을 위치시키는 것이 또한 가능하다.
도 14는 베이스를 맞대어 놓은 구성으로 배열된 반사 피라미드들(602)와 (604)를 도시한다. 베이스들은 서로 붙어 있거나 또는 떨어져 있다. 반사면들(602)와 (604)는 서로 4개의 반사 측면들을 갖는다. 피라미드(602)는 반사 측면들(608),(610),(612) 및 (614)를 갖는다. 반사 피라미드(604)는 반사 측면들(616),(618),(620),(622)를 갖는다. 피라미드(602)는 꼭지점(624)를 포함하고 피라미드(604)는 꼭지점(626)을 포함한다. 꼭지점들(624) 및 (626)은 각 피라미드의 베이스에 수직인 라인(628)상에 위치한다. 각 피라미드는 반사면에 의해 리다이렉트되는 시야를 갖는 카메라들과 같은 4개의 이미지 처리 디바이스들을 갖는다. 피라미드(602)에 대해, 포인트(630)에 위치한 광학 중심을 갖는 카메라는 조망의 시야가 반사면(608)에 의해 리다이렉트되는 화살표(632)의 방향의 시야를 갖는다. 포인트(634)에서 광학 중심을 갖는 제 2 카메라는 반사면(610)에 의해 리다이렉트되는 화살표(636)의 방향의 시야를 갖는다. 포인트(638)에서 광학 중심을 갖는 제 3 카메라는 반사면(612)에 의해 리다이렉트되는 화살표(640)의 방향의 시야를 갖는다. 포인트(642)에서 광학 중심을 갖는 제 4 카메라는 반사면(614)에 의해 리다이렉트되는 화살표(644) 방향의 시야를 갖는다. 반사 피라미드(604)에 대해, 포인트(646)에서 광학 중심을 갖는 제 1 카메라는 반사면(616)에 의해 리다이렉트되는 화살표(648) 방향의 시야를 갖는다. 포인트(650)에서 광학 중심을 갖는 제 2 카메라는 표면(618)에 의해 리다이렉트되는 화살표(652) 방향의 시야를 갖는다. 포인트(654)에서 광학 중심을 갖는 제 3 카메라는 반사면(620)에 의해 리다이렉트되는 화살표(656) 방향의 시야를 갖는다. 포인트(658)에서 광학 중심을 갖는 제 4 카메라는 반사면(622)에 의해 리다이렉트되는 화살표(660) 방향의 시야를 갖는다. 각 피라미드들과 연관된 카메라들은 4대의 카메라들의 각 세트가 공통 가상의 광학 중심을 공유하거나 또는 그것들의 관련된 피라미드내에 가상의 광학 중심들을 가깝게 밀집하도록 하기 위해 각 카메라들이 도 2,3,4,11, 및 12와 관련하여 위치되도록 하는 방법과 유사한 방법으로 위치된다. 카메라들의 각 세트는 또한 그것들의 관련된 피라미드내에 가상의 광학 중심들을 상쇄시킨다. 카메라들은 각 피라미드들과 연관된 카메라들이 두개의 피라미드들의 베이스들이 만나는 라인(628)을 따라 공통 가상의 광학 중심을 공유하도록 하기 위하여 위치된다. 그것들의 상쇄 가상의 광학 중심은 두개 피라미드들의 베이스들이 만나는 실질적으로 라인(628)상의 포인트에 밀집되도록 카메라들을 위치시키는 것이 또한 가능하다.
도 14의 구조는 도 2,3, 및 4에 대해 논의된 뷰어들과 비교하여 조망의 수직 시야를 증가시킨다. 도 14의 뷰어는 동일한 또는 거의 동일한 수직 크기를 위해 한 대의 카메라보다는 두 대의 카메라들을 사용함으로써 조망의 수직 시야를 증가시킨다. 영사기는 카메라들을 이미지 생성 디바이스들로 대체함으로써 구성된다는 점을 인지해야 한다. 반사 피라미드들(602) 및 (604)는 서로에 대해 교대로 정렬되어있다는 점을 인지해야 한다. 이 정렬된 관계는 피라미드들 둘다의 꼭지점을 통과하는 축에서 하나 또는 두개의 피라미드들을 교대시킴으로써 얻어진다. 예를 들어, 그 축은 라인(628)과 상호 직선적이다. 이 교대의 결과로, 피라미드(602)의 반사 측면들의 옆 엣지들은 피라미드(604)의 반사 측면들의 옆 엣지들과 정렬되지 않을 것이다. 피라미드 구성이 이 예에서 논의되었음에도 불구하고, 다른 평면 거울 기하학은 카메라들이 실질적으로 공동 위치되는 가상의 광학 중심들을 갖도록 조망의 시야를 리다이렉트하도록 사용된다. 예를 들어, 단단한 또는 속이 빈 부분적으로 그러한 다면체들이 사용된다. 부가적으로, 피라미드 구성의 경우에 베이스와 꼭지점은 실질적으로 존재할 필요없고, 평면 또는 끝 및 꼭지점 또는 끝과 같은 개념적 도구로써 간주될 수 있다.
도 15는 두개의 반사 피라미드들을 도시한다. 반사 피라미드(702)는 반사 피라미드(704)내에 포개진다. 두 개 이상의 파라미드들이 포개진다는 것을 인지해야 한다. 예를 들어, 다른 반사 피라미드는 반사 피라미드(702)내에 포개어지고 또 다른 반사 피라미드가 피라미드(702)내에 포개어진 피라미드내에 포개진다. 피라미드(702)의 꼭지점(706)과 피라미드(704)내의 꼭지점(708)은 두개의 피라미드들의 베이스에 수직인 라인(710)상에 위치한다. 다시 한번, 각 피라미드는 그것들의 연관된 피라미드의 반사면에 의해 리다이렉트되는 시야를 갖는 각 카메라들과 같은 4대의 이미지 처리 디바이스들을 포함한다. 피라미드(702)는 반사 측면들(712),(714),(716) 및 (718)을 포함한다. 반사 피라미드(704)는 반사 측면들(720),(722),(724) 및 (726)을 포함한다. 4대의 카메라들은 그것들의 조망의 시야가 피라미드(702)의 반사면들에 의해 리다이렉트되도록 위치된다. 포인트(730)에서 광학 중심과 화살표(732)의 방향에의 시야를 갖는 제 1 카메라는 반사면 (712)에 의해 리다이렉트되는 조망의 시야를 갖는다. 포인트(734)에서 광학 중심과 화살표(736) 방향의 시야를 갖는 제 2 카메라는 반사면(714)에 의해 리다이렉트되는 시야를 갖는다. 포인트(738)에서 광학 중심과 화살표(740)의 방향에의 시야를 갖는 제 3 카메라는 반사면(716)에 의해 리다이렉트되는 시야를 갖는다. 포인트(742)에서 광학 중심과 화살표(744)의 방향의 시야를 갖는 제 4 카메라는 반사면(718)에 의해 리다이렉트되는 시야를 가진다. 피라미드(702)와 그것과 연관된 카메라들은 카메라들의 시야가 피라미드(704)에 의해 방해받지 않도록 위치된다는 것을 인지해야 한다. 이것은 피라미드(702)가 피라미드(704)의 베이스를 연장시키도록 함으로써 이루어진다. 피라미드(704)에 대해, 포인트(750)에서 광학 중심과 화살표 (752) 방향의 시야를 갖는 제 1 카메라는 반사면(720)에 의해 리다이렉트되는 시야를 갖는다. 포인트(754)에서 광학 중심과 화살표(756) 방향의 시야를 갖는 광학 중심을 갖는 제 2 카메라는 반사면(722)에 의해 리다이렉트되는 시야를 갖는다. 포인트(758)에서 광학 중심과 화살표(760)의 방향의 시야를 갖는 제 3 카메라는 반사면(724)에 의해 리다이렉트되는 시야를 갖는다. 포인트(762)에서 광학 중심과 화살표(764)의 방향의 시야를 갖는 제 4 카메라는 반사면(726)에 의해 리다이렉트되는 시야를 갖는다. 각 피라미드들과 연관되는 카메라들은 8대의 카메라들이 위치(770)에서 가상의 광학 중심을 공유하거나 또는 피라미드(702)내에 밀집된 가상의 광학 중심점들을 갖도록 도 2,3,4,,11 및 12에 도시된 위치에 따라 위치된다. 카메라들의 각 세트들은 피라미드(702)내에 가상의 광학 중심들을 또한 상쇄한다. 도 15의 파노라마 뷰어는 부분적으로 구형의 조망을 갖는 뷰어를 제공하기 위하여 화살표(772)의 방향의 시야와 포인트(770)에서의 광학 중심을 갖는 제 9 카메라에 설치된다. 포인트(770)에서 광학 중심을 갖는 카메라는 더 넓은 조망을 제공하기 위하여 와이드 앵글 렌즈를 사용한다.
도 16은 시야가 평면 거울(784)에 의해 리다이렉트되고 화살표(782)의 방향의 시야와 포인트(780)에서 광학 중심을 갖는 부가적인 카메라를 갖는 도 15의 부분적인 구형 뷰어를 도시한다. 광학 중심(780)이 광학 중심(770)뿐만이 아니라 피라미드(702)와 (704)의 꼭지점들을 통과하는 라인(710)상에 위치한다는 것을 인지해야 한다. 포인트(780)는 평면 거울(784)와 가상의 광학 중심(770)사이의 거리와 동일하거나 거의 동일한 평면 거울(784)로 부터 멀리 떨어져 있다는 것을 인지해야 한다. 포인트(780)에서 광학 중심을 갖는 카메라를 위치시키고 평면 거울(784)에 의해 리다이렉트되는 시야를 갖음으로써, 도 15의 부분적인 구형의 뷰어는 구형의 뷰어가 된다. 포인트(780)에서 광학 중심과 함께 위치된 카메라의 시야를 증가시키기 위하여, 카메라는 와이드 앵글 렌즈와 함께 설치된다. 평면 거울(784)은 포인트(780)에 위치된 카메라를 위한 더 넓은 시야를 제공하고 와이드 앵글 렌즈의 필요성을 최소화하기 위하여 곡선 모양의 거울로 대체된다는 것을 또한 인지해야 한다.
피라미드 구성이 이 예에서 논의되어 왔음에도 불구하고, 다른 평면 거울 기하학은 카메라들이 실질적으로 같이 위치한 가상의 광학 중심들을 갖도록 시야를 리다이렉트하기 위하여 사용된다. 예를 들어, 단단한, 속이 빈 또는 부분적으로 그러한 다면체들이 사용된다. 부가적으로, 피라미드 구성의 경우에 베이스와 꼭지점은 실제적으로 존재할 필요성이 없으며, 베이스 평면 또는 끝 및 꼭지점 또는 끝과 같은 개념적 도구로써 간주될 수 있다.
도 15와 16에 관해서, 영사기는 카메라들을 이미지 생성 디바이스로 대체함으로써 구성된다는 것을 인지해야 한다. 반사 피라미드들(702)과 (704)는 서로 교대로 정렬되어 있다는 것을 인지해야 한다. 이 정렬된 관계는 피라미드들 둘다의 꼭지점을 통과하는 축에 대해 피라미드들 하나 또는 둘다를 회전시킴으로써 얻어진다. 예를 들어, 그 축은 라인(710)과 서로 선형적이다. 이 회전의 결과로, 피라미드(702)의 반사 측면들의 옆 엣지들은 피라미드(704)의 반사 측면의 옆 엣지들과 정렬하지 않을 것이다.
도 17은 파노라마 뷰어를 지지하기 위하여 사용되는 스탠드를 도시한다. 반사 피라미드(800)는 속이 빈 튜브(804)와 같은 지지 부재를 사용하는 기둥(802) 또는 스탠드에 고착된다. 피라미드는 꼭지점(806)에서 속이 빈 튜브(804)에 고정된다. 속이 빈 튜브는 앵글 받침대(808)에 의해 스탠드(802)에 고착된다. 속이 빈 튜브(804)는 카메라들(810)이 튜브(804)에 의해 지지되도록 꼭지점(806)까지 연장된다. 카메라들은 스페이서(spacer)(814)에 반하여 카메라들(810)을 누르는 가죽끈 또는 벨트(812)에 의해 튜브(804)에 고착된다. 꺽쇠 또는 가죽끈(812)에 의해 제공되는 압박은 카메라(810)와 스페이서(814)와 튜브(804)의 외부 표면사이의 마찰을 제공하고 카메라들(810)을 안전하게 튜브(804)에 부착시킨다. 제 2의 가죽끈과 카메라들(810)의 끝 섹션(816)에서 연관된 스페이서들을 제공하는 것이 또한 가능하다. 카메라들(810)로의 비디오와 전원 연결들은 속이 빈 튜브(804)를 통하여 들어가고 기둥(802)과 피라미드(800)의 베이스사이에 있는 공간(820)을 통하여 나오는 케이블(818)에 의해 제공된다. 속이 빈 튜브(804)는 단단한 지지 부재로 교체된다는 것을 인지해야 한다. 그러나, 속이 빈 지지 부재는 전송 케이블들을 위해 편리한 길을 제공한다. 케이블들을 튜브(804)를 통하여 넣는 것은 케이블들이 카메라들(810)의 시야로 들어가는 것을 방지한다. 고무 스탠드들 또는 받침대(824)는 피라미드(800)의 베이스 끝에 설치된다. 이들 스탠드들은 사용자가 기둥(802)을 사용하기 원치 않는 응용에서 유연성을 제공하기 위하여 기둥(802)을 대신하여 사용된다.
뷰어가 튜브(804)의 끝(830)에 의해 지지되도록 하기 위하여 도 17의 뷰어를 반대로 하는 것이 또한 가능하다. 이 구성에서 케이블들(818)은 튜브(804)의 끝(830)에서 구멍을 통하여 간단히 통과한다. 이 구성에서 튜브(804)는 앵글 받침대들(808)과 유사한 앵글 받침대들을 사용하는 끝(830)에서 기둥(802)에 부착된다. 파노라마 뷰어를 지지하기 위하여 끝(830)을 다른 편리한 구조에 부착하는 것이 또한 가능하다.
도 17의 스탠드는 도 14,15 및 16의 뷰어에 적합하다. 도 17에 대해 논의되었듯이, 뷰어는 피라미드 둘다의 꼭지점들 또는 꼭지점을 통과하는 속이 빈 튜브에 부착된다.
눈금 측정
고화질 이미지는 카메라 시스템을 눈금 측정함으로써 생성된다. 눈금 측정은 이미지 왜곡의 다른 타입들을 보상하기 위한 이미지 매핑 기능들(룩업 테이블들처럼 수행되는)을 결정하기 위하여 사용된다. 예를 들면, 매핑 기능들은 와이드 앵글 렌즈에 의해 야기되는 왜곡인 원통 왜곡을 수정하기 위하여 사용된다. 기능들을 매핑하는 것은 카메라들내에 정열되지 않고 대전되지 않고 연결된 디바이스들로부터 야기하는 회전하는 왜곡과 같은 왜곡들의 다른 타입들을 수정하기 위하여 사용된다. 도 18은 원통 왜곡과 회전하는 왜곡을 도시하고, 회전하는 왜곡은 왜곡된 이미지(902)처럼 보이는 사각의 오브젝트(900)을 야기한다. 왜곡된이미지(902)는 왜곡되지 않은 오브젝트(900)에 대하여 회전되고 원통 왜곡은 사각의 오브젝트(900)의 엣지들(904)과 (906)이 이미지(902)의 엣지들(908)과 (910)처럼 보이고, 엣지들(912)과 (914)는 각각이 엣지들(916)과 (918)처럼 보인다. 이 왜곡은 카메라 시스템을 눈금 측정함으로써 결정되는 매핑 기능들을 사용하기 위하여 수정된다.
도 19는 카메라 시스템을 눈금 측정하기 위한 처리를 도시한다. 동일한 간격의 도트들(930)의 수직 열은 고정된 위치에 위치해 있다. 도트들은 타원형 도트의 장축이 수직 방향에 위치해 있는 검은 배경상의 흰색이다. 파노라마 카메라(940)는 따라서 파노라마 카메라의 가상의 광학 중심을 통과하는 축(942)의 주위의 작은 이산 단계에서 순환된다. 각 단계에서, 타원형 도트들의 열의 왜곡된 이미지는 조망되고 그 데이터를 위한 매핑 기능은 왜곡을 제거하기 위하여 결정된다. 이 기능은 동일한 간결의 도트들의 수직 열의 왜곡된 이미지가 매핑된 이미지에서 동일한 간격의 도트들의 수직 열이도록 이미지를 매핑한다. 흰색의 도트들의 이미지들은 그것들 사이에 검은 색의 틈을 갖음에도 불구하고, 매핑 기능은(흰색의 도트들 사이의 픽셀들을 포함하여) 삽입을 통하여 매 이미지 픽셀로 적용하기 위하여 계산된다. 이미지 매핑 기능은 카메라가 회전될 때, 이산 단계들의 각각에서 결정되고, 이들 매핑 기능들의 통합은 동일한 간격의 도트들의 각 수직 열이 이미지에서 동일한 간격의 도트들의 수직 열처럼 보일 뿐 아니라, 이들 열들이 그들의 이미지 습득들 사이에서 각 회전에 비례하여 수평적으로 간격이 있다는 것을 확신하는 2-D 대 2-D 매핑으로 결합될 수 있고, 후자는 장면의 (편평한 것보다는 다소)원통형 이미지를 제공한다.
도 20 및 21은 타원형의 도트들의 수직 열의 데이터 표본이 왜곡의 결과로써 표현되는 방법을 도시한다. 도 20은 그것이 카메라들에 의해 제공되는 데이터와 사용자에게 유용한 조망사이의 관계를 도시한다는 점에서 도 8과 유사하다. 도트들의 수직열은 왜곡의 결과로써, 도 20의 단일 열에 위치하지 않다는 점을 인지해야 한다. 왜곡은 도트들이 단지 단일 열 보다는 열들(960),(962),(964) 및 (966)을 점유하는 것을 야기한다. 도 21은 이미지 데이터가 저장되는 방식을 도시한다는 점에서 도 9와 유사하다. 왜곡된 이미지 데이터가 도 21에서 표현된 메모리에 저장될 때, 도트들의 데이터 표본은 열들(980),(982),(984) 및 (986)이 각각 도 20의 열들(960),(962),(964) 및 (966)에 대응하는 몇몇 열들을 점유한다. 눈금 측정 단계동안 결정되는 이미지 매핑 기능은 데이터가 도 21에서 표현되는 메모리로부터 판독될 때, 이 왜곡을 위하여 수정되기 위하여 사용된다. 따라서, 수정된 또는 왜곡되지 않은 이미지 데이터는 왜곡되지 않은 이미지의 데이터 표본을 저장하기 위하여 사용되는 메모리에 기록되거나 또는 사용자에게 디스플레이된다. 도 22는 도 21의 메모리로부터 판독된 데이터와 사용자에게 유용하게 만들어진 왜곡되지 않은 조망 사이의 관계를 도시한다. 예를 들어, 열(1000)과 연관된 매핑 기능은 열 1000의 최상단 부분에서의 사용을 위한 데이터를 판독할 때, 데이터는 열(980)로부터 판독되고, 열(1000)의 바로 아래 부분에서 사용을 위해 데이터를 판독할 때, 데이터는 열(982)로부터 판독된다는 것을 서술한다. 매핑 기능은 또한 열(1000)의 중앙 부분에서 사용을 위하여 데이터를 판독할때, 데이터가 열(984)로부터 판독된다는 것을 상술한다. 열(1000)아래로 이동하면, 열(1000)의 바닥에서 사용을 위한 데이터가 회수될 때 데이터는 열(982)로부터, 다음에는 열(980)으로부터, 결국에는 열(986)으로부터 판독된다. 데이터를 판독한 결과로써, 매핑 기능에 의해 상술된 것 처럼, 데이터의 열은 디스플레이를 조망하는 사용자에게 수직적으로 보일 것이다. 도 22는 도 21의 메모리로부터 회수된 데이터가 왜곡이 더이상 명확하지 않은 수직 열로써 보인다는 것을 도시한다. 유사한 매핑 기능은, 눈금 측정동안에 결정된 것 처럼, 디스플레이를 위한 왜곡되지 않은 이미지를 생성하기 위하여 도 22의 각 열을 위해 사용된다. 파노라마 카메라를 눈금 측정하기 위하여 사용되는 복수의 이산 회전 단계들은 도 22에서 도시된 몇개의 열들의 그룹에 의해 대신 사용된다는 것을 인지해야 한다.
색상 및 농도 측정은 도 19에서 도시된 과정에 유사한 과정을 사용하기 위하여 또한 실행된다. 이 경우에, 타원형 도트들의 열(930)은 알려진 색상 패턴에 의해 대체된다. 파노라마 카메라는 각 카메라가 색상 패턴의 이미지를 포착하도록 순환된다. 몇몇 색상 패턴들은(적색,녹색,청색 및 회색의 다양한 명암들과 같은) 하나씩 사용될 수 있다. 따라서, 픽셀 하나 하나 기초상에서, 각 카메라로부터 데이터는 생성된 이미지가 눈금 측정 색상 패턴에 아주 적합한 색상 패턴을 갖도록 적색,녹색, 또는 청색 왜곡을 수정하도록 조정된다. 부가적으로, 각 카메라로부터의 각 픽셀의 농도는 일정한 색상과 밝기를 가진 단일 카메라의 이미지내에서 비교적 균일한 농도와 색상이도록 조절된다. 매핑 기능에 대해 논의된 것처럼, 픽셀 하나 하나씩의 조정은 테이블에 저장된다. 덜 정확한, 그러나 색상과 농도 계산의 더 간단한 방법이 사용될 수 있다. 이 방법은 간단히 특정한 색상과 농도를 갖는 장면을 조망할 때, 정확한 생삭과 농도를 얻기 위하여 각 카메라의 색상과 농도 제어들을 수동적으로 조정하는 것을 포함한다. 이 방법을 사용함으로써, 특정한 카메라의 모든 픽셀들은 동일한 조정들을 받는다는 것을 인지해야 한다.
도 23은 이미지 매핑 수정에 기반을 둔 눈금 측정이 사용되는, 파노라마 카메라 시스템을 도시한다. 도 23은 도 7에 유사하다. 그러나, 프레임 버퍼 메모리와 부가적인 마이크로프로세서가 포함된다는 것을 인지해야 한다. 카메라들(52),(54),(56),및 (58)은 이미지 데이터를 모으고 그 데이터를 각각 아날로그/디지털 변환기들(160),(162),(164), 및 (166)로 전송한다. 아날로그/디지털 변환기의 출력은 적색,녹색,청색 및 농도 조절 장치들(1010),(1012),(1014) 및 (1018)을 통과한다. 그 조정 장치들이 아날로그 장치들이라면, 아날로그/디지털 변환기들 앞에 이들 장치들을 위치시키는 것이 가능하다. 부가적으로, 각 카메라에 만들어진 조정 장치들을 갖는 카메라들을 사용하는 것이 또한 가능하다. 여하튼, 조정 장치들은 계산 과정들에 의해 결정될 때, 색상과 농도를 조정하기 위하여 설정되거나, 프로그램되어진다. 이들 장치들의 각각은 적색,녹색,청색 아날로그/디지털 변환기로 레벨들과 신호들의 전체 레벨들을 조정한다. 카메라들(52)내지 (58)이 색상 카메라들이라면, 아날로그/디지털 변환기들(160) 부터 (166)은 통상적으로 입출력의 각 쌍이 색상들 적색, 녹색, 청색의 하나에 대응하는 3개의 신호들을 수신하고 3개의 신호들을 출력한다. 장치들(1010)내지 (1016)은 눈금 측정 과정 동안에 결정되는 설정들에 따라 적색, 녹색,및 청색 신호들의 상대적인 크기들을 단순히 조정한다. 장치들(1010)내지 (1018)의 각각은 전체의 농도 눈금 측정 설정들에 따라 적색,녹색, 및 청색 신호들의 전체의 크기를 또한 조정한다. 적색, 녹색, 및 청색 농도의 조정들의 출력들은 도 7에서 논의된 것처럼 다중 송신기를 통과하고, 프레임 버퍼 메모리(1030)를 통과한다. 프레임 버퍼(1030)를 적색,녹색,청색과 농도 장치들 (1010),(1012),(1014) 및 (1018)의 각각을 위한 개별적인 프레임 버퍼로 대체하는 것이 또한 가능하다. 개별적인 프레임 버퍼의 각각의 출력들은 다음에 다중 송신기(170)을 통하여 마이크로프로세서(1030)으로 통과된다.
프레임 버퍼 메모리(1030)는 도 7의 메모리(172)와 유사한 방식으로 동작되고 도 21과 관련하여 논의되었던 것처럼 왜곡된 이미지들을 나타내는 데이터를 저장한다. 마이크로프로세서(1040)는 다음에 눈금 측정 동안에 결정되는 매핑 기능들을 사용하여 프레임 버퍼 메모리(1030)으로 부터 데이터를 판독하고 데이터를 디스플레이 메모리(1050)로 기록한다. 도 22와 연관된 논의를 상기하면, 왜곡되지 않은 이미지들을 나타내는 데이터는 사용자들에 의한 회수를 위해 메모리(1050)에 저장된다. 사용자들은 데이터 판독이 사용자의 입력에 의거하여 결정되는 도 7과 관련하여 논의된 것처럼 데이터를 회수한다. 디스플레이 메모리의 전체 내용들이 각 사용자에게 유용하도록 만들어지는 것이 또한 가능하다. 그 데이터는 전화 네트워크 또는 데이터 네트워크와 같은 통신 네트워크를 통하여 각 사용자로 전송되거나 또는 전용 유무선 통신 선로를 통하여 사용자에게 직접적으로 전달된다. 따라서 사용자는 데이터를 사용자를 위해 디스플레이되는 아날로그 포맷으로 변환시키기 위하여 디지털-아날로그 변환기를 사용하거나, 사용자는 직접적으로 디지털데이터를 사용하고 디지털-아날로그 변환기를 앞서 사용할 수 있다.
본 발명에 따르면 복수의 카메라들이 효과적으로 평면 거울에 의해 리다이렉트되는(redirected) 시야를 갖는 카메라들의 최소한 하나에서 공통의 광학 중심을 갖는 전방향의 또는 파노라마 뷰어를 제공할 수 있다.

Claims (22)

  1. 파노라마 조망 장치에 있어서,
    각각이 광학 중심과 시야를 갖는 복수의 제 1 이미지 처리 디바이스들과,
    각각이 광학 중심과 시야를 갖는 복수의 제 2 이미지 처리 디바이스들과,
    각각이 서로에게 인접하여 배열된 최소한 부분적으로 다면체인 제 1 및 제 2 반사 요소를 포함하며,
    상기 제 1 반사 요소는 서로 다른 방향으로 향하는 복수의 제 1 반사면들을 가지며, 상기 복수의 제 1 반사면들의 적어도 2개는 각각 복수의 제 1 가상의 광학 중심들을 생성하기 위하여 상기 복수의 제 1 이미지 처리 디바이스들중 하나의 시야를 리다이렉트(redirect)하며, 상기 제 2 반사 요소는 서로 다른 방향으로 향하는 복수의 제 2 반사면들을 가지며, 상기 복수의 제 2 반사면들의 적어도 2개는 각각 복수의 제 2 가상의 광학 중심들을 생성하기 위하여 상기 복수의 제 2 이미지 처리 디바이스들중 하나의 시야를 리다이렉트하는 것을 특징으로 하는 파노라마 조망 장치.
  2. 제 1 항에 있어서, 상기 복수의 제 1 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  3. 제 1 항에 있어서, 상기 복수의 제 2 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  4. 제 1 항에 있어서, 상기 복수의 제 1 및 제 2의 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  5. 제 1 항에 있어서,
    상기 복수의 제 1 가상의 광학 중심들 중 적어도 2개는 제 1 가상의 광학 중심과 연관된 제 1 이미지 처리 디바이스의 시야를 리다이렉트하는 제 1 반사면의 적어도 하나의 엣지를 포함하는 제 1 수신 정지 지역을 생성하기 위하여 서로 상쇄되고, 상기 복수의 제 2 가상의 광학 중심들중 적어도 2개는 제 2 가상의 광학 중심과 연관된 제 2 이미지 처리 디바이스의 시야를 리다이렉트하는 제 2 반사면의 적어도 하나의 엣지를 포함하는 제 2 수신 정지 지역을 생성하기 위하여 서로 상쇄되는 것을 특징으로하는 파노라마 조망 장치.
  6. 제 1 항에 있어서, 상기 제 1 이미지 처리 디바이스들은 이미지 포착 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  7. 제 1 항에 있어서, 상기 제 1 이미지 처리 디바이스들은 이미지 생성 디바이스들인 것을 특징으로 하는 파노라마 조망 장치
  8. 제 1 항에 있어서, 상기 제 2 이미지 처리 디바이스들은 이미지 포착 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  9. 제 1 항에 있어서, 상기 제 2 이미지 처리 디바이스들은 이미지 생성 디바이스들인 것을 특징으로 하는 파노라마 조망 장치,
  10. 파노라마 조망 장치에 있어서,
    각각이 광학 중심과 시야를 갖는 복수의 제 1 이미지 처리 디바이스들과,
    각각이 광학 중심과 시야를 갖는 복수의 제 2 이미지 처리 디바이스들과,
    적어도 부분적으로 다면체인 제 1 반사 요소와,
    제 2 반사 요소로서, 상기 제 1 반사 요소내에 위치한 제 2 반사 요소의 적어도 일부와 함께 적어도 부분적으로 다면체인 상기 제 2 반사 요소를 포함하며,
    상기 제 1 반사 요소는 서로 다른 방향으로 향하는 복수의 제 1 반사면들을 가지며, 상기 복수의 제 1 반사면들의 적어도 2개는 각각 복수의 제 1 가상의 광학 중심들을 생성하기 위해 상기 복수의 제 1 이미지 처리 디바이스들의 하나의 시야를 리다이렉트하며, 상기 제 2 반사 요소는 서로 다른 방향으로 향하는 복수의 제 2 반사면들을 가지며, 상기 복수의 제 2 반사면들중 적어도 2개는 각각 복수의 제 2 가상의 광학 중심들을 생성하기 위하여 상기 복수의 제 2 이미지 처리 디바이스들의 하나의 시야를 리다이렉트하는 것을 특징으로 하는 파노라마 조망 장치.
  11. 제 10 항에 있어서, 상기 복수의 제 1 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  12. 제 10 항에 있어서, 상기 복수의 제 1 및 제 2 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  13. 제 10 항에 있어서, 상기 복수의 제 1 및 제 2 가상의 광학 중심들은 실질적으로 동일 위치에 놓여져 있는 것을 특징으로 하는 파노라마 조망 장치.
  14. 제 10 항에 있어서, 상기 복수의 제 1 가상의 광학 중심들은 제 1 가상의 광학 중심과 연관된 제 1 이미지 처리 디바이스의 시야를 리다이렉트하는 제 1 반사면의 적어도 하나의 엣지를 포함하는 제 1 수신 정지 지역을 생성하기 위하여 서로 상쇄되고, 상기 복수의 제 2 가상의 광학 중심중 적어도 두개는 제 2 가상의 광학 중심과 연관된 제 2 이미지 처리 디바이스의 시야를 리다이렉트하는 제 2 반사면의 적어도 하나의 엣지를 포함하는 제 2 수신 정지 지역을 생성하기 위하여 서로 상쇄되는 것을 특징으로 하는 파노라마 조망 장치.
  15. 제 10 항에 있어서, 상기 제 1 이미지 처리 디바이스들은 이미지 포착 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  16. 제 10 항에 있어서, 상기 제 1 이미지 처리 디바이스들은 이미지 생성 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  17. 제 10 항에 있어서, 상기 제 2 이미지 처리 디바이스들은 이미지 생성 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  18. 제 10 항에 있어서, 상기 제 2 이미지 처리 디바이스들은 이미지 포착 디바이스들인 것을 특징으로 하는 파노라마 조망 장치.
  19. 제 10 항에 있어서, 상기 제 2 반사 요소내에 위치하는 제 3 이미지 처리 디바이스를 더 포함하는 것을 특징으로 하는 파노라마 조망 장치.
  20. 제 10 항에 있어서, 상기 제 1 반사 요소의 방향으로 시야를 갖는 제 3 이미지 처리 디바이스와,
    상기 제 3 이미지 처리 디바이스와 상기 제 1 반사 요소사이에 위치하고, 상기 제 3 이미지 처리 디바이스를 향하는 반사면을 더 포함하는 것을 특징으로 하는 파노라마 조망 장치.
  21. 제 20 항에 있어서, 상기 제 2 반사 요소내에 위치하는 제 4 이미지 처리를 더 포함하는 것을 특징으로 하는 파노라마 조망 장치.
  22. 제 20 항에 있어서, 상기 반사면은 곡면인 것을 특징으로 하는 파노라마 조망 장치.
KR10-1999-0035567A 1998-08-28 1999-08-26 압축 고해상도 파노라마 조망 시스템 KR100385826B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/141,885 1998-08-28
US09/141,885 US6195204B1 (en) 1998-08-28 1998-08-28 Compact high resolution panoramic viewing system
US9/141,885 1998-08-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020000046309A Division KR20000071888A (ko) 1998-08-28 2000-08-10 파노라마 조망 장치

Publications (2)

Publication Number Publication Date
KR20000017552A KR20000017552A (ko) 2000-03-25
KR100385826B1 true KR100385826B1 (ko) 2003-06-02

Family

ID=22497674

Family Applications (2)

Application Number Title Priority Date Filing Date
KR10-1999-0035567A KR100385826B1 (ko) 1998-08-28 1999-08-26 압축 고해상도 파노라마 조망 시스템
KR1020000046309A KR20000071888A (ko) 1998-08-28 2000-08-10 파노라마 조망 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020000046309A KR20000071888A (ko) 1998-08-28 2000-08-10 파노라마 조망 장치

Country Status (8)

Country Link
US (1) US6195204B1 (ko)
EP (2) EP1056292A3 (ko)
JP (2) JP2000089395A (ko)
KR (2) KR100385826B1 (ko)
CN (1) CN1247995A (ko)
CA (1) CA2277002C (ko)
DE (1) DE69912905D1 (ko)
TW (1) TW437237B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101011704B1 (ko) * 2009-09-04 2011-01-31 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961066B2 (en) * 1999-04-13 2005-11-01 Athentech Technologies, Inc. Automatic color adjustment for digital images
US6677959B1 (en) * 1999-04-13 2004-01-13 Athentech Technologies Inc. Virtual true color light amplification
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US7050085B1 (en) * 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
FR2807527B1 (fr) * 2000-04-07 2003-06-20 Bernard Mallet Dispositif de restitution visuelle grands champs trois fenetres
JP2001333303A (ja) 2000-05-23 2001-11-30 Sharp Corp 全方位視覚システム
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
DE10034601B4 (de) * 2000-07-14 2013-05-23 Leica Geosystems Ag Kamerasystem mit mindestens zwei ersten und zweiten Kameras
WO2002019009A2 (en) * 2000-08-31 2002-03-07 Lee Scott Friend Omnidirectional imaging attachment
JP2002214726A (ja) * 2001-01-19 2002-07-31 Mixed Reality Systems Laboratory Inc 撮像装置及びその方法
US7349005B2 (en) * 2001-06-14 2008-03-25 Microsoft Corporation Automated video production system and method using expert video production rules for online publishing of lectures
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US6768598B2 (en) * 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US20050046703A1 (en) * 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
SE524141C2 (sv) * 2002-11-11 2004-07-06 Elinnova Hb Anordning för konvertering av ljus
US20040254424A1 (en) * 2003-04-15 2004-12-16 Interscience, Inc. Integrated panoramic and forward view endoscope
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7525928B2 (en) * 2003-06-16 2009-04-28 Microsoft Corporation System and process for discovery of network-connected devices at remote sites using audio-based discovery techniques
US7443807B2 (en) * 2003-06-16 2008-10-28 Microsoft Corporation System and process for discovery of network-connected devices
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7355622B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using delta frames
US7362350B2 (en) 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
IL162512A (en) * 2004-06-14 2010-02-17 Rafael Advanced Defense Sys Panoramic field of view acquiring and displaying system
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
GB0507869D0 (en) * 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
DE102005029612A1 (de) * 2005-06-23 2007-01-04 Hochschule Bremen Vorrichtung zum Erzeugen eines Panoramabildes
US7573868B2 (en) * 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
US8572183B2 (en) * 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20070299710A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Full collaboration breakout rooms for conferencing
US20070300165A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
US7653705B2 (en) * 2006-06-26 2010-01-26 Microsoft Corp. Interactive recording and playback for network conferencing
US20080117288A1 (en) * 2006-11-16 2008-05-22 Imove, Inc. Distributed Video Sensor Panoramic Imaging System
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
US20090033882A1 (en) * 2007-07-31 2009-02-05 Solomon Mark C Projection device
US20110141223A1 (en) * 2008-06-13 2011-06-16 Raytheon Company Multiple Operating Mode Optical Instrument
TW201024902A (en) * 2008-12-18 2010-07-01 Coretronic Corp Projection display system
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
DE102010063924A1 (de) * 2010-12-22 2012-06-28 Hilti Aktiengesellschaft Optisches System zur Strahlformung eines Laserstrahls sowie Lasersystem mit einem solchen optischen System
CN102096280B (zh) * 2010-12-30 2012-05-30 广州创孚检测电子设备有限公司 双向摄影的装置
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9036025B2 (en) 2012-01-11 2015-05-19 International Business Macines Corporation System and method for inexpensive railroad track imaging for inspection
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
NL2008639C2 (en) * 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
CA2909493C (en) 2013-04-16 2018-01-23 Christian Weissig Alignment of a camera system, camera system and alignment aid
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
KR102248161B1 (ko) 2013-08-09 2021-05-04 써멀 이미징 레이다 엘엘씨 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
BR112016029776A2 (pt) * 2014-06-20 2017-08-22 Qualcomm Inc sistema multicâmeras fino livre de paralaxe capaz de capturar campo amplo total de imagens de visão
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US10057542B2 (en) 2014-08-15 2018-08-21 Thereo LLC System for immersive telepresence
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10474228B2 (en) 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine
US9979885B2 (en) * 2015-02-09 2018-05-22 Steven Christopher Sparks Apparatus and method for capture of 360° panoramic video image and simultaneous assembly of 360° panoramic zoetropic video image
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
EP3482256A1 (en) * 2016-07-05 2019-05-15 Zero Parallax Technologies Ab Spherical camera lens system, camera system and lens assembly
US10672367B2 (en) * 2017-07-03 2020-06-02 Arm Limited Providing data to a display in data processing systems
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN117761888B (zh) * 2022-10-13 2024-07-19 中科昊瀚(西安)智能科技有限责任公司 一种飞摆高速红外全景扫描***

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2304434A (en) 1928-09-03 1942-12-08 Ibm Projecting device
US2267813A (en) 1938-11-05 1941-12-30 Gen Electric Multicathode ray electrode assembly
DE1206316B (de) 1962-01-19 1965-12-02 Boulton Aircraft Ltd Druckmittelbetaetigter Stellmotor
US3144806A (en) 1962-09-28 1964-08-18 Rowe E Carney Jr Projection system
US3286590A (en) 1963-02-21 1966-11-22 Conductron Corp Full circumferential viewing system
US3420605A (en) 1965-06-14 1969-01-07 Vernon L Kipping Wide field photography and projection
FR1528819A (fr) 1967-04-27 1968-06-14 Precitronic Récepteur omni-directionnel de signaux lumineux
US3506344A (en) 1968-07-08 1970-04-14 Joseph T Petit Jr Optical projection system
US3740469A (en) 1972-04-19 1973-06-19 Us Navy Reflective panoramic t.v. projection system
US4982092A (en) 1973-07-05 1991-01-01 The United States Of America As Represented By The Secretary Of The Navy 360 Degree optical surveillance system
US3998532A (en) 1974-04-08 1976-12-21 The United States Of America As Represented By The Secretary Of The Navy Wide angle single channel projection apparatus
US4078860A (en) 1976-10-27 1978-03-14 Globus Ronald P Cycloramic image projection system
NL7900865A (nl) 1979-02-02 1980-08-05 Tno Projektor voor het projekteren van een panoramabeeld en camera voor het vervaardigen van films voor zulk een projektor.
DE2926731C2 (de) * 1979-07-03 1982-03-11 Axel 4937 Lage Helmold Panorama-Kamera
US4355328A (en) 1981-02-23 1982-10-19 The United States Of America As Represented By The Secretary Of The Navy 360 Degree closed circuit television system
US4429957A (en) 1981-07-30 1984-02-07 King-Bell Optics, Inc. Panoramic zoom lens assembly
JPS6020692A (ja) 1983-07-15 1985-02-01 Hitachi Ltd 広視野装置
US4589030A (en) 1983-07-25 1986-05-13 Kley Victor B Solid state camera
US4859046A (en) 1988-05-20 1989-08-22 Traynor Rodney P Lane viewer mirror apparatus for vehicles
US4890314A (en) 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
NL8802933A (nl) 1988-11-28 1990-06-18 Heuft Qualiplus Bv Werkwijze en inrichting voor het inspekteren van de binnenwand van een lichaam.
JPH04503440A (ja) * 1988-12-14 1992-06-18 ウエイナー、デブラ、シー 相互作用するパノラマ装置
GB8829135D0 (en) 1988-12-14 1989-01-25 Smith Graham T Panoramic interactive system
US5040055A (en) 1988-12-14 1991-08-13 Horizonscan Inc. Panoramic interactive system
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
JP2942344B2 (ja) 1989-11-22 1999-08-30 旭光学工業株式会社 プロジェクター
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5245175A (en) 1989-12-28 1993-09-14 Olympus Optical Co., Ltd. Focus detecting optical system including a plurality of focus blocks composed of an integrally molded prism member
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
DE4032387A1 (de) 1990-10-12 1992-04-16 Liesk Ingrid Wc - kippdosimat
DE4035145A1 (de) 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches system zur aufteilung einer reellen abbildung
US5187571A (en) 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5179440A (en) 1991-05-13 1993-01-12 Hughes Aircraft Company Rear projection facetted dome
JP3158484B2 (ja) 1991-05-23 2001-04-23 日本電信電話株式会社 投射型表示装置
US5236199A (en) 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
US5264945A (en) 1991-10-16 1993-11-23 Eastman Kodak Company Contact array scanners with circulating memory
JP3092276B2 (ja) 1991-12-24 2000-09-25 ソニー株式会社 全方向受光装置
US5264881A (en) 1992-06-03 1993-11-23 Hughes Training, Inc. Split static surround display system
FR2692368B1 (fr) 1992-06-12 1994-07-29 Thomson Csf Dispositif de veille panoramique infrarouge a grande portee et couverture angulaire elevee, notamment en site.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5526133A (en) 1994-06-28 1996-06-11 Sensormatic Electronics Corporation System and method for logging and retrieving information on video cassettes in a computer controlled surveillance system
US5619255A (en) 1994-08-19 1997-04-08 Cornell Research Foundation, Inc. Wide-screen video system
US5684626A (en) 1994-10-25 1997-11-04 Edge Scientific Instrument Company Llc Center masking illumination system and method
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
JPH09230517A (ja) * 1996-02-27 1997-09-05 Agency Of Ind Science & Technol パノラマ画像撮影方法および装置
DE19608067A1 (de) 1996-03-02 1997-09-04 Philips Patentverwaltung Verfahren und Anordnung zum Darstellen einer Landkarte
US5708469A (en) 1996-05-03 1998-01-13 International Business Machines Corporation Multiple view telepresence camera system using a wire cage which surroundss a plurality of movable cameras and identifies fields of view
US5760826A (en) 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101011704B1 (ko) * 2009-09-04 2011-01-31 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법
WO2011027994A2 (ko) * 2009-09-04 2011-03-10 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법
WO2011027994A3 (ko) * 2009-09-04 2011-05-26 씨엠아이텍주식회사 광각의 이미지를 생성하는 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20000017552A (ko) 2000-03-25
EP1056292A2 (en) 2000-11-29
DE69912905D1 (de) 2003-12-24
TW437237B (en) 2001-05-28
KR20000071888A (ko) 2000-11-25
EP0982946A1 (en) 2000-03-01
CN1247995A (zh) 2000-03-22
JP2000089395A (ja) 2000-03-31
EP1056292A3 (en) 2003-07-16
CA2277002C (en) 2002-07-23
JP2001136518A (ja) 2001-05-18
EP0982946B1 (en) 2003-11-19
CA2277002A1 (en) 2000-02-28
US6195204B1 (en) 2001-02-27

Similar Documents

Publication Publication Date Title
KR100385826B1 (ko) 압축 고해상도 파노라마 조망 시스템
US6128143A (en) Panoramic viewing system with support stand
CA2277712C (en) Stereo panoramic viewing system
CA2178358C (en) Panoramic projection apparatus
CA2247612C (en) Panoramic viewing system with offset virtual optical centers
CA2187834C (en) Spherical viewing/projection apparatus
US20030103744A1 (en) Image input device
CA2174157A1 (en) Panoramic viewing apparatus
WO1990002466A1 (en) Teleconference facility with high resolution video display
US20040169827A1 (en) Projection display apparatus
JPH08307735A (ja) パノラマ式ビューイングシステム
US6963355B2 (en) Method and apparatus for eliminating unwanted mirror support images from photographic images
EP0757273A1 (en) Combination of several viewing devices with common point of vision
CA2310956A1 (en) Compact high resolution panoramic viewing system
CA2308028C (en) Spherical viewing/projection apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee