KR20000017592A - 스테레오 파노라마식 시청 시스템 - Google Patents

스테레오 파노라마식 시청 시스템 Download PDF

Info

Publication number
KR20000017592A
KR20000017592A KR1019990035856A KR19990035856A KR20000017592A KR 20000017592 A KR20000017592 A KR 20000017592A KR 1019990035856 A KR1019990035856 A KR 1019990035856A KR 19990035856 A KR19990035856 A KR 19990035856A KR 20000017592 A KR20000017592 A KR 20000017592A
Authority
KR
South Korea
Prior art keywords
viewing
camera
pyramid
image processing
image
Prior art date
Application number
KR1019990035856A
Other languages
English (en)
Inventor
날와비쉬브지트시잉
Original Assignee
루센트 테크놀러지스 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루센트 테크놀러지스 인크 filed Critical 루센트 테크놀러지스 인크
Publication of KR20000017592A publication Critical patent/KR20000017592A/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

스테레오 파노라마식 시청(stereo panoramic view)은 다수의 가상 광학적 센터를 사용해 제공된다. 피라미드와 같은 반사 다각형체 소자는 피라미드내의 제 1 위치에서 실질적으로 같이 위치하는 가상 광학적 센터의 그룹을 형성하도록 제 1 세트의 카메라에서 각 카메라의 시청 필드를 전환시킨다. 피라미드는 또한 피라미드내의 제 2 위치에서 실질적으로 같이 위치하는 가상 광학적 센터의 그룹을 형성하도록 제 2 세트의 카메라에서 각 카메라의 시청 필드를 전환시킨다. 제 1 및 제 2 가상 광학적 센터로부터의 파노라마식 영상은 하나의 파노라마식 영상이 유저(user)의 좌측 눈에 제공되고 다른 파노라마식 영상이 유저의 우측 눈에 제공될 때 스테레오 파노라마식 시청을 제공한다.

Description

스테레오 파노라마식 시청 시스템{Stereo panoramic viewing system}
본 출원은 일반적으로 지정된 다음의 US 특허 출원에 관련된다: 미국 특허 5,745,305로 발행된 일련 No. 08/431,356의 "파노라마식 시청 장치(Panoramic Viewing Apparatus)"; 1995년 4월 28일 출원된 일련 No. 08/431,354의 "파노라마식 시청을 위한 방법 및 장치(Method And System For Panoramic Viewing)"; 미국 특허 5,793,527로 발행된 일련 No. 08/497,673의 "고해상도 시청 시스템(High Resolution Viewing System)"; 미국 특허 5,539,483으로 발생된 일련 No. 08/497,341의 "파노라마식 투사 장치(Panoramic Projection Apparatus)"; 1995년 11월 30일 출원된 일련 No. 08/565,501의 "구형 시청/투사 장치(Spherical Viewing/Projection Apparatus)"; 1997년 10월 7일 출원된 일련 No. 08/946443의 "오프셋 가상 광학 센터를 갖춘 파노라마식 시청 시스템(Panoramic Viewing System With Offset Virtual Optical Center)"; 일반적으로 지정되어 현재 출원중인 "간결한 고해상도 파노라마식 시청 시스템(Compact High Resolution Panoramic Viewing System)"명의 미국 특허 출원; 및 일반적으로 지정되어 현재 출원중인 "지지대를 갖춘 파노라마식 시청 시스템(Panoramic Viewing System With Support Stand)"명의 미국 특허 출원.
본 발명은 시청 시스템에 관한 것으로, 특히 파노라마식 시청 시스템(panoramic viewing system)에 관한 것이다.
보다 효과적으로 동작되기 위해서는 텔레프레젠스(telepresence)를 사용해 일부 작업을 실행하는 것이 바람직하다. 텔레프레젠스는 유저(user)가 원격 위치에 존재하는 것과 같이 느껴지게 하는 시각적 또는 다른 종류의 감지 정보를 원격 위치에 있는 디바이스로부터 유저에게 제공하는 것을 의미한다. 텔레프레젠스는 또한 연주회 및 스포츠 경기와 같은 이벤트를 원격 시청하는 것과 원거리 학습에 유용하다. 보다 현실적인 텔레프레젠스는 예를 들면, 회의장을 둘러보는 것과 같이, 시청자 사이에 교환되는 기능을 유저에게 제공함으로서 유저에게 제공된다.
과거에는 한 유저에게 수 가지의 시청 내용이 이용가능해졌을 때, 다른 광학적 센터를 갖는 수개의 카메라가 사용되었다. 이러한 상황이 도 1에 도시된다. 도 1은 각각 광학적 센터(10, 12, 14, 16)를 갖는 카메라(2, 4, 6, 8)를 도시한다. 유저가 시청 내용을 변경하려고 할 때, 유저는 카메라 사이를 간단히 교환한다. 보다 복잡한 시스템에서는 유저가 시청 내용을 변경하려 할 때, 유저는 광학적 센터(10, 12, 14, 또는 16)로부터 뿐만 아니라 추가 광학적 센터(18, 20, 22, 24, 또는 26)로부터 시청 내용을 구할 수 있었다. (18, 20, 22, 24, 26)와 같은 광학적 센터와 연관된 시청 내용은 선택된 광학적 센터에 가장 가까운 2개의 카메라로부터 시청 내용을 사용해 구해졌다. 예를 들면, 광학적 센터(18)로부터의 시청 내용은 광학적 센터(18)로부터의 시청 내용을 시뮬레이트(simulate)하도록 카메라(2, 4)로부터 시청 내용을 사용해 두 시청 내용 사이를 보간함으로서 구해졌다.
이러한 과정들은 시청 내용에 대한 불규칙성을 제시한다. 부가하여, 이들 보간된 시청 내용을 형성하는데는 많은 양의 계산력과 시간이 요구되므로, 이 기술은 유저의 명령 응답에 느리고 비용이 많이 들게 된다. 이러한 계산 비용은 또한 시스템을 동시에 사용할 수 있는 유저의 수를 제한한다.
도 1은 종래 기술의 다수의 카메라 시청 시스템을 도시하는 도면.
도 2는 반사면을 갖춘 4면 피라미드를 사용해 4개 카메라 전방향 또는 파노라마식 시청 시스템을 도시하는 도면.
도 3은 각 카메라에 공통된 광학 센터를 제공하기 위해 피라미드의 반사면이 사용되는 방법을 도시하는 도면.
도 4는 카메라 위치를 설명하는 피라미드의 상면도.
도 5는 반사면을 갖춘 8면 피라미드를 도시하는 도면.
도 6은 도 5에 도시된 피라미드의 상면도.
도 7은 카메라에 의해 제공된 데이터를 제어하는 시스템의 블록도.
도 8은 카메라로부터 수신된 데이터와 유저(user)에게 주어진 시청면 사이의 연관관계를 설명하는 도면.
도 9는 도 7의 메모리에서 어드레스 지정 구조를 설명하는 도면.
도 10은 도 7에 도시된 제어기의 블록도.
도 11은 제 5 카메라를 갖춘 도 2의 시청 시스템을 도시하는 도면.
도 12는 옮겨진 가상 광학적 센터를 갖춘 도 2의 피라미드의 상면도.
도 13은 블라인드(blind) 영역에 위치하는 쉐이드를 갖춘 도 12의 피라미드를 도시하는 도면.
도 14는 밑면 대 밑면으로 적층된 피라미드를 사용한 파노라마식 시청기를 도시하는 도면.
도 15는 모여진 피라미드를 사용한 파노라마식 시청기를 도시하는 도면.
도 16은 모여진 피라미드를 사용한 구형 시청기를 도시하는 도면.
도 17은 파노라마식 시청기를 지지하는 스탠드를 도시하는 도면.
도 18은 두 종류의 왜곡을 설명하는 도면.
도 19는 측정 처리를 설명하는 도면.
도 20은 카메라로부터 수신된 데이터와 왜곡되어 유저에게 주어지는 시청 사이의 연관관계를 설명하는 도면.
도 21은 왜곡된 영상 데이터가 저장된 방법을 설명하는 도면.
도 22는 맵핑(mapping)된 영상 데이터가 저장된 방법을 설명하는 도면.
도 23은 영상 맵핑이 사용된 파노라마식 카메라 시스템의 블록도.
도 24는 2개의 가상 광학적 센터을 갖춘 반사 피라미드를 도시하는 도면.
도 25는 밑면으로부터 시청된 도 24의 피라미드를 도시하는 도면.
도 26은 선 AA을 따라 취해진 도 24의 피라미드의 단면도.
도 27은 선 BB를 따라 취해진 도 24의 피라미드의 단면도.
도 28은 피라미드의 가상 광학적 센터 중 하나와 연관된 카메라를 도시하는 도면.
도 29는 3개의 가상 광학적 센터를 갖춘 반사 피라미드를 도시하는 도면.
도 30은 다른 시청 방향에 대해 다른 쌍의 가상 광학적 센터를 사용하는 것을 설명하는 도면.
도 31은 8개 가상 광학적 센터를 갖춘 반사 피라미드를 도시하는 도면.
도 32는 다른 시청 방향에 대해 다른 쌍의 가상 광학적 센터를 사용하는 것을 설명하는 도면.
도 33은 3개 가상 광학적 센터를 갖춘 파노라마식 시청 시스템의 블록도.
* 도면의 주요 부분에 대한 부호의 설명 *
2, 4, 6, 8, 52, 54, 56, 58: 카메라 10, 12, 14, 16 : 광학적 센터
40 : 피라미드 48, 42, 44, 46 : 피라미드 반사면
본 발명의 한 실시예는 다수의 카메라가 공통된 광학적 센터를 효과적으로 갖고, 이들 카메라 중 적어도 하나는 평면경(planar mirror)에 의해 전환된 시청 필드를 갖는 전방향 또는 파나로마식 시청기(omnidirectional or panoramic viewer)를 제공한다. 각 카메라의 시청 필드는 전체적으로 취해질 때 한 영역에서 연속적으로 360도의 시청면을 형성하도록 배열된다. 유저는 360도 시청을 통해 둘러볼 수 있고, 여기서 각 시청은 종래 기술에서 사용되던 보간의 계산 비용을 요구하지 않고 하나의 카메라, 하나 이상의 카메라, 또는 카메라들의 조합의 출력을 간단히 사용함으로서 똑같은 또는 거의 똑같은 광학적 센터를 갖는다. 이러한 배열은 시청자가 더 자연스러운 포맷으로 회의장을 볼 수 있게 함으로서 가상 회의장의 사용을 증진시키는데 사용될 수 있다. 이 포맷은 실제 회의장에 앉아있는 사람이 특정한 시간에 시청 내용을 변화시키도록 머리를 간단히 돌리는 것에 면밀히 대응한다.
본 발명의 또 다른 실시예에서, 카메라는 각각이 솔리드(solid) 또는 홀로(hollow) 피라미드와 같은 솔리드 또는 홀로 다각형의 다른 반사면을 시청하도록 위치한다. 결과적으로, 각 카메라는 피라미드내에 위치하는 가상 광학적 센터를 갖게 된다. 카메라는 그의 가상 광학적 센터가 서로 오프셋되도록 위치한다. 오프셋은 피라미드의 반사면의 엣지로부터 수신된 영상 왜곡을 제거하는 좁은 블라인드(blind) 영역을 만든다.
본 발명의 또 다른 실시예에서, 다수의 가상 광학적 센터를 사용한 스테레오 파노라마식 시청(stereo panoramic view)이 제공된다. 피라미드와 같은 반사 다각형 소자는 제 1 세트의 카메라에서 각 카메라의 시청 필드를 전환하여 피라미드내의 제 1 위치에서 실질적으로 같이 위치하는 가상 광학적 센터의 그룹을 형성한다. 피라미드는 또한 제 2 세트의 카메라에서 각 카메라의 시청 필드를 전환하여 피라미드내의 제 2 위치에서 실질적으로 같이 위치하는 가상 광학적 센터의 그룹을 형성한다. 제 1 및 제 2 가상 광학적 센터로부터의 파노라마식 영상은 하나의 파노라마식 영상이 유저의 좌측 눈에 제공되고 다른 파노라마식 영상이 유저의 우측 눈에 제공될 때 스테레오 파노라마식 시청을 제공한다.
본 발명의 또 다른 실시예에서, 반사면을 갖는 피라미드와 같은 다각형체는 간결한 파노라마식 시청기를 제공하도록 밑면 별로 적층되거나 서로 포개진다. 이와 같은 방식으로 다수의 반사 다각형체를 사용함으로서, 똑같은 또는 거의 똑같은 가상 광학적 센터를 갖춘 많은 카메라를 사용하는 것이 허용된다. 많은 카메라를 사용하는 것은 거대한 시청 영역을 다수의 더 작은 영역으로 분할하고, 여기서 각 카메라는 각각의 더 작은 영역을 시청한다. 각 카메라가 더 작은 영역을 시청하므로, 유저에게는 증가된 해상도가 제공된다.
본 발명의 또 다른 실시예에서, 피라미드와 같은 반사 다각형체는 피라미드의 정점을 통과하는 포스트(post)에 의해 지지된다. 이때, 카메라는 포스트에 설치되어, 파나로마식 시청기에 설치 구조 및 각 카메라를 지지하기 위한 구조를 제공한다.
본 발명의 또 다른 실시예에서는 시청기의 공통된 가상 광학적 센터에 카메라를 배치함으로서 유저에게 거의 구형인 시청면이 제공된다. 구형 시청을 증진시키기 위해, 공통된 가상 광학적 센터에 있는 카메라는 광각 렌즈를 사용한다.
본 발명의 또 다른 실시예에서, 시청 디바이스는 임의의 종류의 영상 처리 디바이스를 포함한다. 영상 처리 디바이스가 카메라나 다른 종류의 영상 포착 디바이스이면, 파노라마식 영상은 유저에 포착되고, 영상 처리 디바이스가 프로젝터나 다른 종류의 영상 제작 디바이스면, 파노라마식 영상은 유저에 제작된다.
도 2는 유저에게 360도의 시청면을 제공하는 4개 카메라 시스템을 설명하고, 여기서 카메라는 각각 파라미드내에 공통된 또는 거의 공통된 가상 광학적 센터를 갖는다. 피라미드(40)는 반사 측면(42, 44, 46, 48)을 갖고 홀로(hollow), 솔리드(solid), 또는 절단된 구조가 될 수 있다. 바람직한 실시예에서, 각 반사 측면은 피라미드(40)의 정점을 통과하고 밑변(50)에 평행한 평면과 45도 각도를 형성한다. 카메라(52, 54, 56, 58)는 각각 피라미드 반사면(48, 42, 44, 46)과 연관된다. 카메라는 광학 스캐너(optical scanner)와 같은 영상 수집 디바이스가 될 수 있다. 그 결과로, 카메라(52)는 표면(48)으로부터의 반사를 시청하여 화살표 방향(60)으로 물체를 시청하는 것을 가능하게 한다. 카메라(54)는 표면(44)으로부터의 반사를 시청하여 화살표 방향(64)으로 물체를 시청하고, 카메라(58)는 표면(46)으로부터의 반사를 시청하여 화살표 방향(66)으로 물체를 시청한다. 각 카메라는 90도의 시청 필드를 갖지만, 더 큰 시청 필드가 사용될 수 있고 오버랩된 영상 부분은 오버랩된 시청 내용과 연관된 픽셀을 삭제 또는 조합함으로서 제거될 수 있다. 피라미드(40)에서 연관된 반사면으로부터의 반사를 시청하는 4개 카메라의 조합은 피라미드(40) 주위에서 한 영역의 360도 시청을 제공한다. 피라미드 밑면에 대해 45도로 거울이 있을 때, 피라미드(40)의 정점(70)과 교차하고 밑면(50)에 평행한 평면에 각 카메라의 광학적 센터가 위치하는 것이 바람직하다. 각 카메라의 광학적 센터는 정점(70)을 통과하고 카메라의 연관된 반사면의 밑변에 수직인 선에 위치하여야 한다. 예를 들면, 카메라의 광학적 센터는 선(72)상에 위치한다. 선(72)은 반사면(42)의 밑변(74)에 수직이다. 선(72)은 정점(70)을 통과하고 밑면(50)에 평행한 평면내에 있다. 유사하게, 카메라(56)의 광학적 센터는 밑변(78)에 수직인 선(76)상에 위치하고, 카메라(58)의 광학적 센터는 밑변(82)에 수직인 선(80)상에 위치하고, 또한 카메라(52)의 광학적 센터는 밑변(86)에 수직인 선(84)상에 위치한다.
각 카메라 광학적 센터는 정점(70)으로부터 거리 X에서 상술된 선들 중 하나에 위치하고, 각 카메라는 밑면(50)에 수직인 시청 방향 또는 광학축을 갖는다.(거리 X는 반사면이 원하는 만큼 카메라의 시청 필드를 반사하도록 정해져야 하지만, 카메라가 반사면에 더 가깝게 이동될 때 반사면에서의 결함은 더 가시적이 된다.) 이러한 광학적 센터의 위치 결정으로, 카메라는 위치(90)에 있는 가상 광학적 센터를 공유하게 된다. 가상 광학적 센터(90)는 정점(70)을 통과하고 밑면(50)에 수직인 선에서 정점(70)으로부터 거리 X에 위치한다.
본 예에서는 비록 피라미드 구성이 논의되었지만, 카메라가 실질적으로 같이 위치하는 가상 광학적 센터를 갖도록 시청 필드를 전환하는데 다른 평면경 기하형이 사용될 수 있다. 예를 들면, 솔리드, 홀로, 또는 부분적 다각형체가 사용될 수 있다. 부가적으로, 피라미드 구성의 경우, 밑면과 정점은 물리적으로 주어지지 말아야 하고 밑면이나 끝부분 및 정점이나 끝부분과 같이 개념적으로 생각될 수 있다.
도 3은 간략하도록 카메라(54)만이 도시된 또 다른 피라미드(40)를 도시한다. 카메라(54)는 파라미드(40)내의 위치(90)에 가상 광학적 센터를 갖도록 선(72)상에 위치한다. 카메라(54)가 밑면(50)에 수직인 방향으로 90도의 시청 필드를 갖고, 카메라(54)의 광학적 센터가 선(72)을 따라 정점(70)으로부터 X의 거리에 있으면, 카메라(54)는 화살표 방향(63)으로 90도의 시청면을 갖는다. 유사한 형태로, 카메라(56, 58, 52)는 각각 화살표 방향(64, 66, 60)으로 90도의 시청면을 갖는다. 이 배열은 90도의 시청 필드를 갖는 카메라가 비교적 비싸지 않은 광학체를 포함하기 때문에 한 영역에 대해 360도의 시청 필드를 비싸지 않게 만든다.
도 4는 피라미드(40)의 상면도이다. 도 4는 선(72)을 따라 카메라(54)의 광학적 센터가 배치된 것을 도시한다. 선(72)은 정점(70)을 통과한 평면에 있어야 하고 밑면(50)과 평행하다. 그 선은 또한 피라미드(40)의 밑변(74)에 수직이어야 한다. 카메라의 광학적 센터는 선(72)을 따라 정점(70)으로부터 거리 X, 또는 X와 거의 같은 거리에 위치하여야 한다. 점(100)은 정점(70)으로부터의 선이 수직으로 밑면(50)과 교차되는 지점의 밑면(50)상에 위치한다. 유사한 형태로, 카메라(56, 58, 52)의 광학적 센터는 각각 선(76, 80, 84)을 따라 거리 X, 또는 X와 거의 같은 거리에 위치한다.
도 5는 8면 피라미드(120)를 도시한다. 피라미드(120)는 반사면(122)을 갖고, 여기서 각 면(122)은 정점(130)을 통과하고 밑면(124)에 평행한 평면과 45도 각도를 형성한다. 도 2의 4면 피라미드와 비교해, 도 5의 각 반사면은 그와 연관된 카메라를 갖는다. 각 카메라의 광학적 센터는 정점(130)을 통과하고 밑면(124)과 평행한 평면에 있는 선상에 위치한다. 그 선은 위치하는 카메라와 연관된 반사면의 밑변(132)에 수직이다. 8면 피라미드를 사용하는 것은 360도 시청을 얻는데 45도의 수평적인 시청 필드만을 갖춘 카메라를 사용하는 이점을 제시한다. 45도의 시청 필드만을 갖춘 카메라는 비싸지 않은 광학체를 포함하여 비교적 비싸지 않은 성분을 사용해 360도 시청이 구성되는 것을 가능하게 한다.
도 6은 피라미드(120)의 상면도이다. 도 5에 대해 논의된 바와 같이, 각 카메라의 광학적 센터는 정점(130)을 통과하고 밑면(124)에 평행한 평면내에 있는 선(134)을 따라 위치한다. 광학적 센터는 적절한 밑변(132)에 수직인 선(134)을 따라 거리 X, 또는 X와 거의 같은 거리에 위치한다. 점(140)은 밑면(124)에서 정점(130)을 통과하고 밑면(124)에 수직인 선과 밑면(124) 사이의 교차점에 있다.
다각형체 또는 다소간의 반사면을 갖는 피라미드가 사용된다. 많은 수의 면을 갖는 피라미드를 사용하는 이점은 작은 시청 필드에 적당한 카메라가 사용되는 점이다. 적당한 시청 필드를 갖춘 카메라는 비교적 비싸지 않은 광학체를 포함한다. 피라미드에서 사용되는 면의 수는 많은 수의 카메라를 제공하는 비용에 의해 다소간 제한된다. 360도 화면 시청은 3개 반사면을 갖는 피라미드를 사용해 제공될 수 있다. 360도 시청 필드를 제공하기 위해 3면 피라미드만을 사용하는 것은 비용이 많이 든다. 본 발명의 실시예는 각각이 120도 시청 필드를 갖춘 3개의 카메라를 사용하고, 이와 같이 넓은 시청 필드를 갖춘 카메라는 비교적 비싼 광학 성분을 사용한다.
전체 360도 시청을 원하지 않는 응용에서는 피라미드의 각 반사면과 연관된 카메라를 갖지 않는 시청기를 설립하는 것이 가능하다. 불필요한 카메라를 제거하는 것에 부가하여, 또한 부분적인 피라미드 또는 부분적인 다각형체인 반사 소자를 사용함으로서 불필요한 피라미드나 다각형체 면을 제거하는 것이 가능하다.
비록 본 예에서는 피라미드 구성이 논의되었지만, 카메라가 실질적으로 같이 위치하는 가상 광학적 센터를 갖도록 시청 필드를 전환하는데 다른 평면경 기하형이 사용될 수 있다. 예를 들면, 솔리드, 홀로, 또는 부분적인 다각형체가 사용될 수 있다. 부가하여, 피라미드 구성의 경우, 밑면과 정점은 물리적으로 주어지지 말아야 하고 밑면이나 끝부분 및 정점이나 끝부분과 같이 개념적으로 생각될 수 있다.
도 9은 도 2 내지 도 4에서 설명된 시청 디바이스와 같은 시청 디바이스의 카메라에 의해 만들어지는 데이터를 제어하기 위한 시스템의 블록도를 도시한다. 카메라(52, 54, 56, 58)는 피라미드(40)의 연관된 반사면을 통해 한 영역의 360도 시청을 구한다. 카메라(52, 54, 56, 58)의 영상 신호 또는 출력 신호는 각각 아날로그 대 디지털 변환기(A/D)(160, 162, 164, 166)을 통과한다. 카메라의 출력은 픽셀의 스트림(stream)으로 생각될 수 있고, A/D의 출력은 카메라로부터의 픽셀을 나타내는 데이터로 생각될 수 있다. A/D의 출력은 MUX(170)를 통과한다. MUX(170)는 각 A/D로부터의 픽셀 데이터가 메모리(172)에 이르게 한다. 제어기(174)는 모든 A/D의 출력이 메모리(172)에 저장되도록 MUX(170)의 선택선을 순환시킨다. MUX(170)는 카메라의 픽셀 비율의 4배인 비율로 교환된다. 몇몇 카메라게 사용되면, MUX(170)가 교환되는 비율은 그에 따라 증가 또는 감소된다. 또한, MUX(170)를 제거하고 각 A/D의 출력을 분리된 메모리에 저장하는 것이 가능하다. 제어기(174)는 MUX(170)의 스위칭을 제어하는 카운터와 메모리(172)에 어드레스를 제공하는데 사용되는 카운터에 제어 신호를 제공하는 마이크로프로세서를 사용해 실행된다. 카운터로의 제어 신호는 재설정, 인에이블, 및 시작 오프셋을 포함한다.
픽셀 정보가 메모리(172)에 전달된 결과로, 메모리(172)는 360도의 화면 시청을 포함한다. 메모리(172)에 저장된 픽셀 정보는 디지털 대 아날로그 변환기(D/A)(176)를 통과해 비디오 디스플레이(178)에 전해진다. D/A(176)를 통해 비디오 디스플레이(178)에 전해지는 메모리(172)의 실제 부분은 유저 입력 디바이스(180)를 통해 제어된다. 유저 입력 디바이스(180)는 마우스, 조이스틱, 또는 키보드와 같은 일반적인 디바이스이다. 유저는 단순히 시청면을 우측으로 쉬프트하기 위해 조이스틱을 우측으로 돌리고, 시청면을 좌측으로 쉬프트하기 위해 조이스틱을 좌측으로 돌리고, 또는 시청면을 바꾸지 않고 유지하기 위해 조이스틱을 센터에 놓는다. 유저 디바이스(180)로부터의 입력을 근거로, 제어기(174)는 메모리(172)에 어드레스를 제공하는데 사용되는 시작 어드레스 및 오프셋을 변화시킨다.
도 8은 카메라에 의해 제공된 데이터와 유저에게 이용가능한 시청면 사이의 관계를 도시한다. 카메라가 가상 광학적 센터를 공유하므로, 시청면은 원통형으로 생각될 수 있다. 섹터(200)는 카메라(52)에 의해 제공되는 정보를 나타내는 것으로 생각될 수 있고, 섹터(202)는 카메라(54)에 의해 제공되는 정보를 나타내는 것으로 생각될 수 있고, 섹터(204)는 카메라(56)에 의해 제공되는 정보를 나타내는 것으로 생각될 수 있고, 또한 섹터(206)는 카메라(58)에 의해 제공되는 정보를 나타내는 것으로 생각될 수 있다. 각 섹터에서 원통형의 표면은 칼럼(column)의 집합으로 생각될 수 있고, 여기서 각 칼럼은 픽셀로 구성된다. 예를 들면, 섹터(200)는 칼럼(210, 212, 214, 216)을 포함하는 칼럼의 집합으로 생각될 수 있다. 유사하게, 카메라(54)에 의해 제공되는 출력은 섹터(202)에서 칼럼(218)을 포함하는 칼럼의 집합으로 생각될 수 있고, 카메라(58)의 출력은 섹터(206)에서 칼럼(220)과 같은 칼럼들을 포함할 수 있다.
도 9는 유저 입력 디바이스(180)로부터의 신호를 근거로 다른 시청면에 쉬운 억세스를 제공하도록 메모리(172)가 분할되는 방법을 설명한다. 섹션(230, 232, 234, 236)은 각각 섹터(206, 200, 202, 204)에 대응한다. 각 섹션(230, 232, 234, 236)은 메모리(172)내의 블록으로 생각될 수 있다. 메모리(172)내의 블록은 순차적인 어드레스의 칼럼으로 나뉜다. 한 칼럼과 연관된 메모리 위치의 수는 적어도 특정한 칼럼에서 각 픽셀에 대해 하나의 위치를 갖기에 충분해야 한다. 예를 들어, 도 8의 픽셀 칼럼이 1000개 픽셀을 포함하면, 도 9의 메모리 세그먼트(segment)와 연관된 각 칼럼은 적어도 1000개의 위치를 가져야 한다. 특정한 메모리 세그먼트와 연관된 칼럼의 수는 적어도 도 8의 원통형 중 특정한 섹션과 연관된 칼럼의 수와 같아야 한다.
카메라가 수평 방향으로 주사되면, 순차적인 픽셀은 단순히 카운터 발생 어드레스에 오프셋을 변화시킴으로서 특정한 메모리 세그먼트 중 인접한 칼럼이지만 가능한한 다른 로우(row)에 기록된다. 전체적인 기록 어드레스는 카운터의 출력에 오프셋을 부가함으로서 발생된다. 이 오프셋은 수평적으로 주사된 픽셀이 수신되는 비율로 변한다. 수평 주사가 완료된 이후에, 카운터는 증가되고, 다시 한번 오프셋은 수평 주사 비율로 변한다. 그 결과로, 기록 싸이클 동안 메모리의 특정한 세그먼트를 지정할 때, 칼럼은 수평 픽셀 주사 비율로 오프셋을 변화시킴으로서 어드레스 지정되고, 수직 주사 비율로 카운터를 증가시킨다. 이러한 종류의 어드레스 지정 구조는 각 메모리 세그먼트내에서 칼럼을 억세스하는데 사용된다. 기록 싸이클 동안 다른 메모리 세그먼트를 지정할 때, 기록 세그먼트 오프셋은 칼럼 오프셋과 카운터 출력의 합에 부가된다. 기록 세그먼트 오프셋은 메모리 세그먼트(230, 232, 234, 236)의 어드레스를 지정하는 것을 허용한다. 세그먼트 오프셋은 MUX(170)가 교환되는 것과 같은 비율로 변한다.
픽셀 데이터는 유사한 형태로 메모리(172)로부터 판독된다. 카운터 출력과 두 세트의 오프셋의 합은 판독 어드레스를 발생하는데 사용된다. 일단 초기 시작 칼럼이 선택되면, 판독 어드레스는 비디오 디스플레이의 수평 주사 비율과 같은 비율로 판독 칼럼 오프셋을 교환함으로서 발생된다. 데이터 가치가 있는 하나의 수평 주사를 판독한 이후에, 판독 카운터는 증가되고, 판독 칼럼 오프셋은 디스플레이의 수평 주사 비율과 같은 비율로 변화된다. 그 결과로, 오프셋 어드레스는 디스플레이의 수평 디스플레이 비율로 변화되고, 카운터는 디스플레이의 수직 주사 비율과 같은 비율로 증가된다. 비디오 디스플레이에 의해 요구되는 것 보다 더 빠르거나 더 느린 비율로 데이터를 판독하는 것이 가능하지만, 더 빠르게 판독되면, 버퍼 메모리가 사용되어야 하고, 더 느리게 판독되면, 비디오 디스플레이는 시청자에게 고르지 못하게 나타난다.
도 8의 픽셀 원통 배열은 전형적으로 평평하거나 거의 평평한 디스플레이상에 디스플레이됨을 주목하여야 한다. 그 결과로, 영상은 원통 표면과 평평한 표면 사이에서 변환되도록 보상되어 디스플레이된다. 이는 일반적인 디지털 신호 처리 집적 회로내에서 간단한 변환 알고리즘을 사용해 실행된다. 이러한 변환 방법은 종래 기술에서 이미 공지되어 있고, "A Guided Tour of Computer Vision, Vishvjit S. Nalwa, Addison-Wesley Publishing Co., Reading, Massachusetts, 1993"에서 볼 수 있다. 또한, 초고해상도 디스플레이를 사용해 변환을 실행하는 것이 가능하다.
유저에 의해 선택된 시청면이 카메라(52)와 같이 특정한 카메라의 시청면에 정확히 대응하면, 칼럼(240-248)이 메모리(170)로부터 판독됨을 주목하여야 한다. 칼럼(240)은 세그먼트(232)의 제 1 칼럼이고, 칼럼(248)은 세그먼트(232)의 최종 칼럼이다. 유저가 반시계 방향으로 시청면을 이동시키도록 결정하면, 시작 칼럼은 판독 동작이 칼럼(246)에서 시작되어 칼럼(250)에서 끝나도록 우측으로 쉬프트된다. 칼럼(246)은 카메라(52)로부터 픽셀 데이터를 갖는 메모리 세그먼트(232)와 연관된 제 2 칼럼이고, 칼럼(250)은 카메라(56)와 연관된 픽셀 데이터의 제 1 칼럼임을 주목하여야 한다. 유저가 시청면을 쉬프트시킬 때, 시작 칼럼은 유저의 명령과 관련되어 쉬프트된다. 예를 들어, 시청면이 반시계 방향으로 쉬프트되어야 하는 것으로 유저가 나타내면, 도 9의 시작 칼럼은 우측으로 이동되고, 유사하게, 시청면이 시계 방향으로 쉬프트되어야 하는 것으로 시청자가 나타내면, 시작 칼럼은 좌측으로 쉬프트된다. 이전과 같이, 칼럼은 오프셋을 사용해 어드레스 지정되고, 오프셋이 메모리 세그먼트 사이의 이동을 포함하면, 판독 세그먼트 오프셋은 칼럼 오프셋과 카운터 출력의 합에 부가된다.
도 10은 제어기(174)의 블록도를 도시한다. 제어기(174)는 마이크로프로세서(270)와 메모리(272)를 포함한다. 메모리(272)는 RAM과 ROM을 포함한다. 프로세서(270)는 유저 입력 디바이스(180)로부터 선(274)상에서 명령을 수신한다. 마이크로프로세서(270)는 카운터(276)의 시작, 중단, 및 재설정을 제어한다. 카운터(276)는 MUX(170)의 선택선을 제어한다. 카운터(276)는 카메라의 수평 주사 비율의 4배인 비율로 카운트한다. 기록 어드레스 발생기(278)는 메모리(172)에 기록 어드레스를 제공한다. 기록 어드레스 발생기(278)는 카운터, 오프셋을 저장하기 위한 레지스터, 및 오프셋과 카운터 출력을 더하기 위한 가산기를 포함한다. 마이크로프로세서(270)는 기록 어드레스 발생기(278)에 의해 사용되는 카운터와 오프셋 선택을 제어한다. 기록 어드레스는 도 9에 대해 설명된 바와 같이 형성된다. 판독 어드레스 발생기(280)는 메모리(172)에 판독 어드레스를 제공한다. 판독 어드레스 발생기(280)는 카운터, 오프셋을 저장하기 위한 레지스터, 오프셋과 카운터 출력을 더하기 위한 가산기를 포함한다. 기록 어드레스 발생기(278)와 같이, 마이크로프로세서(270)는 오프셋 선택과 판독 어드레스 발생기(280)의 카운터를 제어한다. 마이크로프로세서(270)는 또한 유저 입력(180)으로부터 선(274)상에서 제공된 입력을 근거로 카운터에 의해 사용되는 시작 칼럼을 제어한다.
기록 및 판독 어드레스는 메모리(172)가 2개의 포트 메모리(port memory)를 사용해 실행되는 경우 분리되어 메모리(172)에 제공된다. 메모리(172)가 단일 포트 메모리로 실행되면, 기록 및 판독 어드레스는 메모리(172)로 다중화된다.
도 11은 제 5 카메라를 갖춘 도 5의 시청 시스템을 도시한다. 카메라나 영상 수집 디바이스(400)는 가장 광학적 센터(90)에, 또는 그에 가깝게 위치하는 카메라(400)의 광학적 센터를 갖춘 피라미드(40)내에 위치한다. 카메라(400)는 화살표 방향(410)으로 물체를 시청한다. 나머지 4개 카메라의 시청면과 연관된 결과의 시청면은 거의 구형의 시청면을 제공한다. 도 11의 카메라가 영상 제작 디바이스와 대치되면, 거의 구형인 시청 시스템은 거의 구형인 투사 시스템이 된다. 카메라나 투사 디바이스는 3, 4개 이상의 면을 갖춘 피라미드를 포함하는 시청/투사 디바이스의 가상 광학적 센터에 위치함을 주목하여야 한다. 또한, 반사면의 밑변 엣지(420)는 카메라(400)의 시청 필드 중 원하지 않는 방해물을 피하도록 비스듬해야 함을 주목하여야 한다. 또한, 카메라나 영상 처리 디바이스(400)를 이동시킴으로서 밑변 엣지(420)로부터 원하지 않는 영상 결함을 방지하는 것이 가능하다. 디바이스(400)는 디바이스(400)의 광학적 센터가 화살표 방향(410)으로 가상 광학적 센터(90)로부터 멀어지게 위치하도록 이동되어야 한다. 디바이스(400)의 광학적 센터는 디바이스의 사용 시청 필드가 엣지(420)를 포함하지 않도록 위치하여야 한다.
도 12는 도 2의 피라미드의 상면도를 도시한다. 도 2를 참고로, 카메라(52, 54, 56, 68)는 밑면(50) 방향에서 위쪽으로 이동된다. 그 결과로, 카메라(52, 54, 56, 58)에 각각 대응하는 가상 광학적 센터(500, 502, 504, 506)는 가상 광학적 센터(90)로부터 멀어지게 이동된다. 카메라(52)는 피라미드의 엣지에 의해 영향을 받지 않는 선(508, 510) 사이에서 영상을 포착하고, 카메라(54)는 피라미드의 엣지에 의해 영향을 받지 않는 선(512, 514) 사이에서 영상을 포착하고, 카메라(56)는 피라미드의 엣지에 의해 영향을 받지 않는 선(516, 518) 사이에서 영상을 포착하고, 또한 카메라(58)는 피라미드의 엣지에 의해 영향을 받지 않는 선(520, 522) 사이에서 영상을 포착하도록 가상 광학적 센터를 이동시키는 것이 바람직하다. 그 결과로, 카메라는 좁고 평평한 형태의 영역으로부터 피라미드의 엣지에 의해 왜곡된 영상을 포착하지 않게 된다. 특히, 평면 영역(524, 526, 528, 530)은 사용되지 않아 블라인드(blind) 영역을 형성한다. 이는 반사 피라미드의 엣지에 의해 왜곡된 영상 영역을 제거하는 이점을 제시한다. 시청 필드 중 이러한 부분들을 제거함으로서, 엣지에서 영상 결함을 보상하는 영상 처리를 제공할 필요성이 없어진다. 평면(524, 526, 528, 530)이 엣지 결함을 방지하는데 필요한 만큼만 얇아지도록 가상 광학적 센터(500, 502, 504, 506)를 가깝게 유지하는 것이 바람직하다. 이와 같이 얇은 평면을 유지함으로서, 유저가 볼 수 있는 현저한 효과를 최소화시키면서 공통 경계에서 영상을 처리할 필요성이 제거된다.
도 13은 평면 영역(524, 526, 528, 530)에 각각 위치하는 차단면(560, 562, 564, 566)을 갖춘 도 12의 피라미드를 도시한다. 차단면은 카메라에 들어가는 원하지 않는 빛의 양을 줄인다. 유사한 차단막은 디바이스(400)와 하나 이상의 다른 영상 처리 디바이스 사이의 블라인드 영역에 배치된다. 또한, 밑면(50) 뒤의 소스로부터 카메라(52, 54, 56, 58)에 들어가는 원하지 않는 빛의 양을 줄이도록 밑면 엣지를 넘어 확장되는 차단막의 엣지를 갖추고 밑면(50)에 차단막을 배치하는 것이 가능하다.
도 14는 밑면 대 밑면 구성으로 배열된 반사 피라미드(602, 604)를 도시한다. 밑면은 서로 접하거나 공간을 두고 위치한다. 반사 피라미드(602, 604)는 각각 4개의 반사면을 갖는다. 피라미드(602)는 반사면(608, 610, 612, 614)을 갖는다. 반사 피라미드(604)는 반사면(616, 618, 620, 622)을 갖는다. 피라미드(602)는 정점(624)을 포함하고, 피라미드(604)는 정점(626)을 포함한다. 정점(624, 626)은 각 피라미드의 밑면에 수직인 선(628)상에 있다. 각 피라미드는 반사면에 의해 전환되는 시청 필드를 갖춘 카메라와 같은 영상 처리 디바이스를 4개 포함한다. 피라미드(602)에서, 점(630)에 위치하는 광학적 센터를 갖춘 카메라는 화살표 방향(632)으로 시청 필드를 갖고, 여기서 그 시청 필드는 반사면(608)에 의해 전환된다. 점(634)에 있는 광학적 센터를 갖춘 제 2 카메라는 반사면(610)에 의해 전환되는 화살표 방향(636)으로의 시청 필드를 갖는다. 점(638)에 있는 광학적 센터를 갖춘 제 3 카메라는 반사면(612)에 의해 전환되는 화살표 방향(640)으로의 시청 필드를 갖는다. 점(642)에 있는 광학적 센터를 갖춘 제 4 카메라는 반사면(614)에 의해 전환되는 화살표 방향(644)으로의 시청 필드를 갖는다. 반사 피라미드(604)에서, 점(646)에 있는 광학적 센터를 갖춘 제 1 카메라는 반사면(616)에 의해 전환되는 화살표 방향(648)으로의 시청 필드를 갖는다. 점(650)에 있는 광학적 센터를 갖춘 제 2 카메라는 반사면(618)에 의해 전환되는 화살표 방향(652)으로의 시청 필드를 갖는다. 점(654)에 있는 광학적 센터를 갖춘 제 3 카메라는 반사면(620)에 의해 전환되는 화살표 방향(656)으로의 시청 필드를 갖는다. 점(658)에 있는 광학적 센터를 갖춘 제 4 카메라는 반사면(622)에 의해 전환되는 화살표 방향(660)으로의 시청 필드를 갖는다. 각 피라미드와 연관된 카메라는 4개 카메라의 각 세트가 공통된 가상 광학적 센터를 공유하거나 연관된 피라미드내에서 가깝게 모인 가상 광학적 센터를 갖도록 도 2, 도 3, 도 4, 도 11, 및 도 12에서 카메라가 위치하는 방법과 유사한 방식으로 위치한다. 각 카메라 세트는 또한 연관된 피라미드내에서 오프셋된 가상 광학적 센터를 갖는다. 카메라는 각 피라미드와 연관된 카메라들이 두 피라미드의 밑면이 만나는 선(638)을 따라 공통된 가상 광학적 센터를 공유하도록 위치한다. 또한, 두 피라미드의 밑면이 만나는 선(628)상의 한 점에서 오프셋된 가상 광학적 센터가 모이도록 카메라를 배치하는 것이 가능하다.
도 14의 구조는 도 2, 도 3, 및 도 4에 대해 논의된 시청기와 비교해 수직의 시청 필드를 증가시킨다. 도 14의 시청기는 똑같은 또는 거의 똑같은 수평의 시청 필드에 대해 하나 보다는 2개의 카메라를 사용함으로서 수직의 시청 필드를 증가시킨다. 프로젝터는 카메라를 영상 제작 디바이스로 대치함으로서 구성될 수 있음을 주목하여야 한다. 또한, 반사 피라미드(602, 604)는 서로 회전되게 잘못 정렬될 수 있음을 주목하여야 한다. 잘못 정렬된 관계는 두 피라미드의 정점을 통과하는 축에 대해 한 피라미드 또는 둘 모두를 회전시킴으로서 얻어진다. 예를 들면, 축은 선(628)과 공동 선형화될 수 있다. 이러한 회전의 결과로, 피라미드(602)의 반사면 중 측면 엣지는 피라미드(604)의 반사면 중 측면 엣지와 정렬되지 않는다.
비록 본 예에서는 피라미드 구성이 논의되었지만, 카메라가 실질적으로 같이 위치하는 가상 광학적 센터를 갖도록 시청 필드를 전환하는데 다른 평면경 기하형이 사용될 수 있다. 예를 들면, 솔리드, 홀로, 또는 부분적 다각형체가 사용될 수 있다. 부가적으로, 피라미드 구성의 경우, 밑면과 정점은 물리적으로 주어지지 말아야 하고 밑면이나 끝부분 및 정점이나 끝부분과 같이 개념적으로 생각될 수 있다.
도 15는 2개의 반사 피라미드를 도시한다. 반사 피라미드(702)는 반사 피라미드(704)내에 모여있다. 2개 이상의 반사 피라미드가 모여있을 수 있음을 주목하여야 한다. 예를 들면, 또 하나의 반사 피라미드가 반사 피라미드(702)내에 모여있고, 또 다른 반사 피라미드는 피라미드(702)내에 있는 피라미드내에 모여있을 수 있다. 피라미드(702)의 정점(706)과 피라미드(704)의 정점(708)은 두 피라미드의 밑면에 수직인 선(710)상에 있다. 다시 한번, 각 피라미드는 각각이 연관된 피라미드의 반사면에 의해 전환되는 시청 필드를 갖춘 카메라와 같은 영상 처리 디바이스를 4개 포함한다. 피라미드(702)는 반사면(712, 714, 716, 718)을 포함한다. 반사 피라미드(704)는 반사면(720, 722, 724, 726)을 포함한다. 4개의 카메라는 그들의 시청 필드가 피라미드(702)의 반사면에 의해 전환되도록 위치한다. 점(730)에 있는 광학적 센터와 화살표 방향(732)의 시청 필드를 갖춘 제 1 카메라는 반사면(712)에 의해 전환되는 시청 필드를 갖는다. 점(734)에 있는 광학적 센터와 화살표 방향(736)의 시청 필드를 갖춘 제 2 카메라는 반사면(714)에 의해 전환되는 시청 필드를 갖는다. 점(738)에 있는 광학적 센터와 화살표 방향(740)의 시청 필드를 갖춘 제 3 카메라는 반사면(716)에 의해 전환되는 시청 필드를 갖는다. 점(742)에 있는 광학적 센터와 화살표 방향(744)의 시청 필드를 갖춘 제 4 카메라는 반사면(718)에 의해 전환되는 시청 필드를 갖는다. 피라미드(702)와 그에 연관된 카메라들은 카메라의 시청 필드가 피라미드(704)에 의해 방해되지 않도록 위치함을 주목하여야 한다. 이는 피라미드(702)가 피라미드(704)의 밑면을 넘어 확장되도록 허용함으로서 이루어진다. 피라미드(704)에서, 점(750)에 있는 광학적 센터와 화살표 방향(752)의 시청 필드를 갖춘 제 1 카메라는 반사면(720)에 의해 전환되는 시청 필드를 갖는다. 점(754)에 있는 광학적 센터와 화살표 방향(756)의 시청 필드를 갖춘 제 2 카메라는 반사면(722)에 의해 전환되는 시청 필드를 갖는다. 점(758)에 있는 광학적 센터와 화살표 방향(760)의 시청 필드를 갖춘 제 3 카메라는 반사면(724)에 의해 전환되는 시청 필드를 갖는다. 점(762)에 있는 광학적 센터와 화살표 방향(764)의 시청 필드를 갖춘 제 4 카메라는 반사면(726)에 의해 전환되는 시청 필드를 갖는다. 각 피라미드와 연관된 카메라는 8개의 카메라가 위치(770)에서 가상 광학적 센터를 공유하거나 피라미드(702)내에서 가깝게 모인 가상 광학적 센터를 갖도록 도 2, 도 3, 도 4, 도 11, 및 도 12로 설명된 위치에 따라 배치된다. 각 카메라 세트는 또한 피라미드(702)내에서 오프셋된 가상 광학적 센터를 갖는다.
도 15의 파노라마식 시청기에는 부분적으로 원형인 시청면을 시청자에게 제공하도록 점(770)에 있는 광학적 센터와 화살표 방향(722)의 시청 필드를 갖는 제 9 카메라가 제공될 수 있다. 점(770)에 있는 광학적 센터를 갖는 카메라는 더 넓은 시청면을 제공하도록 광각 렌즈를 사용한다.
도 16은 점(780)에 있는 광학적 센터와 화살표 방향(782)의 시청 필드를 갖고 그 시청 필드는 평면경(784)에 의해 전환되는 추가 카메라를 갖춘 도 15의 부분적으로 구형인 시청기를 도시한다. 광학적 센터(780)는 피라미드(702, 704)의 정점 뿐만 아니라 가상 광학적 센터(770)를 통과하는 선(710)상에 있다. 또한, 점(780)은 평면경(784)과 가상 광학적 센터(770) 사이의 거리와 똑같은, 또는 거의 같은 평면경(784)으로부터의 거리 만큼 떨어져 위치함을 주목하여야 한다. 평면경(784)에 의해 전환되는 시청 필드를 갖고 점(780)에 있는 광학적 센터를 갖춘 카메라를 배치함으로서, 도 15의 부분적으로 구형인 시청기는 구형 시청기가 된다. 점(780)에 있는 광학적 센터를 갖추어 위치하는 카메라의 시청 필드를 증가시키기 위해, 카메라에는 광각 렌즈가 제공된다. 또한, 평면경(784)은 점(780)에 위치하는 카메라에 더 넓은 시청 필드를 제공하고 광각 렌즈의 필요성을 최소화시키도록 곡선 거울로 대치될 수 있음을 주목하여야 한다.
비록 본 예에서는 피라미드 구성이 논의되었지만, 카메라가 실질적으로 같이 위치하는 가상 광학적 센터를 갖도록 시청 필드를 전환하는데 다른 평면경 기하형이 사용될 수 있다. 예를 들면, 솔리드, 홀로, 또는 부분적 다각형체가 사용될 수 있다. 부가적으로, 피라미드 구성의 경우, 밑면과 정점은 물리적으로 주어지지 말아야 하고 밑면이나 끝부분 및 정점이나 끝부분과 같이 개념적으로 생각될 수 있다.
도 15 및 도 16에서, 프로젝터는 카메라를 영상 제작 디바이스로 대치함으로서 구성될 수 있음을 주목하여야 한다. 또한, 반사 피라미드(702, 704)는 서로 회전되게 잘못 정렬될 수 있음을 주목하여야 한다. 잘못 정렬된 관계는 두 피라미드의 정점을 통과하는 축에 대해 한 피라미드 또는 둘 모두를 회전시킴으로서 얻어진다. 예를 들면, 축은 선(710)과 공동 선형화될 수 있다. 이러한 회전의 결과로, 피라미드(702)의 반사면 중 측면 엣지는 피라미드(704)의 반사면 중 측면 엣지와 정렬되지 않는다.
도 17은 파노라마식 시청기(panoramic viewer)를 지지하는데 사용되는 스탠드를 도시한다. 반사 피라미드(800)는 홀로 튜브(hollow tube)(804)와 같은 지지 멤버를 사용해 스탠드 또는 포스트(802)에 설치된다. 피라미드는 정점 끝부분(806)에서 홀로 튜브(804)에 연결된다. 홀로 튜브는 각도 브래킷(angle bracket)(808)에 의해 스탠드(802)로 연결된다. 홀로 튜브(804)는 카메라(810)가 튜브(804)에 의해 지지될 수 있도록 정점 끝부분(806)을 넘어 확장된다. 카메라는 스페이서(spacer)(814)에 대해 카메라(810)를 누리는 스트랩(strap) 또는 벨트(812)로 튜브(804)에 설치된다. 클램프(clamp)나 스트랩(812)에 의해 주어지는 압력은 카메라(810), 스페이셔(814), 및 튜브(804)의 외부 표면 사이에서 마찰을 제공하고, 그에 의해 연결 형태로 카메라(810)를 튜브(804)에 설치한다. 또한, 카메라(810)의 끝부분(816)에 제 2 스트랩 및 연관된 스페이서를 제공하는 것이 가능하다. 카메라(810)에 대한 비디오 및 전력 연결은 홀로 튜브(804)를 통하고 포스트(802)와 피라미드(800)의 밑면 사이에 있는 스페이스(820)를 통해 밖으로 공급되는 케이블(818)에 의해 제공된다. 홀로 튜브(804)는 솔리드 지지 멤버로 대치될 수 있지만, 홀로 지지 멤버가 케이블 연결에 편리한 경로를 제공함을 주목하여야 한다. 튜브(804)를 통해 케이블을 연결시키는 것은 케이블이 카메라(810)의 시청 필드로 들어가는 것을 방지한다. 고무 스탠드나 피트(feet)(824)는 피라미드(800)의 밑면 끝부분에 제공된다. 이 스탠드는 유저가 포스트(802)를 사용하기 원하지 않는 응용에서 탄력성을 제공하도록 포스트(802) 대신에 사용될 수 있다.
또한, 시청기가 튜브(804)의 끝부분(830)에 의해 지지되도록 도 17의 시청기를 반전시키는 것이 가능하다. 이 구성에서, 케이블(818)은 단순히 튜브(804)의 끝부분(830)에서 개구를 통해 통과된다. 이 구성에서는 튜브(804)가 각도 브래킷(808)과 유사한 각도 브래킷을 사용해 끝부분(830)에서 포스트(802)에 설치된다. 또한, 파노라마식 시청기를 지지하기에 편리한 구조로 끝부분(830)을 설치하는 것이 가능하다.
도 17의 스탠드는 도 14, 도 15, 및 도 16의 시청기에 적용가능하다. 도 17에 대해 논의된 바와 같이, 시청기는 두 피라미드의 정점 끝부분이나 정점을 통과하는 홀로 튜브에 설치된다.
측정(Calibration)
더 높은 질의 영상은 카메라 시스템을 측정함으로서 제작될 수 있다. 측정은 다른 종류의 영상 왜곡을 보상하는 영상 맵핑(mapping) 기능(룩업 테이블(look up table)로 실시될 수 있는)을 결정하는데 사용된다. 예를 들면, 맵핑 기능은 광각 렌즈에 의해 주어되는 왜곡인 배럴 왜곡(barrel distortion)을 정정하는데 사용될 수 있다. 맵핑 기능은 또한 카메라내에서 잘못 정렬된 전하 결합 디바이스로부터 기인된 회전 왜곡과 같은 다른 종류의 왜곡을 정정하는데 사용될 수 있다. 도 18은 배럴 왜곡과 회전 왜곡의 조합을 도시하는 것으로, 여기서 직사각형 물체(900)는 왜곡으로 인해 왜곡된 영상(902)으로 나타내어진다. 왜곡된 영상(902)은 왜곡되지 않은 물체(900)에 대해 회전되고 배럴 왜곡이 주어져, 직사각형 물체(900)의 엣지(904, 906)가 영상(902)의 엣지(908, 910)로 나타나고 엣지(912, 914)가 각각 엣지(916, 918)로 나타난다. 이 왜곡은 카메라 시스템을 측정함으로서 결정되는 맵핑 기능을 사용해 정정될 수 있다.
도 19는 카메라 시스템을 측정하기 위한 과정을 설명한다. 동일하게 공간을 둔 타원형 도트(930)의 수직 칼럼은 고정된 위치에 배치된다. 그 도트들은 흑색 배경상에서 백색이고, 타원형 도트의 주요축은 수직 방향에 있다. 파노라마식 카메라(940)는 파노라마식 카메라의 가상 광학적 센터를 통과하는 축(942)에 대해 작은 이산적인 단계로 회전된다. 각 단계에서, 타원형 도트 칼럼의 왜곡된 영상이 시청되고, 그 왜곡을 제거하도록 그 데이터에 대한 맵핑 기능이 결정된다. 이 기능은 동일하게 공간을 둔 도트의 각 수직 칼럼에서 왜곡된 영상이 맵핑된 영상에서 동일하게 공간을 둔 도트의 수직 칼럼이 되도록 영상을 맵핑한다. 비록 백색 도트의 영상이 그들 사이에 흑색 갭(gap)을 갖지만, 맵핑 기능은 보간을 통해 모든 영상 픽셀(백색 도트 사이의 픽셀을 포함하여)에 적용되도록 계산됨을 주목한다. 영상 맵핑 기능은 카메라가 회전될 때 각 이산적인 단계에서 결정되고, 이들 맵핑 기능의 조합은 동일하게 공간을 둔 도트의 각 수직 칼럼이 영상에서 동일하게 공간을 둔 도트의 수직 칼럼으로 나타날 뿐만 아니라 이들 칼럼이 영상 포착 사이에 각회전에 비례하여 수평적으로 공간을 두는 것을 보장하도록 2-D 대 2-D 맵핑으로 조합가능하고, 후자는 원통형(평평하기 보다는)의 화면 영상을 제공하게 된다.
도 20 및 도 21은 타원형 도트의 수직 칼럼을 나타내는 데이터가 왜곡의 결과로 어떻게 나타나는가를 도시한다. 도 20은 카메라에 의해 제공되는 데이터와 유저에게 이용가능한 시청면 사이의 관계를 도시하는 점에서 도 8과 유사하다. 왜곡의 결과로 도트의 수직 칼럼이 도 20의 단일 칼럼내에 있지 않음을 주목하여야 한다. 왜곡으로, 도트는 단일 칼럼 보다는 칼럼(960, 962, 964, 966)을 차지하게 된다. 도 21은 영상 데이터가 저장되는 방법을 설명하는 점에서 도 9와 유사하다. 왜곡된 영상 데이터가 도 21에 나타내지는 메모리에 저장될 때, 도트를 나타내는 데이터는 또한 수개의 칼럼을 차지하여, 칼럼(980, 982, 984, 986)은 각각 도 20의 칼럼(960, 962, 964, 966)에 대응한다. 측정 위상 동안 결정된 영상 맵핑 기능은 도 21에 나타내진 메모리로부터 데이터가 판독될 때 이 왜곡을 정정하는데 사용된다. 이때, 정정되거나 왜곡되지 않은 영상 데이터는 유저에게 디스플레이되거나 왜곡되지 않은 영상을 나타내는 데이터를 저장하는데 사용되는 메모리에 기록된다. 도 22는 유저에게 이용가능해진 왜곡되지 않은 시청면과 도 21의 메모리로부터 판독된 데이터 사이의 관계를 설명한다. 예를 들면, 칼럼(1000)과 연관된 맵핑 기능은 칼럼(100)의 최상단 부분에서 사용되는 데이터를 판독할 때, 데이터가 칼럼(980)에서 판독되고, 바로 아래의 칼럼(1000) 부분에서 사용되는 데이터를 판독할 때, 데이터가 칼럼(982)에서 판독되는 것을 지정한다. 맵핑 기능은 또한 칼럼(1000)의 중간 부분에서 사용되는 데이터를 판독할 때, 데이터가 칼럼(984)에서 판독되는 것을 지정한다. 칼럼(1000)의 더 아래 부분으로 이동될 때, 데이터는 칼럼(982), 이어서 칼럼(980)에서 판독되고, 결국 칼럼(1000)의 하단에서 사용되는 데이터가 회복될 때는 칼럼(986)에서 판독된다. 맵핑 기능에 의해 지정된 바와 같이 데이터를 판독한 결과로, 데이터의 칼럼은 디스플레이를 시청하는 유저에게 수직으로 나타나게 된다. 도 22는 도 21의 메모리로부터 회복된 데이터가 수직 칼럼으로 나타나 더 이상 왜곡이 분명하게 보이지 않는 것을 설명한다. 측정하는 동안 결정되는 유사한 맵핑 기능은 도 22의 각 칼럼에 대해 사용되어 디스플레이하는데 왜곡되지 않은 영상을 제공한다. 파노라마식 카메라를 측정하는데 사용되는 다수의 이산적인 회전 단계는 도 22에 도시된 수개 칼럼의 그룹에 의해 대용될 수 있음을 주목하여야 한다.
칼라 및 강도 측정은 또한 도 19에 도시된 과정과 유사한 과정을 사용해 실행될 수 있다. 이 경우, 타원형 도트의 칼럼(930)은 공지된 칼라 패턴으로 대치된다. 파노라마식 카메라는 이어서 각 카메라가 칼라 패턴의 영상을 포착하도록 회전된다. 수개의 칼라 패턴(적색, 녹색, 청색, 및 회색의 다양한 쉐이드와 같은)은 하나씩 사용될 수 있다. 픽셀 대 픽셀을 근거로, 각 카메라로부터의 데이터는 적색, 녹색, 또는 청색의 왜곡을 정정하도록 조정되어, 제공된 영상은 측정 칼라 패턴과 가깝게 정합되는 칼라 패턴을 갖게 된다. 부가하여, 각 카메라로부터 각 픽셀의 강도는 일정한 칼라와 밝기로 화면을 시청할 때 다수의 카메라의 영상 사이와 단일 카메라의 영상내에서 비교적 균일한 강도 및 칼라를 갖도록 조정된다. 맵핑 기능에 대해 논의된 바와 같이, 픽셀 대 픽셀 조정은 테이블에 저장된다. 덜 정확하지만 더 간단한 칼라 및 강도 측정 방법이 사용될 수 있다. 이 방법은 간단히 특정한 칼라 및 강도로 화면을 시청할 때 정확한 칼라 및 강도를 갖도록 각 카메라의 칼라 및 강도 제어를 수동적으로 조정하는 것을 포함한다. 이 방법을 사용함으로서, 특정한 카메라의 모든 픽셀이 같은 조정을 받게됨을 주목하여야 한다.
도 23은 측정 기초의 영상 맵핑 정정이 사용된 파노라마식 카메라 시스템을 도시한다. 도 23은 도 7과 유사하지만, 프레임 버퍼 메모리와 추가 마이크로프로세서가 포함됨을 주목하여야 한다. 카메라(52, 54, 56, 58)는 영상 데이터를 수집하고 데이터를 각각 아날로그 대 디지털 변환기(160, 162, 164, 166)에 전달한다. 아날로그 대 디지털 변환기의 출력은 적색, 녹색, 청색, 및 강도 조정 유닛(1010, 1012, 1014, 1018)을 통과한다. 조정 유닛이 아날로그 유닛이면, 아날로그/디지탈 변환기 이전에 이들 유닛을 배치하는 것이 가능하다. 부가하여, 각 카메라에 설립된 조정 유닛을 갖는 카메라를 사용하는 것도 가능하다. 어떠한 경우에서든 조정 유닛은 계산 과정에 의해 결정된 바와 같이 칼라 및 강도를 조정하도록 프로그램되거나 설정된다. 이들 유닛은 각각 적색, 녹색, 및 청색 레벨과, 아날로그 대 디지털 변환기로부터 전체적인 신호 레벨을 조정한다. 카메라(52 내지 58)가 칼라 카메라이면, 아날로그 대 디지털 변환기(160 내지 166)는 전형적으로 3개의 신호를 수신하고 3개의 신호를 출력하며, 여기서 각 쌍의 입력 및 출력 신호는 칼라 적색, 녹색, 및 청색 중 하나에 대응함을 주목하여야 한다. 유닛(1010 내지 1016)은 단순히 측정 과정 동안 결정된 설정에 따라 적색, 녹색, 및 청색 신호의 상대적인 진폭을 조정한다. 각 유닛(1010 내지 1018)은 또한 전체적인 강도 측정 설정에 따라 적색, 녹색, 및 청색 신호의 전체적인 진폭을 조정한다. 적색, 녹색, 및 청색 강도 조정의 출력은 도 7에 논의된 바와 같이 멀티플렉서를 통과하여 프레임 버퍼 메모리(1030)에 전달된다. 또한, 프레임 버퍼(1030)를 적색, 녹색, 청색, 및 강도 유닛(1010, 1012, 1014, 1018) 각각에 대한 개별 프레임 버퍼로 대치하는 것이 가능하다. 각 개별 프레임 버퍼의 출력은 멀티플렉서(170)를 통해 마이크로프로세서(1030)에 전달된다.
프레임 버퍼 메모리(1030)는 도 7의 메모리(172)와 유사한 형태로 동작되고, 도 21을 참고로 논의된 바와 같이 왜곡된 영상을 나타내는 데이터를 저장한다. 마이크로프로세서(1040)는 측정 과정 동안 결정된 맵핑 기능을 사용해 프레임 버퍼 메모리(1030)로부터 데이터를 판독하고, 이어서 그 데이터를 디스플레이 메모리(1050)에 기록한다. 도 22와 연관된 논의를 다시 생각해 보면, 왜곡되지 않은 영상을 나타내는 데이터는 유저에 의해 회복되도록 메모리(1050)에 저장된다. 유저는 도 7을 참고로 논의된 바와 같이 데이터를 회복할 수 있고, 여기서 판독된 데이터는 유저의 입력을 근거로 결정된다. 또한, 디스플레이 메모리의 전체적인 내용이 각 유저에게 이용가능해 지는 것이 가능하다. 데이터는 전화기 네트워크 또는 데이터 네트워크와 같은 통신 네트워크를 통해 각 유저에게 통신되거나, 전용선 또는 무선 통신 경로를 통해 유저에게 직접 통신될 수 있다. 이때, 유저는 데이터를 유저에게 디스플레이되는 아날로그 포맷으로 변환하도록 디지털 대 아날로그 변환기를 사용하거나, 디지털 데이터를 직접 사용하여 디지털 대 아날로그 변환기의 사용에 앞서갈 수 있다.
도 24는 반사면(1202, 1204, 1206, 1208)을 갖춘 반사 피라미드(1200)를 도시한다. 선(1210)은 피라미드(1200)의 정점(1212)을 통과하고 피라미드의 밑면(1214)에 수직인 피라미드의 축이다. 피라미드(1200)는 도 2 및 도 3에 대해 논의된 피라미드와 유사하다. 그러나, 이 경우에는 단일 가상 광학적 센터 보다는 2개의 가상 광학적 센터가 제공된다. 가상 광학적 센터(1214, 1216)는 스테레오 파노라마식 시청기를 제공하는데 사용된다. 일반적인 사람 시각을 가깝게 모방하기 위해서는 가상 광학적 센터(1214, 1216)가 사람눈 사이의 전형적인 거리와 대략 같은 거리 만큼 수평방향으로 떨어져 위치하는 것이 바람직하다. 각 가상 광학적 센터(1214, 1216)는 한 세트의 카메라와 연관되고, 그 세트내의 각 카메라는 전환된 시청 필드 중 일부가 실질적으로 인접하도록 피라미드의 반사면에 의해 전환된 시청 필드를 갖는다. 카메라는 도 2, 도 3, 및 도 17에 대해 논의된 바와 같이 배열되어 지지되지만, 카메라는 카메라의 각 세트가 피라미드의 센터로부터 거리를 둔 가상 광학적 센터를 갖도록 배열된다. 각 광학적 센터에 대한 카메라는 도 2 및 도 3에 대해 카메라가 배열되었던 방법과 유사하게 배열되지만, 카메라는 두 세트의 카메라 각각이 다른 가상 광학적 센터를 갖도록 배열되어, 한 세트의 카메라는 점(1214)에서 가상 광학적 센터를 갖고 다른 세트의 카메라는 점(1216)에서 가상 광학적 센터를 갖는다.
도 25는 도 24의 화살표 방향(1218)으로 축(1210)을 따라 밑면에서 시청될 때의 피라미드(1200)를 도시한다. 가상 광학적 센터(1214, 1216)는 한쌍의 사람눈 사이의 전형적인 거리와 대략 같은 거리로 센터축(1210)으로부터 수평방향으로 옮겨진다. 본 예에서, 가상 광학적 센터(1214, 1216)는 축(1210)을 통과하는 선(AA)상에 나타난다.
도 26은 도 24 및 도 25의 선(AA)을 따라 취해진 피라미드(1200)의 단면도를 도시한다. 간략하도록, 가상 광학적 센터(1214)만이 도시되지만, 가상 광학적 센터(1214)와 연관된 카메라에 대한 위치 지정 기술은 가상 광학적 센터(1216)와 같은 다른 가상 광학적 센터에 사용될 수 있다. 점(1230)은 피라미드(1200)의 반사면(1202)에 의해 전환된 시청 필드를 갖는 카메라의 광학적 센터를 나타낸다. 광학적 센터(1230)는 반사면(1202)으로부터의 수직 거리(1232)가 가상 광학적 센터(1214)와 반사면(1202) 사이의 수직 거리인 수직 거리(1234)와 똑같도록 위치한다. 유사하게, 점(1238)은 반사면(1204)에 의해 전환된 시청 필드를 갖는 카메라의 광학적 센터를 나타낸다. 광학적 센터(1238)는 반사면(1204)으로부터의 수직 거리(1240)가 가상 광학적 센터(1214)와 반사면(1204) 사이의 수직 거리(1242)와 똑같도록 위치한다.
도 27은 도 25의 선(CC)을 따라 절단된 피라미드(1200)의 단면도를 도시한다. 점(1250)은 반사면(1208)에 의해 시청 필드가 전환된 카메라의 광학적 센터를 나타낸다. 점(1252)은 반사면(1206)에 의해 시청 필드가 전환된 카메라의 광학적 센터를 나타낸다. 점(1250)은 반사면(1208)으로부터의 수직 거리(1254)가 반사면(1208)과 가상 광학적 센터(1214) 사이의 수직 거리(1256)와 똑같도록 위치한다. 광학적 센터(1252)는 반사면(1202)으로부터의 수직 거리(1258)가 반사면(1202)과 가상 광학적 센터(1214) 사이의 수직 거리(1260)와 똑같도록 위치한다.
도 28은 가상 광학적 센터(1214)와 연관된 카메라를 도시하고, 이는 각 카메라의 광학적 센터가 도 26 및 도 27에 따라 배열되도록 위치한다. 위치(1230)에 광학적 센터를 갖춘 카메라는 화살표 방향(1260)으로 시청 필드를 갖고, 시청 필드는 점(1230)과 연관된 카메라의 가상 광학적 센터가 가상 광학적 센터(1214)에 있도록 반사면(1202)에 의해 전환된다. 위치(1250)에 광학적 센터를 갖춘 카메라는 화살표 방향(1262)으로 시청 필드를 갖고, 그 시청 필드는 표면(1208)에 의해 전환된다. 그 결과로, 점(1250)과 연관된 카메라는 점(1214)에 가상 광학적 센터를 갖게 된다. 유사하게, 위치(1252)에 광학적 센터를 갖춘 카메라는 화살표 방향(1264)으로 시청 필드를 갖고, 그 시청 필드는 표면(1206)에 의해 전환된다. 그 결과로, 점(1252)과 연관된 카메라는 점(1214)에 가상 광학적 센터를 갖게 된다. 유사하게, 위치(1238)에 광학적 센터를 갖춘 카메라는 화살표 방향(1266)으로 시청 필드를 갖고, 그 시청 필드는 표면(1204)에 의해 전환된다. 그 결과로, 점(1238)과 연관된 카메라는 점(1214)에 가상 광학적 센터를 갖게 된다. 유사한 세트의 카메라는 제 2 가상 광학적 센터가 점(1216)에서 생성되도록 도 26 및 도 27에 대해 논의되었던 바와 같이 위치한다. 가상 광학적 센터(1216)와 연관된 추가 카메라는 간략하도록 도시되지 않는다.
완전한 파노라마식 영상은 가상 광학적 센터(1214, 1216) 각각에 대해 제작됨을 주목하여야 한다. 각 가상 광학적 센터와 연관된 영상은 도 7 및 도 23에 대해 기술된 바와 같이 처리된다. 그러나, 이 경우에는 유저가 영상을 요구할 때, 두 영상이 전달된다; 양호하게 하나는 좌측에 지정되고 하나는 우측에 지정되어, 좌측 영상은 유저의 좌측 눈에 제공되고 우측 영상은 유저의 우측 눈에 제공된다. 이는 한 눈이 가상 광학적 센터(1214)에 위치하고 다른 눈이 가상 광학적 센터(1216)에 위치하여 피라미드 내부에서 유저가 세상을 시청하는 것과 같은 스테레오 시청(stereo view)을 제공한다. 부가하여, 각 카메라와 연관된 가상 광학적 센터는 가상 광학적 센터(1214)와 같이 단일 위치나 점에 정확하게 있을 필요가 없음을 주목하여야 한다. 광학적 센터는 정확하게 카메라를 정렬시키기 어려우므로 단순히 점(1214) 주위에 가깝게 모여있다. 부가하여, 도 12에 대해 논의된 바와 같이 블라인드 영역이 되는 한 세트의 오프셋 가상 광학적 센터가 만들어지도록 카메라와 연관된 가상 광학적 센터를 점(1214) 주위에 의도적으로 모으는 것이 바람직하다. 이들 블라인드 영역은 피라미드의 다른 반사면이 만나는 피라미드의 엣지로 인해 왜곡될 수 있는 영상 부분을 제거하는데 사용된다.
도 29는 반사 피라미드(1300)를 도시한다. 반사 피라미드(1300)는 피라미드(1300)의 정점을 통과하고 피라미드의 밑면에 수직인 축(1302)을 갖는다. 피라미드는 3개의 가상 광학적 센터(1304, 1306, 1308)을 갖는 파노라마식 시청기의 일부이다. 가상 광학적 센터 각각은 도 26 및 도 27의 논의에 따라 위치하는 한 세트의 카메라를 갖는다. 가상 광학적 센터는 축(1302)으로부터 같은 거리(1310)이고, 서로 거리(1312)가 되도록 배열되며, 여기서 거리(1312)는 사람 눈 사이의 전형적인 거리와 대략 같다. 그 결과로, 각 가상 광학적 센터는 그와 연관되어 파노라마식 시청을 갖게 된다.
도 30은 또한 피라미드 외부로부터 밑면에서 아래쪽으로 보는 피라미드(1300)의 시청면이다. 도 30은 어느 쌍의 가상 광학적 센터가 유저에게 영상을 제공하는데 사용되는가를 도시한다. 사용되는 가상 광학적 센터의 쌍은 유저가 어느 방향으로 시청하기를 원하는가에 의존한다. 참고로, 선(1320, 1322, 1324)이 도시된다. 선(1320)은 가상 광학적 센터(1304)와 축(1302)을 통과한다. 선(1322)은 가상 광학적 센터(1308)와 축(1302)을 통과하고, 유사하게 선(1324)은 가상 광학적 센터(1306)와 축(1302)을 통과한다. 선(1322)의 화살표(1326)는 화살표 방향(1326)으로 가상 광학적 센터(1306, 1304)에 의해 주어지는 시청 센터로 생각될 수 있음을 주목하여야 한다. 부가하여, 선(1324)의 화살표(1328)는 화살표 방향(1328)으로 가상 광학적 센터(1308, 1304)에 의해 제공되는 시청 센터로 생각될 수 있다. 선(1320)의 화살표(1330)는 화살표 방향(1330)으로 가상 광학적 센터(1306, 1308)에 의해 제공되는 시청 센터로 생각될 수 있다. 선(1322)의 화살표(1332)는 화살표 방향(1332)으로 가상 광학적 센터(1306, 1304)에 의해 제공되는 시청 센터로 생각될 수 있다. 선(1324)의 화살표(1334)는 화살표 방향(1334)으로 가상 광학적 센터(1304, 1308)에 의해 제공되는 시청 센터로 생각될 수 있다. 선(1320)의 화살표(1336)는 화살표 방향(1336)으로 가상 광학적 센터(1306, 1308)에 의해 제공되는 시청 센터로 생각될 수 있다. 그래서, 다른 순서의 가상 광학적 센터의 쌍들은 다른 방향으로 스테레오 시청을 위해 가장 잘 사용된다. 유저가 시청 방향을 변화시키므로, 좌우측 눈에 영상을 제공하는데 사용되는 가상 광학적 센터는 변하게 된다. 선(1340, 1342) 사이의 센터로 영상을 시청할 때, 유저의 좌우측 눈에 제공되는 영상은 각각 가상 광학적 센터(1306, 1304)에 의해 제공된다. 선(1342, 1344) 사이의 센터로 영상을 시청할 때, 가상 광학적 센터(1308, 1304)에 의해 제공되는 영상은 좌우측 영상을 각각 제공하는데 사용된다. 유저가 선(1344, 1346) 사이의 센터로 영상을 시청할 때, 좌우측 눈은 각각 가상 광학적 센터(1308, 1306)로부터 영상을 수신한다. 유저가 선(1348, 1346) 사이의 센터로 영상을 시청할 때, 좌우측 영상은 각각 가상 광학적 센터(1304, 1306)로부터 유저에 제공된다. 시청자가 선(1350, 1348) 사이의 센터로 영상을 시청할 때, 좌우측 영상은 각각 가상 광학적 센터(1304, 1308)로부터 유저에 제공된다. 마지막으로, 유저가 선(1340, 1350) 사이의 센터로 영상을 시청할 때, 영상은 각각 가상 광학적 센터(1306, 1308)로부터 좌우측 눈에 제공된다.
도 31은 피라미드의 정점을 통과하고 피라미드의 밑면에 수직인 축(1402)을 갖는 피라미드의 외부로부터 밑면에서 보는 반사 피라미드(1400)를 도시한다. 피라미드(1400)는 8개 가상 광학적 센터(1404, 1406, 1408, 1410, 1412, 1414, 1416, 1418)와 연관된 8 세트의 카메라를 갖는다. 가상 광학적 센터는 축(1402)으로부터 똑같은 거리(1420)이다. 광학적 센터(1404, 1412)와 같이 마주 대하는 가상 광학적 센터의 각 쌍은 거리(1420)의 2배인 거리이다. 거리(1420)의 2배인 거리는 한 쌍의 사람 눈 사이의 전형적인 거리와 대략 같다.
도 32는 시청자가 어느 방향을 보기 원하는가를 근거로 영상을 제공하는데 어느 쌍의 가상 광학적 센터가 사용되는가를 설명하도록 사용되는 기준선을 포함한 도 31의 파노라마식 시청기를 도시한다. 기준선(1430)은 가상 광학적 센터(1406), 축(1402), 및 가상 광학적 센터(1414)를 통해 그려진다. 기준선(1432)은 가상 광학적 센터(1408), 축(1402), 및 가상 광학적 센터(1416)를 통해 그려진다. 기준선(1434)은 가상 광학적 센터(1410), 축(1402), 및 가상 광학적 센터(1418)를 통해 그려진다. 기준선(1436)은 가상 광학적 센터(1412), 축(1402), 및 가상 광학적 센터(1404)를 통해 그려진다. 본 예에서, 유저가 대략 22.5도의 기준선으로의 시청을 요구할 때, 그 기준선 및 시청 방향과 연관된 가상 광학적 센터의 세트는 유저에게 좌우측 영상을 제공하는데 사용된다. 유저가 선(1440, 1442) 사이와 선(1430)의 화살표 방향(1438)으로의 시청을 요구할 때, 시청자는 좌측 눈 영상을 위해 가상 광학적 센터(1410)로부터의 영상을 사용하고 우측 눈 영상을 위해 가상 광학적 센터(1418)로부터의 영상을 사용한다. 유저가 선(1446, 1442) 사이와 선(1432)의 화살표 방향(1444)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1412, 1404)에 의해 제공된다. 유저가 선(1450, 1446) 사이와 선(1434)의 화살표 방향(1448)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1414, 1406)에 의해 제공된다. 유저가 선(1454, 1450) 사이와선(1436)의 화살표 방향(1452)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1416, 1408)에 의해 제공된다. 유저가 선(1454, 1458) 사이와 선(1430)의 화살표 방향(1456)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1418, 1410)에 의해 제공된다. 유저가 선(1458, 1462) 사이와 선(1432)의 화살표 방향(1460)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1404, 1412)에 의해 제공된다. 유저가 선(1466, 1462) 사이와 선(1434)의 화살표 방향(1464)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1406, 1414)에 의해 제공된다. 유저가 선(1440, 1466) 사이와 선(1634)의 화살표 방향(1468)으로의 시청을 요구할 때, 좌우측 영상은 각각 가상 광학적 센터(1408, 1416)에 의해 제공된다.
비록 본 예에서는 피라미드 구성이 논의되었지만, 카메라가 실질적으로 같이 위치하는 가상 광학적 센터를 갖도록 시청 필드를 전환하는데 다른 평면경 기하형이 사용될 수 있다. 예를 들면, 솔리드, 홀로, 또는 부분적인 다각형체가 사용될 수 있다. 부가하여, 피라미드 구성의 경우, 밑면과 정점은 물리적으로 주어지지 말아야 하고 밑면이나 끝부분 및 정점이나 끝부분과 같이 개념적으로 생각될 수 있다.
도 33은 3개의 가상 광학적 센터를 갖는 스테레오 파노라마식 시청 시스템의 블록도를 도시한다. 블록도는 각 카메라 세트에 제공된 기능이 도 23에 도시된 것과 유사한 점에서 도 23과 유사하다. 본 예에서는 카메라 세트(1500, 1502, 1504)가 각각 도 29의 가상 광학적 센터(1304, 1306, 1308)에 대응한다. 본 예에서는 각 카메라 세트가 4개의 카메라를 포함한다. 각 카메라 세트의 출력은 적색/녹색/청색 정정 회로(1506)에 의해 수신된다. 적색/녹색/청색 정정 회로(1506)는 도 23에 대해 설명된 회로와 유사하게 동작한다. 적색/녹색/청색 정정 회로(1506)의 출력은 프레임 메모리 유닛(1508)에 의해 저장된다. 카메라에 의해 포착된 영상을 나타내는 데이터는 제어기(1510)에 의해 제공된 어드레스를 사용해 프레임 메모리에 기록된다. 제어기(1510)는 도 23 및 도 7 내지 도 9에 대해 논의된 바와 같이 프레임 메모리에 어드레스를 제공한다. 제어기(1510)는 ASIC(Application Specific Integrated Circuit), 마이크로컴퓨터, 또는 마이크로프로세서와 같은 특수 하드웨어를 사용해 실행될 수 있다. 데이터는 마이크로프로세서(1514)의 제어하에서 프레임 메모리(1508)로부터 판독되어 디스플레이 메모리(1512)에 놓인다. 데이터를 디스플레이 메모리(1512)에 기록할 때, 마이크로프로세서는 카메라 시스템에 의해 제시된 왜곡을 정정하는데 영상 맵핑을 사용한다. 이 영상 맵핑 처리는 도 20 내지 도 22에 대해 논의된 처리와 유사하다. 디스플레이 메모리(1512)로부터의 출력은 다시 도 7 내지 도 9에 대해 논의된 것과 유사한 방식으로 제어기(1510)에 의해 어드레스 지정된다. 이들 출력은 시청 방향을 지정하는 유저 입력을 근거로 제공된다. 디스플레이 메모리(1512)의 출력은 스위치에 제공되고, 본 실시예에서 이 스위치는 좌측 멀티플렉서(1516)와 우측 멀티플렉서(1518)로 실행된다. 각 멀티플렉서는 가상 광학적 센터 중 하나와 연관된 카메라 세트로부터 영상 데이터를 선택하는데 사용된다. 스위치는 예를 들면, 기계적인 스위치, 버스로 인에이블되는 선택된 메모리를 갖춘 버스, 또는 선택된 메모리에 억세스하는 마이크로컴퓨터나 마이크로프로세서를 사용해 실행될 수 있다. 특정한 가상 광학적 센터와 연관된 영상 데이터의 선택은 유저 입력을 통하여 유저에 의해 선택된 시청면을 근거로 제어기(1510)의 제어하에 있다. 유저 입력에 응답해 제공되는 실제 영상 데이터는 도 30에 대해 논의된 바와 같이 제공된다. 또한, 유저에 의한 시청 및 가능한 편집을 위해 각 가상 광학적 센터에 전체적인 디스플레이 메모리 출력을 제공하는 것이 가능하다. 멀티플렉서(1516, 1518)에 의해 제공된 좌우측 영상 데이터는 이어서 통신 네트워크(1522)를 통해 전달되도도록 모뎀(1520)에 제공될 수 있다. 또한, 통신 네트워크(1522)가 디지털 데이터를 직접 수용하면 모뎀(1520)을 제거하는 것이 가능하다. 통신 네트워크(1522)로부터의 데이터는 데이터를 좌우측 디스플레이(1526, 1528)에 제공하는 모뎀(1524)에 의해 수신된다. 디스플레이(1526, 1528)가 아날로그 데이터를 요구하면, 모뎀(1524)과 디스플레이 사이에는 디지털 대 아날로그 변환기가 배치된다. 유저 입력 디바이스(1530)는, 사용되는 경우, 유저 선택 데이터를 모뎀(1524), 통신 네트워크(1522), 및 모뎀(1520)을 통해 제어기(1510)에 제공하는 조이스틱과 같은 디바이스가 될 수 있다. 유저가 시청 시스템으로부터 먼 거리에 있지 않으면, 멀티플렉서(1516, 1518)로부터의 데이터는 직접 좌측 디스플레이(1532) 및 우측 디스플레이(1534)에 전달될 수 있다. 디스플레이가 아날로그 데이터를 요구하면, 디지털 대 아날로그 변환기(1536, 1538)는 각각 좌측 디스플레이(1532) 및 우측 디스플레이(1534)에 데이터를 제공하는데 사용된다. 부가하여, 유저 입력 디바이스(1540)는 유저 선택 데이터를 제어기(1510)에 제공하는데 사용된다.
시청 시스템이 도 32에 대해 기술된 시스템과 같은 추가 가상 광학적 센터를 사용하면, 도 33의 기본적인 배열에는 추가 처리 경로가 부가된다. 도 34에 대해, 카메라 세트(1500, 1502, 1504)내의 카메라의 수는 변할 수 있음을 주목하여야 한다. 예를 들어, 4면 피라미드의 3개 면만이 시청을 위해 사용되면, 카메라 세트에는 3개의 카메라만이 포함될 필요가 있다.
제어기(1510)와 마이크로프로세서(1514)는 논의된 기능에 필요한 어드레스 지정을 제공하기에 충분한 처리 속도를 갖춘 단일 마이크로프로세서, 마이크로컴퓨터, 또는 컴퓨터로 조합될 수 있음을 주목하여야 한다. 유사하게, 프레임 메모리와 디스플레이 메모리는 도 33의 각 메모리와 연관된 데이터가 억세스될 수 있도록 어드레스 지정되는 단일 메모리로 조합될 수 있다.

Claims (10)

  1. 각각 시청 필드를 갖는 다수의 제 1 영상 처리 디바이스;
    각각 시청 필드를 갖는 다수의 제 2 영상 처리 디바이스; 및
    다른 방향으로 마주 대하는 평면 반사면으로, 그 면 중 적어도 2개의 각각은 제 1 영상 처리 디바이스 중 하나와 제 2 영상 처리 디바이스 중 하나의 시청 필드를 전환하여, 상기 제 1 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하고, 상기 제 2 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하게 되는 다수의 평면 반사면을 구비하는 것을 특징으로 하는 파노라마식 시청(panoramic viewing) 장치.
  2. 제 1 항에 있어서,
    상기 영상 처리 디바이스가 카메라인 것을 특징으로 하는 파노라마식 시청 장치.
  3. 제 1 항에 있어서,
    상기 영상 처리 디바이스가 프로젝터인 것을 특징으로 하는 파노라마식 시청 장치.
  4. 각각 시청 필드를 갖는 다수의 제 1 영상 처리 디바이스;
    각각 시청 필드를 갖는 다수의 제 2 영상 처리 디바이스;
    각각 시청 필드를 갖는 다수의 제 3 영상 처리 디바이스; 및
    다른 방향으로 마주 대하는 평면 반사면으로, 그 면 중 적어도 2개의 각각은 상기 제 1 영상 처리 디바이스 중 하나, 상기 제 2 영상 처리 디바이스 중 하나, 및 상기 제 3 영상 처리 디바이스 중 하나의 시청 필드를 전환하여, 상기 제 1 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하고, 상기 제 2 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하고, 또한 상기 제 3 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하게 되는 다수의 평면 반사면을 구비하는 것을 특징으로 하는 파노라마식 시청 장치.
  5. 제 4 항에 있어서,
    상기 영상 처리 디바이스가 카메라인 것을 특징으로 하는 파노라마식 시청 장치.
  6. 제 4 항에 있어서,
    상기 영상 처리 디바이스가 프로젝터인 것을 특징으로 하는 파노라마식 시청 장치.
  7. 각각 시청 필드를 갖고 제 1 세트의 영상 신호를 만드는 다수의 제 1 영상 처리 디바이스;
    각각 시청 필드를 갖고 제 2 세트의 영상 신호를 만드는 다수의 제 2 영상 처리 디바이스;
    각각 시청 필드를 갖고 제 3 세트의 영상 신호를 만드는 다수의 제 3 영상 처리 디바이스;
    다른 방향으로 마주 대하는 평면 반사면으로, 그 면 중 적어도 2개의 각각은 상기 제 1 영상 처리 디바이스 중 하나, 상기 제 2 영상 처리 디바이스 중 하나, 및 상기 제 3 영상 처리 디바이스 중 하나의 시청 필드를 전환하여, 상기 제 1 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하고, 상기 제 2 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하고, 또한 상기 제 3 영상 처리 디바이스 중 적어도 2개의 전환된 시청 필드의 적어도 일부가 실질적으로 인접하게 되는 다수의 평면 반사면;
    각각 영상 신호 세트 중 하나를 나타내는 다수의 영상 데이터 세트로부터 영상 데이터 세트의 쌍들을 식별하는 제어 신호를 만드는 제어기; 및
    상기 제어 신호에 응답해 영상 데이터 세트의 쌍들을 선택하는 스위치를 구비하는 것을 특징으로 하는 파노라마식 시청 장치.
  8. 제 7 항에 있어서,
    상기 스위치가 멀티플렉서인 것을 특징으로 하는 파노라마식 시청 장치.
  9. 제 7 항에 있어서,
    상기 스위치가 컴퓨터인 것을 특징으로 하는 파노라마식 시청 장치.
  10. 제 7 항에 있어서,
    상기 제어기는 시청 방향을 근거로 영상 데이터 세트의 쌍들을 식별하는 것을 특징으로 하는 파노라마식 시청 장치.
KR1019990035856A 1998-08-28 1999-08-27 스테레오 파노라마식 시청 시스템 KR20000017592A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/141,867 US6141145A (en) 1998-08-28 1998-08-28 Stereo panoramic viewing system
US9/141,867 1998-08-28

Publications (1)

Publication Number Publication Date
KR20000017592A true KR20000017592A (ko) 2000-03-25

Family

ID=22497611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990035856A KR20000017592A (ko) 1998-08-28 1999-08-27 스테레오 파노라마식 시청 시스템

Country Status (7)

Country Link
US (1) US6141145A (ko)
EP (1) EP0989436A3 (ko)
JP (2) JP3862895B2 (ko)
KR (1) KR20000017592A (ko)
CN (1) CN1247994A (ko)
CA (1) CA2277712C (ko)
TW (1) TW396292B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US6795109B2 (en) 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
WO2001080545A2 (en) * 2000-04-19 2001-10-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
WO2002008817A2 (en) * 2000-07-21 2002-01-31 Lee Scott Friend Stereoscopic omnidirectional imaging devices
US6386719B1 (en) 2001-03-14 2002-05-14 Enroute, Inc. Precision mounting of front surface mirrors
US6560413B1 (en) 2001-03-14 2003-05-06 Enroute, Inc. High-precision panoramic imaging system
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US7349005B2 (en) * 2001-06-14 2008-03-25 Microsoft Corporation Automated video production system and method using expert video production rules for online publishing of lectures
US6628897B2 (en) * 2001-06-20 2003-09-30 Sony Corporation Camera system
US6954695B2 (en) 2002-01-31 2005-10-11 Racing Visions, Llc Apparatus system and method for remotely controlling a vehicle over a network
US20040077284A1 (en) * 2002-01-31 2004-04-22 Bonilla Victor G. Apparatus system and method for adapting a scaled vehicle remote controller for use with an enhanced controller
US7050889B2 (en) * 2002-04-22 2006-05-23 Racing Visions Investments Inc. Method and system for a computer controlled racing network
US20030231244A1 (en) * 2002-04-22 2003-12-18 Bonilla Victor G. Method and system for manipulating a field of view of a video image from a remote vehicle
US20040077285A1 (en) * 2002-04-22 2004-04-22 Bonilla Victor G. Method, apparatus, and system for simulating visual depth in a concatenated image of a remote field of action
US20040005927A1 (en) * 2002-04-22 2004-01-08 Bonilla Victor G. Facility for remote computer controlled racing
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US20050046703A1 (en) * 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US7443807B2 (en) * 2003-06-16 2008-10-28 Microsoft Corporation System and process for discovery of network-connected devices
US7525928B2 (en) * 2003-06-16 2009-04-28 Microsoft Corporation System and process for discovery of network-connected devices at remote sites using audio-based discovery techniques
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7362350B2 (en) * 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
US7355622B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using delta frames
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US20060103723A1 (en) * 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
GB2425363A (en) 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US7573868B2 (en) * 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
JP4562683B2 (ja) * 2006-04-19 2010-10-13 株式会社藤商事 遊技機
US20070299710A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Full collaboration breakout rooms for conferencing
US20070300165A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
US7653705B2 (en) * 2006-06-26 2010-01-26 Microsoft Corp. Interactive recording and playback for network conferencing
US8572183B2 (en) * 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
MY155821A (en) * 2007-11-23 2015-12-07 Mimos Berhad Single camera stereo imaging system
JP5099554B2 (ja) * 2008-07-31 2012-12-19 独立行政法人情報通信研究機構 立体ディスプレイ
CN101852980B (zh) * 2010-06-09 2011-10-05 长春理工大学 一种在cave投影***上交互式播放全景视频流的方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
FR2964757B1 (fr) * 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
CN101980080B (zh) * 2010-09-19 2012-05-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN102486274A (zh) * 2010-12-06 2012-06-06 中强光电股份有限公司 光源模块与舞台灯具
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
JP6003199B2 (ja) * 2012-05-08 2016-10-05 ソニー株式会社 レンズ交換式カメラシステムおよびレンズデータ取得プログラム
JP2014081510A (ja) 2012-10-17 2014-05-08 Sony Corp 表示装置
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US20140362176A1 (en) * 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
EP2987028B1 (de) 2013-04-16 2018-10-31 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung E.V. Justieren eines multi-kamerasystems, multikamerasystem und justierhilfe
DK2835973T3 (da) 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
TWI510811B (zh) * 2013-09-13 2015-12-01 Quanta Comp Inc 頭戴式系統
US9330436B2 (en) 2014-04-01 2016-05-03 Gopro, Inc. Multi-camera array with adjacent fields of view
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9618760B2 (en) * 2014-05-24 2017-04-11 Alan Bruce Cornford Collapsible quasi 3D stereoscopic display and cover
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US10057542B2 (en) 2014-08-15 2018-08-21 Thereo LLC System for immersive telepresence
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN104317059B (zh) * 2014-11-14 2016-08-24 山东理工大学 幻影立体实时显示***的显示方法
TWI574047B (zh) * 2015-06-16 2017-03-11 緯創資通股份有限公司 立體影像顯示裝置、方法以及系統
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
KR102191050B1 (ko) * 2015-09-09 2020-12-14 주식회사 아이티엑스에이아이 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
USD858614S1 (en) * 2016-06-27 2019-09-03 Virtual Marketing Incorporated Mobile hologram apparatus
CN106060523B (zh) * 2016-06-29 2019-06-04 北京奇虎科技有限公司 全景立体图像采集、显示方法及相应的装置
CN106842801A (zh) * 2016-08-31 2017-06-13 李文松 一种vr摄影镜头设计方法
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
TWI642973B (zh) * 2017-09-12 2018-12-01 晶將數位多媒體科技股份有限公司 3D floating stereoscopic image creation and display device
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2304434A (en) * 1928-09-03 1942-12-08 Ibm Projecting device
US2267813A (en) * 1938-11-05 1941-12-30 Gen Electric Multicathode ray electrode assembly
FR1206316A (fr) * 1957-07-19 1960-02-09 Procédé et dispositifs de prises de vues panoramiques, en particulier pour les appareils de prises de vues cinématographiques
US3144806A (en) * 1962-09-28 1964-08-18 Rowe E Carney Jr Projection system
US3286590A (en) * 1963-02-21 1966-11-22 Conductron Corp Full circumferential viewing system
US3420605A (en) * 1965-06-14 1969-01-07 Vernon L Kipping Wide field photography and projection
FR1528819A (fr) * 1967-04-27 1968-06-14 Precitronic Récepteur omni-directionnel de signaux lumineux
US3506344A (en) * 1968-07-08 1970-04-14 Joseph T Petit Jr Optical projection system
US3740469A (en) * 1972-04-19 1973-06-19 Us Navy Reflective panoramic t.v. projection system
US4982092A (en) * 1973-07-05 1991-01-01 The United States Of America As Represented By The Secretary Of The Navy 360 Degree optical surveillance system
US3998532A (en) * 1974-04-08 1976-12-21 The United States Of America As Represented By The Secretary Of The Navy Wide angle single channel projection apparatus
US4078860A (en) * 1976-10-27 1978-03-14 Globus Ronald P Cycloramic image projection system
NL7900865A (nl) * 1979-02-02 1980-08-05 Tno Projektor voor het projekteren van een panoramabeeld en camera voor het vervaardigen van films voor zulk een projektor.
US4355328A (en) * 1981-02-23 1982-10-19 The United States Of America As Represented By The Secretary Of The Navy 360 Degree closed circuit television system
US4429957A (en) * 1981-07-30 1984-02-07 King-Bell Optics, Inc. Panoramic zoom lens assembly
JPS6020692A (ja) * 1983-07-15 1985-02-01 Hitachi Ltd 広視野装置
US4589030A (en) * 1983-07-25 1986-05-13 Kley Victor B Solid state camera
US4859046A (en) * 1988-05-20 1989-08-22 Traynor Rodney P Lane viewer mirror apparatus for vehicles
US4890314A (en) * 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
NL8802933A (nl) * 1988-11-28 1990-06-18 Heuft Qualiplus Bv Werkwijze en inrichting voor het inspekteren van de binnenwand van een lichaam.
US5040055A (en) * 1988-12-14 1991-08-13 Horizonscan Inc. Panoramic interactive system
GB8829135D0 (en) * 1988-12-14 1989-01-25 Smith Graham T Panoramic interactive system
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
JP2942344B2 (ja) * 1989-11-22 1999-08-30 旭光学工業株式会社 プロジェクター
US5194959A (en) * 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5245175A (en) * 1989-12-28 1993-09-14 Olympus Optical Co., Ltd. Focus detecting optical system including a plurality of focus blocks composed of an integrally molded prism member
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5016109A (en) * 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
DE4032387A1 (de) * 1990-10-12 1992-04-16 Liesk Ingrid Wc - kippdosimat
DE4035145A1 (de) * 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches system zur aufteilung einer reellen abbildung
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5179440A (en) * 1991-05-13 1993-01-12 Hughes Aircraft Company Rear projection facetted dome
JP3158484B2 (ja) * 1991-05-23 2001-04-23 日本電信電話株式会社 投射型表示装置
US5236199A (en) * 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
US5264945A (en) * 1991-10-16 1993-11-23 Eastman Kodak Company Contact array scanners with circulating memory
JP3092276B2 (ja) * 1991-12-24 2000-09-25 ソニー株式会社 全方向受光装置
JPH0787601B2 (ja) * 1992-03-13 1995-09-20 株式会社エイ・ティ・アール通信システム研究所 立体的映像表示装置
US5264881A (en) * 1992-06-03 1993-11-23 Hughes Training, Inc. Split static surround display system
FR2692368B1 (fr) * 1992-06-12 1994-07-29 Thomson Csf Dispositif de veille panoramique infrarouge a grande portee et couverture angulaire elevee, notamment en site.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JPH07322303A (ja) * 1994-05-19 1995-12-08 Pioneer Electron Corp 背面投射型プロジェクションテレビ
JPH07333557A (ja) * 1994-06-09 1995-12-22 Sony Corp 画像投影装置
US5526133A (en) * 1994-06-28 1996-06-11 Sensormatic Electronics Corporation System and method for logging and retrieving information on video cassettes in a computer controlled surveillance system
US5619255A (en) * 1994-08-19 1997-04-08 Cornell Research Foundation, Inc. Wide-screen video system
US5684626A (en) * 1994-10-25 1997-11-04 Edge Scientific Instrument Company Llc Center masking illumination system and method
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
JPH0937302A (ja) * 1995-07-18 1997-02-07 Olympus Optical Co Ltd 立体撮像装置
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
DE19608067A1 (de) * 1996-03-02 1997-09-04 Philips Patentverwaltung Verfahren und Anordnung zum Darstellen einer Landkarte
US5708469A (en) * 1996-05-03 1998-01-13 International Business Machines Corporation Multiple view telepresence camera system using a wire cage which surroundss a plurality of movable cameras and identifies fields of view
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법

Also Published As

Publication number Publication date
EP0989436A2 (en) 2000-03-29
CA2277712C (en) 2002-08-13
US6141145A (en) 2000-10-31
JP3862895B2 (ja) 2006-12-27
JP2000092521A (ja) 2000-03-31
TW396292B (en) 2000-07-01
CA2277712A1 (en) 2000-02-28
JP2005006341A (ja) 2005-01-06
CN1247994A (zh) 2000-03-22
EP0989436A3 (en) 2002-07-24

Similar Documents

Publication Publication Date Title
KR20000017592A (ko) 스테레오 파노라마식 시청 시스템
US6128143A (en) Panoramic viewing system with support stand
EP0982946B1 (en) Compact high resolution panoramic viewing system
US6219090B1 (en) Panoramic viewing system with offset virtual optical centers
CA2178358C (en) Panoramic projection apparatus
CA2187834C (en) Spherical viewing/projection apparatus
US5990934A (en) Method and system for panoramic viewing
CA2174157A1 (en) Panoramic viewing apparatus
EP0757273A1 (en) Combination of several viewing devices with common point of vision
CA2310956A1 (en) Compact high resolution panoramic viewing system
CA2308028C (en) Spherical viewing/projection apparatus
CA2304439A1 (en) Panoramic viewing system with offset virtual optical centers

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid