KR102234981B1 - A multicamera imaging system - Google Patents

A multicamera imaging system Download PDF

Info

Publication number
KR102234981B1
KR102234981B1 KR1020207002743A KR20207002743A KR102234981B1 KR 102234981 B1 KR102234981 B1 KR 102234981B1 KR 1020207002743 A KR1020207002743 A KR 1020207002743A KR 20207002743 A KR20207002743 A KR 20207002743A KR 102234981 B1 KR102234981 B1 KR 102234981B1
Authority
KR
South Korea
Prior art keywords
imaging system
individual imaging
edge
individual
lens element
Prior art date
Application number
KR1020207002743A
Other languages
Korean (ko)
Other versions
KR20200013800A (en
Inventor
자카리야 니야지
Original Assignee
자카리야 니야지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자카리야 니야지 filed Critical 자카리야 니야지
Publication of KR20200013800A publication Critical patent/KR20200013800A/en
Application granted granted Critical
Publication of KR102234981B1 publication Critical patent/KR102234981B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23238—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

무시차를 가지는 다중카메라 파노라마식 촬상 시스템이 개시된다. 실시예에서, 상기 다중카메라 파노라마식 촬상 시스템은 나란한 어레이로 배치된 다수의 개별 촬상 시스템들을 포함하며, 각 개별 촬상 시스템들의 시야 영역은 각 인접하는 개별 촬상 시스템의 시야 영역과 만나며, 또한 상기 개별 촬상 시스템들 중 임의의 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 임의의 인접하는 것들의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선들의 실질적으로 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타난다. 무시차를 가지는 물체의 이미지를 형성하는 방법이 개시된다. A multi-camera panoramic imaging system with negligible difference is disclosed. In an embodiment, the multi-camera panoramic imaging system includes a plurality of individual imaging systems arranged in a side by side array, and the viewing area of each individual imaging system meets the viewing area of each adjacent individual imaging system, and the individual imaging system The stencil of the primary ray at the edge of the field of view of any one of the systems is substantially parallel to the stencil of the primary ray at the edge of the field of view of any adjacent ones of the individual imaging systems, such that the All of the substantially parallel stencils of the main rays appear converging to a common point when viewed from object space. A method of forming an image of an object with negligible difference is disclosed.

Description

다중 카메라 파노라마식 촬상 시스템 {A multicamera imaging system}Multi-camera panoramic imaging system {A multicamera imaging system}

관련 출원 데이터Related application data

본원은 2014년 5월 6일에 출원된 미국 가출원 번호 61/989,136에 대한 우선권을 주장하며, 이 문헌의 논의 대상은 그 전체 내용이 본 명세서에서 참조로서 인용된다. This application claims priority to U.S. Provisional Application No. 61/989,136, filed May 6, 2014, the subject matter of which this document is discussed, the entire contents of which are incorporated herein by reference.

본 발명의 양태 및 구현예는 가장 일반적으로 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도들에 관한 것이며; 보다 구체적으로, 파노라마식 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도에 관한 것이며; 및, 가장 구체적으로, 제로 시차를 가지거나 또는 실질적으로 시차를 가지지 않는 파노라마식 광학 촬상 시스템, 이와 관련된 방법, 및 이의 용도에 관한 것이다. Aspects and embodiments of the invention relate most generally to optical imaging systems, methods associated therewith, and uses thereof; More specifically, it relates to a panoramic optical imaging system, a method related thereto, and a use thereof; And, most particularly, to a panoramic optical imaging system with zero parallax or substantially no parallax, methods associated therewith, and uses thereof.

시차가 없는 현 360 도 시스템은 미러의 배열을 사용하여 이미지를 스캐닝하고 초당 10 프레임(fps)의 촬상 속력에 의해서 제한된다. 구글은 Immersive Media에 의해 개발된 굴절 렌즈들을 갖는 360 도 카메라를 사용하여서 그의 Streetview 소프트웨어를 위한 사진을 캡처한다. 사진은 시차가 사후 처리되고 보정되어야 하는데, 이는 시간을 소모하며, 그의 Streetview 주도권을 확대할 구글의 능력을 감소시킨다. 피시아이 렌즈는 넓은 시야 영역 각(wide angle) 촬상을 제공하지만, 큰 왜곡을 감수해야 한다. 왜곡은 작은 편평한 이미지 평면 상에 큰 구형 물체를 맵핑하는 것의 물리적 결과이다. The current 360-degree system without parallax uses an array of mirrors to scan the image and is limited by an imaging speed of 10 frames per second (fps). Google uses a 360 degree camera with refractive lenses developed by Immersive Media to capture photos for his Streetview software. Photos have to be post-processed and corrected for parallax, which is time consuming and diminishes Google's ability to expand his Streetview initiative. Fisheye lenses provide wide angle imaging, but suffer from large distortions. Distortion is the physical result of mapping a large spherical object onto a small flat image plane.

일부 기업들은 파노라마식 이미지를 촬영하는 프로세스를 단순화하기 위해서 광학 시스템을 개발하였다. 다수의 샷들을 얻기 위해 카메라를 회전시키는 대신에, 모든 사진들은 해당 장면의 상이한 부분을 촬상하는 수많은 카메라들을 사용하여 동시에 캡처된다. Immersive Media 및 Greypoint Imaging은 $10,000 내지 $100,000 간의 변동하는 가격대에서 입수 가능한 단일 샷 360 도 카메라를 개발하였다. 양 기업들은 이미지에서 생성된 아티팩트(시차)를 자동으로 보정하는 소프트웨어를 개발하여 일 카메라, 예를 들어, iPhone 카메라에 의해서 캡처된 파노라마보다 양호한 솔루션을 제공한다. 그러나, 이 소프트웨어는 완벽하지 않으며 이미지 내에 여전히 수많은 아티팩트가 존재한다. 일례로, 구글은, 한 사람이 그랜드 캐년 주변을 Dodeca 360 카메라(Immersive Media에 의해 제공됨)를 가지고 다니며, 시차에 의해서 유발된 아티팩트으로 인해서 프레임별로 이미지를 보정하기 위해서 프로그래머를 채용해야 한다. Some companies have developed optical systems to simplify the process of capturing panoramic images. Instead of rotating the camera to take multiple shots, all the pictures are captured simultaneously using a number of cameras taking different parts of the scene. Immersive Media and Greypoint Imaging have developed a single-shot 360 degree camera, available at price ranges ranging from $10,000 to $100,000. Both companies have developed software that automatically corrects for artifacts (parallax) created in images, providing a better solution than panoramas captured by one camera, for example an iPhone camera. However, this software is not perfect and there are still numerous artifacts in the image. For example, Google has to hire a programmer to have a single person carrying a Dodeca 360 camera (provided by Immersive Media) around the Grand Canyon and correcting the image frame by frame due to artifacts caused by parallax.

광학 시스템의 시차 및 주 광선Parallax and principal rays in optical systems

시차는 "예를 들어, 카메라의 뷰파인더 및 렌즈를 통해서, 상이한 위치로부터 보여질 때에 물체의 위치 또는 방향이 달리 나타나는 효과"로서 규정된다. 시차는 각각이 그 자신의 고유한 세상의 시점을 갖는, 다수의 카메라들로부터의 이미지를 함께 스티칭하는 결과로서 생성된다. Parallax is defined as "the effect that the position or orientation of an object appears differently when viewed from different positions, for example through the viewfinder and lens of the camera". Parallax is created as a result of stitching together images from multiple cameras, each with its own unique perspective of the world.

도 1을 참조하면, 광학 시스템의 주 광선은 물체의 에지에서 시작하여서, 구경 조리개에서 광학 축의 중심과 교차하며, 검출기에서 이미지의 에지에서 종료되는 자오 광선(meridional ray)이다. 이로써 주 광선은 이미지 크기를 규정한다.Referring to Fig. 1, the main rays of the optical system are meridional rays starting at the edge of the object, intersecting the center of the optical axis at the aperture stop, and ending at the edge of the image at the detector. The main ray thus defines the image size.

주 광선은 다수의 이미지들을 함께 스티칭함으로써 생성된 시차에서 중요한 역할을 한다. 도 2는 2 개의 광학 시스템들(카메라들)을 나란히 예시한다. 상단 상의 렌즈 유닛에 대해서, 정방형, 삼각형 및 직사각형이 이미지 내의 동일한 지점으로 맵핑되는 반면, 하단 상의 렌즈 유닛에 대해서, 이들은 도시된 바와 같이 3 개의 개별 지점들로 맵핑된다. 상단 촬상 시스템에서, 이들은 동일한 주 광선에 의해서 촬상되는 반면, 하단 촬상 시스템에 대해서, 이들은 3 개의 개별 주 광선들에 의해서 촬상된다. 도 3에서 2 개의 이미지들을 결합할 때, 시차가 발생할 것이며, 도 4에 도시된 바와 같은 이미지가 생성될 것이다. The principal ray plays an important role in the parallax created by stitching multiple images together. 2 illustrates two optical systems (cameras) side by side. For the lens unit on the top, square, triangle and rectangle are mapped to the same point in the image, whereas for the lens unit on the bottom, they are mapped to three separate points as shown. In the top imaging system, they are imaged by the same main rays, while for the bottom imaging system, they are imaged by three separate main rays. When combining the two images in FIG. 3, parallax will occur, and an image as shown in FIG. 4 will be created.

시차를 보정할 수 있는 알고리즘에 대한 연구는 수년 동안 진행 중이다. 수많은 솔루션들이 개발되었지만, 지금까지 가장 정교한 알고리즘을 사용하여도, 아티팩트는 파노라마식 이미지들 내에 여전히 남아 있다. 일부 솔루션들에 있어서, 이러한 바는 소프트웨어 엔지니어가 프레임별로 이미지를 고치기 위해서 고용될 수 있기 때문에 문제가 되지 않을 수 있다; 그러나, 일반적인 소비자의 경우에, 이와 같이 각 이미지를 보정하는 옵션은 실현 불가능하다. 이와 같은 시스템이 소비자 시장에서 입수될 수 있기 이전에 시차를 효과적으로 보정하는 보다 양호한 솔루션이 필요하다. 계산적으로 하는 대신에, 광학적으로 이미지 내의 시차를 감소시키는 문제를 해결하는 것이 바람직하다. Research into algorithms capable of correcting parallax has been ongoing for many years. Numerous solutions have been developed, but even with the most sophisticated algorithms to date, artifacts still remain in panoramic images. For some solutions, this may not be an issue because a software engineer can be hired to fix the image frame by frame; However, in the case of a typical consumer, the option of correcting each image in this way is not feasible. There is a need for a better solution that effectively compensates for parallax before such a system becomes available in the consumer market. Instead of doing it computationally, it is desirable to solve the problem of optically reducing parallax in the image.

단일 샷 파노라마식 촬상을 위해서 생성된 현 설계는 시차를 겪는데, 그 이유는 이들이 중첩하는 시야 영역들을 갖는 촬상 시스템으로부터 생성되기 때문이다. 도 5는 미국 특허 2,696,758로부터 취해졌다. 이와 같은 도면은 시차가 오늘날 입수 가능한 360 도 촬상 시스템에서 어떻게 생성되는지를 예시한다. 시야 영역은 중첩하고, 하단 렌즈 시스템에 있어서 FOV의 에지에서 나타나는 삼각형은 상단 촬상 시스템에서 약 0.707 배의 FOV에서 나타날 것이다. 이로써, 삼각형은 각 카메라에 대해서 상이한 이미지 지점으로 맵핑된다. 하단에서, 삼각형은 전체 FOV(이미지의 에지)로 맵핑된다.Current designs created for single-shot panoramic imaging suffer from parallax because they are created from an imaging system with overlapping viewing areas. 5 was taken from US Patent 2,696,758. Figures such as this illustrate how parallax is created in 360 degree imaging systems available today. The field of view overlaps, and the triangle appearing at the edge of the FOV for the lower lens system will appear at about 0.707 times the FOV for the upper imaging system. As such, the triangles are mapped to different image points for each camera. At the bottom, the triangle is mapped to the full FOV (edge of the image).

이로써, 본 발명자는 시차가 존재하지 않으며 시차가 후-프로세싱 소프트웨어에 의해서보다 광학적으로 제거되는 파노라마식 촬상 시스템 및 관련 방법의 장점 및 이점을 인식하였다. 이와 같은 시스템은 지구의 거리를 맵핑하기 위해서 스케일 가능한 방식을 제공하는 것; 도시 및 사설 기관 모두의 가상 투어 생성을 가능하게 하는 것; 고 프레임-레이트 비디오 감시; 드론 및 탱크 기술을 포함하는 군사용 용도; 큰 왜곡을 감수하여 넓은 시야 영역 각 촬상을 제공하는 피시아이 렌즈에 대한 대안을 포함하는 용도를 가질 것이다. Thus, the inventors have recognized the advantages and advantages of the panoramic imaging system and related method in which parallax does not exist and parallax is more optically removed by the post-processing software. Such systems provide a scalable way to map Earth's distances; To enable the creation of virtual tours for both city and private institutions; High frame-rate video surveillance; Military applications including drone and tank technology; It would have uses that include an alternative to a fisheye lens that provides wide viewing area angular imaging at the expense of great distortion.

본 발명의 일 양태는 시차를 가지지 않는 다중카메라 파노라마식 촬상 시스템이다. 비한정적인 구현예에 따라서, 상기 다중카메라 파노라마식 촬상 시스템은 나란한 어레이로 배치된 복수의 개별 촬상 시스템들을 포함하며, 각 개별 촬상 시스템의 시야 영역은 각 인접하는 개별 촬상 시스템의 시야 영역과 만나며, 또한 상기 개별 촬상 시스템들 중 임의의 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 임의의 인접하는 것들의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선의 실질적으로 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타난다. 다양한 비한정적 구현예에서, 상기 다중카메라 파노라마식 촬상 시스템은 다음의 특징, 한정, 특성을 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다: One aspect of the present invention is a multi-camera panoramic imaging system having no parallax. According to a non-limiting embodiment, the multi-camera panoramic imaging system includes a plurality of individual imaging systems arranged in a side-by-side array, and the viewing area of each individual imaging system meets the viewing area of each adjacent individual imaging system, Also, the stencil of the principal ray at the edge of the field of view of any one of the individual imaging systems is substantially parallel to the stencil of the primary ray at the edge of the field of view of any of the adjacent ones of the individual imaging systems. Thus, all of the substantially parallel stencils of the main ray appear converging to a common point when viewed from object space. In various non-limiting embodiments, the multi-camera panoramic imaging system may include or be further characterized by the following features, limitations, and characteristics alone or in various combinations thereof:

- 복수의 동일한 개별 촬상 시스템들을 포함하며;-Comprising a plurality of identical individual imaging systems;

- 상기 주 광선의 스텐실의 적어도 50%는 평행한 상태로부터 20 도 이하만큼 벗어나며;-At least 50% of the stencils of the main rays deviate from the parallel state by no more than 20 degrees;

- 상기 개별 촬상 시스템 각각은 이미지 센서를 포함하며, 또한 겉보기 수렴 지점이 상기 개별 촬상 시스템 각각의 상기 이미지 센서의 후방에 놓이며;-Each of the individual imaging systems comprises an image sensor, and an apparent point of convergence lies behind the image sensor of each of the individual imaging systems;

- 상기 개별 촬상 시스템 중 어느 것도 물리적으로 중첩하지 않으며; -None of the individual imaging systems physically overlap;

- 상기 시스템은 12면체 기하구조를 가지며, 또한 상기 시스템은 360 도 FOV를 특징으로 하며;-The system has a dodecahedron geometry, and the system also features a 360 degree FOV;

- 상기 개별 촬상 시스템 각각의 전방 렌즈는 단일 연속 프리폼 광학소자(contiguous freeform optic)의 일부이며;-The front lens of each of the individual imaging systems is part of a single contiguous freeform optic;

- 각 이미지 센서는 파면 센서(wavefront sensor)이며;-Each image sensor is a wavefront sensor;

- 상기 개별 촬상 시스템 각각은 상기 촬상 시스템의 왜곡 및 펫츠발 곡률(Petzval Curvature)과 일치하도록 곡률을 갖는 이미지 평면을 가진다.Each of the individual imaging systems has an image plane with curvature to match the distortion and Petzval Curvature of the imaging system.

본 발명의 일 양태는 시차를 가지지 않는 물체의 이미지를 형성하는 방법이다. 비한정적 구현예에 따라서, 이 방법은 파노라마식 촬상 시스템을 제공하는 단계로서, 상기 파노라마식 촬상 시스템은 각각이 시야 영역(FOV)에 의해서 특성화되는 복수의 개별 촬상 시스템들을 포함하는, 단계; 및 상기 개별 촬상 시스템들의 매 하나의 시야 영역의 에지에서의 주 광선의 스텐실을 상기 개별 촬상 시스템들 중 바로 인접하는 것의 시야 영역의 에지에서의 주 광선들의 스텐실과 실질적으로 평행하게 되도록 제한하여, 상기 주 광선의 평행하는 스텐실들 모두가 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하도록 나타나는 단계를 포함하며, 상기 촬상 시스템은 시차가 없다(parallax-free). 다양한 비한정적 구현예에서, 상기 파노라마식 촬상 방법은 다음의 특징, 한정, 특성, 단계를 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다: One aspect of the present invention is a method of forming an image of an object having no parallax. According to a non-limiting embodiment, the method includes providing a panoramic imaging system, the panoramic imaging system comprising a plurality of individual imaging systems each characterized by a field of view (FOV); And limiting the stencil of the main rays at the edge of every one viewing area of the individual imaging systems to be substantially parallel to the stencil of the main rays at the edge of the viewing area of the immediately adjacent one of the individual imaging systems, the All of the parallel stencils of the main ray appearing to converge to a common point when viewed from object space, the imaging system being parallax-free. In various non-limiting embodiments, the panoramic imaging method may include or be further characterized by the following features, limitations, characteristics, and steps alone or in various combinations thereof:

- 상기 주 광선의 스텐실의 적어도 50%을 평행 상태로부터 20 도 이하만큼 벗어나게 제한하는 단계를 더 포함하며;-Limiting at least 50% of the stencil of the main ray to deviate from the parallel state by no more than 20 degrees;

- 상기 촬상 시스템에 의해서 형성된 연속하는 360 도 이미지 내에서의 왜곡 수차를 보정하기 위한 알고리즘을 사용하는 단계를 더 포함한다.-Using an algorithm for correcting distortion aberrations within the successive 360 degree images formed by the imaging system.

본 발명의 일 양태는 (실질적으로) 시차가 없는, 파노라마식 촬상 시스템을 설계하는 방법이다. 비한정적인 구현예에 따라서, 이 방법은 전체 파노라마식 촬상 시스템 기하구조를 결정하는 단계로서, 상기 전체 파노라마식 촬상 시스템은 인접하는 촬상 시스템들의 시야 영역들이 만나도록 나란한 어레이로 배치된, 각각의 사야 영역들을 갖는 복수의 개별 촬상 시스템들을 포함하는, 단계; 및 상기 개별 촬상 시스템들 중 하나의 시스템의 시야 영역의 에지에서의 주 광선의 스텐실이 상기 개별 촬상 시스템들 중 인접하는 것의 시야 영역의 에지에서의 주 광선의 스텐실과 실질적으로 평행하게 되어서, 상기 주 광선들의 실질적으로 평행하는 스텐실이 물체 공간으로부터 보여질 때에 공통 지점으로 수렴하게 나타나는 상기 개별 촬상 시스템들을 설계하는 단계를 포함한다. 다양한 비한정적 구현예에서, 상기 파노라마식 촬상 방법은 다음의 특징, 한정, 특성, 단계를 단독으로 또는 이들의 다양한 조합들로 포함하거나 더 특징으로 할 수 있다: One aspect of the present invention is a method of designing a (substantially) parallax-free, panoramic imaging system. According to a non-limiting implementation, the method comprises determining the overall panoramic imaging system geometry, wherein the overall panoramic imaging system is arranged in a side-by-side array so that the viewing areas of adjacent imaging systems meet each other. Comprising a plurality of individual imaging systems having regions; And the stencil of the principal ray at the edge of the field of view of one of the individual imaging systems is substantially parallel to the stencil of the primary ray at the edge of the field of view of the adjacent one of the individual imaging systems. Designing the individual imaging systems that appear to converge to a common point when a substantially parallel stencil of rays is viewed from object space. In various non-limiting embodiments, the panoramic imaging method may include or be further characterized by the following features, limitations, characteristics, and steps alone or in various combinations thereof:

- 상기 전체 파노라마식 촬상 시스템은 복수의 동일한 개별 촬상 시스템들을 포함하며;-The entire panoramic imaging system comprises a plurality of identical individual imaging systems;

- 상기 개별 촬상 시스템들을 설계할 시에, 상기 복수의 개별 촬상 시스템들 중 임의의 것들 간의 물리적 중첩이 존재하지 않는 것을 보장하며;-In designing the individual imaging systems, ensuring that there is no physical overlap between any of the plurality of individual imaging systems;

- 상기 개별 촬상 시스템들을 설계할 시에, 겉보기 수렴 지점이 각 개별 촬상 시스템의 각각의 이미지 센서의 후방에 놓이는 것을 보장한다.-When designing the individual imaging systems, ensure that the apparent point of convergence lies behind each image sensor of each individual imaging system.

본 발명에 의하면, 시차가 존재하지 않으며 시차가 후-프로세싱 소프트웨어에 의해서보다 광학적으로 제거되는 파노라마식 촬상 시스템 및 관련 방법이 제공되되, 이와 같은 시스템은 지구의 거리를 맵핑하기 위해서 스케일 가능한 방식을 제공하고; 도시 및 사설 기관 모두의 가상 투어 생성을 가능하게 하고; 고 프레임-레이트 비디오 감시; 드론 및 탱크 기술을 포함하는 군사용 용도; 큰 왜곡을 감수하여 넓은 시야 영역 각 촬상을 제공하는 피시아이 렌즈에 대한 대안을 포함하는 용도를 가능하게 한다.According to the present invention, there is provided a panoramic imaging system and a related method in which parallax does not exist and parallax is more optically removed by post-processing software, and such a system provides a scalable method to map the distance of the earth. ; Enable creation of virtual tours for both city and private institutions; High frame-rate video surveillance; Military applications including drone and tank technology; It allows for use including an alternative to fisheye lenses that afford wide viewing area angular imaging at the expense of great distortion.

도 1은 광학 시스템의 주 광선을 예시한다. 주 광선은 물체의 높이뿐만 아니라 이미지의 높이를 규정한다.
도 2는 다수의 굴절 촬상 시스템이 장면의 이미지를 캡처하는데 사용되는 경우 시차가 왜 발생하는지 예시한다. 상단 렌즈 유닛에서, 3 개의 물체들이 동일한 이미지 지점으로 맵핑되며; 하단 렌즈 유닛에서, 이들은 3 개의 별개의 이미지 지점들로 맵핑된다.
도 3(좌측)은 도 2에서의 상단 렌즈 유닛에 의해서 형성된 이미지를 예시하는 반면, 우측의 이미지는 하단 렌즈 유닛에 의해서 형성된 이미지이다.
도 4는 도 3에서 2 개의 이미지들을 결합하여서 생성되는 이미지를 도시한다.
도 5는 오늘날 생산된 카메라에서 시차가 어떻게 발생하는지를 예시한다. 시야 영역이 중첩하며, 하단 렌즈 시스템에서는 FOV의 에지에서 나타나는 삼각형이 상단 촬상 시스템에서는 약 0.707 배의 FOV에서 나타날 것이다. 이로써, 삼각형은 각 카메라에 대해서 상이한 이미지 지점으로 맵핑된다. 하단 카메라에서, 삼각형은 전체 FOV(이미지의 에지)로 맵핑된다.
도 6은 시차를 가지지 않는 2 개의 촬상 시스템들을 나란히 예시한다. 각 시스템의 에지에서의 주 광선은 서로 평행하게 놓이도록 제한된다. 이로써, 이와 같은 라인을 따라서 놓이는 물체는 이미지 평면 내의 동일한 지점으로 촬상된다.
도 7은 도시된 양 촬상 시스템들에 대한 (이하에서 규정된 바와 같은) 무-시차(NP) 지점의 위치를 예시한다.
도 8은 FOV의 에지에서의 주 광선이 평행하지 않으며, 이로써 NP 지점이 상이한 위치에서 놓이는 것을 도시한다.
도 9는 이미지 센서 앞에 놓인 NP 지점을 갖는 촬상 시스템을 예시한다.
도 10은 각각 FOV 에지에서의 주 광선들이 서로 평행하도록 정렬된 2 개의 촬상 시스템들을 예시한다.
도 11은 이미지 평면 후방의 NP 지점을 갖는 촬상 시스템을 도시한다.
도 12는 같은 위치에 있는 NP 지점을 갖는 다수의 유닛 촬상 시스템을 도시한다.
도 13은 각 12면체 면을 따라서 놓이도록 제한된 에지 광선을 갖는 360 도 렌즈 시스템의 3 차원 도면이다.
도 14는 렌즈가 오각형이기보다는 원형인 경우에 생성될 사각 지역(blind spots)을 예시하는 오각형 내에 내접한 원을 도시한다.
도 15는 정오각형을 외접하도록 초기에 설계된, 각 시스템의 제1 렌즈 요소를 도시한다.
도 16은 제1 렌즈 요소의 직경이 1.7013a로 제약되며, 여기서 a는 정오각형의 한 변의 길이이다.
도 17은 제1 렌즈 요소의 중심으로부터 12면체의 중심(NP 지점)까지의 거리가 1.1135a이며, 여기서 a는 정오각형의 한 변의 길이이다.
도 18은 오각형 면의 상단으로부터 NP 지점까지의 거리가 1.31a로 제한되며, 여기서 a는 정오각형의 한 변의 길이이다. 여기서, NP 지점은 12면체의 중심이다.
도 19은 12면체의 중심에 대하여 제1 렌즈 요소 상에 부여된 제한을 예시하는 도면이다. "a"는 12면체 내의 각 정오각형의 한 변의 길이이다.
도 20은 임의의 요소의 최대 길이가 12면체의 중심으로부터 발산하는 광의 31.717 도 절반 각 콘(half angle cone) 내로 피팅되게 제한된 것을 예시하는 도면이다.
도 21은 오각형 에지의 중심과 12면체의 중심 간의 각도 및 12면체의 1/12의 3 차원도이다.
도 22은 오각형 에지의 에지와 12면체의 중심 간의 각도 및 12면체의 1/12의 3 차원도이다.
도 23은 광선 1 및 광선 37로의 높이를 도시하는 오각형 형상의 렌즈 요소를 도시한다.
도 24은 모델에서 광선 1 및 37을 도시하는 현 렌즈 설계의 Zemax 도면이다.
도 25은 후방으로부터의 현 렌즈 설계의 3 차원 Zemax 도면이다.
도 26은 측면으로부터의 3 차원 Zemax 도면이다.1 illustrates the main rays of an optical system. The main ray defines the height of the image as well as the height of the object.
2 illustrates why parallax occurs when multiple refractive imaging systems are used to capture images of a scene. In the upper lens unit, three objects are mapped to the same image point; In the lower lens unit, they are mapped to three separate image points.
3 (left) illustrates an image formed by the upper lens unit in FIG. 2, while the image on the right is an image formed by the lower lens unit.
FIG. 4 shows an image generated by combining two images in FIG. 3.
Figure 5 illustrates how parallax occurs in cameras produced today. The field of view overlaps, and in the lower lens system the triangle appearing at the edge of the FOV will appear at about 0.707 times the FOV in the upper imaging system. As such, the triangles are mapped to different image points for each camera. In the bottom camera, the triangle is mapped to the full FOV (edge of the image).
6 illustrates two imaging systems side-by-side with no parallax. The main rays at the edge of each system are confined to lie parallel to each other. Thereby, an object lying along such a line is imaged to the same point in the image plane.
7 illustrates the location of a parallax-free (NP) point (as defined below) for both imaging systems shown.
Figure 8 shows that the main rays at the edge of the FOV are not parallel, whereby the NP points lie at different locations.
9 illustrates an imaging system with an NP point placed in front of an image sensor.
10 illustrates two imaging systems arranged such that the principal rays at each FOV edge are parallel to each other.
11 shows an imaging system with an NP point behind the image plane.
12 shows a multiple unit imaging system with NP points in the same location.
13 is a three-dimensional view of a 360 degree lens system with edge rays constrained to lie along each dodecahedron face.
14 shows circles inscribed within a pentagon illustrating blind spots to be created when the lens is circular rather than pentagonal.
15 shows the first lens element of each system, initially designed to circumscribe an equilateral pentagon.
16 shows that the diameter of the first lens element is constrained to 1.7013a , where a is the length of one side of the regular pentagon.
17 shows that the distance from the center of the first lens element to the center of the dodecahedron (NP point) is 1.1135a , where a is the length of one side of the regular pentagon.
18 shows that the distance from the top of the pentagonal face to the point NP is limited to 1.31a , where a is the length of one side of the regular pentagon. Here, the NP point is the center of the dodecahedron.
19 is a diagram illustrating a restriction imposed on a first lens element with respect to the center of the dodecahedron. " a " is the length of one side of each regular pentagon in the dodecahedron.
20 is a diagram illustrating that the maximum length of any element is limited to fit into a 31.717 degree half angle cone of light emanating from the center of the dodecahedron.
21 is a three-dimensional view of the angle between the center of the pentagonal edge and the center of the dodecahedron and 1/12 of the dodecahedron.
22 is a three-dimensional view of the angle between the edge of the pentagonal edge and the center of the dodecahedron and 1/12 of the dodecahedron.
23 shows a lens element in the shape of a pentagon showing the heights of light rays 1 and 37.
24 is a Zemax diagram of the current lens design showing rays 1 and 37 in the model.
25 is a three-dimensional Zemax diagram of the current lens design from the rear.
26 is a three-dimensional Zemax view from the side.

파노라마식 카메라가 최소 시차를 달성하기 위해서, 촬상 시스템의 시야 영역(FOV)은 중첩되지 말아야 한다. 이로써, FOV의 에지에서의 주 광선은 인접하는 광학 시스템의 에지에서의 주 광선에 대해 평행한 광학 시스템에 접근해야 한다. In order for the panoramic camera to achieve minimum parallax, the field of view (FOV) of the imaging system must not overlap. Thereby, the principal ray at the edge of the FOV must approach the optical system parallel to the principal ray at the edge of the adjacent optical system.

도 6은 시차를 가지지 않는 2 개의 촬상 시스템들을 나란히 예시한다. 각 시스템의 에지에서의 주 광선은 서로 평행하게 놓이도록 제한된다. 이로써, 이와 같은 라인을 따라서 놓이는 물체는 이미지 평면 내의 동일한 지점으로 촬상된다. 이는 개별적인 렌즈 요소를 설계하는데 사용될 수 있는 접근법이다. 시야 영역은 서로 중첩하지 않는데 그 이유는 블렌딩(blending) 각도에서의 주 광선이 서로 평행하도록 제한되며 공통 지점으로 수렴하기 때문이다. 공통 지점은 렌즈가 매입된 기하구조에 의존할 것이다. 달리 말하면, 물체 공간으로부터 렌즈 시스템을 볼 때에 주 광선이 동일한 지점에서 광학 축을 교차하게 나타나도록 평행하게 제한된다. 실제로, 이들은 이러한 가상 지점 앞에 놓이는, 이미지 센서에서의 광학 축과 교차하지만, 물체 공간으로부터 렌즈 시스템을 볼 때에, 이들이 동일한 지점에서 교차는 것이 나타난다. 6 illustrates two imaging systems side-by-side with no parallax. The main rays at the edge of each system are confined to lie parallel to each other. Thereby, an object lying along such a line is imaged to the same point in the image plane. This is an approach that can be used to design individual lens elements. The viewing areas do not overlap each other because the main rays at the blending angle are confined to be parallel to each other and converge to a common point. The common point will depend on the geometry in which the lens is embedded. In other words, when viewing the lens system from object space, the main rays are constrained parallel so that they appear intersecting the optical axis at the same point. In practice, they intersect the optical axis in the image sensor, which lies in front of these virtual points, but when viewing the lens system from object space, it appears that they intersect at the same point.

NP 지점(무시차 지점)NP point (disparity point)

전술한 개념의 이해를 돕기 위해서, 용어 무시차 지점(No Parallax Point)(NP 지점)이 참조된다. NP 지점은 FOV의 에지에서의 주 광선이 서로 평행하게 놓이도록 물리적으로 될 수 있는 방식 및 이들이 어떠한 규칙을 따라야 하는지를 이해시키기 위해서 사용되는 축약용어이다. NP 지점은 시차가 없는 파노라마식 촬상 시스템에서 물체 공간으로부터 시스템을 볼 때에 인접하는 광학 시스템의 에지에서의 주 광선이 광학 축과 교차하는 지점이다. In order to help understand the above-described concept, the term No Parallax Poin t ( NP point ) is referred to. The NP point is a shorthand term used to understand how the main rays at the edge of the FOV can be physically lie parallel to each other and what rules they should follow. The NP point is the point at which the main ray at the edge of the adjacent optical system intersects the optical axis when viewing the system from object space in a parallax-free panoramic imaging system.

실시된 발명에 따라서, 각 촬상 시스템에 대한 NP 지점은 동일한 위치에 놓여야 한다. 다시 말해서, 인접하는 광학 시스템의 광선은 평행해야 한다. 도 9는 촬상 센서 앞에 놓인 NP 지점을 갖는 촬상 시스템을 도시한다. 도 10은 개개의 FOV 에지에서의 주 광선이 서로 평행하도록 정렬된 2 개의 촬상 시스템들을 예시한다. 이와 같은 제한은 NP 지점이 양 시스템들에 대해서 동일한 위치에 있어야 함을 의미한다. NP 지점이 이미지 센서의 앞에 있으면, 렌즈 요소를 중첩시키지 않으면서 NP 지점을 정렬시키는 것은 불가능하다. 이와 같은 시스템은 어떠한 시차도 가지지 않을 것이지만, 구현하는 것은 물리적으로 불가능하다. 이는 광학 시스템을 설계할 때에, 어떠한 요소들도 서로 중첩하지 않도록 NP 지점이 촬상 시스템 내의 모든 요소들 후방에 놓여야 한다는 것을 나타낸다. According to the invention implemented, the NP points for each imaging system should be placed in the same location. In other words, the rays of adjacent optical systems must be parallel. 9 shows an imaging system with an NP point placed in front of the imaging sensor. 10 illustrates two imaging systems arranged such that the principal rays at the respective FOV edges are parallel to each other. This limitation implies that the NP point must be in the same location for both systems. If the NP point is in front of the image sensor, it is impossible to align the NP point without overlapping the lens elements. A system like this will not have any parallax, but it is physically impossible to implement. This indicates that when designing the optical system, the NP point should lie behind all elements in the imaging system so that no elements overlap each other.

도 11은 이미지 평면 후방에 NP 지점이 놓이는 시스템을 도시한다. 이와 같은 경우에, 도 12에 도시된 바와 같이, 시야 영역들이 중첩하지 않도록 다수의 촬상 시스템들을 배열하는 것이 가능하다. NP 지점의 정확한 위치는 렌즈 배열 기하구조에 의해서 결정될 것이다. 이 위치를 임의적으로 선택함으로써, 다시 말하면, 주 광선이 이미지 평면 후방의 광학 축과 교차하게 나타나도록 광선 높이 및 입사각을 임의적으로 선택함으로써, 렌즈 시스템의 기하구조는 모든 360 도 이미지를 캡처하도록 수백 개의 렌즈 유닛들을 요구할 수 있다. NP 지점 위치는 렌즈에 대해서 사용하기 원할 수 있는 기하구조를 고려한 후에 결정되어야 한다. 11 shows a system in which the NP point lies behind the image plane. In such a case, as shown in Fig. 12, it is possible to arrange multiple imaging systems so that the viewing areas do not overlap. The exact location of the NP point will be determined by the lens array geometry. By randomly choosing this position, i.e. by randomly choosing the ray height and angle of incidence so that the main ray appears to intersect the optical axis behind the image plane, the geometry of the lens system can be achieved by hundreds of images to capture every 360 degree image. Lens units may be required. The position of the NP point should be determined after considering the geometry that may be desired to be used for the lens.

본 발명의 구현예는 다중카메라 파노라마식 촬상 시스템에 관한 것이며, 여기서 인접하는 촬상 유닛의 영역은 수렴하여서, 도 7의 개략도에서 예시된 바와 같이, 전체 촬상 시스템의 복합 시야 영역을 형성한다. 통상적인 파노라마식 촬상 시스템은 그들의 각각의 시야 영역이 도 8의 개략도에서 예시된 바와 같이, 중첩하도록 하는 방식으로 촬상 유닛을 결합하며, 이는 이로써 생성되는 이미지에서의 시차로 이어지며, 이러한 시차를 제거하기 위해서 이미지를 함께 스티치하기 위한 보정 소프트웨어가 요구된다. Embodiments of the present invention relate to a multi-camera panoramic imaging system, wherein areas of adjacent imaging units converge to form a composite field of view of the entire imaging system, as illustrated in the schematic diagram of FIG. 7. Conventional panoramic imaging systems combine imaging units in such a way that their respective field of view overlaps, as illustrated in the schematic diagram of Fig. 8, which leads to parallax in the resulting image, which eliminates such parallax. In order to do this, correction software is required to stitch the images together.

본 예시적인 구현예에서, 일 촬상 유닛의 에지에 입사되는 광선은 인접하는 촬상 유닛의 입사 광선과 평행하게 놓이도록 제한되며 이로써 양 촬상 시스템들은 에지 광선들의 동일한 세트를 공유한다. 도 13의 3 차원 모델에서 볼 수 있는 바와 같이, 일 촬상 유닛의 에지에서의 광선은 인접하는 촬상 유닛의 에지에서의 광선들과 동일하다. 이 광선은 12면체 에지의 표면을 따라서 놓이도록 제한되는 그레이(gray) 라인이다. 각 오각형 형상의 렌즈의 에지에서의 그레이 광선은 그의 이웃하는 표면에 입사되는 광선과 일치한다. 에지 광선 아래의 반경에서의 모든 광선들은, 이들 광선이 인접하는 시스템으로부터의 광선과 중첩하지 않게, 보다 작은 입사 각으로 놓인다. In this exemplary implementation, a ray incident on an edge of one imaging unit is limited to lie parallel to an incident ray of an adjacent imaging unit, whereby both imaging systems share the same set of edge rays. As can be seen in the three-dimensional model of Fig. 13, the light rays at the edge of one imaging unit are the same as the light rays at the edge of the adjacent imaging unit. This ray is a gray line that is confined to lie along the surface of the dodecahedron edge. The gray rays at the edges of each pentagonal shaped lens coincide with the rays incident on its neighboring surface. All rays in the radius below the edge rays lie at a smaller angle of incidence so that these rays do not overlap with rays from adjacent systems.

실시된 파노라마식 촬상 시스템은 이미지 센서 후방의 NP 지점을 갖는 촬상 시스템을 설계하는 전술한 기술을 사용하고, 다수의 렌즈 시스템들을 12면체 기하구조로 결합하여서, 최소 시차 또는 무시차인 360 도 FOV 카메라를 생성한다. The implemented panoramic imaging system uses the above-described technology for designing an imaging system having an NP point behind the image sensor, and combines a dodecahedron geometry with a number of lens systems to provide a 360-degree FOV camera with minimum parallax or negligible difference. Generate.

제1 렌즈 요소는 정오각형의 표면으로 형성될 것이다. 완전한 시스템은 12 개의 개별 촬상 유닛들로 구성되며, 각 유닛은 오각형의 에지를 따르는 광선에 대한 공통 NP 지점을 가지며, 상기 시스템은 12면체의 기하구조에 의해서 특정된 기하구조를 만족하는 입사각을 갖도록 제한된다. The first lens element will be formed with a regular pentagonal surface. The complete system consists of 12 individual imaging units, each unit having a common NP point for rays along the edge of the pentagon, and the system has an angle of incidence that satisfies the geometry specified by the dodecahedron geometry. Limited.

12면체는 12 개의 표면들을 갖는 다면체이다. 다면체는 에지에서 만나는 다각형들의 집합으로 구성된 3 차원 입체이다. 12면체의 각 측면은 정오각형(동일한 길이의 변들을 갖는 오각형)이다. 12면체는 이러한 기하구조를 사용하는 렌즈 시스템을 설계하기 위해서 이해되어야 하는 일부 중요한 기하학적 특성들을 갖는다. 이러한 특성은 제1 렌즈가 오각형의 표면으로 형성되어야만 하는 이유를 간략하게 논의한 후에 바로 다음에 논의될 것이다. A dodecahedron is a polyhedron with 12 surfaces. A polyhedron is a three-dimensional solid consisting of a set of polygons that meet at an edge. Each side of the dodecahedron is a regular pentagon (pentagon with equal length sides). The dodecahedron has some important geometric properties that must be understood in order to design a lens system that uses this geometry. This characteristic will be discussed immediately after briefly discussing why the first lens should be formed with a pentagonal surface.

12면체 기하구조 내의 제1 요소로서 원형 에지를 갖는 렌즈를 사용함으로써, 에지 광선을 정렬시키는 현 기술을 사용하여서 360 도 시야 영역 내의 모든 정보를 캡처하는 것은 가능하지 않다. 제1 렌즈가 오각형 내에 내접되는 경우로부터의 손실 구역(도 14에서 음영 영역)은 사각 지역을 발생시킨다. 시야 영역이 중첩되지 않기 때문에, 이와 같은 정보는 절대 캡처되지 않는다. 원의 면적 및 이 원을 내접하는 오각형 간의 면적의 비는 π/5 또는 62.83%와 동일하게 계산될 수 있다. 이는 본 출원인 주변의 360 도 영역에 대해서 본 출원인이 기록할 수 있는 최대 정보량이다. 렌즈 및 오각형 간에 생성된 사각 지역은 360 도 이미지에서 대략 40%의 정보를 삭제한다.By using a lens with a circular edge as the first element in the dodecahedron geometry, it is not possible to capture all the information in the 360 degree field of view using the current technique of aligning the edge rays. The area of loss (shaded area in Fig. 14) from the case where the first lens is inscribed within the pentagon creates a blind area. Because the field of view does not overlap, such information is never captured. The ratio of the area of the circle and the area between the pentagon inscribed therein can be calculated equal to π/5 or 62.83%. This is the maximum amount of information that the applicant can record for a 360-degree area around the applicant. The blind area created between the lens and the pentagon deletes approximately 40% of the information in the 360-degree image.

다음 설명은 12면체의 기하구조를 예시하도록 의도된 것이며 전술한 NP 기술 및 12면체 기하구조를 사용하는 렌즈 시스템을 생성할 때 필요하지만, 본 명세서에서 실시되는 무시차 파노라마식 촬상 시스템을 생성하기 위한 목적에 있어서 본질적인 것은 아니다. The following description is intended to illustrate the geometry of the dodecahedron and is necessary when creating a lens system using the NP technique and dodecahedron geometry described above, but for creating a non-difference panoramic imaging system implemented herein. It is not essential to the purpose.

특성 1: 정오각형을 외접하는 원의 직경Characteristic 1: The diameter of the circle circumscribed to the regular pentagon

12 개의 개별적인 렌즈 시스템들 각각에 대해서, 제1 렌즈가 도 15에 도시된 바와 같이 12면체의 정오각형들 각각을 외접하도록 설계될 것이다. 정오각형을 외접하는 원의 직경은 다음과 같이 된다:For each of the twelve individual lens systems, the first lens will be designed to circumscribe each of the dodecahedral regular pentagons as shown in FIG. 15. The diameter of the circle circumscribed to the regular pentagon becomes:

D = a/sin (36°) = 1.7013a D = a/sin (36°) = 1.7013a

위의 등식에서, "a"는 정오각형의 변 길이이다. 각 시스템의 제1 렌즈 요소는 각 오각형을 완전하게 외접할 것이며, 이로써 각 시스템에 대한 제1 렌즈 요소의 직경이 도 16에서 예시된 바와 같이 1.7013a으로 주어진다. In the above equation, " a " is the side length of the regular pentagon. The first lens element of each system will completely circumscribe each pentagon, whereby the diameter of the first lens element for each system is given as 1.7013a as illustrated in FIG. 16.

특성 2: 각 오각형의 중심을 터치하는 내접된 구(inscribed sphere)Trait 2: Inscribed sphere touching the center of each pentagon

내접된 구(12면체의 면들 각각과 접함)의 반경은 다음과 같다:The radius of the inscribed sphere (abutting each of the dodecahedron faces) is:

Figure 112020009420034-pat00001
Figure 112020009420034-pat00001

이와 같은 반경은 본 설계에서 각 렌즈에 대한 NP 지점일, 12면체의 중심과 해당 오각형을 점유하는 시스템 내의 제1 렌즈 요소의 중심(광학 축)과 일치하는 오각형의 면의 중심 간의 거리이다. 이와 같은 지점은 각 오각형 면의 중심에 있다. NP 지점 및 12면체의 중심 간의 길이는 도 17에서 예시된 바와 같이, 1.1135a로 제한되며, 여기서 a는 오각형 변들 중 한 변의 길이이다. This radius is the distance between the center of the dodecahedron, which is the NP point for each lens in this design, and the center of the face of the pentagon that coincides with the center of the first lens element (optical axis) in the system that occupies the pentagon. A point like this is at the center of each pentagonal face. The length between the NP point and the center of the dodecahedron is limited to 1.1135a , as illustrated in FIG. 17, where a is the length of one of the pentagonal sides.

특성 3: 12면체의 중간-반경(mid-radius)Characteristic 3: mid-radius of dodecahedron

중간-반경은 12면체의 중심과 각 에지의 중간을 연결하는 길이이다. 이와 같은 길이는 다음과 같이 주어진다:The mid-radius is the length connecting the center of the dodecahedron to the middle of each edge. Lengths like this are given by:

Figure 112020009420034-pat00002
Figure 112020009420034-pat00002

이와 같은 등식은 도 18에서 예시된 바와 같이, 오각형 면의 상단과 NP 지점 간의 거리를 제한한다. This equation limits the distance between the top of the pentagonal face and the NP point, as illustrated in FIG. 18.

제한limit

12면체의 기하학적 특성은 이를 실현할 12 개의 렌즈들의 설계를 제한한다. 특히, 본 출원인은 위에서 주어진 설명에 기초하여 다음과 같은 4 개의 파라미터들을 갖는다:The geometric characteristics of the dodecahedron limit the design of the 12 lenses to realize this. In particular, the applicant has the following four parameters based on the description given above:

1. 제1 렌즈 요소의 직경: 1.7013a;1. Diameter of the first lens element: 1.7013a;

2. 제1 렌즈 요소에서 12면체의 중심까지의 거리: 1.1135a;2. Distance from the first lens element to the center of the dodecahedron: 1.1135a;

3. 제1 렌즈 요소의 상단으로부터 12면체의 중심까지의 거리: 1.31a;3. Distance from the top of the first lens element to the center of the dodecahedron: 1.31a;

4. FOV = 37.3777 도4.FOV = 37.3777 degrees

처음의 3 개의 제한들 중 임의의 2 개가 주어지면, 렌즈의 광학 축과 제1 렌즈 요소의 상단 간의 각도는 37.3777 도이다(도 19 참조):Given any two of the first three limits, the angle between the optical axis of the lens and the top of the first lens element is 37.3777 degrees (see Figure 19):

tan-1((1.7013/2)/1.1135) - 37.377°.tan -1 ((1.7013/2)/1.1135)-37.377°.

본 출원인은 37.37 도의 이와 같은 각도가 렌즈의 시야 영역이 되기를 원한다. 이는 NP 지점, 즉, 블렌딩(블렌딩 각은 전체 FOV임)의 주 광선이 물체 공간 내의 광학 축과 교차하는 지점이 12면체의 중심에 놓이는 것을 보장할 것이다. 다른 제한 모두는 렌즈 요소가 NP 지점 앞에 놓이고 해당 요소가 광의 31.717 도 절반 각 콘 내에 놓이는 것을 보장할 것이다. The applicant wants this angle of 37.37 degrees to be the field of view of the lens. This will ensure that the point of NP, i.e. the point where the main ray of blending (the blending angle is the full FOV) intersects the optical axis in object space, is centered on the dodecahedron. All other restrictions will ensure that the lens element lies in front of the NP point and that element lies within each cone at 31.717 degrees half of the light.

다른 렌즈 요소 및 센서의 직경Different lens elements and sensor diameters

*위의 주어진 4 개의 제한을 사용하여, 본 출원인은 12면체 기하구조와 피팅되도록 제1 렌즈 요소 이후의 각 렌즈 요소가 가져야 하는 크기를 알았다. 선행하는 렌즈 요소가 피팅되기 위해서, 임의의 렌즈 또는 센서 요소는 12면체의 중심에서 시작하는 광의 31.717 도 콘 내측에 피팅되고 제1 렌즈 요소의 직경과 접하게 피팅되어야 한다. 제1 렌즈 요소로부터의 거리가 증가할수록, 선행하는 렌즈 요소의 직경은 비례하여 감소할 것이다(도 20 참조).* Using the four limitations given above, the Applicant knows the size each lens element after the first lens element must have in order to fit with the dodecahedron geometry. In order for the preceding lens element to be fitted, any lens or sensor element must fit inside a 31.717 degree cone of light starting at the center of the dodecahedron and tangentially fit the diameter of the first lens element. As the distance from the first lens element increases, the diameter of the preceding lens element will proportionally decrease (see Fig. 20).

제1 렌즈 요소을 선행하는 임의의 렌즈 요소 또는 센서의 최대 직경은 (1.1135a - D)*tan(31. 716 도 )와 동일하거나 이보다 작게 기하학적으로 발견될 수 있으며, 여기서 D는 제1 렌즈 요소로부터의 해당 렌즈 요소의 거리이다. The maximum diameter of any lens element or sensor preceding the first lens element can be found geometrically equal to or less than (1.1135a-D)*tan (31.716 degrees ) , where D is from the first lens element. Is the distance of the corresponding lens element.

이로써, 본 출원인은 지금 이와 같은 렌즈 시스템이 12면체의 기하구조와 일치하고 360 도 촬상을 허용하게하는 5 개의 제한을 갖는다:As such, the applicant now has five limitations that allow such a lens system to match the dodecahedron geometry and allow 360 degree imaging:

1. 제1 렌즈 요소의 직경: 1.3763a;1. Diameter of the first lens element: 1.3763a ;

2. 제1 렌즈 요소로부터 12면체의 중심까지의 거리: 1.1135a;2. Distance from the first lens element to the center of the dodecahedron: 1.1135a ;

3. 제1 렌즈 요소의 상단으로부터 12면체의 중심까지의 거리: 1.31a;3. Distance from the top of the first lens element to the center of the dodecahedron: 1.31a ;

4. FOV = 37.377 도;4. FOV = 37.377 degrees;

5. φ Li < (1.1135a - D L1,Li )tan(31.717°), 5. φ Li <(1.1135a - D L1, Li) tan (31.717 °),

여기서, φ Li 는 제1 렌즈 요소로부터 거리 D L1,Li 만큼 이격된 임의의 렌즈 요소의 직경이다. 위의 5 개의 제한이 주어지고, 모든 렌즈들이 12면체의 중심으로부터 발산하는 광의 31.717 도 콘(cone) 내에 놓이도록 설계되는 경우에, 시차 없는 렌즈 시스템을 구성하는 것이 가능하다. Here, φ Li is the diameter of an arbitrary lens element spaced apart from the first lens element by a distance D L1,Li. Given the above five limitations, it is possible to construct a parallax-free lens system if all lenses are designed to lie within a 31.717 degree cone of light emanating from the center of the dodecahedron.

시스템 설계System design

렌즈를 위한 기하구조가 선택된다. 플라톤 입체는 동일한 기하구조 및 용적의 수많은 입체들로 구성된다는 특성을 갖는다. 시스템 촬상 360 도의 경우에, 이는 복합 촬상 시스템이 동일한 복제된 렌즈 설계로부터 이루어지게 한다. 12면체 기하구조가 선택되었는데, 그 이유는 그것이 그의 기하구조에 있어서 대략적으로 구형이기 때문이다.The geometry for the lens is selected. Plato solids have the property of being composed of numerous solids of the same geometry and volume. In the case of 360 degrees of imaging system, this allows the composite imaging system to be made from the same replicated lens design. The dodecahedron geometry was chosen because it is approximately spherical in its geometry.

일 촬상 유닛의 에지 광선이 인접하는 유닛의 에지 광선과 평행하게 놓이도록 하기 위해서, 이 에지 광선은 동일한 각도로 입사되어야 한다. 양 촬상 유닛들에 의해서 공유되는 각도는 12면체의 에지 표면의 각도이다. 에지 표면의 중심에서, 12면체의 중심의 중심 대한 각도는 도 21에서 예시된 바와 같이 31.717 도이다. 에지 표면의 코너에서, 12면체의 중심에 대한 각도는 도 22에서 예시된 바와 같이 37.377 도이다. In order for the edge rays of one imaging unit to lie parallel to the edge rays of adjacent units, these edge rays must be incident at the same angle. The angle shared by both imaging units is the angle of the edge surface of the dodecahedron. At the center of the edge surface, the angle to the center of the center of the dodecahedron is 31.717 degrees as illustrated in FIG. 21. At the corner of the edge surface, the angle to the center of the dodecahedron is 37.377 degrees as illustrated in FIG. 22.

이러한 광선이 인접하는 촬상을 따라서 일치하기 위해서, 촬상 유닛의 제1 렌즈는 오각형으로 절단되며, 이 오각형은 12면체의 표면과 일치한다. 에지의 중심에서, 이 표면에 입사하는 광선은 31.717 도의 입사각으로 입사한다. 에지의 코너에서, 입사하는 광선의 입사각은 37.377 도이다. 렌즈의 에지를 따르는 모든 지점들에서, 입사 광선의 입사각은 12면체 표면의 기하구조와 일치하게 된다. In order for these rays to coincide along adjacent imaging, the first lens of the imaging unit is cut into a pentagon, which coincides with the surface of the dodecahedron. At the center of the edge, light rays incident on this surface are incident at an angle of incidence of 31.717 degrees. At the corner of the edge, the angle of incidence of the incident ray is 37.377 degrees. At all points along the edge of the lens, the angle of incidence of the incident ray matches the geometry of the dodecahedron surface.

오각형 렌즈의 에지를 따라서 37 개의 광선들에 대한 입사 각이, 도 21 및 22에서 도시된 바와 같이, 논의되고 있는 12면체의 중심으로부터 오각형 면의 중심까지의 거리를 알고, 12면체의 중심으로부터 해당 에지 지점까지의 거리를 알면서, 삼각법을 사용하여 계산되었다. 각 광선의 높이는 오각형 에지를 따라서 놓이도록 제한되었다. 예를 들어, 120 mm의 반경이 표면 1의 외접된 원을 설명할 경우에, 지점 1에서의 광선은 48.54 mm의 높이 및 31.717 도의 입사각을 갖는다. 지점 37에서의 광선은 60 mm의 높이 및 37.377 도의 입사각을 갖는다. 표 1은 도 23에서 지점 1 및 지점 37 간의 37 개의 지점들에 대한 광선 높이 및 입사각 값을 설명한다. The angle of incidence for 37 rays along the edge of the pentagonal lens, as shown in Figs. 21 and 22, knows the distance from the center of the dodecahedron under discussion to the center of the pentagonal surface, and corresponds from the center of the dodecahedron. Knowing the distance to the edge point, it was calculated using trigonometry. The height of each ray was constrained to lie along the pentagonal edge. For example, if a radius of 120 mm describes an circumscribed circle of surface 1, the ray at point 1 has a height of 48.54 mm and an angle of incidence of 31.717 degrees. The ray at point 37 has a height of 60 mm and an angle of incidence of 37.377 degrees. Table 1 describes the light beam height and incidence angle values for 37 points between points 1 and 37 in FIG. 23.

Figure 112020009420034-pat00003
Figure 112020009420034-pat00003

(제1 렌즈의 에지를 따라서 놓인 37개의 광선들에 대한 제한을 도시하는 데이터)(Data showing the limit for 37 rays lying along the edge of the first lens)

광선 제한을 예시하는 도면이 도 24에 예시된다. 광선 1은 48.54 mm의 높이 및 31.717 도의 입사각을 갖는다. 광선 1은 도 24에서 지점 1을 통과하는 광선이다. 광선 2는 60 mm의 높이 및 37.377 도의 입사각을 가지며, 도 24에서 지점 37을 통과하는 광선이다. 모든 37 개의 광선들이 위의 표에서 특정된 광선 높이 및 각도에 의해서 제한된다. 이와 같은 방식으로 제한되면, 모든 광선들은 12면체의 표면과 동일한 각도로 렌즈에 입사된다. 다른 방식으로 이들 동일한 광선을 보게 되면, 본 출원인은 광선이 도 25 및 도 26에서 예시된 바와 같은, 올바른 입사각에서 오각형 기하구조로 적합하게 제한된다.A diagram illustrating ray limiting is illustrated in FIG. 24. Ray 1 has a height of 48.54 mm and an angle of incidence of 31.717 degrees. Ray 1 is the ray passing through point 1 in FIG. 24. Ray 2 has a height of 60 mm and an angle of incidence of 37.377 degrees, and is a ray of light passing through point 37 in FIG. 24. All 37 rays are limited by the ray height and angle specified in the table above. Constrained in this way, all rays are incident on the lens at the same angle as the dodecahedron's surface. Looking at these same rays in a different way, Applicants believe that the rays are suitably limited to a pentagonal geometry at the correct angle of incidence, as illustrated in FIGS. 25 and 26.

Claims (18)

중심을 가지는 3차원 기하학적 형상을 형성하는 나란한 어레이(side-by-side array)로 된 복수의 개별 촬상 시스템;
상기 개별 촬상 시스템의 제 1 렌즈 요소들 사이에 복수의 공통 에지를 형성하도록 개별 촬상 시스템 중 인접한 촬상 시스템이 제 1 렌즈 요소의 인접한 에지에 접하도록 각각 나란한 어레이로 된 복수의 에지를 가진 상기 제 1 렌즈 요소를 구비하는 각각의 개별 촬상 시스템으로서, 각각의 상기 에지는 3차원 기하학적 형상의 중심에 대하여 상기 에지를 따르는 지점에서 복수의 에지 표면 각을 형성하는, 각각의 개별 촬상 시스템; 및
복수의 상기 에지에 의해 형성된 상기 에지 표면 각과 동일한 입사각을 가지도록 상기 제 1 렌즈 요소의 에지를 따라 입사하는 복수의 주광선(chief rays)을 제한(constrain)하도록 된 각각의 개별 촬상 시스템으로서, 개별 촬상 시스템 중 인접한 촬상 시스템 사이의 상기 공통 에지에 입사하는 상기 주광선은 평행 또는 서로 20도 이하의 각도를 가지며, 최소한의 시차로써 또는 시차가 없이 이미지를 형성하도록 상기 공통 에지를 따라 결합된 시야 영역을 제공하는 각각의 개별 촬상 시스템;을 포함하는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.A plurality of individual imaging systems in a side-by-side array forming a three-dimensional geometric shape having a center;
The first having a plurality of edges each in a side by side array so that adjacent imaging systems of the individual imaging systems abut adjacent edges of the first lens elements to form a plurality of common edges between the first lens elements of the individual imaging systems. Each individual imaging system having a lens element, each said edge forming a plurality of edge surface angles at a point along said edge with respect to a center of a three-dimensional geometric shape; And
As each individual imaging system configured to constrain a plurality of chief rays incident along the edge of the first lens element so as to have the same angle of incidence as the edge surface angle formed by the plurality of edges, individual imaging The chief rays of light incident on the common edge between adjacent imaging systems of the system are parallel or have an angle of 20 degrees or less to each other, and provide a combined viewing area along the common edge to form an image with minimal or no parallax. Each of the individual imaging systems; a multi-camera panoramic imaging system comprising a. 제 1 항에 있어서,
상기 개별 촬상 시스템 중 인접한 촬상 시스템 사이에서 상기 공통 에지를 따라 입사하는 상기 주광선은 물체측 공간에서 볼 때 공통 NP 지점으로 수렴되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템. The method of claim 1,
A multi-camera panoramic imaging system, wherein the chief rays of light incident along the common edge between adjacent imaging systems among the individual imaging systems converge to a common NP point when viewed from an object-side space. 제 1 항에 있어서,
상기 3차원 기하학적 형상은 다면체이며, 상기 제 1 렌즈 요소는 다각형인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
The three-dimensional geometric shape is a polyhedron, and the first lens element is a polygon. 제 1 항에 있어서,
상기 3차원 기하학적 형상은 12면체이며, 상기 제 1 렌즈 요소는 오각형인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템. The method of claim 1,
The three-dimensional geometric shape is a dodecahedron, and the first lens element is a pentagon. 제 4 항에 있어서,
상기 오각형의 에지는 길이 a를 가지며, 상기 오각형 형상을 외접하는 원의 직경은 a/sin(36°)= 1.7013a 이며, 상기 12면체 내에서 내접된 구의 반경은,
Figure 112020009420034-pat00004
이며,
상기 12면체의 중심으로부터 상기 제 1 렌즈 요소의 에지 상의 중간 지점까지의 거리는,
Figure 112020009420034-pat00005
인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 4,
The edge of the pentagon has a length a, the diameter of the circle circumscribed to the pentagonal shape is a/sin (36°) = 1.7013a, and the radius of the inscribed sphere in the dodecahedron is,
Figure 112020009420034-pat00004
Is,
The distance from the center of the dodecahedron to the middle point on the edge of the first lens element,
Figure 112020009420034-pat00005
Multi-camera panoramic imaging system, characterized in that. 제 1 항에 있어서,
각각의 상기 개별 촬상 시스템의 상기 제 1 렌즈 요소는 단일의 인접한 자유형태의 광학계의 일부인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
Wherein said first lens element of each said individual imaging system is part of a single adjacent freeform optical system. 제 1 항에 있어서,
상기 3차원 기하학적 형상의 표면은 각각의 상기 개별 촬상 시스템에서 상기 제 1 렌즈 요소에 의해 형성되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
Wherein said three-dimensional geometrically shaped surface is formed by said first lens element in each said individual imaging system. 제 1 항에 있어서,
복수의 상기 개별 촬상 시스템은 360도 시야 영역을 제공하도록 된 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
A multi-camera panoramic imaging system, characterized in that a plurality of said individual imaging systems are adapted to provide a 360 degree field of view. 제 1 항에 있어서,
각각의 상기 개별 촬상 시스템은 만곡된 이미지 평면을 구비하는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
Each said individual imaging system has a curved image plane. 제 1 항에 있어서,
각각의 상기 개별 촬상 시스템은 이미지 센서를 구비하되, 상기 3차원 기하학적 형상의 중심은 상기 이미지 센서 뒤에 위치되는 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 1,
Each of the individual imaging systems is provided with an image sensor, wherein the center of the three-dimensional geometric shape is located behind the image sensor. 제 10 항에 있어서,
상기 이미지 센서는 파면 센서(wavefront sensor)인 것을 특징으로 하는 다중 카메라 파노라마식 촬상 시스템.The method of claim 10,
The image sensor is a multi-camera panoramic imaging system, characterized in that the wavefront sensor (wavefront sensor). 나란하게 배치되며 각각 복수의 에지를 가진 제 1 렌즈 요소를 구비하는 제 1 개별 촬상 시스템 및 제 2 개별 촬상 시스템으로서, 상기 제 1 개별 촬상 시스템의 제 1 에지는 상기 제 2 개별 촬상 시스템의 제 2 에지에 접하여 공통 에지를 형성하게 되는, 상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템을 포함하되,
상기 제 1 개별 촬상 시스템은 상기 공통 에지를 따라 입사하는 복수의 제 1 주광선을 제한하고, 상기 제 2 개별 촬상 시스템은 복수의 상기 제 1 주광선에 대하여 평행 또는 20도 이하의 각도를 가지며 상기 공통 에지를 따라 입사하는 복수의 제 2 주광선을 제한하여, 상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 최소한의 시차로서 또는 시차 없이 이미지를 형성하도록 상기 공통 에지를 따라 결합된 시야 영역을 제공하게 되는 것을 특징으로 하는 다중 카메라 촬상 시스템.A first individual imaging system and a second individual imaging system disposed side by side and each having a first lens element having a plurality of edges, wherein the first edge of the first individual imaging system is a second individual imaging system. Including the first individual imaging system and the second individual imaging system to form a common edge in contact with the edge,
The first individual imaging system limits a plurality of first chief rays incident along the common edge, and the second individual imaging system has a parallel or 20 degree or less angle with respect to the plurality of first chief rays, and the common edge By limiting a plurality of second chief rays incident along, the first individual imaging system and the second individual imaging system provide a combined viewing area along the common edge to form an image with minimal or no parallax. Multi-camera imaging system, characterized in that. 제 12 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템 사이에서 상기 공통 에지를 따라 입사하는 상기 주광선은 물체측 공간에서 볼 때 공통 NP 지점으로 수렴하게 되는 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 12,
Wherein the chief ray incident along the common edge between the first individual imaging system and the second individual imaging system converges to a common NP point when viewed from an object-side space. 제 13 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 이미지 센서를 각각 구비하되, 상기 공통 NP 지점은 상기 이미지 센서 뒤에 배치되는 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 13,
The first individual imaging system and the second individual imaging system each have an image sensor, wherein the common NP point is disposed behind the image sensor. 제 14 항에 있어서,
상기 이미지 센서는 파면 센서인 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 14,
The image sensor is a multi-camera imaging system, characterized in that the wavefront sensor. 제 12 항에 있어서,
상기 제 1 개별 촬상 시스템의 제 1 렌즈 요소와 상기 제 2 개별 촬상 시스템의 제 1 렌즈 요소는 단일의 인접한 자유형태의 광학계의 일부인 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 12,
Wherein the first lens element of the first individual imaging system and the first lens element of the second individual imaging system are part of a single adjacent free-form optical system. 제 12 항에 있어서,
상기 제 1 개별 촬상 시스템 및 상기 제 2 개별 촬상 시스템은 만곡된 이미지 평면을 각각 구비하는 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 12,
Wherein the first individual imaging system and the second individual imaging system each have a curved image plane. 제 12 항에 있어서,
복수의 상기 제 1 주광선 및 복수의 상기 제 2 주광선의 50% 이상은 평행 또는 서로 20도 이하의 각도를 갖는 것을 특징으로 하는 다중 카메라 촬상 시스템.The method of claim 12,
A multi-camera imaging system, wherein at least 50% of the plurality of first chief rays and the plurality of second chief rays are parallel or have an angle of 20 degrees or less to each other.
KR1020207002743A 2014-05-06 2015-05-05 A multicamera imaging system KR102234981B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461989136P 2014-05-06 2014-05-06
US61/989,136 2014-05-06
PCT/US2015/029146 WO2015171544A1 (en) 2014-05-06 2015-05-05 Imaging system, method, and applications

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167032965A Division KR102073206B1 (en) 2014-05-06 2015-05-05 Imaging system, method, and applications

Publications (2)

Publication Number Publication Date
KR20200013800A KR20200013800A (en) 2020-02-07
KR102234981B1 true KR102234981B1 (en) 2021-04-01

Family

ID=53189206

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207002743A KR102234981B1 (en) 2014-05-06 2015-05-05 A multicamera imaging system
KR1020167032965A KR102073206B1 (en) 2014-05-06 2015-05-05 Imaging system, method, and applications

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167032965A KR102073206B1 (en) 2014-05-06 2015-05-05 Imaging system, method, and applications

Country Status (12)

Country Link
US (5) US10341559B2 (en)
EP (2) EP3140689B1 (en)
JP (3) JP2017519250A (en)
KR (2) KR102234981B1 (en)
CN (2) CN107027338B (en)
AU (1) AU2015256320B2 (en)
CA (1) CA2953337C (en)
IL (1) IL248733B (en)
RU (1) RU2698479C2 (en)
SG (1) SG11201609780PA (en)
TW (2) TWI708111B (en)
WO (1) WO2015171544A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615B (en) * 2017-11-02 2021-01-05 广东康云多维视觉智能科技有限公司 Method and system for scanning surrounding environment
CN113424524B (en) * 2019-03-27 2023-02-14 Oppo广东移动通信有限公司 Three-dimensional modeling using hemispherical or spherical visible depth images
KR20220045143A (en) * 2019-06-24 2022-04-12 써클 옵틱스 인코포레이티드 Lens design for low parallax panoramic camera systems
US20230090281A1 (en) * 2020-02-10 2023-03-23 Circle Optics, Inc. Panoramic camera system for enhanced sensing
CN114859510B (en) * 2022-04-28 2024-03-01 福建福光天瞳光学有限公司 Long-distance large-aperture optical lens and working method thereof
CN115629076A (en) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 Array type image detection device
CN116360077B (en) * 2023-03-03 2023-11-03 广州瑞格尔电子有限公司 Large-view-field short-focus projection lens and LCD projector

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162018A (en) * 2001-08-17 2003-06-06 Sony Corp Imaging device
JP2004184862A (en) * 2002-12-05 2004-07-02 Sony Corp Image pickup unit
JP2007110228A (en) * 2005-10-11 2007-04-26 Sony Corp Imaging apparatus

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1013652A (en) 1950-02-17 1952-08-01 Wide angle lens
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
DE69733233T2 (en) 1996-09-11 2006-01-19 Canon K.K. Image processing for three-dimensional rendering of image data on the display of an image capture device
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3872250B2 (en) * 2000-03-14 2007-01-24 日本放送協会 Wide angle imaging device
AU2001277964A1 (en) 2000-07-21 2002-02-05 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (en) * 2001-02-07 2008-02-27 ソニー株式会社 Imaging device
EP1427191A4 (en) 2001-08-17 2006-08-16 Sony Corp Imaging device
JP2003066303A (en) 2001-08-28 2003-03-05 Sony Corp Imaging device
KR100644189B1 (en) * 2001-11-13 2006-11-10 마쯔시다덴기산교 가부시키가이샤 Wide-angle imaging optical system, and wide-angle imaging device, monitoring imaging device, on-vehicle imaging device, and projection device with the wide-angle imaging optical system
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006030664A (en) * 2004-07-16 2006-02-02 Sony Corp Imaging device
WO2007046498A1 (en) * 2005-10-21 2007-04-26 Nalux Co., Ltd. Coupler for connecting optical fiber and method for fixing optical fiber to coupler
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
JP5337170B2 (en) 2008-02-08 2013-11-06 グーグル インコーポレイテッド Panorama camera with multiple image sensors using timed shutters
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (en) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 Capturing and processing of images using monolithic camera array with heterogeneous imagers
RU2399073C1 (en) 2009-04-13 2010-09-10 Герман Рудольфович Пекки Optical panoramic system
TWI407243B (en) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd Panoramic lens and panoramic imaging system using same
CN201725141U (en) * 2010-05-06 2011-01-26 浙江大学 Real-time panoramic imaging system with multi lens
JP5607430B2 (en) 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ Stereoscopic display device and electronic device
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
WO2012066642A1 (en) 2010-11-16 2012-05-24 小平アソシエイツ株式会社 Field-of-view video information generating apparatus
JP2012177747A (en) * 2011-02-25 2012-09-13 Sony Corp Imaging apparatus for stereo image
JP2012199752A (en) * 2011-03-22 2012-10-18 Sony Corp Image processing apparatus, image processing method, and program
US9329365B2 (en) * 2011-09-23 2016-05-03 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP5595463B2 (en) * 2012-10-12 2014-09-24 キヤノン株式会社 Wavefront optical measuring device
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
TWI545388B (en) * 2013-06-14 2016-08-11 豪威科技股份有限公司 Systems and methods for generating a panoramic image
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162018A (en) * 2001-08-17 2003-06-06 Sony Corp Imaging device
JP2004184862A (en) * 2002-12-05 2004-07-02 Sony Corp Image pickup unit
JP2007110228A (en) * 2005-10-11 2007-04-26 Sony Corp Imaging apparatus

Also Published As

Publication number Publication date
CN111510621B (en) 2021-11-12
KR20200013800A (en) 2020-02-07
IL248733A0 (en) 2017-01-31
JP2020173461A (en) 2020-10-22
US10341559B2 (en) 2019-07-02
US20200244881A1 (en) 2020-07-30
CA2953337C (en) 2023-04-11
AU2015256320B2 (en) 2020-03-05
US20170085792A1 (en) 2017-03-23
CA2953337A1 (en) 2015-11-12
KR102073206B1 (en) 2020-02-04
AU2015256320A1 (en) 2016-12-01
EP3140689A1 (en) 2017-03-15
EP3140689B1 (en) 2021-12-22
US10659688B2 (en) 2020-05-19
IL248733B (en) 2020-08-31
WO2015171544A1 (en) 2015-11-12
TWI667528B (en) 2019-08-01
US11363194B2 (en) 2022-06-14
US20220272261A1 (en) 2022-08-25
TWI708111B (en) 2020-10-21
TW201940956A (en) 2019-10-16
RU2698479C2 (en) 2019-08-28
CN107027338B (en) 2020-04-14
US20230388642A1 (en) 2023-11-30
CN107027338A (en) 2017-08-08
JP2017519250A (en) 2017-07-13
KR20170005024A (en) 2017-01-11
US11743591B2 (en) 2023-08-29
US20190289209A1 (en) 2019-09-19
JP2022116089A (en) 2022-08-09
RU2016145439A (en) 2018-06-06
TW201602708A (en) 2016-01-16
SG11201609780PA (en) 2016-12-29
CN111510621A (en) 2020-08-07
RU2016145439A3 (en) 2018-12-21
EP3855232A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
KR102234981B1 (en) A multicamera imaging system
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN106846409B (en) Calibration method and device of fisheye camera
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CN108846796B (en) Image splicing method and electronic equipment
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
Hua et al. A high-resolution panoramic camera
Tiwari et al. Non-linear method used for distortion correction of fish-eye lens: Comparative analysis of different mapping functions
CN104010119A (en) 360-degree cylindrical real-time imaging device
JP2012173605A (en) Imaging projection system
WO2018077446A1 (en) A multi-image sensor apparatus
WO2018077413A1 (en) An optical arrangement for focusing images of a three-dimensional space from different divergent perspectives onto one or more camera sensors

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right