KR20170129450A - Camera for Forming 360 Degree Image - Google Patents

Abstract

The present invention provides a camera forming a 360 degrees image using one image sensor. According to an embodiment of the present invention, the camera forming a 360 degrees image comprises: a pair of fisheye lenses facing in opposite directions; a reflective member changing paths of light provided by the pair of fisheye lenses in the same direction; the image sensor receiving the light whose path is changed by the reflective member, and forming a digital image; and a control part processing the digital image formed by the image sensor, and forming an equivalence square image.

Description

360도 이미지를 형성할 수 있는 카메라{Camera for Forming 360 Degree Image}Camera for Forming 360 Degree Image}

본 발명은 360도 이미지를 형성할 수 있는 카메라에 관한 것이다.The present invention relates to a camera capable of forming a 360 degree image.

가상 현실(virtual reality)이 부각되고 있다. 가상 현실이란 실제 또는 가상적인 환경을 복제한 것을 의미하며, 넓게는 상호 관계를 형성하기 위하여 사용자의 실제 존재와 사용자 사이 또는 사용자과 특정 대상과의 상호 관계를 복제하는 기술을 의미한다. 가상 현실은 인공적으로 형성된 시각, 촉각, 청각 및 후각 등의 감각을 사용자에게 제공한다. Virtual reality is emerging. Virtual reality refers to the duplication of real or virtual environments. In other words, virtual reality refers to a technique of duplicating the relationship between a user's actual existence and a user or between a user and a specific object in order to form a mutual relationship. Virtual reality provides users with a sense of artificially created visual, tactile, auditory, and olfactory sense.

가상 현실 콘텐츠 중 현실에 기반한 시각적 콘텐츠는 360도 카메라를 활용하여 형성된다. 360도 카메라는 복수의 렌즈를 이용하여 외부의 이미지를 형성하고, 이미지 프로세싱 과정을 수행하여 사용자가 제공하는 방향으로 보이는 이미지를 형성한 후, 사용자에게 제공한다.Among the virtual reality contents, the visual contents based on the reality are formed using the 360 degree camera. The 360 degree camera forms an external image using a plurality of lenses, performs an image processing process to form an image in a direction provided by the user, and provides the image to a user.

종래의 360도 카메라는 한 쌍의 어안 렌즈와, 각 어안 렌즈가 제공하는 광학적 이미지들을 디지털 이미지로 변환하는 한 쌍의 이미지 센서를 포함하였다. 따라서 하나의 360도 이미지를 형성하기 위하여 두 개의 이미지 센서를 구비하여야 하나 이미지 센서의 가격이 고가이므로 제품의 생산 원가와 소비자 가격이 상승한다. A conventional 360 degree camera includes a pair of fisheye lenses and a pair of image sensors that convert the optical images provided by each fisheye lens into a digital image. Therefore, in order to form one 360-degree image, two image sensors should be provided. However, since the price of the image sensor is high, the production cost and the consumer price of the product increase.

본 실시예는 상기한 종래 기술의 난점을 해결하기 위한 것으로, 하나의 이미지 센서를 이용하는 360도 이미지 형성 카메라를 제공하는 것이 본 실시예의 주된 목표 중 하나이다.The present embodiment is intended to solve the above-described difficulties of the prior art, and it is one of the main objectives of the present embodiment to provide a 360-degree image forming camera using one image sensor.

본 실시예에 의한 360도 이미지를 형성하는 카메라는: 서로 반대 방향을 향하는 한 쌍의 어안 렌즈들(fisheye lenses); 한 쌍의 어안 렌즈들이 제공하는 광들의 경로를 동일한 방향으로 변경하는 반사 부재; 반사 부재가 경로를 변경한 광을 제공받아 디지털 이미지를 형성하는 이미지 센서 및 이미지 센서가 형성한 디지털 이미지를 처리하여 등가 사각형 이미지를 형성하는 제어부를 포함한다.The camera for forming a 360-degree image according to the present embodiment includes: a pair of fisheye lenses facing in opposite directions; A reflecting member for changing a path of light provided by the pair of fisheye lenses in the same direction; And a control unit for processing the digital image formed by the image sensor and the image sensor which form the digital image by receiving the light changed by the reflecting member and form an equivalent rectangular image.

본 실시예에 의한 360도 이미지 카메라에 의하면 하나의 이미지 센서를 이용하여 360도 이미지를 형성할 수 있으므로, 경제적으로 360도 이미지 카메라를 형성할 수 있다는 장점이 제공된다. According to the 360-degree image camera according to the present embodiment, since a 360-degree image can be formed using one image sensor, it is possible to economically form a 360-degree image camera.

도 1은 본 실시예에 의한 카메라의 광 경로를 개요적으로 도시한 도면이다.
도 2 및 도 3은 본 실시예에 의한 카메라의 일 측면과 타 측면을 도시한 도면이다.
도 4는 어안 렌즈의 광경로를 개요적으로 도시한 도면이다.
도 5는 본 실시예에 의한 카메라 구동 과정의 각 단계를 개요적으로 도시한 순서도 이다.
도 6은 어안 렌즈가 이미지 센서에 제공한 광학적 이미지를 촬영하여 얻어진 전자적 이미지를 도시한 도면이다.
도 7은 어안 렌즈의 광축과 센서 평면의 광축이 정렬된 경우와 정렬되지 않은 상태를 예시한 도면이다.
도 8(a)는 등가 사각형 이미지 데이터의 개요를 나타낸 도면이며, 도 8(b)는 어안 렌즈가 중심에 있을 때의 구형 객체 평면을 도시한 도면이다.
도 9는 좌표축이 회전된 상태를 도시한 도면이다.
도 10은 어안 렌즈가 촬영한 이미지에서 정렬 표시를 도시한 도면이다.
도 11(a)는 왜곡 보정을 수행하지 않은 어안 렌즈 이미지이고, 도 11(b)는 왜곡 보정을 수행한 어안 렌즈 이미지이다.
도 12(a)는 왜곡이 보정되지 않은 어안 렌즈 이미지로 형성된 등가 사각형 이미지이며, 12(b)는 왜곡이 보정된 어안 렌즈 이미지로 형성된 등가 사각형 이미지이다.1 is a view schematically showing a light path of a camera according to the present embodiment.
FIGS. 2 and 3 are views showing one side surface and the other side surface of the camera according to the present embodiment.
4 is a diagram schematically showing an optical path of a fish-eye lens.
5 is a flowchart schematically showing each step of the camera driving process according to the present embodiment.
6 is a diagram showing an electronic image obtained by photographing an optical image provided by a fish-eye lens to an image sensor.
Fig. 7 is a diagram illustrating a state in which the optical axis of the fisheye lens is aligned with the optical axis of the sensor plane.
FIG. 8A is a diagram showing an outline of the equivalent rectangular image data, and FIG. 8B is a diagram showing a spherical object plane when the fish-eye lens is at the center.
9 is a diagram showing a state in which the coordinate axes are rotated.
10 is a view showing an alignment indication in an image taken by a fisheye lens.
11 (a) is a fisheye lens image in which distortion correction is not performed, and FIG. 11 (b) is a fisheye lens image in which distortion correction is performed.
12 (a) is an equivalent quadrangle image formed by a fisheye lens image whose distortion is not corrected, and 12 (b) is an equivalent quadrangle image formed by a fisheye lens image whose distortion is corrected.

이하에서는 첨부된 도면들을 참조하여 본 실시예에 의한 카메라를 설명한다. 도 1은 본 실시예에 의한 카메라의 광 경로를 개요적으로 도시한 도면이고, 도 2 및 도 3은 본 실시예에 의한 카메라의 일 측면과 타 측면을 도시한 도면이다. 도 1 내지 도 3을 참조하면, 본 실시예에 의한 카메라는 서로 반대 방향을 향하는 한 쌍의 어안 렌즈들(fisheye lenses, 100a, 100b)과 한 쌍의 어안 렌즈들이 제공하는 광들의 경로를 동일한 방향으로 변경하는 반사 부재(200)와 반사 부재(200)가 경로를 변경한 광을 제공받아 디지털 이미지를 형성하는 이미지 센서(400) 및 이미지 센서가 형성한 디지털 이미지를 처리하여 등가 사각형 이미지를 형성하는 제어부(미도시)를 포함한다. Hereinafter, a camera according to the present embodiment will be described with reference to the accompanying drawings. FIG. 1 is a view schematically showing an optical path of a camera according to the present embodiment, and FIGS. 2 and 3 are views showing one side and another side of a camera according to the present embodiment. 1 to 3, the camera according to the present embodiment includes a pair of fisheye lenses 100a and 100b facing each other and a pair of fisheye lenses in the same direction And an image sensor 400 that receives light whose path is changed by the reflecting member 200 to form a digital image and a digital image formed by the image sensor to process an equivalent square image And a control unit (not shown).

하우징(H)은 내부에 반사 부재(200)를 수납하며, 어안 렌즈들(100a, 100b)이 집광한 광이 진행할 수 있는 광 경로를 제공한다. 일 실시예로, 하우징(H)은 합성 수지 및 다이캐스팅 알루미늄과 같이 가공성이 양호한 재질로 형성된다. The housing H accommodates the reflection member 200 therein and provides a light path through which the light condensed by the fisheye lenses 100a and 100b can travel. In one embodiment, the housing H is formed of a material having good processability such as synthetic resin and die cast aluminum.

도 4는 어안 렌즈(f)의 광경로를 개요적으로 도시한 도면이다. 도 4를 참조하면, 어안 렌즈들(100a, 100b)은 입사각을 왜곡시켜 다른 렌즈에 비하여 넓은 시야각(FOV, Field Of View)을 가진다. 어안렌즈의 특성에 따른 이격거리(R), 초점거리(f) 및 입사각(φ)의 관계는 아래의 표 1과 같다. Fig. 4 schematically shows an optical path of a fish-eye lens f. Referring to FIG. 4, the fish-eye lenses 100a and 100b distort the incident angle and have a wide field of view (FOV) as compared with other lenses. The relationship between the distance R, the focal distance f and the incident angle? According to the characteristics of the fisheye lens is shown in Table 1 below.

어안 렌즈 종류Fisheye lens type 관계식Relation 이퀴디스턴스(equidistance) 어안렌즈Equidistance fisheye lens

스테레오그래픽 어안렌즈(stereo graphic)Stereo graphic fisheye lens (stereo graphic)

오르소그래픽(orthographic) 어안렌즈Orthographic fisheye lens

이퀴솔리드(equisolid) 어안렌즈Equisolid fisheye lens

토비(Thoby) 어안렌즈Thoby fisheye lens

어안 렌즈의 초점으로부터 촬상면까지의 거리(f)는 렌즈 특유의 값으로, 고정된 값이다. 따라서 광이 대상물(P)로부터 어안렌즈로 입사하는 입사각(φ)을 파악할 수 있으면 어안 렌즈의 종류에 상관 없이 센서(sensor) 촬상면과 광축의 교차점에서 대상물의 상이 맺히는 위치(R)를 구할 수 있다. 위치 R은 입사각 φ의 함수임을 알 수 있으며, 이하에서는 R(φ)로 표시한다.The distance f from the focal point of the fish-eye lens to the imaging surface is a value peculiar to the lens and fixed. The position R at which the image of the object is formed at the intersection of the sensor image pickup surface and the optical axis can be obtained irrespective of the type of the fisheye lens as long as the angle of incidence of the light entering the fisheye lens from the object P can be grasped . It can be seen that the position R is a function of the angle of incidence φ, and is expressed as R (φ).

다시 도 1 내지 도 3을 참조하면, 반사 부재(200)는 어안 렌즈들(100a, 100b)이 집광한 광들을 상기 어안 렌즈들의 광축(optical axis)과 수직한 방향으로 반사한다. 반사 부재(200)는 도 1로 예시된 것과 같이 거울일 수 있다. 도시되지 않은 다른 실시예에 의하면 반사 부재(200)는 프리즘(prism)일 수 있다.1 to 3, the reflection member 200 reflects the light condensed by the fisheye lenses 100a and 100b in a direction perpendicular to the optical axis of the fisheye lenses. The reflecting member 200 may be a mirror as illustrated in Fig. According to another embodiment not shown, the reflective member 200 may be a prism.

어안 렌즈들(100a, 100b)이 위치한 면에는 복수의 정렬 표시(300)들이 형성된다. 정렬 표시(300)들은 미리 정해진 곳에 위치하며, 어안렌즈들(100a, 100b)를 이용하여 촬영한 이미지에서 정렬 표시(300)의 좌표는 저장되어 있다. 도 2와 도 3에 도시된 실시예와 같이 정렬 표시(300)들은 어안 렌즈가 위치한 면에 따라 다른 형태로 표시될 수 있다.A plurality of alignment marks 300 are formed on the side where the fisheye lenses 100a and 100b are located. The alignment marks 300 are located at predetermined positions, and the coordinates of the alignment mark 300 are stored in the images taken using the fisheye lenses 100a and 100b. Like the embodiment shown in FIGS. 2 and 3, the alignment marks 300 may be displayed differently depending on the plane on which the fisheye lens is located.

어안 렌즈들(100a, 100b)과 반사부재(200)와의 정렬(alignment)이 틀어지거나, 반사부재(200)와 이미지 센서(400)과의 광축이 오정렬되는 경우가 있을 수 있다. 본 실시예에 의한 카메라는 정렬 표시(300)들을 이용하여 상기한 오정렬로부터 발생하는 이미지의 왜곡을 바로잡을 수 있다. There may be a case where the alignment between the fisheye lenses 100a and 100b and the reflection member 200 is distorted or the optical axis between the reflection member 200 and the image sensor 400 is misaligned. The camera according to the present embodiment can correct the distortion of the image generated from the misalignment using the alignment marks 300. [

정렬 표시(300)들은 어안 렌즈들(100a, 100b)과 동일한 평면 상에 형성되나, 어안 렌즈들(100a, 100b)의 시야각은 180°이상이므로, 정렬 표시(300)들은 어안 렌즈들(100a, 100b)로 촬영될 수 있다. 도 2 및 도 3에 도시된 정렬 표시들은 무늬로 표시되었으나, 이는 예시일 따름이며, 어안 렌즈들(100a, 100b)이 위치한 평면에서 돌기 형태로 형성되거나, 오목 형태로 형성될 수 있다. The alignment marks 300 are formed on the same plane as the fisheye lenses 100a and 100b but since the viewing angles of the fisheye lenses 100a and 100b are greater than 180 degrees, 100b. The alignment marks shown in FIGS. 2 and 3 are shown as patterns, but this is only an example, and may be formed as a protrusion in the plane in which the fisheye lenses 100a and 100b are located, or in a concave shape.

제어부(미도시)는 카메라에 포함된 마이크로 프로세서, 마이크로 컨트롤러로 구현될 수 있으며, 이미지 센서(400)로부터 디지털 이미지를 제공받고 이를 이미지 처리(image processing)하여 등가 사각형 이미지(equirectangular image) 및/또는 상기 등가 사각형 이미지로부터 구심 투영되어 형성된 이미지를 형성한다. A control unit (not shown) may be implemented as a microprocessor or a microcontroller included in the camera. The controller may receive a digital image from the image sensor 400 and image-process the digital image to generate an equivalent rectangular image and / And forms an image formed by centripetal projection from the equivalent square image.

보정 렌즈(500)는 반사 부재가 이미지 센서에 제공하는 광의 경로 또는 상을 조절한다. 보정 렌즈(500)는 도시된 바와 같이 오목렌즈, 볼록렌즈가 조합된 복합 렌즈일 수 있으며, 오목렌즈, 볼록 렌즈 중 어느 하나의 렌즈일 수 있다. The correction lens 500 adjusts the path or image of the light that the reflective member provides to the image sensor. The correction lens 500 may be a composite lens in which a concave lens and a convex lens are combined as shown, and may be a concave lens or a convex lens.

이하에서는 도 5 내지 도 9를 참조하여 본 실시예에 카메라로부터 촬영된 이미지로부터 360도 이미지를 형성하는 카메라의 구동 과정을 설명한다. 도 5는 본 실시예에 의한 카메라 구동 과정의 각 단계를 개요적으로 도시한 순서도 이다. 도 5 및 도 6을 참조하면, 어안 렌즈가 이미지 센서에 제공한 한 쌍의 광학 이미지를 촬영하여 전자적 이미지들을 획득한다(S100). 어안 렌즈가 카메라에 제공한 광학적 이미지는 도 6에 도시된 바와 같이 원형이며, 제어부는 이미지 센서(400)를 제어하여 한 쌍의 어안렌즈가 제공한 두 원형 광학적 이미지를 전자적 이미지 데이터로 형성한다. Hereinafter, a driving process of a camera for forming a 360-degree image from an image photographed by a camera in the present embodiment will be described with reference to FIGS. 5 to 9. FIG. 5 is a flowchart schematically showing each step of the camera driving process according to the present embodiment. Referring to FIGS. 5 and 6, a pair of optical images provided by the fish-eye lens to the image sensor are captured to acquire electronic images (S100). The optical image provided to the camera by the fisheye lens is circular as shown in FIG. 6, and the control unit controls the image sensor 400 to form two circular optical images provided by the pair of fisheye lenses as electronic image data.

도 7(a)의 상단 도면은 어느 한 어안 렌즈의 광축과 센서 평면의 광축이 정렬된 경우를 예시한 도면으로, 도 7(a)와 같이 광축과 센서의 촬상면이 정렬된 상태에서 어안렌즈로 정렬 표시(300)를 촬영하면 도 7(a) 하단 도면과 같이 상하 좌우 대칭의 형태인 디지털 이미지를 얻을 수 있다. 그러나, 도 7(b) 상단의 도면에 도시된 바와 같이 어안 렌즈의 광축과 센서 촬상면이 정렬되지 않은 경우에 촬영된 결과는 도 7(b) 하단의 도면에 도시된 도면과 같이 왜곡이 발생한 이미지를 얻는다. 7A is a diagram illustrating a case where an optical axis of a fisheye lens and an optical axis of a sensor plane are aligned. In the state where the optical axis and the imaging surface of the sensor are aligned as shown in FIG. 7A, When the alignment mark 300 is photographed, a digital image that is symmetrical in the up, down, left, and right directions can be obtained as shown in the bottom view of FIG. 7 (a). However, as shown in the upper part of Fig. 7 (b), when the optical axis of the fisheye lens and the sensor imaging plane are not aligned, .

오정렬에 의하여 발생한 이미지 왜곡은 원근 전이(perspective transform)를 수행하여 보정할 수 있다. 왜곡이 발생하지 않은 경우에 얻어진 이미지에서 정렬 표시들의 좌표가 각각 (x1', y1'), (x2', y2'), (x3', y3'), (x4', y4')이라 하고, 왜곡이 발생한 이미지에서 정렬 표시들의 좌표가 (x1, y1), (x2, y2), (x3, y3), (x4, y4)라 하자. 오정렬에 의한 이미지의 왜곡은, 상술한 바와 같이 원근 전이(perspective transform)로 보정될 수 있으며, 원근 전이는 아래의 수학식 1로 표시된 호모그래피 행렬로 좌표를 매핑(mapping)하여 수행될 수 있다.Image distortion caused by misalignment can be corrected by performing a perspective transformation. (X1 ', y1'), (x2 ', y2'), (x3 ', y3') and (x4 ', y4') in the image obtained when no distortion occurs, Let (x1, y1), (x2, y2), (x3, y3), (x4, y4) be the coordinates of the alignment marks in the distorted image. The distortion of the image due to misalignment can be corrected by a perspective transform as described above, and the perspective transformation can be performed by mapping the coordinates to a homography matrix expressed by Equation (1) below.

(x', y': x, y 좌표가 원근 전이된 후의 좌표값들, a, b, c, d, e, f, g, h: 상수 계수) a, b, c, d, e, f, g, h: constant coefficient after the x,

원근 전이가 이루어진 픽셀의 좌표값 x', y'를 구하면 아래의 수학식 2와 같다.The coordinate values x ', y' of the pixel where the perspective transformation has been performed are as shown in Equation 2 below.

상기한 수학식 2에서, 좌표(x, y)를 가지는 어느 한 점의 좌표를 새로운 지점인 (x', y')로 이동하는 식은 미지수가 모두 8개 이나, 오정렬이 발생하지 않은 이미지 상에서 네 쌍의 정렬 표시들이 위치하는 지점의 좌표값인 x1', y1', x2', y2', x3', y3', x4', y4'를 이미 알고 있다. 또한, 왜곡이 발생한 이미지에서 네 쌍의 정렬 표시들이 위치하는 좌표값인 x1, y1, x2, y2, x3, y3, x4, y4도 구할 수 있다. 따라서, 미지수는 a, b, c, d, e, f, g, h 8 개이며, 이들은 아래의 수학식 3의 행렬식을 연산하여 값을 얻을 수 있다.In Equation (2), the formula for moving the coordinates of a point having coordinates (x, y) to a new point (x ', y') is eight in all, Y1 ', x2', y2 ', x3', y3 ', x4', y4 ', which are coordinates of the point at which the pair of alignment marks are located. Also, coordinate values x1, y1, x2, y2, x3, y3, x4, and y4 where the four pairs of alignment marks are located in the distorted image can be obtained. Thus, the unknowns are a, b, c, d, e, f, g, h, and they can be obtained by calculating the determinant of Equation 3 below.

수학식 3에서 8개의 미지수 값을 구하고, 얻어진 결과로, 수학식 2를 연산하여 왜곡된 이미지에 포함된 픽셀에 대하여 원근 전이 과정을 수행하여 오정렬에 의하여 발생한 이미지 왜곡을 보정할 수 있다.The image distortion caused by the misalignment can be corrected by performing the perspective transformation process on the pixels included in the distorted image by obtaining eight unknown values in Equation (3) and calculating Equation (2) from the obtained result.

이미지의 왜곡은 예시된 바와 같이 어안 렌즈의 광축과 센서 평면이 오정렬된 경우뿐만 아니라, 어안 렌즈와 반사 부재, 반사 부재와 이미지 센서 사이의 오정렬 또는 어느 한 어안 렌즈(100a)가 위치한 평면과 다른 하나의 어안렌즈(100b)의 어안 렌즈가 위치한 평면 사이의 간격인 오프셋(offset)에 의하여도 발생할 수 있으며, 이러한 경우에도 상기한 과정을 통하여 오정렬에 의한 영향을 보정할 수 있다.Distortion of the image is caused not only when the optical axis of the fisheye lens and the sensor plane are misaligned but also when the fisheye lens and the reflecting member, the misalignment between the reflecting member and the image sensor, The fisheye lens of the fisheye lens 100b can be generated by an offset that is an interval between planes on which the fisheye lens is located. In this case, the influence of misalignment can be corrected through the above process.

제어부는 두 개의 원형 이미지 데이터를 프로세싱하여 등가 사각형(equirectangular) 이미지를 형성한다. 도 8(a)는 등가 사각형 이미지 데이터의 개요를 나타낸 도면이며, 도 8(b)는 어안 렌즈가 중심에 있을 때의 구형 객체 평면(spherical object plane)을 도시한 도면이다. 도 8(b)에서, 연녹색으로 표시된 부분은 어느 한 어안 렌즈가 촬영하는 대상물 평면을 도시하며, 이는 도 8(a) 등가 사각형 이미지에서 연녹색 부분에 대응된다. 마찬가지로, 도 8(b)에서, 노란색으로 표시된 부분은 다른 한 어안 렌즈가 촬영하는 대상물 평면을 도시하며, 도 8(a) 등가 사각형 이미지에서의 노란색 부분에 대응된다.The control unit processes the two circular image data to form an equirectangular image. FIG. 8A is a diagram showing an outline of the equivalent rectangular image data, and FIG. 8B is a view showing a spherical object plane when the fish-eye lens is at the center. In Fig. 8 (b), the portion indicated by the light green color shows the object plane taken by one fish-eye lens, which corresponds to the pale green portion in the equivalent rectangular image in Fig. 8 (a). Likewise, in Fig. 8 (b), the portion indicated by yellow indicates the object plane taken by another fisheye lens, and corresponds to the yellow portion in the equivalent rectangular image in Fig. 8 (a).

도 8(a)로 도시된 등가 사각형 이미지에서 어느 한 픽셀 P는 각각 경도와 위도를 나타내는 λ, φ의 좌표로 표시할 수 있다. 일반적인 도법의 표시방법에 따르면, 위도는 +90°~ -90°까지이나, 본 명세서에서는 편의상 최고점(zenith)의 위도를 0로 하고, 최저점(nadir)의 위도를 180°로 한다. In an equivalent rectangular image shown in FIG. 8 (a), a pixel P can be expressed by coordinates of? And? Indicating longitude and latitude, respectively. According to the general display method, the latitude ranges from + 90 ° to -90 °, but for convenience of explanation, the latitude of the zenith is set to 0 and the latitude of the lowest point (nadir) is set to 180 ° for convenience.

도 8(b)에서 구의 반지름을 1이라 가정하고, P 점의 좌표를 직교 좌표계로 표현하면 아래의 수학식 4와 같다. 8 (b), the radius of the sphere is assumed to be 1, and the coordinates of the point P are expressed by an orthogonal coordinate system.

스마트 단말에 저장된 원형 이미지에서 점 P에 대응되는 점의 좌표를 찾는 연산을 용이하게 하기 위하여 도 9로 도시된 것과 같이 y 축을 따라 좌표계를 회전한다. 회전되어 형성된 신 좌표축을 X', Y', Z'라고 하고, X', Y', Z'에서의 P 점의 좌표를 구하면 아래의 수학식 5와 같다.The coordinate system is rotated along the y-axis as shown in Fig. 9 to facilitate the calculation of the coordinates of the point corresponding to the point P in the circular image stored in the smart terminal. Let X ', Y', and Z 'be the new coordinate axes formed by the rotation, and obtain the coordinates of the P point in X', Y ', and Z'.

수학식 5에서 얻어진 새로운 좌표쌍으로부터 구좌표(spherical coordinate)를 연산하면 아래의 수학식 6과 같다.The spherical coordinate is calculated from the new coordinate pair obtained in Equation (5), as shown in Equation (6) below.

(acos: cos의 역함수, atan2(x, y): XY 평면에서 X 축과 좌표 (x, y)가 이루는 각을 구하는 함수)(acos: inverse function of cos, atan2 (x, y): function to find the angle between X axis and coordinate (x, y) in XY plane)

수학식 6에서 구한 φ'은 대상 평면의 점 P로부터 어안 렌즈로부터 광이 입사할 때 입사각이고, λ'은 X' 축으로부터의 회전각으로, λ'는 어안 렌즈를 통과하여도 변화하지 않는다. 따라서, 스마트 단말(s)에 저장된 원형 전자적 이미지들에서 점 P의 좌표를 구하면 아래의 수학식 7과 같다.? 'Obtained from Equation (6) is an incident angle when light is incident on the fisheye lens from the point P of the object plane,?' Is the rotation angle from the X 'axis, and?' Does not change even when passing through the fisheye lens. Therefore, the coordinates of the point P in the circular electronic images stored in the smart terminal s are obtained as shown in Equation (7) below.

(R(φ): 어안 렌즈에서 촬상면과 광축의 교차점으로부터 대상물의 상이 맺히는 위치 함수, 표 1 참조)(R (?): A position function of an image of an object formed at an intersection of an image pickup surface and an optical axis in a fish-eye lens, see Table 1)

수학식 6의 λ'과 φ'에 관한 식을 수학식 7에 대입한 후, X', Y', Z' 축에 의한 좌표를 다시 X, Y, Z축에 의한 좌표로 변환하고, λ'과 φ'을 수학식 6의 결과로 치환하면 수학식 8과 수학식 9를 얻을 수 있다. 또한, 수학식 8 및 수학식 9의 결과로부터 등가 사각형 이미지의 좌표 λ, φ를 가지는 점이 매핑되는 어안 렌즈가 제공한 이미지 점의 좌표를 구할 수 있다(S200).The coordinates of the X ', Y', and Z 'axes are converted into the coordinates of the X, Y, and Z axes again, and the coordinates of the X', Y ' And? 'Are replaced with the results of Equation (6), Equations (8) and (9) can be obtained. From the results of Equations (8) and (9), the coordinates of the image point provided by the fisheye lens to which the point having the coordinates? And? Of the equivalent rectangular image are mapped can be obtained (S200).

수학식 5에서, z' 좌표값이 음수이면 다른 어안 렌즈에서 얻어진 이미지에 해당하며, 아래의 수학식 9와 같이 x, y 좌표가 연산된다(S200).In Equation (5), if the z 'coordinate value is negative, it corresponds to an image obtained by another fisheye lens, and the x and y coordinates are calculated as shown in the following Equation 9 (S200).

등가 사각형의 좌표에 대하여 수학식 8 및 수학식 9를 연산하여 어안 렌즈로부터 얻어진 이미지의 대응 좌표를 구한 후, 구한 좌표의 픽셀 값을 읽고, 이를 등가 사각형 이미지의 해당 좌표의 픽셀값으로 써서 등가 사각형 이미지를 형성한다(S300).Equations (8) and (9) are calculated with respect to the coordinates of the equivalent quadrangle to obtain the corresponding coordinates of the image obtained from the fish-eye lens, and then the pixel values of the obtained coordinates are read and used as pixel values of the corresponding coordinates of the equivalent quadrature image, Thereby forming an image (S300).

일 실시예로, 제어부는, 형성된 등가 사각형 이미지로부터 가상의 구형 이미지(spherical image)를 형성하고, 구형 이미지에 대하여 구심 투영(gnomonic projection)을 수행하여 스마트 단말에 이미지를 표시한다. In one embodiment, the control unit forms a virtual spherical image from the formed equivalent square image, and performs a gnomonic projection on the spherical image to display the image on the smart terminal.

실험예Experimental Example

이하에서는 도 10 내지 도 12를 참조하여 이미지 센서의 광축과 어안 렌즈의 광축이 오정렬된 상태에서 얻어진 이미지에 대하여 본 실시예에 카메라로 왜곡을 보정하여 360도이미지를 형성한 예를 설명한다. Hereinafter, an example in which a 360-degree image is formed by correcting distortion with a camera in the present embodiment with respect to an image obtained when the optical axis of the image sensor and the optical axis of the fisheye lens are misaligned will be described with reference to FIGS. 10 to 12. FIG.

도 10은 어안 렌즈로 촬영한 디지털 이미지를 도시한 도면으로, 적색 원으로 표시된 부분은 정렬표시이다. 도 10으로 도시된 바와 같이, 어안 렌즈의 시야각이 180도 보다 크므로 어안 렌즈와 정렬 표시들이 동일 평면에 있어도 촬영된다. Fig. 10 is a view showing a digital image photographed with a fish-eye lens, and a portion indicated by a red circle is an alignment mark. As shown in FIG. 10, since the viewing angle of the fisheye lens is larger than 180 degrees, the fisheye lens and the alignment marks are photographed even on the same plane.

도 11(a)는 어안 렌즈와 이미지 센서의 광축이 오정렬된 상태에서 촬영된 이미지로, 왜곡 보정을 수행하지 않은 이미지이며, 도 11(b)는 왜곡 이전의 노란 실선을 왜곡 되도록 해서 이미지 위에 도시한 도면이다. 호모그래피 행렬을 정확하게 연산하여 원근 전이를 수행한 것을 도 11(b)로 확인할 수 있다.11 (a) is an image taken with the optical axes of the fisheye lens and the image sensor taken in a misaligned state, and the distortion correction is not performed. FIG. 11 (b) Fig. It can be seen from FIG. 11 (b) that the far-field transformation is performed by calculating the homography matrix accurately.

또한, 도 12(a)는 왜곡이 보정되지 않은 어안 렌즈 이미지로 형성된 등가 사각형 이미지이며, 12(b)는 왜곡이 보정된 어안 렌즈 이미지로 형성된 등가 사각형 이미지이다. 왜곡이 보정되지 않은 어안 렌즈 이미지로 형성된 등가 사각형 이미지에서는 두 이미지가 결합되는 부위에서 단차가 발생하여 어긋나는 것을 확인할 수 있으나 왜곡이 보정된 이미지로 형성된 등가 사각형 이미지에서는 단차가 발생하지 않는 것을 확인할 수 있다.12 (a) is an equivalent quadrangle image formed by a fisheye lens image with no distortion corrected, and 12 (b) is an equivalent quadrangle image formed by a fisheye lens image whose distortion is corrected. It can be seen that in the equivalent quadrangle image formed by the fisheye lens image without distortion correction, a step is generated at the portion where the two images are combined and deviated, but it is confirmed that no step is generated in the equivalent square image formed by the distortion-corrected image .

본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 실시를 위한 실시예로, 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of illustration, It will be appreciated that other embodiments are possible. Accordingly, the true scope of the present invention should be determined by the appended claims.

100a, 100b: 어안 렌즈들 200: 반사부재
300: 정렬 표시 400: 이미지 센서100a, 100b: Fish eye lenses 200: Reflecting member
300: alignment mark 400: image sensor

Claims (9)

360도 이미지를 형성하는 카메라로, 상기 카메라는:
서로 반대 방향을 향하는 한 쌍의 어안 렌즈들(fisheye lenses);
상기 한 쌍의 어안 렌즈들이 제공하는 광들의 경로를 동일한 방향으로 변경하는 반사 부재;
상기 반사 부재가 경로를 변경한 광을 제공받아 디지털 이미지를 형성하는 이미지 센서 및
상기 이미지 센서가 형성한 디지털 이미지를 처리하여 등가 사각형 이미지를 형성하는 제어부를 포함하는 카메라.A camera that forms a 360 degree image, said camera comprising:
A pair of fisheye lenses facing in opposite directions;
A reflecting member for changing a path of light provided by the pair of fish-eye lenses in the same direction;
An image sensor in which the reflective member receives the changed light and forms a digital image;
And a controller for processing the digital image formed by the image sensor to form an equivalent rectangular image. 제1항에 있어서,
상기 반사 부재는,
상기 어안 렌즈들이 집광한 광들을 상기 어안 렌즈들의 광축(optical axis)과 수직한 방향으로 반사하는 카메라.The method according to claim 1,
Wherein the reflective member comprises:
And reflects the light condensed by the fish-eye lenses in a direction perpendicular to the optical axis of the fish-eye lenses. 제2항에 있어서,
상기 카메라는,
상기 반사 부재가 경로를 변경한 광을 조정하는 조정 렌즈를 더 포함하는 카메라.3. The method of claim 2,
The camera comprises:
Further comprising an adjustment lens for adjusting the light that the reflective member has changed its path. 제1항에 있어서,
상기 하우징에는 상기 각 어안 렌즈가 형성된 면에 형성된 복수의 정렬 표시들(align marks)이 형성된 카메라.The method according to claim 1,
Wherein the housing is provided with a plurality of align marks formed on a surface of each of the fisheye lenses. 제4항에 있어서,
상기 복수의 정렬 표시들은 미리 정해진 위치에 배치된 카메라.5. The method of claim 4,
Wherein the plurality of alignment marks are arranged at predetermined positions. 제4항에 있어서,
상기 제어부는,
상기 디지털 이미지에서 획득한 상기 복수의 정렬 표시들의 좌표들과,
미리 저장된 상기 복수의 정렬 표시들의 좌표들을 이용한 원근 전이를 수행하여 왜곡을 보정하는 카메라.5. The method of claim 4,
Wherein,
The coordinates of the plurality of alignment marks obtained in the digital image,
And performing perspective transformation using coordinates of the plurality of alignment marks stored in advance. 제6항에 있어서,
상기 제어부는
상기 디지털 이미지에서 획득한 상기 복수의 정렬 표시들의 좌표들과,
미리 저장된 상기 복수의 정렬 표시들의 좌표들로부터 호모그래피 행렬의 계수를 연산하고,
상기 계수가 구해진 상기 호모그래피 행렬을 이용하여 원근 전이를 수행하는 과정을 수행하는 카메라.The method according to claim 6,
The control unit
The coordinates of the plurality of alignment marks obtained in the digital image,
Calculating a coefficient of the homography matrix from the coordinates of the plurality of alignment indications stored in advance,
And performing a perspective transformation using the homography matrix in which the coefficients are obtained. 제7항에 있어서,
상기 제어부는,
수학식

을 연산하여 호모그래피 행렬의 계수를 구하는 카메라(x1, y1, x2, y2, x3, y3, x4, y4: 오정렬이 없는 상태에서의 상기 복수의 정렬 마크의 좌표, x1', y1', x2', y2', x3', y3', x4', y4': 촬영된 각 원형 전자적 이미지에서 얻어진 상기 복수의 정렬 마크의 좌표).8. The method of claim 7,
Wherein,
Equation

(X1 ', y1', x2 ', x3', y3 ', x4', y4 ') of the plurality of alignment marks in the absence of misalignment, , y2 ', x3', y3 ', x4', y4 ': coordinates of the plurality of alignment marks obtained in each photographed circular electronic image). 제7항에 있어서,
상기 제어부는 수학식

를 연산하여 원근 전이를 수행하는 카메라(x', y': 원근 전이된 좌표, x, y: 왜곡된 이미지에서의 얻어진 좌표).8. The method of claim 7,
The controller

(X ', y': perspective transformed coordinates, x, y: coordinates obtained from the distorted image).

Images