KR101913317B1

KR101913317B1 - Method and apparatus for obtaining and information of scene

Info

Publication number: KR101913317B1
Application number: KR1020120028162A
Authority: KR
Inventors: 심현정; 김도균; 이승규
Original assignee: 삼성전자주식회사
Priority date: 2012-03-20
Filing date: 2012-03-20
Publication date: 2018-10-30
Also published as: KR20130106544A

Abstract

장면 정보를 획득하는 방법 및 그 장치를 개시한다.
장면 정보를 획득하는 장치는, 복수의 조명 환경을 제공하는 복수의 프로젝터들; 상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들; 및 상기 대상 장면을 촬영하는 카메라부를 포함한다.A method and apparatus for acquiring scene information are disclosed.
An apparatus for acquiring scene information includes: a plurality of projectors for providing a plurality of illumination environments; A plurality of reflectors for reflecting the light irradiated from each of the plurality of projectors to a target scene; And a camera unit for photographing the target scene.

Description

장면 정보를 획득하는 방법 및 그 장치{METHOD AND APPARATUS FOR OBTAINING AND INFORMATION OF SCENE}METHOD AND APPARATUS FOR OBTAINING AND INFORMATION OF SCENE [0002]

기술분야는 장면 정보를 획득하는 방법 및 그 장치에 관한 것으로서, 카메라, 프로젝터 및 거울을 이용하여 장면 정보를 획득하는 방법 및 장치에 관한 것이다. 여기서, 장면 정보는 예를 들어 라이트 필드(Light field)에 대한 정보일 수 있다. The technical field relates to a method and apparatus for acquiring scene information, and a method and apparatus for acquiring scene information using a camera, a projector, and a mirror. Here, the scene information may be information on, for example, a light field.

3D(dimension) 그래픽스 기술 및 관련 하드웨어 기술의 발달로 3D 게임, 3D 영화, 스마트 폰 등 다양한 응용 분야에서 객체를 실감나게 표현하기 위한 컨텐츠가 제작되고 있다. 객체를 실감나게 표현하는 기술로 렌더링 기술이 이용될 수 있다. 렌더링 기술은 형상(Geometry), 질감 (Material Properties), 조명(Lighting)을 정확하게 모델링 하는 것이 필요하다. 즉, 객체를 실감나게 표현하기 위하여, Light field를 취득하는 것과 취득된 Light field를 이용하여 객체를 3D로 display하는 것이 필요하다.3D (dimension) Due to the development of graphics technology and related hardware technology, contents for realizing objects in various application fields such as 3D games, 3D movies and smart phones are being produced. Rendering technology can be used as a technique for realizing objects. Rendering technology requires accurate modeling of geometry, material properties, and lighting. In other words, it is necessary to acquire the light field and to display the object in 3D using the acquired light field in order to express the object realistically.

Light field는 객체 및 환경의 모습(appearance)을 모든 연속적인 시점(view)에서 정의한 4차원 함수이다. Light field는 3D display를 통해 재현될 모든 정보를 포괄한다. The light field is a four-dimensional function that defines the appearance of the object and environment in all subsequent views. The light field encompasses all information to be reproduced via the 3D display.

따라서, Light field를 이용하면, 실감나는 3D 영상의 생성이 가능하다. 다만, 객체 및 환경에 대한 Light field를 취득하기 위해서는 무한히 많은 시점(view)에서 영상을 촬영하여야 한다. 따라서, 모든 연속적인 시점(view)에서 모든 데이터를 직접 획득하는 대신, Light Field를 구성하는 요소 데이터인 형상, 재질, 빛 조건을 순차적으로 구하여 이를 기반으로 연속적인 Light Field를 재생성하는 방식이 사용될 수 있다.Therefore, realistic 3D images can be generated by using the light field. However, in order to acquire a light field for an object and an environment, an image must be taken from an infinite number of view points. Therefore, instead of acquiring all the data directly from all the consecutive viewpoints, it is possible to use a method of sequentially obtaining shape data, material data, and light conditions, which are constituent data of the light field, have.

컴퓨터 그래픽스 및 비전(vision) 분야에서 Light Field를 획득하기 위한 방법은, Camera Array를 이용하는 방법 또는 Computational Photography 방법 등이 있다. Methods for acquiring light fields in the field of computer graphics and vision include a method using a camera array or a method of computing photography.

그러나, Camera Array를 이용하는 방법은 시스템이 지나치게 방대하기 때문에 CE(Consumer Electronics) 디바이스에 적용되기 어렵다. However, the method using a camera array is not applicable to CE (Consumer Electronics) devices because the system is excessively large.

또한, Computational Photography 방법은 해상도의 문제가 있고, 실시간 촬영에 적용되기 어렵다. In addition, the Computational Photography method has a problem of resolution and is difficult to apply to real-time shooting.

일 측면에 있어서, 장면 정보를 획득하는 장치는, 복수의 조명 환경을 제공하는 복수의 프로젝터들; 상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들; 및 상기 대상 장면을 촬영하는 카메라부를 포함한다. In one aspect, an apparatus for obtaining scene information includes: a plurality of projectors for providing a plurality of illumination environments; A plurality of reflectors for reflecting the light irradiated from each of the plurality of projectors to a target scene; And a camera unit for photographing the target scene.

장면 정보를 획득하는 장치는 상기 카메라부에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성하고, 상기 다중 조명 환경 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 더 포함할 수 있다. The apparatus for acquiring scene information may further include an information extracting unit for generating an image of a multi-illuminating environment from an image photographed by the camera unit and extracting information on a light field of the target scene from the multi-illuminant environment image have.

상기 복수의 프로젝터들은, 다중 스펙트럼 프로젝터 또는 RGB(Red Green Blue) 프로젝터를 포함할 수 있다. The plurality of projectors may include a multispectral projector or a Red Green Blue (RGB) projector.

상기 복수의 반사부들은, 전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울을 포함할 수 있다. The plurality of reflectors may include a full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror.

상기 복수의 반사부들은 상기 카메라부의 좌우에 배치되고, 상기 복수의 프로젝터들은 상기 카메라부의 좌우에 배치되어 상기 복수의 반사부들로 빛을 조사할 수 있다. The plurality of reflectors may be disposed on the left and right sides of the camera unit, and the plurality of projectors may be disposed on the left and right sides of the camera unit to irradiate light to the plurality of reflectors.

장면 정보를 획득하는 장치는 상기 카메라부에 의해 촬영된 영상으로부터 다시점(multiview) 영상을 생성하고, 상기 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 더 포함할 수 있다. The apparatus for acquiring scene information may further include an information extracting unit for generating a multiview image from the image photographed by the camera unit and extracting information on a light field of the target scene from the multi-view image have.

일 측면에 있어서, 장면 정보를 획득하는 장치는 복수의 프로젝터들과 복수의 반사부들의 조합에 의해 생성된 다중 조명 환경에서, 대상 장면(target scene)을 촬영하는 영상 촬영부; 및 상기 영상 촬영부로부터 제공되는 다중 조명 환경의 영상 또는, 상기 영상 촬영부로부터 제공되는 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 포함한다. In one aspect, an apparatus for acquiring scene information includes: an image capturing unit that captures a target scene in a multi-illumination environment generated by a combination of a plurality of projectors and a plurality of reflectors; And an information extracting unit for extracting information on a light field of the target scene from an image of a multi-illumination environment provided from the image capturing unit or a multi-view image provided from the image capturing unit.

상기 영상 촬영부는, 복수의 조명 환경을 제공하는 복수의 프로젝터들; 상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들; 및 상기 대상 장면을 촬영하는 카메라부를 포함할 수 있다. The image capturing unit includes: a plurality of projectors for providing a plurality of illumination environments; A plurality of reflectors for reflecting the light irradiated from each of the plurality of projectors to a target scene; And a camera unit for photographing the target scene.

일 측면에 있어서, 장면 정보를 획득하는 방법은, 복수의 프로젝터들 및 복수의 반사부들을 이용하여 대상 장면에 복수의 조명환경을 제공하는 단계; 카메라부가 상기 대상 장면을 촬영하는 단계; 및 상기 카메라부에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성하는 단계를 포함한다. In one aspect, a method of acquiring scene information includes: providing a plurality of illumination environments to a target scene using a plurality of projectors and a plurality of reflectors; Capturing the target scene by a camera unit; And generating an image of a multi-illumination environment from the image photographed by the camera unit.

보조 장치를 추가적으로 사용하지 않고도, 임의의 빛 조건에서 촬영된 영상으로부터 대상 장면에 대한 Light field 정보를 획득할 수 있다. Light field information on a target scene can be obtained from an image photographed under any light condition without using an auxiliary device additionally.

보조 장치를 추가적으로 사용하지 않고도, 임의의 빛 조건에서 촬영된 영상으로부터 대상 장면에 대한 다중 시점 영상을 획득할 수 있다. A multi-view image of a target scene can be obtained from an image photographed under any light condition, without using an auxiliary device additionally.

보조 장치를 추가적으로 사용하지 않고도, 임의의 빛 조건에서 촬영된 영상으로부터 대상 장면에 대한 다중 조면 환경 영상을 획득할 수 있다. It is possible to obtain a multi-roughened environment image for a target scene from an image photographed under any light condition, without using an auxiliary device.

한 시점에서 촬영된 영상을 이용하여, 다중 시점의 영상을 획득하고 대상 장면에 대한 Light field 정보를 획득할 수 있기 때문에, 고화질의 연속적인 다시점 영상을 생성할 수 있다. Since it is possible to acquire images of multiple viewpoints and acquire light field information of a target scene by using the images captured at one viewpoint, a continuous multi-viewpoint image of high image quality can be generated.

도 1은 일 실시 예에 따른 프로젝터 및 카메라 기반의 영상 획득 방법을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 카메라 및 거울 기반의 영상 획득 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 장면 정보 획득 장치의 구성예를 나타내는 도면이다.
도 4 내지 도 8은 도 3에 도시된 장면 정보 획득 장치를 통해 획득되는 영상들의 예를 설명하기 위한 도면들이다.
도 9는 다른 일 실시예에 따른 장면 정보 획득 장치의 구성예를 나타내는 도면이다.FIG. 1 is a view for explaining a projector and a camera-based image acquisition method according to an embodiment.
2 is a diagram for explaining a camera-based and mirror-based image acquisition method according to an embodiment.
3 is a diagram showing a configuration example of a scene information obtaining apparatus according to an embodiment.
FIGS. 4 to 8 are views for explaining examples of images obtained through the scene information acquisition apparatus shown in FIG.
9 is a diagram showing a configuration example of a scene information acquiring apparatus according to another embodiment.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따른 프로젝터 및 카메라 기반의 영상 획득 방법을 설명하기 위한 도면이다. FIG. 1 is a view for explaining a projector and a camera-based image acquisition method according to an embodiment.

도 1에 도시된 예는, Helmholtz Reciprocity의 특성을 설명하기 위한 도면이다. The example shown in Fig. 1 is a diagram for explaining the characteristics of Helmholtz Reciprocity.

Helmholtz Reciprocity의 특성에 따르면, (a)의 조건에서 대상 장면(target scene)(101)을 촬영한 영상으로부터 (b)의 조건에서 대상 장면(target scene)(101)을 촬영한 영상을 획득할 수 있다. According to the characteristic of the Helmholtz Reciprocity, it is possible to acquire the image of the target scene 101 captured under the condition of (b) from the image of the target scene 101 taken under the condition of (a) have.

즉, (a)와 같이 조명(105)이 존재 할 때 카메라(103)로 대상 장면(101)을 촬영하면, (b)와 같이 조명(105-1)과 카메라(103-1)의 위치가 (a)와 반대인 조건에서 촬영한 영상도 획득 될 수 있다. That is, when the target scene 101 is photographed by the camera 103 when the illumination 105 is present as shown in (a), the positions of the illumination 105-1 and the camera 103-1 are an image photographed under the condition opposite to (a) can also be obtained.

Helmholtz Reciprocity는 4D(dimensional) BRDF (bidirectional reflectance distribution function)의 특성이며, 재질의 성질을 나타낸다. Helmholtz Reciprocity의 특성은 대상 Scene의 Appearance가 BRDF로 표현 가능한 경우, 대상 재질의 종류와 무관하게 성립되는 것으로 알려져 있다. Helmholtz Reciprocity는 반투명 물질, 투과성 물체에는 성립되지 않는다. 즉, Helmholtz Reciprocity는 특정 방향에서의 입사광이 반사되어 특정 방향의 Sensor로 방출된 빛의 양은, 그 조건이 뒤집혀도 유지가 된다는 이론이다. Helmholtz Reciprocity의 특성을 수학적으로 표현하면 수학식 1과 같이 표현될 수 있다. Helmholtz Reciprocity is a characteristic of 4D (bidirectional reflectance distribution function) and shows the properties of material. The characteristics of Helmholtz Reciprocity are known to be established irrespective of the type of material, when the target scene can be represented by BRDF. Helmholtz Reciprocity is not a translucent material, nor a permeable object. In other words, Helmholtz Reciprocity is the theory that the amount of light emitted by a sensor in a certain direction is reflected even when the condition is reversed. The characteristics of the Helmholtz Reciprocity can be expressed mathematically as Equation (1).

[수학식 1][Equation 1]

수학식 1에서

는 BRDF 함수를 의미하며,

및

는 2D로 표현되는 입사각을 나타내고,

및

는 2D로 표현되는 방사각을 나타낸다. 따라서, BRDF의 물리적 성격을 이용하면, 하나의 프로젝터와 하나의 카메라 패어(Pair)로부터 두 개의 시점에서 촬영된 영상을 획득할 수 있다. In Equation (1)

Means the BRDF function,

And

Represents an incident angle expressed in 2D,

And

Represents a radiation angle expressed in 2D. Therefore, by using the physical nature of BRDF, it is possible to acquire images photographed at two viewpoints from one projector and one camera pair.

다만, BRDF의 물리적 성격을 이용하여 획득된 스테레오 영상(좌영상, 우영상)은 일반적인 스테레오 영상과는 달리, 조명 환경이 같지 않다. 따라서, 하나의 프로젝터와 하나의 카메라 패어(Pair) 만으로는 Light field를 정확하게 획득하는 것에 한계가 있다.
However, the stereoscopic images (left and right images) obtained by using the physical characteristics of the BRDF are not the same as those of a general stereo image. Therefore, there is a limitation in accurately acquiring the light field with only one projector and one camera pair.

도 2는 일 실시 예에 따른 카메라 및 거울 기반의 영상 획득 방법을 설명하기 위한 도면이다. 2 is a diagram for explaining a camera-based and mirror-based image acquisition method according to an embodiment.

도 2를 참조하면, 복수의 거울들(M1, M2, M3, M4, M5, M6)과 카메라(210)을 이용하여 다시점 영상을 획득할 수 있다. 여기서, 복수의 거울들(M1, M2, M3, M4, M5, M6) 각각은 전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울일 수 있다. 설명의 편의를 위해, 복수의 거울들(M1, M2, M3, M4, M5, M6)은 모두 Planar Mirror라 가정한다. Referring to FIG. 2, a multi-view image can be acquired using the plurality of mirrors M1, M2, M3, M4, M5, and M6 and the camera 210. FIG. Here, each of the plurality of mirrors M1, M2, M3, M4, M5, and M6 may be a full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror. For convenience of explanation, it is assumed that the plurality of mirrors M1, M2, M3, M4, M5, and M6 are all planar mirrors.

도 2에 도시된 바와 같이, 카메라(210)로 거울 M1을 통해 반사된 객체(201)을 촬영하면, 제1 가상 카메라(221)를 생성하는 효과가 있다. 마찬가지로, 거울들 M2, M3, M4, M5, M6 각각에 대응하는 가상 카메라들(222, 223, 224, 225, 226)이 생성될 수 있다. As shown in FIG. 2, when the object 201 reflected through the mirror M1 is photographed by the camera 210, the first virtual camera 221 is generated. Similarly, virtual cameras 222, 223, 224, 225, and 226 corresponding to the mirrors M2, M3, M4, M5, and M6, respectively, may be created.

따라서, 도 2와 같이 객체(201)의 주위에 복수의 거울들(M1, M2, M3, M4, M5, M6)이 배치된 상태에서 카메라(210)는 한 번의 촬영으로 6개의 시점에서 촬영한 영상을 획득할 수 있다. Therefore, in a state where a plurality of mirrors M1, M2, M3, M4, M5, and M6 are disposed around the object 201 as shown in FIG. 2, Images can be acquired.

즉, 도 2와 같이 객체(201)의 주위에 복수의 거울들(M1, M2, M3, M4, M5, M6)이 배치된 상태에서, 전방을 촬영하면, 거울들에 맺힌 영상들은 가상 카메라들(222, 223, 224, 225, 226)에 의해 촬영된 영상들과 동일하다. That is, as shown in FIG. 2, when a plurality of mirrors M1, M2, M3, M4, M5, and M6 are disposed around the object 201, 223, 224, 225, and 226, respectively.

도 2에 도시된 원리를 이용하면, 카메라와 거울들의 조합을 통해 다시점 영상촬영이 가능하다.
Using the principle shown in Fig. 2, multi-point imaging is possible through a combination of camera and mirrors.

도 1 및 도 2를 통해 설명한 원리들을 함께 이용하면, 복수의 프로젝터들과 복수의 반사부들의 조합에 의해 생성된 다중 조명 환경에서 대상 장면(target scene)을 촬영함으로써, 다중 조명 환경의 영상 및 다시점(multiview) 영상을 생성할 수 있다. 이하, 도 1 및 도 2를 통해 설명한 원리들을 함께 이용한 실시예들을 설명한다.
Using the principles described above with reference to FIGS. 1 and 2, by taking a target scene in a multiple illumination environment created by a combination of a plurality of projectors and a plurality of reflectors, A multiview image can be generated. Hereinafter, embodiments using the principles described above with reference to Figs. 1 and 2 will be described.

도 3은 일 실시 예에 따른 장면 정보 획득 장치의 구성예를 나타내는 도면이다. 3 is a diagram showing a configuration example of a scene information obtaining apparatus according to an embodiment.

도 3을 참조하면, 장면 정보 획득 장치(300)는 복수의 프로젝터들(311, 313, 315, 317), 복수의 반사부들(321, 323, 325, 327) 및 카메라부(330)를 포함한다. 또한, 장면 정보 획득 장치(300)는 제어부(350) 및 정보 추출부(340)를 더 포함할 수 있다. 3, the scene information obtaining apparatus 300 includes a plurality of projectors 311, 313, 315, and 317, a plurality of reflectors 321, 323, 325, and 327, and a camera unit 330 . The scene information obtaining apparatus 300 may further include a control unit 350 and an information extracting unit 340.

복수의 프로젝터들(311, 313, 315, 317)은 복수의 조명 환경을 제공한다. 복수의 프로젝터들(311, 313, 315, 317) 각각은 서로 다른 주파수의 빛을 조사할 수 있다. 또한, 복수의 프로젝터들(311, 313, 315, 317) 각각은 서로 다른 입사각을 통해 대상 장면(301) 복수의 조명 환경을 제공할 수 있다. The plurality of projectors 311, 313, 315, and 317 provide a plurality of illumination environments. Each of the plurality of projectors 311, 313, 315, and 317 can irradiate light of different frequencies. Further, each of the plurality of projectors 311, 313, 315, and 317 may provide a plurality of illumination environments of the target scene 301 through different incident angles.

이때, 복수의 프로젝터들(311, 313, 315, 317)은 다중 스펙트럼 프로젝터 또는 RGB(Red Green Blue) 프로젝터를 포함할 수 있다. 복수의 프로젝터들(311, 313, 315, 317)은 카메라부(330)의 좌우에 배치되어 복수의 반사부들(321, 323, 325, 327)로 빛을 조사한다. At this time, the plurality of projectors 311, 313, 315, and 317 may include a multi-spectrum projector or a Red Green Blue (RGB) projector. The plurality of projectors 311, 313, 315, and 317 are disposed on the left and right of the camera unit 330 to irradiate light to the plurality of reflectors 321, 323, 325, and 327.

복수의 반사부들(321, 323, 325, 327)은 복수의 프로젝터들(311, 313, 315, 317) 각각으로부터 조사된 빛들을 대상 장면(target scene)(101)에 반사시킨다. The plurality of reflectors 321, 323, 325 and 327 reflects the light irradiated from each of the plurality of projectors 311, 313, 315 and 317 to the target scene 101.

복수의 반사부들(321, 323, 325, 327) 각각은 카메라부(330)를 기준으로 생성된 축(331)과 기 설정된 각도로 배치될 수 있다. 예를 들어, 반사부(323)의 평면 축(329)과 축(331)이 이루는 각도는 장치(300)와 대상 장면(301) 사이의 거리에 따라 조정되거나, 고정된 값일 수 도 있다.Each of the plurality of reflectors 321, 323, 325, and 327 may be disposed at a predetermined angle with the axis 331 generated with respect to the camera unit 330. For example, the angle formed by the plane axis 329 of the reflection portion 323 and the axis 331 may be adjusted according to the distance between the apparatus 300 and the target scene 301, or may be a fixed value.

이때, 복수의 반사부들(321, 323, 325, 327)은 전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울을 포함할 수 있다. 복수의 반사부들(321, 323, 325, 327)은 카메라부(330)의 좌우에 배치될 수 있다. At this time, the plurality of reflectors 321, 323, 325, and 327 may include a full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror. The plurality of reflectors 321, 323, 325, and 327 may be disposed on the left and right of the camera unit 330.

예를 들어, 반사부(321)은 프로젝터(311)로부터 조사된 빛을 대상 장면(301)으로 반사시킨다. 또한, 반사부(323)은 프로젝터(313)로부터 조사된 빛을 대상 장면(301)으로 반사시킨다. 물론, 반사부(323)은 프로젝터(311)로부터 조사된 빛을 대상 장면(301)으로 반사시킬 수 도 있다. For example, the reflector 321 reflects the light irradiated from the projector 311 to the target scene 301. The reflecting portion 323 reflects the light irradiated from the projector 313 to the target scene 301. Of course, the reflector 323 may reflect the light irradiated from the projector 311 to the target scene 301.

카메라부(330)는 대상 장면(301)을 촬영한다. 즉, 카메라부(330)는 복수의 프로젝터들(311, 313, 315, 317)에 의해 복수의 조명 환경이 제공된 상태에서, 대상 장면(301)을 촬영한다. 이때, 복수의 조명 환경은 복수의 반사부들(321, 323, 325, 327)에 의해 생성되는 조명 환경들 및 복수의 프로젝터들(311, 313, 315, 317)에 의해 생성되는 조명 환경들이 존재한다. The camera unit 330 photographs the target scene 301. That is, the camera section 330 photographs the target scene 301 in a state in which a plurality of projectors 311, 313, 315, and 317 are provided with a plurality of illumination environments. At this time, a plurality of illumination environments exist in the illumination environments generated by the plurality of reflectors 321, 323, 325, and 327 and the illumination environments generated by the plurality of projectors 311, 313, 315, and 317 .

복수의 반사부들(321, 323, 325, 327)에 의해 생성되는 조명 환경들은 도 4에 개념적으로 표현되어 있다. 복수의 프로젝터들(311, 313, 315, 317)에 의해 생성되는 조명 환경들은 도 5에 개념적으로 표현되어 있다. The illumination environments generated by the plurality of reflectors 321, 323, 325, and 327 are conceptually represented in FIG. The illumination environments generated by the plurality of projectors 311, 313, 315, and 317 are conceptually represented in FIG.

제어부(350)는 장치(300)의 전반적인 동작을 제어한다. 예를 들어, 제어부(350)는 카메라부(330)의 촬영을 제어하거나, 복수의 프로젝터들(311, 313, 315, 317) 각각의 온/오프 및 동작을 제어할 수 있다. 제어부(350)는 적어도 하나의 프로세서를 포함할 수 있다. The control unit 350 controls the overall operation of the device 300. For example, the control unit 350 may control the shooting of the camera unit 330 or may control ON / OFF and operation of the plurality of projectors 311, 313, 315, and 317, respectively. The control unit 350 may include at least one processor.

정보 추출부(340)는 카메라부(330)에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성하고, 상기 다중 조명 환경 영상으로부터 대상 장면의 라이트 필드에 대한 정보를 추출할 수 있다. The information extracting unit 340 may generate an image of a multi-illumination environment from the image photographed by the camera unit 330, and may extract information about the light field of the target scene from the multi-illumination environment image.

여기서, 다중 조명 환경 영상은, 도 4 및 도 5에 도시된 개념에 기초하여 생성될 수 있다. 다중 조명 환경 영상에 대한 구체적인 설명은 도 4 및 도 5를 통해 설명한다. Here, the multi-illumination environment image can be generated based on the concept shown in Figs. 4 and 5. A detailed description of the multi-illuminated environment image will be described with reference to FIG. 4 and FIG.

또한, 정보 추출부(340)는 카메라부(330)에 의해 촬영된 영상으로부터 다시점(multiview) 영상을 생성하고, 상기 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출할 수 도 있다. The information extracting unit 340 may generate a multiview image from the image captured by the camera unit 330 and extract information about the light field of the target scene from the multi-view image .

여기서, 다시점 영상은, 도 6 및 도 7에 도시된 개념에 기초하여 생성될 수 있다. 다시점 영상에 대한 구체적인 설명은 도 6 및 도 7을 통해 설명한다.Here, the multi-view image can be generated based on the concept shown in Figs. 6 and 7. A detailed description of the multi-view image will be described with reference to FIGS. 6 and 7. FIG.

도 3에 도시된 장면 정보 획득 장치(300)의 동작은 다음과 같다. The operation of the scene information obtaining apparatus 300 shown in FIG. 3 is as follows.

먼저, 장면 정보 획득 장치(300)는 복수의 프로젝터들 및 복수의 반사부들을 이용하여 대상 장면에 복수의 조명환경을 제공한다. 카메라부(310)는 상기 대상 장면을 촬영한다. First, the scene information acquisition apparatus 300 provides a plurality of illumination environments to a target scene using a plurality of projectors and a plurality of reflectors. The camera unit 310 photographs the target scene.

다음에, 정보 추출부(340)는 카메라부(310)에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성한다. 이때, 정보 추출부(340)는 다중 조명 환경 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출할 수 있다. Next, the information extracting unit 340 generates an image of a multi-illumination environment from the image photographed by the camera unit 310. [ At this time, the information extracting unit 340 may extract information about the light field of the target scene from the multi-illuminated environment image.

다음에, 정보 추출부(340)는 카메라부(310)에 의해 촬영된 영상으로부터 다시점(multiview) 영상을 생성할 수 있다. 정보 추출부(340)는 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출할 수 있다.
Next, the information extracting unit 340 can generate a multiview image from the image photographed by the camera unit 310. The information extracting unit 340 may extract information on the light field of the target scene from the multi-view image.

도 4 내지 도 8은 도 3에 도시된 장면 정보 획득 장치를 통해 획득되는 영상들의 예를 설명하기 위한 도면들이다. FIGS. 4 to 8 are views for explaining examples of images obtained through the scene information acquisition apparatus shown in FIG.

도 4는 도 3에서 복수의 반사부들(321, 323, 325, 327)의 의해 생성되는 조명들(311-1, 313-1, 315-1, 317-1)을 나타낸다. FIG. 4 shows the lights 311-1, 313-1, 315-1, and 317-1 generated by the plurality of reflectors 321, 323, 325, and 327 in FIG.

도 4를 참조하면, 조명들(311-1, 313-1, 315-1, 317-1)에 의해 생성된 조명 조건하에, 단일 시점에서 촬영된 4장의 영상을 얻을 수 있다. 예를 들어, 복수의 프로젝터들(311, 313, 315, 317) 각각에서 조사되는 빛의 스펙트럼이 서로 다른 경우, 정보 추출부(340)는 촬영된 영상으로부터 4장의 다중 환경 영상들을 생성할 수 있다. Referring to FIG. 4, four images photographed at a single view can be obtained under the illumination conditions generated by the lights 311-1, 313-1, 315-1, and 317-1. For example, when the spectrums of the lights emitted from the plurality of projectors 311, 313, 315, and 317 are different from each other, the information extracting unit 340 may generate four multi-environment images from the captured image .

도 5는 도 3에서 복수의 프로젝터들(311, 313, 315, 317)에 의해 생성되는 조명 조건을 나타낸다. Fig. 5 shows the illumination conditions generated by the plurality of projectors 311, 313, 315, and 317 in Fig.

도 5를 참조하면, 복수의 프로젝터들(311, 313, 315, 317)에 의해 생성되는 조명 조건하에, 단일 시점에서 촬영된 4장의 영상을 얻을 수 있다.Referring to FIG. 5, it is possible to obtain four images photographed at a single viewpoint under the illumination condition generated by the plurality of projectors 311, 313, 315, and 317.

도 4 및 도 5는 설명의 편의를 위하여 분리하여 도시되었으나, 한번의 촬영을 통해 총 8장의 다중 조명 환경 영상들이 획득될 수 있다. 즉, 정보 추출부(340)는 복수의 프로젝터들(311, 313, 315, 317) 각각의 빛의 파장 값들, 입사각들 및 방사각들을 미리 알고 있기 때문에, 한 번의 촬영을 통해 총 8장의 다중 조명 환경 영상들을 획득할 수 있다. Although FIGS. 4 and 5 are shown separately for convenience of explanation, a total of eight multi-illumination environment images can be acquired through one shot. That is, since the information extracting unit 340 knows the wavelength values, the incident angles, and the radiation angles of light of each of the plurality of projectors 311, 313, 315, and 317 in advance, Environment images can be acquired.

한편, 도 1을 통해 설명한 원리에 따르면, 도 3에 도시된 구성은 도 6과 동일한 효과를 가진다. On the other hand, according to the principle described with reference to FIG. 1, the configuration shown in FIG. 3 has the same effect as that of FIG.

Helmholtz Reciprocity의 특성에 따르면, "프로젝터(311)-카메라(310) 패어(pair)"는 "가상 카메라(631)-가상 조명(610) 패어(pair)"와 동일한 효과를 가진다. 즉, "프로젝터(311)-카메라(310) 패어(pair)"를 통해 촬영된 영상으로부터 "가상 카메라(631)-가상 조명(610) 패어(pair)"로 촬영된 영상을 획득할 수 있다. According to the characteristics of Helmholtz Reciprocity, "projector 311-camera 310 pair" has the same effect as "virtual camera 631-virtual illumination 610 pair ". That is, an image photographed with the "virtual camera 631 - virtual illumination 610 pair" can be obtained from the image photographed through the "projector 311 - camera 310 pair".

결론적으로, 도 3에 도시된 구성을 통해, 복수의 가상 카메라부들(631, 633, 635, 637)과 복수의 반사부들(321, 323, 325, 327)의 조합을 이용하여 다시점에서 상기 대상 장면을 촬영하는 것과 동일한 효과를 얻을 수 있다. 3, by using the combination of the plurality of virtual camera units 631, 633, 635, 637 and the plurality of reflectors 321, 323, 325, 327, The same effect as shooting a scene can be obtained.

도 2에서 설명한 원리에 따르면, 도 6에 도시된 가상 카메라부들(631, 633, 635, 637)을 통해 4장의 다시점 영상들을 생성할 수 있다. According to the principle described in FIG. 2, four multi-view images can be generated through the virtual camera units 631, 633, 635, and 637 shown in FIG.

도 7은 도 3에 대응하는 복수의 가상 카메라부들(631-1, 633-1, 635-1, 637-1)을 나타낸다. 따라서, 도 7에 도시된 복수의 가상 카메라부들(631-1, 633-1, 635-1, 637-1)을 통해 4장의 다시점 영상들을 생성할 수 있다. FIG. 7 shows a plurality of virtual camera units 631-1, 633-1, 635-1, and 637-1 corresponding to FIG. Accordingly, it is possible to generate four multi-view images through the plurality of virtual camera units 631-1, 633-1, 635-1, and 637-1 shown in FIG.

만일, 도 7에 도시된 가상 카메라부들(631-1, 633-1, 635-1, 637-1)을 통해 획득된 4장의 다시점 영상들에 Supper resolution 기법이나 Inpainting 기법을 적용하면, 도 8에 도시된 configuration을 유추할 수 있다. If the supper resolution technique or the inpainting technique is applied to the four multi-view images acquired through the virtual camera units 631-1, 633-1, 635-1, and 637-1 shown in FIG. 7, The configuration shown in FIG.

한편, 복수의 반사부들(321, 323, 325, 327)이 반투과성 거울들인 경우, 가상 카메라의 숫자는 2배로 늘어 날 수 있다. 단, 반투과성 거울들을 사용하는 경우, 프로젝터의 발광 세기는 충분히 높은 출력을 가져야 한다. 예를 들어, 완전 반사 효과를 갖는 거울들을 사용하는 경우에 비해 2배이상의 발광 세기가 필요할 수 있다.
On the other hand, when the plurality of reflectors 321, 323, 325, and 327 are semi-transmissive mirrors, the number of virtual cameras may be doubled. However, when using semi-transmissive mirrors, the emission intensity of the projector should be high enough. For example, a luminous intensity twice or more than that in the case of using mirrors having a full reflection effect may be required.

결과적으로, 도 3의 정보 추출부(340)는 도 4에 도시된 조건에 해당하는 4장의 영상들, 도 5에 도시된 조건에 해당하는 4장의 영상들, 도 6에 도시된 조건에 해당하는 4장의 영상들, 및 도 7에 도시된 조건에 해당하는 4장의 영상들을 획득할 수 있다. As a result, the information extracting unit 340 of FIG. 3 extracts four images corresponding to the conditions shown in FIG. 4, four images corresponding to the conditions shown in FIG. 5, 4 images, and 4 images corresponding to the conditions shown in FIG. 7 can be obtained.

즉, 도 3에 도시된 configuration에 따르면, 다양한 조명 조건에서 촬영된 8장의 영상 및 다양한 시점 조건에서 촬영된 8장의 영상이 생성될 수 있다. That is, according to the configuration shown in FIG. 3, eight images captured under various illumination conditions and eight images captured under various view conditions can be generated.

정보 추출부(340)는 총 16장의 영상을 물리적으로 효과적이라 검증된 BRDF 모델에 적용함으로써, 대상 장면(301)에 대한 Light field를 생성할 수 있다. The information extracting unit 340 can generate a light field for the target scene 301 by applying a total of 16 images to the BRDF model that has been verified to be physically effective.

예를 들어, 정보 추출부(340)는 Torrence-Sparrow 모델, 또는 Oren-Nayer 모델 등을 이용하여 대상 장면(301)에 대한 Light field를 생성할 수 있다.For example, the information extracting unit 340 may generate a light field for the target scene 301 using a Torrence-Sparrow model or an Oren-Nayer model.

이때, 정보 추출부(340)는 대상 장면의 Appearance를 SBRDF(spatially varying bidirectional reflectance distribution function)를 이용하여 정의할 수 있다. SBRDF는 6차원 함수로서 그 중 2차원은 물체 표면 위치에 따른 변수, 또 다른 2차원은 조명 방향에 따른 변수, 또 다른 2차원은 시점 방향에 따른 변수로서 정의 된다. 6차원 SBRDF를 이용하면, 불투과성 물성을 지니는 모든 종류의 환경의 Appearance를 표현할 수 있다. 따라서, 6차원 SBRDF를 이용하면 Light Field를 재생성 하기에 충분하다. At this time, the information extracting unit 340 can define the appearance of the target scene using spatially varying bidirectional reflectance distribution function (SBRDF). SBRDF is a six-dimensional function, where two dimensions are defined as variables according to the surface position of the object, another two dimensions as a variable according to the illumination direction, and another two dimensions as a variable according to the view direction. Using 6-dimensional SBRDF, it is possible to express the appearance of all kinds of environments with impermeable properties. Therefore, using the 6-dimensional SBRDF is enough to regenerate the light field.

Light Field를 재생성 하기 위한 수학적인 모델은 수학식 2와 같이 표현될 수 있다. The mathematical model for regenerating the light field can be expressed as in Equation (2).

[수학식 2]&Quot; (2) "

여기서,

및

는 시점(view)의 위치 정보,

및

는 조명의 위치 정보,

는 해당 시점 및 조명 조건에서의 영상 정보를 나타낸다. here,

And

The position information of the view,

And

The position information of the light,

Represents the image information at the point in time and the illumination condition.

6차원 SBRDF로부터 Light field를 구하는 것은, 6차원 공간에서 4차원 공간을 생성하는 것과 같다. 따라서, 6차원 SBRDF로부터 Light field를 구하는 것은 용이하고, 이를 수학적으로 표현하면 수학식 3과 같이 나타낼 수 있다. Obtaining a light field from a six-dimensional SBRDF is equivalent to creating a four-dimensional space in a six-dimensional space. Therefore, it is easy to obtain the light field from the six-dimensional SBRDF, and it can be expressed as Mathematical Expression 3 by mathematically expressing it.

[수학식 3]&Quot; (3) "

도 9는 다른 일 실시예에 따른 장면 정보 획득 장치의 구성예를 나타내는 도면이다.9 is a diagram showing a configuration example of a scene information acquiring apparatus according to another embodiment.

도 9를 참조하면, 장면 정보 획득 장치(900)는 복수의 프로젝터들과 복수의 반사부들의 조합에 의해 생성된 다중 조명 환경에서, 대상 장면(target scene)을 촬영하는 영상 촬영부(910)와 정보 추출부(920)을 포함한다. 9, the scene information obtaining apparatus 900 includes an image capturing unit 910 for capturing a target scene in a multiple illumination environment generated by a combination of a plurality of projectors and a plurality of reflectors, And an information extracting unit 920.

영상 촬영부(910)는 복수의 조명 환경을 제공하는 복수의 프로젝터들, 상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들 및 상기 대상 장면을 촬영하는 카메라부를 포함할 수 있다. The image capturing unit 910 includes a plurality of projectors for providing a plurality of illumination environments, a plurality of reflectors for reflecting the lights irradiated from each of the plurality of projectors onto a target scene, And a camera unit.

즉, 영상 촬영부(910)는 도 3의 복수의 프로젝터들(311, 313, 315, 317), 복수의 반사부들(321, 323, 325, 327) 및 카메라부(330)를 포함할 수 있다. That is, the image capturing unit 910 may include a plurality of projectors 311, 313, 315, and 317, a plurality of reflectors 321, 323, 325, and 327, and a camera unit 330 .

정보 추출부(920)는 영상 촬영부(910)로부터 제공되는 다중 조명 환경의 영상 또는, 상기 영상 촬영부로부터 제공되는 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출한다. The information extracting unit 920 extracts information on a light field of the target scene from an image of a multi-illumination environment provided from the image capturing unit 910 or a multi-view image provided from the image capturing unit.

즉, 정보 추출부(920)는 도 3의 정보 추출부(340)와 동일한 기능을 수행할 수 있다.
That is, the information extraction unit 920 can perform the same function as the information extraction unit 340 of FIG.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims

복수의 조명 환경을 제공하는 복수의 프로젝터들;
상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들; 및
상기 대상 장면을 촬영하는 카메라부를 포함하고,
상기 복수의 반사부들은,
전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울을 포함하는,
장면 정보를 획득하는 장치. A plurality of projectors for providing a plurality of illumination environments;
A plurality of reflectors for reflecting the light irradiated from each of the plurality of projectors to a target scene; And
And a camera section for photographing the target scene,
Wherein the plurality of reflectors comprise:
A full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror,
A device for acquiring scene information.

제1항에 있어서,
상기 카메라부에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성하고, 상기 다중 조명 환경 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 더 포함하는,
장면 정보를 획득하는 장치.The method according to claim 1,
Further comprising an information extracting unit for generating an image of a multi-illuminating environment from the image photographed by the camera unit and extracting information about a light field of the target scene from the multi-
A device for acquiring scene information.

제1항에 있어서,
상기 복수의 프로젝터들은,
다중 스펙트럼 프로젝터 또는 RGB(Red Green Blue) 프로젝터를 포함하는,
장면 정보를 획득하는 장치.The method according to claim 1,
The plurality of projectors may include:
A multi-spectrum projector or RGB (Red Green Blue) projector,
A device for acquiring scene information.

삭제delete

제1항에 있어서,
상기 복수의 반사부들은 상기 카메라부의 좌우에 배치되고,
상기 복수의 프로젝터들은 상기 카메라부의 좌우에 배치되어 상기 복수의 반사부들로 빛을 조사하는,
장면 정보를 획득하는 장치.The method according to claim 1,
Wherein the plurality of reflecting portions are disposed on the left and right sides of the camera portion,
Wherein the plurality of projectors are disposed on left and right sides of the camera unit and irradiate light to the plurality of reflectors,
A device for acquiring scene information.

제1항에 있어서,
상기 카메라부에 의해 촬영된 영상으로부터 다시점(multiview) 영상을 생성하고, 상기 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 더 포함하는,
장면 정보를 획득하는 장치.The method according to claim 1,
Further comprising an information extracting unit for generating a multiview image from the image photographed by the camera unit and extracting information on a light field of the target scene from the multi-view image,
A device for acquiring scene information.

복수의 프로젝터들과 복수의 반사부들의 조합에 의해 생성된 다중 조명 환경에서, 대상 장면(target scene)을 촬영하는 영상 촬영부; 및
상기 영상 촬영부로부터 제공되는 다중 조명 환경의 영상 또는, 상기 영상 촬영부로부터 제공되는 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 정보 추출부를 포함하고,
상기 복수의 반사부들은,
전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울을 포함하는,
장면 정보를 획득하는 장치.An image capturing unit for capturing a target scene in a multiple illumination environment generated by a combination of a plurality of projectors and a plurality of reflection units; And
And an information extracting unit for extracting information on a light field of the target scene from an image of a multi-illumination environment provided from the image capturing unit or a multi-view image provided from the image capturing unit,
Wherein the plurality of reflectors comprise:
A full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror,
A device for acquiring scene information.

제7항에 있어서,
상기 영상 촬영부는,
복수의 조명 환경을 제공하는 복수의 프로젝터들;
상기 복수의 프로젝터들 각각으로부터 조사된 빛들을 대상 장면(target scene)에 반사시키는 복수의 반사부들; 및
상기 대상 장면을 촬영하는 카메라부를 포함하는,
장면 정보를 획득하는 장치.8. The method of claim 7,
The image capturing unit includes:
A plurality of projectors for providing a plurality of illumination environments;
A plurality of reflectors for reflecting the light irradiated from each of the plurality of projectors to a target scene; And
And a camera section for photographing the target scene,
A device for acquiring scene information.

제7항에 있어서,
상기 복수의 프로젝터들은,
다중 스펙트럼 프로젝터 또는 RGB(Red Green Blue) 프로젝터를 포함하는,
장면 정보를 획득하는 장치.8. The method of claim 7,
The plurality of projectors may include:
A multi-spectrum projector or RGB (Red Green Blue) projector,
A device for acquiring scene information.

삭제delete

복수의 프로젝터들 및 복수의 반사부들을 이용하여 대상 장면에 복수의 조명환경을 제공하는 단계;
카메라부가 상기 대상 장면을 촬영하는 단계; 및
상기 카메라부에 의해 촬영된 영상으로부터 다중 조명 환경의 영상을 생성하는 단계를 포함하고,
상기 복수의 반사부들은,
전반사용 평면 거울, 전반사용 곡면 거울, 반투과성 평면 거울, 또는 반투과성 곡면 거울을 포함하는,
장면 정보를 획득하는 방법.Providing a plurality of illumination environments to a target scene using a plurality of projectors and a plurality of reflectors;
Capturing the target scene by a camera unit; And
And generating an image of a multi-illumination environment from the image photographed by the camera unit,
Wherein the plurality of reflectors comprise:
A full-use flat mirror, a full-use curved mirror, a semi-transmissive flat mirror, or a semi-transmissive curved mirror,
A method for acquiring scene information.

제11항에 있어서,
상기 다중 조명 환경 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 단계를 더 포함하는,
장면 정보를 획득하는 방법.12. The method of claim 11,
Further comprising extracting information on a light field of the target scene from the multiple illumination environment image,
A method for acquiring scene information.

제11항에 있어서,
상기 카메라부에 의해 촬영된 영상으로부터 다시점(multiview) 영상을 생성하는 단계를 더 포함하는,
장면 정보를 획득하는 방법.12. The method of claim 11,
Further comprising generating a multiview image from the image photographed by the camera unit,
A method for acquiring scene information.

제13항에 있어서,
상기 다시점 영상으로부터 상기 대상 장면의 라이트 필드에 대한 정보를 추출하는 단계를 더 포함하는,
장면 정보를 획득하는 방법.14. The method of claim 13,
Further comprising extracting information on a light field of the target scene from the multi-view image,
A method for acquiring scene information.