WO2013081398A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2013081398A1
WO2013081398A1 PCT/KR2012/010253 KR2012010253W WO2013081398A1 WO 2013081398 A1 WO2013081398 A1 WO 2013081398A1 KR 2012010253 W KR2012010253 W KR 2012010253W WO 2013081398 A1 WO2013081398 A1 WO 2013081398A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
processing apparatus
image
information
capture unit
Prior art date
Application number
PCT/KR2012/010253
Other languages
English (en)
French (fr)
Inventor
하인우
이태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/125,515 priority Critical patent/US9710958B2/en
Priority claimed from KR1020120137122A external-priority patent/KR102010396B1/ko
Publication of WO2013081398A1 publication Critical patent/WO2013081398A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • an image processing apparatus and method for obtaining accurate lighting environment information regardless of a type or a distance of individual lights included in a lighting environment around an object are provided.
  • an image processing apparatus and method for naturally rendering a virtual object to perform high quality rendering are provided.
  • an image processing apparatus including a light capture unit for photographing the lighting environment of the object surrounding environment to generate lighting environment information, and an object capture unit for photographing the object to generate object information.
  • the image processing apparatus further includes a modeling unit generating a 3D model associated with the object by reflecting the lighting environment information and the object information.
  • the light capture unit may include at least two cameras to generate the illumination environment information including a direction of at least one light source included in the illumination environment and a distance between the at least one light source and the image processing apparatus.
  • the object capturing unit may include the at least two cameras to generate the object information including a distance between the object and the image processing apparatus.
  • the object capture unit may generate object information including at least one depth camera and at least one color camera including a depth image and a color image of the object.
  • the light capture unit may generate object information including at least one depth camera and at least one color camera including a depth image and a color image of the lighting environment.
  • the image processing apparatus further includes a rendering unit that renders a resultant image of at least one viewpoint using the 3D model.
  • the rendering unit may include the at least one virtual object in the 3D model to render a resultant image for the at least one viewpoint.
  • the light capture unit includes at least one wide-angle optical lens to widen the angle of view of the light capture unit.
  • a light capture unit for photographing the lighting environment of the environment surrounding the object to generate lighting environment information
  • an object capture unit for photographing the object to generate a color image and depth image
  • the illumination environment information the color image
  • a rendering unit configured to render the at least one virtual object together with the object by using the depth image and the at least one virtual object information.
  • a light capture unit of the image processing apparatus photographs an illumination environment of an object surrounding environment to generate lighting environment information
  • an object capture unit of the image processing apparatus photographs the object to generate object information
  • an image processing method including a.
  • the image processing method may further include generating a 3D model associated with the object by reflecting the lighting environment information and the object information by a modeling unit of the image processing apparatus.
  • the generating of the lighting environment information may include the direction of at least one light source included in the lighting environment and the distance between the at least one light source and the image processing apparatus including the at least two cameras.
  • the lighting environment information may be generated.
  • the object capture unit may include the at least two cameras to generate the object information including a distance between the object and the image processing apparatus.
  • the generating of the object information may include generating at least one depth camera and at least one color camera included in an object capturing unit to capture object and generate object information including a depth image and a color image. Can be.
  • the image processing method may further include rendering a resultant image of at least one viewpoint by including at least one virtual object in the 3D model by the rendering unit of the image processing apparatus.
  • the light capture unit of the image processing unit photographs the lighting environment of the environment surrounding the object to generate lighting environment information
  • the object capture unit of the image processing unit photographs the object to generate a color image and depth image
  • accurate lighting environment information may be obtained and reflected in the rendering.
  • FIG. 1 is a block diagram illustrating an embodiment of an image processing apparatus.
  • FIG. 2 is a conceptual diagram illustrating an operation of an image processing apparatus according to an exemplary embodiment.
  • FIG 3 is an exemplary perspective view illustrating a structure of an image processing apparatus according to an exemplary embodiment.
  • FIG. 4 is an exemplary cross-sectional view illustrating a structure of an image processing apparatus according to an exemplary embodiment.
  • FIG. 5 is a conceptual diagram illustrating a process of performing light capturing and object gap capturing by an image processing apparatus according to an exemplary embodiment.
  • FIG. 6 illustrates an object of an example 3D model modeled according to one embodiment.
  • FIG. 7 is a conceptual diagram illustrating a result of rendering a virtual object included in the object of FIG. 6 according to an exemplary embodiment.
  • FIG. 8 is an exemplary cross-sectional view illustrating a structure of an image processing apparatus according to an embodiment.
  • FIG. 9 is a flowchart illustrating an image processing method, according to an exemplary embodiment.
  • FIG. 1 is a block diagram illustrating an image processing apparatus 100 according to an exemplary embodiment.
  • the image processing apparatus 100 may photograph a light environment of an object space to generate lighting environment information, and a camera module separate from the light capture unit 110.
  • a camera module separate from the light capture unit 110.
  • an object capture unit 120 for photographing the objects.
  • the lighting environment may include at least one light source that may affect the object, and the light source may be irradiated from another place as well as a direct light that emits light by itself. It includes indirect light that reflects light.
  • the image processing apparatus 100 since the image processing apparatus 100 includes both the light capture unit 110 and the object capture unit 120, the aforementioned conventional mirror ball is not required. And it is possible to capture a lighting environment (hereafter referred to simply as a light) and an object at the same time.
  • a lighting environment hereafter referred to simply as a light
  • the light capture unit 110 and / or the object capture unit 120 may be implemented in various ways.
  • the light capture unit 110 may be implemented by a stereo color camera, or may include an infrared infrared time of flight (TOF) camera, or may include a fisheye lens or the like. It may be implemented. More detailed embodiments will be described below in more detail with reference to FIGS. 2 to 5 and the like.
  • TOF infrared infrared time of flight
  • 'lighting environment information' referred to herein may be understood as an image including at least one light source that may not be directly shown in the resultant image to be rendered but is not affected by the virtual object to be inserted into the image.
  • the illumination environment information may be in any form including illumination information such as the direction and intensity of at least one light source.
  • Lighting environment information May be understood as the illumination position and / or intensity information itself calculated using the image, not the image.
  • the 'object information' mentioned in the present specification is directly shown on the resultant image to be rendered and understood as geometric information and / or texture information for generating a 3D model using the image or the image affected by the virtual object insertion.
  • the image may include various forms such as a combination of a color image and a depth image or a stereo color image as described above.
  • both the light capturing unit 110 and the object capturing unit 120 are included in the image processing apparatus 100, and camera directions for capturing an image may be different from each other.
  • the modeling unit 130 may generate a 3D model corresponding to the object space.
  • Such a 3D model may be understood as data including geometric information and / or texture information of objects in space.
  • the 3D model may also include the location and intensity of the light.
  • Rendering is defined as a process of calculating the 3D model constructed as described above from a specific point of view at a certain time instance or in time frames.
  • Such rendering is performed by the rendering unit 140 which may be included in the image processing apparatus 100.
  • the renderer 140 may render an image as if the virtual object is actually present in the object space by combining the constructed 3D model information and the virtual object information input separately.
  • the process of obtaining more accurate lighting environment information was very complicated or time-consuming to improve such rendering quality. For example, separate cameras and mirrors were needed, and matching was required due to inconsistencies between camera viewpoints and shooting viewpoints.
  • the light capture unit 110 and the object capture unit 120 are included and operated together in the image processing apparatus 100, such a matching process is not required, and the lighting environment may be quickly and quickly installed without additional equipment. It is possible to capture accurately.
  • FIG. 2 is a conceptual diagram illustrating an operation of an image processing apparatus 200 according to an exemplary embodiment.
  • the image processing apparatus 200 includes a light capture unit 210 and an object capture unit 220.
  • the light capture unit 210 photographs a field of view (FoV) 211 to generate lighting environment information in the corresponding field of view 211.
  • FoV field of view
  • the object capturing unit 220 photographs its own angle of view 221 to photograph the objects.
  • the result can be any of a single color image, stereo color images, depth and color images, etc., depending on the embodiment.
  • the angle of view 211 of the light capture unit 210 may be wider than the angle of view 221 of the object capture unit 220.
  • the light capture unit 210 may capture a range including the ceiling, and the object capture unit 220 may capture a front surface of the image processing apparatus 200.
  • FIG. 3 is an exemplary perspective view illustrating a structure of an image processing apparatus 300 according to an exemplary embodiment.
  • the light capture unit 310 may include two cameras 311 and 312.
  • the two cameras 311 and 312 may be color camera modules constituting a stereo camera, and in another embodiment, one of them may be implemented as a color camera and one as a depth camera.
  • the depth camera may be the above-described TOF method, but the present invention is not limited to some embodiments.
  • the light capture unit 310 may include a wide-angle lens 313 to make the angle of view wider.
  • the light capture unit 310 including the wide-angle lens 313 may be understood as a fisheye lens, which is widely known in the optical field.
  • the object capture unit 320 may also include two cameras 321 and 322.
  • the two cameras 321 and 322 may be stereo color cameras or depth and color cameras. Is the same as above.
  • FIG. 4 is an exemplary cross-sectional view illustrating a structure of an image processing apparatus 400 according to an exemplary embodiment.
  • the light capture unit 410 includes a camera 411 and a camera 412
  • the object capture unit 420 includes a camera 421 and a camera 422. .
  • Each of the cameras 411 and 412 of the light capturing unit 410 photographs the light source 401 constituting the lighting environment, and thus the direction and / or distance of the light source 401 and the intensity or intensity of the light source 401.
  • Get luminance information The above information is illustrative and is not to be understood as limiting. For example, the color of the lighting can of course also be included in the information.
  • the cameras 421 and 422 of the object capture unit 420 capture the object 402 to obtain a stereo image, or in another embodiment, obtain a depth image and a color image. Based on the obtained images, geometric information and / or texture information of the object 402 may be generated as object information.
  • the capture environment may be limited, such as outdoors of natural light.
  • the relative position of the light source 401 viewed by the light capture unit 410 and the relative position of the light source 401 viewed by the object 402 may be different. Rather, the correct lighting environment can be reflected to help build the 3D model accurately and perform rendering that changes the lighting environment.
  • FIG. 5 is a conceptual diagram illustrating a process of performing light capturing and object gap capturing by an image processing apparatus, according to an exemplary embodiment.
  • the image processing apparatus 500 includes cameras 511 and 512 as light capture units and cameras 521 and 522 as object capture units, and captures an illumination environment and an object at respective angles of view 513 or 523.
  • the light sources 501 to 505 are reflected in the illumination environment when the illumination environment is captured in the angle of view 513 of the cameras 511 and 512 of the light capture unit.
  • the lights 506 and 507 outside the angle of view 513 may be reflected in various indirect lights, not direct lights, and included in the lighting environment information when capturing the lighting environment.
  • the object 530 may receive light by the lightings 501 to 507 during rendering, and the image processing apparatus 500 may perform rendering by reflecting only some of the obtained lighting environment information. You can also add new virtual lights to perform rendering. Furthermore, the object may also be rendered by adding not only the actual object 530 but also a virtual object, which will be described later in more detail with reference to FIG.
  • FIG. 6 illustrates an object of an example 3D model modeled according to one embodiment.
  • the object 610 on the table 620 was built as a 3D model.
  • the 3D model may be constructed by the modeling unit 130 combining information by the capture of the object capturing unit 120 as data.
  • Conventional rendering is a process of generating objects of the 3D model as an image viewed from a specific viewpoint.
  • FIG. 7 is a conceptual diagram illustrating a result of rendering a virtual object included in the object of FIG. 6 according to an exemplary embodiment.
  • shadows 711, 611, and 721 are represented as a result of reflecting the lighting environment to these objects or by rendering the lighting environment in consideration of the new lighting environment. It can be seen that shadows 711 and 721 of the virtual objects 710 and 720 are represented on the real object 620.
  • This process enables creative image rendering with varying degrees of freedom (DOF).
  • FIG. 8 is an exemplary cross-sectional view illustrating a structure of an image processing apparatus according to an embodiment.
  • the capture unit 810 may be implemented as one camera.
  • the object capture unit 820 may still be implemented including two cameras 821 and 822, such as a stereo camera or a depth camera / color camera pair.
  • the position, direction, and even intensity of the light source 801 viewed by the object 830 can be regarded as the same as those viewed by the image processing apparatus 810, thereby simplifying the structure of the image processing apparatus 800.
  • FIG. 9 is a flowchart illustrating an image processing method, according to an exemplary embodiment.
  • the light capture unit 110 of the image processing apparatus 100 generates lighting environment information by photographing an illumination environment of an object space.
  • the object capture unit 120 of the image processing apparatus 100 In operation 920, which may be performed in parallel with operation 910, the object capture unit 120 of the image processing apparatus 100 generates object information using a stereo camera or a depth / color camera pair. The above process is as described above with reference to FIGS. 1 to 5.
  • the lighting environment (light) and object information are registered using the photographed information, and 3D modeling is performed by the modeling unit 130 (940).
  • 3D modeling is performed by the modeling unit 130 (940).
  • the conceptual description of the constructed 3D model is as described above with reference to FIGS. 5 and 6.
  • step 950 If it is determined in step 950 that there is no virtual object input, the rendering of the 3D model may be performed immediately in step 970, but if there is a virtual object input, first, the object information is matched with the existing 3D model. Then synthesize (step 960), rendering 970 may be performed.
  • the light capture camera and the object capture camera may be mounted on one body at the same time, a separate matching process may be omitted.
  • the light capture unit or the object capture unit may be variously implemented by a stereo color camera, an infrared TOF camera, a fisheye lens, and the like.
  • Method according to an embodiment is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform an operation, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 처리 장치가 제공된다. 영상 처리 장치에는 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부, 및 상기 오브젝트를 촬영하여 오브젝트 정보를 생성하는 오브젝트 캡처부가 포함된다. 나아가 상기 영상 처리 장치에는 상기 조명 환경 정보 및 상기 오브젝트 정보를 반영하여 상기 오브젝트에 연관된 3 차원 모델을 생성하는 모델링부 및 상기 3차원 모델을 이용하여 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 렌더링부가 더 포함될 수 있다.

Description

영상 처리 장치 및 방법
오브젝트 공간의 라이트 환경을 캡처링하여 오브젝트와 함께 렌더링에 활용하기 위한 영상 처리 장치 및 방법이 개시된다.
실제 화면(real scene)에 대한 3 차원(3-Dimensional: 3D) 모델을 생성하고, 생성된 3 차원 모델 내에 가상의 오브젝트를 포함시켜 결과 영상을 렌더링하고자 하는 연구가 진행되어 왔다.
이러한 연구 분야의 응용에는, 영화에서 실제 촬영한 화면의 공간 내에 가상의 합성 캐릭터를 삽입함으로써 실사 영상의 사실성과 컴퓨터 그래픽 영상의 자유도의 장점을 모두 살리는 기술 등이 포함된다. 이러한 기술을 혼합 렌더링(Mixed rendering)으로 지칭하기도 한다.
그런데 이러한 실제 촬영한 공간의 조명 환경을 변화시키거나 왜곡 없는 렌더링을 하기 위해 실제 촬영한 공간 내의 오브젝트에 영향을 주는 조명 환경(Light environment)를 캡처하는 것이 요구된다.
종래에는 전방위 거울(Omni-directional mirror)나 거울 공(Mirrored ball)을 이용하여 오브젝트 환경에 영향을 미치는 광원(Light source)의 위치, 방향 및 광원의 세기 등에 관한 정보를 획득하였다.
오브젝트 주변의 조명 환경에 포함된 개별 조명들의 종류나 거리에 관계 없이 정확한 조명 환경 정보를 획득하는 영상 처리 장치 및 방법이 제공된다.
조명 환경 캡처를 위한 별도의 추가적 카메라 장비를 필요로 하지 않아 높은 사용자 편의성을 제공하고, 기기 간의 정보 매칭을 최소화 하는 영상 처리 장치 및 방법이 제공된다.
가상 오브젝트를 자연스럽게 반영하여 품질 높은 렌더링을 수행하는 영상 처리 장치 및 방법이 제공된다.
일측에 따르면, 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부, 및 상기 오브젝트를 촬영하여 오브젝트 정보를 생성하는 오브젝트 캡처부를 포함하는 영상 처리 장치가 제공된다.
상기 영상 처리 장치는 상기 조명 환경 정보 및 상기 오브젝트 정보를 반영하여 상기 오브젝트에 연관된 3 차원 모델을 생성하는 모델링부를 더 포함한다.
상기 라이트 캡처부는 적어도 두 개의 카메라를 포함하여 상기 조명 환경에 포함된 적어도 하나의 광원의 방향 및 상기 적어도 하나의 광원과 상기 영상 처리 장치 사이의 거리를 포함하는 상기 조명 환경 정보를 생성할 수 있다.
또한, 상기 오브젝트 캡처부는 적어도 두 개의 카메라를 포함하여 상기 오브젝트와 상기 영상 처리 장치 사이의 거리를 포함하는 상기 오브젝트 정보를 생성할 수 있다.
한편, 상기 오브젝트 캡처부는 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라를 포함하여 상기 오브젝트를 촬영한 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성할 수도 있다.
또한, 상기 라이트 캡처부는 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라를 포함하여 상기 조명 환경을 촬영한 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성할 수도 있다.
일실시예에 따르면, 상기 영상 처리 장치는 상기 3차원 모델을 이용하여 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 렌더링부를 더 포함한다.
이 경우, 상기 렌더링부는 상기 3차원 모델에 적어도 하나의 가상 오브젝트를 포함시켜 상기 적어도 하나의 시점에 대한 결과 영상을 렌더링할 수 있다.
한편, 일실시예에 따르면, 상기 라이트 캡처부는 상기 라이트 캡처부의 화각을 넓히는 적어도 하나의 광각 광학 렌즈를 포함한다.
다른 일측에 따르면, 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부, 상기 오브젝트를 촬영하여 칼라 영상 및 깊이 영상을 생성하는 오브젝트 캡처부, 및 상기 조명 환경 정보, 상기 칼라 영상, 상기 깊이 영상 및 적어도 하나의 가상 오브젝트 정보를 이용하여 상기 적어도 하나의 가상 오브젝트를 상기 오브젝트와 함께 렌더링하는 렌더링부를 포함하는 영상 처리 장치가 제공된다.
또 다른 일측에 따르면, 영상 처리 장치의 라이트 캡처부가 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 단계, 및 상기 영상 처리 장치의 오브젝트 캡처부가 상기 오브젝트를 촬영하여 오브젝트 정보를 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.
상기 영상 처리 방법은 상기 영상 처리 장치의 모델링부가 상기 조명 환경 정보 및 상기 오브젝트 정보를 반영하여 상기 오브젝트에 연관된 3 차원 모델을 생성하는 단계를 더 포함할 수 있다.
또한 상기 조명 환경 정보를 생성하는 단계는 상기 라이트 캡처부가 적어도 두 개의 카메라를 포함하여 상기 조명 환경에 포함된 적어도 하나의 광원의 방향 및 상기 적어도 하나의 광원과 상기 영상 처리 장치 사이의 거리를 포함하는 상기 조명 환경 정보를 생성할 수 있다.
한편, 상기 오브젝트 정보를 생성하는 단계는 상기 오브젝트 캡처부가 적어도 두 개의 카메라를 포함하여 상기 오브젝트와 상기 영상 처리 장치 사이의 거리를 포함하는 상기 오브젝트 정보를 생성할 수 있다.
일실시예에 따르면, 상기 오브젝트 정보를 생성하는 단계는 오브젝트 캡처부에 포함된 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라가 상기 오브젝트를 촬영하여 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성할 수 있다.
한편, 상기 영상 처리 방법은 상기 영상 처리 장치의 렌더링부가 상기 3차원 모델에 적어도 하나의 가상 오브젝트를 포함시켜 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 단계를 더 포함할 수도 있다.
또 다른 일측에 따르면, 영상 처리 장치의 라이트 캡처부가 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 단계, 상기 영상 처리 장치의 오브젝트 캡처부가 상기 오브젝트를 촬영하여 칼라 영상 및 깊이 영상을 생성하는 단계, 및 상기 영상 처리 장치의 렌더링부가 상기 조명 환경 정보, 상기 칼라 영상, 상기 깊이 영상 및 적어도 하나의 가상 오브젝트 정보를 이용하여 상기 적어도 하나의 가상 오브젝트를 상기 오브젝트와 함께 렌더링하는 단계를 포함하는 영상 처리 방법이 제공된다.
오브젝트 주변의 조명 환경에 포함된 개별 조명들의 종류나 거리에 관계 없이 정확한 조명 환경 정보를 획득하여 렌더링에 반영할 수 있다.
조명 환경 캡처를 위한 별도의 추가적 카메라 장비를 필요로 하지 않아 높은 사용자 편의성을 제공하고, 기기 간의 정보 매칭을 최소화 한다.
조명 환경이 실내인지 또는 실외인지에 관계 없이 비교적 정확하고 빠른 조명 환경 캡처가 가능하다.
도 1은 영상 처리 장치의 일 실시예를 도시한 블록도이다.
도 2는 일실시예에 따른 영상 처리 장치의 동작을 설명하기 위한 개념도이다.
도 3은 일실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 예시적 사시도이다.
도 4는 일실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 예시적 단면도이다.
도 5는 일실시예에 따른 영상 처리 장치가 라이트 캡처링 및 오브젝트 갭처링을 수행하는 과정을 설명하는 개념도이다.
도 6은 일실시예에 따라 모델링된 예시적 3D 모델의 오브젝트를 도시한다.
도 7은 일실시예에 따라 도 6의 오브젝트에 가상 오브젝트를 포함시켜 렌더링한 결과를 설명하기 위한 개념도이다.
도 8은 일실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 예시적 단면도이다.
도 9는 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
이하, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 처리 장치(100)를 도시한 블록도이다.
일실시예에 따르면, 영상 처리 장치(100)는 오브젝트 공간의 조명 환경(Light environment)을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부(110), 상기 라이트 캡처부(110)와 별개의 카메라 모듈에 의해 구현되며 오브젝트들을 촬영하는 오브젝트 캡처부(120)가 포함된다.
여기서 상기 조명 환경은 상기 오브젝트에 영향을 줄 수 있는 적어도 하나의 광원(Light source)를 포함하며, 이러한 광원에는 스스로 빛을 조사(emit light)하는 직접 광원(direct light)뿐만 아니라 다른 곳에서 조사된 빛을 반사하는 간접 광원(indirect light)까지 포함된다.
이처럼 영상 처리 장치(100)가 라이트 캡처부(110)와 오브젝트 캡처부(120)를 모두 포함함으로써 상기 언급한 종래의 거울 공(Mirrored ball) 등은 필요하지 않다. 그리고 조명 환경(이하에서는 조명 환경을 단순히 라이트(light)라고 할 수도 있다)과 오브젝트를 동시에 캡처하는 것이 가능하다.
후술하겠지만, 이러한 라이트 캡처부(110) 및/또는 오브젝트 캡처부(120)는 다양한 방법의 구현이 가능하다.
이를 테면 라이트 캡처부(110)는 스테레오 칼라 카메라에 의해 구현될 수도 있으며, 적외선 TOF(Infra Red Time of Flight) 방식의 카메라를 포함하여 구현될 수도 있고, 또한 어안 렌즈(Fisheye Lens) 등을 포함하여 구현될 수도 있다. 보다 상세한 실시예들은 도 2 내지 도 5 등을 참조하여 보다 상세히 후술한다.
한편, 본 명세서에서 언급되는 '조명 환경 정보'는 렌더링 하고자 하는 결과 영상에 직접 보여지지 않을 수 있으면서 영상에 삽입될 가상 객체의 영향을 받지 않는 적어도 하나의 광원을 포함하는 영상으로 이해될 수 있다. 이러한 조명 환경 정보는 적어도 하나의 광원의 방향과 세기 등의 조명 정보를 포함하는 어떠한 형태의 것도 될 수 있다.
이를테면, 칼라 영상과 깊이 영상의 조합으로 이해될 수도 있으며, 다른 실시예에서는 서로 다른 시점의 두 장의 칼라 영상을 제공하는 스테레오 칼라 영상으로 이해될 수도 있다. 나아가
Figure PCTKR2012010253-appb-I000001
조명 환경 정보
Figure PCTKR2012010253-appb-I000002
는 영상이 아닌, 영상을 이용하여 계산한 조명 위치 및/또는 세기 정보 자체로 이해될 수도 있다.
그리고, 본 명세서에서 언급되는 '오브젝트 정보'는 렌더링 될 결과 영상에 직접 보여지며 가상 객체 삽입에 영향을 받는 영상 또는 그 영상을 이용하여 3D 모델을 생성하기 위한 기하 정보 및/또는 텍스처 정보 등으로 이해될 수 있다. 영상인 경우에는 상기한 바와 같이 칼라 영상과 깊이 영상의 조합, 또는 스테레오 칼라 영상 등의 다양한 형태를 포함할 수 있다.
일부 실시예들에 있어서는 영상 처리 장치(100) 내에 라이트 캡처부(110)와 오브젝트 캡처부(120)가 모두 포함되며, 영상을 촬영하는 카메라 방향은 서로 다를 수 있다.
한편, 라이트 캡처부(110)와 오브젝트 캡처부(120)에 의해 오브젝트 공간에 대한 조명 환경 정보와 오브젝트 정보가 생성되면, 모델링부(130)는 상기 오브젝트 공간에 대응하는 3D 모델을 생성할 수 있다.
이러한 3D 모델은 공간 내의 오브젝트들의 기하 정보 및/또는 텍스처 정보 등을 포함하는 데이터로 이해될 수 있다. 또한, 3D 모델은 조명의 위치와 세기를 포함할 수도 있다. 이렇게 구축된 3D 모델을 특정 시점(a specific point of view)로부터 일정한 시간 순간(time instance)에서 또는 시간 프레임들(Time frames)에서 바라본 영상들을 계산해 내는 과정들이 렌더링(rendering)으로 정의된다.
이러한 렌더링은 영상 처리 장치(100)에 포함될 수 있는 렌더링부(140)가 수행한다.
일실시예에 따르면, 렌더링부(140)는 구축된 3D 모델 정보와 별도로 입력되는 가상 오브젝트(Virtual object) 정보를 조합하여 가상 오브젝트가 상기 오브젝트 공간 내에 실제 존재하는 것과 같은 영상을 렌더링할 수 있다.
실사 촬영을 통해 현실 공간을 3D 모델로 구축한 다음, 애니매이션으로 구현되는 캐릭터가 해당 공간 내에 존재하는 것처럼 보이게 영상을 합성하는 것이다.
실시예들에 따르면 이러한 렌더링 품질을 향상시키기 위해 보다 정확한 조명 환경 정보를 얻는 과정이 매우 복잡하거나 비용/시간이 많이 소요되는 것이었다. 이를테면 별도의 카메라와 거울 공 등이 필요했고, 카메라 시점이나 촬영 시점의 불일치에 따른 정합 등이 필요하기도 하였다.
그러나, 실시예들에 따르면 라이트 캡처부(110)와 오브젝트 캡처부(120)가 영상 처리 장치(100) 내에 함께 포함되어 동작하므로 이러한 정합 과정은 요구되지 않으며, 별도의 추가적 장비 없이 조명 환경을 빠르고 정확하게 캡처하는 것이 가능하다.
실시예들에 따른 라이트 캡처부(110), 오브젝트 캡처부(120)의 구조 및 그 동작들에 대해서는 도 2 이하를 참조하여 보다 상세히 후술한다.
도 2는 일실시예에 따른 영상 처리 장치(200)의 동작을 설명하기 위한 개념도이다.
영상 처리 장치(200)은 라이트 캡처부(210)와 오브젝트 캡처부(220)를 포함한다.
라이트 캡처부(210)는 자신의 화각(FoV: Field of View) (211) 범위를 촬영하여 해당 화각(211) 내의 조명 환경 정보를 생성한다.
그리고, 오브젝트 캡처부(220)는 자신의 화각(221) 범위를 촬영하여 오브젝트들을 촬영한다. 그 결과는 실시예에 따라 단일의 칼라 영상, 스테레오 칼라 영상들, 깊이 및 칼라 영상들 등 어느 것도 될 수 있다.
도시된 바와 같이, 일실시예에 따르면 라이트 캡처부(210)의 화각(211)이 오브젝트 캡처부(220)의 화각(221)보다 더 광각일 수 있다. 또한 라이트 캡처부(210)는 천장을 포함한 범위를 촬영하고 오브젝트 캡처부(220)는 영상 처리 장치(200)의 전면을 촬영할 수 있다.
보다 상세한 구조의 실시예들은 도 3 이하를 참조하여 설명한다.
도 3은 일실시예에 따른 영상 처리 장치(300)의 구조를 설명하기 위한 예시적 사시도이다.
본 실시예에서는 라이트 캡처부(310)는 두 개의 카메라들(311 및 312)를 포함할 수 있다. 이 두 개의 카메라들(311 및 312)는 스테레오 카메라를 구성하는 칼라 카메라 모듈들일 수도 있고, 다른 실시예에서는 이들 중 하나는 칼라 카메라, 하나는 깊이 카메라(Depth camera)로 구현될 수도 있다. 여기서 깊이 카메라는 상기한 TOF 방식일 수도 있으나, 본 발명이 일부 실시예에 한정되지는 않는다.
나아가, 일실시예에 따르면 라이트 캡처부(310)에는 화각을 더 넓게 만들기 위해 광각 렌즈(313)이 포함될 수도 있다. 이러한 광각 렌즈(313)을 포함하는 라이트 캡처부(310)는 광학 분야에서 널리 알려져 있는 어안 렌즈(Fisheye lens) 같은 구성으로 이해될 수도 있다.
그리고 본 실시예에서는 오브젝트 캡처부(320)도 두 개의 카메라들(321 및 322)를 포함할 수 있는데, 두 개의 카메라들(321 및 322)이 스테레오 칼라 카메라들 또는 깊이 및 칼라 카메라 등일 수 있는 점은 상기와 같다.
도 4는 일실시예에 따른 영상 처리 장치(400)의 구조를 설명하기 위한 예시적 단면도이다.
도 3에서의 실시예와 같이 라이트 캡처부(410)에 카메라(411) 및 카메라(412)가 포함되고, 오브젝트 캡처부(420)에 카메라(421) 및 카메라(422)가 포함되는 점은 같다.
라이트 캡처부(410)의 각 카메라들(411 및 412)이 조명 환경을 구성하는 광원(401)을 촬영하여, 광원(401)의 방향 및/또는 거리, 그리고 광원(401)의 세기(Intensity or luminance) 정보를 얻는다. 상기한 정보들은 예시적인 것이며 한정적인 것으로 이해되지 않는다. 이를테면, 조명의 칼라도 당연히 상기 정보에 포함될 수 있다.
오브젝트 캡처부(420)의 카메라들(421 및 422)은 오브젝트(402)를 촬영하여 스테레오 영상을 얻거나, 또는 다른 실시예에서는 깊이 영상과 칼라 영상을 얻는다. 이렇게 얻은 영상들에 기초하여 오브젝트(402)의 기하 정보 및/또는 텍스처 정보 등을 오브젝트 정보로서 생성할 수 있다.
종래의 방법에 따르면 조명 환경 캡처를 위해 별도의 거울 공을 사용하는 불편뿐만 아니라, 조명 환경을 캡처하는 장치에 대한 광원(401)의 상대적 위치와, 오브젝트(402)에 대한 광원(401)의 상대적 위치가 서로 다른 경우에는 조명 환경을 정확히 캡처하기 힘들었다. 이를테면, 광원(401)이 태양과 같이 매우 멀리 있는 Distant light임을 가정하였기 때문에, 자연광의 실외와 같이 캡처 환경이 제약되기도 했다.
그러나, 실시예에 따르면 라이트 캡처부(410)가 바라보는 광원(401)의 상대적 위치와 오브젝트(402)가 바라보는 광원(401)의 상대적 위치가 달라도 문제되지 않는다. 오히려, 정확한 조명 환경이 반영되어 3D 모델을 정확히 구축하고, 조명 환경을 변화시킨 렌더링을 수행하는 데에 도움이 될 수 있다.
모델링 내지 렌더링 과정은 도 5 내지 도 7을 참조하여 보다 상세히 후술한다.
도 5는 일실시예에 따른 영상 처리 장치가 라이트 캡처링 및 오브젝트 갭처링을 수행하는 과정을 설명하는 개념도이다.
영상 처리 장치(500)에 라이트 캡처부인 카메라들(511 및 512)과 오브젝트 캡처부인 카메라들(521 및 522)가 포함되며, 각각의 화각들(513 또는 523)에서 조명 환경과 오브젝트를 캡처한다.
광원들(501 내지 505)는 라이트 캡처부의 카메라들(511 및 512)의 화각(513) 내에 있어서, 조명 환경 캡처 시 조명 환경에 반영된다. 화각(513) 밖의 조명들(506 및 507)은 직접 조명이 아닌 다양한 간접 조명에 반영되어 조명 환경 캡처 시 조명 환경 정보에 포함될 수 있다.
오브젝트(530)는 렌더링 시 이러한 조명들(501 내지 507)에 의해 빛을 받을 수 있는데, 영상 처리 장치(500)은 획득한 조명 환경 정보 중 일부 조명들만을 반영하여 렌더링을 수행할 수도 있고, 또는 새로운 가상의 조명을 추가하여 렌더링을 수행할 수도 있다. 나아가, 오브젝트도 실제 오브젝트(530)뿐만 아니라 가상 오브젝트를 추가하여 렌더링할 수도 있으며, 이는 도 6 이하를 참조하여 보다 상세히 후술한다.
도 6은 일실시예에 따라 모델링된 예시적 3D 모델의 오브젝트를 도시한다.
테이블(620) 위에 오브젝트(610)이 올라가 있는 모습이 3D 모델로 구축되었다. 이러한 3D 모델은 오브젝트 캡처부(120)의 캡처에 의한 정보를 모델링부(130)가 조합하여 데이터로 구축한 것일 수 있다. 통상적인 렌더링은 이러한 3D 모델의 오브젝트들을 특정한 시점에서 바라본 영상으로 생성하는 과정이다.
도 7은 일실시예에 따라 도 6의 오브젝트에 가상 오브젝트를 포함시켜 렌더링한 결과를 설명하기 위한 개념도이다.
도 6에서 도시되었던 실제(real) 오브젝트(610과 620) 외에 가상 오브젝트들(710과 720)이 포함되었다. 그리고 이러한 오브젝트들에 조명 환경을 반영하여, 또는 새로운 조명 환경을 고려하여 렌더링을 수행한 결과, 그림자들(711, 611 및 721)이 표현되었다. 가상 오브젝트(710 및 720)의 그림자들(711 및 721)이 실제 오브젝트(620) 위에 표현되었음을 확인할 수 있다.
이러한 과정에 의해 다양한 자유도(DOF: Degree of Freedom)를 갖는 창조적인 영상 렌더링이 가능하다.
도 8은 일실시예에 따른 영상 처리 장치의 구조를 설명하기 위한 예시적 단면도이다.
도 3 내지 도 5의 각각에 도시되었던 실시예에서는 광원의 거리가 비교적 가까워서 영상 처리 장치와 오브젝트가 바라보는 광원 위치가 상이했으나, 본 실시예에서는 태양광(801)과 같이 distant light인 경우에 라이트 캡처부(810)가 하나의 카메라로 구현될 수 있다.
오브젝트 캡처부(820)는 여전히 스테레오 카메라나 깊이 카메라/칼라카메라 쌍과 같이 두 개의 카메라들(821 및 822)를 포함하여 구현될 수 있다.
오브젝트(830)이 바라보는 광원(801)의 위치와 방향, 그리고 심지어는 세기까지도 영상 처리 장치(810)이 바라보는 그것들과 같다고 볼 수 있어서, 영상 처리 장치(800)의 구조가 훨씬 간단해졌다.
도 9는 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
일실시예에 따르면, 단계(910)에서 영상 처리 장치(100)의 라이트 캡처부(110)는 오브젝트 공간의 조명 환경을 촬영하여 조명 환경 정보를 생성한다.
그리고, 단계(910)과 병렬적으로 수행될 수 있는 단계(920)에서 영상 처리 장치(100)의 오브젝트 캡처부(120)는 스테레오 카메라 또는 깊이/칼라 카메라 쌍을 이용하여 오브젝트 정보를 생성한다. 이상의 과정은 도 1 내지 도 5 등을 참조하여 상술한 바와 같다.
이렇게 촬영된 정보를 이용하여 조명 환경(라이트)과 오브젝트 정보가 등록되며(registered), 모델링부(130)에 의해 3D 모델링이 수행된다(940). 구축된 3D 모델에 대한 개념 설명은 도 5 및 도 6을 참조하여 상술한 바와 같다.
단계(950)에서 가상 오브젝트 입력이 없는 것으로 판단되면, 단계(970)에서 해당 3D 모델에 대한 렌더링이 바로 수행될 수 있으나(970), 가상 오브젝트 입력이 있다면, 먼저 오브젝트 정보를 기존 3D 모델과 정합시켜 합성한 다음(단계 960), 렌더링(970)이 수행될 수 있다.
렌더링 등에 관해서는 도 5 내지 도 7을 참조하여 상술한 바와 같다.
이러한 다양한 실시예들에 따르면, 라이트 캡처와 오브젝트 캡처의 동시 수행이 가능하여, 빠르고 정확한 실사 환경 전체의 획득이 가능하다.
또한, 라이트 캡처 카메라와 오브젝트 캡처 카메라가 동시에 하나의 바디(body)에 탑재될 수 있어, 별도의 매칭(matching) 과정이 생략될 수 있다.
또한, 가상의 오브젝트를 실사 환경에 삽입하여 영상을 렌더링 하는 경우에도, 가상 객체가 놓이게 될 정확한 위치를 미리 예상하여 그 위치에서 거울 공(Mirrored ball)을 배치하여 조명 환경 캡처를 수행하는 등의 과정이 필요 없으며, 임의의 시간에 대한 임의의 장소의 캡처 및 렌더링이 가능하다. 이를테면, 실내 환경이냐 실외 환경이냐는 중요하지 않은 요소가 될 수 있다.
그리고, 다양한 실시예에 따르면, 라이트 캡처부나 오브젝트 캡처부 구현이 스테레오 칼라 카메라, 적외선 TOF 방식 카메라, 어안 렌즈 등에 의해 다양하게 구현될 수 있어, 응용 범위가 넓고 상황에 맞는 선택이 가능하다.
일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (18)

  1. 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부; 및
    상기 오브젝트를 촬영하여 오브젝트 정보를 생성하는 오브젝트 캡처부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 조명 환경 정보 및 상기 오브젝트 정보를 반영하여 상기 오브젝트에 연관된 3 차원 모델을 생성하는 모델링부
    를 더 포함하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 라이트 캡처부는 적어도 두 개의 카메라를 포함하여 상기 조명 환경에 포함된 적어도 하나의 광원의 방향 및 상기 적어도 하나의 광원과 상기 영상 처리 장치 사이의 거리를 포함하는 상기 조명 환경 정보를 생성하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 오브젝트 캡처부는 적어도 두 개의 카메라를 포함하여 상기 오브젝트와 상기 영상 처리 장치 사이의 거리를 포함하는 상기 오브젝트 정보를 생성하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 오브젝트 캡처부는 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라를 포함하여 상기 오브젝트를 촬영한 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 라이트 캡처부는 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라를 포함하여 상기 조명 환경을 촬영한 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성하는 영상 처리 장치.
  7. 제2항에 있어서,
    상기 3차원 모델을 이용하여 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 렌더링부
    를 더 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 렌더링부는 상기 3차원 모델에 적어도 하나의 가상 오브젝트를 포함시켜 상기 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 라이트 캡처부는 상기 라이트 캡처부의 화각을 넓히는 적어도 하나의 광각 광학 렌즈를 포함하는 영상 처리 장치.
  10. 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 라이트 캡처부;
    상기 오브젝트를 촬영하여 칼라 영상 및 깊이 영상을 생성하는 오브젝트 캡처부; 및
    상기 조명 환경 정보, 상기 칼라 영상, 상기 깊이 영상 및 적어도 하나의 가상 오브젝트 정보를 이용하여 상기 적어도 하나의 가상 오브젝트를 상기 오브젝트와 함께 렌더링하는 렌더링부
    를 포함하는 영상 처리 장치.
  11. 영상 처리 장치의 라이트 캡처부가 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 단계; 및
    상기 영상 처리 장치의 오브젝트 캡처부가 상기 오브젝트를 촬영하여 오브젝트 정보를 생성하는 단계
    를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 영상 처리 장치의 모델링부가 상기 조명 환경 정보 및 상기 오브젝트 정보를 반영하여 상기 오브젝트에 연관된 3 차원 모델을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
  13. 제11항에 있어서,
    상기 조명 환경 정보를 생성하는 단계는 상기 라이트 캡처부가 적어도 두 개의 카메라를 포함하여 상기 조명 환경에 포함된 적어도 하나의 광원의 방향 및 상기 적어도 하나의 광원과 상기 영상 처리 장치 사이의 거리를 포함하는 상기 조명 환경 정보를 생성하는 영상 처리 방법.
  14. 제11항에 있어서,
    상기 오브젝트 정보를 생성하는 단계는 상기 오브젝트 캡처부가 적어도 두 개의 카메라를 포함하여 상기 오브젝트와 상기 영상 처리 장치 사이의 거리를 포함하는 상기 오브젝트 정보를 생성하는 영상 처리 방법.
  15. 제11항에 있어서,
    상기 오브젝트 정보를 생성하는 단계는 오브젝트 캡처부에 포함된 적어도 하나의 깊이 카메라 및 적어도 하나의 칼라 카메라가 상기 오브젝트를 촬영하여 깊이 영상 및 칼라 영상을 포함하는 오브젝트 정보를 생성하는 영상 처리 방법.
  16. 제12항에 있어서,
    상기 영상 처리 장치의 렌더링부가 상기 3차원 모델에 적어도 하나의 가상 오브젝트를 포함시켜 적어도 하나의 시점에 대한 결과 영상을 렌더링하는 단계
    를 더 포함하는 영상 처리 방법.
  17. 영상 처리 장치의 라이트 캡처부가 오브젝트 주변 환경의 조명 환경을 촬영하여 조명 환경 정보를 생성하는 단계;
    상기 영상 처리 장치의 오브젝트 캡처부가 상기 오브젝트를 촬영하여 칼라 영상 및 깊이 영상을 생성하는 단계; 및
    상기 영상 처리 장치의 렌더링부가 상기 조명 환경 정보, 상기 칼라 영상, 상기 깊이 영상 및 적어도 하나의 가상 오브젝트 정보를 이용하여 상기 적어도 하나의 가상 오브젝트를 상기 오브젝트와 함께 렌더링하는 단계
    를 포함하는 영상 처리 방법.
  18. 제11항 내지 제17항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2012/010253 2011-11-29 2012-11-29 영상 처리 장치 및 방법 WO2013081398A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/125,515 US9710958B2 (en) 2011-11-29 2012-11-29 Image processing apparatus and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2011-0125728 2011-11-29
KR20110125728 2011-11-29
KR1020120137122A KR102010396B1 (ko) 2011-11-29 2012-11-29 영상 처리 장치 및 방법
KR10-2012-0137122 2012-11-29

Publications (1)

Publication Number Publication Date
WO2013081398A1 true WO2013081398A1 (ko) 2013-06-06

Family

ID=48535782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010253 WO2013081398A1 (ko) 2011-11-29 2012-11-29 영상 처리 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2013081398A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265440A (ja) * 1998-01-14 1999-09-28 Hitachi Ltd 任意光源位置の画像合成方法および表示装置
KR20040043280A (ko) * 2002-11-18 2004-05-24 한국전자통신연구원 가상 현실 구현 시스템 및 방법
KR20050015737A (ko) * 2003-08-07 2005-02-21 이형석 조명제어에 의한 사실적 영상합성 방법
KR20060070174A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
KR20080045392A (ko) * 2006-11-20 2008-05-23 중앙대학교 산학협력단 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265440A (ja) * 1998-01-14 1999-09-28 Hitachi Ltd 任意光源位置の画像合成方法および表示装置
KR20040043280A (ko) * 2002-11-18 2004-05-24 한국전자통신연구원 가상 현실 구현 시스템 및 방법
KR20050015737A (ko) * 2003-08-07 2005-02-21 이형석 조명제어에 의한 사실적 영상합성 방법
KR20060070174A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
KR20080045392A (ko) * 2006-11-20 2008-05-23 중앙대학교 산학협력단 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체

Similar Documents

Publication Publication Date Title
KR102010396B1 (ko) 영상 처리 장치 및 방법
US10122998B2 (en) Real time sensor and method for synchronizing real time sensor data streams
US10375382B2 (en) System comprising multiple digital cameras viewing a large scene
WO2014010909A1 (ko) 이동 자유도를 개선한 융합형 가상현실 구현 방법
Matsuyama et al. 3D video and its applications
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
WO2010076988A2 (en) Image data obtaining method and apparatus therefor
WO2014178509A1 (en) Multi-projection system for extending visual element of main image
EP3039476A1 (en) Head mounted display device and method for controlling the same
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2018110978A1 (ko) 영상합성 시스템 및 영상합성방법
WO2019139344A1 (en) Method and optical system for determining depth information
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
Pomaska Stereo vision applying opencv and raspberry pi
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2013081398A1 (ko) 영상 처리 장치 및 방법
WO2020213783A1 (ko) 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
WO2014185578A1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
WO2022088821A1 (zh) 地标数据的采集方法及地标建筑的建模方法
WO2015076468A1 (ko) 이미지 처리 장치, 이의 동작 방법, 및 이를 포함하는 시스템
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
WO2014178510A1 (en) Performance system with multi-projection environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12852605

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14125515

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12852605

Country of ref document: EP

Kind code of ref document: A1