KR101289008B1 - Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof - Google Patents

Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof Download PDF

Info

Publication number
KR101289008B1
KR101289008B1 KR1020110144454A KR20110144454A KR101289008B1 KR 101289008 B1 KR101289008 B1 KR 101289008B1 KR 1020110144454 A KR1020110144454 A KR 1020110144454A KR 20110144454 A KR20110144454 A KR 20110144454A KR 101289008 B1 KR101289008 B1 KR 101289008B1
Authority
KR
South Korea
Prior art keywords
image
integrated image
information
dimensional
integrated
Prior art date
Application number
KR1020110144454A
Other languages
Korean (ko)
Other versions
KR20130076050A (en
Inventor
김남
권기철
류관희
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020110144454A priority Critical patent/KR101289008B1/en
Publication of KR20130076050A publication Critical patent/KR20130076050A/en
Application granted granted Critical
Publication of KR101289008B1 publication Critical patent/KR101289008B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 집적영상 획득에 관한 것으로서, 특히 깊이 카메라(depth camera)로 부터 획득한 영상을 집적영상 기법을 이용하여 실시간으로 3차원 디스플레이 할 수 있는 3차원 집적영상 획득방법 및 디스플레이 장치를 제공하기 위한 것으로, 본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득을 위한 디스플레이 장치는 깊이 정보 및 컬러 영상을 획득하기 위한 이미지 캡쳐부와; 상기 이미지 캡쳐부를 통해 획득된 정보 및 계산된 가상렌즈에 대한 정보와 집적영상의 정보를 이용하여 집적영상을 생성하는 집적영상 픽업부; 및 생성된 집적영상을 3차원으로 보여주기 위한 디스플레이부로 구성된 것을 포함하고, 상술한 본 발명은 깊이 카메라로부터 획득한 깊이 정보와 집적영상 기법을 접목하여 3차원 집적영상을 획득할 수 있고, 생성 속도의 향상을 위해 GPU 병렬처리 방법(OpenCL 병렬처리 기법)을 사용하여 집적영상의 픽업속도를 향상시켜서, 3차원 영상을 실시간으로 재생시킬 수 있다는 효과가 있다.The present invention relates to a three-dimensional integrated image acquisition, and in particular, to provide a three-dimensional integrated image acquisition method and display apparatus capable of three-dimensional display of the image obtained from the depth camera (real-time) using the integrated image technique. To this end, a display device for acquiring a three-dimensional integrated image using a depth camera of the present invention includes an image capture unit for acquiring depth information and a color image; An integrated image pickup unit configured to generate an integrated image using information acquired through the image capture unit, information on the calculated virtual lens, and information of the integrated image; And a display unit configured to display the generated integrated image in three dimensions. The present invention described above may obtain a three-dimensional integrated image by combining depth information obtained from a depth camera and an integrated image technique, and a generation speed may be obtained. In order to improve the performance, the GPU parallel processing method (OpenCL parallel processing method) is used to improve the pickup speed of the integrated image, and thus, the 3D image can be reproduced in real time.

Description

깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치{Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof}Method for obtaining of three-dimensional integrated image using depth camera and display device {Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System}

본 발명은 3차원 집적영상 획득에 관한 것으로서, 특히 깊이 카메라(depth camera)로 부터 획득한 영상을 집적영상 기법을 이용하여 실시간으로 3차원 디스플레이 할 수 있는 3차원 집적영상 획득방법 및 디스플레이 장치에 관한 것이다.The present invention relates to three-dimensional integrated image acquisition, and more particularly, to a three-dimensional integrated image acquisition method and display apparatus capable of three-dimensional display of an image acquired from a depth camera in real time using an integrated image technique. will be.

최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적 영상(Integral imaging) 기술이 도입되고 있다. Recently, a lot of researches have been conducted on the research on the 3D object recognition and the system implementation. In particular, an integrated imaging technology capable of recording and restoring a 3D image for 3D object recognition has been introduced.

이와 같은 집적 영상(Integral imaging) 기술은 1908년 리프만(Lippmann)에 의해 최초로 제안된 것으로, 이상적인 3차원 디스플레이 방식인 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점을 가지고 있다. This integrated imaging technology was first proposed by Lippmann in 1908, and has the advantage of providing full parallax and continuous viewing points, like the holographic method, which is an ideal three-dimensional display. have.

일반적으로 집적 영상 기술은 크게 픽업 단계와 디스플레이 단계로 나뉘어 진다. 픽업 단계는 이미지 센서(CCD)와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈배열 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 배열을 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상을 요소 영상(Elemental images)이라 하고, 3차원 재생을 위해 이용된다. In general, integrated imaging technology is largely divided into a pickup phase and a display phase. The pick-up phase consists of a two-dimensional sensor such as an image sensor (CCD) and a lens array, where the three-dimensional object is placed in front of the lens array. Various image information of the 3D object is then stored in the 2D detector after passing through the lens array. At this time, the stored image is called elemental image and is used for 3D reproduction.

이후 집적 영상 기술의 디스플레이 단계는 픽업 단계의 역과정으로, LCD와 같은 디스플레이 장치와 렌즈 어레이로 구성된다.The display phase of the integrated imaging technology is a reverse process of the pickup phase, and is composed of a display device such as an LCD and a lens array.

좀 더 부연하면, 3차원 영상 미디어는 시각 정보의 수준을 한 차원 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 디스플레이를 주도하게 될것으로 예상되고, 3차원 공간에서 물체가 가지고 있는 실제의 깊이정보를 관찰자에게 보여 줄 수 있다는 점에서 3차원 디스플레이 기술은 궁극적인 영상구현 기술이라고 얘기할 수 있다. More specifically, 3D image media is expected to lead the next generation of display as a new concept of visual image media that raises the level of visual information, and observes the actual depth information of objects in 3D space. 3D display technology can be said to be the ultimate image realization technology.

상술한 바와 같이, 집적영상 기술은 여러 개의 작은 렌즈들로 이루어진 렌즈 어레이와 카메라 및 디스플레이소자를 이용하며, 픽업과 디스플레이의 두 과정을 거쳐 물체를 3차원으로 표시하는 것으로, 이와 같은 집적영상 기술은 특수한 안경이 필요 없고, 물체를 관찰할 수 있는 시야각 내에서 상하뿐 아니라 좌, 우 방향으로 연속적인 시점을 가진다. 또한, 총 천연색 표현이 가능한 많은 장점을 가지고 있다.As described above, the integrated imaging technology uses a lens array composed of several small lenses, a camera and a display device, and displays an object in three dimensions through two processes of pickup and display. There is no need for special glasses, and it has a continuous view in the left and right directions as well as up and down within the viewing angle where the object can be observed. In addition, there are many advantages that the full color representation is possible.

상술한 여러 가지 3차원 디스플레이 방식은 처리해야 하는 계산량이 방대하고, 연속적인 3차원 입체감을 제공하는데 한계가 있다.The various three-dimensional display methods described above have a large amount of computation to be processed and have limitations in providing a continuous three-dimensional three-dimensional effect.

또한, 깊이 카메라로 획득한 영상을 재생하여 사용자가 깊이감을 느낄 수 있는 3차원 영상을 관찰하는데도 어려움이 있다. In addition, it is difficult to observe a three-dimensional image that the user can feel the depth by playing back the image acquired by the depth camera.

이와 같이 집적영상 3차원 획득 및 디스플레이 시스템의 구현에 있어서, 객체의 3차원 공간에서 깊이정보 획득과 고속 컴퓨터 생성 집적영상의 픽업에 대한 고속처리 방법이 필요하다. As described above, in the implementation of an integrated image 3D acquisition and display system, there is a need for a high speed processing method for acquiring depth information in a 3D space of an object and picking up a high speed computer generated integrated image.

본 발명은 상기한 종래기술에 따른 문제점을 해결하기 위해 제안된 것으로서, 깊이 카메라로부터 획득한 깊이 정보와 직접영상 기법을 사용하여 3차원 영상을 재생하기 위한 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치를 제공하는 것에 그 목적이 있다. The present invention has been proposed to solve the above problems according to the prior art, a three-dimensional integrated image acquisition method using a depth camera for reproducing a three-dimensional image using the depth information and direct image technique obtained from the depth camera and The object is to provide a display device.

또한, 본 발명의 다른 목적은 컴퓨터 생성 집적영상의 픽업 속도를 향상시켜 실시간 재생시킬 수 있는 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치를 제공하는 것이다. In addition, another object of the present invention is to provide a 3D integrated image acquisition method and display apparatus using a depth camera capable of improving the pick-up speed of the computer-generated integrated image to be reproduced in real time.

상기 목적을 달성하기 위한 본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득방법은 이미지 캡쳐부를 이용하여 깊이 정보 및 컬러 영상을 획득하는 단계; 사용자가 정의한 가상렌즈에 대한 정보와 집적영상의 정보 및 상기 깊이 정보 및 상기 컬러 영상을 이용하여 집적영상을 생성하는 단계; 및 상기 생성된 집적영상을 3차원 영상으로 디스플레이하는 단계로 진행됨을 특징으로 한다. 3D integrated image acquisition method using a depth camera of the present invention for achieving the above object comprises the steps of acquiring depth information and color images using an image capture unit; Generating an integrated image using information about a virtual lens defined by a user, information of the integrated image, the depth information, and the color image; And displaying the generated integrated image as a 3D image.

또한, 본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득방법을 위한 디스플레이 장치는 깊이 정보 및 컬러 영상을 획득하기 위한 이미지 캡쳐부와; 상기 이미지 캡쳐부를 통해 획득된 정보 및 계산된 가상렌즈에 대한 정보와 집적영상의 정보를 이용하여 집적영상을 생성하는 집적영상 픽업부; 및 생성된 집적영상을 3차원으로 보여주기 위한 디스플레이부로 구성된 것을 특징으로 한다. In addition, the display device for a three-dimensional integrated image acquisition method using a depth camera of the present invention includes an image capture unit for obtaining depth information and color images; An integrated image pickup unit configured to generate an integrated image using information acquired through the image capture unit, information on the calculated virtual lens, and information of the integrated image; And a display unit for displaying the generated integrated image in three dimensions.

상술한 본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치는 깊이 카메라로부터 획득한 깊이 정보와 집적영상 기법을 접목하여 3차원 집적영상을 획득할 수 있다. The 3D integrated image acquisition method and display apparatus using the depth camera of the present invention described above may obtain the 3D integrated image by combining the depth information acquired from the depth camera and the integrated image technique.

그리고, 생성 속도의 향상을 위해 GPU 병렬처리 방법(OpenCL 병렬처리 기법)을 사용하여 집적영상의 픽업속도를 향상시켜서, 3차원 영상을 실시간으로 재생시킬 수 있다는 효과가 있다.In addition, in order to improve the generation speed, the GPU parallel processing method (OpenCL parallel processing method) is used to improve the pickup speed of the integrated image, so that the 3D image can be reproduced in real time.

도 1은 본 발명의 실시예에 따른 깊이 카메라를 이용한 3차원 집적영상 획득을 위한 디스플레이 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 깊이 카메라를 이용한 3차원 집적영상 획득방법을 나타낸 흐름도이다. 1 is a block diagram of a display device for obtaining a 3D integrated image using a depth camera according to an embodiment of the present invention.
2 is a flowchart illustrating a 3D integrated image acquisition method using a depth camera according to an exemplary embodiment of the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.Hereinafter, the preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. .

먼저, 본 발명에 따른 깊이 카메라를 이용한 3차원 집적영상 획득을 위한 디스플레이 장치에 대하여 설명하기로 한다. First, a display apparatus for obtaining a 3D integrated image using a depth camera according to the present invention will be described.

본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득을 위한 디스플레이 장치는, 도 1에 도시한 바와 같이, 이미지 캡쳐부(10)와 집적영상 픽업부(20)와 생성된 집적영상을 3차원으로 보여주기 위한 디스플레이부(30)로 구성된다. As shown in FIG. 1, the display apparatus for acquiring a 3D integrated image using the depth camera of the present invention shows the image capture unit 10, the integrated image pickup unit 20, and the generated integrated image in three dimensions. It is composed of a display unit 30 for giving.

상기 이미지 캡쳐부(10)는 깊이 정보 및 영상을 획득하기 위한 것으로, 깊이 카메라(11)와 컬러 카메라(12)로 구성된다. The image capture unit 10 is for acquiring depth information and an image, and includes a depth camera 11 and a color camera 12.

그리고, 상기 깊이 카메라(11)는 적외선 프로젝터(13)와 적외선을 감지하는 적외선 카메라(14)로 구성된다. The depth camera 11 includes an infrared projector 13 and an infrared camera 14 that detects infrared light.

상기 깊이 카메라(11)를 구성하는 적외선 프로젝터(13)를 통해 물체와 배경에 일정영역 특정 패턴(일정한 간격의 그리드 패턴)으로 구성된 적외선을 조사하고, 적외선 카메라(14)를 통해 적외선 영상을 획득한 후 3차원 공간 정보 예를 들어, 물체와 배경을 분리하는 계산을 한다.Through the infrared projector 13 constituting the depth camera 11 is irradiated with an infrared ray composed of a specific region specific pattern (constant grid pattern) on the object and the background, and obtained an infrared image through the infrared camera 14 Then, for example, three-dimensional spatial information is calculated to separate the object and the background.

그리고, 상기 컬러 카메라(12)를 통해 3차원 공간에 구비된 물체와 배경의 컬러 영상을 획득한다. The color camera 12 acquires a color image of an object and a background provided in a three-dimensional space.

상기 집적영상 픽업부(20)는 전처리부를 구비한 컴퓨터로 구성되어 있는데, 이때, 전처리부에서는 사용자가 정의한 가상렌즈에 대한 정보와 생성하고자 하는 집적영상의 정보를 계산한다.The integrated image pickup unit 20 is composed of a computer having a preprocessing unit. In this case, the preprocessing unit calculates information about a virtual lens defined by a user and information of an integrated image to be generated.

그리고, 상기 집적영상 픽업부(20)에서는 상기 전처리부에서 계산된 가상렌즈에 대한 정보와 집적영상의 정보 및 이미지 캡쳐부(10)에서 획득된 깊이 정보와 컬러 영상을 이용하여 집적영상을 생성한다. The integrated image pickup unit 20 generates an integrated image by using the information on the virtual lens calculated by the preprocessor, the integrated image information, and the depth information and the color image acquired by the image capture unit 10. .

상기 집적영상을 생성할 때, 생성 속도의 향상을 위해 GPU 병렬처리 방법(OpenCL 병렬처리 기법)을 사용하여 고속으로 집적영상을 생성한다. When generating the integrated image, the integrated image is generated at a high speed using a GPU parallel processing method (OpenCL parallel processing technique) to improve the generation speed.

그리고, 디스플레이부(30)는 액정표시장치(LCD)와 같은 평판 디스플레이장치(31)와 렌즈 어레이(32)로 구성되며, 렌즈 어레이(32)를 평판 디스플레이 장치(31) 앞에 부착하여 집적영상을 3차원 영상으로 보여준다. The display unit 30 includes a flat panel display device 31, such as a liquid crystal display (LCD), and a lens array 32, and attaches the lens array 32 in front of the flat panel display device 31 to display an integrated image. Show in 3D image.

다음에 상기 구성을 이용한 본 발명의 깊이 카메라를 이용한 3차원 집적영상 획득방법에 대하여 설명하기로 한다. Next, a three-dimensional integrated image acquisition method using the depth camera of the present invention using the above configuration will be described.

도 2에 도시한 바와 같이, 이미지 캡쳐부(10)를 이용하여 깊이 정보 및 컬러 영상을 획득하는 단계(S20), 집적영상 생성부(20)에서 계산된 가상렌즈에 대한 정보와 집적영상의 정보 및 상기 깊이 정보 및 상기 컬러 영상을 이용하여 집적영상을 생성하는 단계(S21), 상기 생성된 집적영상을 3차원 영상으로 디스플레이 하는 단계(S22)로 구성된다. As shown in FIG. 2, obtaining depth information and a color image using the image capturing unit 10 (S20) and information on the virtual lens calculated by the integrated image generating unit 20 and information on the integrated image. And generating an integrated image by using the depth information and the color image (S21), and displaying the generated integrated image as a 3D image (S22).

상기에서 깊이 정보의 획득은 이미지 캡쳐부(10)를 구성하는 적외선 프로젝터(13)와 적외선을 감지하는 적외선 카메라(14)를 이용하여 수행되는 것으로, 상기 적외선 프로젝터(13)를 통해 일정영역 특정 패턴으로 구성된 적외선이 조사되고, 적외선 카메라(14)를 통해 적외선 영상을 획득한 후 3차원 공간 정보 예를 들어, 물체와 배경을 분리하는 계산을 한다. 즉, 적외선 프로젝터(13)를 통해 일정한 공간에 조사된 그리드 패턴 위에 물체가 들어오면, 물체의 위치와 일치하는 그리드 패턴의 위치를 읽어서 3차원 공간 정보를 계산한다. Acquisition of the depth information is performed by using an infrared projector 13 constituting the image capturing unit 10 and an infrared camera 14 detecting infrared rays, and a predetermined region specific pattern through the infrared projector 13. Infrared rays are irradiated, and after obtaining an infrared image through the infrared camera 14, three-dimensional spatial information, for example, calculates to separate an object and a background. That is, when an object enters the grid pattern irradiated in a certain space through the infrared projector 13, the 3D spatial information is calculated by reading the position of the grid pattern corresponding to the position of the object.

그리고, 컬러 영상은 이미지 캡쳐부(10)의 컬러 카메라(12)를 통해 3차원 공간에 구비된 물체와 배경의 컬러 영상을 획득하여 수행된다. The color image is performed by acquiring a color image of an object and a background provided in a 3D space through the color camera 12 of the image capturing unit 10.

그리고, 집적영상의 생성은 집적영상 픽업부(20)에 구비된 컴퓨터에서 수행되는데, 먼저, 사용자가 정의한 가상렌즈에 대한 정보와 생성하고자 하는 집적영상의 정보를 계산한다. The generation of the integrated image is performed by a computer provided in the integrated image pickup unit 20. First, information about the virtual lens defined by the user and information on the integrated image to be generated are calculated.

이때, 사용자가 원하는 생성될 집적영상의 해상도를 고려하여, 가상렌즈의 정보의 계산은 렌즈의 초점거리 렌즈의 크기, 사용되는 요소 렌즈의 수를 계산 혹은 정의 하여 진행한다.At this time, in consideration of the resolution of the integrated image to be generated desired by the user, the calculation of the information of the virtual lens proceeds by calculating or defining the size of the focal length lens of the lens and the number of element lenses used.

이후에, 상기 계산된 가상렌즈에 대한 정보와 생성될 집적영상의 정보 및 이미지 캡쳐부(10)에서 획득된 깊이 정보 값과 컬러 영상을 이용하여 집적영상을 생성한다.Thereafter, the integrated image is generated using the calculated information on the virtual lens, the information of the integrated image to be generated, and the depth information value and the color image obtained by the image capturing unit 10.

이때, 캡쳐된 영상과 깊이 정보에 대응하는 집적영상의 생성은 이미지 캡쳐부룰 통한 깊이정보 및 캡쳐 영상을 재구성함으로써 만들어진다. At this time, the generation of the integrated image corresponding to the captured image and the depth information is made by reconstructing the depth information and the captured image through the image capture unit.

즉, 집적영상의 생성은 이미지 캡쳐부(10)를 통하여 획득된 깊이 정보 및 컬러정보를 읽어 이에 대응하는 픽셀 값을 3차원 볼륨 데이터에서 찾아서 진행한다. 이때, 집적영상의 생성을 위한 모든 계산은 GPU를 통한 병렬처리를 통해 프레임 단위로 동시에 이루어진다. 집적영상 생성 과정은 상기 이미지 캡쳐부(10)의 정보에 변화가 있을 때마다 다시 수행된다. That is, the generation of the integrated image reads the depth information and the color information acquired through the image capturing unit 10 and searches for the pixel value corresponding thereto in the 3D volume data. At this time, all calculations for generating an integrated image are performed simultaneously in units of frames through parallel processing through the GPU. The integrated image generation process is performed again whenever there is a change in the information of the image capture unit 10.

상기와 같이, 상기 집적영상을 생성할 때, 생성 속도의 향상을 위해 GPU 병렬처리 방법(OpenCL 병렬처리 기법)을 사용하여 고속으로 집적영상을 생성한다. As described above, when generating the integrated image, the integrated image is generated at high speed using a GPU parallel processing method (OpenCL parallel processing technique) to improve the generation speed.

그리고, 3차원 집적영상의 디스플레이는 액정표시장치(LCD)와 같은 평판 디스플레이 장치(31)와 렌즈 어레이(32)를 통해서 구현되는 것으로, 렌즈 어레이(32)를 평판 디스플레이 장치(31) 앞에 부착하여 이를 통해 집적영상을 보여줌으로써 3차원 영상을 볼 수 있는 것이다. In addition, the display of the 3D integrated image is implemented through a flat panel display device 31 such as a liquid crystal display (LCD) and a lens array 32. The lens array 32 is attached to the front of the flat panel display device 31. Through this, the 3D image can be viewed by showing the integrated image.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아니다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 예에 의해서가 아니라 청구범위에 의해서 정해져야 할 것이다.The technical idea of the present invention has been specifically described according to the above preferred embodiments, but the above-mentioned embodiments are intended to be illustrative and not restrictive. In addition, it will be understood by those of ordinary skill in the art that various embodiments are possible within the scope of the technical idea of the present invention. Accordingly, the scope of the present invention should be determined by the claims rather than the examples described.

* 도면의 주요 부분에 대한 부호의 설명
10 : 이미지 캡쳐부 11 : 깊이 카메라
12 : 컬러 카메라 13: 적외선 프로젝터
14 : 적외선 카메라 20 : 집적영상 픽업부
30 : 디스플레이부 31 : 평판 디스플레이 장치
32 : 렌즈 어레이* Explanation of symbols for the main parts of the drawings
10: image capture unit 11: depth camera
12: color camera 13: infrared projector
14: infrared camera 20: integrated image pickup unit
30: display unit 31: flat panel display device
32: lens array

Claims (8)

삭제delete 삭제delete 삭제delete 삭제delete (a) 일정한 간격의 그리드 패턴으로 구성된 적외선을 적외선 프로젝터에서 물체와 배경으로 조사하는 단계;
(b) 적외선 카메라에서 적외선 영상을 획득하고, 상기 물체의 위치와 일치하는 그리드 패턴의 위치로부터 깊이 정보를 생성하는 단계;
(c) 컬러 카메라에서 상기 물체와 배경의 컬러영상 정보를 획득하는 단계;
(d) 렌즈의 초점거리, 렌즈의 크기, 사용되는 요소 렌즈의 수를 포함하는 가상렌즈 정보와, 상기 깊이 정보와, 상기 컬러영상 정보를 이용하여 집적영상을 생성하는 단계; 및
(e) 생성된 상기 집적영상을 3차원 영상으로 디스플레이하는 단계를 포함하며,
상기 단계 (d)에서는 상기 깊이 정보 및 상기 컬러영상 정보에 대응하는 픽셀 값을 3차원 볼륨 데이터에서 판독하며,
상기 단계 (d)에서 상기 집적영상은 GPU를 통한 병렬처리를 통해 프레임 단위로 동시에 이루어지고,
상기 단계 (d)는 상기 깊이 정보 또는 상기 컬러영상 정보에 변화가 있을 경우에만 수행하는 깊이 카메라를 이용한 3차원 집적영상 획득방법.(a) irradiating infrared rays composed of grid patterns at regular intervals to an object and a background in an infrared projector;
(b) acquiring an infrared image from an infrared camera and generating depth information from the position of the grid pattern that matches the position of the object;
(c) acquiring color image information of the object and the background from a color camera;
(d) generating an integrated image using the virtual lens information including the focal length of the lens, the size of the lens, and the number of element lenses used, the depth information, and the color image information; And
(e) displaying the generated integrated image as a 3D image,
In the step (d), the pixel value corresponding to the depth information and the color image information is read from three-dimensional volume data.
In the step (d) the integrated image is made at the same time in units of frames through parallel processing through a GPU,
The step (d) is a three-dimensional integrated image acquisition method using a depth camera performed only when there is a change in the depth information or the color image information. 삭제delete 삭제delete 삭제delete
KR1020110144454A 2011-12-28 2011-12-28 Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof KR101289008B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110144454A KR101289008B1 (en) 2011-12-28 2011-12-28 Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110144454A KR101289008B1 (en) 2011-12-28 2011-12-28 Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof

Publications (2)

Publication Number Publication Date
KR20130076050A KR20130076050A (en) 2013-07-08
KR101289008B1 true KR101289008B1 (en) 2013-07-23

Family

ID=48989732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110144454A KR101289008B1 (en) 2011-12-28 2011-12-28 Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof

Country Status (1)

Country Link
KR (1) KR101289008B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427326A (en) 2013-09-06 2015-03-18 北京三星通信技术研究有限公司 Three-dimensional display method and equipment in integral imaging display system
WO2015034226A1 (en) * 2013-09-06 2015-03-12 삼성전자주식회사 3d display method and device for executing same
KR102649281B1 (en) * 2021-12-10 2024-03-20 재단법인 구미전자정보기술원 Apparatus and method for producting and displaying integral image capable of 3d/2d conversion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030037140A (en) * 2001-11-02 2003-05-12 전자부품연구원 3D Stereoscopic Multiview video system include Searching function
KR20080102826A (en) * 2007-05-22 2008-11-26 광주과학기술원 Method and apparatus for generating depth information supplemented using depth-range camera, and recording medium storing program for performing the method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030037140A (en) * 2001-11-02 2003-05-12 전자부품연구원 3D Stereoscopic Multiview video system include Searching function
KR20080102826A (en) * 2007-05-22 2008-11-26 광주과학기술원 Method and apparatus for generating depth information supplemented using depth-range camera, and recording medium storing program for performing the method thereof

Also Published As

Publication number Publication date
KR20130076050A (en) 2013-07-08

Similar Documents

Publication Publication Date Title
CN109615703B (en) Augmented reality image display method, device and equipment
US10560687B2 (en) LED-based integral imaging display system as well as its control method and device
CN105120257B (en) A kind of vertical depth sensing device based on structure light coding
US20130335535A1 (en) Digital 3d camera using periodic illumination
KR20140004592A (en) Image blur based on 3d depth information
KR100897307B1 (en) Method for reproducing hologram of 3D image picked-up by integral imaging scheme and Apparatus thereof
JP5852093B2 (en) Video processing apparatus, video processing method, and program
JP2014064213A5 (en)
KR101600681B1 (en) Depth convertion method of 3D images interal imaging system
JP7479729B2 (en) Three-dimensional representation method and device
CN113238472B (en) High-resolution light field display method and device based on frequency domain displacement
EP3262606A1 (en) An image processing method and apparatus for determining depth within an image
JP2009175866A (en) Stereoscopic image generation device, its method, and its program
CN105898338A (en) Panorama video play method and device
KR101289008B1 (en) Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof
KR101356378B1 (en) Method for displaying of three-dimensional integral imaging using camera and apparatus thereof
JP2006287813A (en) Three-dimensional image display device
KR101275127B1 (en) 3-dimension camera using focus variable liquid lens applied and method of the same
KR101567002B1 (en) Computer graphics based stereo floting integral imaging creation system
KR101893769B1 (en) Apparatus and method of generating 3 dimension object image model based on used view of viewer
KR20170077627A (en) Digital Holographic Display and Method For Real-Time Pupil Tracking Digital Holographic Display
KR101657373B1 (en) Multiple depth extraction method in integral imaging display
KR101121132B1 (en) Method and apparatus for reconstructing integral image
KR101275588B1 (en) High speed generation system of integral imaging for 3d volume data and autostereo display method using the system
CN111754558B (en) Matching method for RGB-D camera system and binocular imaging system and related system thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 6