KR20130037257A - High speed generation system of integral imaging for 3d volume data and autostereo display method using the system - Google Patents

High speed generation system of integral imaging for 3d volume data and autostereo display method using the system Download PDF

Info

Publication number
KR20130037257A
KR20130037257A KR1020110101554A KR20110101554A KR20130037257A KR 20130037257 A KR20130037257 A KR 20130037257A KR 1020110101554 A KR1020110101554 A KR 1020110101554A KR 20110101554 A KR20110101554 A KR 20110101554A KR 20130037257 A KR20130037257 A KR 20130037257A
Authority
KR
South Korea
Prior art keywords
information
integrated image
image
virtual
input unit
Prior art date
Application number
KR1020110101554A
Other languages
Korean (ko)
Other versions
KR101275588B1 (en
Inventor
류관희
박찬
정지성
김남
권기철
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020110101554A priority Critical patent/KR101275588B1/en
Publication of KR20130037257A publication Critical patent/KR20130037257A/en
Application granted granted Critical
Publication of KR101275588B1 publication Critical patent/KR101275588B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A high speed integrated image generation system for 3D volume data and a 3D display method thereof are provided to perform the whole processing, excluding initial user input, in parallel through a GPU(Graphics Processing Unit) using an open CL(Computing Language), thereby generating an integrated image. CONSTITUTION: A virtual lens information calculation unit(21) calculates information of a virtual lens by using information inputted to a virtual lens information input unit(11). A virtual camera setting information calculation unit(22) calculates virtual camera setting information by using information inputted to a user requirement input unit(12) and a 3D volume image data input unit(13). An integrated image generation unit(30) allows an open CL kernel program to process pixel values of an integrated image by using calculated values and generates the integrated image in real time. [Reference numerals] (11) Virtual lens information input unit; (12) User requirement input unit; (13) 3D volume image data input unit; (21) Virtual lens information calculation unit; (22) Virtual camera setting information calculation unit; (30) Integrated image generation unit; (40) Display unit;

Description

3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템 및 이를 이용한 입체영상 표시 방법{HIGH SPEED GENERATION SYSTEM OF INTEGRAL IMAGING FOR 3D VOLUME DATA AND AUTOSTEREO DISPLAY METHOD USING THE SYSTEM}HIGH SPEED GENERATION SYSTEM OF INTEGRAL IMAGING FOR 3D VOLUME DATA AND AUTOSTEREO DISPLAY METHOD USING THE SYSTEM}

본 발명은 컴퓨터 생성 고속 집적 영상 이미지에 관한 것으로서, 특히 주어진 3차원 볼륨 데이터에 대한 집적 영상을 고속으로 생성하고, 생성된 집적 영상을 LCD 모니터와 렌즈 어레이를 통해 디스플레이시켜 입체영상을 표시하기 위한 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a computer-generated high speed integrated image image, and more particularly to a method for displaying a stereoscopic image by rapidly generating an integrated image for a given 3D volume data and displaying the generated integrated image through an LCD monitor and a lens array. It is about.

최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적 영상(Integral imaging) 기술이 도입되고 있다. Recently, a lot of researches have been conducted on the research on the 3D object recognition and the system implementation. In particular, an integrated imaging technology capable of recording and restoring a 3D image for 3D object recognition has been introduced.

이와 같은 집적 영상(Integral imaging) 기술은 1908년 리프만(Lippmann)에 의해 최초로 제안된 것으로, 이상적인 3차원 디스플레이 방식인 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점을 가지고 있다. This integrated imaging technology was first proposed by Lippmann in 1908, and has the advantage of providing full parallax and continuous viewing points, like the holographic method, which is an ideal three-dimensional display. have.

일반적으로 집적 영상 기술은 크게 픽업 단계와 디스플레이 단계로 나뉘어 진다. 픽업 단계는 이미지 센서(CCD)와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈배열 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 배열을 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상을 요소 영상(Elemental images)이라 하고, 3차원 재생을 위해 이용된다. In general, integrated imaging technology is largely divided into a pickup phase and a display phase. The pick-up phase consists of a two-dimensional sensor such as an image sensor (CCD) and a lens array, where the three-dimensional object is placed in front of the lens array. Various image information of the 3D object is then stored in the 2D detector after passing through the lens array. At this time, the stored image is called elemental image and is used for 3D reproduction.

이후 집적 영상 기술의 디스플레이 단계는 픽업 단계의 역과정으로, LCD와 같은 디스플레이 장치와 렌즈 어레이로 구성된다. 여기서, 픽업과정에서 얻은 요소 영상을 디스플레이 장치에 표시하고, 요소 영상의 영상정보가 렌즈배열을 통과하여 공간상에 3차원 영상을 복원하게 된다. The display phase of the integrated imaging technology is a reverse process of the pickup phase, and is composed of a display device such as an LCD and a lens array. Here, the element image obtained in the pickup process is displayed on the display device, and the image information of the element image passes through the lens array to restore the 3D image in space.

이와 같은 집적 영상 기술은 많은 장점이 있음에도 불구하고, 3D 물체로부터 제한된 영상정보 픽업 때문에 고해상도의 3D 복원 영상 획득에 어려움이 있었다. 일반적으로 3D로 복원된 영상의 해상도는 요소 영상의 수에 달려있다고 알려져 있다. 따라서 고해상도의 3D 영상들의 복원을 위해 많은 수의 요소 영상이 필요하게 된다. Although such integrated imaging technology has many advantages, it has been difficult to acquire high resolution 3D reconstructed images because of limited image information pickup from 3D objects. In general, it is known that the resolution of a 3D reconstructed image depends on the number of element images. Therefore, a large number of element images are required for reconstruction of high resolution 3D images.

최근에는 컴퓨터를 사용한 집적 영상 생성 방법도 많은 연구가 진행되고 있는데, 집적 영상의 해상도 향상을 위해 집적 영상을 구성하는 요소영상의 수가 늘어날수록 집적 영상 생성을 위한 컴퓨터의 계산량이 많아져서 시간이 오래 걸리게 된다. 이에, 컴퓨터 생성 집적 영상에 대한 고속 처리 방법이 필요한 실정이다. Recently, many researches have been conducted on the method of generating an integrated image using a computer. As the number of element images constituting the integrated image increases to improve the resolution of the integrated image, the computational amount of the computer for generating the integrated image increases, which takes a long time. do. Accordingly, there is a need for a high speed processing method for computer-generated integrated images.

본 발명은 상기한 종래기술에 따른 문제점을 해결하기 위해 제안된 것으로서, 기존의 집적영상 생성방법에 문제점인 처리시간에 대한 문제와 고속 처리에 대한 해상도의 저화 또는 왜곡발생과 같은 문제를 해결할 수 있는 3차원 볼륨 데이터에 대한 고속 집적영상 생성 시스템 및 이를 이용한 입체영상 표시 방법을 제공함에 그 목적이 있다. The present invention has been proposed to solve the above problems according to the prior art, and can solve problems such as a problem with processing time, which is a problem with the existing integrated image generation method, and a problem such as lowering or distortion of resolution for high-speed processing. An object of the present invention is to provide a high speed integrated image generation system for 3D volume data and a stereoscopic image display method using the same.

상기 목적을 달성하기 위한 본 발명의 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템은 N×N개의 렌즈들로 구성된 가상 렌즈가 구비되어 있고, 가상 렌즈 정보 입력부, 사용자 요구사항 입력부 및 3차원 볼륨 영상 데이터 입력부로 구성된 데이터 입력부와; 상기 가상 렌즈 정보 입력부에 입력된 정보를 받아 상기 가상 렌즈의 정보를 계산하는 가상 렌즈 정보 계산부와, 상기 사용자 요구사항 입력부와 상기 3D 볼륨 영상 데이터 입력부에 입력된 정보를 받아 가상 카메라 세팅 정보를 계산하는 가상 카메라 세팅 정보 계산부로 구성된 계산부와; 상기 가상 렌즈 정보 계산부와 상기 가상 카메라 세팅 정보 계산부에서 얻어진 각 값들을 오픈씨엘(OpenCL:Open Computing Language) 커널 프로그램으로 보내면 OpenCL 커널 프로그램에서 다중 쓰레드들이 렌더링될 집적영상의 픽셀 값을 병렬 처리로 실시간에 집적영상을 생성하도록 하는 집적영상 생성부; 및 상기 생성된 집적영상을 디스플레이하기 위한 디스플레이부로 구성됨을 특징으로 한다.The high-speed integrated image generation system for the three-dimensional volume data of the present invention for achieving the above object is provided with a virtual lens consisting of N × N lenses, the virtual lens information input unit, user requirements input unit and three-dimensional volume image A data input unit comprising a data input unit; A virtual lens information calculation unit configured to receive information inputted to the virtual lens information input unit and calculate information of the virtual lens, and calculate virtual camera setting information by receiving information inputted to the user requirement input unit and the 3D volume image data input unit A calculator configured to include a virtual camera setting information calculator; When each value obtained from the virtual lens information calculating unit and the virtual camera setting information calculating unit is sent to an OpenCL kernel program, the OpenCL kernel program performs parallel processing of pixel values of an integrated image in which multiple threads are to be rendered. An integrated image generating unit for generating an integrated image in real time; And a display unit for displaying the generated integrated image.

또한, 본 발명의 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법은 집적 영상 생성을 위한 가상 렌즈 정보와 사용자 요구사항과 3D 볼륨 영상 데이터를 각각 입력시키는 단계; 가상 렌즈에 대한 정보와 가상 카메라 세팅 정보를 각각 계산하는 단계; 상기 가상 렌즈에 대한 정보 계산 값들과 상기 가상 카메라 세팅 정보 계산 값들을 읽어 이에 대응하는 픽셀 값을 3차원 볼륨 데이터에서 찾아서 GPU(Graphics Processing Unit)를 통한 병렬처리에 의해 집적 영상을 프레임 단위로 동시에 생성하는 단계; 및 상기 생성된 집적 영상을 입체영상으로 디스플레이하는 단계로 이루어짐을 특징으로 한다. In addition, the stereoscopic image display method using a high-speed integrated image generation system for the three-dimensional volume data of the present invention comprises the steps of inputting the virtual lens information, user requirements and 3D volume image data for generating the integrated image, respectively; Calculating information about the virtual lens and the virtual camera setting information, respectively; Read the information about the virtual lens and the information about the virtual camera setting information, and find the corresponding pixel value in the 3D volume data, and simultaneously generate the integrated image by frame by parallel processing through the GPU (Graphics Processing Unit). Making; And displaying the generated integrated image as a stereoscopic image.

본 발명의 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템 및 이를 이용한 입체영상 표시 방법은 초기 사용자 입력을 제외한 모든 처리는 오픈씨엘(OpenCL:Open Computing Language)를 사용한 GPU(Graphics Processing Unit)를 통해 병렬처리하여 실시간 집적 영상 생성을 가능하게 할 수 있다는 효과가 있다. In the high-speed integrated image generation system for 3D volume data of the present invention and a stereoscopic image display method using the same, all processing except for initial user input is performed in parallel through a graphics processing unit (GPU) using OpenCL (Open Computing Language). It is effective to enable real-time integrated image generation by processing.

도 1은 본 발명의 실시예에 따른 3차원 볼륨 데이터에 대한 고속 집적영상 생성 시스템의 구성도이다.
도 2는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법을 나타낸 흐름도이다.
도 3은 3차원 볼륨 영상을 입체영상으로 디스플레이하는 예시도이다.
도 4는 집적 영상 생성시 렌즈 어레이의 요소렌즈에 대응되는 요소 영상의 생성과정을 오픈씨엘(openCL) 병렬처리를 통해 수행되는 예시도이다. 1 is a block diagram of a high-speed integrated image generation system for 3D volume data according to an embodiment of the present invention.
2 is a flowchart illustrating a stereoscopic image display method using a high speed integrated image generation system for 3D volume data.
3 is an exemplary view of displaying a 3D volume image as a stereoscopic image.
4 illustrates an example of performing an element image corresponding to an element lens of a lens array through openCL parallel processing when generating an integrated image.

본 발명은 기존의 집적 영상 생성방법에 문제점인 처리시간에 대한 문제와 볼륨데이터의 공간 유사성과 시간 유사성을 통해 인접한 볼륨데이터의 정보를 활용하여 OpenCL를 통해 실시간에 특정 픽셀에 인접한 인텐시티(intensity)를 구하여 이들 값을 평균하거나 최대 값으로 집적영상의 픽셀 값을 지정함으로써 해상도의 저하 또는 왜곡발생과 같은 문제를 해결할 수 있는 이미지 공간(image space) 컴퓨터 생성 집적영상 기법을 제안하였다. The present invention utilizes the information of adjacent volume data through the problem of processing time and the spatial similarity and temporal similarity of the volume data, which is a problem with the existing integrated image generating method, to improve the intensity near a specific pixel in real time through OpenCL. We have proposed an image space computer-generated integrated image technique that can solve problems such as degradation of resolution or distortion caused by averaging these values and specifying pixel values of the integrated image as the maximum value.

제안된 본 발명은 기존의 방법에서 각각의 모든 요소 렌즈에 대응되는 요소 영상을 순차적으로 병렬처리 기법을 통해 계산하는 방법과 달리, 주어진 3D 볼륨 데이터에서 생성하고자 하는 집적 영상에 대한 NxN 렌즈들로 구성된 가상 렌즈 어레이에 대한 정보를 계산하고, 이에 대응되는 3D 볼륨 데이터에 대한 집적 영상을 동시에 생성하는 방법으로, 초기 사용자 입력을 제외한 모든 처리는 오픈씨엘(OpenCL:Open Computing Language)를 사용한 GPU(Graphics Processing Unit)를 통해 병렬처리하여 실시간 집적 영상 생성을 가능하게 할 수 있다. In the proposed method, unlike the method of sequentially calculating the element images corresponding to each element lens through the parallel processing method in the conventional method, the proposed method consists of NxN lenses for the integrated image to be generated from the given 3D volume data. By calculating the information about the virtual lens array and simultaneously generating an integrated image of the corresponding 3D volume data, all processing except initial user input is performed using the GPU (Graphics Processing) using the Open Computing Language (OpenCL). Through parallel processing through a unit, real-time integrated image can be generated.

이하, 첨부 도면을 참조하여 본 발명의 가장 바람직한 실시예에 따른 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템 및 이를 이용한 입체영상 표시 방법에 대하여 설명하기로 한다. Hereinafter, a high-speed integrated image generation system for 3D volume data and a stereoscopic image display method using the same will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템의 구성도이다. 1 is a block diagram of a high-speed integrated image generation system for three-dimensional volume data according to an embodiment of the present invention.

먼저, 본 발명에 따른 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템은, 도 1에 도시한 바와 같이, 데이터 입력부(10)와 계산부(20)와 집적 영상 생성부(30)와 디스플레이부(40)로 구성된다. First, as shown in FIG. 1, the high speed integrated image generation system for 3D volume data according to the present invention includes a data input unit 10, a calculation unit 20, an integrated image generation unit 30, and a display unit ( 40).

상기 데이터 입력부(10)는 가상 렌즈 정보 입력부(11)와 사용자 요구사항 입력부(12)와 3D 볼륨 영상 데이터 입력부(13)의 3부분으로 나뉘어 있다. The data input unit 10 is divided into three parts: the virtual lens information input unit 11, the user requirement input unit 12, and the 3D volume image data input unit 13.

상기 가상 렌즈 정보 입력부(11)에서는 요소렌즈의 개수와 렌즈의 사이즈와 초점 거리와 렌즈와 물체사이의 거리인 ZCDP와 픽셀 사이즈와 같은 가상 렌즈에 대한 정보를 입력시킨다. The virtual lens information input unit 11 inputs information about a virtual lens, such as the number of element lenses, the size and focal length of the lens, and the Z CDP and the pixel size, which are the distance between the lens and the object.

그리고, 사용자 요구사항 입력부(12)에서는 사용자가 보고자 하는 3차원 볼륨 영상에 대한 회전과 이동과 크기에 대한 요구 정보들을 마우스 혹은 키보드를 이용해서 입력시킨다. In addition, the user requirement input unit 12 inputs request information about the rotation, movement, and size of the 3D volume image to be viewed by the user using a mouse or a keyboard.

그리고, 3D 볼륨 영상 데이터 입력부(13)에서는 집적 영상으로 변환하여 디스플레이하기 위한 객체에 대한 이미지 데이터를 입력하는 부분이다. In addition, the 3D volume image data input unit 13 is a part for inputting image data of an object for converting and displaying an integrated image.

다음에, 상기 계산부(20)는 가상 렌즈 정보 계산부(21)와 가상 카메라 세팅 정보 계산부(22)로 구성되어 있다. Next, the calculation unit 20 is composed of a virtual lens information calculation unit 21 and a virtual camera setting information calculation unit 22.

상기 가상 렌즈 정보 계산부(21)에서는 생성될 집적영상에 대한 가상 렌즈의 정보들을 계산하는 것으로, CGII(Computer Generated Integral Image)에 대한 크기 계산과 각각의 요소 렌즈들에 대한 사양 정보들을 계산한다. The virtual lens information calculator 21 calculates virtual lens information of the integrated image to be generated, and calculates size of the CGII (Computer Generated Integral Image) and specification information of each element lens.

그리고, 가상 카메라 세팅 정보 계산부(22)에서는 사용자가 원하는 즉, 보고자 하는 집적 영상에 대한 렌즈의 정보를 계산하는 부분으로, 가상 카메라의 환경 변수를 설정하기 위해 3D 볼륨 데이터의 회전, 이동, 크기와 같은 변환 정보에 대한 가상 카메라의 셋팅 정보를 계산한다. 이때 가상 카메라의 셋팅 정보 계산은 마우스 혹은 키보드를 통한 변화가 있을 때마다 수행한다. In addition, the virtual camera setting information calculator 22 calculates lens information about an integrated image that a user wants to see, that is, rotates, moves, and sizes 3D volume data in order to set an environment variable of the virtual camera. Calculate the virtual camera setting information for the conversion information such as At this time, the setting information of the virtual camera is calculated whenever there is a change through the mouse or the keyboard.

다음에, 집적 영상 생성부(30)는 GPU(Graphic Processing Unit)를 통한 병렬처리에 의해서 집적 영상을 생성하는 부분이다. 즉, 앞에서 처리한 가상렌즈들에 대한 계산 결과와 가상 카메라 셋팅 정보에 대한 계산 결과를 인풋 3D 볼륨 데이터에 적용하여 기초영상 생성을 병렬 처리함으로써 집적 영상을 생성하는 기능을 한다. Next, the integrated image generation unit 30 is a part for generating an integrated image by parallel processing through a GPU (Graphic Processing Unit). That is, the integrated image is generated by parallel processing of the base image by applying the calculation result of the above-described virtual lenses and the calculation result of the virtual camera setting information to the input 3D volume data.

그리고, 디스플레이부(40)는 LCD와 같은 디스플레이 장치와 그 앞에 부착된 렌즈 어레이로 구성되어 있다. In addition, the display unit 40 includes a display device such as an LCD and a lens array attached to the front.

이어서, 상기 구성을 갖는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체 영상 표시 방법에 대하여 설명하기로 한다. Next, a stereoscopic image display method using a high speed integrated image generation system for 3D volume data having the above configuration will be described.

도 2는 3차원 볼륨 데이터에 대한 고속 집적영상 생성 시스템을 이용한 입체영상 표시 방법을 나타낸 흐름도이고, 도 3은 3차원 볼륨 영상을 입체영상으로 디스플레이하는 예시도이다. 2 is a flowchart illustrating a stereoscopic image display method using a high speed integrated image generation system for 3D volume data, and FIG. 3 is an exemplary diagram of displaying a 3D volume image as a stereoscopic image.

먼저, 도 1 내지 도 3에 도시한 바와 같이, 집적 영상 생성을 위한 가상 렌즈 정보와 사용자 요구사항과 3D 볼륨 영상 데이터를 각각 입력시키는 단계(S21), 가상 렌즈에 대한 정보와 가상 카메라 세팅 정보를 각각 계산하는 단계(S22), 상기 계산된 각각의 정보를 읽어 GPU(Graphics Processing Unit)를 통한 병렬처리에 의해 집적 영상을 프레임 단위로 실시간 생성하는 단계(S23), 상기 생성된 집적 영상을 렌즈 어레이 및 디스플레이 장치를 통해 입체영상으로 디스플레이하는 단계(S24)로 이루어진다. First, as shown in FIGS. 1 to 3, in operation S21, the virtual lens information, the user requirement, and the 3D volume image data for generating the integrated image are input, and the information about the virtual lens and the virtual camera setting information are input. Calculating each step (S22), reading the calculated respective information, and generating an integrated image in units of frames by parallel processing through a graphics processing unit (GPU) (S23), and generating the integrated image lens array And displaying the stereoscopic image through the display device (S24).

상기에서 데이터 입력 단계(S21)는 데이터 입력부(10)를 구성하는 가상 렌즈 정보 입력부(11)와 사용자 요구사항 입력부(12)와 3D 볼륨 영상 데이터 입력부(13)를 통하여 각각 진행된다. The data input step S21 is performed through the virtual lens information input unit 11 constituting the data input unit 10, the user requirement input unit 12, and the 3D volume image data input unit 13, respectively.

상기에서 가상 렌즈 정보입력은 가상 렌즈 정보 입력부(11)에서 진행하는데, 요소렌즈의 개수와 렌즈의 사이즈와 초점 거리와 렌즈와 물체사이의 거리를 나타내는 ZCDP와 픽셀 사이즈와 같은 가상 렌즈에 대한 정보를 입력시킨다. The virtual lens information input is performed by the virtual lens information input unit 11, and information about the virtual lens such as Z CDP and pixel size indicating the number of element lenses, the size and focal length of the lens, and the distance between the lens and the object. Enter.

그리고, 사용자 요구사항 입력은 사용자 요구사항 입력부(12)에서 진행하는데, 사용자가 보고자 하는 3차원 볼륨 영상에 대한 회전과 이동과 크기에 대한 요구 정보들을 마우스 혹은 키보드를 이용해서 입력시킨다. In addition, the user requirement input is performed by the user requirement input unit 12. The user inputs the request information about the rotation, movement, and size of the 3D volume image to be viewed by the mouse or the keyboard.

그리고, 3D 볼륨 영상 데이터의 입력은 3D 볼륨 영상 데이터 입력부(13)에서 진행하는데, 집적 영상으로 변환하여 디스플레이하기 위한 객체에 대한 이미지 데이터를 입력하는 부분이다. The input of the 3D volume image data is performed by the 3D volume image data input unit 13, which is a portion for inputting image data of an object for converting and displaying an integrated image.

그리고, 가상 렌즈에 대한 정보와 가상 카메라 세팅 정보를 각각 계산하는 단계(S22)에서 가상 렌즈에 대한 정보를 계산하는 단계는 가상 렌즈 정보를 입력시킨 후에 진행하는 것으로, 가상 렌즈 정보 계산부(21)를 통하여 생성될 집적 영상에 대한 전체 크기 및 각각의 요소렌즈들에 대한 사양 정보들을 계산한다. The calculating of the information about the virtual lens in the step S22 of calculating the information about the virtual lens and the virtual camera setting information, respectively, is performed after the input of the virtual lens information. The virtual lens information calculating unit 21 Through the calculation of the overall size for the integrated image to be generated and specification information for each element lens.

또한, 가상 카메라 세팅 정보의 계산은 사용자 요구사항 및 3D 볼륨 영상 데이터를 입력시킨 후, 가상 카메라 세팅 정보 계산부(22)를 통하여 주어진 3차원 볼륨 영상에 대한 사용자 요구에 의한 회전, 크기 변화, 이동과 같은 가상 카메라 세팅 정보를 계산하는 것이다. In addition, the calculation of the virtual camera setting information inputs user requirements and 3D volume image data, and then rotates, changes in size, and moves according to user requests for a given 3D volume image through the virtual camera setting information calculation unit 22. It calculates virtual camera setting information such as

그리고, 집적영상을 생성하는 단계(S23)는 계산된 각각의 요소렌즈들에 대한 정보와 가상의 카메라 어레이에 대한 정보를 읽어 이에 대응하는 픽셀 값을 3차원 볼륨 데이터에서 찾아서 진행한다. 이때, 집적영상의 생성을 위한 모든 계산은 GPU를 통한 병렬처리를 통해 프레임 단위로 동시에 이루어진다. 집적영상 생성 과정은 상기 가상 카메라의 세팅정보에 변화가 있을 때마다 다시 수행된다. In operation S23, the integrated image is read and information about each of the element lenses and the virtual camera array are calculated, and the corresponding pixel value is found in the 3D volume data. At this time, all calculations for generating an integrated image are performed simultaneously in units of frames through parallel processing through the GPU. The integrated image generation process is performed again whenever there is a change in the setting information of the virtual camera.

그리고, 입체영상의 디스플레이는 집적영상이 생성된 후에 렌즈 어레이가 부착된 LCD 모니터와 같은 디스플레이 장치를 통하여 진행된다. The display of the stereoscopic image proceeds through a display device such as an LCD monitor to which a lens array is attached after the integrated image is generated.

참고로, 도 3은 3D 볼륨 영상이 가상 렌즈 어레이를 통하여 집적영상으로 생성된 후 입체 영상으로 디스플레이되는 과정을 예시한 것이다. For reference, FIG. 3 illustrates a process in which a 3D volume image is generated as an integrated image through a virtual lens array and then displayed as a stereoscopic image.

상기 집적영상을 생성하는 과정에 대하여 좀 더 예시하면, 도 4는 집적영상 생성시 렌즈 어레이의 요소렌즈에 대응되는 요소영상의 생성과정을 오픈씨엘(openCL) 병렬처리를 통해 수행되는 예시도면으로, 좀 더 자세하게는, 3D 볼륨 데이터에 대한 N×N개의 기초영상으로 이루어진 집적영상을 생성하기 위해 OpenCL쿠다(CUDA:Compute Unified Device Architecture)를 이용한 효율적인 계산 방법을 제안한 것이다. 4 illustrates an example of a process of generating an element image corresponding to an element lens of a lens array through openCL parallel processing, when generating an integrated image. More specifically, an efficient calculation method using OpenCL CUDA (Compute Unified Device Architecture) is proposed to generate an integrated image composed of N × N basic images of 3D volume data.

OpenCL의 커널 프로그래밍의 모델에서 호스트(host)는 여러 개의 커널(kernel)을 가질 수 있으며, 각 커널은 하나의 그리드(grid)를 배치할 수 있으며, 하나의 그리드는 여러 개의 블록(block)을 구성할 수 있다. 마지막 단계에서 하나의 블록은 여러 개의 스레드(thread)를 할당 할 수 있다. 블록은 동기화 할 수 있는 스레드 그룹으로 하나이상의 스레드 블록은 멀티프로세서(multiprocessor)로 옮겨져 실행 될 수 있으며, 국부공유메모리를 통해 데이터를 효율적으로 공유할 수 있다. In OpenCL's kernel programming model, a host can have multiple kernels, each kernel can have one grid, and one grid can have multiple blocks. can do. In the last step, a block can allocate several threads. A block is a group of threads that can be synchronized. One or more thread blocks can be moved to and executed by a multiprocessor, and data can be efficiently shared through local shared memory.

본 발명에서는 NxN 크기의 렌즈 어레이에서 각각의 요소렌즈를 통해 보여지는 3D 볼륨 데이터 영상인 요소영상들을 생성하기 위해, 하나의 그리드에 할당된 블록 수와 특정 블록에 설정될 스레드의 수를 정의한다. In the present invention, in order to generate element images, which are 3D volume data images viewed through respective element lenses in an N × N size lens array, the number of blocks allocated to one grid and the number of threads to be set for a specific block are defined.

그리고, 3D 볼륨 영상 데이터에 대한 집적영상 생성에 있어서 렌즈 어레이의 (i,j)번째 렌즈에 대응되는 요소영상의 생성과정을 OpenCL 병렬처리를 통해 수행하려면, 먼저, (i,j)번째 렌즈에 대응되는 3D 볼륨 영상 데이터에 대한 요소영상의 픽셀 값 계산을 수행하기 위해 커널에 의해 수행되는 그리드(grid), 블록(block), 그리고 스레드(thread)를 설정한다. 그리고, 그리드(grid) 크기와 블록(block)의 크기에 따라 설정된 (i,j)번째 요소렌즈에 대응되는 볼륨 이미지 데이터 부분을 렌더링하여 (i,j)번째에 해당되는 출력 버퍼에 할당하게 된다. In the integrated image generation of 3D volume image data, in order to perform an element image corresponding to the (i, j) th lens of the lens array through OpenCL parallel processing, first, the (i, j) th lens is generated. A grid, a block, and a thread performed by the kernel are set to perform pixel value calculation of the element image for the corresponding 3D volume image data. Then, the volume image data portion corresponding to the (i, j) th element lens set according to the grid size and the block size is rendered and allocated to the (i, j) th output buffer. .

이와 같이 OpenCL 병렬 처리를 진행하면 3D 볼륨 영상 데이터에 대한 집적영상을 생성할 수 있다. As such, the OpenCL parallel processing may generate an integrated image of 3D volume image data.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아니다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 예에 의해서가 아니라 청구범위에 의해서 정해져야 할 것이다.Although the technical idea of the present invention has been described in detail according to the above-described preferred embodiment, the above-described embodiment is for the purpose of description and not of limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention. Accordingly, the scope of the invention should be defined by the claims rather than by the examples described.

* 도면의 주요 부분에 대한 부호의 설명
10 : 데이터 입력부 11 : 가상 렌즈 정보 입력부
12 : 사용자 요구 사항 입력부 13 : 3D 볼륨 영상데이터 입력부
20 : 계산부 21 : 가상 렌즈 정보 계산부
22 : 가상 카메라 세팅 정보 계산부
30 : 집적영상 생성부 40 : 디스플레이부 * Explanation of symbols for the main parts of the drawings
10: data input unit 11: virtual lens information input unit
12: user requirements input unit 13: 3D volume image data input unit
20: calculator 21: virtual lens information calculator
22: virtual camera setting information calculation unit
30: integrated image generating unit 40: display unit

Claims (13)

N×N개의 렌즈들로 구성된 가상 렌즈가 구비되어 있고,
가상 렌즈 정보 입력부, 사용자 요구사항 입력부 및 3차원 볼륨 영상 데이터 입력부로 구성된 데이터 입력부와;
상기 가상 렌즈 정보 입력부에 입력된 정보를 받아 상기 가상 렌즈의 정보를 계산하는 가상 렌즈 정보 계산부와, 상기 사용자 요구사항 입력부와 상기 3D 볼륨 영상 데이터 입력부에 입력된 정보를 받아 가상 카메라 세팅 정보를 계산하는 가상 카메라 세팅 정보 계산부로 구성된 계산부와;
상기 가상 렌즈 정보 계산부와 상기 가상 카메라 세팅 정보 계산부에서 얻어진 각 값들을 오픈씨엘(OpenCL:Open Computing Language) 커널 프로그램으로 보내면 OpenCL 커널 프로그램에서 다중 쓰레드들이 렌더링될 집적영상의 픽셀 값을 병렬 처리로 실시간에 집적영상을 생성하도록 하는 집적영상 생성부; 및
상기 생성된 집적영상을 디스플레이하기 위한 디스플레이부로 구성됨을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. A virtual lens composed of N × N lenses,
A data input unit including a virtual lens information input unit, a user requirement input unit, and a 3D volume image data input unit;
A virtual lens information calculation unit configured to receive information inputted to the virtual lens information input unit and calculate information of the virtual lens, and calculate virtual camera setting information by receiving information inputted to the user requirement input unit and the 3D volume image data input unit A calculator configured to include a virtual camera setting information calculator;
When each value obtained from the virtual lens information calculating unit and the virtual camera setting information calculating unit is sent to an OpenCL kernel program, the OpenCL kernel program performs parallel processing of pixel values of an integrated image in which multiple threads are to be rendered. An integrated image generating unit for generating an integrated image in real time; And
High speed integrated image generation system for 3D volume data, characterized in that the display unit for displaying the generated integrated image. 제1항에 있어서,
상기 가상 렌즈 정보 입력부에서는 상기 가상 렌즈의 요소렌즈의 개수와 상기 가상 렌즈의 사이즈와 초점 거리와 렌즈와 물체사이의 거리를 나타내는 ZCDP와 픽셀 사이즈를 입력하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. The method of claim 1,
The virtual lens information input unit inputs Z CDP and pixel size indicating the number of element lenses of the virtual lens, the size and focal length of the virtual lens, and the distance between the lens and the object. High speed integrated image generation system. 제1항에 있어서,
상기 사용자 요구사항 입력부에서는 사용자가 보고자 하는 3차원 볼륨 영상에 대한 회전과 이동과 크기에 대한 요구 정보들을 마우스 혹은 키보드를 이용해서 입력하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. The method of claim 1,
The user requirement input unit is a high-speed integrated image generation system for the three-dimensional volume data, characterized in that the user inputs the request information about the rotation, movement and size of the three-dimensional volume image to be viewed by the mouse or keyboard. 제1항에 있어서,
상기 3차원 볼륨 영상 데이터 입력부에서는 집적영상으로 변환하여 디스플레이하기 위한 객체에 대한 이미지 데이터를 입력하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. The method of claim 1,
The 3D volume image data input unit inputs image data of an object for converting and displaying an integrated image. 제1항에 있어서,
상기 가상 렌즈 정보 계산부에서는 CGII(Computer Generated Integral Image)에 대한 크기 계산과 각각의 요소렌즈들에 대한 사양 정보들을 계산하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. The method of claim 1,
The virtual lens information calculation unit calculates the size of the CGII (Computer Generated Integral Image) and the specification information for each element lens, characterized in that the high-speed integrated image generation system for the three-dimensional volume data. 제1항에 있어서,
상기 가상 카메라 세팅 정보 계산부에서는 가상 카메라의 환경 변수를 설정하기 위해 상기 3D 볼륨 영상 데이터의 회전, 이동, 크기와 같은 변환 정보에 대한 가상 카메라의 셋팅 정보를 계산하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템. The method of claim 1,
The virtual camera setting information calculator calculates setting information of the virtual camera for transformation information such as rotation, movement, and size of the 3D volume image data to set an environment variable of the virtual camera. High speed integrated image generation system for. 집적 영상 생성을 위한 가상 렌즈 정보와 사용자 요구사항과 3D 볼륨 영상 데이터를 각각 입력시키는 단계;
가상 렌즈에 대한 정보와 가상 카메라 세팅 정보를 각각 계산하는 단계;
상기 가상 렌즈에 대한 정보 계산 값들과 상기 가상 카메라 세팅 정보 계산 값들을 읽어 이에 대응하는 픽셀 값을 3차원 볼륨 데이터에서 찾아서 GPU(Graphics Processing Unit)를 통한 병렬처리에 의해 집적 영상을 프레임 단위로 동시에 생성하는 단계; 및
상기 생성된 집적 영상을 입체영상으로 디스플레이하는 단계로 이루어짐을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. Inputting virtual lens information, user requirements, and 3D volume image data, respectively, for integrated image generation;
Calculating information about the virtual lens and the virtual camera setting information, respectively;
Read the information about the virtual lens and the information about the virtual camera setting information, and find the corresponding pixel value in the 3D volume data and simultaneously generate the integrated image by frame by parallel processing through the GPU (Graphics Processing Unit). Doing; And
And displaying the generated integrated image as a stereoscopic image. 3. The stereoscopic image display method of claim 3, wherein the generated integrated image is displayed as a stereoscopic image. 제7항에 있어서,
상기 가상 렌즈 정보 입력은 가상 렌즈 정보 입력부를 통해 상기 가상 렌즈의 요소렌즈의 개수와 상기 가상 렌즈의 사이즈와 초점 거리와 렌즈와 물체사이의 거리를 나타내는 ZCDP와 픽셀 사이즈와 같은 정보를 입력시키는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
The virtual lens information input includes inputting information such as Z CDP and pixel size indicating the number of element lenses of the virtual lens, the size and focal length of the virtual lens, and the distance between the lens and the object through the virtual lens information input unit. A stereoscopic image display method using a high speed integrated image generation system for three-dimensional volume data characterized in that. 제7항에 있어서,
상기 사용자 요구사항 입력은 사용자 요구사항 입력부를 통해 사용자가 보고자 하는 3차원 볼륨 영상에 대한 회전과 이동과 크기에 대한 요구 정보들을 마우스 혹은 키보드를 이용해서 입력시키는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
The user requirement input is a user requirement input unit for the 3D volume data, characterized in that the user inputs the information on the rotation, movement and size for the 3D volume image to be viewed by using a mouse or a keyboard. 3D image display method using high speed integrated image generation system. 제7항에 있어서,
상기 3D 볼륨 영상 데이터를 입력하는 단계는,
3D 볼륨 영상 데이터 입력부를 통해 집적 영상으로 변환하여 디스플레이하기 위한 객체에 대한 이미지 데이터를 입력하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
Inputting the 3D volume image data,
3. A stereoscopic image display method using a high-speed integrated image generation system for 3D volume data, characterized by inputting image data of an object for converting into an integrated image and displaying the same through a 3D volume image data input unit. 제7항에 있어서,
상기 가상 렌즈에 대한 정보를 계산하는 단계는, 입력된 상기 가상 렌즈 정보를 받아서, 가상 렌즈 정보 계산부를 통해서 진행되며, 생성될 집적 영상에 대한 전체 크기 및 상기 가상 렌즈의 각각의 요소렌즈들에 대한 사양 정보들을 계산하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
The calculating of the information about the virtual lens may include inputting the virtual lens information and proceed through the virtual lens information calculation unit, and the overall size of the integrated image to be generated and the respective element lenses of the virtual lens. A stereoscopic image display method using a high-speed integrated image generation system for three-dimensional volume data, characterized in that for calculating the specification information. 제7항에 있어서,
상기 가상 카메라 세팅 정보를 계산하는 단계는,
입력된 상기 사용자 요구사항과 상기 3D 볼륨 영상 데이터를 받아서, 가상 카메라 세팅 정보 계산부 통해서 진행되며, 주어진 상기 3차원 볼륨 영상에 대한 사용자 요구에 의한 회전, 크기 변화, 이동과 같은 가상 카메라 세팅 정보를 계산하는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
Computing the virtual camera setting information,
Receiving the input user requirements and the 3D volume image data, and proceeds through the virtual camera setting information calculation unit, the virtual camera setting information such as rotation, size change, movement by the user request for the given 3D volume image 3D display method using a high-speed integrated image generation system for the three-dimensional volume data, characterized in that the calculation. 제7항에 있어서,
상기 입체영상의 디스플레이는 상기 집적 영상이 생성된 후에 렌즈 어레이가 부착된 LCD 모니터와 같은 디스플레이 장치를 통하여 진행되는 것을 특징으로 하는 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템을 이용한 입체영상 표시 방법. The method of claim 7, wherein
And displaying the stereoscopic image through a display device such as an LCD monitor to which a lens array is attached after the integrated image is generated. 3D image display method using a high-speed integrated image generation system for 3D volume data.
KR1020110101554A 2011-10-06 2011-10-06 High speed generation system of integral imaging for 3d volume data and autostereo display method using the system KR101275588B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110101554A KR101275588B1 (en) 2011-10-06 2011-10-06 High speed generation system of integral imaging for 3d volume data and autostereo display method using the system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110101554A KR101275588B1 (en) 2011-10-06 2011-10-06 High speed generation system of integral imaging for 3d volume data and autostereo display method using the system

Publications (2)

Publication Number Publication Date
KR20130037257A true KR20130037257A (en) 2013-04-16
KR101275588B1 KR101275588B1 (en) 2013-06-17

Family

ID=48438275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101554A KR101275588B1 (en) 2011-10-06 2011-10-06 High speed generation system of integral imaging for 3d volume data and autostereo display method using the system

Country Status (1)

Country Link
KR (1) KR101275588B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142616B2 (en) 2014-04-18 2018-11-27 Samsung Electronics Co., Ltd. Device and method that compensate for displayed margin of error in IID

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891161B1 (en) * 2007-05-22 2009-04-06 광운대학교 산학협력단 Method for finding location of 3D integral image reconstruction and Apparatus thereof
KR100937768B1 (en) * 2008-04-29 2010-01-20 동서대학교산학협력단 Apparatus and method for reconstructing 3D image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142616B2 (en) 2014-04-18 2018-11-27 Samsung Electronics Co., Ltd. Device and method that compensate for displayed margin of error in IID

Also Published As

Publication number Publication date
KR101275588B1 (en) 2013-06-17

Similar Documents

Publication Publication Date Title
US10776688B2 (en) Multi-frame video interpolation using optical flow
CN104427325B (en) Fast integration image generating method and the naked eye three-dimensional display system with user mutual
CN109087346B (en) Monocular depth model training method and device and electronic equipment
TWI695188B (en) System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics
Rupnow et al. High level synthesis of stereo matching: Productivity, performance, and software constraints
Yi et al. Fast 3D computational integral imaging using graphics processing unit
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
US11335066B2 (en) Apparatus and operating method for displaying augmented reality object
US20170060089A1 (en) Fast generation of digital holograms
KR20110062083A (en) Video restoration apparatus and its method
Shin et al. Fast view synthesis using GPU for 3D display
Fan et al. Three-dimensional auto-stereoscopic image recording, mapping and synthesis system for multiview 3D display
Rahman et al. Parallel implementation of a spatio-temporal visual saliency model
KR101275588B1 (en) High speed generation system of integral imaging for 3d volume data and autostereo display method using the system
DE102018127265A1 (en) MULTI-PICTURE VIDEO INTERPOLATION WITH OPTICAL RIVER
Nguyen Low-latency mixed reality headset
KR20130076050A (en) Method for obtaining of three-dimensional integral imaging using the depth camera and display system thereof
CN112634439B (en) 3D information display method and device
Tenze et al. altiro3d: scene representation from single image and novel view synthesis
Reichenbach et al. Fast image processing for optical metrology utilizing heterogeneous computer architectures
KR101489823B1 (en) A Hardware Device for High-Speed Generation of Computer Generated Hologram
Hong et al. GPU-accelerated integral imaging and full-parallax 3D display using stereo–plenoptic camera system
Ganter et al. Light-Field DVR on GPU for Streaming Time-Varying Data.
Al-Oraiqat et al. Ray tracing method for stereo image synthesis using CUDA
Fadhel et al. Hardware accelerator for real-time holographic projector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160613

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee