KR100764382B1 - Apparatus for image mapping in computer-generated integral imaging system and method thereof - Google Patents

Apparatus for image mapping in computer-generated integral imaging system and method thereof Download PDF

Info

Publication number
KR100764382B1
KR100764382B1 KR1020060058472A KR20060058472A KR100764382B1 KR 100764382 B1 KR100764382 B1 KR 100764382B1 KR 1020060058472 A KR1020060058472 A KR 1020060058472A KR 20060058472 A KR20060058472 A KR 20060058472A KR 100764382 B1 KR100764382 B1 KR 100764382B1
Authority
KR
South Korea
Prior art keywords
image
directional
lens
virtual
generated
Prior art date
Application number
KR1020060058472A
Other languages
Korean (ko)
Inventor
박경신
민성욱
이빛나라
조용주
한민수
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020060058472A priority Critical patent/KR100764382B1/en
Application granted granted Critical
Publication of KR100764382B1 publication Critical patent/KR100764382B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An image mapping device in a CG(Computer-Generated) integration image system and a method therefor are provided to be more effectively applied to a real-time image process by photographing a directional scene of a virtual 2D or 3D object using a virtual camera, performing the fragmental process of the photographed directional scene by a previously calculated size, re-allocating the fragmentally processed directional scenes in a window position of a display device, and generating an elemental image set. An image mapping device(100) includes an object processing module(110), a control module(120), a rendering processing module(130), and an image processing module(140). The object processing module(110) stores and updates a virtual 3D or 3D object model. The control module(120) operates various information data about a directional scene that the virtual object model stored in the object processing module(110) is photographed and a virtual camera position by using predetermined information of elemental lenses. The rendering processing module(130) moves the virtual camera position by the number of the directional scenes through the various information data operated in the control module(120), photographs the virtual object model, and generates a directional scene set. The image processing module(140) performs the fragmental process of the respective directional scenes of the directional scene set generated in the rendering processing module(130) to correspond to the number of the elemental lenses, re-allocates the respective fragmentally processed directional scenes in a predetermined window position of a display device, generates an elemental image set, and outputs the elemental image set to the display device.

Description

컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법{APPARATUS FOR IMAGE MAPPING IN COMPUTER-GENERATED INTEGRAL IMAGING SYSTEM AND METHOD THEREOF}Image mapping apparatus and method thereof in a computer-generated integrated imaging system {APPARATUS FOR IMAGE MAPPING IN COMPUTER-GENERATED INTEGRAL IMAGING SYSTEM AND METHOD THEREOF}

도 1은 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 설명하기 위한 전체적인 블록 구성도이다.1 is an overall block diagram illustrating an image mapping apparatus in a computer-generated integrated imaging system according to an exemplary embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 전체적인 흐름도이다.2 is a flowchart illustrating an image mapping method in a computer-generated integrated imaging system according to an exemplary embodiment of the present invention.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 개념도로서, 도 3a는 가상의 카메라를 이용하여 디렉셔널 장면을 촬영하는 과정을 설명하기 위한 개념도이고, 도 3b는 디렉셔널 장면을 기초영상집합으로 변환하는 과정을 설명하기 위한 개념도이다.3A and 3B are conceptual views illustrating an image mapping method in a computer-generated integrated imaging system according to an exemplary embodiment of the present invention, and FIG. 3A illustrates a process of photographing a directional scene using a virtual camera. 3B is a conceptual diagram illustrating a process of converting a directional scene into a basic image set.

도 4는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하여 나타낸 그림이다.4 is a diagram illustrating a comparison of an image mapping method in a computer-generated integrated imaging system according to an embodiment of the present invention and a multi-viewpoint rendering (MVR) method of the related art.

도 5는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하기 위하여 기초렌즈 개수에 따른 기초영상 생성 속도를 나타낸 그래프이다.FIG. 5 is a graph showing a base image generation speed according to the number of base lenses in order to compare an image mapping method in a computer-generated integrated imaging system according to an embodiment of the present invention with a multi-viewpoint rendering (MVR) method of the related art. to be.

*** 도면의 주요 부분에 대한 부호 설명 ****** Explanation of symbols on main parts of drawing ***

100 : 이미지 매핑장치, 110 : 객체처리모듈,100: image mapping device, 110: object processing module,

120 : 제어모듈, 130 : 렌더링 처리모듈,120: control module, 130: rendering processing module,

140 : 영상처리모듈, 200 : 디스플레이 장치,140: image processing module, 200: display device,

300 : 렌즈 어레이300: lens array

본 발명은 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 관한 것으로, 보다 상세하게는 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있도록 한 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 관한 것이다.The present invention relates to an image mapping apparatus and method thereof in a computer-generated integrated imaging system, and more particularly, to photograph a directional scene using a virtual camera using a virtual two-dimensional or three-dimensional object module. And an image mapping apparatus in a computer-generated integrated image system that can be applied to a real-time image processing by generating a basic image set by engraving the same size into a pre-calculated size and rearranging it to a window position of the display device. It's about how.

일반적으로, 가상현실(Virtual Reality) 환경이란, 컴퓨터를 통해 인공적으로 만들어진 자연현상 등을 상호작용식(혹은 상호대화식)으로 실제인 것처럼 사용자가 경험하고 몰입할 수 있도록 도와주는 하드웨어(Hardware)와 소프트웨어(Software)로 구성된 환경이다.In general, virtual reality environments are hardware and software that help users experience and immerse themselves in an interactive (or interactive) environment, such as natural phenomena created by computers. It is an environment composed of (Software).

이러한 가상환경을 구축할 때 사용하는 가상현실 시스템은 주로 시각, 청각 및 촉각 등과 같은 인간의 감각 기관을 자극하는 3차원 입체영상 디스플레이, 렌더링 엔진(Rendering Engine), 트랙킹(Tracking), 청각 및 촉각 장치 형태로 구성된다. 그 중에서도 인간의 정보 습득 과정은 시각정보에 가장 큰 영향을 받는다.The virtual reality system used in constructing such a virtual environment is mainly a three-dimensional stereoscopic image display, rendering engine, tracking, auditory and haptic device that stimulates human sense organs such as visual, auditory and tactile senses. Form. Among them, the human information acquisition process is most affected by visual information.

이런 점에 착안하여 가상현실 환경 구축 시에 사용자에게 현실감 있는 시각 정보를 줄 수 있는 3차원 입체영상을 주로 사용하게 된다. 이런 이유로 많은 국내외 대학교, 산업체 연구 기관에서 3차원 입체영상 디스플레이에 관한 연구를 활발히 진행되고 있다.With this in mind, three-dimensional stereoscopic images that can give realistic visual information to users are mainly used when constructing a virtual reality environment. For this reason, many domestic and overseas universities and industry research institutes are actively researching 3D stereoscopic image display.

상기 가상현실은 과학적 현상 분석을 위한 과학적 가시화(Scientific Visualization), 산업현장에서 상품 디자인(Industry and Product Design), 교육이나 군사작전 시뮬레이션(Education and Military Simulation)등 다양하게 사용되고 있다.The virtual reality is used in various ways such as scientific visualization (Scientific Visualization) for the analysis of scientific phenomena, Industry and Product Design in the field, education and military simulation (Education and Military Simulation).

그리고, 3차원적 가시화 가상현실 환경은 기존에 모니터 화면에서 텍스트나 2차원 그림으로 볼 때보다 방대한 자료 분석이나 군사작전 시뮬레이션 수행 시 상황판단을 더 빠르고 쉽게 이해할 수 있게 도와준다.In addition, the three-dimensional visualization virtual reality environment helps to understand the situation judgment more quickly and easily when performing extensive data analysis or military operation simulation than when viewing text or two-dimensional pictures on the monitor screen.

또한, 상기 가상현실은 자동차나 공장 설비 등 제조업에서 비용과 시간이 많이 드는 시제품 제작에 기존의 찰흙모델을 대체하여 많이 사용되고 있다. 그 외에도 건축, 의료 및 교육 등에서도 활용성이 높아 현재 국내외 대학교, 산업체 연구 기관 등에서 연구 및 사용 중이다. 특히, 상기 가상현실의 구현은 게임 교육 훈련 등에서 저렴한 비용으로 실지 상황에서와 동일한 체험을 할 수 있고 매우 효 율적으로 교육 및 훈련이 가능하다.In addition, the virtual reality is used in place of the existing clay model in the production of prototypes that are expensive and time-consuming in the manufacturing industry, such as automobiles or factory equipment. In addition, it is widely used in architecture, medicine, and education, and is currently being researched and used by universities and industry research institutes at home and abroad. In particular, the implementation of the virtual reality can have the same experience as in the actual situation at a low cost in the game education and training, and can be very efficiently education and training.

한편, 현재 가상현실 시스템에서 가장 많이 사용되고 있는 3차원 디스플레이 방법은 구현이 쉽고 사실적인 입체표현이 가능한 양안시차(Stereoscopic) 방식이다. 상기 양안시차 방식은 두개의 스크린을 분리해서 보내주는 두부 장착형 디스플레이(Head-Mounted Display, HMD)와 미국 일리노리 주립대학교 전자시각화연구소에서 개발한 프로젝션을 사용한 완전 몰입형 CAVE나 ImmersaDesk 등과 같은 능동형 양안시차(Active-stereoscopic) 방식이다.On the other hand, the three-dimensional display method currently used in virtual reality system is a stereoscopic method that is easy to implement and realistic three-dimensional representation. The binocular parallax is an active binocular parallax such as a head-mounted display (HMD) that sends two screens separately, and a fully immersive CAVE or ImmersaDesk using projection developed by the University of Illinois State of Visualization. (Active-stereoscopic) method.

그러나, 상기 능동형 스테레오 방식은 가장 확실한 3차원 입체효과를 주는 반면 디스플레이 장치 가격과 셔터글라스를 착용하기에 부피가 크며 가격이 비싸고 약한 단점이 있다. 한편, 편광 필터를 사용한 수동형 양안시차(Passive-stereoscopic) 방식은 가격은 저렴하나 역시 편광 안경을 착용해야 3차원 입체영상을 볼 수 있다. 따라서, 사용자가 언제나 즉각적으로 3차원 입체영상을 볼 수 있는 즉시성이 떨어진다.However, the active stereo system has the disadvantage of being bulky, expensive, and weak to wear a display device and a shutter glass while providing the most obvious three-dimensional stereoscopic effect. On the other hand, the passive-stereoscopic method using a polarizing filter is inexpensive, but can also see a three-dimensional stereoscopic image when wearing polarized glasses. Therefore, the instantaneous user can always see the three-dimensional stereoscopic images immediately.

이런 즉시성 문제를 해결하기 위해서, 사용자가 특수 장비를 착용하는 대신 특정장치들을 디스플레이에 설치하거나 소프트웨어적으로 해결하여 관찰자가 다른 보조 장치 없이 육안으로 3차원 입체영상을 볼 수 있도록 해주는 무안경식 양안시차(Auto-stereoscopic) 방식 기술이 현재 많이 개발 및 연구 수행되고 있다.To solve this instantaneous problem, instead of wearing special equipment, users can install specific devices on the display or solve them in software, allowing the viewer to see three-dimensional stereoscopic images with the naked eye without any other assistive devices. (Auto-stereoscopic) technology is currently being developed and researched a lot.

이러한 무안경식 양안시차방식은 선진 외국 연구소와 다국적 기업, 또한 국내 대기업을 중심으로 연구 및 개발되고 있지만, 아직까지 상호작용적인 가상현실 환경에 적합한 무안경식 양안시차 디스플레이가 사용된 곳은 찾아보기 힘들다.These autonomous binocular disparity methods have been researched and developed around advanced foreign research institutes, multinational corporations and domestic large corporations, but it is hard to find a place where the autonomous binocular disparity display is suitable for the interactive virtual reality environment.

하지만 최근에 주목을 받고 있는 집적영상시스템(Integral Imaging System, IIS)은 무안경식 입체영상 방식임에도 불구하고, 마치 부피표현(Volumetric) 디스플레이 방식처럼 연속된 시차와 컬러 정보를 제공해줄 수 있어 관찰자가 시점을 비교적 자유롭게 움직일 수 있다는 장점을 제공한다.In recent years, the Integrated Imaging System (IIS), which has attracted much attention, has been able to provide continuous disparity and color information, like a volumetric display, despite the fact that it is autostereoscopic. It offers the advantage of being relatively free to move.

상기 집적영상시스템(IIS)은 크게 렌즈 어레이(Lens array)와 카메라 등과 같은 장치들을 이용해서 3차원 정보를 2차원 이미지인 기초영상(Elemental images)으로 바꿔서 저장해주는 픽업(Pick-up) 부분과, 만들어진 기초영상들(Elemental images)을 이용해서 다시 입체영상의 형태로 보여주는 디스플레이(Display) 부분으로 나누어진다.The integrated image system (IIS) includes a pick-up part which largely converts 3D information into elemental images, which are two-dimensional images, by using devices such as a lens array and a camera, and the like. Using the created elemental images, the display is divided into a display part that is displayed in the form of a stereoscopic image.

이때, 상기 픽업 부분을 구성하는 장치대신 컴퓨터 그래픽(Computer Graphic)을 이용해서 기초영상을 만들 수 있다. 이렇게 컴퓨터 그래픽을 활용해서 기초영상을 생성하는 시스템을 컴퓨터-생성(Computer-Generated, CG) 집적영상시스템이라고 칭하며, 컴퓨터 그래픽을 이용해 기초영상을 만들어내는 과정을 이미지 매핑(Image Mapping)이라 칭한다.In this case, a basic image may be generated using a computer graphic instead of a device constituting the pickup portion. The system for generating basic images using computer graphics is called a computer-generated integrated image system, and the process of creating basic images using computer graphics is called image mapping.

상기 이미지 매핑을 이용하면 카메라가 찍기 어려운 개체나 환경의 재현이 가능하며, 실제 존재하지 않는 개체들도 입체영상을 통해서 보는 것이 가능해진다. 또한, 표현할 수 있는 범위에 제한이 없으므로 기존의 집적영상시스템에 비해서 사용자들에게 훨씬 다양한 경험을 줄 수 있어 그 활용성이 무궁무진하다고 할 수 있겠다.By using the image mapping, it is possible to reproduce an object or an environment that is difficult for the camera to shoot, and to view an object that does not actually exist through a stereoscopic image. In addition, since there is no limit to the range that can be expressed, it is possible to give users a much wider experience as compared to the existing integrated image system, and its use is infinite.

기존에 제안된 대표적인 이미지 매핑기술들로 포인트 리트레이싱 렌더 링(Point Retracing Rendering, PRR), 다중 뷰포인트 렌더링(Multiple Viewpoint Rendering, MVR) 및 병렬 그룹 렌더링(Parallel Group Rendering, PGR) 등이 있다. 하지만 이러한 종래의 이미지 매핑기술들은 속도가 매우 느리거나 기초렌즈의 개수와 디스플레이 장치의 해상도에 의해 기초영상의 생성 속도가 영향을 받아 가상현실이나 게임처럼 복잡한 3차원 물체를 실시간 그래픽 처리해야하는 분야에서 사용하기에 힘들다.Typical image mapping techniques that have been proposed include Point Retracing Rendering (PRR), Multiple Viewpoint Rendering (MVR), and Parallel Group Rendering (PGR). However, these conventional image mapping techniques are used in the field where real time graphic processing of complex 3D objects such as virtual reality or game is affected because the speed of generating the basic image is affected by the very slow speed or the number of the basic lenses and the resolution of the display device. Hard to do

즉, 상기 포인트 리트레이싱 렌더링(PRR) 방식은 이미지 매핑기술 중에서 가장 간단한 방법으로서, 이러한 포인트 리트레이싱 렌더링(PRR) 방식은 화면에 표시할 개체의 모든 점들을 기초영상들의 픽셀에 대응시켜 만들어 낸다. 대상물의 한 점이 일정한 간격을 갖는 점들의 형태로 기초영상이 표현되며, 이 과정을 대상물의 모든 점에 대해 적용시키는 것이다. 상기 포인트 리트레이싱 렌더링(PRR) 방식은 구현이 간단하지만, 대상물의 모든 점들에 대해서 기초영상을 만들어내는 계산이 수행되므로 대상물의 크기가 커짐에 따라 계산량이 늘어나 실시간 그래픽에서 사용하기는 어렵다는 단점이 있다.That is, the point retracing rendering (PRR) method is the simplest method among image mapping techniques. The point retracing rendering (PRR) method generates all points of an object to be displayed on the screen in correspondence with pixels of the base images. The basic image is expressed in the form of points at which one point of the object is at regular intervals, and this process is applied to all points of the object. The point retrace rendering (PRR) method is simple to implement, but since calculations are performed to generate a basic image for all points of the object, the computational amount increases as the size of the object increases, making it difficult to use in real-time graphics. .

그리고, 상기 다중 뷰포인트 렌더링(MVR) 방식은 집적영상시스템(IIS)이 렌즈 어레이를 이용하여 기초영상을 픽업하는 과정을 컴퓨터 그래픽을 이용해서 유사하게 수행하는 방식이다. 상기 다중 뷰포인트 렌더링(MVR) 방식에서는 3차원 컴퓨터 그래픽 라이브러리로 가상의 3차원 공간에 존재하는 개체를 가상의 카메라를 이용해 촬영하여 기초영상들을 만들어낸다.The multi-viewpoint rendering (MVR) method is a method in which an integrated image system (IIS) similarly performs a process of picking up a basic image using a lens array using computer graphics. In the multi-viewpoint rendering (MVR) method, a three-dimensional computer graphics library is used to photograph basic objects in a virtual three-dimensional space by using a virtual camera to generate basic images.

이때, 가상의 카메라는 렌즈 어레이의 기초렌즈 피치(Pitch)만큼씩 이동하 고 뷰포인트(Viewpoint)와 배율(Magnification)이 기초영상의 생성에 많은 영향을 미치게 된다. 이러한 다중 뷰포인트 렌더링(MVR) 방식은 렌더링 과정이 단순하지만 정확한 기초영상을 얻을 수 있는 방법이다. 또한, 다양한 3차원 객체를 별다른 변환 과정을 거치지 않고 직접영상시스템(IIS)에 적용시킬 수 있으며, 상기 포인트 리트레이싱 렌더링(PRR) 방식과는 달리 대상물의 크기가 기초영상 생성 속도에 크게 영향을 미치지는 않는다.At this time, the virtual camera moves by the basic lens pitch of the lens array and the viewpoint and magnification have a great influence on the generation of the basic image. This multi-viewpoint rendering (MVR) method is a method of obtaining a simple basic image, but the rendering process is simple. In addition, various three-dimensional objects can be applied directly to the image system (IIS) without undergoing a separate conversion process, and unlike the point retracing rendering (PRR) method, the size of the object does not significantly affect the basic image generation speed. Does not.

하지만, 상기 다중 뷰포인트 렌더링(MVR) 방식은 상기 포인트 리트레이싱 렌더링(PRR) 방식과는 달리 렌즈 어레이에 존재하는 기초렌즈의 개수만큼 뷰포인트를 생성해 가상의 카메라를 각각의 기초렌즈 위치에 놓고 찍게 된다. 따라서, 기초렌즈의 수가 증가함에 따라 기초영상을 만들어내는 속도가 느려지게 되므로, 해상도가 높아지거나 기초렌즈의 개수가 많아질 경우에는 실시간 처리가 어렵다는 단점이 있다.However, unlike the point retracing rendering (PRR) method, the multi-viewpoint rendering method generates viewpoints as many as the number of elementary lenses existing in the lens array, and places a virtual camera at each elementary lens position. Will be taken. Therefore, as the number of the base lenses increases, the speed of generating the base image becomes slow, and thus, when the resolution increases or the number of the base lenses increases, real-time processing is difficult.

그리고, 상기 병렬 그룹 렌더링(PGR) 방식은 집적영상시스템(IIS)에서 초점모드(Focused mode)일 경우, 각각의 기초렌즈가 픽셀처럼 보이는 특성을 적용한다. 상기 초점모드는 기초렌즈의 초점거리와 디스플레이 장치와 렌즈어레이와의 간격이 같은 값을 갖는 경우로, 이 경우 집적영상시스템(IIS)은 렌즈 어레이 앞뒤로 동시에 집적영상을 표시할 수 있다. 이러한 병렬 그룹 렌더링(PGR) 방식은 시스템 요소들에 의해 정해진 방향에서 촬영된 디렉셔널 장면(Directional scene)들을 픽셀 단위로 처리하여 기초영상을 만드는 방법이다. 상기 다중 뷰포인트 렌더링(MVR) 방식에서 촬영되는 디렉셔널 장면의 개수가 렌즈 어레이의 기초렌즈의 개 수에 의해 결정되는 반면에, 상기 병렬 그룹 렌더링(PGR) 방식은 기초렌즈 영역 내의 픽셀의 수로 결정된다. 그러므로, 상기 병렬 그룹 렌더링(PGR) 방식에서는 렌즈 어레이의 기초렌즈의 개수는 기초영상 생성 속도에 영향을 미치지 않는다.In the parallel group rendering (PGR) method, in the focus mode in the integrated imaging system IIS, each elementary lens applies a characteristic that looks like a pixel. The focus mode is a case in which the focal length of the elementary lens and the distance between the display device and the lens array have the same value. In this case, the integrated imaging system IIS may display the integrated image simultaneously before and after the lens array. This parallel group rendering (PGR) method is a method of creating a basic image by processing directional scenes photographed in a direction determined by system elements in units of pixels. The number of directional scenes photographed in the multi-viewpoint rendering (MVR) method is determined by the number of elementary lenses of the lens array, while the parallel group rendering (PGR) method is determined by the number of pixels in the elementary lens area. do. Therefore, in the parallel group rendering (PGR) method, the number of base lenses of the lens array does not affect the speed of generating the base image.

그러나, 상기 병렬 그룹 렌더링(PGR) 방식은 초점모드의 특성을 이용하는 방법이므로, 초점모드의 특성상 집적영상의 두께는 충분히 표현할 수 있지만, 해상도는 기초렌즈 크기의 역수로 떨어지는 문제점이 있다.However, since the parallel group rendering (PGR) method uses the characteristics of the focus mode, the thickness of the integrated image can be sufficiently expressed due to the characteristics of the focus mode, but the resolution falls to the inverse of the size of the base lens.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있도록 한 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법을 제공하는데 있다.The present invention has been made to solve the above-described problem, an object of the present invention is to shoot a directional scene (Directional scene) using a virtual camera of a virtual two-dimensional or three-dimensional object module, and calculated in advance The present invention provides a method and an image mapping apparatus in a computer-generated integrated image system that can be applied to real-time image processing more efficiently by generating a basic image set by resizing it to a window position of a display device after engraving to a size. .

전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템에 있어서, 상기 이미지 매핑장치는, 가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈; 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈; 상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈; 및 상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 제공하는 것이다.In order to achieve the above object, a first aspect of the present invention provides an image mapping apparatus for generating a basic image set for a virtual two-dimensional or three-dimensional object model using a virtual camera, and the generated basic image set. In the CG (Computer-Generated) integrated image system including a display device for implementing a three-dimensional integrated image and a lens array consisting of a plurality of elementary lenses, the image mapping device is a virtual two-dimensional or three-dimensional object model An object processing module for storing and updating the data; A control module configured to calculate various pieces of information data about a directional scene and a virtual camera position at which the virtual object model is stored in the object processing module by using information about the basic lens; A rendering processing module for generating a directional scene set by moving and photographing a virtual camera position by the number of the directional scenes through various information data calculated from the control module; And sculpting each directional scene of the directional scene set generated from the rendering processing module corresponding to the number of the base lenses, and then carving each of the sculpted directional scenes at a predetermined window position of the display device. The present invention provides an image mapping apparatus in a computer-generated integrated imaging system, comprising: an image processing module configured to rearrange and generate a basic image set, and output the generated basic image set to the display device.

본 발명의 제2 측면은, 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템을 이용하여 이미지를 매핑하는 방법에 있어서, (a) 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 단계; (b) 상기 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬 영하여 디렉셔널 장면 집합을 생성하는 단계; 및 (c) 상기 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 제공하는 것이다.According to a second aspect of the present invention, an image mapping apparatus for generating a basic image set for a virtual two-dimensional or three-dimensional object model using a virtual camera, and the generated basic image set as a three-dimensional integrated image A method of mapping an image using a computer-generated (CG) integrated imaging system including a display device and a lens array consisting of a plurality of elementary lenses, the method comprising: (a) using information about the elementary lens set in advance Calculating various information data about a directional scene of photographing a virtual object model and a virtual camera position; (b) generating a directional scene set by moving and photographing a virtual camera position by the number of the directional scenes through the calculated various information data; And (c) sculpting each directional scene of the generated directional scene set corresponding to the number of elementary lenses, and then rearranging each of the sculpted directional scenes to a predetermined window position of the display device. The present invention provides a method of mapping an image in a computer-generated integrated imaging system, comprising: generating a basic image set.

여기서, 상기 단계(d)이후에, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 단계를 더 포함함이 바람직하다.Here, after step (d), the method may further include outputting the generated basic image set to the display device.

바람직하게는, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지이다.Preferably, the directional scene is an image captured at a magnification (M) size of 1 / base lens of a window size of the display device to generate a virtual object model at a current virtual camera position within a virtual camera shooting range. to be.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention illustrated below may be modified in many different forms, and the scope of the present invention is not limited to the embodiments described below. The embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 설명하기 위한 전체적인 블록 구성도이다.1 is an overall block diagram illustrating an image mapping apparatus in a computer-generated integrated imaging system according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 적용된 컴퓨터-생성(Computer-Generated, CG) 집적영상시스템은 크게, 이미지 매핑장치(100), 디스플레이 장 치(200) 및 다수개의 기초렌즈(Elemental lens)로 이루어진 렌즈 어레이(Lens array)(300)를 포함하여 이루어진다.Referring to FIG. 1, a computer-generated (CG) integrated imaging system applied to an embodiment of the present invention is largely an image mapping apparatus 100, a display device 200, and a plurality of elemental lenses. It comprises a lens array (Lens array) 300 consisting of a lens.

여기서, 본 발명의 일 실시예에 따른 이미지 매핑장치(100)는 고성능의 퍼스널 컴퓨터(Personal Computer, PC)에서 동작하게 될 기초영상을 만들어내는 소프트웨어(Software)로서, 예컨대, OpenGL이나 DirectX와 같은 3차원 그래픽 라이브러리를 이용하여 구현됨이 바람직하지만, 이에 국한하지 않으며, 통상의 하드웨어(Hardware) 장치로 구현할 수도 있다.Here, the image mapping apparatus 100 according to an embodiment of the present invention is software for generating a basic image to be operated in a high-performance personal computer (PC), for example, 3 such as OpenGL or DirectX. Although implemented using the dimensional graphic library, it is not limited thereto, and may be implemented by a general hardware device.

이러한 이미지 매핑장치(100)는 가상의 2차원 또는 3차원 객체모델 대한 기초영상집합을 생성하기 위한 기능을 수행하는 것으로서, 객체처리모듈(110), 제어모듈(120), 렌더링 처리모듈(130) 및 영상처리모듈(140)을 포함하여 구성되어 있다.The image mapping apparatus 100 performs a function for generating a basic image set for a virtual two-dimensional or three-dimensional object model, the object processing module 110, the control module 120, the rendering processing module 130 And an image processing module 140.

객체처리모듈(110)은 가상의 2차원 또는 3차원 객체모델 정보데이터들을 저장 및 갱신하는 기능을 수행한다.The object processing module 110 stores and updates virtual two-dimensional or three-dimensional object model information data.

제어모듈(120)은 장치의 초기화를 비롯한 전체적인 제어를 수행하는 바, 특히 기설정된 렌즈 어레이(300)의 기초렌즈(Elemental lens)에 대한 정보들(예컨대, 기초렌즈의 크기, 개수 및 초점거리 등)을 이용하여 객체처리모듈(110)에 저장된 가상의 2차원 또는 3차원 객체모델을 촬영한 디렉셔널 장면(Directional scene)에 대한 각종 정보데이터(예컨대, 디렉셔널 장면의 크기 및 개수, 디렉셔널 장면을 조각 낼 크기 및 개수 등) 및 가상의 카메라 위치 및 전방시야각(Field Of View, FOV) 등의 정보데이터를 연산하는 기능을 수행한다.The control module 120 performs overall control including the initialization of the device. In particular, the information about the elemental lens of the preset lens array 300 (for example, the size, number and focal length of the elementary lens, etc.) is performed. Various information data (eg, size and number of directional scenes, directional scenes) for a directional scene photographing a virtual 2D or 3D object model stored in the object processing module 110 using The size and number of pieces to be carved), and information data such as virtual camera position and field of view (FOV).

렌더링 처리모듈(130)은 제어모듈(120)로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 매번 이동 촬영하여 디렉셔널 장면 집합을 생성하는 기능을 수행한다.The rendering processing module 130 performs a function of generating a directional scene set by moving and photographing virtual camera positions as many as the number of directional scenes through the various information data calculated from the control module 120.

영상처리모듈(140)은 렌더링 처리모듈(130)로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 렌즈 어레이(300)의 기초렌즈(Elemental lens)의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 디스플레이 장치(200)의 윈도우(Window) 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 디스플레이 장치(200)로 출력하는 기능을 수행한다.The image processing module 140 slices each directional scene of the directional scene set generated from the rendering processing module 130 corresponding to the number of elemental lenses of the lens array 300, and then fragments the directional scenes. Each of the processed directional scenes is rearranged to a predetermined window position of the display apparatus 200 to generate a base image set, and outputs the generated base image set to the display apparatus 200. .

한편, 디스플레이 장치(200)와 렌즈 어레이(300)는 이미지 매핑장치(100)로부터 완성된 기초영상집합을 제공받아 3차원 집적영상으로 구현하기 위한 구성요소들로서, 기존의 컴퓨터-생성(CG) 집적영상시스템에서의 구성과 동일하다.Meanwhile, the display apparatus 200 and the lens array 300 are components for implementing the 3D integrated image by receiving the completed basic image set from the image mapping apparatus 100, and are conventional computer-generated (CG) integration. The configuration is the same as in the imaging system.

즉, 디스플레이 장치(200)는 이미지 매핑장치(100)의 영상처리모듈(140)로부터 생성된 기초영상집합을 제공받아 이를 디스플레이(Display)하는 장치로서 예컨대, 통상의 액정 표시 장치(LCD), CRT 모니터 또는 프로젝터(Projector) 등이 사용될 수 있다.That is, the display apparatus 200 receives a basic image set generated from the image processing module 140 of the image mapping apparatus 100 and displays the same. For example, a conventional liquid crystal display (LCD) and a CRT. A monitor or a projector may be used.

그리고, 렌즈 어레이(300)는 디스플레이 장치(200)의 표시 영역에 대응하여 행렬로 배열되어 있는 다수의 렌즈들로 이루어지며, 이러한 렌즈 어레이(300)를 구성하는 렌즈들을 기초렌즈(Elemental lens)라고 명명한다.The lens array 300 includes a plurality of lenses arranged in a matrix corresponding to the display area of the display apparatus 200. The lenses constituting the lens array 300 are called elemental lenses. Name it.

이러한 렌즈 어레이(300)를 통해 사용자는 3차원의 집적영상을 보게 된다. 이때 볼 수 있는 집적영상은 다른 3차원 영상과는 달리 부피표현(Volumetric) 디스플레이 방식처럼 연속된 시차와 컬러 정보를 제공해줄 수 있어 관찰자가 비교적 자유로운 시점을 가질 수 있다.Through the lens array 300, the user sees an integrated image in three dimensions. Unlike other 3D images, the integrated image can provide continuous parallax and color information like a volumetric display method, so that an observer can have a relatively free viewpoint.

도 2는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 전체적인 흐름도이고, 도 3a 및 도 3b는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 개념도로서, 도 3a는 가상의 카메라를 이용하여 디렉셔널 장면을 촬영하는 과정을 설명하기 위한 개념도이고, 도 3b는 디렉셔널 장면을 기초영상집합으로 변환하는 과정을 설명하기 위한 개념도이다.FIG. 2 is an overall flowchart illustrating an image mapping method in a computer-generated integrated video system according to an embodiment of the present invention, and FIGS. 3A and 3B are computer-generated integrated video systems according to an embodiment of the present invention. 3A is a conceptual diagram illustrating a process of photographing a directional scene using a virtual camera, and FIG. 3B illustrates a process of converting a directional scene into a base image set. It is a conceptual diagram for illustration.

도 2 및 도 3을 참조하면, 먼저, 가상의 카메라를 이용하여 객체처리모듈(110, 도 1 참조)에 저장된 가상의 2차원 또는 3차원 객체모델에 대한 디렉셔널 장면(Directional scene)을 촬영하기 위하여 제어모듈(120, 도 1 참조)을 통해 몇몇 요건 값들의 연산이 필요하다.2 and 3, first, photographing a directional scene of a virtual two-dimensional or three-dimensional object model stored in the object processing module 110 (see FIG. 1) using a virtual camera. In order to calculate some requirement values, the control module 120 (see FIG. 1) is required.

즉, 제어모듈(120)은 기설정된 렌즈 어레이(300, 도 1 참조)의 기초렌즈에 대한 정보들(예컨대, 기초렌즈의 크기, 개수 및 초점거리 등)을 이용하여 가상의 2차원 또는 3차원 객체모델을 촬영한 디렉셔널 장면에 대한 각종 정보데이터(예컨대, 디렉셔널 장면의 크기 및 개수, 디렉셔널 장면을 조각 낼 크기 및 개수 등) 및 가상의 카메라 위치(Vij) 및 전방시야각(Field Of View, FOV) 등의 정보데이터 를 연산한다(S100).That is, the control module 120 uses virtual information (eg, size, number and focal length of the base lens) of the preset lens array 300 (refer to FIG. 1) to virtual 2D or 3D. Various information data (eg, size and number of directional scenes, size and number of snippets of directional scenes), and virtual camera position (V ij ) and forward field of view (Field Of) Information data such as View, FOV) is calculated (S100).

여기서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 디스플레이 장치(200, 도 1 참조)의 윈도우(window) 크기의 1/M 크기로 촬영하여 나온 이미지이다.In this case, the directional scene is captured at a size of 1 / M of a window size of the display apparatus 200 (see FIG. 1) to generate a virtual object model at a current virtual camera position within a virtual camera shooting range. It is an image.

이때, 상기 M은 렌즈 어레이(300)에서 하나의 원소에 해당하는 기초렌즈(Elemental lens)의 배율(Magnification)이다. 하기의 수학식 1은 집적영상시스템의 배율(Magnification)을 나타낸다.In this case, M is magnification of an elemental lens corresponding to one element in the lens array 300. Equation 1 below represents Magnification of an integrated imaging system.

Figure 112006046152075-pat00001
Figure 112006046152075-pat00001

여기서, f는 상기 기초렌즈의 초점거리이고, g는 디스플레이 장치(200)와 렌즈 어레이(300)와의 거리이며, L은 렌즈 어레이(300)와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.Here, f is the focal length of the primary lens, g is the distance between the display device 200 and the lens array 300, L is the distance between the lens array 300 and the Central Depth Plane (CDP), the CDP is The position at which the focal point determined by g is established.

그리고, 상기 디렉셔널 장면을 촬영하기 위하여 3차원 공간상의 정확한 가상의 카메라 위치(Vij)를 구해야 한다. 이를 위해 먼저, 상기 기초렌즈의 배율(M)의 중간 값인 CM을 계산하고, 상기 가상의 카메라 위치(Vij)는 하기의 수학식 2에 의해 연산되며, 상기 디렉셔널 장면의 개수는 상기 기초렌즈의 배율(M)의 자승(M×M)으로 연산된다.In order to capture the directional scene, an accurate virtual camera position V ij in three-dimensional space must be obtained. To this end, first, C M, which is an intermediate value of the magnification M of the base lens, is calculated, and the virtual camera position V ij is calculated by Equation 2 below, and the number of the directional scenes is determined based on the basis of the base lens. It is computed by the square (MxM) of the magnification M of a lens.

Figure 112006046152075-pat00002
Figure 112006046152075-pat00002

여기서, 상기 N은 렌즈 어레이(300) 한 변의 기초렌즈 개수이다.Here, N is the number of elementary lenses on one side of the lens array 300.

다음으로, 렌더링 처리모듈(130, 도 1 참조)을 통해 상기 단계S100에서 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수(M×M)만큼 가상의 카메라 위치를 매번 이동 촬영하여 디렉셔널 장면 집합을 생성한 후(S200), 영상처리모듈(140, 도 1 참조)를 통해 상기 단계S200에서 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 렌즈 어레이(300)의 기초렌즈의 개수(N×N)에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 디스플레이 장치(200)의 윈도우 위치에 재배치하여 기초영상집합을 생성한다(S300). 마지막으로, 상기 단계S300에서 생성된 기초영상집합을 디스플레이 장치(200)로 출력하여 렌즈 어레이(300)를 통해 사용자는 3차원의 집적영상을 보게 된다(S400).Next, through the rendering processing module 130 (see FIG. 1), the virtual camera position is moved and photographed every time by the number of the directional scenes M × M through the various information data calculated in step S100. After generating the set (S200), through the image processing module 140 (refer to FIG. 1), the directional scenes of the directional scene set generated in the step S200 are stored in the number of elementary lenses of the lens array 300 (N ×). After the engraving process corresponds to N), each of the fragmented directional scenes is rearranged at a predetermined window position of the display apparatus 200 to generate a base image set (S300). Finally, the basic image set generated in step S300 is output to the display apparatus 200, and the user views the 3D integrated image through the lens array 300 (S400).

이때, 상기 조각 처리된 각각의 디렉셔널 장면들을 재배치하기 위한 디스플레이 장치(200)의 윈도우 위치(Vxy)는 하기의 수학식 3에 의해 연산된다.In this case, the window position V xy of the display apparatus 200 for rearranging the fragmented directional scenes is calculated by Equation 3 below.

Figure 112006046152075-pat00003
Figure 112006046152075-pat00003

여기서, nx, ny=0, 1, 2,..., N-1 이고, my, my=0, 1, 2,..., M-1 이고, 상기 SW는 디스플레이 장치(200)의 윈도우의 픽셀 개수로서 하기의 수학식 4에 의해 연산되며, 상기 DS는 상기 디렉셔널 장면을 분리할 크기로서 하기의 수학식 5에 의해 연산된다.Here, n x , n y = 0, 1, 2, ..., N-1, m y , m y = 0, 1, 2, ..., M-1, S W is a display device The number of pixels of the window of (200) is calculated by Equation 4 below, and D S is calculated by Equation 5 below as a size to separate the directional scene.

Figure 112006046152075-pat00004
Figure 112006046152075-pat00004

여기서, SI는 상기 디렉셔널 장면에 대한 한 변의 크기로서, 렌즈 어레이(300)의 기초렌즈의 지름(PL)과 렌즈 어레이(300) 한 변의 기초렌즈 개수(N)의 곱으로 결정되며, 상기 Px는 디스플레이 장치(200)의 도트(Dot) 크기이다. 즉, 상기 구해진 SI 값을 디스플레이 장치(200)의 도트 크기(PX)로 나누면 시스템이 생성하는 디스플레이 장치(200)의 윈도우의 픽셀 개수(SW)가 나온다.Here, S I is a size of one side of the directional scene, and is determined as a product of the diameter P L of the base lens of the lens array 300 and the number of base lenses N of one side of the lens array 300. P x is a dot size of the display apparatus 200. That is, dividing the obtained S I value by the dot size P X of the display apparatus 200 yields the number of pixels S W of the window of the display apparatus 200 generated by the system.

Figure 112006046152075-pat00005
Figure 112006046152075-pat00005

도 3a 및 도 3b를 참조하여 구체적으로 예를 들어 설명하면, 상기 기초렌즈의 배율(M)이 5이고, 상기 기초렌즈가 13×13(N×N)개 있는 렌즈 어레이(300)를 사용할 경우, 본 발명의 일 실시예에 따른 이미지 매핑방법 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식으로 촬영을 하게 되면 M×M개, 하나의 완성된 기초영상집합을 생성하기 위해 도 3a에 도시된 바와 같이 25개의 디렉셔널 장면을 촬영하고, 도 3b에 도시된 바와 같이 영상처리를 한다.Referring to FIGS. 3A and 3B, for example, the magnification M of the base lens is 5, and the lens array 300 having 13 × 13 (N × N) lenses is used. 3A to generate M × M and one completed basic image set when photographing using an image mapping method according to an embodiment of the present invention, that is, a viewpoint vector rendering (VVR) method As shown, 25 directional scenes are photographed and image processing is performed as shown in FIG. 3B.

하지만, 상기 기초렌즈에 맺히게 되는 이미지를 촬영하게 된다면 N×N개인 169개를 촬영하고 영상처리를 하지 않는다. 하지만 3D 그래픽 라이브러리를 생성한 가상공간을 한번 촬영하는 것은 2D 영상처리를 하는 것에 비해 매우 많은 컴퓨터 3차원 렌더링을 요하게 되므로, 같은 배율의 기초렌즈 수가 늘어날수록 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식과 기존의 이미지 매핑방법들과의 속도 차이는 더욱 벌어지게 된다.However, if the image to be formed on the basic lens is photographed, 169 N × N individuals are photographed and image processing is not performed. However, once the virtual space where the 3D graphic library is generated takes much more computer 3D rendering than 2D image processing, the viewpoint vector rendering (VVR) method of the present invention increases as the number of basic lenses having the same magnification increases. And the speed difference between the existing image mapping methods become wider.

도 3b는 촬영한 디렉셔널 장면을 조각 내서 완전한 기초영상집합이 되기 위해 각 조각들이 맺히게 될 기초렌즈의 위치로 재배치하는 영상처리 과정을 나타낸 것으로서, 상기 영상처리 과정에서 하나의 디렉셔널 장면은 기초렌즈의 개수 즉, N×N개의 조각들로 쪼개진다. 이 조각들이 재배치되는 위치는 항상 고정되어 있는데, 이 위치는 다음과 같이 구해진다.FIG. 3B illustrates an image processing process of fragmenting a photographed directional scene and relocating it to a position of a base lens to which each piece is formed in order to become a complete basic image set. In the image processing, one directional scene is a base lens. Is divided into N × N pieces. The location where these pieces are relocated is always fixed, which is obtained as:

상기 완성된 기초영상집합의 크기를 N×N개로 나눈 후, 그 하나의 구역을 다시 M×M개로 나눈다. 이 과정을 거쳐 나오게 된 하나의 구역들이 디렉셔널 장면을 쪼갠 조각들이 위치할 구역이 된다. 이때, 상기 조각의 크기(DS)는 상기의 수학식 5에 의해 구해지며, 상기 조각들이 디스플레이 장치(200)의 윈도우에 위치할 좌표 (Vxy)는 상기의 수학식 3에 의해 구해진다. 이때, 상기의 수학식 5에서 조각 내는 크기(DS)는 디스플레이 장치(200)의 도트 크기(PX)보다 작을 수 없다.The size of the completed basic image set is divided by N × N, and then one region is divided by M × M. One area that emerged through this process becomes the area where the fragments of the directional scene are located. In this case, the size D S of the fragment is obtained by Equation 5, and the coordinate V xy where the pieces are located in the window of the display apparatus 200 is obtained by Equation 3 above. In this case, the engraving size D S in Equation 5 may not be smaller than the dot size P X of the display apparatus 200.

즉, 도 3b의 디렉셔널 장면 집합에서 왼쪽 상단을 첫 번째 디렉셔널 장면, 오른쪽 하단을 M×M번째 디렉셔널 장면이라고 하고, 디렉셔널 장면을 조각 낸 부분에서 왼쪽 상단을 첫 번째 디렉셔널 장면 조각, 오른쪽 하단을 N×N번째 디렉셔 널 장면 조각이라 하자.In other words, in the directional scene set of FIG. 3B, the upper left is the first directional scene, the lower right is the M × M directional scene, and the upper left is the first directional scene piece in the fragmented directional scene. Let the bottom right corner be the N × N-th directory cut.

그리고, 기초영상집합에서 왼쪽 상단을 첫 번째 기초영상, 오른쪽 하단을 N×N번째 기초영상, 하나의 기초영상을 분리한 것에 대해 왼쪽 상단을 첫 번째 기초영상 구역, 오른쪽 하단을 M×M번째 기초영상 구역이라고 하자.In the basic image set, the upper left corner is the first basic image, the lower right corner is the N × N base image, and the upper left corner is the first basic image section, and the lower right corner is the M × M base. Let's call it an image zone

그러면, 첫 번째 디렉셔널 장면은 N×N개의 조각으로 나눠지고, 첫 번째 디렉셔널 장면 조각부터 N×N번째 디렉셔널 장면 조각들은 각각 첫 번째 기초영상부터 N×N번째 기초영상의 각각 첫 번째 구역에 재배치된다.Then, the first directional scene is divided into N × N pieces, and the N × N directional scene pieces from the first directional scene piece are each the first zone of the N × N base picture, respectively. Are relocated to.

또한, 두 번째 디렉셔널 장면도 N×N개의 조각으로 나눠지고, 첫 번째 디렉셔널 장면 조각부터 N×N번째 디렉셔널 장면 조각들은 각각 첫 번째 기초영상부터 N×N번째 기초영상의 각각 두 번째 구역에 재배치된다. 이러한 과정을 M×M번째 디렉셔널 장면까지 반복하게 되면, 하나의 완성된 기초영상집합이 생성되고, 관찰자는 이 영상을 렌즈 어레이(300)를 통해 3차원 영상으로 관찰할 수 있게 된다.In addition, the second directional scene is also divided into N × N pieces, and the N × N directional scene pieces from the first directional scene piece are respectively divided into the second zones of the N × N base picture from the first base picture. Are relocated to. When this process is repeated up to the M × M directional scene, one completed basic image set is generated, and the viewer can observe the image as a 3D image through the lens array 300.

도 4는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(Multiple Viewpoint Rendering, MVR) 방식을 비교하여 나타낸 그림이다.4 is an image mapping method in a computer-generated integrated imaging system according to an embodiment of the present invention, that is, a viewpoint vector rendering (VVR) scheme and a multiple viewpoint rendering (MVR) of the related art. ) Is a picture comparing the methods.

도 4를 참조하면, 도 4의 (a)에서 좌측 그림은 2차원 객체모델 예컨대, M 글씨에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 2차원 M 글씨에 대한 종래 기술의 다중 뷰포인트 렌더 링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.Referring to FIG. 4, in FIG. 4A, the left figure is basic images generated by using the viewpoint vector rendering (VVR) method of the present invention for a 2D object model, for example, M letter, and the right figure is 2 Basic images generated using a multi-viewpoint rendering (MVR) method of the prior art for the dimensional M letter.

도 4의 (b)에서 좌측 그림은 2차원 객체모델 예컨대, 주전자 이미지에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 2차원 주전자 이미지에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.In FIG. 4 (b), the left figure is basic images generated by using the viewpoint vector rendering (VVR) method of the present invention for a two-dimensional object model, for example, a kettle image, and the right figure is a conventional image for a two-dimensional kettle image. Basic images created using the technology's multiple viewpoint rendering (MVR) method.

도 4의 (c)에서 좌측 그림은 3차원 객체모델 예컨대, 소 모델에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 3차원 소 모델에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.In FIG. 4C, the left figure is basic images generated by using the viewpoint vector rendering (VVR) method of the present invention for a three-dimensional object model, for example, a small model, and the right figure is a conventional example for a three-dimensional small model. Basic images created using the technology's multiple viewpoint rendering (MVR) method.

도 4의 (d)에서 좌측 그림은 3차원 객체모델 예컨대, 주전자 모델에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 3차원 주전자 모델에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.In (d) of FIG. 4, the left figure is basic images generated by using the viewpoint vector rendering (VVR) method of the present invention for a three-dimensional object model, for example, a kettle model, and the right figure is a conventional example for a three-dimensional kettle model. Basic images created using the technology's multiple viewpoint rendering (MVR) method.

이와 같이 본 발명에 따른 뷰포인트 벡터 렌더링(VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식으로 생성된 두 그림은 육안으로 볼 때에 큰 차이를 느낄 수 없다. 그리고, 하기의 표 1의 PSNR(Peak Signal to Noise Ratio) 값을 보았을 때도 50dB에서 150dB 정도로 이미지 차이가 거의 없음을 알 수 있다.As such, the two pictures generated by the viewpoint vector rendering (VVR) method and the multi-viewpoint rendering (MVR) method of the related art according to the present invention do not feel a great difference when viewed with the naked eye. And, even when looking at the PSNR (Peak Signal to Noise Ratio) value of Table 1, it can be seen that there is almost no image difference from about 50 dB to about 150 dB.

MVR vs. VVRMVR vs. VVR PSNR_rPSNR_r PSNR_gPSNR_g PSNR_bPSNR_b 2차원 M 글씨2D M Letter 143.84143.84 143.84143.84 143.84143.84 2차원 주전자 그림Two dimensional kettle illustration 121.45121.45 120.51120.51 120.89120.89 3차원 소 모델3D small model 59.7359.73 63.7563.75 62.3162.31 3차원 주전자 모델Three dimensional kettle model 49.1749.17 53.6353.63 56.1756.17

즉, 본 발명에 따른 뷰포인트 벡터 렌더링(VVR) 방식으로 생성한 기초영상이 유효하다는 것을 검증하기 위해 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식으로 생성한 기초영상과 PSNR 값을 비교하였다. 상기 PSNR은 그림간의 유사성을 찾기 위하여 사용하는 것으로 일반적으로 40dB 이상일 경우 유사한 그림으로 생각한다.That is, in order to verify that the base image generated by the viewpoint vector rendering (VVR) method according to the present invention is valid, the base image generated by the conventional multi-viewpoint rendering (MVR) method and the PSNR value were compared. The PSNR is used to find similarity between pictures. Generally, the PSNR is regarded as a similar picture when 40 dB or more.

이를 구체적으로 설명하면, 2차원 객체모델들(2차원 M 글씨와 주전자 그림)의 경우에는 PSNR 값이 매우 높게 나타났다. 그러나, 3차원 객체모델들(3차원 소와 주전자 그림)은 객체의 두께, 조명 또는 카메라 위치의 차이 등의 요소로 인하여 각각 가상의 카메라 위치에서 촬영된 장면이 조금 더 차이가 생긴다. 그래서, 상기의 표 1에서 보는 바와 같이 3차원 객체모델로 만든 기초영상은 2차원 객체모델로 만든 기초영상에 비해 PSNR 값이 상대적으로 낮다. 이는 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식의 뷰포인트 위치 차이로 인해 깊이를 표현할 때에 에러(error)가 생기기 때문이다.Specifically, the PSNR value was very high in the two-dimensional object models (two-dimensional M letter and kettle picture). However, the three-dimensional object models (three-dimensional cow and kettle picture) are slightly different from the scene photographed at the virtual camera position due to factors such as object thickness, lighting, or difference in camera position. Thus, as shown in Table 1, the base image made of the 3D object model has a lower PSNR value than the base image made of the 2D object model. This is because an error occurs when the depth is expressed due to the viewpoint position difference of the viewpoint vector rendering (VVR) method of the present invention.

예를 들어 3차원 주전자 모델의 경우, 깊이 정보가 다른 모델에 비해 상대적으로 두꺼웠던 점 때문에 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 비교했을 때 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식의 기초영상의 품질이 좀 더 떨어진 것을 볼 수 있다. 하지만, 이것 역시 40dB이상이므로 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식으로 3차원 객체모델을 이용하여 생성한 기초영상도 유효하다고 볼 수 있다.For example, in the case of the three-dimensional kettle model, since the depth information is relatively thicker than other models, the viewpoint vector rendering (VVR) method of the present invention is compared with the conventional multi-viewpoint rendering (MVR) method. You can see that the quality of the basic image is a little worse. However, since this is also 40dB or more, the basic image generated by using the 3D object model using the viewpoint vector rendering (VVR) method of the present invention is also valid.

이렇게 비슷한 기초영상을 만들어낼 수 있으면서도, 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 본 발명의 뷰포인트 벡터 렌더링(VVR) 두 방식의 렌더링 속도를 비교하면, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 약 1.5∼5배정도 빠르다. 이는 하기의 표 2의 요건을 갖는 직접영상시스템의 경우, 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식이 13×13만큼 카메라 촬영을 해야 하는 반면에 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 5×5만큼 촬영하기 때문에, 이론상 6배 이상 속도가 빨리 나와야 하지만, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 3차원 렌더링의 부담을 줄이기 위해 2차원 영상처리를 하는 과정을 수행하기 때문에 전체적인 렌더링 속도를 떨어뜨린 결과이다.While similar basic images can be produced, the rendering speeds of the conventional multi-viewpoint rendering (MVR) method and the viewpoint vector rendering (VVR) method of the present invention are compared. ) Is about 1.5 to 5 times faster. In the case of the direct image system having the requirements of Table 2 below, the conventional multi-viewpoint rendering (MVR) method requires 13 × 13 camera shooting, whereas the viewpoint vector rendering (VVR) method of the present invention is Since it shoots as much as 5 × 5, it should theoretically be six times faster. However, the viewpoint vector rendering (VVR) method of the present invention performs two-dimensional image processing to reduce the burden of three-dimensional rendering. The result is a slower rendering.

디스플레이 장치와 렌즈 어레이와의 거리(g)Distance between display device and lens array (g) 17.6mm17.6mm 렌즈 어레이와 CDP와의 거리(L)Distance between lens array and CDP (L) 88mm88 mm 기초렌즈의 지름(PL)Diameter of the primary lens (P L ) 10mm10 mm 디스플레이 장치의 도트 크기(PD)Dot size of the display device (P D ) 0.25mm0.25mm 배율(M)Magnification (M) 55 렌즈 어레이의 기초렌즈 개수Basic lens count of lens array 13×1313 × 13 기초렌즈의 초점거리(f)Focal length of the primary lens (f) 22mm22 mm

도 5는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하기 위하여 기초렌즈 개수에 따른 기초영상 생성 속도를 나타낸 그래프이다.FIG. 5 is a graph showing a base image generation speed according to the number of base lenses in order to compare an image mapping method in a computer-generated integrated imaging system according to an embodiment of the present invention with a multi-viewpoint rendering (MVR) method of the related art. to be.

도 5를 참조하면, 예컨대, 3차원 소 객체모델을 이용하여 렌즈 어레이(300)의 기초렌즈 개수에 따른 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식의 FPS(frames per second)를 측정한 것으로서, 현재 뷰포인트 벡터 렌더링(VVR)의 구현은 Windows PC 기반의 오프스크린 렌더링(offscreen rendering) 방식으로 구현된 것으로 그래픽 하드웨어 가속이 되지 않아 FPS가 낮다.Referring to FIG. 5, for example, a viewpoint vector rendering method according to the present invention according to the number of elementary lenses of the lens array 300 using a three-dimensional small object model, and a multiple viewpoint rendering method according to the related art. As a measure of frames per second (FPS), the current implementation of viewpoint vector rendering (VVR) is implemented as a Windows PC-based offscreen rendering method, which has low FPS due to lack of graphics hardware acceleration.

그러나, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식에 비해 상대적으로 시스템 요건에 영향을 덜 받는 경향성을 보여준다. 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식이 렌즈 어레이(300)의 기초렌즈 개수의 증가에 따라 속도가 급속하게 감소하는 것에 비해 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 기초렌즈 개수에 영향을 받지 않는다. 또한, 종래 기술의 병렬 그룹 렌더링(PGR) 방식은 초점모드만 지원하는 반면에, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 리얼모드, 가상모드에서도 다 사용할 수 있으며, 초점모드일 때 본 발명의 뷰포인트 벡터 렌더링(VVR)은 종래 기술의 병렬 그룹 렌더링(PGR) 방식과 일치한다.However, the viewpoint vector rendering (VVR) scheme of the present invention shows a tendency to be relatively less affected by system requirements than the multiple viewpoint rendering (MVR) scheme of the prior art. The viewpoint vector rendering (VVR) method of the present invention affects the number of elementary lenses while the speed of the conventional multi-viewpoint rendering (MVR) method decreases rapidly as the number of elementary lenses of the lens array 300 increases. Do not receive. In addition, the conventional parallel group rendering (PGR) method supports only the focus mode, whereas the viewpoint vector rendering (VVR) method of the present invention can be used in real mode or virtual mode, and when the focus mode is used, The viewpoint vector rendering of VVR is consistent with the parallel group rendering (PGR) scheme of the prior art.

전술한 바와 같은 본 발명에서 제안된 뷰포인트 벡터 렌더링(VVR) 방식은 각각의 기초렌즈에 맺히게 되는 이미지들을 촬영하여 기초영상을 만들어내는 방법을 취하지 않고, 디렉셔널 장면을 촬영한다.As described above, the viewpoint vector rendering (VVR) method proposed in the present invention captures a directional scene without taking a method of generating a basic image by capturing images formed on each basic lens.

또한, 본 발명의 일 실시예에 따른 컴퓨터-생성(CG) 집적영상시스템에서의 이미지 매핑장치 및 그 방법은 실시간 그래픽을 처리하는 프로그램에서 쉽게 사용할 수 있도록 사물의 크기나 기초렌즈의 개수, 해상도에 의해서 크게 영향을 받지 않는 빠른 이미지 매핑 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식을 구현하고 있다.In addition, the image mapping device and the method in the computer-generated (CG) integrated imaging system according to an embodiment of the present invention can be used in the size of the object, the number and the resolution of the base lens so that it can be easily used in the program processing the real-time graphics It implements fast image mapping, which is not greatly affected by Viewpoint Vector Rendering (VVR).

이러한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 실시간 그래픽 처리를 통해 무안경식 입체영상 집적영상시스템을 만들 수 있는 기초를 구축할 수 있으며, 이는 양안시차만을 사용하던 가상현실 시스템에 비해 즉시성 문제뿐만 아니라 거추장스러운 장비를 착용해야 하는 문제를 해결할 수 있다.The viewpoint vector rendering (VVR) method of the present invention can establish the basis for creating an autostereoscopic 3D integrated image system through real-time graphic processing, which is a problem of immediateness as compared to a virtual reality system using only binocular disparity. It can also solve the problem of wearing cumbersome equipment.

즉, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 표현하는 대상의 크기나 시스템에서 사용하는 렌즈 어레이(Lens array)의 기초렌즈(Elemental lens)의 수에 영향을 받지 않아서 실시간 영상처리에 보다 유리하다.That is, the viewpoint vector rendering (VVR) method of the present invention is more advantageous for real-time image processing because it is not affected by the size of the object to be expressed or the number of elemental lenses of the lens array used in the system. Do.

또한, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 촬영해야 하는 장면의 개수가 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 같이 렌즈 어레이의 기초렌즈 개수에 영향을 받지 않고, 배율에 따라 디렉셔널 장면(Directional scene)을 사용하는 점에서 종래 기술의 병렬 그룹 렌더링(PGR) 방식과 흡사하다. 하지만, 종래 기술의 병렬 그룹 렌더링(PGR) 방식과는 달리 디렉셔널 장면을 픽셀 단위가 아니라 미리 계산된 크기로 잘라 처리하기 때문에 집적영상시스템의 디스플레이 모드 중 초점모드(Focused mode)뿐만 아니라, 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 작아서 집적영상이 렌즈 어레이 앞에 맺히는 리얼모드(Real mode)와 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 커서 집적영상이 렌즈 어레이 뒤에 맺히는 가상모드(Virtual mode)에서 다 사용할 수 있다.In addition, according to the viewpoint vector rendering (VVR) method of the present invention, the number of scenes to be photographed is not affected by the number of elementary lenses of the lens array as in the multi-viewpoint rendering (MVR) method of the prior art, and according to the magnification according to the magnification. It is similar to the parallel group rendering (PGR) method of the prior art in that it uses a direction scene. However, unlike the conventional parallel group rendering (PGR) method, since the directional scene is cut and processed in a pre-computed size instead of a pixel unit, not only the focus mode but the primary lens of the display mode of the integrated imaging system The focal length of the lens is small between the display device and the lens array, so the integrated mode is formed in front of the lens array, and the focal length of the primary lens is larger than that of the display device and the lens array. It can be used in virtual mode.

따라서, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 실시간 기초영상 생성 처리가 가능하고, OpenGL 같은 잘 알려진 3차원 그래픽 라이브러리를 사용하여 가상의 3차원 물체에 대한 기초영상(Elemental image)을 형성하는 컴퓨터-생성(CG) 집적영상시스템에 적용이 쉽다.Therefore, the viewpoint vector rendering (VVR) method of the present invention enables real-time basic image generation processing, and forms an elemental image of a virtual three-dimensional object using a well-known three-dimensional graphics library such as OpenGL. Easy to apply to computer-generated (CG) integrated imaging systems

더욱이, 3차원 게임이 주류를 이루고 있는 현 시점에서 기존의 가상현실 장비에 비해 훨씬 저렴한 집적영상 인터페이스(interface)를 활용해 입체영상을 보여줄 수 있다면, 게이머들이나 가상환경 사용자들의 호기심을 자극할 수 있으므로 게임 및 가상현실 응용 프로그램 제작 업체에서 본 발명을 적용한다면 각종 엔터테인먼트 산업에 상당히 큰 파급효과를 줄 수 있다.Furthermore, if 3D games are the mainstream and can show stereoscopic images using a much cheaper integrated video interface than existing virtual reality equipment, it can stimulate the curiosity of gamers or users of virtual environment. Application of the present invention to game and virtual reality application makers can have a significant ripple effect on various entertainment industries.

전술한 본 발명에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.Although the above-described preferred embodiments of the image mapping apparatus and method thereof in the computer-generated integrated imaging system according to the present invention have been described, the present invention is not limited thereto, but the claims and the detailed description of the invention and the accompanying drawings. It is possible to carry out various modifications within the scope of this also belongs to the present invention.

이상에서 설명한 바와 같은 본 발명의 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 따르면, 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있는 이점이 있다.According to the image mapping apparatus and method therefor in the computer-generated integrated imaging system of the present invention as described above, a virtual scene is captured by a virtual camera using a virtual two-dimensional or three-dimensional object module. In addition, the fragment is processed into a pre-calculated size and then rearranged to a window position of the display device to generate a basic image set, which can be applied to real-time image processing more effectively.

또한, 본 발명에 따르면, 집적영상시스템의 디스플레이 모드 중 초점모드(Focused mode)뿐만 아니라 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 작아서 집적영상이 렌즈 어레이 앞에 맺히는 리얼모드(Real mode)와 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 커서 집적영상이 렌즈 어레이 뒤에 맺히는 가상모드(Virtual mode)에서 모두 용이하게 사용할 수 있는 이점이 있다.In addition, according to the present invention, not only the focus mode of the display mode of the integrated image system but also the real mode in which the integrated image is formed in front of the lens array because the focal length of the basic lens is small between the display device and the lens array. ) And the focal length of the elementary lens are large, and the distance between the display device and the lens array can be easily used in the virtual mode where the integrated image is formed behind the lens array.

Claims (7)

가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템에 있어서,An image mapping apparatus for generating a basic image set for a virtual 2D or 3D object model using a virtual camera, a display apparatus for implementing the generated basic image set as a 3D integrated image, and a plurality of basics In the CG (Computer-Generated) integrated imaging system comprising a lens array consisting of a lens, 상기 이미지 매핑장치는,The image mapping device, 가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈;An object processing module for storing and updating virtual two-dimensional or three-dimensional object models; 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈;A control module configured to calculate various pieces of information data about a directional scene and a virtual camera position at which the virtual object model is stored in the object processing module by using information about the basic lens; 상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈; 및A rendering processing module for generating a directional scene set by moving and photographing a virtual camera position by the number of the directional scenes through various information data calculated from the control module; And 상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.After sculpting the directional scenes of the directional scene set generated by the rendering processing module corresponding to the number of the elementary lenses, each of the fragmented directional scenes is rearranged at a predetermined window position of the display device. And an image processing module for generating a basic image set, and outputting the generated basic image set to the display device. 제 1 항에 있어서, 상기 기초렌즈에 대한 정보들은 상기 기초렌즈의 크기, 개수 및 초점거리 정보이며,The method of claim 1, wherein the information on the base lens is information on the size, number and focal length of the base lens, 상기 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 정보데이터는 상기 디렉셔널 장면의 크기 및 개수, 상기 디렉셔널 장면을 조각낼 크기 및 개수, 상기 디렉셔널 장면을 촬영할 가상의 카메라 위치 및 전방시야각(Field Of View, FOV) 정보데이터인 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.Information data about the directional scene and the virtual camera position photographing the virtual object model includes the size and number of the directional scene, the size and number of pieces of the directional scene, and the virtual camera to photograph the directional scene. An image mapping apparatus in a computer-generated integrated imaging system, characterized in that the position and field of view (FOV) information data. 제 1 항에 있어서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지이고, 상기 기초렌즈의 배율(M)은 하기의 수학식 6에 의해 연산되며, 상기 가상의 카메라 위치(Vij)는 하기의 수학식 7에 의해 연산되며, 상기 디렉셔널 장면의 개수는 상기 기초렌즈의 배율(M)의 자승(M×M)으로 연산되는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.The method of claim 1, wherein the directional scene is captured at a magnification (M) size of 1 / base lens of a window size of the display device to generate a virtual object model at a current virtual camera position within a virtual camera shooting range. The magnification M of the elementary lens is calculated by Equation 6 below, and the virtual camera position V ij is calculated by Equation 7 below. The image mapping apparatus of the computer-generated integrated imaging system, characterized in that it is calculated by the square (M × M) of the magnification M of the elementary lens.
Figure 112006046152075-pat00006
Figure 112006046152075-pat00006
 여기서, f는 상기 기초렌즈의 초점거리이고, g는 상기 디스플레이 장치와 상기 렌즈 어레이와의 거리이며, L은 상기 렌즈 어레이와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.Here, f is the focal length of the primary lens, g is the distance between the display device and the lens array, L is the distance between the lens array and the Central Depth Plane (CDP), the CDP is determined by the g Losing is the point of focus.
Figure 112006046152075-pat00007
Figure 112006046152075-pat00007
 여기서, CM은 상기 기초렌즈의 배율(M)의 중간 값이고, 상기 N은 상기 렌즈 어레이 한 변의 기초렌즈 개수이다.Here, C M is a median value of the magnification M of the base lens, and N is the number of base lenses of one side of the lens array. 제 1 항에 있어서, 상기 조각 처리된 각각의 디렉셔널 장면들을 재배치하기 위한 상기 디스플레이 장치의 윈도우 위치(Vxy)는 하기의 수학식 8에 의해 연산되는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.The computer-generated integrated imaging system of claim 1, wherein the window position V xy of the display device for relocating the fragmented directional scenes is calculated by Equation 8 below. Image Mapping Device.
Figure 112006046152075-pat00008
Figure 112006046152075-pat00008
 여기서, nx,ny=0,1,2,...,N-1 이고, my,my=0,1,2,...,M-1 이고, 상기 SW는 상기 디스플레이 장치의 윈도우의 픽셀 개수로서 하기의 수학식 9에 의해 연산되며, 상기 DS는 상기 디렉셔널 장면을 분리할 크기로서 하기의 수학식 10에 의해 연산된다.Where n x , n y = 0,1,2, ..., N-1, m y , m y = 0,1,2, ..., M-1, and S W is the display The number of pixels of the window of the device is calculated by Equation 9 below, and D S is calculated by Equation 10 below as the size to separate the directional scene.
Figure 112006046152075-pat00009
Figure 112006046152075-pat00009
 여기서, SI는 상기 디렉셔널 장면에 대한 한 변의 크기로서, 상기 기초렌즈의 지름(PL)과 상기 렌즈 어레이 한 변의 기초렌즈 개수(N)의 곱으로 결정되며, 상기 Px는 상기 디스플레이 장치의 도트 크기이다.Here, S I is a size of one side of the directional scene, and is determined as a product of the diameter P L of the base lens and the number of base lenses N of one side of the lens array, and P x is the display device. Dot size.
Figure 112006046152075-pat00010
Figure 112006046152075-pat00010
 여기서, 상기 M은 상기 기초렌즈의 배율로서 하기의 수학식 11에 의해 연산된다.Here, M is calculated by the following Equation 11 as the magnification of the basic lens.
Figure 112006046152075-pat00011
Figure 112006046152075-pat00011
 여기서, f는 상기 기초렌즈의 초점거리이고, g는 상기 디스플레이 장치와 상기 렌즈 어레이와의 거리이며, L은 상기 렌즈 어레이와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.Here, f is the focal length of the primary lens, g is the distance between the display device and the lens array, L is the distance between the lens array and the Central Depth Plane (CDP), the CDP is determined by the g Losing is the point of focus. 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템을 이용하여 이미지를 매핑하는 방법에 있어서,An image mapping apparatus for generating a basic image set for a virtual 2D or 3D object model using a virtual camera, a display apparatus for implementing the generated basic image set as a 3D integrated image, and a plurality of basics In the method of mapping an image using a computer-generated (CG) integrated imaging system comprising a lens array consisting of a lens, (a) 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 단계;(a) calculating various pieces of information data about a directional scene and a virtual camera position at which the virtual object model is photographed using information about the basic lens; (b) 상기 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 단계; 및(b) generating a directional scene set by moving and photographing a virtual camera position by the number of the directional scenes through the calculated various information data; And (c) 상기 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.(c) carving each directional scene of the generated directional scene set corresponding to the number of the base lenses, and then rearranging each of the fragmented directional scenes at a predetermined window position of the display device; Generating a basic image set; and a method of mapping an image in a computer-generated integrated image system. 제 5 항에 있어서, 상기 단계(d)이후에, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.6. The method of claim 5, further comprising, after step (d), outputting the generated basic image set to the display device. 제 5 항에 있어서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지인 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.6. The method of claim 5, wherein the directional scene is captured at a magnification (M) size of 1 / base lens of a window size of the display device to generate a virtual object model at a current virtual camera position within a virtual camera shooting range. An image mapping method in a computer-generated integrated imaging system, characterized in that one image.
KR1020060058472A 2006-06-28 2006-06-28 Apparatus for image mapping in computer-generated integral imaging system and method thereof KR100764382B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060058472A KR100764382B1 (en) 2006-06-28 2006-06-28 Apparatus for image mapping in computer-generated integral imaging system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060058472A KR100764382B1 (en) 2006-06-28 2006-06-28 Apparatus for image mapping in computer-generated integral imaging system and method thereof

Publications (1)

Publication Number Publication Date
KR100764382B1 true KR100764382B1 (en) 2007-10-08

Family

ID=39419390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060058472A KR100764382B1 (en) 2006-06-28 2006-06-28 Apparatus for image mapping in computer-generated integral imaging system and method thereof

Country Status (1)

Country Link
KR (1) KR100764382B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356378B1 (en) 2012-07-02 2014-01-28 충북대학교 산학협력단 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof
US9135521B2 (en) 2008-10-31 2015-09-15 Samsung Electronics Co., Ltd. Image processing apparatus and method for determining the integral image
KR101567002B1 (en) 2014-02-19 2015-11-09 동서대학교산학협력단 Computer graphics based stereo floting integral imaging creation system
CN102138095B (en) * 2008-07-08 2016-08-24 3M创新有限公司 For the method preparing the optical element of the display virtual image
CN112837428A (en) * 2021-01-13 2021-05-25 西安飞蝶虚拟现实科技有限公司 Courseware making system and method based on virtual reality technology
KR20230087795A (en) 2021-12-10 2023-06-19 재단법인 구미전자정보기술원 Apparatus and method for producting and displaying integral image capable of 3d/2d conversion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2006.2.9. 한국광학회 2006년도 동계학술발표회 논문집(제287면 내지 제288면)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138095B (en) * 2008-07-08 2016-08-24 3M创新有限公司 For the method preparing the optical element of the display virtual image
US9135521B2 (en) 2008-10-31 2015-09-15 Samsung Electronics Co., Ltd. Image processing apparatus and method for determining the integral image
KR101356378B1 (en) 2012-07-02 2014-01-28 충북대학교 산학협력단 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof
KR101567002B1 (en) 2014-02-19 2015-11-09 동서대학교산학협력단 Computer graphics based stereo floting integral imaging creation system
CN112837428A (en) * 2021-01-13 2021-05-25 西安飞蝶虚拟现实科技有限公司 Courseware making system and method based on virtual reality technology
CN112837428B (en) * 2021-01-13 2023-11-21 西安飞蝶虚拟现实科技有限公司 Courseware making system and method based on virtual reality technology
KR20230087795A (en) 2021-12-10 2023-06-19 재단법인 구미전자정보기술원 Apparatus and method for producting and displaying integral image capable of 3d/2d conversion

Similar Documents

Publication Publication Date Title
Balram et al. Light‐field imaging and display systems
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
CN101636747B (en) Two dimensional/three dimensional digital information acquisition and display device
US7787009B2 (en) Three dimensional interaction with autostereoscopic displays
JP4489610B2 (en) Stereoscopic display device and method
CN115951504A (en) Three-dimensional glasses-free light field display using eye positions
KR102121389B1 (en) Glassless 3d display apparatus and contorl method thereof
US9933626B2 (en) Stereoscopic image
CN101631257A (en) Method and device for realizing three-dimensional playing of two-dimensional video code stream
KR100764382B1 (en) Apparatus for image mapping in computer-generated integral imaging system and method thereof
JP7377413B2 (en) Light field image generation system, image display system, shape information acquisition server, light field image generation method, and image display method
CN104702936A (en) Virtual reality interaction method based on glasses-free 3D display
CN105007477A (en) Method for realizing naked eye 3D display based on Unity3D engine
WO2012140397A2 (en) Three-dimensional display system
CN109493409B (en) Virtual three-dimensional scene stereo picture drawing method based on left-right eye space multiplexing
WO2007085194A1 (en) Stereo image display device with liquid crystal shutter and display method thereof
CN107948631A (en) It is a kind of based on cluster and the bore hole 3D systems that render
CN102063735B (en) Method and device for manufacturing three-dimensional image source by changing viewpoint angles
US20080316299A1 (en) Virtual stereoscopic camera
CN111327886A (en) 3D light field rendering method and device
US20210327121A1 (en) Display based mixed-reality device
KR101912242B1 (en) 3d display apparatus and method for image processing thereof
Jeong et al. Efficient light-field rendering using depth maps for 100-mpixel multi-projection 3D display
CN114637391A (en) VR content processing method and equipment based on light field
Katayama et al. A method for converting three-dimensional models into auto-stereoscopic images based on integral photography

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120907

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee