KR100321897B1 - 입체영상이미지변환방법및그장치 - Google Patents

입체영상이미지변환방법및그장치 Download PDF

Info

Publication number
KR100321897B1
KR100321897B1 KR1019980057178A KR19980057178A KR100321897B1 KR 100321897 B1 KR100321897 B1 KR 100321897B1 KR 1019980057178 A KR1019980057178 A KR 1019980057178A KR 19980057178 A KR19980057178 A KR 19980057178A KR 100321897 B1 KR100321897 B1 KR 100321897B1
Authority
KR
South Korea
Prior art keywords
image
original
depth
pixel
outline
Prior art date
Application number
KR1019980057178A
Other languages
English (en)
Other versions
KR20000041329A (ko
Inventor
김용식
정성철
Original Assignee
박남은
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박남은 filed Critical 박남은
Priority to KR1019980057178A priority Critical patent/KR100321897B1/ko
Priority to PCT/KR1999/000806 priority patent/WO2000038434A1/en
Publication of KR20000041329A publication Critical patent/KR20000041329A/ko
Application granted granted Critical
Publication of KR100321897B1 publication Critical patent/KR100321897B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 일반적인 2차원 이미지에서 3차원 입체 이미지를 만들어 내는 입체 영상 이미지 변환방법 및 그 장치에 관한 것으로, 일반적인 2차원 이미지에서 사용자가 임의로 구분해 내는 물체들을 객체화하여 그 객체들을 기준으로 이미지를 편집하였다. 즉 일반 2차원 영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의 오른쪽 눈 이미지를 원래 영상과 합성하여 3차원 입체 영상 자료로 만들어 줌으로써, 세밀한 입체 이미지의 구현 및 입체감이 가능하고 기존에 존재하는 수많은 2차원 이미지를 활용할 수 있고 입체 영상 자료의 제작에 소요되는 많은 노력과 비용을 절감시킬 수 있는 매우 뛰어난 효과가 있다.

Description

입체 영상 이미지 변환방법 및 그 장치
본 발명은 일반적인 2차원 이미지에서 3차원 입체 이미지를 만들어 내는 입체 영상 이미지 변환방법 및 그 장치에 관한 것으로, 보다 상세하게는 일반 2차원영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의 오른쪽 눈 이미지를 원래 영상과 합성하여 3차원 입체 영상 자료로 만들어 줌으로써 입체 영상 자료의 제작에 소요되는 많은 노력과 비용을 절감시킨 입체 영상 이미지 변환방법 및 그 장치에 관한 것이다.
사람은 왼쪽 눈과 오른쪽 눈에서 서로 다른 각도로 물체를 바라봄으로써 입체감을 느끼게 된다. 이와 같은 원리에 기초하여 왼쪽 눈과 오른쪽 눈의 시각 위치에서 따로 촬영한 2개의 영상을 왼쪽 눈과 오른쪽 눈에 각각 보여줌으로써 인공적으로 입체 영상을 구현한다.
그러나, 이와 같은 종래의 기술이 효과를 발휘하기 위해서는 상기와 같이 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상이 각각 존재해야 하므로 입체 영상을 만들기 위해서는 2대의 카메라를 이용하여 새로이 영상을 제작해야하는 어려움이 있었다. 이는 기존에 존재하던 수많은 2차원 영상을 입체영상 구현시스템에서는 활용할 수가 없다는 것을 말해준다. 상기와 같은 이유로 일반 사용자들이 접할 수 있는 입체 영상물이 부족하여 입체 영상 기술의 대중화에 걸림돌이 되고 있으며, 입체 영상 기술의 응용 분야에서는 영상 자료의 제작을 위해 많은 시간과 비용이 소모되는 문제점이 있었다.
따라서, 본 발명은 상기 문제점을 해결하기 위하여 발명된 것으로, 그 목적으로 하는 바는 일반 2차원 영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의 오른쪽 눈 이미지를 원래 영상과 합성하여 3차원 입체 영상 자료로 만들어 줌으로써 입체 영상 자료의 제작에 소요되는 많은 노력과 비용을 절감시킨 입체 영상 이미지 변환방법 및 그 장치를 제공하는데 있다.
도 1은 본 발명에 의한 입체 영상 이미지 변환장치의 구성과 자료의 흐름을 개략적으로 나타낸 블록도
도 2는 본 발명의 순차적인 알고리듬을 개략적으로 나타낸 순서도
도 3은 도 2의 부분 중 물체 이미지 추출과 객체화에 관한 단계를 상세히 나타낸 순서도
도 4는 입체 이미지의 일실시예를 나타낸 설명도
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 원화 저장부 20 : 객체 추출부
30 : 원본 객체 배열부 40 : 객체 깊이 배열부
50 : 편집 객체 배열부 60 : 합성 입체 이미지부
70 : 합성 객체 배열부 80,82,84 : 신호 합성부
상기 목적을 달성하기 위하여, 본 발명의 입체 영상 이미지 변환방법은,
입체로 변환하고자 하는 원본 2차원 영상 이미지를 읽어 들여 이를 저장하고 자료 구조를 초기화시키는 제 1단계와,
상기 저장된 원본 이미지로부터 각각의 물체 이미지를 추출하여 객체화하고 이를 저장시키는 제 2단계와,
상기 추출된 객체 이미지를 각 픽셀의 깊이와 객체의 깊이에 따라 각각 조정하여 편집하는 제 3단계와,
상기 편집된 객체 이미지와 전체 이미지를 각각 합성하여 화면에 출력하는 제 4단계를 구비하여 이루어진 것을 특징으로 한다.
이때, 상기 제 2단계에서 각각의 물체 이미지를 추출해 내는 방법은, 각각의 물체 이미지에 대하여 원하는 물체의 외각선을 추출해 내는 단계와, 상기 추출된 외각선을 내포하는 가장 작은 크기의 직사각형을 계산해 내는 단계와, 상기 새로이 추출된 객체를 저장할 공간을 할당하는 단계와, 상기 할당된 공간을 초기화하는 단계와, 상기 직사각형 내부의 픽셀중 어떤 픽셀이 외각선 내부에 있는 지를 비교하는 단계와, 상기 비교 단계에서 어떤 픽셀이 외각선 외부에 있다면 상기 픽셀을 원본객체배열과 편집객체배열에 해당하는 위치에 투명색의 픽셀을 그려주는 단계와, 상기 비교 단계에서 어떤 픽셀이 외각선 내부에 있다면 원본객체배열과 편집객체배열에 이를 복사하고 객체추출공간의 해당하는 위치에 픽셀을 투명색으로 바꾸어주는 단계로 이루어지는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 입체 영상 이미지 변환장치는,
입체로 변환하고자 하는 원본 2차원 영상 자료를 입력받아 이를 저장하는 원화저장수단과,
상기 원화저장수단에 저장된 원본 이미지로부터 각각의 물체 이미지를 추출하여 객체화하고 이를 저장하는 객체추출수단과,
상기 객체추출수단에서 객체 추출된 각 물체의 이미지를 이미지별로 각각 저장하는 원본객체배열수단과,
상기 추출된 객체 이미지를 사용자가 각 픽셀의 깊이와 객체의 깊이에 따라 각각 조정하여 편집하는 객체깊이배열수단과,
상기 원본객체배열수단의 이미지를 상기 객체깊이배열수단의 깊이 값에 따라 변경하여 객체의 오른쪽 이미지를 만들어내며 이를 저장하는 편집객체배열수단과,
상기 원본객체배열수단의 이미지와 편집객체배열수단의 이미지를 합성하여 실제로 입체로 보이는 각 객체의 이미지를 저장하는 합성객체배열수단과,
상기 원화저장수단의 이미지와 편집객체배열수단에 저장되어 있는 각 객체의 오른쪽 눈 이미지를 모두 합성하여 최종적으로 사용자가 얻게될 결과 이미지를 저장하는 합성입체이미지수단을 구비하여 이루어진 것을 특징으로 한다.
상기 구성에 의한 본 발명의 입체 영상 이미지 변환방법 및 그 장치에 의하면, 일반 2차원 영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의오른쪽 눈 이미지를 원래 영상과 합성하여 3차원 입체 영상 자료로 만들어 줌으로써 입체 영상 자료의 제작에 소요되는 많은 노력과 비용을 절감시킬 수 있는 효과가 있다.
이하, 본 발명의 일실시예에 관하여 첨부도면을 참조하면서 상세히 설명한다. 또, 실시예를 설명하기 위한 모든 도면에서 동일한 기능을 갖는 것은 동일한 부호를 사용하고 그 반복적인 설명은 생략한다.
먼저, 본 발명의 원리에 대해 설명하면 다음과 같다.
관찰자로부터 서로 다른 거리를 두고 있는 2개의 물체가 있을 때, 가까이 있는 물체를 바라볼 때와 멀리 있는 물체를 바라볼 때의 시각의 초점의 위치가 다르다. 사람의 양쪽 눈 사이의 거리는 일정하므로, 가까이 있는 물체를 볼 때와 멀리 있는 물체를 볼 때 양쪽 눈에 맺히는 영상 사이의 각도가 다르게 된다. 그러므로 왼쪽 눈이 보는 영상과 오른쪽 눈이 보는 영상을 한 장의 스크린에 영사 시켰을 때, 두 영상 사이의 거리 차이가 물체와 관찰자 사이의 거리에 따라 다르게 나타난다. 이와 같은 효과로 인해 사람의 눈은 양안에 맺히는 두 영상 사이의 거리 차이에 의해 물체와 자신과의 거리감을 느낄 수 있는 것이다.
이 원리를 한 대의 카메라로 찍은 일반 영상 자료에 적용하여 입체감을 느낄 수 있는 영상 자료를 만들어 낸다. 촬영 당시 카메라와 가까이 있었던 물체 A와 물체 A보다는 더 멀리 떨어져 있던 물체 B를 예로 들어 설명하기로 한다. 이 영상 자료를 왼쪽 눈에서 본 영상이라고 한다면 오른쪽 눈에서 본 영상에서는, 각각의 물체가 원래 위치에서 수평으로 평행 이동한 어떤 위치에 맺혔을 것이다. 그런데두 물체와 관측자 사이의 거리가 다르므로 위에서 설명한 바와 같이 평행 이동하는 변위값이 달라야 한다. 즉, 가까이 있는 물체는 양쪽 눈에 맺히는 영상 사이의 각도가 크고 멀리 있는 물체는 그 각도가 작으므로, 가까이 있는 물체 A는 큰 변위를 가지고 평행 이동한 위치에 그려주고, 멀리 있는 물체 B는 작은 변위를 가지고 평행 이동한 위치에 그려주면 오른쪽 눈으로 본 물체 A와 물체 B의 영상을 만들 수 있다. 이제, 왼쪽 눈의 영상은 왼쪽 눈에만 보여주고 새로이 만들어진 오른쪽 눈의 영상은 오른쪽 눈에만 보여준다면, 그 두 영상을 동시에 각각 다른 눈으로 보는 관측자는 그 물체의 영상을 입체로 느낄 수 있다.
본 발명에서는 이와 같은 방법에 의해 일반 2차원 영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의 오른쪽 눈 이미지를 원래 영상과 합성하여 새로운 입체 영상을 만들어 낸다. 즉, 2차원 이미지상의 각각의 물체를 개별적인 객체로 인식하여 입체화한 후 다시 입체화된 객체들을 각각 원본 이미지와 합성하여 최종적으로 합성된 입체 이미지를 만들어 내는 방법을 이용한다. 이는, 원본 이미지 자체를 왼쪽 눈 이미지로 보고 새로이 오른쪽 눈 이미지를 생성하여 합성하는 것이 아니라, 원본 이미지 내부의 객체들을 각각 하나의 왼쪽 눈 이미지로 보고 개별적으로 오른쪽 눈 이미지를 만들어 내어 개별적인 합성 과정을 거친 후 전체 이미지를 만들어 내는 것이 특징적이라고 할 수 있다.
상기와 같은 원리에 의해 구성된 본 발명의 구조와 동작을 첨부도면을 참조하여 보다 자세히 설명하기로 한다.
도 1은 본 발명에 의한 입체 영상 이미지 변환장치의 구성과 자료의 흐름을개략적으로 나타낸 블록도이다. 그리고, 도 2는 본 발명의 순차적인 알고리듬을 개략적으로 나타낸 순서도이고, 도 3은 도 2의 부분 중 물체 이미지 추출과 객체화에 관한 단계를 상세히 나타낸 순서도이다.
먼저, 도 1을 참조하면, 입체로 변환 하고자 하는 원본 2차원 영상 자료를 입력받아 원화 저장부(10)에 저장한다. 여기에 저장된 원본 이미지는 입체로 합성된 이미지를 얻기 위해 왼쪽 눈의 이미지로 사용된다. 여기에 저장된 원본 이미지는 객체 추출부(20)에 그대로 복사되며, 상기 객체 추출부(20)에서 각 물체의 이미지가 추출된다. 여기서 추출된 이미지는 원본 객체 배열부(30)에 각 물체별로 따로 저장되며 추출된 물체의 이미지는 상기 객체 추출부(20)에서 제거된다. 이와 같이 원본 이미지로부터 각 물체의 이미지를 모두 추출해 냈다면 앞으로의 작업은 원본 객체 배열부(30)에 저장된 각 물체의 이미지를 하나 하나의 객체로 생각하여 그 객체들을 대상으로 진행된다.
각 객체는 세 가지의 자료 공간에 대응된다. 첫째는 이미 기술한 원본 객체 배열부(30)이며, 둘째는 객체의 각 픽셀(pixel)이 입체로 편집된 이미지에서 얼마나 들어가 보이는가 혹은 튀어나와 보이는가를 결정하는 값인 '깊이(depth)'를 저장하는 객체 깊이 배열부(40)이며, 셋째는 원본 객체 이미지를 편집하여 생성된 오른쪽 눈 이미지를 저장하는 편집 객체 배열부(50)' 이다.
사용자의 입력에 의해 현재 편집 중인 객체의 어떤 픽셀의 깊이가 변경되었다면 객체 깊이 배열부(40)의 내용이 변경되며, 동시에 원본 객체 배열부(30)의 이미지를 객체 깊이 배열부(40)의 깊이 값에 따라 상기에 기술된 원리와 같이 작용하여 편집 객체 배열부(50)에 객체의 오른쪽 이미지를 만들어 낸다.
이와 같이 객체 이미지가 편집되는 동시에 입체로 합성된 객체의 이미지와 전체 이미지를 보여주기 위하여 합성된 객체의 이미지와 전체 이미지를 저장할 공간이 필요하다.
합성 객체 배열부(70)는 원본 객체 배열부(30)의 이미지와 편집 객체 배열부(50)의 이미지를 합성하여 실제로 입체로 보이는 각 객체의 이미지를 저장해 놓는 장소이다.
합성 입체 이미지부(60)는 원본 저장부(10)의 이미지와 편집 객체 배열부(50)에 저장되어 있는 각 객체의 오른쪽 눈 이미지를 모두 합성하여 최종적으로 사용자가 얻게될 결과 이미지를 저장해 놓는 장소이다. 이미지의 합성은 객체가 편집됨과 동시에 실시간으로 이루어지며, 따라서 사용자가 결과를 눈으로 확인하면서 작업할 수 있게 한다.
이와 같은 구조에 기초하여 다음과 같은 동작에 의해 입체 영상을 만들어 낸다. 도 2는 본 발명의 동작을 개략적으로 나타낸 흐름도로서, 이하 도 2에 의거하여 동작의 각 부분을 순차적으로 자세히 설명하기로 한다.
먼저, 원본 이미지를 읽어들여 각 저장 공간에 대한 초기화 작업을 한다(단계 100).
읽어들인 원본 2차원 이미지를 원본 저장부(도 1의 10)에 저장하고 객체 추출부(도 1의 20)도 원본 이미지로 초기화를 한다. 아직 편집을 하지 않았으므로 합성 입체 이미지부(도 1의 60) 또한 원본 이미지로 초기화된다.
그 후, 원본 이미지로부터 각각의 물체 이미지를 추출해 낸다(단계 120). 이 과정을 도 3을 참조하여 상세히 설명한다.
먼저, 객체 추출부(도 1의 20)의 이미지에 대하여 기존에 발표된 알고리듬을 사용하여 원하는 물체의 외각선을 추출해 낸다(단계 121). 다음에 추출된 외각선을 내포하는 가장 작은 크기의 직사각형을 계산해 낸다(단계 122).
그후 새로이 추출된 객체를 저장할 공간을 원본 객체 배열부(도 1의 30)와, 편집 객체 배열부(도 1의 50)와, 합성 객체 배열부(도 1의 70)와, 그리고 객체 깊이 배열부(도 1의 40)'에 추가한다(단계 123). 단, 여기서 주의할 것은 원본 객체 배열부(도 1의 30)와 편집 객체 배열부(도 1의 50), 그리고 합성 객체 배열부(도 1의 70)에 할당할 공간의 크기를 직사각형의 크기에 정확히 맞추어 할당하지 않고, 좌우로 최대 깊이(maximum depth) 만큼의 여분을 주고 할당해야 한다는 것이다. 이것은 원본 객체 이미지에서 각 픽셀의 깊이에 따라 좌우로 평행 이동하여 새로운 위치에 그려주기 때문이다. 예를 들어, 객체 이미지의 크기가 「140픽셀×60픽셀」이고, 최고 깊이가 100이라면 할당할 공간의 크기는 「340픽셀(140+100+100)×60픽셀」에 해당하는 크기여야 한다. 객체 깊이 배열부(도 1의 40)는 각 픽셀의 깊이를 저장하는데 쓰이므로, 원본 객체 배열부(도 1의 30)와 편집 객체 배열(도 1의 50)에서와 같이 좌우에 여분의 공간을 추가하지 않는다.
다음에, 상기와 같이 할당된 공간을 초기화한다(단계 124).
원본 객체 배열부(도 1의 30)와 편집 객체 배열부(도 1의 50)는 이미지의 손상을 막기 위하여 모두 투명색으로 초기화한다. 객체 깊이 배열부(도 1의 40)의모든 깊이 값은 0으로 초기화된다. 컴퓨터의 모니터를 기준으로 했을 때, 깊이가 0인 경우 그 픽셀은 컴퓨터 모니터 상에 있는 것처럼 보이고, 깊이가 양수라면 그 픽셀은 기준점보다 가까이 있는 것처럼 보인다. 반대로 깊이가 음수라면 그 픽셀은 기준점보다 멀리 있는 것처럼 보인다. 다시 말해 깊이가 양수인 픽셀은 컴퓨터 모니터에서 튀어나와 있는 것처럼 보이고, 깊이가 음수인 픽셀은 컴퓨터 모니터에서 들어가 있는 것처럼 보인다.
또한 새로 추출된 이미지의 '객체 깊이' 또한 0으로 초기화 된다.
여기서 '객체 깊이'란 각 물체 이미지를 '객체'라 칭하기로 한다면, 그 객체가 다른 객체에 비하여 얼마나 돌출되어 있는가 또는 함몰되어 있는가를 나타낸다. 이 값을 조정함으로써 공간상의 각 객체의 위치를 정할 수 있다. 실제로 최종적으로 얻어지는 합성 입체 이미지부(도 1의 60)에서 각 픽셀이 가지는 깊이는 「객체 깊이+픽셀 깊이」로 계산된다.
그 다음 할당한 공간의 중앙 위치(좌우 양쪽의 여분 공간을 제외한 공간)에 새로이 추출된 객체의 이미지를 복사한다(단계 125 및 126).
이미지의 복사는 원본 객체 배열부(도 1의 30)에는 물론이고, 편집 객체 배열부(도 1의 50)에도 해당된다. 편집 객체 배열부(도 1의 50)에는 원본 객체 이미지를 왼쪽 눈의 이미지로 생각하였을 때, 그에 해당하는 오른쪽 눈 이미지가 저장되는데 아직 편집 과정을 거치지 않은 객체이므로 원본 객체 배열부(도 1의 30)의 이미지와 편집 객체 배열부(도 1의 50)의 이미지가 동일할 수 밖에 없다. 추출된 이미지의 복사 과정은 원본 객체 배열부(도 1의 30)에 저장된 객체 이미지 내부의모든 픽셀에 대하여 진행된다.
어떤 픽셀이 외각선 내부에 있다면 객체 추출부(도 1의 20)의 해당하는 위치의 픽셀을 투명색으로 바꾸어 준다(단계 126). 이렇게 함으로써 객체 추출부(도 1의 20)에서 새로이 추출된 물체의 이미지를 제거할 수 있고, 다음에 추출될 다른 물체의 이미지에 영향을 주지 않게 된다. 만약 어떤 픽셀이 외각선 외부에 있다면(단계 127), 원본 객체 배열부(도 1의 30)와 편집 객체 배열부(도 1의 50)의 해당하는 위치에 투명색의 픽셀을 그려준다. 또한 좌우의 여분 공간에도 모두 투명색으로 채워 이미지의 손상이 없도록 한다.
한편, 추출되고 남은 이미지는 '배경 객체'로 저장된다. 배경 객체에 대하여도 상기와 같은 과정을 거쳐 초기화를 한다. 단, 배경 객체는 원본 이미지에서 배경에 해당하는 부분이고, 가장 함몰되어 보여야 하는 객체이므로, 배경 객체의 객체 깊이는 가장 큰 음수값(-1×최대 깊이)으로 설정된다.
상기의 과정을 통해 각 물체의 이미지를 모두 추출하여 객체화하였다면, 이제 객체 이미지를 각각 편집한다(도 2의 단계 140).
객체 편집은 객체상의 각 픽셀의 깊이를 조정하는 것과 객체 깊이를 조정하는 것을 의미한다. 사용자는 각 픽셀의 깊이를 0을 기준으로 하여 양수 혹은 음수로 변화시킨다. 들어가 보여야 할 부분에 대해서는 깊이를 음의 값으로 조정하고, 튀어나와 보여야 할 부분에 대해서는 깊이를 양의 값으로 조정하면 된다. 그리고 깊이의 정도에 따라 깊이의 절대값을 적절히 조정해준다. 이 과정을 통해 객체 깊이 배열부(도 1의 40)의 각 픽셀의 깊이가 변경된다.
이렇게 변경된 객체 깊이 배열부(도 1의 40)의 내용에 따라 실제로 원본 객체 배열부(도 1의 30)에 저장되어 있는 이미지로부터 편집 객체 배열부(도 1의 50)에 그 객체의 오른쪽 이미지를 만들어 낸다. 도 4에서 보는 바와 같이, 깊이가 양수인 경우 오른쪽 눈의 이미지는 왼쪽 눈의 이미지의 위치에서 왼쪽으로 평행 이동한다. 반대로 깊이가 음수인 경우는 왼쪽 눈의 이미지의 위치에서 오른쪽으로 평행 이동한다. 그리고 깊이의 절대값이 클 수록 평행 이동하는 양은 커진다. 이와 같은 방법으로 깊이가 변경된 원본 객체 배열부(도 1의 30)의 픽셀을 그 깊이에 따라 왼쪽 또는 오른쪽으로 평행 이동하여 편집 객체 배열부(도 1의 50)의 해당하는 위치에 복사해 준다.
상기와 같은 과정을 통해 편집 객체 배열부(도 1의 50)의 이미지가 변경되면 원본 객체 배열부(도 1의 30)의 이미지와 편집 객체 배열부(도 1의 50)의 이미지를 합성하여 합성 객체 배열부(도 1의 70)의 이미지를 만들어내어 사용자가 실시간으로 입체로 합성된 객체의 이미지를 확인할 수 있도록 한다(도 2의 단계 160).
이미지의 합성에 있어서, 왼쪽 눈의 이미지는 원본 객체 배열부(도 1의 30)의 이미지를, 오른쪽 눈의 이미지는 편집 객체 배열부(도 1의 50)의 이미지를 이용하여 다음과 같은 방법을 사용한다. 왼쪽 눈 이미지에서 한 줄의 이미지 데이터(image data)를 읽어 합성된 이미지를 저장할 버퍼(buffer)의 맨 윗줄에 복사한다. 다음에는 오른쪽 눈 이미지에서 한 줄의 이미지 데이타를 읽어 버퍼의 다음 줄에 복사한다. 이와 같이 왼쪽 눈 이미지와 오른쪽 눈 이미지를 교대로 한 줄씩 읽어가며 그 내용을 차례대로 버퍼에 한 줄씩 써 넣으면 된다. 이렇게 합성된입체 이미지는 라인 블랭킹(line blanking)방식을 지원하는 스테레오 뷰어(stereo viewer)에서 사용 가능하다.
합성된 객체 이미지는 합성 객체 배열부(도 1의 70)에 저장되며, 그 이미지 그대로 화면에 출력하여 사용자가 확인할 수 있도록 한다.
전체 이미지의 경우 편집 객체 배열부(도 1의 50)의 각 객체들 중에서 작은 객체 깊이를 가지는 객체부터 원본 저장부(도 1의 10)에 저장되어 있는 원본 이미지를 왼쪽 눈 이미지로 하여 합성한다. 즉, 배경 객체부터 원본 이미지와 합성한 후, 여기서 합성되어 나온 이미지와 그 다음으로 작은 객체 깊이 값을 가지는 객체와 합성한다. 이와 같이 객체 깊이가 작은 객체부터 차례대로 합성하면, 멀리있는 것처럼 보여야 하는 객체(객체 깊이가 작은 객체)는 가까이 있는 것처럼 보여야 하는 객체(객체 깊이가 큰 객체)에 의해 덮어씌워지므로, 멀리있는 물체가 가까이 있는 물체에 의해 가려 안 보이는 실제 상황과 잘 들어 맞는다.
이상에서 설명한 바와 같이, 본 발명에 의한 입체 영상 이미지 변환방법 및 그 장치에 의하면, 일반 2차원 영상 자료상의 각 물체의 영상을 입체로 바꾸어 준 후, 각 물체의 오른쪽 눈 이미지를 원래 영상과 합성하여 3차원 입체 영상 자료로 만들어 주도록 구성되어 있으므로, 객체의 이미지 자체를 편집할 수 있기 때문에 좀더 세밀한 입체 이미지의 구현이 가능하다. 또한, 전체 이미지 한 장을 대상으로 한 편집이 아니라 독립적으로 편집된 객체들의 통합으로 전체 이미지를 구성하기 때문에 보다 확실한 입체감을 얻어낼 수 있으며, 기존에 존재하는 수많은 2차원이미지를 활용할 수 있고 입체 이미지 데이터를 직접 제작하는데 들어가는 비용과 시간을 절약할 수 있는 매우 뛰어난 효과가 있다.
아울러 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가등이 가능할 것이며, 이러한 수정 변경등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (2)

  1. 입체로 변환하고자 하는 원본 2차원 영상 이미지를 읽어 들여 이를 저장하고 자료 구조를 초기화시키는 제1단계와, 저장된 원본 이미지로부터 각각의 물체 이미지를 추출하여 객체화하고 이를 저장시키는 제 2단계와, 추출된 객체 이미지를 각 픽셀의 깊이와 객체의 깊이에 따라 각각 조정하여 편집하는 제 3단계와, 편집된 객체 이미지와 전체 이미지를 각각 합성하여 화면에 출력하는 제 4단계로 이루어진 입체 영상 이미지 변환 방법에 있어서,
    상기 제2단계의 각각의 물체 이미지를 추출해 내는 방법은, 각각의 물체 이미지에 대하여 원하는 물체의 외각선을 추출해 내는 단계와,
    상기 추출된 외각선을 내포하는 가장 작은 크기의 직사각형을 계산해 내는 단계와,
    상기 새로이 추출된 객체를 저장할 공간을 할당하는 단계와,
    상기 할당된 공간을 초기화하는 단계와,
    상기 직사각형 내부의 픽셀중 어떤 픽셀이 외각선 내부에 있는 지를 비교하는 단계와,
    상기 비교 단계에서 어떤 픽셀이 외각선 외부에 있다면 상기 픽셀을 원본객체배열과 편집객체배열에 해당하는 위치에 투명색의 픽셀을 그려주는 단계와,
    상기 비교 단계에서 어떤 픽셀이 외각선 내부에 있다면 원본객체배열과 편집객체배열에 이를 복사하고 객체추출공간의 해당하는 위치에 픽셀을 투명색으로 바꾸어주는 단계로 이루어지는 것을 특징으로 하는 입체 영상 이미지 변환 방법
  2. 입체 영상 이미지 변환장치에 있어서,
    입체로 변환하고자 하는 원본 2차원 영상 자료를 입력받아 이를 저장하는 원화저장수단과,
    각각의 물체 이미지에 대하여 원하는 물체의 외각선을 추출하여, 추출된 외각선을 내포하는 가장 작은 크기의 직사각형을 계산하고 상기 새로이 추출된 객체를 저장할 공간을 할당하여 상기 할당된 공간을 초기화하고 상기 직사각형 내부의 픽셀중 어떤 픽셀이 외각선 내부에 있는지를 비교하여 어떤 픽셀이 외각선 외부에 있다면 상기 픽셀을 원본객체배열과 편집객체배열에 해당하는 위치에 투명색의 픽셀을 그려주고, 픽셀이 외각선 내부에 있다면 원본객체배열과 편집객체배열에 이를 복사하고 객체추출공간의 해당하는 위치에 픽셀을 투명색으로 바꾸어 주는 기능을 하는 객체추출수단과,
    상기 객체추출수단에서 객체 추출된 각 물체의 이미지를 이미지별로 각각 저장하는 원본객체배열수단과,
    상기 추출된 객체 이미지를 사용자가 각 픽셀의 깊이와 객체의 깊이에 따라 각각 조정하여 편집하는 객체깊이배열수단과,
    상기 원본객체배열수단의 이미지를 상기 객체깊이배열수단의 깊이 값에 따라 변경하여 객체의 오른쪽 이미지를 만들어내며 이를 저장하는 편집객체배열수단과,
    상기 원본객체배열수단의 이미지와 편집객체배열수단의 이미지를 합성하여 실제로 입체로 보이는 각 객체의 이미지를 저장하는 합성객체배열수단과,
    상기 원화저장수단의 이미지와 편집객체배열수단에 저장되어 있는 각 객체의 오른쪽 눈 이미지를 모두 합성하여 최종적으로 사용자가 얻게될 결과 이미지를 저장하는 합성입체이미지수단을 구비하여 이루어진 것을 특징으로 하는 입체 영상 이미지 변환 장치.
KR1019980057178A 1998-12-22 1998-12-22 입체영상이미지변환방법및그장치 KR100321897B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019980057178A KR100321897B1 (ko) 1998-12-22 1998-12-22 입체영상이미지변환방법및그장치
PCT/KR1999/000806 WO2000038434A1 (en) 1998-12-22 1999-12-22 Method and apparatus for converting monoscopic images into stereoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980057178A KR100321897B1 (ko) 1998-12-22 1998-12-22 입체영상이미지변환방법및그장치

Publications (2)

Publication Number Publication Date
KR20000041329A KR20000041329A (ko) 2000-07-15
KR100321897B1 true KR100321897B1 (ko) 2002-05-13

Family

ID=19564569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980057178A KR100321897B1 (ko) 1998-12-22 1998-12-22 입체영상이미지변환방법및그장치

Country Status (2)

Country Link
KR (1) KR100321897B1 (ko)
WO (1) WO2000038434A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212223B1 (ko) * 2005-07-18 2012-12-13 삼성디스플레이 주식회사 촬영장치 및 깊이정보를 포함하는 영상의 생성방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100381817B1 (ko) * 1999-11-17 2003-04-26 한국과학기술원 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
KR100450836B1 (ko) * 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
KR20030076904A (ko) * 2002-03-23 2003-09-29 (주)맥스소프트 중간 시점 영상 합성 방법
KR100436904B1 (ko) * 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
US8842730B2 (en) 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US8411931B2 (en) * 2006-06-23 2013-04-02 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
KR100713220B1 (ko) * 2006-07-28 2007-05-02 (주)블루비스 입체 영상 편집 장치 및 방법
KR100957129B1 (ko) * 2008-06-12 2010-05-11 성영석 영상 변환 방법 및 장치
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2011142734A1 (en) 2010-05-11 2011-11-17 Thomson Licensing Comfort noise and film grain processing for 3 dimensional video
KR101789071B1 (ko) 2011-01-13 2017-10-24 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
WO2013081304A1 (ko) * 2011-11-28 2013-06-06 에스케이플래닛 주식회사 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체
WO2013081281A1 (ko) * 2011-11-29 2013-06-06 에스케이플래닛 주식회사 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371778A (en) * 1991-11-29 1994-12-06 Picker International, Inc. Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images
JPH08289328A (ja) * 1995-04-11 1996-11-01 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100345686B1 (ko) * 1995-08-12 2002-12-06 주식회사 위트비전 가상입체영상변환장치및방법
KR100230447B1 (ko) * 1997-05-09 1999-11-15 윤종용 2차원 연속영상의 3차원 영상 변환 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371778A (en) * 1991-11-29 1994-12-06 Picker International, Inc. Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images
JPH08289328A (ja) * 1995-04-11 1996-11-01 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212223B1 (ko) * 2005-07-18 2012-12-13 삼성디스플레이 주식회사 촬영장치 및 깊이정보를 포함하는 영상의 생성방법

Also Published As

Publication number Publication date
WO2000038434A1 (en) 2000-06-29
KR20000041329A (ko) 2000-07-15

Similar Documents

Publication Publication Date Title
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
US5077608A (en) Video effects system able to intersect a 3-D image with a 2-D image
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
EP1143747B1 (en) Processing of images for autostereoscopic display
JP4065488B2 (ja) 3次元画像生成装置、3次元画像生成方法及び記憶媒体
US20090219383A1 (en) Image depth augmentation system and method
KR100321897B1 (ko) 입체영상이미지변환방법및그장치
JP4489610B2 (ja) 立体視可能な表示装置および方法
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
CA2669016A1 (en) System and method for compositing 3d images
KR102059732B1 (ko) 디지털 비디오 렌더링
WO2012140397A2 (en) Three-dimensional display system
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
EP1668919A1 (en) Stereoscopic imaging
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
EP3729805A1 (en) Method for encoding and decoding volumetric video data
Kunita et al. Real-time rendering system of moving objects
JPH10336703A (ja) 画像合成装置、方法および記憶媒体
WO1998043442A1 (en) Multiple viewpoint image generation
KR100731266B1 (ko) 3차원 입체 영상의 신호 처리 장치 및 방법
JP4270695B2 (ja) 立体画像表示装置用2dー3d画像変換方式および装置
Kim et al. Ray tracing-based construction of 3D background model for real-time stereoscopic rendering of live immersive video
KR100708834B1 (ko) 입체 영상 디스플레이 시스템
KR20190072742A (ko) 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee