KR20200052206A - 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법 - Google Patents

플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법 Download PDF

Info

Publication number
KR20200052206A
KR20200052206A KR1020190056707A KR20190056707A KR20200052206A KR 20200052206 A KR20200052206 A KR 20200052206A KR 1020190056707 A KR1020190056707 A KR 1020190056707A KR 20190056707 A KR20190056707 A KR 20190056707A KR 20200052206 A KR20200052206 A KR 20200052206A
Authority
KR
South Korea
Prior art keywords
plenoptic
image
user
viewpoint
images
Prior art date
Application number
KR1020190056707A
Other languages
English (en)
Other versions
KR102365735B1 (ko
Inventor
박성진
김도형
김재우
배성준
장호욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20200052206A publication Critical patent/KR20200052206A/ko
Application granted granted Critical
Publication of KR102365735B1 publication Critical patent/KR102365735B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 플렌옵틱 영상 처리 장치의 객체 분할 방법은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계, 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계, 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계, 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함할 수 있다.

Description

플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법{PLENOPTIC IMAGE PROCESSING APPARATUS, SYSTEM HAVING THE SAME, AND OBJECT SEGMENTATION METHOD THEREOF}
본 발명은 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법에 관한 것이다.
일반적으로, 2차원 카메라 영상정보에 의존하는 기존의 영상처리 기술에 비해, 플렌옵틱(Plenoptic) 또는 라이트필드(Light Field) 영상은 공간상에서 임의의 방향으로 진행하는 빛의 정보를 제공한다. 즉, 2차원 영상을 구성하는 각 픽셀에 대하여 샘플링된 방향에 대한 빛의 세기와 컬러 정보를 제공하기에 실제 공간에서 물체들을 사실적으로 묘사하는데 아주 적합하다. 플렌옵틱 영상정보는 기존 2차원 영상이 가지는 공간영역(Spatial Domain) 정보와 동시에 방향 정보에 의한 각영역(Angular Domain) 정보를 가지는데, 이러한 공간영역의 깊이정보 및 각영역에 의한 광선의 추가적인 방향정보를 활용하여 원근시점 이동(Perspective Viewing Change), 재초점(Refocusing) 및 3차원 깊이정보 추출(Depth of Field Extraction) 등의 다양한 영상처리를 수행할 수 있다.
공개특허: 10-2016-0120533, 공개일: 2016년 10월 18일, 제목: 라이트 필드 영상에서 객체 분할 방법. 미국공개특허: US 2016-0371304, 공개일: 2016년 12월 22일, 제목: METHOD AND APPARTUS FOR DATA RETRIEVAL IN A LIGHTFIELD DATABASE.
본 발명의 목적은, 플렌옵틱 영상에서 제 1 시점 영상에서 사용자가 전경과 배경 모두 혹은 전경이나 배경 한영역을 표시해주면, 사용자가 제 2 시점 영상에서 에피폴라 라인상에 어디에 위치할지 결정해주는 작업없이, 자동으로 모든 시점 영상에 반영하여 사용자가 원하는 표시정보를 자동으로 생성하는 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법을 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치의 객체 분할 방법은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함할 수 있다.
실시 예에 있어서, 플렌옵틱 카메라로부터 플렌옵틱 영상을 획득하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾기 위하여 픽셀들의 컬러 값의 유사도(SIM)를 이용하는 것을 특징으로 한다.
실시 예에 있어서, 상기 다른 시점 영상들에 반영하는 단계는, 상기 유사도(SIM)를 수학식
Figure pat00001
을 이용하여 계산하는 단계를 더 포함하고, 여기서,
Figure pat00002
는 상기 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고,
Figure pat00003
는 상기 제 1 시점 영상을 제외한 i번째 영상에서 상기 제 1 시점 영상에서 상기 사용자가 표시한 영역의 각 픽셀을 변환 행렬(
Figure pat00004
)에 의해 변환시킨 위치의 픽셀의 컬러값인 것을 특징으로 한다.
실시 예에 있어서, 상기 다른 시점 영상들에 반영하는 단계는, 상기 제 1 시점 영상에 상기 사용자 영역이 표시된 후에 배경에 대응하는 영역을 기준으로 바운딩 박스 생성하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 다른 시점 영상들에게 반영하는 단계는, 상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 상기 바운딩 박스를 설정하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치는: 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하도록 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.
실시 예에 있어서, 상기 플렌옵틱 영상은 다중 시점 영상인 것을 특징으로 한다.
실시 예에 있어서, 상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 나머지 시점 영상들에 대응하는 사용자 영역이 표시되는 것을 특징으로 한다.
실시 예에 있어서, 상기 사용자 영역의 픽셀들의 컬러 값의 유사도를 이용하여 상기 나머지 시점 영상들에 대응하는 사용자 영역이 검색되는 것을 특징으로 한다.
실시 예에 있어서, 상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 배경에 대응하는 영역을 기준으로 바운딩 박스가 생성되고, 상기 나머지 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스가 설정되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템은, 플렌옵틱 카메라로부터 다중 시점의 플렌옵틱 영상을 획득하는 플렌옵틱 영상 획득 장치; 및 상기 플렌옵틱 영상을 4차원 객체 분할하는 플렌옵틱 영상 처리 장치를 포함하고, 상기 플렌옵틱 영상 처리 장치는, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 것을 특징으로 한다.
실시 예에 있어서, 상기 플렌옵틱 영상 처리 장치는, 상기 제 1 시점 영상에 상기 사용자 영역이 표시될 때, 배경에 대응하는 영역을 기준으로 바운딩 박스를 생성하고, 상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스를 설정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 객체 분할한 결과를 저장하는 저장 장치를 더 포함할 수 있다.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법은, 하나의 영상에서 사용자가 전경과 배경을 표시하는 작업으로 전체 플렌옵틱 영상에서 객체 분할을 수행할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다.
도 3은 일반적인 플렌옵틱 영상 처리 시스템의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다
도 4는 본 발명의 실시 예에 따른 플렌옵틱 처리 장치에서 자동으로 다른 시점 영역에서 사용자 표시정보를 반영한 결과를 예시적으로 보여주는 도면이다.
도 5는 일반적인 플렌옵틱 처리 장치에서 사용자가 수동으로 사용자 표시정보를 반영하는 결과를 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치(1000)를 예시적으로 보여주는 도면이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
일반적으로 영상의 객체 분할은 영상으로부터 사용자가 원하는 객체를 분할하는 작업이다. 기존의 2차원 영상에서 사용자가 원하는 객체를 분할하기 위해서는 전경과 배경 모두 혹은 전경이나 배경 한영역을 대략적으로 표시하면, 그 정보를 기반으로 객체를 분할하는 반자동 객체 분할 방법들이 사용되고 있다.
다중 시점 기반의 플렌옵틱 영상에서 객체를 분할하기 위해서 모든 시점 영상에 사용자가 전경과 배경 모두를 표시하거나 혹은 전경이나 배경 중에서 한 영역을 표시하면, 기존의 객체 분할 방법을 그대로 적용할 수 있다. 하지만, 시점의 개수가 많아질 수록 사용자가 많이 개입을 해야한다. 이 때문에 객체 분할에 대한 전체적인 수행 시간이나 사용자 친화도가 떨어지게 된다. 이러한 객체 분할을 효율적으로 진행하기 위하여 사용자가 임의의 시점 영상(제 1 시점 영상)을 선택하여 전경과 배경 모두를 표시하거나 혹은 전경이나 배경 중에서 한영역을 표시한 후에, 사용자가 다른 시점 영상(제 1 시점 영상)에서 한번만 제 1 시점 영상에서 사용자가 표시한 정보를 확정하면, 제 1 시점 영상과 제 2 시점 영상을 제외한 다른 모든 시점 영상들에서 제 1 시점 영상에서 사용자가 표시하고, 제 2 시점 영상에서 사용자가 확정한 정보를 자동으로 적용될 수 있다.
사용자가 제 1 시점 영상에 전경과 배경 모두 혹은 전경이나 배경 한영역을 표시하고, 제 2 시점 영상의 동일한 위치에 제 1 시점 영상에서 사용자가 표시한 정보를 적용하면, 제 1 시점 영상과 제 2 시점 영상간의 시차로 인하여, 제 2 시점 영상에 그려진 정보가 어긋나게 된다. 이때, 제 1 시점 영상과 제 2 시점 영상은 보정(Calibration) 및 정렬(Rectification) 됨으로써 제 1 시점 영상에서의 사용자가 표시한 정보에 대응되는 제 2 시점 영상에서의 위치 후보군이 에피폴라 라인(Epipolar Line) 상에 나타난다. 여기서 에피폴라 라인은 제 1 시점에 연결된 직선을 제 2 시점 영상에 투영되는 직선을 의미한다.
사용자는 이러한 에피폴라 라인 상에 어디에 위치할 지 제 2 시점 영상에서 결정해주면, 제 1 시점 영상과 제 2 시점 영상을 제외한 나머지 시점 영상들에도 자동적으로 원하는 위치에 제 1 시점 영상에서 사용자가 표시한 정보가 반영된다. 하지만 이러한 과정에서 기존의 2차원 영상에서의 객체 분할에 비교하여 더 많은 사용자 개입(제 2 시점 영상에서 에피폴라 라인 상에서 어디에 위치할지 결정해주는 작업)이 요구되고 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 플렌옵틱 영상 처리 시스템(10)은 플렌옵틱 영상 획득 장치(100) 및 플렌옵틱 영상 처리 장치(200)를 포함할 수 있다.
플렌옵틱 영상 획득 장치(100)는 카메라 어레이(11)로부터 객체에 대한 다시점의 어레이 영상을 수신하도록 구현될 수 있다.
플렌옵틱 영상 처리 장치(200)는 획득된 플렌옵틱 영상으로부터 사용자가 원하는 객체의 분할을 수행하도록 구현될 수 있다. 여기서 분할된 플렌옵틱 영상은 저장 포맷에 맞게 변환된 후에 저장 장치(12)에 저장될 수 있다.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)은 플렌옵틱 영상에서 제 1 시점 영상에서 사용자가 전경과 배경 모두 표시하거나, 전경 및 배경 중에서 어느 하나를 표시하면, 사용자가 제 2 시점 영상에서 에피폴라 라인 상에 어디에 위치할 지 결정하는 작업없이, 자동으로 제 2 시점 영상뿐 아니라 모든 시점영상에 표시된 영역을 반영함으로써 사용자가 원하는 표시정보를 자동으로 생성할 수 있다. 이로써 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)은 기존의 2차원 객체분할을 차원을 확대하여 4차원 객체분할을 수행할 수 있다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다. 도 1 및 도 2를 참조하면, 플렌옵틱 영상에서 사용자가 원하는 객체의 분할을 수행하는 과정은 다음과 같다.
플렌옵틱 카메라 촬영을 통하여 다중 시점 기반의 플렌옵틱 영상이 획득될 수 있다(S110). 여기서 획득된 플렌옵틱 영상은 다중 시점 영상일 수 있다. 플렌옵틱 영상 중에서 사용자가 임의의 시점 영상 1개를 선택할 수 있다(S120). 이렇게 사용자에 의해 선택된 시점 영상을 제 1 시점 영상이라 하겠다.
제 1 시점 영상에서 사용자는 전경 및 배경 혹은 전경이나 배경 중에서 1개의 영역을 표시할 수 있다(S130). 이렇게 표시된 영역은 사용자 표시 정보이다.
사용자에 의해 표시된 영역은 다른 시점 영상에서 시차로 인하여 다른 위치에 존재할 수 있다. 다른 시점 영상에서 제 1 시점 영상에서 표시된 사용자 표시 정보를 찾고, 다른 시점 영상에 찾은 사용자 표시 정보가 반영될 수 있다(S140). 다른 시점 영상에서 제 1 시점 영상의 사용자 표시 정보를 찾기 위해서, 아래의 수학식이 이용될 수 있다. 사용자가 표시한 픽셀들의 컬러값의 유사도(SIM)를 최대화하는 변환 행렬을 찾고, 이러한 변환 행렬을 변환한다.
Figure pat00005
여기서
Figure pat00006
Figure pat00007
은 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고,
Figure pat00008
Figure pat00009
은 제 1 시점 영상을 제외한 i번째 영상에 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀을 변환 행렬(
Figure pat00010
Figure pat00011
) 에 의해 변환한 위치의 픽셀의 컬러값이다.
한편, 유사도(SIM)을 계산하는 방법은 다양한 방법이 있을 수 있다. 아래에서는 하나의 실시 예로써 다음의 수학식을 이용하여 유사도를 계산한다.
Figure pat00012
상술된 바와 같이, 제 1 시점 영상의 사용자 표시 정보를 나머지 시점 영상에 반영한 후에(S140 이후), 4차원 객체 분할 방법을 적용하여 사용자가 원하는 객체 분할이 수행될 수 있다(S150). 최종적으로 전경/배경 분할 결과가 도출될 수 있다. 이때 객체 분할은 영역 기반 그래프 컷을 이용하여 수행될 수 있다. 영역 기반 그래프 컷을 이용한 객체 분할은, 입력 된 원본 영상에서 관심 영역을 추출하고, 추출된 관심 영역에 대한 필터링을 수행하고, 필터링된 관심 영역의 픽셀들을 그룹화하는 그룹화하고, 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 원본 영상을 관심 영역과 배경 영역으로 분할할 수 있다. 한편, 본 발명의 객체 분할이 영역 기반 그래프 컷에만 제한되지 않는다고 이해되어야 할 것이다.
한편, 객체 분할 후에 플렌옵틱 영상의 다중 시점의 초점을 맞추는 동작이 추가로 수행될 수 있다.
도 3은 일반적인 플렌옵틱 영상 처리 시스템의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다. 도 3을 참조하면, 제 1 시점 영상에 사용자가 전경 및 배경 모두 표시하거나 전경이나 배경 중에서 하나의 영역을 표시하는 과정들(S210, S220, S230)은 도 2에 도시된 S110, S120, S130과 동일하다.
이후에, 사용자가 제 1 시점 영상을 제외한 임의의 시점 영상을 선택할 수 있다(S240). 이렇게 선택된 영상은 제 2 시점 영상이다. 제 1 시점 영상에서 사용자가 표시한 정보는 제 2 시점 영상에서는 에피폴라라인으로 나타날 수 있다. 제 1 시점 영상에서의 사용자가 표시한 픽셀 한 개가 대응되는 위치가 제 2 시점 영상에서는 라인상에 존재한다. 따라서, 사용자가 제 2 시점 영상에 나타나는 라인 상의 어느 위치에 위치하는지를 결정해주는 확정 과정이 필요하다(S250). 이 확정 과정을 거치면, 자동적으로 제1, 제 2 시점 영상 외의 다른 시점 영상에는 자동으로 사용자 표시정보가 반영된다(S260). 이를 통해 4차원 객체 분할이 진행된다(S270).
도 4는 본 발명의 실시 예에 따른 플렌옵틱 처리 장치에서 자동으로 다른 시점 영역에서 사용자 표시정보를 반영한 결과를 예시적으로 보여주는 도면이다. 도 4를 참조하면, 도 4의 (a)와 같이 제 1 시점 영상에서 사용자가 전경과 배경을 표시하면, 도 4의 (b)와 가팅 배경에 해당하는 영역을 기준으로 바운딩 박스(Bounding Box)가 생성될 수 있다. 그러면 다른 시점 영상에 객체에 해당되는 위치에 자동으로 그 바운딩박스가 설정될 수 있다.
도 5는 일반적인 플렌옵틱 처리 장치에서 사용자가 수동으로 사용자 표시정보를 반영하는 결과를 예시적으로 보여주는 도면이다. 도 5의 (a)에 도시된 바와 같이 사용자가 제 1 시점 영상에 전경과 배경을 표시되고, 도 5의 (b)에 도시된 바와 같이 바운딩 박스가 생성될 수 있다. 도 5의 (c)와 같이, 바운딩 박스가 생성된 후에, 제 2 시점 영상에서 사용자가 에피폴라라인을 기준으로 바운딩 박스를 이동시켜 제 2 시점 영상에서 객체를 포함하는 위치에 바운딩 박스가 위치시켜야 한다.
도 6은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치(1000)를 예시적으로 보여주는 도면이다. 도 6을 참조하면, 플렌옵틱 영상 처리 장치(1000)는 적어도 하나의 프로세서(1100), 네트워크 인터페이스(1200), 메모리(1300), 디스플레이(1400), 및 입출력 장치(1500)를 포함할 수 있다.
프로세서(1100)는 도 1 내지 도 5를 통하여 적어도 하나의 장치를 포함하거나, 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법으로 구현될 수 있다. 프로세서(1100)는, 상술된 바와 같이, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고, 사용자 표시 정보를 생성하기 위하여 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고, 플렌옵틱 영상 중에서 다른 시점 영상들에서 표시된 사용자 영역을 찾아 사용자 표시 정보를 다른 시점 영상들에 반영하고, 및 반영된 사용자 표시 정보를 이용하여 전경 혹은 배경으로부터 객체를 분할하도록 인스트럭션들(instructions)을 실행할 수 있다.
프로세서(1100)는 프로그램을 실행하고, 플렌옵틱 영상 처리 장치(1000)를 제어할 수 있다. 플렌옵틱 영상 처리 장치(1000)는 입출력 장치(1500)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 혹은 네트워크)에 연결되고, 데이터를 교환할 수 있다. 생성 장치(1000)는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 혹은 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템을 포함할 수 있다.
네트워크 인터페이스(1200)는 외부의 네트워크와 다양한 유/무선 방식에 의해 통신을 수행하도록 구현될 수 있다.
메모리(1300)는 컴퓨터에서 읽을 수 있는 명령어(instruction)를 포함할 수 있다. 프로세서(1100)는 메모리(1300)에 저장된 명령어가 프로세서(1100)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1300)는 휘발성 메모리 혹은 비휘발성 메모리일 수 있다. 메모리(1300)는 사용자의 데이터를 저장하도록 저장 장치를 포함할 수 있다. 저장 장치는 eMMC(embedded multimedia card), SSD(solid state drive), UFS(universal flash storage) 등 일 수 있다. 저장 장치는 적어도 하나의 비휘발성 메모리 장치를 포함할 수 있다. 비휘발성 메모리 장치는, 낸드 플래시 메모리(NAND Flash Memory), 수직형 낸드 플래시 메모리(Vertical NAND; VNAND), 노아 플래시 메모리(NOR Flash Memory), 저항성 램(Resistive Random Access Memory: RRAM), 상변화 메모리(Phase-Change Memory: PRAM), 자기저항 메모리(Magnetoresistive Random Access Memory: MRAM), 강유전체 메모리(Ferroelectric Random Access Memory: FRAM), 스핀주입 자화반전 메모리(Spin Transfer Torque Random Access Memory: STT-RAM) 등이 될 수 있다.
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/혹은 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 혹은 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 혹은 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(Operating System; OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 대응하는 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/혹은 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수의 프로세서 혹은 하나의 프로세서 및 하나의 제어기(controller)를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 혹은 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 혹은 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/혹은 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 혹은 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 혹은 장치, 혹은 전송되는 신호파(signal wave)에 영구적으로, 혹은 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 혹은 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
종래의 기술은 모든 시점 영상들에서 독립적으로 사용자가 전경과 배경을 표시하여 다중 시점 기반 플렌옵틱 영상 객체 분할을 수행하거나, 제 1 시점 영상에서 전경과 배경을 표시하고, 제 2 시점영상에서 제 1 시점 영상에서 표시한 부분의 위치를 보정하는 작업을 수행하는 등의 사용자 개입이 많았다. 반면에 본 발명은 기존 2차원 객체 분할 방법에서 사용된 사용자 개입, 즉, 하나의 영상에서 사용자가 전경과 배경을 표시하는 작업만으로 전체 플렌옵틱 영상에서 객체 분할을 수행할 수 있다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
10: 플렌옵틱 영상 처리 시스템
100: 플렌옵틱 영상 획득 장치
200, 1000: 플렌옵틱 영상 처리 장치

Claims (14)

  1. 플렌옵틱 영상 처리 장치의 객체 분할 방법에 있어서,
    플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계;
    사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계;
    상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계; 및
    상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함하는 객체 분할 방법.
  2. 제 1 항에 있어서,
    플렌옵틱 카메라로부터 플렌옵틱 영상을 획득하는 단계를 더 포함하는 객체 분할 방법.
  3. 제 1 항에 있어서,
    상기 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾기 위하여 픽셀들의 컬러 값의 유사도(SIM)를 이용하는 것을 특징으로 하는 객체 분할 방법.
  4. 제 3 항에 있어서,
    상기 다른 시점 영상들에 반영하는 단계는,
    상기 유사도(SIM)를 수학식
    Figure pat00013

    을 이용하여 계산하는 단계를 더 포함하고,
    여기서,
    Figure pat00014
    는 상기 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고,
    Figure pat00015
    는 상기 제 1 시점 영상을 제외한 i번째 영상에서 상기 제 1 시점 영상에서 상기 사용자가 표시한 영역의 각 픽셀을 변환 행렬(
    Figure pat00016
    )에 의해 변환시킨 위치의 픽셀의 컬러값인 것을 특징으로 하는 객체 분할 방법.
  5. 제 1 항에 있어서,
    상기 다른 시점 영상들에 반영하는 단계는,
    상기 제 1 시점 영상에 상기 사용자 영역이 표시된 후에 배경에 대응하는 영역을 기준으로 바운딩 박스 생성하는 단계를 더 포함하는 객체 분할 방법.
  6. 제 5 항에 있어서,
    상기 다른 시점 영상들에게 반영하는 단계는,
    상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 상기 바운딩 박스를 설정하는 단계를 더 포함하는 방법.
  7. 플렌옵틱 영상 처리 장치에 있어서:
    적어도 하나의 프로세서; 및
    적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 인스트럭션은,
    플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고;
    사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고;
    상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및
    상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하도록 적어도 하나의 프로세서에서 실행되는 것을 특징으로 플렌옵틱 영상 처리 장치.
  8. 제 7 항에 있어서,
    상기 플렌옵틱 영상은 다중 시점 영상인 것을 특징으로 하는 플렌옵틱 영상 처리 장치.
  9. 제 7 항에 있어서,
    상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 나머지 시점 영상들에 대응하는 사용자 영역이 표시되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치.
  10. 제 9 항에 있어서,
    상기 사용자 영역의 픽셀들의 컬러 값의 유사도를 이용하여 상기 나머지 시점 영상들에 대응하는 사용자 영역이 검색되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치.
  11. 제 9 항에 있어서,
    상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 배경에 대응하는 영역을 기준으로 바운딩 박스가 생성되고,
    상기 나머지 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스가 설정되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치.
  12. 플렌옵틱 카메라로부터 다중 시점의 플렌옵틱 영상을 획득하는 플렌옵틱 영상 획득 장치; 및
    상기 플렌옵틱 영상을 4차원 객체 분할하는 플렌옵틱 영상 처리 장치를 포함하고,
    상기 플렌옵틱 영상 처리 장치는,
    플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고;
    사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고;
    상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및
    상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 것을 특징으로 하는 플렌옵틱 영상 처리 시스템.
  13. 제 12 항에 있어서,
    상기 플렌옵틱 영상 처리 장치는,
    상기 제 1 시점 영상에 상기 사용자 영역이 표시될 때, 배경에 대응하는 영역을 기준으로 바운딩 박스를 생성하고, 상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스를 설정하는 것을 특징으로 하는 플렌옵틱 영상 처리 시스템.
  14. 제 12 항에 있어서,
    상기 객체 분할한 결과를 저장하는 저장 장치를 더 포함하는 플렌옵틱 영상 처리 시스템.
KR1020190056707A 2018-11-06 2019-05-15 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법 KR102365735B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180135426 2018-11-06
KR20180135426 2018-11-06

Publications (2)

Publication Number Publication Date
KR20200052206A true KR20200052206A (ko) 2020-05-14
KR102365735B1 KR102365735B1 (ko) 2022-02-22

Family

ID=70737167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190056707A KR102365735B1 (ko) 2018-11-06 2019-05-15 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법

Country Status (1)

Country Link
KR (1) KR102365735B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063879A (ko) 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR20220075537A (ko) * 2020-11-30 2022-06-08 한국전자통신연구원 플렌옵틱 시스템의 영상 송수신 방법 및 장치
KR102536352B1 (ko) * 2021-12-15 2023-05-26 원광대학교산학협력단 플렌옵틱 동영상 콘텐츠 데이터 포맷 구조

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR20160045098A (ko) * 2013-08-19 2016-04-26 노키아 테크놀로지스 오와이 객체 검출 및 세그먼트화를 위한 방법, 장치 및 컴퓨터 프로그램 제품
KR20160120533A (ko) 2015-04-08 2016-10-18 한국전자통신연구원 라이트 필드 영상에서 객체 분할방법
US20160371304A1 (en) 2015-06-17 2016-12-22 Thomson Licensing Method and apparatus for data retrieval in a lightfield database
KR20170005009A (ko) * 2014-04-24 2017-01-11 퀄컴 인코포레이티드 ３ｄ 라돈 이미지의 생성 및 사용
KR20180066479A (ko) * 2016-12-09 2018-06-19 한국전자통신연구원 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062440A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR20160045098A (ko) * 2013-08-19 2016-04-26 노키아 테크놀로지스 오와이 객체 검출 및 세그먼트화를 위한 방법, 장치 및 컴퓨터 프로그램 제품
KR20170005009A (ko) * 2014-04-24 2017-01-11 퀄컴 인코포레이티드 ３ｄ 라돈 이미지의 생성 및 사용
KR20160120533A (ko) 2015-04-08 2016-10-18 한국전자통신연구원 라이트 필드 영상에서 객체 분할방법
US20160371304A1 (en) 2015-06-17 2016-12-22 Thomson Licensing Method and apparatus for data retrieval in a lightfield database
KR20180066479A (ko) * 2016-12-09 2018-06-19 한국전자통신연구원 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063879A (ko) 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
WO2022102814A1 (ko) * 2020-11-11 2022-05-19 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR20220075537A (ko) * 2020-11-30 2022-06-08 한국전자통신연구원 플렌옵틱 시스템의 영상 송수신 방법 및 장치
KR102536352B1 (ko) * 2021-12-15 2023-05-26 원광대학교산학협력단 플렌옵틱 동영상 콘텐츠 데이터 포맷 구조

Also Published As

Publication number Publication date
KR102365735B1 (ko) 2022-02-22

Similar Documents

Publication Publication Date Title
US10217227B2 (en) Feature trackability ranking, systems and methods
AU2016349518B2 (en) Edge-aware bilateral image processing
US9571819B1 (en) Efficient dense stereo computation
US10063832B2 (en) Image processing method and apparatus
KR102365735B1 (ko) 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법
KR102350235B1 (ko) 영상 처리 방법 및 장치
CN108876706A (zh) 根据全景图像的缩略图生成
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
US11361548B2 (en) Method and system for multi instance visual tracking based on observer motion modelling
EP4163873A1 (en) Method and apparatus with global localization
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
CN114155568A (zh) 面部图像生成方法和设备
US20200211256A1 (en) Apparatus and method for generating 3d geographic data
US11405547B2 (en) Method and apparatus for generating all-in-focus image using multi-focus image
WO2017132011A1 (en) Displaying geographic data on an image taken at an oblique angle
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
KR102358372B1 (ko) 영상의 스테레오 정합 방법 및 장치
Saito et al. In-plane rotation-aware monocular depth estimation using slam
CN116051448A (zh) 平坦表面检测装置和方法
CN114937072A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Tanács et al. Collaborative mobile 3d reconstruction of urban scenes
US9165208B1 (en) Robust ground-plane homography estimation using adaptive feature selection
JP2019125128A (ja) 情報処理装置、制御方法、及びプログラム
KR102541600B1 (ko) 실물 객체 인식 기반 상담 서비스 제공 장치 및 방법
Nguyen et al. Accuracy and robustness evaluation in stereo matching

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant