KR20160149160A - 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치 - Google Patents

라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160149160A
KR20160149160A KR1020160075018A KR20160075018A KR20160149160A KR 20160149160 A KR20160149160 A KR 20160149160A KR 1020160075018 A KR1020160075018 A KR 1020160075018A KR 20160075018 A KR20160075018 A KR 20160075018A KR 20160149160 A KR20160149160 A KR 20160149160A
Authority
KR
South Korea
Prior art keywords
images
light field
data
image
sample
Prior art date
Application number
KR1020160075018A
Other languages
English (en)
Inventor
유르겐 슈타우더
노이스 자바터
세드릭 떼볼
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160149160A publication Critical patent/KR20160149160A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G06F17/3028—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G06F17/30247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H04N13/0003—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치 (10) 가 설명되어 있다. 장치 (10) 의 획득 유닛 (11) 은 샘플 데이터를 획득한다. 동작 유닛 (12) 은 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하고, 샘플 데이터의 기하학적 파라미터들 및 2D 이미지들의 기하학적 파라미터들에 따라 샘플 데이터를 결정된 2D 이미지들과 매칭시킨다. 2D 이미지들 중 하나가 매칭 결과에 기초하여 타겟 이미지로서 선택되고, 타겟 이미지가 결정되는 4D 라이트필드가 취출된다.

Description

라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치{METHOD AND APPARATUS FOR DATA RETRIEVAL IN A LIGHTFIELD DATABASE}
라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치가 제안된다. 추가로, 이러한 방법 및 장치에 적합한 컴퓨터 판독가능 매체가 또한 제안된다.
샘플 이미지를 이용한 그리고 이미지들 사이의 유사성에 기초한 2 차원 (2D) 이미지들의 데이터베이스에서의 2D 이미지들의 검색 및 취출은 본 기술 분야에 잘 알려져 있다. 유사성은 상이한 양태들에 선택적으로 기초할 수도 있다. 예를 들어, 샘플 이미지에 도시된 샘플 오브젝트가 데이터베이스에서 검색되고, 샘플 오브젝트와 유사한 오브젝트들을 보여주는 이미지들이 검색 결과로서 취출된다. 취출 방법들은 통상, 데이터베이스에서 이미지들에 대한 피쳐들을 계산하고, 이들 피쳐들을 샘플 이미지 또는 샘플 데이터와 비교하여 유사한 이미지들을 찾는다. 피쳐들은 예를 들어, 컬러 히스토그램들, 에지들, 및 피쳐 포인트들을 포함할 수 있다. 검색 성능은 일반적으로 피쳐 분석의 품질 및 견고성에 의존한다.
견고한 피쳐들의 계산에 대한 문제들 및 논쟁점들이 존재한다. 먼저, 블러링된 이미지들로부터 신뢰성있는 피쳐들, 이를 테면, 에지들 또는 피쳐 포인트들을 계산하고 추출하는 것이 어렵다. 투명한 또는 부분적으로 투명한 오브젝트를 포함하는 이미지들에 대하여 에지 검출 및 피쳐 포인트 검출은 투명한 또는 반투명한 오브젝트 뒤에서 가시성있는 배경으로 인해 곤란함을 겪는다. 스캐터링된 오브젝트들, 이를 테면, 가지가 있고 잎들이 있는 나무는 크고 공간적으로 스캐터링된 심도 범위를 드러낸다. 또한, 다수의 이미지들 중에서의 상이한 뷰포인트들로부터 보여지는 오브젝트들에 대해, 기하학적 및 광도 계측적 (photometric) 왜곡들이 이미지 취출을 어렵게 한다.
장면의 4차원 (4D) 라이트필드가 이미지 캡쳐를 위한 대안의 선택으로서 도입되었다. 4D 라이트필드는 예를 들어, 플렌옵틱 카메라 또는 카메라들의 그리드에 의해 캡쳐될 수 있고, 스냅샷 후에 캡쳐의 재포커싱, 캡쳐에서의 장면의 심도의 추정 및 캡쳐 데이터에 대한 많은 다른 유연성있는 편집 옵션들을 허용한다. 다수의 고전적인 2D 이미지들은 동일한 장면에 대해 4D 라이트필드 데이터로부터 계산될 수 있다. 소위 라이트필드 이미지들인 계산된 2D 이미지들은 뷰포인트, 뷰잉 방향, 분해능, 뷰의 심도, 초점 평면 등에서 상이할 수도 있다. 예를 들어, 라이트필드로부터 재포커싱된 2D 이미지들을 계산하는 방법이 참조문헌 [I] 에 예시되어 있으며, 카메라 센서의 미가공 이미지로부터의 서브이미지들이 이미지 평면에서 공간적으로 시프트되고 후속하여 개략화된다.
더 많은 라이트필드 데이터가 이용가능하고 가까운 미래에 이용될 것으로 예상할 수 있다. 라이트필드 데이터의 검색 및 취출을 위한 기술들 및 솔루션들이 사용자들에 대해 필수적인 것이 되고 있다.
따라서, 4D 라이트필드 데이터를 포함한 라이트필드 데이터베이스에서 데이터 취출을 위한 솔루션들을 제안하는 것을 목적으로 한다. 구체적으로, 솔루션들은 주어진 샘플 데이터와 유사한, 데이터베이스에서의 라이트필드 데이터를 검색하는데 이용된다.
일 실시형태에 따르면, 라이트필드 데이터베이스에서의 데이터 취출의 방법이 제안된다. 라이트필드 데이터베이스는 4D 라이트필드 데이터를 포함한다. 본 방법은 샘플 데이터를 획득하는 단계; 라이트필드 데이터베이스의 각각의 4차원 (4D) 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하는 단계로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 복수의 2D 이미지들을 결정하는 단계; 샘플 데이터의 기하학적 파라미터들 및 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 2D 이미지들과 샘플 데이터를 매칭하는 단계; 매칭 결과에 기초하여 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하는 단계; 및 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하는 단계를 포함한다. 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 샘플 데이터와 2D 이미지들의 디스패리티, 및 샘플 데이터와 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함한다. 샘플 데이터는 선택적으로, 2D 이미지 샘플 또는 라이트필드 데이터 샘플일 수 있다.
바람직하게, 라이트필드 데이터베이스로부터 결정된 2D 이미지들은 라이트필드 데이터베이스의 변경된 뷰포인트, 변경된 디스패리티들, 또는 변경된 심도 맵을 이용한, 서브어퍼쳐 뷰들, 재포커싱된 이미지들, 올-인-포커스 (all-in-focus) 이미지들, 크롭핑된 이미지들, 인페인트된 이미지들, 잡음제거된 (denoise) 이미지들, 및 합성된 이미지들 중 적어도 하나를 포함한다.
바람직하게, 2D 이미지들과 샘플 데이터를 매칭하는 것은 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정되는 다수의 2D 이미지들 간의 기하학적 링크를 이용하는 것을 포함한다. 기하학적 링크는 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현한다.
일 실시형태에서, 샘플 데이터는 라이트필드 데이터 샘플이다. 본 방법은, 라이트필드 데이터 샘플로부터 복수의 2D 이미지 샘플들을 결정하는 단계로서, 각각의 2D 이미지 샘플은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지 샘플과는 상이한, 복수의 2D 이미지 샘플들을 결정하는 단계; 및 2D 이미지 샘플들의 기하학적 파라미터들, 및 라이트필드 데이터베이스의 결정된 2D 이미지들의 기하학적 파라미터들에 따라 라이트필드 데이터베이스의 결정된 2D 이미지들과 샘플 데이터의 2D 이미지 샘플들을 매칭하는 단계를 더 포함한다.
바람직하게, 본 발명의 이 실시형태는 복수의 2D 이미지 샘플들로부터, 최고 선명도를 갖는 2D 이미지 샘플, 또는 타겟 샘플 오브젝트가 라이트필드 데이터 샘플의 대표 샘플로서 프론트뷰에서 보여지는 2D 이미지 샘플을 선택하는 단계; 및 대표 샘플의 기하학적 파라미터들 및 라이트필드 데이터베이스의 결정된 2D 이미지들의 기하학적 파라미터들에 따라 라이트필드 데이터베이스의 결정된 2D 이미지들과 대표 샘플을 매칭하는 단계를 더 포함한다.
일 실시형태에 따르면, 라이트필드 데이터베이스로부터 데이터를 취출하도록 구성되는 장치가 도입된다. 장치는 획득 유닛 및 동작 유닛을 포함한다. 획득 유닛은 샘플 데이터를 획득하도록 구성된다. 동작 유닛은 라이트필드 데이터베이스의 각각의 4차원 (4D) 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하는 것으로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 복수의 2D 이미지들을 결정하고; 샘플 데이터의 기하학적 파라미터들 및 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 2D 이미지들과 샘플 데이터를 매칭하고; 매칭 결과에 기초하여 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하고; 그리고 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하도록 구성된다. 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 샘플 데이터와 2D 이미지들의 디스패리티, 및 샘플 데이터와 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함한다.
바람직하게, 동작 유닛은 또한, 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정된 다수의 2D 이미지들 간의 기하학적 링크를 이용하도록 구성된다. 기하학적 링크는 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현한다.
일 실시형태에서, 샘플 데이터는 라이트필드 데이터 샘플이다. 동작 유닛은 또한, 라이트필드 데이터 샘플로부터 복수의 2D 이미지 샘플들을 결정하는 것으로서, 각각의 2D 이미지 샘플은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지 샘플과는 상이한, 복수의 2D 이미지 샘플들을 결정하고; 그리고 2D 이미지 샘플들의 기하학적 파라미터들, 및 라이트필드 데이터베이스의 결정된 2D 이미지들의 기하학적 파라미터들에 따라 라이트필드 데이터베이스의 결정된 2D 이미지들과 샘플 데이터의 2D 이미지 샘플들을 매칭하도록 구성된다. 바람직하게, 동작 유닛은 또한, 복수의 2D 이미지 샘플들로부터, 최고 선명도를 갖는 2D 이미지 샘플, 또는 타겟 샘플 오브젝트가 라이트필드 데이터 샘플의 대표 샘플로서 프론트뷰에서 보여지는 2D 이미지 샘플을 선택하고; 그리고 대표 샘플의 기하학적 파라미터들 및 라이트필드 데이터베이스의 결정된 2D 이미지들의 기하학적 파라미터들에 따라 라이트필드 데이터베이스의 결정된 2D 이미지들과 대표 샘플을 매칭하도록 구성된다.
또한, 컴퓨터 판독가능 저장 매체는 라이트필드 데이터베이스에서의 데이터 취출을 위한 명령들을 내부에 저장하며, 명령들은 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 샘플 데이터를 획득하게 하고; 라이트필드 데이터베이스의 각각의 4차원 (4D) 라이트필드 데이터로부터 복수의 2D 이미지들을 결정하게 하는 것으로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 복수의 2D 이미지들을 결정하게 하고; 샘플 데이터의 기하학적 파라미터들 및 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 2D 이미지들과 샘플 데이터를 매칭하게 하고; 매칭 결과에 기초하여 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하게 하고; 그리고 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하게 한다. 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 샘플 데이터와 2D 이미지들의 디스패리티, 및 샘플 데이터와 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함한다.
컴퓨터 판독가능 저장 매체는 비일시적 휘발성 또는 비휘발성 저장 매체, 이를 테면, 예를 들어, 하드 디스크, 광학 또는 자기 디스크 또는 테이프, 고체 상태 메모리 디바이스 등일 수 있다. 저장 매체는 따라서 본원에 개시된 바와 같은 프로그램 단계들을 수행하게 위해 컴퓨터 또는 프로세싱 디바이스에 의해 실행가능한 명령들의 프로그램을 실체적으로 구현한다.
제안된 방법은 라이트필드 데이터베이스가 캡쳐된 장면들에 대한 풍부한 정보를 포함하는 점을 활용한다. 통상의 이미지 데이터베이스의 수개의 결함이 라이트필드 데이터베이스 및 이를 제공하는 가시적 정보를 이용하는 것에 의해 극복할 수 있다. 예를 들어, 부분적으로 투명한 오브젝트들 및 부분적으로 스캐터링된 오브젝트들 뿐만 아니라 상이한 심도들에서의 타겟 오브젝트들이 검색 및 취출될 수 있다. 추가로, 상이한 뷰포인트들에 의해 보여지는 오브젝트들이 또한 라이트필드 데이터베이스에서 검색될 수 있다. 검색 및 취출은 기하학적 링크가 이용되는 경우 훨씬 개선되고 보다 효율적인 것으로 될 수 있다.
보다 양호한 이해를 위하여, 제안된 솔루션들이 도면들을 참조로 다음의 상세한 설명에서 보다 자세하게 설명될 것이다. 솔루션들은 개시된 예시적인 실시형태들로 제한되지 않고 특정된 피쳐들이 또한 첨부된 청구항들에서 정의되는 제안된 솔루션의 범위로부터 벗어남이 없이 편의적으로 결합 및/또는 변경될 수 있음을 이해할 것이다.
도 1 은 라이트필드 데이터베이스에서 데이터를 취출하도록 구성되는 장치의 예시적인 실시형태를 예시하는 개략도이다.
도 2 는 라이트필드 데이터베이스에서 데이터 취출을 위한 방법의 바람직한 실시형태를 예시하는 흐름도이다.
도 3 은 라이트필드 데이터베이스에서 데이터 취출을 위한 방법의 다른 바람직한 실시형태를 예시하는 흐름도이다.
도 4 는 라이트필드 데이터베이스에서 데이터 취출을 위한 방법의 또 다른 바람직한 실시형태를 예시하는 흐름도이다.
설명에 이용된 용어 "라이트필드" 는 일반적으로 필드에서 정의되는 것으로서 이해되어야 한다. 즉, 4D 비디오 데이터는 어떠한 순간에, 공간 장면에서 모든 방향으로 진행하는 모든 포인트에서의 모든 광선들에 대한 각도 및 공간 정보를 포함하며, 예를 들어, 플렌옵틱 비디오 카메라, 비디오 카메라 어레이, 또는 임의의 다른 실현가능한 카메라 디바이스에 의해 캡쳐될 수 있다. 특히, 설명에서의 라이트필드는 라이트필드의 2D 이미지 데이터의 생성을 허용하는 장면에 대하여 캡쳐된 데이터 전체 또는 데이터 전체의 서브세트로서 이해될 수 있다.
도 1 은 4D 라이트필드 데이터를 포함하는 라이트필드 데이터베이스로부터 데이터를 취출하도록 구성되는 장치 (10) 의 예시적인 실시형태를 개략적으로 예시한다. 장치는 획득 유닛 (11), 동작 유닛 (12) 및 선택적 저장 유닛 (13) 을 포함한다.
획득 유닛 (11) 은 샘플 데이터를 획득하도록 구성된다. 샘플 데이터는 장치 (10) 또는 외부 입력 디바이스의 사용자 입력 (도시 생략) 을 통하여 사용자로부터 획득될 수 있다. 대안으로서, 샘플 데이터는 예를 들어, 저장 유닛 (13) 에 저장될 수 있는 이용가능한 데이터베이스로부터 취출되고 획득될 수 있다.
저장 유닛 (13) 은 임의의 실현가능 및 적절한 메모리 디바이스일 수 있고 장치 (10) 에 보조적일 수도 또는 장치에 통합될 수 있다. 4D 데이터베이스가 취출되는 경우, 라이트필드 데이터베이스는 또한 선택적으로 저장 유닛 (13) 에 저장될 수 있다.
동작 유닛 (12) 은 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2D 이미지들을 결정하도록 구성된다. 각각의 결정된 2D 이미지들은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이하다. 동작 유닛 (12) 은 또한, 샘플 데이터 및 결정된 2D 이미지들의 기하학적 파라미터들에 따라 결정된 2D 이미지들과 획득된 샘플 데이터를 매칭하고, 매칭 결과에 기초하여 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하고, 그리고 타겟 이미지가 결정된 특정 4D 라이트필드 데이터를 취출하도록 구성된다.
일 실시형태에서, 동작 유닛 (12) 은 또한, 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정된 다수의 2D 이미지들 간의 기하학적 링크를 이용하도록 구성된다. 기하학적 링크는 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현한다.
장치 (10) 의 동작에 대한 보다 자세한 세부사항들은 라이트필드 데이터베이스에서의 데이터 취출의 제안된 방법과 함께 아래 설명될 것이다. 물론, 장치 (10) 는 제안된 방법의 실시형태들의 구현에 대한 임의의 다른 추가적인 또는 대안의 디바이스들을 선택적으로 포함할 수 있다.
도 2 는 4D 라이트필드 데이터를 포함한 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법의 바람직한 실시형태를 개략적으로 예시한다. 도 1 을 참조하여, 방법의 실시형태는 장치 (10) 의 예시적인 실시형태를 이용하여 아래 자세하게 설명될 것이다. 방법은 필드에서 알려지고 이용가능한 임의의 다른 적절한 시스템들 또는 장치들에서 구현될 수 있음이 이해될 것이다.
위에 설명된 바와 같이, 라이트필드 데이터베이스는 바람직하게 장치 (10) 의 저장 유닛 (13) 에 저장된다. 대안으로서, 라이트필드 데이터베이스는 또한 장치가 액세스를 얻어 라이트필드 데이터를 취출할 수 있는 외부 메모리 디바이스에 저장될 수 있다. 라이트필드 데이터베이스는 4D 라이트필드 데이터를 포함한다.
장치 (10) 의 동작 유닛 (12) 은 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정한다 (21). 각각의 결정된 2D 이미지들은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지들과 상이하다. 바람직하게, 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 샘플 데이터와 2D 이미지들의 디스패리티, 및 샘플 데이터와 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함한다. 선택적으로, 결정된 2D 이미지들은 또한 저장 유닛 (13) 에 저장될 수 있다.
장치 (10) 의 획득 유닛 (11) 은 샘플 데이터를 획득한다 (20). 샘플 데이터는 원칙적으로, 검색 또는 취출 쿼리를 정의하고 선택적으로 2D 이미지, 3D 이미지, 라이트필드 데이터 등일 수 있다. 추가로, 샘플 데이터에 적어도 하나의 샘플 오브젝트가 도시되어 캡쳐되는 것이 바람직하다.
동작 유닛 (12) 은 그후, 샘플 데이터 및 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 2D 이미지들과 샘플 데이터를 매칭한다 (22). 매칭 결과에 기초하여, 동작 유닛 (12) 은 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하고 (23), 이에 따라, 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출 결과로서 취출한다 (24).
제안된 방법은 라이트필드 데이터베이스가 이들 라이트필드들에 의해 캡쳐된 장면들에 대한 풍부한 정보를 포함하는 점을 활용한다. 따라서, 샘플 데이터와 라이트필드 정보 사이의 유사성을 정확하고 정밀하게 평가하기 위하여 라이트필드 데이터베이스에 포함된 최대의 상이한 가시적 정보와 샘플 데이터를 비교 및 매칭하는 것이 바람직하고 유리하며, 이에 따라, 개선된 취출 결과에 도달한다.
라이트필드 데이터베이스의 각각의 라이트필드 데이터로부터 결정된 (21) 2D 이미지들의 특성은 여러가지일 수 있다. 예를 들어, 2D 이미지들은 서브어퍼쳐 뷰들일 수 있고 이들 뷰들 각각은 특정 뷰잉 방향에서 특징화된다. 2D 이미지들은 모든 이미지 컨텐츠가 포커싱되는 올-인-포커스 또는 재포커싱된 이미지들일 수 있다. 다른 유형들의 이미지들이 또한, 크롭핑된 이미지들, 인페인트된 이미지들, 잡음제거된 이미지들, 심도 맵들, 디스패리티 맵들 또는 임의의 다른 유형의 이미지들과 같이, 라이트필드 데이터로부터 결정되고 계산될 수 있다.
바람직하게, 라이트필드 데이터베이스의 라이트필드 데이터로부터 결정된 (21) 2D 이미지들은 라이트필드 데이터베이스의 변경된 뷰포인트, 변경된 디스패리티들 또는 변경된 심도 맵를 이용하는, 서브어퍼쳐 뷰들, 재포커싱된 이미지들, 올-인-포커스 (all-in-focus) 이미지들, 크롭핑된 이미지들, 인페인트된 이미지들, 잡음제거된 이미지들, 및 합성된 이미지들 중 적어도 하나를 포함한다.
도 3 을 참조하여 보면, 일 실시형태에서, 획득된 (20) 샘플 데이터는 독립적으로 라이트필드 데이터 샘플이다. 방법은 따라서, 라이트필드 데이터 샘플로부터 복수의 2D 이미지 샘플들을 결정하는 것 (25) 을 더 포함하고, 여기에서, 2D 이미지 샘플들 각각은 적어도 하나의 기하학적 파라미터에서 다른 한 2D 이미지 샘플과 서로 상이하다. 이는 장치 (10) 의 동작 유닛 (12) 에 의해 바람직하게 수행될 수 있다. 따라서, 동작 유닛 (12) 은 2D 이미지 샘플들 및 라이트필드 데이터베이스의 결정된 2D 이미지들의 기하학적 파라미터들에 따라 라이트필드 데이터베이스의 결정된 2D 이미지들과 샘플 데이터의 2D 이미지 샘플들을 매칭한다 (22).
바람직하게, 본 방법은 주어진 라이트필드 데이터 샘플로부터 결정된 복수의 2D 이미지 샘플들로부터 대표 2D 이미지 샘플을 선택하는 것 (26) 을 더 포함하며, 이는 유사하게 동작 유닛 (12) 에 의해 수행되는 것이 바람직하다. 이 선택은 데이터베이스에서의 이미지들에 도시된 이미지들의 또는 오브젝트들의 취출이 일반적으로 이미지들에 가장 효과가 양호하다는 사상에 기초한다. 오브젝트들 또는 오브젝트들 중 적어도 부분은 이미지들에 명확하게 도시되고, 선택적으로 예를 들어, 높은 선명도로 인식될 수 있거나 또는 선호되는 뷰포인트로부터 뷰잉된다. 따라서, 선택된 대표 2D 이미지 샘플은 최고 선명도를 갖는 2D 이미지이며/이거나 타겟 샘플 오브젝트가 프론트 뷰에 도시되거나 또는 가장 선명하거나 또는 가장 양호하게 표현되는 2D 이미지 샘플인 것이 바람직하다. 예를 들어, 사람의 얼굴이 프론트뷰에 도시되고 2D 이미지 샘플들 중 하나에서 가장 높은 선명도를 가질 때, 이 2D 이미지 샘플은 그에 따라 대응하는 라이트필드 데이터에 대한 대표 2D 이미지 샘플이도록 하는 양호한 후보이다. 따라서, 동작 유닛 (12) 은 라이트필드 데이터베이스에서의 데이터 취출을 위한 라이트필드 데이터베이스의 결정된 2D 이미지들과 대표 샘플을 매칭한다 (22).
도 4 를 참조하여 보면, 다른 실시형태에서, 본 방법은 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정되는 다수의 2D 이미지들 간의 기하학적 링크를 이용하는 것 (27) 을 더 포함한다. 기하학적 링크는 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현한다. 기하학적 링크는 다수의 2D 이미지들을 오더링하는 것을 바람직하게 허용한다. 예를 들어, 기하학적 링크는 다수의 2D 이미지들을 오더링된 리스트 또는 그리드로 편성 (organize) 할 수 있다. 1차원 그리드 또는 오더링된 리스트는 예를 들어, 기하학적 파라미터들인 초점 길이를 갖는 초첨 스택일 수 있고, 2 차원 그리드는 예를 들어, 뷰잉 방향 벡터들의 좌표들이 기하학적 파라미터들인 경우 상이한 뷰잉 방향들을 갖는 다수의 뷰들의 그리드일 수 있다. 그리드를 파퓰레이션하기 전에, 검색 전략은 비교되고 매칭될 개별적인 다음 2D 이미지를 결정한다. 기하학적 링크를 이용함으로써, 라이트필드 데이터베이스로부터 결정되는 모든 가능한 2D 이미지들을 매칭하고 리뷰하는 것이 불필요하게 되며, 따라서, 라이트필드 데이터베이스에서 검색 및 취출을 가속화한다.
일 실시형태에서, 초점 스택의 기하학적 링크가 이용되며 (27), 이는 다수의 2D 이미지들 각각에서의 이미지 평면과 초점 평면 사이의 거리에 따라 순차적으로 다수의 2D 이미지들의 초점 평면들을 예시한다.
제안된 방법의 이 실시형태는 라이트필드 데이터베이스에서의 각각의 라이트필드 데이터에 대해, 다수의 2D 이미지들 중 제 1 및 제 2 2D 이미지와 샘플 데이터를 매칭하고 (22), 제 1 및 제 2 피쳐 거리를 각각 계산한다. 그 후, 계산된 제 1 및 제 2 피쳐 거리는 초점 스택에 대응하는 매칭 전략을 결정하는데 이용된다. 매칭 전략의 예들은 아래 제공된다. 바람직하게, 매칭 전략의 결정은 라이트필드 데이터베이스의 각각의 라이트필드 데이터로부터 결정된 다수의 2D 이미지들의 서브세트와 샘플 데이터를 재귀적으로 매칭하는 것을 포함한다. 예를 들어, 제 1 및 제 2 2D 이미지들과의 매칭에 후속하여, 제 3 2D 이미지가 샘플 데이터와 매칭되도록 선택되고, 매칭 결과는 매칭 전략의 결정에 기여한다. 즉, 다수의 2D 이미지들 중 가장 작은 피쳐 거리를 갖는 후보 2D 이미지를 선택하기 (23) 위하여, 매칭 및 계산 단계들은 계산된 피쳐 거리들 및 매칭 결과에 따라 재귀적으로 수행된다. 후속하여, 매칭 결과에 기초하고 그리고 기하학적 링크를 이용하여, 라이트필드 데이터의 후보 이미지들 중 하나가 타겟 이미지로서 선택되고, 후속하여 타겟 이미지가 결정된 4D 라이트필드 데이터의 취출 (24) 이 이어진다.
초점 스택의 기하학적 링크를 이용함으로써, 동작 유닛 (13) 은 시스템적 취출 전략을 이용하여 라이트필드 데이터베이스로부터 이들 다수의 2D 이미지들과 샘플 데이터를 매칭할 수 있다 (22). 매칭 전략의 일 예는 다음과 같이 제공된다.
시작으로서, 샘플 데이터는 예를 들어, 오더링된 초점 스택에서 초점 평면과 이미지 평면 사이의 평균 초점 거리에서 초점 평면에 대응하는 제 1 인덱스 (I1) 를 갖는 제 1 2D 이미지와 매칭되고 (22), 이에 따라, 피쳐 벡터들의 결과적인 제 1 거리 (D1) 가 계산된다. 그 후, 샘플 데이터는 오더링된 초점 스택에서 제 2 인덱스 (I2) 를 갖는 제 2 2D 이미지와 매칭되고, 피쳐 벡터들의 대응하는 제 2 거리 (D2) 가 계산된다.
D2 < D1 이면, D2 는 최소 피쳐 거리로서 레코드에 유지되고, 피쳐 거리는 인덱스가 증가할수록 더욱 작아지게 됨을 알 수 있다. 그 후, I2 에 후속하고, I2 에, I1 과 I2 사이의 간격을 더한 것과 동일한 제 3 인덱스 (I3) 를 갖는 제 3 이미지와 샘플 데이터를 매칭하는 것 (22) 이 적절하다. 그 후, 결과적인 피쳐 거리 (D3) 가 D2 와 비교되어, 어느 것이 더 작은지를 본다.
D2 ≥ D1 이면, 샘플 데이터는 I1 과 I2 사이에 있는 제 3 인덱스 (I3) 를 갖는 제 3 이미지와 매칭되고 (22), 또한, I1보다 더 작은 제 4 인덱스 (I4) 를 갖는 제 4 이미지와 매칭된다. 이는 최소의 결과적인 피쳐 거리를 찾고, 이에 따라 최소 피쳐 거리를 갖는 타겟 이미지로서 최적의 2D 이미지를 선택하기 위한 것 (23) 임을 이해할 수 있다.
다른 실시형태에서, 결합된 심도 맵의 기하학적 링크가 이용된다 (27). 결합된 심도 맵은 라이트필드 데이터베이스의 각각의 라이트필드 데이터로부터 결정된 올-인-포커스 이미지와 연관된다. 올-인-포커스 이미지는 장면에서 상이한 오브젝트들의 심도들과는 독립적으로 적절하게 포커싱된 캡쳐된 이미지를 보여준다.
본원에 사용된 결합된 심도 맵은 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정되는 다수의 2D 이미지들에 연관된 다수의 디스패리티 맵들을 하나의 단일 결합된 심도 맵으로 결합함으로써 계산되어 생성된다. 다수의 디스패리티 맵들 각각은 일반적으로, 상이한 뷰포인트들과 동일한 오브젝트들 또는 동일한 장면을 캡쳐하는 다수의 2D 이미지들 중에서 두개의 상이한 이미지들로부터 계산된다. 결합된 심도 맵의 각각의 픽셀은 올-인-포커스 이미지의 대응하는 픽셀에서 가시적인 오브젝트의 심도를 나타낸다. 선택적으로, 디스패리티 맵과 결합된 심도 맵은 또한, 라이트 필드 데이터, 예를 들어, 초점 스택에 대한 디포커스로부터의 심도에 이용된 임의의 다른 실현가능한 방법들 및 기술들을 이용하여 생성될 수 있다.
이 실시형태에서, 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터에 대한 올-인-포커스 2D 이미지가 특정하게 결정된다 (21). 각각의 올-인-포커스 2D 이미지는 장면에서 상이한 오브젝트들의 심도들과는 독립적으로 적절하게 포커싱된 캡쳐된 이미지를 보여준다. 추가로, 올-인-포커스 이미지 각각과 연관된 심도 맵이 또한 생성된다.
따라서, 제안된 방법은 라이트필드 데이터베이스의 각각의 라이트필드 데이터에 대하여, 결정된 올-인-포커스 이미지와 샘플 데이터를 매칭시키는 것 (22), 및 샘플 데이터와 최고의 유사성을 갖는 올-인-포커스 이미지에서의 하나의 기하학적 포지션을 결정하는 것을 더 포함한다. 이 매칭은 샘플 데이터의 스케일 변화 및 회전과 같은 기하학적 동작들을 포함한다. 올-인-포커스 이미지를 이용함으로써, 아웃-오브-포커스 블러링이 없기 때문에, 매칭 및 비교가 효율적으로 이루어지고 시간 절감이 이루어진다. 그 후, 대응하는 올-인-포커스 이미지에 연관된 결합된 심도 맵이 이용되어 (27), 올-인-포커스 이미지에서의 결정된 포지션의 심도가 특정적으로 식별된다. 따라서, 각각의 라이트필드 데이터에 대해, 다수의 2D 이미지들 중 후보 2D 이미지가 선택될 수 있고, 이 후보 이미지는 결정된 포지션의 심도 상에 있는/심도를 갖는 초점 평면을 갖는 2D 이미지이다.
그 후, 샘플 데이터와, 각각의 라이트필드 데이터의 각각의 후보 2D 이미지 사이의 피쳐 거리가 계산된다. 후속하여, 최소 피쳐 거리를 갖는 후보 2D 이미지가 타겟 이미지로서 선택되고 (23), 이에 후속하여, 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출한다 (24).
이 실시형태에서, 초점 스택의 사이즈와 독립적으로, 검색이 구현될 수 있고, 따라서, 라이트필드 데이터에비스에서의 검색 및 취출을 가속화할 수 있다.
선택적으로, 피쳐 거리들의 계산은 본 기술분야에서 임의의 이용가능한 또는 알려진 기술, 예를 들어, 참조 문헌 [II]에 설명된 방법에 따라 수행될 수 있다.
또 다른 실시형태에서, 라이트필드 데이터베이스로부터의 2D 이미지들과 샘플 데이터의 매칭 (22) 은 피쳐들의 백 (bag) 방법 및/또는 피쳐 디스크립터들을 이용하여 수행될 수 있다.
[참조 문헌]
[I] R. Ng, et al., "Light field photography with a hand-held plenoptic camera", Standford University Computer Science Tech Report CSTR, April 2005
[II] K.E.A. van de Sande, et al., "Evaluating color descriptors for object and scene recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(9), pp. 1582-1596, 2010

Claims (14)

  1. 4차원 (4D) 라이트필드 데이터를 포함하는 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법으로서,
    - 샘플 데이터를 획득하는 단계 (20);
    - 상기 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하는 단계 (21) 로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 상기 복수의 2D 이미지들을 결정하는 단계;
    - 상기 샘플 데이터의 기하학적 파라미터들, 및 상기 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 상기 2D 이미지들과 상기 샘플 데이터를 매칭하는 단계 (22);
    - 매칭 결과에 기초하여 상기 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하는 단계 (23); 및
    - 상기 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하는 단계 (24) 를 포함하고,
    상기 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 상기 샘플 데이터와 상기 2D 이미지들의 디스패리티, 및 상기 샘플 데이터와 상기 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  2. 제 1 항에 있어서,
    상기 샘플 데이터는 2D 이미지 샘플인, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  3. 제 1 항에 있어서,
    상기 샘플 데이터는 라이트필드 데이터 샘플이고,
    상기 방법은:
    상기 라이트필드 데이터 샘플로부터 복수의 2D 이미지 샘플들을 결정하는 단계 (25) 로서, 각각의 2D 이미지 샘플은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지 샘플과 상이한, 상기 복수의 2D 이미지 샘플들을 결정하는 단계; 및
    - 상기 2D 이미지 샘플들의 기하학적 파라미터들, 및 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들의 기하학적 파라미터들에 따라 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들과 상기 샘플 데이터의 상기 2D 이미지 샘플들을 매칭하는 단계 (22) 를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  4. 제 3 항에 있어서,
    - 상기 복수의 2D 이미지 샘플들로부터, 최고 선명도를 갖는 2D 이미지 샘플, 또는 타겟 샘플 오브젝트가 상기 라이트필드 데이터 샘플의 대표 샘플로서 프론트뷰에서 보여지는 2D 이미지 샘플을 선택하는 단계 (26); 및
    - 상기 대표 샘플의 기하학적 파라미터들, 및 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들의 기하학적 파라미터들에 따라 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들과 상기 대표 샘플을 매칭하는 단계 (22) 를 더 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 라이트필드 데이터베이스로부터 결정된 상기 2D 이미지들은 상기 라이트필드 데이터베이스의 변경된 뷰포인트, 변경된 디스패리티 또는 변경된 심도 맵을 이용한, 서브어퍼쳐 뷰들, 재포커싱된 이미지들, 올-인-포커스 (all-in-focus) 이미지들, 크롭핑된 이미지들, 인페인트된 이미지들, 잡음제거된 (denoise) 이미지들, 및 합성된 이미지들 중 적어도 하나를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 결정된 2D 이미지들과 상기 샘플 데이터를 매칭하는 단계 (22) 는:
    상기 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정된 다수의 2D 이미지들 간의 기하학적 링크를 이용하는 단계 (27) 로서, 상기 기하학적 링크는 상기 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현하는, 상기 다수의 2D 이미지들 간의 기하학적 링크를 이용하는 단계를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  7. 제 6 항에 있어서,
    상기 기하학적 링크는 상기 다수의 2D 이미지들 각각에서 초점 평면과 이미지 평면 사이의 거리에 따라 상기 다수의 2D 이미지들의 초점 평면들을 순차적으로 나타내는 초점 스택이고,
    상기 방법은:
    상기 라이트필드 데이터베이스의 각각의 라이트필드 데이터에 대해,
    - 상기 다수의 2D 이미지들 중 제 1 2D 이미지와 상기 샘플 데이터를 매칭하고 (22), 제 1 피쳐 거리를 계산하는 단계;
    - 상기 다수의 2D 이미지들 중 제 2 2D 이미지와 상기 샘플 데이터를 매칭하고 (22), 제 2 피쳐 거리를 계산하는 단계;
    - 계산된 상기 제 1 및 제 2 피쳐 거리들에 기초하여 매칭 전략을 결정하는 단계; 및
    - 상기 매칭 전략에 따라 상기 다수의 2D 이미지들 중 최소 피쳐 거리를 갖는 후보 2D 이미지를 선택하는 단계 (23); 및
    - 상기 매칭 결과 및 상기 기하학적 링크의 이용에 기초하여 후보 이미지들 중 한 후보 이미지를 상기 타겟 이미지로서 선택하는 단계 (23) 를 더 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  8. 제 7 항에 있어서,
    상기 매칭 전략을 결정하는 단계는, 상기 라이트필드 데이터베이스의 각각의 라이트필드 데이터로부터 결정된 상기 다수의 2D 이미지들의 서브세트와 상기 샘플 데이터를 재귀적으로 매칭하는 단계를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  9. 제 6 항에 있어서,
    상기 기하학적 링크는 라이트필드 데이터로부터 결정된 올-인-포커스 (all-in-focus) 이미지에 연관된 결합된 심도 맵이고,
    상기 방법은:
    상기 라이트필드 데이터베이스의 각각의 라이트필드 데이터에 대해,
    - 올-인-포커스 2D 이미지를 결정하는 단계 (21);
    - 상기 올-인-포커스 이미지에 연관된 결합된 심도 맵을 생성하는 단계;
    - 상기 샘플 데이터와 가장 높은 유사성을 갖는 하나의 포지션을 결정하기 위해 상기 올-인-포커스 이미지와 상기 샘플 데이터를 매칭하는 단계 (22);
    - 결정된 상기 포지션의 심도를 식별하기 위해 상기 결합된 심도 맵을 이용하는 단계 (27);
    - 다수의 2D 이미지들 중, 상기 결정된 포지션의 상기 심도를 갖는 초점 평면을 갖는 후보 2D 이미지를 선택하는 단계 (23); 및
    - 상기 샘플 데이터와 상기 후보 이미지 사이의 피쳐 거리를 계산하는 단계; 및
    - 최소 피쳐 거리를 갖는 타겟 이미지로서 후보 이미지들 중 한 이미지를 선택하는 단계 (23) 를 더 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법.
  10. 4차원 (4D) 라이트필드 데이터를 포함하는 라이트필드 데이터베이스에서의 데이터 취출을 위한 장치 (10) 로서,
    - 샘플 데이터를 획득하도록 구성되는 획득 유닛 (11); 및
    - 동작 유닛 (12) 을 포함하고,
    상기 동작 유닛은,
    상기 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하는 것 (21) 으로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 상기 복수의 2D 이미지들을 결정하고;
    상기 샘플 데이터의 기하학적 파라미터들, 및 상기 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 상기 2D 이미지들과 상기 샘플 데이터를 매칭하고 (22);
    매칭 결과에 기초하여 상기 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하고 (23); 그리고
    상기 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하도록 (24) 구성되고,
    상기 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 상기 샘플 데이터와 상기 2D 이미지들의 디스패리티, 및 상기 샘플 데이터와 상기 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함하는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 장치.
  11. 제 10 항에 있어서,
    상기 샘플 데이터는 라이트필드 데이터 샘플이고,
    상기 동작 유닛 (12) 은 또한,
    상기 라이트필드 데이터 샘플로부터 복수의 2D 이미지 샘플들을 결정하는 것 (25) 으로서, 각각의 2D 이미지 샘플은 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지 샘플과 상이한, 상기 복수의 2D 이미지 샘플들을 결정하고; 그리고
    상기 2D 이미지 샘플들의 기하학적 파라미터들, 및 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들의 기하학적 파라미터들에 따라 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들과 상기 샘플 데이터의 상기 2D 이미지 샘플들을 매칭하도록 (22) 구성되는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 장치.
  12. 제 11 항에 있어서,
    상기 동작 유닛 (12) 은 또한,
    상기 복수의 2D 이미지 샘플들로부터, 최고 선명도를 갖는 2D 이미지 샘플, 또는 타겟 샘플 오브젝트가 상기 라이트필드 데이터 샘플의 대표 샘플로서 프론트뷰에서 보여지는 2D 이미지 샘플을 선택하고 (26); 그리고
    상기 대표 샘플, 및 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들의 기하학적 파라미터들에 따라 상기 라이트필드 데이터베이스의 상기 결정된 2D 이미지들과 상기 대표 샘플을 매칭하도록 (22) 구성되는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 장치.
  13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 동작 유닛 (12) 은 또한,
    상기 라이트필드 데이터베이스의 동일한 라이트필드 데이터로부터 결정된 다수의 2D 이미지들 간의 기하학적 링크를 이용하는 것 (27) 으로서, 상기 기하학적 링크는 상기 다수의 2D 이미지들의 기하학적 파라미터들 간의 관계를 표현하는, 상기 다수의 2D 이미지들 간의 기하학적 링크를 이용하도록 구성되는, 라이트필드 데이터베이스에서의 데이터 취출을 위한 장치.
  14. 4차원 (4D) 라이트필드 데이터를 포함하는 라이트필드 데이터베이스에서의 데이터 취출을 위한 명령들을 내부에 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금:
    - 샘플 데이터를 획득하게 하고 (20);
    - 상기 라이트필드 데이터베이스의 각각의 4D 라이트필드 데이터로부터 복수의 2차원 (2D) 이미지들을 결정하게 하는 것 (21) 으로서, 각각의 2D 이미지는 적어도 하나의 기하학적 파라미터에서 다른 2D 이미지와 상이한, 상기 복수의 2D 이미지들을 결정하게 하고;
    - 상기 샘플 데이터의 기하학적 파라미터들, 및 상기 2D 이미지들의 기하학적 파라미터들에 따라, 결정된 상기 2D 이미지들과 상기 샘플 데이터를 매칭하게 하고 (22);
    - 매칭 결과에 기초하여 상기 2D 이미지들 중 한 이미지를 타겟 이미지로서 선택하게 하고 (23); 그리고
    - 상기 타겟 이미지가 결정된 4D 라이트필드 데이터를 취출하게 하며 (24),
    상기 기하학적 파라미터들은 분해능, 뷰포인트, 뷰잉 방향, 초점 평면, 상기 샘플 데이터와 상기 2D 이미지들의 디스패리티, 및 상기 샘플 데이터와 상기 2D 이미지들에서 캡쳐된 이미지 오브젝트 중 적어도 하나를 포함하는, 데이터 취출을 위한 명령들을 내부에 저장한 컴퓨터 판독가능 저장 매체.
KR1020160075018A 2015-06-17 2016-06-16 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치 KR20160149160A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305941.5A EP3107007B1 (en) 2015-06-17 2015-06-17 Method and apparatus for data retrieval in a lightfield database
EP15305941.5 2015-06-17

Publications (1)

Publication Number Publication Date
KR20160149160A true KR20160149160A (ko) 2016-12-27

Family

ID=53489907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160075018A KR20160149160A (ko) 2015-06-17 2016-06-16 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10726067B2 (ko)
EP (1) EP3107007B1 (ko)
JP (1) JP2017010549A (ko)
KR (1) KR20160149160A (ko)
CN (1) CN106257454A (ko)
TW (1) TW201710931A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995424B (zh) * 2017-12-06 2020-06-16 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN108615221B (zh) * 2018-04-10 2020-12-01 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置
KR102365735B1 (ko) 2018-11-06 2022-02-22 한국전자통신연구원 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법
CN112711965B (zh) * 2019-10-24 2023-12-05 深圳市优必选科技股份有限公司 一种绘本识别方法、装置及设备
CN111427166B (zh) 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416240B1 (en) * 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9124831B2 (en) * 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera

Also Published As

Publication number Publication date
US20160371304A1 (en) 2016-12-22
EP3107007A1 (en) 2016-12-21
US10726067B2 (en) 2020-07-28
EP3107007B1 (en) 2020-05-20
US20200349187A1 (en) 2020-11-05
CN106257454A (zh) 2016-12-28
JP2017010549A (ja) 2017-01-12
TW201710931A (zh) 2017-03-16

Similar Documents

Publication Publication Date Title
US10726067B2 (en) Method and apparatus for data retrieval in a lightfield database
US8542929B2 (en) Image processing method and apparatus
JP6320075B2 (ja) 画像処理装置およびその制御方法
US20120127276A1 (en) Image retrieval system and method and computer product thereof
FR3009635A1 (fr) Procede de recherche d&#39;une image similaire dans une banque d&#39;images a partir d&#39;une image de reference
CN109064505B (zh) 一种基于滑动窗口张量提取的深度估计方法
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN106488215A (zh) 图像处理方法和设备
CN112465796B (zh) 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
KR102082300B1 (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
US8670609B2 (en) Systems and methods for evaluating images
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
US20170242235A1 (en) System and method for embedded images in large field-of-view microscopic scans
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
JP6294703B2 (ja) 画像処理装置、画像処理方法およびプログラム
US12038966B2 (en) Method and apparatus for data retrieval in a lightfield database
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
JP7034781B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
CN108234868B (zh) 一种基于案例推理的智能拍摄***及方法
WO2020237366A1 (en) System and method for reflection removal using dual-pixel sensor
Hollick et al. Creation of 3D models from large unstructured image and video datasets
JP5516444B2 (ja) サムネイル抽出プログラム及びサムネイル抽出方法
Kim et al. Object tracking using plenoptic image sequences
CN117292405A (zh) 一种基于单光场相机的高精度三维手势识别方法及***