KR20200045682A - Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 - Google Patents

Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 Download PDF

Info

Publication number
KR20200045682A
KR20200045682A KR1020180126501A KR20180126501A KR20200045682A KR 20200045682 A KR20200045682 A KR 20200045682A KR 1020180126501 A KR1020180126501 A KR 1020180126501A KR 20180126501 A KR20180126501 A KR 20180126501A KR 20200045682 A KR20200045682 A KR 20200045682A
Authority
KR
South Korea
Prior art keywords
parallax
image
stitching
real
time
Prior art date
Application number
KR1020180126501A
Other languages
English (en)
Other versions
KR102383669B1 (ko
Inventor
조용주
서정일
정순흥
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180126501A priority Critical patent/KR102383669B1/ko
Priority to US16/600,229 priority patent/US10991073B2/en
Publication of KR20200045682A publication Critical patent/KR20200045682A/ko
Application granted granted Critical
Publication of KR102383669B1 publication Critical patent/KR102383669B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 실시간 영상을 스티칭 하는 방법 및 장치에 대한 것으로, 보다 상세하게는 스티칭 관련 정보를 생성하고, 중첩영역에서 시차발생영역을 추적하고, 시차발생영역에 발생한 시차를 감소시키는 보정 및 비중첩영역에서 발생한 영상 왜곡을 보정하여 출력하는 것을 포함한다.

Description

HLBP 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법{Parallax minimized stitching using HLBP descriptor}
본 발명은 파노라마 스티칭 시 발생하는 시차문제를 디스크립터 정보를 이용하여 최소화 하기 위한 기술에 관한 것이다.
파노라마 동영상을 생성 하기 위해 복수의 카메라를 사용하여야 하지만, 카메라의 원점이 물리적으로 동일할 수 없기 때문에 중첩영역에서 시차문제가 발생하게 된다. 도 1은 파노라마 동영상을 생성하기 위한 멀티카메라 획득장면에 대한 도면이다. 도 1과 같이, 각 카메라는 물리적으로 동일한 원점에서 촬영할 수 없으며, 이는 시차문제를 발생시킨다. 이 때 카메라간의 거리가 멀수록 시차는 더 크게 발생한다. 도 2는 스티칭을 위한 입력 동영상의 화면을 나타낸 도면이다. 도 3은 2개의 입력영상을 이용하여 스티칭된 영상을 나타낸 도면이다. 이 때 중첩영역에 시차가 발생된 것을 확인할 수 있다.
몇 가지 상황의 경우 심각한 시차문제(ghost effect - 동일 물체가 2개로 보이는 현상)가 발생할 수 있다. 첫째, 중복영역에 근거리와 원거리 물체가 동시에 존재하는 경우가 이에 해당 된다. 이 경우는 스티칭 시, 2D상에서 근거리와 원거리 물체를 구별할 수 없기 때문에 시차 오류가 발생하는 경우이다. 즉, 근거리 물체에 맞추어 스티칭하면 원거리 물체는 시차가 발생하게 된다. 반대의 경우도 마찬가지로 시차 문제가 발생한다. 둘째, 카메라간의 물리적 센서 거리가 차이가 나는 경우 시차오류가 발생할 수 있다. 이 때 카메라간의 물리적 센서 거리가 멀어질수록 시차는 더 크게 발생한다.
도 4는 두 영상의 중첩영역에 매칭된 특징점(matched feature points)을 나타내는 도면이다. 중첩영역에 원거리(무대 뒤 조명)와 근거리 물체(무대 앞)가 동시에 존재할 경우 시차는 발생한다. 참고로, 물리적으로 복수개의 카메라를 이용하여 입력영상 획득 시, 각 카메라간의 영상원점은 같을 수가 없으므로 생기는 문제가 원인이 될 수 있다.
따라서, 중첩영역의 근거리와 원거리 물체를 구별하여 스티칭하기 위하여 중첩영역에서의 (동적인) 물체(object)를 적절한 스티칭 좌표로 변환을 해야 시차문제를 최소화할 수 있다. 이에 대한 발명의 요구가 필요한 실정이다.
본 발명은 복수개의 입력 동영상을 이용하여 파노라마 동영상을 생성할 때, 중첩영역에서 발생하는 시차(parallax)문제를 해결하기 위한 목적이 있다.
본 발명은 좌/우 영상간의 시차가 발생하는 영역에서의 디스크립터 정보를 활용하여 스티칭할 때 발생하는 시차를 최소화하는 방법을 제공하는 데 그 목적이 있다.
본 발명은 멀티 영상을 이용하여 스티칭 시, 중첩영역에서 발생하는 시차문제를 HLBP 디스크립터를 활용 한 파노라마 좌표변형을 통해 최소화할 수 있다.
본 발명은 중첩 영역에 적용한 시차 최소화 방법에 의해 발생하는 비 중첩 영역에서의 영상 왜곡 효과를 감소시키는데 그 목적이 있다.
본 발명은 실시간으로 영상을 스티칭함에 있어서 왜곡현상 없는 파노라마 영상을 출력하는데 그 목적이 있다.
따라서, 물리적으로 하나의 원점을 가질 수 없는 멀티카메라 획득 장치를 통한 스티칭 기술로 널리 활용될 수 있는 이점이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따라, 실시간 영상을 스티칭 하는 방법 및 장치를 제공할 수 있다. 이 때 실시간 영상을 스티칭하는 장치는 실시간 영상들을 입력 받는 입력부, 시차 최소화 및 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력하는 출력부 및 입력 받은 실시간 영상들을 처리하는 제어부를 포함할 수 있다.
이 때 제어부는 각 카메라로부터 참조 영상들을 입력 받고, 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성하고, 생성된 스티칭 관련 정보를 적용하여 입력 받은 실시간 영상들을 와핑(warping)할 수 있다.
그리고 제어부는 중첩영역에서 시차발생영역을 추적하고, 시차발생영역에 발생한 시차를 최소화하고, 시차를 최소화한 경우 와핑된 실시간 영상들 간의 비중첩영역에서 발생한 영상 왜곡에 대해 보정 처리를 수행할 수 있다. 이 때, 시차가 발생하는 중첩영역은 각 실시간 영상을 파노라마 영상으로 출력할 경우 와핑된 실시간 영상들 간의 중첩된 영역을 의미할 수 있다.
또한, 다음의 실시예들은 실시간 영상을 스티칭 하는 방법 및 장치에서 공통으로 적용될 수 있다.
본 발명의 일 실시예에 따라, 본 장치가 추적된 시차발생영역에 발생한 시차를 최소화하는 경우 시차 발생 영역의 각 정점들에 대해 디스크립터를 계산하여, 시차를 최소화하는 목표 정점을 찾아 매칭할 수 있다. 이때 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 사용할 수 있다.
본 발명의 일 실시예에 따라, 본 장치가 시차를 최소화하는 목표 정점을 찾은 경우, 본 장치는 시차 발생 영역의 각 정점들에 대해 시차를 최소화하는 목표 정점으로 매칭하는 정보에 기초하여 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성할 수 있다.
본 발명의 일 실시예에 따라, 본 장치는 비중첩영역의 정점들에 대해 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 보정할 수 있다. 이 때 가중치는, 비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값이 부여될 수 있다.
본 발명의 일 실시예에 따라, 시차 발생 영역을 추적하는 경우, 참조 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들과 입력 받은 실시간 영상을 와핑한 영상에서 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산하고, SSIM 값이 임계치 이하인 경우, 시차가 발생된 것으로 판단할 수 있다. 이 때 SSIM 값을 계산하는 경우, 정점이 중점인 패치(patch) 단위로 처리하여 생성할 수 있다. 또한 입력 영상의 픽셀을 특정값으로 나눈 크기로 상기 영상을 한 개 이상으로 구분하고, 구분된 하나의 영역이 패치에 해당되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따라, 참조 영상들 각각에 대해 제 1 룩업테이블 및 블렌딩 마스크를 생성하는 경우, 정점이 중점인 패치(patch) 단위로 처리하여 생성할 수 있다. 이 때 입력 영상의 픽셀을 특정값으로 나눈 크기로 영상을 한 개 이상으로 구분하고, 구분된 하나의 영역이 패치에 해당되도록 하여 본 발명의 방법을 수행할 수 있다.
본 발명에 의하면 복수개의 입력동영상을 이용하여 파노라마 동영상을 생성할 때, 중첩영역에서 발생하는 시차(parallax)문제를 해결할 수 있다.
본 발명에 의하면 좌/우영상간의 시차가 발생하는 영역에서의 디스크립터 정보를 활용하여 스티칭의 시차를 최소화하는 방법을 제공할 수 있다.
본 발명에 의하면 멀티 영상을 이용하여 스티칭 시, 중첩영역에서 발생하는 시차문제를 HLBP 디스크립터를 활용 한 파노라마 좌표변형을 통해 최소화할 수 있다.
따라서, 물리적으로 하나의 원점을 가질 수 없는 멀티카메라 획득 장치를 통한 스티칭 기술로 널리 활용될 수 있는 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 파노라마 동영상을 생성하기 위한 멀티카메라 획득장면에 대한 도면이다.
도 2는 스티칭을 위한 입력 동영상의 화면을 나타낸 도면이다.
도 3은 2개의 입력영상을 이용하여 스티칭된 영상을 나타낸 도면이다.
도 4는 두 영상의 중첩영역에 매칭된 특징점(matched feature points)을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 방법에 대한 개요도이다.
도 6은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 방법에 대한 개요도이다.
도 7은 본 발명의 일 실시예에 따라 세 개의 입력 이미지가 스티칭된 결과에 대한 도면이다.
도 8은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치의 구성을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치의 동작 흐름도를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치가 시차를 최소화하는 방법에 대한 흐름도를 나타낸다.
도 11은 룩업 테이블을 적용하여 입력 영상을 와핑한 이미지에 대한 도면이다.
도 12는 본 발명의 일 실시예에 따른 시차를 가지고 있는 두 개의 다른 프레임들에서 검출된 정점들의 모션 벡터들을 나타낸 도면이다.
도 13은 시차 최소화 적용 전 스티칭 결과를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 시차최소화 기능 적용 후 스티칭 결과를 나타낸 도면이다.
도 15는 비중첩 영역에서 영상이 왜곡되는 현상을 나타낸 도면이다.
도 16는 본 발명의 일 실시예에 따라 실시간 영상을 스티칭 하는 장치가 시차 최소화 과정을 수행하는 경우, 각 단계에 대한 결과물을 나타낸 도면이다.
도 17은 일반적인 스티칭 결과 영상에 대한 도면이다.
도 18은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치가 시차 최소화 기능을 적용하여 스티칭을 수행한 경우의 파노라마 영상에 대한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
본 발명은 좌/우영상 (또는 현재와 전 프레임)간의 시차가 발생하는 영역에서의 디스크립터 정보를 활용하여 스티칭의 시차를 최소화하는 기술이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 방법에 대한 개요도이다.
본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 방법은 크게 캘리브레이션 단계(calibration phase)와 런타임 단계(Run-time Phase)로 구분할 수 있다.
캘리브레이션 단계(calibration phase)에서는 다중 비디오 시퀀스에서 한 프레임씩 스티치를 수행한 다음 런타임 단계에서 사용할 모든 입력 비디오 각각에 대해 룩업 테이블 (LUT,Lookup Table) 및 블렌딩 마스크(BM,Blending Mask)를 생성한다.
그리고 런타임 단계(Run-time Phase)에서는 먼저 모든 프레임에 대해 겹치는 영역에서 움직이는 물체를 감지한다. 만약 움직이는 물체가 감지되지 않는 경우, 캘리브레이션 단계에서 생성된 룩업 테이블(LUT)들을 사용하여 해당 프레임의 출력을 렌더링한다. 만약 움직이는 물체가 중첩 영역에서 감지되는 경우, 시차가 존재하는 영역의 룩업 테이블(LUT)을 업데이트하고, 업데이트된 룩업 테이블들을 사용하여 출력을 렌더링한다.
본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 방법은 도 6과 같은 개요도로도 표현될 수도 있다.
도 7은 본 발명의 일 실시예에 따라 세 개의 입력 이미지가 스티칭된 결과에 대한 도면이다. 도 7 (a), (b) 및 (c)의 세 개의 4K 입력 이미지가 스티칭되며, 도7의 (d) 내지 (i)는 LUT 및 BM으로 와핑(Warping)된 도 7 (a) 내지 (c)의 이미지를 나타낸다.
보다 상세하게는 도 7 (d) 및 (e)는 도 7(a) LUT 및 각각의 BM을 적용하여 와핑된 후의 좌측 이미지를 나타내고, 도 7 (f) 및 (g)는 도 7(b)에 LUT 및 각각의 BM을 적용하여 와핑된 후의 중심 이미지를 나타내며, 도 7 (h) 및 (i)는 도 7(c)에 LUT 및 각각의 BM을 적용하여 와핑된 후의 우측 이미지를 나타낸다. 그리고 도 7 (j)는 와핑된 각 이미지들을 블렌딩 마스크(BM)를 적용하여 연결한 파노라마 영상을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치의 구성을 나타낸다.
시차 최소화 장치는 입력부(810), 입력부(810)에서 입력 받은 실시간 영상들을 처리하는 제어부(820) 및 출력부(830)으로 구성될 수 있다.
도 9는 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치의 동작 흐름도를 나타낸다.
제어부(820)는 먼저 각 카메라로부터 참조 영상들을 입력 받고, 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성(S910)할 수 있다.
본 발명에서 참조영상(reference image set)은 수 개의 카메라로부터 동기화된 영상으로써, 실시간으로 입력 받는 영상과 비교하여 실시간으로 입력 받은 영상을 스티칭할 경우 시차가 발생하는지 확인할 수 있는 기준 영상이 될 수 있다. 본 발명의 일 실시예로 참조영상은 이동 중인 물체가 존재하지 않아 시차가 발생하지 않은 영상이 해당될 수 있다.
입력부(810)는 파노라마 영상을 생성하기 위한 실시간 영상들을 입력 받는다. (S920)
그리고 제어부(820)는 생성된 스티칭 관련 정보를 적용하여 입력 받은 실시간 영상들을 와핑(warping)하고, 중첩영역에서 시차발생영역을 추적하고, 상기 시차발생영역에 발생한 시차를 최소화(S930)할 수 있다. 이때 중첩영역은 각 실시간 영상을 파노라마 영상으로 출력할 경우 상기 와핑된 실시간 영상들 간의 중첩된 영역을 의미한다.
그 후 제어부(820)은 시차를 최소화한 경우 와핑된 실시간 영상들 간의 비중첩영역에서 발생한 영상 왜곡에 대해 보정한다.
출력부(830)은 제어부에서 시차 최소화 및 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력(S950)한다.
도 10은 본 발명의 일 실시에에 따른 실시간 영상을 스티칭하는 장치가 시차를 최소화하는 방법에 대한 흐름도를 나타낸다.
먼저 시차 최소화 장치는 스티칭 캘리브레이션(calibration) 단계를 수행하여 스티칭 정보를 추출 및 생성한다.(S1010)
보다 상세하게는 시차 최소화 장치는 각 카메라로부터 동기화된 영상을 입력 받는다. 그리고 입력 받은 참조 영상(reference image set)을 이용하여 스티칭 정보를 생성한다. 생성된 스티칭 정보에는 룩업 테이블(LUT, Look-up table) 및 블렌딩 마스크(BM, Blending Mask) 중 하나 이상의 정보가 포함될 수 있다. 이 때 해당 단계에서의 룩업 테이블은 런 타임 단계(Run-time phase)에서 업데이트 되는 룩업 테이블과 구분하기 위해서 제 1 룩업 테이블로 지칭할 수 있다.
본 발명에서 룩업 테이블(LUT, Look-Up Table)은 입력 영상의 좌표가 스티칭 된 후의 좌표로의 위치를 나타내는 정보를 포함한다. 즉, 룩업 테이블은 입력 정점과 출력된 정점간의 관계를 나타낸 정보를 포함할 수 있다.
본 발명의 일 실시예로 본 발명에서 정의하는 LUT에는 입력 영상을 division으로 나눈 픽셀들(control point)만 표시될 수 있다. 이 때 division은 사용자가 지정하는 특정값에 해당될 수 있다. 즉, 참조 영상들 각각에 대해 스티칭 정보를 생성하는 경우, 정점이 중점인 패치(patch) 단위로 영상을 처리하여 스티칭 정보를 생성할 수 있다.
이 때 보다 상세하게는 입력 영상의 픽셀을 division(특정값)으로 나눈 크기로 입력 영상을 한 개 이상으로 구분하고, 구분된 하나의 영역을 하나의 패치로 파악하여, 스티칭 정보를 생성할 수 있다.
상기와 같이 패치 단위로 스티칭 정보를 생성하는 방법은 룩업 테이블 또는 브렌딩 마스크와 같은 스티칭 정보를 생성하는 경우 사용될 수 있으나, 본 발명의 일 실시예에 한정하여 스티칭 정보가 생성되는 것은 아니다. 스티칭 정보의 생성은 패치 단위로 처리될 수 있으나, division 값에 따라 패치의 크기가 변경될 수 있으며, 그 외에 입력 영상의 좌표와 스티칭 된 후의 좌표로와의 관계를 나타낼 수 있도록 영상을 처리하는 방법들은 본 발명에 적용할 수 있다.
본 발명의 일 실시예로 패치 단위를 사용하여 제 1 룩업 테이블을 생성하는 경우, 만약 920x1080 영상에서 division을 60으로 정의하였다면 가로는 매 32번째(1920/60), 세로는 18번째 픽셀좌표가 컨트롤 포인트(control point)가 된다. 즉, 이 경우 LUT는 총 가로 60개, 세로 60개의 컨트롤 포인트(control point)로 구성된다. 또한 1920x1080 영상에서 Division을 1로 정의한 경우, 총 1920x1080 컨트롤 포인트(control points)가 존재한다.
그 후 시차 최소화 장치는 실시간 영상을 입력 받을 수 있다.(S1020) 이 때 실시간 영상은 파노라마 영상을 생성하기 위한 영상들로써 입력 받은 수 개의 영상들에 해당된다. 그리고 시차 최소화 장치는 입력 받은 실시간 영상들 각각에 대해 생성한 스티칭 관련 정보를 적용하여 와핑(warping)을 수행할 수 있다. (S1030) 이 때 스티칭 캘리브레이션 단계에서 생성된 제 1 룩업 테이블이 적용될 수 있다.
도 11은 룩업 테이블을 적용하여 입력 영상을 와핑한 이미지에 대한 도면이다. 도 11과 같이 제 1 스티칭 정보에 해당하는 제 1 룩업 테이블 및 블렌딩 마스크는 입력 받은 참조영상 각각에 대해서 생성된다. 파노라마 영상을 생성하기 위해 수개의 카메라로부터 입력 받은 영상들은 일부 영역을 중첩하여 연결될 수 있다. 이 때 입력 받은 영상들이 서로 연결되어 사이즈가 큰 영상을 생성하기 위해 룩업 테이블을 적용하여 영상이 와핑되어야 하며, 이 때 도 11과 같이 영상들은 사각형의 모양에서 변형된 모양의 영상으로 변경된다.
그 후 시차 최소화 장치는 중첩 영역에서 시차 발생 영역을 추적할 수 있다.(S1040) 이 때 스티칭된 영상에서 시차가 발생하는 영역을 찾는다. 시차는 좌, 우 영상의 중첩 영역에서 발생한다. 보다 상세하게는 시차가 발생하는 중첩영역은 각 실시간 영상을 파노라마 영상으로 연결하여 출력할 경우, 와핑된 실시간 영상들이 연결되는 영역을 말하며 이는 곧 와핑된 실시간 영상들 간의 중첩된 영역을 의미할 수 있다.
예를 들어 입력 받은 영상간의 중첩된 영역에서 별 다른 변화가 발생하지 않은 경우, 시차가 발생하지 않을 수 있다. 그러나 일 예로써 입력 받은 영상간의 중첩된 영역에서 움직이는 물체가 존재하는 경우 시차가 발생할 수 있으며, 본 장치는 해당 물체에 의해 발생된 시차가 존재하는지 여부를 추적할 수 있다.
즉, 실시간 영상을 스티칭 하는 장치는 중첩영역 안에서 시차가 발생한 영역을 추적할 수 있다. 실시간 영상을 스티칭 하는 장치가 시차 발생 영역을 추적하는 경우, Structural Similarity Index(SSIM) 값을 계산하여 일정 값 이하인 경우 시차가 발생한 것으로 판단할 수 있다.
본 발명의 일 실시예로, 실시간 영상을 스티칭 하는 장치가 시차 발생 영역을 추적하는 경우 영상 두 개를 이용하여 SSIM 값을 계산하게 되며, 이 때 기준이 되는 참조 영상을 와핑한 영상과 입력 받은 실시간 영상을 와핑한 영상을 비교하여 시차가 발생했는지 여부를 판단할 수 있다.
보다 상세하게는 참조 영상을 와핑한 영상에서 중첩영역에 해당되는 영역의 정점들과 입력 받은 실시간 영상을 와핑한 영상에서 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산한다. 계산된 SSIM 값이 임계치 이하인 경우, 실시간 영상을 스티칭 하는 장치는 시차가 발생된 것으로 판단할 수 있다.
본 발명의 일 실시예로, SSIM 값을 계산하는 경우, 정점이 중점인 패치(patch) 단위로 처리하여 계산할 수 있다. 보다 상세하게는 입력 영상의 픽셀을 특정값으로 나눈 크기로 영상을 한 개 이상으로 구분하고, 구분된 하나의 영역을 패치로 정의할 수 있다. 즉, 본 발명에서 시차 발생 영역은 LUT의 control point를 중심으로 한 patch(64x64)에서 SSIM (Structural Similarity Index)값을 계산하여, 0.95이하인 경우 시차 발생으로 간주할 수 있으며, 시차 발생으로 간주되는 값은 임의의 값으로 0.95에 한정될 것은 아니며 사용자가 지정한 임계값이 될 수 있다.
실시간 영상을 스티칭 하는 장치는 시차가 발생한 것으로 확인된 영역에 대해서 시차를 최소화하도록 보정하는 처리 과정을 수행할 수 있다.(S1050) 즉, 본 장치는 시차발생영역에 발생한 시차를 감소시키는 보정을 수행할 수 있다.
실시간 영상을 스티칭 하는 장치가 상기 추적된 시차발생영역에 발생한 시차를 최소화하는 경우, 시차 발생 영역의 각 정점들에 대해 디스크립터를 계산하여, 시차를 최소화하는 목표 정점을 찾아 매칭하여 발생된 시차를 최소화할 수 있다. 즉, 발생된 시차를 감소시키는 방향으로 본 영상을 보정할 수 있다. 이 때 본 발명의 일 실시예에 따라 본 발명의 정점(Verticle)은 본 발명에서 정의하는 컨트롤 포인트(control point)에 해당될 수 있다.
보다 상세하게는 실시간 영상을 스티칭 하는 장치는 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 경우, 시차 발생 영역의 각 정점들에 대해 디스크립터를 계산하고, 계산된 디스크립터를 이용하여 상기 시차 발생 영역의 정점에서 발생한 시차를 감소시킬 수 있는 목표 정점을 찾고, 시차발생영역의 정점과 목표 정점을 매칭하여 영상의 보정을 수행할 수 있다.
또한 이때 본 발명의 장치는 시차를 최소화할 수 있는 목표 정점을 찾을 수 있는바, 보다 상세하게는 시차발생영역의 정점과 매칭되는 상기 목표 정점은 시차발생영역의 정점을 다른 임의의 정점들과 매칭하였을 경우 발생되는 시차를 고려하여, 발생되는 시차가 가장 작은 값을 가질 수 있는 정점으로 선택될 수 있다.
본 발명의 일 실시예에 따라 발생된 시차를 최소화하기 위해 이용하는 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 사용할 수 있다. 본 발명에서 해당 디스크립터를 HLBP 디스크립터로 정의할 수 있으며, [수학식1]과 같이 표현할 수 있다.
Figure pat00001
수학식1과 같이 HLBP 디스크립터에는 HOG 디스크립터 값과, LBP 디스크립터 값이 모두 표현될 수 있다.
본 발명의 일 실시예에 따라 실시간 영상을 스티칭하는 장치는 시차 발생 영역(Patch)에서 시차가 최소화되는 motion vector S를 찾고 적용할 수 있다. 최적의 S는 [수학식2]와 같이 계산될 수 있다.
Figure pat00002
수학식 2에서
Figure pat00003
는 시각 t에서 시차가 발생한 중첩하는 정점의 목표 위치(target vertex)를 의미하고,
Figure pat00004
는 시간 t 일 때, 와핑된(warped) 프레임에서 시차가 발생한 중첩영역에서의 정점을 의미하며,
Figure pat00005
는 시차를 최소화할 수 있는 모션 벡터를 의미한다.
Figure pat00006
수학식 3에서
Figure pat00007
는 시간 t에서 왜곡된(warped) frame을 의미하며, HLBP는 디스크립터를 의미한다.
도 12는 시차를 가지고 있는 두 개의 다른 프레임들에서 검출된 정점들의 모션 벡터들을 나타낸 도면이다.
도 13은 시차 최소화 적용 전 스티칭 결과를 나타낸 도면이다. 도 13(a)는 시차최소화 기능 적용 전 스티칭 결과로서, 시차를 명확이 보여주기 위하여 블렌딩(blending) 적용 전 이미지를 보여주고 있다. 도 13(b) 역시 시차최소화 기능 적용 전 스티칭 결과이며, 이때 본 도면의 사각형의 꼭지점이 본 발명에서 정의된 컨트롤 포인트(control point)에 해당된다.
도 14는 본 발명의 일 실시예에 따른 시차최소화 기능 적용 후 스티칭 결과를 나타낸 도면이다.
본 발명은 복수개의 입력 동영상을 이용하여 파노라마 동영상을 생성할 때, 중첩영역에서 발생하는 시차(parallax)문제를 해결하기 위하여 좌/우 영상간의 시차가 발생하는 영역에서의 디스크립터 정보를 활용하여 스티칭의 시차를 최소화하는 방법을 제공하는 데 그 목적이 있다. 이 때 스티칭을 하는 경우, 좌/우 영상간의 phase correlation 값을 추정하고, 이 정보를 이용하여 스티칭 시 파노라마 surface변형(또는 control point 좌표변경)을 한 결과. 시차문제가 최소화 될 수 있다. 도 14 (c)는 시차최소화 기능(phase correlation)을 적용한 후의 스티칭 결과를 나타낸 도면이고, 도 14(d)는 시차최소화 기능(phase correlation) 적용 후 스티칭 결과로, control point가 좌표 변환된 것을 나타낸 도면이다.
그 후 실시간 영상을 스티칭 하는 장치는 시차를 최소화할 수 있는 스티칭 정보를 갖는 제 2 스티칭 관련 정보를 생성할 수 있다. (S1060)
본 발명의 일 실시예에 따라 실시간 영상을 스티칭하는 장치는 HLBP 디스크립터를 활용하여 시차를 최소화하는 목표 정점을 찾은 경우, 시차 발생 영역의 각 정점들에 대해 상기 시차를 최소화하는 목표 정점으로 매칭하는 정보에 기초하여 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성할 수 있다. 이 때 제 2 룩업 테이블은 제 1 룩업 테이블의 정보에 기초하여 시차가 최소화 될 수 있도록 좌표값이 변경된 값을 나타내는 룩업 테이블을 의미한다.
그리고 실시간 영상을 스티칭 하는 장치는 비중첩 영역에서의 영상 왜곡 보정을 수행할 수 있다. (S1070)
실시간 영상을 스티칭 하는 장치가 중첩 영역에서 시차 발생을 줄이기 위해 시차 최소화 방법을 수행한 경우, 비중첩 영역에서는 영상이 왜곡되는 현상이 발생한다. 즉, 도 15와 같이 비중첩 영역에서 영상이 왜곡되는 현상이 발생하며, 보다 상세하게는 비중첩 영역의 정점들이 인위적으로 스트레칭 되어 나타날 수 있으며, 스트레칭 효과(stretching effect)로 표현될 수 있다. 따라서, 본 발명의 일 실시예로써, 출력되는 파노라마 영상의 시차 및 왜곡 현상을 감소시키기 위하여, 비중첩 영역의 화면에 대해서도 일정한 처리를 수행한다.
본 발명의 일 실시예로써, 실시간 영상을 스티칭 하는 장치는 비중첩영역의 정점들에 대해 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 보정할 수 있다. 이 때 할당되는 가중치는, 비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값 또는 더 큰 값이 부여될 수 있다. 즉, 비중첩영역의 정점들 중 중첩영역에 가까운 정점들이 더 많은 이동이 되어야 왜곡 현상을 감소될 수 있다.
본 발명의 일 실시예에 따라, 비중첩영역의 컨트롤 포인트(control point)도 아래의 식을 이용한 s값 만큼 이동하여 영상의 distortion을 최소화할 수 있다. 본 발명의 컨트롤 포인트(control point)는 정점이 될 수 있으며, 기준점이 될 수 있다.
Figure pat00008
Figure pat00009
는 시각 t에서 움직이는 물체 주변의 중첩되지 않는 정점의 목표 위치를 의미하고,
Figure pat00010
는 시간 t에서 왜곡된(warped) 프레임의 비 중첩 정점을 의미하며,
Figure pat00011
는 수학식 5와 같이 정의될 수 있다.
Figure pat00012
하기의 표 1는 본 발명에서 사용하는 notation과 이에 대한 정의이다.
Notation definition
Figure pat00013
 시간 t에서 입력 프레임의 정점 위치 (Vertices location in input frame at time t)
Figure pat00014
 시간 t에서 왜곡된(warped) 프레임의 정점 (Vertices of warped frame at time t)
Figure pat00015
 시간 t에서 왜곡된(warped) 프레임의 중첩 된 정점 (Overlapping Vertices in warped frame at time t)
Figure pat00016
 시차가 발생한 중첩하는 정점의 부분 집합 (Subset of overlapping vertices having parallax)
Figure pat00017
 시간 t에서 왜곡된(warped) 프레임의 비 중첩 정점 (Non-Overlapping vertices in warped frame at time t)
Figure pat00018
 시간 t에서 왜곡된(warped) 프레임에 시차가 발생한 중첩하는 정점 (Overlapping vertices having parallax in warped frame at time t)
Figure pat00019
 시각 t에서 시차가 발생한 중첩하는 정점의 목표 위치 (Target location of overlapping vertices having parallax at time t)
Figure pat00020
 시각 t에서 움직이는 물체 주변의 중첩되지 않는 정점의 목표 위치 (Target location of non-overlapping vertices in neighborhood of moving object at time t)
Figure pat00021
Figure pat00022
에서 타겟 정점
Figure pat00023
으로 이동시키는 모션 벡터 (Motion Vector to the target vertex
Figure pat00024
from
Figure pat00025
)
Figure pat00026
 중첩 된 영역에 객체가 없는 경우 왜곡된(warped) 프레임 레퍼런스 (Reference warped frame when there is no object in overlapping region)
Figure pat00027
 시간 t에서 왜곡된(warped) 프레임 (Warped frame at time t)
도 16는 본 발명의 일 실시예에 따라 실시간 영상을 스티칭 하는 장치가 시차 최소화 과정을 수행하는 경우, 각 단계에 대한 결과물을 나타낸 도면이다.
보다 상세하게는 도 16 (a)는 파노라마 영상을 생성하는 경우 영상간의 중첩영역에서 시차가 발생된 것을 나타낸 도면이다. 특히 도 16 (a)의 원 부분을 확인하면, 영상 두 개의 결합으로 인해 시차가 발생된 것을 확인할 수 있다.
도 16 (b)는 도 16 (a)에서 발생된 중첩 영역의 시차를 본 발명의 시차 최소화 방법에 따라 최소화 처리한 한 결과물을 나타낸 도면이다 이 때, 도 16(b)의 원을 확인하면, 비 중첩 영역에서 영상의 스트레칭 현상이 발생된 것을 확인할 수 있다.
도 16 (c)는 도 16 (b)의 비중첩 영역에서 발생한 영상 왜곡 현상을 본 발명에서 제시하는 시차 최소화 방법에 따라 처리한 최종 결과물을 나타낸 도면이다.
도 17은 일반적인 스티칭 결과 영상에 대한 도면이다. 도 17 (a)는 일반적인 스티칭 결과로써, 본 발명에서 제시하는 시차 최소화 기능을 적용하지 않은 경우에 대한 결과물이다. 그리고 도 17 (b)는 시차 발생 영역을 확대한 도면으로, 움직이는 물체가 영상간의 중첩 영역을 지나갈 때 시차가 발생하는 것을 확인할 수 있다.
도 18은 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치가 시차 최소화 기능을 적용하여 스티칭을 수행한 경우의 파노라마 영상에 대한 도면이다.
본 발명의 구성에 따르면, 멀티 영상을 이용하여 스티칭을 하는 경우, 중첩영역에서 발생하는 시차문제를 HLBP 디스크립터를 활용 한 파노라마 좌표변형을 통해 최소화할 수 있다. 따라서, 물리적으로 하나의 원점을 가질 수 없는 멀티카메라 획득 장치를 통한 스티칭기술로 널리 활용될 수 있는 이점이 있다.
도 18 (a)는 본 발명의 일 실시예에 따른 실시간 영상을 스티칭하는 장치가 시차 최소화 기능을 적용하여 스티칭을 수행한 경우 생성된 파노라마 영상을 나타낸 도면이고, 도 18(b)는 시차 최소화 기능이 적용된 영역을 확대한 도면에 해당된다. 즉 본 발명에서 제안하는 시차 최소화 방법을 적용하여, 움직이는 물체가 영상간의 중첩영역을 지나갈 때에도 시차가 최소화되어 출력되는 것을 확인할 수 있다.
본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되어 있는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
810 : 입력부
820 : 제어부
830 : 출력부

Claims (20)

  1. 실시간 영상을 스티칭 하는 방법에 있어서
    각 카메라로부터 참조 영상들을 입력 받고, 상기 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성하는 단계;
    상기 각 카메라로부터 실시간 영상들을 입력 받고, 상기 생성된 스티칭 관련 정보를 적용하여 와핑(warping)하는 단계;
    중첩영역에서 시차발생영역을 추적하는 단계;로서
    상기 중첩영역은 각 실시간 영상들을 연결하여 파노라마 영상으로 출력할 경우 상기 와핑된 실시간 영상들 간의 중첩된 영역을 의미하고,
    상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 단계;
    상기 시차를 감소시키는 보정을 수행한 경우 상기 와핑된 실시간 영상들 간의 비중첩영역에서 발생한 영상 왜곡을 보정하는 단계; 및
    상기 시차발생영역 및 비중첩영역에 대해 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력하는 단계;
    를 포함하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  2. 제 1항에 있어서
    상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 경우
    상기 시차발생영역의 각 정점들에 대해 디스크립터를 계산하고,
    상기 계산된 디스크립터를 이용하여 상기 시차발생영역의 정점에서 발생한 시차를 감소시킬 수 있는 목표 정점을 찾고,
    상기 시차발생영역의 정점과 상기 목표 정점을 매칭하여 영상의 보정을 수행하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  3. 제 2항에 있어서
    상기 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  4. 제 2항에 있어서
    상기 시차를 감소시킬 수 있는 목표 정점을 찾은 경우,
    상기 시차발생영역의 정점과 상기 목표 정점이 매칭된 정보에 기초하여
    상기 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  5. 제 2항에 있어서
    상기 시차발생영역의 정점과 매칭되는 상기 목표 정점은
    상기 시차발생영역의 정점을 다른 임의의 정점들과 매칭하였을 경우 계산되는 시차를 고려하여,
    상기 다른 임의의 정점들 중 발생되는 시차가 가장 작은 값을 가질 수 있는 정점으로 선택되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  6. 제 1항에 있어서
    상기 비중첩영역의 정점들에 대해 상기 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 상기 비중첩영역에서 발생한 영상 왜곡을 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  7. 제 6항에 있어서
    상기 가중치는,
    비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값이 부여되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  8. 제 1항에 있어서
    상기 시차 발생 영역을 추적하는 경우,
    상기 참조 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들과
    상기 입력 받은 실시간 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산하고,
    상기 SSIM 값이 임계치 이하인 경우, 시차가 발생된 것으로 판단하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  9. 제 8항에 있어서
    상기 SSIM 값을 계산하는 경우,
    상기 정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  10. 제 9항에 있어서,
    상기 입력 영상의 픽셀을 특정값으로 나눈 크기로 상기 영상을 한 개 이상으로 구분하고,
    상기 구분된 하나의 영역이 상기 패치에 해당되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  11. 제 1항에 있어서,
    상기 참조 영상들 각각에 대해 상기 제 1 룩업테이블 및 블렌딩 마스크를 생성하는 경우,
    정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  12. 제 11항에 있어서,
    상기 입력 영상의 픽셀을 특정값으로 나눈 크기로 상기 영상을 한 개 이상으로 구분하고,
    상기 구분된 하나의 영역이 상기 패치에 해당되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법.
  13. 실시간 영상을 스티칭 하는 장치에 있어서
    실시간 영상들을 입력 받는 입력부;
    시차발생영역 및 비중첩영역에 대해 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력하는 출력부;
    및 상기 입력 받은 실시간 영상들을 처리하는 제어부;를 포함하되,
    상기 제어부는
    각 카메라로부터 참조 영상들을 입력 받고, 상기 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성하고,
    상기 생성된 스티칭 관련 정보를 적용하여 상기 입력 받은 실시간 영상들을 와핑(warping)하고,
    중첩영역에서 상기 시차발생영역을 추적하고,
    상기 중첩영역은 각 실시간 영상들을 연결하여 파노라마 영상으로 출력할 경우 상기 와핑된 실시간 영상들 간의 중첩된 영역을 의미하며,
    상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하고,
    상기 시차를 감소시키는 보정을 수행한 경우 상기 와핑된 실시간 영상들 간의 상기 비중첩영역에서 발생한 영상 왜곡을 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  14. 제 13항에 있어서
    상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 경우
    시차 발생 영역의 각 정점들에 대해 디스크립터를 계산하고,
    상기 계산된 디스크립터를 이용하여 상기 시차 발생 영역의 정점에서 발생한 시차를 감소시킬 수 있는 목표 정점을 찾고,
    상기 시차발생영역의 정점과 상기 목표 정점을 매칭하여 영상의 보정을 수행하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  15. 제 14항에 있어서
    상기 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  16. 제 14항에 있어서
    상기 시차를 감소시킬 수 있는 목표 정점을 찾은 경우,
    상기 시차발생영역의 정점과 상기 목표 정점이 매칭된 정보에 기초하여
    상기 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  17. 제 13항에 있어서
    상기 비중첩영역의 정점들에 대해 상기 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  18. 제 17항에 있어서
    상기 가중치는,
    비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값이 부여되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  19. 제 13항에 있어서
    상기 시차 발생 영역을 추적하는 경우,
    상기 참조 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들과
    상기 입력 받은 실시간 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산하고,
    상기 SSIM 값이 임계치 이하인 경우, 시차가 발생된 것으로 판단하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
  20. 제 19항에 있어서
    상기 SSIM 값을 계산하는 경우,
    상기 정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치.
KR1020180126501A 2018-10-23 2018-10-23 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 KR102383669B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180126501A KR102383669B1 (ko) 2018-10-23 2018-10-23 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
US16/600,229 US10991073B2 (en) 2018-10-23 2019-10-11 Apparatus and method of parallax-minimized stitching by using HLBP descriptor information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126501A KR102383669B1 (ko) 2018-10-23 2018-10-23 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200045682A true KR20200045682A (ko) 2020-05-06
KR102383669B1 KR102383669B1 (ko) 2022-04-06

Family

ID=70280943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126501A KR102383669B1 (ko) 2018-10-23 2018-10-23 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법

Country Status (2)

Country Link
US (1) US10991073B2 (ko)
KR (1) KR102383669B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074770A (ko) * 2020-11-27 2022-06-03 한국과학기술원 영상 스티칭 방법 및 이를 수행하는 장치
WO2022240186A1 (ko) * 2021-05-11 2022-11-17 삼성전자 주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102466998B1 (ko) * 2018-02-09 2022-11-14 삼성전자주식회사 영상 융합 방법 및 장치
US11875473B2 (en) * 2021-06-15 2024-01-16 Aspeed Technology Inc. Method for generating projection image with scaling adjustment and seam cut stitching

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR20180016461A (ko) * 2018-02-05 2018-02-14 이화여자대학교 산학협력단 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
KR20180022539A (ko) * 2016-08-24 2018-03-06 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US10313565B2 (en) * 2014-06-26 2019-06-04 Integrated Device Technology, Inc. Methods and apparatuses for edge preserving and/or edge enhancing spatial filter
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9363449B1 (en) * 2014-11-13 2016-06-07 Futurewei Technologies, Inc. Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US9424458B1 (en) 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR20180022539A (ko) * 2016-08-24 2018-03-06 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
KR20180016461A (ko) * 2018-02-05 2018-02-14 이화여자대학교 산학협력단 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074770A (ko) * 2020-11-27 2022-06-03 한국과학기술원 영상 스티칭 방법 및 이를 수행하는 장치
KR20230008664A (ko) * 2020-11-27 2023-01-16 한국과학기술원 심층 신경망 기반 영상 스티칭 방법 및 장치
WO2022240186A1 (ko) * 2021-05-11 2022-11-17 삼성전자 주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR102383669B1 (ko) 2022-04-06
US10991073B2 (en) 2021-04-27
US20200126182A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102383669B1 (ko) Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
KR102003015B1 (ko) 광류를 사용한 중간 뷰의 생성
CN106462944B (zh) 高分辨率全景vr生成器及方法
US9251612B2 (en) Optimal dynamic seam adjustment system and method for image stitching
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US10003779B2 (en) Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US20130242043A1 (en) Depth video filtering method and apparatus
US12039692B2 (en) Panoramic image synthesis device, panoramic image synthesis method and panoramic image synthesis program
US10628967B2 (en) Calibration for multi-camera systems
TW201537981A (zh) 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
KR20110032157A (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
JP5669599B2 (ja) 画像処理装置及びその制御方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
JP2012019399A (ja) 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
US11128815B2 (en) Device, method and computer program for extracting object from video
JP2017050857A (ja) 画像処理装置、画像処理方法およびプログラム
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
JP5076002B1 (ja) 画像処理装置及び画像処理方法
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
Atokari et al. Parallax-tolerant 360 live video stitcher
US11592656B2 (en) Image processing apparatus, image processing program, and image processing method
Wu et al. An adaptive seam line panoramic video stitching algorithm
CN110213500A (zh) 一种针对多镜头拍摄的宽动态图生成方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)