KR101321974B1 - 옵티컬 플로우를 이용한 이동물체 영상합성 방법 - Google Patents

옵티컬 플로우를 이용한 이동물체 영상합성 방법 Download PDF

Info

Publication number
KR101321974B1
KR101321974B1 KR1020120049396A KR20120049396A KR101321974B1 KR 101321974 B1 KR101321974 B1 KR 101321974B1 KR 1020120049396 A KR1020120049396 A KR 1020120049396A KR 20120049396 A KR20120049396 A KR 20120049396A KR 101321974 B1 KR101321974 B1 KR 101321974B1
Authority
KR
South Korea
Prior art keywords
optical flow
moving object
image
frame
frames
Prior art date
Application number
KR1020120049396A
Other languages
English (en)
Inventor
김창훈
Original Assignee
(주)비주얼 스포츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비주얼 스포츠 filed Critical (주)비주얼 스포츠
Priority to KR1020120049396A priority Critical patent/KR101321974B1/ko
Application granted granted Critical
Publication of KR101321974B1 publication Critical patent/KR101321974B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 옵티컬 플로우를 이용한 이동물체 영상합성 방법에 관한 것으로서, 보다 구체적으로는 (1) 이동물체가 촬영된 영상 데이터가 입력되는 단계; (2) 상기 단계 (1)에서 입력된 영상 데이터가 연속되는 복수 개의 프레임으로 저장되는 단계; (3) 상기 단계 (2)에서 저장된 프레임의 픽셀들에 대해 연쇄적으로 옵티컬 플로우 벡터를 구하는 단계; (4) 상기 단계 (3)에서 구해진 옵티컬 플로우 벡터를 분석하여 상기 복수 개의 프레임들로부터 소정의 프레임 쌍들을 추출하는 단계; 및 (5) 상기 단계 (4)에서 추출된 프레임 쌍들을 정합하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 옵티컬 플로우를 이용한 이동물체 영상정합 방법에 따르면, 움직이는 물체의 픽셀에 특징점을 정하고, 상기 특징점에 대한 옵티컬 플로우 벡터를 계산함으로써, 연산 처리량을 줄이고 큰 객체의 움직임도 추적할 수 있다.
또한, 본 발명에 따르면, 옵티컬 플로우 벡터값이 기준 값 이상인 특징점을 포함하는 프레임들을 정합하고, 상기 프레임들로부터 이동물체의 픽셀들을 추출하여 배경 이미지에 합성함으로써, 이동물체의 영상을 연속적인 정지 상태로 포착한 것과 같은 단일 평면화 영상, 즉 하나의 이미지로 출력할 수 있다.

Description

옵티컬 플로우를 이용한 이동물체 영상합성 방법{A METHOD FOR COMBINING IMAGE OF MOVING OBJECT USING OPTICAL FLOW METHOD}
본 발명은 옵티컬 플로우를 이용한 이동물체 영상합성 방법에 관한 것으로서, 보다 구체적으로는 옵티컬 플로우 벡터가 기준 값 이상인 픽셀들을 배경 이미지에 합성하여 이동 물체의 영상을 단일 평면화 영상으로 출력하는 방법에 관한 것이다.
최근 국내 소득수준의 향상과 세계적인 스포츠 스타들의 탄생, 그리고 하계 및 동계 올림픽, 월드컵 등의 스포츠 방송 콘텐츠의 급격한 증가에 따라 2차원 매체로도 3차원적인 움직임을 표현하는 기법으로 스포츠 컨텐츠를 전달하는 기법이 많이 쓰이고 있다.
즉, 움직이는 물체를 추적하는 영상의 수요가 증대하고 있는데, 영상을 이용하여 움직이는 물체를 추적하는 방법으로는 두 인접 영상 간의 차감 영상을 입자 필터(Particle Filter) 등의 확률론적인 필터(Probabilistic Filter)를 통해서 추적하는 방법이 일반적이다. 그러나 이러한 방법은 배경이 고정되어 있고, 물체의 움직임만이 영상에 나타나야 한다.
이와 관련된 기술로서, 대한민국 등록특허 제10-0849499호(발명의 명칭: 능동 카메라를 이용한 물체 추적 방법 및 장치)는 카메라의 이동에 따른 배경의 움직임이 제거된 영상 간의 차감 영상을 구하여 입자 필터에 적용함으로써 팬틸트 기능 등이 구비된 능동 카메라를 이용한 물체 추적 방법 및 장치를 개시하고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 옵티컬 플로우 벡터가 기준 값 이상인 픽셀들을 배경 이미지에 합성하여 이동 물체의 영상을 단일 평면화 영상으로 출력하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 방법은,
(1) 이동물체가 촬영된 영상 데이터가 입력되는 단계;
(2) 상기 단계 (1)에서 입력된 영상 데이터가 연속되는 복수 개의 프레임으로 저장되는 단계;
(3) 상기 단계 (2)에서 저장된 프레임의 픽셀들에 대해 연쇄적으로 옵티컬 플로우 벡터를 구하는 단계;
(4) 상기 단계 (3)에서 구해진 옵티컬 플로우 벡터를 분석하여 상기 복수 개의 프레임들로부터 소정의 프레임 쌍들을 추출하는 단계; 및
(5) 상기 단계 (4)에서 추출된 프레임 쌍들을 정합하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (5) 이후에,
(6) 상기 단계 (5)에서 정합된 프레임의 상기 이동물체 픽셀을 추출하는 단계; 및
(7) 상기 단계 (6)에서 추출된 상기 이동물체 픽셀을 배경 이미지에 합성하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (3)는,
이전 프레임과 현재 프레임의 이동물체 픽셀의 특징점에 대해 연쇄적으로 옵티컬 플로우 벡터를 계산할 수 있다.
바람직하게는, 상기 단계 (4)는,
상기 이전 프레임과 현재 프레임으로 구성된 프레임 쌍의 특징점의 상기 옵티컬 플로우 벡터가 제1 기준 값 이상인 상기 프레임 쌍을 선택할 수 있다.
더욱 바람직하게는, 상기 제1 기준 값은,
상기 이동물체의 픽셀들을 단일 평면화 영상으로 배경 이미지에 합성하기 위하여 정합할 프레임 쌍들을 추출하기 위해 사용자가 기설정한 기준 값일 수 있다.
바람직하게는, 상기 단계 (5)는,
상기 단계 (1)에서부터 단계 (4)까지 시간상으로 먼저 저장되고, 상기 옵티컬 플로우 벡터값에 의해 비교 선택된 상기 프레임 쌍들이 순차적으로 정합될 수 있다.
더욱 바람직하게는, 상기 단계 (5)는,
임계치를 이용하여 상기 선택된 프레임들의 잡음을 제거하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
프레임 단위의 상기 영상 데이터가 순차적으로 저장될 수 있다.
본 발명에서 제안하고 있는 옵티컬 플로우를 이용한 이동물체 영상합성 방법에 따르면, 움직이는 물체의 픽셀에 특징점을 정하고, 상기 특징점에 대한 옵티컬 플로우 벡터를 계산함으로써, 연산 처리량을 줄이고 큰 객체의 움직임도 추적할 수 있다.
또한, 본 발명에 따르면, 옵티컬 플로우 벡터값이 기준 값 이상인 특징점을 포함하는 프레임들을 정합하고, 상기 프레임들로부터 이동물체의 픽셀들을 추출하여 배경 이미지에 합성함으로써, 이동물체의 영상을 연속적인 정지 상태로 포착한 것과 같은 단일 평면화 영상, 즉 하나의 이미지로 출력할 수 있다.
도 1은 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템을 간략하게 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 결과물을 예로써 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 동작을 단계별로 나타내는 도면.
도 4는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상 합성 시스템의 동작 단계의 일부를 상세히 나타내는 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템을 간략하게 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 결과물을 예로써 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 옵티클 플로우를 이용한 이동물체 영상합성 시스템(100)은 카메라(110), 영상 데이터부(120), 옵티컬 플로우부(130), 영상 정합부(140) 및 영상 출력부(150)를 포함할 수 있다.
카메라(110)는 이동하는 물체의 영상 데이터를 취득하는 수단으로서, 예를 들어 PTZ(Pan/Tilt/Zooming) 제어가 가능한 카메라로 구성될 수 있다. PTZ(Pan/Tilt/Zooming) 카메라는 카메라의 회전(Pan), 틸트(Tilt) 그리고 카메라 렌즈의 줌인(Zoom-In) 및 줌아웃(Zoom-Out) 기능이 포함되어 이동 물체의 확대 및 추적인 카메라이다.
영상 데이터부(120)는 카메라(110)로부터 입력된 영상 데이터를 처리하는 부로서, 영상 데이터 입력부(122) 및 프레임 저장부(124)를 포함할 수 있다. 영상 데이터 입력부(122)는 카메라(110)로부터 아날로그 혹은 디지털 방식의 카메라 촬영 정보를 받아 디지털화된 영상 데이터를 생성하여 내부의 다른 모듈들에 전달하는 역할을 한다. 여기서 영상은 카메라(110)로부터 실시간으로 인가되는 영상 데이터일 수도 있으며, 메모리와 같은 저장장치 등에 저장된 영상 데이터일 수도 있다. 특히, 입력되는 영상 데이터는 프레임 간의 이동물체의 옵티컬 플로우 벡터를 계산할 수 있도록 연속되는 2개 이상의 프레임을 포함해야 한다.
프레임 저장부(124)는 영상 데이터부(122)로부터 영상 데이터가 순차적으로 입력되어 프레임 단위로 저장되고, 따라서 연속되는 복수 개의 프레임이 저장된다. 즉, 영상 데이터부(122)로부터 실시간 영상을 입력받아 프레임들을 추출하고, 상기 추출된 프레임들이 프레임 저장부(124)에 저장될 수 있다.
옵티컬 플로우부(130)는 영상 데이터부(120)로부터 제공된 복수 개의 프레임들을 이용하여 객체의 움직임 정보(즉, 각 이동물체의 픽셀 별 모션 벡터)를 추출하고, 이를 분석하는 수단으로서, 옵티컬 플로우 벡터 계산부(132) 및 옵티컬 플로우 벡터 분석부(134)로 구성될 수 있다.
옵티컬 플로우 벡터 계산부(132)는 복수 개의 프레임들에 포함된 객체의 움직임 즉, 각 이동물체의 픽셀 별 모션 벡터를 계산하는 역할을 할 수 있다. 즉, 시간상으로 이전 프레임과 현재 프레임에 촬영된 이동물체에 대응하는 픽셀들의 옵티컬 플로우 벡터를 계산할 수 있고, 복수 개의 프레임들을 연쇄적으로 계산할 수 있다.
여기서, 옵티컬 플로우 방법(Optical flow method)이란 동영상의 명암도가 시간에 따라 변할 때 이동되는 2차원의 속도를 말할 수 있다. 이것은 프레임 내의 픽셀들의 위치변화에 대한 속도를 2차원으로 표현한 것으로서, 즉 3차원 공간상에서 이동하는 물체를 카메라를 이용하여 2차원 공간으로 투영할 때 2차원 공간에서 형성되는 영상의 이동속도를 말한다. 3차원 공간상에서 픽셀의 속도는 이전 프레임과 현재 프레임 사이에서 픽셀이 이동한 양 즉, 변위와 관련이 있다.
옵티컬 플로우는 추출 범위에 따라 희소 옵티컬 플로우와 밀집 옵티컬 플로우로 나뉜다. 밀집 옵티컬 플로우는 영상 내 존재하는 모든 픽셀의 변위 및 속도변화를 계산하는 방법이다. 이 방법은 연산 처리량이 많고, 큰 객체의 움직임을 추적하지 못해 실시간으로 구현하는데 어려움이 있다. 반면에, 희소 옵티컬 플로우는 작은 지역 정보만을 이용하는 방법을 사용하기 때문에 밀집 옵티컬 플로우에 비해 연산 처리량이 적고, 큰 객체의 움직임도 추적이 가능한 장점이 있다.
따라서 본 발명의 일 실시예는 희소 옵티컬 플로우를 이용하고, 이동물체의 픽셀에 특징점을 추출해 움직임 벡터 즉, 옵티컬 플로우 벡터를 구하기로 한다.
예를 들어 도 2를 참조하여, 움직이는 스케이트 선수가 이동하는 물체라 하고, 움직이는 스케이트 선수의 3차원 공간상의 움직임을 2차원적인 이동변위를 구하고자하면, 움직이는 스케이트 선수의 운동은 무한대의 거리에 위치한 한 점으로부터의 옵티컬 플로우로 생각될 수 있다. 2차원 영상내의 스케이트 선수의 특징점 p=(x, y)에서 옵티컬 플로우 f=(u, v)는 아래 수학식 1을 통해 계산할 수 있다.
Figure 112012037244434-pat00001
여기서, I1, I2는 시간차를 두고 저장된 두 프레임이고, WX, WY는 특징점(x, y)에서 x, y 방향으로의 편차이며, W는 편차의 최대 크기이다.
옵티컬 플로우 벡터 계산부(132)는 시간상으로 이전 프레임과 현재 프레임들 간의 특징점의 벡터를 연쇄적으로 계산하기 때문에, 이전 프레임과 현재 프레임을 하나의 프레임 쌍이라 하면, 연쇄적인 복수 개의 프레임 쌍마다 특징점의 옵티컬 플로우 벡터를 구할 수 있다.
옵티컬 플로우 벡터 분석부(134)는 옵티컬 플로우 벡터 계산부(132)로부터 구해진 복수 개의 옵티컬 플로우 벡터값들을 소정의 제1 기준 값과 비교하고, 상기 제1 기준 값 이상의 옵티컬 플로우 벡터값들을 추출하는 역할을 한다.
제1 기준 값은 움직이는 물체의 영상을 단일 평면화 영상으로 합성하기 위하여 정합할 프레임들을 추출하기 위한 기준 값이라 정의할 수 있다. 즉, 제1 기준 값은 연속적인 복수 개의 프레임들 중에 이동물체 픽셀의 특징점을 포함하는 픽셀의 모션 벡터가 사용자가 설정한 소정의 벡터값 이상인 프레임들을 추출하기 위한 기준 값이라 할 수 있다.
영상 정합부(140)는 움직이는 물체의 단일 평면화 영상을 만들기 위해 필요한 프레임 쌍들을 선택하고, 선택된 프레임 쌍들을 정합하는 역할을 할 수 있고, 프레임 선택부(142) 및 프레임 정합부(144)로 구성될 수 있다.
프레임 선택부(142)는 옵티컬 플로우 벡터 분석부(134)에서 추출된 제1 기준 값 이상의 옵티컬 플로우 벡터값을 갖는 프레임 쌍들을 선택하는 역할을 한다. 상기 제1 기준 값은, 이동물체의 픽셀들을 단일 평면화 영상으로 배경 이미지에 합성하기 위하여 정합할 프레임 쌍들을 추출하기 위해 사용자가 기설정한 기준 값이기 때문에, 상기 제1 기준 값에 의해 추출된 프레임 쌍들을 정합시키면 이동물체의 움직임을 추정할 수 있다.
프레임 정합부(144)는 프레임 선택부(142)에 의해 선택된 프레임 쌍들을 정합할 수 있다. 여기서, 정합(registration)이란 서로 다른 두 영상 혹은 기 이상의 영상에서 물리적으로 유사한 영상 내의 영역들을 기하학적으로 일치시키는 처리를 의미한다.
프레임 정합부(144)는 앞서 언급한 바와 같이 시간상으로 먼저 저장된 프레임 쌍들의 옵티컬 플로우 벡터값의 비교 선택이 수행되어 획득된 프레임 쌍들을 순차적으로 정합시킬 수 있다. 또는, 프레임을 이동물체가 존재하는 포어그라운드(foreground) 영역과 상기 포어그라운드 영역 밖의 나머지 영역인 백그라운드(background) 영역을 구분한 후, 상기 두 영상의 백그라운드 영역의 공통 영역을 검색하여 상기 공통 영역을 바탕으로 복수의 프레임들을 일치시켜 정합할 수 있다. 그리고 프레임 정합부(144)는 임계치를 이용하여 정합된 프레임 쌍들의 잡음을 제거할 수 있다.
영상 합성부(150)는 프레임 정합부(144)에서 정합된 프레임 쌍의 이동물체 픽셀을 추출하여 배경 이미지에 합성하는 역할을 한다. 상기 배경 이미지는 이동하는 물체를 제외한 실제 배경과 동일하고, 고정된 이미지일 수 있다.
예를 들어, 도 2의 단일 평면화 영상(152)은 스케이트 선수의 특징점의 옵티컬 플로우 벡터가 제1 기준 값 이상인 이동물체의 픽셀들을 추출하여 배경 이미지에 합성함으로써, 하나의 이미지로 출력한 영상이라 할 수 있다.
영상 출력부(160)는 영상 합성부(150)에 의해 배경 이미지와 이동물체의 픽셀들이 합성된 이미지를 단일 평면화 영상으로 출력하는 역할을 한다. 즉, 정합된 프레임들로부터 추출된 이동물체의 픽셀들이 순차적으로 배경 이미지에 합성된 영상을 하나의 이미지로 출력할 수 있다. 이로써, 이동물체의 픽셀이 추출되어 연속적인 정지 상태로 포착한 것과 같은 단일 평면화 영상 즉, 하나의 이미지로 출력될 수 있다.
도 3은 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 동작을 단계별로 나타내는 도면이고, 도 4는 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 동작 단계의 일부를 상세히 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성 시스템의 동작은, 이동하는 물체의 연속적인 영상 데이터를 획득하는 단계(S210), 영상 데이터를 복수 개의 프레임으로 저장하는 단계(S220), 연쇄적으로 프레임 쌍들의 옵티컬 플로우 벡터를 계산하는 단계(S230), 옵티컬 플로우 벡터값이 소정의 기준 값 이상인 프레임 쌍들을 선택하는 단계(S240), 선택된 프레임 쌍들을 정합하는 단계(S250), 정합된 프레임들로부터 이동물체의 픽셀들을 추출하는 단계(S260), 배경 이미지를 합성하는 단계(S270) 및 합성된 이미지를 단일 평면화 영상으로 출력하는 단계(S260)를 포함할 수 있다.
단계 S210은, 이동하는 물체의 연속적인 영상 데이터를 획득하는 역할을 한다. 이는 영상 데이터 입력부(122)에서 카메라(110)로부터 아날로그 혹은 디지털 방식의 카메라 촬영 정보를 받아 디지털화된 영상 데이터를 생성하여 내부의 다른 모듈들에 전달하는 과정에 해당한다. 여기서 영상은 카메라(110)로부터 실시간으로 인가되는 영상 데이터일 수도 있으며, 메모리와 같은 저장장치 등에 저장된 영상 데이터일 수도 있다. 특히, 입력되는 영상 데이터는 프레임 간의 옵티컬 플로우 벡터를 계산할 수 있도록 연속되는 2개 이상의 프레임을 포함해야 한다.
단계 S220은, 영상 데이터를 복수 개의 프레임으로 저장하는 역할을 한다. 이는 프레임 저장부(124)에 의해 영상 데이터부(122)로부터 영상 데이터가 순차적으로 입력되어 프레임 단위로 저장되고, 따라서 연속되는 복수 개의 프레임이 저장되는 과정에 해당한다. 즉, 영상 데이터부(122)로부터 실시간 영상을 입력받아 프레임들을 추출하고, 상기 추출된 프레임들이 프레임 저장부(124)에 저장될 수 있다.
단계 S230은, 연쇄적으로 프레임 쌍들의 옵티컬 플로우 벡터를 계산하는 역할을 하고, 단계 S240은, 벡터값이 기준 값 이상인 프레임 쌍들을 선택하는 역할을 하며, 단계 S250은 선택된 프레임 쌍들을 정합하는 역할을 한다.
이하, 도 4를 참조하여 단계 S230부터 단계 S250에 관하여 상세히 설명하기로 한다. 도 4를 참조하면, 단계 S230은, 이전 프레임과 현재 프레임의 이동물체에 대해 연쇄적으로 옵티컬 플로우 벡터를 계산하는 역할을 한다. 이는 옵티컬 플로우 벡터 계산부(132)에 의해 복수 개의 프레임들에 포함된 객체의 움직임 즉, 각 픽셀 별 모션 벡터가 계산되는 과정에 해당한다. 즉, 시간상으로 이전 프레임과 현재 프레임에 촬영된 이동물체에 대응하는 픽셀들의 옵티컬 플로우 벡터가 계산될 수 있고, 복수 개의 프레임들이 연쇄적으로 계산될 수 있다. 본 발명의 일 실시예는 희소 옵티컬 플로우를 이용하고, 이동하는 물체의 픽셀에 특징점을 추출해 움직임 벡터를 구할 수 있다. 옵티컬 플로우 벡터 계산부(132)는 시간상으로 이전 프레임과 현재 프레임들 간의 벡터를 연쇄적으로 계산하기 때문에, 이전 프레임과 현재 프레임을 하나의 프레임 쌍이라 하면, 연쇄적인 복수 개의 프레임 쌍마다 옵티컬 플로우 벡터가 구해질 수 있다.
단계 S240은, 이전 단계 S230에서 구해진 프레임 쌍들의 옵티컬 플로우 벡터값들을 소정의 제1 기준 값과 비교하고, 상기 제1 기준 값 이상의 옵티컬 플로우 벡터값들을 추출하는 역할을 한다. 상기 제1 기준 값은 움직이는 물체의 영상을 단일 평면화 영상으로 정합하기 위하여 정합할 프레임들을 추출하기 위한 기준 값이라 정의할 수 있다. 즉, 상기 제1 기준 값은 연속적인 복수 개의 프레임들 중에 이동물체의 특징점을 포함하는 픽셀의 모션 벡터가 사용자가 설정한 소정의 벡터값 이상인 프레임들을 추출하기 위한 기준 값이라 할 수 있다. 옵티컬 플로우 벡터값이 상기 제1 기준 값 미만인 프레임 쌍들은 정합할 프레임 쌍들에서 제외하기로 한다.
단계 250은, 이전 단계 S240에서 선택된 프레임 쌍들을 정합하는 역할을 한다. 이는 프레임 정합부(144)에 의해 선택된 프레임 쌍들이 정합되는 단계에 해당한다. 여기서, 정합(registration)이란 서로 다른 두 영상 혹은 기 이상의 영상에서 물리적으로 유사한 영상 내의 영역들을 기하학적으로 일치시키는 처리를 의미한다. 프레임 정합부(144)는 앞서 언급한 바와 같이 시간상으로 먼저 저장된 프레임 쌍들의 옵티컬 플로우 벡터값의 비교 선택이 수행되어 획득된 프레임 쌍들을 순차적으로 정합시킬 수 있다. 또는, 프레임을 이동물체가 존재하는 포어그라운드(foreground) 영역과 상기 포어그라운드 영역 밖의 나머지 영역인 백그라운드(background) 영역을 구분한 후, 상기 두 영상의 백그라운드 영역의 공통 영역을 검색하여 상기 공통 영역을 바탕으로 복수의 프레임들을 일치시켜 정합할 수 있다. 그리고 프레임 정합부(144)는 임계치를 이용하여 정합된 프레임 쌍들의 잡음을 제거할 수 있다.
단계 S260은, 정합된 프레임들로부터 이동물체의 픽셀들을 추출하는 역할을 한다. 여기서 이동물체는 추적하고자 하는 대상이라 할 수 있다.
단계 S270은, 배경 이미지를 합성하는 역할을 한다. 이는 단계 S260에서 추출된 이동물체의 픽셀들이 배경 이미지 합성부(150)에 의해 배경 이미지와 합성되는 과정에 해당한다.
단계S280은, 단계 S270에서 배경 이미지와 이동물체의 픽셀들이 합성된 이미지를 단일 평면화 영상으로 출력하는 역할을 한다. 이는 정합된 프레임들로부터 추출된 이동물체의 픽셀들이 순차적으로 배경 이미지에 합성된 영상이 하나의 이미지로 출력되는 과정에 해당한다. 즉, 이동물체의 픽셀이 추출되어 연속적인 정지 상태로 포착한 것과 같은 단일 평면화 영상 즉, 하나의 이미지로 출력될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일 실시예에 따른 옵티컬 플로우를 이용한 이동물체 영상합성시스템.
110: 카메라 120: 영상 데이터부
130: 옵티컬 플로우부 140: 영상 정합부
150: 영상 합성부
S210: 이동하는 물체의 연속적인 영상 데이터를 획득하는 단계
S220: 영상 데이터를 복수 개의 프레임으로 저장하는 단계
S230: 연쇄적으로 프레임 쌍들의 옵티컬 플로우 벡터를 계산하는 단계
S240: 옵티컬 플로우 벡터값이 소정의 기준 값 이상인 프레임 쌍들을 선택하는 단계
S250: 선택된 프레임 쌍들을 정합하는 단계
S260: 정합된 프레임들을 단일 평면화 영상으로 출력하는 단계

Claims (8)

  1. (1) 이동물체가 촬영된 영상 데이터가 입력되는 단계;
    (2) 상기 단계 (1)에서 입력된 영상 데이터가 연속되는 복수 개의 프레임으로 저장되는 단계;
    (3) 상기 단계 (2)에서 저장된 프레임의 픽셀들에 대해 연쇄적으로 옵티컬 플로우 벡터를 구하는 단계;
    (4) 상기 단계 (3)에서 구해진 옵티컬 플로우 벡터를 분석하여 상기 복수 개의 프레임들로부터 소정의 프레임 쌍들을 추출하는 단계; 및
    (5) 상기 단계 (4)에서 추출된 프레임 쌍들을 정합하는 단계를 포함하되,
    상기 단계 (3)는,
    이전 프레임과 현재 프레임의 이동물체 픽셀의 특징점에 대해 연쇄적으로 옵티컬 플로우 벡터를 계산하는 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
  2. 제1항에 있어서, 상기 단계 (5) 이후에,
    (6) 상기 단계 (5)에서 정합된 프레임의 상기 이동물체 픽셀을 추출하는 단계; 및
    (7) 상기 단계 (6)에서 추출된 상기 이동물체 픽셀을 배경 이미지에 합성하는 단계를 더 포함하는 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 단계 (4)는,
    상기 이전 프레임과 현재 프레임으로 구성된 프레임 쌍의 특징점의 상기 옵티컬 플로우 벡터가 제1 기준 값 이상인 상기 프레임 쌍을 선택하는 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
  5. 제4항에 있어서, 상기 제1 기준 값은,
    상기 이동물체의 픽셀들을 단일 평면화 영상으로 배경 이미지에 합성하기 위하여 정합할 프레임 쌍들을 추출하기 위해 사용자가 기설정한 기준 값인 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
  6. 제1항에 있어서, 상기 단계 (5)는,
    상기 단계 (1)에서부터 단계 (4)까지 시간상으로 먼저 저장되고, 상기 옵티컬 플로우 벡터값에 의해 비교 선택된 상기 프레임 쌍들이 순차적으로 정합되는 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
  7. 삭제
  8. 제1항에 있어서, 상기 단계 (2)는,
    프레임 단위의 상기 영상 데이터가 순차적으로 저장되는 것을 특징으로 하는, 옵티컬 플로우를 이용한 이동물체 영상합성 방법.
KR1020120049396A 2012-05-09 2012-05-09 옵티컬 플로우를 이용한 이동물체 영상합성 방법 KR101321974B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120049396A KR101321974B1 (ko) 2012-05-09 2012-05-09 옵티컬 플로우를 이용한 이동물체 영상합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120049396A KR101321974B1 (ko) 2012-05-09 2012-05-09 옵티컬 플로우를 이용한 이동물체 영상합성 방법

Publications (1)

Publication Number Publication Date
KR101321974B1 true KR101321974B1 (ko) 2013-11-08

Family

ID=49856390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120049396A KR101321974B1 (ko) 2012-05-09 2012-05-09 옵티컬 플로우를 이용한 이동물체 영상합성 방법

Country Status (1)

Country Link
KR (1) KR101321974B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089838A1 (en) * 2016-09-29 2018-03-29 The Regents Of The University Of Michigan Optical flow measurement
KR101931564B1 (ko) 2017-03-03 2018-12-24 한국과학기술원 영상 정합을 이용한 영상 처리 장치 및 방법
US20210358523A1 (en) * 2019-01-30 2021-11-18 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus
KR20230099921A (ko) * 2021-12-28 2023-07-05 연세대학교 산학협력단 광학 흐름을 이용한 합성 동영상 생성 방법
KR102625104B1 (ko) * 2022-10-20 2024-01-16 한국자동차연구원 카메라 영상 보정을 수행하는 영상처리장치 및 그 방법
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990086247A (ko) * 1998-05-27 1999-12-15 박권상 스포츠 영상효과 처리장치
KR20030074426A (ko) * 2002-03-15 2003-09-19 소니 가부시끼 가이샤 영상 처리 기구와 방법, 인쇄물 생성 기구와 방법, 그리고인쇄물 생성 시스템
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990086247A (ko) * 1998-05-27 1999-12-15 박권상 스포츠 영상효과 처리장치
KR20030074426A (ko) * 2002-03-15 2003-09-19 소니 가부시끼 가이샤 영상 처리 기구와 방법, 인쇄물 생성 기구와 방법, 그리고인쇄물 생성 시스템
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089838A1 (en) * 2016-09-29 2018-03-29 The Regents Of The University Of Michigan Optical flow measurement
US10515455B2 (en) * 2016-09-29 2019-12-24 The Regents Of The University Of Michigan Optical flow measurement
KR101931564B1 (ko) 2017-03-03 2018-12-24 한국과학기술원 영상 정합을 이용한 영상 처리 장치 및 방법
US20210358523A1 (en) * 2019-01-30 2021-11-18 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus
US12020472B2 (en) * 2019-01-30 2024-06-25 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus
KR20230099921A (ko) * 2021-12-28 2023-07-05 연세대학교 산학협력단 광학 흐름을 이용한 합성 동영상 생성 방법
KR102586637B1 (ko) 2021-12-28 2023-10-06 연세대학교 산학협력단 광학 흐름을 이용한 합성 동영상 생성 방법
KR102625104B1 (ko) * 2022-10-20 2024-01-16 한국자동차연구원 카메라 영상 보정을 수행하는 영상처리장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
KR101321974B1 (ko) 옵티컬 플로우를 이용한 이동물체 영상합성 방법
US10789765B2 (en) Three-dimensional reconstruction method
CN103988227B (zh) 用于图像捕获目标锁定的方法和装置
JP5397481B2 (ja) 画像選別装置及び画像選別方法
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
JP6030617B2 (ja) 画像処理装置および画像処理方法
CN110650291B (zh) 目标追焦方法和装置、电子设备、计算机可读存储介质
JP5313127B2 (ja) 映像合成方法、映像合成システム
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
KR100426174B1 (ko) 영상압축 알고리즘을 이용한 카메라 제어방법
JP2009522591A (ja) 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
KR20100104591A (ko) 파노라마의 생성 방법
CN110660090A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
JP2018174502A (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
KR20140074201A (ko) 추적 장치
KR102003460B1 (ko) 왜곡제거장치 및 방법
Tang et al. A fast video stabilization algorithm based on block matching and edge completion
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN117014716A (zh) 一种目标追踪方法及电子设备
JP2016081252A (ja) 画像処理装置および画像処理方法
US11659135B2 (en) Slow or fast motion video using depth information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161013

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7