KR101440098B1 - 저복잡도 움직임 추정 방법 및 시스템 - Google Patents

저복잡도 움직임 추정 방법 및 시스템 Download PDF

Info

Publication number
KR101440098B1
KR101440098B1 KR1020070130051A KR20070130051A KR101440098B1 KR 101440098 B1 KR101440098 B1 KR 101440098B1 KR 1020070130051 A KR1020070130051 A KR 1020070130051A KR 20070130051 A KR20070130051 A KR 20070130051A KR 101440098 B1 KR101440098 B1 KR 101440098B1
Authority
KR
South Korea
Prior art keywords
image
projection data
value
images
motion
Prior art date
Application number
KR1020070130051A
Other languages
English (en)
Other versions
KR20090062669A (ko
Inventor
강동구
위호천
유영진
Original Assignee
삼성전자 주식회사
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 삼성전기주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020070130051A priority Critical patent/KR101440098B1/ko
Publication of KR20090062669A publication Critical patent/KR20090062669A/ko
Application granted granted Critical
Publication of KR101440098B1 publication Critical patent/KR101440098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 저복잡도 움직임 추정 방법 및 시스템에 관한 것으로, 보다 상세하게는 서로 다른 특성을 가지는 영상들에 대하여 복잡도를 낮추어 움직임을 추정하는 방법 및 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 저복잡도 움직임 추정 시스템은 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부; 상기 제1 영상 및 상기 제2 영상의 인텐서티(Intensity)를 이용하여 맵핑 테이블을 생성하는 맵핑 테이블 생성부; 상기 생성된 맵핑 테이블을 이용하여 투사 데이터를 생성하는 투사 데이터 생성부; 및 상기 생성된 투사 데이터를 이용하여 상기 두 영상에 대한 움직임을 탐색하는 움직임 탐색부를 포함한다.
움직임 추정, 영상 접합, 유사 척도

Description

저복잡도 움직임 추정 방법 및 시스템{Method and system for low-complexity motion estimation for images with different characteristics}
본 발명은 저복잡도 움직임 추정 방법 및 시스템에 관한 것으로, 보다 상세하게는 서로 다른 특성을 가지는 영상들에 대하여 복잡도를 낮추어 움직임을 추정하는 방법 및 시스템에 관한 것이다.
영상(Image)에 대한 움직임 정보는 비전 및 영상 처리 시스템에서 필요한 정보이다. 상기 영상에 대한 움직임 정보를 이용하여 서로 다른 두 장의 영상 또는 그 이상의 영상에서 물리적으로 유사한 영역들을 기하학적으로 일치시키는 영상 정합(alignment, registration)이 이루어 진다.
이러한 영상에 대한 움직임 정보는 단일의 이미지 센서로부터 획득한 다중 노출 기반의 하이 다이나믹 레인지 영상(High dynamic range(HDR) image)을 위한 정합, 손떨림에 의한 영상을 보정하는 디지털 모션 안정기(Digital motion stabilizer), 영상 정보 압축을 필요로 하는 비디오 인코더(Video encoder) 및 의료기기에 의해 촬영된 영상 정합 등에 필요하다. 예를 들어, 일반 카메라 영상과 적외선 영상 혹은 CT(Computer Tomography) 와 MRI(Magnetic Resonance Imaging) 영상을 합성하는 경우를 들 수 있다.
한편, 움직임 정보를 추출하여 영상 정합을 수행하려는 두 영상을 획득할 때, 촬영 조건 등이 상이하여 영상의 특성이 다르게 발현될 수 있다. 이 경우에는 두 영상으로부터 유사한 영역을 추출하여 움직임을 추정하는 것이 쉽지 않을 수 있다. 예를 들어, 하이 다이나믹 레인지(HDR) 영상을 생성하기 위해 노출시간을 달리한 두 영상을 정합하는 경우, 극단적인 밝기 차이로 인하여 아주 밝거나 어두운 영역에서는 에지(edge) 정보가 손실되는 경우가 발생하며, 다중 노출 기반의 모션 디블러링(Motion deblurring)을 하는 경우에도 각 영상간에 노출 시간 차이로 인해서 영상에 대한 움직임 정보를 추출하기가 쉽지 않았다.
일반적으로 두 영상간의 움직임을 찾는 방법은 가능한 모든 움직임 후보들에 대해 유사 척도를 계산하고, 최대 유사척도 값을 가지는 변이를 구하는 것이다. 여기서, 움직임 후보란 두 영상에서 물리적으로 유사한 영역을 말한다. 하지만, 이차원 공간의 모든 움직임 후보 영역을 탐색 하려면 처리 속도가 매우 느려지며, 두 영상의 특성이 다른 경우에는 통계적 유사척도를 사용하여야 하므로, 이에 따른 계산의 복잡도가 높아지므로 실제로 구현하기가 쉽지 않다.
이와 함께, 대부분의 영상을 이용하는 응용 디바이스에서는 움직임 추정(Motion Estimation, ME) 작업이 합성, 압축 등 다른 프로세스와 함께 전체 시스템의 일부로서 동작한다. 따라서, 움직임 추정에 대한 계산량이나 메모리 부담이 적으면서, 모바일 하드웨어 플랫폼에서와 같이 메모리, 프로세서의 연산처리 능력, 허용 소비전력 등이 제한되는 환경에서는 저복잡도를 갖는 움직임 추정 방법 및 시 스템이 필요하다.
본 발명의 일 실시예에서는 상기와 같은 문제점을 고려하여 안출된 것으로서, 서로 다른 특성을 가지는 영상들에 대하여 복잡도를 낮추어 움직임을 추정하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 서로 다른 특성을 가지는 영상들에 대한 움직임 추정을 상대적으로 소량의 메모리와 연산량으로 수행하는 움직임 추정 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 저전력 및 저복잡도 환경의 모바일 기기 등에서 실시간으로 구현할 수 있는 움직임 추정 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 시스템은 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부; 상기 제1 영상 및 상기 제2 영상의 인텐서티(Intensity)를 이용하여 맵핑 테이블을 생성하는 맵핑 테이블 생성부; 상기 생성된 맵핑 테이블을 이용하여 투사 데이터를 생성하는 투사 데이터 생성부; 및 상기 생성된 투사 데이터를 이용하여 상기 두 영상에 대한 움직임을 탐색하는 움직임 탐색부를 포함한다.
상술한 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 저복잡도 움직임 추정 방법은 두 영상을 제1 영상 및 제2 영상으로 입력 받는 단계; 상기 제1 영상 및 상기 제2 영상의 인텐서티(Intensity)를 이용하여 맵핑 테이블을 생성하는 단계; 상기 생성된 맵핑 테이블을 이용하여 투사 데이터를 생성하는 단계; 및 상기 생성된 투사 데이터를 이용하여 상기 두 영상에 대한 움직임을 탐색하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의한 저복잡도 움직임 추정 방법 및 시스템을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실해하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 시스템의 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 시스템(100)은 영상 획득부(110), 영상 변환부(130), 영상 분류부(150), 맵핑 테이블 생성부(160), 투사 데이터 생성부(170) 및 움직임 탐색부(190)를 포함할 수 있다.
영상 획득부(110)는 움직임 추정을 위하여 두 영상을 입력 받는다. 영상 획득부(110)는 외부로부터 제1 영상 및 제2 영상을 입력 받거나 또는 이미지 획득 센서를 가지는 디바이스에 의하여 촬영된 제1 영상 및 제2 영상을 입력 받을 수 있다. 제1 영상 및 제2 영상은 미리 정해진 노출 시간에 따라 획득된 영상일 수 있다. 예를 들어, 제1 영상의 노출 시간이 소정의 시간이라면, 제2 영상은 제1 영상의 노출 시간은 제1 영상의 노출 시간 보다 상대적으로 짧은 시간이 될 수 있다.
이미지 획득 센서는 피사체에서 반사된 광을 전기적인 이미지 신호로 변환하여 영상을 생성해 내는 영상 촬상 소자 부품을 일컫는 것으로, 그 제작 공정과 응용 방식에 따라 크게 전하 결합 소자(CCD; Charge Coupled Device) 이미지 센서와 금속 산화물 반도체(CMOS; Complementary　Metal Oxide Semiconductor) 이미지 센서로 분류 할 수 있다.
본 발명의 일 실시예에서는 획득된 이미지에는 제한이 없으며, 예를 들어 일반 카메라로부터 획득한 영상과 적외선 카메라로부터 획득한 영상, CT 영상과 MRI 영상에 대하여도 각각 제1 영상 및 제2 영상으로 하여 적용할 수 있다.
영상 변환부(130)는 제1 영상 및 제2 영상에 대하여 단일 채널의 영상으로 변환할 수 있다. 예를 들어, 입력되는 영상을 그레이(Gray) 스케일로 변경할 수 있 다. 또는 'RGB' 채널의 다채널 영상인 경우에 이를 하나의 채널 값으로 변경할 수도 있다. 영상 변환부(130)에 의하여 획득된 두 영상에 대하여 하나의 채널에서의 인텐서티(Intensity) 값으로 변환하여, 각각의 영상에 대한 밝기 분포를 용이하게 알 수 있다. 이와 함께, 획득한 영상을 단일 채널의 영상으로 변환시키기 때문에, 입력 영상은 영상 획득 장치의 방식과 상관없이 컬러 영상뿐만 아니라 흑백 영상, 적외선 영상, 또는 CT, MRI 등의 의료 영상 등 모든 종류의 영상에 대하여 본 발명의 일 실시예가 적용될 수 있다.
영상 분류부(150)는 단일 채널로 변경된 두 영상에 대하여 제1 영상 및 제2 영상으로 분류할 수 있다. 본 발명의 일 실시예에서의 제1 영상 및 제2 영상은 영상 획득시의 밝기 또는 노출 시간에 따라 구분될 수 있다. 이미지 센서를 통하여 영상 획득 시에 노출 시간이 설정되면, 노출 시간이 상대적으로 긴 영상이 제1 영상이 되고, 노출 시간이 제1 영상에 비하여 짧다면 제2 영상이 될 수 있다. 밝기를 기준으로 제1 영상 및 제2 영상을 분류한다면, 획득된 두 영상에 대하여 밝기가 상대적으로 밝은 영상을 제1 영상으로 지정하고, 제1 영상에 비하여 상대적으로 어두운 영상을 제2 영상으로 지정할 수 있다.
맵핑 테이블 생성부(160)는 제1 영상 및 제2 영상의 인텐서티(Intensity)를 이용하여 맵핑 테이블을 생성한다. 여기서, 인텐서티는 각 영상의 밝기를 나타내는 정보이다.
맵핑 테이블은 제1 영상 및 제2 영상의 누적 분포 함수(Cumulative distribution function; CDF)에 의하여 제1 영상 및 제2 영상 간에 보상 관계를 나 타내는 테이블이다. 누적 분포 함수(Cumulative distribution function)는 밝기가 영인 픽셀에서 밝기를 나타내는 인텐서티(Intensity)를 증가시키면서 누적되는 픽셀들의 비율을 나타내는 함수이다. 따라서, 누적 분포 함수는 인텐서티(Intensity)가 영이면 함수 값은 영 이상의 값이 되며, 인텐서티(Intensity)가 최대이면 함수 값은 1이 된다. 따라서, 제1 영상과 제2 영상 각각에 대하여 서로 다른 누적 분포 함수가 생성되며, 상기 획득된 두 개의 누적 함수 분포의 인텐서티 비율에 따라 맵핑 테이블이 생성될 수 있다.
투사 데이터 생성부(170)는 제1 영상 및 제2 영상으로부터 맵핑 테이블을 이용하여 투사 데이터를 생성한다. 투사 데이터 생성부(170)는 2차원의 제1 영상에 대한 제1 투사 데이터 및 제2 영상에 대한 제2 투사 데이터를 생성한다. 각 투사 데이터는 2차원적인 영상에 대하여 가로 또는 세로축에 대하여 대표하는 값으로 나타내는 일차원적인 분포 데이터이다. 투사 데이터 생성부(170)는 맵핑 테이블 생성부(160)에 의하여 생성된 맵핑 테이블을 이용하여 제2 영상에 대한 제2 투사 데이터를 정규화 시킬 수 있다.
움직임 탐색부(190)는 생성된 제1 투사 데이터와 제2 투사 데이터를 이용하여 움직임 벡터를 추정한다. 움직임 탐색부(190)는 제1 투사 데이터와 제2 투사 데이터를 이용하여 유사 척도를 산출하는 유사 척도 산출부(180)와 상기 산출된 유사 척도를 최대화시키는 값으로 움직임 벡터를 산출하는 움직임 벡터 산출부(185)를 포함할 수 있다.
움직임 탐색부(190)는 제1 투사 데이터와 제2 투사 데이터의 유사 척도를 최 대화시킴에 의하여 움직임 벡터를 추정할 수 있다. 유사 척도를 산출하는 방식은 다양한 방법에 의해 산출될 수 있다.
예를 들어, 일반적인 루미넌스(luminance) 기반 방법 또는 확률 기반 방법을 사용할 수 있다. 루미넌스 기반 방법으로 기존의 상관관계(correlation), 정규화된 상관관계(normalized correlation) 및 SAD(sum of the absolute difference) 등의 알고리즘을 사용할 수 있다. 그리고, 확률 기반 방법으로 상호정보(mutual information), 정규 상호정보(normalized mutual information) 등의 알고리즘을 사용할 수 있다. 상관관계, 정규화된 상관관계, SAD, 상호정보, 정규 상호정보는 이미 공지되어 있는 알고리즘 및 방법으로 본 발명의 상세한 설명에서는 이에 관한 자세한 설명을 생략한다.
상기와 같이, 본 발명의 일 실시예에서는 2차원 영상인 제1 영상 및 제2 영상에 대하여 일차원적인 분포를 가지는 투사 데이터를 산출하여, 이를 바탕으로 움직임 벡터를 추정함으로써 복잡도를 줄일 수 있다. 저복잡도 환경에서 획득된 영상들에 대한 움직임을 추정함에 있어서 상대적으로 적은 연산량과 메모리에 의하여 움직임 추정을 할 수 있다.
도 2a는 본 발명의 일 실시예에서의 누적 함수 분포의 예를 보여주며, 도 2b는 본 발명의 일 실시예에서의 맵핑 테이블의 일 예를 보여준다.
도 2a에서 도시하는 바와 같이, 제1 영상 및 제2 영상에 대하여 누적 함수 분포(Cumulative distribution function)에 의하여 제1 영상과 제2 영상 사이의 맵핑 관계를 생성할 수 있다. 여기서, 누적 함수 분포는 밝기를 나타내는 정보인 인 텐서티(Intensity)를 기준으로 누적되는 비율을 나타내는 것으로, 누적 함수 분포는 인텐서티가 0에서는 0 이상이며, 인텐서티가 최대 값에서는 1이 된다. 예를 들어, 인텐서티가 낮은 지점에서 누적 함수 값이 높다면 이는 밝기가 낮은 픽셀의 개수가 많은 단노출 영상이 되며, 이 경우에는 인텐서티가 높은 지점으로 갈수록 누적 함수 값이 완만하게 증가하여 1이 된다.
반면에, 인텐서티가 낮은 지점에서 누적 함수 값이 낮다면 이는 밝기가 낮은 픽셀의 개수가 작은 장노출 영상이며, 이 경우에는 인텐서티가 높은 지점으로 갈수록 누적 함수 값이 급격히 증가하여 1이 된다.
이와 같이, 누적 함수 분포에 의하여 해당 영상이 장노출 영상인지 또는 단노출 영상인지를 알 수 있다. 도 2a의 그래프 상에서 위쪽에 위치하는 누적 함수 분포 그래프가 단노출에 의해 획득된 제2 영상이며, 아래쪽에 위치하는 누적 함수 분포 그래프가 장노출에 의해 획득된 제1 영상이다.
각각의 영상에 대한 누적 분포 함수를 바탕으로 맵핑 테이블 값을 구할 수 있다. 여기서, 맵핑 테이블(200)은 제1 영상과 제2 영상 사이의 인텐서티를 보상하기 위하여 제2 영상의 인텐서티에 대하여 제1 영상의 인텐서티에 대응하는 맵핑 값 T(i)를 구할 수 있다. 맵핑 값 T(i)는 다음의 수학식에 의해 계산될 수 있다.
T(i) = (Ii-r)/i
여기서, i 는 제2 영상의 인텐서티 값이며, (Ii-r)는 제2 영상의 인텐서티 값이 i 인 경우에 동일한 누적 분포 함수 값을 가지는 제1 영상의 인텐서티 값이 Ii 인 경우에, 상기 인텐서티 값 Ii 보다 상대적으로 인텐서티 값이 r 값(r은 영 이상의 수) 만큼 낮아지도록 한 인텐서티 값이다. 앞서 서술한 바와 같이, 제2 영상은 단노출 영상이며 제1 영상은 장노출 영상일 수 있다. 또는 제2 영상은 전체적인 인텐서티 값이 제1 영상이 비하여 낮은 영상일 수 있다.
따라서, 맵핑 값 T(i)는 원칙적으로 1 이상의 값을 가지며, 단노출 영상에 대하여 일정한 배수만큼 인텐서티를 높여주어 단노출 영상을 장노출 영상과 유사한 레벨의 인텐서티를 가질 수 있도록 한다.
상기 수학식 1에서 -r 에는 소정의 값이 적용될 수 있으며, 상수 r를 적용하여 맵핑 값을 조절할 수 있다. 상수 r에는 영을 적용하여 제2 영상의 인텐서티 값이 i 인 경우에 동일한 누적 분포 함수 값을 가지는 제1 영상의 인텐서티 값이 Ii 값을 적용하여 맵핑 값을 구할 수도 있다.
수학식 1과 같은 -r 을 맵핑 값 산출에 적용하는 것은 단노출 영상인 제2 영상에 대하여 맵핑 값을 의도적으로 기준 값보다 작게 조정함으로써, 맵핑 값에 의하여 변환 후에 제2 영상의 투사 데이터를 제1 영상의 투사 데이터 보다 낮은 값을 가지도록 하기 위함이다.
도 2b를 참조하면, 도 2a에서의 누적 분포 함수에 따라 맵핑 값을 구할 수 있다. 예를 들어, 8비트 값을 가지는 인텐서티를 기준으로 하는 경우에 맵핑 값은 각 영상에 대한 누적 함수 분포 값과 수학식 1에 의하여 계산될 수 있다. 수학식 1 을 참조할 때, 도 2b의 맵핑 테이블에는 r 값이 1이 적용된 결과이다. 상기 맵핑 값은 인텐서티의 값의 함수로서, 인텐서티가 최대 값에서는 맵핑 값이 1이 되며, 상기 인텐서티가 0과 최대 값 사이에서는 맵핑 값이 1 이상이 될 수 있다.
이러한 맵핑 값은 제1 영상과 제2 영상 간에 영상 특성이 다른 경우에 더 커질 수 있다. 예를 들어, 제1 영상이 제2 영상에 비하여 밝기가 현저히 높거나 또는 제1 영상이 제2 영상에 비하여 현저히 장시간 노출인 경우에는 계산되는 맵핑 값이 상당히 커질 수 있다. 각각의 인텐서티에 대하여 맵핑 값을 계산함으로써, 제1 영상과 제2 영상 사이의 인텐서티 차를 보상해 주어 제1 영상과 제2 영상 간의 움직임 추정을 상대적으로 정확하게 할 수 있다.
도 3은 일 실시예에 따른 저복잡도 움직임 추정 시스템에서 투사 데이터를 생성하는 예를 보여준다. 도 3을 참조하면, 제2 영상에 대하여 일차원적인 제2 투사 데이터를 생성한다. 본 발명의 일 실시예에 따르면, 투사 데이터는 가로줄 또는 세로줄 상의 복수의 픽셀에 대하여 맵핑 값을 이용하여 하나의 대표 인텐서티 값으로 다음 수학식 2에 의하여 투사 인텐서티(Itr ,j) 값을 구할 수 있다.
Figure 112007089734956-pat00001
예를 들어, j-번째 가로줄 상의 투사 인텐서티 값을 추출하는 경우에서의 수 학식 2의 변수들의 정의는 다음과 같다. Itr ,j는 j-번째 가로줄 상의 투사 인텐서티 값이다. n은 가로줄 상의 위치하는 픽셀의 개수이며, Ii ,j 는 투사 데이터를 생성하려는 j-번째 가로줄에서 i-번째 순서에 해당되는 픽셀의 인텐서티 값이다. T(Ii ,j)는 Ii ,j 에 해당되는 인텐서티 값에 대응하는 맵핑 값이다.
만일, 세로줄 상의 투사 인텐서티 값을 추출하려는 경우에는 상기 수학식 2의 'j'를 j-번째 세로줄을 나타내는 것으로 대체함으로써 구할 수 있다.
따라서, 수학식 2는 투사 데이터를 생성하려는 제2 영상의 가로줄 또는 세로줄의 각 픽셀에 대하여 밝기를 보상해 주어 평균화시킴으로써 상기 가로줄 또는 세로줄 상의 대표 값으로 하여 투사 인텐서티 값을 구할 수 있다. 상기 투사 인텐서티 값을 각 줄에 대하여 구함으로써 제2 영상에 대한 투사 데이터를 생성할 수 있다. 생성된 투사 데이터는 일차원적인 값을 가짐으로, 이차원적인 밝기 정보를 가지는 제2 영상에 대하여 일차원적인 투사 데이터를 생성하여 복잡도를 낮출 수 있다.
한편, 제1 영상에 대하여는 장노출 영상 또는 전체적인 밝기가 제2 영상에 비하여 상대적으로 밝기 때문에 맵핑 값에 의하여 밝기를 보상할 필요가 없다. 따라서, 제1 영상에 의하여는 다음 수학식에 의하여 제1 투사 데이터를 생성할 수 있다.
Figure 112007089734956-pat00002
수학식 3에서와 같이, 투사 데이터를 생성하려는 영상의 가로줄 또는 세로줄에 있는 픽셀에 대한 인텐서티를 평균화하여 투사 인텐서티(Itr ,j) 값을 구할 수 있다.
상기와 같이, 제1 영상에 대해서는 맵핑 값을 적용하지 아니하고 제1 투사 데이터를 구하며, 제2 영상에 대하여는 맵핑 값을 적용하여 제2 투사 데이터를 구한다. 밝기 차이가 현저히 나는 등의 특성이 서로 다른 두 영상에 대하여 맵핑 값을 적용한 투사 데이터를 생성함으로써 제1 영상과 제2 영상 간의 움직임 추정을 효과적으로 할 수 있다.
도 4a는 본 발명의 일 실시예에서 적용하는 제1 영상이며, 도 4b는 본 발명의 일 실시예에서 적용하는 제2 영상을 보여준다. 도 5a는 맵핑 값을 적용하지 아니한 투사 데이터의 결과이며, 도 5b는 본 발명의 일 실시예에 따라 맵핑 값을 적용하여 투사 데이터를 획득한 결과이다.
도 4a와 도 4b는 제1 영상 및 제2 영상의 한 예로서, 제1 영상을 장노출에 의해 획득된 영상이며, 제2 영상은 단노출에 의해 획득된 영상이다. 제1 영상은 장노출에 의하여 전체적으로 밝은 영상을 가지며, 제2 영상은 단노출에 의하여 전체적으로 어두운 영상을 가진다.
일반적인 움직임 추정에 의하여 움직임 벡터 등을 구함에 있어서, 유사한 영상에 대한 비교를 통하여 움직임 추정이 가능하지만 도 4a 및 도 4b에서와 같이 영상의 특성이 현저히 다른 경우에는 제1 영상 및 제2 영상 중에서 유사한 영역을 추출할 수 없다.
이는 제2 영상이 단노출에 의해 획득된 영상으로서 제1 영상에 비하여 시인성이 현저히 떨어지기 때문에, 제2 영상 및 제2 영상으로부터 움직임 추정을 하기가 쉽지 않다.
이는 도 5a에서와 같이 본 발명의 일 실시예에 따른 맵핑 값을 적용하지 아니하고 제1 영상 및 제2 영상에 대하여 각각 제1 투사 데이터와 제2 투사 데이터를 생성한 결과이다. 각 투사 데이터는 각각의 영상에 대하여 가로줄에 대한 픽셀의 인텐서티를 평균한 것이다. 제1 영상과 제2 영상은 가로줄을 기준으로 위쪽에서 밝기가 아래 부분에 비하여 상대적으로 밝다. 따라서, 가로줄을 기준으로 위쪽인 줄의 숫자가 작은 부분에서 투사 데이터의 인텐서티 값이 높고, 가로줄을 기준으로 아래쪽인 줄의 숫자가 큰 부분에서는 투사 데이터의 인텐서티 값이 높다.
하지만, 제2 영상에 대한 제2 투사 데이터는 제1 영상에 비하여 단노출 영상으로서 인텐서티가 현저히 낮다. 이는 원래의 제2 영상이 단노출 영상으로서 인텐서티 값이 낮기 때문이다. 따라서, 제2 투사 데이터를 제1 영상의 제1 투사 데이터와는 직접적으로 비교하여 움직임을 추정하기는 쉽지 않다. 이와 함께, 제2 투사 데이터와 제1 투사 데이터가 유사하지 아니하므로 동일한 영상을 촬영한 건으로 인식하기도 쉽지 않다.
도 5b에서와 같이 본 발명의 일 실시예에 의하면, 맵핑 테이블에 의하여 제2 투사 데이터를 생성하면 제1 투사 데이터와 제2 투사 데이터 간에 상관 관계가 높아질 수 있다. 제2 투사 데이터를 획득하면서 제2 영상으로 하여금 제1 영상의 특성에 근접하도록 맵핑 값을 적용함으로써 제1 투사 데이터와 유사한 제2 투사 데이터를 획득할 수 있다.
상기와 같이, 투사 데이터를 획득함으로써 움직임 추정에 있어서 복잡도를 현저히 낮출 수 있고, 맵핑 테이블에 의한 맵핑 값을 적용함으로써 상관 관계가 높은 투사 데이터를 얻을 수 있다.
각 영상에 대한 투사 데이터가 획득되면, 획득된 투사 데이터를 바탕으로 움직임을 추정한다. 움직임 추정은 획득된 제1 투사 데이터 및 제2 투사 데이터의 유사 척도를 산출하고, 상기 유사 척도가 최대가 되는 움직임 벡터를 산출함에 의해 이루어질 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 투사 데이터를 이용하여 움직임을 탐색하는 예를 보여준다.
도 6a 및 도 6b를 참조하면, 움직임 탐색부(190)에 의한 움직임 탐색은 제2 투사 데이터를 이동시키면서 제1 투사 데이터와 유사 척도가 최대가 되게 함으로써 결정할 수 있다. 여기서, 유사 척도는 제1 투사 데이터와 제2 투사 데이터 간에 유사도를 나타내는 계측(Meausre) 값을 말한다. 따라서, 유사 척도가 최대가 되게 한다는 것은 제1 투사 데이터와 제2 투사 데이터 간에 유사한 정도를 최대가 되게 한다는 것이다. 유사 척도를 최대로 하는 제2 투사 데이터를 이동량을 움직임 벡터로 정의할 수 있다.
유사 척도를 나타내는 일 예로서, 다음 수학식을 적용할 수 있다.
Figure 112007089734956-pat00003
여기서, xk 및 yk 는 각각 제1 투사 데이터 및 제2 투사 데이터의 k-번째 가로줄 또는 세로줄의 투사 인텐서티 값을 의미한다. 따라서, 수학식 4에 의하여는 구해지는 유사 척도를 최대로 할 수 있는 제2 투사 데이터의 이동량을 구할 수 있다. 수학식 4를 물리적 의미로 표현한다면, 제1 투사 데이터와 제2 투사 데이터와의 거리 차(Difference of distance)의 합을 나타내며, 상기 거리 차의 합을 최소로 하는 제2 투사 데이터의 이동량을 구함에 의하여 움직임 추정을 할 수 있다.
유사 척도를 나타내는 또 다른 예로서, 다음 수학식을 적용할 수 있다.
Figure 112007089734956-pat00004
본 발명의 일 실시예에서는 맵핑 테이블의 맵핑 값에 의하여 원칙적으로 제2 투사 데이터의 값이 제1 투사 데이터의 값보다 작게 한다. 제2 투사 데이터를 좌우로 이동시킴으로써 수학식 5의 유사 척도를 계산할 수 있다. 제2 투사 데이터를 좌 우로 이동시킴에 의하여 유사 척도를 최대로 할 수 있는 제2 투사 데이터의 이동량을 구할 수 있다.
상기 구해진 제2 투사 데이터의 이동량이 움직임 벡터의 성분을 구할 수 있다. 예를 들어, 제2 투사 데이터가 제2 영상의 가로줄로부터 얻어지는 경우이면, 상기 구해진 제2 투사 데이터의 이동량은 수직 성분 움직임 벡터이고, 제2 투사 데이터가 제2 영상의 세로줄로부터 얻어지는 경우이면 상기 구해진 제2 투사 데이터의 이동량은 수평 성분 움직임 벡터이다. 따라서, 가로줄과 세로줄에 대하여 각각 투사 데이터를 생성하여, 유사 척도를 최대로 하는 제2 투사 데이터의 이동량을 각각 구함으로써 수직 성분 및 수평 성분의 움직임 벡터를 구할 수 있다.
다시 도 6a를 참조하면, 제2 투사 데이터를 좌우로 이동시키면서 상기 수학식 4 또는 수학식 5에 의하여 유사 척도를 산출한다. 제2 투사 데이터를 거리 M 만큼 이동시켰을 때, 상기 수학식 4 또는 수학식 5의 유사 척도를 최대로 하는 경우에는 상기 거리 M 만큼의 움직임이 있음으로 판단할 수 있다. 예를 들어, M은 제2 투사 데이터가 영상의 가로줄로부터 획득된 데이터인 경우에는 수직 벡터 움직임 벡터이다.
한편, 도 6b를 참조하면, 도 6a 에서와 같이 제2 투사 데이터를 좌우로 이동시키면서 상기 수학식 4 또는 수학식 5에 의하여 유사 척도를 산출한다. 하지만, 도 6b와 같이 제2 투사 데이터를 거리 L 만큼 이동시킨 후에 상기 수학식 4의 유사 척도(S)를 최대로 할 수 있다. 하지만, 제2 투사 데이터를 거리 L 만큼 이동시키면, 제2 투사 데이터 중 일부 값이 제1 투사 데이터의 값보다 큰 경우가 있다. 이 때에는, 본 발명의 일 실시예에서 맵핑 값에 의하여 생성된 제2 투사 데이터의 인텐서티 값이 항상 제1 투사 데이터의 값보다 작게 되게 하는 것에 어긋난다. 따라서, 수학식 5에 의하여 제2 투사 데이터의 인텐서티 값(yk)가 제1 투사 데이터의 인텐서티 값(xk) 보다 크게 되는 영역(600)에는 가중치 w 값을 적용함으로써 영상에서의 움직임 추정에 보다 안정성을 높일 수 있다.
예를 들어, 제2 투사 데이터의 인텐서티 값(yk)가 제1 투사 데이터의 인텐서티 값(xk) 보다 크게 되는 영역(600)에서의 가중치 w 는 양수이고, 그렇지 아니한 경우에 가중치 w는 영 또는 음수로 할 수 있다. 그리하여, 도 6b에서와 같이 수학식 4에 의하여 산출되는 유사 척도가 최대가 되더라도 이는 실질적인 유사 척도의 최대 값이 아니므로, 수학식 5을 적용하여 유사 척도를 최대로 하는 움직임 벡터를 산출함으로써 저복잡도를 가진 영상 데이터로부터 영상의 움직임을 보다 정확하게 추정할 수 있다.
한편, 유사 척도를 산출하는 방식은 일반적인 루미넌스(luminance) 기반 방법 또는 확률 기반 방법을 사용할 수 있다. 이와 같이, 일반적인 상호정보(mutual information), 정규 상호정보(normalized mutual information) 등의 알고리즘을 적용하면서, 본 발명의 일 실시예에서 적용하는 가중치(Weight)에 의하여 움직임을 추정함에 있어 안정성 및 정확도를 높일 수 있다.
도 7은 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 방법의 흐름도이다. 도 7을 참조하면, 먼저 영상 획득부(110)에 의하여 외부로부터 두 영상을 획득 한다(S700). 영상 획득부(110)는 외부로부터 제1 영상 및 제2 영상을 입력 받거나 또는 이미지 획득 센서를 가지는 디바이스에 의하여 촬영된 제1 영상 및 제2 영상을 입력 받을 수 있다.
입력된 두 영상에 대하여 단일 채널의 영상으로 변환한다(S710). 단일 채널의 영상은 그레이 스케일 또는 RGB 채널 중에 하나의 채널로 이루어지는 영상일 수 있다.
단일 채널로 변경된 두 영상에 대하여 제1 영상 및 제2 영상으로 분류할 수 있다(S720). 본 발명의 일 실시예에서는 제1 영상 및 제2 영상은 영상 획득시의 노출 시간 또는 전체적인 밝기에 따라 구분될 수 있다. 예를 들어, 영상 획득 에 노출 시간이 다르게 설정되어 입력된 경우에는 장노출 영상이 제1 영상이 되고, 단노출 영상이 제2 영상이 된다. 다만, 미리 노출 시간이 다르게 설정되는 경우에는 영상을 획득하면서 미리 제1 영상 및 제2 영상이 정해 질 수도 있다.
단일 채널로 변경된 제1 영상 및 제2 영상을 이용하여 맵핑 테이블을 생성한다(S730). 각 영상에 대하여 누적 함수 분포를 추출하고, 각 영상에 대응하는 누적 함수 분포에 의하여 제2 영상으로부터 제1 영상에 대응되는 인텐서티를 보상할 수 있는 맵핑 테이블을 생성한다. 생성되는 맵핑 테이블은 제2 영상의 인텐서티를 보상하면서도, 제1 영상의 인텐서티 보다 상대적으로 작은 값을 가지도록 한다.
생성된 맵핑 테이블에 의하여 제1 투사 데이터 및 제2 투사 데이터를 생성한다(S740). 여기서, 투사 데이터는 2차원의 영상을 일차원적인 데이터로 표현하는 것으로, 복잡도를 낮추어 저복잡도를 가지는 데이터를 말한다. 제1 투사 데이터는 제1 영상의 픽셀 단위에서 가로줄 또는 세로줄의 인텐서티를 평균화하여 생성된다. 제2 투사 데이터는 제2 영상의 가로줄 또는 세로줄에 위치하는 픽셀들에 대하여 각 맵핑 값을 적용하여 투사 인텐서티을 획득하여 생성된 데이터이다.
제1 투사 데이터와 제2 투사 데이터를 이용하여 제1 영상 및 제2 영상에 대한 움직임 탐색을 한다(S750). 움직임 탐색에 있어서, 유사 척도를 최대로 하는 제2 투사 데이터의 이동량을 산출한다. 산출된 제2 투사 데이터의 이동량은 제1 영상 및 제2 영상에 대한 움직임 벡터 성분일 수 있다. 한편, 유사 척도는 수학식 4 또는 수학식 5에 의한 거리 기반의 기법, 일반적인 루미넌스(luminance) 기반 방법 또는 확률 기반 방법이 사용되어 계산될 수 있다.
상기와 같이, 본 발명의 일 실시예에 따른 움직임 추정 방법 및 시스템은 서로 다른 특성을 갖는 영상에 대해서도 일차원 데이터로 복잡도를 낮추어 움직임을 탐색함으로써 소요되는 계산량 및 메모리 량을 줄일 수 있다. 이와 함께, 2차원 기반의 영상의 크기가 증가할수록 움직임 추정에 소요되는 탐색영역이 증가하므로, 본 발명의 일 실시예에 의한 저복잡도 움직임 추정이 효율적일 수 있다.
이와 함께, 영상의 가로줄 또는 세로줄의 픽셀을 하나의 인텐서티 값으로 표현하여 처리함으로써 노이즈가 있는 영상에 대하여 노이즈의 영향이 줄어드는 효과가 있다.
한편, 본 발명의 일 실시예에 의하여 서로 다른 특성을 가지는 영상에 대하여 맵핑 테이블을 적용하여 투사 데이터를 생성함으로써 이종 영상 간의 상관 관계를 높일 수 있어 움직임 추정의 성능을 높일 수 있다.
마지막으로, 맵핑 테이블을 이용한 투사 데이터 간의 관계를 이용하여 유사 척도를 최대화하는 과정에서 움직임 추정의 정확성과 안정성을 높일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
도 1은 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 시스템의 블록도이다.
도 2a는 본 발명의 일 실시예에서의 누적 함수 분포의 예를 보여주는 도면이다.
도 2b는 본 발명의 일 실시예에서의 맵핑 테이블의 일 예를 보여주는 도면이다.
도 3은 일 실시예에 따른 저복잡도 움직임 추정 시스템에서 투사 데이터를 생성하는 예를 보여주는 도면이다.
도 4a는 본 발명의 일 실시예에서 적용하는 제1 영상 도면이다.
도 4b는 본 발명의 일 실시예에서 적용하는 제2 영상 도면이다.
도 5a는 맵핑에 의하지 아니한 투사 데이터의 결과 도면이다.
도 5b는 본 발명의 일 실시예에 따라 맵핑 값을 적용하여 투사 데이터를 획득한 결과 도면이다..
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 투사 데이터를 이용하여 움직임을 탐색하는 예를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 저복잡도 움직임 추정 방법의 흐름도이다.
<도면의 주요 부분에 대한 설명>
110: 영상 획득부 130: 영상 변환부
150: 영상 분류부 160: 맵핑 테이블 생성부
170: 투사 데이터 생성부 190: 움직임 탐색부

Claims (21)

  1. 두 영상을 제1 영상 및 제2 영상으로 획득하는 영상 획득부;
    각 인텐서티(Intensity)에 따른 상기 제1 영상 및 상기 제2 영상의 누적 분포 함수(CDF; cumulative distribution function)를 이용하여 맵핑 테이블을 생성하는 맵핑 테이블 생성부;
    상기 생성된 맵핑 테이블을 이용하여 투사 데이터를 생성하는 투사 데이터 생성부; 및
    상기 생성된 투사 데이터를 이용하여 상기 두 영상에 대한 움직임을 탐색하는 움직임 탐색부를 포함하며,
    상기 맵핑 테이블 생성부는,
    서로 동일한 누적 분포 함수 값을 가지는 상기 제1 영상과 상기 제2 영상의 인텐서티(Intensity) 차이를 보상하는 상기 맵핑 테이블의 맵핑 값을 생성하는 저복잡도 움직임 추정 시스템.
  2. 삭제
  3. 제 1항에 있어서, 상기 맵핑 테이블 생성부는
    소정의 인텐서티(Intensity)가 주어지면, 상기 소정의 인텐서티 값과 이에 대응하는 상기 제1 영상의 제1 누적 분포 함수 값과 일치하는 상기 제2 영상의 제2 누적 분포 함수 값에 대응하는 인텐서티 값을 이용하여 상기 맵핑 값을 생성하는, 저복잡도 움직임 추정 시스템.
  4. 제 1항에 있어서,
    상기 제1 영상 및 제2 영상 각각을 단일 채널 영상으로 변환시키는 영상 변환부를 더 포함하는, 저복잡도 움직임 추정 시스템.
  5. 제 1항에 있어서,
    상기 제2 영상은 상기 제1 영상에 비하여 단노출 영상인, 저복잡도 움직임 추정 시스템.
  6. 제 1항에 있어서,
    상기 두 영상의 인텐서티(Intensity) 정보를 이용하여 상기 제1 영상 및 제2 영상으로 분류하는 영상 분류부를 더 포함하는, 저복잡도 움직임 추정 시스템.
  7. 제 1항에 있어서, 상기 움직임 탐색부는
    상기 제1 영상에 비하여 단노출 영상인 상기 제2 영상에 대하여 획득된 제2 투사 데이터를 좌우로 이동시키면서 상기 제1 영상에 대한 제1 투사 데이터와의 유사 척도를 추출하는 유사 척도 추출부를 포함하는, 저복잡도 움직임 추정 시스템.
  8. 제 7항에 있어서, 상기 움직임 탐색부는
    상기 제2 투사 데이터를 좌우로 이동시키면서 획득된 유사 척도를 최대화시 키는 값을 움직임 벡터(Motion vector)로 산출하는 움직임 벡터 산출부를 더 포함하는, 저복잡도 움직임 추정 시스템.
  9. 제 1항에 있어서, 상기 움직임 탐색부는
    상기 제1 영상의 제1 투사 데이터와 상기 제1 영상에 비하여 단노출 영상인 상기 제2 영상의 제2 투사 데이터와의 거리 차의 합을 최소화시키는 제2 투사 데이터의 좌우 방향 이동량을 산출하여 상기 두 영상에 대한 움직임을 탐색하는, 저복잡도 움직임 추정 시스템.
  10. 제 9항에 있어서, 상기 움직임 탐색부는
    상기 제2 투사 데이터의 좌우 방향 이동에 의하여 제2 투사 데이터의 투사 인텐서티 값이 제1 투사 데이터의 투사 인텐서티 값보다 커지는 경우에는 가중치를 상기 거리 차에 곱하여 합을 계산하는, 저복잡도 움직임 추정 시스템.
  11. 두 영상을 제1 영상 및 제2 영상으로 입력 받는 단계;
    각 인텐서티(Intensity)에 따른 상기 제1 영상 및 상기 제2 영상의 누적 분포 함수(CDF; cumulative distribution function)를 이용하여 맵핑 테이블을 생성하는 단계;
    상기 생성된 맵핑 테이블을 이용하여 투사 데이터를 생성하는 단계; 및
    상기 생성된 투사 데이터를 이용하여 상기 두 영상에 대한 움직임을 탐색하는 단계를 포함하며,
    상기 맵핑 테이블을 생성하는 단계는,
    서로 동일한 누적 분포 함수 값을 가지는 상기 제1 영상과 상기 제2 영상의 인텐서티(Intensity) 차이를 보상하는 맵핑 값을 생성하는 저복잡도 움직임 추정 방법.
  12. 삭제
  13. 제 11항에 있어서, 상기 맵핑 테이블을 생성하는 단계는
    소정의 인텐서티(Intensity)가 주어지면, 상기 소정의 인텐서티 값과 이에 대응하는 상기 제1 영상의 제1 누적 분포 함수 값과 일치하는 상기 제2 영상의 제2 누적 분포 함수 값에 대응하는 인텐서티 값을 이용하여 상기 맵핑 값을 생성하는 단계를 더 포함하는, 저복잡도 움직임 추정 방법.
  14. 제 11항에 있어서,
    상기 제1 영상 및 제2 영상 각각을 단일 채널 영상으로 변환시키는 단계를 더 포함하는, 저복잡도 움직임 추정 방법.
  15. 제 11항에 있어서,
    상기 제2 영상은 상기 제1 영상에 비하여 단노출 영상인, 저복잡도 움직임 추정 방법.
  16. 제 11항에 있어서,
    상기 두 영상의 인텐서티(Intensity) 정보를 이용하여 상기 제1 영상 및 제2 영상으로 분류하는 단계를 더 포함하는, 저복잡도 움직임 추정 방법.
  17. 제 11항에 있어서, 상기 움직임을 탐색하는 단계는
    상기 제1 영상에 비하여 단노출 영상인 상기 제2 영상에 대하여 획득된 제2 투사 데이터를 좌우로 이동시키면서 상기 제1 영상에 대한 제1 투사 데이터와의 유사 척도를 추출하는 단계를 포함하는, 저복잡도 움직임 추정 방법.
  18. 제 17항에 있어서, 상기 움직임을 탐색하는 단계는
    상기 제2 투사 데이터를 좌우로 이동시키면서 획득된 유사 척도를 최대화시키는 값을 움직임 벡터(Motion vector)로 산출하는 단계를 더 포함하는, 저복잡도 움직임 추정 방법.
  19. 제 11항에 있어서, 상기 움직임을 탐색하는 단계는
    상기 제1 영상의 제1 투사 데이터와 상기 제1 영상에 비하여 단노출 영상인 상기 제2 영상의 제2 투사 데이터와의 거리 차의 합을 최소화시키는 제2 투사 데이터의 좌우 방향 이동량을 산출하는 단계를 포함하는, 저복잡도 움직임 추정 방법.
  20. 제 19항에 있어서, 상기 움직임을 탐색하는 단계는
    상기 제2 투사 데이터의 좌우 방향 이동에 의하여 제2 투사 데이터의 투사 인텐서티 값이 제1 투사 데이터의 투사 인텐서티 값보다 커지는 경우에는 가중치를 상기 거리 차에 곱하여 합을 계산하는 단계를 더 포함하는, 저복잡도 움직임 추정 방법.
  21. 제 11항에 있어서, 상기 움직임을 탐색하는 단계는
    상기 제1 영상의 제1 투사 데이터와 상기 제1 영상에 비하여 단노출 영상인 상기 제2 영상의 제2 투사 데이터로부터 상호정보(Mutual information) 또는 정규 상호정보(Normalized mutual information)의 알고리즘에 의하여 유사 척도를 추출하는 단계를 포함하는, 저복잡도 움직임 추정 방법.
KR1020070130051A 2007-12-13 2007-12-13 저복잡도 움직임 추정 방법 및 시스템 KR101440098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070130051A KR101440098B1 (ko) 2007-12-13 2007-12-13 저복잡도 움직임 추정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070130051A KR101440098B1 (ko) 2007-12-13 2007-12-13 저복잡도 움직임 추정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090062669A KR20090062669A (ko) 2009-06-17
KR101440098B1 true KR101440098B1 (ko) 2014-09-18

Family

ID=40991872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070130051A KR101440098B1 (ko) 2007-12-13 2007-12-13 저복잡도 움직임 추정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101440098B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230050067A (ko) 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070018344A (ko) * 2005-08-09 2007-02-14 삼성전자주식회사 인텐서티 보상을 위한 영상 디코딩 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070018344A (ko) * 2005-08-09 2007-02-14 삼성전자주식회사 인텐서티 보상을 위한 영상 디코딩 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230050067A (ko) 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
KR102626388B1 (ko) 2021-10-07 2024-01-17 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템

Also Published As

Publication number Publication date
KR20090062669A (ko) 2009-06-17

Similar Documents

Publication Publication Date Title
US8295629B2 (en) Method and system for processing low-illuminance image
KR101411639B1 (ko) 영상 정합 방법 및 장치
EP2881915B1 (en) Techniques for disparity estimation using camera arrays for high dynamic range imaging
US10872434B2 (en) Image processing apparatus and method
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
CN108541374A (zh) 一种图像融合方法、装置及终端设备
JPWO2010021090A1 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US20090207260A1 (en) Image pickup apparatus and image pickup method
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
WO2019102966A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
US20170307869A1 (en) Microscope and method for obtaining a high dynamic range synthesized image of an object
CN105744152A (zh) 被摄体追踪设备、摄像设备和被摄体追踪方法
CN114979500B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
TWI394097B (zh) 移動物體的偵測方法以及偵測系統
KR101597823B1 (ko) 움직임 보상 장치
CN111292368A (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法
US20190287272A1 (en) Detection system and picturing filtering method thereof
KR101440098B1 (ko) 저복잡도 움직임 추정 방법 및 시스템
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021093694A (ja) 情報処理装置およびその制御方法
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム
JP2020088540A (ja) 画像生成装置、画像生成方法及び画像生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 6