KR0163922B1 - 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 - Google Patents

카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 Download PDF

Info

Publication number
KR0163922B1
KR0163922B1 KR1019950030793A KR19950030793A KR0163922B1 KR 0163922 B1 KR0163922 B1 KR 0163922B1 KR 1019950030793 A KR1019950030793 A KR 1019950030793A KR 19950030793 A KR19950030793 A KR 19950030793A KR 0163922 B1 KR0163922 B1 KR 0163922B1
Authority
KR
South Korea
Prior art keywords
horizontal
value
line
memory
motion vector
Prior art date
Application number
KR1019950030793A
Other languages
English (en)
Other versions
KR970019390A (ko
Inventor
황정현
박용철
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019950030793A priority Critical patent/KR0163922B1/ko
Priority to US08/712,608 priority patent/US5832101A/en
Priority to JP24381296A priority patent/JPH09163217A/ja
Publication of KR970019390A publication Critical patent/KR970019390A/ko
Application granted granted Critical
Publication of KR0163922B1 publication Critical patent/KR0163922B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/66—Digital/analogue converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)

Abstract

이 발명은 카메라 영상의 움직임(Motion) 벡터 검출장치 및 그 검출 방법에 관한 것으로서, 수평 에지 추출부와, 1 라인 누적기와, 지연 레지스터와, 수직 라인 메모리와, 부호 판정 메모리와, 수직 상관치 가감 연산부와, 수직 에지 추출부, 제1수평 라인 메모리와, 제2수평 라인 메모리와, 비교기와, 수평 상관치 가감 연산부로 이루어지며, 방향성 에지를 이용하여 움직임 벡터의 정밀도를 높이고, 화상의 주사가 끝남과 동시에 상관치가 결정되므로 고속의 움직임 벡터 검출이 가능하며, 메모리를 절약한 간단한 회로를 구현하는 효과를 가진 움직임 벡터 검출장치 및 그 검출방법에 관한 것이다.

Description

카메라 영상의 움직임 벡터 검출장치 및 그 검출방법
제1도는 종래에 대표적으로 사용한 영상 보정 시스템을 나타낸 블록도이다.
제2도는 종래에 사용한, 화상의 움직임 벡터를 1차원으로 추출하는 방법을 나타낸 개념도이다.
제3도는 이 발명의 실시예에서 사용한 IIR 필터를 이용하여 수평,수직방향의 예지 성분을 추출하는 방법을 나타낸 개념도이다.
제4도는 이 방법의 실시예에 따른 수직 벡터 검출장치를 나타낸 블록도이다.
제5도는 이 방법의 실시예에 따른 수직 움직임 벡터 검출장치를 나타낸 개념도이다.
제6도는 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법을 나타낸 개념도이다.
제7도는 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법을 나타낸 흐름도이다.
제8도는 이 발명의 실시예에 따른 수직 움직임 벡터 검출방법을 나타낸 흐름도이다.
* 도면의 주요부분에 대한 부호의 설명
401 : 수평 에지 추출부 402 : 1 라인 누적기
403 : 지연 레지스터 404 : 수직 라인 메모리
405 : 부호 판정 메모리 406 : 수직 상관치 가감 연산부
407 : 수직 에지 추출부 408 : 제1수평라인 메모리
409 : 제2수평 라인 메모리 410 : 비교기
411 : 수평 상관치 가감 연산부
이 발명은 카메라 영상의 움직임(Motion) 벡터 검출장치 및 그 검출방법에 관한 것으로서, 더욱 상세하게 말하자면 여러 가지 원인으로 인한 손 떨림때문에 발생하는 카메라의 불안정한 영상을 화상처리를 이용하여 안정화된 영상으로 보정하기 위한, 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법에 관한 것이다.
동영상의 신호로부터 움직임 벡터를 검출하는 것은 화상압축, 화상인식 및 화상안정화등에 필수불가결한 중요 기술이다.
현재 많이 사용되는 휴대용 VCR 일체형 카메라(캠코더)를 이용하여 촬영할 때(특히, 보행중에 촬영할때나 주행중인 운송수단에서 촬영할때)는 카메라의 움직임 때문에, 안정되지 못한 떨리는 영상이 입력되기 쉽다. 또, 캠코더의 소형화, 대중화 추세에 따라, 휴대용 카메라가 많이 쓰이고 있으나, 고배율의 촬영시 손 떨림에 의해서 영상의 불안정도가 심화된다.
한편, 캠코더의 입력장치로는 고체 촬상 소자가 많이 쓰인다.
고체 촬상 소자는 전자빔을 사용하지 않는 반도체칩으로 된 촬상 디바이스이며, 수광부의 전송에 MOS 트랜지스터를 사용한 것을 MOS형, 전하 결합 소자(Charge Coupled Device; 이하 CCD라 함)를 사용한 것을 CCD형이라 한다.
그리고 이 발명에 관련된 참고 문헌은 다음과 같다.
(가) United States Patents, No.5184216
출원일 : 1993. 2. 2.
문헌명 : Image Sensing Apparatus Having Camera-Shake Detecting Function.
(나) IEEE Trans. Consumer Electronics, Vol 36, No 3
발표일 : 1990. 8.
제 목 : Electronic Image Stabilizer for Video Camera Use
이하, 첨부된 도면을 참조로 하여 종래의 영상 보정 시스템에 대하여 설명한다.
제1도는 종래에 대표적으로 사용한 영상 보정 시스템을 나타낸 블록도이다.
제1도에 도시되어 있듯이, 종래에 사용한, 카메라의 영상 안정화를 위한 영상 보정 시스템은, 입력되는 영상을 광학계를 이용하여 고체소자에 결상시켜 그 상을 고체소자내에서 전자적으로 주사하여 전기신호로 변환해 출력하는 고체 촬상 소자(10)와; 상기한 고체 촬상 소자(10)에서 입력된 아날로그 신호를 디지탈 신호로 변환하여 출력하는 아날로그/디지탈 변환기(Analog/Digital Converter; 이하 A/D라 함)(20)와; 상기한 A/D(20)에서 입력된 신호를 색차와 밝기 신호로 변환하여 출력하는 카메라 신호 처리 장치(30)와; 상기한 A/D(20)에서 입력된 신호에서 손 떨림 때문에 발생하는 움직임을 검출하여 움직임 벡터를 출력하는 움직임 벡터 검출장치(40)와; 상기한 움직임 벡터 검출장치(40)에서 출력된 움직임 벡터를 입력받아서, 보정할 영역의 위치를 제어하는 메모리 제어부(50)와; 상기한 카메라 신호 처리 장치(30)에서 입력된 필드(또는 프레임) 단위의 화상을 가지고 있다가, 상기한 메모리 제어부(50)의 화상 보정 제어에 의해, 안정된 화상 신호를 출력하는 필드 메모리(60)와; 상기한 필드 메모리(60)에서 입력된 디지탈 영상 신호를 아날로그 영상 신호로 변환하여 출력하는 디지탈/아날로그 변환기(Digital/Analog Converter; 이하 D/A라 함)(70)로 이루어진다.
이와 같은 영상 보정 시스템을 이용한 방법은 시간적으로 연속하는 화상으로부터 선택된 영상정보들의 상관도를 계산하여 그 최대 상관점으로부터 움직임 벡터를 결정한다. 일반적으로 블럭 매칭법(Block Matching Algorithm)이 널리 쓰이고 있으며, 계산상의 복잡성과 실시간 처리문제를 해결하기 위하여 단계적 탐색(Piramid Search), 대수적 탐색(Logarithmic Search) 등의 다양한 기술들이 제안되어 있다. 그러나, 2차원의 블럭 매칭 방법은 기본적으로 블럭내의 대상화소수의 증가에 따라 급격한 연산량의 증가를 동반하고, 반대로 대상화소수를 줄이면 국부적 안정화(Local Minimum)에 빠져 틀린 결과를 출력하기 쉽다는 문제점이 있다.
또, 제2도는 종래에 사용한, 화상의 움직임 벡터를 1차원으로 추출하는 방법을 나타낸 개념도이다.
제2도에 도시되어 있듯이, 종래에는 화상의 패턴 투영으로 움직임 정보를 전영역으로부터 1차원으로 추출하여 보정하는 일반적인 방법도 사용하였다.
이것은 영상의 패턴 정보를 수평(x), 수직(y) 방향으로 누적(Projection)한 후, 이전 필드 화상의 누적 결과와 상호 상관도를 계산하여 그 극점으로부터 필드간 이동량을 예측한다. 이러한 상관도의 계산은 식(1)과 식(2)와 같이 나타낼 수 있다.
여기에서, x, y는 필드 화상의 수평, 수직 좌표를 나타내며, M은 화상의 수평화소수, N은 화상의 라인수를 나타낸다. 또한, P'H와 PH는 이전과 현재의 영상 정보를 수직으로 누적시킨 수평 움직임 검출용 라인 메모리(수평 라인 메모리)이며, P'V와 PV는 이전과 현재의 영상 정보를 수평으로 누적시킨 수직 움직임 검출용 라인 메모리(수직 라인 메모리)이다.
그리고, u, v {(u, v)|-SHu SH, -SVv SV}는 이동 변위를 나타내며, 각가 수평, 수직의 탐색 영역 ±SH, ±SV내의 정수를 가진다.
식 (1)과 식 (2)에서 보는 바와 같이 각 정의 영역에 있어서, 이전 필드의 누적치와 현재의 누적치의 차이의 합에서 가장 적은 양을 나타내는 변수 (u, v)를 화상의 최적 이동량으로 판단한다.
이러한 1차원 신호의 매칭 방법은 2차원 매칭법에 비하여 큰 움직임의 화면이동에도 적은 연산량으로 움직임 벡터를 구할 수 있는 특징이 있다. 그러나, 전체 화상을 대표하는 움직임 벡터를 검출하기 위한 영상 패턴의 누적 매칭 방법은 입력 화상의 주사(Raster Scanning)가 종점에 이르렀을 때 현재 화상의 영상정보 누적이 완료되므로 다음 필드 화상의 주사가 시작되기 전까지 상관도 계산을 해야 할 시간적 제약을 가진다. 또한 누적 메모리를 절약하기 위하여 입력 화소를 낮은 양자화 레벨(2진 신호)로 변환해야 하며 2진화의 임계치 결정, 윤곽선 추출에 의한 방법등의 처리에서 화소 정보의 손실이 생기며, 입력 화상의 라인수 N과 수평 화소수 M에 각각 상관하는 2쌍의 라인 메모리와 이에 대한 복잡한 연산 구조를 필요로 하게 된다. 만약, 입력 화상의 영상 신호를 2진 신호로 받고, 라인 메모리의 각 쎌의 데이타 비트 수를 dM(dM:log2M 이상의 최소 정수), dN(dN:log2N 이상의 최소 정수)이라고 할 경우, 필요 누적 라인 메모리의 전체 크기는 수평 2M·dN, 수직 2N·dM으로 나타낼 수 있다. 그리고, 상관도 연산량은 유효 탐색 영역을 ±SH, ±SV로 했을 때, 수평으로 dNbit 데이타를 (M-2SH)·(2SH+1)회, 수직으로 dMbit 데이타를 (N-2SV)·(2SV+1)회 가감, 비교 연산을 해야 하므로 많은 연산량과 라인 메모리를 요구한다는 문제점이 있다.
따라서 이 발명의 목적은 상기한 종래의 문제점을 해결하기 위한 것으로서, 방향성 에지(Edge)를 이용하여 움직임 벡터의 정밀도를 높이고, 연산 회로와 라인 메모리를 줄일 수 있으며, 고속으로 움직임 벡터를 검출하는 카메라 영상의 움직임 벡터 검출장치 및 그 검출 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 수단으로써, 이 발명에 따른 움직임 벡터 검출장치의 구성은, 입력된 화상에서 수평 방향의 에지를 추출하여 출력하는 수평 에지 추출부와; 컨트롤러로부터 1라인 리셋 신호를 입력받으며, 상기한 수평 에지 추출부에서 출력한 1라인의 화소 정보를 누적하였다 출력하는 1 라인 누적기와; 상기한 1라인 누적기에서 출력된 라인 정보를 일정 시간동안 지연시킨 후에 출력하는 지연 레지스터와; 상기한 지연 레지스터로부터 라인 정보를 입력받아, 저장되어 있던 이전 필드 누적치를 갱신하는 수직 라인 메모리와; 컨트롤러로부터 1라인 리셋 신호를 입력받으며, 상기한 수직 라인 메모리에서 입력되어 저장되어 있던 모든 셀(Cell)값에서, 상기한 수평 에지 추출부로부터 입력된 값을 빼서(감하여) 출력하는 부호 판정 메모리와; 컨트롤러로부터 1필드 리셋 신호를 입력받으며, 상기한 부호 판정 메모리에서 입력된 값에 따라, 상기한 수평 에지 추출부에서 입력된 값과 누적치를 연산한 상관치를 가감하여 수직 움직임 벡터를 검출하고 출력하는 수직 상관치 가감 연산부와; 입력된 화상에서 수직 방향의 에지를 추출하여 출력하는 수직 에지 추출부와; 상기한 수직 에지 추출부에서 입력된 화소 정보의 값을 저장하고 출력하는 제1수평 라인 메모리와; 이전 필드의 누적치가 분산되어 저장되어 있다가, 상기한 제1 수평 라인 메모리의 출력을 입력받아 데이타를 갱신하는 제2수평 라인 메모리와; 상기한 제1수평 라인 메모리와 상기한 제2수평 라인 메모리의 출력을 입력받아서 누적치를 비교하여 출력하는 비교기와; 상기한 비교기에서 입력된 값에 따라, 상기한 제2수평 라인 메모리와 상기한 수직 에지 추출부에서 입력된 값을 연산한 상관치를 가감하여 수평 움직임 벡터를 검출하고 출력하는 수평 상관치 가감 연산부를 포함하여 이루어진다.
상기한 목적을 달성하기 위한 수단으로써, 이 발명에 따른 수평 움직임 벡터의 검출방법의 구성은, 상관치를 초기화하는 단계와; 제1수평 라인 메모리를 클리어(Clear)하는 단계와; 수직 에지를 추출하는 추출하는 단계와; 제1수평 라인 메모리에 현재 필드의 부분 누적치를 누적하는 단계와; 제1수평 라인 메모리와 제2수평 라인 메모리의 누적치를 비교하는 단계와; 수평 상관치를 가감 연산하는 단계와; 제2수평 라인 메모리의 데이타를 갱신하는 단계와; 상관치를 비교할 영상 분할 영역이 남아 있는지를 판단하는 단계와; 영상 분할 영역이 남아 있으면, 제1수평 라인 메모리를 클리어 하는 단계로 돌아가기 위해 다음 영역을 세팅하는 단계와; 영상 분할 영역이 남아 있지 않으면, 상관치의 최소치를 계산하여 수평움직임 벡터를 출력하는 단계를 포함하여 이루어진다.
상기한 목적을 달성하기 위한 수단으로써, 이 발명에 따른 수직 움직임 벡터 검출방법의 구성은, 상관치를 초기화하는 단계와; 부호 판정 메모리를 셋업(Setup)하는 단계와; 상관치를 프리로드(Preload)하는 단계와; 수평 에지를 검출하는 단계와; 상기 단계에서, 검출된 수평 에지가 있는지를 판단하는 단계와; 검출된 수평 에지가 없으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계와; 검출된 수평 에지가 있으면, 각 부호 판정 메모리의 셀의 값을 일정한 값씩 감소시키는 단계와; 부호 판정 메모리의 셀값이 양(+)인지를 판단하는 단계와; 부호 판정 메모리의 셀값이 양(+)이면, 상관치를 일정한 값씩 감소시키는 단계와; 부호 판정 메모리의 셀값이 양(+)이 아니면, 상관치를 일정한 값씩 증가시키는 단계와; 모든 부호 판정 메모리의 셀의 검증이 완료되었는지를 판단하는 단계와; 모든 부호 판정의 메모리의 셀의 검증이 완료되지 않았으면, 검증할 다음 셀을 세팅하는 단계와; 모든 부호 판정 메모리의 셀의 검증이 완료되었으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계와; 현재 라인의 마지막 화소까지 계산이 완료되지 않았으면, 수평 방향 에지를 검출하는 단계로 돌아가기 전에 다음 화소를 세팅하는 단계와; 현재 라인의 마지막 화소까지 계산이 완료되었으면, 마지막 라인까지 계산이 완료되었는지를 판단하는 단계와; 마지막 라인까지 계산이 완료되지 않았으면, 부호 판정 메모리를 셋업하는 단계로 돌아가기 전에 다음 라인을 세팅하는 단계와; 마지막 라인까지 계산이 완료되었으면, 상관치의 최소치를 계산하여 수직 움직임 벡터를 출력하는 단계를 포함하여 이루어진다.
상기한 구성에 의하여, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.
제4도는 이 발명의 실시예에 따른 움직임 벡터 검출장치를 나타낸 블럭도이다.
제4도에 도시되어 있듯이, 이 발명의 실시예에 따른 움직임 벡터 검출장치의 구성은, 입력된 화상에서 수평 방향의 에지(EX(x, y))를 추출하여 출력하는 수평 에지 추출부(401)와; 컨트롤러(도시되지 않음)로부터 1라인 리셋 신호를 입력받으며, 상기한 수평 에지 추출부(401)에서 출력한 1라인의 화소 정보를 누적하였다 출력하는 1라인 누적기(402)와; 상기한 1라인 누적기(402)에서 출력된 라인 정보를 수직 탐색 범위의 절반에 해당하는 라인 주사 시간동안 지연시킨 후에 출력하는 지연 레지스터(403)와; 상기한 지연 레지스터(403)로부터 라인 정보를 입력받아, 저장되어 있던 이전 필드 누적치를 갱신하는 수직 라인 메모리(404)와; 컨트롤러(도시되지 않음)로부터 1라인 리셋 신호를 입력받으며, 상기한 수직 라인 메모리(404)에서 입력되어 저장되어 있던 모든 셀값에서, 상기한 수평 에지 추출부(401)로부터 입력된 값을 빼서(감하여) 출력하는 부호 판정 메모리(405)와; 컨트롤러(도시되지 않음)로부터 1필드 리셋 신호를 입력받으며, 상기한 부호 판정 메모리(405)에서 입력된 값에 따라, 상기한 수평 에지 추출부(401)에서 입력된 값과 누적치를 연산한 상관치를 가감하여 수직 움직임 벡터를 검출하고 출력하는 수직 상관치 가감 연산부(406)와; 입력된 화상에서 수직 방향의 에지(Ey(x, y))를 추출하여 출력하는 수직 에지 추출부(407)와; 상기한 수직 에지 추출부(407)에서 입력된 화소 정보의 값을 저장하고 출력하는 제1수평 라인 메모리(408)와; 이전 필드의 누적치가 분산되어 저장되어 있다가, 상기한 제1수평 라인 메모리(408)의 출력을 입력받아 데이타를 갱신하는 제2수평 라인 메모리(409)와; 상기한 제1수평 라인 메모리(408)와 상기한 제2수평 라인 메모리(409)의 출력을 입력받아서 누적치를 비교하여 출력하는 비교기(410)와; 상기한 비교기(410)에서 입력된 값에 따라, 상기한 제2수평 라인 메모리(409)와 상기한 수직 에지 추출부(407)에서 입력된 값을 연산한 상관치를 가감하여 수평 움직임 벡터를 검출하고 출력하는 수평 상관치 가감 연산부(411)를 포함하여 이루어진다.
제7도는 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법을 나타낸 흐름도이다.
제7도에 도시되어 있듯이, 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법의 구성은, 수평 상관치 가감 연산부(411)에 있는 상관치(CH(u))를 초기화하는 단계(S10)와; 제1수평 라인 메모리(408)를 클리어하는 단계(S15)와; 수직 에지 추출부(407)에서 수직 에지(Ey(x, y))를 추출하는 단계(S20)와; 제1수평 라인 메모리(408)에 현재 필드의 부분 누적치를 누적하는 단계(S30)와; 비교기(410)에서, 제1수평 라인 메모리(408)에 있는 현재 필드의 부분 누적치와 제2수평 라인 메모리(409)에 있는 전 필드의 부분 누적치를 비교하는 단계(S40)와; 상기 비교기(410)의 출력에 따라 수평 상관치 가감 연산부(411)에서 수평 상관치를 가감 연산하는 단계(S45)와; 제2수평 라인 메모리(409)의 데이타를 갱신하는 단계(S50)와; 상관치를 비교할 영상 분할 영역이 남아 있는지를 판단하는 단계(S60)와; 영상 분할 영역이 남아 있으면, 제1수평 라인 메모리(408)를 클리어하는 단계(S15)로 돌아가기 위해 다음 영역을 세팅하는 단계(S65)와; 영상 분할 영역이 남아 있지 않으면, 수평 상관치 가감 연산부(411)에서 최대상관치를 계산하여, 상관치중에서 최소치를 수평 움직임 벡터로 출력하는 단계(S70)를 포함하여 이루어진다.
제8도는 이 발명의 실시예에 따른 수직 움직임 벡터 검출방법을 나타낸 흐름도이다.
제8도에 도시되어 있듯이, 이 발명의 실시예에 따른 수직 움직임 벡터 검출 방법의 구성은, 수직 상관치 가감 연산부(406)에 있는 상관치(CV(v))를 초기화하는 단계(S100)와; 부호 판정 메모리(405)에, 주사할 라인을 중심으로 한 탐색 영역 내의 전필드의 누적치를 셋업하는 단계(S110)와; 수직 상관치 가감 연산부(406)에, 주사할 라인을 중심으로 한 탐색 영역 내의 전 필드의 상관치를 프리로드하는 단계(S120)와; 수평 에지 추출부(401)에서 수평 에지(EX(x, y))를 검출하는 단계(S130)와; 상기 단계(S130)에서, 검출된 수평 에지(EX(x, y))가 있는지를 판단하는 단계(S140)와; 검출된 수평 에지(EX(x, y))가 없으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계(S197)와; 검출된 수평 에지(EX(x, y))가 있으면, 각 부호 판정 메모리(405)의 셀의 값을 1씩 감소시키는 단계(S150)와; 부호 판정 메모리(405)의 셀값이 양(+)인지를 판단하는 단계(S160)와; 부호 판정 메모리(405)의 셀값이 양(+)이면, 상관치를 1씩 감소시키는 단계(S170)와; 부호 판정 메모리(405)의 셀값이 양(+)이 아니면, 상관치를 1씩 증가시키는 단계(S180)와; 부호 판정 메모리(405)의 모든 셀의 검증이 완료되었는지를 판단하는 단계(S190)와; 부호 판정 메모리(405)의 모든 셀의 검증이 완료되지 않았으면, 검증할 다음 셀을 세팅하는 단계(S195)와; 부호 판정 메모리(405)의 모든 셀의 검증이 완료되었으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계(S197)와; 현재 라인의 마지막 화소까지 계산이 완료되지 않았으면, 수평 방향 에지를 검출하는 단계(S199)와; 현재 라인의 마지막 화소까지 계산이 완료되었으면, 마지막 라인까지 계산이 완료되었는지를 판단하는 단계(S200)와; 마지막 라인까지 계산이 완료되지 않았으면, 부호 판정 메모리(405)를 셋업하는 단계(S110)로 돌아가기 전에 다음 라인을 세팅하는 단계(S205)와; 마지막 라인까지 계산이 완료되었으면, 상관치중에서 최소치를 구하여 수직 움직임 벡터를 출력하는 단계(S210)를 포함하여 이루어진다.
상기한 구성에 의한, 이 발명의 실시예에 따른 작용을 첨부된 도면을 참조하여 설명한다.
일반적으로, 움직임 벡터 검출을 위한 영상의 패턴 추출에 있어서, 화상의 에지 성분은 화상의 밝기 정보에 비하여 누적할 메모리 양을 절약하고, 전체 화상의 밝기 변화에 강할 뿐 아니라, 2치화할 경우 그 임계치 값의 결정이 용이해진다는 특성이 있다. 이 발명에서 사용한 움직임 벡터 검출법은 화상의 방향성 에지 성분의 1차원 누적치에 대한 매칭 방법이다. 여기에서, 노이즈 및 불필요한 에지를 제거하고 상관도를 극대화하기 위하여, 입력 화상에서 수평·수직 방향의 에지를 각각 추출하여 수평·수직 라인 메모리에 각각 누적한다.
먼저, 제3도는 이 발명의 실시예에서 사용한 IIR 필터를 이용하여 수평, 수직방향의 에지 성분을 추출하는 방법을 나타낸 개념도이며, 화상의 공간적 차분에 의한 에지 화상으로부터 IIR 필터를 거친 누적 방법을 나타낸다.
제3도에 도시되어 있듯이, 각각의 방향성 에지의 추출은 IIR 필터(순환형 필터)를 이용하며, 각 방향성 에지는 식(3)과 식(4)와 같이 나타낼 수 있다.
여기에서, I(x, y)는 입력 화상의 화소(x, y)에 대한 밝기이며, E(x,y)는 IIR필터를 거친 출력이다. 계수 k는 0과 1 사이의 실수를 가지며, 그 값이 적을수록 연속적인 방향성 에지 신호가 된다.
이때 E'(x, y)는 E(x, y)를 적절한 임계치로 2치화한 신호로써, 움직임 벡터 검출에 사용된다.
한편, 이 발명의 실시예에 따른 움직임 벡터 검출 방법은 수평 방향의 움직임과 수직 방향의 움직임이 구조적으로 차이를 가진다.
첫 번째로, 수직방향 움직임 벡터의 검출 방법의 관련 수식과 움직임 벡터의 검출장치와 함께 설명한다.
수식으로는, 상관치 계산식 (2)를 식 (5)와 같이 치환할 수 있다.
여기에서, v는 수직 움직임 탐색 영역 ±SV내의 {v| -SV≤ v ≤ SV}이며, CV(v)의 최소값을 나타내는 v가 최적 움직임 벡터이다. E'X(x,y)는 좌표 x,y의 수평 방향 에지 정보이며, x가 0부터 M-1에 이르기 까지 화소를 적분하면 PV(y)는 y라인에 있어서의 누적치가 된다. 즉, y라인에 있어서 필드 화상간 상관치는 E'X(x, y)의 라인 적분치와 전 필드 누적치 P'V(y+v)와의 차의 절대값이므로, 라인 적분치가 전필드의 누적치보다 적을 경우는 누적치에서 뺀 값이, 초과될 경우는 전 필드의 누적치보다 초과된 값이 y라인에 있어서의 상관치가 된다.
이것을 실현하기 위하여 (5)식의 절대값을 풀면 (6)과 같이 쓸 수 있다.
여기에서, 임계치 m은
을 만족하는 정수이며, 만족하는 m이 없을 경우는 M으로 한다. 결과적으로, 라인 y에 있어서 상관치는 식(6)의 우변의 제2항이 전 필드의 누적치 P'V(y+v)보다 적을 경우는 제3항이 0이 되고, 식(6)의 우변의 제2항이 전 필드의 누적치 P'V(y+v)보다 크거나 같게될 경우는 제1항과 제2항이 상실되어 식(5)의 우변의 제1항과 제2항의 차분에 대한 절대값이 된다.
또한, 제4도는 이 발명의 실시예에 따른 움직임 벡터 검출장치를 나타낸 블럭도이고, 제5도는 이 발명의 실시예에 따른 수직 움직임 벡터 검출방법을 나타낸 개념도이고, 제8도는 이 발명의 실시예에 따른 수직 움직임 벡터 검출방법을 나타낸 흐름도이다.
제4도에 도시되어 있듯이, 움직임 벡터 검출 장치는 수직 움직임 벡터 검출 장치(401~406)와 수평 움직임 벡터 검출 장치(407~411)로 이루어지며, 입력필드 영상 신호가 240 라인, 720 화소의 2치화된 신호이고, 출력을 수직 움직임 벡터로할 경우, 수직 움직임 벡터 검출 장치(401~406)는, 수평 에지 추출부(401)와, 1개의 화상 누적용 수직 라인 메모리(240 셀 * 10 bit)(404)와, 1라인 누적기(1 * 10 bit)(402)와, 지연 레지스터(SV셀 * 10 bit)(403)와, 부호 판정 메모리((2SV+1)셀 * 10 bit))(405)와, 수직 상관치가감 연산부((2SV+1)셀 * 16 bit))(406)로 구성된다.
그리고, 제5도와 제8도에 도시되어 있듯이, 수직 움직임 벡터 검출방법은 다음과 같다.
먼저, 수직 상관치 가감 연산부(406)에 있는 상관치(CV(v))를 초기화(S100)하고, 임의의 라인 y에서 주사 라인이 시작되기 전에 주사할 라인을 중심으로 한 탐색 영역 내의 이전 필드의 누적치 P'V(y-SV)~P'V(y+SV)를 부호 판정 메모리(405)와 수직 상관치 가감 연산부(406)에 적립(S110)(S120)시키면, 식(6)의 우변의 제1항이 결정된다.
이때, 적립시킬 부호 판정 메모리(405)와 수직 상관치 가감 연산부(406)의 셀수는 탐색 영역의 길이 2SV+1이다.
다음, 수평 에지 추출부(401)에서 수평 에지(EX(x,y))를 검출(S130)하고, 검출된 수평 에지(EX(x,y))가 있는지를, 즉, 라인 주사하여 읽은 화소 값(픽셀의 에지 신호)이 1인지를 판단(S140)하여, 검출된 수평 에지(EX(x, y))가 없으면(0이면), 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단(S197)하고, 검출된 수평 에지(EX(x,y))가 있으면, 각 부호 판정 메모리(405)의 모든 셀의 값을 1씩 감소시킨다.(S150)
그리고, 부호 판정 메모리(405)의 v번째 셀 값이 양(+)인지, 음(-)인지를 판단(S160)하여, 양(+)이면 상관치 CV(v)를 1 감소(S170)시키고, 음(-)이면 1증가(S180)시켜준다. 이렇게 하므로써, 각 셀에서 누적치의 값과 입력의 합이 일치할때까지 상관치를 감산하고, 부호 판정 메모리(405)가 0이 된후 상관치를 가산한다.
다음으로, 부호 판정 메모리(405)의 모든 셀의 검증이 완료되었는지를 판단(S190)하여, 부호 판정 메모리(405)의 모든 셀의 검증이 완료되지 않았으면, 검증할 다음 셀을 세팅(S195)한다.
부호 판정 메모리(405)의 모든 셀의 검증이 완료되었으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단(S197)하여, 현재 라인의 마지막 화소까지 계산이 완료되지 않았으면, 수평 방향 에지를 검출하는 단계(S130)로 돌아가기 전에 다음 화소를 세팅(S199)하고, 현재 라인의 마지막 화소까지 계산이 완료되었으면, 마지막 라인까지 계산이 완료되었는지를 판단(S200)한다.
그리고, 마지막 라인까지 계산이 완료되지 않았으면, 부호 판정 메모리(405)를 셋업하는 단계(S110)로 돌아가기 전에 다음 라인을 세팅(S205)하고, 마지막 라인까지 계산이 완료되었으면, 수직 상관치 가감 연산부(406)에서는 상관치중에서 최소치를 구하여 수직 움직임 벡터를 출력(S210)한다.
더 상세하게 설명하면, 상기한 셀의 검증 완료(S190) 및 라인 계산 완료(S200)여부에 따르는 비교, 감가산 연산은 매 화소가 입력될때마다 2SV+1개의 부호 판정 메모리(405)의 셀과 2SV+1개의 상관치 CV(v)에 대하여 순차적으로 (-SV≤ v ≤ SV) 이루어진다. 라인 y 까지에 대한 상관도가 계산되면 부호 판정 메모리(405)의 셀을 모두 리셋(1 라인 리셋)한 후, 다음 탐색 영역의 수직 라인 메모리 P'V(y-SV+1)~P'V(y+SV+1)의 셀 값을 부호 판정 메모리(405)와 수직 상관치 가감 연산부(406)에 입력, 누적하여 y+1 라인의 상관치 연산을 시작한다. 또한, 현재의 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계(S197)와 마지막 라인까지 계산이 완료되었는지를 판단하는 단계(S200)사이에, 다음 필드의 움직임 검출에 쓰기 위하여, 라인 y의 영상 정보(현재의 영상 정보)를 1라인 누적기(402)에 누적하고, 지연 레지스터(403)에서 SV분의 시간(탐색 범위의 절반에 해당하는 라인 주사 시간) 지연 후 수직 라인 메모리(404)의 정보 P'V(y-SV)를 현재의 영상 정보로 갱신한다. 이러한 일련의 연산이 영상의 상하 탐색 마진을 뺀 모든 라인 {y|SV＜ y ＜ M-SV}에서 순차적으로 상관치를 계산하고, 수직 라인 메모리(404)를 갱신한다.
이러한 방법을 통해서, 모든 라인의 주사가 끝나면 탐색 영역의 길이에 해당하는 상관치를 얻게되며, 최대 상관치로써 최소치 min v {CV(v)}의 변위를 수직 움직임 벡터 v로 결정할 수 있다.
두 번째로, 수평방향 움직임 벡터의 검출 방법을 관련 수식과 움직임 벡터의 검출장치와 함께 설명한다.
수식으로는, 상관치 계산식(1)을 식(8)과 같이 치환할 수 있다.
여기에서, u는 수평 움직임 탐색 영역 ±SH내의 정수 {u| -SH≤ u ≤ SH}이며, CH(u)의 최소값을 나타내는 u가 최적 움직임 성분이 된다. Ey(x, y)는 좌표 x, y의 수직 방향 에지 신호이며, x가 0부터 N-1에 이르기까지 Ey(x, y)를 적분하면 누적치 PH(x)에 상당한다. 즉, x라인에 있어서 필드 화상간 상관치는 현재 화상 신호 Ey(x, y)의 화소 적분치와 전 필드의 누적치 P'H(x+u)와의 차의 절대값이므로, 화소 적분치가 전 필드의 누적치보다 적을 경우는 누적치에서 뺀 값이, 초과될 경우는 전 필드의 누적치보다 초과된 값이 x화소에 있어서의 상관치가 된다.
이것을 실현하기 위하여 식(8)의 절대값을 풀면 식(9)과 같이 쓸 수 있다.
여기에서, 임계치 n은
을 만족하는 정수이며, 만족하는 n이 없을 경우는 N으로 한다. 결과적으로, x화소에 있어서 상관치는 식(9)의 우변의 제2항이 전 필드의 누적치보다 P'H(x+u)보다 적을 경우는 제3항이 0이 되고, 식(9)의 우변의 제2항이 전 필드의 누적치 P'H(x+u)보다 크거나 같게될 경우는 제1항과 제2항이 상실되므로, 식(8)의 우변의 제1항과 제2항의 차분에 대한 절대값이 된다.
결과적으로, 필드 주사가 완료됨과 동시에 탐색 영역에 해당되는 상환치가 결정되어 상관치의 최소값 위치와 중심과의 변위를 움직임량으로 결정할 수 있다. 그러나, 식(9)의 우변의 제2항과 제3항은 수직 방향으로 적분해야 하나 카메라의 주사 방향과 일치하지 않으므로, 현재의 누적 정보를 기억해 두어야 하는 누적 라인 메모리가 필요하다.
실제 응용에 있어서는 수평 라인 메모리를 절약하기 위하여 화상을 수평방향으로 분할(1~NS)한 후에 상관도를 계산한다.
한편, 제4도는 이 발명의 실시예에 따른 움직임 벡터 검출장치를 나타낸 블럭도이고, 제6도는 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법을 나타낸 개념도이고, 제7도는 이 발명의 실시예에 따른 수평 움직임 벡터 검출방법을 나타낸 흐름도이다.
제4도에 도시되어 있듯이, 움직임 벡터 검출 장치는 수직 움직임 벡터 검출장치(401~406)와 수평 움직임 벡터 검출 장치(407~411)로 이루어지며, 입력 필드 영상 신호가 240 라인, 720 화소의 2치화된 신호이고, 수평 방향 분할수 NS를 4로할 경우, 수평 움직임 벡터 검출 장치(407~411)는, 수직 에지추출부(407)와, (4+1)의 화상 누적용 라인 메모리(720 * 6 bit)(408)(409)와, 비교기(410)와, 수평 상관치 가감 연산부((2SV+1) * 16bit))(411)로 구성된다.
상기한 화상 누적용 라인 메모리(408)(409)는 제1수평 라인 메모리(408)와 제2수평 메모리(409)를 말한다. 현재의 누적 라인 메모리인 제1수평 라인 메모리(408)를 절약하기 위하여, 제2수평 라인 메모리(409)는 화상을 수평으로 수개의 영역으로 분할하여 저장하도록 수개의 메모리로 이루어진다. 제1수평 라인 메모리(408)와 제2수평 라인 메모리(409)의 각 분할된 낱개의 사이즈(Size)는 같다.
한 분할 영역에서 상관도가 결정된 후에, 제1수평 라인 메모리(408)에 저장되어 있던 현재 필드의 부분 누적치는 다음 필드와 비교되기 위해서 제2수평 라인 메모리의 한 영역으로 저장된다.
그리고, 제6도와 제7도에 도시되어 있듯이, 수평 움직임 벡터 검출방법은 다음과 같다.
먼저, 수평 상관치 가감 연산부(411)에 있는 상관치(CH(u))를 초기화(S10)하고, 제1수평 라인 메모리(408)를 클리어(S15)한다.
다음, 부분 화상 k(k=1,2,,...NS)를 주사하기 전, 제2수평 라인 메모리(409)에서 이전 필드 k번째의 누적치 P'Hk(SH+u)~P'Hk(M-SH+u)를 라인 주사가 시작되기 전에 상관치(CH(u))에 적립시킨다. 적립시킬 상관치(CH(u))의 셀{u|-SH≤ u ≤ SH}수는 탐색 영역의 길이 2SH+1이다.
또한, 수직 에지 추출부(407)에서 수직 에지(Ey(x, y))를 추출(S20)하고, 라인을 주사하여 읽은 화소 값(수직 에지 신호)을 현재 필드의 부분 누적치 PH(x) 에 적립(S30)시킨다. 그리고, 비교기(410)에서, 제1수평 라인 메모리(408)에 있는 현재 필드의 부분 누적치와 제2수평 라인 메모리(409)에 있는 전 필드의 부분 누적치를 비교(S40)하고, 이 비교기(410)의 출력에 따라 수평 상관치 가감 연산부(411)에서 수평 상관치를 가감 연산(S45)한다.
즉, 현재 필드의 부분 누적치 PH(x)가 전 필드의 부분 누적치 P'Hk(x+u)보다 작을 경우에 상관치 CH(u)를 1 감소시키고, 그렇지 않으면 1을 증가시켜 준다. 이렇게 하므로써, PH(x)와 P'Hk(x+u)가 일치할때까지 이전 필드의 k번째 부분 누적치가 미리 가산된 상관치를 감산하고, 현재의 입력이 초과 된 후 상관치를 가산한다. 이러한 비교, 가감산 연산은 매 화소가 입력될 때마다 2SV+1개의 상관치에 대하여 순차적으로 이루어진다.
다음으로, 제2수평 라인 메모리(409)의 데이타를 갱신(S50)하고, 상관치를 비교할 영상 분할 영역이 남아 있는지를 판단(S60)한다. 이때, 영상 분할 영역이 남아 있으면, 제1수평 라인 메모리(408)를 클리어하는 단계(S15)로 돌아가기 위해 다음 영역을 세팅(S65)하고, 영상 분할 영역이 남아 있지 않으면, 수평 상관치 가감 연산부(411)에서 최대 상관치를 계산하여, 상관치중에서 최소치를 수평 움직임 벡터로 출력한다.(S70)
한편, 앞에서와 같은 방법으로 각 분할 영역내에서의 상관도를 계산하므로, 현재 누적 정보를 기록하는 누적 라인 메모리를 절약할 수 있다. 영역 분할의 수를 NS라고 할 때, 필요한 메모리는 M·(dN/ NS)bit가 NS+1 개가 쓰이며 분할하지 않은 2개의 라인 메모리를 쓰는 방법 (2M·dNbit)보다 약 (NS+1)/2NS배의 메모리 효율을 가진다. 그러나, 영역 분할 수가 많으면 많을수록 수평방향의 탐색 영역의 제한을 동반하므로 캠코더의 특성을 감안한 분할수를 결정해야 한다.
이 장치에 있어서는 화상을 4분할하므로 5/8(약 40%)의 메모리 절약을 한다.
이상에서와 같이 이 발명의 실시예에서, 첫째, 방향성 에지를 이용하여 움직임 벡터의 정밀도를 높이고, 둘째, 상관치가 매 라인마다 계산, 갱신되므로 화상의 최초 시점부터 주사된 라인까지의 화상에 대한 움직임 벡터를 적절하게 이용할 수 있고, 화상의 주사가 끝남과 동시에 상관치가 결정되므로 고속의 움직임 벡터 검출이 가능하며, 셋째, 수평·수직 방향의 라인 메모리를 기존의 2쌍의 메모리를 이용하는 방법의 약 50%~70%를 사용하고, 매 화소의 입력에 대해 상관치 계산을 저 비트(2치 화상일 경우 1비트)로 증감하므로써, 간단한 회로를 구현하는 효과를 가진 움직임 벡터 검출장치 및 그 검출방법을 제공할 수 있다.
이 발명의 이러한 효과는 모든 카메라 분야에 이용될 수 있다.

Claims (8)

  1. 입력된 화상에서 수평 방향의 에지를 추출하여 출력하는 수평 에지 추출부와; 컨트롤러로부터 1라인 리셋 신호를 입력받으며, 상기한 수평 에지 추출부에서 출력한 1라인의 화소 정보를 누적하였다 출력하는 1라인 누적기와; 상기한 1라인 누적기에서 출력된 라인 정보를 일정 시간동안 지연시킨 후에 출력하는 지연 레지스터와; 상기한 지연 레지스터로부터 라인 정보를 입력받아, 저장되어 있던 이전 필드 누적치를 갱신하는 수직 라인 메모리와; 컨트롤러로부터 1라인 리셋 신호를 입력받으며, 상기한 수직 라인 메모리에서 입력되어 저장되어 있던 모든 셀 값에서, 상기한 수평 에지 추출부로부터 입력된 값을 빼서(감하여) 출력하는 부호 판정 메모리와; 컨트롤러로부터 1필드 리셋 신호를 입력받으며, 상기한 부호 판정 메모리에서 입력된 값에 따라, 상기한 수평 에지 추출부에서 입력된 값과 누적치를 연산한 상관치를 가감하여 수직 움직임 벡터를 검출하고 출력하는 수직 상관치 가감 연산부와; 입력된 화상에서 수직 방향의 에지를 추출하여 출력하는 수직 에지 추출부와; 상기한 수직 에지 추출부에서 입력된 화소 정보의 값을 저장하고 출력하는 제1수평 라인 메모리와; 이전 필드의 누적치가 분산되어 저장되어 있다가, 상기한 제1수평 라인 메모리의 출력을 입력받아 데이타를 갱신하는 제2수평 라인 메모리와; 상기한 제1수평 라인 메모리와 상기한 제2수평 라인 메모리의 출력을 입력받아서 누적치를 비교하여 출력하는 비교기와; 상기한 비교기에서 입력된 값에 따라, 상기한 제2수평 라인 메모리와 상기한 수직 에지 추출부에서 입력된 값을 연산한 상관치를 가감하여 수평 움직임 벡터를 검출하고 출력하는 수평 상관치 가감 연산부를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 움직임 벡터 검출장치.
  2. 제1항에 있어서, 상기한 수평 에지 추출부(401)와 수직 에지 추출부(407)는, 입력된 화상에서 수평·수직 방향의 에지를 추출하는데, IIR 필터(순환형 필터)를 이용함을 특징으로 하는 카메라 영상의 움직임 벡터 검출장치.
  3. 제1항에 있어서, 상기한 지연 레지스터(403)에서 지연되는 시간은, 탐색 범위의 절반에 해당하는 라인 주사 시간동안인 것을 특징으로 하는 카메라 영상의 움직임 벡터 검출장치.
  4. 제1항에 있어서, 상기한 제2수평 라인 메모리(409)는, 현재 누적 정보를 기록하는 상기한 제1라인 메모리를 절약하기 위하여, 화상을 수개의 영역으로 분할하는 것을 특징으로 하는 카메라 영상의 움직임 벡터 검출장치.
  5. 상관치를 초기화하는 단계와; 부호 판정 메모리를 셋업하는 단계와; 상관치를 프리로드하는 단계와; 수평 에지를 검출하는 단계와; 상기 단계에서, 검출된 수평 에지가 있는지를 판단하는 단계와; 검출된 수평 에지가 없으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계와; 검출된 수평 에지가 있으면, 각 부호 판정 메모리의 셀의 값을 일정한 값씩 감소시키는 단계와; 부호 판정 메모리의 셀값이 양(+)인지 판단하는 단계와; 부호 판정 메모리의 셀값이 양(+)이면, 상관치를 일정한 값씩 감소시키는 단계와; 부호 판정 메모리의 셀값이 양(+)이 아니면, 상관치를 일정한 값씩 증가시키는 단계와; 모든 부호 판정 메모리의 셀의 검증이 완료되었는지를 판단하는 단계와; 모든 부호 판정 메모리의 셀의 검증이 완료되지 않았으면, 검증할 다음 셀을 세팅하는 단계와; 모든 부호 판정 메모리의 셀의 검증이 완료되었으면, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계와; 현재 라인의 마지막 화소까지 계산이 완료되지 않았으면, 수평 방향 에지를 검출하는 단계로 돌아가기 전에 다음 화소를 세팅하는 단계와; 현재 라인의 마지막 화소까지 계산이 완료되었으면, 마지막 라인까지 계산이 완료되었는지를 판단하는 단계와; 마지막 라인까지 계산이 완료되지 않았으면, 부호 판정 메모리를 셋업하는 단계로 돌아가기 전에 다음 라인을 세팅하는 단계와; 마지막 라인까지 계산이 완료되었으면, 상관치의 최소치를 계산하여 수직움직임 벡터를 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 수직 움직임 벡터 검출방법.
  6. 제5항에 있어서, 현재 라인의 마지막 화소까지 계산이 완료되었는지를 판단하는 단계와 마지막 라인까지 계산이 완료되었는지를 판단하는 단계 사이에, 다음 필드의 움직임 검출에 쓰기 위하여, 지연 레지스터(403)에서 탐색 범위의 절반에 해당하는 라인 주사 시간 지연 후, 수직 라인 메모리(404)의 정보 P'V(y-SV)를 현재의 영상 정보로 갱신하는 단계를 더 포함하는 것을 특징으로 하는 카메라 영상의 수직 움직임 벡터 검출방법.
  7. 상관치를 초기화하는 단계와; 제1수평 라인 메모리를 클리어하는 단계와; 수직 에지를 추출하는 단계와; 제1수평 라인 메모리에 현재 필드의 부분 누적치를 누적하는 단계와; 제1수평 라인 메모리와 제2수평 라인 메모리의 누적치를 비교하는 단계와; 수평 상관치를 가감 연산하는 단계와; 제2수평 라인 메모리의 데이타를 갱신하는 단계와; 상관치를 비교할 영상 분할 영역이 남아 있는지를 판단하는 단계와; 영상 분할 영역이 남아 있으면, 제1수평 라인 메모리를 클리어 하는 단계로 돌아가기 위해 다음 영역을 세팅하는 단계와; 영상 분할 영역이 남아 있지 않으면, 상관치의 최소치를 계산하여 수평움직임 벡터를 출력하는 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 수평 움직임 벡터 검출방법.
  8. 제7항에 있어서, 제2수평 라인 메모리의 데이타를 갱신하는 단계에서, 한 분할 영역에서 상관도가 결정된 후에, 제1수평 라인 메모리(408)에 저장되어 있던 현재 필드의 부분 누적치가 다음 필드와 비교되기 위해서, 제2수평 라인 메모리의 한 영역으로 저장되는 것을 특징으로 하는 카메라 영상의 수평 움직임 벡터 검출방법.
KR1019950030793A 1995-09-19 1995-09-19 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 KR0163922B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019950030793A KR0163922B1 (ko) 1995-09-19 1995-09-19 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법
US08/712,608 US5832101A (en) 1995-09-19 1996-09-13 Device and method for detecting a motion vector of an image
JP24381296A JPH09163217A (ja) 1995-09-19 1996-09-13 カメラ映像の動きベクトル検出装置および動きベクトル検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950030793A KR0163922B1 (ko) 1995-09-19 1995-09-19 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법

Publications (2)

Publication Number Publication Date
KR970019390A KR970019390A (ko) 1997-04-30
KR0163922B1 true KR0163922B1 (ko) 1999-01-15

Family

ID=19427299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950030793A KR0163922B1 (ko) 1995-09-19 1995-09-19 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법

Country Status (3)

Country Link
US (1) US5832101A (ko)
JP (1) JPH09163217A (ko)
KR (1) KR0163922B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3405864B2 (ja) * 1995-09-12 2003-05-12 富士通株式会社 演算装置、相関演算装置、動画像圧縮装置、ずれ検出方法およびずれ検出装置
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
US6795580B1 (en) * 1998-09-10 2004-09-21 Tektronix, Inc. Picture quality measurement using blockiness
JP3852743B2 (ja) * 2000-12-27 2006-12-06 日本電気株式会社 適応型物体移動方向検出装置および方法
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US20030061269A1 (en) * 2001-09-17 2003-03-27 Flow Engines, Inc. Data flow engine
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
US20050063568A1 (en) * 2003-09-24 2005-03-24 Shih-Ching Sun Robust face detection algorithm for real-time video sequence
JP4371950B2 (ja) * 2004-08-24 2009-11-25 キヤノン株式会社 撮像装置及び信号処理装置
US20060198441A1 (en) * 2005-03-02 2006-09-07 Hua-Chang Chi Motion detection method for detecting motion objects in video frames generated from a video surveillance system
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
US8019179B2 (en) * 2006-01-19 2011-09-13 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
US7970239B2 (en) * 2006-01-19 2011-06-28 Qualcomm Incorporated Hand jitter reduction compensating for rotational motion
JP4541335B2 (ja) * 2006-09-21 2010-09-08 三菱電機株式会社 画像処理装置
JP5060864B2 (ja) * 2007-08-06 2012-10-31 ザインエレクトロニクス株式会社 画像信号処理装置
US8121409B2 (en) 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images
DE102008059551B4 (de) * 2008-11-28 2021-08-12 Car.Software Estonia As Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
KR20150090515A (ko) * 2014-01-29 2015-08-06 삼성전자주식회사 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
US20170323239A1 (en) 2016-05-06 2017-11-09 General Electric Company Constrained time computing control system to simulate and optimize aircraft operations with dynamic thermodynamic state and asset utilization attainment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0191586A (ja) * 1987-10-02 1989-04-11 Nippon Hoso Kyokai <Nhk> 動き検出回路
US5111511A (en) * 1988-06-24 1992-05-05 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
JPH03252287A (ja) * 1990-02-28 1991-11-11 Victor Co Of Japan Ltd 動画像圧縮装置
EP0449283B1 (en) * 1990-03-30 1997-11-12 Sanyo Electric Co., Ltd. An image sensing apparatus having camera-shake detection function
JP2507138B2 (ja) * 1990-05-21 1996-06-12 松下電器産業株式会社 動きベクトル検出装置及び画像揺れ補正装置
KR950006045B1 (ko) * 1990-05-21 1995-06-07 마쯔시다덴기산교 가부시기가이샤 움직임벡터검출장치 및 화상흔들림보정장치

Also Published As

Publication number Publication date
US5832101A (en) 1998-11-03
JPH09163217A (ja) 1997-06-20
KR970019390A (ko) 1997-04-30

Similar Documents

Publication Publication Date Title
KR0163922B1 (ko) 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법
KR950005601B1 (ko) 디지탈 영상 안정화 방법 및 시스템
US4777530A (en) Apparatus for detecting a motion of a picture of a television signal
KR100252080B1 (ko) 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
US5748231A (en) Adaptive motion vector decision method and device for digital image stabilizer system
US7649549B2 (en) Motion stabilization in video frames using motion vectors and reliability blocks
US5371539A (en) Video camera with electronic picture stabilizer
EP0560610B1 (en) Movement vector detecting apparatus
US6144405A (en) Electronic picture stabilizer with movable detection areas and video camera utilizing the same
KR0175372B1 (ko) 캠코더의 움직임 벡터 검출장치 및 그 검출방법
JP4639555B2 (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
KR20080083525A (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US5905527A (en) Movement vector detection apparatus and image processor using the detection apparatus
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
KR100200761B1 (ko) 캠코더의 움직임 보정장치 및 방법
JP3534551B2 (ja) 動き検出装置
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
KR970004927B1 (ko) 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
JP2944369B2 (ja) ビデオカメラの手振れ補正装置およびビデオカメラ
KR100228682B1 (ko) 손떨림 보정시 전체적인 움직임 검출장치 및방법
JP2614574B2 (ja) 動きベクトル検出回路
JP3271273B2 (ja) 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法
KR0124580B1 (ko) 자동 영상안정화 시스템의 움직임 추정장치
JP3200890B2 (ja) 画像の振動補正装置
JP3213492B2 (ja) 手振れ補正装置およびそれを用いたビデオカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110830

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee