KR20090008621A - 중요 움직임 검출 방법 및 장치 - Google Patents

중요 움직임 검출 방법 및 장치 Download PDF

Info

Publication number
KR20090008621A
KR20090008621A KR1020070071702A KR20070071702A KR20090008621A KR 20090008621 A KR20090008621 A KR 20090008621A KR 1020070071702 A KR1020070071702 A KR 1020070071702A KR 20070071702 A KR20070071702 A KR 20070071702A KR 20090008621 A KR20090008621 A KR 20090008621A
Authority
KR
South Korea
Prior art keywords
image
motion
input image
difference image
sign
Prior art date
Application number
KR1020070071702A
Other languages
English (en)
Inventor
유용석
박태서
기석철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070071702A priority Critical patent/KR20090008621A/ko
Priority to US12/078,790 priority patent/US20090022370A1/en
Publication of KR20090008621A publication Critical patent/KR20090008621A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 중요 움직임 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 입력 영상들로부터 입력 영상의 움직임에 대한 부호를 가진 차 영상을 생성하고, 차 영상의 부호를 기초로 차 영상에서의 움직임 량의 계산을 통해 입력 영상의 중요 움직임을 검출함으로써, 높은 검출률을 유지하면서도, 의미 없는 움직임에 대한 오 경고 발생률을 낮출 수 있다.
영상, 중요 움직임, 검출, 비용

Description

중요 움직임 검출 방법 및 장치{Method and Apparatus for detecting a meaningful motion}
본 발명은 움직임 검출 장치 및 방법에 관한 것으로, 더 상세하게는 입력 영상에서 중요한 움직임만을 검출하는 방법 및 장치, 그리고, 검출된 중요 움직임을 이용한 경고 장치, 프레임 출력 장치, 영상 압축 장치 및 영상 처리 장치에 관한 것이다.
최근 안전에 대한 관심과 욕구가 증가하면서, 보안을 위한 감시카메라의 수요가 급증하고 있다. 감시할 영역이 넓어지고 사용되는 카메라의 수가 증가함에 따라 사람이 일일이 영상을 감시하고 모니터링하는 것이 불가능해 졌다. 또한, 영상 취득 장치의 화질과 해상도가 높아지면서 영상의 크기가 커져서 영상을 전송하거나 저장하는 데에도 문제가 발생한다.
이런 문제를 해결하기 위해서는 기존의 영상 감시 장치가 단순히 대상 영역을 촬영하고 전송 및 저장하는 것을 넘어서서 영상의 의미를 해석하고 상황에 따라 다르게 대응해야 한다. 관심 영역의 상황으로 가장 중요한 단서가 되는 것은 움직임이다. 대상 영역에 움직이는 물체가 있는지 여부를 검출하고 그 결과를 활용하 는 다양한 응용 예들이 등장하고 있다. 첫 번째 예는 감시하는 영역에 움직임이 있을 때 경고(alarm)를 발생하여 감시자의 주의를 집중하도록 하는 것이다. 또 다른 예로는 영역에 움직임이 있을 때에만 영상을 전송하거나 저장하여 전송 및 저장의 효율을 높이는 것이다.
영상에서 움직임을 검출하는 성능은 검출률(detection ratio)와 오 경고 발생률(false alarm ratio)으로 측정된다. 검출률(detection ratio)는 실제 물체의 움직임을 놓치지 않고 검출하는 비율로 정의되며 이값은 높을수록 좋다. 오 경고 발생률(false alarm ratio)은 실제 물체의 움직임이 아닌데 물체의 움직임으로 잘못 검출되는 비율로 정의되며 이값은 낮을수록 좋다. 문제는 일반적으로 검출률을 높이면 오 경고 발생률도 함께 높아지는 경향이 있어서, 현재의 기법들은 검출률을 높이기 위해 높은 수준의 오 경고 발생률을 수인하고 있다. 그러나 이것은 결과적으로 경고가 경고로서의 의미를 잃게 한다. 왜냐하면, 조명, 날씨, CCD 노이즈, 그리고 의미 없는 움직임 등에도 경고가 작동하여 결국에는 감시자가 항상 영상에 집중해야 하는 문제가 발생한다. 예를 들어 기존의 기법은 감시 영역에 나무 등이 있을 경우 이 나무가 바람에 의해 흔들리는 경우 이런 현상도 물체의 움직임으로 검출하여 경고를 발행하거나 또는 감시 영역 안에 호수나 연못 등의 물결 등도 기존의 움직임 검출 기법에서는 움직임으로 검출된다. 하지만, 이런 움직임들은 의미 없는 움직임이며 이런 움직임에 의한 경고는 오 경고에 해당한다. 이와 같은 오 경고율을 줄이는 것이 가장 중요한 문제가 되고 있다.
도 1에 도시된 종래의 움직임 검출 장치는 입력 동영상에서 연속된 2장의 영 상 간의 차 영상을 구한 뒤, 전 후 영상의 밝기의 차이의 절대값이 일정 임계치를 넘으면 움직임이 있는 영역으로 판단하는 것이다. 하지만, 이와 같은 차 영상으로부터 고정된 임계치 값을 사용하여 움직임 영역을 검출하는 기법은 임계치 값에 따라 결과가 크게 변하는 문제점이 있었다.
이러한 문제를 해결하기 위해 Y. Z. Hsu 등은 "New likelihood test methods for change detection in image sequences," Computer Vision, Graphics, and Image Processing, 1984에서 영상의 특성에 따라 임계치 값을 조절하는 기법을 제안하였다. 하지만, 임계치 조절 기법은 여전히 서서히 움직이는 물체를 놓치기 쉬운 문제점이 있다.
이것을 해결하기 위해 Tagami 등의 "Motion detector, image processing system, motion detecting method, program, and recording medium"라는 명칭의 국제특허공개공보 WO03/088648호는 주어진 임계치를 통과하지 못하는 영역에 대해서도 누적된 차이가 충분히 클 경우 이동 영역으로 판단하여, 점진적인 움직임까지도 검출할 수 있고, 영상에서 변화가 적은 부분을 검출하여 이 영역에는 임계치를 낮추어 작은 변화에도 움직임 영역으로 검출되도록 한다. 하지만 영상의 특성에 따라 임계치를 조절하는 기법은 낮아진 임계치 때문에 노이즈나 조명 변화 등을 움직임으로 검출하는 에러가 발생하기 쉽다.
　　　　　이처럼 차 영상 기반의 움직임 검출 기법은 구현이 간단하고 속도가 빠른 장점이 있지만, 오 경고 발생률이 높은 단점이 있다.
움직임을 검출하는 또 다른 기법은 광류(Optical flow)를 이용하는 것이다. L. Wixson등의 "Method and apparatus for detecting salient motion using optical flow"라는 명칭의 미국특허 6303920호 및“Detecting Salient Motion by Accumulating Directionally Flow,” IEEE Transactions on PAMI 2000. 은 광류를 사용하여 의미 있는 움직임과 의미 없는 물체의 움직임을 구분해내는 기법을 개시하였다. 이 기법은 의미 있는 움직임은 일정 방향으로 지속하는 이동을 한다고 가정하고, 영상에서 일정 방향으로 지속적인 움직임을 갖는 영역을 검출한다.
　　　　　Wixson의 기법은 광류의 정확도에 큰 영향을 받는다. 하지만 실제 영상에서 광류는 정확하게 계산할 수 없다. 또한, 광류는 계산 복잡도가 매우 커서 실시간으로 동작시키기 어렵다. 또한, 광류를 전후로 연결하여 누적 흐름을 계산하는 과정에서 광류의 에러가 누적된다. 이것은 검출의 정확도에 악영향을 미친다. 또한, 이 방법으로는 지그재그로 움직이는 물체의 움직임을 검출할 수 없다. 왜냐하면, 이 방법은 움직임의 방향의 지속성만을 기준으로 삼으므로 물체의 움직임 방향이 변할 때마다 지속성이 초기화되어 움직임으로 검출되지 않기 때문이다.
　　　　　또한, H. Fujii의 "Moving object detecting method, apparatus and computer program product"라는 명칭의 미국특허 6956603호는 연속된 2장이 아닌 연속된 3장의 영상에서 광류를 계산하고, 광류의 오류가 있는 영역을 검출하는 모듈을 추가하였다. 이를 통해 광류의 정확도를 높여 움직임 물체 검출의 정확도를 향상시켰다. 하지만, 추가된 모듈로 인해 계산량이 더 많아지는 문제점이 있다.
　　　　또한, "Apparatus and method for motion detection of image in digital video recording system using MPEG video compression"라는 명칭의 미국특허 6931065호는 광류 대신 MPEG 압축 방식에서 제공하는 각 블록의 움직임 벡터(motion vector)를 사용하는 기법을 제안하였다. 광류를 별도로 계산하지 않고 주어진 움직임 벡터를 바로 사용하므로 계산량을 크게 줄인 장점이 있다. 하지만, 움직임 벡터가 영상의 모든 프레임에서 제공되지 않으므로 영상에 이 기법을 적용할 수 있는 프레임이 제한되며, 영상의 잡음에 민감하고 의미 있는 움직임과 의미 없는 움직임을 구분하지 못하는 근본적인 한계를 가진다.
전술한 광류 기반의 움직임 검출 기법은 광류 계산의 정확도에 따라 검출 성능이 크게 변하는 문제점과, 광류 계산이 복잡하고 시간이 오래 걸림에 따라 움직임 검출 전체의 시간도 오래 걸리는 문제가 있다.
본 발명은 전술한 종래기술의 문제점들을 해결하기 위해 안출된 것으로, 영상의 전후 프레임 간의 차 영상을 분석하여, 의미 없는 움직임을 제외한 영상에서 물체의 중요 움직임만을 검출할 수 있는, 연산량은 적으면서 정확도가 높은 중요 움직임 검출 방법 및 장치를 제공하는 데 목적이 있다.
또한, 이러한 중요 움직임의 검출을 이용하여, 경고 장치, 프레임 출력 장치, 영상 압축 장치 및 영상 처리 장치에 적용할 수 있도록 하는 데 다른 목적이 있다.
본 발명의 기술적 과제를 달성하기 위한 중요 움직임 검출 방법은 입력 영상 들로부터 상기 입력 영상의 움직임에 대한 부호를 가진 차 영상을 생성하는 단계; 및 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 단계를 포함한다.
본 발명의 다른 기술적 과제를 달성하기 위한 중요 움직임 검출 장치는 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하는 차 영상 계산부; 및 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 움직임 검출부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 중요 움직임을 이용한 경고 장치는 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및 상기 검출한 중요 움직임의 값을 소정의 임계값과 비교하여, 상기 중요 움직임의 값이 상기 임계값보다 큰 경우에 경고 신호를 생성하는 경고 생성부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 중요 움직임을 이용한 프레임 출력 장치는 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및 상기 검출한 중요 움직임의 값을 소정의 임계값과 비교하여, 상기 중요 움직임의 값이 상기 임계값보다 큰 경우에, 상기 입력 영상을 출력하는 프레임 선택 부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 중요 움직임을 이용한 영상 압축 장치는 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 상기 검출한 중요 움직임의 값에 따라 상기 입력 영상의 압축률을 결정하는 압축률 계산부; 및 상기 결정한 압축률에 따라 상기 입력 영상을 압축하여 출력하는 압축부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 중요 움직임을 이용한 영상 처리 장치는 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및 상기 검출한 중요 움직임의 값에 따라 상기 입력 영상의 화질 처리를 선택적으로 수행하는 영상 처리부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
본 발명의 세부 및 개선 사항들은 종속항에 개시된다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.
본 발명에 따라 입력 영상들로부터 입력 영상의 움직임에 대한 부호를 가진 차 영상을 생성하고, 차 영상의 부호를 기초로 차 영상에서의 움직임 량의 계산을 통해 입력 영상의 중요 움직임을 검출함으로써, 높은 검출률을 유지하면서도, 의미 없는 움직임에 대한 오 경고 발생률을 낮출 수 있다.
또한, 차 영상에서 바로 중요한 움직임을 검출해 낼 수 있으므로, 더 정확한 검출 결과와 절대값 계산 또는 광류를 계산하는 복잡한 과정이 필요 없으므로 수행 속도를 향상시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 중요 움직임 검출 장치의 개략적인 블록도이다.
도 2를 참조하면, 중요 움직임 검출 장치(200)는 차 영상 계산부(210) 및 움직임 검출부(220)를 포함한다. 바람직하게, 움직임 검출부(220)는 그래프 생성부(221) 및 최소 비용 계산부(222)를 포함하여 구성할 수도 있다.
차 영상 계산부(210)는 입력 영상들로부터 입력 영상의 움직임에 대한 부호를 가진 차 영상을 생성한다. 여기서 입력 영상들은 2 이상의 전후 프레임을 의미하며, 차 영상은 전후 프레임의 차이를 의미한다. 차 영상 계산부(210)와 차 영상에 대한 구체적인 설명은 도 3을 참조하여 후술한다.
움직임 검출부(220)는 차 영상 계산부(210)로부터 부호를 가진 차 영상을 입력받아, 차 영상의 부호를 기초로 차 영상에서의 움직임 량을 계산하여 입력 영상에 존재하는 움직임 중에서 중요 움직임을 검출한다. 즉, 입력 영상에서 물체 또 는 의미 있는 움직임만을 검출한다. 예를 들면, 나뭇잎이나 물결 등과 같이 반복적이고 작은 움직임들을 제외하고, 크고 분명한 움직임만을 검출한다.
본 발명의 바람직한 실시 예에 따라, 움직임 검출부(220)는 그래프 생성부(221) 및 최소 비용 계산부(222)를 포함한다.
그래프 생성부(221)는 입력된 차 영상의 영역별로 그 영역의 부호와 좌표 정보를 포함하는 그래프를 생성하여 출력한다. 입력된 차 영상의 각 영역의 값의 부호를 비교하여 부호에 따라 다른 속성을 가지는 노드를 생성하여 그래프에 추가한다.
즉, 차 영상 계산부(210)로부터 입력 영상의 움직임에 따라 생성된 부호를 기초로 노드를 설정하고, 각각의 노드 간의 비용을 설정하여 그래프를 생성한다. 예를 들면, 차 영상의 부호가 양수인 영역에 대해서 그 차이 값을 용량(capacity)으로 하는 공급자 노드(supplier node)로 설정하고, 차 영상의 부호가 음수인 영역에 대해서는 그 차이 값을 용량으로 하는 수요자 노드(consumer node)로 설정한다. 또한, 공급자 노드 x와 수요자 노드 y간의 비용(cost)을 설정하는데, 여기서 비용은 영상에서 x와 y 사이의 거리로 설정한다. 바람직하게 유클리디언 거리(Euclidian distance)를 사용한다.
최소 비용 계산부(222)는 그래프 생성부(221)로부터 각각의 노드와 비용 정보를 기초로 전체 비용의 최소값을 계산하여 중요 움직임을 검출한다.
본 발명의 바람직한 실시 예에 따른 움직임 검출부(220)는 차 영상으로부터 그래프를 생성하고, 최종 비용을 계산한다. 즉, 차 영상의 강도와 차 영상의 공간 적 분포까지 고려하여 입력 영상의 움직임 양을 계산함으로써 입력 영상에서 중요 움직임을 검출한다.
도 3은 도 2에 도시된 차 영상 계산부(210)의 개략적인 블록도이다.
도 3을 참조하면, 차 영상 계산부(210)는 지연부(211) 및 감산부(212)를 포함한다.
지연부(211)는 이전 영상 프레임의 저장하고, 감산부(212)는 현재 입력 영상 프레임에서 지연부(211)로부터 출력된 이전 영상 프레임의 값을 빼고 그 결과를 출력한다.
　　　　　본 발명의 바람직한 실시 예에 따른 차 영상 계산부(210)는 차 영상 계산시에 부호를 고려한다. 종래의 차 영상 계산은 전 후 프레임의 밝기 차이를 계산 한 뒤, 그 차이 값의 절대값을 취하여, 차 영상을 계산하고, 이 차 영상의 크기가 클 때에 물체의 움직임이 있다고 판단한다. 이런 기법에서는 물체가 배경을 가려서 생기는 영역(covered region)과 물체가 이동하고 배경이 새로 보이는 영역(uncovered region)을 구분하지 않고 동일하게 처리한다. 하지만, 본 발명의 바람직한 실시 예에 따른 차 영상 계산부(210)는 전후 프레임 간에 차이를 계산할 때 계산된 값을 부호까지 고려하여 그대로 출력함으로써, 전술한 물체의 움직임에 따라 생기는 커버 영역과 언 커버 영역의 정보를 활용할 수 있다.
　　　　　전술한 부호를 고려함으로써 얻을 수 있는 장점은 다음과 같다. 첫째, 물체의 가리어짐과 전후 관계까지 고려할 수 있다. 왜냐하면, 커버 영역과 언 커버 영역은 차 영상에서 일반적으로 다른 부호로 나타나기 때문에, 차 영상에서 음수인 부 분과 양수인 부분을 구분하여 사용함으로써 차 영상 계산시 절대값을 취하는 과정에서 물체의 전후 관계에 대한 정보가 소실되는 것을 피할 수 있다. 둘째, 계산과 구현이 간단하다. 차 영상 계산 시 절대값을 계산하는 과정을 생략함으로써 계산이 간단하고 더 쉽게 구현할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 부호를 고려한 차 영상을 설명하기 위한 도면이다.
도 4를 참조하면, 2장의 영상에서 계산된 차 영상의 결과가 도시되어 있다. 입력 영상에서 인물이 오른쪽으로 이동하고 있다. 여기서, 인물 오른쪽에 생긴 커버 영역과 인물 왼쪽에 생긴 언 커버 영역이 구분되어 있다.
도 4에 도시된 바와 같이, 물체가 오른쪽으로 이동함에 따라 배경이 새로 보이는 언 커버 영역(xi)과 배경이 가리어지는 커버 영역(yj)이 도시되어 있다. 또한, 언 커버 영역(xi)과 커버 영역(yj) 사이의 거리(cij)가 도시되어 있다.
도 5는 본 발명의 또 다른 실시 예에 따른 전송 문제(Transportation Problem)를 설명하기 위한 그래프를 도시한 도면이다.
부호를 고려한 차 영상으로부터 의미 있는 움직임의 정도를 측정하기 위해서 전송 문제(transportation problem)을 사용한다. 여기서, 전송 문제는 도 5에 도시된 바와 같이, 공급자 노드의 집합X(500)와 수요자 노드의 집합 Y(510)로 이루어진 그래프 G={X,Y}를 정의한다.
예를 들면, 공급자 노드(500)에서 생산된 제품이 수요자 노드(510)로 이동되 어 소비될 때, 이동 비용을 최소화하는 문제이다. 공급자 노드 i에서 생산되는 제품의 량을 xi라 하고, 수요자 노드 j에서 소비될 수 있는 수용 능력을 yi라 하고, 공급자 노드(500)에서 수요자 노드(510)로 한 단위의 제품을 이동시킬 때의 비용을 cij로 정의한다. 또한, 공급자 노드(500)에서 수요자 노드(510)로 실제 이동한 제품의 량이 fij라면 각 이동에 대한 비용을 합친 전체 비용(total cost)은 다음 수학식 1과 같다.
Figure 112007051990230-PAT00001
여기서, 모든 공급자 노드(500)에 있는 제품이 다 이동하거나, 모든 수요자 노드(510)의 수용 능력을 채울 때까지 제품을 이동시키되 전체 비용을 최소화하는 fij를 찾는 것이 전송 문제이다.
도 6은 본 발명의 또 다른 실시 예에 따른 그래프 생성 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 도 2에 도시된 그래프 생성부(221)는 단계 600에서, 노드를 하나도 가지지 않도록 그래프를 초기화한다. 이어, 단계 602에서, 차 영상 계산부(210)로부터 입력된 차 영상의 각 영역의 값의 부호를 비교하고, 부호에 따라, 단계 604에서, 차 영상의 값이 양수인 영역에 대해서는 공급자 노드(xi)로 그래프에 추가한다. 또한, 단계 606에서, 차 영상의 값이 음수인 영역에 대해서는 수요자 노드(yj)로 그래프에 추가한다. 단계 604 및 단계 606에서, 각각의 노드들의 용량은 차 영상의 값, 예를 들면 차 영상의 밝기이다. 단계 608에서, 각각의 노드들 사이의 비용(cij)을 계산한다. 여기서, 비용(cij)은 차 영상에서 해당 영역들 간의 거리로 정의한다.
도 7은 본 발명의 또 다른 실시 예에 따른 최소 비용 계산 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 최소 비용 계산부(222)는, 단계 700에서, 도 5에 도시된 바와 같은 그래프를 입력받아, 초기 fij값을 설정한다. 단계 702에서, 설정된 fij 값에 대해서 최소 전체 비용을 계산한다. 여기서, 최소 전체 비용은 다음 수학식 2와 같이 계산한다.
Figure 112007051990230-PAT00002
(여기서, xi 는 공급자 노드 i의 용량이고, yj 는 수요자 노드 j의 용량이고, cij 는 노드 i와 j 사이의 비용이고, fij 는 실제로 이동된 양이다)
단계 704에서, 계산한 최소 전체 비용이 수렴했는지 검사한다. 최소 전체 비용이 수렴한 경우, 최소 전체 비용을 중요 움직임으로 판단한다. 수렴하지 않았다면, 단계 706에서, fij를 업데이트 한다.
전술한 과정을 전체 비용이 수렴할 때까지 반복한다. 계산을 위해 기존에 알려진 다양한 선형 프로그래밍(linear programming) 기법을 사용할 수 있으며, 예를 들면 simplex method를 사용할 수 있다. 관련된 최적화 기법은 Luenberg의 "Linear and Nonlinear Programming," 1984, Addison-Wesley에 공지되어 있다.
본 발명의 바람직한 실시 예에 따른 중요 움직임 검출 장치는 다음과 같은 다양한 영상 기기에 적용되어 활용할 수 있다.
첫 째, 영상 보안 시스템에서 영상의 움직임을 검출하는 데 사용될 수 있다. 특히 제안하는 기법을 사용하면, 영상 취득장치, 예를 들면 카메라와 함께 사용되어 중요한 움직임이 있을 때 경고(alarm)를 발생시키는데 사용될 수 있다. 또한, 중요한 움직임이 있을 때에만 선택적으로 영상을 전송하거나 저장하도록 할 수 있다. 또한, 영상 저장장치, 예를 들면 DVR 등과 함께 사용되면 방대한 양의 영상 데이터 중에서 중요한 움직임이 있을 때 선택적으로 영상을 전송 및 저장하도록 할 수 있다.
둘째, 기타 영상 전송 및 저장 장치를 위한 압축 장치에 사용되어 중요한 움직임이 있을 때와 불필요한 움직임을 구분하여 차별적으로 압축 기법을 적용할 수 있다.
셋째, 영상 출력 장치에 사용되어 화질 개선을 위한 다양한 기법을 선택하는 기준으로 사용되어 사용자에게 더 좋은 화질의 영상을 제공할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 경고 장치의 개략적인 블록도이다.
도 8을 참조하면, 중요 움직임을 이용한 경고 장치는 중요 움직임 검출 장치(800) 및 경고 생성부(810)를 포함한다.
중요 움직임 검출 장치(800)는 입력 영상으로부터 부호를 가진 차 영상을 계산하고, 차 영상의 부호를 기초로 차 영상에서의 움직임 량을 계산함으로써 입력 영상의 중요 움직임만을 검출한다.
경고 생성부(810)는 검출한 중요 움직임 값이 소정의 임계치보다 큰 경우에는 경고를 생성하여 출력한다.
본 발명의 바람직한 실시 예에 따른 경고 장치는 입력 영상에서 중요한 움직임이 있을 때에만 경고를 발생시킬 수 있다. 이를 통해 중요한 물체의 움직임에 대한 검출률을 유지하면서 오 경고 발생률을 낮출 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 프레임 출력 장치의 개략적인 블록도이다.
도 9를 참조하면, 중요 움직임을 이용한 프레임 출력 장치는 중요 움직임 검출 장치(900) 및 프레임 선택부(910)를 포함한다.
중요 움직임 검출 장치(900)는 전술한 바와 같이 중요 움직임을 검출한다.
프레임 선택부(910)는 검출된 중요 움직임이 소정의 임계치보다 큰 경우에는 입력 영상을 출력하고, 임계치보다 작은 경우에는 입력 영상을 출력하지 않는다.
본 발명의 바람직한 실시 예에 따른 프레임 출력 장치는 입력 영상에서 중요한 움직임이 있는 프레임만을 선택하여 출력할 수 있다. 이를 통해 중요한 물체의 움직임이 있는 장면만을 전송하거나 저장할 수 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 영상 압축 장치의 개략적인 블록도이다.
도 10을 참조하면, 영상 압축 장치는 중요 움직임 검출 장치(1000), 압축률 계산부(1010) 및 영상 압축부(1020)를 포함한다.
중요 움직임 검출 장치(1000)는 전술한 바와 같이 입력 영상으로부터 중요 움직임만을 검출한다.
압축률 계산부(1010)는 검출한 중요 움직임 값이 큰 경우에는 압축 비율을 낮추고, 중요 움직임 값이 작은 경우에는 압축 비율을 높인다.
영상 압축부(1020)는 압축률 계산부(1010)에서 계산된 압축 비율에 따라서, 입력 영상을 압축하여 출력한다. 즉, 중요 움직임 값이 큰 경우에는 물체의 의미 있는 움직임이 있는 경우이므로, 영상 압축률을 낮게 하여 가능한 한 원 영상 그래도 출력하여 자연스러운 영상 결과를 내도록 하는 것이다.
본 발명의 바람직한 실시 예에 따른 영상 압축 장치는 영상에서 중요 움직임을 검출하여 이를 기초로 영상 압축률을 조절함으로써, 영상의 의미 내용에 기반한 압축을 수행할 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 영상 처리 장치의 개략적인 블록도이다.
도 11을 참조하면, 영상 처리 장치는 중요 움직임 검출 장치(1100) 및 영상 처리부(1110)를 포함한다.
중요 움직임 검출 장치(1100)는 전술한 바와 같이 입력 영상으로부터 중요 움직임만을 검출한다.
영상 처리부(1110)는 검출한 중요 움직임 값에 따라 입력 영상에 대한 화질 개선 처리를 선택적으로 적용하여 수행한다. 　입력 영상의 특징에 따라 적절한 화질 개선 기법은 다르다. 예를 들면 정적인 장면과 동적인 장면에 대해 다른 기법을 사용하여야 　사람이 지각하기에 더 자연스러운 영상을 출력할 수 있다. 따라서 영상이 정적인 장면인지 동적인 장면인지 판별하여 이에 따른 처리를 각각 수행한다. 즉, 영상 처리부(1110)는 중요 움직임 값이 클 때에는 동적 영상 화질개선 기법을 사용하고, 중요 움직임 값이 작을 때에는 정적 영상 화질 개선 기법을 사용한다. 이어, 각각 다른 처리 처리에 따른 결과를 합성하여 출력한다.
본 발명의 바람직한 실시 예에 따른 영상 처리 장치는 입력 영상의 특징, 즉 의미 있는 중요 움직임을 검출하여 이에 따른 영상 화질 개선 처리를 수행함으로써 영상의 입체감 내지는 화질 개선을 효과적으로 수행할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 종래의 움직임 검출 기법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 중요 움직임 검출 장치의 개략적인 블록도이다.
도 3은 도 2에 도시된 차 영상 계산부(210)의 개략적인 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 부호를 고려한 차 영상을 설명하기 위한 도면이다.
도 5는 본 발명의 또 다른 실시 예에 따른 전송 문제(Transportation Problem)를 설명하기 위한 그래프를 도시한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 그래프 생성 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 또 다른 실시 예에 따른 최소 비용 계산 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 경고 장치의 개략적인 블록도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 프레임 출력 장치의 개략적인 블록도이다.
도 10은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 영상 압축 장치의 개략적인 블록도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 중요 움직임을 이용한 영상 처리 장치의 개략적인 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
200: 중요 움직임 검출 장치 210: 차 영상 계산부
220: 움직임 검출부 221: 그래프 생성부
222: 최소 비용 계산부 211: 지연부
212: 감산부 500: 공급자 노드
510: 수요자 노드 810: 경고 생성부
910: 프레임 선택부 1010: 압축률 계산부
1020: 압축부 1110: 영상 처리부

Claims (20)

  1. (a) 입력 영상들로부터 상기 입력 영상의 움직임에 대한 부호를 가진 차 영상을 생성하는 단계; 및
    (b) 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 단계를 포함하는 중요 움직임 검출 방법.
  2. 제 1 항에 있어서,
    상기 중요 움직임 검출 단계는,
    상기 차 영상의 부호를 기초로 노드를 설정하고, 각각의 노드 간의 비용을 설정하여 그래프를 생성하는 단계; 및
    상기 생성된 그래프의 노드 및 비용을 기초로 전체 비용의 최소값을 계산함으로써 중요 움직임을 검출하는 단계를 포함하는 중요 움직임 검출 방법.
  3. 제 1 항에 있어서,
    상기 차 영상 생성 단계는,
    이전 입력 영상 프레임을 저장하는 단계; 및
    현재 입력 영상 프레임에서 상기 저장된 이전 영상 프레임을 감산하여 상기 차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 중요 움직임 검출 방법.
  4. 제 1 항에 있어서,
    상기 차 영상은,
    상기 입력 영상의 움직임에 따라 발생한, 언 커버 영역(nucover region) 및 커버 영역(cover region)을 포함하는 것을 특징으로 하는 중요 움직임 검출 방법.
  5. 제 2 항에 있어서,
    상기 노드는,
    상기 차 영상의 부호에 따라 서로 다른 노드로 설정되는 것을 특징으로 하는 중요 움직임 검출 방법.
  6. 제 5 항에 있어서,
    상기 비용은,
    상기 서로 다른 노드들 간의 거리인 것을 특징으로 하는 중요 움직임 검출 방법.
  7. 제 2 항에 있어서,
    상기 최소값은 다음 수학식을 이용하여 계산하는 것을 특징으로 하는 중요 움직임 검출 방법.
    [수학식]
    Figure 112007051990230-PAT00003
    (여기서, xi 는 공급자 노드 i의 용량이고, yj 는 수요자 노드 j의 용량이고, cij 는 노드 i와 j 사이의 비용이고, fij 는 실제로 이동된 양이다)
  8. 제 1 항 내지 제 7 항 중 어느 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  9. 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하는 차 영상 계산부; 및
    상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 움직임 검출부를 포함하는 중요 움직임 검출 장치.
  10. 제 9 항에 있어서,
    상기 움직임 검출부는,
    상기 차 영상의 부호를 기초로 노드를 설정하고, 각각의 노드 간의 비용을 설정하여 그래프를 생성하는 그래프 생성부; 및
    상기 생성된 그래프의 노드 및 비용을 기초로 전체 비용의 최소값을 계산함으로써 중요 움직임을 검출하는 최소 비용 계산부를 포함하는 것을 특징으로 하는 중요 움직임 검출 장치.
  11. 제 9 항에 있어서,
    상기 차 영상 계산부는,
    이전 입력 영상 프레임을 저장하는 저장부; 및
    현재 입력 영상 프레임에서 상기 저장된 이전 영상 프레임을 감산하여 상기 차 영상을 생성하는 감산부를 포함하는 것을 특징으로 하는 중요 움직임 검출 장치.
  12. 제 9 항에 있어서,
    상기 차 영상은,
    상기 입력 영상의 움직임에 따라 발생한, 언 커버 영역(nucover region) 및 커버 영역(cover region)을 포함하는 것을 특징으로 하는 중요 움직임 검출 방법.
  13. 제 10 항에 있어서,
    상기 노드는,
    상기 차 영상의 부호에 따라 서로 다른 노드로 설정되는 것을 특징으로 하는 중요 움직임 검출 방법.
  14. 제 13 항에 있어서,
    상기 비용은,
    상기 서로 다른 노드들 간의 거리인 것을 특징으로 하는 중요 움직임 검출 방법.
  15. 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및
    상기 검출한 중요 움직임의 값을 소정의 임계값과 비교하여, 상기 중요 움직임의 값이 상기 임계값보다 큰 경우에 경고 신호를 생성하는 경고 생성부를 포함하는 중요 움직임을 이용한 경고 장치.
  16. 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및
    상기 검출한 중요 움직임의 값을 소정의 임계값과 비교하여, 상기 중요 움직임의 값이 상기 임계값보다 큰 경우에, 상기 입력 영상을 출력하는 프레임 선택부 를 포함하는 중요 움직임을 이용한 프레임 출력 장치.
  17. 제 16 항에 있어서,
    상기 프레임 선택부는,
    상기 중요 움직임의 값이 상기 임계값보다 작은 경우에, 상기 입력 영상을 출력하지 않도록 하는 것을 특징으로 하는 중요 움직임을 이용한 프레임 출력 장치.
  18. 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치;
    상기 검출한 중요 움직임의 값에 따라 상기 입력 영상의 압축률을 결정하는 압축률 계산부; 및
    상기 결정한 압축률에 따라 상기 입력 영상을 압축하여 출력하는 압축부를 포함하는 중요 움직임을 이용한 영상 압축 장치.
  19. 입력 영상으로부터 상기 입력 영상의 움직임에 따른 부호를 가진 차 영상을 생성하고, 상기 차 영상의 부호를 기초로 상기 차 영상에서의 움직임 량을 계산함으로써 상기 입력 영상의 중요 움직임을 검출하는 중요 움직임 검출 장치; 및
    상기 검출한 중요 움직임의 값에 따라 상기 입력 영상의 화질 처리를 선택적 으로 수행하는 영상 처리부를 포함하는 중요 움직임을 이용한 영상 처리 장치.
  20. 제 19 항에 있어서,
    상기 화질 처리는,
    정적 화질 개선 처리 및 동적 화질 개선 처리를 포함하고,
    상기 영상 처리부는,
    상기 중요 움직임의 값이 소정의 임계치보다 큰 경우, 상기 동적 화질 처리를 수행하고, 상기 중요 움직임의 값이 상기 임계치보다 작은 경우, 정적 화질 처리를 수행하여, 각각의 처리 결과를 병합하는 것을 특징으로 하는 중요 움직임을 이용한 영상 처리 장치.
KR1020070071702A 2007-07-18 2007-07-18 중요 움직임 검출 방법 및 장치 KR20090008621A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070071702A KR20090008621A (ko) 2007-07-18 2007-07-18 중요 움직임 검출 방법 및 장치
US12/078,790 US20090022370A1 (en) 2007-07-18 2008-04-04 Method and apparatus for detecting meaningful motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070071702A KR20090008621A (ko) 2007-07-18 2007-07-18 중요 움직임 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090008621A true KR20090008621A (ko) 2009-01-22

Family

ID=40264882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070071702A KR20090008621A (ko) 2007-07-18 2007-07-18 중요 움직임 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US20090022370A1 (ko)
KR (1) KR20090008621A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373605B1 (ko) * 2007-10-09 2014-03-13 삼성전자주식회사 이동 물체 검출 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224033B2 (en) * 2008-06-24 2012-07-17 Mediatek Inc. Movement detector and movement detection method
EP3922513B1 (en) * 2020-06-12 2023-11-08 Ningbo Geely Automobile Research & Development Co. Ltd. Detecting load shift of cargo on a vehicle and/or a trailer

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
EP1713249B1 (en) * 2004-02-02 2012-06-20 Nippon Telegraph And Telephone Corporation Electronic watermark detection device, method thereof, and program
US7356187B2 (en) * 2004-04-12 2008-04-08 Clairvoyance Corporation Method and apparatus for adjusting the model threshold of a support vector machine for text classification and filtering
KR100619758B1 (ko) * 2004-11-10 2006-09-07 엘지전자 주식회사 로봇청소기의 움직임 추적장치 및 방법
JP5341509B2 (ja) * 2006-05-23 2013-11-13 パナソニック株式会社 画像表示装置、画像表示方法、プラズマディスプレイパネル装置、プログラム、集積回路、及び、記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373605B1 (ko) * 2007-10-09 2014-03-13 삼성전자주식회사 이동 물체 검출 방법 및 시스템

Also Published As

Publication number Publication date
US20090022370A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
EP1995691B1 (en) Method and apparatus for segmenting a motion area
Chunyu et al. Video fire smoke detection using motion and color features
US8073203B2 (en) Generating effects in a webcam application
CN109993095B (zh) 一种面向视频目标检测的帧级别特征聚合方法
US8891826B2 (en) Image processing system, image processing method, and computer program
TWI405150B (zh) 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
Hossen et al. A surveillance system based on motion detection and motion estimation using optical flow
US20090060277A1 (en) Background modeling with feature blocks
Ma et al. Detecting Motion Object By Spatio-Temporal Entropy.
US20110091074A1 (en) Moving object detection method and moving object detection apparatus
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
KR20110136152A (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
CN111881915B (zh) 一种基于多种先验信息约束的卫星视频目标智能检测方法
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
CN115731513A (zh) 基于数字孪生的智慧园区管理***
Vijayan et al. A fully residual convolutional neural network for background subtraction
US20100021008A1 (en) System and Method for Face Tracking
Haga et al. Human detection in outdoor scene using spatio-temporal motion analysis
KR20090008621A (ko) 중요 움직임 검출 방법 및 장치
JP7372391B2 (ja) 入力データにおける異常を検知するための概念
Fang et al. Smart motion detection surveillance system
CN108737814B (zh) 一种基于动态模式分解的视频镜头检测方法
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
Ibrahim et al. Performance Analysis of Fuzzy-Weighted Multiple Instance Learning on Thermal Video-Based Visual Tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application