KR101052207B1 - 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치 - Google Patents

물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치 Download PDF

Info

Publication number
KR101052207B1
KR101052207B1 KR1020100044295A KR20100044295A KR101052207B1 KR 101052207 B1 KR101052207 B1 KR 101052207B1 KR 1020100044295 A KR1020100044295 A KR 1020100044295A KR 20100044295 A KR20100044295 A KR 20100044295A KR 101052207 B1 KR101052207 B1 KR 101052207B1
Authority
KR
South Korea
Prior art keywords
camera module
block
value
motion
video recording
Prior art date
Application number
KR1020100044295A
Other languages
English (en)
Inventor
이혜란
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020100044295A priority Critical patent/KR101052207B1/ko
Priority to US12/908,139 priority patent/US8311385B2/en
Application granted granted Critical
Publication of KR101052207B1 publication Critical patent/KR101052207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

카메라 모듈에서 탐지되는 물체의 속도에 따라 적합한 영상 녹화를 위해 프레임 속도 또는/및 노출과 같은 영상 녹화 속성을 조절하는 방법 및 장치가 개시된다. 카메라 모듈의 영상 녹화 속성을 조절하는 장치는, 상기 카메라 모듈로부터 각 프레임(frame)에 해당되는 영상 데이터를 제공받는 영상 입력부, 상기 영상 데이터를 구성하는 연속된 두 프레임 간의 움직임 정보를 획득하는 움직임 정보 획득부, 상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 영상녹화 속성 결정부 및 결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 카메라 모듈 제어부를 포함하며, 감시 영역 내에 존재하는 움직이는 물체의 속도에 따라 카메라 모듈의 영상 녹화 속성(프레임 속도 또는/및 노출)을 조절하여 고속으로 움직이는 감시 영역 내의 물체에 대한 대응성을 높여 해당 물체의 정확한 탐지가 가능하도록 하는 효과가 있다.

Description

물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치{Method and device for controlling video recordation property of camera module according to velocity of object}
본 발명은 카메라 모듈에서 탐지되는 물체의 속도에 따라 적합한 영상 녹화를 위해 프레임 속도 또는/및 노출과 같은 영상 녹화 속성을 조절하는 방법 및 장치에 관한 것이다.
일반적으로, 감시 카메라는 상당한 시간 동안의 영상을 녹화해야 하는 바 많은 양의 데이터를 저장할 수 있는 데이터 저장공간을 필요로 한다. 하지만, 비용, 공간 등의 제약으로 인해 저장공간을 무한정 늘릴 수만은 없으므로, 한정된 저장공간 내에 저장가능하도록 취득 영상을 최대한 압축하되 감시 카메라로서의 성능을 유지할 수 있는 수준에서 압축률이나 프레임 속도 등을 조절하게 된다.
사람이 인지하기에 자연스러운 움직임 확인이 가능한 프레임 속도는 30fps(frame per second)인 바, 종래 감시 카메라는 일정한 프레임 속도(예를 들면, 30fps)로만 촬영 동작을 수행하도록 설정되어 있다.
하지만, 감시 카메라에서 녹화되는 영상은 감시 영역 내에서 실제 아무런 변화도 없는 정지된 배경만을 포함하고 있기도 하며, 때로는 다양한 속도로 움직이는 물체를 포함하고 있기도 하다. 즉, 감시 카메라가 촬영하는 영상 내에 존재하는 물체는 다양한 속도로 움직일 가능성이 높다.
일정한 프레임 속도로만 촬영을 수행하는 종래 감시 카메라에 의하면, 감시 영역 내에 저속으로 이동하는 물체가 있거나 혹은 움직이는 물체가 없는 경우에는 불필요하게 많은 영상 데이터를 생성하게 되어 저장공간을 낭비하게 되며, 감시 영역 내에 고정된 프레임 속도로는 정확히 포착하기 어려운 고속의 물체가 있는 경우에는 해당 물체를 정확히 촬영할 수 없어 감시 카메라로서의 성능을 제대로 유지하지 못하고 그 효과가 저하되는 문제점이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 감시 영역 내에 존재하는 움직이는 물체의 속도에 따라 카메라 모듈의 영상 녹화 속성(프레임 속도 또는/및 노출)을 조절하여 고속으로 움직이는 감시 영역 내의 물체에 대한 대응성을 높여 해당 물체의 정확한 탐지가 가능하도록 하는 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 감시 영역 내에 존재하는 움직이는 물체의 속도에 따라 카메라 모듈의 영상 녹화 속성(예를 들어 프레임 속도 또는/및 노출 등)을 조절하여 녹화되는 데이터량을 줄일 수 있어 한정된 저장공간의 효율적인 이용이 가능하도록 하는 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치를 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 카메라 모듈의 영상 녹화 속성을 조절하는 장치로서, 상기 카메라 모듈로부터 각 프레임(frame)에 해당되는 영상 데이터를 제공받는 영상 입력부; 연속된 두 프레임 간의 움직임 정보를 획득하는 움직임 정보 획득부; 상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 영상녹화 속성 결정부; 및 결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 카메라 모듈 제어부를 포함하는 카메라 모듈의 영상 녹화 속성 조절 장치가 제공된다.
상기 움직임 정보 획득부는, 상기 연속된 두 프레임 중 후순위 프레임을 중첩되지 않도록 구분한 복수의 후보블록 중 하나를 기준블록으로 선택하는 블록 선택부와; 선순위 프레임 내에서 상기 기준블록의 위치를 기준으로 탐색범위를 설정하는 탐색범위 설정부와; 상기 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 상기 기준블록의 픽셀값을 비교한 블록비교값을 산출하는 블록비교값 산출부와; 상기 블록비교값이 최소가 되는 비교블록의 위치와 상기 기준블록의 위치로부터 블록 움직임벡터를 취득하는 움직임벡터 취득부를 포함할 수 있다. 여기서, 상기 블록 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 움직임비율 산출부를 더 포함할 수 있다.
상기 블록 선택부에 의해 상기 복수의 후보블록이 순차적으로 혹은 비순차적으로 상기 기준블록으로 선택됨에 따라, 상기 움직임벡터 취득부는 상기 복수의 후보블록 각각에 대응되어 취득된 블록 움직임벡터들을 기초로 하여 상기 후순위 프레임의 프레임 움직임벡터를 결정할 수 있다. 여기서, 상기 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 움직임비율 산출부를 더 포함하는 카메라 모듈의 영상 녹화 속성 조절 장치.
상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도를 포함하되, 상기 영상 녹화 속성 결정부는 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정할 수 있다.
또는 상기 영상 녹화 속성은 상기 카메라 모듈의 노출값을 포함하되, 상기 영상 녹화 속성 결정부는 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며, 상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값일 수 있다.
또는 상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도 및 노출값을 포함하되, 상기 영상 녹화 속성 결정부는 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하고, 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며, 상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값일 수 있다.
한편, 영상 녹화 속성 조절 장치에서 카메라 모듈의 영상 녹화 속성을 조절하는 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.
일 실시예에 따른 영상 녹화 속성 조절 방법은, (a) 상기 카메라 모듈로부터 복수의 프레임에 해당되는 영상 데이터가 입력되면, 연속된 두 프레임 간의 움직임 정보를 획득하는 단계; (b) 상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 단계; 및 (c) 결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 단계를 포함할 수 있다.
상기 단계 (a)는, (a1) 상기 연속된 두 프레임 중 후순위 프레임을 중첩되지 않도록 구분한 복수의 후보블록 중 하나를 기준블록으로 선택하는 단계; (a2) 선순위 프레임 내에서 상기 기준블록의 위치를 기준으로 탐색범위를 설정하는 단계; (a3) 상기 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 상기 기준블록의 픽셀값을 비교한 블록비교값을 산출하는 단계; (a4) 상기 블록비교값이 최소가 되는 비교블록의 위치와 상기 기준블록의 위치로부터 블록 움직임벡터를 취득하는 단계를 포함할 수 있다. 상기 블록 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 단계를 더 포함할 수 있다.
상기 후순위 프레임에 대하여 구분된 복수의 후보블록이 순차적으로 혹은 비순차적으로 상기 기준블록으로 선택됨에 따라 상기 단계 (a1) 내지 (a4)를 반복 수행함으로써 취득된 블록 움직임벡터들을 기초로 하여 상기 후순위 프레임의 프레임 움직임벡터를 결정하는 단계를 더 포함할 수 있다. 상기 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 단계를 더 포함할 수 있다.
상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도를 포함하되, 상기 단계 (b)에서 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정할 수 있다.
또는 상기 영상 녹화 속성은 상기 카메라 모듈의 노출값을 포함하되, 상기 단계 (b)에서 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며, 상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값일 수 있다.
또는 상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도 및 노출값을 포함하되, 상기 단계 (b)에서 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하고, 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며, 상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 감시 영역 내에 존재하는 움직이는 물체의 속도에 따라 카메라 모듈의 영상 녹화 속성(프레임 속도 또는/및 노출)을 조절하여 고속으로 움직이는 감시 영역 내의 물체에 대한 대응성을 높여 해당 물체의 정확한 탐지가 가능하도록 하는 효과가 있다.
또한, 감시 영역 내에 존재하는 움직이는 물체의 속도에 따라 카메라 모듈의 영상 녹화 속성(예를 들어 프레임 속도 또는/및 노출 등)을 조절하여 녹화되는 데이터량을 줄일 수 있어 한정된 저장공간의 효율적인 이용이 가능하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 감시 카메라 시스템에서 이용되는 영상 녹화 속성 조절 장치의 개략적인 구성 블록도.
도 2는 본 발명의 일 실시예에 따른 영상 녹화 속성 조절 장치에 포함되는 움직임 정보 획득부의 개략적인 구성 블록도.
도 3은 복수의 블록으로 구분된 현재 프레임의 일부분을 나타낸 도면.
도 4는 탐색범위가 표시된 이전 프레임의 일부분을 나타낸 도면.
도 5는 탐색범위 내에서의 비교 블록 이동을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 영상 녹화 속성 조절 장치에서 영상 녹화 속성을 조절하는 방법의 순서도.
도 7은 본 발명의 일 실시예에 따른 움직임 정보를 획득하는 과정을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 감시 카메라 시스템에서 이용되는 영상 녹화 속성 조절 장치의 개략적인 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 영상 녹화 속성 조절 장치에 포함되는 움직임 정보 획득부의 개략적인 구성 블록도이며, 도 3은 복수의 블록으로 구분된 현재 프레임의 일부분을 나타낸 도면이고, 도 4는 탐색범위가 표시된 이전 프레임의 일부분을 나타낸 도면이고, 도 5는 탐색범위 내에서의 비교 블록 이동을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 감시 카메라 시스템(1)은 카메라 모듈(10) 및 영상 녹화 속성 조절 장치(100)를 포함한다.
카메라 모듈(10)은 렌즈 및 이미지센서를 포함하여 구성된다. 렌즈를 통해 피사체의 광학 영상이 이미지센서로 전달되며, 이미지센서는 피사체의 광학 영상을 전기적인 신호로 변환하여 영상 데이터로 출력한다. 이미지센서는 예를 들어 반도체가 빛에 반응하는 성질을 이용한다. 이미지센서는 픽셀(pixel)로 불리는 작은 감광 다이오드들의 어레이로 구성된다. 그리고 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 각 픽셀이 감지하여 전기적인 값으로 읽어내고 이를 신호처리가 가능한 레벨로 만들어준다. 즉, 이미지센서는 렌즈를 통해 전달된 피사체의 광학 영상을 영상 데이터라는 전기 신호로 변환시키는 반도체 소자이다.
이미지센서는 여러 개의 픽셀이 격자 무늬인 2차원 구조로 배열될 수 있으며, 각 픽셀은 들어오는 빛의 밝기에 따라서 이를 전기적인 신호로 변환시키게 된다. 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고 이를 이용하여 픽셀 단위의 영상을 구성할 수 있다.
카메라 모듈(10)은 신호 처리가 완료된 영상 데이터를 출력하게 되며, 카메라 모듈(10)에 의해 출력되는 영상 데이터를 신호 처리하기 위한 구성요소(예를 들어, 이미지 시그널 프로세서(ISP), 멀티미디어 프로세서 등)로서 감시 카메라 시스템(1)에 포함될 수 있는 각 구성요소는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략하기로 한다.
카메라 모듈(10)로부터 출력되는 영상 데이터는 메모리와 같은 저장공간(미도시)에 지속적으로 저장된다. 본 발명에 따른 감시 카메라 시스템(1)은 적어도 2 프레임 이상의 영상 데이터를 저장할 수 있는 저장공간을 구비할 수 있다.
카메라 모듈(10)은 후술할 영상 녹화 속성 조절 장치(100)로부터 전달되는 카메라 모듈 제어 신호에 의해 프레임 속도 또는/및 노출과 같은 영상 녹화 속성을 가변시키면서 영상 데이터를 생성하여 출력하게 된다.
여기서, 영상 녹화 속성 중 하나인 프레임 속도는 카메라 모듈(10)로부터 출력되는 초당 프레임 수로서, 1초 동안 촬영 가능한 프레임 수를 의미한다. 프레임 속도가 높은 경우 1초당 찍히는 프레임 수가 많으므로 피사체의 움직임이 더 짧은 간격으로 촬영되어 고속으로 움직이는 피사체에 대해서도 세밀한 움직임 촬영이 가능하다. 하지만, 프레임 속도가 낮은 경우 촬영 중의 프레임간의 시간 간격이 길어지므로 움직이는 피사체에 대한 세밀한 움직임 촬영이 어려워진다. 예를 들어, 30km/h 정도의 속도로 움직이는 물체의 경우 30fps의 프레임 속도로 촬영하면 자연스러우면서도 그 움직임이 명확히 식별 가능하지만, 60km/h 이상의 속도로 움직이는 물체의 경우 동일한 프레임 속도로 촬영하면 촬영된 영상에서 해당 물체의 움직임이 명확히 식별되지 않을 수 있는 바 후술하는 영상 녹화 속성 조절 장치(100)는 물체의 속도에 따라 프레임 속도가 가변될 수 있도록 한다.
영상 녹화 속성 중 다른 하나인 노출 역시 움직이는 물체에 대한 촬영에 영향을 미치는 요소이다. 노출이 짧다는 것은 하나의 프레임을 취득하는 시간이 짧음을 의미하며, 이 경우 고속으로 움직이는 물체에 대해서도 명확히 식별 가능하도록 촬영 가능하다. 하지만, 노출이 길면, 하나의 프레임을 취득하는 시간이 길어지기 때문에, 하나의 프레임이 촬영되는 동안에도 움직임이 일어나는 고속의 물체의 경우 흔들림이 있거나 명확한 식별이 불가능하게 촬영될 수 있다. 또한, 동일한 빛을 수광하는 경우에 노출이 짧으면 취득되는 빛의 양이 적어 어두운 영상이 촬영된다. 따라서, 노출을 짧게 하는 경우에는 아날로그 이득(analog gain)으로 이를 보상함으로써 그 밝기를 유지할 수 있다. 아날로그 이득은 이득의 크기에 비례하여 노이즈가 증가하는 특성을 가지는 바, 일반적으로 노출을 짧게 하는 경우에는 영상의 노이즈가 많이 증가하게 된다. 따라서, 후술하는 영상 녹화 속성 조절 장치(100)는 물체의 속도에 따라 노출이 가변될 수 있도록 한다.
본 실시예에 따른 영상 녹화 속성 조절 장치(100)는 카메라 모듈(10)에 의해 촬영되는 영상 내에서 탐지되는 물체의 속도에 따라 카메라 모듈(10)의 영상 녹화 속성(예를 들어 프레임 속도 또는/및 노출)을 결정하고 해당 카메라 모듈(10)에 적용시킴으로써, 영상 데이터를 저장하기 위한 데이터 저장공간을 효율적으로 이용하면서도 움직이는 물체에 대해서도 식별이 가능한 영상의 녹화가 이루어질 수 있도록 한다.
본 실시예에 따른 영상 녹화 속성 조절 장치(100)는 감시지역에 설치된 카메라 모듈(10)과 유무선 네트워크를 통해 연결되어 있어 카메라 모듈(10)에 의해 녹화된 영상 데이터를 입력받고, 카메라 모듈(10)의 영상 녹화 속성(프레임 속도 또는/및 노출)을 제어하기 위한 신호를 출력한다. 물론, 영상 녹화 조절 장치(100)가 각 카메라 모듈(10)과 일체형으로 통합되어 개별적인 감시 카메라 시스템을 구성할 수도 있을 것이다.
도 1을 참조하면, 본 실시예에 따른 영상 녹화 속성 조절 장치(100)는 영상 입력부(110), 움직임 정보 획득부(120), 영상 녹화 속성 결정부(130), 카메라모듈 제어부(140)를 포함한다.
영상 입력부(110)는 유무선으로 연결된 카메라 모듈(10)로부터 해당 카메라 모듈(10)에서 생성된 영상 데이터를 입력받는다. 본 실시예에서는 현재 카메라 모듈(10)에 의해 촬영되고 있는 영상 내에서 탐지되는 물체의 속도에 따라 적응적으로 해당 카메라 모듈(10)의 영상 녹화 속성을 변경할 필요가 있는 바, 실시간으로 영상 데이터를 입력받도록 설정될 수도 있다.
여기서, 영상 데이터는 복수의 연속된 프레임(frame)으로 구성되는 동화상일 수 있으며, 본 실시예에 따른 영상 녹화 속성 조절 장치(100)에 의해 가변된 프레임 속도 또는/및 노출값을 가질 수 있다.
움직임 정보 획득부(120)는 영상 입력부(110)에서 입력받은 영상 데이터를 분석하고 해당 영상 데이터를 구성하는 연속된 두 프레임간의 움직임 정보를 획득한다. 이하, 연속된 두 프레임은 현재 취득된 현재 프레임(frame(t))과 이전에 저장되어 있던 이전 프레임(frame(t-1))인 경우를 예로 들어 설명한다.
도 2를 참조하면, 움직임 정보 획득부(120)는 블록 선택부(121), 탐색범위 설정부(123), 블록비교값 산출부(125), 움직임벡터 취득부(127)를 포함한다. 필요에 따라 움직임비율 산출부(129)를 더 포함할 수도 있다.
영상 데이터의 현재 프레임(frame(t))은 서로 중첩되지 않는 복수의 블록으로 구분될 수 있다. 블록 선택부(121)는 현재 프레임을 구성하는 복수의 블록 중 하나를 기준블록으로 선택한다. 현재 프레임을 구성하는 블록 전체 혹은 그 일부가 순차적으로 혹은 비순차적으로 기준블록으로 선택될 수 있으며, 혹은 미리 설정된 개수 또는 위치의 블록이 기준블록으로 선택될 수도 있다.
도 3을 참조하면, 연속된 두 프레임 중 후순위 프레임인 현재 프레임(frame(t))이 M x N(M, N은 자연수) 크기를 가지는 후보블록들이 격자무늬(2차원 배열)에 의해 구성되고, Bt[3, 4]가 후보블록들 중 기준블록으로 선택된 것이다. Bt[X, Y]는 현재 프레임(frame(t)) 내에서 선택된 기준블록의 위치, 즉 행방향으로 X번째, 종방향으로 Y번째 위치하는 후보블록을 의미한다.
탐색범위 설정부(123)는 블록 선택부(121)에 의해 선택된 기준블록의 현재 프레임에서의 위치와 동일한 위치를 기준으로 하여 이전 프레임(frame(t-1)) 내에서의 탐색범위(search range)를 설정한다.
탐색범위의 설정은 다양한 방법에 의할 수 있으며, 일 실시예에 따르면 이전 프레임 내에서 기준블록의 위치와 동일한 위치에 있는 블록을 중심으로 상하좌우에 위치한 블록 4개, 대각선 방향으로 가장 근접하여 위치한 블록 4개 및 동일한 위치에 있는 블록 1개를 포함하여 총 9개의 블록을 탐색범위로 설정할 수 있다. 물론, 탐색범위의 크기 및 후보블록들의 수량은 실험적, 통계적 방식에 의해 미리 설정되거나 사용자에 의해 수정 설정될 수 있을 것이다.
예를 들어, 도 3에 도시된 현재 프레임(frame(t))에서 선택된 기준블록(Bt[3,4])에 대하여, 도 4에 도시된 것과 같이 이전 프레임(frame(t-1))에서 기준블록의 위치와 동일한 블록 1개(Bt-1[3,4])와, 상하좌우에 위치한 블록 4개(Bt-1[2,4], Bt-1[4,4], Bt-1[3,3], Bt-1[3,5])와, 대각선 방향으로 가장 근접하여 위치한 블록 4개(Bt-1[2,3], Bt-1[2,5], Bt-1[4,3], Bt-1[4,5])를 포함하는 영역이 탐색범위(SR)로 설정될 수 있다.
탐색범위를 설정하는 다른 실시예에 따르면, 이전 프레임 내에서 기준블록의 위치와 동일한 위치에 있는 블록의 최상단 좌측(top-left)에 위치하는 픽셀(P1)을 중심으로 소정 간격만큼 이격된 픽셀들을 최상단 좌측에 위치하도록 하는 동일 크기의 블록들이 4개의 꼭지점이 되도록 하는 사각형 형태의 탐색범위를 설정할 수도 있을 것이다.
블록비교값 산출부(125)는 탐색범위 설정부(123)에서 결정된 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 기준블록의 픽셀값을 비교한 블록비교값을 산출한다. 여기서, 비교대상이 되는 픽셀값은 예를 들어 해당 픽셀의 휘도(luminance)일 수 있다.
블록비교값을 산출하기 위해서는 비교블록의 픽셀들과 기준블록의 픽셀들이 일대일로 매칭될 필요가 있는 바, 비교블록의 크기는 기준블록의 크기와 동일할 수 있다.
블록비교값 산출부(125)는 하기의 수학식 1과 같이 일대일 매칭되는 비교블록의 픽셀과 기준블록의 픽셀간의 픽셀값 차이의 합을 블록비교값으로 산출하게 된다.
[수학식 1]
Figure 112010030430319-pat00001
여기서, 기준블록 및 비교블록의 크기는 M x N이며, Bt[기준블록](x,y)는 현재 프레임(frame(t))의 기준블록(Bt[기준블록]) 내에서 임의의 기준점(예를 들어, 최좌측 최상단점)으로부터 상대적으로 (x, y)에 위치하는 픽셀의 픽셀값, Bt-1[비교블록](x,y)는 이전 프레임(frame(t-1))의 비교블록(Bt-1[비교블록]) 내에서 임의의 기준점(예를 들어, 최좌측 최상단점)으로부터 상대적으로 (x, y)에 위치하는 픽셀의 픽셀값을 의미한다.
도 5를 참조하면, 비교블록은 기준블록과 동일한 크기를 가지며, 탐색범위(SR) 내를 픽셀 단위로 이동한다.
예를 들어, 비교블록이 제1 위치(L1)에 있을 때(비교블록의 최상단 좌측 픽셀이 탐색범위(SR) 내에서 제1 행 제1 열에 위치하는 경우)에 수학식 1에 따라 제1 블록비교값을 산출하고, 이후 비교블록을 열방향으로 1픽셀 단위만큼 이동시킨 제2 위치(L2)(비교블록의 최상단 좌측 픽셀이 탐색범위(SR) 내에서 제1 행 제2 열에 위치하는 경우)에서 다시 수학식 1에 따라 제2 블록비교값을 산출한다. 이와 같이 비교블록을 열방향으로 1픽셀만큼 이동시키면서 과정을 반복하며, 각 위치마다 블록비교값을 산출한다. 단, 비교블록 중 일부가 탐색범위를 벗어나게 되는 경우 열방향으로의 이동이 완료된다. 즉, 비교블록이 탐색범위 내에 위치하는 경우에 한하여 이동이 이루어지게 되는 것이다.
하나의 행(도 5에서는 제1 행)에 대한 이동이 완료되면, 비교블록을 탐색범위(SR) 중 다음 행(도 5에서는 제2 행)의 제일 좌측에 있는 제3 위치(L3)(비교블록의 최상단 좌측 픽셀이 탐색범위(SR) 내에서 제2 행 제1 열에 위치하는 경우)로 이동시킨 후 해당 행에 대해서 전술한 과정을 반복 수행하게 된다.
탐색범위(SR) 내의 모든 행에 대해서 픽셀 단위로 비교블록이 이동되면서, 각 위치에서 기준블록의 픽셀값과 비교한 블록비교값들이 산출될 수 있다. 여기서, 비교블록 중 일부가 탐색범위를 벗어나게 되는 경우 행방향으로의 이동 역시 완료된다. 즉, 비교블록이 탐색범위 내에 위치하는 경우에 한하여 이동이 이루어지게 되는 것이다.
도 5에서는 비교블록이 수평 방향으로의 지그재그로 이동하는 것을 예시로 설명하였지만, 'ㄹ'자 형태로 이동하거나 수직 방향으로의 지그재그로 이동하는 등 다양한 방법으로 비교블록이 이동할 수 있음은 물론이다. 움직임벡터 취득부(127)는 블록비교값 산출부(125)에 의해 산출된 블록비교값들 중 그 값이 최소인 경우에 해당하는 비교블록의 위치와 기준블록의 위치로부터 블록 움직임벡터를 취득한다. 이를 위해, 블록비교값 산출부(125)는 비교블록의 위치와 그 위치에서 산출된 블록비교값을 매칭시켜 저장부(미도시)에 임시 저장할 수 있을 것이다.
블록비교값 산출부(125)는 비교블록이 탐색범위 내를 픽셀 단위로 이동하면서 각 비교블록에 대하여 블록비교값을 산출하게 되는 바, 탐색범위 내에서 선택가능한 비교블록의 개수와 동일한 수의 블록비교값을 산출하게 된다. 이러한 블록비교값이 최소가 되는 경우에 기준블록과 해당 비교블록이 동일하거나 가장 유사한 블록으로 추정하게 되며, 해당 비교블록의 위치와 기준블록의 위치의 차이로부터 해당 기준블록의 블록 움직임벡터를 취득하게 된다. 예를 들면, 블록비교값이 최소가 되는 경우에 해당하는 비교블록의 최상단 좌측 픽셀과 이전 프레임 중 기준블록에 해당하는 블록 내의 최상단 좌측 픽셀간의 위치 차이로부터 블록 움직임벡터가 취득된다. 여기서, 블록 움직임벡터는 연속된 두 프레임(frame(t-1), frame(t))간에 해당 기준블록의 추정 움직임을 나타내는 것이다.
일 실시예에서, 프레임 내에서 배경과 물체의 구분이 가능한 경우 블록 선택부(121)는 물체에 해당하는 영역에 대해서만 기준블록으로 선택하여 블록 움직임벡터를 취득하고, 그 값을 합산 혹은 평균함으로써 이전 프레임에 대한 현재 프레임의 프레임 움직임벡터로 결정할 수 있다. 여기서, 물체에 해당하는 영역이 하나의 기준블록으로 선택된 경우, 블록 움직임벡터가 바로 프레임 움직임벡터가 될 것이다.
다른 실시예에서, 프레임 내에서 배경과 물체를 구분하지 않을 경우 블록 선택부(121)는 현재 프레임에 대해서 구분된 복수의 블록 전체에 대해서 기준블록으로 선정하여 블록 움직임벡터를 취득하게 되며, 그 값을 합산 혹은 평균함으로써 이전 프레임에 대한 현재 프레임의 프레임 움직임벡터로 결정할 수도 있을 것이다.
움직임비율 산출부(129)는 움직임벡터 취득부(127)에서 취득한 블록 움직임벡터 혹은 결정된 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출한다.
이는 블록 움직임벡터 혹은 프레임 움직임벡터 자체 만으로는 물체의 정확한 속도를 예측하는 것에 어려움이 있을 수 있는 바, 사용자 임의로 혹은 통계적 실험에 의해 결정된 움직임벡터의 크기에 대한 속도의 비율로부터 움직임비율을 산출하는 것이다.
고속으로 볼 수 있는 움직임벡터의 크기를 Vmax, 즉 최대값으로 보고, 저속(혹은 움직임이 없는 경우를 포함)으로 볼 수 있는 움직임벡터의 크기를 Vmin, 즉 최소값으로 본다. 고속이나 저속의 기준은 감시 카메라 시스템(1)에 따라 상이할 수 있는 바, 전술한 것과 같이 사용자 임의로 혹은 실험적, 통계적 방법에 의해 결정될 수 있을 것이다.
이와 같이 최대값 및 최소값을 이용하여 현재 프레임에서 물체의 움직임비율 Vnor을 하기의 수학식 2에 의해 산출한다.
[수학식 2]
Vnor = (V - Vmin) / (Vmax - Vmin)
여기서, Vnor은 현재 프레임에서 물체의 움직임비율, V는 움직임벡터 취득부(127)에서 취득한 움직임벡터(블록 움직임벡터 혹은 프레임 움직임벡터)의 크기, Vmax는 고속으로 볼 수 있는 움직임벡터의 크기의 최대값, Vmin은 저속으로 볼 수 있는 움직임벡터의 크기의 최소값을 의미한다.
영상 녹화 속성 결정부(130)는 움직임 정보 획득부(120)에서 획득한 움직임 정보, 즉 움직임비율을 이용하여 미리 설정된 녹화 기준에 적합하도록 카메라 모듈(10)의 영상 녹화 속성을 결정한다. 여기서, 녹화 기준은 감시지역 내에서 녹화된 영상 내에서 움직이는 물체의 식별이 가능한 정도로서, 통계적 실험에 의해 결정될 수 있을 것이다.
결정 대상이 되는 영상 녹화 속성은 프레임 속도 또는/및 노출일 수 있다.
우선, 결정 대상이 되는 영상 녹화 속성이 프레임 속도인 경우, 하기의 수학식 3에 나타난 것과 같이 움직임비율에 미리 설정된 카메라 모듈(10)의 프레임 속도 최대값을 곱셈 연산하여 적합한 프레임 속도를 결정한다.
[수학식 3]
FPSprop = FPSmax * Vnor
여기서, FPSprop는 적합한 것으로 산출된 프레임 속도, FPSmax는 미리 설정된 프레임 속도 최대값, Vnor은 움직임비율 산출부(129)에 의해 산출된 움직임비율을 의미한다. FPSmax는 통계적 실험에 의해 그 값이 미리 설정될 수 있을 것이다.
다음으로, 결정 대상이 되는 영상 녹화 속성이 노출인 경우, 하기의 수학식 4에 나타난 것과 같이 움직임비율, 미리 설정된 카메라 모듈(10)의 노출 최대값, 노출 최소값을 이용하여 적합한 노출을 결정한다.
[수학식 4]
EXPprop = (1 - Vnor) * (EXPmax - EXPmin) + EXPmin
여기서, EXPprop는 적합한 것으로 산출된 노출값, Vnor은 움직임비율 산출부(129)에 의해 산출된 움직임비율, EXPmax는 미리 설정된 노출 최대값, EXPmin은 미리 설정된 노출 최소값을 의미한다. EXPmax와 EXPmin은 통계적 실험에 의해 그 값이 미리 설정될 수 있을 것이다.
카메라모듈 제어부(140)는 영상 녹화 속성 결정부(130)에 의해 영상 녹화 속성이 결정되면, 이에 따라 카메라 모듈(10)에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 카메라 모듈(10)로 출력한다.
영상 녹화 속성 결정부(130)에 의해 결정된 영상 녹화 속성이 프레임 속도인 경우 카메라 모듈 제어 신호는 프레임 속도 제어 신호일 수 있으며, 영상 녹화 속성 결정부(130)에 의해 결정된 영상 녹화 속성이 노출인 경우 카메라 모듈 제어 신호는 노출 제어 신호일 수 있다. 또는 영상 녹화 속성 결정부(130)에 의해 결정된 영상 녹화 속성이 프레임 속도 및 노출인 경우 카메라 모듈 제어 신호는 프레임 속도 제어 신호와 노출 제어 신호를 모두 포함할 수도 있다.
여기서, 노출 제어 신호는 카메라 모듈(10)의 셔터 속도, 조리개 크기 등을 제어함으로써 카메라 모듈(10)의 노출이 조절되도록 할 수 있다.
카메라 모듈(10)은 카메라모듈 제어부(140)로부터 출력된 카메라 모듈 제어 신호에 따라 프레임 속도 또는/및 노출을 조절함으로써, 이후 녹화되는 영상에 대해서는 움직이는 물체의 속도에 따라 조절된 프레임속도 또는/및 노출을 가지도록 하여 움직이는 물체에 대한 식별이 가능하도록 할 수 있다. 즉, 영상에서 움직임이 적거나 없을 때에는 저속의 프레임 속도를 적용하다가 고속의 물체가 있을 경우에만 프레임 속도를 높임으로써 움직임이 적을 때에는 데이터량을 최소화할 수 있어 저장 데이터의 효율성을 높일 수 있다.
또한, 일반적인 장면에서도 고속의 프레임 속도와 짧은 노출을 유지하는 경우 데이터량도 프레임 속도에 비례하여 많아지고 짧은 노출을 줌에 따라 밝기 유지를 위한 아날로그 이득의 증가로 인해 영상의 노이즈도 증가하게 된다. 하지만, 본 실시예에 따를 때 고속으로 움직이는 물체가 있는 경우에만 고속의 프레임 속도와 짧은 노출을 가져감으로써 고속으로 움직이는 물체 촬영도 가능하면서 데이터량의 효율성을 유지할 수 있게 된다.
도 6은 본 발명의 일 실시예에 따른 영상 녹화 속성 조절 장치에서 영상 녹화 속성을 조절하는 방법의 순서도이고, 도 7은 움직임 정보를 획득하는 과정을 나타낸 순서도이다. 이하에서 설명되는 각각의 단계는 영상 녹화 속성 조절 장치의 각각의 내부 구성요소에 의해 수행될 수 있다.
단계 S200에서, 영상 입력부(110)는 카메라 모듈(10)로부터 복수의 프레임으로 구성된 영상 데이터를 입력받는다.
단계 S210에서, 움직임 정보 획득부(120)는 입력된 영상 데이터를 구성하는 연속된 두 프레임간의 움직임 정보를 획득한다.
연속된 두 프레임에 대해서 선순위 프레임을 이전 프레임(frame(t-1)), 후순위 프레임을 현재 프레임(frame(t))로 볼 수 있을 것이다. 이 경우 움직임 정보의 획득 과정은 도 7을 참조하여 설명한다.
도 7을 참조하면, 단계 S211에서, 현재 프레임에 대하여 서로 중첩되지 않도록 구분한 복수의 블록 중 하나를 기준블록으로 선택한다.
단계 S213에서, 이전 프레임에서 기준블록의 위치와 동일한 위치를 기준으로 하여 탐색범위를 설정한다. 탐색범위를 설정하는 방법으로는, 기준블록의 위치를 기준으로 하여 블록 단위로 상하좌우에 위치하는 블록 4개, 대각선방향으로 가장 근접하여 위치하는 블록 4개, 기준블록 위치에 위치하는 블록 1개를 포함하는 영역을 탐색범위로 설정하는 방법, 기준블록의 위치에 위치하는 블록의 최상단 좌측에 위치하는 픽셀을 기준으로 하여 소정 간격 만큼 이격된 픽셀들을 최상단 좌측에 위치하도록 하는 동일 크기의 블록들이 4개의 꼭지점이 되도록 하는 사각형 형태의 탐색범위 설정 방법 등이 있을 수 있다.
단계 S215에서, 탐색범위 내에서 픽셀 단위로 비교블록을 이동시키면서 이전 프레임에 속하는 비교블록 내의 픽셀값과 현재 프레임에 속하는 기준블록의 픽셀값을 비교한 블록비교값을 산출한다. 블록비교값의 산출은 상기 수학식 1을 참조하여 상세히 설명하였는 바 여기에서는 생략하기로 한다.
단계 S217에서, 블록비교값이 최소가 되는 비교블록의 위치와 기준블록의 위치로부터 블록 움직임벡터를 취득한다.
현재 프레임에 대해서 구분된 복수의 블록 전체 혹은 일부에 대해서 순차적으로 혹은 비순차적으로 단계 S211 내지 S217을 반복 수행할 수 있다.
반복 수행을 통해 복수의 블록 움직임벡터가 취득된 경우, 이들을 합산하거나 평균하여 이전 프레임에 대한 현재 프레임의 움직임을 나타내는 프레임 움직임벡터를 결정할 수 있다.
단계 S219에서, 블록 움직임벡터 혹은 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화함으로써 움직임비율을 산출한다. 움직임비율의 산출은 상기 수학식 2를 참조하여 상세히 설명하였는 바 여기에서는 생략하기로 한다.
단계 S220에서, 영상 녹화 속성 결정부(130)는 움직임 정보(특히, 움직임비율)를 기초로 하여 카메라 모듈(10)의 영상 녹화 속성을 결정한다. 결정 대상이 되는 영상 녹화 속성은 프레임 속도 또는/및 노출일 수 있으며, 프레임 속도를 결정하는 과정은 상기 수학식 3을 참조하여 설명하였으며, 노출을 결정하는 과정은 상기 수학식 4를 참조하여 설명하였는 바 여기에서는 생략하기로 한다.
단계 S230에서, 카메라모듈 제어부(140)는 결정된 영상 녹화 속성에 따라 카메라 모듈(10)에서 촬영이 이루어질 수 있도록 하는 카메라 모듈 제어 신호를 생성하여 카메라 모듈(10)로 출력한다. 카메라 모듈 제어 신호는 프레임 속도 제어 신호, 노출 제어 신호 및 이들의 조합일 수 있다.
상술한 영상 녹화 속성 조절 방법은 영상 녹화 속성 조절 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
이상에서는 감시 카메라 시스템에 본 발명에 따른 영상 녹화 속성 조절 장치 및 방법이 적용되는 것을 가정하여 설명하였지만, 필요에 따라 일반적인 디지털 카메라 시스템, 모바일 카메라 시스템 등에서 본 발명에 따른 영상 녹화 속성 조절 장치 및 방법이 적용될 수 있음은 물론이다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 감시 카메라 시스템 10: 카메라 모듈
100: 영상 녹화 속성 조절 장치 110: 영상 입력부
120: 움직임 정보 획득부 130: 영상 녹화 속성 결정부
140: 카메라모듈 제어부 121: 블록 선택부
123: 탐색범위 설정부 125: 블록비교값 산출부
127: 움직임벡터 취득부 129: 움직임비율 산출부

Claims (17)

  1. 카메라 모듈의 영상 녹화 속성을 조절하는 장치로서,
    상기 카메라 모듈로부터 각 프레임(frame)에 해당되는 영상 데이터를 제공받는 영상 입력부;
    연속된 두 프레임 간의 움직임 정보를 획득하는 움직임 정보 획득부;
    상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 영상녹화 속성 결정부; 및
    결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 카메라 모듈 제어부를 포함하되,
    상기 움직임 정보 획득부는,
    상기 연속된 두 프레임 중 후순위 프레임을 중첩되지 않도록 구분한 복수의 후보블록 중 하나를 기준블록으로 선택하는 블록 선택부와;
    선순위 프레임 내에서 상기 기준블록의 위치를 기준으로 탐색범위를 설정하는 탐색범위 설정부와;
    상기 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 상기 기준블록의 픽셀값을 비교한 블록비교값을 산출하는 블록비교값 산출부와;
    상기 블록비교값이 최소가 되는 비교블록의 위치와 상기 기준블록의 위치로부터 블록 움직임벡터를 취득하는 움직임벡터 취득부를 포함하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 블록 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 움직임비율 산출부를 더 포함하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  4. 제1항에 있어서,
    상기 블록 선택부에 의해 상기 복수의 후보블록이 순차적으로 혹은 비순차적으로 상기 기준블록으로 선택됨에 따라,
    상기 움직임벡터 취득부는 상기 복수의 후보블록 각각에 대응되어 취득된 블록 움직임벡터들을 기초로 하여 상기 후순위 프레임의 프레임 움직임벡터를 결정하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  5. 제4항에 있어서,
    상기 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 움직임비율 산출부를 더 포함하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  6. 제3항 또는 제5항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도를 포함하되,
    상기 영상 녹화 속성 결정부는 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  7. 제3항 또는 제5항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 노출값을 포함하되,
    상기 영상 녹화 속성 결정부는 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며,
    상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값인 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  8. 제3항 또는 제5항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도 및 노출값을 포함하되,
    상기 영상 녹화 속성 결정부는 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하고, 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며,
    상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값인 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 장치.
  9. 영상 녹화 속성 조절 장치에서 카메라 모듈의 영상 녹화 속성을 조절하는 방법으로서,
    (a) 상기 카메라 모듈로부터 복수의 프레임에 해당되는 영상 데이터가 입력되면, 연속된 두 프레임 간의 움직임 정보를 획득하는 단계;
    (b) 상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 단계; 및
    (c) 결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 단계를 포함하되,
    상기 단계 (a)는,
    (a1) 상기 연속된 두 프레임 중 후순위 프레임을 중첩되지 않도록 구분한 복수의 후보블록 중 하나를 기준블록으로 선택하는 단계;
    (a2) 선순위 프레임 내에서 상기 기준블록의 위치를 기준으로 탐색범위를 설정하는 단계;
    (a3) 상기 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 상기 기준블록의 픽셀값을 비교한 블록비교값을 산출하는 단계;
    (a4) 상기 블록비교값이 최소가 되는 비교블록의 위치와 상기 기준블록의 위치로부터 블록 움직임벡터를 취득하는 단계를 포함하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 블록 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 단계를 더 포함하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  12. 제9항에 있어서,
    상기 후순위 프레임에 대하여 구분된 복수의 후보블록이 순차적으로 혹은 비순차적으로 상기 기준블록으로 선택됨에 따라 상기 단계 (a1) 내지 (a4)를 반복 수행함으로써 취득된 블록 움직임벡터들을 기초로 하여 상기 후순위 프레임의 프레임 움직임벡터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  13. 제12항에 있어서,
    상기 프레임 움직임벡터에 대하여 그 크기를 미리 설정된 최대값 및 최소값을 이용하여 정규화한 움직임비율을 산출하는 단계를 더 포함하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  14. 제11항 또는 제13항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도를 포함하되,
    상기 단계 (b)에서 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  15. 제11항 또는 제13항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 노출값을 포함하되,
    상기 단계 (b)에서 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며,
    상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값인 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  16. 제11항 또는 제13항에 있어서,
    상기 영상 녹화 속성은 상기 카메라 모듈의 프레임 속도 및 노출값을 포함하되,
    상기 단계 (b)에서 상기 움직임비율에 미리 설정된 프레임 속도 최대값을 곱셈 연산하여 산출된 값을 상기 프레임 속도로 결정하고, 수학식 EXPprop=(1-Vnor)*(EXPmax-EXPmin)+EXPmin에 의해 산출된 EXPprop를 상기 노출값으로 결정하며,
    상기 Vnor은 상기 움직임비율, 상기 EXPmax는 미리 설정된 노출 최대값, 상기 EXPmin은 미리 설정된 노출 최소값인 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법.
  17. 영상 녹화 속성 조절 장치에서 카메라 모듈의 영상 녹화 속성을 조절하는 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    상기 카메라 모듈로부터 복수의 프레임에 해당되는 영상 데이터가 제공되면, 연속된 두 프레임 간의 움직임 정보를 획득하는 단계;
    상기 움직임 정보를 기초로 하여 상기 카메라 모듈의 영상 녹화 속성을 결정하는 단계; 및
    결정된 상기 영상 녹화 속성에 따라 상기 카메라 모듈에서 촬영이 수행되도록 하는 카메라 모듈 제어 신호를 생성하여 상기 카메라 모듈로 출력하는 단계를 포함하되,
    상기 움직임 정보를 획득하는 단계는,
    상기 연속된 두 프레임 중 후순위 프레임을 중첩되지 않도록 구분한 복수의 후보블록 중 하나를 기준블록으로 선택하는 단계;
    선순위 프레임 내에서 상기 기준블록의 위치를 기준으로 탐색범위를 설정하는 단계;
    상기 탐색범위 내에서 픽셀 단위로 이동하는 비교블록 내의 픽셀값과 상기 기준블록의 픽셀값을 비교한 블록비교값을 산출하는 단계;
    상기 블록비교값이 최소가 되는 비교블록의 위치와 상기 기준블록의 위치로부터 블록 움직임벡터를 취득하는 단계를 포함하는 것을 특징으로 하는 카메라 모듈의 영상 녹화 속성 조절 방법을 수행하기 위한 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체.
KR1020100044295A 2010-05-12 2010-05-12 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치 KR101052207B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100044295A KR101052207B1 (ko) 2010-05-12 2010-05-12 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
US12/908,139 US8311385B2 (en) 2010-05-12 2010-10-20 Method and device for controlling video recordation property of camera module according to velocity of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100044295A KR101052207B1 (ko) 2010-05-12 2010-05-12 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101052207B1 true KR101052207B1 (ko) 2011-07-27

Family

ID=44911847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044295A KR101052207B1 (ko) 2010-05-12 2010-05-12 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치

Country Status (2)

Country Link
US (1) US8311385B2 (ko)
KR (1) KR101052207B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598849A (zh) * 2022-05-06 2022-06-07 青岛亨通建设有限公司 一种基于物联网的建筑施工安全监控***
US11514581B2 (en) 2017-11-14 2022-11-29 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, and image capturing system
CN117596355A (zh) * 2024-01-19 2024-02-23 安徽协创物联网技术有限公司 一种方便安装在玻璃幕墙上的摄像头组件及移动终端设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
JP6364182B2 (ja) * 2013-11-28 2018-07-25 シャープ株式会社 文字列認識装置および文字列認識方法
US9407823B2 (en) 2013-12-09 2016-08-02 Microsoft Technology Licensing, Llc Handling video frames compromised by camera motion
US9204048B2 (en) * 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN105913068B (zh) * 2016-04-27 2018-12-25 北京以萨技术股份有限公司 一种用于描述图像特征的多维方向梯度表示方法
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077149A (ko) * 2004-01-27 2005-08-01 엘지전자 주식회사 Ｄｖｒ시스템 녹화/재생 방법
KR20070031072A (ko) * 2005-09-14 2007-03-19 엘지전자 주식회사 디지털 비디오 레코더에서의 녹화 제어방법
KR20070066651A (ko) * 2005-12-22 2007-06-27 엘지전자 주식회사 디지털 비디오 레코더에서의 녹화 프레임 레이트 변경방법및 재생방법
KR20090021959A (ko) * 2007-08-29 2009-03-04 엘지전자 주식회사 디지털 비디오 레코더에서의 모션 검출 제어장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8830339B2 (en) * 2009-04-15 2014-09-09 Qualcomm Incorporated Auto-triggered fast frame rate digital video recording

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077149A (ko) * 2004-01-27 2005-08-01 엘지전자 주식회사 Ｄｖｒ시스템 녹화/재생 방법
KR20070031072A (ko) * 2005-09-14 2007-03-19 엘지전자 주식회사 디지털 비디오 레코더에서의 녹화 제어방법
KR20070066651A (ko) * 2005-12-22 2007-06-27 엘지전자 주식회사 디지털 비디오 레코더에서의 녹화 프레임 레이트 변경방법및 재생방법
KR20090021959A (ko) * 2007-08-29 2009-03-04 엘지전자 주식회사 디지털 비디오 레코더에서의 모션 검출 제어장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514581B2 (en) 2017-11-14 2022-11-29 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, and image capturing system
CN114598849A (zh) * 2022-05-06 2022-06-07 青岛亨通建设有限公司 一种基于物联网的建筑施工安全监控***
CN117596355A (zh) * 2024-01-19 2024-02-23 安徽协创物联网技术有限公司 一种方便安装在玻璃幕墙上的摄像头组件及移动终端设备
CN117596355B (zh) * 2024-01-19 2024-03-29 安徽协创物联网技术有限公司 一种方便安装在玻璃幕墙上的摄像头组件及移动终端设备

Also Published As

Publication number Publication date
US8311385B2 (en) 2012-11-13
US20110280541A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
KR101052207B1 (ko) 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
CN102388402B (zh) 图像处理装置及图像处理方法
US8289402B2 (en) Image processing apparatus, image pickup apparatus and image processing method including image stabilization
US10872434B2 (en) Image processing apparatus and method
JP2010258710A5 (ko)
EP2479976A1 (en) Device, method, and program for processing image
US11144762B2 (en) Image processing apparatus, image processing method, and medium
US8699750B2 (en) Image processing apparatus
CN104219455A (zh) 成像装置、检测闪烁的方法以及信息处理单元
CN101742310B (zh) 运动矢量检测装置和运动矢量处理方法
CN103577520A (zh) 目标检索装置、目标检索方法以及计算机可读取记录介质
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP6666841B2 (ja) 撮像制御装置、撮像装置、および、撮像装置の制御方法
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP5118590B2 (ja) 被写体追尾方法及び撮像装置
JP2015233270A (ja) 撮像装置およびその制御方法
JP2023165555A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JP2008211506A (ja) 画像処理装置、撮像装置及びそのプログラム
JP6063680B2 (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
JP6672085B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6272099B2 (ja) 画像処理装置、制御方法およびプログラム
JP5761991B2 (ja) 画像処理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 8