KR101272631B1 - 이동물체 감지장치 및 방법 - Google Patents

Abstract

본 발명은 영상신호 처리장치에 관한 것으로, 특히 영상내에서 이동하는 물체를 감지하는 장치 및 그 방법에 관한 것이다. 본 발명의 실시예에 따른 이동물체 감지장치 혹은 그 방법은 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 단순히 차분영상을 통해 물체의 이동을 감지하는 방법에 비해 영상 잡음(조명 변화 및 노이즈 영향)에 강인하다는 장점을 가지게 되며, 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 모션 벡터 혹은 템플릿을 이용하는 종전 방법들에 비해 물체이동 계산 과정 및 감지 구조가 단순함은 물론 고속으로 물체 이동 감지가 가능하다.

Description

이동물체 감지장치 및 방법{APPARATUS FOR DETECTING A MOVING OBJECT AND DETECTING METHOD THEREOF}

본 발명은 영상신호 처리장치에 관한 것으로, 특히 영상내에서 이동하는 물체를 감지하는 장치 및 그 방법에 관한 것이다.

보안 감시 시스템에서는 물체의 움직임을 감지하여 침입자 발생 여부를 판단하고, 침입자를 이동 추적해 가면서 보안 영상을 저장하는 방식을 채택하고 있다. 온라인 교육 시스템 혹은 원격 강의실 역시 강의자의 이동을 추적해 가면서 강의 영상을 저장하는 방식을 채택하고 있다. 이러한 시스템들은 공통적으로 타겟의 이동을 추적해 가면서 동영상을 저장하기 때문에, 기본적으로 영상내에서 이동하는 물체를 감지하는 장치 혹은 방법을 채용하고 있다.

영상내에서 이동하는 물체를 감지하는 방법은 두 프레임간의 차분 영상을 이용하는 방법과 모션 벡터를 이용하는 방법, 주어진 템플릿을 검색하는 방법이 있다. 차분 영상 신호를 이용하는 방법은 이전 프레임과 현재 입력된 프레임에서 대응되는 좌표점의 화소값을 감산하는 방법으로서, 두 프레임 사이에 약간의 움직임이라도 발생했을 경우 해당 화소는 "0"이외의 값을 가지게 되는 원리를 이용한 것이다. 즉, 두 프레임간 대응 화소들이 설정된 기준치 이상이 될 경우 물체의 출현 혹은 이동으로 인식하는 방법인 것이다. 한편 모션 벡터를 이용하는 방법은 전역 탐색(Full Search)과 같은 방법으로 현재 프레임과 이전 프레임 사이의 모션 벡터를 검출해 내고, 모션 벡터의 검출된 양이 설정된 기준치 이상일 경우 물체의 이동으로 인식하는 방법이다.

차분 영상신호를 이용하는 방법은 연산방법이 단순하여 빠른 시간 안에 물체이동을 검출할 수 있지만, 조명 변화 및 노이즈에 민감한 단점이 있다. 또한, 카메라가 정지되어 있고 물체의 움직임이 발생하지 않는다면 모든 화소의 차이 값은 "0"이 되지만, 카메라가 이동하거나 흔들릴 경우 화소값의 변화가 생겨 실제 물체의 움직임과 카메라의 움직임이나 떨림에 의한 물체의 움직임을 구분하지 못하는 경우가 발생한다.

모션 벡터를 이용하는 방법은 상대적으로 차분 영상신호를 이용한 방법에 비해 조명 변화나 노이즈에 덜 민감하고 움직임이 발생한 물체의 이동방향을 알 수 있다는 장점은 있지만, 이 방법 역시 물체의 움직임과 카메라의 움직임으로 인한 모션 벡터 발생의 차이점을 구분하지 못한다. 또한 모션 벡터를 이용하는 방법과 템플릿 검색 방법은 시스템의 복잡도가 높아져 실시간 어플리케이션의 경우 시스템의 제약 및 단가가 높아지는 문제가 있다.

제한된 시스템의 환경에서 실시간으로 영상 내 이동 물체를 감지하기 위해서는 차분 영상에 대하여 이동 물체를 강인하게 검출해야 하고 검출 방법 역시 간단해야 한다. 따라서 보다 향상된 성능을 보이는 이동물체 감지장치 및 방법이 요구된다.

이에 본 발명의 목적은 외부 잡음에 강하고 고속으로 명확하게 물체의 움직임을 감지할 수 있는 이동물체 감지장치 및 그 방법을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 간단한 구성만으로 영상내 이동물체의 이동을 감지하여 이동물체를 추적 촬영할 수 있는 이동물체 감지장치 및 그 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 이동물체 감지장치는 실시예로서 보안 감시 시스템 혹은 온라인 교육 시스템 등에 탑재 혹은 별도 장치로 연결되어 사용 가능한 장치로서,

입력 영상의 색상정보에서 휘도 성분을 추출하기 위한 휘도성분 추출부와;

입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성하기 위한 차분 영상 생성부와;

생성된 차분 영상을 1차원 투영하여 투영정보를 생성하기 위한 투영정보 생성부와;

투영된 1차원 정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하는 물체이동 판별부;를 포함함을 특징으로 하며,

더 나아가 상기 물체이동 판별부로부터 전달되는 물체의 이동변위량 만큼 물체 추적 카메라를 이동시키는 카메라 이동부;를 더 포함함을 부가적인 특징으로 한다.

본 발명의 또 다른 실시예로서 상기 장치들의 투영정보 생성부는 생성된 차분 영상의 x축 좌표 각각에 대하여 y축 좌표를 변경해 가면서 그 변경 좌표 화소의 차분영상 휘도를 임계치와 비교하여 만들어지는 정규화 값들을 누적하여 투영정보(P(x))를 생성함을 특징으로 하며,

상기 물체이동 판별부는 투영정보(P(x))중 최대값을 가지는 x축 좌표를 물체의 현재 위치로 결정하고, 실시간 변경 결정되는 x축 좌표의 이동변위를 물체의 이동변위로 계산함을 특징으로 한다.

더 나아가 본 발명의 실시예에 따른 이동물체 감지방법은 실시예로서 보안 감시 시스템 혹은 온라인 교육 시스템의 제어부에서 실행 가능한 방법으로서,

입력 영상의 색상정보에서 휘도 성분을 추출하는 단계와;

입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성하는 단계와;

생성된 차분 영상을 1차원 투영하여 투영정보를 생성하는 단계와;

투영된 1차원 정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하는 단계;를 포함함을 특징으로 하며,

경우에 따라서는 물체이동 판별시 계산된 물체의 이동변위량 만큼 물체 추적 카메라를 이동 제어하는 단계;를 더 포함함을 특징으로 한다.

또한 변형 실시예로서 상기 방법들의 투영정보 생성 단계는 생성된 차분 영상의 x축 좌표 각각에 대하여 y축 좌표를 변경해 가면서 그 변경 좌표 화소의 차분영상 휘도를 임계치와 비교하여 만들어지는 정규화 값들을 누적하여 투영정보(P(x))를 생성함을 특징으로 하며,

상기 물체이동을 판별하는 단계는 상기 누적된 투영정보(P(x))중 최대값을 가지는 x축 좌표를 물체의 현재 위치로 결정하고, 실시간 변경 결정되는 x축 좌표의 이동변위를 물체의 이동변위로 계산하여 물체이동을 판별함을 특징으로 한다.

상술한 바와 같은 본 발명의 실시예에 따른 이동물체 감지장치와 그 방법은, 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 단순히 차분영상을 통해 물체의 이동을 감지하는 방법에 비해 영상 잡음(조명 변화 및 노이즈 영향)에 강인하다는 장점이 있다.

더 나아가 본 발명의 실시예에 따른 이동물체 감지장치와 그 방법은 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 모션 벡터 혹은 템플릿을 이용하는 종전 방법들에 비해 물체이동 계산 과정 및 감지 구조가 단순함은 물론 고속으로 물체 이동 감지가 가능하다는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 이동물체 감지장치의 주변 블럭 구성도.
도 2는 본 발명의 일실시예에 따른 이동물체 감지장치의 블럭 구성도.
도 3은 본 발명의 일실시예에 따른 이동물체 감지 흐름도.
도 4 내지 도 6은 본 발명의 일실시예에 따른 이동물체 감지방법을 설명하기위한 영상 예시도.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 하기에서는 본 발명의 실시예에 따른 이동물체 감지장치를 일 구성요소로 하는 온라인 교육 시스템을 예로 들어 설명하기로 하며, 이러한 온라인 교육 시스템의 일반적인 공지 기능 및 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있는 경우 그에 대한 상세 설명은 생략하기로 한다.

도 1은 본 발명의 일실시예에 따른 이동물체 감지장치의 주변 블럭 구성도를 도시한 것으로, 보다 구체적으로는 온라인 교육 시스템의 전체 구성도를 예시한 것이다. 도 1에서 카메라(100)는 이동물체에 해당하는 강의자의 영상을 녹화하기 위한 것으로 강의자의 영상을 획득하여 이동물체 감지장치(200)로 제공한다. 이러한 카메라(100)는 이동물체 감지장치(200) 혹은 별도의 카메라 구동부에 의해 상하좌우 방향으로 이동 가능한 기계적 구조를 갖는다. 상기 카메라(100) 외에 온라인 교육 시스템은 교재, 강의 영상을 얻기 위해 필요한 다수의 카메라를 더 구비할 수 있다.

이동물체 감지장치(200)는 카메라(100)로부터 입력되는 영상에서 휘도 성분을 추출하고, 입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성한후, 그 생성된 차분 영상을 1차원 투영하여 얻어진 투영정보로부터 물체(강의자)의 이동변위를 계산하여 물체이동을 판별한다. 이러한 이동물체 감지장치(200)는 물체에 해당하는 강의자의 이동이 있으면 그에 따라 직접 카메라(100)의 이동을 제어할 수 있고, 별도의 카메라 구동부를 통해 카메라(100)의 이동이 이루어지도록 할 수도 있다.

참고적으로 메인 서버(300)는 온라인 교육을 위해 필요한 강의영상물을 카메라(100) 혹은 강의물 편집자 단말로부터 제공받아 이를 저장 관리하며, 클라이언트 요구시 온라인 교육물을 제공하는 역할을 한다. 유무선 통신망을 통해 온라인 교육 시스템(100,200,300)의 메인서버(300)에 접속 가능한 클라이언트 단말기들(400)은 메인서버(300)로부터 온라인 교육물을 전송받아 클라이언트에게 표출해 준다.

이하 상술한 온라인 교육 시스템을 구성하는 이동물체 감지장치(200)의 구성 및 동작을 첨부 도면을 참조하여 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 이동물체 감지장치의 블럭 구성도를 도시한 것이며, 도 3은 본 발명의 일실시예에 따른 이동물체 감지 흐름도를, 그리고 도 4 내지 도 6은 본 발명의 일실시예에 따른 이동물체 감지방법을 설명하기 위한 영상을 예시한 것이다.

우선 도 2를 참조하면, 이동물체 감지장치(200)의 휘도성분 추출부(210)는 카메라(100) 입력 영상의 색상정보에서 휘도 성분을 추출한다. 참고적으로 카메라 입력 영상의 각 단위 영상(예를 들어 화소)의 색상정보는 RGB 포맷, YUV포맷으로 표현될 수 있다. RGB 포맷은 각 단위 영상이 빛의 3원색(R,G,B)을 포함하고 있는 정도로 색상을 표현하는 방식이다. YUV 포맷은 색상정보에서 휘도(밟기) 성분을 분리하여 표시하는 형태로, 각 단위 영상의 색상정보는 휘도성분(Y), 휘도성분과 청색성분의 차이(U), 휘도성분과 적색성분의 차이(V)로 표현된다. 따라서 YUV 포맷으로 색상정보를 표현하는 경우 Y값을 독출함으로써, 색상정보에서 휘도정보를 분리할 수 있다. 또한 RGB 포맷으로 색상정보가 표현되어 있는 경우에도 RGB 포맷을 YUV 포맷으로 변환하여 Y값을 구함으로써, 색상정보에서 휘도정보를 분리할 수 있다. 이때 RGB 포맷은 하기 수학식 1을 이용하여 YUV 포맷으로 변환할 수 있다.

한편 차분 영상 생성부(220)는 현재 입력되는 영상 프레임과 프레임 메모리에 저장된 한 프레임 이전 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성하는 역할을 수행한다. 차분 영상의 생성은 하기 수학식 2와 같은 방법을 통해 생성할 수 있다.

상기 수학식 2에서 0≤ x < W이고 0≤ y < H 이다. 그리고 차분 영상의 (x,y) 위치 화소를 D(x,y)로 한다면, 현재 프레임 Fn 영상의 (x,y) 위치 화소와 과거 프레임

영상의 (x,y) 위치 화소의 차이값에 절대값을 D(x,y)로 둘 수 있다. 참고적으로 W는 영상의 가로축 크기이며, H는 영상의 세로축 크기이다.

도 2에서 투영정보 생성부(230)는 상기 차분영상 생성부(220)에서 생성된 차분 영상을 1차원 투영하여 투영정보 P(x)를 생성한다. 투영정보 P(x)는 하기 수학식 3을 통해 구할 수 있다.

상기 수학식 3에서 0≤ x < W이고 0≤ y < H 이다. 그리고 민감도를 조절할 수 있는 임계값인 TH1 값은 0에서 255 사이의 값으로서, 사용자가 설정할 수 있으며 '0'에 가까워질수록 민감도가 높아진다. 즉, 투영정보 생성부(230)는 생성된 차분 영상의 x축 좌표 각각에 대하여 y축 좌표를 변경해 가면서 그 변경 좌표 화소의 차분영상 휘도를 임계치(TH1)와 비교하여 만들어지는 정규화 값(C(x,y))들을 누적하여 투영정보(P(x))를 생성한다.

마지막으로 물체이동 판별부(240)는 투영정보 생성부(230)에서 생성된 투영 1차원 정보로부터 물체의 이동변위를 계산하여 물체이동을 판별한다. 이러한 물체이동 판별부(240)는 변위 범위내(0≤x<W)에서 투영정보(P(x))중 최대값(M)을 가지는 x축 좌표를 물체의 현재 위치로 결정하고, 실시간 변경될 수 있는 최대값(M)을 가지는 x축 좌표의 이동변위를 물체의 이동변위로 계산한다. 이를 수식화하면 하기 수학식 4와 같다.

상술한 휘도성분 추출부(210), 차분영상 생성부(220), 투영정보 생성부(230), 물체이동 판별부(240) 외에 물체이동 판별부(240)로부터 전달되는 물체의 이동변위량 만큼 물체 추적 카메라(100)를 이동시키는 카메라 이동부(250)를 더 포함하여 이동물체 감지장치(200)를 구현할 수도 있다.

이하 상술한 이동물체 감지장치(200)의 동작을 도 3을 참조하여 부연 설명하면,

우선 카메라(100)를 통해 입력된 영상은 휘도성분 추출부(210)로 입력된다. 이에 휘도성분 추출부(210)는 수학식 1에 기초하여 입력 영상의 색상정보에서 휘도 성분을 추출한다(S10단계). 참고적으로 도 4는 카메라(100)를 통해 입력된 영상인 것으로 가정하기로 한다. 입력 영상의 색상정보에서 휘도성분이 추출되면, 이후 차분영상 생성부(220)는 입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성한다(S12단계). 차분 영상은 상기 수학식 2에 기초하여 생성되며 그 예를 도 5에 예시하였다. 도 5에서는 차분 영상에 대하여 특정 휘도 차이 이상의 강한 차이를 나타내는 부분을 강조하기 위해서 붉은 색으로 표시하였다.

차분 영상이 생성되면 이후 투영정보 생성부(230)는 생성된 차분 영상을 상기 수학식 3에 기초하여 1차원 투영정보를 생성(S14단계)한다. 도 6은 도 5의 차분영상을 바탕으로 생성한 투영정보 P(x)의 예이다.

만약 변위 범위내(0≤x<W)에서 투영정보 P(x)가 생성되었다면, 이후 물체이동 판별부(240)는 투영정보(P(x))중 최대값(M)을 가지는 x축 좌표를 물체의 현재 위치로 결정한다. 그리고 이동물체 감지 프로세스가 종료되지 않는 이상 상술한 S10 단계 내지 S14단계가 반복 수행됨으로써, 물체이동 판별부(240)는 실시간 변경될 수 있는 최대값(M)을 가지는 x축 좌표의 이동변위를 물체의 이동변위로 계산할 수 있게 되는 것(S16단계)이다. 이와 같이 투영정보(P(x))중 최대값(M)을 가지는 x축 좌표가 좌 혹은 우로 이동하여 물체의 이동변위 계산이 완료되었다면, 물체이동 판별부(240)는 계산된 이동변위량에 근거하여 물체이동을 판별(S18단계)할 수 있고 그 값을 외부장치인 카메라 구동부로 제공하여 카메라(100)를 이동시키도록 유도할 수 있다. 만약 이동물체 감지장치(200)내에 카메라 이동부(250)가 구비되는 시스템이라면, 물체이동 판별부(240)는 물체이동 판별시 계산된 물체의 이동변위량을 카메라 이동부(250)에 제공한다. 이로써 카메라 이동부(250)는 계산된 물체의 이동변위량 만큼 물체 추적 카메라(100)를 이동 제어함으로써, 결과적으로 이동하는 물체, 예를 들면 강의자를 정상적으로 추적해 가면서 온라인 강의 영상물을 정상적으로 녹화할 수 있게 되는 것이다.

이상 설명한 본 발명의 실시예를 참조해 볼때, 본 발명은 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 단순히 차분영상을 통해 물체의 이동을 감지하는 방법에 비해 영상 잡음(조명 변화 및 노이즈 영향)에 강인하다는 장점을 가지게 되며, 생성된 차분 영상을 1차원 투영하여 투영정보를 생성하고 그 생성된 투영정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하기 때문에, 모션 벡터 혹은 템플릿을 이용하는 종전 방법들에 비해 물체이동 계산 과정 및 감지 구조가 단순함은 물론 고속으로 물체 이동 감지가 가능하다.

100: 카메라 200: 이동물체 감지장치
300: 메인서버 400: 클라이언트 단말기
210: 휘도성분 추출부 220: 차분영상 생성부
230: 투영정보 생성부 240: 물체이동 판별부
250: 카메라 이동부

Claims (8)

1. 이동물체 감지장치에 있어서,
   입력 영상의 색상정보에서 휘도 성분을 추출하기 위한 휘도성분 추출부와;
   입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성하기 위한 차분 영상 생성부와;
   생성된 차분 영상을 1차원 투영하여 투영정보를 생성하기 위한 투영정보 생성부와;
   투영된 1차원 정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하는 물체이동 판별부;를 포함하고,
   상기 투영정보 생성부는, 생성된 차분 영상의 x축 좌표 각각에 대하여 y축 좌표를 변경해 가면서 그 변경 좌표 화소의 차분영상 휘도를 임계치와 비교하여 만들어지는 정규화 값들을 누적하여 투영정보(P(x))를 생성함을 특징으로 하는 이동물체 감지장치.
2. 청구항 1에 있어서, 상기 물체이동 판별부로부터 전달되는 물체의 이동변위량 만큼 물체 추적 카메라를 이동시키는 카메라 이동부;를 더 포함함을 특징으로 하는 이동물체 감지장치.
3. 삭제
4. 청구항 1에 있어서, 상기 물체이동 판별부는,
   투영정보(P(x))중 최대값을 가지는 x축 좌표를 물체의 현재 위치로 결정하고, 실시간 변경 결정되는 x축 좌표의 이동변위를 물체의 이동변위로 계산함을 특징으로 하는 이동물체 감지장치.
5. 이동물체 감지방법에 있어서,
   입력 영상의 색상정보에서 휘도 성분을 추출하는 단계와;
   입력 영상 프레임과 과거 입력 영상 프레임간 동일 위치의 휘도 차이 값으로 차분 영상을 생성하는 단계와;
   생성된 차분 영상을 1차원 투영하여 투영정보를 생성하는 단계와;
   투영된 1차원 정보로부터 물체의 이동변위를 계산하여 물체이동을 판별하는 단계;를 포함하고,
   상기 투영정보 생성 단계는, 생성된 차분 영상의 x축 좌표 각각에 대하여 y축 좌표를 변경해 가면서 그 변경 좌표 화소의 차분영상 휘도를 임계치와 비교하여 만들어지는 정규화 값들을 누적하여 투영정보(P(x))를 생성함을 특징으로 하는 이동물체 감지방법.
6. 청구항 5에 있어서, 물체이동 판별시 계산된 물체의 이동변위량 만큼 물체 추적 카메라를 이동 제어하는 단계;를 더 포함함을 특징으로 하는 이동물체 감지방법.
7. 삭제
8. 청구항 5에 있어서, 상기 물체이동을 판별하는 단계는,
   상기 누적된 투영정보(P(x))중 최대값을 가지는 x축 좌표를 물체의 현재 위치로 결정하고, 실시간 변경 결정되는 x축 좌표의 이동변위를 물체의 이동변위로 계산하여 물체이동을 판별함을 특징으로 하는 이동물체 감지방법.

Images