KR101305959B1

KR101305959B1 - 템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치

Info

Publication number: KR101305959B1
Application number: KR1020110143359A
Authority: KR
Inventors: 정일균; 김승훈
Original assignee: 전자부품연구원
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2013-09-12
Also published as: WO2013100624A1; US9323986B2; KR20130075131A; US20140307922A1

Abstract

본 발명은 템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치에 관한 것으로, 이러한 본 발명은 복수의 영역으로 구분되며, 구분된 영역 각각에 대해 구분된 영역 각각의 특징을 정의하는 템플릿이 설정된 영상을 촬영하는 카메라부와, 상기 영상에서 객체를 검출하고, 상기 검출된 객체가 속한 상기 영역과 매핑되는 상기 템플릿에 따라 상기 객체에 대한 상황을 판단하는 제어부를 포함하는 영상 기반 상황 인식 장치를 제공하며, 이러한 상황 인식 장치의 동작 방법을 제공한다.

Description

템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치{A method for perception of situation based on image using template and an apparatus thereof}

본 발명은 상황 인식 기술에 관한 것으로, 특히, 영상 기반으로 객체를 검출하여 검출된 객체와 미리 설정 및 저장된 템플릿을 기초로 상황을 인식하기 위한 방법 및 이를 위한 장치에 관한 것이다.

자동차를 이용하는 인구의 증가로 보다 편하고 안전한 차량의 개발에 대한 관심이 높아져 가고 있다. 특히, 차량의 지속적인 증가와 도로 증가의 제한성 및 운용의 비효율성으로 인해 해마다 많은 인적, 물적 손실을 입고 있는 실정이다. 이런 증가하는 차량에 비해서 이를 수용하는 기반시설인 도로 신설의 제한과 확충의 속도가 따라가지 못하면서 발생한다. 부가적으로 파생되는 많은 교통과 환경의 악영향을 최소화 하고자, 기존의 도로 및 차량에 첨단 전자, 정보 통신 기기와 제어기기 등을 설치하여 차량 운행의 안전성을 높이기 위한 연구가 다양하게 이루어지고 있다. 지능형 교통 시스템이 위의 문제점의 해결책으로 첨단 데이터 통신 기술을 이용하여 사람과 도로, 자동차를 통합한 시스템을 구축함으로써 도로 관리의 효율성 증대, 교통 관리의 최적화, 안전 주행 등을 제공하고 있다. 이런 지능형 교통 시스템은 현재의 교통체계로 인한 문제점을 해결하고, 교통체증의 감소, 교통 흐름의 원할, 에너지 절감, 운전자 및 차량의 안전성 증대 등의 목적을 이루기 위해서 다수의 국가에서 활발히 연구가 추진되고 있다. 특히 CCD 카메라를 이용하여 영상 정보를 처리하여 도로, 도로의 경계, 차선 등을 인식하는 컴퓨터 비전 분야가 있다. 이러한 종래의 기술은 단순히 객체를 검출할 뿐이어서 검출된 객체와 관련된 상황을 인지할 수 있는 등의 지능적인 정보의 활용이 요구되고 있다.

상술한 바와 같은 점을 감안한 본 발명의 목적은 영상 기반으로 객체를 검출하여 검출된 객체와 미리 설정 및 저장된 템플릿을 기초로 상황을 인식하기 위한 방법 및 이를 위한 장치를 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 영상 기반 상황 인식 장치는, 복수의 영역으로 구분되며, 구분된 영역 각각에 대해 구분된 영역 각각의 특징을 정의하는 템플릿이 설정된 영상을 촬영하는 카메라부와, 상기 영상에서 객체를 검출하고, 상기 검출된 객체가 속한 상기 영역과 매핑되는 상기 템플릿에 따라 상기 객체에 대한 상황을 판단하는 제어부를 포함한다.

상기 템플릿은 상기 영역에서 검출되는 객체의 종류를 정의하는 것을 특징으로 한다.

상기 제어부는 상기 템플릿이 정의하는 객체의 종류를 참조하여, 상기 영역에서 객체를 검출하는 것을 특징으로 한다.

상기 템플릿은 상기 영역에서 검출되는 객체의 행동 특징을 정의하는 하는 것을 특징으로 한다.

상기 제어부는 상기 템플릿이 정의하는 객체의 행동 특징과 상기 영역에서 검출된 객체의 행동을 비교하여, 상기 객체에 대한 상황을 판단하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 영상 기반 상황 인식 방법은, 복수의 영역으로 구분되며, 구분된 영역 각각에 대해 구분된 영역 각각에 대한 특징을 정의하는 템플릿이 설정된 영상을 촬영하는 단계와, 상기 영상에서 객체를 검출하는 단계 및 상기 검출된 객체가 속한 상기 영역과 매핑되는 템플릿에 따라 상기 객체에 대한 상황을 판단하는 단계를 포함한다.

상기 템플릿은 상기 영역에서 검출되는 객체의 종류를 정의하며, 상기 검출하는 단계는 상기 템플릿이 정의하는 객체의 종류를 참조하여, 상기 영역에서 객체를 검출하는 것을 특징으로 한다.

상기 템플릿은 상기 영역에서 검출되는 객체의 행동 특징을 정의하며, 상기 판단하는 단계는 상기 템플릿이 정의하는 객체의 행동 특징과 상기 영역에서 검출된 객체의 행동을 비교하여, 상기 객체에 대한 상황을 판단하는 것을 특징으로 한다.

상술한 바와 같이 본 발명은 영상 기반으로 객체를 검출하여 검출된 객체와 미리 설정 및 저장된 템플릿에 따라 상황을 인식할 수 있어, 보다 다양하고 정확한 정보를 제공할 수 있다. 더 나아가, 사용자의 제어 없이도 다양한 판단과 결정을 내릴 수 있어, 이를 이용하는 산업 분야에서는 효율적이며, 비용을 줄일 수 있다.

도 1은 본 발명의 실시예에 따른 영상을 기반으로 하는 상황 인식 장치를 설명하기 위한 블록도.
도 2는 본 발명의 실시예에 따른 템플릿을 이용한 영상 기반 상황 인식 방법을 설명하기 위한 화면 예.
도 3 및 도 4는 템플릿을 이용한 영상 기반 상황 인식 방법을 설명하기 위한 다른 화면 예.
도 5는 본 발명의 실시예에 따른 영상 기반 상황 인식 방법을 설명하기 위한 흐름도.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다. 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

도 1은 본 발명의 실시예에 따른 영상을 기반으로 하는 상황 인식 장치를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 상황 인식 장치(100)는 영상을 촬영하여 촬영된 영상으로부터 객체를 인식하며, 인식된 객체에 대한 상황을 판단하여, 그 결과를 출력하기 위한 장치이다. 이를 위한 상황 인식 장치(100)는 카메라부(110), 저장부(120), 표시부(130), 입력부(140) 및 제어부(150)를 포함한다.

카메라부(110)는 영상을 촬영하기 위한 것으로, 렌즈, 광학 센서, 신호처리 모듈 및 영상처리모듈을 구비할 수 있다. 광학 센서는 렌즈를 통해 영상을 촬영하며, 촬영된 영상인 광학적 영상을 아날로그의 전기적 영상으로 변환한다. 광학 센서는 CCD(Charge Coupled Device) 센서를 사용함이 바람직하다. 신호처리 모듈은 광학 센서로부터 출력되는 아날로그 영상을 디지털 영상으로 변환한다. 여기서 신호처리장치는 DSP(Digital Signal Processor)로 구현함이 바람직하다. 영상처리 모듈은 신호처리 모듈에서 출력되는 디지털 영상을 표시부(또는 다른 표시 장치)에 맞춰 표시할 수 있도록 가공하여 출력한다.

저장부(120)는 소위 하드디스크(hard disk)와 같은 스토리지 디바이스(storage device), 소위 디램(DRAM)과 같은 메모리(memory)를 포함하며, 스토리지 디바이스 및 메모리는 착탈 가능한 형태로 구현될 수 있다. 저장부(120)는 착탈 가능하도록 소정의 착탈 장비를 포함하여 구성될 수 있다. 이러한 저장부(120)는 본 발명의 실시예에 따른 필요한 데이터를 저장할 수 있다. 예컨대, 저장부(120)는 앞서 설명된 각 영역들에 매핑되는 템플릿을 저장할 수 있다. 저장부(120)는 주 기억 장치 및 보조 기억 장치를 포함한다. 이러한 저장부(120)는 운영 체제, 본 발명의 실시예에 따른 상황 인식 방법을 수행하는 어플리케이션 등을 저장할 수 있다. 저장부(120)에 저장되는 데이터 등은 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.

표시부(130)는 카메라부(110)로부터 출력되는 영상 또는 카메라부(110)로부터 출력된 영상이 제어부(150)에 의해 가공되어 출력되는 영상을 표시하기 위한 것이다. 이러한 표시부(130)는 터치스크린 형태로 형성될 수 있다. 터치스크린 형태로 표시부(130)가 형성된 경우, 표시부(130)는 입력부(140) 역할의 일부 또는 전부를 수행할 수 있다.

입력부(140)는 사용자의 명령, 선택, 데이터, 정보 중에서 어느 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다. 그리고 입력부(140)는 사용자의 키 입력을 감지하여, 감지된 키 입력에 따른 입력 신호를 제어부(150)로 전달한다. 예컨대, 입력부(140)는 키보드, 키패드, 마우스, 조이스틱 등과 같은 통상적인 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 이러한 입력부(140)의 기능은 표시부(130)가 터치스크린 형태인 경우, 터치스크린에 포함될 수 있다.

제어부(150)는 운영 체제 및 어플리케이션 등을 실제로 구동시키는 프로세스 장치가 될 수 있다. 예컨대, 제어부(150)는 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다. 제어부(150)는 상황 인식 장치의 전원이 켜지면, 운영 체제(OS, Operation System)를 저장부(130)의 보조 기억 장치로부터 주 기억 장치로 이동시킨 후, 운영 체제를 구동하는 부팅(booting)을 수행한다. 또한, 제어부(150)는 사용자의 조작에 따른 어플리케이션의 실행의 요청이 있는 경우, 저장부(140)에 미리 저장된 어플리케이션을 로드하여 실행시킬 수 있다.

특히, 제어부(150)는 카메라부(110)로부터 입력되는 영상으로부터 객체를 인식할 수 있다. 예컨대, 제어부(150)는 카메라부(110)를 통해 영상이 입력되면, 그 영상을 미리 저장된 템플릿이 설정된 복수의 영역으로 구분하며, 구분된 복수의 영역 중 어느 하나의 영역에서 객체를 검출할 수 있다.

템플릿은 특정 영역에서 검출되는 객체의 종류를 기술하며, 이러한 객체의 검출되는 특징을 기술한다. 예컨대, 차도에 매핑된 템플릿은 차도에서 검출되는 차량의 모양, 색 등을 기술할 수 있다. 따라서 제어부(150)는 특정 영역에 매핑된 템플릿에 기술된 객체의 종류 및 객체의 특징 등을 참조하여, 특정 영역에서 객체를 검출할 수 있다. 예컨대, 제어부(150)는 구분된 어느 하나의 영역이 차도일 때, 차도에 매핑된 템플릿을 참조하여 차도에서 객체인 차량을 검출할 수 있다. 영상 기반 객체 인식 방법은 다양한 방법이 있으나, 본 발명에서는 컬러 기반 객체 인식 방법을 사용하는 것으로 가정한다. 하지만, 본 발명에서 객체 인식 방법을 이에 한정하는 것은 아니다. 컬러 기반 객체 인식을 사용할 때, 제어부(150)는 템플릿에 기술된 차량의 색 및 외형을 참조하여 객체 인식은 차도의 색인 회색과 차량의 색을 구분하여 그 객체인 차량을 검출할 수 있다.

또한, 템플릿은 특정 영역에서 검출되는 객체의 행동(동작)의 특징을 정의한다. 템플릿은 차도에서 차량의 행동의 특징을 정의할 수 있으며, 예컨대, 우리나라와 같이, 차량 통행 방향이 오른쪽인 경우, 그 차량의 통해 방향을 오른쪽으로 정의할 수 있다. 따라서, 제어부(150)는 특정 영역에서 검출된 객체의 행동을 템플릿에 정의된 객체의 행동과 비교하여 객체에 대한 상황을 판단할 수 있다. 예컨대, 제어부(150)는 템플릿에 정의된 통행 방향에 배치되는 차량이 역주행을 하고 있음을 판단할 수 있다. 그리고, 제어부(150)는 객체에 대한 상황을 판단한 결과를 출력할 수 있다.

도 2는 본 발명의 실시예에 따른 템플릿을 이용한 영상 기반 상황 인식 방법을 설명하기 위한 화면 예이다.

도 2에서 도면 부호 (가)는 카메라부(110)를 통해 촬영된 영상을 도시한다. 본 발명의 실시예에 따르면, (가)와 같은 영상을 복수의 영역으로 구분할 수 있다. 이러한 화면 예는 도면 부호 (나)에 도시된 바와 같다. (나)에 보인 바와 같이 영상을 복수의 영역 A, B, C, D, E, F 및 G로 나타내었다. 영역 B 및 E는 보도이며, 영역 G는 횡단보도이다. 또한, 영역 C 및 D는 차도임을 알 수 있다. 그리고, 영역 A 및 G는 보도도 차도도 아닌 나대지임을 알 수 있다. 본 발명에 따르면, 이와 같이, 각 영역을 구분하고, 구분된 영역 중 동일한 특징을 가진 영역을 분류하여, 각 영역에 대해 설명하는 템플릿을 설정한다. 이러한 화면 예를 도면 부호 (다)에 도시하였다.

이러한 템플릿의 의미는 다음의 <표 1>과 같다.

템플릿	의미
[0]	인도
[1]	배경(나대지)
[2X]	차도
[X0]	← 방향
[X1]	→ 방향
...	...

<표 1>을 참조하면, 영상 (다)에 도시된 바와 같이, 영역 B 및 E는 모두 동일하게 분류될 수 있는 인도임으로, 템플릿 "[0]"이 설정된다. 또한, 영역 G는 횡단보도임으로 템플릿 "[44]"가 설정된다. 영역 A 및 G는 나대지임으로 템플릿 "[1]"이 설정된다. 그리고 영역 C 및 D는 동일하게 차도이지만, 각각 "[20]" 및 "[21]"로 구분하여 템플릿을 설정한다. 즉, 템플릿 "[20]"은 [2X]에 의해 차도이되, [X0]에 의해 차량 진행 방향이 ← 방향인 차도임을 나타낸다. 이에 대응하여 템플릿 "[21]"은 차도이되, 차량 진행 방향이 → 방향인 차도임을 나타낸다. 즉, 동일한 차도에서 차량의 진행 방향에 따라 구분한 것이다. 각 템플릿의 정의된 특징에 따라 해당 영역에서의 객체 검출의 정확도를 높이고, 해당 영역에서 검출된 객체에 대한 상황을 인지할 수 있도록 하기 위한 것이다.

본 발명의 실시예에서 템플릿은 객체 검출의 정확도를 향상시키기 위하여, 해당 영역에서 검출되는 객체의 종류를 정의한다. [0]은 인도이므로 [0]에서 검출되는 객체는 사람인 확률이 높다. 또한, [21]은 → 방향 차도이므로 검출되는 객체는 차량일 확률이 높다. 따라서 각 영역에서 객체를 검출할 때, 템플릿을 참조하여, 객체를 검출하면, 객체 검출의 정확도를 향상시킬 수 있다. 예컨대, [21]은 → 방향 차도이므로 검출되는 객체는 차량일 확률이 높음으로, 차량의 형상을 예정하고, 윤곽을 검출하는 경우, 그 검출의 효율 및 정확도를 향상시킬 수 있다.

또한, 본 발명의 실시예에서 템플릿은 상황 인지의 신뢰성 향상시키기 위하여, 해당 영역에서 검출되는 객체의 행동 특징을 정의한다. 예컨대, [2X]는 차도임을 나타내며, [X0]은 ← 방향을 나타낸다. 따라서 [20]에서 검출되는 객체는 차량일 가능성이 높으며, 만약, 검출된 객체가 차량이라면, 그 차량은 ← 방향으로 이동해야한다. 하지만, [20]에서 → 방향으로 객체(차량)가 움직이면, 해당 차량이 역주행하는 것으로 판단할 수 있다. 또한, [0]은 인도임을 나타낸다. 템플릿 [0]이 매핑된 영역에서 객체로 차량이 검출된다면, 차량이 인도로 침범한 것으로 판단할 수 있다.

본 발명에 실시예에 따르면, 상황 인식 장치(100)는 상술한 바와 같이, 객체에 대한 상황을 판단하고, 판단된 상황에 따른 처리를 수행한다. 예컨대, 차량이 역주행하는 것으로 판단하거나, 차량이 인도로 침범한 것으로 판단한 경우, 이러한 상황 판단을 출력하여 사용자에게 경고할 수 있다.

도 3 및 도 4는 템플릿을 이용한 영상 기반 상황 인식 방법을 설명하기 위한 다른 화면 예이다.

도 3 및 도 4를 참조하면, (라) 및 (바)와 같은 영상을 복수의 영역으로 구분하고, 각 영역에 대해 템플릿을 설정하였다. 템플릿을 설정한 화면 예를 (마) 및 (사)에 나타내었다. 도 2 및 <표 1>에서 설명된 바와 같이, 템플릿 [0]은 인도이며, 템플릿 [1]은 배경(나대지)이며, 템플릿 [1X], [2X], [3X] 및 [4X]는 차도이다. 그리고 템플릿 [X0]은 ← 방향을 나타내며, 템플릿 [X1]은 → 방향을 나타낸다. 위와 같은 방법으로 카메라에서 입력되는 영상을 바탕으로 템플릿을 만들어 의미를 부여하면 객체 검출 정확도 향상 및 상황 인지 신뢰성을 향상 시킬 수 있다.

도 5는 본 발명의 실시예에 따른 영상 기반 상황 인식 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 상황 인식 장치(100)는 S510 단계에서 카메라부(110)를 통해 영상을 획득한다.

그런 다음, 상황 인식 장치(100)는 S520 단계에서 획득한 영상으로부터 템플릿을 참조하여 객체를 검출한다. 도 2 내지 도 4에서 보인 바와 같이, 상황 인식 장치(100)는 템플릿을 참조하여, 각 영역이 인도인지 혹은 차도인지 여부를 알 수 있으며, 각 영역에서 검출될 객체를 예상할 수 있다. 이와 같이, 템플릿을 참조하여 객체를 검출한다면, 즉, 템플릿 [0]은 인도를 나타내므로, [0]에서 검출되는 객체는 사람인 확률이 높고, 템플릿 [2X]는 차도이므로, 검출되는 객체는 차량일 확률이 높다. 따라서 각 영역에서 객체를 검출할 때, 템플릿을 참조하여, 객체를 검출하면, 객체 검출의 정확도를 향상시킬 수 있다.

상황 인식 장치(100)는 S530 단계에서 검출된 객체가 속한 영역의 템플릿을 참조하여, 객체에 대한 현재 상황을 판단한다. 또한, 본 발명의 실시예에서는 템플릿은 해당 영역에서 검출되는 객체의 행동 특징을 정의함으로, 상황 인식 장치(100)는 템플릿에 정의된 객체의 행동 특징과 검출된 객체의 행동을 비교하여 객체에 대한 상황을 판단한다. 예컨대, [2X]는 차도임을 나타내며, [X0]은 ← 방향을 나타낸다. 따라서 [20]에서 검출되는 객체는 차량일 가능성이 높으며, 만약, 검출된 객체가 차량이라면, 그 차량은 ← 방향으로 이동해야한다. 하지만, [20]에서 → 방향으로 객체(차량)가 움직이면, 해당 차량이 역주행하는 것으로 판단할 수 있다. 또한, [0]은 인도임을 나타낸다. 템플릿 [0]이 매핑된 영역에서 객체로 차량이 검출된다면, 차량이 인도로 침범한 것으로 판단할 수 있다.

객체에 대한 상황을 판단한 후, 상황 인식 장치(100)는 S540 단계에서 인식된 객체에 대한 상황을 출력한다. 즉, 상황 인식 장치(100)는 판단된 상황에 따른 처리를 수행한다. 예컨대, 차량이 역주행하는 것으로 판단하거나, 차량이 인도로 침범한 것으로 판단한 경우, 이러한 상황 판단을 출력하여 사용자에게 경고할 수 있다.

상술한 본 발명의 실시예에 따른 영상 기반 상황 인식 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함 할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

100: 상황 인식 장치
110: 카메라부
120: 저장부
130: 표시부
140: 입력부
150: 제어부

Claims

영상 기반 상황 인식 장치에 있어서,
복수의 영역으로 구분되며, 구분된 영역 각각에 대해 구분된 영역 각각의 특징을 정의하는 템플릿이 설정된 영상을 촬영하는 카메라부;
상기 영상에서 객체를 검출하고, 상기 검출된 객체가 속한 상기 영역과 매핑되는 상기 템플릿에 따라 상기 객체에 대한 상황을 판단하는 제어부;를 포함하고,
상기 템플릿은 상기 영역에서 검출되는 객체의 행동 특징을 정의하며,
상기 제어부는 상기 템플릿이 정의하는 객체의 행동 특징과 상기 영역에서 검출된 객체의 행동을 비교하여, 상기 객체에 대한 상황을 판단하는 것을 특징으로 하는 영상 기반 상황 인식 장치.
제1항에 있어서, 상기 템플릿은
상기 영역에서 검출되는 객체의 종류를 정의하는 것을 특징으로 하는 영상 기반 상황 인식 장치.
제2항에 있어서, 상기 제어부는
상기 템플릿이 정의하는 객체의 종류를 참조하여, 상기 영역에서 객체를 검출하는 것을 특징으로 하는 영상 기반 상황 인식 장치.
삭제
삭제
영상 기반 상황 인식 방법에 있어서,
복수의 영역으로 구분되며, 구분된 영역 각각에 대해 구분된 영역 각각에 대한 특징을 정의하는 템플릿이 설정된 영상을 촬영하는 단계;
상기 영상에서 객체를 검출하는 단계; 및
상기 검출된 객체가 속한 상기 영역과 매핑되는 템플릿에 따라 상기 객체에 대한 상황을 판단하는 단계;를 포함하고,
상기 템플릿은 상기 영역에서 검출되는 객체의 행동 특징을 정의하며,
상기 판단하는 단계는 상기 템플릿이 정의하는 객체의 행동 특징과 상기 영역에서 검출된 객체의 행동을 비교하여, 상기 객체에 대한 상황을 판단하는 것을 특징으로 하는 영상 기반 상황 인식 방법.
제6항에 있어서,
상기 템플릿은 상기 영역에서 검출되는 객체의 종류를 정의하며,
상기 검출하는 단계는 상기 템플릿이 정의하는 객체의 종류를 참조하여, 상기 영역에서 객체를 검출하는 것을 특징으로 하는 영상 기반 상황 인식 방법.
삭제