KR101535593B1

KR101535593B1 - 근적외선 조명 및 카메라를 이용한 전방 객체 인식 방법 및 장치

Info

Publication number: KR101535593B1
Application number: KR1020130012941A
Authority: KR
Inventors: 박강령; 허환; 이지우; 이의철; 황민철
Original assignee: 상명대학교서울산학협력단
Priority date: 2013-02-05
Filing date: 2013-02-05
Publication date: 2015-07-09
Also published as: KR20140100112A

Abstract

광학적으로 객체를 인식하는 방법 및 장치에 관해 개시된다. 객체 인식 방법은: 인식 대상이 되는 객체들에 광학적 고유 패턴을 각각 할당하는 단계; 임의 공간 내에 배치되는 객체들에 상기 고유 패턴을 배치하는 단계; 상기 고유 패턴을 촬영하여 영상 정보를 획득하는 단계; 상기 영상 정보를 분석하여 상기 객체 들에 대한 객체 정보를 추출하는 단계; 그리고 상기 정보로부터 객체들의 고유 패턴을 검출하여 객체들을 분류 및 인식하는 단계; 를 포함한다.

Description

근적외선 조명 및 카메라를 이용한 전방 객체 인식 방법 및 장치{Method and Device for recognizing frontal object by using NIR illuminator and camera}

본 발명은 전방 객체 인식 방법 및 장치에 관한 것으로, 상세하게 근적외선 조명 및 카메라를 이용한 전방 객체 인식 방법 및 이를 적용하는 장치에 관한 것이다.

손발을 사용하기 어려운 중증 장애인을 위한 다양한 인터페이스 장치가 존재한다. 공지된 영상 및 무선인식을 이용한 개체인식 및 측정 장치는 무선인식 태그의 ID 신호뿐만 아니라 영상 데이터를 이용한다. 이러한 장치는 일정한 지역을 이동 중인 대상물 등을 무선으로 객체 인식함과 동시에 영상 카메라에 의해 촬영된 영상 데이터를 이용한다. 이러한 종래 장치는 고가의 원거리 무선인식 태그 리더가 필요하다. 한편, 기존 영상 특징점 기반의 객체 인식 방법들은 객체의 크기, 회전, 조명 및 시점 등의 변화에 취약하고 계산 복잡도가 높아 처리 시간이 오래 걸리는 문제점이 발생한다.

KR

200205227

B

본 발명은 비용이 저렴하면서도 높은 정확도와 빠른 처리 속도를 가지는 객체 인식 방법 및 장치를 제공한다.

본 발명에 따른 객체 인식 방법: 은

인식 대상이 되는 객체들에 광학적 고유 패턴을 각각 할당하는 단계;

임의 공간 내에 배치되는 객체들에 상기 고유 패턴을 배치하는 단계;

상기 고유 패턴을 촬영하여 영상 정보를 취득하는 단계;

상기 영상 정보를 분석하여 상기 객체 들에 대한 정보를 추출하는 단계;

상기 정보로부터 객체들의 고유 패턴을 검출하여 객체들을 분류하고 인식하는 단계;를 포함한다.

본 발명의 한 실시 예에 따른 객체 인식 방법에서, 상기 광학적 고유 패턴을 근적외선 광원으로 구현할 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 방법에서, 상기 영상 정보의 취득은 사용자가 착용하는 안경형 프레임 또는 휠체어 등에 장착된 카메라를 이용하여 취득할 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 방법에서, 상기 고유 패턴은 광원의 개수와 패턴 중의 적어도 어느 하나에 의해 구성할 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 방법에서, 상기 영상 정보로부터의 객체의 정보를 획득하는 단계는 모폴로지 및 레이블링 기법을 적용할 수 있다.

본 발명에 따른 객체 인식 장치:는

인식 대상이 되는 객체들에 광학적 고유 패턴을 부여하는 패턴 표시부;

상기 패턴 표시부를 촬영하는 카메라;

상기 카메라로부터 영상 정보를 취득하는 영상 취득부;

상기 영상 정보를 분석하여 상기 고유 패턴을 추출하는 패턴 추출부;

상기 고유 패턴을 이용해 해당 객체를 분류 및 인식하는 객체 인식부; 를 포함한다.

본 발명의 한 실시 예에 따른 객체 인식 장치에서, 상기 광학적 고유 패턴을 근적외선 광원으로 구현될 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 장치에서, 상기 카메라는 사용자가 착용하는 안경형 프레임에 장착된 카메라 또는 사용자가 착석하는 휠체어에 설치될 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 장치에서, 상기 고유 패턴은 상기 광원의 개수와 패턴 중 적어도 어느 하나에 의해 구성할 수 있다.

본 발명의 한 실시 예에 따른 객체 인식 장치에서, 상기 패턴 추출부는 영상 정보 분석에 모폴로지 및 레이블링 기법을 적용할 수 있다.

본 발명에 따르면, 손발을 사용하기 어려운 중증 장애인을 위해 근적외선 조명과 근적외선 전방 카메라를 활용하여 직관적인 인터페이스를 구축할 수 있다. 이러한 본 발명에 따르면, 근적외선 조명과 저가의 소형 USB 적외선 웹 카메라를 통해 전방 객체 인식을 수행할 수 도 있다. 전방 웹 카메라를 통해 취득한 전방 영상을 기반으로 적외선 조명을 실시간으로 검출하여 상황에 따른 인터페이스 시스템을 수행할 수 있다. 그리고, 응용 면에서 안경형 프레임(장치)나 휠체어 등에 부착된 근적외선 전방 웹 카메라를 통해 취득한 전방 영상을 기반으로 사용자가 응시하는 객체를 인식할 수 있다. 또한, 객체 인식 수행 시 근적외선 조명을 이용함으로써 객체의 크기, 회전, 조명 및 시점 등의 변화에도 강인하며, 모폴로지(Morphology) 및 레이블링(Labeling) 방법을 사용하여 빠른 처리 속도의 객체 인식 성능을 얻을 수 있다.

도1은 본 발명의 일 실시 예에 따른 객체 인식 장치의 개략적 구성도이다.
도2는 본 발명에 따른 객체 인식 장치의 카메라가 장착된 구조의 일례를 도시한다.
도3은 본 발명에 따른 객체 인식 장치의 카메라가 장착된 구조의 다른 예를 도시한다.
도4는 본 발명에 따른 객체 인식 장치에 사용되는 패턴 표시부의 전체적인 구성을 개략적으로 도시한다.
도5는 본 발명에 따른 객체 인식 장치에 사용되는 패턴 표시부의 설치 예를 도시한다.
도 6 (a) 는 60인치 TV에 실제 설치된 광원 모듈을 도시한다.
도6 (b) 는 본 발명에 따른 객체 인식 장치의 카메라로부터 취득한 적외선 영상을 도시한다..
도7은 도6에 도시된 TV를 촬영한 것으로, 사용자와 객체(TV) 간의 다양한 거리(220~300cm) 및 방향(정면, 우측, 좌측)에서 촬영한 영상이다.
도8은 본 발명에 따라 패턴 표시부를 구현한 예의 사진이다.
도9는 본 발명의 일 실시 예에 따른 객체 인식 방법의 흐름도이다.

이하 첨부된 도면을 참고하면서, 본 발명에 따른 객체 인식 방법 및 이를 적용하는 장치의 실시 예에 대해 설명한다.

도 1은 본 발명에 따른 객체 인식 장치의 개략적 구성을 보이는 블록 다이어그램이다.

도1을 참조하면, 특정한 객체의 인식에 필요한 광학적 고유 패턴을 가지는 다수의 패턴 표시부(11)를 카메라(21)가 촬영 가능한 상태로 지향하고 있다. 상기 패턴 표시부(11)는 후술하는 광원 모듈(115, 도 4 참조)를 포함하며 이것들의 배열에 의해 특정한 패턴을 구성한다. 한편, 상기 카메라(21)는 PC 기반의 영상 처리 및 분석 장치(이하 분석 장치, 30)에 연결된다. 분석 장치(30)에는 분석 결과 및 사용자 인터페이스 제공을 위한 디스플레이(42) 및 사용자에 의한 분석 장치(30)의 제어 및 파라미터 입력 등을 위한 키보드(41)가 마련될 수 있다.

상기 분석 장치(30)는 카메라(21)로부터의 영상을 취득하는 영상 취득부(31), 상기 영상, 즉 영상 정보로부터 패턴 표시부(11)의 고유 패턴을 검출하는 패턴 추출부(32), 그리고 상기 고유 패턴을 이용해 해당 객체를 분류하고 인식하는 객체 인식부(33)를 포함한다.

상기 영상 취득부(31)는 실시간으로 입력되는 동영상으로부터 단위 프레임 단위의 정지 영상을 추출하며 이를 패턴 인식에 이용할 수 있도록 한다. 상기 패턴 추출부(32)는 상기 영상, 즉 정지 영상으로부터 인식 가능한 고유 패턴을 추출한다. 이때에 정지 영상에는 다수의 객체에 대한 고유 패턴이 존재할 수 있으며, 따라서 상기 패턴 표시부(11)는 하나가 아닌 다수의 객체에 대응하여 다수 마련될 수 있다. 이러한 패턴 표시부(11)는 실제 공간 내에 배치된 각종의 객체, 예를 들어 TV, 냉장고, 조명 스위치 등에 각각 배치될 수 있으며, 이들의 객체에 상호 식별이 가능한 고유의 패턴이 할당되고, 이에 대응하는 패턴 표시부(11)를 갖는다.

따라서, 상기 카메라(21)는 어느 하나의 특정 패턴 표시부(11)가 아닌 사용자가 거주하는 환경에서의 전체 영상을 촬영하고, 상기 패턴 추출부(32)는 다수의 패턴 표시부(11)를 검출하여, 사용자의 환경 내에 존재하는 다양한 개체를 분류 및 인식할 수 있도록 한다. 여기에서, 상기 패턴 표시부(11)는 외부 잡음을 고려하여 근적외선 램프를 이용할 수 있으며, 따라서, 상기 카메라(21)는 근적외선(NIR) 영상 촬영 장치일 수 있다. 이러한 카메라(21)는 도2에 도시된 바와 같이 사용자가 착용하는 안경형 프레임(51)에 장착되거나, 도3에 도시된 바와 같이 사용자가 착석하는 휠체어(61)의 전면 지지대(61a)에 설치될 수 도 있다.

상기 근적외선 램프는 사용자의 눈이 부시지 않도록 850 ~ 900nm 이상의 파장대를 광을 발생하며, 사용자 거주 공간 내의 다양한 방향에서 검출될 수 있도록 조사각이 넓은 것이 바람직하다. 도4는 근적외선 조명을 위한 패턴 표시부의 전체 구성과 설계를 보여주며, 도5는 패턴 표시부(11)의 발광부인 광원 모듈(115)이 TV(60)에 부착한 예를 보여 준다.

도4를 참조하면, 벽 전원에 연결되는 플러그(111) 가까이에 전원 어댑터(112)가 마련된다. 전원 어댑터(112)는 벽 전원으로부터의 고전압을 감압 및 정류하는 장치이다. 전원 어댑터(112)로부터의 출력은 전원 분배 기판(113)으로 연결된다. 이 전원 분배 기판(113)에는 다수의 광원 모듈(115)이 배선(116)에 의해 연결되며, 배선 중간에는 개별적인 스위치(114)가 마련되어 있다. 각 광원 모듈(115)은 근적외선 발광 다이오드(115a)와 이를 지지하는 기판(115b)을 구비한다. 이러한 광원 모듈(115)을 적절한 개수 또는 배열의 형태로 특정 객체에 대한 고유 패턴을 제공하며 도5에 도시된 바와 같이, TV(70)에 연결되는 경우, 스크린(72)을 보호하고 에워싸는 외곽 프레임(71) 부분에 매립 설치될 수 있다.

도6의 (a)는 상기 60인치 TV(70)에 7개의 광원 모듈(115)의 설치된 실제 모습의 사진이다. 도6의 (b)는 60인치 TV(70)에 실제 설치된 광원 모듈(115)의 배열을 보이는 것으로, 사용자와 TV(70)와의 거리가 220cm 일 때, 휠체어(51, 도3)에 장착된 근적외선 카메라(21)에서 취득한 영상을 나타낸다. 도7은 사용자와 객체간의 다양한 거리(220~300cm) 및 방향(정면, 우측, 좌측)에서의 촬영한 영상이다. 도7에 도시된 바와 같이 거리 및 방향 차에 따른 고유 패턴의 크기 차이는 있으나 패턴의 변형은 없다.

본 발명의 객체 인식은 근적외선 조명 검출 방법을 사용하여 광원 모듈(115)의 개수 및 패턴을 측정하고 이를 기반으로 객체를 판단한다. 이때에 고유 패턴은 조명이 형성하는 모양 및 패턴을 기반으로 객체가 정의될 수 있다.

도8은 벽 스위치와 특정한 목적의 제어패널에 할당된 고유 패턴과 이에 따라 벽 스위치와 제어 패널의 주위에 설치된 광원 모듈의 배열을 나타낸다. 도시된 바와 같이 카메라에 의해 조명 스위치와 에어컨 제어 패널로부터 고유한 패턴을 인식할 수 있다. 이것은 객체에 할당된 고유 패턴으로 객체 정보에 대한 룩업 테이블의 인덱스이며, 이를 통해 특정한 객체 정보를 얻을 수 있다.

도8의 왼쪽 그림들은 광원 모듈을 각각 다르게 배치한 조명 스위치 및 에어컨 제어 패널들을 근적외선 카메라로 200cm의 거리에서 취득한 영상들을 나타낸 것이다. 조명 스위치 및 에어컨 제어 패널처럼 크기가 작은 객체는 부착된 적외선 조명간의 거리가 가깝기 때문에 객체와 적외선 카메라 사이의 거리가 3m 이상으로 멀어질수록 영상 내 조명이 합쳐진다. 이를 해결하기 위해, 벽면 등을 활용하여 주변에 부착하고 조명과 조명 사이의 간격이 소정의 간격, 예를 들어 10cm 이상 되도록 부착하는 것이 바람직하다.

상기와 같은 하드웨어 장치로 구현되는 본 발명의 객체 인식 방법은 도9에 도시된 바와 같은 흐름을 가질 수 있다.

도9를 참조하면, 먼저, 인식 대상이 되는 객체들에 대해 고유 패턴을 할당한다(S1). 이것은 객체 들에 패턴의 설계 단계이며, 이것은 전술한 바와 같은 패턴 표시부(11)에 의해 실제 구현되며, 이것을 객체 마다 부착하여 카메라(21)에 의한 고유 패턴의 촬영을 준비한다(S2). 이때에 카메라(21)는 도 2에 도시된 바와 같이 사용자의 안경형 프레임(51)에 장착되거나, 도 3에 도시된 바와 같이 사용자의 휠체어(61)에 장착될 수도 있다.

그리고 전술한 바와 같은 카메라(21) 및 분석 장치(30)는 상기 패턴 표시부(11)를 촬영하고 이로부터의 영상 정보를 통해 상기 개체를 분류 및 인식할 수 있는 상태로 준비된다. 이러한 상태에서, 카메라(21)를 이용해 상기 패턴 표시부(11)가 다수 마련되는 사용자의 거주 공간을 촬영하여 상기 패턴 표시부가 포함된 영상을 획득한다(S3).

상기 과정에서 획득된 영상, 즉 영상 정보는 고유 패턴 추출 과정을 거친다(S4). 이 과정은 공지된 이진화 모폴로지 처리(Morphology operation) 및 컴퍼넌트 레이블링(Component labeling) 방법을 수행한다. 이러한 과정에서 수집된 객체에 대한 고유 패턴은 내부 룩업 테이블에 대조되어 이를 기반으로 특정한 객체 정보를 얻게 되며 어느 객체에 해당하는지 인식된다. 이와 같이 인식된 객체에 대한 정보는 다양한 분야에서 사용될 수 있는 기반을 제공하게 된다.

본 발명에 따르면, 근적외선 조명과 근적외선 카메라로 촬영한 전방 영상을 기반으로 전방 객체를 인식하는 것이 가능하게 된다. 기존 영상 특징점 기반의 객체 인식 방법들은 객체의 크기, 회전, 조명 및 시점 등의 변화에 취약하고 계산 복잡도가 높아 처리 시간이 오래 걸리는 문제점이 발생하였으나, 이러한 문제를 해결하며, 특히 손발이 불편한 중증 장애인들의 편의를 위해 높은 정확도와 빠른 처리속도를 갖는 인터페이스를 구현할 수 있다. 이러한 인터페이스는 예를 들어, 사용자가 전방 객체 인식을 통해 가전제품 등을 제어할 수 있는 기반 기술을 제공하게 된다.

이상에서 본 발명에 따른 바람직한 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서 정해져야 할 것이다.

11: 패턴 표시부
111: 전원 플러그 112: 전원 어댑터 113: 전원 분배 기판
114: on/off 스위치 115: 광원 모듈 115a: 발광 다이오드
115b: 발광 다이오드 지지 기판 116: 배선
21: 카메라
30: 인식 장치
31: 영상 취득부
32: 패턴 추출부
33: 객체 인식부
41: 키보드
42: 모니터
51: 안경형 프레임
61: 휠체어
61a: 전면 지지대
70: TV
71: TV 외곽 프레임 72: TV 스크린

Claims

인식 대상이 되는 TV, 냉장고, 조명 스위치 중 적어도 어느 하나의 가전제품이 포함되는 객체들에 광학적 고유 패턴을 각각 할당하는 단계;
사용자가 위치하는 임의 공간 내에 배치되는 객체들에 상기 고유 패턴을 각각 배치하는 단계;
상기 사용자가 응시하는 객체 중 어느 하나의 고유 패턴을 촬영하여 영상 정보를 취득하는 단계;
상기 영상 정보를 분석하여 모폴로지 및 레이블링 기법에 의해 상기 객체에 대한 객체 정보를 추출하는 단계;
상기 객체 정보로부터 객체의 고유 패턴을 검출하여 상기 객체의 정보에 대한 룩업 테이블로부터 해당 객체를 분류 및 인식하는 단계; 그리고
분류 및 인식 결과에 따라 상기 사용자가 응시하는 전자 제품을 포함하는 객체에 대한 제어를 수행하는 단계;를 포함하는 객체 인식 방법.
제1항에 있어서,
상기 고유 패턴은 근적외선 광원으로 형성하는 것을 특징으로 하는 객체 인식 방법.
제1항에 있어서,
상기 영상 정보의 취득은 사용자가 착용하는 안경형 프레임 또는 사용자가 착석하는 휠체어에 장착된 카메라를 이용하여 취득하는 것을 특징으로 하는 객체 인식 방법.
제1항에 있어서,
상기 고유 패턴은 고유 패턴 형성용 광원 모듈의 개수와 패턴 중의 적어도 어느 하나에 의해 구성하는 것을 특징으로 하는 객체 인식 방법.
삭제
사용자가 위치하는 임의 공간 내에서, 인식 대상이 되는 TV, 냉장고, 조명 스위치 중 적어도 어느 하나의 전자 제품이 포함되는 객체들에 대해 복수의 광원에 의한 광학적 고유 패턴을 부여하는 패턴 표시부;
상기 패턴 표시부를 촬영하는 것으로 사용자가 응시하는 객체를 촬영하는 카메라;
상기 카메라로부터 얻어지는 영상 정보를 취득하는 영상 취득부;
상기 영상 정보를 분석하여 모폴로지 및 레이블링 기법에 의해 상기 고유 패턴을 추출하는 패턴 추출부;
사용자가 응시하는 객체에 대한 제어를 행할 수 있도록 상기 고유 패턴을 이용해 상기 객체의 정보에 대한 룩업 테이블로부터 해당 객체를 분류 및 인식하는 객체 인식부; 를 포함하는 객체 인식 장치.
제6항에 있어서,
상기 패턴 표시부는 근적외선 광원 모듈을 포함하는 것을 특징으로 하는 객체 인식 장치.
제6항에 있어서,
상기 카메라는 사용자가 착용하는 안경형 프레임 또는 사용자가 착석하는 휠체어에 설치되는 것을 특징으로 하는 객체 인식 장치.
제6항 내지 제8항 중의 어느 한 항에 있어서,
상기 고유 패턴은 상기 광원의 개수와 패턴 중의 적어도 어느 하나에 의해 구성되는 것을 특징으로 하는 객체 인식 장치.
삭제