KR20210073639A

KR20210073639A - 영상 분석 장치 및 영상 분석 방법

Info

Publication number: KR20210073639A
Application number: KR1020190163592A
Authority: KR
Inventors: 김승훈; 정찬성
Original assignee: 한국전자기술연구원
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2021-06-21

Abstract

본 발명은 특정 시점에 대한 열영상을 수집하는 단계, 상기 열영상에 대해 복수의 온도 범위 값을 기반으로 필터링을 수행하여 복수의 필터링된 이미지를 획득하는 단계, 상기 복수의 필터링된 이미지 각각에 선명화 작업을 수행하는 단계, 상기 선명화 작업이 수행된 복수의 필터링된 이미지를 합성하여 통합 이미지를 생성하는 단계, 상기 통합 이미지에서 지정된 객체를 검출하는 단계를 포함하는 영상 분석 방법 및 이를 지원하는 영상 분석 장치를 개시한다.

Description

영상 분석 장치 및 영상 분석 방법{Device for analyzing of image and method thereof}

본 발명은 영상 분석에 관한 것으로, 더욱 상세하게는 IR(Infra-Red) 영상에 대한 영상 분석의 속도를 지정된 속도로 유지하면서도 특정 상황에서 요구되는 적절한 해상도를 가지는 영상 획득이 가능한 영상 분석 장치 및 영상 분석 방법에 관한 것이다.

영상 분석 기능은 다양한 기술 분야에서 사용되고 있다. 예컨대, 종래 영상 분석 기능은 공장 자동화가 적용된 시스템에서 파지 제품을 검출하는데 이용될 수 있으며, 또한 다양한 장치들의 결함이나 파손 등을 검출하는데 이용될 수 있다. 또한, 영상 분석 기능은 영상 감시 기능을 지원하는 기본 기능으로서, 특정 FOV(Field of View)에 관해 촬영된 영상을 분석함으로써, 해당 FOV에 등장하는 물체 또는 사람을 검출하고, 지정된 기능을 수행할 수 있도록 지원할 수 있다.

이러한, 종래 영상 분석 기능은 RGB 이미지를 획득하고, 획득된 RGB 이미지를 분석하는 절차를 수행하고 있다. 그런데, 정확한 RGB 이미지를 획득할 수 없는 환경이나 장소 예컨대, 연기나 안개가 많은 장소에서 획득된 RGB 이미지는 해상도가 매우 낮아, 특정 객체 검출에 필요한 정보를 추출하는 것이 어려운 문제가 있다. 이러한 문제를 해결하기 위하여, 특정 장소에 대해 IR 영상을 획득하는 방안을 고려해 볼 수 있으나, 연기와 같이 일정 온도를 포함하는 방해 물질들이 군집해 있는 경우, IR 영상을 획득하더라도, 방해 물질들로 인하여 해당 장소에 대한 정확한 물체 식별이 어려워 결과적으로, 이미지 식별 및 분별에 필요한 정보 추출이 어려운 문제가 있었다.

본 발명은 일정 온도 단위 필터링 및 선명화 중 적어도 하나를 통해 영상의 해상도를 높이면서도 영상 분석 속도를 지정된 크기 이상 유지함으로써, 긴급 상황에서 보다 빠른 영상 분석과 처리를 수행할 수 있도록 지원하는 영상 분석 장치 및 영상 분석 방법을 제공함에 있다.

본 발명의 실시 예에 따른 영상 분석 장치는 특정 시점에 대한 열영상을 저장하는 메모리, 상기 메모리에 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는 상기 열영상에 대한 필터링 과정을 수행하고, 상기 필터링된 영상에 대한 객체 검출을 수행하여 상기 필터링된 영상 내에 화점 및 요구조자 검출을 수행하도록 설정된 것을 특징으로 한다.

여기서, 상기 프로세서는 상기 필터링 과정에서 절대 온도 값을 기반으로 상기 열영상을 필터링하도록 설정된 것을 특징으로 한다.

또한, 상기 프로세서는 상기 필터링 과정에서 복수의 온도 범위 값들로 상기 열영상을 필터링하여 복수의 필터링된 이미지를 생성하도록 설정된 것을 특징으로 한다.

추가로, 상기 프로세서는 상기 복수의 필터링된 이미지 각각에 대한 선명화 작업을 수행하도록 설정된 것을 특징으로 한다.

또한, 상기 프로세서는 상기 선명화된 복수의 필터링된 이미지들을 합성하여 통합 이미지를 생성하도록 설정된 것을 특징으로 한다.

상기 전자 장치는 이미지를 표시하는 디스플레이를 더 포함하고, 이 경우, 상기 프로세서는 상기 통합 이미지에서 지정된 객체를 검출하고, 검출된 객체에 대한 인디케이터를 상기 디스플레이에 표시하도록 설정된 것을 특징으로 한다.

본 발명의 실시 예에 따른 영상 분석 방법은 특정 시점에 대한 열영상을 수집하는 단계, 상기 열영상에 대해 복수의 온도 범위 값을 기반으로 필터링을 수행하여 복수의 필터링된 이미지를 획득하는 단계, 상기 복수의 필터링된 이미지 각각에 선명화 작업을 수행하는 단계, 상기 선명화 작업이 수행된 복수의 필터링된 이미지를 합성하여 통합 이미지를 생성하는 단계, 상기 통합 이미지에서 지정된 객체를 검출하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 지정된 객체를 검출하는 단계는 상기 통합 이미지에서 화점 및 요구조자 검출을 수행하는 단계를 포함하는 것을 특징으로 한다.

추가로, 상기 방법은 상기 검출된 객체에 대한 인디케이터를 상기 지정된 객체와 함께 표시하는 단계를 더 포함하는 것을 특징으로 한다.

이 경우, 상기 표시하는 단계는 상기 지정된 객체의 종류에 관한 텍스트를 표시하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 분석 장치 및 영상 분석 방법에 따르면, 본 발명은 영상 분석 속도를 지정된 크기 이상 유지하면서 해당 상황에서 요구되는 지정된 크기의 해상도를 유지함으로써, 긴급 상황에 대한 빠른 영상 분석 결과를 제공할 수 있어, 신속한 상황 판단 및 처치가 가능하도록 지원한다.

도 1은 본 발명의 실시 예에 따른 영상 분석 장치 구성의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 프로세서 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 분석 방법의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 절대 온도 필터링 수행 이미지 비교를 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 구간 필터링 과정의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 선명화 작업 적용과 관련한 이미지들을 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 전처리 및 검출과 표시 기능이 적용된 이미지들을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 검출기의 한 예를 나타낸 도면이다.

하기 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 실시 예에 따른 영상 분석 장치 구성의 한 예를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 영상 분석 장치(100)는 입출력부(120), IR 카메라(130)(또는 열영상 카메라), 메모리(140), 디스플레이(150), 프로세서(160)를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 영상 분석 장치(100)는 통신 회로를 더 포함할 수 있다.

상기 입출력부(120)는 영상 분석 장치(100) 제어와 관련한 적어도 하나의 사용자 입력을 수신할 수 있는 입력 장치 및 영상 분석 장치(100) 운용과 관련한 정보 출력을 위한 출력 장치를 포함할 수 있다. 예를 들어, 입출력부(120)는 사용자 입력을 위한 키패드, 터치스크린, 음성 명령 입력을 지원하는 마이크, 물리 버튼, 스타일러스 팬 및 디지타이저 중 적어도 하나를 포함할 수 있다. 또한, 입출력부(120)는 정보 출력을 위한 스피커, 출력할 정보의 종류에 따라 색 및 점멸 패턴 중 적어도 일부가 달라지는 램프, 진동 지원을 위한 진동 소자 중 적어도 하나를 포함할 수 있다. 상술한 입출력부(120)는 영상 분석 기능 활성화를 요청하는 입력 신호, IR 카메라(130) 활성화를 요청하는 입력 신호, 영상 분석 기능 종료를 요청하는 입력 신호 등을 사용자 제어에 따라 생성하여, 프로세서(160)에 전달할 수 있다.

상기 IR 카메라(130)는 지정된 방향(또는 FOV)에 대한 열영상 또는 IR 영상(Infra-red image)을 획득할 수 있다. 상기 IR 카메라(130)는 프로세서(160) 제어에 따라 촬영 각도 또는 방향이 조정될 수 있다. 상기 영상 분석 장치(100)가 드론 또는 로봇 장치 또는 구조 장치 등에 장착된 경우, 상기 IR 카메라(130)는 상기 영상 분석 장치(100)의 이동에 따라 촬영되는 각도가 실시간 달라질 수도 있다. 상기 IR 카메라(130)는 영상 분석 장치(100) 일측에 고정될 수도 있으나, 상술한 드론이나 로봇 장치에 포함되고, 통신 회로를 통해 획득된 IR 영상을 영상 분석 장치(100)에 제공할 수 있다. 이에 따라, 상기 IR 카메라(130)는 영상 분석 장치(100)와 물리적으로 분리되고 통신 채널 형성에 따라 기능적으로 연결된 형태로 제공될 수도 있다.

상기 디스플레이(150)는 상기 영상 분석 장치(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(150)는 영상 분석 기능 실행과 관련한 메뉴 또는 아이콘 중 적어도 하나를 포함하는 화면, 상기 메뉴 또는 아이콘 선택에 따라 영상 분석 기능 실행과 관련한 화면을 출력할 수 있다. 상기 영상 분석 기능 실행과 관련한 화면은 상기 IR 카메라(130) 활성화 제어와 관련한 화면, 상기 IR 카메라(130)가 획득한 IR 영상의 적어도 일부를 표시하는 화면, 상기 IR 영상의 필터링 및 선명화 작업 이후 검출기를 통해 지정된 객체를 표시하는 화면 중 적어도 하나의 화면을 출력할 수 있다. 상기 검출기의 검출 과정을 통해 지정된 객체가 검출되면, 상기 디스플레이(150)는 프로세서(160) 제어에 따라 해당 객체와 관련한 알람 정보를 표시할 수 있다. 예컨대, 상기 디스플레이(150)는 지정된 객체 식별력 개선을 위해 인디케이터(예: 객체를 지시하는 박스 이미지 또는 화살표 이미지 등)를 출력할 수 있다.

상기 메모리(140)는 상기 영상 분석 장치(100) 운용과 관련한 적어도 하나의 데이터 또는 어플리케이션을 저장할 수 있다. 또한, 상기 메모리(140)는 상기 IR 카메라(130) 운용과 관련한 이미지를 임시 또는 반영구적으로 저장할 수 있다. 또한, 상기 메모리(140)는 획득된 이미지에 대한 영상 분석을 위한 적어도 하나의 모델을 저장할 수 있다. 상기 메모리(140)에 저장된 적어도 하나의 모델은 필요에 따라 갱신될 수 있다. 상기 메모리(140)는 영상 분석 결과를 저장할 수 있다. 상기 영상 분석 결과는 획득된 이미지에 지정된 객체가 존재하는지 여부를 지시하는 정보, 지정된 객체를 지시하는 정보 등을 포함할 수 있다.

상기 프로세서(160)는 상기 영상 분석 장치(100)의 운용과 관련한 적어도 하나의 데이터의 전송 또는 처리를 제어할 수 있다. 특히, 본 발명의 프로세서(160)는 IR 카메라(130)를 제어하여 지정된 방향에 대한 영상을 일정 시점, 실시간 또는 일정 주기로 획득하고, 획득된 영상에 대한 영상 분석을 수행할 수 있다. 영상 분석 과정에서, 프로세서(160)는 필터링 및 선명화 중 적어도 하나를 포함하는 영상 전처리를 수행하고, 전처리된 영상에 대한 객체 검출을 수행할 수 있다. 객체 검출 이후, 검출 결과의 표시 및 지정된 객체의 존재 여부에 대한 지시를 제어할 수 있다. 이와 관련하여, 상기 프로세서(160)는 도 2에 도시된 바와 같이, 구성을 포함할 수 있다.

추가로, 상기 프로세서(160)는 상기 영상 분석 장치(100)에 포함된 통신 회로를 기반으로 지정된 사용자 단말 또는 상황 분석 및 처리 장치와 통신 채널을 형성하고, 영상 분석 결과를 실시간으로 전송할 수 있다. 상기 사용자 단말은 예컨대, 상황 분석 및 처리를 담당하는 담당자가 소지할 수 있으며, 상기 상황 분석 및 처리 장치는 상황 분석 및 처리를 담당하는 기구나 부서에 배치되는 장치일 수 있다. 상기 프로세서(160)는 상기 영상 분석 결과를 외부 장치(예: 상기 사용자 단말 또는 상황 분석 및 처리 장치)에 전송하는데 있어서, 지정된 조건이 만족되는 경우 전송할 수도 있다. 예컨대, 프로세서(160)는 영상 분석 과정에서 지정된 조건에 해당하는 피사체가 검출되는 경우, 해당 피사체에 관한 영상(또는 지정된 피사체가 검출된 프레임과, 해당 피사체 검출 직전의 일정 개수의 프레임들 및 해당 피사체 검출 직후의 일정 개수의 프레임들을 포함하는 영상)을 외부 장치에 전송하도록 제어할 수 있다. 전송되는 프레임(또는 이미지)에는 검출된 피사체를 지정한 지시자 정보가 포함될 수 있다. 또한, 앞서 언급한 바와 같이, IR 카메라(130)가 영상 분석 장치(100)와 독립적으로 구동되는 경우, 상기 프로세서(160)는 사용자 입력 제어에 대응하여, 통신 회로를 기반으로 IR 카메라(130)가 장착된 외부 장치(예: 드론 장치 또는 로봇 장치)와 통신 채널을 형성하고, IR 카메라(130)의 활성화를 요청한 후, IR 카메라(130)가 획득한 IR 영상을 수집할 수 있다. 상기 프로세서(160)는 영상 분석 기능이 종료되면, 상기 IR 카메라(130) 종료를 요청하는 메시지를 외부 장치에 전송할 수 있다.

도 2는 본 발명의 실시 예에 따른 프로세서 구성의 한 예를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 프로세서(160)는 영상 수집부(161), 전처리기(163), 검출기(165) 및 분류기(167)를 포함할 수 있다.

상기 영상 수집부(161)는 상기 IR 카메라(130)의 활성화 및 비활성화 제어를 수행할 수 있다. 특히, 영상 수집부(161)는 IR 카메라(130)가 영상 분석 장치(100)와 분리된 경우, IR 카메라(130)를 포함하는 외부 장치와 통신 채널을 형성하고, IR 카메라(130) 활성화를 외부 장치에 요청하는 메시지 전송을 제어할 수 있다. 상기 영상 수집부(161)는 IR 카메라(130)가 획득하는 영상을 수집할 수 있다. 추가적으로, 상기 영상 수집부(161)는 사용자 입력에 대응하여 상기 IR 카메라(130) 비활성화 제어를 위한 메시지를 상기 외부 장치에 전송할 수 있다. 또한, 상기 영상 수집부(161)는 사용자 입력에 대응하여 상기 IR 카메라(130)가 촬영하는 촬영 각도 또는 촬영 방향을 변경하는 변경 메시지를 생성하고, 상기 변경 메시지를 상기 외부 장치에 전송하여 상기 IR 카메라(130)가 획득하는 IR 영상의 시점을 조절하도록 제어할 수도 있다. 상기 영상 수집부(161)는 획득된 IR 영상을 전처리기(163)에 전달한다.

상기 전처리기(163)는 상기 영상 수집부(161)가 전달하는 IR 영상에 대한 전처리를 수행할 수 있다. 이와 관련하여, 상기 전처리기(163)는 필터링부(163a) 및 선명화부(163b) 중 적어도 하나를 포함할 수 있다. 상기 필터링부(163a)는 수신된 IR 영상에 대하여 지정된 온도 단위 또는 지정된 온도 범위 단위로 필터링을 수행하여 복수의 필터링된 영상을 획득할 수 있다. 상기 선명화부(163b)는 복수의 필터링된 영상에 대한 선명화를 수행할 수 있다. 이와 관련하여, 상기 선명화부(163b)는 필터링된 영상에서, 지정된 범위(예: 일정 픽셀 개수 이내)를 가지는 경계선들을 검출하고, 상기 경계선들에 대한 선명화(또는 샤프니스 적용)를 수행할 수 있다. 상기 선명화부(163b)가 처리한 전처리된 영상들은 검출기(165)에 제공될 수 있다. 또는, 상기 전처리기(163)는 상기 선명화부(163b)에 의해 선명화 처리된 영상들에 대한 통합을 수행하고, 통합된 이미지를 검출기(165)에 제공할 수도 있다.

상기 검출기(165)는 상기 전처리기(163)에 의해 전처리된 영상들에 대한 객체 검출을 수행할 수 있다. 이 과정에서, 상기 검출기(165)는 상기 메모리(140)에 저장된 적어도 하나의 모델을 이용하여, 지정된 객체(예:사람 객체 또는 화점 객체 등) 검출을 수행할 수 있다. 검출기(165)는 객체 검출 결과를 분류기(167)에 전달할 수 있다.

상기 분류기(167)는 검출기(165)가 전달한 객체 검출된 영상에 대하여 분류를 수행할 수 있다. 예컨대, 상기 분류기(167)는 상기 지정된 객체에서 사람 객체가 존재하면, 요구조자가 존재하는 것으로 판단하고, 구조 관련 부서나 구조 관련 부서에 있는 장치에 해당 정보를 전달할 수 있다. 또한, 상기 분류기(167)는 화점 객체가 검출되는 경우, 화재 분석 등을 위하여 해당 영상을 메모리(140)에 임시 저장하거나, 지정된 장치에 전송할 수 있다. 또는, 분류기(167)는 영상 내에 사람 객체들과 화점 객체들을 분류하고, 분류된 객체들에 대한 마킹을 수행할 수 있다. 상기 마킹은 예컨대, 검출된 객체를 지시한 인디케이터에 인접되게 표시되며, 해당 객체의 종류를 설명하는 설명 정보를 포함할 수 있다.

도 3은 본 발명의 실시 예에 따른 영상 분석 방법의 한 예를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 영상 분석 방법과 관련하여, 상기 영상 분석 장치(100)의 프로세서(160)는 이벤트가 발생하면, 301 단계에서, 해당 이벤트가 IR 영상 수집을 요청하는 이벤트인지 확인할 수 있다. 상기 이벤트가 IR 영상 수집을 요청하는 이벤트가 아닌 경우, 상기 프로세서(160)는 303 단계에서, 이벤트 종류에 따른 기능 수행을 처리할 수 있다. 예를 들어, 상기 프로세서(160)는 메모리(140)에 저장된 모델 갱신을 처리할 수 있다. 상기 모델은 예컨대, IR 영상 분석 과정에서 물체의 속성을 결정하는 다양한 모델들(예: 사람 특징 모델, 동물 특징 모델, 화점 특징 모델 등)을 포함할 수 있다. 상기 프로세서(160)는 상기 모델 관련 갱신 데이터를 제공하는 서버에 접속하여 상기 갱신된 모델 관련 데이터를 수신하여 상기 메모리(140)에 기 저장된 모델들을 갱신할 수 있다.

수신된 이벤트가 IR 영상 수집과 관련한 이벤트인 경우, 305 단계에서, 프로세서(160)는 영상 전처리(예: 필터링 및 선명화)를 수행할 수 있다. 예컨대, 상기 프로세서(160)는 획득된 IR 영상에 대하여 복수의 온도 값들을 기반으로 필터링을 수행할 수 있다. 예컨대, 프로세서(160)는 IR 영상에 대하여 제1 온도 범위 값을 가지는 지점들을 수집하여 제1 필터링 영상을 생성하고, 제2 온도 범위 값을 가지는 지점들을 수집하여 제2 필터링 영상을 생성할 수 있다. 이 과정에서, 온도 범위 값들의 개수 및 온도 범위 값의 크기는 통계적 또는 실험적으로 결정될 수 있다.

307 단계에서, 프로세서(160)는 전처리된 영상에서 지정된 피사체 검출을 수행할 수 있다. 이 과정에서, 프로세서(160)는 메모리(140)에 기 저장된 모델들과 현재 전처리된 IR 영상과의 비교를 수행하여 특정 모델에 대응하는 객체가 해당 IR 영상에 존재하는지 확인할 수 있다. 이 과정에서, 상기 프로세서(160)는 전처리된 영상에 대하여 특징점 추출을 수행하고, 상기 메모리(140)에 기 저장된 모델의 특징점 비교를 통하여 지정된 피사체 검출을 수행할 수도 있다.

309 단계에서, 상기 프로세서(160)는 검출된 피사체에 대한 표시 작업을 수행할 수 있다. 예컨대, 상기 프로세서(160)는 검출된 피사체 관련 객체를 지시하는 인디케이터를 해당 영상에 표시할 수 있다. 또는, 상기 프로세서(160)는 검출된 피사체 관련 객체를 감싸는 박스 또는 테두리를 표시할 수 있다. 추가적으로 상기 프로세서(160)는 해당 피사체의 종류를 지시하는 텍스트를 해당 영상에 표시할 수도 있다.

추가적으로, 또는 대체적으로, 상기 프로세서(160)는 상황에 따른 추가 작업을 수행할 수 있다. 예를 들어, 상기 프로세서(160)는 영상 분석 과정에서, 요구조자가 존재하는 경우, 요구조자 존재에 관한 알람 또는 안내를 텍스트 또는 오디오, 디스플레이(150) 점멸 등 다양한 방식으로 처리할 수 있다.

다음으로, 311 단계에서, 프로세서(160)는 영상 분석 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 영상 분석 기능 종료와 관련한 이벤트는 관리자의 입력에 따른 종료 요청 신호 수신을 포함할 수 있다. 또는, 영상 분석 기능 종료는 IR 카메라(130) 활성화 종료를 요청하는 신호 또는 영상 분석 장치(100) 종료를 요청하는 수신을 포함할 수 있다. 영상 분석 기능 종료와 관련한 이벤트 발생이 없는 경우, 프로세서(160)는 301 단계이전으로 분기하여 이하 동작을 재수행할 수 있다. 이 과정에서, 영상 분석 장치(100)가 IR 카메라(130)의 FOV 조정 기능을 포함한 경우, 상기 프로세서(160)는 상기 IR 카메라(130)의 FOV를 조정하고, 조정된 위치에서의 새 IR 영상 획득 및 이하 동작을 재수행하도록 제어할 수 있다.

도 4는 본 발명의 실시 예에 따른 절대 온도 필터링 수행 이미지 비교를 위한 도면이다.

도 4를 참조하면, 401 상태 이미지는 IR 영상을 Dynamic Range 영상으로 표현 것이다. 403 상태 이미지는 절대 온도를 이용한 필터링 수행 결과를 나타낸 것이다. 401 상태 이미지에서와 같이, IR 영상을 표현하는 방법 중 한 가지인 Dynamic Range 영상은 화점과 같이 온도가 높은 영역이 영상에 포함되면, 인명과 같이 상대적으로 온도가 낮은 대상은 잘 보이지 않게 된다. 이러한 401 상태 이미지는 해당 IR 영상에서 검출 대상이 특징(절대 온도)을 잃은 상태를 나타내며, 주변 환경에 따라 IR 영상에서 동일 피사체 또는 동일 객체가 다르게 표현됨으로 인해 검출 성능이 저하된 상태가 될 수 있음을 나타낸다. 상술한 문제를 해결하기 위해, 검출 대상을 강조하고 대상의 특징을 유지할 수 있도록 절대 온도를 이용한 필터링을 수행할 경우, 403 상태 이미지에서와 같이, 객체 구분이 보다 용이한 선명한 영상을 획득할 수 있다.

도 5는 본 발명의 실시 예에 따른 구간 필터링 과정의 한 예를 나타낸 도면이다.

도 5를 참조하면, 영상 분석 장치(100)의 프로세서(160)는 IR 카메라(130)를 제어하여 501 상태 이미지를 획득할 수 있다. 이에 따른, 501 상태 이미지는 IR 카메라(130)를 통해 획득한 16bit 원본 영상에 해당할 수 있다.

상기 프로세서(160)는 획득된 501 상태 이미지에 대하여, 지정된 구간별 필터링을 수행하여 503 상태 이미지들(510, 520, 530)을 획득할 수 있다. 여기서, 503 상태 이미지들(510, 520, 530)은 필터링 된 8bit 3채널 이미지를 포함할 수 있다. 전처리기(163)의 필터링부(163a)는 16bit의 IR 원본 영상을 8bit 3채널 영상으로 필터링할 수 있다. 이때, 필터링부(163a)는 1번째 채널은 15~30도씨, 2번째 채널은 27~40도씨, 3번째 채널은 40도씨 이상의 영역을 필터링하도록 설정할 수 있다. 상기 필터링부(163a)는 필터링 한 3개의 이미지를 한 개의 3채널 이미지로 통합할 수 있다. 이에 따라, 제1 상태 이미지(510)는 15~30도씨 범위에 해당하는 지점들을 기준으로 필터링한 이미지를 포함할 수 있다. 제2 상태 이미지(520)는 27~40도씨 범위에 해당하는 지점들을 기준으로 필터링한 이미지를 포함할 수 있다. 제3 상태 이미지(530)는 40도씨 이상 영역을 필터링한 결과를 포함할 수 있다.

다음으로, 프로세서(160)는 503 상태 이미지들(510, 520, 530)을 합성하여, 505 상태 이미지를 획득할 수 있다. 상기 505 상태 이미지는 앞서 설명한 제1 상태 이미지(510), 제2 상태 이미지(520) 및 제3 상태 이미지(530)가 합성된 이미지일 수 있다.

도 6은 본 발명의 실시 예에 따른 선명화 작업 적용과 관련한 이미지들을 나타낸 도면이다.

도 6을 참조하면, 601 상태 이미지는 선명화 작업 이전 이미지이며, 603 상태 이미지는 601 상태 이미지에 선명화 작업을 수행한 이미지이다. 또한, 605 상태 이미지는 선명화 작업 이전 이미지이며, 607 상태 이미지는 601 상태 이미지에 선명화 작업을 수행한 이미지이다. 도시된 바와 같이, 선명화 작업을 통하여, 필터링부(163a)에 의해 필터링된 영상의 객체 윤곽선 정보가 강조(예: 이미지 샤프닝)됨으로써, 보다 선명한 경계선이 나타날 수 있다.

도 7은 본 발명의 실시 예에 따른 전처리 및 검출과 표시 기능이 적용된 이미지들을 나타낸 도면이다.

도 7을 참조하면, 701 상태 이미지는 EO(Electro-optical) 이미지이다. 영상 분석 장치(100)는 IR 카메라(130)를 이용하여 도시된 바와 같은 이미지를 획득할 수 있다. 이후, 영상 분석 장치(100)는 701 상태 이미지에 앞서 설명한 바와 같은 전처리 과정을 수행하여, 703 상태 이미지는 전처리 완료된 이미지를 생성할 수 있다. 상기 영상 분석 장치(100)는 전처리된 703 상태 이미지에 대하여 객체 검출 및 분석을 통하여, 705 상태 이미지에서와 같이, 화점 및 요구조자 검출 결과 표시를 수행할 수 있다. 상기 영상 분석 장치(100)는 객체 검출 과정에서, 학습된 검출기에 전처리 작업이 완료된 영상을 입력하여 요구조자 및 화점을 검출할 수 있다. 예를 들어, 영상 분석 장치(100)는 연기가 가득 찬 환경에서 EO 영상을 통해 검출하기 어려운 화점 및 요구조자를 IR 영상에 대한 전처리(필터링, 선명화) 후 객체 검출을 통해 검출할 수 있도록 지원한다.

도 8은 본 발명의 실시 예에 따른 검출기의 한 예를 나타낸 도면이다.

도 8을 참조하면, 영상 분석 장치(100)는 전처리 작업이(필터링, 선명화 중 적어도 하나의 작업) 끝난 학습 데이터 영상들로 YOLO-v3-tiny 모델을 학습하여 객체 검출을 수행할 수 있다. 즉, 영상 분석 장치(100)는 딥러닝 모델 학습을 통한 화점 및 요구조자 탐지를 수행할 수 있다. 본 발명의 실시 예에 따른 검출기는 다음 표 1에서와 같은 검출기 중 적어도 하나를 이용할 수 있다.

Model	Train	mAP	FPS
SSD513	COCO Trainval	50.4	8
DSSD513	COCO Trainval	53.3	6
FPN FRCN	COCO Trainval	59.1	6
Retinanet-50-500	COCO Trainval	50.9	14
YOLOv3-320	COCO Trainval	51.5	45
YOLOv3-416	COCO Trainval	65.86	35
YOLOv3-tiny	COCO Trainval	33.1	220

특히, 영상 분석 장치는, 다른 검출기에 비하여 mAP가 낮지만, 다른 모델들 보다 10배 빠른 연산 결과를 낼 수 있는 YOLO-V3-tiny 모델을 이용하여, 객체 검출을 수행할 수 있다. COCO dataset 91가지의 오브젝트를 검출하지만, 본 발명의 영상 분석 장치(100)에 적용되는 상기 YOLO-V3-tiny 모델은 화점과 요구조자 2가지의 오브젝트를 검출하기 때문에, 빠른 수행 속도를 가지면서도 다른 모델들과 비슷한 성능을 보인다. 이러한 본 발명의 영상 분석 장치(100)는 요구조자의 존재 여부를 신속하게 파악해야 하는 상황에 적합하게 운용할 수 있다.

한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

100: 영상 분석 장치
120: 입출력부
130: IR 카메라
140: 메모리
150: 디스플레이
160: 프로세서
161: 영상 수집부
163: 전처리기
163a: 필터링부
163b: 선명화부
165: 검출기
167: 분류기

Claims

특정 시점에 대한 열영상을 저장하는 메모리;
상기 메모리에 기능적으로 연결된 프로세서;를 포함하고,
상기 프로세서는
상기 열영상에 대한 필터링 과정을 수행하고,
상기 필터링된 영상에 대한 객체 검출을 수행하여 상기 필터링된 영상 내에 화점 및 요구조자 검출을 수행하도록 설정된 것을 특징으로 하는 영상 분석 장치.
제1항에 있어서,
상기 프로세서는
상기 필터링 과정에서 절대 온도 값을 기반으로 상기 열영상을 필터링하도록 설정된 것을 특징으로 하는 영상 분석 장치.
제1항에 있어서,
상기 프로세서는
상기 필터링 과정에서 복수의 온도 범위 값들로 상기 열영상을 필터링하여 복수의 필터링된 이미지를 생성하도록 설정된 것을 특징으로 하는 영상 분석 장치.
제3항에 있어서,
상기 프로세서는
상기 복수의 필터링된 이미지 각각에 대한 선명화 작업을 수행하도록 설정된 것을 특징으로 하는 영상 분석 장치.
제4항에 있어서,
상기 프로세서는
상기 선명화된 복수의 필터링된 이미지들을 합성하여 통합 이미지를 생성하도록 설정된 것을 특징으로 하는 영상 분석 장치.
제5항에 있어서,
이미지를 표시하는 디스플레이;를 더 포함하고,
상기 프로세서는
상기 통합 이미지에서 지정된 객체를 검출하고, 검출된 객체에 대한 인디케이터를 상기 디스플레이에 표시하도록 설정된 것을 특징으로 하는 영상 분석 장치.
특정 시점에 대한 열영상을 수집하는 단계;
상기 열영상에 대해 복수의 온도 범위 값을 기반으로 필터링을 수행하여 복수의 필터링된 이미지를 획득하는 단계;
상기 복수의 필터링된 이미지 각각에 선명화 작업을 수행하는 단계;
상기 선명화 작업이 수행된 복수의 필터링된 이미지를 합성하여 통합 이미지를 생성하는 단계;
상기 통합 이미지에서 지정된 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 영상 분석 방법.
제7항에 있어서,
상기 지정된 객체를 검출하는 단계는
상기 통합 이미지에서 화점 및 요구조자 검출을 수행하는 단계;를 포함하는 것을 특징으로 하는 영상 분석 방법.
제7항에 있어서,
상기 검출된 객체에 대한 인디케이터를 상기 지정된 객체와 함께 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상 분석 방법.
제9항에 있어서,
상기 표시하는 단계는
상기 지정된 객체의 종류에 관한 텍스트를 표시하는 단계;를 포함하는 것을 특징으로 하는 영상 분석 방법.