KR101610432B1

KR101610432B1 - 적외선 카메라 시스템 및 듀얼 센서 응용 방법

Info

Publication number: KR101610432B1
Application number: KR1020127000033A
Authority: KR
Inventors: 니콜라스 호가스텐; 제프리 에스 스코트; 패트릭 비 리차드슨; 제프리 디 프랭크; 오스틴 에이 리차드스; 제임스 티 울로웨이
Original assignee: 플리어 시스템즈, 인크.
Priority date: 2009-06-03
Filing date: 2010-06-03
Publication date: 2016-04-07
Also published as: CN102461156B; US20100309315A1; CN102461156A; EP2438754A1; US20140285672A1; KR20120038431A; US8749635B2; WO2010141772A1; US9083897B2

Abstract

여기 개시된 시스템 및 방법은 적외선 카메라 시스템 및 듀얼 센서 응용 방법을 제공한다. 예를 들어, 일실시예에서 강화 비전 시스템은 가시광 이미지를 캡처하도록 된 가시광 센서를 포함한다. 시스템은 또한 적외선 이미지를 캡처하도록 된 적외선 센서를 포함한다. 시스템은 또 캡처된 가시광 이미지로부터 휘도 부분을 추출하고, 캡처된 적외선 이미지로부터 휘도 부분을 추출하고, 휘도 부분을 스케일링하며, 스케일링된 휘도 부분들을 병합하여 출력 이미지를 생성하도록 된 프로세싱 구성요소를 포함한다. 시스템은 또한 출력 이미지를 디스플레이하도록 된 디스플레이 구성요소를 포함한다.

Description

적외선 카메라 시스템 및 듀얼 센서 응용 방법{INFRARED CAMERA SYSTEMS AND METHODS FOR DUAL SENSOR APPLICATIONS}

본 개시는 적외선 이미징 시스템에 관한 것으로서, 특히 적외선 카메라 시스템 및 듀얼 센서 응용 방법에 관한 것이다.

가시광 카메라들이 컬러나 흑백 이미지를 캡처하기 위해 다양한 이미징 응용예에 활용된다. 예를 들어, 가시광 카메라는 통상적으로 주변광 하에서 주간 응용예에 사용된다.

적외선 카메라는 물체로부터의 열 방사를 적외선 이미지로서 캡처하기 위해 다양한 이미징 응용예에 사용되므로, 주변 조명에 좌우되지 않을 수 있다. 예를 들어, 적외선 카메라는 통상적으로 가시적 스펙트럼 대역에 국한된 카메라에 영향을 미치는 낮은 조명 조건 하에서 가시성을 향상시키기 위해 야간 응용예에 사용될 수 있다.

그러나, 가시광 카메라 및 적외선 카메라의 종래의 야간 구현 방식에는 몇가지 단점들이 존재한다. 예를 들어, 자동차 운전자는 장면의 가시 대역과 적외선 대역 표현 사이에 상관관계를 설정하고 안전한 주행을 위한 경로 장애물과 방향을 판단하기 위해 가시광 카메라로부터의 이미지를 표현하는 디스플레이와 적외선 카메라로부터의 이미지를 표현하는 디스플레이를 번갈아 할 수 있다. 이것은 상대적으로 어려울 수 있다. 하나의 디스플레이 상에 분할 화면(split view)을 사용한다고 해도, 운전자는 다중 대역 카메라 시스템에서 가시광 카메라와 적외선 카메라로부터의 출력을 상관시키기 위해 이미지 안에서 무엇이 장애물일 수 있는지를 판단하기 위해 각각의 보기 사이를 지속적으로 스위칭해야 한다.

그 결과, 가시광 이미지와 적외선 이미지를 쉽게 보일 수 있는 방식으로 제공하기 위한 개선된 디스플레이 기법이 필요하다. 또한, 야간 응용예 등을 포함하는 다양한 응용예를 위해 개선된 가시광 및 적외선 카메라 프로세싱 기법 역시 필요로 된다.

여기 개시된 시스템 및 방법은 한 개 이상의 실시예에 따라 듀얼 센서 카메라 같이 강화 비전(enhanced vision) 능력을 제공하도록 구성될 수 있는 듀얼 센서 이미징 장치의 프로세싱 기법 및 동작 모드를 제공한다. 한 예로서, 소정 조건 하에서 차량(가령, 항공기, 배, 육상용 차량 등)은 차량을 조종 및 항해하는 파일럿을 돕기 위해 강화 비전 시스템을 사용하는 것이 바람직할 수 있다. 예를 들어, 야간에 적외선 방사에 감응하는 센서의 사용이 어둠 속에서의 이미징을 돕는다. 가시광원이 존재하는 환경하에서는 파일럿이 가시광 스펙트럼에 감응하는 센서를 사용해 그러한 광을 확인하는 것이 바람직하다. 그에 따라, 본 개시의 실시예는 최소한의 사용자 입력을 요하면서 응용예를 프로세싱하기 위해 적외선 및 가시 파장 센서들로부터 캡처된 이미지를 결합하는 강화 비전 시스템을 제공한다. 가시광 센서로부터의 이미지 신호와 적외선 센서로부터의 이미지 신호를 결합 또는 혼합함으로써, 가시광 센서로부터 컬러 정보를 보유하고 적외선 센서로부터 적외선 휘도를 보이는 결합 또는 혼합 이미지가 생성될 수 있다.

일 실시예에 따르면, 강화 비전 시스템은 가시 스펙트럼의 광에 감응하는 적어도 한 센서 및 적외선 스펙트럼의 열 방사에 감응하는 적어도 한 센서를 포함한다. 강화 비전 시스템은 적어도 세 가지 모드로 동작되도록 구성되는데, 여기서 제1모드는 가시광 센서로부터의 이미지 신호를 디스플레이하고, 제2모드는 적외선 센서로부터의 이미지 신호를 디스플레이하며, 제3모드는 가시광 센서로부터의 이미지 신호와 적외선 센서로부터의 이미지 신호를 결합함으로써 생성되는 이미지 신호를 디스플레이 한다. 한 구현예에서, 제3모드의 결합 이미지 신호는 결합 이미지 신호의 휘도 부분을 생성하도록 가시광 센서로부터의 이미지 신호의 휘도 부분을 적외선 센서의 이미지 신호로부터의 휘도 부분과 결합함으로써 생성된다. 결합 이미지 신호의 색차 정보가 가시광 센서의 이미지 신호로부터 유지될 수 있다. 동작 모드는 사용자 선택 가능한 것으로, (노브(knob)를 돌려 생성된 것 같은) 하나의 사용자 입력이 동작 모드들 중 어느 하나의 이미지 신호를 제어한다. 한 양태에서, 강화 비전 시스템은 하루의 시간에 따라 동작 모드를 자동 선택할 수 있다. 다른 양태에서, 강화 비전 시스템은 어느 한 대역이나 양 대역(가령, 가시광 대역 및/또는 적외선 대역)에서 캡처된 이미지 신호의 특성(가령, SNR:신호 대 잡음비)에 기초하여 동작 모드를 자동 선택할 수 있다.

일 실시예에 따르면, 강화 비전 시스템은 가시광을 캡처하기 위한 가시광 센서 및 적외선 이미지를 캡처하기 위한 적외선 센서를 가진 이미지 캡처 구성요소를 포함한다. 강화 비전 시스템은 사용자에게 복수의 선택가능한 프로세싱 모드를 제공하고, 사용자가 선택한 프로세싱 모드에 상응하는 사용자 입력을 수신하고, 사용자가 선택한 프로세싱 모드를 나타내는 제어 신호를 생성하되, 복수의 선택가능 프로세싱 모드는 가시광 전용 모드, 적외선 전용 모드, 및 가시광-적외선 결합 모드를 포함하는 제1제어 구성요소를 포함한다. 강화 비전 시스템은 제어 구성요소로부터 생성된 제어 신호를 수신하고, 캡처된 가시광 이미지와 캡처된 적외선 이미지를 사용자가 선택한 프로세싱 모드에 따라 처리하고, 사용자에 의해 선택된 프로세싱 모드에 기초해 프로세싱된 이미지를 생성하도록 된 프로세싱 구성요소를 포함한다. 강화 비전 시스템은 사용자에 의해 선택된 프로세싱 모드에 기초해 프로세싱된 이미지를 디스플레이하도록 된 디스플레이 구성요소를 포함한다.

복수의 선택가능 프로세싱 모드는 프로세싱 구성요소가 캡처된 가시광 이미지로부터만 출력 이미지를 생성하도록 하는 가시광 전용 모드를 포함하고, 상기 가시광 이미지는 가시광 파장 스펙트럼으로부터 컬러 정보나 흑백 정보를 포함한다. 복수의 선택가능 프로세싱 모드는 프로세싱 구성요소가 캡처된 적외선 이미지로부터만 출력 이미지를 생성하도록 하는 적외선 전용 모드를 포함하며, 상기 적외선 이미지는 적외선 파장 스펙트럼으로부터 열 정보를 포함한다. 복수의 선택가능 프로세싱 모드는 프로세싱 구성요소가 캡처된 가시광 이미지의 일부를 캡처된 적외선 이미지로부터의 일부와 결합시킴으로써 프로세싱된 이미지를 생성하게 하는 가시광-적외선 혼합 모드를 포함한다.

강화 비전 시스템은 캡처된 가시광 이미지, 캡처된 적외선 이미지, 및 프로세싱된 이미지를 저장하도록 된 메모리 구성요소를 포함할 수 있다. 강화 비전 시스템은 사용자에게 선택가능 제어 파라미터(ξ)를 제공하고, 사용자가 선택한 제어 파라미터(ξ)에 상응하는 사용자 입력을 수신하며, 사용자가 선택한 제어 파라미터(ξ)를 나타내는 제어 신호를 생성하도록 된 제2제어 구성요소를 포함할 수 있다. 선택가능 제어 파라미터(ξ)는 0(제로)에서 1의 범위 안에 있는 값을 갖도록 정규화된다. 혼합 모드에서, 값 1은 프로세싱 구성요소가 캡처된 가시광 이미지로부터만 출력 이미지를 생성하도록 하고, 값 0은 프로세싱 구성요소가 캡처된 적외선 이미지로부터만 출력 이미지를 생성하도록 한다. 혼합 모드에서, 0(제로)과 1 사이의 값들은 프로세싱 구성요소가 캡처된 가시광 이미지 및 캡처된 적외선 이미지 둘 모두의 비례 부분으로부터 프로세싱된 이미지들을 생성하도록 한다. 선택가능 제어 파라미터(ξ)는 가시광-적외선 혼합 모드가 사용자에 의해 선택될 때 프로세싱 이미지 안에 가시광 이미지 및 적외선 이미지의 휘도 값들의 크기에 영향을 미치도록 되어 있다.

프로세싱된 이미지는 사용자에 의해 가시광 전용 모드가 선택될 때 가시광 이미지만을 포함하고, 프로세싱된 이미지는 사용자에 의해 적외선 전용 모드가 선택될 때 적외선 이미지만을 포함하고, 프로세싱된 이미지는 사용자에 의해 가시광-적외선 혼합 모드가 선택될 때 가시광-적외선 혼합 이미지를 포함한다. 디스플레이 구성요소는 처리된 이미지를 가시광 전용 이미지, 적외선 전용 이미지, 및 가시광 전용 이미지와 적외선 전용 이미지 둘 모두의 일부를 가진 가시광-적외선 결합 이미지로서 디스플레이하도록 되어 있다.

캡처된 가시광 이미지는 휘도(Y) 부분과 색차(CrCb) 부분을 포함하고, 캡처된 적외선 이미지는 휘도(Y) 만의 부분을 포함하고, 프로세싱 구성요소는 캡처된 가시광 이미지로부터 휘도(Y) 부분과 색차(CrCb) 부분을 추출하고, 캡처된 적외선 이미지로부터 휘도(Y) 부분을 추출하고, 휘도(Y) 부분을 스케일링하며, 휘도(Y) 부분과 색차(CrCb) 부분을 병합하여 사용자가 선택한 프로세싱 모드에 기반해 프로세싱된 이미지를 생성하도록 되어 있다.

일 실시예에 따르면, 이미지 프로세싱 방법은 가시광 이미지와 적외선 이미지를 캡처하는 단계, 및 복수의 선택가능한 프로세싱 모드를 사용자에게 제공하는 단계를 포함하고, 복수의 선택가능한 프로세싱 모드는 가상광 전용 모드, 적외선 전용 모드, 및 가시광-적외선 결합 모드를 포함한다. 이 방법은 사용자 선택된 프로세싱 모드에 상응하는 사용자 입력을 수신하는 단계, 사용자 선택된 프로세싱 모드에 따라 캡처된 가시광 이미지 및 캡처된 적외선 이미지를 프로세싱하는 단계, 프로세싱된 이미지를 생성하는 단계, 및 프로세싱된 이미지를 디스플레이 하는 단계를 포함한다. 프로세싱된 이미지는 사용자에 의해 가시광 전용 모드가 선택될 때 가시광 전용 이미지를 포함할 수 있다. 프로세싱된 이미지는 사용자에 의해 적외선 전용 모드가 선택될 때 적외선 전용 이미지를 포함할 수 있다. 프로세싱된 이미지는 사용자에 의해 가시광-적외선 결합 모드가 선택될 때 가시광-적외선 결합 이미지를 포함할 수 있다.

본 개시의 범위는 청구범위에 의해 한정되며, 청구범위는 참조를 통해 이 섹션에 포함된다. 당업자라면 하나 이상의 실시예들에 대한 이하의 상세 설명을 고려함으로써 본 개시의 실시예에 대한 완전한 이해와 그 이점에 대한 깨달음을 얻을 수 있을 것이다. 먼저 간략하게 설명될 첨부된 도면에 대한 참조가 이뤄질 수 있다.

도 1a-1b는 본 개시의 다양한 실시예에 따라 적외선 이미지를 캡처 및 프로세싱하는 다양한 적외선 이미징 시스템을 예시한 블록도를 도시한다.
도 1c-1d는 본 개시의 다양한 실시예에 따른 도 1b의 적외선 이미징 시스템의 다양한 구성을 예시한 블록도를 도시한다.
도 1e-1f는 본 개시의 다양한 실시예에 따른 도 1b의 적외선 이미징 시스템의 선박 응용예를 예시한 개략도를 도시한다.
도 2는 본 개시의 일실시예에 따라 적외선 이미지를 캡처 및 프로세싱하는 방법을 예시한 블록도를 도시한다.
도 3a-3f는 본 개시의 다양한 실시예에 따라 적외선 프로세싱 기법들을 예시한 블록도를 도시한다.
도 4는 본 개시의 다양한 실시예에 따라 적외선 프로세싱 기법들의 개요를 예시한 블록도를 도시한다.
도 5는 본 개시의 일 실시예에 따라 다양한 동작 모드들 사이의 선택을 위한 적외선 이미징 시스템의 제어 구성요소를 예시한 블록도를 도시한다.
도 6은 본 개시의 일실시예에 따른 적외선 이미징 시스템의 이미지 캡처 구성요소들의 실시예를 예시한 개략도를 보이다.
도 7은 본 개시의 일실시예에 따른 적외선 이미징 시스템의 이미지 캡처 구성요소들의 실시예를 예시한 개략도를 보이다.
도 8은 본 개시의 실시예들에 따라, 강화 비전 시스템에서 듀얼 센서 응용예를 구현하는 방법의 블록도를 도시한다.
도 9는 본 발명의 실시예들에 따라, 한 개 이상의 강화 비전 동작 모드 및 그와 관련된 적외선 프로세싱 기업들을 구현하기 위한 방법을 예시하는 블록도를 도시한다.
도 10은 본 개시의 실시예들에 따라 한 개 이상의 강화 동작 모드들 사이에서 선택을 하기 위한 강화 비전 시스템의 제어 구성요소를 예시한 블록도를 도시한다.
도 11a는 본 개시의 일실시예에 따른 픽셀 당 혼합 조정에 대한 그래프를 도시한다.
도 11b는 본 개시의 일실시예에 따른 픽셀 당 밝기 조정에 대한 그래프를 도시한다.
본 개시의 실시예들 및 이들의 이점은 이하의 상세 설명을 참조할 때 가장 잘 이해될 수 있다. 동일한 참조 부호가 한 개 이상의 도면들에 예시된 동일한 구성요소를 식별하기 위해 사용되는 것이 이해되어야 한다.

본 개시의 일 실시예에 따라, 도 1a는 적외선 이미지를 캡처 및 프로세싱하기 위한 적외선 이미징 시스템(100A)을 예시한 블록도를 도시한다. 적외선 이미징 시스템(100A)은 프로세싱 구성요소(110), 메모리 구성요소(120), 이미지 캡처 구성요소(130), 디스플레이 구성요소(140), 제어 구성요소(150), 및 선택사항으로서 센싱 구성요소(160)를 포함한다.

다양한 구현예에서 적외선 이미징 시스템(100A)은 이미지(170) 같은 한 개 이상의 이미지를 캡처하기 위해 적외선 카메라 같은 적외선 이미징 장치를 나타낼 수 있다. 적외선 이미징 시스템(100A)은 예컨대 적외선을 검출하고 대표적 데이터(가령, 한 개 이상의 스냅샷이나 비디오 적외선 이미지)를 제공하는 모든 타입의 적외선 카메라를 나타낼 수 있다. 예를 들어, 적외선 이미징 시스템(100A)은 근적외선, 중적외선, 및/또는 원적외선 스펙트럼을 대상으로 하는 적외선 카메라를 나타낼 수 있다. 적외선 이미징 시스템(100A)은 휴대형 장치를 포함할 수 있고, 예컨대 자동차(가령, 해상 차량, 육상 차량, 항공기, 또는 우주선)이나 적외선 이미지를 저장 및/또는 디스플레이 해야 하는 비모바일 장치 안에 포함될 수 있다.

프로세싱 구성요소(110)는 일 실시예에서 마이크로프로세서, 단일 코어 프로세서, 멀티 코어 프로세서, 마이크로컨트롤러, 로직 장치(가령, 프로세싱 기능을 수행하도록 구성된 프로그래머블 로직 장치), 디지털 시그널 프로세싱(DSP) 장치, 또는 어떤 다른 타입의 일반적으로 알려진 프로세서를 포함한다. 프로세싱 구성요소(110)는 여기 기술된 바와 같은 방법 및 프로세싱 단계들을 수행하기 위해 구성요소들(120, 130, 140, 150 및 160)과 인터페이스하고 통신하도록 된다. 프로세싱 구성요소(110)는 한 개 이상의 동작 모드로 동작하는 한 개 이상의 모듈(112A-112N)을 포함할 수 있다. 한 구현예에서, 모드 모듈들(112A-112N)은 프로세싱 구성요소(110)에 의해 액세스 및 실행될 프로세싱 구성요소(110)에 내장되거나 메모리 구성요소(120)에 저장될 수 있는 미리 설정된 디스플레이 기능들을 규정한다. 또한, 프로세싱 구성요소(110)는 다른 다양한 타입의 이미지 프로세싱 알고리즘을 수행하도록 구성될 수 있다.

다양한 구현예들에서, 모드 모듈들(112A-112N) 각각은 프로세싱 구성요소(110)의 일부나 각 모드 모듈(112A-112N)과 관련된 동작 모드들 각각에 대한 것으로 메모리 구성요소(120)에 저장될 수 있는 코드(가령, 소프트웨어나 구성 데이터)로서 소프트웨어 및/또는 하드웨어에 포함될 수 있다는 것을 알 수 있을 것이다. 모드 모듈(112A-112N)의 실시예(즉, 동작 모드)가 다양한 방법을 수행하도록 컴퓨터(가령, 로직 또는 프로세서 기반 시스템)에 의해 실행될 독자적인 컴퓨터 판독가능 매체(가령, 하드 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 또는 플래시 메모리)에 의해 저장될 수 있다. 일례에서, 컴퓨터 판독가능 매체는 휴대형이고/이거나 적외선 이미징 시스템(100A)으로부터 따로 위치될 수 있으며, 저장된 모드 모듈들(112A-112N)은 컴퓨터 판독가능 매체를 적외선 이미징 시스템(100A)에 결합시키고/거나 적외선 이미징 시스템(100a)이 컴퓨터 판독가능 매체로부터 모드 모듈들(112A-112N)을 다운로드(가령, 유무선 링크를 통해)함으로써 제공된다. 모드 모듈들(112A-112N)은 실시간 응용예를 위해 개선된 적외선 카메라 프로세싱 기법들을 제공하며, 사용자나 오퍼레이터는 디스플레이 구성요소(1400 상의 이미이지를 보면서 모드를 변경할 수 있다.

메모리 구성요소(120)는 일 실시예에서 데이터 및 정보를 저장할 한 개 이상의 메모리 장치들을 포함한다. 한 개 이상의 메모리 장치들은 RAM(Random Access Memory), ROM(Read-Only Memory), EEPROM(Electrically- Erasable Read-Only Memory), 플래시 메모리 등과 같은 휘발성 및 비휘발성 메모리 소자들을 포함할 수 있다. 프로세싱 컴포넌트(110)는 방법, 프로세스, 및 동작 모드를 수행하기 위해 메모리 구성요소(120)에 저장된 소프트웨어를 실행하도록 되어 있다.

이미지 캡처 구성요소(130)는 일 실시예에서 이미지(170) 같은 이미지를 나타내는 적외선 이미지 신호를 캡처하기 위해 한 개 이상의 적외선 센서들(가령, 초점면(focal plane) 어레이 같은 임의 타입의 적외선 검출기)을 포함한다. 한 구현예에서, 이미지 캡처 구성요소(130)의 적외선 센서들은 이미지(170)의 캡처된 이미지 신호를 디지털 데이터로 나타내는(가령, 변환하는) 동작을 제공한다(적외선 센서의 일부로서, 아니면 적외선 이미징 시스템(100A)의 일부로서 적외선 센서와 별개로 포함되는 아날로그-디지털 컨버터를 통해). 프로세싱 구성요소(110)는 이미지 캡처 구성요소(130)로부터 적외선 이미지 신호를 수신하고, 적외선 이미지 신호를 프로세싱하고(가령, 프로세싱된 이미지 데이터를 제공하고), 적외선 이미지 신호나 이미지 데이터를 메모리 구성요소(120)에 저장하고/거나 메모리 구성요소(120)로부터 저장된 적외선 이미지 신호를 가져오도록 구성될 수 있다. 프로세싱 구성요소(110)는 사용자에게 보이도록 디스플레이 구성요소(140)로 이미지 데이터(가령, 캡처 및/또는 프로세싱된 적외선 이미지 데이터)를 제공하기 위해 메모리 구성요소(120)에 저장된 적외선 이미지 신호를 프로세싱하도록 구성될 수 있다.

디스플레이 구성요소(140)는 일 실시예에서, 이미지 디스플레이 장치(가령, 액정 디스플레이(LCD))나 다른 다양한 타입의 일반적으로 알려져 있는 비디오 디스플레이 또는 모니터를 포함한다. 프로세싱 구성요소(110)는 디스플레이 구성요소(140) 상에 이미지 데이터 및 정보를 디스플레이하도록 구성될 수 있다. 프로세싱 구성요소(110)는 또한 메모리 구성요소(120)로부터 이미지 데이터 및 정보를 가져오고 디스플레이 구성요소(140) 상에 어떤 가져온 이미지 데이터 및 정보를 디스플레이할 수도 있다. 디스플레이 구성요소(140)는 이미지 데이터 및 정보(가령, 적외선 이미지)를 디스플레이하도록 프로세싱 구성요소(110)에 의해 사용될 수 있는 디스플레이 전자회로를 포함할 수 있다. 디스플레이 구성요소(140)는 프로세싱 구성요소(110)를 통해 이미지 캡처 구성요소(130)로부터 바로 이미지 데이터 및 정보를 수신하거나, 이미지 데이터 및 정보가 프로세싱 구성요소(110)를 통해 메모리 구성요소(120)로부터 전송될 수 있다. 일 실시예에서, 프로세싱 구성요소(110)는 캡처된 이미지를 처음에 프로세싱하고, 모드 모듈(112A-112N)에 해당하는 한 모드로 프로세싱된 이미지를 제공하며, 제어 구성요소(150)에 대한 사용자 입력에 따라 프로세싱 구성요소(110)는 프로세싱된 이미지를 디스플레이 구성요소 상에서 다른 모드로 보기 위해 현재의 모드를 그 다른 모드로 스위칭할 수 있다. 이러한 스위칭을 실시간 응용예를 위한 모드 모듈들(112A-112N)의 적외선 카메라 프로세싱 기법들을 적용하는 것이라 부를 수 있으며, 사용자나 오퍼레이터는 디스플레이 구성요소(140) 상의 이미지를 보면서 제어 구성요소(150)로의 사용자 입력에 기초해 모드를 변경할 수 있다.

제어 구성요소(150)는 일 실시예에서 한 개 이상의 푸쉬 버튼, 슬라이드 바, 회전 노브나 키보다 같이 한 개 이상의 사용자 작동 입력 제어 신호를 생성하도록 구성된 한 개 이상의 사용자 작동 구성요소들을 가진 사용자 입력 및/또는 인터페이스 장치를 포함한다. 제어 구성요소(150)는 가령 디스플레이 스크린에서 사용자가 터치한 다양한 부분들로부터 입력 신호를 수신하도록 된 터치 스크린 장치 같이, 입력 장치와 디스플레이 장치 양자 모두로서 동작하는 디스플레이 구성요소(140)의 일부로서 통합되도록 구성될 수 있다. 프로세싱 구성요소(110)는 제어 구성요소(150)로부터 제어 입력 신호를 감지하고 그로부터 수신되어 감지된 어떤 제어 입력 신호에 응답하도록 구성될 수 있다. 프로세싱 구성요소(110)는 제어 입력 신호를 여기서 보다 상세히 기술될 어떤 값으로 해석하도록 구성될 수 있다.

제어 구성요소(150)는 일 실시예에서, 도 5에 도시되고 여기서 더 기술되는 바와 같이, 사용자와 인터페이스하여 사용자 입력 제어 값들을 수신하도록 구성된 한 개 이상의 푸쉬 버튼을 가진 제어 패널 유닛(500)(가령, 유무선 핸드헬드 제어 유닛)을 포함할 수 있다. 다양한 구현예에서, 제어 패널 유닛(500)의 한 개 이상의 푸쉬 버튼들이 사용되어 도 2-4를 참조하여 여기 기술되는 것과 같은 다양한 동작 모드들 사이를 선택할 수 있다. 예를 들어, 한 개의 푸쉬 버튼만이 구현될 수 있고, 그것은 운영자에 의해 여러 동작 모드들(가령, 야간 도킹(docking), 사람이 물에 빠진 상황, 야간 크루즈, 주간 크루즈, 안개 낀 상황, 및 해안선)을 순환하며, 선택된 모드는 디스플레이 구성요소(140) 상에서 표시된다. 다른 다양한 구현예에서, 제어 패널 유닛(500)은 자동 초점, 메뉴 인에이블(enable) 및 선택, 시계(FOV), 밝기, 대조, 이득, 오프셋, 시간, 공간, 및/또는 다른 다양한 특성들 및/또는 파라미터들 같이, 적외선 이미징 시스템(100A)의 다른 다양한 제어 동작을 제공하기 위한 한 개 이상의 다른 푸쉬 버튼들을 포함하도록 구성될 수 있다. 다른 구현예에서, 선택된 동작 모드에 기초해 사용자나 오퍼레이터에 의해 가변 이득 값이 조정될 수 있다.

다른 실시예에서, 제어 구성요소(150)는 가령 사용자와 인터페이스하고 사용자 입력 제어 값들을 수신하도록 구성된 푸쉬 버튼들의 한 개 이상의 이미지를 가진 디스플레이 구성요소(140)(가령, 사용자 작동 터치 스크린)의 일부로서 포함될 수 있는 그래픽 사용자 인터페이스(GUI)를 포함할 수 있다.

옵션인 센싱 구성요소(160)는 일 실시예에서, 원하는 응용예나 구현 요건에 따라 프로세싱 구성요소(110)에 정보를 제공하는 환경 센서들을 포함하는 한 개 이상의 다양한 타입의 센서들을 포함한다. 프로세싱 구성요소(110)는 센싱 구성요소(160)와 통신하고(가령, 센싱 구성요소(160)로부터 센서 정보를 수신함으로써), 이미지 캡처 구성요소(130)와 통신하도록(가령, 이미지 캡처 구성요소(130)로부터 데이터를 수신하고 적외선 이미징 시스템(100A)으로/로부터 명령, 제어 또는 다른 정보를 제공 및/또는 수신함으로써) 구성될 수 있다.

다양한 구현예에서, 선택가능한 센싱 구성요소(160)는 외부 온도, 광 조건(가령, 주간, 야간, 해질 무렵, 및/또는 동틀 무렵), 습도, 특정 날씨 상태(가령, 맑음, 비, 및/또는 눈), 거리(가령, 레이저 거리 측정기), 및/또는 터널, 지붕 덮힌 선창이나 어떤 타입의 폐쇄된 곳으로 진입하는지 그로부터 나오는지 여부 같은 환경적 조건과 관련된 데이터 및 정보를 제공할 수 있다. 선택가능한 센싱 구성요소(160)는 이미지 캡처 구성요소(130)에 의해 제공되는 데이터(가령, 이미지 외양)에 대해 영향을 미칠 수 있는 다양한 상황(가령, 환경적 조건)을 모니터링하도록 당업자가 알 수 있는 것 같은 종래의 센서들을 나타낼 수 있다.

일부 실시예에서, 선택가능한 센싱 구성요소(160)는 무선 통신을 통해 정보를 프로세싱 구성요소(110)에 중계하도록 구성된 한 개 이상의 장치들을 포함할 수 있다. 예를 들어, 센싱 구성요소(160)는 위성, 지역 방송(가령, 무선 주파수) 전송, 모바일 또는 셀룰라 네트워크 및/또는 어떤 인프라 구조(가령, 교통 또는 고속 정보 비콘 인프라 구조)의 정보 비콘 또는 다른 다양한 유무선 기법들을 통해 정보를 수신하도록 구성될 수 있다.

다양한 실시예들에서, 이미지 캡처링 시스템(100A)의 구성요소들은 원하는 바 대로, 혹은 응용예나 필요조건에 따라, 시스템의 다양한 동작 블록들을 나타내는 이미지 캡처링 시스템(100A)과 결합하거나, 그를 이용해 구현될 수 있다. 예를 들어, 프로세싱 구성요소(110)는 메모리 구성요소(120), 이미지 캡처 구성요소(130), 디스플레이 구성요소(140) 및/또는 센싱 구성요소(160)와 결합될 수 있다. 다른 예에서, 프로세싱 구성요소(110)는 이미지 캡처 구성요소(130)와 결합될 수 있고, 프로세싱 구성요소(110)의 소정 기능들만이 이미지 캡처 구성요소(130) 안의 회로(가령, 프로세서, 마이크로프로세서, 마이크로컨트롤러, 로직 장치 등)에 의해 수행된다. 또 다른 예에서, 제어 구성요소(150)는 한 개 이상의 다른 구성요소들과 결합되거나, 제어 신호를 제공하기 위한 제어선을 통해 프로세싱 요소(110) 같은 적어도 한 개의 다른 구성요소에 원격으로 연결될 수 있다.

본 개시의 또 다른 실시예에 따라, 도 1b는 적외선 이미지를 캡처 및 프로세싱하기 위한 적외선 이미징 시스템(100B)을 예시한 블록도를 도시한다. 적외선 이미징 시스템(100B)은 일 실시예에서 프로세싱 구성요소(110), 인터페이스 구성요소(118), 메모리 구성요소(120), 한 개 이상의 이미지 캡처 구성요소(130A-130N), 디스플레이 구성요소(140), 제어 구성요소(150), 및 선택사항으로서 센싱 구성요소(160)를 포함한다. 도 1b의 적외선 이미징 시스템(100B)의 여러 구성요소들은 도 1a의 적외선 이미징 시스템(100A)의 구성요소들과 기능과 범위 면에서 유사할 수 있다는 것을 예상할 수 있으며, 이 시스템들(100A, 100B) 사이의 어떤 차이에 대해서는 여기서 보다 상세히 기술한다.

다양한 구현예에서, 적외선 이미징 시스템(100B)은 한 개 이상의 적외선 카메라 같이, 이미지들(170A-170N) 같은 이미지들을 캡처하는 한 개 이상의 이미징 장치들을 나타낼 수 있다. 일반적으로, 적외선 이미징 시스템(100B)은 예컨대 적외선을 검출하고 대표적 데이터(가령, 한 개 이상의 스냅샷이나 비디오 적외선 이미지)를 제공하는 복수의 적외선 카메라를 사용할 수 있다. 예를 들어, 적외선 이미징 시스템(100B)은 근적외선, 중적외선, 및/또는 원적외선 스펙트럼을 대상으로 하는 한 개 이상의 적외선 카메라를 포함할 수 있다. 여기서 더 논의되는 바와 같이, 적외선 이미징 시스템(100B)은 예컨대 차량(가령, 해상 차량 또는 다른 타입의 배, 육상 차량, 항공기, 또는 우주선)이나 적외선 이미지를 저장 및/또는 디스플레이 해야 하는 비모바일 장치 안에 포함될 수 있다.

프로세싱 구성요소(110)는 여기 기술된 바와 같은 방법 및 프로세싱 단계들을 수행하기 위해 시스템(100B)의 구성요소들(118, 120, 140, 150 및 160)을 포함하는 복수의 구성요소들과 인터페이스하고 통신하도록 된다. 프로세싱 구성요소(110)는 여기에서 보다 자세히 기술되는 한 개 이상의 동작 모드로 동작하는 한 개 이상의 모듈(112A-112N)을 포함할 수 있다. 프로세싱 구성요소(110)는 여기 기술되는 것과 같은 방식으로 다른 다양한 타입의 이미지 프로세싱 알고리즘을 수행하도록 구성될 수 있다.

인터페이스 구성요소(118)는 일 실시예에서, 각각의 이미지 캡처 구성요소(130A-130N) 및 프로세싱 구성요소(110) 사이에 통신을 허용하는 통신 장치(가령, 모뎀, 라우터, 스위치, 허브, 또는 이더넷 카드)를 포함한다. 그와 같이, 프로세싱 구성요소(110)는 인터페이스 구성요소(118)를 통해 각각의 이미지 캡처 구성요소(130A-130N)로부터 적외선 이미지를 수신하도록 구성된다.

각각의 이미지 캡처 구성요소(130A-130N)(여기서 "N"은 어떤 원하는 수를 나타냄)는 다양한 실시예들에서 한 개 이상의 이미지들(170A-170N) 같은 이미지를 나타내는 적외선 이미지 신호들을 캡처하기 위한 한 개 이상의 적외선 센서들(가령, 초점면 어레이 같은 어떤 타입의 적외선 검출기, 또는 적외선 이미징 시스템(100A) 같은 어떤 타입의 적외선 카메라)을 포함한다. 한 구현예에서, 이미지 캡처 구성요소(130A)의 적외선 센서들은 예컨대 이미지(170)의 캡처된 이미지 신호를 디지털 데이터로서 나타내는(가령, 변환하는) 동작을 제공한다(적외선 센서의 일부로서, 아니면 적외선 이미징 시스템(100B)의 일부로서 적외선 센서와 별개로 포함되는 아날로그-디지털 컨버터를 통해). 이와 같이, 프로세싱 구성요소(110)는 인터페이스 구성요소(118)를 통해 각각의 이미지 캡처 구성요소((130A-130N)로부터 적외선 이미지 신호를 수신하고, 적외선 이미지 신호를 프로세싱하고(가령, 프로세싱된 이미지 데이터를 제공하거나, 프로세싱된 이미지 데이터가 각각의 이미지 캡처 구성요소(130A-130N)에 의해 제공될 수 있음), 적외선 이미지 신호나 이미지 데이터를 메모리 구성요소(120)에 저장하고/거나 메모리 구성요소(120)로부터 저장된 적외선 이미지 신호를 가져오도록 구성될 수 있다. 프로세싱 구성요소(110)는 사용자에게 보이도록 디스플레이 구성요소(140)(가령, 한 개 이상의 디스플레이)로 이미지 데이터(가령, 캡처 및/또는 프로세싱된 적외선 이미지 데이터)를 제공하기 위해 메모리 구성요소(120)에 저장된 적외선 이미지 신호를 프로세싱하도록 구성될 수 있다.

도 6을 참조한 하나의 구현예에서, 이미지 캡처 구성요소(130A-130N)는 제1카메라 구성요소(132), 제2카메라 구성요소(134), 및/또는 서치라이트 구성요소(136)를 포함하는 한 개 이상의 구성요소들을 포함할 수 있다. 도 6에 도시된 것 같은 일 실시예에서, 제1카메라 구성요소(132)는 적외선 이미지들을 캡처하도록 구성되고, 제2카메라 구성요소(134)는 가시광 스펙트럼에 있는 컬러 이미지를 캡처하도록 구성되며, 서치라이트 구성요소(136)는 한 개 이상의 이미지들(170)의 이미지 경계 안에 있는(가령, 제1카메라 구성요소(132) 및/또는 제2카메라 구성요소(132)의 시계 안에 있는) 한 위치에 광빔을 제공하도록 구성된다.

도 1c는 본 개시의 일 실시예에 따라 배(180)에 탑재된 복수의 이미지 캡처 구성요소들(130A-130D)(가령, 적외선 카메라)을 가진 적외선 이미징 시스템(100B)의 상면도를 도시한다. 다양한 구현예에서, 이미지 캡처 구성요소들(130A-130D)은 한 개 이상의 적외선 이미지를 캡처하도록 구성된 임의 타입의 적외선 카메라(가령, 적외선 검출 장치)를 포함할 수 있다. 배(180)는 임의 타입의 배(가령, 보트, 요트, 선박, 크루즈 배, 탱커, 상선, 군함 등)를 나타낼 수 있다.

도 1c에 도시된 바와 같이, 복수의 이미지 캡처 구성요소들(130A-130D)은 배(180) 주변으로 한 개 이상의 시계를 제공하도록 하는 방식으로, 배(180) 위의 여러 위치들에 배치되어 탑재될 수 있다. 다양한 구현예에서, 이미지 캡처 구성요소(130A)는 배(180)의 뱃머리(182)(가령, 전향 또는 앞부분) 앞이나 주위에 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130B)는 배(180)의 좌현(184)(가령, 뱃머리(182)를 향할 때 좌측) 옆이나 주위에 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130C)는 배(180)의 우현(186)(가령, 뱃머리(182)를 향할 때 우측) 옆이나 주위에 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130D)는 배(180)의 선미(188)(가령, 뒤나 고물 부분) 뒤나 주위에 시계를 제공하도록 탑재될 수 있다.

따라서, 한 구현예에서, 복수의 적외선 캡처 구성요소들(130A-130D)(가령, 적외선 카메라들)은 그 주위에 시계들을 제공하도록 배(180)의 주변에 탑재될 수 있다. 일례로서, 배(180)는 사람이 물에 빠진 상황에 대한 검출을 제공하는 적외선 이미징 시스템(100B)을 포함하여, 배(180)의 야간 도킹, 야간 크루즈, 및/또는 주간 크루즈 같은 다양한 동작 모드 중에 도움을 주고/거나 안개낀 상황 중에 개선된 이미지 명료성과 같은 다양한 정보를 제공하거나, 수평선 및/또는 해안선에 대한 시각적 표시를 제공할 수 있다.

도 1d는 본 개시의 일 실시예에 따라 배(180)의 관제탑(190)(가령, 브리지)에 탑재된 복수의 이미지 캡처 구성요소들(130E-130H)(가령, 적외선 카메라)을 가진 적외선 이미징 시스템(100B)의 상면도를 도시한다. 도 1d에 도시된 바와 같이, 복수의 이미지 캡처 구성요소들(130E-130H)은 배(180) 주변으로 한 개 이상의 시계를 제공하도록 하는 방식으로, 배(180) 위의 여러 위치들에 배치되는 관제탑(190)에 탑재될 수 있다. 다양한 구현예에서, 이미지 캡처 구성요소(130E)는 배(180)의 뱃머리(182)의 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130F)는 배(180)의 좌현(184)의 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130G)는 배(180)의 우현(186)의 시계를 제공하도록 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소(130H)는 배(180)의 선미(188)의 시계를 제공하도록 탑재될 수 있다. 따라서, 한 구현예에서, 복수의 이미지 캡처 구성요소들(130E-130H)(가령, 적외선 카메라들)은 그 주위에 시계들을 제공하도록 배(180)의 관제탑 주변에 탑재될 수 있다. 또 도시된 바와 같이, 이미지 캡처 구성요소들(130B 및 130C)은 배(180)의 관제탑(190) 상에 탑재될 수도 있다.

도 1e는 본 개시의 일 실시예에 따라 배(180)에 탑재된 도 1b의 좌현 측 이미지 캡처 구성요소(130B)를 가진 적외선 이미징 시스템(100B)의 좌현도를 도시한다. 도 1e를 참조할 때, 이미지 캡처 구성요소(130B)는 배(180) 주위에 좌현측 시계를 제공한다.

한 구현예에서, 이미지 캡처 구성요소(130B)는 배(180)의 좌현측 이미지에 대한 시계를 제공할 수 있다. 다른 구현예에서, 좌현측 시계는 복수의 시계(B₁-B₆)로 분할될 수 있다. 예를 들어, 이미지 캡처 구성요소(130B)는 한 개 이상의 전향 좌현측 시계들(B₁-B₃)과 한 개 이상의 후향 좌현측 시계들(B₄-B₆)을 포함하는 좌현 시계의 하나 이상의 분할된 좁은 시계들을 제공하도록 구성될 수 있다. 도 6에 도시된 바와 같이 또 다른 구현예에서, 이미지 캡처 구성요소(130B)는 배(180)의 전체 좌현측 시계 안에서 복수의 분할되거나 좁은 시계들(B1-B6)을 제공하기 위해 복수의 이미지 캡처 구성요소들(132)(및 선택사항으로서 복수의 이미지 캡처 구성요소들(134))을 포함할 수 있다.

또한 도 1e에 도시된 바와 같이, 배(180)의 좌현측 시계들(B1-B6)은 시계 거리(viewing range)를 통해 이미지 캡처 구성요소(130B)에서 배(180)에 인접한 수면(198)으로 뻗어나갈 수 있다. 그러나, 여러 구현예에서, 시계 거리는 사용된 적외선 검출기 타입(가령, 적외선 카메라의 타입, 원하는 파장이나 적외선 스펙트럼의 일부분, 및 기타 당업자가 이해할 수 있는 관련 요인들)에 따라, 수면(198) 아래의 부분을 포함할 수 있다.

도 1f는 본 개시의 일 실시예에 따라 배(180)에 탑재된 좌현측 캡처 구성요소(130B)의 좌현측 시계 안에서 사람이 물에 빠진 상황을 찾아 식별하는 예를 도시한다. 일반적으로, 이미지 캡처 구성요소(130B)는 배(180) 밖으로 빠진 사람(가령, 좁혀진 좌현측 시계 B₃ 안에서)을 식별하고 찾는데 사용될 수 있다. 사람이 물에 빠진 상황이 식별되고 위치가 확인되면, 적외선 이미징 시스템(100B)의 프로세싱 구성요소(110)는 사람이 물에 빠진 상황의 시각적 식별 및 구조를 돕기 위해 좌현측 시계 B₃ 안에 도 6의 서치라이트 구성요소(136)를 위치시키도록 정보(가령, slew-to-queue))를 제어하거나 제공할 수 있다. 서치라이트 구성요소(136)는 이미지 캡처 구성요소(130B)와 분리되거나(가령, 별개의 하우징 및/또는 컨트롤), (가령, 같은 하우징이나 구내 안에서) 이미지 캡처 구성요소(130B)의 일부로서 형성될 수 있다는 것을 알아야 한다.

도 2는 본 개시의 일실시예에 따라 적외선 이미지를 캡처 및 프로세싱하는 방법(200)을 도시한다. 도 2의 간략화된 논의를 위해, 방법(200)을 수행할 수 있는 시스템, 기기 또는 장치의 예로서, 도 1a, 1b의 이미지 캡처링 시스템(100A, 100b)을 참조할 수 있다.

도 2를 참조할 때, 이미지(가령, 적외선 이미지 신호)가 적외선 이미징 시스템(100A, 100B)을 이용해 캡처된다. 한 구현예에서, 프로세싱 구성요소(110)는 이미지 캡처 구성요소(130)가 예컨대 이미지(170) 같은 이미지를 캡처하게 유도한다(가령, 유인한다). 이미지 캡처 구성요소(130)로부터 캡처된 이미지를 수신한 후, 프로세싱 구성요소(110)는 선택사항으로서 프로세싱을 위해 메모리 구성요소(120) 안에 캡처된 이미지를 저장할 수 있다.

다음으로, 캡처된 이미지는 선택사항으로서 전처리될 수 있다(블록 215). 한 구현예에서, 전처리는 캡처된 이미지와 관련된 적외선 센서 데이터를 획득하는 단계, 정정 조건을 적용하는 단계, 및/또는 추가 처리 전에 이미지 품질을 개선하도록 시간적 잡음의 감소를 적용하는 단계를 포함할 수 있다. 또 다른 구현예에서, 프로세싱 구성요소(110)는 캡처된 이미지를 직접 전처리하거나, 선택사항으로서 메모리 구성요소(120)에 저장된 캡처된 이미지를 가져와서 그 이미지를 전처리할 수 있다. 전처리된 이미지는 선택사항으로서 추가 처리를 위해 메모리 구성요소(120)에 저장될 수 있다.

이어서, 선택된 동작 모드가 얻어질 수 있다(블록 220). 한 구현예에서, 선택된 동작 모드는 제어 구성요소(150)(가령, 도 5의 제어 패널 유닛(500))으로부터 얻어지거나 가져올 수 있는 사용자 입력 제어 신호를 포함할 수 있다. 다양한 구현예에서, 선택된 동작 모드는 야간 도킹, 사람이 물에 빠진 상황, 야간 크루즈, 주간 크루즈, 안개 낀 상황, 및 해안선 모드 가운데 적어도 한 개로부터 선택될 수 있다. 이와 같이, 프로세싱 구성요소(110)는 사용자에 의한 입력으로서 선택된 동작 모드를 얻기 위해 제어 구성요소(150)와 통신할 수 있다. 이러한 동작 모드들이 여기에서 보다 상세히 기술되며, 한 개 이상의 적외선 이미지 프로세싱 알고리즘들의 사용을 포함할 수 있다.

다양한 구현예에서, 동작 모드들은 적외선 이미지에 대해 미리 설정된 프로세싱 및 디스플레이 동작들을 의미하며, 적외선 이미저와 적외선 카메라는 데이터를 사용자에게 디스플레이하기 전에 적외선 센서 데이터를 처리하도록 구성된다. 일반적으로, 디스플레이 알고리즘은 장면(즉, 시계) 정보를 효과적인 방식으로 사용자에게 제공하려고 한다. 일부의 경우, 적외선 이미지 프로세싱 알고리즘은 다양한 조건 하에서 좋은 이미지를 제공하기 위해 사용되고, 이 적외선 이미지 프로세싱 알고리즘은 사용자에게 파라미터들을 튜닝하고 카메라를 "수동 모드"에서 작동시키는 한 개 이상의 옵션을 제공한다. 한 양태에서, 적외선 이미징 시스템(100A, 100B)은 고급 매뉴얼 설정을 감춤으로써 단순화될 수 있다. 다른 양태에서, 다양한 조건에 대해 미리 설정된 이미지 프로세싱 개념이 해상 응용예들에서 구현될 수 있다.

이어서, 도 2를 참조할 때, 여기 보다 상세히 기술되는 바와 같이 선택된 동작 모드에 따라 이미지가 프로세싱된다(블록 225). 한 구현예에서, 프로세싱 구성요소(110)는 디스플레이를 위해 메모리 구성요소(120)에 프로세싱된 이미지를 저장할 수 있다. 다른 구현예에서, 프로세싱 구성요소(110)는 메모리 구성요소(120)에 저장된 프로세싱된 이미지를 가져와서 사용자에게 보이도록 그 프로세싱된 이미지를 디스플레이 구성요소(150) 상에서 디스플레이할 수 있다.

다음으로, 프로세싱된 이미지를 야간 모드에서 디스플레이할지 여부에 대한 결정이 이뤄진다(블록 230). 만약 그런 경우라면, 프로세싱 구성요소(110)는 디스플레이 구성요소(140)가 프로세싱된 이미지에 야간 컬러 팔레트를 인가하도록 설정하며(블록 235), 프로세싱된 이미지는 야간 모드로 디스플레이된다(블록 240). 예를 들어, (가령, 야간 도킹, 야간 크루즈, 또는 밤에 작동할 때의 기타 모드들을 위한) 야간 모드에서, 이미지는 사용자의 야간 시력을 향상시키기 위해 적색 팔레트나 녹색 팔레트로 디스플레이될 수 있다. 그와 달리, 야간 모드가 필요하지 않는 경우라면, 프로세싱된 이미지는 비야간 모드 방식으로 디스플레이된다(가령, 흑색 핫 팔레트 또는 흰색 핫 팔레트)(블록 240).

여러 구현예에서, 이미지를 디스플레이하는 야간 모드는 어둠 속에 있는 사용자나 오퍼레이터가 부족한 광 조건에 적응할 때를 돕기 위해 적색 팔레트나 녹색 팔레트를 사용하는 것을 의미한다. 이미징 캡처 시스템(100A, 100b)의 야간 동작 중에, 어둠속에서 보기 위한 사람의 시각적 능력은 디스플레이 모니터 상에서의 밝은 이미지에 대한 블라인딩 효과(blinding effect)에 의해 악화될 수 있다. 그에 따라, 흑색 핫 또는 흰색 핫 팔레트로부터 적색이나 녹색 팔레트 디스플레이로 컬러 팔레트를 변경한다. 한 양태에서, 적색 또는 녹색 팔레트는 일반적으로 사람의 야간 시력을 덜 방해하는 것으로 알려져 있다. 일례의 적녹청(RGB) 타입의 디스플레이에 있어서, 적색 컬러 팔레트의 적색 컬러를 증가시키기 위해서는 녹색과 청색 피셀들이 불능(disable)으로 될 수 있다. 다른 구현예에서, 야간 모드 디스플레이는 여기 기술된 것과 같이 적외선 이미징 시스템(100A, 100B)의 어떤 다른 동작 모드와 결합될 수 있으며, 야간에 적외선 이미징 시스템(100A, 100B)의 디폴트 디스플레이 모드는 야간 모드 디스플레이일 수 있다.

또한 여러 구현예에서, 소정 이미지 특성들은, 이미지 프로세싱 중이나(블록 225) 프로세싱된 이미지의 디스플레이 중에(블록 240) 적절히 마킹되어(가령, 컬러로 표시되거나, 하이라이트되거나, 다른 표시를 이용해 식별됨), 사용자가 디스플레이된 이미지를 보면서 그러한 특성들을 식별하는 것을 도울 수 있다. 예를 들어, 여기에 더 논의되는 바와 같이, 사람이 물에 빠진 상황 모드 중에, 의심받는 사람(또는 예컨대 더운 몸의 동물이나 오브젝트)은 디스플레이된 이미지 안에서 흑백 팔레트나 야간 컬러 팔레트(가령, 적색 팔레트)에 대해 청색(또는 다른 컬러나 마킹 타입)으로 표시될 수 있다. 또 다른 예로서, 여기 더 논의되는 바와 같이, 야간 또는 주간 크루즈 모드 및/또는 안개 낀 상황 모드 중에 물 속의 잠재적 위험들이 디스플레이된 이미지 안에서 사용자가 그 디스플레이를 보는 것을 돕기 위해 황색(또는 다른 컬러나 마킹 타입)으로 표시될 수 있다. 이미지 컬러화와 관련된 추가 세부사항들은 예컨대, 출원자에게 양도되고, 그에 따라 참조를 통해 이 명세서에 그 전체가 포함되는 미국 특허 제6,849,849호에서 찾을 수 있다.

여러 실시예들에서, 프로세싱 구성요소(110)는 실시간으로 캡처된 이미지의 프로세싱 모드를 스위칭하고, 제어 구성요소(150)로부터 사용자 입력을 수신함에 따라, 프로세싱되고 디스플레이된 이미지를 모드 모듈들(112A-112N)에 상응하는 한 모드로부터 다른 모드로 변경할 수 있다. 그와 같이, 프로세싱 구성요소(110)는 현재의 디스플레이 모드에서 사용자나 오퍼레이터가 디스플레이 구성요소(140) 상에서 프로세싱된 이미지를 보기 위한 다른 디스플레이 모드로 스위칭할 수 있다. 이러한 스위칭을 실시간 응용예를 위한 모드 모듈들(112A-112N)의 적외선 카메라 프로세싱 기법들을 적용하는 것이라 부를 수 있으며, 사용자나 오퍼레이터는 디스플레이 구성요소(140) 상의 이미지를 보면서 제어 구성요소(150)로의 사용자 입력에 기초해 디스플레이된 모드를 변경할 수 있다.

도 3a-3e는 본 개시의 다양한 실시예에 따라 적외선 프로세싱 기법들을 예시한 블록도를 도시한다. 여기에 기술된 바와 같이, 적외선 이미징 시스템(100A, 100B)은 사용자나 오퍼레이터에게 주어진 적외선 이미지 및 정보를 개선하기 위해 다양한 동작 모드들 사이에서 스위칭하도록 구성된다.

도 3a는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(300)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(300)은 해상 응용예를 위한 야간 도킹 동작 모드를 포함한다. 예를 들어, 야간 도킹 중에, 배나 해양 선박이 항구, 방파제나 정박지 주변에 있고, 근사한 구조를 가진 그 각각은 부두, 부이(buoys) 다른 배, 다른 육상 구조를 포함한다. 열적외선 이미저(가령, 적외선 이미징 시스템(100A, 100B))는 올바른 도킹 지점을 찾는 항해 도구로서 사용될 수 있다. 적외선 이미징 시스템(100A, 100B)은 사용자나 오퍼레이터가 배를 도킹하는 것을 돕는 적외선 이미지를 생성한다. 이미지 내에서 도킹 라이트, 벤트(vents) 및 구동 모터들 같이 장면이 디스플레이되는 방식에 최소의 영향을 미칠 수 있는 핫스팟들에 대한 높은 가능성이 존재한다.

도 3a를 참조할 때, 입력 이미지는 히스토그램 등화되고 스케일링되어(가령, 0-511) 히스토그램 등화 부분을 형성한다(블록 302). 이어서, 입력 이미지는 최고 및 최저 부분이나 분량(가령, 1%)을 포화시키면서 선형 스케일링되어(가령, 0-128) 선형 스케일링 부분을 형성한다(블록 304). 다음으로, 히스토그램 등화 부분 및 선형 스케일링 부분이 서로 합해져서 출력 이미지를 형성한다(블록 306). 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 308). 이 프로세스(300)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

일 실시예에서, 야간 도킹 모드는 항구, 선창, 또는 정박지 같은 다량의 열적 클러터(clutter)가 있는 이미지 설정에 대해 예정된다. 그러한 설정은 사용자가 위험한 오브젝트들에 대한 빛내기 없이도 장면을 보게 할 수 있다. 따라서, 야간 도킹 모드에 대한 적외선 프로세싱 기법(300)은 가령 배를 낮은 가시도와 도킹할 때 해상 응용예에 있어서의 경계 상황에 유용하다.

여러 구현예에서, 야간 도킹 모드가 선택될 때 이미지의 프로세싱 중에, 그 이미지는 히스토그램에서 "홀(holes)"을 제거함으로써 동적 범위를 압축하도록 히스토그램 등화된다. 히스토그램은 하늘이나 바다 구성요소들 같이 넓고 일정한 영역들에 너무 큰 대비가 주어지지 않도록 정체상태로 한정될 수 있다. 예를 들어, 출력 이미지의 동적 범위 중 약 20%가 비히스토그램 등화 이미지의 직선형 매핑을 위해 보존될 수 있다. 선형 매핑시, 예컨대 최저 1%의 픽셀 값들은 0으로 매핑되고, 최고 1%의 입력 픽셀들은 디스플레이 범위의 최대 값(가령, 235)으로 매핑된다. 한 양태에서, 최종 출력 이미지는 히스토그램 등화 및 선형 (1% " 매핑된(문외자(outlier)) 크로핑(cropping)을 이용한) 매핑된 이미지들의 가중된 합이 된다.

도 3b는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(320)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(320)은 해상 응용예를 위한 사람이 물에 빠진 상황 모드를 포함한다. 예를 들어, 사람이 물에 빠진 상황 모드에서, 이미지 캡처링 시스템(100A, 100B)은 물 속에 있는 사람을 찾는 특정 작업에 맞춰질 수 있다. 사람이 물에 빠진 상황과 배 사이의 거리는 알려지지 않을 수 있으며, 그 사람은 반경 안의 소수의 픽셀이거나 배에 가까이에 놓인 경우 훨씬 더 클 수 있다. 한 양태에서, 어떤 사람이 배에 가까이 있을 수 있다고 하더라도, 그 사람이 명확히 보일 수 있는 충분한 열적 사인을 가질 수 있으며, 그에따라 사람이 물에 빠진 상황 디스플레이 모드는 그 사람이 약한 열적 컨트라스트를 가지며 이미지 캡처 시스템(100A, 100B)의 도움 없이는 명확히 보이지 않을 정도로 멀리 있는 경우를 타깃으로 할 수 있다.

도 3b를 참조하면, 이미지 캡처 시스템(100A, 100B)의 이미지 캡처 구성요소(130)(가령, 적외선 카메라)는 수평선을 결정하거나 식별하도록 위치된다(블록 322). 한 구현예에서, 적외선 카메라는 수평선이 시계(FoV)의 상부에 있도록 위치한다. 다른 구현예에서, 수평선과 함께 해안선 역시 표시될 수 있다. 이어서, 하이 패스 필터(HPF)가 이미지에 인가되어 출력 이미지를 형성한다(블록 324). 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 326). 이 프로세스(320)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

한 예에서, 수평선 식별은 해안선 식별을 포함할 수 있고, 수평선 및/또는 해안선은 수평선 및/또는 해안선을 따라 있는 열적 이미지 위에 겹쳐진 선(가령, 적색 선 또는 다른 표시)으로 표시될 수 있다. 그러한 표시는 사용자나 오퍼레이터가 해안선에 대비해 배의 위치를 판단하는데 유용할 수 있다. 수평선 및/또는 해안선 식별은 실시간 허프 변환(Hough transform)이나 이미지 스트림에 적용되는 다른 균등한 변환 타입을 활용함으로써 수행될 수 있으며, 이러한 이미지 프로세싱 변환이 이미지 안의 선형 영역들(가령, 라인들)을 찾는다. 실시간 허프 변환은 망망한 바다에서 예컨대 컨트라스트가 낮을 때 수평선 및/또는 해안선을 찾는데 사용될 수도 있다. 맑개 갠 상황 하에서는 수평선 및/또는 해안선이 쉽게 식별될 수 있다. 그러나, 안개 낀 날에 수평선 및/또는 해안선을 찾는 것은 어려울 수 있다.

일반적으로, 수평선 및/또는 해안선이 어디 있는지를 아는 것이 경계 상황에 있어 유용하다. 그와 같이 다양한 구현예에서, 허프 변환은 이미지에서 수평선 및/또는 해안선을 식별하기 위해 여기에서 기술된 동작 모드들 중 어느 하나와 동류일 수 있다. 예를 들어, 해안선 식별(가령, 수평선 및/또는 해안선)은 디스플레이된 이미지 상에서 어떤 라인(가령, 적색 라인이나 다른 표시 같은 어떤 타입의 마커)을 제공하기 위한 프로세싱 모드들 중 어느 하나와 함께 포함되거고/거나 그 정보가 적외선 카메라의 시계를 위치시키는데 사용될 수 있다.

사람이 물에 빠진 상황 모드의 한 실시예에서, 저체온인 사람의 체온에 가까울 수 있는 일정한 바다 온도에서 그 저체온의 신체를 찾을 때와 같이, 미세한 온도 차를 드러내기 위해 신호 이득이 증가될 수 있다. 이미지 품질은 사람의 신체를 바다 온도와 비교할 때 작은 온도 변화를 검출하는 능력과 교환된다. 따라서, 사람이 물에 빠진 상황 모드에 대한 적외선 프로세싱 기법(320)은 가령 배에 근접한 사람이 물에 빠진 상황을 찾을 때의 상 응용예의 경계 상황에 유용하다.

여러 구현예들에서, 사람이 물에 빠진 상황 모드가 선택될 때의 이미지 프로세싱 중에, 하이 패스 필터가 이미지에 인가된다. 예를 들어, 가우시안(Gaussian) 커널에 의한 이미지의 컨볼루션(convolution)으로부터 신호가 감해질 수 있다. 나머지 하이 패스 정보는 물 속의 어떤 작은 오브젝트의 컨트라스트를 증가시킬 수 있는 디스플레이 범위에 맞도록 선형으로 연장된다. 사람이 물에 빠진 상황 모드의 한 개선안에서, 물 속의 오브젝트가 마크될 수 있고, 시스템은 배에게 그 오브젝트에 서치라이트를 향하도록 신호한다. 가시적 이미저 및 열적 이미저 둘 모두를 가진 시스템에 있어서, 열적 이미저가 디스플레이된다. 줌(zoom) 또는 멀티-FOV 시스템에서, 시스템은 넓은 FOV로 세팅된다. 수평선에 대해 저장된 높이 설정을 가진 팬-틸트(pan-tilt) 제어 시스템에 있어서, 그 시스템은 수평선이 시계의 상한선 바로 밑에서 보여지도록 이동된다.

일 실시예에서, 사람이 물에 빠진 상황 모드는 관심 영역을 식별하고 그 관심 영역을 줌인(zoom in)하고, 그 관심 영역에 서치라이트를 위치시키는 소재파악 절차를 활성화할 수 있다. 예를 들어, 사람이 물에 빠진 상황 모드는 물 속의 어떤 오브젝트(가령, 사람)의 위치를 식별하고, 그 식별된 물 속의 오브젝트에 적외선 이미징 장치(가령, 적외선 카메라)를 줌인하고, 그런 다음 그 식별된 물 속의 오브젝트에 서치라이트를 비추는 소재팍악 절차를 활성화할 수 있다. 다른 실시예에서, 사람이 물에 빠진 상황 모드는 감시선이 관심 영역에 대해 이동하고/거나 관심 영역이 감시선에 대해 멀어질 때, 관심 영역 추적 동작을 유지하도록 될 수 있다. 여러 구현예들에서, 이러한 동작이 도 2의 프로세스(200) 및/또는 도 3b의 프로세스(320)에 추가될 있으며, 또한 관심 영역 및/또는 관심 오브젝트의 위치가 빠르게 식별되고 선원 중 한 사람에 의해 검색될 수 있도록 자동으로 일어나도록 되어 있을 수 있다.

도 3c는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(340)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(340)은 해상 응용예를 위한 야간 크루즈 동작 모드를 포함한다. 예를 들어, 야간 크루즈 중에 가시 채널은 다른 배 같이 인공적으로 조명을 받는 오브젝트들 이외의 것들에 대해 제한적인 용도를 가진다. 열적외선 이미저는 어둠 속으로 침투하여 부표, 암초, 다른 배, 섬 및 해안 상의 구조물에 대한 식별을 돕는데 사용될 수 있다. 열적외선 이미저는 또한 배의 진로 상에 바로 놓일 가능성이 있는 반쯤 잠긴 장애물을 찾을 수도 있다. 야간 크루즈 모드에서, 디스플레이 알고리즘은 장면(즉, 시계)을 항해에 대해 쓸모 없게 될 정도로 왜곡시키지 않으면서 물 속의 오브젝트를 찾도록 튜닝될 수 있다.

일 실시예에서, 야간 크루즈 모드는 망망 대해 상에서 만나게 되는 낮은 컨트라스트 상황에 대해 예정된다. 장면(즉, 시계)은 일정 온도의 바다로 채워질 수 있고, 어떠한 항해상의 보조기나 떠다니는 파편이든 일정 온도의 바다와 선명하게 대조될 수 있다. 따라서, 야간 크루즈 모드를 위한 적외선 프로세싱 기법(340)은 예컨대 망망 대해에서의 경계 상황에 유용하다.

도 3c를 참조할 때, 이미지는 배경 이미지 부분과 세부 이미지 부분으로 분리된다(블록 342). 다음으로, 배경 이미지 부분이 히스토그램 등화되고(블록 344) 스케일링된다(예컨대, 0-450)(블록 346). 다음으로, 상세한 배경 이미지 부분이 스케일링된다(예컨대, 0-511)(블록 348). 다음으로, 히스토그램 등화된 배경 이미지 부분 및 스케일링된 세부 이미지 부분이 함께 더해져서 출력 이미지를 형성한다(블록 350). 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 352). 이 프로세스(340)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

다양한 구현예들에서, 야간 크루즈 모드가 선택될 때의 이미지 프로세싱 중에, 입력 이미지는 메디안 필터나 비등방성 난반사 같은 비선형 에지(edge) 보존 로우 패스 필터(LPF)를 사용하여 상세 및 배경 이미지 성분들로 분리된다. 배경 이미지 성분은 로우 패스 성분을 포함하고, 상세 이미지 부분은 입력 이미지에서 배경 이미지 부분을 감산함으로써 추출된다. 작고 미약할 가능성이 있는 오브젝트(가령, 약한 열적 사인을 가질 가능성이 있는 오브젝트)를 고양시키기 위해, 출력/디스플레이 동적 범위의 약 60%가 세부사항에 주어지도록 상세 및 배경 이미지 성분들이 스케일링될 수 있다. 야간 크루즈 모드의 한 개선안에서, 물 속의 오브젝트들이 추적되고, 그것들이 현재의 배 진로와 바로 충돌하는 진로 상에 있는 경우, 그 오브젝트들이 이미지 안에서 마킹되고, 청각 및/또는 시각적 알람이 각기 울리고/거나 디스플레이될 수 있다. 어떤 구현예들에서, 가시적 이미저 및 열적 이미저 둘 모두를 가진 시스템들에서, 열적 이미저가 디폴트로 디스플레이될 수 있다.

일 실시예에서, 이미지 신호의 제1파트는 이미지의 저 공간 주파수 고 고도 부분을 포함하는 배경 이미지 부분을 포함할 수 있다. 일례에서, 이미지 신호(가령, 적외선 이미지 신호)의 저 공간 주파수 고 고도 부분을 분리시키도록 로우 패스 필터(가령, 로우 패스 필터 알고리즘)가 사용될 수 있다. 다른 실시예에서, 이미지 신호의 제2트는 이미지의 고 공간 주파수 저 고도 부분을 포함하는 상세 이미지 부분을 포함할 수 있다. 일례에서, 이미지 신호(가령, 적외선 이미지 신호)의 고 공간 주파수 저 고도 부분을 분리시키도록 하이 패스 필터(가령, 하이 패스 필터 알고리즘)가 사용될 수 있다. 다른 대안으로서, 제2부분은 이미지 신호로부터 제1부분을 감산하는 것 같은 연산을 통해 이미지 신호 및 이미지 신호의 제1부분으로부터 파생될 수 있다.

일반적으로 예를 들면 이미지 신호의 두 이미지 부분들(예컨대, 제1 및 제2부분들)은 출력 이미지를 생성하도록 그 두 이미지 부분들을 병합하기 전에 각자 스케일링될 수 있다. 예를 들어, 제1 또는 제2부분들이 스케일링되거나, 제1 및 제2부분들 모두가 스케일링될 수 있다. 한 양태에서, 이것은 시스템이 높은 동적 범위의 장면에서도 정교한 세부사항이 보여지고 튜닝될 수 있는 이미지를 출력하게 할 수 있다. 어떤 경우들에서, 일례로서 어떤 이미지가 덜 유용한 것으로 나타나거나 잡음으로 인해 어느 정도 저하될 경우, 상세 부분 같이 이미지의 상기 부분들 중 한 부분은 이미지 품질을 향상시키기 위해 병합된 이미지에서 잡음을 억제하도록 증폭되기 보다는 억제될 수 있다.

도 3d는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(360)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(360)은 해상 응용예를 위한 주간 크루즈 동작 모드를 포함한다. 예를 들어, 주간 크루즈 중에 사용자나 오퍼레이터는 배 바로 주위의 방위(orientation)에 대해 사람의 시력에 의존할 수 있다. 이미지 캡처 시스템(100A, 100b)이 다른 배의 이름을 읽고 부표, 육상 구조물 등을 찾는 일을 수반할 수 있는 관심 오브젝트를 줌인하는데 사용될 수 있다.

도 3d를 참조할 때, 이미지는 배경 이미지 부분과 세부 이미지 부분으로 분리된다(블록 362). 다음으로, 배경 이미지 부분이 히스토그램 등화되고(블록 364) 스케일링된다(예컨대, 0-511)(블록 366). 다음으로, 히스토그램 등화된 배경 이미지 부분 및 스케일링된 세부 이미지 부분이 함께 더해져서 출력 이미지를 형성한다(블록 370). 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 372). 이 프로세스(360)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

일 실시예에서, 주간 크루즈 모드는 태양열이 잠기지 않았거나 부분적으로 잠긴 오브젝트들과 바다 온도 사이에 보다 큰 온도차를 야기할 때와 같은 높은 대조 상황에 대해 예정된다. 그에 따라, 주간 크루즈 모드를 위한 적외선 프로세싱 기법(360)은 예컨대 해상 응용예의 높은 대조 상황 하에서의 경계 상황에 유용하다.

다양한 구현예들에서, 주간 크루즈 모드가 선택될 때의 이미지 프로세싱 중에, 입력 이미지는 메디안 필터나 비등방성 난반사 같은 비선형 에지(edge) 보존 로우 패스 필터를 사용하여 상세 및 배경 성분들로 각기 분리된다. 컬러 이미지들에 대해, 이 연산은 이미지의 강도(intensity) 부분(가령, YCrCb 포맷의 Y)에 대해 수행될 수 있다. 배경 이미지 부분은 로우 패스 성분을 포함하고, 상세 이미지 부분은 입력 이미지에서 배경 이미지 부분을 감산함으로써 추출될 수 있다. 작고 미약할 가능성이 있는 오브젝트(가령, 약한 열적 사인을 가질 가능성이 있는 오브젝트)를 고양시키기 위해, 출력/디스플레이 동적 범위의 약 35%가 세부사항에 주어지도록 상세 및 배경 이미지 부분들이 스케일링될 수 있다. 가시적 이미저 및 열적 이미저 둘 모두를 가진 시스템들에서, 가시적 이미지가 디폴트로 디스플레이될 수 있다.

도 3e는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(380)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(380)은 해상 응용예를 위한 안개 상황 모드를 포함한다. 예를 들어, 주간 동작 중에도, 사용자나 오퍼레이터는 적외선(MWIR, LWIR)이나 근적외선(NIR) 파동 대역을 이용해 이미저로부터 보다 나은 성능을 달성할 수 있다. 증기 콘텐츠나 입자 사이즈에 따라, 열적외선 이미저는 안개 상황하에서 가시성을 크게 개선할 수 있다. 가시적 이미저나 열적 이미저 어느 것도 안개 속으로 침투하지 못하면, 이미지 캡처링 시스템(100A, 100B)이 안개 상황 모드로 세팅될 수 있고, 그 모드 하에서 시스템(100A, 100B)은 선택된 적외선 센서로부터 어떤 정보가 거의 사용될 수 없는지를 추출하도록 시도한다. 안개 상황 하에서는 고 공간 주파수 정보가 거의 있을 수 없다(예컨대, 주로 한 양태로서 입자에 의한 산란에 기인함). 이미지 속의 정보는 이미지의 저 주파수 부분으로부터 얻어질 수 있고, 고 주파수대를 강화하는 것은 이미지를 잡음(가령, 일시 및/또는 고정 패턴) 안에서 압도되게 할 수 있다.

도 3e를 참조할 때, 비선형 에지 보존 로우 패스 필터(LPF)가 이미지에 인가된다(블록 382). 이어서, 그 이미지는 히스토그램 등화되고(블록 384) 스케일링되어(블록 386) 히스토그램 등화된 출력 이미지를 형성한다. 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 388). 이 프로세스(380)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

다양한 구현예들에서, 안개 상황 모드가 선택될 때의 이미지 프로세싱 중에 메디안 또는 비등방성 난반사 같은 비선형, 에지 보존, 로우 패스 필터가 이미지(즉, 열적 이미저나 가시적 컬러 이미지의 강도 성분으로부터 나오는 이미지)에 인가된다. 한 양태에서, 로우 패스 필터 연산으로부터의 출력이 히스토그램 등화되고 스케일링되어, 동적 범위를 디스플레이에 매핑하고 디스플레이의 컨트라스트를 극대화하도록 한다.

도 3f는 도 2의 블록(225)을 참조하여 기술된 바와 같이 적외선 프로세싱 기법(390)의 일 실시예를 도시한다. 한 구현예에서, 적외선 프로세싱 기법(390)은 해상 응용예를 위한 해안선 모드를 포함한다.

도 3f를 참조할 때, 해안선이 결정될 수 있다(블록 392). 예를 들어, 해안선 식별(가령, 수평선 및/또는 해안선)은 적외선 카메라의 시계를 위치시키고/거나 라인(가령, 디스플레이된 이미지 상의 적색 라인(들)이나 다른 표시 같은 어떤 타입의 마커)를 제공하기 위해 사용될 수 있는 이미지 프로세싱 변환(가령, 허프 변환)을 이미지에 적용함으로써 결정될 수 있다(블록 392). 이어서, 그 이미지는 히스토그램 등화되고(블록 394) 스케일링되어(블록 396) 출력 이미지를 형성한다. 이어서, 출력 이미지의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형으로 매핑된다(블록 398). 이 프로세스(390)가 실행되는 블록 순서는 본 개시의 범위에서 벗어나지 않으면서 다른 순서로 실행될 수 있다는 것을 알아야 한다.

한 구현예에서, 상기 변환(가령, 허프 변환)에 의해 생성된 정보는 디스플레이할 선형 영역으로서 해안선이나 심지어 수평선을 식별하는데 사용될 수 있다. 상기 변환은 메인 비디오 경로로부터 분리된 경로 상의 이미지에 적용될 수 있고(가령, 적용시 상기 변환은 이미지 데이터를 변경하지 않으며, 이후의 이미지 프로세싱 연산에도 영향을 미치지 않는다), 상기 변환의 적용은 (가령, 해안선 및/또는 수평선의) 직선들 같은 선형 영역들을 검출하는데 사용될 수 있다. 한 양태에서, 해안선 및/또는 수평선이 프레임의 전체 폭을 연장시키는 직선을 포함한다고 가정함으로서, 해안선 및/또는 수평선은 상기 변환 시 피크(peak)로서 식별될 수 있고 시계를 해안선 및/또는 수평선을 기준으로 한 어떤 위치에 유지시키는데 사용될 수 있다. 그와 같이, 입력 이미지(가령, 프로세싱된 이미지)는 히스토그램 등화되고(블록 394), 스케일링되어(블록 396) 출력 이미지를 생성하고, 그런 다음 변환 정보(블록 392)가 출력 이미지에 더해져서 디스플레이되는 이미지의 해안선 및/또는 수평선을 강조하도록 할 수 있다.

또한, 해안선 동작 모드에서 이미지는 이미지 히스토그램에서 두 개의 피크로서 나타날 수 있는 바다(즉, 이미지의 하위 부분)와 하늘(즉, 이미지의 상위 부분)에 의해 지배될 수 있다. 한 양태에 있어서, 좁은 해안선 대역에 대해 큰 컨트라스트가 바람직하며, 히스토그램 등화에 대한 정체된 한계를 위해 낮은 넘버(가령, 상대적으로 센서 픽셀의 개수 및 히스토그램에 사용된 빈(bins)의 개수에 기초함)가 선택될 수 있다. 한 양태에서, 일례로 낮은 정체 한도(상대적임)는 히스토그램 내 피크들에 대한 영향을 줄일 수 있고 해안선 및/또는 수평선 영역들의 컨트라스트를 보존하면서 바다와 하늘에 대해 보다 적은 컨트라스트를 줄 수 있다.

도 4는 본 개시의 다양한 실시예들을 참조해 기술되는 바와 같이, 모드들(410A-410E) 및 그와 관련된 적외선 프로세싱 기법들을 구현하는 방법(400)을 예시한 블록도를 도시한다. 특히, 제1모드는 야간 도킹 모드(410A)를 나타내고, 제2모드는 사람이 물에 빠진 상황 모드(410B)를 나타내고, 제3모드는 야간 크루징 모드(410C)를 나타내고, 제4모드는 주간 크루징 모드(410D)를 나타내며, 제5모드는 안개 상황 모드(410E)를 나타낸다.

한 구현예에서, 도 4를 참조할 때, 도 1a, 1b의 이미지 캡처링 시스템(100A, 100B)의 프로세싱 구성요소(110)는 이하에서와 같이 방법(400)을 수행할 수 있다. 캡처된 이미지의 센서 데이터(즉, 적외선 이미지 데이터)가 수신되거나 얻어진다(블록 402). 수신된 센서 데이터에 정정 조건이 적용되고(블록 404), 수신된 센서 데이터에 일시적 잡음 감소가 적용된다(블록 406).

다음으로, 선택된 모드들(410A-410E) 중 적어도 하나가 이미지 캡처링 시스템(100A, 100B)의 제어 구성요소(150)를 통해 사용자나 오퍼레이터에 의해 선택될 수 있고, 프로세싱 구성요소(110)는 선택된 동작 모드와 관련된 대응하는 프로세싱 기법을 실행한다. 일례에서, 야간 도킹 모드(410A)가 선택되면, 센서 데이터는 히스토그램 등화되고 스케일링되고(가령, 0-511)(블록 420), 센서 데이터는 선형 스케일링되고(가령, 0-128) 최고 부분 및 최저 부분(가령, 1%)을 포화시키며(블록 422), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 히스토그램 등화된 센서 데이터가 선형 스케일링된 센서 데이터에 더해진다(블록 424). 다른 예에서, 사람이 물에 빠진 상황 모드(410B)가 선택되는 경우, 수평선이 시계(FoV)의 상부에 있도록 이미지 캡처링 시스템(100A, 100B)의 적외선 캡처링 구성요소(130)가 이동하거나 위치하고, 하이 패스 필터(HPF)가 센서 데이터에 적용되며(블록 432), 하이 패스 필터링된 센서 데이터의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형 매핑된다(블록 434). 다른 예에서, 야간 크루즈 모드(410C)가 선택되는 경우, 센서 데이터는 하이 패스 필터를 사용해 약한 세부사항 부분 및 배경 부분을 추출하도록 처리되고(블록 440), 배경 부분은 히스토그램 등화되고 스케일링(가령, 0-450)되고(블록 442), 세부사항 부분이 스케일링되며(가령, 0-511)(블록 444), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 배경 부분이 세부사항 부분에 더해진다(블록 446). 다른 예에서, 주간 크루즈 모드(410D)가 선택되는 경우, 센서 데이터는 하이 패스 필터를 사용해 약한 세부사항 부분 및 배경 부분을 추출하도록 처리되고(블록 450), 배경 부분은 히스토그램 등화되고 스케일링(가령, 0-511)되고(블록 452), 세부사항 부분이 0-255로 스케일링되며(블록 454), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 배경 부분이 세부사항 부분에 더해진다(블록 456). 또 다른 예에서, 안개 상황 모드(410E)가 선택되는 경우, 비선형 로우 패스 필터(가령, 메디안)가 센서 데이터에 인가되고(블록 460), 그런 다음 그 데이터는 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 히스토그램 등화되고 스케일링된다(블록 462).

상기 모드들(가령, 블록들 410A-410E) 중 어느 하나에 대해, 예컨대 물 속에 있다고 의심되는 사람(가령, 사람이 물에 빠진 상황)이나 (가령, 야간 크루즈, 주간 크루즈, 또는 다른 모드들 중 어느 모드에 있어서) 물 속에 있는 위험을 식별하기 위해 디스플레이 할 이미지 데이터가 마킹될 수 있다(가령, 컬러 코딩되거나, 하이라이트되거나, 다른 표시를 통해 식별됨). 예를 들어, 이미지 데이터 안의 다양한 형상들(가령, 더운 몸의 사람, 물 속의 위험, 수평선, 또는 해안선 같은 오브젝트들)을 식별하고(블록 470), 디스플레이를 보고 있는 사용자에 의한 인식 및 식별을 돕기 위해 그러한 형상들을 적절히 마킹하기 위해 이미지 프로세싱 알고리즘이 그 이미지 데이터에 적용될 수 있다(블록 470). 특정 예로서, 물 속에 있다고 의심되는 사람은 청색으로 나타내질 수 있고, 물 속의 위험(가령, 떠다니는 파편)은 디스플레이된 이미지 안에서 황색으로 나타내질 수 있다.

또한 모드들(가령, 블록들(410A-410E) 중 어느 하나에 대해, 디스플레이할 이미지 데이터는 가령 해안선(가령, 해안선 및/또는 수평선)을 식별하도록 마킹될 수 있다. 예를 들어, 해안선 및/또는 수평선을 식별하고, 디스플레이를 보고 있는 사용자에 의한 인식 및 식별을 돕기 위해 그러한 형상들을 적절히 마킹하기 위해 이미지 프로세싱 알고리즘이 그 이미지 데이터에 적용될 수 있다(블록 470). 구체적 예로서, 디스플레이된 이미지를 보고 있는 사용자를 돕기 위해 수평선 및/또는 해안선이 디스플레이된 이미지 상에서 적색 라인으로 윤곽선이 그려지거나 식별될 수 있다.

이어서, 모드들(410A-410E)에 대한 적외선 프로세싱 기법들 중 적어도 하나를 적용한 후, 야간 모드에서 프로세싱된 센서 데이터를 디스플레이할지(즉, 야간 컬러 팔레트를 적용할지) 여부에 대한 결정이 이뤄진다(블록 480). 그 결정이 긍정이면, 야간 컬러 팔레트가 프로세싱된 센서 데이터에 적용되고(블록 482), 프로세싱된 데이터가 야간 모드로 디스플레이된다(블록 484). 그 결정이 부정이면, 프로세싱된 센서 데이터는 비야간 모드 방식으로 디스플레이된다(가령, 흑색 핫 팔레트 또는 흰색 핫 팔레트)(블록 484). 야간 모드에서, 센서 데이터(즉, 이미지 데이터)는 사용자나 오퍼레이터의 야간 시력을 향상시키도록 적색 또는 녹색 컬러 팔레트로 디스플레이될 수 있다.

도 5는 도 2-4를 참조해 앞서 기술된 바와 같이, 여러 동작 모드들 사이를 선택하기 위해 적외선 이미징 시스템(100A, 100b)의 제어 구성요소(150)에 대한 일 실시예를 예시한 블록도를 도시한다. 일 실시예에서, 적외선 이미징 시스템(100A, 100B)의 제어 구성요소(150)는 사용자와 인터페이스하고 사용자 입력 제어 값들을 수신하도록 구성되고 한 개 이상의 입력 제어 신호들을 생성하여 프로세싱 구성요소(100A, 100B)로 전송하도록 더 구성된 한 개 이상의 푸쉬 버튼들(510, 520, 530, 540, 550, 560, 570)을 가진 제어 패널 유닛(500)(가령, 유무선 핸드헬드 제어 유닛) 같은 사용자 입력 및/또는 인터페이스 장치를 포함할 수 있다. 다른 다양한 실시예에서, 제어 패널 유닛(500)은 본 개시의 범위로부터 벗어나지 않고, 슬라이드 바, 원하는 모드를 선택하기 위한 회전형 노브, 키보드 등을 포함할 수 있다.

다양한 구현예에서, 제어 패널 유닛(500)의 복수의 푸쉬 버튼들(510, 520, 530, 540, 550, 560, 570)이 사용되어 도 2-4를 참조하여 이전에 기술되는 것과 같은 다양한 동작 모드들 사이를 선택하도록 할 수 있다. 여러 구현예들에서, 프로세싱 구성요소(110)는 제어 패널 유닛(500)으로부터 제어 입력 신호들을 감지하고 푸쉬 버튼들(510, 520, 530, 540, 550, 560, 570)로부터 수신된 어떤 감지된 제어 입력 신호들에 응답하도록 구성될 수 있다. 프로세싱 구성요소(110)는 제어 입력 신호들을 값들로서 해석하도록 추가 구성될 수 있다. 다른 다양한 구현예에서, 제어 패널 유닛(500)은 자동 초점, 메뉴 인에이블(enable) 및 선택, 시계(FOV), 밝기, 컨트라스트, 및/또는 다른 다양한 특성들 같이, 적외선 이미징 시스템(100A)의 다른 다양한 제어 동작을 제공하기 위한 한 개 이상의 다른 푸쉬 버튼들(미도시)을 포함하도록 구성될 수 있다. 다른 실시예에서, 제어 패널 유닛(500)은 동작 모드들(510, 520, 530, 540, 550, 560, 570) 각각을 선택하는데 사용될 수 있는 한 개의 푸쉬 버튼을 포함할 수 있다.

다른 실시예에서, 제어 패널 유닛(500)은 가령 디스플레이 스크린에서 사용자가 터치한 다양한 부분들로부터 입력 신호를 수신하도록 된 사용자 작동 터치 스크린 장치 같이, 입력 장치와 디스플레이 장치 양자 모두로서 동작하는 디스플레이 구성요소(140)의 일부로서 통합되도록 구성될 수 있다. 그와 같이, GUI 인터페이스 장치는 예컨대 사용자와 인터페이스하고 디스플레이 구성요소(140)의 터치 스크린을 통해 사용자 입력 제어 값들을 수신하도록 구성된 푸쉬 버튼들(510, 520, 530, 540, 550, 560, 570)에 대한 한 개 이상의 이미지들을 가질 수 있다.

일 실시예에서, 도 5를 참조할 때, 제1푸쉬 버튼(510)은 야간 도킹 동작 모드를 선택하도록 기능하고, 제2푸쉬 버튼(520)은 사람이 물에 빠진 상황 동작 모드를 선택하도록 기능하고, 제3푸쉬 버튼(530)은 야간 크루즈 동작 모드를 선택하도록 기능하고, 제4푸쉬 버튼(540)은 주간 크루즈 동작 모드를 선택하도록 기능하고, 제5푸쉬 버튼(550)은 안개 상황 동작 모드를 선택하도록 기능하고, 제6푸쉬 버튼(560)은 해안선 동작 모드를 선택하도록 기능하며, 제7푸쉬 버튼(570)은 야간 디스플레이 모드(즉, 야간 컬러 팔레트)를 선택하거나 끄도록 하는데 사용될 수 있다. 다른 실시예에서, 본 개시의 범위로부터 벗어나지 않고 제어 패널 유닛(500)의 한 개의 푸쉬 버튼이 사용되어 동작 모드들(510, 520, 530, 540, 550, 560, 570) 각각을 토글할 수 있다.

도 6은 적외선 이미징 시스템(100A, 100B)의 이미지 캡처 구성요소(130)에 대한 실시예를 예시한 개략도를 도시한다. 도시된 바와 같이, 이미지 캡처 구성요소(130)는 제1카메라 구성요소(132), 제2카메라 구성요소(134), 및/또는 서치라이트 구성요소(136)를 포함하도록 구성될 수 있다. 다양한 구현예들에서, 본 개시의 범위로부터 벗어나지 않고, 구성요소들(132, 134, 136) 각각이 이미지 캡처 구성요소(130)의 일부로서 포함되거나, 구성요소들(132, 134, 136) 중 한 개 이상이 이미지 캡처 구성요소(130)로부터 분리될 수 있다.

일 실시예에서, 제1카메라 구성요소(132)는 이미지(170)의 적외선 이미지 데이터를 캡처할 수 있는 적외선 카메라 구성요소를 포함할 수 있다. 일반적으로, 적외선 카메라는 물 속 및/또는 어둠 속에서의 구조 동작에 유용할 수 있는 적외선을 이용하여 이미지를 형성하도록 구성된 장치이다.

일 실시예에서, 제2카메라 구성요소(134)는 이미지(170)의 가시적 스펙트럼 이미지를 캡처할 수 있는 다른 적외선 카메라 구성요소나 카메라를 포함할 수 있다. 일반적으로, 가시 파장 카메라는 이미지(170)를 보고 검사하기 위해 배(180)의 선원에 의해 사용될 수 있다. 예를 들어, 낮 시간에, 가시 파장 카메라는 사람이 물에 빠진 상황을 보고, 식별하며, 소재 파악하는 것을 도울 수 있다.

다양한 구현예들에서, 카메라 구성요소들(132, 134)은 넓고/거나 좁은 시계(가령, 고정되거나 가변하는 시계)를 포함하도록 구성될 수 있다. 예를 들어, 이러한 특징은 시계 안에 있는 특정 영역에 초점을 맞추도록 그 특정 영역을 좁히는 망원 렌즈를 포함할 수 있다.

일 실시예에서, 서치라이트 구성요소(136)는 시계 안의 이미지(170)를 향해 광빔을 투사할 수 있는 장치를 포함한다. 한 구현예에서, 서치라이트 구성요소(136)는 예컨대 사람이 물에 빠진 상황의 위치를 식별하고 소재 파악하도록 하기 위해, 배의 선원이 어둠 속에서 사람이 물에 빠진 상황에 대해 개선된 가시성을 가질 수 있게 하는 카메라 구성요소들(132, 134) 중 적어도 한 개의 시계 안의 어떤 타깃에 대해 광빔의 초점을 맞추도록 구성된다.

도 7은 적외선 이미징 시스템(100A, 100B)의 이미지 데이터를 모니터링하기 위한 방법(700)의 일 실시예를 예시한 블록도를 도시한다. 한 구현예에서, 방법(700)은 적외선 이미징 시스템(100A, 100B)의 프로세싱 구성요소(110)에 의해 수행된다. 도 7에 도시된 바와 같이, 이미지 데이터가 얻어진다(블록 710). 여러 구현예들에서, 이미지 데이터는 이미지 캡처 구성요소(130)로부터 바로 얻어지거나 메모리 구성요소(120) 내 저장부로부터 얻어질 수 있다.

다음으로, 얻어진 이미지 데이터가 프로세싱될 수 있다(블록 714). 한 구현예에서, 얻어진 이미지 데이터는 배(180)에 근접한 물 속에 빠진 사람 같은 어떤 오브젝트를 검출하기 위해 이미지 데이터를 수집하도록 도 3b의 사람이 물에 빠진 상황 동작 모드(320)를 사용해 프로세싱될 수 있다.

이어서, 프로세싱된 이미지 데이터로부터 사람이 물에 빠진 상황(가령, 인간)이 식별될 수 있다(블록 718). 한 구현예에서, 오브젝트(가령, 사람)는 물과의 온도차에 기반하여 물과 구별될 수 있다. 예를 들어, 약 98도의 체온을 가진 사람이 약 60-70도 이하의 수온을 가진 물에 빠질 때, 그 온도들 사이의 차이는 적외선 이미지를 이용해 보여질 수 있고 그에 따라 그 사람이 물 속에서 빠르게 식별되고 소재 파악될 수 있다.

전형적 실시예에서, 다양한 타입의 관례적인 이미지 프로세싱 소프트웨어(가령, VA의 레스톤에 위치한 ObjectVideo에 의한 소프트웨어 패키지)가 프로세싱 구성요소(110)에 의해 실행되어 이미지 데이터를 모니터링하도록 이미지 분석을 수행하고 사람이 물에 빠진 상황 상태를 검출할 수 있다. 전형적 실시예에서, 그러한 관례적 소프트웨어의 특징은 문턱 상황이나 오브젝트 구별 용도를 지원하여, 예컨대 갑판 의자나 다른 무생물체 같은 생명이 없는 물체들을 사람과 구별할 수 있다. 온도, 모양, 사이즈, 화면 비율, 속도, 또는 다른 요인들 같은 문턱 인자들을 이용해 소프트웨어 패키지를 프로그래밍하는 것은 소프트웨어 패키지가 생명이 없고/거나 무인 오브젝트들의 이미지를 사람의 이미지와 구별하는 것을 도울 수 있다. 따라서, 주어진 어떤 응용예에서 원하는 바 대로의 사용을 위한 문턱 상황은 물로 빠지는 갑판 의자나 물로 던져진 뜨거운 커피 같이, 카메라의 시계를 통과해 날아가는 새는 예컨대 무시될 수 있다고 규정한다.

사람이 물에 빠진 상황 상황이 의심되거나 판단될 때, 구조 조치가 시작될 수 있도록 오퍼레이터(가령, 선원)에게 경고되거나 통지될 수 있다. 다양한 구현예들에서, 이러한 경고나 통지는 알람, 경고등, 사이렌, 벨, 부저 등과 같이 오디오 신호 및/또는 시각적 신호를 포함할 수 있다.

이어서, 사람이 물에 빠진 상황의 구체적 위치는 이미지 데이터에 기초해 식별될 수 있다(블록 726). 한 구현예에서, 사람의 위치를 식별하는 것은 이미지 캡처 구성요소(130)의 시계를 좁히는 동작을 포함할 수 있다. 예를 들어, 적외선 카메라의 렌즈가 물 속의 물체나 사람을 줌 인하거나 최소한 사람이 물에 빠진 상황의 근접 위치를 줌 인하도록 어떤 위치로 텔레스코핑되거나, 다른 보도 좁은 시계의 이미지 캡처 구성요소(130)가 물 속 사람의 근접 위치를 향해질 수 있다. 또한, 서치라이트(가령, 이미지 캡처 구성요소(130)의 서치라이트 구성요소(136))는 사람이 물에 빠진 상황의 검색 및 구조를 돕기 위해 물 속 사람의 근접 위치로 향해질 수 있다(블록 730).

사람이 물에 빠진 상황 상황이 검출될 때, 이를테면 일 실시예에 따라 그 사건의 시간 및/또는 위치가 이미지 데이터와 함께 기록되어(가령, 블록 722 또는 726의 일부로서), 검색 및 구조 동작을 지원하도록 하고/하거나 사람이 물에 빠진 상황 추정 사건의 추후 분석을 위해 정보를 제공하도록 할 수 있다. 다른 대안으로서, 시간 및/또는 위치가 이미지 데이터와 함게 정기적으로 기록될 수도 있다. 예를 들어, 프로세싱 구성요소(110) (도 1a, 1b)는 이미지 데이터와 함께 (가령 메모리 구성요소(120)에) 저장될 수 있는 정확한 위치 및/또는 시간 정보를 수신하기 위해 위치 결정 기능(가령, GPS(global positioning system) 수신기나 다른 종래의 위치 결정 기법들에 의한 것)을 포함할 수 있다. 위치 정보 및/또는 시간 정보와 함께 이미지 데이터가 사용되어, 예컨대 큰 배는 일반적으로 신속히 멈추어 사람이 물에 빠진 사건의 위치로 돌아갈 수 없을 것이기 때문에, 검색 및 구조 선원이 배(가령, 크루즈 배)를 떠나사람이 물에 빠진 상황의 정확한 위치로 보다 작은 배나 헬리콥터로 신속하게 돌아갈 수 있게 할 수 있다.

본 개시의 실시예들에 따르면, 오퍼레이터는 강화 비전 시스템(EVS)을 이용하여 가변하는 환경 조건 하에서 탈 것들(가령, 자동차를 포함하는 육상 차량, 항공기를 포함한 공중 차량, 및 배를 포함하는 해상 차량)을 조종 및/또는 항해하도록 할 수 있다. 예를 들어, EVS는 주변 광 속에서 가시적 이미지를 제공하기 위해 가시광에 감응하는 적어도 한 센서 및 어둠 속에서 가시적 이미지를 제공하기 위해 적외선에 감응하는 적어도 한 센서(가령, IR 센서)를 포함하는 여러 센서들을 활용할 수 있다. 가시광원들(공항등, 탑등, 부표등, 가로등 등)이 존재하는 상황 하에서 오퍼레이터가 그러한 가시광원들을 보는 것이 바람직할 수 있으며, 여기서 가시광 스펙트럼에 감응하는 센서가 가시광원들을 이미징할 수 있다. 가시광원이 존재하지만 어둠 속에서 볼 때 상대적으로 비가시적인 구조 형상들을 가지는 상황 하에서, 오퍼레이터는 그러한 구조 형상들을 보는 것이 바람직할 수 있으며, 여기서 적외선 스펙트럼에 감응하는 센서가 구조 형상들에 대해 상대적으로 비가시적인 열원들을 이미징할 수 있다. 본 개시의 한 개 이상의 실시예에 따르면, 도 1a, 1b의 시스템(100A, 100B)은 가시 파장 센서 및 적외선 파장 센서의 이미지들을 결합하는 강화 비전 사양을 가지도록 구성될 수 있다. 한 양태로서, 듀얼 센서들로부터 이미지 신호들의 결합 또는 혼합(가시적 센서로부터의 이미지 신호를 적외선 센서로부터의 이미지 신호들과 결합하는 것)이 활용되어, 예컨대 가시적 센서로부터의 컬러 정보를 보유하고 예컨대 적외선 센서로부터 적외선 휘도(가령, 적외선)를 보이는 결합 또는 혼합된 이미지 신호들을 생성하도록 할 수 있다. 다른 양태에서, 가시 전용 모드, 적외선 전용 모드, 및 결합 또는 혼합 모드 같은 세 가지 상이한 타입의 이미지 디스플레이 모드들이 시스템 같은 것에 의해 제공될 수 있다.

도 8은 강화 비전 시스템에서 듀얼 센서 응용예를 구현하기 위한 방법(800)의 블록도에 대한 일 실시예를 도시한다. 도 8에 도시된 바와 같이, 복수의 신호 경로들(가령, 비디오 신호 경로들)이 강화 비전 사양을 가지도록 구성된 도 1a의 시스템(100A) 및/또는 도 1b의 시스템(100B) 같은 개선된 비전 시스템에서 사용될 수 있다. 강화 비전 시스템들(100A, 100B)은 가시광 센서로부터의 컬러 또는 흑백 형상을 이용하는 제1모드(즉, 모드 1), 적외선 센서로부터의 흑백 또는 의사 컬러 형상을 이용하는 제2모드(즉, 모드 2), 및 가시광 센서 및 적외선 센서로부터 이미지 신호들을 혼합 또는 결합함으로써 생성된 컬러 또는 흑백 형상을 이용한 제3모드(즉, 모드 3) 같은 세 모드들 중 적어도 한 모드로 동작하도록 구성될 수 있다. 이하에서 디지털 비디오 신호들을 참조하는 다양한 모드들이 기술될 수 있다는 것을 예상할 수 있다; 그러나, 본 개시의 범위로부터 벗어나지 않고 이와 유사한 시스템들이 아날로그 비디오 신호들을 사용할 수 있다.

한 구현예에서, 도 1a의 시스템(100A)의 이미지 캡처 구성요소(130)는 이미지(170)를 나타내는 가시적 이미지 신호를 캡처하기 위한 한 개 이상의 가시광 센서들 및 이미지(170)를 나타내는 적외선 이미지 신호를 캡처하기 위한 한 개 이상의 적외선 센서들을 포함할 수 있다. 마찬가지로, 다른 구현예에서, 도 1b의 시스템(100B)의 이미지 캡처 구성요소들(130A, 130B, 130C)은 이미지(170)를 나타내는 가시적 이미지 신호를 캡처하기 위한 한 개 이상의 가시광 센서들 및 이미지(170)를 나타내는 적외선 이미지 신호를 캡처하기 위한 한 개 이상의 적외선 센서들을 포함할 수 있다.

그에 따라, 도 8을 참조할 때, 시스템(100A, 100B)의 이미지 캡처 구성요소들(130, 130A, 130B, 130C)은 각기, 적어도 두 개의 센서를 포함할 수 있고, 여기서 제1센서는 가시 스펙트럼 이미지 신호(810)를 제공하기 위해 가시적 스펙트럼의 주변 광에 감응하도록 구성되고, 제2센서는 적외선 스펙트럼 이미지 신호(830)를 제공하기 위해 적외선 스펙트럼 내 적외선(즉, 열 적외선)에 감응하도록 구성된다. 한 양태에서, 제1 및 제2센서들은 동일하거나 적어도 부분적으로 겹치는 시계(FOV)들을 가지도록 배열될 수 있다. 다른 양태에서, 개선된 성능을 위해 제1 및 제2센서들은 각자의 센서들에 의해 캡처된 이미지 신호들(810, 830)이 두 센서들로부터 주어진 한 쌍의 프레임들에 대해 거의 같은 순간에 나타나기 때문에 동일한 이미지(가령, 이미지(170) 또는 이미지(170)를 나타내는 장면)를 나타내도록 동기된 프레임 캡처 사양을 가질 수 있다.

모드 1에서, 가시광 센서로부터의 가시 스펙트럼 이미지 신호(810)(즉, 컬러 이미지)가 일반적으로 알려진 YCrCb 포맷(814)(또는 휘도를 색차와 구분하는 어떤 다른 포맷)으로 변환된다. 센서 타입 및 그것이 사용되는 조건에 따라, 가시 스펙트럼 이미지 신호(810)로 어떤 정정 조건이 적용될 수 있다(812). 이 정정 조건들에는, 예컨대 이미지(170)에 대한 컬러 정정을 수행하는데 사용되는 룩업 테이블들을 포함할 수 있다. 모드 1에서, 사용자 입력 제어 파라미터(820)(가령, 적어도 한 이미지 제어 노브로서 구현됨)가 선택되고(824) 가시적 이미지(810) 만의 휘도 부분(Y)(850)에 영향을 미치도록 구성된다. 예를 들어, 사용자는 파라미터 ξ(821)를 사용해 가시적 이미지(810)의 휘도 스케일링(816)을 적용함으로써 밝기를 제어할 수 있다. 혼합된 모드(826B)를 선택하지 않음으로써 선택사항인 휘도 신호의 사용자 제어 이후에, 수정 가능한 휘도 부분(Y)(850)이 색차 부분들(Cr 및 Cb)과 합해져서 디스플레이될 컬러 비디오 스트림(860)을 형성한다. 선택사항으로서, 흑백 비디오 스트림을 생성하기 위해 색차 부분(Cr 및 Cb)(852)이 버려질 수 있다.

모드 2에서, 적외선 센서로부터의 적외선 스펙트럼 이미지 신호(830)(즉, 적외선 이미지)가 수신되고, 정정 조건(이득 및 오프셋 정정 같은 것)이 적외선 스펙트럼 이미지 신호(830)에 적용될 수 있다(832). 한 양태에서, 적외선 센서들은 높은 동적 범위(예컨대, 14 비트=16384 그레이 레벨까지)의 신호들을 생성하는 경향이 있기 때문에, 적외선 이미지 스펙트럼 신호(830)를 디스플레이의 동적 범위(가령, 8 비트=256 그레이 레벨)에 대해 적응시키기 위해 동적 범위의 압축 및 스케일링이 수행될 수 있다(834). 이것은 선형 압축에 의해 이뤄질 수 있다; 그러나, 히스토그램 등화 같은 비선형 방법들이 사용될 수도 있다. 예를 들어, 사용자는 사용자 입력 제어 파라미터(820)를 사용해 적외선 전용 모드가 선택될 때(822A), 한 개의 파라미터ξ(821)를 사용해 동적 범위 압축 및 스케일링을 제어할 수 있다. 적외선 휘도에 대해 선택사항인 사용자 제어 후에, 신호(830)에 대해 기하학적 변환이 적용될 수 있다(836). 다음으로, 혼합된 모드가 선택되지 않으면(826C), 신호(830)의 휘도 부분(Y)(854)은 흑백 비디오로서 바로 전송되거나 어떤 소정의 컬러 팔레트를 사용해 의사 컬러화되어 디스플레이 할 적외선 비디오 스트림(862)을 형성할 수 있다.

모드 3에서, 적외선 전용 모드(822A)가 선택되지 않고 가시광 전용 모드(824)가 선택되지 않은 다음에, 가시 및 적외선 스펙트럼 이미지 신호들(810, 830)은 사용자 제어 설정(820)을 이용해 혼합된 모드(826B, 826C)에서 프로세싱된다. 모드 3에서, 사용자 입력 파라미터ξ(821)는 신호들(810, 830)의 두 휘도 성분들(850, 854)의 크기에 각기 영향을 미치도록 예정된다. 한 양태에서, ξ(821)는 0(제로)부터 1의 범위에 있는 어떤 값으로 정규화될 수 있으며, 1 값은 모드 1에서 생성된 가시 이미지(860)와 유사한 혼합된 이미지(864)를 생성한다. 한편, ξ(821)가 0으로 세팅되면, 혼합된 이미지(864)는 적외선 이미지(862)의 휘도와 유사한 휘도로 디스플레이된다. 그러나, 후자의 경우, 가시적 이미지(810)로부터 색차(Cr 및 Cb)(852)가 보유될 수 있다. ξ의 각각의 다른 값은 휘도 부분(Y)이 각기 가시 및 적외선 신호(810, 830) 둘 모두로부터 각각 정보를 포함하는 혼합 이미지(864)를 생성하도록 되어 있다. 예를 들어, 혼합 모드(826A)를 선택한 후, ξ(821)가 가시 이미지의 휘도 부분(Y)(850)에 곱해지고(842), 1-ξ(821)의 값을 적외선 이미지의 휘도 부분(Y)(854)에 곱함으로써(844) 얻어진 값에 더해진다(846). 이렇게 혼합된 휘도 부분들(Y)(856)에 대해 더해진 값은 혼합도니 이미지(864)를 제공하는데 사용된다.

적외선 전용 모드(822A, 822B)에 대한 상황은 체크 및/또는 검증되고 있는 동일 상황을 의미할 수 있으며, 여기서 적외선 전용 동작 모드는 사용자 입력 제어 파라미터(820)를 통해 선택된다는 것을 알 수 있을 것이다. 또한, 혼합 모드(826A, 826B)에 대한 상황은 체크 및/또는 검증되고 있는 동일 상황을 의미할 수 있으며, 여기서 혼합 동작 모드는 사용자 입력 제어 파라미터(820)를 통해 선택된다는 것을 알 수 있을 것이다.

한 양태에서, 강화 비전 시스템은 하루의 시간(가령, 주간 또는 야간)에 기반하여 동작 모드를 자동으로 선택할 수 있다. 다른 양태에서, 강화 비전 시스템은 캡처된 이미지 신호(가령, SNR: 신호 대 잡음 비)의 특성에 기반하여 동작 모드를 자동으로 선택할 수 있다는 것 역시 알 수 있을 것이다.

일 실시예에서, 블렌딩 알고리즘은 트루 컬러 IR 형상이라고 칭할 수 있다. 예를 들어, 주간 이미징에서, 혼합된 이미지는 적외선 이미지로부터의 휘도 값으로 대체된 휘도 값을 가진 휘도 요소 및 색차 요소를 포함하는 가시적 컬러 이미지를 포함할 수 있다. 적외선 이미지로부터의 휘도 데이터 사용은 물체의 온도에 기반해 가시적 트루 컬러 이미지의 강도가 밝아지거나 어두워지게 한다. 그와 같이, 혼합 알고리즘은 주간 또는 가시광 이미지에 대해 IR 이미징을 제공한다.

일반적으로 휘도는 소정 방향으로 이동한 광의 단위 영역 당 휘도 강도에 대한 광도계(photometric) 측정치를 말한다. 휘도는 평평한 난반사 표면으로부터의 광 방출 또는 반사를 특징짓는다. 휘도는 사람의 눈에 보여질 때 표면 밝기에 대한 지시자가 된다. 한 양태에서, 휘도는 디스플레이의 밝기를 특징짓기 위해 비디오 업계에서 사용된다. 색차(즉, 크로마(chroma))는 동일한 휘도(색조(hue) 및 포화도)의 어떤 컬러와 기준 컬러 사이의 차를 말하는 것으로, 이때 Y(휘도), Cr(적색차 크로마), 및 Cb(청색차 크로마)가 이미지 부분들로서 사용된다. 색차(CrCb)는 이미지의 컬러 정보를 함께 수반되는 휘도(Y) 신호와 분리하여 전달하는 이미지 신호이다. 색차는 두 개의 색차 성분들로서 나타낼 수 있다: B'-Y' (청색-루마(blue - luma)) 및 R'- Y' (적색-루마(red - luma)). RGB(즉, 적색, 녹색, 청색) 컬러 신호를 휘도 및 색차로 분리하는 것이 각 컬러 대역폭에 대한 판단이 따로 계산될 수 있게 한다. 비디오 신호와 관련해, 휘도는 이미지의 밝기 및 아무 색도 없는 수색성 이미지를 나타내고, 이미지의 색차는 컬러 정보를 나타낸다.

도 9는 본 개시의 다양한 실시예들을 참조해 기술되는 바와 같이, 도 8의 강화 비전 모드 1-3 및 그와 관련된 적외선 프로세싱 기법들을 구현하는 방법(900)을 예시한 블록도를 도시한다. 일 실시예에서, 모드 1은 가시적 센서 데이터(920)를 획득하고 컬러 비디오 데이터를 포함하는 가시적 센서 데이터(922)를 프로세싱하는 것으로 시작되는 가시광 프로세싱 동작 모드를 나타내고, 모드 2는 열적 센서 데이터(910)를 획득하고 열적 비디오 데이터를 포함하는 열적 센서 데이터(912)를 프로세싱하는 것으로 시작하는 열적(적외선) 프로세싱 동작 모드를 나타내며, 모드 3은 열적 센서 데이터(910) 및 열적 센서 데이터(920)를 혼합하여 혼합된 비디오 이미지 신호를 포함하는 혼합된 이미지 신호를 생성하도록 된 혼합 프로세싱 동작 모드를 나타낸다.

일 실시예에서, 도 9를 참조하면, 방법(900)의 열적 프로세싱 모드는 본 개시의 여러 실시예들과 관련해 기술된 바와 같이, 도 4의 모드들(410A-410E) 및 그와 관련된 적외선 프로세싱 기법들을 병합한다. 특히, 열적 동작 모드는 야간 도킹 모드(410A), 사람이 물에 빠진 상황 모드(410B), 야간 크루즈 모드(410C), 주간 크루즈 모드(410D), 및 안개 상황 모드(410E)와 관련된 프로세싱 기법들을 포함한다.

도 9를 참조할 때, 도 1a, 1b의 이미지 캡처링 시스템(100A, 100B)의 프로세싱 구성요소(110)는 이하에서와 같이 방법(900)을 수행할 수 있다. 캡처된 이미지(가령, 이미지(170))의 열적 센서 데이터(즉, 적외선 이미지 데이터) 및 가시적 센서 데이터(즉, 컬러 이미지 데이터)가 수신되거나 획득된다(각기 블록 910, 920). 이어서, 열적 센서 데이터(910) 및 가시적 센서 데이터(920)가 프로세싱된다(각기 블록 912, 922). 한 양태에서, 프로세싱은 수신된 센서 데이터에 정정 조건 및/또는 시간상 잡음 감소를 적용하는 단계를 포함할 수 있다.

한 구현예에서, 열적 센서 데이터(910)를 획득하고 열적 센서 데이터(912)를 전처리한 뒤에, 선택된 모드들(410A-410E) 중 적어도 하나가 이미지 캡처링 시스템(100A, 100B)의 제어 구성요소(150)를 통해 사용자나 오퍼레이터에 의해 선택될 수 있고, 프로세싱 구성요소(110)는 선택된 모드와 관련된 대응하는 프로세싱 기법을 실행한다. 일례에서, 야간 도킹 모드(410A)가 선택되면, 센서 데이터는 히스토그램 등화되고 스케일링되고(가령, 0-511)(블록 420), 센서 데이터는 선형 스케일링되고(가령, 0-128) 최고 부분 및 최저 부분(가령, 1%)을 포화시키며(블록 422), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 히스토그램 등화된 센서 데이터가 선형 스케일링된 센서 데이터에 더해진다(블록 424). 다른 예에서, 사람이 물에 빠진 상황 모드(410B)가 선택되는 경우, 수평선이 시계(FoV)의 상부에 있도록 이미지 캡처링 시스템(100A, 100B)의 적외선 캡처링 구성요소(130)가 이동하거나 위치하고, 하이 패스 필터(HPF)가 센서 데이터에 적용되며(블록 432), 하이 패스 필터링된 센서 데이터의 동적 범위가 디스플레이 구성요소(140)에 맞게 선형 매핑된다(블록 434). 다른 예에서, 야간 크루즈 모드(410C)가 선택되는 경우, 센서 데이터는 하이 패스 필터를 사용해 약한 세부사항 부분 및 배경 부분을 추출하도록 처리되고(블록 440), 배경 부분은 히스토그램 등화되고 스케일링(가령, 0-450)되고(블록 442), 세부사항 부분이 스케일링되며(가령, 0-511)(블록 444), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 배경 부분이 세부사항 부분에 더해진다(블록 446). 다른 예에서, 주간 크루즈 모드(410D)가 선택되는 경우, 센서 데이터는 하이 패스 필터를 사용해 약한 세부사항 부분 및 배경 부분을 추출하도록 처리되고(블록 450), 배경 부분은 히스토그램 등화되고 스케일링(가령, 0-511)되고(블록 452), 세부사항 부분이 0-255로 스케일링되며(블록 454), 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 배경 부분이 세부사항 부분에 더해진다(블록 456). 또 다른 예에서, 안개 상황 모드(410E)가 선택되는 경우, 비선형 로우 패스 필터(가령, 메디안)가 센서 데이터에 인가되고(블록 460), 그런 다음 그 데이터는 동적 범위를 디스플레이 구성요소(140)에 선형 매핑하기 위해 히스토그램 등화되고 스케일링된다(블록 462).

다른 구현예에서, 가시적 센서 데이터(920)를 획득하고 가시적 센서 데이터(922)를 전처리한 후에, 프로세싱 구성요소(110)는 가시적 센서 데이터(920)로부터 휘도 부분(Y) 및 컬러 부분(CrCb)을 분리하도록 구성된다. 다음으로, 사용자에 의해 혼합 모드가 선택된 경우(950), 모드들(410A-410E) 중 적어도 한 모드에 의해 지원되는 바와 같이, 프로세싱 구성요소(110)는 가시적 센서 데이터(920)로부터의 휘도 부분(Y)을 스케일링된 열적 데이터와 혼합하도록(블록 926) 구성된다. 다음으로, 프로세싱 구성요소(110)는 가시적 센서 데이터(920)로부터의 색차 값들(CrCb)을 더하고(블록 928) 혼합된 모드 이미지를 디스플레이하도록(블록 952) 구성된다.

그렇지 않고, 한 구현예에서 사용자에 의해 혼합 모드가 선택되지 않으면(950), 앞에서 기술한 바와 같이, 프로세싱된 열적 센서 데이터를 야간 모드에서 디스플레이할지(즉, 야간 컬러 팔레트를 적용할지) 여부에 대한 판단이 이뤄진다. 그 결정이 긍정이면, 야간 컬러 팔레트가 프로세싱된 센서 데이터에 적용되고(블록 482), 프로세싱된 데이터가 야간 모드로 디스플레이된다(블록 484A). 그 결정이 부정이면, 프로세싱된 센서 데이터는 비야간 모드 방식으로 디스플레이된다(가령, 흑색 핫 팔레트 또는 흰색 핫 팔레트)(블록 484B). 야간 모드에서, 열적 센서 데이터(즉, 열적 이미지 데이터)는 사용자나 오퍼레이터의 야간 시력을 향상시키도록 적색 또는 녹색 컬러 팔레트로 디스플레이될 수 있다는 것을 예상할 수 있다.

어떤 상황 하에서는, 차량(가령, 항공기, 배, 육상용 차량 등)이 강화 비전 시스템(EVS)을 활용하여 파일럿이 차량을 조종 및/또는 항해하는 것을 지원하도록 하는 것이 바람직할 수 있다. 예를 들어, 야간에는 적외선에 감응하는 열적 센서의 사용이 유리할 수 있는데, 이는 열적 센서들이 어둠 속에서도 이미지를 형상화하기 때문이다. 다른 예에서, 가시광원이 존재하는 상황 하에서는 파일럿이 그 광을 보는 것이 바람직할 수 있다. 그와 같이, 가시광 스펙트럼에 감응하는 가시광 센서는 가시광원들을 형상화하는 능력을 제공한다. 그에 따라, 도 8-9의 방법들(800, 900)은 각기 차량 응용예에 있어 적외선 및 가시광 파장 센서들로부터의 이미지들을 결합하는 것을 고려한다. 한 양태에서, 가시광 센서로부터의 이미지 신호(가령, 비디오 신호)와 적외선 센서로부터의 이미지 신호(가령, 비디오 신호)를 결합함으로써, 가시광 센서로부터 컬러 정보를 보유하고(있는 경우) 적외선 센서로부터 적외선 휘도(발광)를 보이는 혼합 또는 결합 이미지가 생성될 수 있다. 이 방법들(800, 900)은 본 개시의 범위로부터 벗어나지 않고 가시 전용 모드, 적외선 전용 모드, 및 가변적 혼합형 가시/적외선 모드에서 동작될 수 있다.

도 10은 도 2-4 및 도 8-9를 참조해 앞서 기술된 바와 같이, 여러 동작 모드들 사이를 선택하기 위해 강화 비전 시스템(100A, 100B)의 제어 구성요소(150)에 대한 일 실시예를 예시한 블록도를 도시한다. 일 실시예에서, 적외선 이미징 시스템(100A, 100B)의 제어 구성요소(150)는 사용자와 인터페이스하고 사용자 입력 제어 값들을 수신하도록 구성되고 한 개 이상의 입력 제어 신호들을 생성하여 프로세싱 구성요소(100A, 100B)로 전송하도록 더 구성된 한 개 이상의 푸쉬 버튼들(510, 520, 530, 540, 550, 560, 570)(도 5와 관련해 기술됨) 및 한 개 이상의 제어 노브들(1080, 1090)을 가진 제어 패널 유닛(1000)(가령, 유무선 핸드헬드 제어 유닛) 같은 사용자 입력 및/또는 인터페이스 장치를 포함할 수 있다.

다른 다양한 실시예에서, 제어 패널 유닛(1000)은 본 개시의 범위로부터 벗어나지 않고, 슬라이드 바, 푸쉬 버튼, 원하는 모드를 선택하기 위한 회전형 노브, 키보드 등을 포함할 수 있다. 예를 들어, 강화 비전 시스템(100A, 100B)의 제어 패널 유닛(1000)은 9 개의 고정 위치들 같은 고정 위치들을 가지고 있고, 위치 1 및 위치 9에서 하드 스탑(hard stop)을 가지는 선택 노브를 포함한다. 한 구현에에서, 첫 번째 위치(1)는 적외선 전용 동작 모드를 선택하도록 예정될 수 있고, 아홉 번째 위치(9)는 가시광 전용 동작 모드를 선택하도록 예정될 수 있으며, 두 번째부터 여덟 번째의 중간 위치들(2 내지 8)은 각각의 선택된 증가량에 대해 더해지는 증가하는 가시적 휘도의 양을 가진 혼합된 비디오 이미지를 선택 및 생성하도록 예정될 수 있는데, 이것에 대해서는 여기에서 보다 상세히 기술된다.

다른 실시예에서, 제어 패널 유닛(1000)은 50%의 시작 혼합물(가령, 디폴트로서)이나 사용자 정의된 디폴트 혼합물에 가시 대역 콘텐츠를 더하거나(가령, 시계방향(CW) 회전을 이용), 그로부터 감산(가령, 반시계방향(CCW) 회전을 이용)하기 위해 비례 제어가 사용되는 조이스틱 제어 유닛(JCU), 오토-센터링 JCU 등과 같은 조이스틱 제어 장치를 포함할 수 있다. 회전 한계 위치(가령, CW 또는 CCW)에서, 각기 100%의 가시적 이미지 스펙트럼(VIS)이나 100%의 적외선 이미지 스펙트럼(IIS) 출력을 나타내는 하드 스탑이 존재한다. 한 구현예에서, 온-스크린 디스플레이(OSD) 오버레이가 사용되어 가시광 및 적외선 스펙트럼의 휘도를 혼합하기 위한 혼합의 백분율(%)을 나타낼 수 있다.

일 실시예에서, 가시광 카메라 및 열 카메라는 비디오 신호의 어떤 최대 이득만을 고려할 수 있다. 이득의 한계는 비디오 신호가 사용될 수 있도록 이미지의 잡음 성분들이 제한되게 한다. 이득의 한계는 가시광 또는 열 비디오 신호를 제한하여 그 신호들이 이용 가능한 최대한의 출력 동적 범위를 사용하지 않도록 할 수 있다. 예를 들어, 가시광 신호 휘도 성분은 8 비트 도메인에서 이용 가능한 256 카운트들 중 100 카운트들만이 될 수 있다. 이 경우, 가시적 부분이 사용자나 시스템이 선택했던 것보다 상대적으로 적도록 두 휘도 성분들(즉, 가시광 및 열적 휘도 성분들)을 재스케일링하는 것이 바람직하다. 한 양태에서, 사용자는 혼합된 출력 내 휘도의 절반(가령, ξ=0.5)이 가시광 휘도 채널로부터 나오도록 혼합 인자를 세팅할 수 있다. 휘도의 나머지 50%는 열적 비디오 성분으로부터 나온다. 가시광 비디오 성분의 제한된 동적 범위와 관련하여, 한 예에서

가 되도록 사용자가 선택했던 제어 파라미터(ξ)에 기초하여 조정된 혼합 인자 ξ_a가 산출될 수 있다. 휘도 혼합 알고리즘은 L_blend = ξ_aL_ir + ξL_vis이 될 수 있고, 여기서 L_ir 및 L_V1S는 각기 열 휘도 성분 및 가시광 휘도 성분을 나타내고, L_blend는 그 결과에 따라 혼합된 휘도이다.

한 구현예에서, 휘도가 실질적으로 낮으면, 예컨대 흑색에 가까우면, 인간 관측자가 컬러 변동을 알아채는 것이 어려울 수 있다. 그러므로, 휘도 혼합의 개선안으로서, 픽셀 단위로 혼합 백분율을 조정하기 위해 색차 값들이 활용될 수 있다. YCrCb 포맷에서, 그레이는 동적 범위의 중간 포인트, 이를테면 8 비트 표현에 있어 128에 있는 Cr 및 Cb 값들로 나타내지고, 표현된다. 이 예에서, 하나의 픽셀은 그 Cr 및 Cb 채널들의 중간 값으로부터 가변 정도만큼 이탈될 때 더 많은 컬러 정보를 포함하도록 규정될 수 있다. 한 양태에서, 컬러 콘텐츠의 측정치는 그레이로부터의 절대차들의 합, 이를테면, C = abs(Cr-128) + abs(Cb-128)을 포함할 수 있고, 여기서 C는 컬러 량이라고 원시적으로 해석될 수 있다. 컬러가 오리지널 가시적 비디오 스트림에서 가시적이라고 추정할 때, 혼합 인자 (ξ)는 픽셀 레벨마다 조정되어, 주요 컬러 콘텐츠(가령, C에 대해 큰 값)를 가진 픽셀들은 가시광 센서 휘도 방향으로 더 많이 가중되도록 한다. 예를 들어, C의 값들을 증가시키기 위해 λ가 단조 증가하도록, 예컨대 도 11a에 도시된 바와 같이 가우시안 함수가 사용될 수 있도록 혼합 파라미터 λ_i,j(C_i _,j)가 규정될 수 있다. 컬러 조정된 혼합 인자 ξ_c는 사용자가 선택한 혼합 인자 ξ_u 및 컬러 인자 λ의 합으로서 규정될 수 있다. ξ_c가 0-1의 범위로 제한되면, 혼합 식은 L_blend = (1- ξ_c)L_ir + ξ_cL_vis로 쓰여질 수 있다. 당업자라면 잘 알 수 있다시피, 주요 컬러 콘텐츠를 가진 픽셀들에 대해 휘도 콘텐츠를 가시적 성분을 향해 이동하기 위해 다른 정규화 가중 방식들 역시 사용될 수 있다.

다른 구현예에서, 어둠 속의 컬러 정보가 혼합된 비디오 안에서 손실되는 것을 방지하기 위한 또 다른 방법은 어두운 영역들이 컬러 콘텐츠를 가지는 경우 그 어두운 영역들을 밝게 하는 것이다. 예를 들어, 이것은 휘도 오프셋을 어떤 소정 임계치 초과의 어떤 컬러 콘텐츠(가령, 파라미터 C로 규정되는 것)를 가진 모든 픽셀들에 더함으로써 수행될 수 있다. 보다 매끄러운 전환은 오프셋이 C에 비례할 때 이뤄진다. 그레이로부터 보다 큰 절대차(가령, 큰 C)에 있어서, 보다 큰 휘도 오프셋이 더해진다. 한 양태에서, 이미 밝은 이미지 부분들은 더 밝게 할 필요가 없으며, 그에 따라 이미 밝은 영역들에 대해서는 밝기 오프셋이 더 낮아질 수 있다. 밝기 정정 함수 β_i,j(C_i,j, L)가 정의될 수 있으며, 여기서 β는 C의 값을 증가시키기 위해 증가되고, L의 값들을 증가시키기 위해 감소된다. 그러한 함수의 예가 도 11b에서 보여진다.

여러 구현예들에서, 제어 패널 유닛(1000)의 복수의 제어 노브들(1080, 1090)이 사용되어 도 8-9와 관련해 앞에서 기술된 바와 같이 다양한 동작 모드들(즉, 가시적 디스플레이 전용 모드, 적외선 디스플레이 전용 모드, 및 혼합 디스플레이 모드) 사이를 선택하도록 할 수 있다. 여러 구현예들에서, 프로세싱 구성요소(110)는 제어 패널 유닛(1000)으로부터 제어 입력 신호들을 감지하고 제어 노브들(1080, 1090)로부터 수신된 어떤 감지된 제어 입력 신호들에 응답하도록 구성될 수 있다. 프로세싱 구성요소(110)는 제어 입력 신호들을 값들로서 해석하도록 구성될 수 있다. 다른 다양한 구현예에서, 제어 패널 유닛(1000)은 자동 초점, 메뉴 인에이블(enable) 및 선택, 시계(FOV), 및/또는 다른 다양한 특성들 같이, 적외선 이미징 시스템(100A)의 다른 다양한 제어 동작을 제공하기 위한 한 개 이상의 다른 제어 노브들이나 푸쉬 버튼들(미도시)을 포함하도록 구성될 수 있다. 다른 실시예에서, 제어 패널 유닛(1000)은 도 8-9의 이미지 디스플레이 모드들 1-3을 선택하기 위한 하나의 제어 노브를 포함할 수 있다.

다른 실시예에서, 제어 패널 유닛(1000)은 가령 디스플레이 스크린에서 사용자가 터치한 다양한 부분들로부터 입력 신호를 수신하도록 된 사용자 작동 터치 스크린 장치 같이, 입력 장치와 디스플레이 장치 양자 모두로서 동작하는 디스플레이 구성요소(140)의 일부로서 통합되도록 구성될 수 있다. 그와 같이, GUI 인터페이스 장치는 예컨대 사용자와 인터페이스하고 디스플레이 구성요소(140)의 터치 스크린을 통해 사용자 입력 제어 값들을 수신하도록 구성된 제어 노브들(1080, 1090)에 대한 한 개 이상의 이미지들을 가질 수 있다.

일 실시예에서, 도 10을 참조할 때, 제1제어 노브(1080)는 모드 1(즉, 가시광 전용 모드), 모드 2(즉, 적외선 전용 모드), 및 모드 3(혼합 모드) 같은 강화 비전 동작 모드들 중 적어도 하나를 선택하도록 실행될 수 있다. 예를 들어, 도 8을 참조할 때, 제1제어 노브(1080)는 사용자 입력 제어(820)와 동일한 범위 및 형상들을 제공한다. 다른 실시예에서, 본 개시의 범위로부터 벗어나지 않고 제어 패널 유닛(1000)의 한 개의 푸쉬 버튼이 사용되어 강화 디스플레이 모드들 1-3 각각을 토글할 수 있다.

일 실시예에서, 도 10을 참조할 때, 제2제어 노브(1090)는 도 8과 관련해 기술된 바와 같이, 파라미터 ξ(821)에 대해 0-1의 값을 선택하도록 실행될 수 있다. 앞에서 기술된 바와 같이, ξ(821)의 각 값(즉, 0-1)은 디스플레이할 혼합된 이미지를 생성하도록 조정되고, 여기서 혼합된 이미지의 휘도 부분(Y)은 가시 및 적외선 스펙트럼 신호 둘 모두로부터의 정보를 포함한다.

해상 응용예에서, 본 개시의 실시예들은 일부 중요한 용도들을 가진다. 예를 들어, 야간에 항해 할 때, 전자-광학(E/O) 카메라는 통상적으로 이미지를 형상화하는 것만 할 수 있거나, 부표, 다른 보트들 상의 빛, 육지의 빛, 또는 등대 같은 몇 가지 포인트 광원들만을 그럭저럭 형상화하도록 할 수 있다. 다른 표시가 없을 때, 이 소스들 중 어느 것에 빛이 속하는지를 판단하기가 어려울 수 있다. 열 이미저는 부표, 섬, 다른 보트 등을 명확히 보여주도록 구성되지만, 어떤 광의 컬러도 보여줄 수 없다. 디스플레이 상의 두 센서 출력들 중 어느 하나를 볼 때, 보트의 오퍼레이터에게는 항해에 대한 필수 정보가 부족할 수 있다. 예를 들어, 한 양태에서, 비디오 안에 광이 보여지는 것이 E/O 이미저로부터인지, 육지의 소스로부터인지, 부표로부터인지 여부를 판단하는 것이 어려울 수 있다. 다른 양태에서, 어떤 포인트 소스가 해상 항해 지침을 제공한다는 지식이 주어질 때, 제한된 E/O 방사 출력에만 유일하게 의존하는 것은 안전한 항해에 있어 충분치 못할 수 있다. 마찬가지로, 열 이미저로부터의 비디오 안에 여러 부표들이 명확히 보여질 수는 있지만 컬러 정보의 부족은 항해할 적절한 경로를 판단하는 것을 어렵게 할 수 있다. 여기 기술된 것과 같이 E/O 및 열 이미저로부터의 융합 정보는 함선의 오퍼레이터에게 단일 비디오 스트림의 모든 필요 정보를 제공한다. 구체적으로, 사용자를 위해 가시 대역 및 적외선 대역 카메라들 사이의 출력의 상관이 수행되어, 오퍼레이터가 어느 빛은 육상의 소스(가령, 자동차)에 속하고 어떤 빛은 부표에 속한다는 것을 구별할 수 있도록 한다.

배를 위한 강화 비전 시스템(EVS)에서, 여기 기술된 비디오 혼합 시스템은 중요한 항해 도우미가 된다. 야간에 착륙을 시도할 때(열 이미징에 있어 합당한 상황 하에서), 열 카메라는 비행장과 그 주변의 이미지를 항공기 조종사에게 제공한다. 시골 공항에서는 열 이미저가 활주로 상의 차량, 동물, 및/또는 사람 같은 장애물들을 검출할 수 있다. 이러한 오브젝트들은 열악하거나 제로 상태의 광 조건 하에서조차 보여질 수 있다. 가시광 스펙트럼 내 광에 감응하는 이미저(E/O 이미저)는 오직 (상술한 상황 하에서) 활주로 등, 경고등, 가로등, 및/또는 다른 평면이나 차량들 상의 빛 같은 가시광원들을 모을 수 있다. 컬러 E/O 이미저는 예컨대 녹색이나 백색 광으로부터 적색 광을 구별할 수 있는데, 이것은 어떤 상황에 있어서 항공기 조종사에게 매우 중요한 일이 될 수 있다. 이륙, 착륙 중이나 유도로를 이동 중에, 파일럿은 산만함이 최소가 되기를 원한다. 두 가지 별개의 비디오 스트림을 보고 E/O 시스템에 의해 형상화된 어떤 광이 열 시스템에 의해 형상화된 어떤 구조와 매치하는지를 알아내려는 시도가 산만함이 될 수 있다. 결합 비전 시스템은 중요한 장면 정보, 이를테면 조종사의 산만함을 줄이고 안전한 항해를 지원하도록, 항해를 위한 컬러화된 광원 및 경계 상황에 대한 열 방출의 전치 상관된(pre-correlated) 혼합을 제공하고자 노력한다. 이 경우, 열 이미저로부터의 열 비디오와 병합된 E/O 비디오로부터의 컬러 정보를 보이는 단일 비디오 스트림이 바람직하며, 파일럿에게 산만함을 최소로 하면서 최대의 정보를 제공한다.

교외나 시골 지역을 야간에 운전하는 것은 운전자의 시야를 헤드라이트 및/또는 가로등에 의해 비춰진 부분으로 한정시킨다. 열 카메라는 상황적 개요를 제공하며, 열 카메라는 접근하는 차량으로부터의 상향 등에 의해 "블라인드화"되지 않는다는 추가된 이점을 가진다. E/O 카메라는 통상적으로 교통 신호, 신호등, 번호판, 차량 경고등, 및 도로 표지를 열 이미저보다 훨씬 상세하고 대비적으로 형상화할 수 있다. 그러나, 본 개시의 실시예들에 따르면, 융합되거나 혼합된 이미지는 보는 이에게 두 대역 카메라 시스템들의 각각의 디스플레이 사이의 출력을 상관시키도록 요구하지 않고, 단일 출력으로서 비디오 스트림들 중 어느 한 비디오 스트림 단독 보다 많은 정보를 운전자, 승객, 및/또는 원격 조종자들에게 제공한다. 자동 충돌 방지 시스템에서, 두 융합파 대역들로부터 추가된 정보는 또한 보다 나은 정확도(가령, 보다 낮은 틀린 보행자 검출율)를 제공할 수 있다.

E/O 및 열 이미저들 모두를 가진 핸드헬드 시스템에서, 여기에 기술된 비디오 혼합 방식은 수많은 상황들에 있어 유용하다. 야간에 조종할 때, 혼합 모드로 작동시 컬러화된 광이 장면의 열 표현에 나타날 수 있다. 예컨대 플래시 광에 의해 비춰진 영역들 또한 E/O 이미저에 의해 캡처된 컬러 정보로부터 이익을 얻을 수 있다. 구체적으로 말하면, 사용자가 혼합된 비디오 스트림을 보고 열 스펙트럼에서만 보여질 수 있는 전체 장면과 관련해 플래시 광으로부터 나온 광 빔을 봄으로써 어느 영역이 비춰지는지를 용이하게 알 수 있다.

주간 작동시, 사람의 눈으로 보여지는 것과 가장 가깝게 닮은 컬러 정보의 보유로 인해 E/O 이미저를 사용해 최선의 상황적 개요가 얻어질 수 있다. 열 컨트라스트를 사용해 사람, 동물, 액체 쏟은 것 등과 같은 어떤 것을 찾을 때, 열 이미저는 보다 우수한 검출 가능성을 제공할 수 있다. 또한, 밝은 대낮 장면에서, 열 이미저는 넓은 주간 동적 범위를 다루는 E/O 이미저에 대해서는 손실될 수 있을 그림자 영역에서 방출 정보를 제공할 수 있다. 이와 같이, 여기 기술된 것과 같은 파동 대역들을 병합하는 것은 사용자에게 열 신호를 가진 물체에 대한 추가 컨트라스트를 이용해 장면의 컬러 개략도를 제공함으로써, 그러한 도구가 법시행, 검사, 및/또는 개인적 용도를 포함하는 많은 응용예들에서 유용하게 사용되게 할 수 있다.

적용 가능한 경우 본 발명의 여러 실시예들은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 다양한 조합들을 이용해 구현될 수 있다. 적용 가능한 경우, 여기 기술된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 개시의 범위와 기능으로부터 벗어나지 않고 소프트웨어, 하드웨어, 및/또는 둘 모두를 포함하는 복합 구성요소로 결합될 수 있다. 적용 가능한 경우, 여기 기술된 다양한 하드웨어 구성요소 및/또는 소프트웨어 구성요소는 본 개시의 범위와 기능으로부터 벗어나지 않고 소프트웨어, 하드웨어, 및/또는 둘 모두를 가진 부 구성요소들로 분리될 수 있다. 적용 가능한 경우, 소프트웨어 구성요소들은 하드웨어 구성요소들로서 구현될 수 있고, 그 반대의 경우도 성립되도록 의도된다.

프로그램 코드 및/또는 데이터 같이 본 개시에 따른 소프트웨어는 한 개 이상의 컴퓨터 판독가능 매체 상에 저장될 수 있다. 여기에서 식별되는 소프트웨어는 네크워킹 및/또는 다른 방식으로 된 한 개 이상의 범용 또는 특수용 컴퓨터 및/또는 컴퓨터 시스템들을 이용해 구현될 수 있다. 적용 가능한 경우, 여기 기술된 다양한 단계들의 순서는 여기 기술된 특징을 제공하기 위해 바뀔 수 있고, 합성 단계들로 결합될 수 있으며, 부 단계들로 나눠질 수 있다.

여러 실시예에서, 모드 모듈들(112A-112N)의 소프트웨어가 프로세싱 구성요소(110)에 내장되거나 프로세싱 요소(110)에 의하 액세스 및 실행을 위해 메모리 구성요소(120)에 저장될 수 있다. 앞에서 기술되었듯이, 모드 모듈들(112A-112N)의 코드(즉, 소프트웨어 및/또는 하드웨어)는 일 실시예에서, 도 2-4 및 8-9와 관련해 기술되었듯이, 디스플레이 구성요소(140) 상에 캡처 및/또는 프로세싱된 적외선 이미지들을 디스플레이 하기 위해 프로세싱 구성요소(100A, 100B)가 한 개 이상의 프로세싱 기법들 사이를 스위칭할 수 있게 하는 미리 설정된 디스플레이 기능들을 규정한다.

위에 기술된 실시예들이 예시되었으나 그것이 본 개시를 한정하는 것은 아니다. 본 개시의 원리에 따라 수많은 수정과 변경이 가능하다는 것 또한 알아야 한다. 따라서, 본 개시의 범위는 오직 이하의 청구범위에 의해서만 한정된다.

Claims

강화된 비전 시스템(an enhanced vision system)으로서,
가시광 이미지를 캡처하도록 구성된 가시광 센서와,
적외선 이미지를 캡처하도록 구성된 적외선 센서 -상기 적외선 이미지는 적외선 파장 스펙트럼으로부터의 열 정보를 포함하는 열 적외선 이미지임- 와,
사용자가 선택한 제어 파라미터에 대응하는 사용자 입력을 수신하도록 구성된 제어 구성요소와,
상기 캡처된 가시광 이미지로부터 휘도 부분을 추출하고, 상기 캡처된 적외선 이미지로부터 휘도 부분을 추출하고, 상기 제어 파라미터에 기초하여 상기 휘도 부분들을 스케일링하며, 출력 이미지를 생성하기 위해 상기 스케일링된 휘도 부분들을 병합하도록 구성된 프로세싱 구성요소와,
상기 출력 이미지를 디스플레이하도록 구성된 디스플레이 구성요소를 포함하되,
상기 디스플레이 구성요소는 상기 출력 이미지를 가시광 전용 이미지(a visible light only image), 적외선 전용 이미지(an infrared only image), 및 상기 가시광 전용 이미지와 상기 적외선 전용 이미지 양자 모두의 일부를 가진 가시광-적외선 결합 이미지 중 적어도 하나로서 디스플레이하도록 구성되는
강화 비전 시스템.
제 1 항에 있어서,
상기 가시광 센서는 한 개 이상의 가시광 이미지를 캡처하며 상기 캡처된 가시광 이미지와 관련된 가시광 센서 데이터를 제공하도록 구성되고,
상기 적외선 센서는 한 개 이상의 적외선 이미지를 캡처하며 상기 캡처된 적외선 이미지와 관련된 적외선 센서 데이터를 제공하도록 구성되고,
상기 프로세싱 구성요소는 출력 이미지 데이터를 생성하기 위해 상기 가시광 센서 데이터 및 상기 적외선 센서 데이터를 수신하여 프로세싱하도록 구성되며,
상기 디스플레이 구성요소는 상기 프로세싱 구성요소에 의해 생성된 상기 출력 이미지 데이터에 기초하여 한 개 이상의 출력 이미지를 디스플레이하도록 구성되는
강화 비전 시스템.
제 2 항에 있어서,
상기 프로세싱 구성요소는, 상기 가시광 센서 데이터로부터 휘도 데이터 부분을 추출하고, 상기 적외선 센서 데이터로부터 휘도 데이터 부분을 추출하고, 상기 휘도 데이터 부분들을 스케일링하며, 상기 출력 이미지 데이터를 생성하기 위해 상기 스케일링된 휘도 데이터 부분들을 병합하도록 구성되는
강화 비전 시스템.
제 1 항에 있어서,
복수의 선택가능한 프로세싱 모드를 제공하며 선택된 프로세싱 모드를 나타내는 제어 신호를 생성하도록 구성된 제어 구성요소를 더 포함하되, 상기 복수의 선택가능한 프로세싱 모드는 야간 크루즈 모드, 주간 크루즈 모드, 및 사람이 물에 빠진 상황(man overboard) 모드를 포함하며,
상기 프로세싱 구성요소는 상기 제어 구성요소로부터 상기 생성된 제어 신호를 수신하며 상기 선택된 프로세싱 모드에 따라 상기 캡처된 적외선 이미지를 프로세싱하도록 구성되는
강화 비전 시스템.
제 4 항에 있어서,
상기 캡처된 가시광 이미지, 상기 캡처된 적외선 이미지, 및 상기 출력 이미지 중 하나 이상을 저장하도록 구성된 메모리 구성요소를 더 포함하되,
상기 복수의 선택가능한 프로세싱 모드는 상기 프로세싱 구성요소로 하여금 상기 캡처된 적외선 이미지에 비선형 로우 패스 필터를 적용하며 그 다음에 상기 캡처된 적외선 이미지를 히스토그램 등화하여 스케일링하게 하는 안개 상황 (hazy conditions) 모드를 포함하며,
상기 디스플레이 구성요소는 야간 디스플레이 모드에서 상기 출력 이미지를 적색 팔레트나 녹색 팔레트로 디스플레이하도록 구성되는
강화 비전 시스템.
제 1 항에 있어서,
복수의 선택가능한 프로세싱 모드를 사용자에게 제공하고, 사용자가 선택한 프로세싱 모드에 대응하는 사용자 입력을 수신하며, 상기 사용자가 선택한 프로세싱 모드를 나타내는 제어 신호를 생성하도록 구성된 제어 구성요소를 더 포함하되,
상기 복수의 선택가능한 프로세싱 모드는 가시광 전용 모드, 적외선 전용 모드, 및 적어도 한 개의 가시광-적외선 결합 모드를 포함하고,
상기 프로세싱 구성요소는 상기 제어 구성요소로부터 상기 생성된 제어 신호를 수신하고, 상기 캡처된 가시광 이미지와 상기 캡처된 적외선 이미지를 상기 사용자가 선택한 프로세싱 모드에 따라 프로세싱하며, 상기 사용자가 선택한 프로세싱 모드에 기초하여 한 개 이상의 출력 이미지를 생성하도록 구성되며,
상기 디스플레이 구성요소는 상기 사용자가 선택한 프로세싱 모드에 기초하여 상기 출력 이미지를 디스플레이하도록 구성되는
강화 비전 시스템.
제 6 항에 있어서,
상기 복수의 선택가능한 프로세싱 모드는 상기 프로세싱 구성요소로 하여금 상기 캡처된 가시광 이미지로부터만 상기 프로세싱된 이미지를 생성하도록 하는 상기 가시광 전용 모드를 포함하고, 상기 가시광 이미지는 가시광 파장 스펙트럼으로부터의 컬러 정보나 흑백 정보를 포함하는
강화 비전 시스템.
제 6 항에 있어서,
상기 복수의 선택가능한 프로세싱 모드는 상기 프로세싱 구성요소로 하여금 상기 캡처된 적외선 이미지로부터만 상기 프로세싱된 이미지를 생성하도록 하는 상기 적외선 전용 모드를 포함하는
강화 비전 시스템.
제 6 항에 있어서,
상기 복수의 선택가능한 프로세싱 모드는 상기 프로세싱 구성요소로 하여금 상기 캡처된 가시광 이미지의 상기 스케일링된 휘도 부분을 상기 캡처된 적외선 이미지로부터의 상기 스케일링된 휘도 부분과 결합시킴으로써 상기 출력 이미지를 생성하게 하는 상기 가시광-적외선 결합 모드를 포함하는
강화 비전 시스템.
제 1 항에 있어서,
상기 제어 구성요소는 상기 사용자가 선택한 제어 파라미터를 나타내는 제어 신호를 생성하도록 구성되는
강화 비전 시스템.
제 10 항에 있어서,
선택가능한 상기 제어 파라미터는 선택가능한 값의 범위를 제공하고, 제1값은 상기 프로세싱 구성요소로 하여금 상기 캡처된 가시광 이미지로부터만 상기 프로세싱된 이미지를 생성하게 하고, 제2값은 상기 프로세싱 구성요소로 하여금 상기 캡처된 적외선 이미지로부터만 상기 프로세싱된 이미지를 생성하도록 하고, 상기 제1 값과 상기 제2값 사이의 한 개 이상의 다른 값은 상기 프로세싱 구성요소로 하여금 상기 캡처된 가시광 이미지의 휘도 부분과 상기 캡처된 적외선 이미지의 휘도 부분의 비례 값으로부터 상기 프로세싱된 이미지를 생성하도록 하며, 상기 선택가능한 제어 파라미터는 상기 휘도 부분의 이득 값을 증가시키거나 감소시키도록 조정되는
강화 비전 시스템.
삭제
제 1 항에 있어서,
상기 캡처된 가시광 이미지는 상기 휘도 부분과 색차 부분을 포함하고, 상기 캡처된 적외선 이미지는 상기 휘도 부분만을 포함하고, 상기 프로세싱 구성요소는 상기 캡처된 가시광 이미지로부터 상기 휘도 부분과 상기 색차 부분을 추출하고, 상기 캡처된 적외선 이미지로부터 상기 휘도 부분만을 추출하고, 상기 휘도 부분들을 스케일링하며, 상기 출력 이미지를 생성하기 위해 상기 휘도 부분들과 상기 색차 부분을 병합하도록 구성되는
강화 비전 시스템.
가시광 센서 데이터를 획득하는 단계와,
적외선 센서 데이터를 획득하는 단계 -상기 적외선 센서 데이터는 적외선 파장 스펙트럼으로부터의 열 정보를 포함함- 와,
사용자가 선택한 제어 파라미터에 대응하는 사용자 입력을 수신하는 단계와,
상기 가시광 센서 데이터로부터 휘도 데이터 부분을 추출하는 단계와,
상기 적외선 센서 데이터로부터 휘도 데이터 부분을 추출하는 단계와,
상기 제어 파라미터에 기초하여 상기 휘도 데이터 부분들을 스케일링하는 단계와,
출력 이미지 데이터를 생성하기 위해 상기 스케일링된 휘도 데이터 부분들을 병합하는 단계와,
상기 출력 이미지 데이터에 기초하여 출력 이미지를 디스플레이하는 단계를 포함하되,
상기 출력 이미지를 디스플레이하는 단계는 가시광 전용 이미지, 적외선 전용 이미지, 및 상기 가시광 전용 이미지와 상기 적외선 전용 이미지 양자 모두의 일부를 가진 가시광-적외선 결합 이미지 중 적어도 한 이미지를 디스플레이하는 단계를 포함하는
방법.
제 14 항에 있어서,
한 개 이상의 가시광 이미지를 캡처하며 상기 캡처된 가시광 이미지와 관련된 가시광 센서 데이터를 제공하는 단계와,
한 개 이상의 적외선 이미지를 캡처하며 상기 캡처된 적외선 이미지와 관련된 적외선 센서 데이터를 제공하는 단계와,
사용자에게 복수의 선택가능한 프로세싱 모드를 제공하는 단계 -상기 복수의 선택가능한 프로세싱 모드는 가시광 전용 모드, 적외선 전용 모드, 및 적어도 한 개의 가시광-적외선 결합 모드를 포함함- 와,
사용자가 선택한 프로세싱 모드에 대응하는 사용자 입력을 수신하는 단계와,
상기 사용자가 선택한 프로세싱 모드에 기초하여 상기 캡처된 가시광 이미지 및 상기 캡처된 적외선 이미지를 프로세싱하는 단계와,
상기 사용자가 선택한 프로세싱 모드에 기초하여 한 개 이상의 출력 이미지를 생성하는 단계와,
상기 사용자가 선택한 프로세싱 모드에 기초하여 상기 한 개 이상의 출력 이미지를 디스플레이하는 단계를 더 포함하는
방법.
제 15 항에 있어서,
상기 한 개 이상의 출력 이미지는 상기 사용자에 의해 상기 가시광 전용 모드가 선택될 때 가시광 전용 이미지를 포함하고,
상기 한 개 이상의 출력 이미지는 상기 사용자에 의해 상기 적외선 전용 모드가 선택될 때 적외선 전용 이미지를 포함하며,
상기 한 개 이상의 출력 이미지는 상기 사용자에 의해 상기 가시광-적외선 결합 모드가 선택될 때 가시광-적외선 결합 이미지를 포함하는
방법.
제 16 항에 있어서,
상기 가시광 이미지는 가시광 파장 스펙트럼으로부터의 컬러 정보 또는 흑백 정보를 포함하고,
상기 가시광-적외선 결합 이미지는 상기 캡처된 가시광 이미지와 상기 캡처된 적외선 이미지의 혼합된 휘도 부분을 포함하는
방법.
제 15 항에 있어서,
상기 사용자가 선택한 제어 파라미터를 나타내는 제어 신호를 생성하는 단계를 더 포함하되,
선택가능한 상기 제어 파라미터는 0(제로) 내지 1의 범위 안에 있는 값을 포함하고,
값 1은 상기 캡처된 가시광 이미지로부터만 상기 한 개 이상의 출력 이미지를 생성하는 데 사용되고,
값 0(제로)은 상기 캡처된 적외선 이미지로부터만 상기 한 개 이상의 출력 이미지를 생성하는 데 사용되고,
0(제로)과 1 사이의 값은 상기 캡처된 가시광 이미지와 상기 캡처된 적외선 이미지 양자의 비례 부분으로부터 상기 한 개 이상의 출력 이미지를 생성하는 데 사용되며,
상기 선택가능한 제어 파라미터는 상기 캡처된 가시광 이미지 및 상기 캡처된 적외선 이미지의 이득 값을 증가시키거나 감소시키도록 조정될 수 있는
방법.
삭제
제 14 항에 있어서,
상기 가시광 센서 데이터, 상기 적외선 센서 데이터, 및 상기 출력 이미지 데이터 중 한 개 이상을 저장하는 단계와,
복수의 선택가능한 프로세싱 모드를 제공하는 단계 -상기 복수의 선택가능한 프로세싱 모드는 야간 도킹 모드, 사람이 물에 빠진 상황 모드, 및 야간 크루즈 모드를 포함함- 와,
상기 선택가능한 프로세싱 모드 중 하나에 따라 상기 적외선 센서 데이터를 프로세싱하는 단계를 더 포함하는
방법.
제 14 항에 있어서,
상기 가시광 센서 데이터는 휘도 데이터 부분과 색차 데이터 부분을 포함하고, 상기 적외선 센서 데이터는 휘도 데이터 부분만을 포함하며, 상기 방법은 상기 가시광 센서 데이터로부터 상기 휘도 데이터 부분과 상기 색차 데이터 부분을 추출하는 단계와, 상기 적외선 센서 데이터로부터 상기 휘도 데이터 부분을 추출하는 단계와, 상기 휘도 부분들을 스케일링하는 단계와, 상기 휘도 부분들과 상기 색차 부분을 병합하여 상기 출력 이미지 데이터를 생성하는 단계를 더 포함하는
방법.
방법을 수행하기 위한 정보가 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은
가시광 센서 데이터를 획득하는 단계와,
적외선 센서 데이터를 획득하는 단계 -상기 적외선 센서 데이터는 적외선 파장 스펙트럼으로부터의 열 정보를 포함함- 와,
사용자가 선택한 제어 파라미터에 대응하는 사용자 입력을 수신하는 단계와,
상기 가시광 센서 데이터로부터 휘도 데이터 부분을 추출하는 단계와,
상기 적외선 센서 데이터로부터 휘도 데이터 부분을 추출하는 단계와,
상기 제어 파라미터에 기초하여 상기 휘도 데이터 부분들을 스케일링하는 단계와,
출력 이미지 데이터를 생성하기 위해 상기 스케일링된 휘도 데이터 부분들을 병합하는 단계와,
상기 출력 이미지 데이터에 기초하여 출력 이미지를 디스플레이하는 단계를 포함하되,
상기 가시광 센서 데이터는 가시광 파장 스펙트럼으로부터의 컬러 정보 또는 흑백 정보를 포함하고, 상기 적외선 센서 데이터는 상기 적외선 파장 스펙트럼으로부터의 열 정보를 포함하며, 상기 출력 이미지는 상기 가시광 센서 데이터의 일부를 상기 적외선 센서 데이터의 일부와 결합함으로써 생성되는
비일시적 컴퓨터 판독가능 매체.
삭제
제 22 항에 있어서,
상기 가시광 센서 데이터는 휘도 데이터 부분과 색차 데이터 부분을 포함하고, 상기 적외선 센서 데이터는 휘도 데이터 부분만을 포함하며, 상기 방법은 상기 가시광 센서 데이터로부터 상기 색차 데이터 부분을 추출하는 단계와, 상기 사용자가 선택한 프로세싱 모드에 기초하여 상기 스케일링된 휘도 데이터 부분들과 상기 색차 데이터 부분을 병합하여 상기 출력 이미지를 생성하는 단계를 더 포함하는
비일시적 컴퓨터 판독가능 매체.
가시광 이미지에 대응하는 가시광 센서 데이터를 수신하는 단계와,
적외선 파장 스펙트럼으로부터의 열 정보를 포함하는 적외선 이미지에 대응하는 적외선 센서 데이터를 수신하는 단계 -상기 가시광 이미지 및 상기 적외선 이미지는 복수의 픽셀을 포함함- 와,
제어 파라미터를 수신하는 단계와,
상기 제어 파라미터를 사용하여 제 1 양만큼 상기 가시광 센서 데이터의 휘도 데이터 부분을 스케일링하는 단계와,
상기 제어 파라미터를 사용하여 제 2 양만큼 상기 적외선 센서 데이터의 휘도 데이터 부분을 스케일링하는 단계와,
픽셀 단위로 상기 휘도 데이터 부분들 중 적어도 하나를 선택적으로 스케일링하는 단계와,
상기 스케일링된 휘도 데이터 부분들을 조합함으로써 출력 이미지 데이터를 생성하는 단계를 포함하는
방법.
제 25 항에 있어서,
상기 휘도 데이터 부분들 중 적어도 하나의 스케일링 전에 상기 수신된 제어 파라미터를 조정하는 단계를 더 포함하는
방법.
삭제
제 25 항에 있어서,
상기 선택적으로 스케일링하는 단계는
상기 가시광 센서 데이터의 각각의 픽셀과 연관된 컬러 측정치를 결정하는 단계와,
상기 픽셀과 연관된 상기 결정된 컬러 측정치에 기초하여 상기 가시광 센서 데이터의 각각의 픽셀의 휘도 데이터를 선택적으로 증가시키는 단계를 포함하는
방법.
제 28 항에 있어서,
상기 선택적으로 증가시키는 것은 임계치 초과의 컬러 측정치를 가진 각각의 픽셀에 대해 수행되는
방법.
제 28 항에 있어서,
상기 각각의 픽셀에 대한 선택적인 증가의 양은 상기 컬러 측정치에 비례하는
방법.
제 28 항에 있어서,
상기 휘도의 선택적인 증가와 상기 컬러 측정치는 비선형 관계를 가지는
방법.
제 25 항에 있어서,
상기 제어 파라미터는 사용자가 선택한 제어 파라미터이고,
상기 방법은
야간 도킹 모드(a night docking mode), 사람이 물에 빠진 상황 모드, 야간 크루즈 모드, 주간 크루즈 모드, 안개 낀 상황 모드 또는 해안선 모드 중 적어도 하나를 포함하는 복수의 선택가능한 프로세싱 모드 중 하나를 식별하는 제어 신호를 수신하는 단계와,
선택된 프로세싱 모드에 따라 상기 가시광 센서 데이터 및 상기 적외선 센서 데이터를 프로세싱하는 단계를 더 포함하는
방법.
제 25 항에 있어서,
상기 생성하는 단계는 상기 스케일링된 휘도 데이터 부분들과 상기 가시광 센서 데이터의 색차 데이터 부분을 병합하는 단계를 더 포함하되,
상기 방법은
상기 출력 이미지 데이터에 기초하여 출력 이미지를 디스플레이하는 단계를 더 포함하는
방법.
제 25 항의 방법을 수행하는 정보를 저장하는 비일시적 컴퓨터 판독가능 매체.
제 25 항의 방법을 수행하도록 구성된 프로세싱 구성요소를 포함하는 시스템.
가시광 이미지를 캡처하도록 구성된 가시광 센서와,
적외선 파장 스펙트럼으로부터의 열 정보를 포함하는 적외선 이미지를 캡처하도록 구성된 적외선 센서와,
사용자가 선택한 제어 파라미터에 대응하는 사용자 입력을 수신하도록 구성된 제어 구성요소와,
프로세싱 구성요소를 포함하되,
상기 프로세싱 구성요소는
상기 가시광 이미지에 대응하는 가시광 센서 데이터를 수신하고,
상기 적외선 이미지에 대응하는 적외선 센서 데이터를 수신 -상기 가시광 이미지 및 상기 적외선 이미지는 복수의 픽셀을 포함함- 하며,
상기 사용자가 선택한 제어 파라미터를 수신하고,
상기 제어 파라미터를 사용하여 제 1 양만큼 상기 가시광 센서 데이터의 휘도 데이터 부분을 스케일링하며,
상기 제어 파라미터를 사용하여 제 2 양만큼 상기 적외선 센서 데이터의 휘도 데이터 부분을 스케일링하고,
픽셀 단위로 상기 휘도 데이터 부분들 중 적어도 하나를 선택적으로 스케일링하고,
상기 스케일링된 휘도 데이터 부분들을 조합함으로써 출력 이미지 데이터를 생성하는 단계를 포함하는
시스템.
제 36 항에 있어서,
상기 프로세싱 구성요소는 상기 휘도 데이터 부분들 중 적어도 하나의 스케일링 전에 상기 수신된 제어 파라미터를 조정하도록 더 구성되는
시스템.
삭제
제 36 항에 있어서,
상기 프로세싱 구성요소는
상기 가시광 센서 데이터의 각각의 픽셀과 연관된 컬러 측정치를 결정하고,
상기 선택적인 스케일링을 수행하기 위해 상기 픽셀과 연관된 상기 결정된 컬러 측정치에 기초하여 상기 가시광 센서 데이터의 각각의 픽셀의 휘도 데이터를 선택적으로 증가시키도록 더 구성되는
시스템.
제 39 항에 있어서,
상기 프로세싱 구성요소는 임계치 초과의 컬러 측정치를 가진 상기 가시광 센서 데이터의 각각의 픽셀에 대해 상기 선택적인 증가를 수행하도록 더 구성되는
시스템.
제 39 항에 있어서,
상기 각각의 픽셀에 대한 선택적인 증가의 양은 상기 컬러 측정치에 비례하는
시스템.
제 39 항에 있어서,
상기 휘도의 선택적인 증가와 상기 컬러 측정치는 비선형 관계를 가지는
시스템.
제 36 항에 있어서,
상기 제어 파라미터는 사용자가 선택한 제어 파라미터이고,
상기 프로세싱 구성요소는
야간 도킹 모드, 사람이 물에 빠진 상황 모드, 야간 크루즈 모드, 주간 크루즈 모드, 안개 낀 상황 모드 또는 해안선 모드 중 적어도 하나를 포함하는 복수의 선택가능한 프로세싱 모드 중 하나를 식별하는 제어 신호를 수신하고,
선택된 프로세싱 모드에 따라 상기 가시광 센서 데이터 및 상기 적외선 센서 데이터를 프로세싱하도록 더 구성되는
시스템.
제 36 항에 있어서,
상기 프로세싱 구성요소는 상기 출력 이미지 데이터를 생성하기 위해 상기 스케일링된 휘도 데이터 부분들과 상기 가시광 센서 데이터의 색차 데이터 부분을 병합하도록 더 구성되고,
상기 시스템은 상기 출력 이미지 데이터에 기초하여 출력 이미지를 디스플레이하도록 구성된 디스플레이 구성요소를 더 포함하는
시스템.