KR101455071B1 - 디지털 합성을 이용한 야간 촬영 성능 개선방법 - Google Patents

디지털 합성을 이용한 야간 촬영 성능 개선방법 Download PDF

Info

Publication number
KR101455071B1
KR101455071B1 KR1020130111965A KR20130111965A KR101455071B1 KR 101455071 B1 KR101455071 B1 KR 101455071B1 KR 1020130111965 A KR1020130111965 A KR 1020130111965A KR 20130111965 A KR20130111965 A KR 20130111965A KR 101455071 B1 KR101455071 B1 KR 101455071B1
Authority
KR
South Korea
Prior art keywords
camera
image
low
thermal
illuminance
Prior art date
Application number
KR1020130111965A
Other languages
English (en)
Inventor
신현명
Original Assignee
주식회사 서울텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서울텍 filed Critical 주식회사 서울텍
Priority to KR1020130111965A priority Critical patent/KR101455071B1/ko
Application granted granted Critical
Publication of KR101455071B1 publication Critical patent/KR101455071B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

피사체의 인식이 어려운 야간에도 피사체의 윤곽선과 색상을 식별할 수 있게 하는 피사체에 대한 영상을 얻을 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법이 개시된다. 이를 위하여 저조도 카메라를 통해 촬영 대상 영역에 대한 광학식 영상을 수집하고, 열영상 카메라를 통해 열 영상을 획득하여 저장하는 단계와, 상기 광학식 영상과 열영상을 디지털 합성하여 하나의 출력영상을 구성하는 단계, 및 상기 출력영상을 저장하는 단계를 포함하는 야간 촬영 성능 개선방법를 제공한다. 본 발명에 따르면, 어두운 환경에서 별도의 조명 없이도 윤곽선과 색상이 뚜렷한 영상을 획득할 수 있다.

Description

디지털 합성을 이용한 야간 촬영 성능 개선방법{METHOD FOR ENHANCING NIGHT TIME IMAGE USING DIGITAL COMPOSITING}
본 발명은 디지털 합성을 이용한 야간 촬영 성능 개선방법에 관한 것으로, 보다 상세하게는 피사체의 인식이 어려운 야간에도 피사체의 윤곽선과 색상을 식별할 수 있게 하는 피사체에 대한 영상을 얻을 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법에 관한 것이다.
적외선 조명기를 사용하는 야간 촬영 카메라는 고배율을 제공하지만, 이러한 고배율은 자연히 순간 시야가 협소하게 나타난다.
상기 협소한 시야는 주어진 범위에서 설정 각도를 지난 조명기의 비임 분기는 유용한 영상을 생성하기에 불충분한 비임 세기를 수반하다는 사실로부터도 기인한다. 이러한 시야 한정은 특히 커버에 필요한 영역이 넓고 복잡할 때 또는 순간적인 야간 촬영 시야가 빈약한 정보내용을 가질 때, 이와 같은 야간 촬영용 카메라의 사용자가 자신을 야간 촬영 영역으로 지향시키는데 어렵게 한다.
이러한 한정을 극복하는데 사용되는 한 가지 방법은 현재 시야를 위치시키는데 도움을 주는 눈에 잘 띄는 표시물을 찾기 위하여, 관련 영역을 세밀하게 스캐닝하는 것이다. 야간 촬영 업무의 특성상, 이러한 검색 과정은 비상시에는 상당한 시간을 소모하기 때문에 일반적으로는 실질적이지 못하다.
일부의 야간 촬영 시스템은 레이저 적외선 조명기를 사용한다. 이러한 시스템의 대부분은 지배적 소음 메카니즘으로 간주되는 주변의 후방산란을 극복하기 위해 게이트형 영상기법을 사용한다. 상기 게이트형 영상기법을 사용하면 고가의 영상기와 이러한 영상기를 갖는 레이저 펄스의 복잡한 동기화를 요구하게 된다. 또한, 야간 촬영 시스템에 기초한 게이트형 영상은 영상기의 시야에서 강력한 광원으로 인해 포화되기 쉽다.
종래의 레이저 조명기를 이용한 야간 촬영 시스템의 사용은 눈에 관한 안전상의 문제점을 유발시키며, 그 적용에 따라 야간 촬영 시스템이 있는 지역에 레이저 안전요원이 있을 것이 요망된다.
또 다른 야간 촬영 시스템은 투사된 광원을 픽업하도록 설치된 카메라를 갖는 LED 전구에 의해 발생되는 능동형 적외선 조명을 사용한다. 이러한 시스템은 단지 짧은 범위에서만 유용한 영상을 제공할 뿐이며, 상기 전구는 상대적으로 수명이 짧고, 시스템에 유지보수 비용 및 작동비용을 부가하게 된다. 또한, 이러한 시스템은 영상기의 시야에서 강렬한 광원으로 인해 포화되기 쉽다.
또 다른 야간 촬영 시스템은 민감한 CCD 카메라에 의해 픽업된 주변 광(예를 들어 별빛 및 달빛)에 의존하는 강화된 CCD(ICCD) 구성을 사용한다. 이러한 시스템은 흐리거나 달빛이 있는 환경에서 칼라 영상의 촬영은 가능하나, 촬영된 영상의 윤곽선이 불분명하여 방송용 및 보안용으로는 사용하기 어렵다는 문제점이 있다.
가장 통상적인 야간 촬영 시스템은 물체의 열이 제품의 영상을 발생하는데 사용되는 열 영상에 기초하고 있다. 이는, 작동자 트레이닝에 의해 최종 영상이 검출을 위해 사용될 수 있지만 진정한 식별은 아닌데, 그 이유는 문자와 약간의 영상 세부항목이 투시될 수 없기 때문이다. 또한, 냉각되지 않은 열영상 촬영 시스템은 짧은 범위를 가지며, 냉각된 열영상 촬영 시스템은 긴 범위를 갖지만 매우 값비싸다. 마지막으로, 열영상 촬영 시스템에 줌인(zoomin) 능력을 부가하면 특수 렌즈를 사용해야 되므로 시설 비용이 비싸지며, 이러한 사실로 인해 많은 열영상 촬영 시스템은 촛점거리가 고정될 수 밖에 없는 문제가 있다.
한편, 디지털 합성기술에서 키는 배경화면 위에 다른 화면을 덮어 올리 때 쓰는 효과로써, 화면합성에 쓰이며 덮어 올라갈 부분과 배경화면이 보이게끔 제거될 부분을 분리해 내는 효과이다.
예를 들어 모나리자 사진위에 꽃이 포함된 그림이 그려져 있는 같은 크기의 투명비닐이 있다고 가정했을 때 비닐의 꽃을 제외한 다른 부분을 지워냈다면, 모나리자 사진위에 꽃만 보이는 것과 같은 효과가 나타난다. 이러한 키에는 루미넌스키, 코로미넌스키, 매트 키 등이 있다.
상기 루미넌스키(luminance key) 모든 색은 각각의 휘도값을 갖고 있다. 이러한 휘도값의 차이를 이용해 휘도 값의 커트라인(cutline)을 조정함으로써 커트라인 미만 값은 제거해내고 그 이상 값은 화면에 남겨, 남겨진 부분화면만이 다른 배경화면 위에 합성돼 보이는 효과이다.
상기 크로미넌스키(chrominance key) 색상의 차이를 이용하는 키로 조정된 임의 색상을 제거해 필요한 화면부분을 얻어내는 효과. 일반적으로 푸른(blue)색 배경에 인물 및 사물을 두고 촬영한 장면에서 푸른 배경색만을 제거해 남은 부분의 소스를 다른 화면과 합성, 처리해 만든다.
상기 매트키(matte key)는 키 작업을 하게되면 화면중 남는 부분과 제거되는 부분이 생기는데 이를 키홀(key hole)이라 부르며, 이렇게 별도로 키홀만을 만든(Black과 White만으로)화면을 배경화면 위에 얹고 홀안에 다른 비디오 화면을 채워 넣는 것을 말한다.
대한민국 공개특허 제10-2011-0114096호(2011.10.19 공개) 대한민국 공개특허 제10-2007-0106709호(2007.11.05 공개) 대한민국 등록특허 제10-0623835호(2006.09.19 공고)
따라서, 본 발명의 목적은 광학식 영상 데이터와 열영상 데이터의 매핑을 통해 저조도 환경에서도 윤곽선이 뚜렷한 칼라 영상을 생성할 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법을 제공하는데 있다.
상술한 본 발명의 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 저조도 카메라를 통해 촬영 대상 영역에 대한 광학식 영상을 수집하고, 열영상 카메라를 통해 열 영상을 획득하여 저장하는 단계와, 상기 광학식 영상과 열영상을 디지털 합성하여 하나의 출력영상을 구성하는 단계, 및 상기 출력영상을 저장하는 단계를 포함하는 야간 촬영 성능 개선방법을 제공한다.
본 발명에 의한 야간 촬영 성능 개선방법은 저조도 카메라에 의해 생성된 광학식 영상 데이터와 열영상 카메라로에 의해 생성된 열영상 데이터의 매핑을 이용하여 윤곽선과 색상이 뚜렷한 영상을 획득할 수 있다.
또한, 본 발명은 야간에도 실시간으로 영상정보를 획득하고 이를 토대로 운용자가 정밀하게 촬영 대상 영역을 감시할 수 있게 해주며, 별도의 조명이 불필요하기 때문에 야간에 설치 여부가 쉽게 노출되지 않는다.
아울러, 본 발명은 열영상 데이터를 기반으로 사용하기 때문에 사람의 시야로 촬영 대상의 위치를 확인하기 어려운 환경에서도 촬영 대상의 위치를 쉽게 확인할 수 있으며, 주변상황을 간편히 인식할 수 있다.
도 1은 본 발명에 따른 야간 촬영 성능 개선방법의 일 실시예를 나타내는 순서도이다.
도 2는 본 발명에 따른 야간 촬영용 카메라 시스템을 설명하기 위한 구성도이다.
도 3은 본 발명에 따른 야간 촬영 성능 개선방법의 다른 실시예를 나타내는 순서도이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예들에 의한 디지털 합성을 이용한 야간 촬영 성능 개선방법(이하, '야간 촬영 성능 개선방법'이라 약칭함)을 상세하게 설명한다.
도 1은 본 발명에 따른 야간 촬영 성능 개선방법의 일 실시예를 나타내는 순서도이다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 광학식 영상과 열 영상을 획득하는 영상획득 단계(S100)와, 상기 광학식 영상과 열 영상을 디지털 합성기술로 합성하여 하나의 출력영상을 구성하는 출력영상 생성단계(S200), 및 상기 출력영상을 저장하는 출력영상 저장단계(S300)를 포함한다. 여기서, 광학식 영상이란 집광렌즈에 의해 집광된 가시광선 또는 근적외선 영역의 빛을 통상의 이미지 센서로 촬상한 영상을 의미한다.
이하, 도면을 참조하여 각 구성요소별로 보다 구체적으로 설명한다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 영상획득 단계(S100)를 포함한다.
상기 영상획득 단계(S100)는 저조도 카메라(100)를 통해 촬영 대상 영역을 촬상하여 상기 촬영 대상 영역에 대한 광학식 영상 데이터를 수집하고, 열영상 카메라(200)를 통해 촬영 대상 영역을 촬상하여 촬영 대상 영역에 대한 열 영상 데이터를 획득하여 저장하는 단계이다.
본 단계(S100)에서는 저조도 카메라(100)가 광학식 영상 데이터를 소정의 압축 방식으로 압축하고, 유무선 네트워크로 연결된 영상처리장치에 압축된 광학식 영상 데이터를 송신한다. 마찬가지로, 열영상 카메라(200)도 열 영상 데이터를 소정의 압축방식으로 압축하고, 유무선 네트워크로 연결된 영상촬영장치에 압축된 열 영상 데이터를 송신한다. 이때, 영상촬영장치에서는 수신한 영상 데이터를 저장부에 저장한다.
여기서, 소정의 압축 방식으로는 MPEG-4(Moving Picture Experts Group Phase 4) 방식, H.264 방식 또는 JPEG 2000(Joint Photographic Experts Group 2000) 방식 등의 압축 방식을 사용할 수 있다.
상기 저조도 카메라(100)는 1 내지 0.01 lux 의 조도환경에서도 칼라 영상의 촬영이 가능한 카메라로, 이러한 목적을 달성할 수 있다면 어떠한 디지털 카메라를 사용하여도 무방하지만, 전자증배형 CCD(EM-CCD)를 탑재한 디지털 카메라(예를 들면, Flovel사의 EM-120H)를 사용하는 것이 바람직하다. 이러한 저조도 카메라(100)는 당업계에 공지된 구성이므로, 보다 구체적인 설명은 생략한다.
상기 열영상 카메라(200)는 촬영 대상 영역 내에 있는 피사체들간의 온도 차이를 감지하여 전기적 신호로 변환함으로써, 복사 에너지에 의하여 피사체들을 시각화하기 위한 열영상 데이터를 출력하는 카메라이다.
상기 영상처리장치는 도 2에 도시된 바와 같이 저조도 카메라(100)와 열영상 카메라(200)에 무선이나 데이터케이블 등을 통해 유선으로 연결된 것으로, 제어부(310)와 저장부(320) 및 영상출력부(330)를 포함하여 구성된다.
필요에 따라, 상기 영상처리장치는 입력부(미도시)를 더 포함할 수 있다. 이러한 입력부는 키보드, 마우스, 조이스틱, 터치스크린 중 어느 하나 이상을 포함하며, 사용자가 시스템을 조작하고 제어명령을 입력할 수 있게 해준다.
도 3은 본 발명에 따른 야간 촬영 성능 개선방법의 다른 실시예를 나타내는 순서도이다.
도 3을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 촬영대상 크기 조절단계(S50)를 더 포함할 수 있다.
상기 촬영대상 크기 조절단계(S50) 상기 영상획득 단계(S100) 이전에 수행되는 단계로, 저조도 카메라(100)와 열영상 카메라(200)를 통해 관측되는 촬영 대상의 크기를 일치시키기 위해 저조도 카메라(100)와 열영상 카메라(200)의 전방시야각을 일치시키는 과정을 수행한다.
이때, 전방시야각은 저조도 카메라(100)와 열영상 카메라(200) 중 어느 하나에 다른 하나를 맞추어 일치시킬 수도 있으나, 촬영 대상과의 거리를 기준으로 저조도 카메라(100)와 열영상 카메라(200)의 전방시야각을 모두 조절할 수도 있다.
이러한 촬영대상 크기 조절단계(S50)는 레이저 거리 측정기(400)로 촬영 대상 영역에 레이저를 조사하여 촬영 대상의 거리 값을 산출하는 과정과, 상기 거리 값에 따라 전방시야각을 일치시키기 위해 제어부(310)가 저조도 카메라(100)와 열영상 카메라(200)의 위치 값과 팬-틸트(pan-tilt) 값을 산출하는 과정, 및 상기 제어부(310)가 위치 값에 따라 저조도 카메라(100)와 열영상 카메라(200)에 설치된 위치 이동장치(600)를 제어하고, 팬-틸트 값에 따라 저조도 카메라(100)와 열영상 카메라(200)에 설치된 팬-틸트 구동장치(500)를 제어하는 과정으로 구성될 수 있다.
보다 구체적으로, 저조도 카메라(100)에 장착된 렌즈의 특성을 카메라 캘리브레이션 기법을 통해 알아내고, 상기 카메라 캘리브레이션은 Tsai 등이 제안한 알고리즘을 사용하여 카메라의 관측 특성 파라미터를 추출하며, 상기 추출되는 파라미터 중에 가장 중요한 파라미터로 렌즈의 초점거리 및 회전(rotation) 및 평행이동(translation) 파라미터를 알아낸다.
그리고 적외선 열영상 카메라(200)의 경우에는 제조회사에서 제공하는 렌즈 사양 및 시야각(Field Of View : FOV) 사양을 이용한다. 이러한 열영상 카메라(200)의 관측 전방시야각을 저조도 카메라(100)의 관측 관측전방시야각으로 변환을 하여 두 카메라의 전방시야각을 매칭시킨다.
예를 들면, 열영상 카메라(200)에 장착된 25㎜의 적외선렌즈와 저조도 카메라(100)에 장착된 25㎜ 렌즈의 전방시야각은 다르다. 이는, 적외선 열영상센서와 칼라 CCD 센서의 크기가 다르기 때문이다.
보다 구체적으로, 25㎜ 렌즈를 장착한 열영상 카메라(200)의 경우, 센서크기가 320×240 픽셀(pixels)이고, 한 픽셀의 크기가 48.5㎛×48.5㎛ 이므로, 센서의 실제크기는 15.52×11.64㎜이다. 이에 비해, 저조도 카메라(100)의 센서크기가 768×494 픽셀인 경우, 한 픽셀의 크기가 8.4㎛×9.8㎛ 이므로, 칼라 CCD 센서의 실제 크기는 6.45×4.84㎜이다.
이를 FOV로 환산하면 열영상 카메라(200)의 관측 FOV는 34.5×26.2°이고 동일한 25㎜렌즈를 장착한 저조도 카메라(100)의 FOV는 14.7×11.1°로 큰 차이가 난다. 따라서 두 카메라에서 관측되는 물체의 크기를 맞추기 위해서는 두 카메라의 FOV를 저조도 카메라(100)의 FOV로 맞추든지 열영상 카메라(200)의 FOV로 맞추던지 하나로 통일시킨다.
상기 팬-틸트 구동장치(500)는 저조도 카메라(100)와 열영상 카메라(200)에 각각 구비되어 카메라를 고정시키는 것으로, 제어부(310)의 제어에 따라 상기 저조도 카메라(100)와 열영상 카메라(200)를 각각 좌우 방향 또는 상하 방향으로 회전할 수 있도록 지원하는 구성이다.
상기 위치 이동장치(600)는 저조도 카메라(100)와 열영상 카메라(200)에 각각 구비되어 각 카메라와 촬영 대상 영역의 거리가 조절되도록 저조도 카메라(100)와 열영상 카메라(200)를 이동시키는 구성한다.
상기 영상처리장치의 제어부(310)는 사용자의 선택에 따라 촬영 대상 영역의 열영상 데이터 및 광학식 영상 데이터를 획득하도록 열영상 카메라(200)와 저조도 카메라(100)를 제어하는 한편, 팬-틸트 구동장치(500)와 위치 이동장치(600)를 제어하여 열영상 카메라(200)와 저조도 카메라(100)가 특정 방향을 바라보도록 배치시키는 기능을 제공한다.
보다 구체적으로, 제어부(310)는 입력부를 통해 입력된 제어명령에 응답하여 팬/틸트 구동을 제어하기 위한 제어신호를 팬-틸트 구동장치(500)로 송신한다. 여기서 팬/틸트 구동은 프로그램에 의하여 일정한 패턴으로, 또는 영상 내에서의 피사체 또는 피사체 움직임 검출 결과에 따라 자동적으로 이루어질 수도 있다.
필요에 따라, 상기 제어부(310)는 레이저 거리 측정기(400)로부터 측정된 거리 값에 따라 저조도 카메라(100)의 위치 값과 팬-틸트 값이 미리 지정된 저장부(320)로부터 위치 값과 팬-틸트 값을 추출하여 팬-틸트 구동장치(500)와 위치 이동장치(600)를 제어하도록 구성될 수 있다. 이를 위해, 저장부(320)에는 상기 거리 값과 위치 값 및 팬-틸트 값 간의 대응관계를 나타내는 룩업테이블이 저장될 수 있다. 다시 말해, 제어부(310)는 룩업테이블을 참조하여 카메라의 위치 및 지시 방향을 제어한다.
상기 영상출력부(330)는 제어부(310)를 통해 생성된 출력영상을 출력하는 구성이다. 이를 위하여 상기 영상출력부(330)는 상기 제어부(310)와 유선으로 연결될 수 있다.
도 1 및 도 2를 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 출력영상 구성단계(S200)를 포함한다.
이러한 출력영상 구성단계(S200)는 제어부(310)가 광학식 영상 데이터와 열영상 데이터를 매핑시켜 하나의 출력영상을 구성하는 단계로, 매칭 데이터 추출과정(S210)과 디지털 합성과정(S220)으로 구성될 수 있다.
상기 매칭 데이터 추출과정(S210)에서는 광학식 영상 데이터로부터 촬영 대상에 대한 색상 데이터를 추출하고, 열 영상 데이터로부터 촬영 대상에 대한 윤곽선 데이터를 추출한다.
상기 디지털 합성과정(S220)에서는 상기 매칭 데이터 추출과정을 통해 추출된 색상 데이터와 상기 윤곽선 데이터를 매트키 방식 등을 통해 디지털 합성하여 하나의 출력영상을 구성한다.
예를 들면, 일반적으로 디지털 합성에서 색상 B인 배경 앞에, 색상이 F이고, α매트를 가지는 임의의 물체가 놓여질 때, 결과로 나타나는 색상 C는 [수학식 1]과 같이 매트 방정식으로 나타난다.
[수학식 1]
C = F+(1-α)B
여기서, 각각의 매트나 알파는 놓여진 물체에 의한 픽셀의 상태와 투명도를 나타낸다.
그러므로, 일반적인 합성에 있어서 각 요소의 색상은 다른 몇몇 요소들의 집합체로 나타내어 질 수 있다. 즉 물체는 발광하는 요소를 가질 수 있고, 광원으로부터 들어온 빛을 일부 반사하거나, 주변 다른 부분에서의 환경으로부터 온 빛을 통과시키거나 추가적으로 굴절시킨다고 볼 수 있다.
그래서, 놓여진 물체에 의해 주위 환경의 빛이 어떻게 굴절되고 반사되는지를 고려한 environment 매트 기법을 도입하여 다음의 [수학식 2]와 같이 environment 등식으로 확장한다.
[수학시 2]
C=F+(1-α)b+Φ
여기서, Φ는 전치된 물체를 통해 굴절되거나 반사된 주변 환경의 빛들의 기여도를 나타낸다.
이때, 주위환경을 모든 방향 ω로부터 들어오는 빛 E(ω)라고 정의하고, 주어진 픽셀에 의해 보여지는 놓여진 물체의 부분 f에 발광되는 빛의 총합 Φ는 픽셀 포인트 p에 기여하는 주위환경으로부터 f를 통해 들어오는 모든 빛을 적분하여 표현할 수 있고, 그것은 또 어떤 반사율 함숙R(ω→p)에 의해 감소되어 지며, 다음과 같은 [수학식 3]으로 나타낼 수 있다.
[수학식 3]
Φ=∬R(ω→p)E(ω)dωdp
또한, 상기 감소함수 R(ω→p)는 모든 흡수와 분산의 효과를 포함하며, Φ, R, 그리고 E는 모두 빛의 파장에 종속적임을 알 수 있다.
상기 반사율 함수 E는 사실상 주어진 픽셀의 영역을 관통하는 상수이므로 픽셀 내에서의 위치와는 독립적인 새로운 함수 R(ω)를 사용하여 다음의 [수학식 4]와 같이 식을 간단히 할 수 있다.
[수학식 4]
Φ=∫R(ω)E(ω)dω
또한, 여기서 주위환경의 각기 다른 일부분으로부터 이루어진 텍스쳐를 나타내는, m의 집합으로 구성된 텍스쳐 맵 Ti(x)를 사용하여 적분을 간단히 하면 다음의 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
Figure 112013085253179-pat00001
여기서, 식을 간소화하기 위해서 텍스쳐 맵 Ti로부터의 기여도는, 축에 정렬된 사각형 영역 Ai로부터 총 빛의 양의 어떤 상수 Ki배로 근사할 수 있다는 가정을 한다.
가장 표준적인 텍스쳐-매핑 기법은 사실상 축에 정렬된 텍스쳐 영역의 평균값으로 계산한다. 그러므로 Ri=KiAi 로 둘 수 있으므로, 다음의 [수학식 6]과 같이 나타낼 수 있다.
[수학식 6]
Figure 112013085253179-pat00002
이로부터, 최종적으로 구한 environment 매트 등식은 다음의 수학식 [수학식 7]과 같다.
[수학식 7]
Figure 112013085253179-pat00003
도 1 및 도 2를 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 출력영상 저장단계(S300)를 포함한다.
상기 출력영상 저장단계(S300)는 상기 출력영상 구성단계(S200)를 통해 생성된 출력영상을 제어부(310)가 저장부(320)에 저장하는 단계로, 사용자의 선택에 따라 실시간으로 출력영상을 영상출력부(330)를 통해 출력할 수도 있다.
이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 저조도 카메라 200 : 열영상 카메라
310 : 제어부 320 : 저장부
330 : 영상출력부 400 : 레이저 거리 측정기
500 : 팬-틸트 구동장치 600 : 위치 이동장치

Claims (5)

  1. 저조도 카메라와 열 영상 카메라 중 어느 하나에 다른 하나를 맞추어 전방시야각을 일치시키거나, 촬영 대상과의 거리를 기준으로 저조도 카메라와 열 영상 카메라의 전방시야각을 모두 조절하여 일치시키는 촬영대상 크기 조절단계;
    1 내지 0.2 lux의 환경에서 컬러 영상의 촬영이 가능하도록 전자증배형 CCD를 탑재한 저조도 카메라를 통해 촬영 대상 영역에 대한 야간의 광학식 영상을 수집하고, 열 영상 카메라를 통해 열 영상을 획득하여 저장하는 영상획득 단계;
    상기 광학식 영상으로부터 촬영 대상에 대한 색상 데이터를 추출하고, 상기 열 영상으로부터 촬영 대상에 대한 윤곽선 데이터를 추출하는 매칭 데이터 추출과정, 및 상기 색상 데이터와 상기 윤곽선 데이터를 디지털 합성하여 하나의 출력영상을 구성하는 디지털 합성과정으로 이루어진 출력영상 구성단계; 및
    상기 출력영상을 저장하는 출력영상 저장단계를 포함하는 야간 촬영 성능 개선방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 촬영대상 크기 조절단계는
    레이저 거리 측정기로 촬영 대상 영역에 레이저를 조사하여 촬영 대상의 거리 값을 산출하는 과정과,
    상기 거리 값에 따라 전방시야각을 일치시키기 위해 제어부가 저조도 카메라와 열 영상 카메라의 위치 값과 팬-틸트 값을 산출하는 과정, 및
    상기 제어부가 위치 값에 따라 저조도 카메라와 열 영상 카메라에 설치된 위치 이동장치을 제어하고, 팬-틸트 값에 따라 저조도 카메라와 열 영상 카메라에 설치된 팬-틸트 구동장치를 제어하는 과정으로 구성된 것을 특징으로 하는 야간 촬영 성능 개선방법.
KR1020130111965A 2013-09-17 2013-09-17 디지털 합성을 이용한 야간 촬영 성능 개선방법 KR101455071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130111965A KR101455071B1 (ko) 2013-09-17 2013-09-17 디지털 합성을 이용한 야간 촬영 성능 개선방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130111965A KR101455071B1 (ko) 2013-09-17 2013-09-17 디지털 합성을 이용한 야간 촬영 성능 개선방법

Publications (1)

Publication Number Publication Date
KR101455071B1 true KR101455071B1 (ko) 2014-10-30

Family

ID=51998814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130111965A KR101455071B1 (ko) 2013-09-17 2013-09-17 디지털 합성을 이용한 야간 촬영 성능 개선방법

Country Status (1)

Country Link
KR (1) KR101455071B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129168A (ko) 2015-04-29 2016-11-09 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법
KR101823029B1 (ko) * 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
KR101934815B1 (ko) * 2018-08-23 2019-01-03 (주)큐브이미징시스템즈 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템
KR102152072B1 (ko) 2019-09-27 2020-09-04 조소정 실영상카메라와 열영상카메라를 일체형으로 한 객체 감지 시스템
CN111741281A (zh) * 2020-06-30 2020-10-02 Oppo广东移动通信有限公司 图像处理方法、终端及存储介质
KR20230071364A (ko) 2021-11-16 2023-05-23 주식회사 현대케피코 객체 검출 및 온도 감지 장치과 이를 이용한 객체 검출 및 온도 감지 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201549A (ja) 2006-01-23 2007-08-09 Optrex Corp 画像表示装置及び画像処理方法
KR20100034086A (ko) * 2008-09-23 2010-04-01 한국표준과학연구원 열화상 인식을 이용한 전력설비 열화 측정장치 및 방법
KR20120109057A (ko) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR20130032578A (ko) * 2011-09-23 2013-04-02 현대자동차주식회사 열화상카메라를 이용한 영상획득 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201549A (ja) 2006-01-23 2007-08-09 Optrex Corp 画像表示装置及び画像処理方法
KR20100034086A (ko) * 2008-09-23 2010-04-01 한국표준과학연구원 열화상 인식을 이용한 전력설비 열화 측정장치 및 방법
KR20120109057A (ko) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR20130032578A (ko) * 2011-09-23 2013-04-02 현대자동차주식회사 열화상카메라를 이용한 영상획득 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129168A (ko) 2015-04-29 2016-11-09 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법
KR101823029B1 (ko) * 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
KR101934815B1 (ko) * 2018-08-23 2019-01-03 (주)큐브이미징시스템즈 열영상 카메라와 가시광 카메라를 이용한 다기능 출력 시스템
KR102152072B1 (ko) 2019-09-27 2020-09-04 조소정 실영상카메라와 열영상카메라를 일체형으로 한 객체 감지 시스템
CN111741281A (zh) * 2020-06-30 2020-10-02 Oppo广东移动通信有限公司 图像处理方法、终端及存储介质
KR20230071364A (ko) 2021-11-16 2023-05-23 주식회사 현대케피코 객체 검출 및 온도 감지 장치과 이를 이용한 객체 검출 및 온도 감지 방법

Similar Documents

Publication Publication Date Title
KR101455071B1 (ko) 디지털 합성을 이용한 야간 촬영 성능 개선방법
EP2921995B1 (en) Visible light image with edge marking for enhancing ir imagery
US20060238617A1 (en) Systems and methods for night time surveillance
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
JP5178553B2 (ja) 撮像装置
KR20130086066A (ko) 화상 입력 장치 및 화상 처리 장치
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
US9196056B2 (en) Electro-optical system and method for analyzing images of a scene to identify the presence of a target color
CN110365878A (zh) 一种摄像装置和方法
US10078888B2 (en) Through-focus image combination
KR20160129168A (ko) 디지털 합성을 이용한 야간 촬영 성능 개선방법
JP5514605B2 (ja) 撮像装置および監視装置
KR100958352B1 (ko) 감시카메라 시스템을 통한 감시 방법
JP2004229034A (ja) 赤外線照明内蔵型デイナイトカメラ
KR20180041494A (ko) 멀티 카메라
CN110264529A (zh) 二维标定板、三维标定体、相机***及相机标定方法、标定支撑架
JP2024030668A (ja) 照明システムおよび撮影システム
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
US20220070435A1 (en) Non-same camera based image processing apparatus
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
CN115150545B (zh) 获取三维测量点的测量***
JP2019134210A (ja) 撮像装置およびその制御方法
JP2004350192A (ja) ディジタル・カメラおよびその制御方法
US20240056656A1 (en) Digital remote optical device, method of operating a digital remote optical device and camera system
JP2023175404A (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee