KR20190063116A

KR20190063116A - 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템

Info

Publication number: KR20190063116A
Application number: KR1020170161965A
Authority: KR
Inventors: 김정웅
Original assignee: 주식회사 아이트릭스테크놀로지
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2019-06-07

Abstract

본 발명에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템은 다양한 영상 센서를 지원하는 다중센서 카메라 보드 및 카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 등 다양한 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크를 포함한다.

Description

극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템{SYSTEM OF LIGHTLESS CAMERA USING IMAGE PROCESSING TECHNOLOGY IN INFINITESIMAL LIGHT ASTRONOMICAL OBSERVATION}

본 발명은 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템으로서, 좀 더 구체적으로는, 다양한 영상 센서를 지원하는 다중센서 카메라 보드 및 카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 등 다양한 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크를 포함하는, 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템에 관한 것이다.

비접촉 영상측정 기술인 머신 비전 분야는 세계적으로 산업 자동화가 진행되면서 더불어 커지고 있다. 머신 비전은 제조업의 생산라인(반도체, 자동차, 식품음료, 의약품 등)에 적용되어 제품을 검사하는 장치로 불량품이 있는지, 라벨이 정확하게 부착되었는지 등의 여부를 사람이 육안으로 검사하는 대신 화상처리 기능을 이용하여 검사하는 기술이다.

이전까지 아날로그 기술의 한계로 산업화 되지 못했던 머신비전(Machine Vision) 기술은 1990년대부터 본격적으로 시장을 형성하기 시작하였으며, 이와 같은 머신비전은 기계에 인간의 능력을 부여한 것으로서 산업자동화의 가장 중요한 분야이다. 머신비전에서는 인간이 가진 인지 및 판단 기능을 하드웨어와 소프트웨어로 구성된 시스템이 대체하고 있다. 즉, 카메라, 영상 보드, 광학계(렌즈), 조명계, 영상처리 소프트웨어 등을 통해 특정 대상에 대한 검사와 측정이 수행되고 있다.

오늘날 머신비전은 단순한 측정뿐만 아니라 획득한 영상의 처리, 해석 및 판단까지 사용자의 목적에 맞게 다양하게 발전함에 따라 산업용 머신비전 이미징 솔루션은 다양한 분야에 사용되고 있다.

하지만, 머신비전으로는 수행할 수 없는 두께나 내외부의 지름, 물질의 폭을 측정하는 데 수많은 저가의 기계적 장비들이 이용되고 있으며, 그 성능 또한 입증된 상태이나 이 같은 장비들은 쉽게 재구성되거나 프로그래밍 되지 않을 뿐만 아니라 머신비전 시스템만큼 빠르지도 않은 문제점을 가지고 있었다.

즉, 본 발명에서는 이와 같이 종래의 머신 비전 기술이 수행할 수 없는 극미광의 극한 업무 또는 작업 환경에서도 영상을 획득하는 것이 가능하게 하는 기술에 착안하여 이루어졌다.

관련해서, 대한민국 공개특허 제10-2017-0128185호(2017.11.22 공개, 발명의 명칭 : 반도체 집적 회로, 전자 기기, 고체 촬상 장치, 촬상 장치)에 따르면, "본 발명의 반도체 집적 회로는, 아날로그 회로 및 상기 아날로그 회로로부터 출력된 아날로그의 출력 신호를 디지털 변환하는 디지털 회로 중의, 상기 아날로그 회로의 일부가 형성되는 제1 반도체 기판과, 상기 아날로그 회로의 잔부 및 상기 디지털 회로가 형성되는 제2 반도체 기판과, 상기 제1 반도체 기판과 상기 제2 반도체 기판을 접속하는 기판 접속부를 가지며, 상기 기판 접속부는, 상기 제1 반도체 기판의 상기 아날로그 회로의 일부에 의해 생성된 아날로그 신호를, 상기 제2 반도체 기판에 전송하는 기술"을 개시하고 있다.

종래 특허문헌에서는 관련 촬상 장치를 개시하고 있으나, 본 발명과 같이 무광원의 상태에서도 촬영이 가능한 촬상 장치 및 이를 이용한 머신 비전 기술에 대해서는 전혀 개시하지 않고 있으며, 이에 대한 문제 의식은 전혀 보이지 않는 실정이다.

대한민국 공개특허 제10-2017-0128185호(2017.11.22 공개, 발명의 명칭 : 반도체 집적 회로, 전자 기기, 고체 촬상 장치, 촬상 장치)

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명에서는 상술한 종래의 머신 비전 기술이 수행할 수 없는 극미광의 극한 업무 또는 작업 환경에서도 영상을 획득하는 것이 가능하게 하는, 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템을 제공하는 것을 그 목적으로 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템은, 복수 개의 영상 센서를 지원하는 다중 센서 카메라 보드; 및 카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 중 하나 이상의 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크;를 포함한다.

또한, 상기 소프트웨어 이미징 프레임워크는, 상기 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템을 위한 표준 구조를 구현하는 클래스와 라이브러리의 집합으로서, 재사용할 수 있는 복수 개의 코드를 프레임워크로 통합함으로써 다양한 응용시스템이 개발될 수 있는 구조적인 소프트웨어 환경을 구축한다.

또한, 상기 소프트웨어 이미징 프레임워크는, 카메라 제어 라이브러리, 모션제어 라이브러리, 조명제어 라이브러리, 광학분석 라이브러리, 영상처리 라이브러리, 이미징 라이브러리를 포함한다.

또한, 상기 카메라 제어 라이브러리는, 카메라의 노이즈, 노출 제어를 포함한 캘리브레이션 기능을 제공하며, 상기 모션 제어 라이브러리는, 모터의 캘리브레이션과 PID 제어를 포함한 정밀 제어를 위한 기능을 제공하며, 상기 조명제어 라이브러리는, 이미징 시스템의 가시광 조명이나 적외선 조명을 위한 캘리브레이션과 관련된 함수를 제공하며, 상기 광학분석 라이브러리는, 광학계 분석 및 광파면 분석 기능을 제공하며, 상기 영상처리 라이브러리는, 영상처리를 위한 노이즈 분석, 스무딩(smoothing), 샤프닝(sharpening), 에지 검출(edge detection), 특징 추출(feature detection)을 포함하여 통계 분석 함수를 제공하며, 상기 이미징 라이브러리는, 상기 카메라, 상기 모터의 모션, 상기 가시광 조명 또는 상기 적외선 조명을 제어하며 영상 촬영 기능을 수행하기 위한 기능을 제공한다.

또한, 상기 이미징 라이브러리는, 짧은 노출 영상을 조합하여 노이즈를 제거하고 명암대비를 높이기 위해 스페클 이미징을 사용하는 것이 바람직하다.

또한, 렌즈 그림자에 의한 영향, 조명 밝기의 불균일, CCD 각 소자 마다의 감도 차이로 인하여, 피사체를 촬영했음에도 불구하고 촬영한 영상의 휘도 값이 균일하지 않은 경우에, 촬영한 이미지의 밝기 값을 균일하게 보정하는 플랫 필드 보정 (Flat-Field Correftion)을 사용할 수 있다.

또한, 현실감 있는 영상을 만들기 위해 명암비를 향상시킬 수 있도록, 노출 시간을 다르게 주어 복수 장의 이미지를 촬영하고 상기 복수 장의 이미지들을 합성하여 밝은 부분부터 상대적으로 어두운 부분까지 보다 잘 보이도록 처리하는, 하이 다이내믹 레인지 (High Dynamic Range) 이미징 기술을 사용할 수 있다.

본 발명에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템에 의하면,

첫째, 다양한 영상 센서를 지원하는 다중센서 카메라 보드 및 카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 등 다양한 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크를 포함하는, 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템을 제공하는 것이 가능하다.

둘째, 무광원 작업 조건에서도 촬영하여 영상을 획득하는 것이 가능하다.

셋째, 도 2에 도시된 바와 같이, 이와 같은 무광원 카메라 시스템은 고해상도, 고정밀도의 기술이 요구되는 검안기, 및 비접촉식 바이오 분야, 예를 들어 혈액 검출 분야 등에서 사용 가능한 이미징 솔루션을 제공하는 것이 가능하다.

넷째, 극미광 관측천문용 영상처리를 이용한 무광원 카메라 시스템 개발을 통해 영상처리 임베디드 기술을 응용한 양산 머신비전 표준화 및 천문영상, 바이오 영상, 반도체 검사 등 다양한 분야에 적용하는 것이 가능하다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템의 예상 3D 이미지를 도시한 것이다.
도 2는 본 발명의 바람직한 실시예에 따른 극미광 관측천문용 영상 처리 기술을 이용한 무광원 카메라 시스템이 적용 가능한 응용분야인 검안기 및 혈액배양검사기를 도시한 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 바람직한 실시예에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템의 예상 3D 이미지를 도시한 것이다.

도 1에 도시된 바와 같이, 본 발명에 따른 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템은, 복수 개의 영상 센서를 지원하는 다중 센서 카메라 보드; 및 카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 중 하나 이상의 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크;를 포함한다.

극미광 관측천문용 영상처리를 이용한 무광원 카메라 시스템은 이미지 센서로부터 저조도 영상이 입력되면, 이미지 센서의 제조 과정에서 나타나는 각 픽셀의 물리적인 저항 및 커패시터 값의 편차로 인한 센서 픽셀의 광원 불안정성과 외충격 및 일부 불량에 의한 불감 픽셀에 대한 영상 보정과정을 거치게 된다. 이 영상 보정 데이터를 사용하여 저조도 영상이 아닌 경우, 바로 영상 노이즈 제거 후 영상을 출력하나, 저조도 영상의 경우는 설정한 저조도 레벨이 감지되면, 영상 강화 알고리즘을 통해서 선명도를 높이는 과정을 거친다.

스페클 이미징은 매우 짧은 시간(수십 ms)동안 노출을 준 여러 장의 이미지를 이용해 영상에 나타난 노이즈 등을 제거하여 상을 뚜렷하게 뽑아내는 기술이다. 스페클 이미징을 위해 얻어진 이미지들을 일정한 off-set 값을 주어 off-set 범위 내에서 두 이미지를 이동시켜 픽셀값을 비교하고 픽셀값의 차이가 가장 작은 지점을 찾아낸 후, 그 점을 기준으로 이미지들을 적재시킨다. 겹쳐진 이미지들의 모든 픽셀값을 평균하여 하나의 이미지로 저장하면 노이즈가 제거된 깨끗한 이미지를 얻을 수 있다. 비슷한 방법으로 럭키 이미징(Lucky imaging)이 있는데 이것은 아주 좋은 이미지 몇 장만을 골라 같은 방법으로 처리한다. 스페클 이미징은 천문학 분야에서 대기 효과를 제거하는데 사용하기 시작하는 기술이다.

다음으로, 플랫 필드 보정 (Flat-Field Correftion)을 사용하는 것이 가능하다. FFC (Flat Field Correction)는 촬영한 이미지의 밝기 값을 균일하게 보정하는 기능을 제공한다. 피사체를 촬영했음에도 불구하고 촬영한 영상의 휘도 값이 균일하지 않은 경우를 흔히 볼 수 있다. 이러한 문제의 원인은 렌즈 그림자에 의한 영향, 조명 밝기의 불균일, CCD 각 소자 마다의 감도 차이 등이 있다. FFC 기능을 이용하면 위 모든 원인을 보정하여 평탄한 영상을 얻을 수 있다.

이 외에도 카메라 자체의 노이즈를 제거하기 위해 바이어스 영상(bias image)과 암영상(dark image) 제거 기술을 사용하는 것도 가능하다. 바이어스 영상은 기본적으로 셔터를 닫은 상태에서 노출 시간을 주지 않은 상태에서 나타나는 노이즈 패턴이다. 각 픽셀은 약간 다른 값을 갖지만, 작은 양의 노이즈를 제외하고 어느 한 픽셀에서 이 값은 이미지별로 일관되게 동일하게 나타난다. 바이어스는 이미지마다 일정하기 때문에 감산하여 제거할 수 있다. 또한, 모든 영상 센서는 일정 양의 암전류(dark current)를 생산하며 촬영 중 픽셀에 축적된다. 암전류의 주요 문제는 매 픽셀에서 다른 비율로 축적되는 것입니다. 일부 픽셀은 핫이고 다른 것들은 콜드가 된다. 다행히도, 핫픽셀과 콜드픽셀은 다크 프레임 감산으로 쉽게 제거될 수 있다. 핫픽셀은 다르게 표현되는 것이고 콜드는 반응이 없는 것으로 생각하면 된다. 바이어스 영상과 암영상은 가장 쉽게 제거할 수 있는 노이즈 패턴을 제거하기 위한 방법이며, 플랫 필드는 상황에 따라 처리가 불가능한 경우도 있지만 이 두 가지의 기법은 항상 적용이 가능하다.

다음으로, HDR(High Dynamic Range) 이미징 기술을 사용하는 것도 가능하다. 하이 다이내믹 레인지 이미징은 노출 시간을 다르게 주어 여러 장의 이미지를 촬영하고 이 이미지들을 합성하여 밝은 부분부터 상대적으로 어두운 부분까지 잘 보이도록 처리하는 기술이다. 이미지 촬영 시 노출 시간이 짧으면 밝은 부분이, 노출 시간이 길면 어두운 부분이 더 잘 나타나는데 이를 이용하여 다양한 밝기의 이미지를 촬영하고 이를 합성하면 명암비를 향상시켜 보다 현실감 있는 영상을 만들 수 있다.

또한, 촬상 소자 자체에서, 어두운 배경 속에 존재하는 미광을 촬영하기 위해 고감도 촬상 장치를 사용하는 것도 가능하다.

도 2는 본 발명의 바람직한 실시예에 따른 극미광 관측천문용 영상 처리 기술을 이용한 무광원 카메라 시스템이 적용 가능한 응용분야인 검안기 및 혈액배양검사기를 도시한 것이다. 도 2에 도시된 바와 같이, 검안기 및 혈액배양 검사기에 적용하는 것이 기대된다.

이상, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

복수 개의 영상 센서를 지원하는 다중 센서 카메라 보드; 및
카메라 제어, 모션 제어, 조명 제어, 광학 분석, 영상 처리 중 하나 이상의 이미징 기술을 통합한 형태의 표준화 기술로서의 소프트웨어 이미징 프레임워크;를 포함하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 1 항에 있어서,
상기 소프트웨어 이미징 프레임워크는, 상기 극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템을 위한 표준 구조를 구현하는 클래스와 라이브러리의 집합으로서, 재사용할 수 있는 복수 개의 코드를 프레임워크로 통합함으로써 다양한 응용시스템이 개발될 수 있는 구조적인 소프트웨어 환경을 구축하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 2 항에 있어서,
상기 소프트웨어 이미징 프레임워크는, 카메라 제어 라이브러리, 모션제어 라이브러리, 조명제어 라이브러리, 광학분석 라이브러리, 영상처리 라이브러리, 이미징 라이브러리를 포함하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 3 항에 있어서,
상기 카메라 제어 라이브러리는, 카메라의 노이즈, 노출 제어를 포함한 캘리브레이션 기능을 제공하며,
상기 모션 제어 라이브러리는, 모터의 캘리브레이션과 PID 제어를 포함한 정밀 제어를 위한 기능을 제공하며,
상기 조명제어 라이브러리는, 이미징 시스템의 가시광 조명이나 적외선 조명을 위한 캘리브레이션과 관련된 함수를 제공하며,
상기 광학분석 라이브러리는, 광학계 분석 및 광파면 분석 기능을 제공하며,
상기 영상처리 라이브러리는, 영상처리를 위한 노이즈 분석, 스무딩(smoothing), 샤프닝(sharpening), 에지 검출(edge detection), 특징 추출(feature detection)을 포함하여 통계 분석 함수를 제공하며,
상기 이미징 라이브러리는, 상기 카메라, 상기 모터의 모션, 상기 가시광 조명 또는 상기 적외선 조명을 제어하며 영상 촬영 기능을 수행하기 위한 기능을 제공하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 4 항에 있어서,
상기 이미징 라이브러리는, 짧은 노출 영상을 조합하여 노이즈를 제거하고 명암대비를 높이기 위해 스페클 이미징을 사용하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 4 항에 있어서,
렌즈 그림자에 의한 영향, 조명 밝기의 불균일, CCD 각 소자 마다의 감도 차이로 인하여, 피사체를 촬영했음에도 불구하고 촬영한 영상의 휘도 값이 균일하지 않은 경우에, 촬영한 이미지의 밝기 값을 균일하게 보정하는, 플랫 필드 보정 (Flat-Field Correftion)을 사용하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.
제 4 항에 있어서,
현실감 있는 영상을 만들기 위해 명암비를 향상시킬 수 있도록, 노출 시간을 다르게 주어 복수 장의 이미지를 촬영하고 상기 복수 장의 이미지들을 합성하여 밝은 부분부터 상대적으로 어두운 부분까지 보다 잘 보이도록 처리하는, 하이 다이내믹 레인지 (High Dynamic Range) 이미징 기술을 사용하는,
극미광 관측천문용 영상처리 기술을 이용한 무광원 카메라 시스템.