KR20220040431A - 기준 발광체를 이용한 화이트 밸런스 - Google Patents

Abstract

알려진 반사 스펙트럼이 없는 상태에서 고충실도 색 재현을 달성하기 위한 컴퓨터 프로그램 및 연관된 컴퓨터 구현 기술이 본 명세서에 소개된다. 즉, 그레이 카드 및 컬러 체커와 같은 휴대용 기준 없이 고충실도 색 재현이 달성될 수 있다. 이를 달성하기 위해, 새로운 기준 스펙트럼("기준 발광체 스펙트럼(reference illuminant spectrum)")이 이미지 센서에 의해 이미지화되는 장면에 도입된다. 기준 발광체 스펙트럼은 스펙트럼 속성이 알려진 다중 채널 광원에 의해 생성된다.

Description

기준 발광체를 이용한 화이트 밸런스

관련 기술에 대한 교차 참조

본 출원은 전체가 본 명세서에 참조에 의해 편입되는 명칭이 "High Fidelity Color Technologies"이고 2019년 3월 13일 출원된 미국 임시 출원 No. 62/818,055에 대한 우선권을 주장한다.

기술분야

다양한 실시예가 디지털 이미지에서 픽셀의 색상 값을 보정함으로써 고충실도(high-fidelity) 색 재현을 달성하기 위한 컴퓨터 프로그램 및 연관된 컴퓨터 구현 기술에 관련된다.

발광체(illuminant)는 켈빈도(degree Kelvin)(K)로 측정된 색 온도를 특징으로 할 수 있다. 발광체의 색 온도는 가열된 흑체로부터 방출된 광의 색상이 발광체의 색상과 일치되는 온도이다. 형광등 및 발광 다이오드(LED)와 같은 흑체를 실질적으로 모방하지 않는 발광체에 대하여, 가열된 흑체로부터 방출된 광의 색상이 발광체의 색상에 근사하는 온도는 상관 색 온도(correlated color temperature(CCT))라 한다.

이상적으로, 디지털 이미지 내의 장면은 동일한 색 온도를 갖는 하나 이상의 발광체에 의해 조명될 것이다. 그러나, 이것은 드물게 발생한다. 대신에, 장면은 보통 서로 다른 색 온도를 갖는 다수의 발광체에 의해 조명된다 - "혼합 조명(mixed lighting)"이라고 하는 시나리오. 예를 들어, 실내 장면은 고가(overhead) 조명 요소, 창을 통해 들어오는 간접 태양광 등에 의해 조명될 수 있다. 또한, 이러한 시나리오는 서로 다른 색 온도를 갖는 서로 다른 조명 조건으로 인하여 발생할 수 있다. 예를 들어, 실외 장면의 한 쌍의 디지털 이미지가 단 몇 순간 간격으로 생성될 수 있지만, 그 사이에 태양이 가려지면 색 온도는 달라질 것이다.

화이트 밸런싱은 색 온도를 중립으로 되돌리는 시도에서 디지털 이미지가 밸런싱되는 프로세스이다. 개략적으로, 화이트 밸런스는 비현실적인 컬러 캐스트(color cast)를 제거하여 흰색 물체를 볼 때 인간의 눈이 하는 일을 모방한다. 이것은 인간의 눈에 흰색으로 보이는 디지털 이미지 내의 객체가 이러한 디지털 이미지에서 흰색으로 렌더링되도록 수행된다.

본 특허 또는 출원은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면을 갖는 본 특허 또는 출원 공보의 사본이 요청 및 필요한 수수료의 납부에 따라 관청에 의해 제공될 것이다.
도 1a는 서로 다른 색을 생성하도록 구성된 다중 색상 채널을 포함하는 다중 채널 광원의 상면도를 도시한다.
도 1b는 일부 실시예에서 발광체가 하우징 내에 어떻게 상주할 수 있지를 예시하는 다중 채널 광원의 측면도를 도시한다.
도 1c는 후방(rear-facing) 카메라 및 주변 환경을 조명하도록 구성된 다중 채널 광원을 포함하는 전자 장치를 도시한다.
도 2는 발광체 어레이의 일례를 도시한다.
도 3은 이미지 센서 위로 배열된 분리 메커니즘의 일례를 도시한다.
도 4는 이미지에서 색상의 충실도를 개선하도록 프로그래밍된 특성화 모듈을 포함하는 통신 환경의 일례를 도시한다.
도 5는 특성화 모듈을 포함하는 네트워크 환경을 도시한다.
도 6은 다중 채널 이미지 센서 및 다중 채널 광원을 포함하는 전자 장치를 배치 전에 캘리브레이션하기 위한 프로세스의 순서도를 도시한다.
도 7은 자동 화이트 밸런스(automatic white balance(AWB)) 설정을 이용하여 캡처된 제1 이미지, 고정 화이트 밸런스(fixed white balance(FWB)) 설정을 이용하여 캡처된 제2 이미지 및 FWB 설정을 이용하여 캡처된 일련의 차동 조명 이미지에 기초하여 캘리브레이션 행렬을 계산하기 위한 프로세스의 순서도를 도시한다.
도 8은 (예를 들어, 도 6의 프로세스를 완료함으로써) 배치 전(pre-deployment) 캘리브레이션 프로세스 동안 전자 장치에 대하여 생성된 캘리브레이션 행렬을 사용하기 위한 프로세스의 순서도를 도시한다.
도 9a, 9b 및 9c는 다중 채널 광원이 장면을 차동 조명하기 위하여 일련의 조명 이벤트를 어떻게 수행할 수 있는지를 도시한다.
도 10 내지 16은 고충실도로 색을 재현하기 위하여 본 명세서에서 설명된 기준 발광체 화이트 밸런스(reference illuminant white balance(RIWB)) 접근 방식이 필요한 이유를 예시한다.
도 17은 본 명세서에서 설명된 적어도 일부 동작이 구현될 수 있는 컴퓨팅 시스템의 일례를 도시하는 블록도이다.
본 명세서에 설명된 기술의 다양한 특징은 도면과 함께 상세한 설명의 연구로부터 당해 업계에서의 통상의 기술자에게 더욱 명확하게 될 것이다. 도면에서 실시예들은 한정이 아닌 예로서 도시된다. 실시예들은 도면이 예시의 목적으로 다양한 실시예를 도시하지만, 당해 업계에서의 통상의 기술자는 대안적인 실시예가 본 기술의 원리를 벗어나지 않으면서 채용될 수 있다는 것을 인식할 것이다. 따라서, 특정 실시예들이 도면에 도시되지만, 기술은 다양한 수정을 받을 수 있다.

후처리하는 동안 화이트 밸런스를 수동으로 보정하는 것은 시간 소모적인 프로세스일 뿐만 아니라, 그 결과는 전문가에 의해 수행될 때에도 일관성이 없는 경향이 있다. 어떤 전문가는 더 따뜻한 디지털 이미지를 선호하는 경향이 있는 반면, 다른 전문가는 더 차가운 디지털 이미지를 선호하는 경향이 있다. 이러한 문제점들을 해결하기 위하여, 최신의 디지털 카메라는 화이트 밸런싱을 자동으로 수행되도록 설계되어 왔다. 예를 들어, 디지털 카메라는 선택될 때 장면이 화이트 포인트로서 가장 밝은 부분을 식별하도록 설계된 알고리즘에 의해 평가된 후, 그 기준에 기초하여 디지털 이미지의 색상을 밸런싱하려고 시도하게 하는 자동 화이트 밸런스(automatic white balance(AWB)) 설정을 가질 수 있다.

색상이 중요한 상황에서, AWB 알고리즘이 문제를 직면하지 않는 것을 보장하기 위해 중립 기준(neutral reference)이 장면에 도입될 수 있다. 예를 들어, 전문 사진작가/비디오그래퍼는 장면에 쉽게 추가될 수 있는 휴대용 기준을 휴대할 수 있다. 휴대용 기준의 일례는 평평한 반사 스펙트럼(reflectance spectrum)으로부터 유래하는 중립 그레이 컬러(neutral gray color)의 평평한 표면이다. 휴대용 기준의 다른 예는 서로 다른 반사 스펙트럼에 대응하는 일련의 서로 다른 색상을 갖는 평평한 표면이다. 전자는 일반적으로 "그레이 카드"라고 하고, 후자는 일반적으로 "컬러 체커(color checker)"라고 한다. 형태에 관계 없이, 휴대용 기준은 알려진 반사 스펙트럼을 장면에 도입할 것이고, 이는 알고리즘에 의해 자동 화이트 밸런싱을 위한 기준으로 사용될 수 있다.

장면이 알려진 반사 스펙트럼을 포함하지 않을 때, AWB 알고리즘은 색상의 관점에서 시각적으로 부정확한 디지털 이미지를 생성할 수 있다(그리고 종종 그렇게 한다). 예를 들어, 장면이 주로 붉다면, AWB 알고리즘은 이를 따뜻한 발광체에 의해 유도된 컬러 캐스트(color cast)로 오인한 후, 평균 색상을 중립에 더 가깝게 만들어 보정하려고 시도할 수 있다. 그러나 이것은 상당히 뚜렷할 수 있는 푸르스름한 컬러 캐스트를 도입한다. 도 10 내지 16은 AWB 알고리즘이 색상 값을 적절하게 스케일링하지 못한 이미지의 일부 예를 포함한다.

따라서, 휴대용 기준 없이 고충실도의 색 재현을 달성하기 위한 컴퓨터 프로그램 및 연관된 컴퓨터 구현 기술이 본 명세서에 소개된다. 이를 달성하기 위해, 새로운 기준 스펙트럼("기준 발광체 스펙트럼(reference illuminant spectrum)")이 이미지 센서에 의해 이미지화되는 장면에 도입된다. 기준 발광체 스펙트럼은 스펙트럼 특성이 알려진 발광체에 의해 생성된다.

아래에서 더 논의되는 바와 같이, 단일 기준 발광체는 장면에서 색상을 적절하게 렌더링하는 데 부적절할 수 있다. 이는, 단일 광원 스펙트럼에 대해, 상이한 반사율 특성을 갖는 물체에 대응하는 픽셀이 이미지 센서로 측정된 것과 동일한 색상 값을 갖는 조건 등색(color metamerism)의 경우가 있기 때문이다. 즉, 이러한 픽셀들은 실제로 동일한 색상이 아니더라도 이미지 센서에 동일하게 나타날 것이다. 따라서, 다중 기준 광원 스펙트럼은 조건 등색의 영향을 완화하기 위해 차동적으로(differentially) 도입될 수 있다.

실시예들은 특정 전자 장치, 광원 또는 이미지 센서를 참조하여 설명될 수 있다. 예를 들어, 기술은 여러 다른 색상의 LED를 갖는 다중 채널 광원과 적색, 녹색 및 청색 채널을 갖는 다중 채널 이미지 센서를 포함하는 휴대폰과 연계하여 설명될 수 있다. 그러나, 당해 업계에서의 통상의 기술자는 이러한 특징들이 다른 유형의 전자 장치, 광원 및 이미지 센서에도 동일하게 적용될 수 있다는 것을 인식할 것이다. 예를 들어, 가시광 대신에 또는 이에 추가하여 비가시광(예를 들어, 자외선 및/또는 적외선)을 생성하도록 구성된 다중 채널 광원에 의해 동일한 특징이 적용될 수 있다. 따라서, 실시예들이 다중 "색상 채널"을 갖는 광원과 연계하여 설명될 수 있지만, 특징들은 비색상 채널(즉, 비가시광을 생성하는 하나 이상의 발광체를 갖는 채널)에 동일하게 적용될 수 있다.

또한, 실시예는 "플래시 이벤트(flash event)"를 참조하여 설명될 수 있다. 일반적으로, 플래시 이벤트는, 장면의 디지털 이미지가 캡처되는 동안, 짧은 시간 간격 동안 가시광으로 장면을 가득 채우도록 전자 장치에 의해 수행된다. 그러나, 본 명세서에 설명된 특징들은 다른 조명 이벤트에도 유사하게 적용 가능하다. 예를 들어, 전자 장치는 다중 채널 광원의 색상 채널을 통해 스트로브를 제공하고, 각각의 색상 채널의 효과를 결정한 다음, 색상 채널의 적어도 일부를 동시에 구동하여 연장된 지속 시간 동안 장면을 가득 채우는 가시광을 생성할 수 있다. 따라서, 실시예들이 디지털 이미지를 캡처한 후 처리하는 것에 연계하여 설명될 수 있지만, 당해 업계의 통상의 기술자는 특징들이 비디오의 프레임들을 나타내는 일련의 디지털 이미지를 캡처한 후 처리하는 데 동일하게 적용 가능하다는 것을 인식할 것이다.

기술은 특수 목적 하드웨어(예를 들어, 회로), 소프트웨어 및/또는 펌웨어로 적절하게 프로그래밍된 프로그래머블 회로 또는 특수 목적 하드웨어와 프로그래머블 회로의 조합을 사용하여 구체화될 수 있다. 따라서, 실시예들은 실행될 때 전자 장치로 하여금 일련의 발광체 스펙트럼을 장면에 도입하고, 일련의 발광체 스펙트럼과 함께 일련의 이미지를 캡처한 다음, 일련의 이미지의 분석에 기초하여 픽셀 단위 기반으로 스펙트럼 정보를 설정하게 하는 명령어를 갖는 기계 판독 가능한 매체를 포함할 수 있다.

용어

본 설명에서 "일 실시예" 또는 "하나의 실시예"에 대한 언급은 설명되는 특징, 기능, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 이러한 어구의 존재는 반드시 모두 동일한 실시예를 가리키는 것이 아니며, 서로 상호 배제하는 대안적인 실시예를 가리키는 것도 아니다.

문맥이 다른 것을 명확하게 요구하지 않는다면, "포함한다" 및 "포함하는"이라는 단어들은 배타적 또는 소진적 의미가 아닌 포함적 의미로서 고려되어야 한다(즉, "포함하지만 한정되지 않는다"는 의미로). "연결되는", "결합되는"이라는 용어 또는 이의 임의의 변형은, 2개 이상의 요소 사이의 직접적이거나 간접적인 임의의 연결 또는 결합을 의미한다. 연결/결합은 이의 물리적이거나, 논리적이거나, 이의 조합이 될 수 있다. 예를 들어, 컴포넌트들은 물리적 연결을 공유하지 않음에도 불구하고 서로 전기적으로 또는 통신에 관하여 결합될 수 있다.

또한, "기초하여(based on)"라는 용어는 배타적 또는 소진적 의미가 아니라 포함적 의미로 고려될 수 있다. 따라서, 달리 언급되지 않는다면, "기초하여"라는 용어는 "적어도 일부 기초하여(based at least in part on)"를 의미하도록 의도된다.

"모듈"이라는 용어는 광범위하게는 소프트웨어 컴포넌트, 펌웨어 컴포넌트 및/또는 하드웨어 컴포넌트를 지칭한다. 모듈은 통상적으로 특정 입력(들)에 기초하여 유용한 데이터 또는 다른 출력(들)을 생성할 수 있는 기능적인 컴포넌트이다. 모듈은 독립형(self-contained)일 수 있다. 컴퓨터 프로그램은 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 컴퓨터 프로그램은 서로 다른 작업을 완료하는 역할을 하는 다수의 모듈 또는 모든 작업을 완료하는 역할을 하는 단일 모듈을 포함할 수 있다.

다수의 항목의 리스트를 참조하여 사용될 때, "또는"이라는 단어는 다음의 해석을 모두 포함하도록 의도된다: 리스트 내의 임의의 항목, 리스트 내의 모든 항목 및 리스트 내의 항목의 임의의 조합.

본 명세서에 설명된 임의의 프로세스에서 수행되는 단계들의 순서는 예시적이다. 그러나, 물리적 가능성에 반하지 않는 한, 단계들은 다양한 순서와 조합으로 수행될 수 있다. 예를 들어, 단계들은 본 명세서에 설명된 프로세스에 추가되거나 이로부터 제거될 수 있다. 유사하게, 단계들은 대체되거나 재정렬될 수 있다. 따라서, 임의의 프로세스에 대한 설명은 개방형인 것으로 의도된다.

광원에 대한 개요

도 1a는 서로 다른 색상을 생성할 수 있는 다중 색상 채널을 포함하는 다중 채널 광원(100)의 상면도를 도시한다. 각각의 색상 채널은 실질적으로 유사한 색상의 광을 생성하도록 설계된 하나 이상의 발광체(102)를 포함할 수 있다. 예를 들어, 다중 채널 광원(100)은 제1 색상을 생성하도록 구성된 단일 발광체, 제2 색상을 생성하도록 구성된 다수의 발광체 등을 포함할 수 있다. 간략화의 목적으로, 색상 채널이 얼마나 많은 개별 발광체를 포함하는지에 관계없이, 색상 채널은 "발광체"를 갖는 것으로 언급될 수 있다.

발광체의 일례는 LED이다. LED는 일반적으로 유기 반도체 재료로 구성된 2-리드(lead) 발광체이다. 실시예들이 LED와 연계하여 설명될 수 있지만, 기술은 다른 유형의 발광체에 동일하게 적용 가능하다. 표 1은 LED의 사용 가능한 색상의 여러 예와, 대응하는 파장 범위 및 대표적인 재료를 포함한다.

색상	지배적 파장	대표적인 재료
적외선	λ > 760	갈륨 비소; 및 알루미늄 갈륨 비소
적색	610 < λ < 760	알루미늄 갈륨 비소; 갈륨 비소 인화물; 알루미늄 갈륨 인듐 인화물; 및 갈륨(III) 인화물
주황색	590 < λ < 610	갈륨 비소 인화물; 알루미늄 갈륨 인듐 인화물; 및 갈륨(III) 인화물
노랑색	570 < λ < 590	갈륨 비소 인화물; 알루미늄 갈륨 인듐 인화물; 및 갈륨(III) 인화물
녹색	500 < λ <570	알루미늄 갈륨 인화물; 알루미늄 갈륨 인듐 인화물; 갈륨(III) 인화물; 인듐 갈륨 질화물; 및 갈륨(III) 질화물
청색	450 < λ < 500	아연 셀렌화물; 및 인듐 갈륨 질화물
보라색	400 < λ < 450	인듐 갈륨 질화물
자외선	λ < 400	인듐 갈륨 질화물; 다이아몬드; 붕소 질화물; 알루미늄 질화물; 알루미늄 갈륨 질화물; 및 알루미늄 갈륨 인듐 질화물

표 1: 사용 가능한 색상의 LED에 대한 지배적 파장이 존재하는 범위(나노미터 단위) 및 대표적인 재료

표 1에 나타내지 않은 다른 색상도 광원(100)에 포함될 수 있다. 이러한 색상의 예는 시안(490 < λ < 515), 라임(560 < λ < 575), 앰버(580 < λ < 590) 및 인디고(425 < λ < 450)를 포함한다. 당해 업계에서의 통상의 기술자는 이러한 파장 범위들이 단순히 예시의 목적으로 포함된다는 것을 인식할 것이다.

위에서 언급된 바와 같이, 다중 채널 광원(100)은 서로 다른 색상을 생성할 수 있는 다수의 색상 채널을 포함할 수 있다. 예를 들어, 광원(100)은 청색광, 녹색광 및 적색광을 생성하도록 구성된 3개의 개별 색상 채널을 포함할 수 있다. 이러한 광원은 "RGB 광원"이라고 할 수 있다. 다른 예로서, 광원(100)은 청색광, 녹색광, 적색광 및 앰버광이나 백색광을 생성하도록 구성된 4개의 개별 색상 채널을 포함할 수 있다. 이러한 광원은 "RGBA 광원" 또는 "RGBW 광원"이라고 할 수 있다. 다른 예로서, 광원(100)은 청색광, 시안광, 라임광, 앰버광 및 적색광을 생성하도록 구성된 5개의 개별 색상 채널을 포함할 수 있다. 다른 예로서, 광원(100)은 청색광, 시안광, 녹색광, 앰버광, 적색광, 보라색광 및 백색광을 생성하도록 구성된 7개의 개별 색상 채널을 포함할 수 있다. 따라서, 광원(100)은 3개의 채널, 4개의 채널, 5개의 채널, 7개의 채널 등을 포함할 수 있다.

3채널 및 4채널 광원은 기존의 플래시 기술을 개선하지만, 울퉁불퉁한 스펙트럼 분포 또는 좁은 범위의 고충실도를 가질 수 있다. 결과적으로, 다중 채널 광원(100)은 종종 적어도 5개의 상이한 색상 채널을 포함할 것이다. 색상 채널의 개수가 증가함에 따라, 광 품질, CCT 범위, 범위에 걸친 품질 및 스펙트럼 샘플링도 대체로 증가할 것이다. 예를 들어, 적절하게 선택된 발광체를 갖는 5채널 광원은 ±0.002의 ΔuV에서 넓은 CCT 범위(예를 들어, 1650K에서 10000K 이상)에 걸쳐 풀-스펙트럼(full-spectrum) 백색광을 전달하도록 설계될 수 있다. 더욱이, 5채널 광원을 사용함으로써, 스펙트럼 분포는 실질적으로 연속적인(즉, 울퉁불퉁하지 않은) 방식으로 샘플링될 수 있다.

낮은 열 생성으로 인해, LED는 서로 가깝게 위치될 수 있다. 따라서, 다중 채널 광원의 발광체(102)가 LED이면, 광원(100)은 서로 임의로 가깝게 배치된 다수의 다이(die)로 구성된 어레이를 포함할 수 있다. 그러나, 배치는 인접한 다이 사이의 "화이트월(whitewall)" 공간에 의해 제한될 수 있다. 화이트월 공간은 대체로 대략 0.1 밀리미터(mm) 정도이지만, 전체적으로 광원(100)의 원하는 직경에 기초하여 제한될 수 있다(예를 들어, 0.2mm 이하로). 도 2에서, 예를 들어, 어레이는 5개의 상이한 색상 채널과 연관된 8개의 다이를 포함한다. 이러한 어레이는 종래의 플래시 기술과 유사한 치수 내에 맞도록 크기 설정될 수 있다. 또한, 어레이는, 예를 들어, 라임-앰버-시안-적색-청색의 2-1-1-0.5-0.5 면적 비율을 요구하는 표준 생산 다이에 기초할 수 있다. 어레이는 하나 이상의 선형 전계 효과 트랜지스터 기반(FET 기반) 전류 조절 드라이버(110)에 의해 구동될 수 있다. 일부 실시예에서, 각각의 색상 채널은 대응하는 드라이버에 의해 구동된다. 이 드라이버(110)는 발광체(102) 아래에 배열된 기판(104)에 부착되거나 그 내에 내장될 수 있다.

각각의 색상 채널을 독립적으로 구동함으로써, 다중 채널 광원(100)은 서로 다른 CCT에서 백색광을 생성할 수 있다. 예를 들어, 다중 채널 광원(100)은 전자 장치에 의한 이미지 캡처와 관련하여 장면을 조명하는 광의 플래시를 방출할 수 있다. 전자 장치의 예는 휴대폰, 태블릿 컴퓨터, 디지털 카메라(예를 들어, 일안 반사식(SLR) 카메라, 디지털 SLR(DSLR) 카메라 및 "플렌옵틱 카메라"라고도 할 수 있는 라이트 필드 카메라) 등을 포함한다. 다중 채널 광원(100)에 의해 생성된 광은 소비자 사진, 프로슈머 사진, 전문 사진 등과 연계하여 촬영된 이미지의 품질을 개선할 수 있다.

이러한 방식으로 다중 채널 광원을 제어하는 것은 전통적인 조명 기술과 비교하여 다양한 작동 상태에 걸쳐 스펙트럼 제어의 더 나은 정밀도/정확성을 가능하게 한다. 모든 전통적인 조명 기술은 전자기 스펙트럼의 원하는 세그먼트에서 광을 방출하도록 설계된다. 그러나, 광(그리고 이에 따른 전자기 스펙트럼의 세그먼트)은 온도, 노화 상태 및 밝기와 같은 요인에 기초하여 변화할 것이다. 전통적인 조명 기술과 달리, 다중 채널 광원은 각각의 채널의 출력을 항상 알 수 있도록 처리될 수 있다. 이 정보를 사용하여, 컨트롤러(112)는 스펙트럼 이동을 보상하고 전자기 스펙트럼의 원하는 세그먼트를 유지하기 위해 (i) 각각의 채널에 제공되는 전류를 조정하고 그리고/또는 (ii) 채널의 비율을 조정함으로써 위에서 언급된 요인을 보상할 수 있다. 컨트롤러(112)의 일례는 중앙 처리 유닛("프로세서"라고도 함)이다.

일부 실시예에서, 다중 채널 광원(100)은 적절한 색상 채널(들)을 개별적으로 구동함으로써 컬러 광을 생성할 수 있다. 예를 들어, 컨트롤러(112)는 단일 색상 채널(예를 들어, 적색광을 생성하기 위한 적색 채널) 또는 다중 색상 채널(예를 들어, 주황색광을 생성하기 위한 적색 채널 및 앰버색 채널)을 구동함으로써 컬러 광을 생성할 수 있다. 또한, 위에서 언급된 바와 같이, 컨트롤러(112)는 각각의 색상 채널을 동시에 구동함으로써 다중 채널 광원(100)이 원하는 CCT를 갖는 백색광을 생성하게 할 수 있다. 특히, 컨트롤러(112)는 색상 혼합 모델에 기초하여 원하는 CCT를 성취하기 위해 필요한 동작 파라미터를 결정할 수 있다. 동작 파라미터는 예를 들어 각각의 색상 채널에 제공될 구동 전류를 특정할 수 있다. 동작 파라미터를 변경함으로써, 컨트롤러는 필요에 따라 백색광의 CCT를 조정할 수 있다.

발광체(102)가 기판(104) 상에 위치된 LED의 어레이로서 도시되어 있지만, 다른 배열도 또한 가능하다. 일부 경우에, 열적 제약, 크기 제약, 색상 혼합 제약 등으로 인해 다른 배열이 선호될 수 있다. 예를 들어, 다중 채널 광원(100)은 LED의 원형 배열, 격자 배열 또는 클러스터 배열을 포함할 수 있다.

도 1b는 일부 실시예에서 발광체(102)가 하우징 내에 어떻게 상주하는지를 예시하는 다중 채널 광원(100)의 측면도를 도시한다. 하우징은 발광체(102)를 둘러싸는 베이스 플레이트(106) 및/또는 발광체(102)를 덮는 보호 표면(108)을 포함할 수 있다. 여기에 도시된 보호 표면(108)은 돔 형태를 가지지만, 당해 업계에서의 통상의 기술자는 다른 디자인이 가능하다는 것을 인식할 것이다. 예를 들어, 보호 표면(108)은 대신에 기판(104)에 대해 평행하게 배열될 수 있다. 더욱이, 보호 표면(108)은, 다중 채널 광원(100)이 전자 장치 내에 고정될 때, 보호 표면(108)의 상부 표면이 전자 장치의 외부 표면과 실질적으로 공면(co-planar)이 되도록 설계될 수 있다. 보호 기판(108)은 유리, 플라스틱 등과 같이 실질적으로 투명한 재료로 구성될 수 있다.

기판(104)은 발광체(102)에 의해 생성된 열을 적절하게 소산시킬 수 있는 임의의 재료로 구성될 수 있다. 에폭시 수지 바인더(예를 들어, FR4)를 갖는 직조된 섬유 유리 직물로 구성된 것과 같은 비금속 기판이 금속 기판 대신 사용될 수 있다. 예를 들어, FR4로 구성된 기판(104)은 금속 기판이 통상적으로 직면하는 유지 문제를 겪지 않고 다중 색상 채널에 의해 생성된 열을 더욱 효율적으로 소산할 수 있다. 그러나, 일부 비금속 기판이 사진 촬영 및 비디오 촬영을 위하여 일반적으로 사용되는 고출력 발광체와 조합하여 사용될 수 없어, 기판(104)은 금속, 세라믹 등으로 구성될 수 있다는 것에 유의하라.

발광체(102)를 작동시키는 데 필요한 처리 컴포넌트는 광원(100)으로부터 물리적으로 분리될 수 있다. 예를 들어, 처리 컴포넌트는 기판(104)을 통과하는 도전성 와이어를 통해 발광체(102)에 연결될 수 있다. 처리 컴포넌트의 예는 드라이버(110), 컨트롤러(112), 전원(114)(예를 들어, 배터리) 등을 포함한다. 결과적으로, 처리 컴포넌트는 광원(100) 내에 위치될 필요가 없다. 대신에, 처리 컴포넌트는 광원(100)이 설치되는 전자 장치 내의 다른 곳에 위치될 수 있다.

아래에서 더 논의되는 바와 같이, 다중 채널 광원(100)은 이미지 센서와 함께 작동하도록 설계된다. 따라서, 다중 채널 광원(100)은 이미지 센서가 장면의 이미지를 캡처하라는 명령을 수신했다고 결정하는 것에 응답하여 광을 방출하도록 구성될 수 있다. 명령은 이미지가 캡처되어야 한다는 요청을 나타내는 입력을 수신하는 것에 응답하여 생성될 수 있다. 도 1c에 도시된 바와 같이, 이미지 센서(여기에서는, 카메라(152))는 다중 채널 광원과 동일한 전자 장치 내에 수용될 수 있다. 요청은 터치 감지 디스플레이의 표면을 따라 촉각 입력의 형태로 제공되거나 전자 장치의 외부를 따라 액세스 가능한 기계적 버튼의 형태로 제공될 수 있다.

일부 실시예에서, 다중 채널 광원은 전자 장치의 하우징 내에 용이하게 설치될 수 있도록 설계된다. 도 1c는 후방(rear-facing) 카메라(152) 및 주변 환경을 조명하도록 구성된 다중 채널 광원(154)을 포함하는 전자 장치(150)를 도시한다. 다중 채널 광원(154)은, 예를 들어, 도 1a 및 1b의 다중 채널 광원(100)일 수 있다. 후방 카메라(152)는 광원(100)에 의해 생성된 광과 함께 이미지를 캡처하도록 구성될 수 있는 이미지 센서의 일례이다. 여기에서, 전자 장치(150)는 휴대폰이다. 그러나, 당해 업계의 통상의 기술자는 본 명세서에 설명된 기술이 태블릿 컴퓨터 및 디지털 카메라와 같은 다른 유형의 전자 장치에 대하여 용이하게 응용될 수 있다는 것을 인식할 것이다.

카메라(152)는 통상적으로 전자 장치(150)에 포함된 다수의 이미지 센서 중 하나이다. 예를 들어, 전자 장치(150)는 개인이 디스플레이를 보면서 정지 이미지 또는 비디오를 캡처할 수 있게 하는 전방 카메라를 포함할 수 있다. 후방 및 전방 카메라는 서로 다른 용도를 위하여 의도된 서로 다른 유형의 이미지 센서일 수 있으며, 종종 그렇다. 예를 들어, 이미지 센서는 서로 다른 해상도를 갖는 이미지를 캡처할 수 있다. 다른 예로서, 이미지 센서는 다른 광원과 쌍을 이룰 수 있다(예를 들어, 후방 카메라는 전방 카메라보다 더 강한 플래시와 연관될 수 있거나, 후방 카메라는 다중 채널 광원에 근접하게 배치될 수 있는 반면, 전방 카메라는 단일 채널 광원에 근접하게 배치된다).

도 2는 발광체(202)의 어레이(200)의 일례를 도시한다. 발광체(202)가 LED라면, 어레이(200)는 표준 다이("칩"이라고도 함)를 사용하여 생산될 수 있다. 다이는 다이오드가 위치된 작은 반도체 재료 블록이다. 통상적으로, 주어진 색상에 대응하는 다이오드가 단일 웨이퍼(예를 들어, 전자 등급 실리콘, 갈륨 비소 등으로 구성됨)에서 대규모 배치로 생산된 후, 웨이퍼는 각각이 단일 다이오드를 포함하는 많은 조각으로 절단된다("다이싱된다(diced)"). 이 조각들의 각각은 "다이(die)"라고 할 수 이다.

도 2에 도시된 바와 같이, 어레이(200)는 서로 다른 색상의 광을 생성하도록 구성된 다중 색상 채널을 포함한다. 여기에서, 예를 들어, 어레이(200)는 5개의 색상 채널(청색, 시안, 라임, 앰버 및 적색)을 포함한다. 각각의 색상 채널은 하나 이상의 발광체를 포함할 수 있다. 여기에서, 예를 들어, 3개의 색상 채널(즉, 청색, 라임 및 적색)은 다수의 발광체를 포함하는 반면, 2개의 색상 채널(즉, 시안 및 앰버)는 단일 발광체를 포함한다. 각각의 색상 채널 내의 발광체의 개수와 어레이(200) 내의 이 발광체의 배열은 최대 CCT, 최소 CCT, 최대 온도 등과 같은 원하는 출력 특성에 기초하여 달라질 수 있다.

어레이(200)는 일반적으로 1,000 루멘보다 큰 광을 생성할 수 있지만, 일부 실시예는 1,000 루멘 미만(예를 들어, 플래시 이벤트 동안 700 내지 800 루멘)의 광을 생성하도록 설계된다. 일부 실시예에서, 발광체(202)는 공간 색상 균일성을 개선하기 위해 고도로 대칭적인 패턴으로 어레이(200) 내에 위치 설정된다. 예를 들어, 어레이(200)가 다중 색상 채널의 동시 구동을 통해 백색광을 생성하도록 설계될 때, 이러한 색상 채널에 대응하는 발광체는 컬러 광의 혼합을 용이하게 하기 위해 대칭적으로 배열될 수 있다.

어레이(200)는 종래의 플래시 컴포넌트에 더하여 또는 그 대신에 전자 장치(예를 들어, 도 1c의 전자 장치(150))의 하우징 내에 설치될 수 있도록 설계될 수 있다. 예를 들어, 휴대폰 내의 설치를 위하여 설계된 일부 어레이는 직경이 4 mm 미만인 반면, 휴대폰 내의 설치를 위하여 설계된 다른 어레이는 직경이 3 mm 미만이다. 또한, 어레이(200)는 높이가 1 mm 미만일 수 있다. 일부 실시예에서, 어레이에 필요한 전체 추정 면적은 설치 전에는 3 mm² 미만이고, 설치 후에는 6 mm² 미만일 수 있다. 이러한 디자인은 어레이(200)가 휴대폰 내의 컴포넌트의 상당한 재배치를 요구하지 않고 휴대폰 내에 위치 설정될 수 있게 한다.

다이의 컴팩트한 어레이의 한 가지 이점은 콜리메이터(collimator), 확산기 또는 렌즈의 사용 없이 양호한 색상 혼합 및 적절한 시야(FOV)를 달성할 수 있다는 것이다. 그러나, 발광체(202)에 의해 생성된 광의 적절한 공간적 색상 균일성을 보장하도록 설계된 콜리메이터(204)("혼합 파이프(mixing pipe)"라고도 함)가 어레이(200) 주위로 배치될 수 있다. 개략적으로, 콜리메이터(204)는 발광체(202)에 의해 방출된 광의 더욱 균일한 색상 혼합 및 FOV의 더 나은 제어를 촉진할 수 있다. 콜리메이터(204)는 비가요성 재료(예를 들어, 유리) 또는 가요성 재료(예를 들어, 실리콘)로 구성될 수 있다. 콜리메이터(204)는 관형 몸체의 형태일 수 있다. 일부 실시예에서, 관형 몸체의 출구 구멍(engress aperture)은 어레이보다 좁은(예를 들어, 출구 구멍은 2.5 mm, 3 mm 또는 3.5 mm의 직경을 가질 수 있다) 반면, 다른 실시예에서, 관형 몸체의 출구 구멍은 어레이보다 더 넓을 수 있다(예를 들어, 출구 구멍은 4.5 mm, 5 mm 또는 5.5 mm의 직경을 가질 수 있다). 따라서, 관형 몸체는 발광체(202)에 의해 생성된 광을 집광시키거나 분산시키는 경사진 내부 표면을 가질 수 있다.

어레이(200)는 이미지의 캡처와 함께 플래시를 생성하도록 구성된 종래의 플래시 기술 대신에 또는 이에 추가하여 사용될 수 있다. 따라서, 전자 장치(예를 들어, 도 1c의 전자 장치(150))는 단일 채널 광원 및/또는 다중 채널 광원을 포함할 수 있다.

실시예가 LED와 관련하여 설명될 수 있지만, 당해 업계에서의 통상의 기술자는 LED 대신에 또는 LED에 추가하여 다른 유형의 발광체가 사용될 수 있다는 것을 인식할 것이다. 예를 들어, 기술의 실시예는 레이저, 양자점(quantum dot, "QD"), 유기 LED(organic LED, "OLED"), 공진 공동 LED(resonant-cavity LED, "RCLED"), 수직 공동 표면 방출 레이저(vertical-cavity surface-emitting laser, "VCSEL"), 초발광 다이오드(superluminescent diode, "SLD" 또는 "SLED"), 형광체(phosphor) 층 아래의 청색 "펌프" LED, 상향 변환 형광체(up-conversion phosphor)(예를 들어, 적외선에 의해 여기될 때 응답을 제공하는 미세한 세라믹 입자), 질화물 형광체(예를 들어, CaAlSiN, SrSiN, KSiF), 하향 변환 형광체(down-conversion phosphor)(예를 들어, KSF:Mn4+, LiAlN), 루비듐 아연 인산염, 이트륨-알루미늄-가넷(YAG) 형광체, 루테튬-알루미늄-가넷(LAG) 형광체, SiAlON 형광체, SiON 형광체, 또는 이들의 임의의 조합을 사용할 수 있다. 예를 들어, 어레이(200)는 청색 LED 상의 YAG 형광체 코팅에 의해 생성되는 라임 색상과 같은 형광체 변환 색상을 포함할 수 있다. 이러한 실시예에서, 고효율 청색 LED는 거의 완전히 흡수된 후 더 넓은 노란색-녹색 대역에서 재방출되는 광자로 YAG 형광체 코팅을 펌핑한다. 또한, 이것은 적색, 앰버, 녹색, 시안 등과 같은 다른 색상을 생성하기 위해 수행될 수 있다. 다른 예로서, 기판이 전자 장치의 하우징 내에 설치될 때, VCSEL 및/또는 QD가 전자기 복사를 외부로 방출하도록, 다수의 VCSEL 및/또는 다수의 QD가 기판 상에 주어진 패턴으로 배열될 수 있다. 장면을 조명하는 데 사용되는 발광체의 유형은 조명 이벤트의 스케쥴에 영향을 줄 수 있다. 달리 말하면, 일부 발광체는 타이밍 관점에서 수용될 필요가 있을 수 있다. 예를 들어, 형광체 기반 발광체는 일반적으로 지연된 여기 및 지연된 역여기(de-excitation)를 나타내므로, 형광체 기반 발광체는 중첩(즉, 제2 형광체 기반 발광체가 활성화될 때 제1 형광체 기반 발광체가 일부 광을 여전히 방출하고 있다)을 방지하기 위하여 조기 온(early-on) 및 조기 오프(early-off) 방식으로 활성화(예를 들어, 스트로브)될 수 있다.

이미지 센서에 대한 개요

이미지 센서는 이미지를 구성하는 정보를 검출하는 센서이다. 일반적으로, 이미지 센서는 광파의 가변 감쇠(예를 들어, 물체를 통과하거나 물체로부터 반사할 때)를 정보를 전달하는 작은 전류 버스트(burst)를 나타내는 전기 신호로 변환함으로써 이를 완수한다. 이미지 센서의 예는 반도체 전하 결합 소자(semiconductor-charge-coupled device, CCD) 및 상보형 금속 산화물 반도체 센서(complementary metal-oxide-semiconductor sensor, CMOS) 센서를 포함한다. 양 유형의 이미지 센서는 동일한 작업, 즉 캡처된 광을 전기 신호로 변환하는 것을 완수한다. 그러나, CMOS 센서가 일반적으로 CCD보다 저렴하고 작으며 전력 소모가 적기 때문에, 많은 전자 장치는 이미지 캡처를 위하여 CMOS 센서를 사용한다.

또한, 이미지 센서는 이의 분리 메커니즘에서 다를 수 있다. 가장 일반적인 분리 메커니즘 중 하나는 상이한 색상의 광을 선택된 픽셀 센서로 전달하는 필터 어레이다. 예를 들어, 각각의 개별 센서 요소는 화학적 염료로 이루어진 컬러 젤을 사용하여 적색광, 녹색광 또는 청색광에 민감하게 될 수 있다. 이미지 센서가 색상에 따라 입사 광을 분리하기 때문에, 이는 다중 센서 채널 또는 다중 색상 채널을 가진다고 할 수 있다. 따라서, 서로 다른 색상에 대응하는 다수의 센서 채널을 포함하는 이미지 센서는 "다중 채널 이미지 센서"라고 할 수 있다.

도 3은 이미지 센서(304) 위로 배열된 분리 메커니즘(302)의 일례를 도시한다. 여기에서, 분리 메커니즘(302)은 입사 광을 픽셀 단위로 적색광, 녹색광 또는 청색광으로 분리하도록 설계된 3개의 상이한 유형의 컬러 필터를 포함하는 베이어 필터 어레이다. 한편, 이미지 센서(304)는 CMOS 센서일 수 있다. 이미지를 캡처하기 위해 광화학 필름을 사용하기 보다는, 이미지 센서(304)에 의해 생성된 전자 신호가 후속 분석을 위해 메모리에 대신 기록된다.

기록 기능이 시작된 후(예를 들어, 이미지를 캡처하라는 요청을 나타내는 입력을 수신한 것에 응답하여), 렌즈는 분리 메커니즘(302)을 통해 이미지 센서(304)에 광의 초점을 맞춘다. 도 3에 도시된 바와 같이, 이미지 센서(304)는 개별 이미징 요소의 격자 패턴으로 배열될 수 있다. 일반적으로, 이미지 센서(304)는 입사 광의 색상보다는 입사 광의 세기(intensity)를 판단한다. 대신에, 색상은 일반적으로 각각의 이미징 요소로 단일 색상의 광만을 허용하는 분리 메커니즘(302)의 사용을 통해 판단된다. 예를 들어, 베이어 필터 어레이는 입사 광을 3개의 상이한 색상(즉, 적색, 녹색 및 청색)으로 분리한 후, 이미징 요소의 2X2 배열 내에서 이러한 상이한 색상을 평균하는 데 사용할 수 있는 3개의 유형의 컬러 필터를 포함한다. 주어진 이미지의 각각은 이미징 요소의 이러한 배열과 연관될 수 있다. 따라서, 각각의 픽셀에는 적색광, 녹색광 및 청색광에 대해 별도의 값이 할당될 수 있다. 다른 색상 식별 방법은 각각 이미지의 일부(예를 들어, 단일 색상)를 캡처하는 데 전용되는 개별 이미지 센서를 사용하며, 그 결과들은 풀 컬러 이미지를 생성하도록 조합될 수 있다.

특성화 모듈에 대한 개요

도 4는 이미지의 색상 충실도를 향상시키도록 프로그래밍된 특성화 모듈(402)을 포함하는 통신 환경(400)의 일례를 도시한다. "모듈"이라는 용어는 광범위하게는 소프트웨어 컴포넌트, 펌웨어 컴포넌트 및/또는 하드웨어 컴포넌트를 지칭한다. 따라서, 아래에 설명되는 프로세스의 양태는 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 예를 들어, 이러한 프로세스는 다중 채널 이미지 센서 및 다중 채널 광원을 포함하는 전자 장치(예를 들어, 휴대폰)에서 실행되는 소프트웨어 프로그램(예를 들어, 모바일 애플리케이션)에 의해 실행될 수 있거나, 이러한 프로세스는 다중 채널 이미지 센서의 일부인 집적 회로에 의해 실행될 수 있다.

도 4에 도시된 바와 같이, 특성화 모듈(402)은 상이한 소스로부터 데이터를 획득할 수 있다. 여기에서, 예를 들어, 특성화 모듈(402)은 다중 채널 이미지 센서(408)(예를 들어, 도 1c의 카메라(152))에 의해 생성된 제1 데이터(404) 및 다중 채널 광원(410)(예를 들어, 도 1c의 광원(154))에 의해 생성된 제2 데이터(406)를 획득한다. 제1 데이터(404)는 픽셀 단위로 각각의 센서 채널에 대한 적절한 값을 특정할 수 있다. 예를 들어, 다중 채널 이미지 센서(408)가 3개의 센서 채널(예를 들어, 적색, 녹색 및 청색)을 포함한다면, 각각의 픽셀은 적어도 3개의 개별 값(예: 적색 값, 녹색 값 및 청색 값)과 연관될 것이다. 제2 데이터(406)는 다중 채널 광원(410)의 각각의 채널의 특성을 특정할 수 있다. 예를 들어, 제2 데이터(406)는 조명 이벤트(illumination event)("조명 이벤트(lighting event)"라고도 함) 동안 각각의 색상 채널에 대한 구동 전류, 각각의 색상 채널의 지배적인 파장, 각각의 색상 채널의 조도 프로파일 등을 특정할 수 있다.

일부 실시예에서, 다중 채널 이미지 센서(408) 및 다중 채널 광원(410)은 동일한 전자 장치 내에 수용된다. 다른 실시예에서, 다중 채널 이미지 센서(408) 및 다중 채널 광원(410)은 별도의 하우징 내에 상주한다. 예를 들어, 전문 사진 촬영 또는 비디오 촬영과 연계하여, 다중 채널 이미지 센서 및 다중 채널 광원은 장면의 서로 다른 부분들을 캡처/조명하기 위해 다양한 배열로 위치 설정될 수 있다.

도 5는 특성화 모듈(502)을 포함하는 네트워크 환경(500)을 도시한다. 개인은 인터페이스(504)를 통해 특성화 모듈(502)과 인터페이싱할 수 있다. 아래에서 추가로 논의되는 바와 같이, 특성화 모듈(502)은 다중 채널 이미지 센서에 의해 생성된 이미지에서 색상의 충실도를 개선하는 역할을 할 수 있다. 또한, 특성화 모듈(502)은 개인이 개선된 이미지를 보고, 후처리 작업을 시작하고, 선호도를 관리하고, 기타 작업을 할 수 있는 인터페이스를 생성 및/또는 지원하는 역할을 할 수 있다.

특성화 모듈(502)은 도 5에 도시된 바와 같이 네트워크 환경(500)에 상주할 수 있다. 따라서, 특성화 모듈(502)은 하나 이상의 네트워크(506a-b)에 연결될 수 있다. 네트워크(506a-b)는 PAN(Personal Area Network), LAN(Local Area Network), WAN(Wide Area Network), MAN(Metropolitan Area Network), 셀룰러 네트워크, 인터넷 등을 포함할 수 있다. 추가적으로 또는 대안적으로, 특성화 모듈(502)은 Bluetooth® 또는 NFC(Near Field Communication)와 같은 단거리 통신 프로토콜을 통해 전자 장치(들)에 통신 가능하게 결합될 수 있다.

일부 실시예에서, 특성화 모듈(502)은 다중 채널 이미지 센서 및 다중 채널 광원과 동일한 전자 장치에 상주한다. 예를 들어, 특성화 모듈(502)은 휴대폰의 다중 채널 이미지 센서가 작동될 수 있는 모바일 애플리케이션의 일부일 수 있다. 다른 실시예에서, 특성화 모듈(502)은 네트워크에 걸쳐 다중 채널 이미지 센서 및/또는 다중 채널 광원에 통신 가능하게 결합된다. 예를 들어, 특성화 모듈(502)은 컴퓨터 서버에 상주하는 네트워크 액세스 가능 플랫폼("클라우드 플랫폼"이라고도 함)에 의해 실행될 수 있다.

인터페이스(504)는 바람직하게는 웹 브라우저, 데스크탑 애플리케이션, 모바일 애플리케이션 또는 OTT(over-the-top) 애플리케이션을 통해 액세스 가능하다. 따라서, 인터페이스(504)는 휴대폰, 태블릿 컴퓨터, 개인용 컴퓨터, 게임 콘솔, 음악 플레이어, 웨어러블 전자 장치(예를 들어, 시계 또는 피트니스 액세서리), 네트워크에 연결된("스마트") 전자 장치(예를 들어, 텔레비전 또는 홈 어시스턴트 디바이스), 가상/증강 현실 시스템(예를 들어, 헤드 마운트 디스플레이) 또는 일부 다른 전자 장치 상에 보일 수 있다.

특성화 모듈(502)의 일부 실시예는 로컬로 호스팅된다. 즉, 특성화 모듈(502)은 다중 채널 이미지 센서 또는 다중 채널 광원과 동일한 전자 장치에 상주할 수 있다. 예를 들어, 특성화 모듈(502)은 휴대폰의 다중 채널 이미지 센서가 작동될 수 있는 모바일 애플리케이션의 일부일 수 있다.

특성화 모듈(502)의 다른 실시예는 AWS(Amazon Web Services®), Google Cloud Platform™, Microsoft Azure® 또는 유사한 기술에 의해 운영되는 클라우드 컴퓨팅 서비스에 의해 실행된다. 이러한 실시예에서, 특성화 모듈(502)은 하나 이상의 콘텐츠 컴퓨터 서버(508)에 통신 가능하게 연결된 호스트 컴퓨터 서버에 상주할 수 있다. 콘텐츠 컴퓨터 서버(들)(508)는 색상 혼합 모델, 휴리스틱 및 알고리즘과 같은 후처리에 필요한 항목 및 기타 자산을 포함할 수 있다.

실시예가 네트워크에 연결된 전자 장치와 연계하여 설명될 수 있지만, 특성화 모듈(502)은 반드시 네트워크를 통해 연속적으로 액세스될 필요는 없다. 예를 들어, 전자 장치는 사전 배포 구성 절차를 완료하는 동안 네트워크 액세스 가능한 플랫폼에만 액세스하는 독립형 컴퓨터 프로그램을 실행하도록 구성될 수 있다. 이러한 실시예에서, 독립형 컴퓨터 프로그램은 단일 시점에서 네트워크 액세스 가능한 플랫폼으로부터 정보를 다운로드하거나 네트워크 액세스 가능한 플랫폼으로 정보를 업로드할 수 있다. 전자 장치를 배포한 후(예를 들어, 전자 장치가 판매를 위해 패키징된 후) 독립형 컴퓨터 프로그램은 네트워크 액세스 가능한 플랫폼과 통신하지 않을 수 있다.

기준 발광체 스펙트럼을 이용한 화이트 밸런스

최신의 디지털 카메라는 이미지가 생성될 때 화이트 밸런싱을 자동으로 수행되도록 설계되어 왔다. 예를 들어, 전자 장치는, 선택될 때, 장면이 화이트 포인트로서 가장 밝은 부분을 식별하도록 설계된 알고리즘에 의해 평가된 후 그 기준에 기초하여 디지털 이미지의 색상을 밸런싱하려고 시도하게 하는 AWB) 설정을 가질 수 있다. 이러한 접근 방식은 알려진 반사 스펙트럼(reflectance spectrum)이 기준으로 사용될 수 있는 장면에 포함될 때 고충실도의 색상을 생성하는 데 상당히 효과적인 경향이 있다. 예를 들어, 전문 사진작가/비디오그래퍼는 장면에 일반적으로 AWB 알고리즘에 대한 기준 역할을 할 수 있는 그레이 카드 또는 컬러 체커를 추가할 것이다.

장면이 알려진 반사 스펙트럼을 포함하지 않을 때, AWB 알고리즘은 색상의 관점에서 시각적으로 부정확한 디지털 이미지를 생성할 수 있다(그리고 종종 생성한다). 예를 들어, 장면이 주로 붉다면, AWB 알고리즘은 이를 따뜻한 발광체에 의해 유도된 컬러 캐스트로 오인한 후, 평균 색상을 중립에 더 가깝게 만들어 보정하려고 시도할 수 있다. 그러나 이것은 상당히 뚜렷할 수 있는 푸르스름한 컬러 캐스트를 생성할 것이다.

알려진 반사 스펙트럼을 추가하는 것이 많은 시나리오에서 단순히 실용적이지 않기 때문에, 고충실도의 색상을 갖는 이미지를 생성하는 더 나은 접근 방식이 필요하다. 임의의 알려진 반사 스펙트럼이 없는 상태에서 고충실도 색상 재현을 달성하기 위한 컴퓨터 프로그램 및 연관된 컴퓨터 구현 기술이 본 명세서에 소개된다. 즉, 그레이 카드 및 컬러 체커와 같은 휴대용 기준 없이 고충실도 색 재현이 달성될 수 있다. 이를 달성하기 위해, 새로운 기준 스펙트럼("기준 발광체 스펙트럼(reference illuminant spectrum)")이 이미지 센서에 의해 이미지화되는 장면에 도입된다. 기준 발광체 스펙트럼은 스펙트럼 속성이 알려진 다중 채널 광원에 의해 생성된다.

도 6은 다중 채널 이미지 센서 및 다중 채널 광원을 포함하는 전자 장치를 배치 전에 캘리브레이션하기 위한 프로세스의 순서도를 도시한다. 프로세스(600)는 전자 장치를 판매를 위해 패키징하기 전에 전자 장치의 제조자에 의해 개시될 수 있다.

초기에, 제조자는 적어도 하나의 알려진 반사 스펙트럼을 포함하는 장면을 선택한다(단계 601). 일반적으로, 제조자는 하나 이상의 휴대용 기준을 포함하는 장면을 선택 및/또는 생성하여 이를 달성한다. 휴대용 기준의 하나의 예는 "그레이 카드"라고 하는 평평한 반사 스펙트럼으로부터 유래하는 중립 그레이 컬러(neutral gray color)의 평평한 표면이다. 휴대용 기준의 다른 예는 "컬러 체커"라고 하는 서로 다른 반사 스펙트럼에 대응하는 일련의 서로 다른 색상을 갖는 평평한 표면이다. 일반적으로, 제조자는 다양한 반사 스펙트럼이 포함되도록 장면을 선택한다. 이러한 다른 반사 스펙트럼은 단일 휴대용 기준(예를 들어, 컬러 체커) 또는 여러 휴대용 기준(예를 들어, 컬러 체커 및 그레이 카드)에 의해 제공될 수 있다.

그 다음, 장면의 이미지 세트가 빠르게 연속적으로 캡처된다. 예를 들어, 전자 장치는 자동 화이트 밸런스(automatic white balance(AWB)) 설정을 이용하여 제1 노출 간격 동안 장면의 제1 이미지를 캡처할 수 있고(단계 602), 고정 화이트 밸런스(fixed white balance(FWB))를 이용하여 제2 노출 간격 동안 장면의 제2 이미지를 캡처할 수 있다(단계 603). 제1 이미지와 제2 이미지의 어느 것도 다중 채널 광원에 의해 수행되는 조명 이벤트와 함께 촬영되지 않는다. 다시 말해서, 제1 및 제2 이미지는 동일한 주변 광이지만 상이한 화이트 밸런스 설정과 함께 캡처된다. 일반적으로, AWB 설정은 컬러 캐스트를 자동으로 보정하도록 전자 장치에 의해 디폴트로 적용된다. 한편, FWB 설정은 커스텀 화이트 밸런스 또는 상이한 색 온도에 대응하는 전자 장치에 의해 제공된 미리 설정된 화이트 밸런스일 수 있다. 미리 설정된 화이트 밸런스의 예는 백열등(tungsten), 형광등(fluorescent), 일광(daylight), 플래시(flash), 흐림(cloudy) 및 그늘(shade)을 포함한다. 일반적으로, 제1 노출 간격은 제2 노출 간격과 다르다. 예를 들어, 제2 노출 간격은 제1 노출 간격의 10, 20, 30 또는 50%일 수 있다.

또한, 전자 장치는 FWB 설정을 이용하여 장면의 일련의 차동 조명 이미지를 캡처할 수 있다(단계 604). 즉, 전자 장치는 일련의 상이한 발광체 스펙트럼과 함께 일련의 이미지를 캡처할 수 있다. 도 9a, 9b 및 9c와 관련하여 아래에서 추가로 논의되는 바와 같이, 모든 색상 채널이 더 강한 세기로 단일 색상 채널로 조명되는 일련의 플래시가 생성되도록 다중 채널 광원의 각각의 색상 채널을 어드레싱함으로써 일련의 상이한 발광체 스펙트럼이 생성될 수 있다. 따라서, 차동 조명 이미지의 개수는 다중 채널 광원이 갖는 색상 채널의 개수에 대응할 수 있다.

그 후, 특성화 모듈은 이미지 세트, 즉, 제1 이미지, 제2 이미지 및 일련의 차동 조명 이미지의 분석에 기초하여 캘리브레이션 행렬을 계산할 수 있다(단계 605). 도 7과 관련하여 아래에서 추가로 논의되는 바와 같이, 캘리브레이션 행렬의 각각의 항목(entry)은 이미지 세트 내의 대응하는 픽셀로부터 계산된 계수 벡터를 포함할 수 있다. 그 다음, 특성화 모듈은 전자 장치가 액세스할 수 있는 메모리에 캘리브레이션 행렬을 저장할 수 있다(단계 606). 일반적으로, 캘리브레이션 행렬은 장래의 이미징 작업 동안 더 빠른 콜백(callback)을 위해 전자 장치의 로컬 메모리에 저장된다. 그러나, 캘리브레이션 행렬은 로컬 메모리 대신에 또는 로컬 메모리에 추가하여 네트워크를 통해 전자 장치가 액세스할 수 있는 원격 메모리에 저장될 수 있다.

도 7은 AWB 설정을 이용하여 캡처된 제1 이미지, FWB 설정을 이용하여 캡처된 제2 이미지 및 FWB 설정을 이용하여 캡처된 일련의 차동 조명 이미지에 기초하여 캘리브레이션 행렬을 계산하기 위한 프로세스의 순서도(700)를 도시한다. 개략적으로, 특성화 모듈은, 각각의 픽셀에 대해, 캘리브레이션 행렬 내의 대응하는 항목을 채우는 데 사용할 수 있는 주변 차감(ambient-subtracted) 색도 지문(chromaticity fingerprint)(또는 간단히 "색도 지문")을 생성할 수 있다.

초기에, 특성화 모듈은 일련의 차동 조명 이미지의 각각 내의 대응하는 픽셀의 적색, 녹색 및 청색 값으로부터 제2 이미지 내의 각각의 픽셀의 적색, 녹색 및 청색 값을 감산하여 일련의 변경 이미지를 생성할 수 있다(단계 701). 이것은 각각의 픽셀의 조명되지 않은 제2 이미지에서의 양만큼 감소된 적색, 녹색 및 청색 채널을 갖는 변경 이미지를 제공할 것이다.

그 다음, 특성화 모듈은 각각의 픽셀이 일련의 a* 값 및 일련의 b* 값으로 표현되도록 일련의 변경 이미지를 CIELAB 색 공간으로 변환한다(단계 702). CIELAB 색 공간("CIE L*a*b* 색 공간" 또는 "Lab 색 공간"이라고도 함)에서, 색상은 3가지 값으로 표현된다: 흑색(0)으로부터 백색(11)까지의 밝기에 대한 L*, 녹색(-)으로부터 적색(+)까지의 a* 및 청색(-)으로부터 노란색(+)까지의 b*. 색도 지문은 이러한 a* 및 b* 값으로 구성된다. 예를 들어, 다중 채널 광원이 5개의 색상 채널을 포함한다고 가정하자. 이러한 시나리오에서, 일련의 변경 이미지는 5개의 이미지를 포함할 것이고, 각각의 픽셀에 대한 색도 지문(F)은 다음과 같이 벡터 형태로 표현될 수 있다:

여기서 각각의 값 쌍

은 변경 이미지 중 하나에서의 대응하는 픽셀과 연관된다. 유사하게, 특성화 모듈은 각각의 픽셀이 기준 a* 값 및 기준 b* 값으로 표현되도록 제1 이미지를 CIELAB 색 공간으로 변환할 수 있다(단계 703). 실측 자료 해답(ground truth answer)를 나타내는 기준 a* 및 b* 값은 다음과 같이 벡터 형태로 표현될 수 있다:

각각의 픽셀에 대하여, 특성화 모듈은 다음과 같이 계수 벡터(C)를 이용하여 a* 및 b*에 대한 선형 방정식의 시스템을 형성할 수 있다:

여기서

이고 xy는 픽셀의 좌표이다. 따라서, 제1 이미지에서 주어진 픽셀의 색상 값은 일련의 변경 이미지로부터 결정된 그 픽셀의 색도 지문과 계수 벡터 사이의 내적으로 정의된다. 개략적으로, 선형 방정식의 각각의 시스템은 (i) 주어진 픽셀에 대한 기준 a* 값과 주어진 픽셀에 대한 일련의 a* 값에 기초한 선형 방정식(단계 704) 및 (ii) 주어진 픽셀에 대한 기준 b* 값 및 주어진 픽셀에 대한 일련의 b* 값에 기초한 선형 방정식(단계 705)을 나타낸다.

그 후, 특성화 모듈은, 각각의 픽셀에 대해, 선형 방정식 시스템에서 최소 제곱 최적화를 수행하여 계수 벡터를 생성할 수 있다(단계 706). 달리 말하면, 특성화 모듈은 계수를 설정하기 위해 최소 제곱 최적화를 수행할 수 있다. 그 다음, 특성화 모듈은 캘리브레이션 행렬을 나타내는 데이터 구조를 계수 벡터로 채울 수 있다(단계 707). 캘리브레이션 행렬의 각각의 항목은 대응하는 픽셀에 대해 설정된 계수의 벡터를 포함할 수 있다.

도 8은 (예를 들어, 도 6의 프로세스(600)를 완료함으로써) 배치 전(pre-deployment) 캘리브레이션 프로세스 동안 전자 장치에 대하여 생성된 캘리브레이션 행렬을 사용하기 위한 프로세스(800)의 순서도를 도시한다. 캘리브레이션 행렬을 사용함으로써, 전자 장치는 휴대용 기준이 장면 내에 있을 필요없이 고충실도의 색 재현을 달성할 수 있다.

초기에, 장면의 이미지 세트가 빠르게 연속적으로 캡처된다. 예를 들어, 전자 장치는 AWB 설정을 이용하여 제1 노출 간격에 걸쳐 장면의 제1 이미지를 캡처할 수 있고(단계 801), FWB 설정을 이용하여 제2 노출 간격에 걸쳐 장면의 제2 이미지를 캡처할 수 있다(단계 802). 제1 이미지와 제2 이미지의 어느 것도 다중 채널 광원에 의해 수행되는 조명 이벤트와 함께 촬영되지 않는다. 일반적으로, 제1 노출 간격은 제2 노출 간격과 다르다. 예를 들어, 제2 노출 간격은 제1 노출 간격의 10, 20, 30 또는 50%일 수 있다. 또한, 전자 장치는 FWB 설정으로 장면의 일련의 차동 조명 이미지를 캡처할 수 있다(단계 803). 즉, 전자 장치는 일련의 상이한 발광체 스펙트럼과 함께 일련의 이미지를 캡처할 수 있다. 도 9a, 9b 및 9c와 관련하여 아래에서 추가로 논의되는 바와 같이, 모든 색상 채널이 더 강한 세기로 단일 색상으로 조명되는 일련의 플래시가 생성되도록 다중 채널 광원의 각각의 색상 채널을 어드레싱함으로써 일련의 상이한 발광체 스펙트럼이 생성될 수 있다. 따라서, 차동 조명 이미지의 개수는 다중 채널 광원이 갖는 색상 채널의 개수에 대응할 수 있다.

그 다음, 특성화 모듈은 일련의 차동 조명 이미지의 각각에서의 대응하는 픽셀의 적색, 녹색 및 청색 값으로부터 제2 이미지에서의 각각의 픽셀의 적색, 녹색 및 청색 값을 감산함으로써 일련의 변경 이미지를 생성할 수 있다(단계 804). 이것은 각각의 픽셀의 조명되지 않은 제2 이미지에서의 양만큼 감소된 적색, 녹색 및 청색 채널을 갖는 변경 이미지를 제공할 것이다. 그 다음, 특성화 모듈은, 각각의 픽셀에 대하여, 일련의 변경 이미지에 기초하여 색도 지문을 생성할 수 있다(단계 805). 도 8의 단계 805는 도 7의 단계 702와 실질적으로 유사하다. 이러한 색도 지문에는 각각의 픽셀에 대한 캘리브레이션된 a* 값 및 캘리브레이션된 b* 값을 획득하기 위해 캘리브레이션 행렬이 곱해질 수 있다(단계 806). 더욱 구체적으로는, 각각의 색도 지문에 캘리브레이션 행렬에서의 대응하는 항목이 곱해져 캘리브레이션된 a* 및 b* 값을 얻을 수 있다. 일반적으로, 캘리브레이션 행렬은 전자 장치의 로컬 메모리에 저장된다. 그러나, 캘리브레이션 행렬은 네트워크에 걸쳐 전자 장치가 연결된 원격 메모리로부터 검색될 수 있다.

그 후, 특성화 모듈은 각각의 픽셀이 L* 값, a* 값 및 b* 값으로 표현되도록 제1 이미지를 CIELAB 색 공간으로 변환할 수 있다(단계 807). 그러나 이러한 a* 및 b* 값을 사용하는 대신, 특성화 모듈은 단계 806에서 획득된 캘리브레이션된 a* 및 b* 값으로 이들을 대체하여 캘리브레이션된 이미지를 생성할 수 있다. 이러한 캘리브레이션된 이미지는 제1 이미지로부터의 L* 값 및 일련의 변경 이미지로부터 유도된 캘리브레이션된 a* 및 b* 값을 사용하여 색상을 표현할 수 있다.

물리적 가능성에 반하지 않는 한, 전술한 단계들은 다양한 순서 및 조합으로 수행될 수 있다는 것이 구상된다. 예를 들어, 도 6의 프로세스(600)의 다중 인스턴스는 다수의 이미지 세트에서 실행될 수 있다. 또한, 일부 실시예에서는 다른 단계도 포함될 수 있다. 예를 들어, 전자 장치는 검토를 위해 인터페이스에 캘리브레이션된 이미지를 디스플레이하게 할 수 있다. 전자 장치는 개인이 차이를 검토할 수 있도록 캘리브레이션된 이미지를 제1 이미지 근처에 디스플레이할 수 있거나, 전자 장치는 개인이 캘리브레이션된 이미지와 제1 이미지를 교대로 사용할 수 있도록 할 수 있다.

도 9a, 9b 및 9c는 다중 채널 광원(또는 간단히 "광원")이 장면을 차동 조명하기 위하여 일련의 조명 이벤트를 어떻게 수행할 수 있는지를 도시한다. 차동 조명은 도 6과 대하여 설명된 캘리브레이션 프로세스 및 도 8과 대하여 설명된 최적화 프로세스의 핵심일 수 있다.

예를 들어, 광원이 5개의 서로 다른 발광체 스펙트럼을 생성하는 5개의 서로 다른 색상 채널을 포함한다고 가정하자. 각각의 색상 채널은 전류로 개별적으로 구동될 수 있다. 더욱 구체적으로는, 각각의 색상 채널은 오프 상태(예를 들어, 출력 레벨이 0인 경우)와 최대 세기 상태(예를 들어, 출력 레벨이 255인 경우) 사이의 다수의 중간 상태로 어드레싱 가능할 수 있다. 일례로서, 전체 세기 상태는 대략 1암페어의 출력 전류에 대응할 수 있는 반면, 모든 중간 상태는 1 암페어의 일부에 대응할 수 있다.

상이한 발광체 스펙트럼을 생성하기 위해, 상이한 색상 채널의 구동 전류가 변동될 수 있다. 도 9a, 9b 및 9c는 대응하는 복합 발광체 스펙트럼과 함께 도시되는 채널 스펙트럼의 5가지 서로 다른 조합의 예를 포함한다. 여기에서, 각각의 복합 발광체 스펙트럼은 100의 출력 레벨에서의 4개의 색상 채널과 150의 출력 레벨에서의 1개의 색상 채널을 구동함으로써 생성된다. 그러나, 당업계에서의 통상의 기술자는 이러한 숫자들이 예시의 목적으로만 제공된다는 것을 인식할 것이다. 일반적으로, 하나의 출력 레벨이 다른 것보다 높은 한, 출력 레벨 자체는 중요하지 않지만, 백색광을 생성하기에 충분한 전류로 모든 색상 채널을 구동하는 것이 바람직할 수 있다. 도 9a, 9b 및 9c에서 볼 수 있는 바와 같이, 각각의 복합 발광체 스펙트럼은 서로 다른 스펙트럼 출력 분포(spectral power distribution(SPD))를 가진다.

고충실도 색 재현에 대한 필요성의 증거

도 10 내지 16은 고충실도로 색을 재현하기 위하여 본 명세서에서 설명된 기준 발광체 화이트 밸런스(reference illuminant white balance(RIWB)) 접근 방식이 필요한 이유를 예시한다. 각각의 도면에서, 왼쪽 상부 모서리에서의 제1 이미지는 AWB 설정을 이용하여 알려진 반사 스펙트럼이 없는 장면을 촬영한 것이고, 오른쪽 상단 모서리의 제2 이미지는 AWB 설정을 이용하여 알려진 반사 스펙트럼(여기서는, 컬러 체커)을 가진 동일한 장면을 촬영한 것이다. 개략적으로, 제2 이미지는 제1 이미지가 실제로 어떻게 보여야 하는지에 대한 "실측 자료"로 생각될 수 있다.

이 이미지들 아래에, 두 개의 행이 있다. 제1 행은 각각의 이미지의 분할된 부분 내의 픽셀의 평균 색상의 비교를 포함하고, 제2 행은 밝기 스케일링 작업 후 그 픽셀의 평균 색상의 비교를 시각적으로 포함한다. 이러한 평균 색상 값은 제1 이미지에서의 픽셀이 제2 이미지에 얼마나 가깝게 대응하는지에 대한 표시를 제공한다. 이러한 평균 색상 값은 상당히 멀리 떨어져 있을 수 있다는 것에 유의하라. 실제로, 이러한 평균 색상 값은 색상 오류에 대응하는 델타 E(dE) 값으로 표시될 때 대부분의 경우 서로 쉽게 구별 가능하다. 이러한 델타 E 값의 대부분은 5.0을 초과하며, 이는 제1 이미지와 제2 이미지 사이의 시각적 차이가 상당히 뚜렷하다는 것을 의미한다. 본 명세서에 설명된 RIWB 접근 방식을 사용함으로써, 1.0 미만의 델타 E 값이 달성될 수 있다. 대부분의 경우, 델타 E 값이 1.0 미만인 색상 쌍은 시각적으로 서로 구별 가능하지 않을 것이다.

제2 행은 분할된 부분들이 동일한 밝기를 갖도록 조정된 것을 제외하고는 제1 행과 대체로 동일하다. 즉, 분할된 부분 내의 픽셀은 CIELAB 색 공간에서 동일한 L* 값을 갖도록 스케일링된다. 이것은, 알려진 반사 스펙트럼과 알려지지 않은 반사 스펙트럼을 비교할 때, 컬러 체커의 도입이 노출에 영향을 주어 제2 이미지를 더 밝거나 어둡게 만들 수 있기 때문에 수행된다. 제2 행에서 볼 수 있는 바와 같이, 제1 이미지와 제2 이미지의 분할된 부분들 사이의 밝기 레벨을 동일하게 했음에도 불구하고(즉, 이 이미지 중 더 어두운 부분을 밝게 그리고/또는 더 밝은 부분을 어둡게 하여) 색상은 여전히 현저히 떨어진다.

컴퓨팅 시스템

도 17은 본 명세서에 설명된 적어도 일부 동작이 구현될 수 있는 컴퓨팅 시스템(1700)의 일례를 도시하는 블록도이다. 예를 들어, 컴퓨팅 시스템(1700)의 일부 컴포넌트는 다중 채널 광원 및/또는 다중 채널 이미지 센서를 포함하는 전자 장치(예를 들어, 도 1의 전자 장치(150))의 일부일 수 있다.

컴퓨팅 시스템(1700)은, 버스(1716)에 통신 가능하게 연결된, 하나 이상의 중앙 처리 장치("프로세서"라고도 함)(1702), 주 메모리(1706), 비휘발성 메모리(1710), 네트워크 어댑터(1712)(예를 들어, 네트워크 인터페이스), 비디오 디스플레이(1718), 입력/출력 장치(1720), 제어 장치(1722)(예를 들어, 키보드 및 포인팅 장치), 저장 매체(1726)를 포함하는 드라이브 유닛(1724) 및 신호 생성 장치(1730)를 포함한다. 버스(1716)는 적절한 브리지, 어댑터 또는 컨트롤러에 의해 연결된 하나 이상의 물리적 버스 및/또는 포인트-투-포인트(point-to-point) 연결을 나타내는 추상적 개념이다. 따라서, 버스(1716)는 시스템 버스, PCI(Peripheral Component Interconnect) 버스 또는 PCI-Express 버스, HyperTransport 또는 ISA (industry standard architecture) 버스, SCSI(Small Computer System Interface) 버스, USB(universal serial bus), IIC(I2C) 버스 또는 IEEE(Institute of Electrical and Electronics Engineers) 표준 1394 버스("Firewire"라고도 함)를 포함할 수 있다.

컴퓨팅 시스템(1700)은 개인용 컴퓨터, 태블릿 컴퓨터, 휴대 전화, 게임 콘솔, 음악 플레이어, 웨어러블 전자 장치(예를 들어, 시계 또는 피트니스 트래커), 네트워크에 연결된("스마트") 장치(예를 들어, 텔레비전 또는 홈 어시스턴트 장치), 가상/증강 현실 시스템(예를 들어, 헤드 마운트 디스플레이) 또는 컴퓨팅 시스템(1700)에 의해 취해지는 동작(들)을 특정하는 (순차적 또는 기타) 명령어 세트를 실행할 수 있는 다른 전자 장치를 포함한다.

메인 메모리(1706), 비휘발성 메모리(1710) 및 저장 매체(1726)("기계 판독 가능한 매체"라고도 함)가 단일 매체인 것으로 도시되지만, "기계 판독 가능한 매체" 및 "저장 매체"라는 용어는 하나 이상의 명령어 세트(1728)를 저장하는 단일 매체 또는 다중 매체(예를 들어, 중앙 집중식/분산 데이터베이스 및/또는 관련 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. 또한, "기계 판독한 가능 매체" 및 "저장 매체"라는 용어는, 컴퓨팅 시스템(1700)에 의한 실행을 위해 명령어 세트를 저장, 인코딩 또는 반송할 수 있는 임의의 매체를 포함하는 것으로 간주되어야 한다.

일반적으로, 본 개시 내용의 실시예를 구현하기 위해 실행되는 루틴은 운영 체제 또는 특정 애플리케이션, 컴포넌트, 프로그램, 객체, 모듈 또는 명령어 시퀀스(총칭하여 "컴퓨터 프로그램"이라 한다)의 일부로서 구현될 수 있다. 컴퓨터 프로그램은 통상적으로 컴퓨팅 장치 내의 다양한 메모리 및 저장 장치에 다양한 시간에 설정된 하나 이상의 명령어(예를 들어, 명령어(1704, 1708, 1728))를 포함한다. 하나 이상의 프로세서(1702)에 의해 판독되고 실행될 때, 명령어(들)는 컴퓨팅 시스템(1700)이 본 개시 내용의 다양한 양태를 포함하는 요소를 실행하기 위한 동작을 수행하게 한다.

더욱이, 실시예가 완전히 기능하는 컴퓨팅 장치와 연계하여 설명되었지만, 당해 업계의 통상의 기술자는 다양한 실시예가 다양한 형태의 프로그램 제품으로서 배포될 수 있다는 것을 이해할 것이다. 본 개시 내용은 배포에 실제로 영향을 미치기 위해 사용된 특정 유형의 기계 또는 컴퓨터 판독 가능 매체에 관계없이 적용된다.

기계 판독 가능한 저장 매체, 기계 판독 가능한 매체 또는 컴퓨터 판독 가능한 매체의 추가 예에는 휘발성 및 비휘발성 메모리 장치(1710), 플로피 및 기타 이동식 디스크, 하드 디스크 드라이브, 광 디스크(예를 들어, CD-ROMS(Compact Disk Read-Only Memory), DVD(Digital Versatile Disks))와 같은 기록 가능한 유형의 매체와, 디지털 및 아날로그 통신 링크와 같은 전송 유형의 매체를 포함한다.

네트워크 어댑터(1712)는 컴퓨팅 시스템(1700)이 컴퓨팅 시스템(1700) 및 외부 엔티티에 의해 지원되는 임의의 통신 프로토콜을 통해 네트워크(1714) 내에서 컴퓨팅 시스템(1700) 외부에 있는 엔티티와 데이터를 중재할 수 있게 한다. 네트워크 어댑터(1712)는 네트워크 어댑터 카드, 무선 네트워크 인터페이스 카드, 라우터, 액세스 포인트, 무선 라우터, 스위치, 다계층 스위치, 프로토콜 변환기, 게이트웨이, 브리지, 브리지 라우터, 허브, 디지털 미디어 수신기 및/또는 중계기(repeater)를 포함할 수 있다.

네트워크 어댑터(1712)는 컴퓨터 네트워크 내에서 데이터의 액세스/프록시에 대한 허가를 통제 및/또는 관리하고 서로 다른 기계 및/또는 애플리케이션 사이의 다양한 신뢰 수준을 추적하는 방화벽을 포함할 수 있다. 방화벽은 (예를 들어, 엔티티들 사이에서 공유하는 리소스 및 트래픽의 흐름을 조절하기 위하여) 특정 세트의 기계와 애플리케이션, 기계와 기계, 그리고/또는 애플리케이션과 애플리케이션 사이의 미리 정해진 액세스 권한 세트를 강화할 수 있는 하드웨어 및/또는 소프트웨어의 임의의 조합을 갖는 임의의 개수의 모듈일 수 있다. 방화벽은 추가적으로 개인, 기계 및/또는 애플리케이션에 의한 객체의 액세스 및 작업 권한을 포함하는 허가 및 허가 권한이 처하는 상황을 상세히 열거하는 액세스 제어 리스트를 관리하고 그리고/또는 액세스할 수 있다.

본 명세서에 소개된 기술은 프로그래머블 회로(예를 들어, 하나 이상의 마이크로프로세서), 소프트웨어 및/또는 펌웨어, 특수 목적 하드와이어드(hardwired)(즉, 프로그램 불가능) 회로 또는 이러한 형태의 조합에 의해 구현될 수 있다. 특수 목적 회로는 하나 이상의 ASIC(Application-Specific Integrated Circuit), PLD(Programmable Logic Device), FPGA(Field-Programmable Gate Array) 등의 형태일 수 있다.

비고

청구된 내용의 주제의 다양한 실시예에 대한 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이것은 소진적이거나 공개된 정확한 형태로 청구된 내용을 제한하려고 의도되지 않는다. 많은 수정 및 변형이 당해 업계의 통상의 기술자에게 명백할 것이다. 실시예들은 본 발명의 원리와 그 실제 적용을 가장 잘 설명하기 위해 선택되고 설명되었으며, 따라서 관련 기술 분야에서의 통상의 기술자로 하여금 청구된 내용, 다양한 실시예 및 고려되는 특정 용도에 적합한 다양한 수정을 이해할 수 있게 한다.

상세한 설명이 특정 실시예들과 고려되는 최상의 모드를 설명하지만, 그 상세한 설명이 얼마나 상세하게 나타나 있는지에 관계없이, 이 기술은 여러 방식으로 실시될 수 있다. 실시예는 그 구현 세부 사항에서 상당히 다양할 수 있지만, 여전히 명세서에 의해 포함된다. 다양한 실시예의 특정 특징 또는 양태를 설명할 때 사용되는 특정 용어는 그 용어가 연관되는 기술의 임의의 특정 특성, 특징 또는 양태로 한정되도록 본 명세서에서 용어가 재정의되고 있다고 암시하는 것으로 간주되어서는 안 된다. 일반적으로, 다음의 청구범위에 사용된 용어는 이러한 용어가 본 명세서에 명시적으로 정의되지 않는 한, 본 명세서에 개시된 특정 실시예로 기술을 한정하는 것으로 해석되어서는 안 된다. 따라서, 기술의 실제 범위는 개시된 실시예뿐만 아니라 실시예를 실시하거나 구현하는 모든 균등적인 방식을 포함한다.

본 명세서에 사용된 언어는 주로 가독성 및 교육 목적으로 선택되었다. 이는 내용을 묘사하거나 한정하기 위해 선택되지 않았을 수 있다. 따라서 기술의 범위는 본 상세한 설명이 아니라 여기에 기초한 애플리케이션에 대한 임의의 청구범위에 의해 한정된다. 따라서, 다양한 실시예의 개시 내용은 다음의 청구범위에 제시된 바와 같은 기술의 범위를 제한하려는 것이 아니라 예시하려고 의도된다.

Claims (19)

1. 이미지 센서를 갖는 전자 장치를 캘리브레이션하기 위한 방법에 있어서,
   자동 화이트 밸런스(automatic white balance(AWB)) 설정을 이용하여 제1 노출 간격(exposure interval)에 걸쳐 적어도 하나의 알려진 반사 스펙트럼(reflectance spectrum)을 갖는 장면의 제1 이미지를 캡처하는 단계;
   고정 화이트 밸런스(fixed white balance(FWB)) 설정을 이용하여 상기 제1 노출 간격과 상이한 제2 노출 간격에 걸쳐 상기 장면의 제2 이미지를 캡처하는 단계;
   상기 FWB 설정을 이용하여 상기 장면의 일련의 차동 조명 이미지를 캡처하는 단계;
   상기 제1 이미지, 상기 제2 이미지 및 상기 일련의 차동 조명 이미지에 기초하여 캘리브레이션 행렬을 계산하는 단계; 및
   상기 캘리브레이션 행렬을 상기 전자 장치가 액세스할 수 있는 메모리에 저장하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   모든 색상 채널(colour channel)이 더 높은 세기의 하나의 색상 채널로 조명되는 일련의 조명 이벤트를 수행하는 방식으로 적어도 3개의 색상 채널을 갖는 광원의 각각의 색상 채널을 어드레싱하는 단계를 더 포함하고,
   상기 일련의 차동 조명 이미지는 상기 일련의 조명 이벤트와 함께 캡처되는, 방법.
3. 제1항에 있어서,
   상기 FWB 설정은 상기 전자 장치에 의해 제공된 다수의 사전 설정된 화이트 밸런스 중 하나인, 방법.
4. 제1항에 있어서,
   상기 제2 노출 간격은 상기 제1 노출 간격의 20% 이하인, 방법.
5. 제1항에 있어서,
   상기 계산하는 단계는,
   상기 일련의 차동 조명 이미지에서의 대응하는 픽셀의 적색, 녹색 및 청색 값으로부터 상기 제2 이미지 내의 각각의 픽셀의 적색, 녹색 및 청색 값을 감산함으로써 일련의 변경 이미지를 생성하는 단계;
   각각의 픽셀이 일련의 a* 값 및 일련의 b* 값으로 표현되도록 상기 일련의 변경 이미지를 CIELAB 색 공간으로 변환하는 단계;
   각각의 픽셀이 기준 a* 값 및 기준 b* 값으로 표현되도록 상기 제1 이미지를 CIELAB 색 공간으로 변환하는 단계;
   각각의 픽셀에 대하여,
   (i) 대응하는 상기 기준 a* 값 및 대응하는 상기 일련의 a* 값에 기초한 제1 선형 방정식; 및
   (ii) 대응하는 상기 기준 b* 값 및 대응하는 상기 일련의 b* 값에 기초한 제2 선형 방정식
   을 포함하는 선형 방정식 시스템을 형성하는 단계;
   각각의 픽셀에 대하여, 상기 제1 및 제2 선형 방정식에 최소 제곱 최적화를 수행하여 계수 벡터를 생성하는 단계; 및
   상기 캘리브레이션 행렬을 나타내는 데이터 구조를 상기 계수 벡터로 채우는 단계
   를 포함하는, 방법.
6. 제1항에 있어서,
   상기 제2 이미지가 캡처되는 상기 FWB 설정을 특정하는 입력을 수신하는 단계를 더 포함하는, 방법.
7. 제1항에 있어서,
   상기 적어도 하나의 기준 반사 스펙트럼은 중립 그레이 컬러(neutral gray color)의 평평한 표면을 갖는 그레이 카드에 의해 제공되는, 방법.
8. 제1항에 있어서,
   상기 적어도 하나의 기준 반사 스펙트럼은 IES(Illuminating Engineering Society) TM(Technical Memorandum) 30-15에서의 적어도 하나의 평가 샘플을 갖는 컬러 체커(color checker)에 의해 제공되는, 방법.
9. 이미지 센서를 갖는 전자 장치를 위해 생성된 캘러브레이션 행렬을 사용하기 위한 방법에 있어서,
   자동 화이트 밸런스(automatic white balance(AWB)) 설정을 이용하여 제1 노출 간격(exposure interval)에 걸쳐 장면의 제1 이미지를 캡처하는 단계;
   고정 화이트 밸런스(fixed white balance(FWB)) 설정을 이용하여 상기 제1 노출 간격과 상이한 제2 노출 간격에 걸쳐 상기 장면의 제2 이미지를 캡처하는 단계;
   상기 장면의 일련의 차동 조명 이미지를 캡처하는 단계;
   상기 일련의 차동 조명 이미지에서의 각각의 대응하는 픽셀의 적색, 녹색 및 청색 값으로부터 상기 제2 이미지 내의 각각의 픽셀의 적색, 녹색 및 청색 값을 감산함으로써 일련의 변경 이미지를 생성하는 단계;
   각각의 픽셀에 대하여, 상기 일련의 변경 이미지에 기초하여 색도 지문(chromaticity fingerprint)을 생성하는 단계;
   각각의 색도 지문에 상기 전자 장치의 메모리에 저장된 캘리브레이션 행렬을 곱하여 각각의 픽셀에 대하여 캘리브레이션된 a* 값 및 캘리브레이션된 b* 값을 획득하는 단계;
   각각의 픽셀이 L* 값, a* 값 및 b* 값으로 표현되도록 상기 제1 이미지를 CIELAB 색 공간으로 변환하는 단계; 및
   상기 L* 값, 상기 캘리브레이션된 a* 값 및 상기 캘리브레이션된 b* 값을 이용하여 색을 표현하는 캘리브레이션된 이미지를 생성하는 단계
   를 포함하는, 방법.
10. 제9항에 있어서,
    상기 일련의 차동 조명 이미지에서의 각각의 이미지는 상이한 발광체(illuminant) 스펙트럼에 대응하는, 방법.
11. 제10항에 있어서,
    각각의 발광체 스펙트럼은 하나의 색이 다른 색보다 더 높은 세기를 갖는 다수의 색의 광을 나타내는, 방법.
12. 제9항에 있어서,
    상기 일련의 차동 조명 이미지는 다중 채널 광원에 의해 수행된 일련의 차동 조명 이벤트와 함께 캡처되고, 상기 다중 채널 광원은 전자기 스펙트럼에서 서로 다른 파장에 대응하는 다수의 채널을 포함하는, 방법.
13. 제12항에 있어서,
    각각의 채널은 실질적으로 유사한 색의 광을 생성하도록 구성된 하나 이상의 발광체를 포함하는, 방법.
14. 제9항에 있어서,
    상기 색도 지문을 생성하는 단계는,
    각각의 픽셀이 일련의 a* 값 및 일련의 b* 값으로 표현되도록 상기 일련의 변경 이미지를 CIELAB 색 공간으로 변환하는 단계; 및
    각각의 픽셀에 대하여, 상기 색도 지문을 나타내는 벡터를 상기 일련의 a* 값 및 상기 일련의 b* 값으로 채우는 단계
    를 포함하는, 방법.
15. 제9항에 있어서,
    상기 전자 장치에 의해 생성된 인터페이스 상에 상기 캘리브레이션된 이미지를 디스플레이하게 하는 단계를 더 포함하는, 방법.
16. 제15항에 있어서,
    개인이 상기 인터페이스 상에 상기 캘리브레이션된 이미지와 상기 제1 이미지 사이에서 변경할 수 있게 하는 단계를 더 포함하는, 방법.
17. 렌즈를 통해 수집된 광으로부터 이미지를 생성하도록 구성된 이미지 센서;
    각각 실질적으로 유사한 색을 생성하는 하나 이상의 발광체를 포함하는 적어도 3개의 색상 채널을 어드레싱함으로써 광을 생성하도록 구성된 광원;
    상기 이미지 센서 및 상기 광원에 대하여 생성된 캘리브레이션 행렬을 저장하도록 구성된 메모리; 및
    프로세서로서,
    상기 렌즈를 통해 보일 수 있는 장면의 이미지를 캡처하기 위한 요청을 나타내는 입력을 수신하고;
    자동 화이트 밸런스(automatic white balance(AWB)) 설정을 이용하여 상기 장면의 제1 이미지가 캡처되게 하고;
    고정 화이트 밸런스(fixed white balance(FWB)) 설정을 이용하여 상기 장면의 제2 이미지가 캡처되게 하고;
    일련의 이미지가 상기 광원에 의해 수행된 일련의 차동 조명 이벤트와 함께 캡처되게 하고;
    각각의 픽셀에 대하여, 상기 제2 이미지에 대한 상기 일련의 이미지에서의 각각의 이미지의 비교에 기초하여 색도 지문을 생성하고;
    각각의 색도 지문에 상기 캘리브레이션 행렬을 곱하여 대응하는 상기 픽셀에 대한 캘리브레이션된 색상 값을 획득하고;
    픽셀 단위(per-pixel) 기반으로, 색상 값을 상기 캘리브레이션된 색상 값으로 대체하여 상기 제1 이미지를 캘리브레이션하고; 그리고
    캘리브레이션된 상기 제1 이미지를 인터페이스 상에 디스플레이하게
    하도록 구성된 상기 프로세서
    를 포함하는, 전자 장치.
18. 제17항에 있어서,
    상기 제1 이미지는 제1 노출 간격에 걸쳐 캡처되고, 상기 제2 이미지는 상기 제1 노출 간격과 상이한 제2 노출 간격에 걸쳐 캡처되는, 전자 장치.
19. 제17항에 있어서,
    상기 캘리브레이션된 색상 값은 캘리브레이션된 a* 값 및 캘리브레이션 b* 값을 포함하는, 전자 장치.

Images