KR20180016385A - 자동 화이트 밸런스를 위한 동적 프레임 스킵 - Google Patents

Abstract

자동 화이트 밸런스를 위한 동적 프레임 스킵
소정의 양태들은 AWB 이득 조정들을 위한 AWB 계산들에 대한 프레임 스킵을 동적으로 구성하는 시스템들 및 기법들에 관한 것이다. 예를 들어, RGB 값들이 다수의 프레임들에 걸쳐 안정하다고 여겨지는 경우, AWB 계산들을 위해 사용되는 프레임 스킵 값은 증가될 수 있다. 변화하는 RGB 값들은 변화하는 장면 및/또는 변화하는 발광체와 같은 이미지 변화들의 표시자들이며, 이것은 업데이트된 AWB 계산들에 대한 필요를 나타낼 수 있고, 이에 따라 프레임 스킵 값은 제로 또는 낮은 수의 프레임들로 설정될 수 있다.

Description

자동 화이트 밸런스를 위한 동적 프레임 스킵

여기에 개시된 시스템들 및 방법들은 디지털 이미징에서의 자동 화이트 밸런스로 지향되며, 특히 자동 화이트 밸런스에서 프레임 스킵을 동적으로 구성하는 것에 관한 것이다.

화이트 밸런스는 직접 화이트로 보이는 오브젝트들이 이미지에서 화이트로 렌더링되도록 이미지들로부터 비현실적인 컬러 캐스트들을 제거하는 프로세스를 수반한다. 부적절한 화이트 밸런스는 보기 흉한 청색, 오렌지색, 또는 심지어 녹색 컬러 캐스트들을 생성할 수 있다. 적절한 화이트 밸런스는 광의 상대적인 따뜻함 또는 차가움을 지칭하는, 광원의 컬러 온도를 고려하며 - 여기서 발광체로서도 지칭되는 광원들은 순수한 화이트가 아닐 수도 있고, 대신에 특정의 컬러를 향한 편향을 가질 수도 있다. 인간의 지각은 컬러들이 넓은 범위의 조명 조건들에 대해 상대적으로 일관성이 있어 보이도록, 순수한 화이트가 아닌 조명을 보상할 수 있다.

그러나, 카메라들은 발광체가 변하는 경우 동일한 장면을 상이하게 지각할 수도 있다. 디지털 카메라 또는 비디오 리코더와 같은 전자 이미지 캡쳐 디바이스에서 사용되는 통상적인 센서는 비순수 화이트 소스로부터의 조명에 기여할 수 있는 컬러 시프트를 나타내는 이미지를 캡쳐할 수도 있다. 캡쳐된 이미지에 나타나는 컬러 시프트는 인간의 눈에 비자연스럽게 보이고, 센서 또는 캡쳐 디바이스가 실세계 이미지들을 정확하게 캡쳐할 수 없는 것에 기인하여 저품질이라는 인식을 생성할 수도 있다.

카메라들은 상이한 컬러 온도들의 광원들에 의해 조명될 때 어떤 오브젝트들이 화이트인지를 결정하기를 시도하기 위해 자동 화이트 밸런스 (AWB) 를 수행한다. 캡쳐된 이미지는 발광체의 조명 조건들 및 컬러 온도를 보상하기 위해 프로세싱될 수도 있다. 화이트 밸런스 보상은 조명체의 컬러 온도에 의존한다. 제 1 컬러 온도에서의 발광체에 대해 구성된 화이트 밸런스 보상은 제 2 발광체의 컬러 온도를 교정하지 않을 수도 있고, 이미지로 추가적인 컬러 시프트를 도입함으로써 이미지 품질을 더욱 열화시킬 수도 있다. 디지털 이미지에서의 색조 (color tone) 가 예를 들어 무 화이트 밸런싱 또는 올바르지 않은 화이트 밸런싱으로 인해 오프 (off) 인 경우, 이미지에 대한 인간의 지각은 불쾌할 수도 있다.

본 개시의 시스템들, 방법들 및 디바이스들 각각은 수개의 혁신적인 양태들을 가지며, 이것들 중 단일의 하나가 여기에 개시된 바람직한 속성들에 대해 유일하게 책임이 있지 않다.

일반적으로, 본 개시는 자동 화이트 밸랜스에서의 프레임 스킵을 동적으로 구성하는 것에 관련된다. 일부 디지털 카메라들은 자동 화이트 밸랜스 (AWB) 를 특색으로 삼으며, 이것에 의해 카메라는 이미지의 전체 컬러를 분석하고 최적의 화이트 밸런스를 계산한다. 예시하자면, 카메라는 30 fps 의 프레임 레이트로 (통계 프레임들로서도 지칭되는) 프레임들을 캡쳐할 수도 있다. 통계 프레임들로서도 지칭되는 이들 프레임들은 AWB 계산들 뿐아니라 다른 이미지 프로세싱 동작들, 예를 들어 자동 포커스 및 자동 노출 제어를 수행하기 위한 데이터를 생성하기 위해 사용될 수도 있다. AWB 계산들은 통상적으로 하나 걸러 하나의 (every alternate) 통계 프레임에 대해 수행된다. 이와 같이, AWB 알고리즘은 계산 집약적일 수 있어서, 높은 중앙 프로세싱 유닛 (CPU) 및/또는 이미지 프로세서 사용을 초래하고 디바이스 전력의 높은 사용을 야기하며, 이것은 저장된 전력을 사용하는 휴대용 디바이스들에서 특히 바람직하지 않을 수 있다.

무엇보다도, 이들 문제들은 여기에 기술된 동적 프레임 스킵핑 기법들에 의해 일부 실시형태들에서 다루어진다. 일부 실시형태들에서, AWB 계산들은 프레임 스킵을 동적으로 컴퓨팅하기 위해 사용될 수 있는 RGB 이득들을 출력하며, 이것에 의해 이미지 품질에 부정적으로 영향을 주지 않고 AWB 의 전력 코스트들을 감소시킨다. 안정적인 장면들은 거의 변하지 않는 RGB 이득들을 가질 수 있으며, 이리하여 프레임 스킵은 일단 장면이 안정화했다고 결정되면 증가될 수 있다. 프레임 스킵은 장면이 변화한 것으로서 식별되는 경우 감소될 수 있다. 예를 들어, RGB 이득들이 다수의 프레임들에 걸쳐 안정한 것으로 생각되면, 프레임 스킵 값 (즉, 수행하는 AWB 계산들 사이에 스킵된 프레임들의 수) 이 증가될 수 있다. 변화하는 RGB 이득들은 변화하는 장면 및/또는 변화하는 발광체와 같은 이미지 변화들의 표시자들이며, 이것은 업데이트된 AWB 계산들에 대한 필요를 나타낼 수 있고, 이에 따라 프레임 스킵 값은 제로 또는 낮은 수의 프레임들로 설정될 수 있다. AWB 계산들에서의 프레임 스킵 값들의 그러한 동적 계산은 일단 AWB 출력이 안정하면 CPU 사용을 감소시키는 것을 도울 수 있다.

이에 따라, 하나의 양태는 자동 화이트 밸런스를 수행하기 위해 프레임 스킵을 동적으로 구성하는 것을 수행하는 방법에 관한 것이며, 방법은 적어도 현재의 프레임 및 이전의 프레임을 포함하는 이미지 데이터를 수신하는 단계; 현재의 프레임과 이전의 프레임 사이의 RGB 값들에서의 차이를 계산하는 단계; 및 RGB 값들에서의 차이에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에 스킵할 프레임들의 수를 결정하는 단계를 포함한다.

다른 양태는 이미지 센서상의 복수의 로케이션들 중 하나에 각각 로케이팅된 감광 엘리먼트들의 어레이를 갖는 이미지 센서; 및 적어도 하나의 프로세서를 포함하는 이미지 캡쳐 시스템에 관한 것이며, 적어도 하나의 프로세서는 적색, 녹색 및 청색 채널들을 갖는 이미지 데이터를 수신하는 것으로서, 상기 이미지 데이터는 적어도 현재의 프레임 및 이전의 프레임을 나타내고, 현재의 프레임은 제 1 복수의 화소들을 포함하고 이전의 프레임은 제 2 복수의 화소들을 포함하는, 상기 이미지 데이터를 수신하고; 제 1 복수의 화소들 중 하나로부터 제 1 값을 식별하는 것, 및 제 2 복수의 화소들 중 대응하는 하나로부터 제 2 값을 식별하는 것, 및 제 1 값과 제 2 값 사이의 변화를 계산하는 것에 기초하여, 적색, 녹색 및 청색 채널들 각각에 대해, 그리고 감광 엘리먼트들의 복수의 로케이션들의 적어도 서브세트 각각에 대응하는 화소 값들로부터 RGB 이득 정보를 계산하며; RGB 이득 정보에 기초하여, 복수의 로케이션들의 서브세트의 적어도 하나에 대해 제 1 값과 제 2 값 사이의 최대 차이를 나타내는 최대 변화 값을 결정하고; 그 최대 변화 값을 적어도 하나의 임계값과 비교하며; 그 최대 변화 값을 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에 스킵할 프레임들의 수를 결정하도록 구성된다.

일부 실시형태들에서, 적어도 하나의 프로세서는 또한 최대 변화 값을 제 1 임계값과 비교하는 것; 및 최대 변화 값이 제 1 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에 스킵할 프레임들의 수를 최대 프레임 스킵 값으로 설정하는 것에 기초하여 최대 변화 값을 적어도 하나의 임계값과 비교하도록 구성될 수 있다. 최대 프레임 스킵 값은 10 개의 프레임들일 수 있다. 제 1 임계값은 1 퍼센트일 수 있고, 최대 변화 값은 복수의 로케이션들의 서브세트의 적어도 하나에 대해 제 1 값과 제 2 값 사이의 퍼센티지 차이를 나타낼 수 있다. 최대 변화 값이 제 1 임계값보다 크다고 결정하는 것에 응답하여, 적어도 하나의 프로세서는 또한 최대 변화 값을 제 2 임계값과 비교하고; 최대 변화 값이 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 중간 프레임 스킵 값으로 설정하도록 구성될 수 있으며, 여기서 중간 프레임 스킵 값은 최대 프레임 스킵 값보다 작다. 최대 변화 값이 제 2 임계값보다 크다고 결정하는 것에 응답하여, 적어도 하나의 프로세서는 또한 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 최소 프레임 스킵 값으로 설정하도록 구성될 수 있으며, 여기서 최소 프레임 스킵 값은 중간 프레임 스킵 값보다 작다. 제 2 임계값은 3 퍼센트일 수 있고, 최대 변화 값은 복수의 로케이션들의 서브세트의 적어도 하나에 대해 제 1 값과 제 2 값 사이의 퍼센티지 차이를 나타낼 수 있다.

일부 실시형태들에서, 적어도 하나의 프로세서는 또한 복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하고; 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하며; 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하는 것으로서, 복수의 추가적인 프레임들에서의 프레임들의 수가 프레임들의 결정된 수와 동일한, 상기 AWB 계산들을 수행하는 것을 스킵하고; 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 것으로서, 복수의 추가적인 프레임들의 서브세트는 제 1 및 제 2 추가적인 프레임들 사이에 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하도록 구성될 수 있다. 적어도 하나의 프로세서는 또한 복수의 추가적인 프레임들 중 적어도 일부에 기초하여 AWB 계산들을 수행하는 것 사이에 스킵할 프레임들의 업데이트된 수를 계산하도록 구성될 수 있다. 적어도 하나의 프로세서는 또한 스킵할 프레임들의 업데이트된 수에 기초하여 추가적인 복수의 추가적인 프레임들에 대해 AWB 계산들을 수행하도록 구성될 수 있다.

일부 실시형태들은 이미지 센서와 타겟 이미지 장면으로부터의 인커밍 광 사이에 위치된 컬러 필터 어레이를 더 포함할 수 있으며, 컬러 필터 어레이는 적색, 녹색, 및 청색 채널들 중 하나에 각각 대응하는 복수의 대역 통과 필터들을 포함한다.

다른 양태는 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법에 관한 것이며, 그 방법은 이미지 센서상의 복수의 로케이션들 중 하나에 각각 로케이팅된 감광 엘리먼트들의 어레이를 포함하는 이미지 센서로부터, 적어도 현재의 프레임 및 이전의 프레임을 나타내는 이미지 데이터를 수신하는 단계로서, 현재의 프레임은 제 1 복수의 화소들을 포함하고 이전의 프레임은 제 2 복수의 화소들을 포함하는, 상기 이미지 데이터를 수신하는 단계; 적어도 하나의 컬러 채널에 대해, 그리고 감광 엘리먼트들의 복수의 로케이션들의 적어도 서브세트의 각각에 대응하는 화소 값들로부터, 제 1 복수의 화소들 중 하나로부터 제 1 값을, 및 제 2 복수의 화소들 중 대응하는 하나로부터 제 2 값을 식별하는 단계; 제 1 프레임으로부터의 제 1 복수의 화소들 중 하나의 제 1 값과 제 2 프레임의 제 2 복수의 화소들 중 대응하는 하나의 제 2 값 사이의 변화 값을 계산하는 단계; 변화 값을 적어도 하나의 임계값과 비교하는 단계; 및 변화 값을 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하는 단계를 포함한다.

일부 실시형태들에서, 변화 값을 적어도 하나의 임계값과 비교하는 단계는 변화값을 제 1 임계값과 비교하는 단계; 및 변화 값이 제 1 임계값이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 최대 프레임 스킵 값으로 설정하는 단계를 포함한다. 방법은, 변화 값이 제 1 임계값보다 크다고 결정하는 것에 응답하여, 변화값을 제 2 임계값과 비교하는 단계; 및 변화 값이 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 중간 프레임 스킵 값으로 설정하는 단계를 더 포함할 수 있으며, 여기서 중간 프레임 스킵 값은 최대 프레임 스킵 값보다 작다. 방법은 변화 값이 제 2 임계값보다 크다고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 최소 프레임 스킵 값으로 설정하는 단계를 더 포함할 수 있으며, 여기서 최소 프레임 스킵 값은 중간 프레임 스킵 값보다 작다.

변화 값을 계산하는 것은 현재의 프레임과 이전의 프레임 사이의 R, G, 및 B 이득들의 최대 변화를 컴퓨팅하는 것을 포함할 수 있다. 변화 값을 계산하는 것은 R, G, 및 B 이득들의 최대 변화를 복수의 이전의 프레임들의 쌍들 사이의 R, G, 및 B 이득들의 이력 평균과 비교하는 것을 포함할 수 있다. 방법은, R, G, 및 B 이득들의 최대 변화가 R, G, 및 B 이득들의 이력 평균보다 크다고 결정하는 것에 응답하여, R, G, 및 B 이득들의 최대 변화를 변화 값으로서 출력하는 단계; 및 R, G, 및 B 이득들의 최대 변화가 R, G, 및 B 이득들의 이력 평균보다 작다고 결정하는 것에 응답하여, R, G, 및 B 이득들의 이력 평균을 변화 값으로서 출력하는 단계를 더 포함할 수 있다.

방법의 일부 실시형태들은 복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하는 단계; 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계; 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하는 단계로서, 복수의 추가적인 프레임들에서의 프레임들의 수는 프레임들의 결정된 수와 동일한, 상기 WB 계산들을 수행하는 것을 스킵하는 단계; 및 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계로서, 복수의 추가적인 프레임들의 서브세트는 제 1 및 제 2 추가적인 프레임들 사이에서 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계를 더 포함할 수 있다.

다른 양태는 명령들을 저장한 비일시적 컴퓨터 판독가능 매체에 관한 것으로서, 그 명령들은, 실행될 때, 디바이스의 적어도 하나의 프로세서로 하여금, 적어도 현재의 프레임 및 이전의 프레임을 나타내는 이미지 데이터를 수신하게 하는 것으로서, 현재의 프레임은 제 1 복수의 화소들을 포함하고 이전의 프레임은 제 2 복수의 화소들을 포함하며, 제 1 및 제 2 복수의 화소들의 각각은 적어도 하나의 채널과 연관된 값을 갖는, 상기 이미지 데이터를 수신하게 하고; 적어도 제 1 복수의 화소들의 서브세트 및 제 2 복수의 화소들의 대응하는 서브세트의 값에 기초하여, 적어도 하나의 채널과 연관된 이득 값을 계산하게 하며; 이득 값을 적어도 하나의 임계값과 비교하게 하고; 이득 값을 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하게 한다.

일부 실시형태들에서, 비일시적 컴퓨터 판독가능 매체는 또한, 실행될 때, 적어도 하나의 프로세서로 하여금, 이득 값을 제 1 임계값과 비교하게 하고; 이득 값이 제 1 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에 스킵할 프레임들의 수를 최대 프레임 스킵 값으로 설정하게 하는 명령들을 저장했을 수 있다. 비일시적 컴퓨터 판독가능 매체는 또한, 실행될 때, 적어도 하나의 프로세서로 하여금, 이득 값이 제 1 임계값보다 크다고 결정하는 것에 응답하여, 이득 값을 제 2 임계값과 비교하게 하고; 이득 값이 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 중간 프레임 스킵 값으로 설정하게 하는 명령들을 저장했을 수 있으며, 여기서 중간 프레임 스킵 값은 최대 프레임 스킵 값보다 작다. 비일시적 컴퓨터 판독가능 매체는 또한, 실행될 때, 적어도 하나의 프로세서로 하여금, 이득 값이 제 2 임계값보다 크다고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 최소 프레임 스킵 값으로 설정하게 하는 명령들을 저장했을 수 있으며, 여기서 최소 프레임 스킵 값은 중간 프레임 스킵 값보다 작다. 이득 값을 계산하는 것은 현재의 프레임과 이전의 프레임 사이에서 R, G, 및 B 이득들의 최대 변화를 컴퓨팅하는 것을 포함할 수 있다.

비일시적 컴퓨터 판독가능 매체의 일부 실시형태들은 또한, 실행될 때, 적어도 하나의 프로세서로 하여금, 복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하게 하고; 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하게 하며; 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하게 하는 것으로서, 복수의 추가적인 프레임들에서의 프레임들의 수는 프레임들의 결정된 수와 동일한, 상기 WB 계산들을 수행하는 것을 스킵하게 하고; 및 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하게 하는 것으로서, 복수의 추가적인 프레임들의 서브세트는 제 1 및 제 2 추가적인 프레임들 사이에서 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하게 하는 명령들을 저장했을 수 있다.

다른 양태는 입사광을 감지하고 그 입사광을 나타내는 이미지 데이터를 출력하는 수단; 이미지 데이터의 제 1 프레임 및 제 2 프레임의 채널 데이터를 식별하는 수단; 제 1 프레임 및 제 2 프레임의 채널 데이터에 기초하여 채널 이득 값을 계산하는 수단; 채널 이득 값을 적어도 하나의 임계값과 비교하는 수단; 및 채널 이득 값을 적어도 하나의 임계값과 비교하는 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하는 수단을 포함하는 이미지 캡쳐 장치에 관한 것이다.

장치의 일부 실시형태들에서, 스킵할 프레임들의 수를 결정하는 수단은 채널 이득 값이 적어도 하나의 임계값보다 작은 경우 프레임들의 수를 높은 스킵 값으로 설정하고 채널 이득 값이 적어도 하나의 임계값보다 큰 경우 프레임들의 수를 낮은 스킵 값으로 설정하는 수단을 포함할 수 있다. 장치는 프레임들의 결정된 수에 부분적으로 기초하여 AWB 계산들을 수행하는 수단을 더 포함할 수 있다. 장치는 컬러 필터링하는 수단을 더 포함할 수 있으며, 컬러 필터링 수단은 감지 수단과 타겟 이미지 장면 사이에 위치되고, 컬러 필터 수단 및 감지 수단은 채널 데이터를 생성하기 위해 협조한다.

개시된 양태들은 개시된 양태들을 제한하지 않고 예시하기 위해 제공된, 첨부된 도면들 및 부록들과 함께 이하에 기술될 것이며, 유사한 지정들은 유사한 엘리먼트들을 표시한다.
도 1a 는 동적 프레임 스킵핑의 하나의 실시형태의 예시적인 예를 제공한다.
도 1b 는 프레임 스킵핑 임계값들의 하나의 실시형태의 예시적인 예를 제공한다.
도 2a 는 동적 프레임 스킵 능력들을 갖는 이미지 캡쳐 디바이스의 실시형태의 고레벨 개략도를 도시한다.
도 2b 는 도 2a 에 도시된 컴포넌트들의 일부 사이의 예시의 데이터 통신들을 도시한다.
도 3 은 여기에 기술된 동적 프레임 스킵핑 기법들을 구현하는 자동 화이트 밸런스 프로세스의 실시형태의 플로우챠트를 도시한다.
도 4 는 동적 프레임 스킵핑 프로세스의 실시형태의 플로우챠트를 도시한다.
도 5a 및 도 5b 는 여기에 기술된 동적 프레임 스킵핑 기법들의 예시의 카메라 론치 (launch) 사용 케이스를 도시한다.
도 6a 및 도 6b 는 여기에 기술된 동적 프레임 스킵핑 기법들의 예시의 카메라 장면 변화 사용 케이스를 도시한다.
도 7 은 동적 프레임 스킵핑 프로세스의 실시형태의 플로우챠트를 도시한다.

도입

본 개시의 실시형태들은 AWB 계산들 사이에서 스킵할 프레임들의 수를 동적으로 컴퓨팅하기 위한 시스템들 및 기법들에 관한 것이다. 일부 실시형태들에서, RGB 이득들 (연속적으로 캡쳐된 프레임들 사이의 R, G, 및 B 값들에서의 차이) 은 프레임 스킵을 동적으로 컴퓨팅하기 위해 사용될 수 있고, 이것에 의해 이미지 품질에 부정적으로 영향을 주지 않고 AWB 의 전력 코스트들을 감소시킨다. 예를 들어, RGB 이득들이 다수의 프레임들에 걸쳐 안정하다고 생각되는 경우, 프레임 스킵 값은 증가될 수 있는 반면, 프레임 스킵 값은 변화하는 RGB 이득들에 응답하여 제로 또는 낮은 수의 프레임들로 설정될 수 있다. AWB 계산들에서의 프레임 스킵 값들의 그러한 동적 계산은 일단 AWB 출력이 안정하면 프로세싱 및 전력 사용을 감소시키는 것을 도울 수 있다. 그러한 동적 프레임 스킵 기법들을 사용하는 AWB 계산의 일부 구현들은 현존하는 AWB 기법들에 비해 대략 30% - 40% CPU 이용 감소를 달성할 수 있다.

예시하자면, 일부 실시형태들은 프레임들의 미리 결정된 윈도우, 예를 들어, 10 개의 프레임들 내의 연속적인 프레임들 사이의 RGB 이득을 컴퓨팅할 수도 있으며, 여기서 RGB 이득 값들은 연속적인 프레임들 사이의 RGB 값들에서의 퍼센티지 변화를 나타낸다. 현재의 프레임과 이전의 프레임 사이의 RGB 이득들에서의 최대값은 RGB 이득들 이력에 저장될 수 있고, 저장된 값들은 평균될 수 있다. 가장 큰 RGB 이득들 값은 현재의 프레임의 최대 RGB 이득 값과 이력 값들의 평균 사이에서 식별될 수 있다. 이러한 가장 큰 값은 프레임 스킵을 위한 값을 결정하기 위해, 즉 AWB 계산들 사이에서 얼마나 많은 프레임들을 스킵할지를 결정하기 위해 하나 이상의 임계값들과 비교될 수 있다.

하나의 예에서, 그 가장 큰 값이 높은 스킵 임계값보다 작은 경우, AWB 계산들은 높은 프레임 스킵 레이트에서 수행될 수 있다. 그 가장 큰 값이 높은 스킵 임계값보다 큰 경우, 그 가장 큰 값은 낮은 스킵 임계값과 비교될 수 있다. 가장 큰 값이 낮은 스킵 임계값보다 작은 경우, AWB 계산들은 낮은 프레임 스킵 레이트에서 수행될 수 있다. 가장 큰 값이 낮은 스킵 임계값보다 큰 경우, AWB 계산들은 무 또는 최소 프레임 스킵핑으로 수행될 수 있다.

일부 실시형태들에서, 높은 스킵 임계값은 1% 로 설정될 수 있고, 낮은 스킵 임계값은 3% 로 설정될 수 있으며, 여기서 RGB 이득 값들은 연속하는 프레임들 사이의 RGB 값들에서의 퍼센티지 변화를 나타낸다. 이들 임계값들은 이미지 품질과 전력 소비 사이의 원하는 트레이드오프에 기초하여 구성가능할 수 있다. 이들 임계값들은 일부 실시형태에서 이미지 캡쳐 디바이스들의 교정 동안 설정될 수 있다. 다른 실시형태들에서, 이미지 캡쳐 디바이스의 사용자는 이미지 품질과 전력 사용 사이의 원하는 밸런스에 기초하여 설정들을 구성할 수 있을 수도 있다. 다른 실시형태들에서, 임계값들은 예를 들어 이미지 캡쳐 디바이스의 나머지 배터리 전력 및/또는 이미지 캡쳐 디바이스의 이용가능한 프로세싱 자원들에 기초하여 동적으로 변경될 수 있다.

다른 실시형태들에서, 3 개 이상의 임계값들이 사용될 수 있으며, 각각 연관된 프레임 스킵 값을 갖고 가장 큰 값은 임계값보다 작아야 하며, 여기서 가장 큰 값은 처음에 가장 작은 임계값과 그리고 마지막으로 가장 큰 임계값과 비교될 것이다. 다른 프레임 스킵 값 설정 변화들이 또한 가능하며, 예를 들어, 여기서 RGB 이득들 값의 하나 이상의 임계값들과의 비교는 최대 프레임 스킵 값까지 현재의 프레임 스킵 값에 가산하거나 현재의 프레임 스킵 값으로부터 감산하는 것을 야기한다.

다른 실시형태들에서, 윈도우는 10 개보다 더 크거나 더 적은 프레임들로 설정될 수 있다. 일부 구현들에서, 윈도우는 이미지 캡쳐가 계속됨에 따라 구 (old) 프레임들은 윈도우로부터 드롭되고 신 (new) 프레임들은 프레임 스킵 계산들에서의 사용을 위해 윈도우로 진입하도록 슬라이딩 윈도우일 수도 있다. RGB 이득들 이력에 저장된 데이터는 이에 따라 업데이트될 수 있다.

여기서 사용된 바와 같이, "연속적인 프레임들" 은 여기서 기술된 동적 프레임 스킵 계산 기법들에 대한 고려를 위한 큐 (queue) 에서의 인접한 프레임들을 지칭한다. 그 연속적인 프레임들은 연관된 이미지 센서에 의해 잇따라서 캡쳐되었을 수도 있고, 프레임 스킵 값이 비제로인 경우이긴 하지만, 연속적인 프레임들, 예를 들어 10 개 이상의 프레임들 사이에 시간 경과가 존재할 수도 있다.

대안의 실시형태들은 현재의 및 이전의 프레임들의 입력 통계 사이의 상관을 컴퓨팅하고, 상관 퍼센티지가 구성가능한 임계값보다 작은 경우에만 AWB 계산들을 수행할 수 있다. 일부 실시형태들은 이러한 상관 접근법을 동적 프레임 스킵 기법들과 결합할 수 있다.

주로 AWB 계산들의 콘텍스트에서 논의되지만, 여기에 기술된 프레임 스킵 기법들은 다른 이미지 프로세싱 기법들, 예를 들어 자동 노출 및 자동 포커스의 프로세싱 이용을 감소시키는 것을 위해 유용할 수 있다.

여러 실시형태들이 설명의 목적으로 도면과 함께 이하에 기술될 것이다. 개시된 개념들의 다수의 다른 구현들이 가능하다는 것이 인정되어야 하며, 여러 이점들이 개시된 구현들로 달성될 수 있다. 표제들은 참조를 위해 그리고 여러 섹션들을 로케이팅하는 것을 돕기 위해 여기에 포함된다. 이들 표제들은 그것들에 대해 기술된 개념들의 범위를 제한하도록 의도되지 않는다. 그러한 개념들은 전체 명세서 전체에 걸쳐 적용가능성을 가질 수도 있다.

자동 화이트 밸런스에 대한 동적 프레임 스킵의 개관

도 1a 는 AWB 계산들 사이에서 스킵할 프레임들의 수를 적응적으로 컴퓨팅하기 위한 동적 프레임 스킵 시스템 (100) 의 하나의 실시형태의 예시적인 예를 제공한다. 동적 프레임 스킵 시스템 (100) 은 AWB 모듈 (120) 및 동적 스킵 모듈 (130) 을 포함할 수 있다. AWB 모듈 (120) 과 분리된 것으로서 도시되지만, 동적 스킵 모듈 (130) 은 다른 구현들에서는 AWB 모듈 (120) 의 서브 모듈일 수 있다.

이미지 센서 (105) 로부터 독출된 프레임들 (110) 이 AWB 모듈 (120) 로 입력된다. 동적 프레임 스킵 시스템 (100) 의 일부 실시형태들은 카메라가 프리뷰 모드에 있는 동안 프리뷰 프레임들의 연속적인 스트림을 캡쳐할 수 있다. 프리뷰 모드에서, 동적 프레임 스킵 시스템 (100) 을 구현하는 디바이스의 디스플레이 스크린은 예를 들어 임의의 자동적으로 결정되거나 사용자 선택된 캡쳐 및/또는 포스트-프로세싱 설정들이 적용된 채로, 타겟 이미지 장면의 표현을 디스플레이할 수 있다. 그러한 프리뷰 프레임들은 일부 구현들에서 최종의, 캡쳐된 이미지보다 더 낮은 해상도일 수도 있다. 다른 실시형태들은 이미지 캡쳐 모드의 개시 후에 미리 결정된 시간 동안 프리뷰 프레임들을 캡쳐할 수도 있다. 프레임들 (110) 은 일부 구현들에서 그러한 상술된 프리뷰 프레임들일 수 있다. 다른 구현들에서, 프레임들 (110) 은 비디오 피드를 포함할 수 있다.

AWB 모듈 (120) 의 RGB 이득 컴퓨테이션 모듈 (124) 은 연속적인 프레임들 사이의 RGB 이득을 컴퓨팅한다. 일부 실시형태들에서, 한 쌍의 프레임들과 연관된 RGB 이득 값은 프레임들의 대응하는 화소들의 R,G,B 이득들에서의 최대 변화를 나타내는 값일 수 있다. 한 쌍의 프레임들과 연관된 RGB 이득 값은 프레임들의 화소들의 R,G,B 이득들의 합 또는 평균일 수 있다. RGB 이득은 퍼센티지 변화, 차이 값, 또는 비로서 저장될 수 있다. AWB 모듈 (120) 은 또한 AWB 계산들을 수행할 센서로부터의 프레임들을 선택하는데 있어서 결정된 프레임 스킵 값을 적용하도록 구성될 수 있는 AWB 계산 모듈 (122) 을 포함한다.

RGB 이득들은 RGB 이득 컴퓨테이션 모듈 (124) 로부터 동적 스킵 모듈 (130) 내의 RGB 이득 변화 레포지토리로 피딩된다. RGB 이득 델타 값들의 이력은 예를 들어 프레임들의 미리 설정된 윈도우에 대해 RGB 이득 변화 레포지토리 (131) 의 부분으로서 동적 프레임 스킵 모듈 내에 유지될 수 있다. 일부 구현들에서, 10 개의 가장 최근의 RGB 이득 값들이 프레임 스킵 값들을 계산하는데 사용하기 위해 데이터 레포지토리에 저장될 수 있다. 다른 구현들은 더 많거나 더 적은 RGB 이득 값들을 사용할 수 있으며, 예를 들어, 하나의 구현에서 가장 최근의 RGB 이득 값만이 사용될 수도 있다. RGB 이득 값들은 그 후 최대 변화 발견 모듈 (132) 에 의해 평가된다. 최대 변화 발견 모듈 (132) 은 하나의 예에서 현재의 프레임에 대한 최대 RGB 이득 변화 값 또는 RGB 이득 변화 데이터 레포지토리 내의 값들의 평균이 더 큰지 여부를 결정할 수 있다. 다른 예에서, 최대 변화 발견 모듈 (132) 은 RGB 이득 변화 레포지토리 (131) 에 의해 출력된 값들 중에서 가장 큰 RGB 이득 값을 식별할 수 있다.

가장 큰 값은 프레임 스킵 설정들을 어떻게 변경할지를 결정하기 위해 하나 이상의 임계값들과의 비교를 위해 최대 변화 발견 모듈 (132) 로부터 임계값 비교 모듈 (133) 로 출력될 수 있다. 임계값 비교 모듈 (133) 은 임계값(들) 데이터 레포지토리 (135) 로부터 임계값 데이터를 수신할 수 있다. 임계값 데이터는 하나 이상의 임계값들을 포함할 수 있으며, 여기서 각 임계값은 프레임 스킵 값과 연관된다. 이에 따라, 임계값 비교 모듈 (133) 은 적절한 프레임 스킵 값을 결정하기 위해 가장 큰 RGB 이득 값과 임계값(들) 사이의 비교를 수행할 수 있다.

프레임 스킵 값 설정 모듈 (134) 은 임계값 비교 모듈의 출력에 기초하여 프레임 스킵 값을 설정한다. 일부 예들에서, 임계값 비교 모듈 (133) 은 프레임 스킵 값을 출력할 수 있다. 다른 예들에서, 임계값 비교 모듈 (133) 은 가장 큰 RGB 이득 값과 임계값(들) 을 비교하는 것의 결과를 출력할 수 있고, 프레임 스킵 값 설정 모듈 (134) 은 데이터베이스를 액세스함으로써 대응하는 프레임 스킵 값을 식별할 수 있으며, 여기서 임계값 비교 결과들은 각각 프레임 스킵 설정과 연관된다. 하나의 예에서, 가장 큰 값은 가능하게는 임계값 비교 모듈 (133) 에 의해 2 개의 임계값들과 비교되며, 각각의 임계값은 낮은 프레임 스킵 설정 및 높은 프레임 스킵 설정 중 하나와 연관된다. 가장 큰 값이 높은 스킵 임계값보다 작은 경우, AWB 계산들은 높은 프레임 스킵에서 수행되도록 구성될 수 있다. 가장 큰 값이 높은 스킵 임계값보다 큰 경우, 가장 큰 값은 그 후 낮은 스킵 임계값과 비교될 수 있다. 가장 큰 값이 낮은 스킵 임계값보다 작은 경우, AWB 계산들은 낮은 프레임 스킵에서 수행되도록 구성될 수 있다. 가장 큰 값이 낮은 스킵 임계값보다 큰 경우, AWB 계산들은 어떠한 프레임 스킵핑도 수행하지 않거나 최소 프레임 스킵핑을 수행하도록 구성될 수 있다.

프레임 스킵 값은 결정된 프레임 스킵 값에 따라 후속적으로 캡쳐된 이미지 프레임들에 대해 AWB 계산들을 수행함에 있어서 사용하기 위해 AWB 계산 모듈 (122) 로 출력될 수 있다. 프레임 스킵 값은 또한 모든 연속적인 프레임들에 대해 RGB 이득들을 컴퓨팅하지는 않는 실시형태들에서 RGB 이득 컴퓨테이션 모듈 (124) 로 전송될 수 있다. 이에 따라, AWB 계산들에 의해 사용되는 컴퓨팅 자원들은 RGB 이득들에 기초하여 동적으로 감소될 수 있다.

기술된 모듈들은 하나 이상의 하드웨어 프로세서들에 의해 실행되는 소프트웨어 명령들로서 또는 전용 로직 회로로서 여러 실시형태들에서 구현될 수 있다.

도 1b 는 (x 축을 따라 도시된) 퍼센티지 RGB 변화 및 (y 축을 따라 도시된) 프레임 스킵 값들로서 표현된 프레임 스킵핑 임계값들의 하나의 실시형태의 예시적인 예 (140) 를 제공한다. 예시된 실시형태에서, 높은 스킵 임계값 (142) 은 1% RGB 이득 변화에 대응하고, 낮은 스킵 임계값 (152) 은 3% RGB 이득 변화에 대응한다. 높은 스킵 임계값 (142) 은 2 의 높은 프레임 스킵 값 (142) 과 연관되고, 낮은 스킵 임계값은 1 의 낮은 프레임 스킵 값 (144) 과 연관된다. 낮은 스킵 임계값 (152) 위의 RGB 이득 변화들은 제로의 최소 프레임 스킵 값 (146) 과 연관된다. 이에 따라, AWB 는 RGB 이득 값이 제로와 1 퍼센트 사이에 있는 경우 2 개의 프레임들을 스킵할 것이고, AWB 는 RGB 이득 값이 1 과 3 퍼센트 사이에 있는 경우 1 개의 프레임을 스킵할 것이며, AWB 는 RGB 이득 값이 3 퍼센트 위에 있는 경우 어떠한 프레임들도 스킵하지 않을 것이다. 이들 값들은 구성가능하고, 이미지 품질의 가능한 열화 및 프로세서 사용 및 연관된 전력 소비에서의 감소들 사이에서 트레이드오프를 반영하도록 다른 구현들에서 변화될 수 있다. 또, 임계값들의 수는 예를 들어 단일의 임계값만을 사용하거나 3 개 이상의 임계값들을 사용하여 다른 실시형태들에서 변할 수 있다.

예시의 이미지 캡쳐 디바이스의 개관

도 2a 는 동적 프레임 스킵핑 능력들을 갖는 이미지 캡쳐 디바이스 (200) 의 실시형태의 고레벨 개략도를 도시하며, 디바이스 (200) 는 카메라 (215) 에 링크된 이미지 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는다. 이미지 프로세서 (220) 는 또한 작업 메모리 (205), 메모리 (230), 및 디바이스 프로세서 (250) 와 통신하며, 디바이스 프로세서 (250) 는 차례로 스토리지 (210) 및 선택적 전자 디스플레이 (225) 와 통신한다.

디바이스 (200) 는 휴대용 개인 컴퓨팅 디바이스, 예를 들어, 이동 전화, 디지털 카메라, 태블릿 컴퓨터, 개인용 휴대정보단말 등일 수도 있다. 여기에 기술된 바와 같은 프레임 스킵핑 능력들 기법들을 사용하는 것이 이점들을 제공할 다수의 휴대용 컴퓨팅 디바이스들이 존재한다. 디바이스 (200) 는 또한 프레임 스킵핑 기법들이 이로울 고정 컴퓨팅 디바이스 또는 임의의 디바이스일 수도 있다. 복수의 애프리케이션들이 디바이스 (200) 상에서 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 전통적인 사진 및 비디오 애플리케이션들 뿐아니라 동적 프레임 스킵 구성과 관련된 애플리케이션들을 포함할 수도 있다.

이미지 캡쳐 디바이스 (200) 는 외부 이미지들을 캡쳐하기 위한 카메라 (215) 를 포함한다. 카메라 (215) 는 이미지 센서, 컬러 필터 어레이, 및 연관된 렌즈 어셈블리를 포함할 수 있다. 이미지 센서는 입사광을 전자 신호들로 변환하기 위한 감광 엘리먼트들의 어레이를 포함할 수 있다. 그러한 이미지 센서들은 소정의 실시형태들에서 광을 수신하고 수신된 광에 응답하여 이미지 데이터를 생성하는 전하 커플링 디바이스 (CCD), 상보적 금속 산화물 반도체 센서 (CMOS), 또는 임의의 다른 이미지 감지 디바이스를 포함할 수도 있다. 센서는, 센서에 의해 캡쳐된 이미지 데이터가 컬러 필터 어레이의 파장 패스 범위들에 대응하는 다수의 컬러 채널들을 포함하도록, 오버레잉 컬러 필터 어레이, 예를 들어, RGGB 베이어 컬러 필터가 제공될 수도 있다. RGB 이미지 데이터가 종래의 베이어 패턴을 갖는 센서들에 의해 생성되기 때문에, 본 개시는 주로 RGB 이득들의 콘텍스트에서 기술된다. 그러나, 개시된 프레임 스킵 기법들은 카메라 (215) 의 컬러 필터 어레이에 의해 생성된 바와 같은 다른 컬러 공간들에서의 이미지 데이터에 대해 동작하도록 변경될 수 있다. 그러한 다른 컬러 공간들은 몇가지 예들을 들자면, RGBN, YCbCr, YUV, 및 YIQ 컬러 공간들을 포함할 수 있고, 컬러 필터 어레이는 이들 컬러 공간들의 채널들에 대응하는 대역 통과 컬리 필터들의 모자이크를 포함할 수 있다. 이미지 센서는 스틸 사진들의 이미지 데이터를 획득할 수 있을 수도 있고 또한 캡쳐된 비디오 스트림에서의 모션에 관한 정보를 제공할 수도 있다. 카메라 (215) 는 하나의 개개의 센서를 포함할 수도 있거나 센서들의 어레이들을 포함할 수도 있다. 카메라 (215) 는 프리뷰 프레임들의 연속적이거나 간헐적인 캡쳐 및 프리-플래시 (pre-flash) 이미지 캡쳐 뿐아니라 풀 해상도 최종 이미지들의 캡쳐를 위해 구성될 수 있다.

이미지 프로세서 (220) 는 동적 프레임 스킵핑을 실행하기 위해 (프리뷰 프레임들로서 디스플레이될 수 있는) 수신된 통계 프레임들에 대해 여러 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (220) 는 범용 프로세싱 유닛이거나 이미징 애플리케이션들을 위해 특수하게 설계된 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 AWB 및 AEC 데이터 생성, 자동 포커스, 크롭핑, (예를 들어, 상이한 해상도로) 스케일링, 이미지 스티칭, 이미지 포맷 변환, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 프로세서 (220) 는 일부 실시형태들에서 복수의 프로세서들을 포함할 수도 있다. 프로세서 (220) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISPs) 또는 프로세서의 소프트웨어 구현일 수도 있다.

도시된 바와 같이, 이미지 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 연결된다. 도시된 실시형태에서, 메모리 (230) 는 캡쳐 제어 모듈 (235), 동적 스킵 모듈 (242) 을 포함하는 AWB 모듈 (240), 및 운영 시스템 (245) 을 저장한다. 메모리 (230) 의 모듈들은 여러 이미지 캡쳐, 이미지 프로세싱, 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (250) 의 이미지 프로세서 (220) 를 구성하는 명령들을 포함한다. 작업 메모리 (205) 는 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한 디바이스 (200) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 이미지 프로세서 (220) 에 의해 사용될 수도 있다.

AWB 모듈 (240) 은 통계 프레임들에 대해 AWB 계산들을 수행할 수 있고, 또한 서브모듈 동적 스킵 모듈 (242) 을 저장할 수 있다. AWB 모듈 (240) 은 일부 실시형태들에서 AWB 모듈 (120) 및 동적 스킵 모듈 (130) 을 포함할 수 있다. 함께, 이들 모듈들은 동적 프레임 스킵핑 계산들 및 연관된 AWB 기법들을 수행하기 위해 협력할 수 있다.

동적 스킵 모듈 (242) 은 동적 스킵 모듈 (130) 에 대해 도 1a 에서 상술된 서브모듈들을 포함할 수 있고, 연속적인 프레임들 사이의 RGB 이득들을 식별하기 위해, 다수의 예비적인 이미지들, 예를 들어 통계 프레임을 분석하도록 프로세서 (220) 를 구성하는 명령들을 저장하도록 구성될 수 있다. 상술된 바와 같이, RGB 이득들은 프로세서 사용 및 연관된 전력 소비를 감소시키기 위해 AWB 계산들에 대해 스킵할 프레임들의 수를 결정하기 위해 사용될 수 있다.

상술된 바와 같이, 이미지 프로세서 (220) 는 메모리들에 저장된 수개의 모듈들에 의해 구성된다. 캡쳐 제어 모듈 (235) 은 카메라 (215) 의 초점 위치를 조정하기 위해 이미지 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 캡쳐 제어 모듈 (235) 은 디바이스 (200) 의 전체 이미지 캡쳐 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡쳐 제어 모듈 (235) 은 카메라 (215) 를 사용하여 타겟 이미지 장면의 하나 이상의 프레임들을 포함하는 프리뷰 이미지 데이터를 캡쳐하기 위해 이미지 프로세서 (220) 를 구성하는 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 하나의 실시형태에서, 캡쳐 제어 모듈 (235) 은 그 후 프레임 스킵 계산들 및 AWB 계산들을 수행하기 위해 AWB 모듈 (240) 을 호출할 수도 있다.

운영 시스템 모듈 (245) 은 디바이스 (200) 의 작업 메모리 (205) 및 프로세싱 자원들을 관리하도록 이미지 프로세서 (220) 를 구성한다. 예를 들어, 운영 시스템 모듈 (245) 은 하드웨어 자원들, 예를 들어 카메라 (215) 를 관리하는 디바이스 구동기들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 상술된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 자원들과 직접 상호작용하지 않고, 대신에 운영 시스템 컴포넌트 (245) 에 로케이팅된 표준 서브루틴들 또는 API 들을 통해 작용할 수도 있다. 운영 시스템 (245) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 운영 시스템 모듈 (245) 은 또한 디바이스 프로세서 (250) 와 정보를 공유하도록 이미지 프로세서 (220) 를 구성할 수도 있다.

디바이스 프로세서 (250) 는 사용자에게 캡쳐된 이미지, 또는 캡쳐된 이미지의 프리뷰를 디스플레이하도록 디스플레이 (225) 를 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있거나 이미징 디바이스 (200) 의 부분일 수도 있다. 디스플레이 (225) 는 또한 이미지를 캡쳐하기 전에 사용을 위해 프리뷰 이미지를 디스플레이하는 뷰 파인더를 제공하도록, 예를 들어 사용자에게 AWB 보정된 컬러 캐스트를 갖는 이미지의 시각적 표현 또는 프레임 스킵 파라미터들을 조정하기 위한 사용자 인터페이스를 제시하도록 구성될 수도 있다. 디스플레이 (225) 는 LCD 또는 LED 스크린을 포함할 수도 있거나 터치 감지 기술들을 구현할 수도 있다.

디바이스 프로세서 (250) 는 스토리지 모듈 (210) 에 데이터, 예를 들어 캡쳐된 이미지들 및 RGB 이득들을 나타내는 데이터를 기입할 수도 있다. 스토리지 모듈 (210) 은 전통적인 디스크 디바이스로서 그래픽적으로 표현되지만, 본 기술분야에서의 통상의 기술자들은 스토리지 모듈 (210) 이 임의의 저장 매체 디바이스로서 구성될 수도 있다는 것을 이해할 것이다. 예를 들어, 스토리지 모듈 (210) 은 디스크 드라이브, 예를 들어, 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기-광학 디스크 드라이브, 또는 고체 상태 메모리, 예를 들어 플래시 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 다수의 메모리 유닛들을 포함할 수 있고, 그 메모리 유닛들 중 임의의 것은 이미지 캡쳐 디바이스 (200) 내에 있도록 구성될 수도 있거나 이미지 캡쳐 디바이스 (200) 의 외부에 있을 수도 있다. 예를 들어, 스토리지 모듈 (210) 은 이미지 캡쳐 디바이스 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 카메라로부터 제거가능할 수도 있는 캡쳐된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다. 스토리지 모듈 (210) 은 또한 디바이스 (200) 의 외부에 있을 수도 있고, 하나의 예에서 디바이스 (200) 는 예를 들어 네트워크 연결을 통해 스토리지 모듈 (210) 로 데이터를 무선으로 송신할 수도 있다.

도 2 는 프로세서, 이미징 센서, 및 메모리를 포함하는 별개의 컴포넌트들을 갖는 디바이스를 도시하지만, 본 기술분야의 통상의 기술자는 이들 별개의 컴포넌트들이 특정의 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다는 것을 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 예를 들어 코스트를 절약하고 및/또는 성능을 향상시키기 위해 프로세서 컴포넌트들과 결합될 수도 있다.

또, 도 2 는 수개의 모듈들을 포함하는 메모리 컴포넌트 (220) 및 작업 메모리를 포함하는 별개의 메모리 (205) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하지만, 본 기술분야의 통상의 기술자는 상이한 메모리 아키텍쳐들을 이용하는 수개의 실시형태들을 인식할 것이다. 예를 들어, 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 프로세서 명령들은 이미지 프로세서 (220) 에 의한 실행을 용이하게 하기 위해 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (205) 는 RAM 메모리를 포함할 수도 있고, 명령들은 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 로 로딩된다.

도 2b 는 도 2a 에 도시된 컴포넌트들의 일부 사이의 예시의 데이터 통신들을 도시한다. 예를 들어, 카메라 (215) 의 센서 (215A) 는 ISP (220) 로 화소 값들을 나타내는 데이터를 전송할 수 있다. ISP (220) 는 프리뷰 프레임들을 생성하고 디스플레이 (225) 로 그것들을 전송하기 위해 화소 값들을 사용할 수 있다. 예를 들어, 프리뷰 프레임들은 AWB 보정들을 갖는 이미지 데이터를 포함할 수 있다. ISP (220) 는 또한 예를 들어 AWB (모듈 (240)), 자동 노출 등을 수행하기 위한 명령들을 포함하는 작업 메모리 (205) 에 저장된 이미지 프로세싱 모듈들로 통계를 전송할 수 있다. 이들 여러 모듈들은 화소 값들로부터 프리뷰 프레임들의 생성을 위해 ISP 로 다시 컬러 온도 및 RGB 이득들을 생성 및 전송하기 위해, 또는 센서 (215A) 로 다시 노출 구성들을 생성 및 전송하기 위해 통계를 사용할 수 있다. 다른 예들에서, 센서 (215A) 는 AWB 모듈 (240) 로 직접 프레임들을 전송할 수 있고, 통계는 AWB 모듈 (240) 에 의해 계산될 수 있다. 다른 이미지 캡쳐 파라미터들, 예를 들어 자동 포커스 구성들이 센서 (215A) 로 다시 출력될 수 있다.

동적 프레임 스킵 기법들의 개관

도 3 은 여기에 기술된 동적 프레임 스킵핑 기법들을 구현하는 자동 화이트 밸런스 프로세스 (300) 의 실시형태의 플로우챠트를 도시한다. 프로세스 (300) 는 일부 구현들에서 AWB 모듈 (240) 에 의해 수행될 수 있다.

처음에, AWB 가 초기화된다. 블록 (305) 에서, AWB 모듈 (240) 은 프레임 스킵 카운트가 제로 또는 최소 프레임 스킵 값으로 설정되는지 여부를 결정한다. 프레임 스킵 카운트가 제로로 설정되지 않는 경우, 블록 (315) 에서 AWB 모듈 (240) 은 프레임 스킵 카운트를 예를 들어 최소 프레임 스킵 값으로 감소시킨다. 블록 (317) 에서, AWB 모듈 (240) 은 감소된 프레임 스킵 값에서 AWB 계산들을 수행하고 AWB 이득들을 결정하기 위해 후속적으로 캡쳐된 이미지 프레임들에 감소된 프레임 스킵 값을 적용한다. 블록 (330) 에서, 이들 AWB 이득들은 ISP 로 전송된다.

프레임 스킵 카운트가 제로로 설정되는 경우, 블록 (325) 에서, AWB 모듈 (240) 은 캡쳐된 이미지 프레임들에 대해 템포럴 (temporal) 필터를 실행하고 (즉, AWB 계산들을 수행하기 위해 결정된 프레임 스킵 값을 적용하고), 그 이미지 프레임들에 AWB 계산들에 기초한 이득 조정들을 적용한다. 블록 (330) 에서, AWB 모듈은 AWB 이득들은 ISP 로 전송하고 프로세스 (300) 를 종료한다. 다른 실시형태들에서, 프로세스 (300) 는 프레임 스킵 값을 재결정하기 위해 블록 (310) 으로 거꾸로 루핑한다.

프레임 스킵 카운트가 제로로 설정되는 경우, 블록 (310) 에서 AWB 모듈 (240) 은 통계를 스크리닝하고 캡쳐된 이미지 프레임들에 대한 휴리스틱 (heuristics) 을 실행하기 위해 AWB 를 실행한다. 블록 (320) 에서, AWB 모듈은 AWB 모듈 (124, 240) 에 의해 생성된 RGB 이득 값들에 기초하여 프레임 스킵 값을 결정함으로써 동적 프레임 스킵을 구성하고, 템포럴 필터를 실행하고 이득 조정들을 적용하며, ISP 로 AWB 이득들을 전송하고, 프로세스를 종료한다.

도 4 는 도 3 의 자동 화이트 밸런스 프로세스 (300) 의 블록 (320) 으로서 일부 구현들에서 사용될 수 있는 동적 프레임 스킵핑 프로세스 (400) 의 실시형태의 플로우챠트를 도시한다. 프로세스 (400) 는 일부 예들에서 동적 스킵 모듈 (242) 에 의해 수행될 수 있다.

처음에, 동적 프레임 스킵 구성이 초기화된다. 블록 (405) 에서, 동적 프레임 스킵 모듈 (242) 은 현재 및 이전 프레임 사이의 R, G, B 이득들에서의 최대 변화 ("최대 델타") 를 컴퓨팅한다. 이것은 하나의 예에서 대응하는 화소 로케이션들에서 제 1 및 제 2 이미지 프레임들로부터 화소들의 R, G, 및 B 값들 사이의 퍼센티지 변화들을 계산함으로써 및 가장 큰 퍼센티지 변화를 식별하기 위해 각 화소 로케이션으로부터의 퍼센티지 변화들을 비교함으로써 최대 퍼센티지 변화로서 컴퓨팅될 수 있다. 다른 예에서, 최대 변화는 각각의 화소의 R, G, 및 B 값들을 상이한 이미지 프레임에서의 대응하는 화소 로케이션의 R, G, 및 B 값들로부터 감산하고, 차이 값들을 비교하며, 가장 큰 차이 값을 식별함으로써 최대 차이 값으로서 컴퓨팅될 수 있다. 일부 실시형태들은 모든 채널들의 가장 큰 이득을 식별하기 위해 R, G, 및 B 채널들로부터의 데이터를 개별적으로 비교할 수도 있다. 이러한 가장 큰 이득은 "최대 델타" 로서 여기서 지칭된다. 일부 실시형태들은 예를 들어 화소 로케이션에서 R, G, 및 B 값들을 합산하거나 평균함으로써 R, G, 및 B 이득들을 함께 고려할 수도 있다. 일부 실시형태들은 RGB 이득들을 계산하기 위해 R, G, 및 B 값들 중 하나 또는 2 개의 채널들만을 사용할 수도 있다. 프로세스 (400) 는 몇가지 예들을 들자면, RGBN, YCbCr, YUV, 및 YIQ 컬러 공간들을 포함하는 다른 컬러 공간들에서 이미지들에서의 채널 이득들을 사용하여 동작하도록 적응될 수 있다.

블록 (410) 에서 동적 프레임 스킵 모듈 (242) 은 이력에 최대 델타를 저장하고 이력 평균 델타를 계산할 수 있다. 블록 (415) 에서, 동적 프레임 스킵 모듈 (242) 은 예를 들어 최대 델타 = max (이력 평균, 현재 프레임 최대 델타) 에 의해 이력에서 최대 델타를 발견할 수 있다.

동적 프레임 스킵 모듈 (242) 은 이력에서의 최대 델타를 하나 이상의 임계값들과 비교할 수 있다. 예를 들어, 도시된 실시형태에서, 블록 (420) 에서, 동적 프레임 스킵 모듈 (242) 은 최대 델타를 높은 스킵 임계값과 비교할 수 있다. 최대 델타가 높은 스킵 임계값보다 작은 경우, 프로세스 (400) 는 블록 (425) 로 천이하고, 동적 프레임 스킵 모듈 (242) 은 AWB 계산들이 높은 프레임 스킵에서 수행되어야 한다는 것을 나타내는 데이터를 출력할 수 있다. 최대 델타가 높은 스킵 임계값보다 큰 경우, 프로세스 (400) 는 블록 (430) 으로 천이하고, 동적 프레임 스킵 모듈 (242) 은 최대 델타를 낮은 스킵 임계값과 비교할 수 있다. 최대 델타가 낮은 스킵 임계값보다 작은 경우, 프로세스 (400) 는 블록 (435) 으로 천이하고, 동적 프레임 스킵 모듈 (242) 은 AWB 계산들이 낮은 프레임 스킵에서 수행되어야 한다는 것을 나타내는 데이터를 출력할 수 있다. 최대 델타가 낮은 스킵 임계값보다 큰 경우, 프로세스 (400) 는 블록 (440) 으로 천이하고, 동적 프레임 스킵 모듈 (242) 은 AWB 계산들이 무 프레임 스킵핑으로 수행되어야 한다는 것을 나타내는 데이터를 출력할 수 있다. 이에 따라, 컬러 채널 이득들은 AWB 계산들을 수행하는 레이트를 동적으로 변화시키기 위해 사용될 수 있어, 이미지 품질에 대한 최소의 희생으로 또는 전혀 희생 없이 컴퓨팅 자원들을 보존한다.

예시의 사용 케이스들의 개관

도 5a 및 도 5b 는 여기에 기술된 동적 프레임 스킵핑 기법들의 예시의 카메라 론치 (launch) 사용 케이스를 도시한다.

도 5a 는 프레임 수 대 카메라 론치 시의 RGB 이득 변화들 ("델타") 의 플롯 표현 (500A) 을 도시하며, 여기서 델타는 이미지 프레임들 사이의 최대 퍼센티지 이득 변화를 나타낸다. 도시된 바와 같이, 델타는 론치 후에 감소하고, 대략 10 프레임들 후에, AWB 가 안정하다.

도 5b 는 도 5a 에 도시된 프레임들에 대한 프레임 수 대 프레임 스킵 값의 플롯 표현 (500B) 을 도시한다. 도시된 바와 같이, 일단 AWB 가 도 5a 에서 도시된 바와 같이 안정화하면, 프레임 스킵 값은 일정한 최대 값으로 설정된다.

도 6a 및 도 6b 는 여기에 기술된 동적 프레임 스킵핑 기법들의 예시의 카메라 장면 변화 사용 케이스를 도시한다.

도 6a 는 조명 변화를 포함하는 카메라 장면 변화 시의 프레임 수 대 델타의 플롯 표현 (600a) 을 도시한다. 도시된 바와 같이, 델타는 장면 변화 후에 비선형적으로 감소하고, 대략 20 프레임들 후에, AWB 가 안정하다. 도시된 델타 값들은 예시의 목적을 위한 것이고, 카메라 장면 변화 동안의 프레임들의 세트에 대한 실제의 데이터 값들은 장면의 특성 및 변화의 특성에 따라 변할 수 있다.

도 6b 는 도 6a 에 도시된 프레임들에 대한 프레임 수 대 프레임 스킵 값의 예시의 플롯 표현 (600B) 을 도시한다. 도시된 바와 같이, AWB 가 도 6a 에서 대략 10 프레임들에서 일시적으로 안정화하는 경우, 프레임 스킵은 중간 값에서 설정된다. 일단 AWB 가 도 6a 에 도시된 바와 같이 안정화하면, 프레임 스킵은 일정한 최대 값으로 설정된다. 이에 따라, 컴퓨팅 자원 절약들이 여전히 더 싼 요금으로 달성될 수 있는 반면 장면은 장면 변화 동안 안정화를 달성하고, 장면 변화 후에 AWB 계산들은 더 상당한 전력 절약들을 달성하기 위해 최대 프레임 스킵을 사용하여 수행된다.

AWB 에서의 추가적인 예시의 동적 프레임 스킵핑의 개관

도 7 은 여기에 기술된 동적 프레임 스킵핑 기법들을 구현하는 자동 화이트 밸런스 프로세스 (700) 의 실시형태의 플로우챠트를 도시한다. 프로세스 (700) 는 일부 구현들에서 도 1a 및/또는 도 2a 및 도 2b 의 컴포넌트들에 의해 수행될 수 있다.

블록 (705) 에서, AWB 모듈 (120) 은 적어도 현재 프레임 및 이전 프레임을 포함하는 이미지 데이터를 수신할 수 있다. 일부 실시형태들에서, 프레임들은 연속적일 수 있고, 다른 실시형태들에서 프레임들은 다수의 중간 프레임들에 의해 이격될 수 있다. 각 프레임은 다수의 화소들을 포함할 수 있고, 각 화소는 예를 들어 디모자이킹 (demosaicking) 을 통해 보간된 연관된 R, G, 및 B 값들을 갖는다.

블록 (710) 에서, AWB 모듈 (120) 은 현재 프레임 및 이전 프레임의 대응하는 화소들의 RGB 이득을 식별할 수 있다. 예를 들어, AWB 모듈은 현재 프레임에서의 제 1 화소의 제 1 RGB 이득들 및 이전 프레임에서의 제 2 화소의 제 2 RGB 이득들을 식별할 수 있으며, 여기서 신호들은 제 1 및 제 2 화소들이 상이한 시간들에 이미지 센서의 동일한 감지 엘리먼트에 의해 생성되었다는 것을 나타낸다. RGB 이득들의 콘텍스트에서 논의되지만, 프로세스 (700) 는 일부 실시형태들에서 RGB 이미지 데이터의 단일의 컬러 채널 또는 2 개의 컬러 채널들 상에서 동작하도록 변경될 수 있다. 다른 실시형태들에서, 프로세스 (700) 는 몇가지 예들을 들자면 RGBN, YCbCr, YUV, 및 YIQ 컬러 공간들을 포함하는 다른 컬러 공간들에서 이미지 데이터의 하나 이상의 채널들 상에서 동작하도록 변경될 수 있다. 이에 따라, 프로세스 (700) 에 대해 사용된 채널 값들은 이득 값 또는 상이한 종류의 화소 값, 예를 들어, 컬러 또는 휘도 값일 수 있다.

블록 (715) 에서, AWB 모듈 (120) 은 현재 프레임과 이전 프레임의 대응하는 화소들 사이의 RGB 이득들에서의 변화를 계산할 수 있다. RGB 이득들에서의 변화는 프레임들의 대응하는 화소들의 RGB 이득들에서의 변화를 나타내는 퍼센티지, 차이, 비, 합, 또는 평균 값일 수 있다. 일부 실시형태들에서, 그 변화는 현재 프레임과 이전 프레임 사이의 RGB 이득들에서의 최대 변화를 나타낼 수 있다.

선택적으로, 블록 (720) 에서, 동적 스킵 모듈 (130) 은 RGB 값들에서의 가장 큰 변화를 식별하기 위해 이전 프레임들의 그룹으로부터 결정된 유사한 값들과 RGB 이득들에서의 최대 변화를 비교할 수 있다. 예를 들어, 이전 프레임들로부터의 값들은 평균될 수 있고, 동적 스킵 모듈은 RGB 이득에서의 최대 변화가 평균보다 큰지 여부를 결정할 수 있다. RGB 이득에서의 최대 변화가 평균보다 크다면, RGB 이득에서의 최대 변화는 프레임 스킵 값을 식별하는데 사용하기 위해 출력될 수 있다. RGB 이득에서의 최대 변화가 평균보다 크다면, 동적 스킵 모듈 (130) 은 현재 및 이전 프레임으로부터의 RGB 이득에서의 최대 변화를 출력할 수 있다. RGB 이득들에서의 최대 변화가 평균보다 크지 않다면, 동적 스킵 모듈 (130) 은 평균 값을 출력할 수 있다.

블록 (725) 에서, 동적 스킵 모듈 (130) 은, 출력된 RGB 변화 값에 기초하여, 수행하는 AWB 계산들 사이를 스킵할 프레임들의 수를 결정할 수 있다. 예를 들어, 여기에 기술된 바와 같이, 출력된 RGB 변화 값은 수행하는 AWB 계산들 사이에 스킵할 프레임들의 대응하는 수를 식별하기 위해 하나 이상의 임계값들과 비교될 수 있다. 일반적으로, 더 작은 RGB 변화 값들의 결정된 임계값들과의 비교는, 더 작은 RGB 변화 값들이 이미지 장면에서의 더 작은 변화를 및 따라서 더 많은 안정화를 나타내기 때문에, 더 큰 프레임 스킵 값들을 산출해야 한다. 이에 따라, 하나의 프레임에 대해 수행되는 AWB 계산들은 각 프레임에 대해 AWB 계산들을 특정적으로 재계산할 필요 없이 안정화된 이미지 장면의 다수의 후속 프레임들을 위해 사용하기에 충분할 수도 있다. RGB 변화 값들이 증가하는 경우, AWB 계산들은 장면 변화들을 설명하기 위해 더 자주 수행될 수 있다.

블록 (730) 에서, 카메라 (215) 는 복수의 추가적인 이미지 프레임들을 캡쳐한다. 블록들 (705-725) 은 추가적인 이미지 프레임들에서의 연속적인 프레임들의 일부 또는 모든 쌍들에 대해 반복될 수 있다.

블록 (735) 에서, AWB 계산 모듈 (122) 은 AWB 계산들을 수행하기 위해 사용된 프레임들 사이에서 프레임들의 결정된 수를 스킵할 수 있다. 추가적인 이미지 프레임들이 캡쳐되고 새로운 프레임 스킵 수들이 식별됨에 따라, AWB 계산 모듈 (122) 은 이에 따라 업데이트될 수 있다.

구현 시스템들 및 용어

여기에 개시된 구현들은 동적 프레임 스킵 구성을 위한 시스템들, 방법들 및 장치들을 제공한다. 본 기술분야에서 통상의 기술자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이것의 임의의 조합으로 구현될 수도 있다는 것을 인식할 것이다.

일부 실시형태들에서, 상술된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 이용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하기 위해 사용되는 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화들, 스마트 폰들, 개인용 휴대정보단말 (PDAs), e-리더들, 게이밍 시스템들, 음악 재생기들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.

무선 통신 디바이스는 하나 이상의 이미지 센서들, 하나 이상의 이미지 신호 프로세서들, 및 상술된 동적 프레임 스킵 프로세스를 수행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 디바이스는 또한 데이터, 메모리로부터 명령들 및/또는 데이터를 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들 및 전원/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신길르 추가로 포함할 수도 있다. 송신기 및 수신기는 송수신기로서 공동으로 지칭될 수도 있다. 송수신기는 무선 신호들을 송신하는 것 및/또는 수신하는 것을 위해 하나 이상의 안테나들에 커플링될 수도 있다.

여기에 기술된 기능들 또는 프로세스 블록들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예로써, 그러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 여기서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩터 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 및 블루-레이® 디스크를 포함하며, 여기서 디스크 (disk) 는 보통 자기적으로 데이터를 재싱하는 반면, 디스크 (disc) 는 레이저들로 광학적으로 데이터를 재생한다. 컴퓨터 판독가능 매체는 유형적이고 비일시적일 수도 있다는 것을 주의해야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다.

여기에 개시된 방법들은 기술된 방법을 달성하기 위핸 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구범위의 범위로부터 일탈하지 않고 서로 교환될 수도 있다. 즉, 단계들 또는 액션들의 특정의 순서가 기술되고 있는 방법의 적절한 동작을 위해 요구되지 않는다면, 특정의 단계들 및/또는 액션들의 순서 및/또는 사용은 청구범위의 범위로부터 일탈하지 않고 변경될 수도 있다.

여기서 사용된 바와 같이, 용어 "복수" 는 2 이상을 나타낸다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 나타낸다. 용어 "결정하는 것" 은 다양한 액션들을 포함하고, 따라서, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 참조하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 참조하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 해를 구하는 것, 선택하는 것, 고르는 것, 확립하는 것 등을 포함할 수 있다. 어구 "~ 에 기초하여" 는 명확하게 달리 특정되지 않는다면 "~ 에만 기초하여" 를 의비하지 않는다. 즉, 어구 "~ 에 기초하여" 는 "~ 에만 기초하여" 및 "적어도 ~ 에 기초하여" 양자 모두를 기술한다.

예들은 플로우챠트, 흐름도, 유한 상태도, 구조도, 또는 블록도로서 묘사되는 프로세스로서 기술될 수도 있다. 플로우챠트가 순차적인 프로세스들로서 동작들을 기술할 수도 있지만, 다수의 동작들은 병렬로, 또는 동시적으로 수행될 수 있고, 프로세스는 반복될 수 있다. 또, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그것의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 함수, 프로시져, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응하는 경우, 그것의 종료는 호출 함수 또는 메인 함수로의 그 함수의 리턴에 대응한다.

개시된 구현의 이전의 기술은 본 기술분야의 임의의 기술자가 본 발명을 실시하거나 사용하는 것을 가능하게 하기 위해 제공된다. 이들 구현들에 대한 여러 변경들이 본 기술분야의 통상의 기술자들에게 용이하게 명백할 것이고, 여기에 정의된 일반 원리들은 본 발명의 사상 또는 범위로부터 일탈하지 않고 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 여기에 도시된 구현들에 제한되도록 의도되지 않고, 여기에 개시된 원리들 및 신규한 특징들과 일관된 최광의 범위에 따라야 한다.

Claims (30)

1. 이미지 캡쳐 시스템으로서,
   이미지 센서 상의 복수의 로케이션들 중 하나에 각각 로케이팅된 감광 엘리먼트들의 어레이를 갖는 이미지 센서; 및
   적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는,
   적색, 녹색 및 청색 채널들을 갖는 이미지 데이터를 수신하는 것으로서, 상기 이미지 데이터는 적어도 현재의 프레임 및 이전의 프레임을 나타내고, 상기 현재의 프레임은 제 1 복수의 화소들을 포함하고 상기 이전의 프레임은 제 2 복수의 화소들을 포함하는, 상기 이미지 데이터를 수신하고;
   상기 제 1 복수의 화소들 중 하나로부터 제 1 값을 식별하는 것, 및
   상기 제 2 복수의 화소들 중 대응하는 하나로부터 제 2 값을 식별하는 것, 및
   상기 제 1 값과 상기 제 2 값 사이의 변화를 계산하는 것
   에 기초하여, 상기 적색, 녹색 및 청색 채널들 각각에 대해, 그리고 상기 감광 엘리먼트들의 상기 복수의 로케이션들의 적어도 서브세트의 각각에 대응하는 화소 값들로부터 RGB 이득 정보를 계산하며;
   상기 RGB 이득 정보에 기초하여, 상기 복수의 로케이션들의 서브세트의 적어도 하나에 대해 상기 제 1 값과 상기 제 2 값 사이의 최대 차이를 나타내는 최대 변화 값을 결정하고;
   상기 최대 변화 값을 적어도 하나의 임계값과 비교하며;
   상기 최대 변화 값을 상기 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에 스킵할 프레임들의 수를 결정하도록
   구성된, 이미지 캡쳐 시스템.
2. 제 1 항에 있어서,
   상기 적어도 하나의 프로세서는 또한,
   상기 최대 변화 값을 제 1 임계값과 비교하는 것; 및
   상기 최대 변화 값이 상기 제 1 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에 스킵할 상기 프레임들의 수를 최대 프레임 스킵 값으로 설정하는 것
   에 기초하여 상기 최대 변화 값을 적어도 하나의 임계값과 비교하도록 구성되는, 이미지 캡쳐 시스템.
3. 제 2 항에 있어서,
   상기 최대 프레임 스킵 값은 10 개의 프레임들인, 이미지 캡쳐 시스템.
4. 제 2 항에 있어서,
   상기 제 1 임계값은 1 퍼센트이고,
   상기 최대 변화 값은 상기 복수의 로케이션들의 상기 서브세트의 상기 적어도 하나에 대해 상기 제 1 값과 상기 제 2 값 사이의 퍼센티지 차이를 나타내는, 이미지 캡쳐 시스템.
5. 제 2 항에 있어서,
   상기 최대 변화 값이 상기 제 1 임계값보다 크다고 결정하는 것에 응답하여, 상기 적어도 하나의 프로세서는 또한,
   상기 최대 변화 값을 제 2 임계값과 비교하고;
   상기 최대 변화 값이 상기 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 중간 프레임 스킵 값으로 설정하도록 구성되며,
   상기 중간 프레임 스킵 값은 상기 최대 프레임 스킵 값보다 작은, 이미지 캡쳐 시스템.
6. 제 5 항에 있어서,
   상기 최대 변화 값이 상기 제 2 임계값보다 크다고 결정하는 것에 응답하여, 상기 적어도 하나의 프로세서는 또한, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 최소 프레임 스킵 값으로 설정하도록 구성되고,
   상기 최소 프레임 스킵 값은 상기 중간 프레임 스킵 값보다 작은, 이미지 캡쳐 시스템.
7. 제 5 항에 있어서,
   상기 제 2 임계값은 3 퍼센트이고,
   상기 최대 변화 값은 상기 복수의 로케이션들의 상기 서브세트의 상기 적어도 하나에 대해 상기 제 1 값과 상기 제 2 값 사이의 퍼센티지 차이를 나타내는, 이미지 캡쳐 시스템.
8. 제 6 항에 있어서,
   상기 최소 프레임 스킵 값은 제로인, 이미지 캡쳐 시스템.
9. 제 1 항에 있어서,
   상기 적어도 하나의 프로세서는 또한,
   복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하고;
   상기 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하며;
   상기 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하는 것으로서, 상기 복수의 추가적인 프레임들에서의 프레임들의 수가 결정된 상기 프레임들의 수와 동일한, 상기 AWB 계산들을 수행하는 것을 스킵하고;
   상기 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 것으로서, 상기 복수의 추가적인 프레임들의 상기 서브세트는 상기 제 1 및 제 2 추가적인 프레임들 사이에 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하도록
   구성되는, 이미지 캡쳐 시스템.
10. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 상기 복수의 추가적인 프레임들 중 적어도 일부에 기초하여 수행하는 AWB 계산들 사이에 스킵할 업데이트된 프레임들의 수를 계산하도록 구성되는, 이미지 캡쳐 시스템.
11. 제 10 항에 있어서,
    상기 적어도 하나의 프로세서는 또한 스킵할 상기 업데이트된 프레임들의 수에 기초하여 추가적인 복수의 추가적인 프레임들에 대해 AWB 계산들을 수행하도록 구성되는, 이미지 캡쳐 시스템.
12. 제 1 항에 있어서,
    상기 이미지 센서와 타겟 이미지 장면으로부터의 인커밍 광 사이에 위치된 컬러 필터 어레이를 더 포함하고,
    상기 컬러 필터 어레이는 적색, 녹색, 및 청색 채널들 중 하나에 각각 대응하는 복수의 대역 통과 필터들을 포함하는, 이미지 캡쳐 시스템.
13. 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법으로서,
    이미지 센서 상의 복수의 로케이션들 중 하나에 각각 로케이팅된 감광 엘리먼트들의 어레이를 포함하는 이미지 센서로부터, 적어도 현재의 프레임 및 이전의 프레임을 나타내는 이미지 데이터를 수신하는 단계로서, 상기 현재의 프레임은 제 1 복수의 화소들을 포함하고 상기 이전의 프레임은 제 2 복수의 화소들을 포함하는, 상기 이미지 데이터를 수신하는 단계;
    적어도 하나의 컬러 채널에 대해, 그리고 상기 감광 엘리먼트들의 상기 복수의 로케이션들의 적어도 서브세트의 각각에 대응하는 화소 값들로부터, 상기 제 1 복수의 화소들 중 하나로부터 제 1 값을, 및 상기 제 2 복수의 화소들 중 대응하는 하나로부터 제 2 값을 식별하는 단계;
    제 1 프레임으로부터의 상기 제 1 복수의 화소들 중 하나의 상기 제 1 값과 제 2 프레임의 상기 제 2 복수의 화소들 중 상기 대응하는 하나의 상기 제 2 값 사이의 변화 값을 계산하는 단계;
    상기 변화 값을 적어도 하나의 임계값과 비교하는 단계; 및
    상기 변화 값을 상기 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하는 단계를 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
14. 제 13 항에 있어서,
    상기 변화 값을 적어도 하나의 임계값과 비교하는 단계는,
    상기 변화 값을 제 1 임계값과 비교하는 단계; 및
    상기 변화 값이 상기 제 1 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 최대 프레임 스킵 값으로 설정하는 단계를 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
15. 제 14 항에 있어서,
    상기 변화 값이 상기 제 1 임계값보다 크다고 결정하는 것에 응답하여,
    상기 변화 값을 제 2 임계값과 비교하는 단계; 및
    상기 변화 값이 상기 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 중간 프레임 스킵 값으로 설정하는 단계를 더 포함하고,
    상기 중간 프레임 스킵 값은 상기 최대 프레임 스킵 값보다 작은, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
16. 제 15 항에 있어서,
    상기 변화 값이 상기 제 2 임계값보다 크다고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 최소 프레임 스킵 값으로 설정하는 단계를 더 포함하고,
    상기 최소 프레임 스킵 값은 상기 중간 프레임 스킵 값보다 작은, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
17. 제 13 항에 있어서,
    상기 변화 값을 계산하는 단계는 상기 현재의 프레임과 상기 이전의 프레임 사이의 R, G, 및 B 이득들의 최대 변화를 컴퓨팅하는 단계를 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
18. 제 17 항에 있어서,
    상기 변화 값을 계산하는 단계는 R, G, 및 B 이득들의 상기 최대 변화를 복수의 이전의 프레임들의 쌍들 사이의 R, G, 및 B 이득들의 이력 평균과 비교하는 단계를 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
19. 제 18 항에 있어서,
    R, G, 및 B 이득들의 상기 최대 변화가 R, G, 및 B 이득들의 상기 이력 평균보다 크다고 결정하는 것에 응답하여, R, G, 및 B 이득들의 상기 최대 변화를 상기 변화 값으로서 출력하는 단계; 및
    R, G, 및 B 이득들의 상기 최대 변화가 R, G, 및 B 이득들의 상기 이력 평균보다 작다고 결정하는 것에 응답하여, R, G, 및 B 이득들의 상기 이력 평균을 상기 변화 값으로서 출력하는 단계를 더 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
20. 제 13 항에 있어서,
    복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하는 단계;
    상기 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계;
    상기 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하는 단계로서, 상기 복수의 추가적인 프레임들에서의 프레임들의 수는 결정된 상기 프레임들의 수와 동일한, 상기 WB 계산들을 수행하는 것을 스킵하는 단계; 및
    상기 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계로서, 상기 복수의 추가적인 프레임들의 상기 서브세트는 상기 제 1 및 제 2 추가적인 프레임들 사이에서 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하는 단계를 더 포함하는, 자동 화이트 밸런스를 수행하기 위해 프레임 스킵 값을 동적으로 구성하는 방법.
21. 명령들을 저장한 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행될 때, 디바이스의 적어도 하나의 프로세서로 하여금,
    적어도 현재의 프레임 및 이전의 프레임을 나타내는 이미지 데이터를 수신하게 하는 것으로서, 상기 현재의 프레임은 제 1 복수의 화소들을 포함하고 상기 이전의 프레임은 제 2 복수의 화소들을 포함하며, 상기 제 1 및 제 2 복수의 화소들의 각각은 적어도 하나의 채널과 연관된 값을 갖는, 상기 이미지 데이터를 수신하게 하고;
    적어도 상기 제 1 복수의 화소들의 서브세트 및 상기 제 2 복수의 화소들의 대응하는 서브세트의 값에 기초하여, 상기 적어도 하나의 채널과 연관된 이득 값을 계산하게 하며;
    상기 이득 값을 적어도 하나의 임계값과 비교하게 하고;
    상기 이득 값을 상기 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
22. 제 21 항에 있어서,
    실행될 때, 상기 적어도 하나의 프로세서로 하여금,
    상기 이득 값을 제 1 임계값과 비교하게 하고;
    상기 이득 값이 상기 제 1 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에 스킵할 상기 프레임들의 수를 최대 프레임 스킵 값으로 설정하게 하는 명령들을 더 저장한, 비일시적 컴퓨터 판독가능 저장 매체.
23. 제 22 항에 있어서,
    실행될 때, 상기 적어도 하나의 프로세서로 하여금, 상기 이득 값이 상기 제 1 임계값보다 크다고 결정하는 것에 응답하여,
    상기 이득 값을 제 2 임계값과 비교하게 하고;
    상기 이득 값이 상기 제 2 임계값 이하라고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 중간 프레임 스킵 값으로 설정하게 하는 것으로서, 상기 중간 프레임 스킵 값은 최대 프레임 스킵 값보다 작은, 상기 중간 프레임 스킵 값으로 설정하게 하는
    명령들을 더 저장한, 비일시적 컴퓨터 판독가능 저장 매체.
24. 제 23 항에 있어서,
    실행될 때, 상기 적어도 하나의 프로세서로 하여금, 상기 이득 값이 상기 제 2 임계값보다 크다고 결정하는 것에 응답하여, 수행하는 AWB 계산들 사이에서 스킵할 상기 프레임들의 수를 최소 프레임 스킵 값으로 설정하게 하는 명령들을 더 저장하고,
    상기 최소 프레임 스킵 값은 상기 중간 프레임 스킵 값보다 작은, 비일시적 컴퓨터 판독가능 저장 매체.
25. 제 21 항에 있어서,
    상기 이득 값을 계산하는 것은 상기 현재의 프레임과 상기 이전의 프레임 사이에서 R, G, 및 B 이득들의 최대 변화를 컴퓨팅하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
26. 제 21 항에 있어서,
    실행될 때, 상기 적어도 하나의 프로세서로 하여금,
    복수의 추가적인 프레임들을 나타내는 추가적인 이미지 데이터를 수신하게 하고;
    상기 복수의 추가적인 프레임들 중 제 1 추가적인 프레임에 대해 AWB 계산들을 수행하게 하며;
    상기 복수의 추가적인 프레임들의 서브세트에 대해 AWB 계산들을 수행하는 것을 스킵하게 하는 것으로서, 상기 복수의 추가적인 프레임들에서의 프레임들의 수는 결정된 상기 프레임들의 수와 동일한, 상기 WB 계산들을 수행하는 것을 스킵하게 하고; 및
    상기 복수의 프레임들 중 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하게 하는 것으로서, 상기 복수의 추가적인 프레임들의 상기 서브세트는 상기 제 1 및 제 2 추가적인 프레임들 사이에서 일시적으로 캡쳐된, 상기 제 2 추가적인 프레임에 대해 AWB 계산들을 수행하게 하는
    명령들을 더 저장한, 비일시적 컴퓨터 판독가능 저장 매체.
27. 이미지 캡쳐 장치로서,
    입사광을 감지하고 상기 입사광을 나타내는 이미지 데이터를 출력하는 수단;
    상기 이미지 데이터의 제 1 프레임 및 제 2 프레임의 채널 데이터를 식별하는 수단;
    상기 제 1 프레임 및 상기 제 2 프레임의 상기 채널 데이터에 기초하여 채널 이득 값을 계산하는 수단;
    상기 채널 이득 값을 적어도 하나의 임계값과 비교하는 수단; 및
    상기 채널 이득 값을 상기 적어도 하나의 임계값과 비교하는 것의 결과에 적어도 부분적으로 기초하여, 수행하는 AWB 계산들 사이에서 스킵할 프레임들의 수를 결정하는 수단을 포함하는, 이미지 캡쳐 장치.
28. 제 27 항에 있어서,
    상기 스킵할 프레임들의 수를 결정하는 수단은, 상기 채널 이득 값이 상기 적어도 하나의 임계값보다 작은 경우 상기 프레임들의 수를 높은 스킵 값으로 설정하고, 상기 채널 이득 값이 상기 적어도 하나의 임계값보다 큰 경우 상기 프레임들의 수를 낮은 스킵 값으로 설정하는 수단을 포함하는, 이미지 캡쳐 장치.
29. 제 27 항에 있어서,
    결정된 상기 프레임들의 수에 부분적으로 기초하여 AWB 계산들을 수행하는 수단을 더 포함하는, 이미지 캡쳐 장치.
30. 제 27 항에 있어서,
    상기 컬러 필터링하는 수단을 더 포함하며,
    상기 컬러 필터링하는 수단은 상기 감지 수단과 타겟 이미지 장면 사이에 위치되고,
    상기 컬러 필터링 수단 및 상기 감지 수단은 상기 채널 데이터를 생성하기 위해 협조하는, 이미지 캡쳐 장치.
    
    
    
    

Images