KR102003777B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

[과제] 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축하여 해상도나 채도의 저하 정도를 저감하는 것이 가능한 기술을 제공한다.
[해결수단] RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 검출부(30)와, 최대 화소값에 기초하여 영역마다 게인을 산출하는 제1 산출부(41)와, 제1 산출부(41)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 영역마다 수행하는 제1 승산부(51)를 구비하는 화상 처리 장치(1)가 제공된다. 영역은 세로 2화소 및 가로 2화소로 구성되어도 된다. 또한, 화상 처리 장치(1)는 화소값에 기초하여 화소마다 게인을 산출하는 제2 산출부(42)와, 제2 산출부(42)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 화소마다 수행하는 제2 승산부(52)와, 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과를 혼합하는 혼합부(60)를 더 구비해도 된다.

Description

화상 처리 장치 및 화상 처리 방법 {APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

최근에 단시간 노광의 화상(이하, 단지 「단노광 화상」이라고도 함)과 장시간 노광의 화상(이하, 단지 「장노광 화상」이라고도 함)을 연속하여 촬영하여 합성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 넘는 다이나믹 레인지를 잡은 화상을 얻는 WDR(와이드 다이나믹 레인지) 혹은 HDR(하이 다이나믹 레인지)이라는 촬영 기능이 늘어나고 있다. 이러한 촬영 기능은 역광 구도 등 명암비가 매우 큰 씬(scene)에서는 특히 큰 효과가 있고, 예를 들면 1장으로 촬영할 수 있는 밝기의 범위가 12bit 정도이어도 복수장을 합성함으로써 16bit나 20bit 등 매우 넓은 다이나믹 레인지를 잡을 수 있다.

그러나, 이러한 하이 다이나믹 레인지 신호를 만들어도 디스플레이 디바이스는 10bit 정도의 디스플레이 능력을 가지고, JPEG(joint photographic experts group) 포맷을 사용한 경우에는 8bit밖에 저장할 수 없는 현상이 있다. 그래서, 하이 다이나믹 레인지 신호를 강력하게 레인지 압축할 필요가 있다. 시스템이 복잡해지는 것을 막기 위해, 레인지 압축은 최대한 센서에 가까운 장소, 즉 베이어 또는 RAW 상태의 데이터를 대상으로 수행하는 것이 바람직하다.

RAW 데이터에 대해 다이나믹 레인지를 압축하는 방법으로서는, 특허문헌 1에 기재된 기술(이하, 단지 「종래기술」이라고 함)이 있다. 이 기술에서는 2×2 화소의 RAW 데이터를 단위로서 휘도 신호를 산출하고, 이 휘도 신호에 대해 니(knee) 압축 특성을 적용하여 니 전후 압축비를 산출하며, 이 압축비를 원래 신호에 곱한다. 이 기술에 따르면, 인접하는 화소 간의 신호 레벨의 비율을 유지하면서 다이나믹 레인지를 압축하는 것이 가능하다. 이 종래기술에서는 보색 센서에 대해 주로 상정되어 있지만, 종래기술은 RGB의 베이어 센서에 대해서도 적용 가능하다.

일본 특허공개공보 제2003-304556호

그러나, 종래기술에서는 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 없는 경우가 있다. 또한, 화상 전체를 강하게 압축한 경우에는 2×2 화소 단위로 화소 레벨이 갖추어지는 폐해를 발생시키는 경향이 있고, 화상 전체를 강하게 압축하면 이 폐해가 눈에 띄게 되어 화상에 재기(jaggy)가 나오거나 화상의 입상감(粒狀感, grain 형태의 느낌)이 늘어나는 등 해상도 저하를 일으킨다.

그래서, 본 발명은 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있고, 화상 전체를 강하게 압축한 경우이어도 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도의 저하 정도를 경감하는 것이 가능한 기술을 제공한다. 또한, 본 발명은 채도와 해상도의 밸런스를 사용자가 조정 가능한 기술을 제공한다.

본 발명의 일 실시 예에 따르면, RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 검출부와, 상기 최대 화소값에 기초하여 상기 영역마다 게인을 산출하는 제1 산출부와, 상기 제1 산출부에 의해 산출된 상기 게인을 상기 RGB 베이어 신호에 곱하는 연산을 상기 영역마다 수행하는 제1 승산부를 구비하는 화상 처리 장치를 제공할 수 있다. 이러한 구성에 의해, 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있다. 그 결과, 화상의 밝기를 적정하게 유지하고 화상의 채도를 적정하게 유지하는 것이 가능하게 된다.

또한, 상기 영역은 세로 2 화소 및 가로 2 화소로 구성될 수 있다. 이러한 구성에 의해, 상기 영역이 세로 2 화소 및 가로 2 화소 보다 넓은 영역으로 구성되는 경우에 비해 해상도의 저하 정도를 경감하는 것이 가능하게 된다.

또한, 상기 화상 처리 장치는 화소값에 기초하여 화소마다 게인을 산출하는 제2 산출부와, 상기 제2 산출부에 의해 산출된 상기 게인을 상기 RGB 베이어 신호에 곱하는 연산을 화소마다 수행하는 제2 승산부와, 상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합하는 혼합부를 더 구비할 수 있다. 이러한 구성에 의해, 화상 전체를 강하게 압축한 경우여도 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도의 저하 정도를 경감하는 것이 가능하게 되고 해상도와 채도가 밸런스된 화상을 얻을 수 있다.

또한, 상기 혼합부는, 사용자에 의해 지정된 혼합 비율에 기초하여 상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합할 수 있다. 이러한 구성에 의해, 사용자가 요구하는 화질 경향, 촬영 목적, 촬영 대상 등에 따라 채도와 해상도의 밸런스를 유연하게 조정하는 것이 가능하게 된다.

또한, 예를 들면 채도가 낮을수록 채도보다 해상도를 보다 중시할 수 있다. 따라서, 상기 혼합부는 상기 제1 승산부에 의한 연산 결과로부터 변환되는 채도에 따라 상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합해도 된다.

또한, 예를 들면 채도가 소정의 문턱값보다 낮은 경우에는, 채도를 중시하지 않아도 된다. 따라서, 상기 혼합부는 상기 채도가 소정의 문턱값보다 낮은 경우에는 상기 제2 승산부에 의한 연산 결과를 출력할 수 있다.

또한, 본 발명의 다른 실시형태에 따르면, RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 단계와, 상기 최대 화소값에 기초하여 상기 영역마다 게인을 산출하는 단계와, 상기 게인을 상기 RGB 베이어 신호에 곱하는 연산을 상기 영역마다 수행하는 단계를 포함하는 화상 처리 방법을 제공할 수 있다. 이러한 방법에 따르면, 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있다. 그 결과, 화상의 밝기를 적정하게 유지하고 화상의 채도를 적정하게 유지하는 것이 가능하게 된다.

이상 설명한 바와 같이 본 발명에 따르면, 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있고, 화상 전체를 강하게 압축한 경우이어도 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도의 저하 정도를 경감하는 것이 가능하다. 또한, 본 발명에 따르면, 채도와 해상도의 밸런스를 사용자가 조정하는 것이 가능하다.

도 1은 일반적인 니(knee) 처리의 특성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 화상 처리 장치에 의한 압축 처리 특성의 일례를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 화상 처리 장치의 기능 구성을 도시한 도면이다.
도 4는 RGB 베이어 신호의 구성 예를 도시한 도면이다.
도 5는 휘도와 게인의 관계의 예를 도시한 도면이다.
도 6은 압축 전과 압축 후에서의 RGB 값의 예를 도시한 도면이다.
도 7은 화상 처리 장치(1)가 화면에 디스플레이 하는 GUI의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 화상 처리 방법의 동작 흐름의 예를 도시한 도면이다.

이하에 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명한다. 또, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를 동일한 부호 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다.

우선, 본 발명의 실시형태의 전제로서는 강력하게 다이나믹 레인지를 압축한다는 것을 들 수 있다. 종래기술은 니 처리를 목적으로 한 기술인데, 일반적인 니 처리의 특성을 도 1에 도시하였다. 도 1에서, 가로축은 입력 신호의 데이터량을 나타내고, 세로축은 출력 신호의 데이터량을 나타내고 있다. 일반적인 니 처리는 저휘도부터 중휘도에 걸쳐서는 입출력이 1:1 대응인 채로서 NP(니 포인트)보다 위인 고휘도 영역만을 레벨 압축하는 것으로, Imax 값은 Omax까지 압축되지만, 압축비는 그다지 크지 않고 완만한 압축이다.

그러나, 본 발명의 실시형태가 전제로 하는 것은, 16bit나 20bit 등 와이드 다이나믹 레인지를 갖는 신호를 12bit로 하는 등 강력한 압축을 수행하는 것이다. 도 2에 그 특성 예를 도시하였다. 도 2에서 가로축은 입력 신호의 데이터량을 나타내고, 세로축은 출력 신호의 데이터량을 나타내고 있다. 도 2를 참조하면, 선형 부분이라고 하는 것은 거의 없고, 2²⁰(2의 20승)(=1,048,576)의 다이나믹 레인지를 2¹²(2의 12승)(=4,096)까지 강력하게 압축한다. 종래기술이 전제로 하였던 압축비와는 전혀 다른 압축비이다.

이러한 전제에서 종래기술을 적용하면, 이하에 서술하는 바와 같은 2가지 문제(1) 및 (2)가 발생한다.

(1) 종래기술에서는 RAW 데이터로부터 산출한 휘도 신호에 대해 니 압축 특성을 정의하고 있는데, 높은 색순도의 영역, 특히 적색이나 청색 영역에서는 산출되는 휘도 신호가 매우 작은 값이 되어 버린다. 예로서 16bit의 신호를 12bit로 압축하는 경우를 생각한다. R, G, B가 각각 (0, 32000, 65530)과 같은 레벨을 갖고 있는 고순도 청색을 갖는 영역에 대해, 휘도 신호를 산출하면 25700 정도가 된다. 원래 화상 신호는 65530이라는 16bit의 포화 근처의 레벨을 갖고 있는데, 화소 레벨의 평가로서는 25700 정도라고 판정되어 버린다.

이 「25700」이라는 수치로부터 압축비를 정의하면, 「65530」에 대한 압축비보다 작은 것이 되어 원래 (0, 32000, 65530)의 화상 신호에 대해 충분히 압축이 행해지지 않고, 원하는 12bit의 다이나믹 레인지의 상한인 4095를 크게 넘는 화소 레벨이 남아 버린다. 4095를 넘는 화소 레벨이 남은 경우, 그 최대값이 4095가 되도록 다시 압축 연산을 행하면 화상 전체의 밝기가 저하되어 어두운 화상이 되어 버리고, 4095 이상을 잘라 버린 경우에는 그 영역의 색순도가 저하되어 최악으로는 노출과다를 일으킨다.

(2) 종래기술에서는 2×2 화소를 단위로 동일한 압축비를 적용하고 있고, 인접하는 신호의 비율을 바꾸지 않고 스케일만을 바꾸기 때문에 색상이나 채도를 유지하기 쉬운 장점을 가진다. 그러나, 2×2 화소 단위로 화소 레벨이 갖추어지는 폐해를 발생시키는 경향도 갖고 있다. 종래기술과 같이 고휘도 영역만이 처리 대상이거나 작은 압축비인 경우에는 눈에 띄지 않지만, 화상 전체를 강하게 압축하면 이 폐해가 눈에 띄게 되어 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도 저하를 일으킨다.

그래서, 본 실시 예에서는 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있고, 화상 전체를 강하게 압축한 경우이어도 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도의 저하 정도를 경감하는 기술을 제안한다. 또한, 채도와 해상도의 밸런스를 사용자가 조정 가능한 기술을 제안한다.

이어서, 본 발명의 일 실시 예에 따른 화상 처리 장치(1)의 기능 구성에 대해 설명한다. 도 3은 본 발명의 일 실시 예에 따른 화상 처리 장치(1)의 기능 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 화상 처리 장치(1)는 센서(10), WDR 합성부(20), 검출부(30), 제1 산출부(41), 제2 산출부(42), 제1 승산부(51), 제2 승산부(52) 및 혼합부(60)를 구비한다. 이하, 화상 처리 장치(1)가 구비하는 각 기능 블록의 기능에 대해 순차적으로 상세하게 설명한다.

센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하며, 그 전하량을 전기 신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않고, 예를 들면 CCD(charge coupled device)이어도 되고, CMOS(complementary metal oxide semiconductor)이어도 된다.

구체적으로 센서(10)는 장노광 화상과 단노광 화상을 연속 촬영한다. 장노광 화상과 단노광 화상이 동시에 촬영되는 경우, 도 3에 도시된 바와 같이, 화상 처리 장치(1)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 2가지 계통을 가진다. 그러나, 센서(10)는 장노광 화상과 단노광 화상을 시분할로 출력해도 된다. 그 경우에는, 화상 처리 장치(1)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 갖고 있는 것도 가능하다. 각각의 셔터 타임은, 예를 들면 촬영 대상의 다이나믹 레인지나 센서 사양 등에 따라 정해진다.

여기서, 본 발명의 일 실시 예에서는 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 2개의 화상이 촬영된 경우에, 그 2개의 화상 중에서 상대적으로 노광 시간이 짧은 화상이 단노광 화상이 될 수 있고, 상대적으로 노광 시간이 긴 화상이 장노광 화상이 될 수 있다.

WDR 합성부(20)는, 장노광 화상과 단노광 화상을 합성함으로써 입력 신호의 다이나믹 레인지를 확장한다. 합성 대상이 되는 화상은 2장에 한정되지 않고, 3장 이상이어도 된다. 예를 들면, WDR 합성부(20)는, 선택 정보에 기초하여 장노광 화상과 단노광 화상을 합성함으로써 WDR 화상을 생성한다. 장노광 화상과 단노광 화상 중 어느 하나를 선택하는 알고리즘으로서는 여러 가지 알고리즘이 있을 수 있다.

예를 들면, 장노광 화상에서 포화된 영역은 단노광 화상에서는 포화되지 않을 가능성이 높기 때문에, 그 영역의 사용 화상으로서는 단노광 화상을 선택할 수있다. 그러나, 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 그 때문에, 움직임을 검출하여 윤곽이 이중이 되는 현상을 저감하는 처리를 행할 수 있다. 이러한 처리를 포함하는 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.

또, 상기한 바와 같이 선택 정보는 단노광 화상 및 장노광 화상 중 어느 하나를 선택하는지를 나타내는 2차 데이터의 집합이어도 되지만, 장노광 화상 및 단노광 화상 각각을 어느 정도의 비율로 혼합하는지를 나타내는 혼합 비율의 집합일 수도 있다. 예를 들면, 장노광 화상의 포화 정도가 강할수록 단노광 화상의 혼합 비율을 크게 할 수 있다. 또한, 단노광 화상 또는 장노광 화상의 움직임이 클수록 단노광 화상의 혼합 비율을 크게 할 수 있다. 단노광 화상과 장노광 화상의 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.

예를 들면, 장노광 화상의 혼합 비율을 α로 한 경우, WDR 합성부(20)는 장노광 화상과 단노광 화상에 있어서 대응하는 화소에 대해 α×(장노광 화상의 화소값)+(1-α)×(단노광 화상의 화소값)을 산출하고, 산출 결과를 합성 후의 화상(WDR 화상)으로 할 수 있다. 또, 혼합 비율은 화소마다 달라도 된다. 또한, 선택 정보는, 예를 들면 화상 처리 장치(1)의 내부 또는 외부에서 생성될 수 있다. 또한, WDR 합성부(20)에 의한 합성 방법은 특별히 한정되지 않는다.

센서(10)로부터의 출력 신호가 12bit인 경우, WDR 합성부(20)에 의해 합성된 신호는 예를 들면 16bit나 20bit 등 넓은 다이나믹 레인지로 확장되어 있다. 검출부(30)는 RGB 베이어 신호로부터 영역마다 최대 화소값을 검출한다. 여기서는, RGB 베이어 신호는 WDR 합성부(20)에 의해 합성된 신호인 경우를 상정하고 있지만, RGB 베이어 신호는 WDR 합성부(20)에 의해 합성된 신호 이외이어도 된다.

도 4는 RGB 베이어 신호의 구성예를 도시한 도면이다. 영역의 크기는 특별히 한정되지 않지만, 예를 들면 세로 2 화소 및 가로 2 화소로 구성될 수 있다. 이러한 경우, 검출부(30)는 세로 2 화소×가로 2 화소를 단위로 한 4화소의 화소값 중의 최대값을 검출한다. 검출부(30)는, 최대 화소값을 검출할 때, RGB 값에 화이트 밸런스 게인을 곱한 후의 값을 화소값으로서 이용하는 것이 바람직하다.

제1 산출부(41)는 최대 화소값에 기초하여 영역마다 게인을 산출한다. 게인의 산출 방법은 특별히 한정되지 않지만, 예를 들면 제1 산출부(41)는 도 5에 도시된 바와 같은 휘도와 게인의 관계에 기초하여 최대 화소값을 갖는 화소의 휘도에 대응하는 게인을 산출할 수 있다. 게인은 소수점 이하의 수치가 될 수 있기 때문에, 게인의 산출은 필요한 연산 정밀도를 고려하여 정수 승산과 시프트 연산으로 구성하는 것이 바람직하다. 또한, 입출력 특성은 LUT(look up table)로 구성해도 되지만, 엔트리 포인트를 2²⁰(2의 20승)으로 준비하면 회로 규모가 너무 크기 때문에, 이산적으로 포인트를 지정하고 선형 보간하여 입출력 특성을 만드는 것이 바람직하다.

제1 승산부(51)는, 제1 산출부(41)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 영역마다 수행한다. 예를 들면, 제1 승산부(51)는 도 5에 도시된 바와 같은 관계에 기초하여 산출된 게인을 이용하면, 제1 승산부(51)에 입력된 RGB 베이어 신호의 데이터량과 제1 승산부(51)에 의한 승산 결과의 데이터량의 관계가 도 2에 도시된 바와 같은 입출력 특성을 만족시키도록 승산을 행할 수 있다.

이상 설명한 바와 같이, 검출부(30), 제1 산출부(41) 및 제1 승산부(51)가 갖는 기능에 의해 영역마다 검출된 최대 화소값에 기초하여 게인이 산출되고, 그 게인이 RGB 베이어 신호에 곱해진다. 그 때문에, RGB 베이어 신호를 원하는 레벨의 범위로 압축하는 것이 가능하게 되고, 화상의 밝기를 적정하게 유지하고 화상의 채도를 적정하게 유지하는 것이 가능하게 된다. 또한, 이하 설명하는 바와 같이, 제2 산출부(42), 제2 승산부(52) 및 혼합부(60)에 의한 기능에 의해 해상도의 저하 정도를 경감할 수 있다.

제2 산출부(42)는 화소값에 기초하여 화소마다 게인을 산출한다. 게인의 산출 방법은 특별히 한정되지 않지만, 예를 들면 제2 산출부(42)는 도 5에 도시된 바와 같은 휘도와 게인의 관계에 기초하여 화소의 휘도에 대응하는 게인을 산출할 수 있다. 게인은 소수점 이하의 수치가 될 수 있기 때문에, 게인의 산출은 필요한 연산 정밀도를 고려하여 정수 승산과 시프트 연산으로 구성하는 것이 바람직하다. 또한, 입출력 특성은 LUT로 구성해도 되지만, 엔트리 포인트를 2²⁰(2의 20승)으로 준비하면 회로 규모가 너무 크기 때문에, 이산적으로 포인트를 지정하여 선형 보간하여 입출력 특성을 만드는 것이 바람직하다.

제2 승산부(52)는, 제2 산출부(42)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 화소마다 수행한다. 예를 들면, 제2 승산부(52)는 도 5에 도시된 바와 같은 관계에 기초하여 산출된 게인을 이용하면, 제2 승산부(52)에 입력된 RGB 베이어 신호의 데이터량과 제2 승산부(52)에 의한 승산 결과의 데이터량의 관계가 도 2에 도시된 바와 같은 입출력 특성을 만족시키도록 승산을 행할 수 있다.

혼합부(60)는, 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과를 혼합한다. 혼합부(60)의 혼합은 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과의 혼합은 혼합 비율에 기초하여 이루어질 수 있다.

예를 들면, 제1 승산부(51)에 의한 연산 결과의 혼합 비율을 β로 한 경우, 혼합부(60)는 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과에 있어서 대응하는 각 화소에 대해 β×(제1 승산부(51)에 의한 연산 결과의 화소값)+(1-β)×(제2 승산부(52)에 의한 연산 결과의 화소값)을 산출하고, 산출 결과를 혼합 후의 화상으로 할 수 있다. 또한, 혼합 비율의 결정 방법은 특별히 한정되지 않지만, 구체적인 방법 후에 설명한다.

또, 혼합부(60)의 후단은, 예를 들면 베이어 데이터로부터 RGB 플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함하는 화상 처리 엔진에 접속된다. 혼합부(60)로부터의 출력 신호의 데이터량은, 예를 들면 후단에 접속되는 화상 처리 엔진에의 입력 데이터의 크기에 적합하도록(예를 들면, 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기를 저하시키는 것만으로는 어두운 화상으로 변환되어 버리기 때문에, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.

본 실시 예에 따른 화상 처리 장치(1)의 특징으로서, RGB 베이어 신호의 영역(예를 들면, 2×2 화소)을 단위로 검출한 최대 화소값으로부터 압축비를 정의하는 점에 있다. 이전의 예에서 RGB가 각각 (0, 32000, 65530)인 영역에 대해서도 원래 신호의 「65530」을 검출하여 압축비를 정의하므로, 원래 신호의 다이나믹 레인지의 상한값 65535를 원하는 12bit의 다이나믹 레인지의 상한값 4095에 확실히 넣는 것이 가능하게 된다. 그 때문에, WDR 처리된 화상이 안정되어 밝은 화상을 얻기 쉽고 노출과다도 일어나지 않는 장점을 가져온다.

본 실시 예에 따른 화상 처리 장치(1)의 두번째 특징으로서, RGB 베이어 신호의 영역(예를 들면, 2×2 화소)을 단위로 한 게인 연산 결과와 화소마다 게인 연산을 수행한 결과를 혼합하는 점이 있다. 이전에 서술한 바와 같이, 영역(예를 들면, 2×2 화소)을 단위로 한 게인 연산을 행한 경우에는 채도를 유지할 수 있지만 해상도가 저하될 가능성이 있다. 이에 대해, 화소마다 게인 연산을 수행하는 방법은 화소 레벨의 압축을 확실히 수행하는 것이 가능하고 해상도의 저하도 발생하지 않는 장점을 가지지만, 채도가 저하될 가능성이 있다.

압축 전과 압축 후에서의 RGB 값의 예를 도 6에 나타낸다. 도 6에 도시된 바와 같이, 2×2 화소마다 게인을 적용하는 경우, RGB 값의 비율이 압축 전과 거의 변하지 않고 스케일만이 압축된다. 한편, 도 2에 도시된 특성으로 화소마다 게인을 적용하면, 이 예에서는 G의 값이 3930이 되고, 2×2 화소마다 게인을 적용한 결과와 명백히 다른 결과가 된다. G의 값과 B의 값이 접근한다는 것은 무채색에 가까워진다는 것이고, 채도가 저하된 화상이 된다.

본 발명의 일 실시 예에 따른 화상 처리 장치(1)와 같이 강력한 다이나믹 레인지 압축을 수행하는 것을 전제로 한 경우, 화소마다 게인을 적용하는 방식은 고휘도·고채도 영역의 채도를 대폭으로 저하시키는 점이 큰 단점이 된다.

이상 서술한 바와 같이, 2×2 화소를 단위로 한 게인 연산 결과는 「저해상도·고채도」이고, 화소마다의 게인 연산 결과는 「고해상도·저채도」이기 때문에, 「해상도」, 「채도」라는 2가지 항목에 대해 서로 장점과 단점이 반대가 되어 있다. 그래서, 본 발명의 일 실시 예에 따른 화상 처리 장치(1)는 2가지 방식을 혼합하여 이용함으로써, 서로의 장점을 살리면서 단점도 커버한 밸런스가 좋은 화상을 생성할 수 있다.

만약 혼합 비율을 1:1로 한 경우, 해상도의 저하를 50%, 채도의 저하도 50%로 억압할 수 있다. 여기서, 혼합 비율의 결정 방법은 특별히 한정되지 않는다. 예를 들면, 화상 처리 장치(1)가 자동으로 혼합 비율을 결정할 수 있다. 일례로서 혼합부(60)는 제1 승산부(51)에 의한 연산 결과로부터 채도에의 변환을 행하고, 채도에 따라 혼합 비율을 결정할 수 있다.

예를 들면, 채도가 낮아짐에 따라 채도의 중요도가 내려갈 수 있다. 따라서, 혼합부(60)는 채도가 낮을수록 제1 승산부(52)에 의한 연산 결과의 혼합 비율을 저하시킬 수 있다. 또한, 예를 들면 채도가 소정의 문턱값보다 낮은 경우에는 채도를 중시하지 않아도 된다. 따라서, 혼합부(60)는 채도가 소정의 문턱값보다 낮은 경우에는 제2 승산부(52)에 의한 연산 결과를 출력할 수 있다.

제1 승산부(51)에 의한 연산 결과로부터 채도에의 변환 방법은 특별히 한정되지 않는다. 일례로서 제1 승산부(51)에 의한 연산 결과가 나타내는 R의 값, G의 값, B의 값 중에서 최대값을 MAX로 하고 최소값을 MIN으로 한 경우, 혼합부(60)는 (채도)=(MAX-MIN)/MAX에 의해 제1 승산부(51)에 의한 연산 결과로부터 채도에의 변환을 수행하는 것이 가능하다.

또한, 채도와 해상도 중 어느 쪽을 중시하는지는, 예를 들면 사용자가 중시하는 화질 경향이나 사용 목적, 촬영 대상 등에 따라 다를 가능성이 있다. 그 때문에, 사용자가 「채도 중시」 및 「해상도 중시」 중 어느 쪽에 어느 정도의 비중을 두는지를 결정할 수 있다. 예를 들면, 제1 승산부(51)에 의한 연산은 게인을 곱하는 연산을 영역마다 수행하는 연산이기 때문에, 혼합부(60)는 사용자에 의해 지정된 「채도 중시」의 비중을 제1 승산부(51)에 의한 연산 결과의 혼합 비율로 할 수 있다. 한편, 제2 승산부(52)에 의한 연산은 게인을 곱하는 연산을 화소마다 수행하는 연산이기 때문에, 혼합부(60)는 사용자에 의해 지정된 「해상도 중시」의 비중을 제2 승산부(52)에 의한 연산 결과의 혼합 비율로 할 수 있다.

예를 들면, 화상 처리 장치(1)는, 도 7에 도시된 바와 같이 화면에 GUI를 디스플레이 하고, 사용자가 「채도 중시」에 중점을 두는 경우는 사용자에 의한 지정에 기초하여 2×2 화소 게인의 출력의 혼합 비율을 올리고, 사용자가 「해상도 중시」에 중점을 두는 경우는 사용자에 의한 지정에 기초하여 화소마다 게인의 출력의 혼합 비율을 올리도록 제어할 수 있다. 사용자에 의한 지정은, 예를 들면 소정의 입력 장치(예를 들면, 터치 패널 등)를 개재하여 이루어질 수 있다.

도 8은 본 발명의 실시형태에 관한 화상 처리 장치(1)의 동작 흐름의 예를 도시한 도면이다. 도 8을 참조하면서, WDR 합성부(20)로부터 검출부(30) 및 제2 산출부(42)에 RGB 베이어 신호가 출력되는 경우를 일례로서 설명한다. 도 8에 도시된 바와 같이, 우선, 검출부(30)는 RGB 베이어 신호로부터 영역마다 최대 화소값을 검출한다(단계 S1). 이어서, 제1 산출부(41)는 최대 화소값에 기초하여 영역마다 게인을 산출한다(단계 S2). 제1 승산부(51)는 그 게인을 RGB 베이어 신호에 곱하는 제1 연산을 영역마다 수행한다(단계 S3).

또한, 제2 산출부(42)는 RGB 베이어 신호로부터 화소값에 기초하여 화소마다 게인을 산출한다(단계 S4). 이어서, 제2 승산부(52)는 그 게인을 RGB 베이어 신호에 곱하는 제2 연산을 화소마다 수행한다(단계 S5). 혼합부(60)는, 혼합 비율에 기초하여 제1 연산 결과와 제2 연산 결과를 혼합한다(단계 S6). 혼합 비율을 결정하는 방법으로서는 상기에 개시한 바와 같이 여러 가지 방법을 채용하는 것이 가능하다.

본 발명의 실시 예에 따르면, RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 검출부(30)와, 최대 화소값에 기초하여 영역마다 게인을 산출하는 제1 산출부(41)와, 제1 산출부(41)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 영역마다 수행하는 제1 승산부(51)를 구비하는 화상 처리 장치(1)가 제공될 수 있다. 이러한 구성에 의해, 와이드 다이나믹 레인지를 갖는 신호를 원하는 레벨의 범위로 압축할 수 있다. 그 결과, 화상의 밝기를 적정하게 유지하고 화상의 채도를 적정하게 유지하는 것이 가능하게 된다.

또한, 화상 처리 장치(1)는 화소값에 기초하여 화소마다 게인을 산출하는 제2 산출부(42)와, 제2 산출부(42)에 의해 산출된 게인을 RGB 베이어 신호에 곱하는 연산을 화소마다 수행하는 제2 승산부(52)와, 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과를 혼합하는 혼합부(60)를 더 구비할 수 있다. 이러한 구성에 의해, 화상 전체를 강하게 압축한 경우이어도 화상에 재기가 나오거나 화상의 입상감이 늘어나는 등 해상도의 저하 정도를 경감하는 것이 가능하게 되고, 해상도와 채도가 밸런스된 화상을 얻을 수 있다.

또한, 혼합부(60)는, 사용자에 의해 지정된 혼합 비율에 기초하여 제1 승산부(51)에 의한 연산 결과와 제2 승산부(52)에 의한 연산 결과를 혼합할 수 있다. 이러한 구성에 의해, 사용자가 요구하는 화질 경향, 촬영 목적, 촬영 대상 등에 따라 채도와 해상도의 밸런스를 유연하게 조정하는 것이 가능하게 된다.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속한 기술분야에서의 통상의 지식을 가진 자이면, 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예에 상도할 수 있음은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

1 화상 처리 장치
10 센서
20 WDR 합성부
30 검출부
41 제1 산출부
42 제2 산출부
51 제1 승산부
52 제2 승산부
60 혼합부

Claims (7)

1. RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 검출부;
   상기 최대 화소값에 기초하여 상기 영역마다 게인을 산출하는 제1 산출부;
   상기 제1 산출부에 의해 산출된 상기 게인을 상기 RGB 베이어 신호에 곱하는 연산을 상기 영역마다 수행하는 제1 승산부;
   화소값에 기초하여 화소마다 게인을 산출하는 제2 산출부;
   상기 제2 산출부에 의해 산출된 상기 게인을 상기 RGB 베이어 신호에 곱하는 연산을 화소마다 수행하는 제2 승산부; 및
   상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합하는 혼합부;를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 영역은 세로 2 화소 및 가로 2 화소로 구성되는 화상 처리 장치.
3. 삭제
4. 제1항에 있어서,
   상기 혼합부는, 사용자에 의해 지정된 혼합 비율에 기초하여 상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합하는 화상 처리 장치.
5. 제1항에 있어서,
   상기 혼합부는, 상기 제1 승산부에 의한 연산 결과로부터 변환되는 채도에 따라 상기 제1 승산부에 의한 연산 결과와 상기 제2 승산부에 의한 연산 결과를 혼합하는 화상 처리 장치.
6. 제5항에 있어서,
   상기 혼합부는, 상기 채도가 소정의 문턱값보다 낮은 경우에는 상기 제2 승산부에 의한 연산 결과를 출력하는 화상 처리 장치.
7. RGB 베이어 신호로부터 영역마다 최대 화소값을 검출하는 단계;
   상기 최대 화소값에 기초하여 상기 영역마다 게인을 산출하는 단계;
   상기 영역마다 산출된 게인을 상기 RGB 베이어 신호에 곱하는 연산을 상기 영역마다 수행하는 단계;
   화소값에 기초하여 화소마다 게인을 산출하는 단계;
   상기 화소마다 산출된 게인을 상기 RGB 베이어 신호에 곱하는 연산을 화소마다 수행하는 단계; 및
   상기 영역마다 수행된 연산 결과와 상기 화소마다 수행된 연산 결과를 혼합하는 단계;를 포함하는 화상 처리 방법.

Images