KR20230133344A

KR20230133344A - 화상 처리 방법

Info

Publication number: KR20230133344A
Application number: KR1020237027837A
Authority: KR
Inventors: 마사히로 고바야시
Original assignee: 가부시키가이샤 로직 앤드 디자인
Priority date: 2021-01-22
Filing date: 2021-07-20
Publication date: 2023-09-19
Also published as: EP4283558A1; WO2022158010A1; US20230162473A1

Abstract

본 발명은 부분적으로 두드러진 밝기의 부분이 없고, 또한 화상 전체로서의 밝기와 콘트라스트를 갖는 화상 처리 방법을 제공하는 것을 과제로 한다.
상기 과제를 해결하기 위해, 본 발명의 화상처리 방법은, 참조 픽셀 P1에서 P8까지 순서대로 픽셀 값(밝기)을 주목 픽셀 P0의 픽셀 값과 비교한다. 그리고, 주목 픽셀 P0의 픽셀 값 이하이고, 또한 참조 픽셀의 히스토그램 값을 ＋1하여, 기울기 제한값과 비교하여, 기울기 제한값 이하가 된 참조 픽셀의 수를 쌍방 참의 카운트값으로서 카운트하고, 이 쌍방 참의 카운트값으로부터 주목 픽셀의 밝기를 출력한다.

Description

화상 처리 방법

제1 발명은 카메라 영상에 있어서 실내의 창 등 동일 화면 내에 극도로 밟은 부분과 어두운 부분이 혼재하는 화면이나 수중·안개 등 극도로 콘트라스트가 낮은 부분이 혼재하는 화상을 보기 쉬운 화면으로 변환하는 화상 처리 방법에관한 것이다.

제2 발명은 입력 화상의 블랙 크러시를 자동적으로 수정하는 화상 처리 방법에 관한 것이다.

제3 발명은 극도로 콘트라스트가 낮은 부분이 혼재하는 화상을 보기 쉬운 화면으로 변환하는 선명화 처리를 행한 화상과 화상의 블랙 크러시의 수정 처리를 행한 화상을 합성하는 화상 처리 방법에 관한 것이다.

극도로 밝은 부분과 어두운 부분이 혼재하는 화면을 보기 쉬운 화면으로 변환하는 화상 처리 방법으로서, 특허문헌 1에는, 광확상을 광전 변환하여 전기신호를 출력하는 촬상소자와, 그 촬상소자로부터 출력된 전기신호를 처리하여 영상신호를 생성하는 신호 처리 수단과, 그 신호 처리 수단으로부터 출력된 영상신호로부터 히스토그램을 생성하는 히스토그램 회로와, 그 히스토그램 회로에 의해 검출된 히스토그램을 사용하여 노광 제어를 행하는 노광 제어 수단을 갖는 촬상 장치가 개시되어 있다.

또한 특허문헌 2에는, 원고로부터의 빛을 독취(reading)하여 화상 데이터를 생성하는 공정과, 상기 화상 데이터로부터 농도 분포의 히스토그램을 작성하는 공정과, 상기 화상 데이터의 전체 데이터 수에 대한 농도 분포의 명암 양단에 가까운 데이터 수의 비율을 토대로 농도 보정 곡선을 생성하는 공정과, 상기 농도 보정 곡선으로 화상 데이터의 농도 보정을 행하는 공정을 갖는 화상 처리 방법이 개시되어 있다.

특허문헌 3에는, 피사체를 촬상하여, 촬상 화상의 화상 데이터를 취득하는 촬상 수단과, 그 촬상 수단에 의해 취득된 화상 데이터로 이루어지는 촬상 화상의 소정의 화소 부분으로서 휘도 레벨이 소정 범위 내에 있는 화소로 이루어지는 화소 부분에 대해, 당해 화소 부분에 있어서의 각 화소의 휘도값을, 각 화소 간의 상대적인 휘도의 상하관계를 유지한 채로 각 화소 간의 휘도간격을 증대시키도록 변환하는 계조 보정을 행하는 계조 보정 수단을 구비한 촬상 장치가 개시되어 있다.

또한 특허문헌 2에는, 원고로부터의 빛을 독취하여 화상 데이터를 생성하는 공정과, 상기 화상 데이터로부터 농도 분포의 히스토그램을 작성하는 공정과, 상기 화상 데이터의 전체 데이터 수에 대한 농도 분포의 명암 양단에 가까운 데이터 수의 비율을 토대로 농도 보정 곡선을 생성하는 공정과, 상기 농도 보정 곡선으로 화상 데이터의 농도 보정을 행하는 공정을 갖는 화상 처리 방법이 개시되어 있다.

또한 특허문헌 3에는, 피사체를 촬상하여, 촬상 화상의 화상 데이터를 취득하는 촬상 수단과, 그 촬상 수단에 의해 취득된 화상 데이터로 이루어지는 촬상 화상의 소정의 화소 부분으로서 휘도 레벨이 소정 범위 내에 있는 화소로 이루어지는 화소 부분에 대해, 당해 화소 부분에 있어서의 각 화소의 휘도값을, 각 화소 간의 상대적인 휘도의 상하관계를 유지한 채로 각 화소 간의 휘도간격을 증대시키도록 변환하는 계조 보정을 행하는 계조 보정 수단을 구비한 촬상 장치가 개시되어 있다.

상기한 특허문헌 1∼3에 개시되는 화상 처리 방법은, 능력이 높은 컴퓨터나 디바이스를 사용하지 않으면 처리시간이 길어지게 되어, 하이비전 이상의 동영상의 실시간 처리 등에는 적용할 수 없다.

처리시간을 짧게 하여 동영상의 실시간 처리도 가능하게 하는 제안을 본 발명자는 특허문헌 4에 제안하고 있다. 이 특허문헌 4의 내용은, 촬영한 화상으로부터 픽셀 단위의 화상 데이터를 1 패스로 가져오고, 가져온 화상 데이터를 픽셀 단위로 특정 색 공간으로 분해한 후에 휘도의 히스토그램을 생성하고, 이 화상 휘도정보를 소정의 독취 패턴으로 독출하고, 상기 독취 패턴 중의 특정 위치(중심)의 픽셀을 제외한 평균 히스토그램을 기본으로 하여 상기 독취 패턴의 특정 위치의 픽셀의 휘도를 설정하는 방법이다.

동일하게 본 발명자가 제안한 특허문헌 5에는, 입력신호를 국소적으로 분할하여 톤 맵을 구하고, 이 톤 맵을 보정함으로써 입력신호의 콘트라스트를 개선할 때, 휘도 변화가 적은 영역에 대해서는 톤 맵의 입력 휘도신호를 출력 휘도신호로 변환할 때 구배 제한을 마련하여 출력 휘도신호가 일정 이상으로 변화하지 않도록 하여 휘도 변화를 억제하고, 또한 상기 구배 제한에 의해 저하된 영역 전체의 휘도를 전체적으로 조정하는 내용이 개시되어 있다.

암부를 시인할 수 없는 블랙 크러시 화상은, 노출 부족 영상이나 역광 영상에 보이는 현상으로, 예를 들면, 셔터 속도를 1／30초 이상 길게 할 수 없는 비디오 카메라로의 야간 촬영이나, 자동 노출 기능에 의해 역광 시에 노출이나 게인·조리개가 제한될 때에 일어나는 현상으로, 일반 카메라에서는 구조상 피할 수 없는 현상이다.

특허문헌 6에는, 역광 등의 휘도차가 큰 상황에 있어서 촬영한 화상을 복원하는 방법이 기재되어 있다. 구체적으로는, 단락 (0038), (0039)에 기재되는 바와 같이, 히스토그램을 작성하고, 휘도값 제로에 있어서의 도수가 역치보다도 큰 경우에는 블랙 크러시가 되어 있는 것으로 판단하고, 그 부분의 밝기를 보정하는 것이 기재되어 있다.

특허문헌 7에는, 화상의 암부와 명부의 휘도차가 커진 경우에 통상 촬상 모드에서 합성 촬상 모드로 전환하고, 휘도차를 저감하는 블랙 크러시 보정을 행하기 때문에, 장시간 노광 화상신호 및 단시간 노광 화상신호를 각각 자동 노광 제어하는 것이 기재되어 있다.

특허문헌 8에는, 노광시간이 긴 장시간 노광 화상신호와 노광시간이 짧은 단시간 노광 화상을 합성하여, 합성 화상신호에 휘도 적산값과 히스토그램을 생성하고, 휘도 히스토그램으로부터 합성 화상신호에 있어서의 블랙 크러시를 검출하여, 검출결과를 토대로 목표 휘도 적산값을 설정하고, 그 목표 휘도 적산값을 사용하여, 상기 촬상부의 노광 보정 제어를 행하는 것이 기재되어 있다.

특허문헌 9에는, 배터리 잔용량을 취득 가능한 촬상 장치가 개시되어 있다. 이 촬상 장치는 배터리의 잔용량이 적을 때 또는 배터리가 고장났을 때에 배터리 세그먼트를 표시하는 판정 수단을 구비하고, 이 판정 수단은 블랙 크러시 또는 헐레이션되어 있는 화소가 소정의 값을 초과하고 있을 때, 히스토그램을 표시하도록 판정을 행하는 것이 기재되어 있다.

일본국 특허공개 제2002－142150호 공보 일본국 특허공개 제2003－051944호 공보 일본국 특허공개 제2007－124087호 공보 일본국 특허 제4386959호 공보 일본국 특허 제6126054호 공보 일본국 특허공개 제2011－223173호 공보 일본국 특허공개 제2002－084449호 공보 일본국 특허공개 제2008－228058호 공보 일본국 특허공개 제2016－092798호 공보

전술한 특허문헌 4에 개시한 방법에 의하면, 특허문헌 1∼3과 비교하여 대폭 처리시간을 단축하여, 동영상의 실시간 처리가 가능해진다.

그러나, 특허문헌 4에 기재한 방법으로도, 부분적으로 밝기의 변동이 지나치게 큰 개소가 생기거나, 노이즈를 제거할 수 없는 경우가 생긴다.

특허문헌 5에 개시한 내용은, AHE(Adaptive Histogram Equalization)나 CLAHE(Constract Limited AHE) 등의 가져온 화상 데이터를 소정의 패턴으로 독출하거나, 가져온 화상을 복수의 블록으로 분할하여, 각각의 소영역의 히스토그램을 생성하고, 그 영역별로 톤 맵을 작성하고 있다.

이와 같이, 소영역별로 톤 맵을 작성하면, 소영역의 경계선이 흐릿하게 보이게 되는 경우가 있다.

또한, AHE나 CLAHE는 화상을 스캔하여 영역별로 히스토그램을 작성한 후에 톤 맵을 작성하기 하기 때문에 실시간 처리를 행하는 데는 많은 고속 메모리를 필요로 하는 것, 및 화소 단위로 독립된 처리가 불가능한 것으로부터, GPU나 FGPA에는 적합하지 않다고 할 수 있다.

전술한 특허문헌 6∼9에서는, 역광이나 음영 보정(블랙 크러시 보정)을 행할 때, 휘도의 히스토그램을 작성하고, 이 히스토그램의 평탄화를 행하고 있다. 히스토그램의 평탄화를 행하는 데는, 화면 전체의 히스토그램을 카운트할 필요가 있고, 이 때문에 많은 메모리가 필요해져 처치시간도 길어지게 된다.

또한, 선명화 처리에서는 어두운 부분에서 콘트라스트가 과다가 되는 문제점이 있고, 블랙 크러시 보정 처리에서는 밝은 부분에서의 콘트라스트가 부족해지기 쉬워지는데, 이들을 동시에 만족하는 처리방법은 어느 선행문헌에도 제안되어 있지 않다.

제1 발명은 가져온 화상 데이터를 소영역별로 나누지 않고 픽셀(화소) 단위로 독립적으로 처리하는 것을 전제로 한다. 즉, 각 영역별 히스토그램도 생성하지 않는다.

즉, 제1 발명은 가져온 화상 데이터를 픽셀 단위로 처리하는 데 있어, 화상 주사의 주사 위치가 되는 주목 픽셀의 주위에 n개(n은 정수)의 참조 픽셀을 설정하고, 주목 픽셀의 픽셀 값(휘도)과 각 참조 픽셀의 픽셀 값(휘도)을 순차 비교하여, 주목 픽셀 값 이하의 픽셀 값이었던 참조 픽셀의 수를 카운트하고, n개의 참조 픽셀과의 휘도 비교가 종료되면 카운트 수를 출력 휘도로서 비례 안분한다.

또한, 제1 발명은 가져온 화상 데이터를 픽셀 단위로 처리하는 데 있어, 화상 주사의 주사 위치가 되는 주목 픽셀의 주위에 n개(n은 정수)의 참조 픽셀을 설정하고, 주목 픽셀의 픽셀 값(휘도)과 각 참조 픽셀의 픽셀 값(휘도)을 순차 비교하여, 주목 픽셀 값 이하의 픽셀 값이고, 또한 각 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여 이 기울기 제한값 이하였던 참조 픽셀의 수를 카운트함으로써 기울기 제한을 고려한 카운트 수를 구하여 출력한다.

제1 발명에 있어서는, 종래와 같이 실제로 많은 메모리를 사용하여 영역별 히스토그램과 톤 맵을 작성하는 것이 아니라, 로직을 실행함으로써 톤 맵을 작성한 것과 동일한 결과가 얻어진다.

상기 화상 처리 방법에 있어서의 기울기 제한에 기인하는 어두워진 화상의 밝기를 보정하기 위해, 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 카운트하고, 이 카운트되지 않은 참조 픽셀의 수를 오프셋값으로 하여 출력에 가산할 수 있다.

상기 고정 오프셋값을 영역별로 자동 계산하기 위해, 상기 참조 픽셀 값의 평균값을 산출하고, 또한 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 카운트하여, 상기 참조 픽셀 값의 평균값과 상기 카운트되지 않은 참조 픽셀의 수를 고려하여 출력할 수 있다.

상기에 의해 처리한 화상의 전체 콘트라스트를 높이기 위해, 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 카운트하고, 이 카운트되지 않은 참조 픽셀의 수를 고려하여 출력할 수 있다.

또한, 전체 밝기와 콘트라스트를 높이기 위해, 상기 참조 픽셀 값의 평균값을 산출하고, 또한 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 카운트하여, 이들 평균값 및 카운트되지 않은 참조 픽셀의 수를 고려하여 출력할 수 있다.

또한, 전체가 어두운 화상에서 픽셀 값이 0에 치우친 경우에 화면 전체가 하얗게 보이게 되는 경우가 있다. 이것을 해소하기 위해, 상기 주목 픽셀 값과 각 참조 픽셀 값을 비교하여 주목 픽셀 값과 같은 픽셀 값의 참조 픽셀 수와, 주목 픽셀 값보다도 작은 픽셀 값의 참조 픽셀 수를 개별적으로 카운트하여, 전자의 카운트 수를 주목 픽셀의 값에 비례하여 후자의 카운트 수에 더하여 평균화함으로써, 이들을 고려하여 출력할 수 있다.

제2 발명은 입력 화상을 소영역별로 나누지 않고 픽셀(화소) 단위로 독립적으로 처리하는 것을 전제로 한다. 즉, 각 영역별 히스토그램을 작성하지 않고 화상 데이터로부터 휘도의 분포정보를 얻어, 어두운 부분만을 어둠에 따라 휘도 조정한다.

즉 제2 발명은 입력 화상의 Y 플레인(휘도 플레인)으로부터 휘도가 흐려진 Blur 플레인을 만들어, 이 Blur 플레인의 암부의 부분을 보정하고, 이 보정한 Blur 플레인으로 입력 화상을 나누도록 하였다.

제2 발명에서는, 프레임 버퍼(메모리)로서 플랫 프레임을 만들지 않고, 주목 픽셀의 주위를 참조하여 휘도의 가우시안 블러 값(Blur 값)을 산출하고, 픽셀 단위로 레벨 변환(분포정보의 보정)하여, 주목 픽셀을 레벨 변환치로 나누도록 하였다.

보다 구체적으로는, 입력 화상의 Y 플레인(휘도 플레인) 메모리 내의 각 픽셀의 휘도에 가우시안 Blur 처리를 행함으로써 휘도가 흐려진 Blur 값을 구하고, 이 Blur 값을 비트 심도에 따라 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 보정하여, 보정한 암부의 휘도 분포정보(1／n∼1.0)를 분모로 하여 입력 화상의 휘도를 나누도록 하였다.

상기 처리에 있어서, Blur 값을 산출하는 처리와 휘도 분포정보의 보정 처리를 병행하여 행함으로써 지연을 작게 할 수 있다.

라인 버퍼의 경우(FPGA)는, 가우시안 필터의 직경 분량의 라인 수만큼 레벨 변환(분포정보의 수정)이 종료된 단계에서 병렬 처리가 가능해지고, 커널 필터의 경우(GPU, CPU)는, 상기 흐름을 그대로 실장할 수 있기 때문에 커널 필터의 연산 종료 직후에 출력할 수 있다.

본 발명에 있어서는, 화상을 스캔하여 히스토그램을 작성하지 않고, 화상 데이터로부터 휘도의 분포정보를 얻어, 어두운 부분만을 어둠에 따라 휘도 조정하기 때문에, 처리 속도가 대폭 상승하여, 실시간으로 수정 화상을 표시할 수 있다.

종래와 같이, 실제로 많은 메모리를 사용하여 영역별 히스토그램과 톤 맵을 작성하는 것이 아니라, 로직을 실행함으로써 히스토그램과 톤 맵을 작성한 것과 동일한 결과가 얻어진다.

히스토그램이나 톤 맵용 메모리는 불필요해져, 라인 버퍼만으로 실장이 가능해진다. 지연은 라인 버퍼에 의해서만 발생하고, 히스토그램의 취득 등 전체 화면의 통계를 필요로 하지 않기 때문에, 프레임 단위의 지연이 발생하지 않는다.

로직 자체가 심플하기 때문에 소규모 FPGA나 다른 영상 회로의 빈 구역에 실장 가능하고, 또한 히스토그램 배열 등 화소 심도(비트 수)에 비례하는 로직이나 메모리가 없기 때문에 36 비트나 48 비트 등의 높은 비트 심도에서도 회로 규모는 거의 변하지 않는다.

전후 프레임의 참조가 없어, 1장의 화상으로부터 보정할 수 있고, 또한 RGB를 개별적으로 처리함으로써 채도를 강조할 수 있다.

제3 발명의 화상 처리 방법은, 선명화 처리를 행한 화상과 블랙 크러시 처리(black crush processing)를 행한 화상을 합성하는 화상 처리로서, 상기 블랙 크러시 처리에 있어서 사용한 플랫 프레임의 원리를 이용하여 화상의 어두운 부분은 블랙 크러시 처리의 비율을 높이고, 밝은 부분은 선명화 처리의 비율을 높이도록 하였다.

상기 선명화 처리의 구체적인 예는, 가져온 화상 데이터를 픽셀 단위로 처리하는 데 있어, 화상 주사의 주사 위치가 되는 주목 픽셀의 주위에 n개(n은 정수)의 참조 픽셀을 설정하고, 주목 픽셀의 픽셀 값(휘도)과 각 참조 픽셀의 픽셀 값(휘도)을 순차 비교하여, 주목 픽셀 값 이하의 픽셀 값이었던 참조 픽셀의 수를 카운트하고, 이것과 병행하여 각 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여, 참조 픽셀 값이 주목 픽셀 값 이하인 조건과 픽셀의 히스토그램 값이 기울기 제한값 이하인 조건의 양쪽 조건을 만족시키는 참조 픽셀의 수를 카운트함으로써 쌍방 참의 카운트값(true-in-both count value)을 구하고, 이 쌍방 참의 카운트값을 비례 안분하여 출력한다.

상기 블랙 크러시 처리의 구체적인 예는, 입력 화상의 Y 플레인(휘도 플레인) 메모리 내의 각 픽셀의 휘도에 가우시안 Blur 처리를 행함으로써 휘도가 흐려진 Blur 값을 구하고, 이 Blur 값을 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 보정하여, 보정한 암부의 휘도 분포정보(1／n∼1.0)를 분모로 하여 입력 화상의 휘도를 나눈다.

제1 발명에 의하면, 선명화 처리 및 블랙 크러시 보정 처리로도 해소되지 않고 남는 문제점을 동시에 해소할 수 있다.

제1 발명은 가져온 화상 데이터를 소영역별로 나누지 않고 픽셀(화소) 단위로 독립적으로 처리하는 것을 전제로 한다. 즉, 각 영역별 히스토그램도 생성하지 않기 때문에, 처리 속도가 대폭 상승하여, 실시간으로 수정 화상을 표시할 수 있다.

도 1은 제1 발명의 로지컬 화상 처리 방법의 기본을 설명한 도면이다.
도 2는 도 1에 대응하는 참조 픽셀의 히스토그램을 평균화한 가상 톤 맵이다.
도 3은 제1 발명의 화상 처리 방법의 실장예를 나타내는 도면이다.
도 4는 도 3에 대응하는 가상 톤 맵이다.
도 5는 제1 발명의 화상 처리 방법의 다른 실장예를 나타내는 도면이다.
도 6은 도 5에 대응하는 가상 톤 맵이다.
도 7은 제1 발명의 화상 처리 방법의 다른 실장예를 나타내는 도면이다.
도 8은 도 7에 대응하는 가상 톤 맵이다.
도 9는 제1 발명의 화상 처리 방법의 다른 실장예를 나타내는 도면이다.
도 10은 도 9에 대응하는 가상 톤 맵이다.
도 11은 제1 발명의 화상 처리 방법의 다른 실장예를 나타내는 도면이다.
도 12는 도 11에 대응하는 가상 톤 맵이다.
도 13은 제1 발명의 화상 처리 방법의 다른 실장예를 나타내는 도면이다.
도 14는 도 13에 대응하는 가상 톤 맵이다.
도 15는 제2 발명의 로지컬 화상 처리 방법의 기본을 설명한 블록도이다.
도 16의 (a)는 수평 Blur 처리에 대해서 설명한 도면이고, (b)는 수직 Blur 처리에 대해서 설명한 도면이다.
도 17의 (a)는 원화상, (b)는 가우시안 Blur 처리 후의 화상, (c)는 플랫 처리 후의 화상이다.
도 18은 제3 발명의 로지컬 화상 처리 방법의 기본을 설명한 블록도이다.
도 19의 (a)는 블랙 크러시 처리에 있어서의 수평 Blur 처리에 대해서 설명한 도면이고, (b)는 수직 Blur 처리에 대해서 설명한 도면이다.
도 20은 선명화 처리의 기본을 설명한 도면이다.
도 21은 도 20에 대응하는 참조 픽셀의 히스토그램을 평균화한 가상 톤 맵이다.
도 22는 선명화 처리의 실장예를 나타내는 도면이다.
도 23은 도 22에 대응하는 가상 톤 맵이다.
도 24는 선명화 처리의 다른 실장예를 나타내는 도면이다.
도 25는 도 24에 대응하는 가상 톤 맵이다.
도 26은 선명화 처리의 다른 실장예를 나타내는 도면이다.
도 27은 도 26에 대응하는 가상 톤 맵이다.
도 28은 선명화 처리의 다른 실장예를 나타내는 도면이다.
도 29는 도 28에 대응하는 가상 톤 맵이다.
도 30은 선명화 처리의 다른 실장예를 나타내는 도면이다.
도 31은 도 30에 대응하는 가상 톤 맵이다.
도 32는 선명화 처리의 다른 실장예를 나타내는 도면이다.
도 33은 도 32에 대응하는 가상 톤 맵이다.
도 34의 (a)는 원화상, (b)는 블랙 크러시 처리 후의 화상, (c)는 선명화 처리 후의 화상, (d)는 화상 합성 후(본 발명)의 화상이다.

도 1은 제1 발명의 화상 처리 방법을 실장한 경우의 설명도로, 도면 중 P0는 주목 픽셀이고, 이 주목 픽셀 P0의 밝기(휘도)를 조정한다. 또한, 도 2는 도 1의 방법으로 처리할 때의 참조 픽셀(도 1에서는 P1∼P8의 8개)로부터 구해지는 실행결과를 참조 픽셀이 가질 수 있는 모든 밝기로 그래프화한 가상 톤 맵이다.

제1 발명은 주목 픽셀과 참조 픽셀로부터 주목 픽셀에 대한 유일한 변환결과를 얻는 것으로 톤 맵을 출력하는 것은 아니다.

처리 절차는, 먼저 주목 픽셀 P0와 그 주위의 참조 픽셀 P1∼P8의 휘도를 비교하여, 주목 픽셀 P0의 휘도보다 작은 휘도의 참조 픽셀의 수를 카운트하고, 이 카운트값에 따라 주목 픽셀 P0의 휘도를 소정의 알고리즘에 따라 수정한다.

예를 들면 주목 픽셀 P0의 휘도보다 작은 휘도의 참조 픽셀의 수가 1개이고, P0의 휘도보다 큰 휘도의 참조 픽셀의 수가 7개인 경우에는, 참조 픽셀의 값을 출력 가능한 최대 휘도를 1로 하여 1／8의 휘도로 수정한다. 또한, 수정 알고리즘은 이것에 한정되지 않는다.

이상의 조작을 EPGA나 CPU에 실장하는 경우는 주목 픽셀을 1개씩 행 방향으로 이동시켜, 이 처리를 각 행별로 병행 처리함으로써, 모든 픽셀의 휘도를 수정하고, 명도의 평활화를 행한다.

또한 GPU에 실장하는 경우는 이들 조작이 픽셀별로 독립적이기 때문에 복수의 코어에서 동시에 병행 처리함으로써 모든 픽셀의 휘도를 수정하고, 명도의 평활화를 행한다.

한편, 도 2에 나타내는 가상 톤 맵은 실제로 알고리즘 상 생성되는 것이 아니라, 모든 입력 휘도에 대해 로직의 실행결과를 알기 쉽게 나타낸 것이다.

상기 실장예에는 개량의 여지가 남아 있다. 구체적으로는 도 2의 가상 톤 맵에는, 입력에 대해 출력이 급격히 커지는 개소, 구체적으로는 45°이상의 기울기가 되는 개소가 3개소 존재한다. 이 개소는 노이즈 등과 같이 밝기가 두드러지게 커지는 개소이다.

도 3은 상기를 개량한 실장예를 나타내는 도면이고, 도 4는 도 3에 대응하는 가상 톤 맵으로, 도 4에 있어서 점선은 도 2의 로직을 실행한 경우의 가상 톤 맵이다.

이러한 밝기가 두드러진 부분을 없애기 위해, 참조 픽셀 P1에서 P8까지 순서대로 픽셀 값(휘도)을 주목 픽셀 P0의 픽셀 값과 비교하여, 주목 픽셀 P0의 픽셀 값 이하인지 여부의 판단을 행한다.

이것과 병행하여, 참조 픽셀의 히스토그램 값을 ＋1하여, 기울기 제한값(45°)과 비교하여, 기울기 제한값 이하인지 여부의 판단을 행한다.

그리고, 전항 2개의 판단이 둘 다 성립하는 참조 픽셀 수를 쌍방 참의 카운트값으로서 카운트하고, 이 쌍방 참의 카운트값을 토대로 주목 픽셀의 밝기를 출력한다.

상기 처리에 의해, 도 4의 실선으로 나타내는 바와 같이, 밝기가 두드러지게 변화하는 부분이 없는 보기 쉬운 화상이 얻어진다.

주목 픽셀 값 이하의 픽셀 값이고, 또한 각 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여 이 기울기 제한값 이하였던 참조 픽셀의 수를 쌍방 참의 카운트값으로서 카운트함으로써 기울기 제한을 고려하였다.

한편, 이 상태에서는 화상 전체가 어두워지는 경우가 있다. 이것을 시정하는 구성을 도 5와 도 6의 가상 톤 맵에 나타낸다.

도 5에 나타내는 실장예에서는, 주목 픽셀 P0의 픽셀 값 이하인 것 및 기울기 제한값 이하인 것의 양쪽 조건을 만족시키는 참조 픽셀 수를 쌍방 참의 카운트값으로 하고, 또한 기울기 제한값보다도 큰 히스토그램의 참조 픽셀 수(비카운트값)를 카운트하여, 휘도의 오프셋값을 0∼n의 값을 갖는 외부 파라미터로서 설정하고, 상기 쌍방 참의 카운트값에 (비카운트값×오프셋값／n)을 더하여 출력한다.

여기서, 오프셋값은 기울기 제한에 의해 감소한 종점값의 밝기(a＋b)의 몇 퍼센트를 들어올리는지로 결정한다.

출력＝쌍방 참의 카운트값＋(비카운트값×오프셋값／n)

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(오프셋값은 0∼n)

상기에 의해, 도 6에 나타내는 바와 같이, 화상의 과소(過疎) 톤 맵 특성에는 변화가 없지만 화상 전체가 오프셋 분량만큼 밝아진다.

도 7은 상기한 오프셋량을 영역별로 자동 계산하는 실장예를 나타낸 예로, 이 실장예에서는, 독출(read-out)한 참조 픽셀 값과 주목 픽셀 값을 비교하고, 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여, 참조 픽셀의 히스토그램 값이 기울기 제한값보다 크면 비카운트값으로서 카운트한다.

상기와 병행하여 사전에 설정한 기울기 제한값 이하였던 참조 픽셀 값을 단순히 가산하고, 참조 픽셀 수로 나눠 평균값을 산출하고, 이것을 픽셀의 최대 휘도(8비트라면 256)로 나눈 값을 0∼n에 비례 안분하여 오프셋값으로 한다. 즉, 참조 픽셀의 평균 휘도를 그대로 오프셋값으로 함으로써, 주목 픽셀 P0의 휘도를 주변의 휘도에 매치시킬 수 있다.

그리고, 아래에 나타내는 바와 같이 쌍방 참의 카운트값에 (비카운트값×오프셋값／n)을 더하여 출력한다.

출력＝쌍방 참의 카운트값＋(비카운트값×오프셋값／n)

도 8은 상기 처리에 의한 가상 톤 맵으로, 이 실장예에서는, 참조 픽셀의 평균 휘도를 그대로 오프셋값으로 함으로써, 주변의 밝기에 매치된 톤 맵을 자동 생성할 수 있다.

전술한 화상 처리에 의해, 주위에 대해 극도로 밝기가 두드러진 부분이 없어지고 또한 화상 전체가 어두워지는 경우도 없어졌으나, 화상 전체의 콘트라스트가 부족한 경우가 있다. 이것을 해소하는 실장예를 도 9에 나타낸다.

이 실장예에서는, 주목 픽셀 P0의 픽셀 값 이하인 것 및 기울기 제한값 이하인 것의 양쪽 조건을 만족시키는 참조 픽셀 수를 쌍방 참의 카운트값으로 하고, 또한 기울기 제한값보다도 큰 히스토그램의 참조 픽셀 수(비카운트값)를 카운트한다.

그리고, 콘트라스트의 강도값을 0∼n의 값을 갖는 외부 파라미터로서 설정하고, 상기 쌍방 참의 카운트값에 ｛n／(n－비카운트값×강도값／n)｝을 곱함으로써, 주목 픽셀 P0의 휘도가 출력된다.

출력＝쌍방 참의 카운트값×n／(n－비카운트값×강도값／n)

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(강도값은 0∼n)

도 10은 상기 처리에 의해 얻어진 화상의 가상 톤 맵으로, 전술한 실장예에서는 기울기 제한으로 감소한 종점값(최대 휘도)을 오프셋에 의해 균일하게 끌어올리는 처리였으나, 이 실장예에서는 곱하는 처리를 행하기 때문에, 기울기도 변화하고 있다.

도 11은 오프셋 기능과 콘트라스트 기능을 동시에 발휘하는 실장예를 나타낸다. 이 실장예에서는, 주목 픽셀 P0의 픽셀 값 이하인 것 및 기울기 제한값 이하인 것의 양쪽의 조건을 만족시키는 참조 픽셀 수를 쌍방 참의 카운트값으로 하고, 상기와 병행하여 사전에 설정한 기울기 제한값 이하였던 참조 픽셀 값을 단순히 가산하고, 참조 픽셀 수로 나눠 평균값을 산출하여 이것을 오프셋값으로 한다.

그리고, 상기 쌍방 참의 카운트값에 ｛n／(n－비카운트값×강도값／n)｝을 곱하고, 또한 ｛비카운트값×(n－강도값)／n×오프셋값／n｝을 더하여 출력한다. 즉, 출력＝｛n／(n－비카운트값×강도값／n)｝＋｛비카운트값×(n－강도값)／n×오프셋값／n｝이 된다.

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(오프셋값, 강도값은 0∼n)

상기 각 처리에 의해, 부분적으로 극도로 밝기가 주위와 상이한 개소(노이즈 등)가 없어지고, 화상 전체의 콘트라스트도 수정할 수 있다. 그러나, 이러한 처리는 같은 값의 픽셀이 대부분을 차지하는 영역에 있어서는 특정 휘도에 치우치는 경향이 있다. 예를 들면, 어두운 화상에서 픽셀 값이 0에 치우친 경우에는 화상이 하얗게 보이는 문제가 있다.

도 13은 도 3에 나타낸 부분을 더욱 개선한 도면으로, 이 실장예에서는, 참조 픽셀 값과 주목 픽셀 값을 비교하는 콤퍼레이터를 2개 준비하고, 주목 픽셀 값보다도 작은 휘도이고 또한 기울기 제한값 이하가 된 참조 픽셀 수와, 주목 픽셀 값과 같은 휘도이며 또한 기울기 제한값 이하가 된 참조 픽셀의 수를 개별적으로 각각 카운트한다.

전항에서 얻어진 주목 픽셀 값보다 작은 휘도의 카운트 수에 주목 픽셀 값과 같은 휘도의 카운트 수를 주목 휘도에 따라 비례 가산한다.

이와 같이 함으로써, 도 14에 나타내는 바와 같이, 종점(최대 휘도)이 고정되고, 시점이 원점(0，0)으로 이동하는 톤 맵이 얻어진다.

제2 발명은 도 15에 나타내는 바와 같이, 입력 화상을 컬러 분해하고, 색감(CbCr), 휘도(Y) 및 3원색(RGB)을 추출한다. 본 발명에서는, 휘도(Y)에 대해, Blur 처리 및 플랫 보정을 행하고, 색감(CbCr) 및 3원색(RGB)과 컬러 합성을 행하여 출력 화상으로 한다. 또한, 본 발명에서는 플랫 프레임(휘도가 균일화된 화상)을 만드는 것이 아니라, 플랫 프레임의 원리를 이용할 뿐이다.

상기 Blur 처리에서는 휘도의 대략적인 변동 화상 즉 휘도가 흐려진 화상을 만든다. 본 실시예에서는 가우스 함수를 사용하여 화상을 흐리게 하는 가우시안 블러(Gaussian Blur) 처리를 행하였다.

가우시안 블러(Gaussian Blur) 처리는, 예를 들면, 도 16(a)에 나타내는 수평 Blur 처리를 행하고, 이 수평 Blur 처리가 끝난 라인 버퍼에 대해 도 16(b)에 나타내는 수직 Blur 처리를 행하여 블러 플레인을 만든다.

상기 수평 Blur 처리 시에, 입력 화상의 최저치의 과거 4 프레임을 평균하여 입력 영상 최저치(Ymin)를 구한다.

또한 가우시안 블러(Gaussian Blur) 처리를 행하면서, Blur 화상의 최소치(Bmin)와 최대치(Bmax)를 구한다.

본 발명의 로직을 실장하는 데 있어서는, 반지름 R의 가우시안 테이블을 가지고 가우스 계산은 행하지 않는다. 또한, 반지름 R은 최대 30 픽셀로 하고, 라인 버퍼는 62개(30×2＋중심 1＋수평 계산용 1) 사용한다.

도시예에서는, 커널 사이즈가 61×61이 되기 때문에, 처리면적을 줄이기 위해 가우시안 블러(Gaussian Blur) 처리를 수평 Blur와 수직 Blur로 나누었으나, 나누지 않고 단순히 커널 필터여도 된다.

상기 가우시안 블러(Gaussian Blur) 처리에 의해 Blur 플레인을 만들었다면, Blur 플레인의 보정을 행한다. 여기서 말하는 Blur 플레인이란 플랫 프레임이 아니라 Blur 값을 열거한 라인 버퍼이다.

먼저, Blur 플레인을 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 수정한다.

예를 들면, 역치로서 0.5를 설정하였다고 하면, 정규화 값 0∼1.0 중, 0∼0.5까지가 0∼1.0이 되고 0.5 이상은 모두 1.0이 된다.

이러한 보정을 행함으로써, 입력 화상에서 0.5 이상의 휘도가 있는 픽셀(화소)은 분포정보에서는 1.0이 되고, 후 처리(휘도 분포정보를 분모로 하여 입력 화상을 나눔)에서 원화상으로부터 변화하지 않는다. 한편, 어두운 부분은 분모가 서서히 작아지기 때문에 원화상이 어두울수록 배율이 높아지도록 암부는 보정된다.

Blur 플레인 보정(분포정보 보정)에 이어서 플랫 처리를 행한다. 이 플랫 처리에서는, Blur 플레인과 상기 입력 영상 최저치(Ymin)로부터 현 프레임의 처리를 행한다. 즉, 입력 화상의 휘도(Y) 및 3원색(RGB)을 Blur 플레인으로 나누는 처리이다.

상기에 있어서 주목 픽셀의 수직 Blur의 값이 확정된 시점에서, Blur 플레인의 만들기부터 분포정보의 취득과 보정까지의 처리가 가능해지기 때문에, 프레임 버퍼를 사용하지 않고 라인 버퍼의 지연만으로 실시간 처리가 가능하다.

플랫 처리에는 노멀 처리와 컬러 버스트 처리가 있고, 노멀 처리에서는 휘도(Y)만을 처리하여, 출력 전에 색감(CbCr)과 합성하고, 컬러 버스트 처리에서는 휘도(Y) 대신에 3원색(RGB) 플레인을 대상으로 동일한 계산을 행한다.

플랫 처리의 일반 계산식은 아래와 같다.

출력 화상 F(x,y)＝입력 화상 Y(x,y)＊256／플랫 프레임 Blur(x,y)

256은 비트 심도가 8 bit인 경우

상기 식에 Blur 플레인 보정(분포정보 보정)의 식을 적용하면 출력 화상은 아래의 식이 된다.

출력 화상 F(x,y)＝｛(Y(x,y)－Y(min)＞0？(Y(x,y)－Y(min)：0)＊256／｛Blur(x,y)＊(255－Bmin)／Bmax＋Bmin＜255？Blur(x,y)＊(255－Bmin)／Bmax＋Bmin：255}　

도 17(a)는 원화상으로, 암부에 있어서 블랙 크러시가 발생되어 있다. (b)는 가우시안 Blur 처리 후의 화상으로, 휘도가 전체로 흐릿해진 화상으로 되어 있다. (c)는 플랫 처리 후의 화상으로, (a)에서는 블랙 크러시로 되어 있었던 암부를 명확하게 시인할 수 있다.

제3 발명은 도 18에 나타내는 바와 같이, 입력 화상은 블랙 크러시 처리(FC：플랫 컬렉터)와 선명화 처리를 동시 병행하여 행하고, 블랙 크러시 처리 후의 화상과 선명화 처리 후의 화상을 블랙 크러시 처리에서 사용한 플랫 프레임의 원리를 이용하여 합성하여 출력한다.

블랙 크러시 처리에서는, 도 18에 나타내는 바와 같이, 입력 화상을 컬러 분해하여, 색감(CbCr), 휘도(Y) 및 3원색(RGB)을 추출한다. 본 발명에서는, 휘도(Y)에 대해 Blur 처리 및 플랫 처리를 행하고, 색감(CbCr) 및 3원색(RGB)과 컬러 합성을 행하여 출력 화상으로 한다. 또한, 본 발명에서는 플랫 프레임(휘도가 균일화된 화상)을 제작하는 것이 아니라, 플랫 프레임의 원리를 이용할 뿐이다.

가우시안 블러(Gaussian Blur) 처리는, 예를 들면, 도 19(a)에 나타내는 수평 Blur 처리를 행하고, 이 수평 Blur 처리가 끝난 라인 버퍼에 대해 도 19(b)에 나타내는 수직 Blur 처리를 행하여 블러 플레인을 만든다.

본 발명의 로직을 실장하는 데 있어서는, 반지름 R의 가우시안 테이블을 사용하고 가우스 계산은 행하지 않는다. 또한, 반지름 R은 최대 30 픽셀로 하고, 라인 버퍼는 62개(30×2＋중심 1＋수평 계산용 1) 사용한다.

상기 가우시안 블러(Gaussian Blur) 처리에 의해 Blur 플레인을 만들었다면, 플랫 프레임을 생성한다. Blur 플레인과 입력 영상 최저치(Ymin)로부터 생성한다. 또한, 본 발명에서는 실제로 플랫 프레임을 만드는 것이 아니라, 플랫 프레임의 원리를 이용할 뿐인 것은 상기한 바와 같다.

플랫 프레임의 생성에서는, Blur 플레인을 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 수정한다.

플랫 플레인 생성에 이어서 플랫 처리를 행한다. 이 플랫 처리에서는, Blur 플레인과 상기 입력 영상 최저치(Ymin)로부터 현 프레임의 처리를 행한다. 즉, 입력 화상의 휘도(Y) 및 3원색(RGB)을 Blur 플레인으로 나누는 처리이다.

플랫 처리의 일반 계산식은 아래와 같다.

출력 화상 F(x,y)＝입력 화상 Y(x,y)＊256／플랫 프레임 Blur(x,y)

256은 비트 심도가 8 bit인 경우

다음으로 선명화 처리를 도 20 이후를 토대로 설명한다. 도 20에 있어서 P0는 주목 픽셀이고, 이 주목 픽셀 P0의 밝기(휘도)를 조정한다. 또한, 도 21은 도 20의 방법으로 처리할 때의 참조 픽셀(도 20에서는 P1∼P8의 8개)로부터 구해지는 실행결과를 참조 픽셀이 가질 수 있는 모든 밝기로 그래프화한 가상 톤 맵이다.

본 발명은 주목 픽셀과 참조 픽셀로부터 주목 픽셀에 대한 유일한 변환결과를 얻는 것으로 톤 맵을 출력하는 것은 아니다.

한편, 도 21에 나타내는 가상 톤 맵은 실제로 알고리즘 상 생성되는 것이 아니라, 모든 입력 휘도에 대해 로직의 실행결과를 알기 쉽게 나타낸 것이다.

상기 실장예에는 개량의 여지가 남아 있다. 구체적으로는 도 21의 가상 톤 맵에는, 입력에 대해 출력이 급격히 커지는 개소, 구체적으로는 45°이상의 기울기가 되는 개소가 3개소 존재한다. 이 개소는 노이즈 등과 같이 밝기가 두드러지게 커지는 개소이다.

도 22는 상기를 개량한 실장예를 나타내는 도면이고, 도 23은 도 22에 대응하는 가상 톤 맵이며, 도 23에 있어서 점선은 도 18의 로직을 실행한 경우의 가상 톤 맵이다.

상기 처리에 의해, 도 23의 실선으로 나타내는 바와 같이, 밝기가 두드러지게 변화하는 부분이 없는 보기 쉬운 화상이 얻어진다.

한편, 이 상태에서는 화상 전체가 어두워지는 경우가 있다. 이것을 시정하는 구성을 도 24와 도 25의 가상 톤 맵에 나타낸다.

도 24에 나타내는 실장예에서는, 주목 픽셀 P0의 픽셀 값 이하인 것 및 기울기 제한값 이하인 것의 양쪽 조건을 만족시키는 참조 픽셀 수를 쌍방 참의 카운트값으로 하고, 또한 기울기 제한값보다도 큰 히스토그램의 참조 픽셀 수(비카운트값)를 카운트하여, 휘도의 오프셋값을 0∼n의 값을 갖는 외부 파라미터로서 설정하고, 상기 쌍방 참의 카운트값에 (비카운트값×오프셋값／n)을 더하여 출력한다.

출력＝쌍방 참의 카운트값＋(비카운트값×오프셋값／n)

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(오프셋값은 0∼n)

상기에 의해, 도 25에 나타내는 바와 같이, 화상의 과소 톤 맵 특성에는 변화가 없지만 화상 전체가 오프셋 분량만큼 밝아진다.

도 26은 상기한 오프셋량을 영역별로 자동 계산하는 실장예를 나타낸 예로, 이 실장예에서는, 독출한 참조 픽셀 값과 주목 픽셀 값을 비교하고, 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여, 참조 픽셀의 히스토그램 값이 기울기 제한값보다 크면 비카운트값으로서 카운트한다.

출력＝쌍방 참의 카운트값＋(비카운트값×오프셋값／n)

도 27은 상기 처리에 의한 가상 톤 맵으로, 이 실장예에서는, 참조 픽셀의 평균 휘도를 그대로 오프셋값으로 함으로써, 주변의 밝기에 매치된 톤 맵을 자동 생성할 수 있다.

전술한 화상 처리에 의해, 주위에 대해 극도로 밝기가 두드러진 부분이 없어지고 또한 화상 전체가 어두워지는 경우도 없어졌으나, 화상 전체의 콘트라스트가 부족한 경우가 있다. 이것을 해소하는 실장예를 도 28에 나타낸다.

출력＝쌍방 참의 카운트값×n／(n－비카운트값×강도값／n)

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(강도값은 0∼n)

도 29는 상기 처리에 의해 얻어진 화상의 가상 톤 맵으로, 전술한 실장예에서는 기울기 제한으로 감소한 종점값(최대 휘도)을 오프셋에 의해 균일하게 끌어올리는 처리였으나, 이 실장예에서는 곱하는 처리를 행하기 때문에, 기울기도 변화하고 있다.

도 30은 오프셋 기능과 콘트라스트 기능을 동시에 발휘하는 실장예를 나타낸다. 이 실장예에서는, 주목 픽셀 P0의 픽셀 값 이하인 것 및 기울기 제한값 이하인 것의 양쪽의 조건을 만족시키는 참조 픽셀 수를 쌍방 참의 카운트값으로 하고, 상기와 병행하여 사전에 설정한 기울기 제한값 이하였던 참조 픽셀 값을 단순히 가산하고, 참조 픽셀 수로 나눠 평균값을 산출하여 이것을 오프셋값으로 한다.

(n：참조 픽셀 수, 예를 들면 128 또는 256)

(오프셋값, 강도값은 0∼n)

도 31은 도 22에 나타낸 부분을 더욱 개선한 도면으로, 이 실장예에서는, 참조 픽셀 값과 주목 픽셀 값을 비교하는 콤퍼레이터를 2개 준비하고, 주목 픽셀 값보다도 작은 휘도이고 또한 기울기 제한값 이하가 된 참조 픽셀 수와, 주목 픽셀 값과 같은 휘도이며 또한 기울기 제한값 이하가 된 참조 픽셀의 수를 개별적으로 각각 카운트한다.

이와 같이 함으로써, 도 33에 나타내는 바와 같이, 종점(최대 휘도)이 고정되고, 시점이 원점(0，0)으로 이동하는 톤 맵이 얻어진다.

이상에 설명한 바와 같이, 블랙 크러시 수정 화상(FC 출력 화상) 및 선명화 출력 화상이 얻어졌다면, 플랫 프레임의 원리를 이용하여 이들 화상을 합성한다. 본 발명에서는 합성에 있어서, 단순히 블랙 크러시 수정 화상과 선명화 출력 화상을 블렌드하는 것이 아니라, 어두운 부분에 대해서는 블랙 크러시 수정 화상의 배분을 많게 하고, 밝은 부분에 대해서는 선명화 출력 화상의 배분을 많게 한다.

상기를 CPU에서 실장하는 경우에는, 실제로 플랫 프레임을 생성한 후에 프레임 사이에서 연산을 행한다.

한편, FPGA 등 회로에서 실시간 처리하는 경우에는, 실제로 프레임 버퍼에 1장 분량의 플랫 프레임을 만드는 것이 아니라, 라인 버퍼를 사용하여 흐림 직경 분량의 링 버퍼(필요 분량만큼 반복 이용하는 구조)를 사용하여 실시간 처리를 행한다. 즉 플랫 프레임을 1 화면 분량 만드는 것이 아니라, 화면의 스캔에 동기하여 가로로 길고 가느다란 플랫 프레임을 스캔 1 라인마다 생성한다.

라인 버퍼를 이용하여 플랫 프레임의 흐림 직경 분량만큼 늦게 실시간 처리를 행하는 점에서는, 블랙 크러시 수정에 이용한 플랫 프레임과 동일하나, 블랙 크러시 수정의 경우에는 명도 정보를 가우시안으로 흐리게 한 후에 레벨 보정하여 플랫 프레임으로 하였으나, 화면 합성 시의 레벨 보정은 블랙 크러시 수정의 보정값과는 상이한 경우가 있고, 따라서, 라인 버퍼에는 가우시안으로 명도를 흐리게 했을 뿐인 상태로 유지해 두고, 블랙 크러시 수정과 화면 합성에서는 상이한 레벨 보정을 행한다. 또한, 레벨 보정은 덧셈과 곱셈만으로 완결되기 때문에, 출력 직전에 실시간으로 계산할 수 있다.

도 34(a)는 원화상으로, 암부에 있어서 블랙 크러시가 발생되며, 또한 선명하지 않은 부분이 존재한다. (b)는 블랙 크러시 처리 후의 화상으로, 블랙 크러시는 해소되어 있지만 밝은 부분의 콘트라스트가 부족하여, 전선이 지나치게 노출되어 있다. (c)는 선명화 처리 후의 화상으로, 어두운 부분의 콘트라스트가 과도하게 강조되어, 역광 부분의 입자가 흐트러져 있다. (d)는 화상 합성 후(본 발명)의 화상으로, 블랙 크러시 처리 및 선명화 처리의 과제가 모두 해소되어, 전선은 시인할 수 있고 역광 부분의 입자는 정돈되어 있다.

Claims

가져온 화상 데이터를 픽셀 단위로 처리하는 데 있어, 화상 주사의 주사 위치가 되는 주목 픽셀의 주위에 n개(n은 정수)의 참조 픽셀을 설정하고, 주목 픽셀의 픽셀 값(휘도)과 각 참조 픽셀의 픽셀 값(휘도)을 순차 비교하여, 주목 픽셀 값 이하의 픽셀 값이었던 참조 픽셀의 수를 카운트하고, 이것과 병행하여 각 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여, 참조 픽셀 값이 주목 픽셀 값 이하인 조건과 픽셀의 히스토그램 값이 기울기 제한값 이하인 조건의 양쪽 조건을 만족시키는 참조 픽셀의 수를 카운트함으로써 쌍방 참의 카운트값을 구하고, 이 쌍방 참의 카운트값을 비례 안분하여 출력하는 것을 특징으로 하는 화상 처리 방법.
제1항에 기재된 화상 처리 방법에 있어서, 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 비카운트값으로서 카운트하고, 또한 휘도의 오프셋값을 외부 파라미터로서 설정하여, 아래의 식(1)에 대입하여 출력함으로써 화면 전체의 밝기를 조정하는 것을 특징으로 하는 화상 처리 방법.
식(1)
출력＝쌍방 참의 카운트값＋(비카운트값×오프셋값／n)
n은 참조 픽셀 수
제1항에 기재된 화상 처리 방법에 있어서, 상기 참조 픽셀 값의 평균값을 산출하여 휘도의 오프셋값으로 하고, 주목 픽셀에 따른 적응적인 오프셋값을 출력 시에 가산하여 화면의 밝기를 적응적으로 자동 조정하는 것을 특징으로 하는 화상 처리 방법.
제2항에 기재된 화상 처리 방법에 있어서, 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 비카운트값으로서 카운트하고, 또한 콘트라스트 강도값을 외부 파라미터로서 설정하여, 아래의 식(2)에 대입하여 출력함으로써 적응적인 콘트라스트 강도값을 갖는 것을 특징으로 하는 화상 처리 방법.
식(2)
출력＝｛쌍방 참의 카운트값＋(비카운트값×오프셋값／n)｝×n／(n－비카운트 수×콘트라스트 강도값／n)
n은 참조 픽셀 수, 콘트라스트 강도값은 0∼n
제2항 또는 제3항에 기재된 오프셋값을 갖는 화상 처리 방법에 있어서, 콘트라스트 강도값을 외부 파라미터로서 설정하여, 상기 참조 픽셀 값의 평균값을 산출하고, 또한 상기 기울기 제한값과의 비교에서 카운트되지 않은 참조 픽셀의 수를 비카운트값으로서 카운트하고, 이들 평균값 및 비카운트값과 콘트라스트 강도값을 아래의 식(3)에 대입하여 출력하는 것을 특징으로 하는 화상 처리 방법.
식(3)
출력＝제2항 또는 제3항의 출력×｛n／(n－비카운트값×콘트라스트 강도값／n)｝＋｛비카운트값×(n－콘트라스트 강도값)／n×오프셋값／n｝
n은 참조 픽셀 수, 콘트라스트 강도값은 0∼n
제1항에 기재된 화상 처리 방법에 있어서, 상기 주목 픽셀 값과 각 참조 픽셀 값을 비교하여 주목 픽셀 값과 같은 픽셀 값의 참조 픽셀 수와, 주목 픽셀 값보다도 작은 픽셀 값의 참조 픽셀 수를 개별적으로 카운트하여, 전자의 픽셀 수를 주목 픽셀의 값에 비례하여 후자의 픽셀 수에 더함으로써 각각의 참의 카운트 수를 구하는 것을 특징으로 하는 화상 처리 방법.
입력 화상의 Y 플레인(휘도 플레인) 메모리 내의 각 픽셀의 휘도에 가우시안 Blur 처리를 행함으로써 휘도가 흐려진 Blur 값을 구하고, 이 Blur 값을 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 보정하여, 보정한 암부의 휘도 분포정보(1／n∼1.0)를 분모로 하여 입력 화상의 휘도를 나누는 것을 특징으로 하는 화상 처리 방법.
제7항에 기재된 화상 처리 방법에 있어서, 상기 Blur 값의 산출결과를 라인 버퍼만으로 버퍼링하여 분포정보의 보정과 병행 처리하는 것을 특징으로 하는 화상 처리 방법.
선명화 처리를 행한 화상과 블랙 크러시 처리(black crush processing)를 행한 화상을 합성하는 화상 처리로서, 상기 블랙 크러시 처리는, 입력 화상의 Y 플레인(휘도 플레인) 메모리 내의 각 픽셀의 휘도에 가우시안 Blur 처리를 행함으로써 휘도가 흐려진 Blulr 값을 구하고, 이 Blur 값을 정규화하여 0∼1.0의 값을 취하는 분포정보로 하고, 추가로 정규화한 값 0∼1.0 사이에서 역치를 설정하여, 이 역치보다도 큰 값의 픽셀에 대해서는 모두 1.0으로 하고, 역치보다도 작은 값의 암부의 픽셀에 대해서는 가장 어두운 픽셀의 휘도 배율(n)을 결정하고, 그의 역수(1／n)를 분포정보의 최저치로 하도록 분포정보를 보정하여, 보정한 암부의 휘도 분포정보(1／n∼1.0)를 분모로 하여 입력 화상의 휘도를 나누는 것을 특징으로 하는 화상 처리 방법.
제9항에 기재된 화상 처리 방법에 있어서, 상기 선명화 처리는, 가져온 화상 데이터를 픽셀 단위로 처리하는 데 있어, 화상 주사의 주사 위치가 되는 주목 픽셀의 주위에 n개(n은 정수)의 참조 픽셀을 설정하고, 주목 픽셀의 픽셀 값(휘도)과 각 참조 픽셀의 픽셀 값(휘도)을 순차 비교하여, 주목 픽셀 값 이하의 픽셀 값이었던 참조 픽셀의 수를 카운트하고, 이것과 병행하여 각 참조 픽셀의 히스토그램 값을 ＋1하여 사전에 설정한 기울기 제한값과 비교하여, 참조 픽셀 값이 주목 픽셀 값 이하인 조건과 픽셀의 히스토그램 값이 기울기 제한값 이하인 조건의 양쪽 조건을 만족시키는 참조 픽셀의 수를 카운트함으로써 쌍방 참의 카운트값을 구하고, 이 쌍방 참의 카운트값을 비례 안분하여 출력하는 것을 특징으로 하는 화상 처리 방법.