KR101200231B1 - 화상 처리 장치 및 방법, 및 기록 매체 - Google Patents

Abstract

촬상 흐림에 기인하는 화상 열화를 억제할 수 있게 한다. DL부(91-1～91-n)는, 주목 화소를 중심으로 이동 벡터 방향(이하, 횡방향)으로 나열된 n개의 화소의 각 화소값을 취득한다. 평균값 산출부(93)는, 주목 화소의 좌측에 위치하고, 또한, 주목 화소의 이동 속도의 약 절반인 k개의 화소의 각 화소값의 평균값을, 왼쪽 화소의 평균 화소값 La로서 산출한다. 평균값 산출부(94)는, 주목 화소의 우측에 위치하는 k개의 화소의 각 화소값의 평균값을, 오른쪽 화소의 평균 화소값 Ra로서 산출한다. 보정량 결정부(95)는 왼쪽 화소의 평균 화소값 La, 주목 화소의 화소값 N, 및 오른쪽 화소의 평균 화소값 Ra에 기초하여 보정량 ADD를 산출한다. 가산부(96)는 주목 화소의 보정 전 화소값 N과 보정량 ADD를 가산하고, 그 가산치를 주목 화소의 보정 후 화소값으로서 출력한다. 본 발명은 텔레비전 방송 수상기에 적용 가능하다.

촬상 흐림, 주목 화소, 화소값, 평균값 산출부, 보정량 결정부, 가산부

Description

화상 처리 장치 및 방법, 및 기록 매체{IMAGE PROCESSING APPARATUS AND METHOD, AND RECORDING MEDIUM}

도 1은 본 발명이 적용되는 화상 처리 장치의 기능적 구성의 일례를 도시하는 블록도.

도 2는 인간의 망막 상에 형성되는 상 흐림의 주파수 특성의 일례를 도시하는 도면.

도 3은 도 1의 화상 처리 장치가 실행하는 화상 처리의 일례를 설명하는 플로우차트.

도 4는 이동 벡터(이동 속도)에 따른 촬상 흐림의 주파수 특성의 일례를 도시하는 도면.

도 5는 도 1의 화상 처리 장치 내의 촬상 흐림 억제 처리부의 기능적 구성의 일례를 도시하는 블록도.

도 6은 도 5의 촬상 흐림 억제 처리부 내의 고역 성분 제거부의 기능적 구성의 일례를 도시하는 블록도.

도 7은 도 6의 고역 성분 제거부 내의 고역 리미터부의 특성의 일례를 도시하는 도면.

도 8은 도 5의 촬상 흐림 억제 처리부 내의 필터부의 기능적 구성의 일례를 도시하는 블록도.

도 9는 도 8의 필터부 내의 게인 제어부의 기능적 구성의 일례를 도시하는 블록도.

도 10은 도 9의 게인 제어부 내의 조정량 결정부의 특성의 일례를 도시하는 도면.

도 11은 도 5의 촬상 흐림 억제 처리부 내의 촬상 흐림 보상부의 기능적 구성의 일례를 도시하는 블록도.

도 12는 도 11의 촬상 흐림 보상부 내의 ALTI부의 기능적 구성의 일례를 도시하는 블록도.

도 13은 도 12의 ALTI부의 처리 대상의 일례를 도시하는 도면으로서, 주목 화소에서 볼 때 우측으로 연속하여 나열된 화소군의 화소값의 평균을 연산하는 경우에서의 화소값의 보정 방법을 설명하는 도면.

도 14는 주목 화소에서 볼 때 우측으로 연속하여 나열된 화소군의 화소값의 평균을 연산하는 경우에서의 화소값의 보정 방법의 보충 설명을 하는 도면.

도 15는 도 12의 ALTI부의 처리의 일례를 설명하는 플로우차트.

도 16은 도 12의 ALTI부 내의 조정량 산출부의 특성의 일례를 도시하는 도면.

도 17은 도 11의 촬상 흐림 보상부 내의 ALTI부의 기능적 구성의, 도 12와는 상이한 다른 예를 도시하는 블록도.

도 18은 도 11의 촬상 흐림 보상부 내의 게인 제어부의 기능적 구성예를 도 시하는 블록도.

도 19는 도 18의 게인 조정부 내의 조정량 결정부의 특성의 일례를 도시하는 도면.

도 20은 도 1의 화상 처리 장치 내의 촬상 흐림 억제 처리부의 기능적 구성의, 도 5와는 상이한 예를 도시하는 블록도.

도 21은 도 1의 화상 처리 장치 내의 촬상 흐림 억제 처리부의 기능적 구성의, 도 5 및 도 20과는 상이한 예를 도시하는 블록도.

도 22는 카메라의 셔터 속도와 촬상 흐림 특성을 설명하는 도면.

도 23은 본 발명이 적용되는 화상 처리 장치의 기능적 구성의, 도 1과는 상이한 예를 도시하는 블록도.

도 24는 본 발명이 적용되는 화상 처리 장치의 기능적 구성의, 도 1 및 도 23과는 상이한 예를 도시하는 블록도.

도 25는 본 발명이 적용되는 화상 처리 장치의 기능적 구성의, 도 1, 도 23, 및 도 24와는 상이한 예를 도시하는 블록도.

도 26은 본 발명이 적용되는 화상 처리 장치의 기능적 구성의, 도 1, 도 23, 도 24, 및 도 25와는 상이한 예를 도시하는 블록도.

도 27은 본 발명이 적용되는 화상 처리 장치의 전부 또는 일부의 하드웨어 구성의 일례를 도시하는 블록도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 화상 처리 장치

11 : 고프레임 레이트 변환부

12 : 촬상 흐림 특성 검출부

13 : 촬상 흐림 억제 처리부

21 : 고역 성분 제거부

22 : 필터부

23 : 촬상 흐림 보상부

24 : 가산부

31 : 하이 패스 필터부

32 : 고역 리미터부

33 : 감산부

51 : 이동 평균 필터부

52 : 감산부

53 : 게인 제어부

54 : 가산부

(61-1～61-n) : DL부

62 : MAX/MIN 산출부

63 : 감산부

64 : 조정량 결정부

81 : ALTI부

82 : 감산부

83 : 게인 제어부

84 : 가산부

91-1～91-n : DL부

92, 93, 94 : 평균값 산출부

95 : 보정량 결정부

96 : 가산부

101～104 : 감산부

105 : 가산부

106 : ABS부

107 : 차분 절대값 산출부

108 : 제산부

109 : 조정량 산출부

110, 111 : 승산부

112 : 고정치 발생부

113 : 판별부

121 : 후보 결정부

122 : 조정량 결정부

123 : 조정부

124 : 보정량 선발부

161 : 마스킹 신호 생성부

162 : LTI 처리부

163 : 평균화부

171 : 조정량 결정부

172 : 승산부

201, 202, 212, 231 : 화상 처리 장치

301 : CPU

302 : ROM

303 : RAM

308 : 기억부

311 : 리무버블 기록 매체

특허 문헌 1 : 일본특허공개 평7-59054호 공보

특허 문헌 2 : 일본특허출원 2004-234051호

특허 문헌 3 : 일본특허공개 2000-324364호 공보

본 발명은 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히, 촬상 흐림에 기인하는 화상 열화(흐림 화상)를 억제함으로써, 프레임 레이트 변환 후의 영상을 더욱 선명하게 표시할 수 있는 화상 처리 장치 및 방법, 기록 매 체, 및 프로그램에 관한 것이다.

최근, 영상(동화상)을 표시하기 위한 영상 신호 변환 장치에서, 입력측의 텔레비전 방식과 출력측의 텔레비전 방식 사이에서 프레임 또는 필드 주파수가 일정한 동기 관계가 없는 경우에도, 영상의 품질을 열화시키지 않고서 표시시키는 방법으로서, 프레임 레이트를 조정하는 방법(이하, 프레임 레이트 변환 방법이라고 칭함)이 제안되어 있다(특허 문헌 1 참조).

그러나, 특허 문헌 1 등의 종래의 프레임 레이트 변환 방법을 이용하여 프레임 레이트를 늘리는 경우에는, 촬영 시에 발생하는 움직임 흐림(이하, 촬상 흐림이라고 칭함)에 대한 고려가 이루어져 있지 않았다. 이에 따라, 촬상 흐림에 기인하는 화상 열화(흐림 화상)는 특별히 개선되지 않고 그대로 남고, 그 결과, 선명한 영상을 표시 장치에 표시시키는 것은 곤란하게 된다고 하는 과제가 있었다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 촬상 흐림에 기인하는 화상 열화(흐림 화상)를 억제함으로써, 프레임 레이트 변환 후의 영상을 더욱 선명하게 표시시킬 수 있도록 하는 것이다.

또한, 촬상 흐림에 기인하는 화상 열화(흐림 화상)를 억제함으로써, 프레임 레이트 변환 후의 영상을 더욱 선명하게 표시시킬 수 있는 화상 처리 장치 및 방법, 기록 매체, 및 프로그램으로서는, 본 발명인에 의해 이미 발명되어 특허 문헌 2로서 이미 출원되어 있는 것도 있다. 따라서, 본 발명에서는, 특허 문헌 2에 따른 화상 처리 장치 및 방법, 기록 매체, 및 프로그램과는 상이한 구성 또는 단계를 구비하는 화상 처리 장치 및 방법, 기록 매체, 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 촬영 장치에 의해 동화상이 촬영될 때에 발생하는 촬상 흐림(image blur) 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 화상 처리 장치로서, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 파라미터의 값 중, 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 수단을 포함하는 것을 특징으로 한다. 상세하게는, 보정 수단은, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소 중, 처리 대상으로서 주목할 화소를 주목 화소로서 설정하고, 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 수단과, 파라미터의 값 중, 주목 화소에 대응하는 값에 기초하여, 취득 수단에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향측으로 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 제1 산출 범위로서 결정하고, 결정된 제1 산출 범위에 포함되는 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 수단과, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 수단에 의해 취득된 입력 화소값 중, 주목 화소보다, 제1 방향과는 역방향인 제2 방향측에 위치하는 k개의 화소의 각각의 입력 화소값을 제2 산출 범위로서 결정하고, 결정된 제2 산출 범위에 포함되는 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 수단과, 제1 평균값 산출 수단에 의해 산출된 제1 방향 화소 평균 화소값, 주목 화소의 입력 화소값, 및 제2 평균값 산출 수단에 의해 산출된 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 수단과, 주목 화소의 입력 화소값과 보정량 결정 수단에 의해 결정된 보정량을 가산하고, 그 결과 얻어지는 가산치를, 주목 화소의 출력 화소값으로서 출력하는 제1 가산 수단을 구비하는 것을 특징으로 한다.

화상 처리 장치는, 취득 수단에 의해 취득된 입력 화소값 중, 주목 화소와 그 근린의 m개(m은 1 이상의 정수값)의 화소의 각각의 입력 화소값의 평균값을, 주목 화소 평균 화소값으로서 산출하는 제3 평균값 산출 수단을 더 포함하고, 보정량 결정 수단은, 제1 방향 화소 평균 화소값과 주목 화소의 입력 화소값의 차분값을 보정량의 제1 후보로서 결정하고, 또한, 제2 방향 화소 평균 화소값과 주목 화소의 입력 화소값의 차분값을 보정량의 제2 후보로서 결정하는 후보 결정 수단과, 제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면 상에서의, 제1 방향 화소 평균 화소값을 나타내는 제1 점, 제3 평균값 산출 수단에 의해 산출된 주목 화소 평균 화소값을 나타내는 제2 점, 및 제2 방향 화소 평균 화소값을 나타내는 제3 점의 3점의 위치 관계를 이용하여, 상기 보정량을 조정하기 위한 조정량을 결정하는 조정량 결정 수단과, 후보 결정 수단에 의해 결정된 제1 후보와 제2 후보의 각각의 값을, 조정량 결정 수단에 의해 결정된 조정량을 이용하여 조정하는 조정 수단과, 조정 수단에 의해 값이 조정된 제1 후보 및 제2 후보, 및 미리 설정되어 있는 고정치 중에서 하나를 보정량으로서 결정하는 선발 수단을 구비하도록 할 수 있다.

조정량 결정 수단은 제1 점～제3 점을 그 순서대로 연결한 선의 제2 점에서의 2차 미분값의 절대값을, 제2 축 방향의 제1 점과 제3 점 사이의 거리로 제산하고, 그 결과 얻어지는 제산치를 이용하여 조정량을 결정하도록 할 수 있다.

제1 평균값 산출 수단과 제2 평균값 산출 수단의 각각은, 또한, 제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면 상에서의, 각각이 결정한 제1 산출 범위 및 제2 산출 범위에 포함되는 k개의 입력 화소값의 각각을 나타내는 각 점을 연결한 선의 기울기의 극성이 변화하고 있는지의 여부를 판정하고, 극성이 변화하고 있지 않다고 판정한 경우, k개의 입력 화소값을 그대로 이용하여, 제1 방향 화소 평균 화소값 또는 제2 방향 화소 평균 화소값을 산출하고, 극성이 변화하고 있다고 판정한 경우, k개의 입력 화소값 중 극성 변화 후의 점이 나타내는 입력 화소값을 보정 대상으로 하여, 극성 변화 전의 점이 나타내는 입력 화소값에 기초하여 보정하고, k개의 입력 화소값 중, 보정 대상에 대해서는 보정 후의 값을 이용하여, 또한, 그 이외에 대해서는 입력 화소값을 그대로 이용하여, 제1 방향 화소 평균 화소값 또는 제2 방향 화소 평균 화소값을 산출하도록 할 수 있다.

보정 수단은, 취득 수단, 제1 평균값 산출 수단, 제2 평균값 산출 수단, 보정량 결정 수단, 및, 제1 가산 수단을 포함하는 제1 보정 수단 외에도, 촬상 흐림 을 나타내는 이동 평균 필터의 특성을, 파라미터의 값 중 주목 화소에 대응하는 값에 따라 변환하고, 주목 화소를 포함하는 소정의 블록의 각 입력 화소값에 대하여, 특성이 변환된 이동 평균 필터를 적용하고, 그 결과 얻어지는 주목 화소의 보정된 입력 화소값을 제1 값으로서 출력하는 이동 평균 필터링 수단과, 주목 화소의 입력 화소값과 이동 평균 필터링 수단으로부터 출력된 제1 값의 차분을 연산하고, 그 결과 얻어지는 차분값을 제2 값으로서 출력하는 감산 수단과, 감산 수단으로부터 출력된 제2 값을 주목 화소의 입력 화소값에 가산하고, 그 결과 얻어지는 가산치를 주목 화소의 출력 화소값으로서 출력하는 제2 가산 수단을 갖는 제2 보정 수단을 더 구비하도록 할 수 있다.

화상 처리 장치는, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각에서의 이동 벡터를, 복수의 화소의 각각에 대응하는 파라미터의 값으로서 취득하도록 할 수 있다.

화상 처리 장치는, 동화상을 구성하는 복수의 액세스 유닛의 각각이 촬영 장치에 의해 촬영되었을 때의 촬영 장치의 셔터 속도의 각각을, 파라미터의 값으로서 취득하도록 할 수 있다.

화상 처리 장치는, 동화상에서의 액세스 유닛의 레이트를, 현재의 제1 레이트로부터 그보다 높은 제2 레이트로 변환하는 고레이트 변환(high rate conversion) 처리를 실행하는 고레이트 변환 수단을 더 포함하고, 보정 수단은, 처리 대상의 액세스 유닛에 대하여, 고레이트 변환 수단에 의한 고레이트 변환 처리가 실시되기 전 또는 후에, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하도록 할 수 있다.

제1 레이트는 30㎐이고, 제2 레이트는 120㎐이도록 할 수 있다.

제1 레이트는 60㎐이고, 제2 레이트는 120㎐이도록 할 수 있다.

제1 레이트는 60㎐이고, 제2 레이트는 240㎐이도록 할 수 있다.

제1 레이트는 50㎐이고, 제2 레이트는 100㎐이도록 할 수 있다.

제1 레이트는 50㎐이고, 제2 레이트는 200㎐이도록 할 수 있다.

본 발명의 화상 처리 방법은, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 촬영 장치에 의해 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 화상 처리 장치의 화상 처리 장치로서, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 단계를 포함하는 것을 특징으로 한다. 상세하게는, 보정 단계는, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소 중 처리 대상으로서 주목할 화소를 주목 화소로서 설정하고, 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 제1 산출 범위로서 결정하고, 결정된 제1 산출 범위에 포함되는 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향과는 역방향인 제2 방향측에 위치하는 k개의 화소의 각각의 입력 화소값을 제2 산출 범위로서 결정하고, 결정된 제2 산출 범위에 포함되는 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계와, 제1 평균값 산출 단계의 처리에 의해 산출된 제1 방향 화소 평균 화소값, 주목 화소의 입력 화소값, 및 제2 평균값 산출 단계의 처리에 의해 산출된 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계와, 주목 화소의 입력 화소값과 보정량 결정 단계의 처리에 의해 결정된 보정량을 가산하고, 그 결과 얻어지는 가산치를 주목 화소의 출력 화소값으로서 출력하는 제1 가산 단계를 포함하는 것을 특징으로 한다.

본 발명의 기록 매체의 프로그램은, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 촬영 장치에 의해 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 장치의 제어를 행하는 컴퓨터에 실행시키는 프로그램으로서, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 단계를 포함하는 것을 특징으로 한다. 상세하게는, 보정 단계는, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소 중 처리 대상서 주목할 화소를 주목 화소로서 설정하고, 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 제1 산출 범위로서 결정하고, 결정된 제1 산출 범위에 포함되는 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향과는 역방향인 제2 방향측에 위치하는 k개의 화소의 각각의 입력 화소값을 제2 산출 범위로서 결정하고, 결정된 제2 산출 범위에 포함되는 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계와, 제1 평균값 산출 단계의 처리에 의해 산출된 제1 방향 화소 평균 화소값, 주목 화소의 입력 화소값, 및 제2 평균값 산출 단계의 처리에 의해 산출된 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계와, 주목 화소의 입력 화소값과 보정량 결정 단계의 처리에 의해 결정된 보정량을 가산하고, 그 결과 얻어지는 가산치를, 주목 화소의 출력 화소값으로서 출력하는 제1 가산 단계를 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 촬영 장치에 의해 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 장치의 제어를 행하는 컴퓨터에 실행시키는 프로그램으로서, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 단계를 포함하는 것을 특징으로 한다. 상세하게는, 보정 단계는, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소 중 처리 대상으로서 주목할 화소를 주목 화소로서 설정하고, 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소의 좌측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 제1 산출 범위로서 결정하고, 결정된 제1 산출 범위에 포함되는 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계와, 파라미터의 값 중 주목 화소에 대응하는 값에 기초하여, 취득 단계의 처리에 의해 취득된 입력 화소값 중, 주목 화소보다 제1 방향과는 역방향인 제2 방향측에 위치하는 k개의 화소의 각각의 입력 화소값을 제2 산출 범위로서 결정하고, 결정된 제2 산출 범위에 포함되는 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계와, 제1 평균값 산출 단계의 처리에 의해 산출된 제1 방향 화소 평균 화소값, 주목 화소의 입력 화소값, 및, 제2 평균값 산출 단계의 처리에 의해 산출된 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계와, 주목 화소의 입력 화소값과 보정량 결정 단계의 처리에 의해 결정된 보정량을 가산하고, 그 결과 얻어지는 가산치를 주목 화소의 출력 화소값으로서 출력하는 제1 가산 단계를 포함하는 것을 특징으로 한다.

본 발명의 정보 처리 장치 및 방법, 기록 매체, 및 프로그램에서는, 촬영 장치에 의해 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값이 1 이상 취득되고, 그 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값이 보정된다. 상세하게는, 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 처리 대상의 액세스 유닛을 구성하는 복수의 화소 중 처리 대상으로서 주목할 화소가 주목 화소로서 설정되고, 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값이 취득된다. 취득된 입력 화소값 중, 주목 화소보다 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값이 산출 범위로서 결정되고, 결정된 산출 범위에 포함되는 입력 화소값의 평균값이 제1 방향 화소 평균 화소값으로서 산출된다. 또한, 주목 화소보다 제1 방향과는 역방향인 제2 방향측에 위치하는 k개의 화소의 각각의 입력 화소값의 평균값이 제2 방향 화소 평균 화소값으로서 마찬가지로 산출된다. 이 때, k개는 파라미터의 값에 따라서 결정된다. 즉, k개는 파라미터의 값에 따라서 가변한다. 그리고, 제1 방향 화소 평균 화소값, 주목 화소의 입력 화소값, 및 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 주목 화소의 입력 화소값을 보정하기 위한 보정량이 결정되고, 주목 화소의 입력 화소값과 보정량이 가산되며, 그 결과 얻어지는 가산치가 주목 화소의 출력 화소값, 즉 주목 화소의 보정 후의 화소값으로서 출력된다.

<실시 형태>

이하에, 본 발명의 실시 형태를 설명하지만, 청구항에 기재된 구성 요건과 발명의 실시 형태에서의 구체예의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 청구항에 기재되어 있는 발명을 서포트하는 구체예가 발명의 실시 형태에 기재되어 있다는 것을 확인하기 위한 것이다. 따라서, 발명의 실시 형태 중에는 기재되어 있지만, 구성 요건에 대응하는 것으로서, 여기에는 기재되어 있지 않은 구체예가 있다고 하여도, 이는, 그 구체예가 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것이 아니다. 반대로, 구체예가 구성 요건에 대응하는 것으로서 여기에 기재되어 있다고 하여도, 이는, 그 구체예가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것이라는 것을 의미하는 것도 아니다.

또한, 이 기재는, 발명의 실시 형태에 기재되어 있는 구체예에 대응하는 발명이 청구항에 모두 기재되어 있다는 것을 의미하는 것이 아니다. 바꾸어 말하면, 이 기재는, 발명의 실시 형태에 기재되어 있는 구체예에 대응하는 발명으로서, 본 원의 청구항에는 기재되어 있지 않은 발명의 존재, 즉 장래, 분할 출원되거나, 보정에 의해 추가되는 발명의 존재를 부정하는 것이 아니다.

본 발명에 따르면, 정보 처리 장치가 제공된다. 이 정보 처리 장치는, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하 여, 상기 촬영 장치에 의해 상기 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 정보 처리 장치(예를 들면, 파라미터의 값을 검출하는 촬상 흐림 특성 검출부(12)를 포함하는 도 1의 화상 처리 장치(1), 도 23의 화상 처리 장치(201), 혹은 도 24의 화상 처리 장치(202), 또는 파라미터의 값을 외부로부터 취득하는 도 25의 화상 처리 장치(212) 혹은 도 26의 화상 처리 장치(231). 단, 이하, 도 1의 화상 처리 장치(1)에 대해서만 언급함)이다. 이 정보 처리 장치는, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 상기 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소의 각각의 화소값을 보정하는 보정 수단(예를 들면, 도 1의 촬상 흐림 억제 처리부(13))을 포함하는 것을 특징으로 한다. 상세하게는, 상기 보정 수단(예를 들면, 도 5, 도 20, 또는 도 21의 기능적 구성의 촬상 흐림 억제 처리부(13)로서, 도 12의 ALTI부(81)를 갖는 촬상 흐림 억제 처리부(13))은, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소 중 처리 대상으로서 주목할 화소를 주목 화소로서 설정하고, 상기 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 수단(예를 들면, 도 12의 DL부(91-1～91-n))과, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 값에 기초하여, 상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 산출 범위로서 결정하고, 결정된 상기 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제1 방향 화소 평균 화소값(예를 들면, 도 12의 값 La)으로서 산출하는 제1 평균값 산출 수단(예를 들면, 도 12의 평균값 산출부(93))과, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 기초하여, 상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향과는 역방향인 제2 방향측에 위치하는 상기 k개의 화소의 각각의 입력 화소값을 산출 범위로서 결정하고, 결정된 상기 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제2 방향 화소 평균 화소값(예를 들면, 도 12의 값 Ra)으로서 산출하는 제2 평균값 산출 수단(예를 들면, 도 12의 평균값 산출부(94))과, 상기 제1 평균값 산출 수단에 의해 산출된 상기 제1 방향 화소 평균 화소값, 상기 주목 화소의 입력 화소값(예를 들면, 도 12의 값 N), 및 상기 제2 평균값 산출 수단에 의해 산출된 상기 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 상기 주목 화소의 입력 화소값을 보정하기 위한 보정량(예를 들면, 도 12의 값 ADD)을 결정하는 보정량 결정 수단(예를 들면, 도 12의 보정량 결정부(95))과, 상기 주목 화소의 입력 화소값과 상기 보정량 결정 수단에 의해 결정된 상기 보정량을 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 제1 가산 수단(예를 들면, 도 12의 가산부(96))을 구비하는 것을 특징으로 한다.

이 본 발명의 화상 처리 장치는, 상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소와 그 근린의 m개(m은 1 이상의 정수값)의 화소(예를 들면, 도 12의 예에서는, m=2. 즉, 주목 화소의 양 이웃의 화소)의 각각의 입력 화 소값의 평균값을 주목 화소 평균 화소값(예를 들면, 도 12의 값 Na)으로서 산출하는 제3 평균값 산출 수단(예를 들면, 도 12의 평균값 산출부(92))을 더 포함하고, 상기 보정량 결정 수단은, 상기 제1 방향 화소 평균 화소값과 상기 주목 화소의 입력 화소값의 차분값을 상기 보정량의 제1 후보(예를 들면, 도 12의 값 ADDL)로서 결정하고, 또한, 상기 제2 방향 화소 평균 화소값과 상기 주목 화소의 입력 화소값의 차분값을 상기 보정량의 제2 후보(예를 들면, 도 12의 값 ADDR)로서 결정하는 후보 결정 수단(예를 들면, 도 12의 감산부(101)와 감산부(102)로 이루어지는 후보 결정부(121))과, 제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면 상에서의, 상기 제1 방향 화소 평균 화소값을 나타내는 제1 점, 상기 제3 평균값 산출 수단에 의해 산출된 상기 주목 화소 평균 화소값을 나타내는 제2 점, 및 상기 제2 방향 화소 평균 화소값을 나타내는 제3 점의 3점의 위치 관계를 이용하여, 상기 보정량을 조정하기 위한 조정량(예를 들면, 도 12의 값 c)을 결정하는 조정량 결정 수단(예를 들면, 도 12의 감산부(103) 내지 조정량 산출부(109)로 이루어지는 조정량 결정부(122))과, 상기 후보 결정 수단에 의해 결정된 상기 제1 후보와 상기 제2 후보의 각각의 값을, 상기 조정량 결정 수단에 의해 결정된 상기 조정량을 이용하여 조정하는 조정 수단(예를 들면, 도 12의 승산부(110)와 승산부(111)로 이루어지는 조정부(123))과, 상기 조정 수단에 의해 값이 조정된 상기 제1 후보 및 상기 제2 후보, 및 미리 설정되어 있는 고정치(예를 들면, 「0」) 중에서 소정의 하나를 소정의 선발 조건에 따라서 선발하고, 선발된 값을 상기 보정량으로서 결정하는 선발 수단(예를 들면, 도 12의 고정치 발생부(112)와 판별부(113)로 이루어지는 보정량 선발부(124))을 구비하도록 할 수 있다.

이 본 발명의 정보 처리 장치에서, 상기 조정량 결정 수단은, 상기 제1 점～상기 제3 점을 그 순서대로 연결한 선의 상기 제2 점에서의 2차 미분값의 절대값(예를 들면, 도 12의 ABS부(106)의 출력 신호인 값 b)을, 상기 제2 축 방향의 상기 제1 점과 상기 제3 점 사이의 거리(예를 들면, 도 12의 차분 절대값 산출부(107)의 출력 신호인 값 h)로 제산하고, 그 결과 얻어지는 제산치(예를 들면, 제산치 b/h)를 이용하여 상기 조정량을 결정하도록 할 수 있다.

이 본 발명의 정보 처리 장치에서, 상기 제1 평균값 산출 수단과 상기 제2 평균값 산출 수단의 각각은, 또한, 제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면(예를 들면, 도 13의 평면) 상에서의, 각각이 결정한 상기 산출 범위(예를 들면, 도 13의 범위 D)에 포함되는 상기 k개의 입력 화소값의 각각을 나타내는 각 점(예를 들면, 도 13의 예에서는 점(132), 점(133), 및 점(134))을 연결한 선의 기울기의 극성이 변화하고 있는지의 여부를 판정하고, 극성이 변화하고 있지 않다고 판정한 경우, 상기 k개의 입력 화소값을 그대로 이용하여, 상기 제1 방향 화소 평균 화소값 또는 상기 제2 방향 화소 평균 화소값을 산출하고, 극성이 변화하고 있다고 판정한 경우, 상기 k개의 입력 화소값 중 극성 변화 후의 점이 나타내는 입력 화소값(예를 들면, 도 13의 예에서는 점(134)이 나타내는 화소값 β)을 보정 대상으로 하여 극성 변화 전의 점이 나타내는 입력 화소값(예를 들면, 도 13의 예에서는 점(133)이 나타내는 화소값 α)에 기초하여 보정하고(예를 들면, 후술하는 수학식 3에 따라서 보정하고), 상기 k개의 입력 화소값 중, 보정 대상에 대해 서는 보정 후의 값을 이용하고(예를 들면, 도 13의 예에서는 점(134)이 나타내는 화소의 화소값으로서는, 후술하는 수학식 3에 의하면, 보정 후의 화소값 γ=α를 이용하고), 또한, 그 이외에 대해서는 입력 화소값을 그대로 이용하여(예를 들면, 도 13의 예에서는, 점(132)과 점(133)의 각각이 나타내는 화소의 화소값 α를 그대로 이용하여), 상기 제1 방향 화소 평균 화소값 또는 상기 제2 방향 화소 평균 화소값을 산출(예를 들면, 도 13의 예에서는 점(131)이 주목 화소를 나타내는 점으로 되어 있기 때문에, 화소값 α가 제2 방향 화소 평균 화소값으로서 산출)하도록 할 수 있다.

상기 보정 수단은, 상기 취득 수단, 상기 제1 평균값 산출 수단, 상기 제2 평균값 산출 수단, 상기 보정량 결정 수단, 및 상기 제1 가산 수단을 포함하는 제1 보정 수단(예를 들면, 도 12의 ALTI부(81)를 갖는 도 5의 촬상 흐림 보상부(23)) 외에도, 상기 촬상 흐림을 나타내는 이동 평균 필터의 특성을, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 따라서 변환하고(예를 들면, 주파수 영역에서 생각하면, 도 4에 도시되는 특성 H2, H3, H4와 같이 변환하고), 상기 주목 화소를 포함하는 소정의 블록의 각 입력 화소값에 대하여, 특성이 변환된 상기 이동 평균 필터를 적용하며, 그 결과 얻어지는 상기 주목 화소의 보정된 입력 화소값을 제1 값으로서 출력하는 이동 평균 필터링 수단(예를 들면, 도 8의 이동 평균 필터부(51))과, 상기 주목 화소의 입력 화소값과 상기 이동 평균 필터링 수단으로부터 출력된 상기 제1 값의 차분을 연산하고, 그 결과 얻어지는 차분값을 제2 값으로서 출력하는 감산 수단(예를 들면, 도 8의 감산부(52))과, 상기 감산 수단으로부터 출 력된 상기 제2 값을 상기 주목 화소의 상기 입력 화소값에 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 제2 가산 수단(예를 들면, 도 8의 가산부(54))을 갖는 제2 보정 수단(예를 들면, 도 8의 구성을 갖는 도 5의 필터부(22))을 더 구비하도록 할 수 있다.

이 본 발명의 화상 처리 장치는, 상기 동화상에서의 액세스 유닛의 레이트를, 현재의 제1 레이트로부터 그보다 높은 제2 레이트로 변환하는 고레이트 변환 처리를 실행하는 고레이트 변환 수단(예를 들면, 도 1의 고프레임 레이트 변환부(11))을 더 포함하고, 상기 보정 수단은, 처리 대상의 상기 액세스 유닛에 대하여, 상기 고레이트 변환 수단에 의한 상기 고레이트 변환 처리가 실시되기 전 또는 후에(예를 들면, 도 1의 예에서는 후에), 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소의 각각의 화소값을 보정하도록 할 수 있다.

본 발명에 따르면, 정보 처리 방법이 제공된다. 이 정보 처리 방법은, 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 상기 촬영 장치에 의해 상기 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 정보 처리 장치(예를 들면, 도 3의 단계 S3의 처리를 실행하는 상술한 본 발명의 정보 처리 장치)의 정보 처리 방법으로서, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 상기 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소의 각각의 화소값을 보정하는 보정 단계(예를 들면, 도 3의 단계 S4)를 포 함하는 것을 특징으로 한다. 상세하게는, 상기 보정 단계는, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소 중 처리 대상으로서 주목할 화소를 주목 화소로서 설정하고, 상기 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계(예를 들면, 도 15의 단계 S21와 S22)와, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을 산출 범위로서 결정하고, 결정된 상기 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계(예를 들면, 도 15의 단계 S24)와, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향과는 역방향인 상기 제2 방향측에 위치하는 상기 k개의 화소의 각각의 입력 화소값을 산출 범위로서 결정하고, 결정된 상기 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계(예를 들면, 도 15의 단계 S25)와, 상기 제1 평균값 산출 단계의 처리에 의해 산출된 상기 제1 방향 화소 평균 화소값, 상기 주목 화소의 입력 화소값, 및 상기 제2 평균값 산출 단계의 처리에 의해 산출된 상기 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 상기 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계(예를 들면, 도 15의 단계 S26～S29)와, 상기 주목 화소의 입력 화소값과, 상기 보정량 결정 단계의 처리에 의해 결정된 상기 보정량을 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 가산 단계(예를 들면, 도 15의 단계 S30)를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 상술한 본 발명의 정보 처리 방법에 대응하는 프로그램이나, 그 프로그램을 기록한 기록 매체도 제공된다. 상세에 대해서는 후술하겠지만, 이 프로그램은, 예를 들면, 도 27의 리무버블 기록 매체(311)나, 기억부(308)에 포함되는 하드디스크 등의 기록 매체에 기록되어, 도 27의 구성의 컴퓨터에 의해 실행된다.

이상 설명한 본 발명의 화상 처리 장치는, 예를 들면, 텔레비전 시스템 전체 또는 그 일 구성 요소로서 이용 가능하다. 텔레비전 시스템이란, 텔레비전 방송 수상기를 포함하는 1 이상의 AV(Audio and Visual) 기기로 이루어지는 시스템을 가리킨다.

다음으로, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.

도 1은 본 발명이 적용되는 화상 처리 장치의 기능적 구성의 일례를 도시하고 있다.

이 화상 처리 장치(1)는 동화상 데이터에 대한 각종 화상 처리를 액세스 유닛 단위로 실행한다. 액세스 유닛이란, 프레임이나 필드 등의 동화상의 단위를 가리키고, 구체적으로는, 예를 들면, 동화상을 구성하는 각 코마 전체 또는 그 일부분을 가리킨다. 또한, 여기서 말하는 코마란, 1매의 정지 화상을 말하고, 따라서, 코마 전체가 프레임에 해당하게 된다. 단, 이하, 설명의 간략화를 위해, 화상 처리 장치(1)는 동화상 데이터에 대한 각종 화상 처리를 프레임 단위로 실행하는 것으로 한다.

이 화상 처리 장치(1)는, 도 1에 도시된 바와 같이, 고프레임 레이트 변환부(11), 촬상 흐림 특성 검출부(12), 및 촬상 흐림 억제 처리부(13)로 구성된다.

고프레임 레이트 변환부(11)에는, 예를 들면, 텔레비전 방송 신호 등의 동화상 신호가 프레임 단위의 동화상 데이터로서 입력된다.

또한, 이하, 동화상과 이에 대응하는 동화상 데이터를 따로따로 구별할 필요가 없는 경우, 이들을 통합하여 동화상이라고 간단히 칭한다. 마찬가지로, 프레임과 이에 대응하는 프레임 데이터를 따로따로 구별할 필요가 없는 경우, 이들을 통합하여 프레임이라고 간단히 칭한다.

고프레임 레이트 변환부(11)는, 제1 프레임 레이트의 동화상이 입력된 경우, 그 동화상에 대하여 고프레임 레이트 변환 처리를 실시하고, 그 결과 얻어지는, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 동화상을 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)에 공급한다.

고프레임 레이트 변환 처리란, 입력 시의 제1 프레임 레이트가 출력(표시) 시의 제2 프레임 레이트보다 낮은 경우에 실행되는 처리로서, 입력 시의 동화상을 구성하는 각 프레임의 각각의 사이에, 새로운 프레임을 창조하여 각각 삽입함으로써, 제1 프레임 레이트를 그보다 높은 제2 프레임 레이트로 변환하는 처리를 가리킨다.

또한, 제1 프레임 레이트란, 고프레임 레이트 변환부(11)에 입력된 시점의 동화상의 프레임 레이트를 가리킨다. 따라서, 제1 프레임 레이트는 임의의 프레임 레이트로 될 수 있지만, 여기서는, 예를 들면, 도시하지 않은 촬영 장치에 의해 동화상이 촬영되었을 때의 프레임 레이트, 즉 촬상 프레임 레이트인 것으로 한다.

촬상 흐림 특성 검출부(12)는, 고프레임 레이트 변환부(11)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대하여, 촬상 흐림 특성을 나타내는 파라미터의 값을 검출한다. 촬상 흐림 특성 검출부(12)의 검출 결과, 즉 촬상 흐림 특성을 나타내는 파라미터의 값은 촬상 흐림 억제 처리부(13)에 공급된다.

또한, 촬상 흐림 특성을 나타내는 파라미터는 특별히 한정되지 않고, 여러 가지 파라미터의 채용이 가능하다. 단, 촬상 흐림 특성을 나타내는 파라미터의 구체예에 대해서는 후술한다.

또한, 하나의 프레임 내에서의, 촬상 흐림 특성을 나타내는 파라미터의 값의 검출 개수도 특별히 한정되지 않는다. 예를 들면, 하나의 프레임에 대하여, 촬상 흐림 특성을 나타내는 파라미터의 값이 하나만 검출되어도 되고, 그 프레임을 구성하는 각 화소마다, 촬상 흐림 특성을 나타내는 파라미터의 값이 하나씩 따로따로 검출되어도 된다. 혹은, 그 하나의 프레임이 몇개의 블록으로 분할되고, 분할된 각 블록마다, 촬상 흐림 특성을 나타내는 파라미터의 값이 하나씩 따로따로 검출되어도 된다.

촬상 흐림 억제 처리부(13)는, 고프레임 레이트 변환부(11)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대하여, 촬상 흐림 특성 검출부(12)에 의해 검출된 파라미터의 값 중 처리 대상의 프레임에 대응하는 값에 기초하여, 처리 대상의 프레임을 구성하는 각 화소값을 보정한다. 즉, 촬상 흐림 억제 처리부(13)는, 처리 대상의 프레임에 대한 촬상 흐림 특성(파라미터의 값)에 따라서, 처리 대상의 프레임의 각 화소값을, 그 촬상 흐림이 억제되도록 보정한다.

이에 의해, 각 프레임의 각 화소값이 보정됨으로써 촬상 흐림이 억제된 동화상으로서, 입력 시의 제1 프레임 레이트보다 높은 제2 프레임 레이트로 변환된 동화상이, 촬상 흐림 억제 처리부(13)로부터 화상 처리 장치(1)의 외부에 출력된다.

또한, 도 1의 예에서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조는 고프레임 레이트 변환부(11)와 조합하여 이용되고 있지만, 당연히, 그 조 단체(單體)로 이용하는 것도 가능하고, 또한, 도시하지 않은 다른 기능 블록(소정의 화상 처리를 실시하는 다른 화상 처리부)와 조합하여 이용하는 것도 가능하다.

즉, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조만으로 촬상 흐림을 억제한다고 하는 효과를 발휘할 수 있게 된다. 단, 이 효과를 보다 현저하게 하기 위해서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조에 대하여, 상술한 바와 같이, 고프레임 레이트 변환부(11)를 조합시키면 바람직하다. 이하, 그 이유에 대하여 설명한다.

도시하지 않은 표시 장치에 표시되는 동화상이 인간의 망막 상에 상으로서 형성될 때에 그 인간에게 인식되는 흐림은, 그 인간이 동화상에 포함되는 움직이는 물체를 추종시함에 따른 홀드 흐림과, 그 동화상의 촬상 시에 가해지는 상술한 촬 상 흐림을 조합한 것이다.

여기서 말하는 촬상 흐림 특성은, 도 4 등을 참조하여 후술하는 바와 같이, 로우 패스 필터로서 표현된다. 즉, 촬상 흐림 후의 화상 신호란, 촬상 흐림 전의 화상 신호(이상적인 화상 신호)에 대하여 이 로우 패스 필터가 적용된 신호와 등가인 신호이다. 따라서, 촬상 흐림 후의 화상 신호는, 촬상 흐림 전의 화상 신호와 비교하여, 그 주파수 특성이 떨어지게 된다. 즉, 촬상 흐림 후의 화상 신호에서는, 촬상 흐림 전의 화상 신호와 비교하여, 고주파수로 되면 될수록 게인이 일반적으로 떨어지게 된다.

여기서 말하는 홀드 흐림 특성도 또한, 촬상 흐림 특성과 마찬가지로, 로우 패스 필터로서 표현된다. 즉, 홀드 흐림 후의 화상 신호란, 홀드 흐림 전의 화상 신호(촬상 흐림 후의 화상 신호)에 대하여 이 로우 패스 필터가 적용된 신호와 등가인 신호이다. 따라서, 홀드 흐림 후의 화상 신호는, 홀드 흐림 전의 화상 신호와 비교하여, 그 주파수 특성이 떨어지게 된다. 즉, 홀드 흐림 후의 화상 신호에서는, 홀드 흐림 전의 화상 신호와 비교하여, 고주파수로 되면 될수록 게인이 일반적으로 떨어지게 된다. 단, 홀드 흐림은, 표시 장치가 고정 화소(홀드) 표시 장치일 때에만 발생한다.

따라서, 주파수 특성이 촬상 흐림 때문에 이미 떨어져 있는 촬상 흐림 후의 화상 신호에 대하여, 고프레임 레이트 변환 처리를 실시함으로써 홀드 흐림을 억제하는 것 자체는 가능하다. 그러나, 이러한 고프레임 레이트 변환 처리를 실시하였다고 하여도, 촬상 흐림의 열화는 달라지지 않아, 최종적으로 인간의 망막 상에서 의 흐림을 억제시킨다고 하는 효과는 반감되게 된다. 이를, 도 2를 참조하여 설명한다.

도 2는, 촬영 장치(이하, 카메라라고 칭함)의 촬영 범위 내에서 이동 속도 4[화소/ 프레임]로 이동하고 있는 실물체를 촬영하였을 때에서의, 인간의 망막 상에 형성되는 상 흐림의 주파수 특성을 도시하고 있다. 도 2에서, 횡축은 주파수를, 종축은 게인을 각각 나타내고 있다. 단, 횡축의 각 값은 나이퀴스트 주파수가 1로 된 경우의 상대값을 나타내고 있다.

도 2에서, 도 2 중 일점 쇄선으로 나타내어진 곡선 h0는 흐림(촬상 흐림도 홀드 흐림도 포함함)을 개선하기 위한 처리가 특별히 실시되어 있지 않은 경우에서의, 인간의 망막 상에 형성되는 상 흐림의 주파수 특성을 나타내고 있다. 즉, 도 1의 예에서는, 화상 처리 장치(1)에 입력되는 동화상이, 만약 화상 처리 장치(1)에 입력되지 않고(처리되지 않고) 그대로 표시 장치에 공급되어 표시된 경우에, 인간이 그 동화상을 보았을 때에 망막 상에 형성되는 상 흐림의 주파수 특성이 곡선 h0이다.

이에 대하여, 예를 들면 고프레임 레이트 변환 처리에 의해 표시 속도가 배로 되면, 홀드 흐림만은 개선되고, 그 결과, 인간의 망막 상에 형성되는 상 흐림의 주파수 특성은, 도 2 중 점선으로 나타내어진 곡선 h1으로 된다. 즉, 도 1의 화상 처리 장치(1)에 입력된 동화상이 고프레임 레이트 변환부(11)에 의해 고프레임 레이트 변환 처리가 실시되고, 그 후, 만약 촬상 흐림 억제 처리부(13)에 입력되지 않고(촬상 흐림이 개선되지 않고) 표시 장치에 공급되어 표시된 경우, 인간이 그 동화상을 보았을 때에 망막 상에 형성되는 상 흐림의 주파수 특성이 곡선 h1이다.

또한, 예를 들면, 본 발명이 적용되어, 고프레임 레이트 변환 처리에 의해 표시 속도가 배로 되고(홀드 흐림이 개선되고), 또한 촬상 흐림의 정도가 절반으로 개선되면, 인간의 망막 상에 형성되는 상 흐림의 주파수 특성은, 도 2중 실선으로 나타내어진 곡선 h2로 된다. 즉, 도 1의 화상 처리 장치(1)에 입력된 동화상이 고프레임 레이트 변환부(11)에 의해 고프레임 레이트 변환 처리가 실시되고, 또한, 촬상 흐림 억제 처리부(13)에 의해 촬상 흐림이 억제된 후에 표시 장치에 공급되어 표시된 경우, 인간이 그 동화상을 보았을 때에 망막 상에 형성되는 상 흐림의 주파수 특성이 곡선 h2이다.

곡선 h1과 곡선 h2를 비교하면, 고프레임 레이트 변환 처리에 의해 홀드 흐림만이 개선된 것만으로는, 인간의 망막 상에서의 흐림 특성의 개선은 불충분하고, 또한 촬상 흐림의 개선도 필요한 것을 알 수 있다. 그러나, 상술한 바와 같이, 종래의 방법에서는, 촬상 흐림의 개선이 필요한 것은 특별히 고려되지 않고서, 고프레임 레이트 변환 처리가 단순히 행해지고 있었다.

따라서, 도 1의 실시예 외에, 후술하는 도 23이나 도 24 등의 실시예에서 나타내어지는 본 발명의 화상 처리 장치에서는, 고프레임 레이트 변환부(11) 외에도, 촬상 흐림의 개선을 목적으로 하여, 즉 인간의 망막 상에서의 흐림 특성을 도 2의 곡선 h0로부터 곡선 h2와 같게 개선하는 것을 목적으로 하여, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)가 설치되어 있는 것이다. 단, 후술하는 도 25와 도 26의 실시예에서 나타내어진 바와 같이, 촬상 흐림 특성 검출부(12)는 본 발명의 화상 처리 장치에서 필수 구성 요소가 아니다.

즉, 촬상 흐림 억제 처리부(13)는, 각 프레임의 각각에 대하여, 촬상 흐림 특성 검출부(12)에 의해 검출된 촬상 흐림 특성을 나타내는 파라미터의 값 중 처리 대상의 프레임에 대응하는 값에 기초하여, 처리 대상의 프레임의 각 화소값을 보정함으로써, 고프레임 레이트 변환 후의 프레임에 대한 촬상 흐림에 기인하는 화상 열화를 억제하고 있는 것이다. 즉, 화상 처리 장치(1) 등, 본 발명의 화상 처리 장치로부터 출력된 화상 신호를 도시하지 않은 표시 장치에 공급함으로써, 표시 장치는, 그 화상 신호에 대응하는 영상으로서, 화상 열화(흐림 화상)가 억제된 선명한 영상을 표시하는 것이 가능하게 되는 것이다.

이와 같이, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조는 고프레임 레이트 변환부(11)와 조합하면 바람직하다.

다음으로, 도 3의 플로우차트를 참조하여, 이러한 도 1의 기능적 구성을 갖는 화상 처리 장치(1)의 화상 처리에 대하여 설명한다.

단계 S1에서, 고프레임 레이트 변환부(11)는 제1 프레임 레이트의 동화상을 입력받는다.

단계 S2에서, 고프레임 레이트 변환부(11)는 동화상의 프레임 레이트를 제1 프레임 레이트보다 높은 제2 프레임 레이트로 변환한다.

제1 프레임 레이트로부터 제2 프레임 레이트로 변환된 동화상이 고프레임 레이트 변환부(11)로부터 촬상 흐림 검출부(12)와 촬상 흐림 억제 처리부(13)에 공급되면, 처리는 단계 S3로 진행한다.

단계 S3에서, 촬상 흐림 특성 검출부(12)는, 동화상을 구성하는 각 프레임의 각각 중에서, 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출한다.

동화상을 구성하는 각 프레임의 각각에 대한 촬상 흐림 특성을 나타내는 파라미터의 1 이상의 값이 촬상 흐림 특성 검출부(12)로부터 촬상 흐림 억제 처리부(13)에 공급되면, 처리는 단계 S4로 진행한다.

단계 S4에서, 촬상 흐림 억제 처리부(13)는, 고프레임 레이트 변환부(11)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대하여, 촬상 흐림 검출부(12)에 의해 검출된 파라미터의 값 중 처리 대상의 프레임에 대응하는 1 이상의 값에 기초하여, 처리 대상의 프레임의 각 화소값을 보정한다.

단계 S5에서, 촬상 흐림 억제 처리부(13)는, 각 프레임의 화소값이 보정되고, 또한, 제1 프레임 레이트로부터 제2 프레임 레이트로 변경된 동화상을 출력한다.

이에 의해, 도 3의 화상 처리는 종료로 된다.

또한, 상술한 설명에서는, 설명의 간략화를 위해, 단계 S1～S5의 각 단계의 처리는 동화상이 처리 단위로 되었다. 단, 실제로는, 프레임이 처리 단위로 되는 경우가 많이 있다.

도 3의 화상 처리에서, 각 단계의 처리 단위가 동화상이라고 한 것은, 단계 S1～S5 내의 처리 대상의 단계로부터 다음 단계로의 이행 조건이 처리 대상의 단계의 처리가 동화상 전체에 대하여 실시된다고 하는 조건으로 되는 것과 등가이다.

이에 대하여, 도 3의 화상 처리에서, 각 단계의 처리 단위가 프레임이라고 한 것은, 단계 S1～S5 내의 처리 대상의 단계로부터 다음 단계로의 이행 조건이 처리 대상의 단계의 처리가 하나의 프레임 전체에 대하여 실시된다고 하는 조건으로 되는 것과 등가이다. 바꿔 말하면, 각 단계의 처리 단위가 프레임이라고 한 것은, 각 프레임의 각각에 대한 단계 S1～S5의 연속 처리가 다른 프레임과는 독립하여(병행하여) 실행되는 것과 등가이다. 이 경우, 예를 들면, 제1 프레임에 대한 단계 S3의 처리가 실행되고 있을 때에, 이와는 다른 제2 프레임에 대한 단계 S2의 처리가 병행하여 실행되고 있도록 하는 경우가 생길 수 있다.

또한, 실제로는, 처리 대상의 프레임을 구성하는 각 화소의 각각이, 처리 대상으로서 주목할 화소(이하, 주목 화소라고 칭함)로 순차적으로 설정되고, 그 주목 화소에 대하여, 적어도 단계 S3와 S4의 처리가 순차적으로 개별로 실시되어 가는 경우가 많이 있다. 즉, 단계 S3와 S4의 처리 단위는 화소인 경우가 많이 있다.

따라서, 이하의 설명에서도, 단계 S3와 S4의 처리는 화소 단위인 것으로 하여 설명해 간다. 즉, 단계 S3의 처리란, 촬상 흐림 특성 검출부(12)의 처리이고, 단계 S4의 처리란, 촬상 흐림 억제 처리부(13)의 처리이다. 따라서, 이하의 설명에서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 처리 단위는 화소인 것으로 하여 설명해 간다.

다음으로, 도 1의 화상 처리 장치(1) 내의 촬상 흐림 억제 처리부(13)의 상세에 대하여 설명한다. 구체적으로는 예를 들면, 촬상 흐림 특성을 나타내는 파라미터로서 이동 벡터의 절대값을 이용하는 경우의 촬상 흐림 억제 처리부(13)의 실시 형태에 대하여 설명해 간다.

또한, 이하, 이동 벡터의 절대값을 이동 속도라고 칭하고, 또한, 이동 벡터의 방향을 이동 방향이라고 칭한다. 이동 방향은 2차원 평면 상의 어느 방향으로도 될 수 있고, 도 1의 화상 처리 장치(1)는, 당연히, 2차원 평면 상의 어느 방향이 이동 방향으로 된 경우에도, 후술하는 각종 처리를 전부 마찬가지로 실행할 수 있다. 단, 이하에서는, 설명의 간략화를 위해, 이동 방향은 횡방향인 것으로 한다.

촬상 흐림 특성을 나타내는 파라미터로서 이동 속도가 이용되는 경우, 촬상 흐림 특성 검출부(12)는, 예를 들면, 동화상을 구성하는 각 프레임의 각각에 대하여, 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차적으로 설정하고, 주목 화소에서의 이동 벡터를 순차적으로 검출하고, 이를 주목 화소에서의 촬상 흐림 특성을 나타내는 파라미터의 값으로서 촬상 흐림 억제 처리부(13)에 순차적으로 공급하게 된다.

따라서, 촬상 흐림 억제 처리부(13)는, 예를 들면, 동화상을 구성하는 각 프레임의 각각에 대하여, 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차적으로 설정하고, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 기초하여, 주목 화소의 화소값을 순차적으로 보정하게 된다.

여기서, 이동 속도가, 촬상 흐림 특성을 나타내는 파라미터로서 채용 가능한 이유에 대하여 설명한다.

촬상 흐림 특성은, 일반적으로 피사체의 이동 속도에 의존한 형태로 나타낼 수 있다.

또한, 피사체의 이동 속도란, 실공간에서 피사체 자체가 이동하고 카메라가 고정되어 있는 경우에, 그 피사체가 카메라로 촬영되었을 때의, 프레임 내에서의 피사체(화상)의 이동 속도를 당연히 포함한다. 또한, 여기서 말하는 피사체의 이동 속도란, 실공간에서 피사체가 고정되고 카메라가 손 떨림 등에 의해 이동된 경우, 또는 실공간에서 피사체와 카메라가 함께 이동된 경우에, 그 피사체가 카메라로 촬영되었을 때의, 프레임 내에서의 피사체(화상)의 상대적인 이동 속도도 포함한다.

따라서, 촬상 흐림 특성은, 피사체의 화상을 구성하는 각 화소에서의 이동 속도에 의존한 형태로 나타낼 수 있다.

화소에서의 이동 속도란, 처리 대상의 프레임 내의 화소와 그보다 앞의 프레임 내의 대응하는 화소(대응점) 간의 공간적인 거리를 가리킨다. 예를 들면, 처리 대상의 프레임 내의 화소와 그 직전(시간적으로 하나 전)의 프레임 내의 대응하는 화소(대응점) 간의 공간적인 거리가 v(v는 0 이상의 임의의 정수값) 화소분인 경우, 그 화소에서의 이동 속도란, v[화소/프레임]로 된다.

이 경우, 피사체의 화상을 구성하는 각 화소 중 소정의 하나가 주목 화소로 설정되어 있다고 하면, 주목 화소에서의 촬상 흐림 특성은, 주목 화소에서의 이동 속도 v[화소/프레임]의 대소에 의존한 형태로 나타낼 수 있다.

보다 구체적으로는, 예를 들면, 주목 화소의 이동 속도가 2, 3, 4[화소/프레임]의 각각의 경우, 주목 화소에서의 촬상 흐림의 주파수 특성의 각각은 도 4의 곡선 H2～H4의 각각으로 나타낼 수 있다.

즉, 도 4는 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]의 각각의 경우에 대한, 주목 화소에서의 촬상 흐림의 주파수 특성의 각각을 도시하고 있다. 도 4에서, 횡축은 주파수를, 종축은 게인의 각각을 나타내고 있다. 단, 횡축의 각 값은 나이퀴스트 주파수가 1로 된 경우의 상대값을 나타내고 있다.

이상의 내용이, 이동 속도가, 촬상 흐림 특성을 나타내는 파라미터로서 채용 가능한 이유이다.

그런데, 도 4의 주파수 특성 H2～H4의 형태로부터 알 수 있듯이, 주목 화소에서의 촬상 흐림 특성은 공간 영역에서 표현하면, 이동 평균 필터(로우 패스 필터)로 나타낼 수 있다.

즉, 이 이동 평균 필터(로우 패스 필터)를 나타내는 전달 함수(이하, 촬상 흐림 전달 함수라고 칭함)를 H라고 기술하여, 촬상 흐림이 만약 발생하지 않은 경우의 이상적인 화상 신호(이하, 촬상 흐림 전의 신호라고 칭함)를 주파수 영역에서 F라고 기술하며, 또한, 카메라로부터 출력되는 실제의 화상 신호, 즉 촬상 흐림이 발생한 화상 신호(이하, 촬상 흐림 후의 신호라고 칭함)를 주파수 영역에서 H라고 기술하면, 촬상 흐림 후의 신호 G는 수학식 1과 같이 표현된다.

본 발명에서는 촬상 흐림을 제거하는(억제하는) 것이 목적으로 되어 있기 때문에, 이 본 발명의 목적을 달성하는 위해서는, 기지의 촬상 흐림 후의 신호 G와 기지의 촬상 흐림 전달 함수 H로부터 촬상 흐림 전의 신호 F를 예측 연산하면 된 다. 즉, 수학식 2의 예측 연산이 실행되면 바람직하다.

수학식 2에서, inv(H)는 촬상 흐림 전달 함수 H의 역함수를 나타내고 있다. 상술한 바와 같이, 촬상 흐림 전달 함수 H가 로우 패스 필터의 특성을 가지므로, 그 역함수 inv(H)도 당연히 하이 패스 필터의 특성을 갖는다.

또한, 상술한 바와 같이, 촬상 흐림 전달 함수 H는 이동 속도에 따라 그 특성이 변화한다. 구체적으로는, 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 주목 화소에서의 촬상 흐림 전달 함수 H의 주파수 특성은 도 4의 곡선 H2, 곡선 H3, 곡선 H4의 각각으로 나타내어진 바와 같은 상이한 특성으로 된다.

따라서, 촬상 흐림 억제 처리부(13)는 이동 속도에 따라 촬상 흐림 전달 함수 H의 특성을 변경하고, 특성이 변경된 전달 함수 H의 역함수 inv(H)를 구하고, 그 역함수 inv(H)를 이용하여 상술한 수학식 2의 연산 처리를 실행하면, 본 발명의 목적, 즉 촬상 흐림을 제거한다(억제한다)고 하는 목적을 달성하는 것이 가능하게 된다.

혹은, 상술한 수학식 2의 연산은 주파수 영역의 연산이기 때문에, 본 발명의 목적을 달성하기 위해, 촬상 흐림 억제 처리부(13)는 상술한 수학식 2의 연산 처리와 등가인 공간 영역에서의 처리를 실행하여도 된다. 구체적으로는, 예를 들면, 촬상 흐림 억제 처리부(13)는 다음과 같은 제1～제3 처리를 실행하여도 된다.

제1 처리란, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 따라서, 주목 화소에서의 촬상 흐림을 나타내는 이동 평균 필터(로우 패스 필터)의 특성을 변환하는 처리이다. 구체적으로는, 예를 들면, 복수의 이동 속도마다 이동 평균 필터를 하나씩 미리 마련해 두고, 복수의 이동 평균 필터 중에서, 주목 화소에서의 이동 속도에 대응하는 하나를 선택하는 처리가, 제1 처리의 일례이다.

제2 처리란, 다음 제2-1～제2-3 처리로 이루어지는 처리이다.

제2-1 처리란, 제1 처리에 의해 특성이 변환된 이동 평균 필터에 대하여 푸리에 변환을 실시함으로써, 그 이동 평균 필터를 주파수 표시하는 처리이다. 구체적으로는, 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 도 4의 곡선 H2, 곡선 H3, 곡선 H4의 각각을 얻는 처리가 제2-1 처리이다. 즉, 주파수 영역에서 생각하면, 주목 화소에서의 촬상 흐림 전달 함수 H를 구하는 처리가 제2-1 처리이다.

제2-2 처리란, 제2-1 처리에 의해 주파수 표시된 이동 평균 필터의 역수를 산출하는 처리이다. 즉, 주파수 영역에서 생각하면, 상술한 수학식 2로 나타내어진, 촬상 흐림 전달 함수 H의 역함수 inv(H)를 생성하는 처리가, 제2-2 처리이다.

제2-3 처리란, 제2-2의 처리에 의해 산출된, 주파수 표시된 이동 평균 필터의 역수에 대하여 역푸리에 변환을 실시하는 처리이다. 즉, 역함수 inv(H)에 대응하는 하이 패스 필터(위너 필터 등)를 생성하는 처리가 제2-3 처리이다. 바꿔 말하면, 이동 평균 필터의 역필터를 생성하는 처리가 제2-3 처리이다. 또한, 이하, 제2-3 처리에 의해 생성되는 하이 패스 필터를 역이동 평균 필터라고 칭한다.

제3 처리란, 촬상 흐림 후의 주파수 영역의 상술한 수학식 2의 신호 G에 대응하는 공간 영역의 화상 신호 g를 입력 화상으로서 입력받고, 그 화상 신호 g에 대하여, 제2-3 처리에 의해 생성된 역이동 평균 필터를 적용하는 처리이다. 이 제3 처리에 의해, 촬상 흐림 전의 주파수 영역의 상술한 수학식 2의 신호 F에 대응하는 공간 영역의 화상 신호 f가 복원(예측 연산)되게 된다. 구체적으로는, 예를 들면, 처리 대상의 프레임 중 주목 화소를 포함하는 소정의 블록에 대하여 역이동 평균 필터를 적용함으로써 주목 화소의 화소값을 보정하는 처리가, 제3 처리이다.

이러한 제1～제3 처리를 실행 가능한 촬상 흐림 억제 처리부(13)의 기능적 구성의 일 실시예에 대해서는, 본 발명인에 의해 이미 발명되어 특허 문헌 2의 출원서와 동시에 제출된 도면의 도 5에 개시되어 있다.

그러나, 촬상 흐림 억제 처리부(13)가, 특허 문헌 2의 출원서와 동시에 제출된 도면의 도 5의 구성을 갖는 경우, 다음과 같은 제1 과제가 새롭게 발생한다. 즉, 도 4의 주파수 특성 H2～H4에도 나타나 있는 바와 같이, 촬상 흐림을 나타내는 이동 평균 필터(그 주파수 특성)에는, 게인이 0로 되는 주파수가 포함되어 있다. 이 때문에, 촬상 흐림 억제 처리부(13)는, 그 이동 평균 필터의 완전한 역필터(완전한 역 이동 평균 필터)를 생성하는 것은 곤란하고, 그 결과, 노이즈를 증가시키게 된다고 하는 제1 과제가 새롭게 발생하게 된다.

또한, 제3 처리와 같은, 화상 신호에 대하여 하이 패스 필터(역이동 평균 필터)를 적용하는 처리란, 엣지를 급격하게 하는 처리라고도 말할 수 있다. 「엣지 를 급격하게 한다」고 하는 의미에서의 화상 형성의 기술로서, 종래, LTI나 sharpness라고 지칭되는 기술이 존재한다. 따라서, 이러한 종래의 기술을 촬상 흐림 억제 처리부(13)에 적용시키는 것도 당연히 가능하다.

그러나, 이러한 종래의 기술을 촬상 흐림 억제 처리부(13)에 적용시킨 경우에는, 다음 제2 과제～제5 과제가 새롭게 발생하게 된다.

즉, LTI란, 특허 문헌 3 등에 개시되어 있는 종래의 기술이다. 특허 문헌 3에 따르면, 주목 화소의 휘도(화소값)를 그 근린 화소의 휘도(화소값)로 하드 스위치에 의해 치환함으로써 주목 화소의 휘도를 보정하고, 그 결과로서 엣지를 급격하게 하는 기술이 LTI이다. 따라서, 이 LTI에는, 그 특징상, 노이즈에 대하여 내구성이 약하고, 노이즈에 흔들려, 처리 화상이 파탄될 우려가 있다고 하는 제2 과제가 있었다. 또한, LTI를 실시하기 전의 화상 데이터에 의존하지 않고서, 모든 엣지를 급격하게 한다고 하는 제3 과제도 있었다.

또한, 종래의 기술(LTI, sharpness)은 화상 형성에서 이용되고 있는 기술이기 때문에, 촬상 흐림이 생겨 있지 않은 정지 화상에 대하여도 전부 마찬가지로 처리를 실시하게 된다고 하는 제4 과제와, 촬상 흐림이 생겨 있는 양에 상관없이 일정하게 처리를 하게 된다고 하는 제5 과제가 있었다.

따라서, 본 발명인은, [발명이 이루고자 하는 기술적 과제]에서 상술한 과제 외에, 이들 제1 과제～제5 과제도 동시에 해결하기 위해, 예를 들면 본 원의 도 5에 도시되는 기능적 구성을 갖는 촬상 흐림 억제 처리부(13)를 발명하였다. 즉, 도 5는 본 발명이 적용되는 촬상 흐림 억제 처리부(13)의 기능적 구성의 일례를 도 시하고 있다.

도 5의 예에서는, 촬상 흐림 억제 처리부(13)는 고성분 제거부(21), 필터부(22), 및 촬상 흐림 보상부(23)로 구성되어 있다.

또한, 이하, 적어도 촬상 흐림 억제 처리부(13)의 설명을 하고 있는 동안에는, 촬상 흐림 억제 처리부(13)를 구성하는 각 기능 블록(가산부 등의 연산부도 포함함)에 입력되는 신호를, 즉 동화상, 동화상을 구성하는 각 프레임, 및 각 프레임을 구성하는 각 화소의 화소값 등의 입력 단위에 상관없이, 일괄하여 입력 신호라고 적절히 칭한다. 마찬가지로, 각 기능 블록으로부터 출력되는 신호를, 그 출력 단위에 상관없이, 일괄하여 출력 신호라고 적절히 칭한다. 바꿔 말하면, 입력 단위나 출력 단위의 구별이 필요한 경우, 그 단위(주로, 화소값)를 이용하여 설명을 행하고, 그 이외의 경우, 간단히 입력 신호 또는 출력 신호를 이용하여 설명을 행한다.

도 5에 도시된 바와 같이, 고프레임 레이트 변환부(11)의 출력 신호는, 촬상 흐림 억제 처리부(13)에서의 입력 신호로서, 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다. 고역 성분 제거부(21)의 출력 신호는 필터부(22)에 공급된다. 필터부(22)의 출력 신호는 촬상 흐림 보상부(23)에 공급된다. 촬상 흐림 보상부(23)의 출력 신호가, 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부에 출력된다.

이하, 고성분 제거부(21),필터부(22), 및 촬상 흐림 보상부(23)의 각각의 상 세에 대하여, 그 순서대로 개별적으로 설명해 간다.

우선, 도 6과 도 7를 참조하여, 고역 성분 제거부(21)의 상세에 대하여 설명한다.

도 6은 고역 성분 제거부(21)의 상세한 기능적 구성예를 도시하고 있다. 도 7은 도 6의 고역 성분 제거부(21) 내의 후술하는 고역 리미터부(32)의 특성을 도시하고 있다.

도 6의 예에서는, 고역 성분 제거부(21)는 하이 패스 필터부(31), 고역 리미터부(32), 및 감산부(33)로 구성되어 있다.

도 6에 도시된 바와 같이, 고프레임 레이트 변환부(11)의 출력 신호는, 고역 성분 제거부(21)에서의 입력 신호로서, 하이 패스 필터부(31)와 감산부(33)의 각각에 공급된다.

바이패스 필터부(31)는 HPF(하이 패스 필터)의 기능을 갖고 있다. 따라서, 하이 패스 필터부(31)는 고역 성분 제거부(21)의 입력 신호로부터 고역 성분을 추출하여 고역 리미터부(32)에 공급한다.

고역 리미터부(32)는 도 7의 곡선(41)으로 나타내어진 함수를 보유하고 있어, 하이 패스 필터부(31)로부터 공급된 고역 성분을 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 7의 출력)을 감산부(33)에 공급한다. 즉, 도 7의 곡선(41)의 형상으로부터 용이하게 알 수 있지만, 고역 리미터부(32)는 하이 패스 필터부(31)로부터 공급되어 오는 고역 성분(입력)의 값이 임의의 일정 이상인 경우 또는 임의의 일정 이하인 경우에 리미터를 적용한다. 바꿔 말하면, 고역 리미터부 (32)는 도 7의 곡선(41)으로 나타내어진 특성을 갖고 있다.

도 6을 다시 참조하면, 감산부(33)는 고역 성분 제거부(21)의 입력 신호와 고역 리미터부(32)에 의해 리미터가 적용된 고역 성분의 차분을 연산하고, 그 결과 얻어지는 차분 신호를 고역 성분 제거부(21)의 출력 신호로서 필터부(22)에 공급한다.

이와 같이 하여, 고역 성분 제거부(21)에서, 그 입력 신호로부터 노이즈 등의 고역 성분이 제거되고, 그 결과 얻어지는 신호가 출력 신호로서 필터부(22)에 공급된다.

다음으로, 도 8～도 10을 참조하여, 필터부(22)의 상세에 대하여 설명한다.

도 8은 필터부(22)의 상세한 기능적 구성예를 도시하고 있다. 도 9는 도 8의 필터부(22) 내의 후술하는 게인 제어부(53)의 상세한 기능적 구성예를 도시하고 있다. 도 10은 도 9의 게인 제어부(53) 내의 후술하는 조정량 결정부(64)의 특성을 도시하고 있다.

도 8의 예에서는, 필터부(52)는 이동 평균 필터부(51) 내지 가산부(54)로 구성되어 있다.

도 8에 도시된 바와 같이, 고역 성분 제거부(21)의 출력 신호는 필터부(22)에서의 입력 신호로서, 이동 평균 필터부(51), 감산부(52), 및 가산부(54)의 각각에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 이동 평균 필터부(51)와 게인 제어부(53)의 각각에 공급된다.

이동 평균 필터부(51)는 필터부(22)의 입력 신호에 대하여 이동 평균 필터를 적용한다. 보다 상세하게는, 이동 평균 필터부(51)는, 필터부(22)의 입력 신호 중, 처리 대상의 프레임 내의 주목 화소를 포함하는 소정의 블록의 각 화소값에 대하여 이동 평균 필터를 적용함으로써 주목 화소의 화소값을 보정한다. 이 때, 이동 평균 필터부(51)는, 촬상 흐림 특성 검출부(12)의 출력 신호 중 주목 화소에서의 이동 속도에 따라, 이동 평균 필터의 특성을 변환한다. 구체적으로는, 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 주파수 영역에서 생각하면, 이동 평균 필터부(51)는 이동 평균 필터의 특성을 상술한 도 4의 곡선 H2, H3, H4의 각각으로 나타내어진 특성으로 변환한다. 이동 평균 필터부(51)에 의해 보정된 주목 화소의 화소값은 감산부(52)에 공급된다.

감산부(52)는 필터부(22)의 입력 신호 중 주목 화소의 보정 전의 화소값과 이동 평균 필터부(51)에 의해 보정된 주목 화소의 화소값의 차분을 구하고, 그 차분값을 게인 제어부(53)에 공급한다. 또한, 이하, 감산부(52)의 출력 신호를 이동 평균 필터 전후의 차분이라고 칭한다.

게인 제어부(53)는 이동 평균 필터 전후의 차분의 값을 조정하고, 조정 후의 이동 평균 필터 전후의 차분을 출력 신호로서 가산부(54)에 공급한다. 또한, 게인 제어부(53)의 상세에 대해서는 도 9를 참조하여 후술한다.

가산부(54)는 필터부(22)의 입력 신호와 게인 제어부(53)의 출력 신호를 가산하고, 그 가산 신호를 출력 신호로서 촬상 흐림 보상부(23)에 공급한다. 상세하게는, 주목 화소에 주목하면, 가산부(54)는, 주목 화소의 보정 전의 화소값에 대하여, 주목 화소에 대한 이동 평균 필터 전후의 차분의 조정치를 보정량으로서 가산 하고, 그 가산치를, 주목 화소의 보정 후의 화소값으로서 외부의 촬상 흐림 보상부(23)에 공급한다.

이상 설명한 바와 같은 필터부(22)의 공간 영역에서의 처리는, 주파수 영역에서 생각하면, 다음과 같이 된다.

즉, 감산부(52)의 출력 신호인 이동 평균 필터 전후의 차분을 주파수 영역에서 생각한 경우, 소정의 주파수에 주목하면, 감산부(52)의 출력 신호의 게인이란, 다음과 같은 게인으로 된다. 즉, 주목된 주파수에서, 필터부(22)의 입력 신호의 게인과 이동 평균 필터가 적용된 후의 입력 신호의 게인의 차분 게인이 감산부(52)의 출력 신호의 게인으로 된다. 이하, 감산부(52)의 출력 신호의 게인을 이동 평균 필터 전후의 차분 게인이라고 칭한다.

또한, 이 이동 평균 필터 전후의 차분 게인은 게인 제어부(53)에 의해 게인 조정된다. 이 게인 조정에 대해서는 후술한다.

따라서, 도 8의 예의 필터부(22)(가산부(54))의 출력 신호를 주파수 영역에서 생각한 경우, 소정의 주파수에 주목하면, 출력 신호의 게인은 그 입력 신호의 게인과 게인 조정 후의 이동 평균 필터 전후의 차분 게인이 가산된 가산 게인으로 되어 있다. 즉, 각 주파수의 각각에서, 출력 신호의 게인은, 입력 신호의 게인과 비교하여, 게인 조정 후의 이동 평균 필터 전후의 차분 게인분만큼 올려져 있다.

바꿔 말하면, 필터부(22) 전체에서는, 하이 패스 필터를 적용하는 처리와 기본적으로 등가인 처리를 실행하고 있게 된다.

여기서, 도 9를 참조하여, 게인 조정부(53)의 상세에 대하여 설명한다.

도 9의 예에서는, 게인 제어부(53)는 지연부(61-1～61-n)(이하, 도 9의 기재에 맞추어 DL부(61-1～61-n)라고 칭함), MAX/MIN 산출부(62), 감산부(63), 조정량 결정부(64), 및 승산부(65)로 구성되어 있다.

도 9에 도시된 바와 같이, 감산부(52)의 출력 신호인 이동 평균 필터 전후의 차분은 게인 제어부(53)에서의 입력 신호로서, DL부(61-1)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 MAX/MIN 산출부(62)에 공급된다.

게인 조정부(53)는 이러한 구성을 가짐으로써 신호의 레벨이 높은 장소에서 발생하는 링잉을 억제할 수 있다.

이하, 게인 제어부(53)의 상세한 기능적 구성(각 기능 블록의 접속 형태)과 그 동작에 대하여 함께 설명한다.

DL부(61-1～61-n)는 그 순서대로 접속되어 있고, 전단의 출력 신호가 자기 자신의 입력 신호로서 공급되면, 그 입력 신호를 소정의 지연 시간만큼 지연시키고, 출력 신호로서 후단에 공급한다. DL부(61-1～61-n)의 각각의 출력 신호는, 또한, MAX/MIN 산출부(62)에 공급된다. 또한, DL부(61-(n/2))의 출력은 승산부(65)에도 공급된다.

게인 제어부(53)의 입력 신호인 이동 평균 필터 전후의 차분 중, 주목 화소를 중심으로 하여 이동 방향(여기서는 횡방향)으로 연속하여 나열된 n개의 화소의 각각에 대응하는 값(이하, 화소의 전후 차분값이라고 칭함)이, 오른쪽에서 왼쪽으로 향하여 화소의 배치 순서대로 DL부(61-1)에 순차적으로 입력되어 간다. 따라서, 그 후, 지연 시간의 n배의 시간이 거의 경과하면, DL부(61-1～61-n)의 각각으 로부터는, 주목 화소를 중심으로 하여 횡방향으로 연속하여 나열된 n개의 화소의 각 전후 차분값의 각각이 하나씩 출력되고, MAX/MIN 산출부(62)에 공급되게 된다. 또한, 주목 화소의 전후 차분값은 DL부(61-n/2)로부터 출력되어, 상술한 바와 같이 MAX/MIN 산출부(62)에 공급되는 것 외에, 승산부(65)에도 공급된다.

또한, DL부(61-1～61-n)의 개수 n은 특별히 한정되지 않지만, 여기서는 이동 속도의 최고값[화소/프레임]인 것으로 한다. 또한, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도는 v[화소/ 프레임]인 것으로 한다. 단, v는 0 이상의 임의의 정수값인 것으로 한다.

MAX/MIN 산출부(62)는, 주목 화소를 중심으로 하여 포함하는, 그 이동 속도분의 개수 v개의 화소의 각 전후 차분값을 포함하는 범위를 산출 범위로서 결정한다. 그리고, MAX/MIN 산출부(62)는, DL부(61-1～61-n)로부터 공급되는 n개의 전후 차분값 중, 산출 범위에 포함되는 v개의 전후 차분값 중에서 최대값 MAX와 최소값 MIN을 구하고, 각각 감산부(63)에 공급한다.

또한, 주목 화소를 중심으로 하여 포함하는, 그 이동 속도분의 개수 v개의 화소의 각 전후 차분값을 포함하는 범위가 산출 범위로 되는 것은, 다음의 이유로부터이다. 즉, 링잉은 하이 패스 필터의 탭 수분만큼, 바꿔 말하면, 이동 속도분만큼 영향을 미치게 하기 때문이다.

감산부(63)는 MAX/MIN 산출부(62)로부터 각각 공급된 최대값 MAX와 최소값 MIN의 차분을 취하고, 그 차분값(=MAX-MIN)을 조정량 결정부(64)에 공급한다.

이 차분값(=MAX-MIN)이 크게 될수록, 주목 화소 근방의 링잉도 또한 크게 된 다는 것을 알고 있다. 즉, 이 차분(=MAX-MIN), 주목 화소 근방의 링잉의 크기의 지표로 되는 값이다.

따라서, 조정량 결정부(64)는, 감산부(63)로부터 공급된 차분값(=MAX-MIN)에 기초하여, 주목 화소의 전후 차분값에 대한 조정량을 결정해서, 승산부(65)에 공급한다.

상세하게는, 예를 들면, 조정량 결정부(64)는 도 10의 곡선(71)으로 나타내어진 함수를 보유하고 있고, 감산부(63)로부터 공급된 차분값(=MAX-MIN)을 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 10의 출력)을 주목 화소의 전후 차분값에 대한 조정량으로서 승산부(65)에 공급한다. 즉, 도 10의 곡선(71)의 형상으로부터 용이하게 알 수 있지만, 감산부(63)로부터 공급된 차분값(=MAX-MIN)이 임의의 일정값을 초과하면, 그 이후, 링잉의 발생을 억제시키도록, 조정량(출력)이 작게 되어 간다. 바꿔 말하면, 조정량 결정부(64)는 도 10의 곡선(71)으로 나타내어진 특성을 갖고 있다.

도 9를 다시 참조하면, 승산부(65)는, DL부(61-(n/2))로부터 공급된 주목 화소의 전후 차분값에 대하여, 조정량 결정부(64)로부터 공급된 조정량(도 10의 예에서는 0～1의 범위 내의 값)을 승산하고, 그 승산치를 주목 화소의 조정 후의 전후 차분값으로서 가산부(54)에 공급한다. 즉, 각 화소의 조정 후의 전후 차분값의 각각이 게인 제어부(53)의 출력 신호로서 가산부(54)에 순차적으로 공급되어 간다.

이상 설명한 바와 같이, 감산부(63)의 출력 신호인 차분값(=MAX-MIN)이 임의의 일정값을 초과하면, 그 차분값(=MAX-MIN)이 크게 될수록, 조정량(출력)도 1～0 을 향하는 방향에서 차차 작게 되어 간다. 따라서, 감산부(63)의 출력 신호인 차분값(=MAX-MIN)이 임의의 일정값 이상인 경우, 1 미만의 조정량이 주목 화소의 전후 차분값에 대하여 승산되므로, 주목 화소의 전후 차분은 작게 되도록 조정되게 된다. 이에 따라, 주목 화소 근방의 링잉이 억제되게 된다.

이상 설명한 바와 같은 게인 제어부(53)의 공간 영역에서의 처리는, 주파수 영역에서 생각하면, 결국, 링잉의 억제를 목적으로 하여, 이동 평균 필터 전후의 차분 게인을 게인 조정하는 처리라고 말할 수 있다.

다음으로, 도 11～도 19를 참조하여, 촬상 흐림 보상부(23)의 상세에 대하여 설명한다.

도 11은 촬상 흐림 보상부(23)의 상세한 기능적 구성예를 도시하고 있다.

도 11의 예에서는, 촬상 흐림 보상부(23)는 ALTI부(81), 감산부(82), 게인 제어부(83), 및 가산부(84)로 구성되어 있다.

도 11에 도시된 바와 같이, 필터부(22)의 출력 신호는 촬상 흐림 보상부(23)에서의 입력 신호로서, ALTI부(81), 감산부(82), 및 가산부(84)의 각각에 입력된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 ALTI부(81)와 게인 제어부(83)의 각각에 공급된다.

이하, 촬상 흐림 보상부(23)의 입력 신호 중 주목 화소의 화소값에 주목하여, ALTI부(81) 내지 가산부(84)의 각각의 설명을 개별적으로 행하여 간다.

또한, 상술한 바와 같이, 촬상 흐림 보상부(23)에 공급된 단계의 주목 화소의 화소값은, 도 5의 촬상 흐림 억제 처리부(13)에 입력된 단계와 비교하여, 고역 성분 제거부(21)나 필터부(22)에 의해 이미 보정이 행하여져, 다른 값으로 되어 있는 경우가 많다. 또한, 후술하는 바와 같이, 촬상 흐림 보상부(23) 내에서도, 주목 화소의 화소값은 적절하게 보정된다. 따라서, 혼란을 피하기 위해, 촬상 흐림 보상부(23)의 설명을 행하고 있는 동안에는, 각 기능 블록에 입력되는 단계의 각 화소값을 입력 화소값이라고 칭하고, 각 기능 블록으로부터 출력되는 단계의 화소값을 출력 화소값이라고 칭한다. 또한, 기능 블록 중에는, 동일 화소에 대하여, 복수의 전단의 기능 블록의 각각으로부터 복수의 서로 다른 화소값이 입력되는 경우도 있다. 이러한 경우, 오리지널에 가까운 쪽의 화소값(주로, 보정 전의 화소값)을 입력 화소값이라고 칭하고, 그 이외의 화소값을 후단의 기능 블록의 출력 화소값이라고 칭한다. 예를 들면, 상세에 대해서는 후술하겠지만, 감산부(82)에는 ALTI부(81)와 외부의 필터부(22)의 각각으로부터 주목 화소의 화소값으로서 서로 다른 값이 공급된다. 따라서, 외부의 필터부(22)로부터 공급되는 쪽을 입력 화소값이라고 칭하고, ALTI부(81)로부터 공급되는 쪽을 ALTI부(81)의 출력 화소값이라고 칭한다.

ALTI부(81)는 촬상 흐림 특성 검출부(12)에 의해 공급된 주목 화소에서의 이동 속도에 따라 보정량을 결정해서, 주목 화소의 입력 화소값에 대하여 보정량을 가산하고, 그 가산치를 주목 화소의 출력 화소값으로서 감산부(82)에 공급한다. 또한, ALTI부(81)의 한층 더한 상세에 대해서는 도 12를 참조하여 후술한다.

감산부(82)는 ALTI부(81)의 주목 화소의 출력 화소값과 주목 화소의 입력 화소값의 차분을 연산하고, 그 차분값(이하, 주목 화소 차분값이라고 칭함)을 게인 제어부(83)에 공급한다.

게인 제어부(83)는, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 따라서, 감산부(82)로부터 공급된 주목 화소 차분값의 값을 조정하고, 조정 후의 주목 화소 차분값을 주목 화소에 대한 최종적인 보정량으로서 가산부(84)에 공급한다.

가산부(84)는, 주목 화소의 입력 화소값에 대하여, 게인 제어부(83)로부터의 최종적인 보정량을 가산하고, 그 가산치를, 주목 화소의 출력 화소값으로서 외부에 출력한다. 즉, 가산부(84)의 주목 화소의 출력 화소값이, 촬상 흐림 억제 보상부(23)에 의해 최종적으로 보정된 주목 화소의 화소값으로서 외부에 출력된다.

이하, 촬상 흐림 보상부(23) 내의 ALTI부(81)와 게인 제어부(83)의 각각의 상세에 대하여, 그 순서대로 개별적으로 설명해 간다.

우선, 도 12～도 17을 참조하여, ALTI부(81)의 상세에 대하여 설명한다.

도 12는 ALTI부(81)의 상세한 기능적 구성예를 도시하고 있다.

도 12의 예에서는, ALTI부(81)는 지연부(91-1～91-n)(이하, 도 12의 기재에 맞추어 DL부(91-1～91-n)라고 칭함), 평균값 산출부(92～94), 보정량 결정부(95), 및 가산부(96)로 구성되어 있다.

이하, ALTI부(81)의 상세한 기능적 구성(각 기능 블록의 접속 형태)과 그 동작에 대하여 함께 설명한다.

DL부(91-1～91-n)는 그 순서대로 접속되어 있고, 전단으로부터 출력되어 오는 각 화소값의 각각을 소정의 지연 시간만큼 지연시키고 후단에 출력한다. DL부 (91-1～91-(n/2-1))의 각각으로부터 출력되는 화소값은, 또한, 평균값 산출부(93)에 공급된다. DL부(91-(n/2-1)), DL부(91-(n/2)), 및, DL부(91-(n/2+1))의 각각으로부터 출력되는 화소값은, 또한, 평균값 산출부(92)에 공급된다. DL부(91-(n/2+1)～91-n)의 각각으로부터 출력되는 화소값은, 또한, 평균값 산출부(94)에 공급된다. DL부(91-(n/2))부터 출력되는 화소값은, 또한, 보정량 결정부(95)와 가산부(96)에도 공급된다.

필터부(22)로부터는, 주목 화소를 중심으로 하여 이동 방향(여기서는 횡방향)으로 연속하여 나열된 n개의 화소의 각 화소값이 오른쪽에서 왼쪽으로 향하는 방향으로 화소의 배치 순서대로 DL부(91-1)에 순차적으로 입력되어 간다. 따라서, 그 후, 지연 시간의 n배의 시간이 거의 경과하면, DL부(91-1～91-n)의 각각으로부터는, 주목 화소를 중심으로 하여 횡방향으로 연속하여 나열된 n개의 화소의 각 화소값의 각각이 하나씩 출력되게 된다.

또한, 이하, DL부(91-1～91-n)의 각각으로부터 출력된 단계의 각 화소값을, ALTI부(81)에서의 입력 화소값이라고 하고 설명한다.

구체적으로는, DL부(91-(n/2))로부터는, 주목 화소의 입력 화소값 N이 출력된다. 또한, 주목 화소에서 볼 때 좌측에 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소값은 DL부(91-1～91-(n/2-1))의 각각으로부터 하나씩 출력된다. 한편, 주목 화소에서 볼 때 우측에 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소값은 DL부(91-(n/2+1)～91-n)의 각각으로부터 하나씩 출력된다.

또한, DL부(91-1～91-n)의 개수 n은 특별히 한정되지 않지만, 여기서는, 이 동 속도의 최고값[화소/프레임]인 것으로 한다. 또한, 촬상 흐림 특성 검출부(12)로부터 공급되는 주목 화소에서의 이동 속도는, 상술한 예와 마찬가지로, v[화소/프레임]인 것으로 한다.

따라서, 평균값 산출부(92)에는, 주목 화소의 입력 화소값 N, 주목 화소의 좌측 이웃 화소의 입력 화소값, 및 주목 화소의 우측 이웃 화소의 입력 화소값이 입력된다. 따라서, 평균값 산출부(92)는, 주목 화소의 입력 화소값 N, 주목 화소의 좌측 이웃 화소의 입력 화소값, 및 주목 화소의 우측 이웃 화소의 입력 화소값의 평균값 Na(이하, 주목 화소의 평균 화소값 Na라고 칭함)를 산출해서, 보정량 결정부(95)에 공급한다.

또한, 상세에 대해서는 후술하겠지만, 보정량 결정부(95)에 의해 결정되는 주목 화소의 보정량 ADD는 소정의 조정량 c에 의해 조정된다. 이 조정량 c는 고정치가 아니라, 소정의 처리(이하, 조정량 결정 처리라고 칭함)에 의해 결정되는 가변치이다. 본 실시 형태에서는, 이 조정량 결정 처리에서, 주목 화소의 평균 화소값 Na가 이용된다. 왜냐하면, 이 조정량 결정 처리에서, 주목 화소의 입력 화소값 N 그 자체를 이용할 수도 있지만, 이 경우, 주목 화소에 노이즈가 포함되어 있으면, 처리 화상이 파탄되는 경우가 있기 때문이다. 즉, 처리 화상의 파탄을 방지하기 위해서이다.

평균값 산출부(93)에는, 주목 화소에서 볼 때 좌측에 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소값이 공급된다. 따라서, 평균값 산출부(93)는, 주목 화소의 좌측 이웃 화소에서 왼쪽 방향으로 순서대로 이동 속도의 거의 절반인 개수 k(k는 약 v/2)개의 화소를 선택하고, 선택한 k개의 화소의 각 입력 화소값을 포함하는 범위를 산출 범위로서 결정한다. 그리고, 평균값 산출부(93)는, 공급된 n/2-1개의 입력 화소값 중, 산출 범위에 포함되는 k개의 입력 화소값의 평균값 La(이하, 왼쪽 화소의 평균 화소값 La라고 칭함)를 산출해서, 보정량 결정부(95)에 공급한다.

한편, 평균값 산출부(94)에는, 주목 화소에서 볼 때 우측에 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소값이 공급된다. 따라서, 평균값 산출부(94)는 주목 화소의 우측 이웃 화소에서 우측 방향으로 순서대로 k개의 화소를 선택하고, 선택한 k개의 화소의 각 입력 화소값을 포함하는 범위를 산출 범위로서 결정한다. 그리고, 평균값 산출부(94)는, 공급된 n/2-1개의 입력 화소값 중, 산출 범위에 포함되는 k개의 입력 화소값의 평균값 Ra(이하, 오른쪽 화소의 평균 화소값 Ra라고 칭함)를 산출해서, 보정량 결정부(95)에 공급한다.

상세에 대해서는 후술하겠지만, 왼쪽 화소의 평균 화소값 La와 오른쪽 화소의 평균 화소값 Ra는 모두, 조정량 결정 처리나, 보정량의 후보를 결정하기 위한 처리(이하, 후보 결정 처리라고 칭함)에 이용된다.

즉, 상술한 특허 문헌 3 등에 개시되어 있는 종래의 LTI에서는, 주목 화소로부터 왼쪽 방향으로 소정의 거리만큼 이격된 하나의 화소(이하, 왼쪽 화소라고 칭함)의 입력 화소값과, 주목 화소의 입력 화소값의 차분값이, 보정량의 제1 후보로 결정되어 있었다. 또한, 주목 화소로부터 오른쪽 방향으로 소정의 거리만큼 이격된 하나의 화소(이하, 오른쪽 화소라고 칭함)의 입력 화소값과, 주목 화소의 입력 화소값의 차분값이, 보정량의 제2 후보로 결정되어 있었다. 그리고, 제1 후보와 제2 후보 중 어느 한쪽이 특별히 조정되지 않고서 그대로 보정량으로서 결정되어 있었다. 이 때문에, 종래의 LTI에서는, 왼쪽 화소나 오른쪽 화소의 입력 화소값에 노이즈가 포함되어 있으면, 보정량(그 2개의 후보)을 적절하게 결정할 수 없다고 하는 과제가 있었다.

따라서, 이 과제를 해결하기 위해, 즉 보정량의 후보를 적절하게 결정할 수 있도록, 본 실시 형태의 후보 결정 처리에서는, 왼쪽 화소나 오른쪽 화소로 한 하나의 화소의 입력 화소값이 단순히 이용되는 것이 아니라, 왼쪽 화소의 평균 화소값 La와 오른쪽 화소의 평균 화소값 Ra가 이용되는 것이다.

단, 산출 범위에 포함되는 각 입력 화소값의 변화 방향이 일정하지 않은 경우, 즉 증가 후 감소하거나, 반대로, 감소 후 증가하고 있는 등의 경우가 있다. 바꿔 말하면, 횡방향의 화소 위치가 횡축으로 되고, 화소값이 종축으로 된 평면(예를 들면, 후술하는 도 13의 평면) 상에서, 산출 범위에 포함되는 각 입력 화소값을 나타내는 점(후술하는 도 13의 점(131～134) 등)을 연결한 선의 기울기의 극성이 반전되게 되는 경우가 있다. 이러한 경우, 산출 범위에 포함되는 각 입력 화소값의 단순한 평균값을, 왼쪽 화소의 평균 화소값 La 또는 오른쪽 화소의 평균 화소값 Ra로서 채용하여도, 보정량(후보)을 적절하게 결정할 수 없을 우려가 생긴다고 하는 새로운 과제가 발생한다.

따라서, 이 새로운 과제를 해결하기 위해, 본 실시 형태에서는, 또한, 평균값 산출부(93)와 평균값 산출부(94)는 모두, 산출 범위에 포함되는 각 입력 화소값 중 극성 반전 후의 제1 점이 나타내는 입력 화소값 β를, 극성 반전 전의 제2 점이 나타내는 입력 화소값 α를 이용하는 다음 수학식 3의 우변을 연산함으로써, 화소값 γ로 갱신되고, 제1 점이 나타내는 화소의 입력 화소값은 갱신 후의 화소값 γ인 것으로 간주해서 왼쪽 화소의 평균 화소값 La 또는 오른쪽 화소의 평균 화소값 Ra를 산출하는 것이다.

수학식 3에서, H는, 도 13에 도시된 바와 같이, 극성 반전 전의 제2 점(도 13 중 점(133))의 화소값 α와 극성 반전 후의 제1 점(도 13 중 점(134))의 화소값 β의 차분값(=α-β)을 나타내고 있다.

즉, 도 13은 주목 화소(131)를 포함하는 수평 방향으로 연속하여 나열된 12개의 화소의 화소값의 일례를 도시하고 있다. 도 13에서, 횡축은 「횡방향의 화소 위치」로 되고, 종축은 「화소값」으로 되어 있다. 도 13의 예에서는, 평균값 산출부(94)의 산출 범위, 즉 오른쪽 화소의 평균 화소값 Ra의 산출 범위는 주목 화소를 나타내는 점(131)의 오른쪽의 3개의 점(132～134)이 나타내는 화소값 α, α, β를 포함하는 범위 D로 되어 있다.

도 13의 예에서는, 점(133)으로부터 점(134)에 걸쳐서 기울기의 극성이 판정되어 있다는 것을 알 수 있다. 즉, 점(134)이 극성 반전 후의 제1 점이고, 점(133)이 극성 반전 전의 제2 점이다. 따라서, 도 13의 예에서는, 평균값 산출부(94)는, 점(133)이 나타내는 입력 화소값 α, 및 그 입력 화소값 α와 점(134)이 나타내는 입력 화소값 β의 차분값 H(=α-β)를 수학식 3의 우변에 대입하여 연산함으로써, 점(134)이 나타내는 입력 화소값을 화소값 β로부터 화소값 γ로 변경한다. 그리고, 평균값 산출부(94)는, 산출 범위 D 중, 점(134)이 나타내는 화소의 입력 화소값으로서는 갱신 후의 화소값 γ를 이용하고, 그 이외의 점(132)과 점(133)의 각 입력 화소값으로서는 원래의 화소값 α를 그대로 이용해서, 오른쪽 화소의 평균 화소값 Ra를 산출하게 된다. 즉, Ra=(α+α+γ)/3가 연산되게 된다.

본 실시 형태에서는, 이러한 수학식 3의 우변의 연산에서, 함수 f(H)로서, 도 14의 선(141)과 같은 특성을 갖는 함수가 이용된다.

도 14에 도시된 바와 같이, 극성 반전 전의 화소값 α와 극성 반전 후의 화소값 β의 차분값 H가 값 H2 이상인 경우에는, 함수 f(H)의 출력은 0으로 된다. 또한, 차분값 H가 큰 것은, 극성 반전 후의 기울기가 급경사인 것을 의미하고 있다. 따라서, 극성 반전 후의 기울기가 일정 이상 급경사인 경우, 즉 차분값 H가 값 H2 이상인 경우에는, 수학식 3으로부터 갱신 후의 화소값 γ는 화소값 α로 된다. 즉, 도 13에 도시된 바와 같이, 극성 반전 후의 기울기가 일정 이상 급경사인 경우에는, 극성 반전 후의 점(134)이 나타내는 화소의 입력 화소값으로서는 화소값 β 대신에 화소값 α가 이용되어, 산출 범위 D에서의 오른쪽 화소의 평균 화소값 Ra가 산출되는 것이다. 즉, Ra=(α+α+α)/3=α로 연산되어, 오른쪽 화소의 평균 화소값 Ra는 화소값 α로 결정되게 된다.

이에 대하여, 도 14에 도시된 바와 같이, 극성 반전 전의 화소값 α와 극성 반전 후의 화소값 β의 차분값 H가 값 H1 이하일 때에는, 함수 f(H)의 출력은 1로 된다. 또한, 차분값 H가 작은 것은, 극성 반전 후의 기울기가 완만하다는 것을 의미하고 있다. 따라서, 극성 반전 후의 기울기가 일정 이상 완만한 경우, 즉 차분값 H가 값 H1 이하인 경우에는, 수학식 3으로부터 갱신 후의 화소값 γ는 화소값 β 그대로로 된다. 즉, 극성 반전 후의 기울기가 일정 이상 완만한 경우에는, 도시하지는 않지만, 극성 반전 후의 점(134)이 나타내는 입력 화소값으로서는 화소값 β가 그대로 이용되어, 산출 범위 D에서의 오른쪽 화소의 평균 화소값 Ra가 산출되는 것이다. 즉, Ra=(α+α+β)/3가 연산되어, 오른쪽 화소의 평균 화소값 Ra는 화소값 {(α+α+β)/3}인 것으로 결정되게 된다.

또한, 극성 반전 후의 기울기가 일정 이상 완만한 때에는, 극성 반전 후의 점(134)이 나타내는 화소값은 갱신되지 않고서 원래의 화소값 β가 그대로 이용되는 것은 다음의 이유에서이다. 즉, 극성 반전 후의 기울기가 일정 이상 완만한 경우란, 노이즈 때문에 극성 반전이 일어날 가능성이 크다고 말할 수 있고, 이러한 경우에는, 각 입력 화소값을 갱신하고 나서 평균을 취하는 것보다, 그대로 평균을 취한 쪽이, 노이즈가 제거된 적절한 오른쪽 화소의 평균 화소값 Ra가 얻어지게 된다고 하는 이유에서이다.

이상, 도 13의 구체예를 이용하여 오른쪽 화소의 평균 화소값 Ra를 산출하는 경우에 대해 설명하였지만, 그 밖의 경우, 예를 들면 왼쪽 화소의 평균 화소값 La를 산출하는 경우에도, 극성 반전 후의 점이 나타내는 화소의 입력 화소값은 수학식 3에 따라서 모두 마찬가지로, 화소값 β로부터 화소값 γ로 갱신되게 된다.

도 12를 다시 참조하면, 보정량 결정부(95)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소값 N, 평균값 산출부(92)로부터의 주목 화소의 평균 화소값 Na, 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화소값 La, 및 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra를 이용하여, 보정량 ADD를 결정해서, 가산부(96)에 공급한다.

가산부(96)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소값 N에 대하여, 보정량 결정부(95)로부터의 보정량 ADD를 가산하고, 그 가산 결과를 주목 화소의 출력 화소값으로서, 즉 주목 화소의 보정 후의 화소값으로서, ALTI부(81)의 외부의 감산부(82)에 공급한다.

여기서, 보정량 결정부(95)의 상세한 기능적 구성예를 설명하기 전에, 도 15의 플로우차트를 참조하여, ALTI부(81)의 처리에 대하여 설명한다.

단계 S21에서, ALTI부(81)는 주목 화소를 설정한다.

단계 S22에서, ALTI부(81)의 DL부(91-1～91-n)는 주목 화소의 입력 화소값 N을 중심으로 그 전후의 입력 화소값을 n개 취득한다.

단계 S23에서, ALTI부(81)의 평균값 산출부(92)는, 상술한 바와 같이, 주목 화소의 평균 화소값 Na를 산출해서, 보정량 결정부(95)에 공급한다.

단계 S24에서, ALTI부(81)의 평균값 산출부(93)는, 상술한 바와 같이, 왼쪽 화소의 평균 화소값 La를 산출해서, 보정량 결정부(95)에 공급한다.

단계 S25에서, ALTI부(81)의 평균값 산출부(94)는, 상술한 바와 같이, 오른쪽 화소의 평균 화소값 Ra를 산출해서, 보정량 결정부(95)에 공급한다.

또한, 도 12로부터 분명한 바와 같이, 평균값 산출부(92～94)의 각각은 다른 것과는 독립하여 처리를 실행한다. 따라서, 단계 S23～S25의 처리의 순서는 도 15의 예에 한정되지 않고 임의의 순서이어도 된다. 즉, 실제로는, 단계 S23～S25의 각각의 처리는 다른 것과는 독립하여 병행하여 실행된다.

단계 S26에서, ALTI부(81)의 보정량 결정부(95)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소값 N, 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화소값 La, 및 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra를 이용하여, 보정량의 2개의 후보 ADDL, ADDR을 결정한다. 즉, 단계 S26의 처리란, 상술한 후보 결정 처리를 말한다. 보정량의 후보 ADDL, ADDR이란, 후술하는 감산부(101)와 감산부(102)의 각각의 출력 신호를 말한다. 또한, 단계 S26의 후보 결정 처리나, 보정량의 후보 ADDL, ADDR의 상세한 설명에 대해서는 후술한다.

단계 S27에서, 보정량 결정부(95)는, 평균값 산출부(92)로부터의 주목 화소의 평균 화소값 Na, 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화소값 La, 및 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra를 이용하여, 조정량 c를 결정한다. 즉, 단계 S27의 처리란, 상술한 조정량 결정 처리를 말한다. 조정량 c란, 후술하는 조정량 산출부(109)의 출력 신호를 말한다. 또한, 단계 S27의 조정량 결정 처리나 조정량 c의 상세한 설명에 대해서는 후술한다.

또한, 상세에 대해서는 후술하겠지만, 실제로는, 단계 S26와 S27의 각각의 처리는, 다른 것과는 독립하여 병행하여 실행된다. 즉, 단계 S26와 S27의 처리의 순서는 도 15의 예에 한정되지 않고 임의의 순서이어도 된다.

단계 S28에서, 보정량 결정부(95)는 조정량 c를 이용하여 후보 ADDL, ADDR의 각각의 값을 조정한다. 이하, 이러한 단계 S28의 처리를 조정 처리라고 칭한다. 조정 처리의 상세에 대해서는 후술한다.

단계 S29에서, 보정량 결정부(95)는, 조정량 c에 의해 값이 조정된 후보 ADDL, ADDR과 0 중에서 소정의 하나를, 소정의 판별 조건에 따라 보정량 ADD로서 결정해서(선발해서), 가산부(96)에 공급한다. 이하, 이러한 단계 S29의 처리를 보정량 선발 처리라고 칭한다. 보정량 선발 처리의 상세(판별 조건 등 포함함)에 대해서는 후술한다.

단계 S30에서, ALTI부(81)의 가산부(96)는 주목 화소의 입력 화소값 N에 대하여 보정량 ADD를 가산하고, 그 가산치를 주목 화소의 출력 화소값으로서 외부의 감산부(82)에 출력한다.

단계 S31에서, ALTI부(81)는 모든 화소에 대하여 처리가 종료되었는지의 여부를 판정한다.

단계 S31에서, 모든 화소에 대하여 처리가 아직 종료되지 않았다고 판정된 경우, 처리는 단계 S21로 복귀되고, 그 이후의 처리가 반복된다. 즉, 이번에는, 다른 화소가 주목 화소에 설정되고, 그 주목 화소의 입력 화소값 N에 대하여 보정량 ADD가 가산되며, 그 가산치가 주목 화소의 출력 화소값으로서 외부의 감산부(82)에 출력된다. 또한, 당연히, 화소값 N과 보정량 ADD의 각각은 각 화소마다 상이한 값으로 되는 경우가 많다.

이와 같이 하여, 모든 화소가 주목 화소로 설정되고, 그 때마다, 상술한 단계 S21～S31의 루프 처리가 반복하여 실행되면, 단계 S31에서, 모든 화소에 대하여 처리가 종료되었다고 판정되고, ALTI부(81)의 처리는 종료로 된다.

또한, ALTI부(81)는 도 1의 촬상 흐림 억제 처리부(13)의 일 구성 요소이기 때문에, 상술한 도 15의 ALTI부(81)의 처리는 상술한 도 3의 단계 S4의 처리의 일부로서 실행되게 된다.

이상 설명한 바와 같이, 보정량 결정부(95)는 단계 S26～S29의 처리를 실행한다. 따라서, 이하, 도 12를 다시 참조하여, 보정량 결정부(95)의 상세한 기능적 구성예를 설명하면서, 단계 S26～S29의 처리의 상세에 대해서도 함께 설명해 간다.

도 12에 도시된 바와 같이, 보정량 결정부(95)에는 감산부(101)와 감산부(102)가 상술한 도 15의 단계 S26의 후보 결정 처리를 실행하도록 설치되어 있다. 바꿔 말하면, 감산부(101)와 감산부(102)로 구성되는 후보 결정부(121)가 단계 S26의 후보 결정 처리를 실행한다.

감산부(101)는 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화소값 La와 DL부(91-(n/2))로부터의 주목 화소의 입력 화소값 N의 차분값(=La-N)을 산출하고, 그 차분값을 보정량의 후보 ADDL로서 승산부(110)에 공급한다.

또한, 후술하는 바와 같이, 이 보정량의 후보 ADDL이 조정되지 않고서(조정량 c=1이 승산되어) 그대로 보정량 ADD로서 결정된 경우에는, 가산부(96)에서, 주목 화소의 입력 화소값 N에 대하여 이 보정량 ADD(=La-N)가 가산되고, 그 가산치(=La)가 외부로 출력되게 된다. 즉, 이 보정량의 후보 ADDL(=La-N)이 그대로 보정량 ADD로서 이용된 경우에는, 주목 화소의 화소값은 원래의 화소값 N으로부터 왼쪽 화소의 평균 화소값 La로 보정되게(치환되게) 된다.

감산부(102)는 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra와 DL부(91-(n/2))로부터의 주목 화소의 입력 화소값 N의 차분값(=Ra-N)을 산출하고, 그 차분값을 보정량의 후보 ADDR로서 승산부(111)에 공급한다.

또한, 후술하는 바와 같이, 이 보정량의 후보 ADDR이 조정되지 않고서(조정량 c=1이 승산되어) 그대로 보정량 ADD로서 결정된 경우에는, 가산부(96)에서, 주목 화소의 입력 화소값 N에 대하여 이 보정량 ADD(=Ra-N)가 가산되고, 그 가산치(=Ra)가 외부로 출력되게 된다. 즉, 이 보정량의 후보 ADDR(=Ra-N)이 그대로 보정량 ADD로서 이용된 경우에는, 주목 화소의 화소값은 원래의 화소값 N으로부터 오른쪽 화소의 평균 화소값 Ra로 보정되게(치환되게) 된다.

또한, 도 12에 도시된 바와 같이, 보정량 결정부(95)에는, 감산부(103) 내지 조정량 산출부(109)가 상술한 도 15의 단계 S27의 조정량 결정 처리를 실행하도록 설치되어 있다. 바꿔 말하면, 감산부(103) 내지 조정량 결정부(109)로 구성되는 조정량 결정부(122)가 단계 S27의 조정량 결정 처리를 실행한다.

감산부(103)는 평균값 산출부(92)로부터의 주목 화소의 평균 화소값 Na와 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화소값 La의 차분값(=Na-La)을 산출하고, 그 차분값을 가산부(105)에 공급한다.

감산부(104)는 평균값 산출부(92)로부터의 주목 화소의 평균 화소값 Na와 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra의 차분값(=Na-Ra)을 산출하고, 그 차분값을 가산부(105)에 공급한다.

가산부(105)는 감산부(103)와 감산부(104)의 각각의 출력 신호의 합을 산출 하고, 그 산출 결과를 ABS부(106)에 출력한다.

ABS부(106)는 가산부(105)의 출력 신호의 절대값 b를 산출하고, 그 절대값 b를 제산부(108)에 공급한다.

바꿔 말하면, 화소값이 종축으로 되고 횡방향의 화소 위치가 횡축으로 된 평면 상에서의, 왼쪽 화소의 평균 화소값 La를 나타내는 제1 점, 주목 화소의 평균 화소값 Na를 나타내는 제2 점, 및 오른쪽 화소의 평균 화소값 Ra를 나타내는 제3 점을 그 순서대로 연결하는 선의 제2 점에서의 2차 미분값이, 감산부(103), 감산부(104), 및 가산부(105)에 의해 연산된다. 그리고, 그 2차 미분값의 절대값 b가 ABS부(106)에 의해 연산되고, 제산부(108)에 공급된다. 따라서, 이하, ABS부(106)로부터 출력되는 절대값 b를 2차 미분 절대값 b라고 칭한다.

2차 미분 절대값 b는, 상기의 평면에서, 왼쪽 화소의 평균 화소값 La를 나타내는 제1 점과 오른쪽 화소의 평균 화소값 Ra를 나타내는 제3 점을 연결하는 직선을 경계선으로 한 경우에, 주목 화소의 평균 화소값 Na를 나타내는 제2 점은 경계선으로부터 종축 방향으로 어느 정도 이격하여 있는 것인지를 나타내는 값이다.

따라서, 보정량 결정부(95)가 2차 미분 절대값 b의 크기에 따라 보정량의 후보 ADDL, ADDR의 값을 각각 조정하고, 조정 후의 후보 ADDL, ADDR 중 어느 한쪽을 보정량 ADD로서 결정하도록 하면, 즉 가산부(96)가 주목 화소의 입력 화소값 N과 2차 미분 절대값 b의 크기에 따라 조정된 보정량 ADD와의 가산치를 주목 화소의 출력 화소값으로서 출력하도록 하면, 그 가산부(96)의 출력 신호(처리 대상의 프레임) 중 엣지 부분을 소프트하게 이루어지게 하는 것이 가능하게 된다.

단, 2차 미분 절대값 b가 동일한 크기이었다고 하여도, 왼쪽 화소의 평균 화소값 La와 오른쪽 화소의 평균 화소값 Ra의 차분 절대값 h, 즉 상기의 평면에서의 종축 방향의 제1 점과 제3 점 사이의 거리 h(이하, 높이 h라고 칭함)가 상이하면, 2차 미분 절대값 b의 크기의 의미도 자연히 변한다. 즉, 2차 미분 절대값 b가 동일한 크기이어도, 그 크기가 높이 h와 비교하여 훨씬 작은 경우에는, 바꿔 말하면, 2차 미분값 b를 높이 h로 제산한 제산치(=b/h)가 작은 경우에는, 주목 화소 근방에서 노이즈가 발생하고 있을 가능성이 높다고 판단할 수 있다. 이에 대하여, 2차 미분 절대값 b가 동일한 크기이어도, 그 크기가 높이 h와 비교하여 그다지 작지 않은 경우에는, 바꿔 말하면, 상술한 제산치(=b/h)가 어느 정도의 크기 이상인 경우에는, 주목 화소 근방에서 노이즈가 발생하고 있을 가능성은 낮다고 판단할 수 있다.

따라서, 2차 미분 절대값 b의 단순한 크기에 따라 후보치 ADDL, ADDR의 값이 조정되게 되면, 주목 화소의 입력 화소값 N의 보정량 ADD는 노이즈가 발생하고 있는 경우에도 발생하지 않은 경우에도 동일한 값으로 되게 되어, 주목 화소의 입력 화소값 N의 적절한 보정이 불가능하게 된다고 하는 새로운 과제가 생기게 된다.

따라서, 이 새로운 과제를 해결하기 위해, 본 실시 형태의 보정량 결정부(95)의 조정량 결정부(122)에는, 상술한 감산부(103) 내지 ABS부(106) 외에도, 차분 절대값 산출부(107), 제산부(b/h 연산부)(108), 및 조정량 산출부(109)가 더 설치되어 있는 것이다.

차분 절대값 산출부(107)는 평균값 산출부(93)로부터의 왼쪽 화소의 평균 화 소값 La와 평균값 산출부(94)로부터의 오른쪽 화소의 평균 화소값 Ra의 차분값을 산출하고, 또한, 그 차분값의 절대값 h(h=│La-Na│), 즉 상술한 높이 h를 산출하고, 그 높이 h를 제산부(108)에 공급한다.

제산부(108)는 ABS부(106)로부터의 2차 미분 절대값 b를 차분 절대값 산출부(107)로부터의 높이 h로 제산하고, 그 제산치(=b/h)를 조정량 산출부(109)에 제공한다. 즉, 이 제산치(=b/h)란, 2차 미분 절대값 b가 높이 h에 의해 정규화된 값이라고 말할 수 있다. 따라서, 이하, 이 제산치(=b/h)를 2차 미분 정규화값(=b/h)라고 칭한다.

조정량 산출부(109)는 제산부(108)로부터의 2차 미분 정규화값(=b/h)에 기초하여 후보 ADDL, ADDR에 대한 조정량 c를 산출해서, 승산부(110)와 승산부(111)에 공급한다.

상세하게는, 예를 들면, 조정량 산출부(109)는 도 16의 곡선(151)으로 나타내어진 특성의 함수를 보유하고 있어, 제산부(108)로부터의 2차 미분 정규화값(=b/h)을 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 16의 출력)을 조정량 c로서 승산부(110)와 승산부(111)에 공급한다.

즉, 도 16의 곡선(151)의 형상으로부터 용이하게 알 수 있지만, 2차 미분 정규화값(=b/h)이 임의의 일정값 b1보다 작은 경우에는, 노이즈의 가능성이 클 것이라고 하여, 조정량 c(출력)는 0으로 된다. 이 경우, 후술하는 바와 같이, 후보 ADDL, ADDR은 조정량 c로서 0이 각각 승산되어 조정되게 되기 때문에, 조정 후의 후보 ADDL, ADDR은 모두 0으로 된다. 따라서, 보정량 ADD도 0으로 되어, 주목 화 소의 입력 화소값 N은 보정되지 않게 된다.

또한, 2차 미분 정규화값(=b/h)이 그 일정값 b1을 넘어 크게 되어 가면, 조정량 c(출력)도 서서히 크게 되어 간다. 이 경우, 후술하는 바와 같이, 후보 ADDL, ADDR의 각각은 1 미만의 조정량 c가 각각 승산되어 조정되게 되기 때문에, 조정 후의 후보 ADDL, ADDR은 모두 원래의 값보다 작게 된다. 따라서, 보정량 ADD는 원래의 값보다 작게 된 후보 ADDL, ADDR 중 어느 한쪽으로 되어, 주목 화소의 보정 후의 화소값은 왼쪽 화소의 평균 화소값 La보다 크게 되거나, 오른쪽 화소의 평균 화소값 Ra보다 작게 된다.

또한, 2차 미분 정규화값(=b/h)이 임의의 일정값 b2 이상으로 되면, 그 이후, 조정량 c(출력)는 1로 된다. 이 경우, 후술하는 바와 같이, 후보 ADDL, ADDR의 각각은 조정량 c로서 1이 각각 승산되어 조정되게 되기 때문에, 조정 후의 후보 ADDL, ADDR은 모두 원래의 값 그대로로 된다(즉, 조정되지 않는다). 따라서, 보정량 ADD는 원래의 값 그대로인 후보 ADDL, ADDR 중 어느 한쪽으로 되어, 상술한 바와 같이, 주목 화소의 보정 후의 화소값은 왼쪽 화소의 평균 화소값 La로 되거나, 오른쪽 화소의 평균 화소값 Ra로 된다.

이와 같이, 본 실시 형태에서는, 2차 미분 정규화값(=b/h)을 파라미터로서 입력하는, 도 16의 선(151)으로 나타내어진 특성의 함수를 이용하여 조정량 c가 결정되므로, 그 조정량 c를 이용하여 보정량 ADD를 조정함으로써(정확하게는, 보정량의 후보 ADDL, ADDR을 조정함으로써), 가산부(96)의 출력 신호(처리 대상의 프레임) 중의 엣지 부분을 소프트하게 만들 수 있게 된다. 즉, 종래의 LTI에서는, 하 드 스위치에서의 절환(화소값의 단순한 치환)에 의해 주목 화소의 화소값이 보정되고 있기 때문에, 그 출력 신호 중의 엣지 부분을 소프트하게 만들 수 없다고 하는 과제가 있었지만, 본 실시 형태의 ALTI부(81)를 채용함으로써, 이 과제를 해결할 수 있게 된다.

도 12를 다시 참조하여, 보정량 결정부(95)의 상세한 설명을 계속해서 행한다. 즉, 보정량 결정부(95)에는, 승산부(110)와 승산부(111)가 상술한 도 15의 단계 S28의 조정 처리를 실행하도록 설치되어 있다. 바꿔 말하면, 승산부(101)와 승산부(111)로 구성되는 조정부(123)가 단계 S28의 조정 처리를 실행한다.

승산부(110)는 감산부(101)로부터의 후보 ADDL에 대하여 조정량 산출부(109)로부터의 보정량 c를 승산하고, 그 승산치를 조정 후의 후보 ADDL로서 판별부(113)에 공급한다.

승산부(111)는 감산부(102)로부터의 후보 ADDR에 대하여 조정량 산출부(109)로부터의 보정량 c를 승산하고, 그 승산치를 조정 후의 후보 ADDR로서 판별부(113)에 공급한다.

또한, 보정량 결정부(95)에는, 고정치 발생부(112)와 판별부(113)가 상술한 도 15의 단계 S29의 보정량 선발 처리를 실행하도록 설치되어 있다. 바꿔 말하면, 고정치 발생부(112)와 판별부(113)로 구성되는 보정량 선발부(124)가 단계 S29의 보정량 선발 처리를 실행한다.

본 실시 형태에서는, 고정치 발생부(112)는, 도 12에 도시된 바와 같이, 「0」을 항상 발생해서 판별부(113)에 공급한다.

판별부(113)에는, 감산부(103), 감산부(104), 가산부(105), 승산부(110), 승산부(111), 및 고정치 발생부(112)의 각 출력 신호가 공급된다. 따라서, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호를 이용하는 소정의 선발 조건에 기초하여, 고정치 발생부(112)로부터의 「0」, 승산부(110)로부터의 보정 후의 후보 ADDL, 및 승산부(111)로부터의 보정 후의 후보 ADDR 중 소정의 하나를 보정량 ADD로서 선발해서(결정해서), 가산부(96)에 공급한다.

구체적으로는, 예를 들면, 화소값이 종축으로 되고 횡방향의 화소 위치가 횡축으로 된 상술한 평면 상에서의, 왼쪽 화소의 평균 화소값 La를 나타내는 제1 점과 오른쪽 화소의 평균 화소값 Ra를 나타내는 제3 점을 연결하는 직선이 경계선으로 되고, 그 경계선의 변화 방향이 상향이며, 주목 화소의 평균 화소값 Na를 나타내는 제2 점이 경계선보다 상측에 배치되어 있는 경우, 보정 후의 후보 ADDR을 보정량 ADD로서 선발하는 것이, 본 실시 형태의 선발 조건으로서 규정되어 있는 것으로 한다. 이에 대하여, 경계선의 변화 방향이 상향이고, 제2 점이 경계선보다 하측에 배치되어 있는 경우, 보정 후의 후보 ADDL을 보정량 ADD로서 선발하는 것이, 본 실시 형태의 선발 조건으로서 규정되어 있는 것으로 한다.

이 경우, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 기초하여, 경계선의 변화 방향이나 경계선과 제2 점의 위치 관계를 인식할 수 있다.

그래서, 예를 들면, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 기초하여, 경계선의 변화 방향이 상향이고, 제2 점이 경계선 보다 상측에 배치되어 있다고 인식한 경우에는, 승산부(111)로부터의 보정 후의 후보 ADDR을 보정량 ADD로서 선발해서(결정해서), 가산부(96)에 공급한다.

이에 대하여, 예를 들면, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 기초하여, 경계선의 변화 방향이 상향이고, 제2 점이 경계선보다 하측에 배치되어 있다고 인식한 경우에는, 승산부(110)로부터의 보정 후의 후보 ADDL을 보정량 ADD로서 선발해서(결정해서), 가산부(96)에 공급한다.

또한, 예를 들면, 주목 화소가 엣지 부분 이외의 장소에 위치하고 있는 경우, 0을 보정량 ADD로서 선발하는 것이, 본 실시 형태의 선발 조건으로서 규정되어 있는 것으로 한다. 이 경우, 예를 들면, 판별부(113)는 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호 전부가 대략 0인 것을 인식하였을 때, 즉 왼쪽 화소의 평균 화소값 La, 주목 화소의 입력 화소값 N, 및 오른쪽 화소의 평균 화소값 Ra가 거의 동일한 값일 때 등, 주목 화소가 엣지 부분 이외의 장소에 위치한다고 인식하고, 고정치 발생부(112)로부터의 「0」을 보정량 ADD로서 선발해서(결정해서), 가산부(96)에 공급한다.

이상, ALTI부(81)의 실시 형태로서, 도 12의 기능적 구성의 ALTI부(81)에 대하여 설명하였지만, ALTI부(81)의 기능적 구성은 상술한 일련의 처리와 등가인 처리를 실행할 수 있으면, 어떤 기능적 구성이어도 된다. 구체적으로는, 예를 들면, ALTI부(81)는 도 17에 도시된 기능적 구성을 갖도록 하여도 된다. 즉, 도 17은 ALTI부(81)의 도 12와는 다른 상세한 기능적 구성예를 도시하고 있다.

도 17의 예에서는, ALTI부(81)는 마스킹 신호 생성부(161), LTI 처리부 (162), 및 평균화부(163)로 구성되어 있다.

마스킹 신호 생성부(161)는 필터부(22)의 출력 신호를 자기 자신의 입력 신호로 하고, 그 입력 신호 중, 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차적으로 설정한다. 마스킹 신호 생성부(161)는 주목 화소로부터 이동 속도의 절반에 상당하는 화소 수분을 주목 화소의 좌우로 서치하고, 이동 속도에 상당하는 화소 수분의 화소값을 나타내는 각 신호에 대하여 마스킹 처리를 실시한다. 또한, 주목 화소에서의 이동 속도는, 상술한 바와 같이, 촬상 흐림 특성 검출부(12)로부터 공급된다. 마스킹된 각 신호는 마스킹 신호 생성부(161)로부터 LTI 처리부(162)에 공급된다.

LTI 처리부(162)는 마스킹된 각 신호에 대하여 LTI 처리를 실시하고, 그 결과 얻어지는 신호를 출력 신호로서 평균화부(163)에 공급한다.

평균화부(163)는 LTI 처리부(162)의 출력 신호 중 마스킹 신호 생성부(161)에 의한 서치 횟수와 동일한 수분의 신호의 평균을 취하고, 그 결과 얻어지는 신호를 ALTI부(81)의 출력 신호로서 외부의 감산부(82)에 공급한다.

이상, 도 12～도 17을 참조하여, 도 11의 촬상 흐림 보상부(23) 내의 ALTI부(81)의 상세에 대하여 설명하였다.

다음으로, 도 18과 도 19를 참조하여, 도 11의 촬상 흐림 보상부(23) 내의 게인 제어부(83)의 상세에 대하여 설명한다.

도 18은 게인 제어부(83)의 상세한 기능적 구성예를 도시하고 있다. 도 19는 도 18의 게인 제어부(83) 내의 후술하는 조정량 결정부(171)의 특성을 도시하고 있다.

도 18의 예에서는, 게인 제어부(83)는 조정량 결정부(171) 및 승산부(172)로 구성되어 있다.

조정량 결정부(171)는 도 19의 곡선(181)으로 나타내어진 함수를 보유하고 있어, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도를 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 19의 출력)을 조정량으로서 승산부(172)에 공급한다. 바꿔 말하면, 조정량 결정부(171)는 도 19의 곡선(181)으로 나타내어진 특성을 갖고 있다.

승산부(172)에는, 조정량 결정부(171)로부터의 조정량 외에, 감산부(82)의 출력 신호도 공급된다. 감산부(82)의 출력 신호는, 상술한 도 11의 기능적 구성으로부터 분명한 바와 같이, 가산부(84)에서, 촬상 흐림 보상부(23)에서의 주목 화소의 입력 화소값에 대하여 가산되는 최종적인 보정량의 후보이다. 즉, 승산부(172)는 이 최종적인 보정량의 후보에 대하여 조정량 결정부(171)로부터의 조정량을 승산하고, 그 승산치를 최종적인 조정량으로서 가산부(84)에 공급한다.

즉, 도 19의 선(181)의 형상과 촬상 흐림 보상부(23)의 도 11의 기능적 구성으로부터 용이하게 알 수 있지만, 게인 제어부(83)는 이동 속도가 작을 때에 ALTI부(81)의 처리 결과(이하, ALTI라고 칭함)가 주목 화소의 화소값의 최종적인 보정량에 그다지 영향을 미치지 않게 하도록 컨트롤하고 있다. 이동 속도가 작은 때에는 촬상 흐림에 의한 게인의 열화가 적어서, 감쇠한 게인을 도 5나 도 8의 필터부(22)에서 올리기만 하여도 되기 때문이다. 즉, 필터부(22)의 출력 신호를, 이것에 대하여 그다지 보정을 가하지 않고서 그대로, 촬상 흐림 보상부(23)의 최종적인 출력 신호로서 출력하면 되기 때문이다.

이상, 도 5～도 19를 참조하여, 도 1의 화상 처리 장치(1) 내의 촬상 흐림 억제 처리부(13)의 일례에 대하여 설명하였다.

단, 촬상 흐림 억제 처리부(13)의 기능적 구성은 상술한 도 5의 예에 한정되지 않고, 다양한 실시 형태를 취할 수 있다. 구체적으로는, 예를 들면, 도 20과 도 21은 본 발명이 적용되는 촬상 흐림 억제 처리부(13)의 기능적 구성예로서, 도 5의 예와는 다른 2 가지의 예의 각각을 도시하고 있다.

도 20의 예에서는, 촬상 흐림 억제 처리부(13)는, 도 5의 예와 마찬가지로, 고성분 제거부(21), 필터부(22), 및 촬상 흐림 보상부(23)로 구성되어 있다.

도 20의 예에서도, 도 5의 예와 마찬가지로, 고프레임 레이트 변환부(11)의 출력 신호는 촬상 흐림 억제 처리부(13)에서의 입력 신호로서 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다.

단, 도 20의 예에서는, 고역 성분 제거부(21)의 출력 신호는 촬상 흐림 보상부(23)에 공급된다. 촬상 흐림 보상부(23)의 출력 신호는 필터부(22)에 공급된다. 필터부(22)의 출력 신호가 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부에 출력된다.

바꿔 말하면, 도 20의 예에서는 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치가 도 5의 예의 배치 위치와 반대로 되어 있다. 즉, 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치의 순서(처리 순서)는 특별히 한정되지 않고, 어느 쪽이 먼저 되어도 된다.

또한, 도 21의 예에서는, 도 5나 도 20의 예와 마찬가지로, 촬상 흐림 억제 처리부(13)에는 고성분 제거부(21), 필터부(22), 및 촬상 흐림 보상부(23)가 설치되어 있고, 또한 이들 기능 블록 외에도, 가산부(24)도 설치되어 있다.

도 21의 예에서도, 도 5나 도 20의 예와 마찬가지로, 고프레임 레이트 변환부(11)의 출력 신호는 촬상 흐림 억제 처리부(13)에서의 입력 신호로서 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다.

단, 도 21의 예에서는, 고역 성분 제거부(21)의 출력 신호는 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다. 필터부(22)와 촬상 흐림 보상부(23)의 각각의 출력 신호는 가산부(24)에 공급된다. 가산부(24)는 필터부(22)의 출력 신호와 촬상 흐림 보상부(23)의 출력 신호의 가산을 취하고, 그 결과 얻어지는 가산 신호를, 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부에 출력한다.

바꿔 말하면, 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치는, 도 5나 도 20의 예에서는 직렬 배치로 되어 있었지만, 도 21의 예에서는 병렬 배치로 되어 있다. 즉, 필터부(22)와 촬상 흐림 보상부(23)의 배치는 직렬 배치이어도 되고, 병렬 배치이어도 된다. 단, 필터부(22)와 촬상 흐림 보상부(23)의 양자가 만약 라인 메모리를 사용하는 경우에는, 도 21의 예와 같이, 필터부(22)와 촬상 흐림 보상부 (23)를 병렬 배치로 함으로써 라인 메모리를 공유할 수 있게 되고, 그 결과, 회로 규모(라인 메모리분)을 삭감할 수 있다고 하는 효과를 발휘할 수 있게 된다.

이상 설명한 바와 같이, 촬상 시에서의 움직이는 물체의 흐림(촬상 흐림)을 화상 처리에 의해 개선할 때에, 종래 기술에서는 정지 상태나 흐림량의 정도에 상관없이 일정하게 처리를 하고 있었다. 이에 대하여, 본 발명에서는, 예를 들면 상술한 촬상 흐림 억제 처리부(13)를 이용함으로써, 이동 벡터(이동 속도)를 산출해서 동화상의 상태에 따라 인핸스먼트량을 바꾸기 때문에, 링잉을 발생시키지 않고서, 흐림을 개선할 수 있다. 또한, 종래의 LTI에서는 하드 스위치로 신호를 절환하고 있었기 때문에 처리 화상의 파탄이 많지만, 상술한 촬상 흐림 억제 처리부(13)는 ALTI부(81)를 그 구성 요소로서 갖고 있기 때문에, 소프트하게 신호를 절환할 수 있고, 그 결과, 처리 화상의 파탄을 억제할 수 있다.

또한, 상술한 예에서는, 설명의 간략화를 위해, 이동 벡터의 방향(이동 방향)이 횡방향으로 되었지만, 이동 방향이 그 외의 방향이어도, 촬상 흐림 억제 처리부(13)는 상술한 일련의 처리와 기본적으로 마찬가지의 처리를 행할 수 있다. 즉, 촬상 흐림 억제 처리부(13)는 이동 방향이 어느 경우이어도 촬상 흐림을 억제하도록 주목 화소의 화소값을 마찬가지로 보정할 수 있다. 구체적으로는, 예를 들면, 도 12의 기능적 구성의 ALTI부(81)에 대해서는 주목 화소를 중심으로 하여 이동 방향(예를 들면, 종방향)으로 연속하여 나열된 n개의 화소의 각 화소값을 그 배치 순서대로 순차적으로 DL부(91-1)에 입력시켜 가기만 하면 된다. 그 외의 기능 블록에 대해서도 마찬가지이다.

그런데, 촬상 흐림 억제 처리부(13)는, 각 화소값의 보정을 행할 때, 상술한 예에서는, 이동 속도(이동 벡터의 절대값)를 파라미터로서 사용하였지만, 이 이동 속도 외에, 촬상 흐림 특성을 나타내는 파라미터이면, 임의의 파라미터를 사용할 수 있다.

구체적으로는, 예를 들면, 촬상 흐림 억제 처리부(13)는, 촬상 흐림 특성을 나타내는 파라미터로서, 처리 대상의 동화상을 촬영한 시점의 카메라의 셔터 속도를 이용할 수 있다. 왜냐하면, 예를 들면 도 22에 도시된 바와 같이, 셔터 속도가 다르면, 도 22 중의 시간 Ts분만큼 촬상 흐림의 정도도 다르기 때문이다.

즉, 도 22에서, 상측의 도면은 셔터 속도가 프레임 속도와 동일한 1/30초인 경우의 도면을 도시하고 있고, 하측의 도면은 셔터 속도가 프레임 속도보다 빠른 (1/30-Ts)초인 경우의 도면을 도시하고 있다. 도 22의 양 도면 모두, 횡축은 시간축을 나타내고 있고, 종축은 셔터 개구 시간의 비율을 나타내고 있다. 셔터 개구 시간의 비율이란, 예를 들면, 셔터 속도를 Va[초](Va는 0 이상의 임의의 값)라고 하고, 셔터가 개구된 제1 시각의 비율을 0%라고 하며, 제1 시각으로부터 V[초]가 경과하여 셔터가 폐쇄되는 제2 시각의 비율을 100%라고 하고, 또한, 제1 시각부터 현 시각까지의 시간 Ta[초](Ta는 0 이상 V 이하의 임의의 양의 값)라고 한 경우에, (Ts/Vs)×100[%]으로 나타내어지는 비율이다. 이 경우, 도 11의 양 도면의 종축에서, 시간축과 접하는 값이 100[%]으로 되고, 최대값(각 직선의 최상위의 값)이 0[%]으로 된다. 즉, 도 22의 양 도면의 종축에서는, 아래쪽으로 갈수록 셔터 개구 시간의 비율은 크게 되어 간다.

예를 들면, 지금, 카메라의 하나의 검출 소자가 프레임 내의 하나의 화소에 대응하고 있다고 하자. 이 경우, 도 22의 상측의 도면에 도시된 바와 같이, 셔터 속도가 1/30초일 때에는, 카메라의 하나의 검출 소자로부터는, 셔터가 개구하고 있는 1/30초 동안에 입사된 광의 적분값이, 대응하는 화소의 화소값으로서 출력된다. 이에 대하여, 셔터 속도가 (1/30-Ts)초인 경우에는, 카메라의 하나의 검출 소자로부터는, 셔터가 개구하고 있는 (1/30-Ts)초 동안에 입사된 광의 적분값이, 대응하는 화소의 화소값으로서 출력된다.

즉, 셔터 속도는 검출 소자에서의 광의 축적 시간(노광 시간)에 대응하고 있다. 따라서, 예를 들면, 실공간에서 소정의 검출 소자의 앞을 가로 질러 이동하는 오브젝트가 존재하는 경우, 셔터 속도가 (1/30-Ts)초일 때보다 1/30초일 때의 쪽이, 그 검출 소자에는, 오브젝트에 대응하는 광과는 다른 광, 예를 들면, 배경의 광이 시간 Ts[초]분만큼 많이 입사되게 된다. 이에 의해, 셔터 속도가 (1/30-Ts)초일 때보다 1/30초일 때의 쪽이, 하나의 검출 소자로부터 출력되는 화소값 중, 오브젝트와는 다른 배경 등의 광의 축적값이 혼합되는 비율이 많게 된다. 그 결과, 촬상 흐림의 정도가 크게 된다.

이상의 내용을 정리하면, 셔터 속도가 느려지면 느려질수록, 촬상 흐림의 정도가 크게 된다. 즉, 셔터 속도는 촬상 흐림의 일 특성을 나타내고 있다고 말할 수 있다. 따라서, 셔터 속도도, 이동 속도와 마찬가지로, 촬상 흐림 특성을 나타내는 파라미터로서 이용할 수 있다.

또한, 이러한 셔터 속도가 촬상 흐림 특성을 나타내는 파라미터로서 이용되 는 경우에는, 도 1의 촬상 흐림 특성 검출부(12)는, 예를 들면, 고프레임 레이트 변환부(11)로부터 공급된 동화상(데이터)에 부가되어 있는 헤더 정보 등을 해석함으로써, 각 프레임의 셔터 속도를 검출하고, 이들을 촬상 흐림 특성을 나타내는 파라미터로서 촬상 흐림 억제 처리부(13)에 공급할 수 있다. 촬상 흐림 억제 처리부(13)는, 예를 들면, 이동 속도 대신에, 이 셔터 속도를 이용하여 상술한 일련의 처리를 실행함으로써, 각 화소값을 적절하게 보정할 수 있다. 이 셔터 속도를 이용하는 경우의 촬상 흐림 억제 처리부(13)의 기능적 구성은 이동 속도를 이용하는 경우의 기능적 구성과 기본적으로 마찬가지라고 할 수 있다. 즉, 상술한 도 5～도 19에서 설명한 촬상 흐림 억제 처리부(13)이면, 셔터 속도를 파라미터 값으로서 이용하여 상술한 일련의 처리를 실행함으로써, 각 화소값을 적절하게 보정할 수 있다.

이상, 본 발명이 적용되는 화상 처리 장치의 실시 형태로서, 도 1에 도시되는 기능적 구성을 갖는 화상 처리 장치(1)에 대하여 설명하였지만, 본 발명은 도 1의 예에 한정되지 않고, 그 외 다양한 실시 형태를 취할 수 있다.

구체적으로는, 예를 들면, 도 23～도 26의 각각에는 본 발명이 적용되는 화상 처리 장치의 다른 실시 형태의 기능 블록도가 도시되어 있다.

예를 들면, 도 23의 화상 처리 장치(201)는, 도 1의 화상 처리 장치(1)와 마찬가지로, 고프레임 레이트 변환부(11), 촬상 흐림 특성 검출부(12), 및 촬상 흐림 억제 처리부(13)로 구성된다.

단, 도 23의 화상 처리 장치(201)에서는, 촬상 흐림 억제 처리부(13)의 보정 처리의 대상은 화상 처리 장치(201)의 입력 동화상, 즉 고프레임 레이트 변환부(11)에 의해 고프레임 레이트 변환 처리가 실시되기 전의 동화상이다. 이 때문에, 촬상 흐림 특성 검출부(12)도, 고프레임 레이트 변환부(11)에 의해 고프레임 레이트 변환 처리가 실시되기 전의 동화상 내에서, 촬상 흐림 특성을 나타내는 파라미터의 값을 검출하고, 그 검출 결과를 촬상 흐림 억제 처리부(13)에 공급하고 있다.

따라서, 도 23의 화상 처리 장치(201)의 화상 처리는, 도 3의 화상 처리 중 단계 S1, S3, S4, S2, 및 S5의 각각의 처리가 그 순서대로 실행되는 처리로 된다.

또한, 예를 들면, 도 24의 화상 처리 장치(202)는, 도 1의 화상 처리 장치(1)나 도 23의 화상 처리 장치(201)와 마찬가지로, 고프레임 레이트 변환부(11), 촬상 흐림 특성 검출부(12), 및 촬상 흐림 억제 처리부(13)로 구성된다.

이 도 24의 화상 처리 장치(202)에서는, 촬상 흐림 억제 처리부(13)의 보정 처리의 대상은, 도 1의 화상 처리 장치(1)와 마찬가지로, 입력 동화상에 대하여 고프레임 레이트 변환 처리가 고프레임 레이트 변환부(11)에 의해 실시된 결과 얻어지는 동화상이다. 즉, 촬상 흐림 억제 처리부(13)는 고프레임 레이트 변환 처리가 실시된 후의 동화상에 대하여 보정 처리를 실시한다.

단, 도 24의 화상 처리 장치(202)의 촬상 흐림 특성 검출부(12)는, 입력 동화상 내에서, 즉 고프레임 레이트 변환부(11)에 의해 고프레임 레이트 변환 처리가 실시되기 전의 동화상 내에서, 촬상 흐림 특성을 나타내는 파라미터를 검출하고, 그 검출 결과를 촬상 흐림 억제 처리부(13)에 공급하고 있다. 즉, 도 24의 화상 처리 장치(202)의 촬상 흐림 억제 처리부(13)는 고프레임 레이트 변환 처리가 실시 되기 전의 동화상 내에서 검출된 파라미터의 값을 이용하여 각 화소값을 보정하고 있다.

이상으로부터, 도 24의 화상 처리 장치(202)의 화상 처리도, 도 3의 화상 처리와 마찬가지의 흐름으로 실행되는 처리, 즉 단계 S1, S2, S3, S4, 및 S5의 각각의 처리가 그 순서대로 실행되는 처리로 된다. 단, 단계 S3의 처리는, 「고프레임 레이트 변환 처리가 실시되기 전의 동화상, 즉 단계 S1의 처리에서 입력된 동화상을 구성하는 각 프레임의 각각의 안에서, 촬상 흐림 특성을 나타내는 파라미터의 값을 검출한다」고 하는 처리로 된다.

이러한 도 23의 화상 처리 장치(201)와 도 24의 화상 처리 장치(202)에 대하여, 도 25의 화상 처리 장치(212)와 도 26의 화상 처리 장치(231)는 고프레임 레이트 변환부(11)와 촬상 흐림 억제 처리부(13)로 구성되고, 촬상 흐림 특성 검출부(12)는 그 구성 요소에 포함하고 있지 않다.

즉, 도 25와 도 26에 도시된 바와 같이, 촬상 흐림 특성 검출부(12)는, 다른 화상 처리 장치(211)(이하, 도면의 기재에 맞추어, 화상 신호 생성 장치(211)라고 칭함) 내에 중첩부(121)와 함께 설치되어 있다. 이 화상 신호 생성 장치(211)에 입력된 동화상은 촬상 흐림 특성 검출부(12)와 중첩부(121)에 공급된다. 촬상 흐림 특성 검출부(12)는 이 동화상 내에서 촬상 흐림 특성을 나타내는 파라미터의 값을 검출해서 중첩부(121)에 공급한다. 중첩부(121)는 이 동화상에 대하여 촬상 흐림 특성을 나타내는 파라미터의 값을 중첩하고, 그 결과 얻어지는 신호를 출력한다.

따라서, 도 25의 화상 처리 장치(212)와 도 26의 화상 처리 장치(231)에는, 촬상 흐림 특성을 나타내는 파라미터의 값이 중첩된 동화상(신호)이 화상 신호 생성 장치(211)로부터 공급되어 온다.

따라서, 예를 들면, 도 25의 화상 처리 장치(212)에서는, 촬상 흐림 억제 처리부(13)가 촬상 흐림 특성을 나타내는 파라미터의 값과 동화상을 분리하고, 분리된 동화상을 구성하는 각 프레임의 각각에 대하여, 분리된 촬상 흐림 특성을 나타내는 파라미터의 값에 기초하여 각 화소값을 보정한다.

다음으로, 고프레임 레이트 변환부(11)가 촬상 흐림 억제 처리부(13)에 의해 보정된 동화상에 대하여 고프레임 레이트 변환 처리를 실시하고, 그 결과 얻어지는 동화상, 즉 고프레임 레이트로 변환되고 또한 보정이 이루어진 동화상을 출력한다.

이상으로부터, 도 25의 화상 처리 장치(212)의 화상 처리는, 도 3의 화상 처리 중 단계 S1, S4, S2, 및 S5의 각각의 처리가 그 순서대로 실행되는 처리로 된다.

이에 대하여, 예를 들면, 도 26의 화상 처리 장치(231)에서는, 고프레임 레이트 변환부(11)가 촬상 흐림 특성을 나타내는 파라미터의 값과 동화상을 분리하고, 분리된 동화상에 대하여 고프레임 레이트 변환 처리를 실시해서, 그 결과 얻어지는 동화상, 즉 고프레임 레이트로 변환된 동화상을 촬상 흐림 억제 처리부(13)에 공급한다. 이 때, 고프레임 레이트 변환부(11)에 의해 분리된 촬상 흐림 특성을 나타내는 파라미터의 값도, 촬상 흐림 억제 처리부(13)에 공급된다.

다음으로, 촬상 흐림 억제 처리부(13)가, 고프레임 레이트로 변환된 동화상 을 구성하는 각 프레임의 각각에 대하여, 촬상 흐림 특성을 나타내는 파라미터의 값에 기초하여 각 화소값을 보정하고, 그 결과 얻어지는 동화상, 즉 보정이 이루어지고 또한 고프레임 레이트로 변환된 동화상을 출력한다.

그런데, 상술한 일련의 처리(혹은, 그 중 일부분의 처리)는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다.

이 경우, 도 1의 화상 처리 장치(1) 전체 혹은 그 일부분(예를 들면, 촬상 흐림 억제 처리부(13) 등), 도 23의 화상 처리 장치(201) 전체 혹은 그 일부분, 도 24의 화상 처리 장치(202) 전체 혹은 그 일부분, 도 25의 화상 처리 장치(212) 전체 혹은 그 일부분, 및 도 26의 화상 처리 장치(231) 전체 혹은 그 일부분은, 예를 들면, 도 27에 도시된 바와 같은 컴퓨터로 구성할 수 있다.

도 27에서, CPU(Central Processing Unit)(301)는 ROM(Read Only Memory)(302)에 기록되어 있는 프로그램 또는 기억부(308)로부터 RAM(Random Access Memory)(303)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(303)에는 또한, CPU(301)가 각종 처리를 실행하는 데 필요한 데이터 등도 적절하게 기억된다.

CPU(301), ROM(302), 및 RAM(303)은 버스(304)를 통하여 서로 접속되어 있다. 이 버스(304)에는 또한, 입출력 인터페이스(305)도 접속되어 있다.

입출력 인터페이스(305)에는, 키보드, 마우스 등으로 이루어지는 입력부(306), 디스플레이 등으로 이루어지는 출력부(307), 하드디스크 등으로 구성되는 기억부(308), 및 모뎀, 터미널 어댑터 등으로 구성되는 통신부(309)가 접속되어 있 다. 통신부(309)는 인터넷을 포함하는 네트워크를 통하여 다른 장치와의 통신 처리를 행한다.

입출력 인터페이스(305)에는 또한, 필요에 따라, 드라이브(310)가 접속되어, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 리무버블 기록 매체(311)가 적절하게 장착되고, 이들로부터 판독된 컴퓨터 프로그램이 필요에 따라 기억부(308)에 인스톨된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어로 조립되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들면 범용 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.

이러한 프로그램을 포함하는 기록 매체는, 도 27에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플로피 디스크를 포함함), 광 디스크(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(MD(Mini-Disk)를 포함함), 혹은 반도체 메모리 등으로 이루어지는 리무버블 기록 매체(패키지 미디어)(211)로 구성되는 것 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(302)이나, 기억부(308)에 포함되는 하드디스크 등으로 구성된다.

또한, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 단계는 그 순서를 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

또한, 상술한 바와 같이, 본 명세서에서, 시스템이란, 복수의 처리 장치나 처리부로 구성되는 장치 전체를 나타내는 것이다.

또한, 상술한 각종 실시 형태로 실행되는 고프레임 레이트 변환 처리에서, 입력 영상 신호의 제1 프레임 레이트(프레임 주파수)와 출력 영상 신호의 제2 프레임 레이트(프레임 주파수)의 조합은 특별히 한정되지 않고, 임의의 조합이어도 된다. 구체적으로는, 예를 들면, 입력 영상 신호의 제1 프레임 레이트로서 60(또는 30)[㎐]를 채용하고, 또한, 출력 영상 신호의 제2 프레임 레이트로서 120[㎐]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제1 프레임 레이트로서 60(또는 30)[㎐]를 채용하고, 또한, 출력 영상 신호의 제2 프레임 레이트로서 240[㎐]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제1 프레임 레이트로서 PAL(Phase Alternation by Line) 방식에 대응하는 50[㎐]를 채용하고, 또한, 출력 영상 신호의 제2 프레임 레이트로서 100[㎐]나 200[㎐]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제1 프레임 레이트로서 텔레시네에 대응하는 48[㎐]를 채용하고, 또한, 출력 영상 신호의 제2 프레임 레이트로서 그 이상의 소정의 주파수를 채용할 수 있다.

또한, 이러한 기존의 텔레비전 방식 등에 유래하는 입력 영상 신호에 대하여, 상술한 각종 실시 형태에서의 고프레임 레이트 변환 처리를 실시함으로써 기존의 콘텐츠를 고품위로 표시할 수 있게 된다.

이상과 같이, 본 발명에 따르면, 동화상을 구성하는 각 액세스 유닛의 각 화소의 화소값을 보정할 수 있다. 특히, 촬상 흐림에 기인하는 화상 열화(흐림 화상)를 억제하도록 각 화소값을 보정할 수 있다. 따라서, 프레임 레이트 변환 전 또는 변환 후의 동화상에 대하여 관계되는 보정을 행함으로써, 프레임 레이트 변환 후의 동화상을 더욱 선명하게 표시시킬 수 있다.

Claims (16)

1. 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 상기 촬영 장치에 의해 상기 동화상이 촬영될 때에 발생하는 촬상 흐림(image blur) 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 화상 처리 장치로서,

   상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 상기 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 수단을 포함하고,

   상기 보정 수단은,

   상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소 중, 처리 대상으로서 주목할 화소를, 주목 화소로서 설정하고, 상기 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 수단과,

   상기 파라미터의 값 중 상기 주목 화소에 대응하는 값에 기초하여, 상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을, 제1 산출 범위로서 결정하고, 결정된 상기 제1 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 수단과,

   상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 기초하여, 상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향과는 역방향인 제2 방향측에 위치하는 상기 k개의 화소의 각각의 입력 화소값을, 제2 산출 범위로서 결정하고, 결정된 상기 제2 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 수단과,

   상기 제1 평균값 산출 수단에 의해 산출된 상기 제1 방향 화소 평균 화소값, 상기 주목 화소의 입력 화소값, 및 상기 제2 평균값 산출 수단에 의해 산출된 상기 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 상기 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 수단과,

   상기 주목 화소의 입력 화소값과 상기 보정량 결정 수단에 의해 결정된 상기 보정량을 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 제1 가산 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 화상 처리 장치는,

   상기 취득 수단에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소와 그 근린의 m개(m은 1 이상의 정수값)의 화소의 각각의 입력 화소값의 평균값을 주목 화소 평균 화소값으로서 산출하는 제3 평균값 산출 수단

   을 더 포함하고,

   상기 보정량 결정 수단은,

   상기 제1 방향 화소 평균 화소값과 상기 주목 화소의 입력 화소값의 차분값을 상기 보정량의 제1 후보로서 결정하고, 또한, 상기 제2 방향 화소 평균 화소값과 상기 주목 화소의 입력 화소값의 차분값을 상기 보정량의 제2 후보로서 결정하는 후보 결정 수단과,

   제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면 상에서의, 상기 제1 방향 화소 평균 화소값을 나타내는 제1 점, 상기 제3 평균값 산출 수단에 의해 산출된 상기 주목 화소 평균 화소값을 나타내는 제2 점, 및 상기 제2 방향 화소 평균 화소값을 나타내는 제3 점의 3점의 위치 관계를 이용하여, 상기 보정량을 조정하기 위한 조정량을 결정하는 조정량 결정 수단과,

   상기 후보 결정 수단에 의해 결정된 상기 제1 후보와 상기 제2 후보의 각각의 값을, 상기 조정량 결정 수단에 의해 결정된 상기 조정량을 이용하여 조정하는 조정 수단과,

   상기 조정 수단에 의해 값이 조정된 상기 제1 후보 및 상기 제2 후보, 및 미리 설정되어 있는 고정치 중에서 하나를 상기 보정량으로서 결정하는 선발 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
3. 제2항에 있어서,

   상기 조정량 결정 수단은, 상기 제1 점 내지 상기 제3 점을 그 순서대로 연결한 선의 상기 제2 점에서의 2차 미분값의 절대값을, 상기 제2 축 방향의 상기 제1 점과 상기 제3 점 사이의 거리로 제산하고, 그 결과 얻어지는 제산치를 이용하여 상기 조정량을 결정하는 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,

   상기 제1 평균값 산출 수단과 상기 제2 평균값 산출 수단의 각각은,

   또한, 제1 축이 화소의 배치 위치로 되고 제2 축이 화소값으로 된 평면 상에서의, 각각이 결정한 상기 제1 산출 범위 및 상기 제2 산출 범위에 포함되는 상기 k개의 입력 화소값의 각각을 나타내는 각 점을 연결한 선의 기울기의 극성이 변화하고 있는지의 여부를 판정하고,

   극성이 변화하고 있지 않다고 판정한 경우, 상기 k개의 입력 화소값을 그대로 이용하여, 상기 제1 방향 화소 평균 화소값 또는 상기 제2 방향 화소 평균 화소값을 산출하며,

   극성이 변화하고 있다고 판정한 경우, 상기 k개의 입력 화소값 중 극성 변화 후의 점이 나타내는 입력 화소값을 보정 대상으로 하여, 극성 변화 전의 점이 나타내는 입력 화소값에 기초하여 보정하고, 상기 k개의 입력 화소값 중, 보정 대상에 대해서는 보정 후의 값을 이용하고, 또한, 그 이외에 대해서는 입력 화소값을 그대로 이용하여, 상기 제1 방향 화소 평균 화소값 또는 상기 제2 방향 화소 평균 화소값을 산출하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,

   상기 보정 수단은,

   상기 취득 수단, 상기 제1 평균값 산출 수단, 상기 제2 평균값 산출 수단, 상기 보정량 결정 수단, 및 상기 제1 가산 수단을 포함하는 제1 보정 수단 외에도,

   상기 촬상 흐림을 나타내는 이동 평균 필터의 특성을, 상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 따라 변환하고, 상기 주목 화소를 포함하는 소정의 블록의 각 입력 화소값에 대하여, 특성이 변환된 상기 이동 평균 필터를 적용하고, 그 결과 얻어지는 상기 주목 화소의 보정된 입력 화소값을 제1 값으로서 출력하는 이동 평균 필터링 수단과,

   상기 주목 화소의 입력 화소값과 상기 이동 평균 필터링 수단으로부터 출력된 상기 제1 값의 차분을 연산하고, 그 결과 얻어지는 차분값을 제2 값으로서 출력하는 감산 수단과,

   상기 감산 수단으로부터 출력된 상기 제2 값을 상기 주목 화소의 상기 입력 화소값에 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 제2 가산 수단

   을 갖는 제2 보정 수단

   을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항에 있어서,

   상기 화상 처리 장치는, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소의 각각에서의 이동 벡터를, 복수의 상기 화소의 각각에 대응하는 상기 파라미터의 값으로서 취득하는 것을 특징으로 하는 화상 처리 장치.
7. 제1항에 있어서,

   상기 화상 처리 장치는, 상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각이 상기 촬영 장치에 의해 촬영되었을 때의 상기 촬영 장치의 셔터 속도의 각각을, 상기 파라미터의 값으로서 취득하는 것을 특징으로 하는 화상 처리 장치.
8. 제1항에 있어서,

   상기 화상 처리 장치는, 상기 동화상에서의 액세스 유닛의 레이트를, 현재의 제1 레이트로부터 이보다 높은 제2 레이트로 변환하는 고레이트 변환(high rate conversion) 처리를 실행하는 고레이트 변환 수단을 더 포함하고,

   상기 보정 수단은, 처리 대상의 상기 액세스 유닛에 대하여, 상기 고레이트 변환 수단에 의한 상기 고레이트 변환 처리가 실시되기 전 또는 후에, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소의 각각의 화소값을 보정하는 것을 특징으로 하는 화상 처리 장치.
9. 제8항에 있어서,

   상기 제1 레이트는 30㎐이고, 상기 제2 레이트는 120㎐인 것을 특징으로 하는 화상 처리 장치.
10. 제8항에 있어서,

    상기 제1 레이트는 60㎐이고, 상기 제2 레이트는 120㎐인 것을 특징으로 하는 화상 처리 장치.
11. 제8항에 있어서,

    상기 제1 레이트는 60㎐이고, 상기 제2 레이트는 240㎐인 것을 특징으로 하는 화상 처리 장치.
12. 제8항에 있어서,

    상기 제1 레이트는 50㎐이고, 상기 제2 레이트는 100㎐인 것을 특징으로 하는 화상 처리 장치.
13. 제8항에 있어서,

    상기 제1 레이트는 50㎐이고, 상기 제2 레이트는 200㎐인 것을 특징으로 하는 화상 처리 장치.
14. 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 상기 촬영 장치에 의해 상기 동화상이 촬영되는 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 화상 처리 장치의 화상 처리 방법으로서,

    상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 상기 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 단계를 포함하고,

    상기 보정 단계는,

    상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소 중, 처리 대상으로서 주목할 화소를, 주목 화소로서 설정하고, 상기 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계와,

    상기 파라미터의 값 중 상기 주목 화소에 대응하는 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을, 제1 산출 범위로서 결정하고, 결정된 상기 제1 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계와,

    상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향과는 역방향인 제2 방향측에 위치하는 상기 k개의 화소의 각각의 입력 화소값을, 제2 산출 범위로서 결정하고, 결정된 상기 제2 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계와,

    상기 제1 평균값 산출 단계의 처리에 의해 산출된 상기 제1 방향 화소 평균 화소값, 상기 주목 화소의 입력 화소값, 및 상기 제2 평균값 산출 단계의 처리에 의해 산출된 상기 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 상기 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계와,

    상기 주목 화소의 입력 화소값과 상기 보정량 결정 단계의 처리에 의해 결정된 상기 보정량을 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 가산 단계

    를 포함하는 것을 특징으로 하는 화상 처리 방법.
15. 소정의 촬영 장치에 의해 촬영된 동화상을 구성하는 복수의 액세스 유닛의 각각에 대하여, 상기 촬영 장치에 의해 상기 동화상이 촬영될 때에 발생하는 촬상 흐림 특성을 나타내는 파라미터의 값을 1 이상 검출하여 취득하거나, 외부로부터 취득하는 장치의 제어를 행하는 컴퓨터에 실행시키는 프로그램을 기록하고 있는 기록 매체로서,

    상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 상기 파라미터의 값 중 처리 대상의 액세스 유닛에 대응하는 1 이상의 값에 기초하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 화소의 각각의 화소값을 보정하는 보정 단계를 포함하고,

    상기 보정 단계는,

    상기 동화상을 구성하는 복수의 상기 액세스 유닛의 각각에 대하여, 처리 대상의 상기 액세스 유닛을 구성하는 복수의 상기 화소 중, 처리 대상으로서 주목할 화소를, 주목 화소로서 설정하고, 상기 주목 화소를 중심으로 제1 방향으로 연속하여 나열된 n(n은 3 이상의 정수값)개의 화소의 각각의 입력 화소값을 취득하는 취득 단계와,

    상기 파라미터의 값 중 상기 주목 화소에 대응하는 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향측에 위치하는 k개(k는 n/2 미만의 정수값)의 화소의 각각의 입력 화소값을, 제1 산출 범위로서 결정하고, 결정된 상기 제1 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제1 방향 화소 평균 화소값으로서 산출하는 제1 평균값 산출 단계와,

    상기 파라미터의 값 중 상기 주목 화소에 대응하는 상기 값에 기초하여, 상기 취득 단계의 처리에 의해 취득된 상기 입력 화소값 중, 상기 주목 화소보다 상기 제1 방향과는 역방향인 제2 방향측에 위치하는 상기 k개의 화소의 각각의 입력 화소값을, 제2 산출 범위로서 결정하고, 결정된 상기 제2 산출 범위에 포함되는 상기 입력 화소값의 평균값을 제2 방향 화소 평균 화소값으로서 산출하는 제2 평균값 산출 단계와,

    상기 제1 평균값 산출 단계의 처리에 의해 산출된 상기 제1 방향 화소 평균 화소값, 상기 주목 화소의 입력 화소값, 및 상기 제2 평균값 산출 단계에 의해 산출된 상기 제2 방향 화소 평균 화소값의 3자의 관계를 이용하여, 상기 주목 화소의 입력 화소값을 보정하기 위한 보정량을 결정하는 보정량 결정 단계와,

    상기 주목 화소의 입력 화소값과 상기 보정량 결정 단계의 처리에 의해 결정된 상기 보정량을 가산하고, 그 결과 얻어지는 가산치를 상기 주목 화소의 출력 화소값으로서 출력하는 가산 단계

    를 포함하는 프로그램을 기록하고 있는 것을 특징으로 하는 기록 매체.
16. 제2항에 있어서,

    상기 선발 수단은 상기 제1 점과 상기 제3 점을 연결하는 직선을 경계선으로 할 때, 상기 경계선의 변화 방향과, 상기 경계선과 상기 제2 점 간의 위치 관계에 따라, 상기 제1 후보, 상기 제2 후보 및 상기 고정치 중의 하나를 상기 보정량으로서 결정하는 것을 특징으로 하는 화상 처리 장치.

Images