KR20140071876A

KR20140071876A - 화상 처리 장치

Info

Publication number: KR20140071876A
Application number: KR1020130102596A
Authority: KR
Inventors: 유키야스 다츠자와; 가즈히로 히와다; 다츠지 아시타니
Original assignee: 가부시끼가이샤 도시바
Priority date: 2012-12-04
Filing date: 2013-08-28
Publication date: 2014-06-12
Also published as: CN103856729A; KR101512235B1; US20150312438A1; US20140153841A1; JP2014110592A

Abstract

본 발명은, 입력 화상 간의 상관성에 적응하면서 입력 화상의 노이즈를 제거하는 것이 가능한 화상 처리 장치를 제공한다.
결함 보정 회로에서 결함 보정된 입력 화상에 있어서, 디지털 비닝 회로에서 비닝함으로써 저역 화상을 생성해서 프레임 버퍼에 기억하고, 평균화 필터는 결함 보정 회로에서 결함 보정된 입력 화상을 필터링해서 중역 화상을 생성하고, 엡실론 필터는 결함 보정 회로에서 결함 보정된 입력 화상을 필터링해서 고역 화상을 생성하고, 저중역 화상 혼합 회로는 저역 화상과 중역 화상을 혼합함으로써 혼합 화상을 생성하고, 저중고역 화상 혼합 회로는 혼합 화상과 고역 화상을 혼합함으로써 출력 화상을 생성한다.

Description

화상 처리 장치{IMAGE PROCESSING DEVICE}

본 발명의 실시 형태는 화상 처리 장치에 관한 것이다.

CMOS 이미지 센서에 있어서, 입력 화상의 노이즈를 제거하기 위해서 다중 해상도 필터를 사용하는 방법이 있다. 이 다중 해상도 필터를 사용하는 방법으로는 입력 화상으로부터 축소 화상을 생성함으로써 저역에서 실효적으로 필터 직경을 확장할 수 있고, 메모리 용량을 저감시킬 수 있다.

본 발명의 해결하고자 하는 과제는, 입력 화상 간의 상관성에 적응하면서 입력 화상의 노이즈를 제거하는 것이 가능한 화상 처리 장치를 제공하는 것이다.

일 실시 형태의 화상 처리 장치는, 입력 화상을 복수 행분만큼 기억하는 라인 메모리와, 상기 라인 메모리에 기억된 화상 데이터에 기초하여 상기 입력 화상의 결함 보정을 행하는 결함 보정 회로와, 결함 보정된 상기 입력 화상을 비닝(binning)함으로써, 상기 입력 화상보다 공간 주파수가 낮은 저역 화상을 생성하는 비닝 회로와, 상기 저역 화상을 기억하는 프레임 버퍼와, 상기 결함 보정된 입력 화상을 필터링하고, 상기 저역 화상보다 공간 주파수가 높은 고역 화상을 생성하는 필터와, 상기 저역 화상과 상기 고역 화상을 혼합하는 혼합 회로를 구비하는 것을 특징으로 한다.

다른 실시 형태의 화상 처리 장치는, 입력 화상을 복수 행분만큼 기억하는 라인 메모리와, 상기 입력 화상을 비닝함으로써, 상기 입력 화상보다 공간 주파수가 낮은 저역 화상을 생성하는 비닝 회로와, 상기 저역 화상을 기억하는 프레임 버퍼와, 상기 라인 메모리에 기억된 입력 화상을 필터링하고, 상기 저역 화상보다 공간 주파수가 높은 고역 화상을 생성하는 필터와, 상기 저역 화상과 상기 고역 화상을 혼합하는 혼합 회로와, 상기 입력 화상 간의 상관성에 기초하여 상기 혼합 회로에서의 상기 저역 화상의 사용을 제어하는 시퀀서(sequencer)를 구비하는 것을 특징으로 한다.

상기 구성의 화상 처리 장치에 의하면, 입력 화상 간의 상관성에 적응하면서 입력 화상의 노이즈를 제거하는 것이 가능하다.

도 1은 제1 실시 형태에 따른 화상 처리 장치의 개략 구성을 도시하는 블록도.
도 2는 도 1의 화상 처리 장치의 화상 처리 방법을 도시하는 도면.
도 3은 제2 실시 형태에 따른 화상 처리 장치의 개략 구성을 도시하는 블록도.
도 4는 제3 실시 형태에 따른 화상 처리 방법을 도시하는 도면.
도 5는 제4 실시 형태에 따른 화상 처리 방법을 도시하는 도면.
도 6은 제5 실시 형태에 따른 화상 처리 방법을 도시하는 도면.
도 7은 제6 실시 형태에 따른 화상 처리 방법을 도시하는 도면.
도 8은 제7 실시 형태에 따른 화상 처리 방법을 도시하는 도면.
도 9는 제8 실시 형태에 따른 화상 처리 장치가 적용된 비디오 카메라의 개략 구성을 도시하는 블록도.

이하에 첨부 도면을 참조하여, 실시 형태에 따른 화상 처리 장치를 상세하게 설명한다. 또한, 이들 실시 형태에 의해 본 발명이 한정되는 것은 아니다.

(제1 실시 형태)

도 1은 제1 실시 형태에 따른 화상 처리 장치의 개략 구성을 도시하는 블록도이다.

도 1에 있어서, 이 화상 처리 장치에는 라인 메모리(1), 결함 보정 회로(2), 디지털 비닝 회로(3), 평균화 필터(4), 엡실론 필터(epsilon filter, 5), 프레임 버퍼(6), 에지 검출부(7, 8), 저중역 화상 혼합 회로(9) 및 저중고역 화상 혼합 회로(10)가 설치되어 있다. 또한, 이 화상 처리 장치에서는 입력 화상(GI)의 레이어마다 처리를 행할 수 있고, 예를 들어 베이어 배열의 RGB마다 처리를 행할 수 있다.

라인 메모리(1)는 입력 화상(GI)을 복수 행분만큼 기억한다. 또한, 도 1의 라인 메모리(1)에서는 4 수평 라인(1H 내지 4H)의 화상을 기억하는 경우를 예로 들었다. 또한, 입력 화상(GI)은 CMOS 이미지 센서의 화상을 사용할 수 있다. 결함 보정 회로(2)는 라인 메모리(1)에 기억된 화상 데이터에 기초하여 입력 화상(GI)의 결함 보정을 행한다. 또한, 도 1의 결함 보정 회로(2)에서는 입력 화상(GI)의 1 수평 라인(0H)의 화상이 입력되면서, 또한 라인 메모리(1)에 기억된 4 수평 라인(1H 내지 4H)의 화상이 입력되는 경우를 예로 들었다. 디지털 비닝 회로(3)는 결함 보정 회로(2)에서 결함 보정된 입력 화상(GI')을 비닝함으로써, 입력 화상(GI')보다 공간 주파수가 낮은 저역 화상(GL)을 생성한다. 예를 들어, 디지털 비닝 회로(3)는 64×64 화소분을 비닝함으로써 저역 화상(GL)을 생성할 수 있다. 여기서, 디지털 비닝 회로(3)에는, 결함 보정 회로(2)에서 결함 보정된 5 수평 라인(0H 내지 4H)분이 입력되는 것이 아니라, 중앙의 1 수평 라인(2H)분이 입력된다. 프레임 버퍼(6)는 디지털 비닝 회로(3)에서 생성된 저역 화상(GL)을 기억한다. 여기서, 예를 들어 입력 화상(GI')의 64×64 화소분이 비닝되었을 경우, 저역 화상(GL)의 축소율을 세로 1/64 : 가로 1/64로 할 수 있고, 저역 화상(GL)의 기억 용량을 입력 화상(GI')의 기억 용량의 1/4096로 설정할 수 있다. 평균화 필터(4)는 결함 보정 회로(2)에서 결함 보정된 입력 화상(GI')을 필터링하고, 저역 화상(GL)보다 공간 주파수가 높은 중역 화상(GM)을 생성한다. 또한, 도 1의 평균화 필터(4)는 5×5 화소분을 평균화하는 경우를 예로 들었다. 또한, 중역 화상(GM)을 생성하는 중역 필터로서, 예를 들어 평균화 필터(4) 대신 가우스 필터 등을 사용하도록 해도 좋다. 엡실론 필터(5)는 결함 보정 회로(2)에서 결함 보정된 입력 화상(GI')을 필터링하고, 중역 화상(GM)보다 공간 주파수가 높은 고역 화상(GH)을 생성한다. 또한, 도 1의 엡실론 필터(5)는 5×5 화소분을 처리하는 경우를 예로 들었다. 또한, 고역 화상(GH)을 생성하는 고역 필터로서, 예를 들어 엡실론 필터(5) 대신 양방향 필터 등을 사용하도록 해도 좋다. 에지 검출부(7)는 저역 화상(GL)과 중역 화상(GM)의 차분값에 기초하여 중역 화상(GM)의 에지를 검출한다. 에지 검출부(8)는 혼합 화상(GLM)과 고역 화상(GH)의 차분값에 기초하여 고역 화상(GH)의 에지를 검출한다. 저중역 화상 혼합 회로(9)는 중역 화상(GM)의 에지에 기초하여 저역 화상(GL)과 중역 화상(GM)을 혼합하고, 혼합 화상(GLM)을 생성한다. 저중고역 화상 혼합 회로(10)는 고역 화상(GH)의 에지에 기초하여 혼합 화상(GLM)과 고역 화상(GH)을 혼합한다.

도 2는 도 1의 화상 처리 장치의 화상 처리 방법을 도시하는 도면이다.

도 2에 있어서, 도 1의 라인 메모리(1)에 유지된 입력 화상(GI)의 4 수평 라인(1H 내지 4H)의 화상과, 입력 화상(GI)의 1 수평 라인(0H)의 화상이 결함 보정 회로(2)에 입력된다. 그리고, 결함 보정 회로(2)에 있어서, 라인 메모리(1)의 소정 영역의 중심 화소의 결함 보정이 행해지면서, 또한 그 중심 화소의 주변의 주변 화소의 결함 보정이 행해진다. 예를 들어, 레이어마다 결함 보정될 경우, 동색 화소로 이루어지는 3×3 화소 영역의 중심 화소 및 주변 화소의 결함 보정이 행해진다. 중심 화소의 결함 보정에서는, 중심 화소의 값이 임계값을 초과하는지 여부를 판정한다. 그리고, 중심 화소의 값이 임계값을 초과하는 경우, 그 중심 화소를 결함으로 간주하고, 그 중심 화소의 값을 주변 화소의 최대값으로 치환할 수 있다. 주변 화소의 결함 보정에서는 주변 화소의 값이 임계값을 초과하는지 여부를 판정한다. 그리고, 주변 화소의 값이 임계값을 초과하는 경우, 그 주변 화소를 결함으로 간주하고, 그 주변 화소의 값을 동일 수평 라인의 주변 화소의 최대값으로 치환할 수 있다. 또한, 이 결함 보정에서는 입력 화상(GI)의 결함이 3×3 화소의 영역 내에 1개밖에 없도록 CMOS 이미지 센서를 미리 선별하고, 3×3 화소의 영역 내에 결함이 복수 있는 경우에는 불량품으로서 사전에 폐기하도록 해도 좋다.

그리고, 결함 보정 회로(2)에서 결함 보정된 입력 화상(GI')의 부분 화상(GE)에 있어서, 디지털 비닝 회로(3)에서 비닝됨으로써 저역 화상(GL)이 생성되어, 프레임 버퍼(6)에 기억된다. 또한, 입력 화상(GI')의 부분 화상(GE)이 평균화 필터(4)에 입력됨으로써 중역 화상(GM)이 생성되어, 에지 검출부(7) 및 저중역 화상 혼합 회로(9)에 출력된다. 또한, 입력 화상(GI')의 부분 화상(GE)이 엡실론 필터(5)에 입력됨으로써 고역 화상(GH)이 생성되어, 에지 검출부(8) 및 저중고역 화상 혼합 회로(10)에 출력된다.

그리고, 저중역 화상 혼합 회로(9)에 있어서, 에지 검출부(7)에서 에지가 검출되지 않은 부분에 대해서는 저역 화상(GL)이 선택되고, 에지 검출부(7)에서 에지가 검출된 부분에 대해서는 중역 화상(GM)이 선택됨으로써, 저역 화상(GL)과 중역 화상(GM)이 혼합되어, 혼합 화상(GLM)이 저중고역 화상 혼합 회로(10)에 출력된다.

또한, 저중고역 화상 혼합 회로(10)에 있어서, 에지 검출부(8)에서 에지가 검출되지 않은 부분에 대해서는 혼합 화상(GLM)이 선택되고, 에지 검출부(8)에서 에지가 검출된 부분에 대해서는 고역 화상(GH)이 선택됨으로써, 혼합 화상(GLM)과 고역 화상(GH)이 혼합되어, 출력 화상(GO)이 생성된다.

여기서, 디지털 비닝 회로(3)에서 저역 화상(GL)을 생성하고, 저역 화상(GL)을 프레임 버퍼(6)에 기억함으로써, 저역 화상(GL)을 생성하기 위한 라인 메모리를 불필요로 할 수 있어, 회로 규모를 저감할 수 있다. 예를 들어, 4096×3072 화소의 화상을 처리하는 경우, 저역 화상(GL)을 생성하기 위한 라인 메모리의 용량은 4096×63 화소분만큼 필요하다. 한편, 저역 화상(GL)의 축소율이 세로 1/64 : 가로 1/64로 처리하는 것으로 하면, 프레임 버퍼(6)의 용량은 64×48 화소분만으로 족하다.

또한, 중역 화상(GM) 및 고역 화상(GH)을 생성하기 위해서, 결함 보정용 라인 메모리(1)를 사용함으로써, 중역 화상(GM) 및 고역 화상(GH)을 생성하기 위한 라인 메모리를 불필요로 할 수 있어, 회로 규모를 저감할 수 있다. 또한, 결함 보정 회로(2)에 있어서, 중심 화소뿐만 아니라, 그 주변의 주변 화소의 결함 보정을 행함으로써 화질을 향상시킬 수 있다.

(제2 실시 형태)

도 3은 제2 실시 형태에 따른 화상 처리 장치의 개략 구성을 도시하는 블록도이다.

도 3에 있어서, 이 화상 처리 장치에는 도 1의 화상 처리 장치의 구성에 시퀀서(11)가 추가되어 있다. 시퀀서(11)는 입력 화상(GI) 간의 상관성에 기초하여 저중역 화상 혼합 회로(9)에서의 저역 화상(GL)의 사용을 제어한다. 또한, 입력 화상(GI) 간의 상관성은, 예를 들어 주밍(zooming) 전후의 화상, 스탠바이 전후의 화상, 상하 반전 전후의 화상 또는 잘라내기 전후의 화상에 대해서 판단할 수 있다. 이러한 입력 화상(GI) 간의 상관성은 동기 신호(S1), 마스크 신호(S2), 리셋 신호(S3) 및 화상 모드 정보(S4)로서, 외부로부터 시퀀서(11)에 제공할 수 있다.

또한, 동기 신호(S1)는 입력 화상(GI)의 출력 인에이블 신호를 나타낸다. 마스크 신호(S2)는 입력 화상(GI)이 중지 화상인지 여부를 나타낸다. 이 마스크 신호(S2)가 활성화되면, 동기 신호(S1)가 마스크되어, 입력 화상(GI)의 출력이 정지된다. 리셋 신호(S3)는 스탠바이 상태로의 천이 지시 신호를 나타낸다. 화상 모드 정보(S4)는 입력 화상(GI)의 비닝 정보, 입력 화상(GI)의 반전 정보, 입력 화상(GI)의 폭 높이 정보 등을 포함할 수 있다.

그리고, 시퀀서(11)로부터는 비닝 제어 신호(R1)가 디지털 비닝 회로(3)에 출력되면서, 또한 버퍼 제어 신호(R2)가 프레임 버퍼(6)에 출력된다. 그리고, 시퀀서(11)에서, 동기 신호(S1), 마스크 신호(S2), 리셋 신호(S3) 및 화상 모드 정보(S4)에 기초하여 입력 화상(GI) 간의 상관성이 판단된다. 그리고, 입력 화상(GI) 간의 상관성이 있을 경우, 비닝 제어 신호(R1)에 기초하여 저역 화상(GL)의 축소율이 일정해지도록, 입력 화상(GI)의 축소율에 따라서 디지털 비닝 회로(3)의 비닝 비율이 제어된다. 또한, 입력 화상(GI)의 축소율은, 화상 모드 정보(S4)에 포함되는 비닝 정보로부터 판단할 수 있다. 또한, 버퍼 제어 신호(R2)에 기초하여 프레임 버퍼(6)가 제어되고, 프레임 버퍼(6)에 기억된 과거의 저역 화상(GL)이 그대로 유지되며, 그 저역 화상(GL)이 저중역 화상 혼합 회로(9)에 출력된다. 그리고, 저중역 화상 혼합 회로(9)에 있어서, 입력 화상(GI)이 전환되었을 시에, 프레임 버퍼(6)에 기억된 과거의 저역 화상(GL)과, 금회 생성된 중역 화상(GM)이 혼합되어 혼합 화상(GLM)이 생성된다.

여기서, 저역 화상(GL)의 축소율이 일정해지도록 디지털 비닝 회로(3)의 비닝 비율을 제어함으로써, 입력 화상(GI)의 축소율이 변화한 경우에도 프레임 버퍼(6)에 기억된 과거의 저역 화상(GL)과, 금회 생성된 중역 화상(GM)을 혼합하여, 혼합 화상(GLM)을 생성할 수 있다.

한편, 입력 화상(GI) 간의 상관성이 없을 경우, 버퍼 제어 신호(R2)에 기초하여 프레임 버퍼(6)가 제어되고, 프레임 버퍼(6)에 기억된 과거의 저역 화상(GL)이 파기된다. 그리고, 저중역 화상 혼합 회로(9)에 있어서, 입력 화상(GI)이 전환되었을 시에, 금회 생성된 중역 화상(GM)이 혼합 화상(GLM)으로서 저중고역 화상 혼합 회로(10)에 출력된다. 그리고, 저중고역 화상 혼합 회로(10)에 있어서, 에지 검출부(8)에서 에지가 검출되지 않은 부분에 대해서는 중역 화상(GM)이 선택되고, 에지 검출부(8)에서 에지가 검출된 부분에 대해서는 고역 화상(GH)이 선택됨으로써, 중역 화상(GM)과 고역 화상(GH)이 혼합되어, 출력 화상(GO)이 생성된다.

여기서, 입력 화상(GI) 간의 상관성에 기초하여 디지털 비닝 회로(3) 및 프레임 버퍼(6)를 제어함으로써, 입력 화상(GI)의 상태가 변화한 경우에 있어서도, 입력 화상(GI)의 상태 변화에 신속히 적응하면서 입력 화상(GI)의 노이즈를 제거하는 것이 가능하게 된다.

(제3 실시 형태)

도 4는 제3 실시 형태에 따른 화상 처리 방법을 도시하는 도면이다.

도 4에 있어서, 도 3의 입력 화상(GI)으로서 뷰 파인더 화상(GI1, GI2)이 순차 입력되는 것으로 한다. 또한, 뷰 파인더 화상(GI1, GI2)은, 예를 들어 스틸 정지 화상(GI4)에 대하여 축소율을 세로 1/2 : 가로 1/2로 설정할 수 있다. 이때, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 각각 생성된다. 또한, 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF1, GF2)이 순차 생성되고, 프레임 버퍼(6)에 순차 기억된다. 여기서, 스틸 정지 화상(GI4)의 저역 화상(GF4)의 축소율이 세로 1/64 : 가로 1/64로 설정되도록 하면, 디지털 비닝 회로(3)에서의 비닝 비율을 세로 1/32 : 가로 1/32로 설정하고, 저역 화상(GF1, GF2)의 축소율을 저역 화상(GF4)의 축소율에 일치시킬 수 있다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 1 프레임분만큼 과거의 저역 화상(GF1, GF2)이 순차 혼합됨으로써, 출력 화상(GO1, GO2)이 생성된다.

그리고, 입력 화상(GI)이 뷰 파인더 화상(GI2)으로부터 스틸 정지 화상(GI4)으로 전환될 경우, 시퀀서(11)에서, 뷰 파인더 화상(GI2)과 스틸 정지 화상(GI4)의 상관성이 판단된다. 이때, 화상 모드 정보(S4)에 포함되는 비닝 정보는 비닝 비율이 세로 1/2 : 가로 1/2로부터 등배(等倍)로 갱신된다. 그리고, 화상 모드 정보(S4)에 포함되는 비닝 정보가 갱신된 경우에는, 뷰 파인더 화상(GI2)과 스틸 정지 화상(GI4) 사이에 상관성이 있다고 판단되어, 프레임 버퍼(6)에 기억된 저역 화상(GF2)이 그대로 유지된다.

또한, 입력 화상(GI)이 뷰 파인더 화상(GI2)으로부터 스틸 정지 화상(GI4)으로 전환될 시에, 입력 화상(GI)으로서 중지 화상(GI3)이 입력되면, 마스크 신호(S2)가 활성화된다. 이때, 시퀀서(11)에서, 중지 화상(GI3)의 저역 화상(GF3)이 프레임 버퍼(6)에 기억되지 않도록 제어되고, 중지 화상(GI3)의 출력 화상(GO3)이 생성되지 않도록 된다.

그리고, 입력 화상(GI)으로서 스틸 정지 화상(GI4)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 프레임 버퍼(6)에 기억된 저역 화상(GF2)이 혼합됨으로써, 출력 화상(GO4)이 생성된다. 또한, 스틸 정지 화상(GI4)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF4)이 생성되어, 프레임 버퍼(6)에 기억된다.

여기서, 저역 화상(GF1, GF2)의 축소율과 저역 화상(GF4)의 축소율이 일치하도록 디지털 비닝 회로(3)의 비닝 비율을 제어함으로써, 뷰 파인더 화상(GI2)과 스틸 정지 화상(GI4) 사이에서 축소율이 상이한 경우에도, 뷰 파인더 화상(GI2)으로부터 생성된 저역 화상(GF2)과, 스틸 정지 화상(GI4)으로부터 생성된 중역 화상(GM) 및 고역 화상(GH)을 혼합할 수 있고, 입력 화상(GI)의 상태 변화에 신속히 적응하면서 입력 화상(GI)의 노이즈를 제거하는 것이 가능하게 된다.

또한, 뷰 파인더 화상(GI2)과 스틸 정지 화상(GI4)의 상관성을 판단함으로써, 뷰 파인더 화상(GI2)으로부터 생성된 저역 화상(GF2)을, 스틸 정지 화상(GI4)의 출력 화상(GO4)의 생성에 사용할 수 있다.

(제4 실시 형태)

도 5는 제4 실시 형태에 따른 화상 처리 방법을 도시하는 도면이다.

도 5에 있어서, 도 3의 입력 화상(GI)으로서 입력 화상(GI11 내지 GI13)이 순차 입력되는 것으로 한다. 이때, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 각각 생성된다. 또한, 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF11 내지 GF13)이 순차 생성되어, 프레임 버퍼(6)에 순차 기억된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 1 프레임분만큼 과거의 저역 화상(GF11 내지 GF13)이 순차 혼합됨으로써, 출력 화상(GO11 내지 GO13)이 생성된다.

그리고, 입력 화상(GI14)이 입력되기 전에 스탠바이가 있을 경우, 리셋 신호(S3)가 활성화되고, 시퀀서(11)에 의해 스탠바이 시간이 판단된다. 그리고, 스탠바이 시간이 소정 시간 이내일 경우, 입력 화상(GI13, GI14) 사이에 상관성이 있다고 판단되어, 프레임 버퍼(6)에 기억된 저역 화상(GF13)이 그대로 유지된다.

그리고, 입력 화상(GI)으로서 입력 화상(GI14)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 프레임 버퍼(6)에 기억된 저역 화상(GF13)이 혼합됨으로써, 출력 화상(GO14)이 생성된다. 또한, 입력 화상(GI14)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF14)이 생성되어, 프레임 버퍼(6)에 기억된다.

여기서, 입력 화상(GI14)의 입력 전의 스탠바이 시간이 소정 시간 이내일 경우, 프레임 버퍼(6)에 기억된 저역 화상(GF13)을 그대로 유지시킴으로써, 입력 화상(GI14)에 대한 출력 화상(GO14)의 재현성이 손상되는 것을 방지하면서, 입력 화상(GI13)으로부터 생성된 저역 화상(GF13)을, 입력 화상(GI14)의 출력 화상(GO14)의 생성에 사용할 수 있다.

(제5 실시 형태)

도 6은 제5 실시 형태에 따른 화상 처리 방법을 도시하는 도면이다.

도 6에 있어서, 도 3의 입력 화상(GI)으로서 입력 화상(GI21)이 입력되는 것으로 한다. 이때, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 또한, 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF21)이 생성되어, 프레임 버퍼(6)에 기억된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 1 프레임분만큼 과거의 저역 화상이 혼합 됨으로써, 출력 화상(GO21)이 생성된다.

그리고, 입력 화상(GI22)이 입력되기 전에 스탠바이가 있을 경우, 리셋 신호(S3)가 활성화되고, 시퀀서(11)에 의해 스탠바이 시간이 판단된다. 그리고, 스탠바이 시간이 소정 시간을 초과하는 경우, 입력 화상(GI21, GI22) 사이에 상관성이 없다고 판단되어, 프레임 버퍼(6)에 기억된 저역 화상(GF21)이 파기된다.

그리고, 입력 화상(GI)으로서 입력 화상(GI22)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성되고, 이들 혼합 화상이 출력 화상(GO22)으로서 출력된다. 또한, 입력 화상(GI22)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF22)이 생성되어, 프레임 버퍼(6)에 기억된다.

이어서, 입력 화상(GI)으로서 입력 화상(GI23)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 프레임 버퍼(6)에 기억된 저역 화상(GF22)이 혼합됨으로써, 출력 화상(GO23)이 생성된다. 또한, 입력 화상(GI23)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF23)이 생성되어, 프레임 버퍼(6)에 기억된다.

여기서, 입력 화상(GI22)의 입력 전의 스탠바이 시간이 소정 시간을 초과하는 경우, 프레임 버퍼(6)에 기억된 저역 화상(GF22)을 파기함으로써, 입력 화상(GI21)으로부터 생성된 저역 화상(GF21)이, 입력 화상(GI22)의 출력 화상(GO22)의 생성에 사용되지 않도록 할 수 있고, 입력 화상(GI22)에 대한 출력 화상(GO22)의 재현성이 손상되는 것을 방지할 수 있다.

(제6 실시 형태)

도 7은 제6 실시 형태에 따른 화상 처리 방법을 도시하는 도면이다.

도 7에 있어서, 도 3의 입력 화상(GI)으로서 비반전 화상(GI31, GI32)이 순차 입력되는 것으로 한다. 이때, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 각각 생성된다. 또한, 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF31, GF32)이 순차 생성되어, 프레임 버퍼(6)에 순차 기억된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 1 프레임분만큼 과거의 저역 화상(GF31, GF32)이 순차 혼합됨으로써, 출력 화상(GO31, GO32)이 생성된다.

그리고, 입력 화상(GI)이 비반전 화상(GI32)으로부터 상하 반전 화상(GI34)으로 전환될 경우, 시퀀서(11)에서, 비반전 화상(GI32)과 상하 반전 화상(GI34)의 상관성이 판단된다. 이때, 화상 모드 정보(S4)에 포함되는 반전 정보는 비반전 화상으로부터 상하 반전 화상으로 갱신된다. 그리고, 화상 모드 정보(S4)에 포함되는 반전 정보가 갱신된 경우에는 비반전 화상(GI32)과 상하 반전 화상(GI34) 사이에 상관성이 없다고 판단되어, 프레임 버퍼(6)에 기억된 저역 화상(GF32)이 파기된다.

또한, 입력 화상(GI)이 비반전 화상(GI32)으로부터 상하 반전 화상(GI34)으로 전환될 시에, 입력 화상(GI)으로서 중지 화상(GI33)이 입력되면, 마스크 신호(S2)가 활성화된다. 이때, 시퀀서(11)에서, 중지 화상(GI33)의 저역 화상(GF33)이 프레임 버퍼(6)에 기억되지 않도록 제어되고, 중지 화상(GI33)의 출력 화상(GO33)이 생성되지 않도록 된다.

그리고, 입력 화상(GI)으로서 상하 반전 화상(GI34)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성되고, 이들 혼합 화상이 출력 화상(GO34)으로 출력된다. 또한, 상하 반전 화상(GI34)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF34)이 생성되어, 프레임 버퍼(6)에 기억된다.

이어서, 입력 화상(GI)으로서 상하 반전 화상(GI35)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 프레임 버퍼(6)에 기억된 저역 화상(GF34)이 혼합됨으로써, 출력 화상(GO35)이 생성된다. 또한, 입력 화상(GI35)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF35)이 생성되어, 프레임 버퍼(6)에 기억된다.

여기서, 입력 화상(GI)이 비반전 화상(GI32)으로부터 상하 반전 화상(GI34)으로 전환될 경우, 프레임 버퍼(6)에 기억된 저역 화상(GF32)을 파기함으로써, 비반전 화상(GI32)으로부터 생성된 저역 화상(GF32)이, 상하 반전 화상(GI34)의 출력 화상(GO34)의 생성에 사용되지 않도록 할 수 있고, 상하 반전 화상(GI34)에 대한 출력 화상(GO34)의 재현성이 손상되는 것을 방지할 수 있다.

또한, 도 7의 실시 형태에서는 상하 반전을 예로 들었지만, 좌우 반전에 대해서도 마찬가지로 적용할 수 있다.

(제7 실시 형태)

도 8은 제7 실시 형태에 따른 화상 처리 방법을 도시하는 도면이다.

도 8에 있어서, 도 3의 입력 화상(GI)으로서 입력 화상(GI41, GI42)이 순차 입력되는 것으로 한다. 이때, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 각각 생성된다. 또한, 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF41, GF42)이 순차 생성되고, 프레임 버퍼(6)에 순차 기억된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 1 프레임분만큼 과거의 저역 화상(GF41, GF42)이 순차 혼합됨으로써, 출력 화상(GO41, GO42)이 생성된다.

그리고, 입력 화상(GI)이 입력 화상(GI42)으로부터 잘라내기 화상(GI44)으로 전환될 경우, 시퀀서(11)에서, 입력 화상(GI42)과 잘라내기 화상(GI44)의 상관성이 판단된다. 이때, 화상 모드 정보(S4)에 포함되는 폭 높이 정보가 갱신된다. 그리고, 화상 모드 정보(S4)에 포함되는 폭 높이 정보가 갱신된 경우에는, 입력 화상(GI42)과 잘라내기 화상(GI44) 사이에 상관성이 없다고 판단되어, 프레임 버퍼(6)에 기억된 저역 화상(GF42)이 파기된다.

또한, 입력 화상(GI)이 입력 화상(GI42)으로부터 잘라내기 화상(GI44)으로 전환될 시에, 입력 화상(GI)으로서 중지 화상(GI43)이 입력되면, 마스크 신호(S2)가 활성화된다. 이때, 시퀀서(11)에서, 중지 화상(GI43)의 저역 화상(GF43)이 프레임 버퍼(6)에 기억되지 않도록 제어되고, 중지 화상(GI43)의 출력 화상(GO43)이 생성되지 않도록 된다.

그리고, 입력 화상(GI)으로서 잘라내기 화상(GI44)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성되고, 이들 혼합 화상이 출력 화상(GO44)으로서 출력된다. 또한, 잘라내기 화상(GI44)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF44)이 생성되어, 프레임 버퍼(6)에 기억된다.

이어서, 입력 화상(GI)으로서 잘라내기 화상(GI45)이 입력되면, 평균화 필터(4) 및 엡실론 필터(5)로 필터링됨으로써, 중역 화상(GM) 및 고역 화상(GH)이 생성된다. 그리고, 금회 생성된 중역 화상(GM) 및 고역 화상(GH)과, 프레임 버퍼(6)에 기억된 저역 화상(GF44)이 혼합됨으로써, 출력 화상(GO45)이 생성된다. 또한, 입력 화상(GI45)이 디지털 비닝 회로(3)에서 비닝됨으로써, 저역 화상(GF45)이 생성되어, 프레임 버퍼(6)에 기억된다.

여기서, 입력 화상(GI)이 입력 화상(GI42)으로부터 잘라내기 화상(GI44)으로 전환될 경우, 프레임 버퍼(6)에 기억된 저역 화상(GF42)을 파기함으로써, 입력 화상(GI42)으로부터 생성된 저역 화상(GF42)이 잘라내기 화상(GI44)의 출력 화상(GO44)의 생성에 사용되지 않도록 할 수 있고, 잘라내기 화상(GI44)에 대한 출력 화상(GO44)의 재현성이 손상되는 것을 방지할 수 있다.

(제8 실시 형태)

도 9는 제8 실시 형태에 따른 화상 처리 장치가 적용된 비디오 카메라의 개략 구성을 도시하는 블록도이다.

도 9에 있어서, 이 비디오 카메라에는 조작부(21), 센서 제어부(22), CMOS 이미지 센서(23), AD 변환기(24), 화상 처리 장치(25), 화상 기록부(26) 및 뷰 파인더(27)가 설치되어 있다. 또한, 화상 처리 장치(25)는 도 3의 구성을 사용할 수 있다. 조작부(21)는 비디오 카메라의 각종 주사를 행할 수 있다. 예를 들어, CMOS 이미지 센서(23)로 촬상되는 화상의 정지 화상 샷을 행하거나, 스탠바이 처리를 행하거나, 주밍을 행하거나, 상하 반전을 행하거나, 잘라내기를 행할 수 있다.

센서 제어부(22)는 CMOS 이미지 센서(23)에 대하여, 촬상 화상의 정지 화상 샷을 행하게 하거나, 촬상 화상의 스탠바이 처리를 행하게 하거나, 촬상 화상의 주밍을 행하게 하거나, 촬상 화상의 상하 반전을 행하게 하거나, 촬상 화상의 잘라내기를 행하게 할 수 있다. 또한, 센서 제어부(22)는 동기 신호(S1), 마스크 신호(S2), 리셋 신호(S3) 및 화상 모드 정보(S4)를 화상 처리 장치(25)에 출력할 수 있다. CMOS 이미지 센서(23)는 촬상 화상을 출력할 수 있다. AD 변환기(24)는 CMOS 이미지 센서(23)로부터 출력된 촬상 화상을 디지털화하고, 입력 화상(GI)을 생성할 수 있다. 화상 기록부(26)는 화상 처리 장치(25)로부터 출력된 출력 화상(GO)을 기록할 수 있다. 뷰 파인더(27)는 화상 처리 장치(25)로부터 출력된 출력 화상(GO)을 표시할 수 있다.

유저가 조작부(21)를 조작함으로써, CMOS 이미지 센서(23)에 대하여, 촬상 화상의 정지 화상 샷, 촬상 화상의 스탠바이 처리, 촬상 화상의 주밍, 촬상 화상의 상하 반전 또는 촬상 화상의 잘라내기 등이 CMOS 이미지 센서(23)로 행해지고, AD 변환기(24)로 디지털화된 후, 입력 화상(GI)으로서 화상 처리 장치(25)에 입력된다. 화상 처리 장치(25)에 있어서, 입력 화상(GI) 간의 상관성에 기초하여 저역 화상(GL), 중역 화상(GM) 및 고역 화상(GH)이 다중화됨으로써, 출력 화상(GO)이 생성되어, 화상 기록부(26)에 기록되거나, 뷰 파인더(27)에 표시된다.

또한, 상술한 실시 형태에서는, 입력 화상(GI)으로부터 생성된 저역 화상(GL), 중역 화상(GM) 및 고역 화상(GH)을 다중화하는 방법에 대해서 설명했지만, 다중화되는 화상은 3개의 공간 주파수대에 한정되지 않고, 저역과 고역의 2개의 공간 주파수대여도 좋고, 4 이상의 공간주파수대여도 좋다.

본 발명의 몇 가지 실시 형태를 설명했지만, 이들 실시 형태는 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규의 실시 형태는 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은 발명의 범위나 요지에 포함되면서, 또한 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims

화상 처리 장치로서,
입력 화상을 복수 행분만큼 기억하는 라인 메모리와,
상기 라인 메모리에 기억된 화상 데이터에 기초하여 상기 입력 화상의 결함 보정을 행하는 결함 보정 회로와,
결함 보정된 상기 입력 화상을 비닝(binning)함으로써, 상기 입력 화상보다 공간 주파수가 낮은 저역 화상을 생성하는 비닝 회로와,
상기 저역 화상을 기억하는 프레임 버퍼와,
상기 결함 보정된 입력 화상을 필터링하고, 상기 저역 화상보다 공간 주파수가 높은 고역 화상을 생성하는 필터와,
상기 저역 화상과 상기 고역 화상을 혼합하는 혼합 회로를 구비하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 저역 화상과 상기 고역 화상의 차분값에 기초하여 상기 고역 화상의 에지를 검출하는 에지 검출부를 구비하고,
상기 혼합 회로는 상기 에지 검출부에 의해 에지가 검출되지 않은 부분에 대해서는 상기 저역 화상을 선택하고, 상기 에지 검출부에 의해 에지가 검출된 부분에 대해서는 상기 고역 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 결함 보정 회로는 상기 라인 메모리의 소정 영역의 중심 화소의 결함 보정을 행하면서, 또한 상기 중심 화소의 주변의 주변 화소의 결함 보정을 행하는 것을 특징으로 하는 화상 처리 장치.
화상 처리 장치로서,
입력 화상을 복수 행분만큼 기억하는 라인 메모리와,
상기 입력 화상을 비닝함으로써, 상기 입력 화상보다 공간 주파수가 낮은 저역 화상을 생성하는 비닝 회로와,
상기 저역 화상을 기억하는 프레임 버퍼와,
상기 라인 메모리에 기억된 입력 화상을 필터링하고, 상기 저역 화상보다 공간 주파수가 높은 고역 화상을 생성하는 필터와,
상기 저역 화상과 상기 고역 화상을 혼합하는 혼합 회로와,
상기 입력 화상 간의 상관성에 기초하여 상기 혼합 회로에서의 상기 저역 화상의 사용을 제어하는 시퀀서(sequencer)를 구비하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 동기 신호, 마스크 신호, 리셋 신호 및 화상 모드 정보에 기초하여 상기 입력 화상 간의 상관성을 판단하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서, 상기 화상 모드 정보는 상기 입력 화상의 비닝 정보, 상기 입력 화상의 반전 정보, 상기 입력 화상의 폭 높이 정보를 포함하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서, 상기 동기 신호, 마스크 신호, 리셋 신호 및 화상 모드 정보는 상기 입력 화상을 출력하는 CMOS 이미지 센서로부터 제공되는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상 간의 상관성이 있을 경우, 상기 입력 화상의 전환 전의 저역 화상을 상기 프레임 버퍼에 유지시키고, 상기 입력 화상의 전환 전의 저역 화상을 상기 입력 화상의 전환 후에 상기 혼합 회로에서 사용하게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상 간의 상관성이 없을 경우, 상기 입력 화상의 전환 전의 저역 화상을 상기 프레임 버퍼에서 파기시키고, 상기 입력 화상의 전환 전의 저역 화상을 상기 입력 화상의 전환 후에 상기 혼합 회로에서 사용하지 않게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 저역 화상의 축소율이 일정해지도록, 상기 입력 화상의 축소율에 따라서 상기 비닝 회로의 축소율을 제어하는 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 시퀀서는 상기 입력 화상의 전환 전의 저역 화상을 상기 프레임 버퍼에 유지시키고, 상기 입력 화상의 전환 전의 저역 화상을 상기 입력 화상의 전환 후에 상기 혼합 회로에서 사용하게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 중지 화상이 지정된 경우, 상기 중지 화상의 저역 화상을 상기 프레임 버퍼에 기억시키지 않도록 하는 것을 특징으로 하는 화상 처리 장치.
제12항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 중지 화상이 지정된 경우, 상기 중지 화상의 저역 화상을 상기 혼합 회로에서 사용하지 않게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상의 입력시에 소정 시간 이내의 스탠바이가 지정된 경우, 상기 스탠바이 전의 저역 화상을 상기 프레임 버퍼에 유지시키고, 상기 스탠바이 전의 저역 화상을 상기 스탠바이 후에 상기 혼합 회로에서 사용하게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상의 입력시에 소정 시간을 초과하는 스탠바이가 지정된 경우, 상기 스탠바이 전의 저역 화상을 상기 프레임 버퍼에서 파기시키는 것을 특징으로 하는 화상 처리 장치.
제15항에 있어서, 상기 시퀀서는 상기 입력 화상의 입력시에 소정 시간을 초과하는 스탠바이가 지정된 경우, 상기 스탠바이 전의 저역 화상을 상기 혼합 회로에서 사용하지 않게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 반전 화상이 지정된 경우, 상기 프레임 버퍼에 유지되어 있는 비반전 화상의 저역 화상을 파기시키는 것을 특징으로 하는 화상 처리 장치.
제17항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 반전 화상이 지정된 경우, 상기 프레임 버퍼에 유지되어 있는 비반전 화상의 저역 화상을 상기 혼합 회로에서 사용하지 않게 하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 잘라내기 화상이 지정된 경우, 상기 프레임 버퍼에 유지되어 있는 원화상의 저역 화상을 파기시키는 것을 특징으로 하는 화상 처리 장치.
제19항에 있어서, 상기 시퀀서는 상기 입력 화상으로서 잘라내기 화상이 지정된 경우, 상기 프레임 버퍼에 유지되고 있는 원화상의 저역 화상을 상기 혼합 회로에서 사용하지 않게 하는 것을 특징으로 하는 화상 처리 장치.