KR20080038137A - 디지털 신호 부호화 및 복호화 장치 및 그 방법 - Google Patents

Abstract

본 발명에 관련되는 부호화 장치는, 제1화소 값과, 상기 제1화소의 근방에 위치하는 제1화소와 동일한 컬러의 화소의 화소 값과의 차분 값, 제1화소 차분 값을 구하는 차분 생성부와; 제1화소 차분 값의 무부호 정수 바이너리 값의 자릿수와, 제2화소의 제2화소 값에 대해 차분 생성부에서 생성된 제2화소 차분 값의 무부호 정수 바이너리 값의 자릿수에 근거하여, 제1 및 제2화소 값을 양자화하여 데이터를 생성하는 처리에 있어서의 양자화 폭을 결정하는 양자화 폭 결정부와; 제1 및 제2화소 값의 양자화/복호화에 이용되는 양자화 폭을 구비하는 양자화 폭 정보를 생성하는 양자화 폭 정보 생성부; 및 제1 및 제2화소 값에 근거하는 값을 각각, 양자화 폭으로 양자화하고, n-비트 길이의 제1 및 제2압축 부호화 화소 값을 생성하는 양자화 처리부를 포함한다.

Description

디지털 신호 부호화 및 복호화 장치 및 그 방법{DIGITAL SIGNAL ENCODING AND DECODING DEVICE AND METHOD}

본 발명은 디지털 데이터의 압축 부호화 및 복호화에 관한 것이다. 구체적으로는, 본 발명은, 촬상 소자(image pickup device)가 출력하는 화소 신호의 압축 부호화 및 압축 부호화한 화소 신호를 복호화하기 위한 장치 및 방법에 관한 것이다.

디지털 카메라나, 카메라 내장 휴대전화 등의 디지털 촬상(撮像) 장치에 실장(實裝)되는 촬상 소자에는 전하 결합형 촬상 소자(CCD형 촬상 소자), 금속 산화막 반도체형 촬상 소자(MOS형 촬상 소자) 등이 있다. 또한, MOS형 촬상 소자에는, 상보형(相補型) 금속 산화막 반도체형 촬상 소자(CMOS형 촬상 소자), N채널형 금속 산화막 반도체형 촬상 소자(NMOS형 촬상 소자) 등이 있다. 최근, 이들 촬상 소자의 화소 수는 증가하는 경향에 있으며, 각각 고정밀 촬상 소자로서 진보하고 있다. CCD형 촬상 소자에는, 동적 범위(dynamic range)는 넓고, 노이즈가 적다고 하는 특징이 있고, MOS형 촬상 소자에는, MOS 프로세스를 사용하기 때문에 구조가 간단하고 또한 단일 전원을 사용하며, 고해상도에 적합하다고 하는 특징이 있다.

이어서 디지털 촬상 장치를 이용하는 촬상에 관한 신호 처리에 대해서 개략 설명한다.

디지털 촬상 장치에서의 1 프레임의 정지 화상 촬상(still image pickup), 소위 단사 촬상(single image pickup)에 관한 신호 처리의 일례를 나타낸다. 피사체로부터의 광(光)은, 촬상 소자의 수광부(受光部)에서 결상(結像)하고, 수광부에 다수 배치되는 화소(畵素)는, 각각 광량(光量)에 따른 분량의 전하를 축적한다. 이들 축적 전하는, 촬상 소자 구동부에 의해 아날로그 신호로서 촬상 소자의 출력부로부터 화소 단위로, 수광부의 1 라인 분량으로 판독되어, 아날로그/디지털 변환부에서 디지털 화소 신호(RAW 데이터)로 변환되어, 싱크로너스 DRAM(Synchronous DRAM; SDRAM) 등의 버퍼 메모리에 일시 저장된다. 1 라인 분량의 판독, A/D 변환, SDRAM 등으로의 기록이 종료하면, 2번째의 라인, 3번째의 라인, …, 최종의 라인에 대해서 마찬가지로 판독으로부터 기록까지의 처리가 반복되어, 화상 1 프레임 분량(1회의 촬상 분량)의 데이터가 SDRAM에 일시 저장된다. 이어서, 일시 저장된 데이터, 즉 RAW 데이터를 디지털 신호 처리기(DSP) 등의 프로세서(processor)를 이용해서 확대·축소 등의 줌(zoom) 처리 등의 신호 처리 연산을 실행하고, 연산 후의 데이터를 다시 SDRAM에 일시 저장한다. 이어서, 프로세서를 이용해서 데이터를 적절히 처리함으로써, 데이터를 저장하기에 적합한 JPEG 등의 압축 데이터 포맷의 데이터(압축 데이터)로 변환하고, 그 후에 다시 SDRAM에 일시 저장한다. 그리고, 저장 장치 직접 접근(direct memory access; DMA) 제어 등에 의해, SDRAM으로부터 데이터를 고속으로 판독하고, 데이터를 외부의 반 영구 보존 메모리에 저장한다. 여기서, 반 영구 보존 메모리라고 하는 것은, SD 메모리 카드 등, 일반적으로 디지털 카메라(digital camera)의 화상 기록 매체로서 이용되는 저장 매체이면 좋다.

상기의 단사 촬상에 관하여 신호 처리를 연속적으로 실행함으로써 연속 촬상, 소위, 연사(連寫) 촬상이 실현된다. 그러나, RAW 데이터로부터 압축 데이터 포맷의 데이터(압축 데이터)로 변환하는 처리는, 화소의 축적 전하를 판독해서 RAW 데이터로서 일시 저장하는 처리에 비해서 시간이 소요되는 처리이다. 그 때문에, 연사의 경우에는, RAW 데이터의 SDRAM으로의 저장 처리와, RAW 데이터를 압축 데이터로 변환하는 처리는 동시에 실행되고, 판독된 RAW 데이터는, SDRAM의 저장 용량이 허용하는 한, 추가로 SDRAM에 일시 저장된다. 따라서, 연사 가능한 프레임 수를 늘리기 위해서는, SDRAM의 저장 용량을 늘릴 필요가 있다.

또한, 요즈음 촬상 소자의 화소 수의 증가에 따라, 화상 1 프레임 분량의 RAW 데이터의 데이터 크기도 증가한다. 그 때문에, SDRAM의 저장 용량이 종래의 것과 동일한 정도로 한정된다면, 촬상 소자의 화소 수의 증가에 따라 연사 가능 프레임 수가 감소한다. 따라서, 촬상 소자의 화소 수를 늘림으로써 촬상 장치의 높은 해상도를 실현하는 경우, SDRAM의 저장 용량을 동시에 대용량화하여, 연사 가능 프레임 수를 확보하는 것이 요구된다. 또한, RAW 데이터의 데이터 크기가 커지면, 종래보다 고속으로 액세스(access) 가능한 SDRAM이 필요하게 된다. 그러나, SDRAM의 저장 용량의 대용량화나 액세스 속도의 고속화는 비용면에 있어서 불리하다.

종래에, 상기 문제를 해결하기 위한 수법이 제안되어 있다.

도 11은, 특허 문헌 1에 개시하는 프레임 메모리의 메모리 사용량을 삭감하는 방법을, 디지털 스틸 카메라(digital still camera)의 예로 설명하는 구성도이 다.

우선, 특허 문헌 1에 기재한 디지털 스틸 카메라의 구성을 설명한다. 디지털 스틸 카메라(100)는, 영상 처리부(CPU)(110), 플래시 메모리(120), JPEG-LSI(130), 디스플레이/캡처 컨트롤러(display/capture controller)(141), 버퍼 메모리(142), 메모리 전송 컨트롤러(143), 어드레스 버스 전환부(144), 판독 데이터 래치(read data latch)(145), 출력 레벨 래치(output level latch)(146), 차분 압축 해제/가산기(difference decompression/adder)(147), 차분 압축/압축 해제 변환 테이블(148), 감산/차분 압축부(149), 기록 데이터 래치(write data latch)(150), 입력 레벨 래치(151), 프레임 메모리(160), 영상 출력부(170), 영상 입력부(180), 압축/압축 해제부(140)를 포함한다.

이어서, 특허 문헌 1에 기재한 디지털 스틸 카메라(100)의 동작을 설명한다. 도 11의 영상 입력부(180)로부터 입력된 압축 이전 데이터는 감산/차분 압축부(149)로 전송된다. 이곳에서 감산과 차분 압축이 실행되지만, 이때, 차분 압축/압축 해제 변환 테이블(148)을 참고로 해서 압축이 실행된다. 결과로서 구해지는 압축 후의 데이터는 데이터 버스를 통해 프레임 메모리(160)에 일시 저장된다. 프레임 메모리(160)에 있는 압축된 압축 해제 전 데이터는 차분 압축 해제/가산부(147)에서, 차분 압축/압축 해제 변환 테이블(148)을 참고로 하면서 압축 해제 후 데이터로 변환되어, 영상 출력부(170)로부터 출력된다.

이 방법에서는 데이터의 차분 값의 압축을 실행하기 위해서, ROM 등에 차분 압축/압축 해제 변환 테이블(148)을 가질 필요가 있다. 종래의 방법과 비교하면 회 로 규모는 작아지게 되는 것이다. 그래도, ROM을 사용하는 것은 피할 수 없고, 따라서 회로 구성이 커지고 프로세스 부하는 여전히 크다.

도 12 및 도 13은, 특허 문헌 2에서 개시하는, 디지털 신호의 비가역(irreversible) 압축 부호화의 방법을 개략 나타내는 도면이다. 도 12는, 단일 보드 CCD의 구성도이며, 도 13은 비가역 압축 부호화에 관한 플로차트이다. 도 12를 참조하면, 표적 화소 x, 화소 x보다도 먼저 처리되는 동일한 컬러 화소 f, e, d 및, 화소 x에 인접한 상이한 컬러 화소 c, a, b를 나타내고 있다.

이어서, 도 13을 참조하여 특허 문헌 2에서 개시하는 압축 부호화법의 처리를 설명한다. 이 방법은, 컬러 필터 R, G, B가 배치된 단일 보드 CCD에서 표적 화소 x의 값과 최적 예측 식에 의한 예측 값 y와의 사이의 예측 오차 Δ에 엔트로피 부호화(entropy encoding)를 실행하여, 화상 데이터의 압축을 실행하는 방법이다. 상기 방법은, 근방 화소(nearby pixel)의 화소 값과, 표적 화소의 것과 상이한 컬러 성분의 컬러 필터가 배치된 인접 화소(adjacent pixel)의 화소 값을 이용해서 예측 값을 산출하는 동시에, 근방 화소의 화소 값과, 표적 화소와 동일한 컬러의 컬러 필터가 배치되는 동일 컬러 화소의 화소 값을 이용해서 예측 값을 산출하고, 표적 화소 x가 어느 예측 값에 근사하고 있는지를 판별하고, 이 판별 결과에 근거해서 다음 표적 화소의 예측 값을 인접 화소와 동일 컬러 화소 중 어느 쪽의 화소 값을 이용해서 예측 값을 산출할지를 결정한다.

이 방법에서는, 양자화(量子化)는 비선형(非線形) 테이블에 의해 실행되고, 균일하게 정수를 승산하여, 실제의 연산에 이용하는 테이블 값을 산출하고 있다. 이것에 의해 비가역 변환으로 압축률을 변화시킬 수 있다. 양자화된 데이터는, 또한 엔트로피 부호화된다.

특허 문헌 2에서 개시하는 방법에서, 화소 값에 의해 산출된 예측 오차 Δ를 소정의 양자화 테이블에 의해 양자화함에 있어서 ROM 등의 메모리가 필요하고, 따라서 회로 구성이 커지고 프로세스 부하가 증가한다.

도 14는, 특허 문헌 3에서 개시하는 화상 부호화 장치의 블록도이다. 도 14를 참조하면, 이 화상 부호화 장치는, 화소 값 입력부(101)로부터 동적 범위(dynamic range)가 d 비트에 있는 입력 화소 값을 입력하고, 양자화부(104)에서, 입력 화소 값을, 부호화에 의해 n 비트의 양자화 값으로 변환하고, 이것을 출력부(105)로부터 출력하는 화상 부호화 장치이다.

이 화상 부호화 장치는, 입력 화소의 주변의 화소로부터, 입력 화소 값에 대한 예측 값을 생성하는 예측 값 생성 수단(106)과, d 비트 정밀도에 있어서, 양자화 폭이 2의 d-n 승이며, 2의 n승으로부터 미리 설정된 추가 상한(上限) 수를 감해서(substracting) 얻는 개수의 선형 양자화 대표점(linear quantization representative points)을 갖는 선형 양자화기(a linear quantizer)를 생성하는 선형 양자화기 생성 수단(102)과, 선형 양자화기에 대해, 예측 값의 주변 부근에서, 추가 상한 수 이하의 개수의 양자화 대표점을 추가하고, 예측 값 부근의 양자화 폭을 선형 양자화기보다 작게 한 비선형 양자화기(a nonlinear quantizer)를 생성하는 비선형 양자화기 생성 수단(103)을 추가로 포함한다. 화상 부호화 장치에 있어서, 양자화부(104)는, 비선형 양자화기 생성 수단(103)에서 생성한 비선형 양자화 기를 이용해서 입력 화소 값을 양자화하여, 얻은 양자화 값을 출력한다.

특허 문헌 3에서 개시된 화상 부호화 장치는, 양자화를 위한 ROM 테이블을 구비하지 않는다. 이 점에 있어서, 이 화상 부호화 장치는, 특허 문헌 1 및 특허 문헌 2에서 개시된 발명에 의한 장치보다도 소규모인 장치로 실현될 것으로 기대된다.

(특허 문헌 1)

일본국 특개평 11-341288호 공보

(특허 문헌 2)

일본국 특개 2000-244935호 공보

(특허 문헌 3)

일본국 특개평 10-056638호 공보

(발명이 해결하려고 하는 과제)

특허 문헌 1에 기재한 방법은, 부호화 및 복호화를 위한 테이블을 미리 준비할 필요가 있고, 테이블을 저장하기 위해서 부호화 및 복호화 테이블 버퍼 또는 ROM 등의 메모리가 필요하다. 또한, 특허 문헌 1에 기재한 방법을 구현하기 위한 장치는 회로 구성이 크고, 이와 같은 처리의 부담도 크다.

또한, 특허 문헌 2에 기재한 방법은, 동일한 컬러 화소와 상이한 컬러 화소 양쪽에 대해 예측을 실행한 후, 예측 값들 중 예측 오차가 작은 것을 선택한다. 따라서, 부호화뿐만 아니라 복호화까지 실시하지 않으면 어느 예측 식을 사용해야 할지를 판단할 수 없다. 그 때문에, 처리량의 증대를 피할 수 없다. 또한, 테이블을 이용한 비선형 처리이기 때문에, 이 방법을 실시하기 위한 장치는 회로 구성이 커지고, 이와 같은 처리의 부담도 크다.

특허 문헌 3에 기재한 방법을 실시하기 위한 장치에서는, 예측 값을 산출하기 위한 회로를 구성하고, 예측 값 산출의 처리를 실행할 필요가 있다.

상기 문제점을 감안하여, 본 발명은, 소규모 회로 구성으로 실장 가능하고, 부호화를 위한 처리가 단순한 연산으로 구성되어서, 낮은 연산 처리 부하로 높은 압축률을 실현하는 디지털 신호 압축 부호화/복호화 장치, 및 디지털 신호 압축 부호화 및 복호화를 위한 방법을 제공하는 것을 목적으로 한다.

(과제를 해결하기 위한 수단)

본 발명은, 본 발명의 한 특징에 따라, 적어도 제1컬러(first color)를 감지(sense)하는 화소와 제2컬러를 감지하는 화소를 주기적으로 배치한 수광부로부터의 신호를 디지털 포맷으로 나타낸 화소 값 데이터를 받아서 처리하는 디지털 데이터 부호화 장치에 있어서, 제1컬러를 감지하는 제1화소의 제1화소 값 데이터와, 제1화소의 근방에 위치하고, 제1컬러를 감지하는 제2화소의 제2화소 값 데이터와의 차분 값을 제1화소 차분 값으로서 출력하는 동시에, 제2컬러를 감지하는 제3화소의 제3화소 값 데이터와, 제3화소의 근방에 위치하고, 제2컬러를 감지하는 제4화소의 제4화소 값 데이터와의 차분 값을 제2화소 차분 값으로서 출력하는 차분 생성부와, 제1화소 차분 값의 절대치와 제2화소 차분 값의 절대치 중의 최대치를 최대 화소 값 차로서 구해, 구해진 최대 화소 값 차 이상의 값을 양자화 참조 값(quantization reference value)으로서 결정하는 양자화 참조 값 결정부와, 제1화소 값 데이터와 양자화 참조 값과의 차를 제1오프셋 값으로서 설정하는 동시에, 제3화소 값 데이터와 양자화 참조 값과의 차를 제2오프셋 값으로서 설정하는 오프셋 값 설정부와, 제2화소 값 데이터와 제1오프셋 값과의 차를, 제1피양자화 처리 값(a first value to be quantized)으로서 설정하는 동시에, 제4화소 값 데이터와 제2오프셋 값과의 차를 제2피양자화 처리 값으로서 설정하는 피양자화 처리 값 설정부와, 제1피양자화 처리 값 및 제2피양자화 처리 값을, 각각 양자화해서 제1압축 부호화 화소 값 데이터 및 제2압축 부호화 화소 값 데이터를 구하는 양자화부를 구비하는 디지털 데이터 부호화 장치이다.

본 발명의 한 특징에 있어서, 제1컬러와 제2컬러는 서로 상이한 것이 바람직하다.

본 발명의 한 특징에 있어서, 디지털 데이터 부호화 장치는 또한 오프셋 값 설정부가 정한 오프셋 값이 제로 이하일 경우, 오프셋 값을 제로로 설정해 고치는 오프셋 값 제로 설정부를 포함하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 디지털 데이터 부호화 장치는 또한 양자화의 양자화 폭을 결정하는 양자화 폭 결정부를 포함하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 상기 양자화 폭은 최대 화소 값 차가 커짐에 따라 증가하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 디지털 데이터 부호화 장치는 또한 결정된 양자화 폭을 m 비트 길이(m은 자연수)의 부호(code)로 부호화하는 양자화 폭 정보 데이터 생성부를 포함하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 양자화 폭 결정부는, 미리 결정된 복수의 양자화 폭 중 어느 하나에 대해 양자화 폭을 결정하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 복수의 양자화 폭의 수는 2의 m승 이하인 것이 바람직하다.

본 발명의 한 특징에 있어서, m은 2인 것이 바람직하다.

본 발명의 한 특징에 있어서, 디지털 데이터 부호화 장치는 또한 압축 부호화 화상 데이터 생성부를 포함하고, 압축 부호화 화상 데이터 생성부는 적어도 양자화 폭 정보 데이터, 제1압축 부호화 화소 값 데이터 및 제2압축 부호화 화소 값 데이터 중 어느 하나를 포함하는 s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 생성하는 것이 바람직하고, 더욱 바람직하게는 s는 8의 배수이다.

본 발명의 한 특징에 있어서, 압축 부호화 화상 데이터 생성부는 제1화소 값 데이터를 그대로 초기 화소 값 데이터로서 압축 부호화 화상 데이터에 기록하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 양자화 폭 결정부는, 제1화소 차분 값 및 제2화소 차분 값 각각의 무부호 정수 2진 값 표기(unsigned integer binary value notation)에 필요로 하는 자릿수들 간의 최대 자릿수 값을 구함으로써, 복수의 양자화 폭들 중 어느 하나를 결정하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 디지털 데이터 부호화 장치는, 제2화소 값 데이터를 보정해 오차 보정 화소 값 데이터를 생성하는 오차 보정부(an error correction unit)와, 압축 부호화 화소 값 데이터를 복호화해서 복호화 화소 값 데이터를 출력하는 디지털 데이터 복호화부를 추가로 포함하고, 또한 오프셋 값 설정부는, 제1화소 값 데이터 대신에 복호화 화소 값 데이터를 이용해서 제1오프셋 값을 설정하고, 피양자화 처리 값 설정부는, 제2화소 값 데이터 대신에 오차 보정 화소 값 데이터를 이용해서 제1피양자화 처리 값을 설정하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 오차 보정부에 의한 제2화소 값 데이터의 보정은, 제2화소 값으로부터, 제1화소 값 데이터와 복호화 화소 값 데이터 간의 차에 관련되는 보정 값을 제함으로써 이루어지는 것이 바람직하다.

본 발명은, 다른 특징에 있어서, 제1컬러를 감지하는 제1화소의 제1화소 값 데이터가 그대로 제1 초기 화소 값 데이터로서 기록되어 있는 초기 화소 값 데이터부와, 제1화소의 근방에 위치해 제1컬러를 감지하는 제2화소의 제2화소 값 데이터를 나타내는 제1압축 부호화 화소 값 데이터가 기록되어 있는 압축 부호화 화소 값 데이터부를 구비하는 s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 입력하는 압축 부호화 화상 데이터 입력부와, 제1초기 화소 값 데이터와 설정된 제1양자화 참조 값과의 차를 제1오프셋 값으로서 구하는 오프셋 값 설정부와, 설정된 제1양자화 폭을 이용해서 제1압축 부호화 화소 값 데이터를 역양자화해서 제1역양자화 화소 값 데이터를 구하는 역양자화부와, 제1역양자화 화소 값 데이터와 제1오프셋 값과의 합을 구하여 제1복호화 화소 값 데이터를 생성하는 복호화 화소 값 생성부를 포함하는 디지털 데이터 복호화 장치를 제공한다.

본 발명의 한 특징에 있어서, 초기 화소 값 데이터부에는 또한, 제1화소에 근접해 제2컬러를 감지하는 제3화소의 제3화소 값 데이터가 그대로 제2초기 화소 값 데이터로서 기록되고, 압축 부호화 화소 값 데이터부에는 또한, 제3화소의 근방에 위치하여 제2컬러를 감지하는 하는 제4화소의 제4화소 값 데이터를 나타내는 제2압축 부호화 화소 값 데이터가 기록되고, 오프셋 값 설정부는 또한, 제2초기 값 데이터와 제1양자화 참조 값과의 차를 제2오프셋 값으로서 구하고, 역양자화부는 또한, 제1양자화 폭을 이용해서 제2압축 부호화 화소 값 데이터를 역양자화해서 제2역양자화 화소 값 데이터를 구하고, 복호화 화소 값 생성부는 또한, 제2역양자화 화소 값 데이터와 제2오프셋 값과의 합을 구하여 제2복호화 화소 값 데이터를 생성하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 제1컬러와 제2컬러는 서로 상이한 것이 바람직하다.

본 발명의 한 특징에 있어서, 압축 부호화 화소 값 데이터부에는 또한, 제2화소의 근방에 위치하고, 제4화소에 근접하여, 제1컬러를 감지하는 제5화소의 제5화소 값 데이터를 나타내는 제3압축 부호화 화소 값 데이터가 기록되고, 오프셋 값 설정부는 또한 제1복호화 화소 값 데이터와 제2양자화 참조 값과의 차를 제3오프셋 값으로서 구하고, 역양자화부는 또한, 설정된 제2양자화 폭을 이용해서 제3압축 부호화 화소 값 데이터를 역양자화해서 제3역양자화 화소 값 데이터를 구하고, 복호화 화소 값 생성부는 또한, 제3역양자화 화소 값 데이터와 제3오프셋 값과의 합을 구해서 제3복호화 화소 값 데이터를 생성하는 것이 바람직하다.

본 발명의 한 특징에 있어서 또한, 오프셋 값 설정부가 정한 오프셋 값이, 제로 이하일 경우, 오프셋 값을 제로에 설정해 고치는 오프셋 값 제로 설정부를 갖는 것이 바람직하다.

본 발명의 한 특징에 있어서, 압축 부호화 화상 데이터는 적어도, 제1양자화 폭에 관한 정보를 구비하는 제1양자화 폭 정보 데이터 및 제2양자화 폭에 관한 정보를 구비하는 제2양자화 폭 정보 데이터 중 어느 하나가 기록되어 있는 양자화 폭 정보 데이터부를 구비하는 것이 바람직하다.

본 발명의 한 특징에 있어서는, 또한, 역양자화에 있어서의 양자화 폭을, 미리 결정된 복수의 양자화 폭들 중 어느 하나에 설정하는 양자화 폭 설정부를 갖고, 양자화 폭 설정부는 제1양자화 폭 정보 데이터 및 제2양자화 폭 정보 데이터로부터, 제1양자화 폭 및 제2양자화 폭을 각각, 복수의 양자화 폭들 중 하나에 설정하는 것이 바람직하다.

본 발명의 한 특징에 있어서는, 또한, 역양자화에 있어서의 양자화 참조 값을, 미리 결정된 복수의 양자화 참조 값들 중 어느 하나에 설정하는 양자화 참조 값 설정부를 갖고, 양자화 참조 값 설정부는, 제1양자화 폭 정보 데이터 및 제2양자화 폭 정보 데이터로부터, 제1양자화 참조 값 및 제2양자화 참조 값을 각각, 복수의 양자화 참조 값들 중 하나에 설정하는 것이 바람직하다.

본 발명의 한 특징에 있어서, 제1양자화 폭 정보 데이터 및 제2양자화 폭 정보 데이터는, 각각 m 비트 길이(m은 자연수)의 데이터인 것이 바람직하다.

본 발명의 한 특징에 있어서, 복수의 양자화 폭 및 복수의 양자화 참조 값들의 개수는, 각각 2의 m승 이하인 것이 바람직하다.

본 발명의 한 특징에 있어서, m은 2인 것이 바람직하다.

본 발명은, 또 다른 특징에 있어서는, 적어도 제1컬러를 감지하는 화소와 제2컬러를 감지하는 화소를 주기적으로 배치한 수광부로부터의 신호를 디지털 포맷으로 나타낸 화소 값 데이터를 받아서 처리하는, 디지털 데이터 부호화 방법에 있어서, 제1컬러를 감지하는 제1화소의 제1화소 값 데이터와, 제1화소의 근방에 위치하여 제1컬러를 감지하는 제2화소의 제2화소 값 데이터와의 차분 값을 제1화소 차분 값으로서 출력하는 동시에, 제2컬러를 감지하는 제3화소의 제3화소 값 데이터와, 제3화소의 근방에 위치하여 제2컬러를 감지하는 제4화소의 제4화소 값 데이터와의 차분 값을 제2화소 차분 값으로서 출력하는, 차분 생성 단계와; 제1화소 차분 값의 절대치와 제2화소 차분 값의 절대치 중의 최대치를 최대 화소 값 차로서 구하고, 구한 최대 화소 값 차 이상의 값을 양자화 참조 값으로서 결정하는 양자화 참조 값 결정 단계와; 제1화소 값 데이터와 양자화 참조 값과의 차를 제1오프셋 값으로서 설정하는 동시에, 제3화소 값 데이터와 양자화 참조 값과의 차를 제2오프셋 값으로서 설정하는 오프셋 값 설정 단계와; 제2화소 값 데이터와 제1오프셋 값과의 차를 제1피양자화 처리 값으로서 설정하는 동시에, 제4화소 값 데이터와 제2오프셋 값과의 차를 제2피양자화 처리 값으로서 설정하는 피양자화 처리 값 설정 단계와; 제1피양자화 처리 값 및 제2피양자화 처리 값을, 각각 양자화해서 제1압축 부호화 화소 값 데이터 및 제2압축 부호화 화소 값 데이터를 구하는 양자화 단계를 갖는 디지털 데이터 부호화 방법이다.

본 발명은, 또 다른 특징에 있어서는, 제1컬러를 감지하는 제1화소의 제1화소 값 데이터가 그대로 제1초기 화소 값 데이터로서 기록되어 있는 초기 화소 값 데이터부와, 제1화소의 근방에 위치해 제1컬러를 감지하는 제2화소의 제2화소 값 데이터를 나타내는 제1압축 부호화 화소 값 데이터가 기록되어 있는 압축 부호화 화소 값 데이터부를 구비하는 s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 입력하는 압축 부호화 화상 데이터 입력 단계와; 제1초기 화소 값 데이터와 설정된 제1양자화 참조 값과의 차를 제1오프셋 값으로서 구하는 오프셋 값 설정 단계와; 설정된 제1양자화 폭을 이용하여 제1압축 부호화 화소 값 데이터를 역양자화해서 제1역양자화 화소 값 데이터를 구하는 역양자화 단계와; 제1역양자화 화소 값 데이터와 제1오프셋 값의 합을 구함으로써 제1복호화 화소 값 데이터를 생성하는 복호화 화소 값 생성 단계를 갖는 디지털 데이터 복호화 방법이다.

(발명의 효과)

본 발명에 의한 디지털 신호 압축 부호화 및 복호화 장치 및 방법은, 부호화 및 복호화를 위한 테이블을 구비할 필요가 없고, 따라서 소규모인 회로 구성으로 이루어지고, 비교적 단순한 연산 처리를 이용해 높은 데이터 압축률을 실현한다.

도 1은 본 발명에 따른 디지털 스틸 카메라의 블록도.

도 2는 SDRAM의 저장 영역 사용 상황을 나타내는 개략도.

도 3은 촬상 소자 수광부에 있어서의 화소의 배치를 나타내는 개략도.

도 4는 본 발명의 제1실시형태에 따른 CODEC(13)의 블록도.

도 5A는 부호화 처리의 흐름도.

도 5B는 부호화 처리의 흐름도.

도 6은 양자화에 있어서의 제량(諸量)의 관계(relation of quantity)를 나타내는 그래프.

도 7은 화소 값 g2를 예로서 나타내는, 양자화 처리의 상세를 설명하기 위한 그래프.

도 8A는 복호화 처리의 흐름도.

도 8B는 복호화 처리의 흐름도.

도 9는 본 발명의 제2실시형태에 따른 CODEC(113)의 블록도.

도 10은 본 발명의 제3실시형태에 따른 CODEC(213)의 블록도.

도 11은 특허 문헌 1에 기재된 디지털 스틸 카메라의 구성을 나타내는 블록도.

도 12는 단일 보드 CCD의 부분 개략도.

도 13은 특허 문헌 2에 기재된 디지털 신호 압축 부호화법의 흐름도.

도 14는 특허 문헌 3에 기재된 화상 부호화 장치의 블록도.

* 도면의 주요 부분에 대한 부호의 설명

1: 디지털 스틸 카메라(DSC) 3: 렌즈(lens)

5: 촬상 소자 7: 촬상 소자 구동부

9: 신호 전처리부 11: 아날로그/디지털 변환부(ADC)

13: 코덱(CODEC) 15: SDRAM

17: YC 처리부 19: JPEG 처리부

21: 제어부 21: 외부 인터페이스

25: SD 메모리 카드 27: 표시부

29: 화소 31: 부호화부

33: 복호화부 35: 처리 대상 화소 값 입력부

37: 차분 생성부 39: 화소 값 저장부

41: 차분 양자화 범위 결정부 43: 존(zone) 양자화 폭 결정부

45: 초기 화소 값 생성부 47: 양자화 처리부

47a: 양자화 참조 값 결정부 47b: 오프셋 값 설정부

47c: 피양자화 처리 값 설정부 47d: 양자화부

47e: 오프셋 값 제로 설정부 49: 클래스 값 부호 생성부

51: 패킹부 51a: 압축 부호화 화상 데이터 생성부

51b: 압축 부호화 화상 데이터 출력부

53: 언패킹부(unpacking unit) 55: 역양자화 처리부

55a: 오프셋 값 설정부 55b: 역양자화부

55c: 복호화 화소 값 생성부 55d: 오프셋 값 제로 설정부

55e: 양자화 폭 설정부 55f: 양자화 참조 값 설정부

57: 출력부 59: 오차 검출부

61: 계수 승산부 63: 정수화부

65: 오차 보정부 67: 차분 양자화 범위 추출부

69: 분포 비율 해석부

〈제1실시형태〉

〈디지털 스틸 카메라의 구성〉

도 1은 본 발명에 따른 디지털 신호 압축 부호화·복호화 장치(CODEC)(13)를 실장한 디지털 스틸 카메라(DSC)(1)의 블록도이다. 도시하지 않는 피사체로부터 렌즈(3)에 입사한 광은, 렌즈(3)에 의해 집광(集光)이 되어, 촬상 소자(5)의 도시하지 않는 수광부에서 결상된다. 촬상 소자(5)는 CCD형 촬상 소자이다. 촬상 소자(5)의 도시하지 않는 화소는, 입력되는 광의 양에 따라서 전하를 축적한다. 축적된 전하는 촬상 소자 구동부(7)에 의해 소정의 타이밍으로 아날로그 화소 신호로서 출력되어, 신호 전(前)처리부(9)로 전송된다. 신호 전처리부(9)는 아날로그 화소 신호에 전처리를 실행하고, 아날로그/디지털 변환부(11)에 아날로그 화소 신호를 전송한다. 아날로그/디지털 변환부(ADC)(11)는 아날로그 화소 신호를 디지털 화소 신호로 변환하여, 디지털 포맷으로 화소 값 데이터를 출력한다.

촬상 장치인 디지털 스틸 카메라(1)에 있어서, ADC(11)로부터 출력된 디지털 포맷의 화소 값 데이터인 디지털 화소 신호는, 디지털 신호 압축 부호화·복호화 장치(CODEC)(13)에 입력된다. CODEC(13)는 입력된 디지털 화소 신호를 해석해 디지털 화소 신호를 압축 부호화한 압축 부호화 화소 값 데이터와, 압축 부호화에 관한 정보 등을 버퍼 메모리인 SDRAM(15)으로 전송한다. SDRAM(15)에 전송되는 이들 데이터 군(群)은, 압축 부호화 화상 데이터를 구성한다. CODEC(13)에 있어서의 압축 부호화 및 복호화는 이하에 상세히 설명한다. 출력되는 압축 부호화 화소 값 데이 터 등은, SDRAM(15)에 저장된다. SDRAM(15)에 저장된 압축 부호화 화소 값 데이터 등은, CODEC(13)에 다시 전송되고, 복호화되어 복호화 화소 값 데이터가 생성된다. 복호화 화소 값 데이터는, YC 처리부(17)에 전송되어, 휘도 및 색차(色差) 데이터로 변환되어, 다시 SDRAM(15)에 전송되어 저장된다. SDRAM(15)에 저장된 휘도 및 색차 데이터는, JPEG 처리부(19)에 전송되어 JPEG 압축 처리되고, JPEG 데이터화된 화상 데이터(JPEG 화상 데이터)는 SDRAM(15)에 저장된다. JPEG 화상 데이터는 DMA 제어 등에 의해 고속으로 외부 저장 매체인 SD 메모리 카드(25)에 전송되어 저장된다. 제어부(21)에 포함되는 도시하지 않는 CPU는 제어부(21)에 포함되는 도시하지 않는 메모리에 저장된 프로그램을 실행하고, 상기의 처리를 제어한다. 또한, 제어부(21)는 SDRAM(15)에 저장된 정보를 외부 인터페이스(external interface)(23)를 통해서 표시부(27) 및 SD 메모리 카드(25)에 전송될 수도 있다. 또한, SD 메모리 카드(25)에 저장된 정보를 판독하는 것도 가능하다.

또한 촬상 소자(5)는 MOS형 촬상 소자라도 좋다. 촬상 소자(5)는 적색을 감지하는 화소, 녹색을 감지하는 화소 및 청색을 감지하는 화소와 같이 3색을 감지하는 화소를 구비하는 촬상 소자에 한정되지 않는다. 보색계(complementary color system)의 화소를 구비한 촬상 소자라도 좋다. 또한, 서로 다른 2색을 감지하는 2종류의 화소만을 구비한 촬상 소자이어도 좋다. 그 외에, 1색만을 감지하는 화소를 구비하는 촬상 소자라도 좋고, 특정한 파장 대역의 광만을 감지하는 화소가 아니고, 넓은 범위의 광을 감지하는 균일한 특성의 화소를 복수 구비하는 촬상 소자라도 좋다. 외부 저장 매체는, SD 메모리 카드(25)에 한정되지 않고, 일반적으로 디 지털 카메라의 화상 저장 매체로서 이용되고 있는 것이면 좋다.

도 2는 SDRAM(15)의 저장 영역의 사용 상황을 개략적으로 나타낸 도면이다. 상기한 바와 같이, SDRAM(15)에는 3종류의 데이터, 즉 압축 부호화 화상 데이터, 휘도 및 색차 데이터, JPEG 화상 데이터가 저장되게 된다. 본 명세서에 있어서는, 압축 부호화 화상 데이터가 저장되는 영역을 저장 영역 15a, 휘도 및 색차 데이터가 저장되는 영역을 저장 영역 15b, 그리고 JPEG 화상 데이터가 저장되는 영역을 저장 영역 15c라고 칭한다. 본 도면에서 나타낸 저장 영역의 경계(파선)는, 형식적인 것이며 실제의 사용 비율을 나타내는 것은 아니다.

본 발명에 따른 촬상 장치(1)에서는, 촬상에 있어서, 우선 촬상 소자(5)로부터 출력된 신호 값에 근거하는 디지털 화소 신호(RAW 데이터)는, CODEC(13)에서 압축 부호화되어서 압축 부호화 화소 값 데이터(압축 부호화 화상 데이터를 구성하는 데이터 군의 일부)로서 저장 영역 15a에 저장된다. 이어서, CODEC(13)에서 복호화 처리된 후 YC 처리부(17)에 전송되어, 데이터 처리를 받고 휘도 및 색차 데이터로서 저장 영역 15b에 저장된다. 그리고 휘도 및 색차 데이터는 JPEG 처리부(19)에서 JPEG 압축 처리되어 JPEG 화상 데이터로서 저장 영역 15c에 저장된다. 이후, JPEG 화상 데이터는 SD 메모리 카드(25)에 전송된다. JPEG 화상 데이터의 생성은 다른 처리에 비해서 시간이 소요되는 처리이기 때문에, 연사와 같은 연속적인 촬상을 실행하면 JPEG 처리를 기다리는 데이터가 증가하여 SDRAM(15)의 저장 영역에 부담을 준다. 따라서, 조금이라도 SDRAM(15)의 저장 영역을 효과적으로 사용하고 또한 연사 가능 매수를 많게 하기 위해서는, 저장 영역 15a의 사용량을 작게 하는 것이 유 효하다. 본 발명에 의한 디지털 신호 압축 부호화는, 디지털 화소 신호(RAW 데이터)를 압축 부호화해서 SDRAM(15)에 전송하는 것으로 저장 영역 15a의 사용량을 작게 한다고 하는 효과를 갖는다. 따라서, 영역 15b 및 영역 15c에서 사용할 수 있는 저장 영역을 크게 만들 수 있고, 나아가서는 디지털 스틸 카메라(1)의 연사 가능 매수를 증가시킨다. 또한 CODEC(13)와 SDRAM(15) 사이에 흐르는 데이터량을 감소시키기 때문에, 처리 시간의 단축 및 소비 전력의 저감이라고 하는 효과도 얻을 수 있다.

이어서, 본 발명의 디지털 스틸 카메라(1), 즉, 촬상 장치의 디지털 데이터 부호화 및 복호화 장치인 CODEC(13)에서의 처리에 대해서 상세히 설명한다.

CODEC(13)의 구성의 설명에 앞서, 우선, 도 3을 참조하여 CODEC(13)에 입력되는 디지털 화소 신호(RAW 데이터)에 대해서 설명한다. 도 3은, 촬상 소자(5)의 수광부에서 화소(29)의 배열을 나타내는 도면이다. 수광부에는, 복수의 화소(29)가 배열되고, 화소(29)는, 각각, 적색(R), 녹색(G) 또는 청색(B) 중 어느 하나의 컬러 필터를 갖는다. 컬러 필터에 의해, 화소(29) 각각이 감지하는 파장 대역(가시광 영역에 있어서는 색)은 한정된다. 다른 색(파장 대역)을 감지하는 화소는, 수광부에 주기적으로 배치되어 있다. 3색의 컬러 필터의 배열 방식은, 소위 베이어 배열(Bayer array)이다. 화소(29)에 축적된 전하는, 촬상 소자 구동부(7)(도 1 참조)에 의해서, 1 라인마다, 좌측의 화소로부터 순서대로 출력된다. 예를 들면, 우선 제1라인 L1의 좌단의 화소 G1로부터 순서대로, G1, R1, G2, R2, …의 순서대로 축적 전하가 판독되고, 이어서 제2라인 L2의 좌단의 화소 B1로부터 순서대로 B1, G1, B2, G2, …의 순서대로 축적 전하가 판독된다. 판독된 전하는 신호 전처리부(9)에서 전(前)처리가 되고, ADC(11)에서 디지털 화소 신호로 변환된다. ADC(11)에서는, 각각의 화소로부터의 신호를 12 비트의 디지털 화소 신호로 변환한다. 따라서, CODEC(13)에는, 각각 12 비트 길이를 갖는 디지털 화소 신호(화소 값 데이터)가, 제1라인 L1의 좌단의 화소 G1에서의 디지털 화소 신호로부터 순서대로, 화소 G1, 화소 R1, 화소 G2, 화소 R2, …의 순서대로 입력된다. 제1라인 L1에 포함되는 화소로부터의 디지털 화소 신호의 입력이 종료하면, 이어서 제2라인 L2에 포함되는 화소로부터의 디지털 화소 신호가 마찬가지로 CODEC(13)에 입력된다.

〈코덱(13)의 구성〉

도 4는 본 실시형태에 있어서의 CODEC(13)의 블록도이다. CODEC(13)의 구성에 대해서, 부호화 및 복호화되는 신호의 흐름에 따라 개략적으로 설명한다. CODEC(13)의 상세한 동작 설명은 차후에 디지털 화소 신호의 값, 즉 화소 값의 구체적인 값을 예시 목적으로 이용해서 나타낸다.

도 4를 참조하면, CODEC(13)는 부호화부(31)와 복호화부(33)로 대별된다. 디지털 데이터 부호화 장치를 구성하는 부호화부(31)는, ADC(11)로부터의 출력을 입력하고, SDRAM(15) 및 복호화부(33)에 데이터를 출력할 수 있다. 디지털 데이터 복호화 장치를 구성하는 복호화부(33)는, 부호화부(31) 및 SDRAM(15)으로부터의 출력을 입력하고, 부호화부(31) 및 YC 처리부(17)에 데이터를 출력할 수 있다.

〈부호화부(31)에서의 압축 부호화 처리〉

도 4 및 도 5A를 참조하여 CODEC(13)의 부호화부(31)에 있어서의, 화소 값 데이터(디지털 화소 신호 값)의 압축 부호화에 관한 처리에 대해서 설명한다. 도 5A는 압축 부호화 처리의 흐름도이다.

ADC(11)의 출력인 각각의 화소의 화소 값은, 소정의 타이밍으로 처리 대상 화소 값 입력부(35)에 입력된다. 본 실시형태에 있어서, 각각의 디지털 화소 신호 값(화소 값 데이터)은 12 비트 길이의 디지털 데이터이다. 즉, 입력 화소 값 데이터 비트 길이(d)는, 본 실시형태에 있어서는 12이다.

도 4를 참조하면, 입력부(35)에 전송되어 온 화소 값 데이터는 처리 대상 화소 값으로서, 초기 화소 값 생성부(45)와, 차분 생성부(37)와, 양자화 처리부(47)와, 화소 값 저장부(39)에 전송된다.

초기 화소 값 생성부(45)는 전송되어 온 처리 대상 화소 값을 d(=12) 비트 길이의 초기 화소 값 데이터로서 패킹부(51)에 전송한다. 패킹부(51)는 압축 부호화 화상 데이터의 생성을 실행하는 압축 부호화 화상 데이터 생성부(51a) 및 출력을 실행하는 압축 부호화 화상 데이터 출력부(51b)를 갖는다. 패킹부(51)의 생성부(51a)는, 전송되어 온 초기 화소 값 데이터를 압축 부호화 화상 데이터에 기록할 필요가 있다고 판단하면, 압축 부호화 화상 데이터에 포함되도록 처리하고, 그 화소 값 데이터를 초기 화소 값 데이터로서 기록할 필요가 없을 경우에는, 전송되어 온 초기 화소 값을 무시한다. 초기 화소 값은, 화소의 각각의 색(R, G, B)에 대해서, 1 프레임 분량의 화상 데이터 내에 존재하고 있어도 좋다. 그러나, 본 실시형태에 있어서는, 후술하는 s 비트 길이의 패킹 데이터 각각에, 각각의 색의 화소 값에 대해서 초기 화소 값 데이터를 적어도 1개 기록한다. 소정의 패킹 데이터에 대 해서, 일체 기록되지 않는 색의 화소 값에 대해서는, 초기 화소 값 데이터를 기록할 필요는 없다. 여기서는, 초기 화소 값 생성부(45)는, 실질적으로는 아무런 특별한 처리를 실행하는 것이 아니고, 입력한 데이터를 그대로 출력한다. 처리 대상 화소 값을 초기 화소 값 데이터로서 패킹부(51)에 입력하는 처리를 명확히 할 목적으로 초기 화소 값 생성부(45)는 도시되어 있다(도 5A, 단계 S101 및 S102).

화소 값 저장부(39)는 복수의 화소 값 데이터를 일시 저장하고, 적절한 타이밍으로 차분 생성부(37), 양자화 처리부(47)에 출력한다. 이들 저장되는 화소 값은, 현재의 처리 대상 화소 값보다도 먼저 화소 값 데이터로서 CODEC(13)에 입력된, 이전의 처리 대상 화소 값, 및 먼저 압축 부호화되어, 복호화부(33)에 전송되어 복호화에 관한 처리를 받아서 복호화된 화소 값, 즉 복호화 화소 값 데이터 중 어느 하나이다. 저장부(39)는, 저장하고 있는 복수의 화소 값 데이터들 중에서, 현재의 처리 대상 화소 값과 동일한 색이며 촬상 소자의 수광부에 있어서 현재의 처리 대상 화소 값의 소오스인 화소의 근방에 위치하는 화소(29)(도 3 참조)의 화소 값 데이터, 또는 압축 부호화 처리를 받아, 더 복호화된 복호화 화소 값 데이터를 소정의 타이밍으로 근방 좌측 동일 색 화소 값(a left side nearby same color pixel value)으로서 차분 생성부(37)에 전송한다. 이, 근방 좌측 동일 색 화소 값은, 일반적으로 수광부에 있어서, 현재의 처리 대상 화소 값이 나타내는 화소보다도 좌측에 있다. 동일 라인의 좌측에 동일 색의 화소가 존재하지 않을 경우에는, 위쪽 라인의 근방에 존재하는 동일 색 화소의 화소 값을 근방 좌측 동일 색 화소 값으로서 사용하면 좋다. 저장된 화소 값이 존재하지 않을 경우에는, 소정의 값을 근방 좌측 동일 색 화소 값으로서 출력해도 좋다. 또한 본 실시형태에 있어서, 처리 대상 화소에 제일 근접한 동일 색 화소를, 근방에 위치하는 동일 색 화소로서 이용하고 있지만, 제일 근접하지 않더라도, 근방에 위치하는 화소이면, 차분 생성에 이용해도 좋다.

차분 생성부(37)는 입력부(35)로부터 전송된 처리 대상 화소 값과, 저장부(39)에부터 전송된 근방 좌측 동일 색 화소 값과의 차분(=처리 대상 화소 값-근방 좌측 동일 색 화소 값)을 생성한다(도 5A, 단계 S103). 그러나, 현재의 처리 대상 화소 값이, 최초 화소 값으로서 기록되었을 경우, 차분 생성부(37)에 있어서의 현재 처리 대상 화소 값에 대한 처리는 불필요하다. 생성된 차분의 값은, 화소 차분 값으로서 차분 양자화 범위 결정부(41)에 전송된다.

차분 양자화 범위 결정부(41)는, 차분 생성부(37)로부터 전송되는, 각각의 처리 대상 화소 값에 관한 차분 값의 절대치, 즉 차분 절대치에 근거하여 각각의 처리 대상 화소 값의 차분 절대치의 "양자화 범위"를 구한다. 이 "양자화 범위"는, 차분 절대치를 2진수로 표현한 수, 차분 절대치(2진 표기)의 자릿수를 나타낸다. 즉, 차분 절대치의 부호 첨부(signed) 또는 무부호(unsigend) 정수 바이너리 표현, 즉, 차분 값의 무부호 정수 바이너리 표현에 필요한 자릿수(비트 수)를 의미한다. 양자화 범위는, 존(zone) 양자화 폭 결정부(43)에 전송된다(도 5A, 단계 S104).

존 양자화 폭 결정부(43)에서는, 후술하는 동일한 "존(zone)"에 포함되는 다른 화소, 즉 제2화소, 제3화소, 제4화소 등의 양자화 범위가, 차분 양자화 범위 결정부(41)로부터 전송되는 것을 기다려, 이하의 처리를 시작한다(도 5A, 단계 S105). 여기서, 용어 "존(zone)"은, 근접하는 복수의 소정수의 화소에서 구성된 화소의 집합(및, 이들 화소의 화소 값의 집합)을 나타낸다. "근접"하는 화소라는 것은, 소정의 화소에 대해 인접하거나 또는 가장 가까운 화소를 나타낸다. 존에 포함되는 모든 화소는, 동일한 존에 포함되는 다른 화소들 중 어느 하나에 인접할 수 있다. 본 발명에 의한 CODEC(13)는, 동일한 존에 포함되는 화소 값을, 후술하는 동일한 "존 양자화 폭", 즉 양자화 폭에 기초하여 동일한 양자화 정밀도(양자화 대표 값 간격)로 양자화한다. 1개의 존에 포함되는 화소의 수는, 본 실시형태에 있어서는, 4(p=4)이다. 그러나, 존에 포함되는 화소의 수 p는 4에 한정되지 않고, 1로부터 수광 소자에 포함되는 화소의 총수까지의 정수이면 좋다. 또한 화상 1 프레임 분량의 화소 값에 대한 압축 부호화에 있어서, 존에 포함되는 화소의 수 p가 가변이라도 좋다. 초기 화소 값으로서 사용되는 화소 값 데이터를 출력한 화소에 대해서는, 존에 포함하지 않아도 좋다.

양자화 폭을 결정하는 블록인 존 양자화 폭 결정부(43)에서는, 처리 대상 화소 값의 양자화 즈음의 양자화 계수 또는 양자화 폭에 관한 정보인, 존 양자화 폭을 결정한다(도 5A, 단계 S106).

"존(zone) 양자화 폭"은, 동일한 존에 포함되는 화소 값을 양자화할 때의 양자화 대표 값의 폭(간격)에 관한 정보를 양자화 처리부(47)에 전송하기 위한 데이터라고 할 수도 있다. 이 존 양자화 폭은, 0 이상의 정수 값이다. 존 양자화 폭은, 존에 포함되는 화소 값의 근방 좌측 동일 색 화소 값과의 차분 값의 최대치인 최대 화소 값 차에 대응하는 양자화 범위에 1을 더한 값과, 화소 값 데이터를 압축 부호 화한 데이터의 비트 수 n, 즉 "압축 부호화 화소 값 데이터 비트 수(n)"와의 차에 동등하다. 이 "압축 부호화 화소 값 데이터 비트 수(n)"는 소정의 값이며, 본 실시형태에 있어서는, 이 값이 n=8이다. 이것은, 입력된 처리 대상 화소 값이 12 비트 길이의 데이터인 것에 대해, 그 화소 값에 대응하는 압축 부호화 화소 값 데이터는, 8 비트 길이를 갖는 데이터로서 기록되는 것을 의미한다. 단, 이 압축 부호화 화소 값 데이터의 비트 수 n은, 8에 한정되지 않는다. 또한, 화상 1 프레임 분량의 화소 값에 대한 일련의 압축 부호화에 있어서, 이 값은 가변이라도 좋다. 또한, 상기 연산의 결과, 존 양자화 폭이 음수가 되었을 경우, 존 양자화 폭은 0에 재설정될 수 있다.

여기서, "양자화 대표 값 간격"이라는 것은, 정수 값의 양자화에 있어서 동일한 양자화값에 포함되는 원래의 정수 값의 개수라고 할 수도 있다. 예를 들면, 어떤 정수 값을 나타내는 디지털 데이터의 양자화에 즈음해 라운딩(rounding)을 실행하지 않을 경우, 양자화 대표 값 간격은, 2의 0승=1이다. 이 경우, 이 정수 값과 그 양자화 값 사이에 1대1의 대응을 유지해서 양자화된다. 또한 양자화 대표 값 간격이 2의 1승=2이면, 정수 값을 나타내고 있는 디지털 데이터의 양자화에 즈음하여, 최하위 1비트를 라운딩할 수 있는 것을 의미한다. 그 결과, 2종류의 정수 값을 나타내고 있었던 2종류의 디지털 데이터가, 동일한 양자화 값으로 양자화된다. 또한, 양자화 대표 값 간격이, 2의 2승=4이면, 정수 값을 나타내는 디지털 데이터의 양자화에 즈음하여, 정수 값을 나타내는 디지털 데이터의 하위 2 비트를 라운딩할 수 있는 것을 의미한다. 그 결과, 다른 4종류의 정수 값을 나타내고 있었던 4종류 의 디지털 데이터가, 동일한 양자화 값으로 양자화된다. 하위 3비트 이상을 라운딩할 경우도, 마찬가지이다.

결정된 존 양자화 폭은, 양자화 처리부(47)와, 클래스(class) 값 부호 생성부(49)에 전송된다.

양자화 폭 정보 데이터를 생성하는 클래스 값 부호 생성부(49)는, 전송되어 온 존 양자화 폭에 대응하는 m 비트의 "클래스 값", 즉 양자화 폭 정보데이터를 패킹부(51)에 전송한다. 본 실시형태에 있어서, m=2이다. 이 "클래스 값"은, 각각의 존에 포함되는 화소 값 데이터의 양자화에 있어서의 양자화 계수(양자화에 의해 라운딩할 수 있는 비트 수)를 나타내는 데이터이며, 압축된 화소 값 데이터인 압축 부호화 화소 값 데이터와 함께 패킹부(51)에서 처리되어, 기록된다(도 5A, 단계 S107).

도 4를 다시 참조하면, 양자화 처리부(47)는, 수신한 처리 대상 화소 값, 근방 좌측 동일 색 화소 값, 존 양자화 폭에 기초하여 양자화를 실행하고, 결과를 처리 대상 화소 값의 압축 값인 압축 부호화 화소 값 데이터로서 패킹부(51)에 전송한다(도 5A, 단계 S108).

양자화 처리부(47)는,

양자화 참조 값을 결정하는 양자화 참조 값 결정부(47a)와,

화소 값 데이터와 양자화 참조 값으로부터 오프셋 후보 값 또는 오프셋 후보 값을 설정하는 오프셋 값 설정부(47b)와,

제로 이하의 오프셋 (후보)값으로부터, 제로 값을 갖는 오프셋 값을 설정하 는 오프셋 제로 설정부(47e)와,

실제로 양자화하는 값인 피양자화 처리 값을 설정하는 피양자화 처리 값 설정부(47c)와,

피양자화 처리 값을 양자화하는 양자화부(47d)를 포함하고 있다. 양자화 처리부(47)에 있어서의 처리는, 이하에서 설명하는 처리 예를 이용해서 상세히 설명한다.

패킹부(51)는, 입력된 각종 데이터, 즉 압축 부호화 데이터 군을 다수 수집해서 적당한 크기로 패킹하는 기능(생성부(51a))을 갖고, 또한 패킹되었던 데이터를 SDRAM(15)과, 언패킹부(53)에 출력하는 기능(출력부(51b))을 갖는다. 또한, 패킹하지 않고, 데이터 각각을 그대로 출력하는 것도 가능하다. 본 실시형태에서는, 압축 부호화 화상 데이터인 패킹 데이터의 크기는 s 비트이다. s(s: 자연수)는, 예를 들면, 8의 정수 배(8, 16, …, 64, …, 96 등)이다. 패킹 데이터의 후부(後部)에서, 의미 있는 데이터를 기록하는 것에 사용할 수 없는 정도의 작은 미사용 비트가 잔존할 경우, 소정의 더미(dummy) 데이터를 기록하면 좋다.

〈복호화부(33)에 있어서의 복호화 처리〉

압축 부호화 화상 데이터를 입력하는 블록인 언패킹부(53)는, 패킹부(51)로부터 전송된 패킹 데이터 또는 패킹되지 않은 데이터, 및 SDRAM(15)으로부터 전송된 패킹 데이터를 해석하고, 패킹 데이터는, 초기 화소 값 데이터를 포함하는 초기 화소 값 데이터부, 클래스 값을 포함하는 양자화 폭 정보 데이터부, 압축 부호화 화소 값 데이터를 포함하는 압축 부호화 화소 값 데이터부로 분리되고, 또한 각각 의 데이터부는 1개 또는 복수의 데이터로 분리되어, 각각의 데이터는 역양자화 처리부(55)에 전송된다.

역양자화 처리부(55)는,

초기 화소 값 데이터 또는 복호화된 화소 값 데이터와, 양자화 참조 값을 이용해서 오프셋 값을 설정하는 오프셋 값 설정부(55a)와,

압축 부호화 화소 값 데이터를 역양자화해서 역양자화 화소 값 데이터를 구하는 역양자화부(55b)와,

화소 값 데이터 또는 복호화된 화소 값 데이터와, 역양자화 화소 값 데이터를 이용해서 복호화 화소 값 데이터를 생성하는 복호화 화소 값 생성부(55c)와,

제로 이하의 오프셋 값 또는 오프셋 후보 값을, 제로에 설정하는 오프셋 값 제로 설정부(55d)와,

양자화 폭을 설정하는 양자화 폭 설정부(55e)와,

양자화 참조 값을 설정하는 양자화 참조 값 설정부(55f)를 포함하고 있다.

역양자화 처리부(55)는, 수신한 각종 데이터를 이용하여, 압축 부호화 화소 값 데이터를 양자화 처리부(47)와 반대의 처리를 실행해 역양자화해서 역양자화 화소 값 데이터를 구하고, 역양자화 화소 값 데이터를 더 처리함으로써 복호화된 복호화 화소 값 데이터를 얻는다. 복호화 화소 값 데이터(본 실시형태에 있어서 12 비트 길이 데이터)는 출력부(57)에 전송된다. 초기 화소 값 데이터는, 12 비트 길이의 비-압축 데이터(실제 데이터)로서 수신되기 때문에, 그대로 출력부(57)에 전송된다.

출력부(57)는, 수신한 초기 화소 값 데이터, 복호화 화소 값 데이터를 YC 처리부(17)나, 화소 값 저장부(39)에 전송한다. 화소 값 저장부(39)에서는, 수신한 복호화 화소 값 데이터를, 다른 처리 대상 화소 값의 차분 생성 처리 및 양자화에 이용할 수 있다.

〈압축 부호화 처리 예〉

지금부터, 처리 대상 화소 값 등에 구체적 수치를 부여하고, 도 5B, 도 6 및 도 7을 참조하여, 본 실시형태의 CODEC(13)에 있어서의 압축 부호화 처리 및 복호화 처리를 상세히 설명한다. 도 5B는, 도 5A의 단계 S108에 관한 처리의 상세를 나타내는 흐름도이다.

ADC(11)로부터 소정의 타이밍으로, 처리 대상 화소 값 입력부(35)에 12 비트 데이터가 입력된다. 화소 G1의 화소 값 g1이 먼저 입력되고, 이어서 화소 R1의 화소 값 r1이 입력되며, 마찬가지로 g2, r2, g3, r3, …들이 입력된다. 1회의 촬상에 있어서, 각각의 색에 대해서 최초로 입력되는 화소 값(본 예에 있어서는 g1, r1)은, 초기 화소 값 생성부(45)에 전송되어, 초기 화소 값 데이터로서 처리되어, 패킹부(51)에 전송되는 것이 바람직하다. 초기 화소 값은, 실제로 데이터 자체로 기록되어, 차분 생성 처리, 양자화 처리는 실행되지 않는다. 그러나, 다음의 동일 색 화소의 화소 값 데이터를 압축 부호화 처리할 때에 필요하기 때문에, 양자화 처리부(47) 및 화소 값 저장부(39)에 전송되어 일시적으로 저장된다. 또한, 소정의 화소 수 간격으로 처리 대상 화소 값의 데이터를 초기 화소 값 데이터로서 처리하면, 양자화에 의한 오차의 축적을 리셋하는 효과가 기대되어, 입력 화상에 대한 재생 화상의 SN비의 개선이 기대된다.

본 실시형태는, 1개의 존에 4개의 화소를 포함하도록 구성되어 있다(즉 p=4). 초기 화소 값 데이터로서 취급되는 화소 값 g1, r1은, 그대로 패킹부(51)에 전송되어, 패킹 데이터에 각각 12 비트 폭의 데이터로서 기록된다. 이어서, 화소 G2, R2, G3, R3이 제1의 존에 포함되는 화소로서 취급된다. 제2, 제3의 존에 대해서도 마찬가지이다.

이어서 제1존에 포함되는 화소의 화소 값 g2, r2, g3, r3에 관한 처리를 설명한다. 화소 값 g1, r1, g2, r2, g3, r3에는, 아래의 표(표 1)에 적는 값을 구체 값 예로서 이용한다.

[표 1]

화소	G1	R1	G2
화소 값	g1	r1	g2
화소 값(10진 표기)	2000	250	2100
화소 값(2진 표기)	011111010000	000011111010	100000110100
화소	R2	G3	R3
화소 값	r2	g3	r3
화소 값(10진 표기)	50	1700	100
화소 값(2진 표기)	000000110010	001110100100	000001100100

화소 값 g2를 처리 대상 화소 값으로 하고, g2를 양자화 처리부(47), 차분 생성부(37) 및 화소 값 저장부(39)에 전송한다. 이때, 화소 값 저장부(39)로부터는 화소 값 g1이 근방 좌측 동일 색 화소 값으로서 차분 생성부(37)에 전송되어, 두 화소 값으로부터 차분 값이 구해진다. 즉, 이때의 차분 값을 Δg2라고 하면,

Δg2=g2-g1

이다. 이 차분 값 Δg2는, 차분 양자화 폭 결정부(41)에 전송된다.

이 차분 생성 처리를 일반화하면,

Δci=ci-c(i-1), (c는 화소의 색을 나타내고, c: r,g, 또는 b이며, i는 화소의 순번을 나타내는 정수이다)가 된다. ci는, 처리 대상 화소 값이고, c(i-1)은 근방 좌측 동일 색 화소 값이며, 화소 값 저장부에 저장되었던, 이전에 입력된 처리 대상 화소 값, 또는 일단 압축 부호화 처리되어 복호화되었던 복호화 화소 값 데이터이다. i=1의 경우와 같이, 첨부 글자 "i-1"이 나타내는 화소 값 데이터가 존재하지 않을 경우, 촬상 소자의 수광부에서, 처리 대상의 화소의 위쪽 근방에 위치하는 화소의 화소 값 데이터를 이용해도 좋다. 본 예에서는, 이전에 입력된 처리 대상 화소 값을 근방 좌측 동일 색 화소 값으로서 이용한다. 제2존 이후의 존에 포함되는 화소 값의 차분 생성에 있어서, 복호화 화소 값 데이터를 근방 좌측 동일 색 화소 값으로서 이용하는 것도 가능하다.

마찬가지로 해서, 처리 대상 화소 값 r2에 관한 차분 값 Δr2, 처리 대상 화소 값 g3에 관한 차분 값 Δg3, 처리 대상 화소 값 r3에 관한 차분 값 Δr3이 구해진다. 처리 대상 화소 값 g3에 대해서는, 화소 값 저장부(39)에 저장된 화소 값 g2와의 차분 값이 Δg3이 된다.

차분 양자화 폭 결정부(41)는, 수신한 각각의 차분 값의 절대치, 즉 차분 절대치를 구하고, 차분 절대치를 2진수 표기했을 경우의 자릿수, 즉 양자화 범위(필요 비트 수, bit ())를 구한다.

Δg2에 대해서는, 차분 값이 +100이기 때문, 차분 절대치는 그대로 100이 되고, 10진수 100은 2진수에서는, 1100100이 된다. 그 때문에, 필요 비트 수 bit(｜ Δg2｜)는 7이 된다. 본 명세서에 있어서, 이 이후, 10진수 X는, &D(X)로 표기하고, 2진수 Y는 &B(Y)로 표기한다. 마찬가지로 얻은 4개의 양자화 범위(bit(｜Δg2｜), bit(｜Δr2｜), bit(｜Δg3｜), bit(｜Δr3｜))는 존 양자화 폭 결정부(43)에 전송된다.

차분 양자화 폭 결정부(41)에서의 처리를 일반화하면, 차분 값의 절대치, 즉 차분 절대치를 구하고, 2진수로 표기된 차분 절대치의 자릿수를 양자화 범위로서 존 양자화 폭 결정부(43)에 출력하게 된다.

존 양자화 폭 결정부(43)는, 제1의 존에 포함되는 화소의 화소 값에 관한 각각의 양자화 범위의 입력을 기다려, 존 양자화 폭을 구한다.

존 양자화 폭은, 그 존에 포함되는 화소의 양자화 범위의 최대치에 1을 가산하여 구한 값과, 압축 부호화 화소 데이터 비트 수와의 차에 동등하다. 그러나, 음수가 되었을 경우는 제로로 한다. 즉, 존 양자화 폭은, 그 존(zone)에 포함되는 화소와 근방 좌측 동일 색 화소 값과의 차분 절대치 중에서 최대치인 최대 화소 값 차에 근거해서 결정된다.

본 실시형태에 있어서는, 화소 값 데이터는, 8 비트 길이의 압축 부호화 화소 값 데이터로 압축 부호화되므로, 압축 부호화 화소 값 데이터 비트 수 n=8이다. 따라서, 존 양자화 폭은 2(=9+1-8)로 된다.

존 양자화 폭 결정부(43)는, 존 양자화 폭을 결정하면, 존 양자화 폭을 양자화 처리부(47), 및 클래스 값 부호 생성부(49)에 전송한다.

양자화 처리부(47)에 있어서는, 수신한 처리 대상 화소 값과 근방 좌측 동일 색 화소 값과의 차분 값에 근거하는 값인 "피양자화 처리 값"을, 존 양자화 폭에 근거해서 양자화한다.

제1의 존의 존(zone) 양자화 폭은 2이다. 존 양자화 폭과, 양자화 처리부에 의해서 실행되는 양자화의 정밀도 및 양자화 대표 값의 간격과의 사이에는 상관 관계가 존재하고, 존 양자화 폭이 증대함에 따라 양자화 대표 값의 간격도 증대하는 관계에 있다. 본 발명은, 동일한 존에 포함되는 화소 값으로부터 양자화 처리해야 할 값을 구하고 있다. 양자화의 정밀도는 높은 것이 요망된다(양자화 대표 값의 간격은 좁은 것이 요망된다). 그러나, 양자화해야 할 값이 큰 값인 경우, 양자화의 정밀도를 낮추어서, 양자화해야 할 값을 규정된 비트 길이를 갖는 부호로 변환할 필요가 생긴다. 그 경우에는, 양자화의 정밀도를 낮추는데, 즉 양자화 대표 값의 간격을 확대한다. 존 양자화 폭은, 가능한 양자화 정밀도에 관한 지표(index)가 된다. 존 양자화 폭과 양자화의 정밀도(또는, 양자화 대표 값의 간격)와의 관계는, 존 양자화 폭에도 관련되는 소망의 부호의 비트 길이와의 관계를 고려하여 결정할 수 있다.

본 예에 있어서는, 양자화 대표 값 간격을 4로 하고, 즉 피양자화 처리 값의 하위 2 비트를 라운딩하여, 8 비트 길이의 압축 부호화 화소 값 데이터를 구한다.

본 발명의 CODEC(13)에 있어서는, 차분 값을 그대로 양자화하는 것이 아니고, 처리 대상 화소 값과 그 근방 좌측 동일 색 화소 값을 기초로, 우선 "피양자화 처리 값"을 산출하여, 그 피양자화 처리 값을 양자화하고, 그 값을 압축 부호화 화소 값 데이터로서 출력한다.

본 예에 있어서의 처리 대상 화소 값, 차분 값, 압축 부호화 화소 값 데이터 및, 처리 과정에서 사용하는 값들을 표 2에 나타낸다.

[표 2]

화소	G1	R1	G2	R2
화소 값	g1	r1	g2	r2
화소 값(10진 표기)	2000	250	2100	50
화소	G2	R2	G3	R3
화소 값	g2	r2	g3	r3
화소 값(10진 표기)	2100	50	1700	100
차분 값	Δg2	Δr2	Δg3	Δr3
차분 값(10진 표기)	100	-200	-400	50
선택된 클래스	&D(2) (&B(10))
양자화 폭	4 (=2^(10-8)
양자화 정밀도	10비트 정밀도(12-(10-8)) (10-비트 데이터길이의 8-비트 양자화)
양자화 참조 값 (=2^(양자화 정밀도-1))	512 (=2^(10-1))

오프셋 후보 값 (근방 좌측 동일 색 화소 값 -양자화 참조 값)	1488	-262	1588	-462
오프셋 후보 값의 부호	+	-	+	-
오프셋 값	1488	0	1588	0
피양자화 처리 값(10진 표기) (=처리 대상 화소 값 -오프셋 값)	612	50	112	100
피양자화 처리 값(2진 표기)	0011100100	0000110010	0001110000	0001100100
양자화값(2진 표기) (압축 부호화 화소 값 데이터)	00111001	00001101	00011100	00011001

우선, 화소 G2의 화소 값 데이터의 압축 부호화 화소 값 데이터의 산출을 예로 양자화 처리를 설명한다. 제1의 존의 양자화 폭은 4이다. (데이터의 하위 2 비트를 라운딩함으로써, 10 비트 길이 데이터로부터 8 비트 길이 데이터를 얻는다. 따라서, 12 비트 길이의 화소 값에 관한 데이터는 2 비트 분량을 라운딩할 수 있어서 10비트 정밀도로 양자화된다.) 이 경우, "양자화 참조 값"(= 2의 (양자화 정밀 도-1) 승)은, 512가 된다(도 5B, 단계 S108a). 즉, "양자화 참조 값"은, 최대 화소 값 차에 근거해서 결정되는 존 양자화 폭에 의해 정해지는 양자화 정밀도로부터 오로지 유일무이하게 결정된다. 즉, 양자화 참조 값은 최대 화소 값 차에 근거해서 결정된다. 또한 양자화 참조 값은, 최대 화소 값 차 이상의 값이라도 좋다. 이어서, 화소 값 g2의 근방 좌측 동일 색 화소 값인 화소 값 g1로부터 상기 양자화 참조 값을 감산하여, "오프셋 후보 값"을 얻는다(도 5B, 단계 S108b). 오프셋 후보 값의 부호를 조사하여, 부호가 음수가 아닐 경우, 오프셋 후보 값을 그대로 "오프셋 값"으로 한다. 오프셋 후보 값이 음수이면, 오프셋 값을 0으로 한다(도 5B, 단계 S108c, S108d, S108e). 이어서, 처리 대상 화소 값 g2로부터 오프셋 값을 감산해서 "피양자화 처리 값"을 구한다(도 5B, 단계 S108f). 이 처리는, 차분 값 Δg2와 양자화 참조 값의 합이 "피양자화 처리 값으로서 설정된다고 환언할 수도 있다. 이 값은, 화소 G2에서는 &B(0011100100)이다. 이 피양자화 처리 값의 하위 2 비트를 라운딩하고, 양자화 값(압축 부호화 화소 값 데이터) &B(00111001)을 얻는다(도 5B, 단계 S108g). 라운딩할 수 있는 비트 중에서 최상위의 비트가 「1」이면, 라운딩할 수 없는 비트 중에서 최하위 비트에 「1」을 가산한 값을 압축 부호화 화소 값 데이터로 한다. 「1」의 가산에 의해 캐리(carry)가 생길 경우에는, 당연히 그 밖의 비트도 변화된다. 또한 오프셋 후보 값이 음수가 되었을 경우, 오프셋 후보 값을, 오프셋 후보 값의 하위 r 비트를 제외하고, 그 밖의 비트를 제로로 해서 얻는 값으로 해도 좋다. 여기서, r은 양자화로 라운딩된 비트 수에 동등하다. 예를 들면, 존 양자화 폭이 4인 경우, 양자화에 있어서 2 비트의 라운딩이 실행되므로, 하위 2 비트를 제외하고서 제로로 한 값, 즉 &B(0000000010)을 오프셋 값으로서 이후의 처리를 실행해도 좋다. 그 경우, 화소 R2의 피양자화 처리 값은 &D(48)이 된다.

이어서, 화소 R2의 화소 값 r2의 양자화를 예로 설명한다. r2의 근방 좌측 동일 색 화소 값은 r1이다. 따라서, 오프셋 후보 값은 -262가 된다. 오프셋 후보 값이 음수가 되었을 경우 오프셋 값은 0이다. 그 때문에, 피양자화 처리 값은, 화소 값 r2의 상위 2 비트를 배제한 10비트 길이의 화소 값 r2 그 자체가 되고, 그 값은 &B(0000110010)이다. 이 피양자화 처리 값의 하위 2 비트를 라운딩하고, 양자화 값(압축 부호화 화소 값 데이터) &B(00001101)을 얻는다. 마찬가지로 해서, 화소 G3의 화소 값 g3의 압축 부호화 화소 값 데이터 &B(00011100) 및 화소 R3의 화소 값 r3의 압축 부호화 화소 값 데이터 &B(00011001)을 얻는다.

도 6 및 도 7을 참조하여, 양자화 처리부(47)의 처리에서 사용한 각각의 양과, 처리 과정을 설명한다. 도 6은, 본 예에서 이용한 화소 값, g1, r1, g2, r2, g3, r3과 다른 양(other quantities)의 관계를 그려 넣은 그래프이다. 화소 값은, 12 비트 데이터로서 주어지는 0 이상 4095 이하의 정수 값이다. 화소 값 g2의 양자화에 있어서는, 화소 값 g1과 양자화 참조 값에 근거하여 g2의 오프셋 값을 구하고, 화소 값 g2로부터 g2의 오프셋 값을 감한 값을 g2의 피양자화 처리 값으로 한다. 또한, g2의 피양자화 처리 값은, 양자화 참조 값과 차분 값 Δg2의 합에 동등하다. 따라서, 화소 값 g1 및 화소 값 g2를 이용하지 않더라도, g2의 피양자화 처리 값을 구하는 것은 가능하다. 화소 값 r2 및 r3의 양자화에 있어서는, 오프셋 값 은 0이 된다. 그 때문에, r2 및 r3의 피양자화 처리 값은 화소 값 r2와 r3에 동등하다. 화소 값 g3의 양자화에 있어서는, 화소 값 g2와 양자화 참조 값에 근거하여 g3의 오프셋 값을 구하고, 화소 값 g3으로부터 g3의 오프셋 값을 감한 값을 g3의 피양자화 값으로 한다. 이 g3의 피양자화 값도, 양자화 참조 값과 차분 값 Δg3의 합에 동등하다. 그 때문에, 화소 값 g2 및 화소 값 g3을 이용하지 않더라도, g3의 피양자화 처리 값을 구하는 것은 가능하다.

도 7은, 화소 값 g2를 예로, 양자화 처리의 상세에 대해서 예시하는 그래프이다. 모든 화소 값의 피양자화 처리 값은, 0 이상, 양자화 참조 값의 2배(본 예에 있어서는, &D(1024)) 이하의 값이다. 양자화에 있어서, g2의 피양자화 처리 값은, 양자화 폭 4로 라운딩할 수 있다. 그 때문에, g2의 양자화 값은 &D(153)이 된다. 이 값을, 2진수 8 비트로 나타낸 값, &B(00111001)이 화소 G2에 관한 압축 부호화 화소 값 데이터가 된다. 피양자화 처리 값의 라운딩 업(rounding up) 및 라운딩 다운(rounding down)의 예를 도 7에 나타내고 있다. 예를 들면, 피양자화 처리 값이, &D(602)로부터 &D(605)이면, 양자화 값은 &D(151)이 되고, 또한 피양자화 처리 값이 &D(598)로부터 &D(601)이면, 양자화 값은 &D(150)이 된다. 이렇게, 라운딩되는 비트 중의 최상위 비트가 「1」이면, 라운딩 업을 할 수 있고, 「0」이면, 라운딩 다운을 할 수 있다. 또한, 양자화 처리부(47)에 있어서의 양자화에, 단순한 비트 시프트(bit shift)(모든 데이터에 라운딩 다운을 실행)를 실행해도 좋다.

상기한 바와 같이 구한 각각의 화소 값의 양자화 값은, 8 비트 길이의 압축 부호화 화소 값 데이터로서 패킹부(51)에 전송되어, 패킹 데이터의 생성(도 5B, 단 계 S108h) 및 패킹 데이터의 출력(도 5B, 단계 S108i)에 제공된다. 제2의 존 이후에 포함되는 화소 값에 대해, 패킹 데이터는 패킹부(51)로부터 복호화부(33)에 전송되어 복호화된 복호화 화소 값 데이터를 화소 값 저장부(39)에 전송하고 또한 양자화 처리부(47)에 이 데이터를 전송하여 보내고 저장부에 저장시킴으로써 근방 좌측 동일 색 화소 값으로서 양자화 처리에 사용할 수 있다.

〈클래스 값 부호 생성부(49)에 있어서의 클래스 값 부호의 생성〉

클래스 값 부호 생성부(49)에서는, 수신한 존 양자화 폭에 근거하여, 클래스 값을 m 비트 길이의 데이터로서 패킹부(51)에 전송한다. 본 실시형태에 있어서는 m=2이다. 존 양자화 폭이 2이면, 거기에 대응하는 2 비트 길이의 클래스 값 데이터가 패킹부(51)에 전송된다. 클래스 값 데이터의 비트 길이 m은 2에 한정되지 않는다. 본 실시형태에 있어서는, 4종류의 클래스 값을 사용하기 때문에, m=2로서 설정된다. 더욱 많은 종류의 클래스 값을 필요로 할 경우에는, m을 더욱 큰 정수 값으로 하면 좋다. 이 클래스 값은, 양자화의 정밀도(또는 양자화 대표 값의 간격)에 관한 인덱스이다.

〈패킹부(51)에 있어서의 데이터의 패킹〉

패킹부(51)에 전송된 초기 화소 값 데이터, 압축 부호화 화소 값 데이터 및 양자화 폭 정보 데이터인 클래스 값 데이터는, 즉시 언패킹부(53)에 전송되어, 복호화부(33)에서 복호화되고, 후속하는 처리 대상 화소 값의 압축 부호화에 이용될 수 있다. 또한, 이들 데이터들은, SDRAM(15)과의 액세스 단위(예를 들면 32 비트)의 정수 배인 s 비트로 데이터 폭을 조정하여, s 비트 길이의 패킹 데이터로서 SDRAM(15)에 데이터를 전송할 수 있다.

여기서는, 주로 SDRAM(15)과의 액세스를 고려한 데이터의 패킹에 관하여 설명한다.

1개의 패킹 데이터는 s 비트 길이이다. 이 비트 길이 s는 8의 정수 배인 것이 바람직하다.

본 실시형태에서는, 각각의 패킹 데이터에 각각의 색 화소에 대해서 적어도 1개의 화소 값을 초기 화소 값 데이터로서 기록한다. 본 예에서는, 화소 값 g1 및 r1에 대해서, 초기 화소 값 데이터로서 d(d=12) 비트 길이의 CODEC(13)에 입력된 화소 값 데이터가 그대로 기록된다. 패킹 데이터에는, 존 양자화 폭을 나타내는, m(m=2) 비트 길이의 클래스 값도 기록되고, 또한 그 존에 포함되는 화소의 압축 부호화 화소 값 데이터가, n(n=8) 비트 길이의 데이터로서 기록된다. 1개의 존에 포함되는 화소 수 p는 p=4를 만족하므로, 화소 G2, R2, G3, R3의 압축 부호화 화소 값 데이터가, 각각 8 비트 길이 데이터로서 기록된다. 또한, 다음 존의 클래스 값 및 그 존에 포함되는 화소의 압축 부호화 화소 값 데이터를 기록할 수도 있다.

상기 각종 데이터는, 패킹 데이터의 전체 데이터 길이가 s 비트를 초과하지 않도록 1개의 패킹 데이터에 모여진다. 패킹 처리로 전체 데이터 길이가 s 비트가 안될 경우, 남은 비트에는 소정의 더미(dummy) 데이터를 추가하여, s 비트의 패킹 데이터를 작성하면 좋다. 패킹 데이터는 SDRAM(15)에 전송되어 저장된다.

본 실시형태에 있어서, 각각의 패킹 데이터에서, 각각의 색 화소에 대해서 최초에 기록되는 화소 값 데이터를 초기 화소 값 데이터로서 기록하는 것은, 압축 부호화 데이터를 판독할 때의 편리성의 향상을 도모하기 위한 것이다. SDRAM(15)에 기록된 화상 1 프레임 분량의 압축 부호화 화상 데이터로부터 데이터를 판독할 경우로서, 판독하고 싶은 데이터가 화상 1 프레임을 구성하는 화소 값의 데이터의 일부분뿐일 경우, 상기한 바와 같이 기록해 두면, 판독하고 싶은 화소의 데이터가 포함되는 근방의 데이터를, s 비트 분량 판독함으로써, 필요로 하는 화소 값의 복호화가 가능하다. 따라서, 화상 1 프레임을 구성하는 화소 데이터를 모두 판독할 필요가 없어져, 처리의 고속화 및 전력 절감을 할 수 있다.

상기에서 기재한 효과보다도, 압축 부호화 화상 데이터의 압축률을 우선할 경우에는, 초기 화소 값 데이터로서 기록하는 화소 값 데이터의 빈도를 낮게 하면 좋다. 이 경우, 1개의 패킹 데이터에 반드시 초기 화소 값 데이터가 기록될 필요가 없다. 또한, 압축률의 향상을 위해서는, 1개의 존에 포함되는 화소의 수 p를, 더욱 크게 설정하는 것도 유효할 경우가 있다. 그렇게 함으로써, 클래스 값 데이터의 출현 빈도를 저하시킬 수 있다. 또한 압축 부호화 화소 값 데이터의 비트 길이 n을, 더욱 작게 설정하는 것도 유효하다.

또한, 양자화 폭을 일정하게 해서 처리하는 것도 가능하다. 이 경우, 양자화 폭을 나타내는 클래스 값 데이터는 기록되지 않아도 좋다.

〈복호화부(33)에 있어서의 복호화〉

도 8A 및 도 8B는 복호화에 관한 처리의 흐름도이다. 도 8B는, 도 8A에 있어서의 단계 S206에 관한 처리의 상세를 나타내는 흐름도이다. 지금부터 도 8A 및 도 8B를 참조하여, 복호화부(33)에 있어서의 압축 부호화된 데이터의 복호화 처리에 대해서 설명한다. 언패킹부(53)는, 패킹부(51)로부터 개별로 전송되는 각종 데이터, 즉 초기 화소 값 데이터, 압축 부호화 화소 값 데이터, 및 클래스 값, 및 SDRAM(15)으로부터 입력되는 패킹 데이터, 즉 압축 부호화 화상 데이터를 입력하고, 패킹 데이터에 대해서는, 패킹 데이터를 각각의 데이터로 분리한다(도 8A, 단계 S201). 분리된 각종 데이터는, 소정의 타이밍으로 언패킹부(53)로부터 역양자화 처리부(55)에 전송된다.

역양자화 처리부(55)에 전송된 데이터는, 양자화 처리부(47)에 있어서의 처리와는 반대의 처리를 실행하여, 압축 부호화 화소 값 데이터로부터 복호화 화소 값 데이터를 산출하여 출력부(57)에 전송한다. 구체적으로는, 초기 화소 값 데이터는 그대로 d(=12) 비트의 데이터로서 출력부(57)에 전송된다(도 8A, 단계 S202 및 S203). 또한, 이 데이터는 나중의 처리에 이용하기 위해서 일시 저장된다. 양자화 폭 정보 데이터인 클래스 값 데이터는, 후속하는 압축 부호화 화소 값 데이터의 복호화 처리에서 이용하기 위해서 일시 저장된다(도 8A, 단계 S204 및 S205). 단계 S206에 있어서는, 복호화 처리가 실행되어 복호화 화소 값 데이터가 생성된다. 클래스 값 데이터로부터 양자화 폭 및 양자화 참조 값을 구한다(도 8B, 단계 S206a 및 S206b). 그리고, 먼저 처리된 초기 화소 값 데이터, 또는 복호화 화소 값 데이터와, 양자화 참조 값과의 차인 오프셋 후보 값을 구하고(도 8B, 단계 S206c), 오프셋 후보 값이 제로 이하일 경우에는, 오프셋 값을 제로에 설정한다(도 8B, 단계 S206d, S206e, S206f). 압축 부호화 화소 값 데이터는, 클래스 값이 나타내는 존 양자화 폭에 근거하여, 비트 시프트(역양자화)되어서 역양자화 화소 값 데이터로 되고(도 8B, 단계 S206g), 먼저 처리된 초기 화소 값 데이터, 또는 복호화 화소 값 데이터와, 클래스 값으로부터 구한 양자화 참조 값과의 차인 오프셋 값과 역양자화 화소 값 데이터와의 합을 구함으로써, d=12 비트의 화소 값으로 복호화 되어(도 8B, 단계 S206h), 복호화 화소 값 데이터로서 출력부(57)에 전송된다(도 8A, 단계 S206). 그러나, 양자화 처리부(47)에 있어서는, 양자화의 시점에 라운딩 업 또는 라운딩 다운이 실행되었지만, 역양자화 처리부(55)에서는, 단순한 비트 시프트만을 실행하도록 해도 좋다.

구해진 복호화 화소 데이터는, 각각 소정의 타이밍으로, 부호화부(31) 및 YC 처리부(17)에 전송된다.

양자화 폭을 일정하게 유지하고, 양자화 처리를 실행할 경우, 클래스 값 데이터는 불필요해지고, 이 경우 복호화 처리도 소정의 양자화 폭으로 복호화 처리를 실행하면 좋다.

또한, 본 실시형태에서는, 베이어 배열을 갖는 촬상 소자를 이용하고 있지만, 다른 배열을 갖는 촬상 소자, 예를 들면, 원색 세로 스트라이프 배열(primary color vertical stripe array), RGBRGBRGB…를 갖는 촬상 소자와 조합해서 본 발명에 의한 CODEC를 사용할 수도 있다. 또한, 촬상 소자의 센서(화소) 배열이, 보색 체크 배열(complementary color checked array), 예를 들면, CyYeCyYeCyYe…를 가질 경우에도, 본 발명에 의한 CODEC를 적용할 수 있다. 촬상 소자의 수광부에 있어서의 화소의 배열 양식에 상관없이, 본 발명에 의한 CODEC를 사용할 수 있다. 화소 배열이 정방 격자 배열(tetragonal lattice array)일 경우뿐만 아니라, 화소의 배 열양식이 벌집형 배열(honeycomb-like array)일 경우라도, 본 발명에 의한 CODEC를 사용할 수 있다.

〈제2실시형태〉

〈양자화에 의한 오차의 피드백 처리를 추가한 CODEC〉

본 실시형태는, CODEC에 있어서의 화소 값 데이터의 양자화에 있어서 자주 생기는 오차(화소 값 데이터와, 그 화소 값 데이터를 압축 부호화 처리하여 더 복호화 처리를 실행함으로써 얻어지는 복호화 화소 값 데이터와의 차)를 저감하는 오차 피드백 처리를 갖는 CODEC(113)를 구비한 디지털 스틸 카메라(DSC)를 제공한다.

본 실시형태의 DSC는, CODEC(113)에 있어서의 처리를 제외하고는 제1실시형태에 따른 DSC(1)와 유사하다. 도 1을 참조하면, 본 실시형태에 의한 DSC에는, CODEC(13) 대신에 이하에서 설명하는 CODEC(113)가 실장되어 있다고 생각해도 좋다. 여기서는 CODEC(113)의 구성 및 처리에 대해서 설명한다. 특별한 기재가 없는 부분에 대해서는, 제1실시형태와 동일하다고 생각해도 좋다.

도 9에 본 실시형태에 관한 CODEC(113)의 블록도를 나타낸다. 제1실시형태에 관한 CODEC(13)와의 상이한 점은, 부호화부(31)에 있어서, 오차 검출부(59), 계수 승산부(61), 정수화부(63) 및 오차 보정부(65)가 추가된 점, 및 복호화부(33)의 출력부(57)의 출력이 오차 검출부(59) 및 양자화 처리부(47)에 입력되는 점이다.

이하에, CODEC(113)에 있어서의 오차 피드백 처리에 대해서 설명한다. 여기서는, 구체 예로서 화소 R3의 화소 값 r3의 양자화에 있어서의 오차 피드백 처리를 취급한다.

제1실시형태와 공통되는 처리이지만, ADC(11)로부터 처리 대상 화소 값 입력부(35)에 화소 값 r3이 입력된다. 화소 값 r3은, 압축 부호화 처리를 받아서 압축 부호화 화소 값 데이터로서 기록되는 화소 값 데이터이기 때문에, 차분 생성부(37)에 전송된다. 동시에 저장부(39)로부터는, 처리 대상 화소 값 r3의 근방 좌측 동일 색 화소 값인 화소 값 r2가 차분 생성부(37)에 전송되어 차분 값 Δr3=r3-r2가 구해지고, 화소 R3의 차분 양자화 범위가 구해져, 존 양자화 폭 결정부(43)에서 화소 R3과 동일한 존에 포함되는 화소의 차분 양자화 범위에 근거해서 존 양자화 폭이 결정되어, 양자화 처리부(47)에 전송된다.

양자화 처리부(47)에 있어서의 화소 값 r3의 양자화에는, 상기 존 양자화 폭 이외에, 처리 대상 화소 값 r3 및 근방 좌측 동일 색 화소 값 r2가 필요하다. 본 실시형태에서는, 처리 대상 화소 값 r3은 오차 보정부(65)에서 처리된 오차 보정 처리 대상 화소 값 Cr3으로서 양자화 처리부(47)에 입력된다. 또한, 화소 값 r3의 양자화에 사용되는 근방 좌측 동일 색 화소 값에는 복호화 화소 값이 이용된다.

여기서 표 2를 참조하면, 화소 값 r2는 &D(50)이다. 이에 대해 복호화 화소 값은 &D(52)로 되어 있다. 양자화 시점에 근방 좌측 동일 색 화소 값으로서 복호화 화소 값을 이용하는 본 실시형태의 CODEC(113)에서는, 선행하는 화소의 화소 값의 양자화에서 생긴 오차가, 후속하는 동일 색 화소의 화소 값의 양자화에 영향을 끼친다. 이 영향을 경감하는 것을 목적으로 해서, 이하에 설명하는 CODEC(113)의 오차 피드백 처리가 실시된다.

복호화부(33)의 출력부(57)로부터 출력된 복호화 화소 값은, 부호화부(31)의 오차 검출부(59)에 전송된다. 오차 검출부(59)에는, 저장부(39)에 기록되어 있는 화소 값 r2도 타이밍을 맞춰서 입력되어 오차가 산출된다. 여기서, 화소 값 r2(참값)와, 복호화 화소 값의 오차 Er2는, 참 화소 값과 복호화 화소 값과의 차분에 의해 구해진다. 즉, Er2=(참 화소 값)-(복호화 화소 값)=(-2)이다.

화소 값 r2에 대한 오차 Er2는, 계수 승산부(61)에 전송되어, 오차에 계수 α를 승산한 값, α×Er2(=αEr2)가 구해진다. 계수α는, 실험에 의해 얻어진 값을 이용할 수 있다.

본 예에서는, α는, 간단하게 하기 위해 0.50으로 한다. 따라서, 본 예에서는, αEr2는, (-1.00)이다. 일반적으로, α는 실험에 의해 구하는 실수치(實數値)이기 때문에, α가 승산된 오차 αEr2에는, 소수부가 나타난다. 그래서, 정수화부(63)는, 실수치 αEr2를 정수화하여, 그 정수 값을 오차 보정 값으로 한다. 정수화부(63)에서의 정수화 처리는, 일반적인 처리이어도 좋다. 예를 들면, 소수부의 라운딩-다운으로, 소수부 제1 차수의 사사 오입(라운딩-오프), 소수부의 라운딩-업 등이 이용된다. 본 예에서는, 오차 보정 값은 (-1)이 된다.

이어서 오차 보정부(65)에서의 처리에 대해서 설명한다. 오차 보정부(65)에는, 처리 대상 화소 값 r3과, 화소 값 r3을 위한 오차 보정 값 (-1)이 입력된다. 여기서, 오차 보정 값은, 처리 대상 화소 값에 부귀환(negatvie feedback)으로서 주어진다. 즉, 오차 보정처리 대상 화소 값 Cr3은, 처리 대상 화소 값으로부터 오차 보정 값을 감산한 값과 동등하다. 즉, Cr3=r3-(-1)=r3+1이 된다. 오차 보정처리 대상 화소 값 Cr3은, 양자화 처리부(47)에 입력되어, 복호화 화소 값 Dr2와 존 양 자화 폭에 근거하여, 양자화되어 압축 부호화 화소 값 데이터로서 패킹부(51)에 출력된다.

양자화 처리부(47)에서의 처리는, 제1실시형태와 마찬가지이어도 좋다. 존 양자화 폭은, 처리 대상 화소 값과 저장부(39)에 저장된, 오차를 포함하지 않는 근방 좌측 동일 색 화소 값과의 차분 값에 근거해서 결정된 값을 이용하고, 처리 대상 화소 값에는, 오차 보정부(65)에서 보정된 오차 보정 처리 대상 화소 값이 이용되고, 양자화 처리부(47)에 있어서의 근방 좌측 동일 색 화소 값에는, 압축 부호화 처리되어 더 복호화 처리를 받은 복호화 화소 값 데이터가 이용된다.

〈제3실시형태〉

〈분포 비율에 근거해 변동하는 가변 압축 부호화 화소 값 데이터 비트 길이의 이용〉

본 실시형태는, CODEC에 있어서, 화소 값 데이터의 압축 부호화 값인 압축 부호화 화소 값 데이터의 비트 길이(압축 부호화 화소 값 데이터 비트 수)를 실제로 촬상되는 피사체의 특성에 따라서 변경, 최적화하고, 이것에 의해 더욱 압축 효율을 높인 CODEC(213)를 구비한 디지털 스틸 카메라(DSC)이다. 본 실시형태의 DSC는, CODEC(213)에 있어서의 처리를 제외하고는, 제1 및 제2실시형태에 의한 DSC(1)와 동일하다. 도 1을 참조하면, 본 실시형태에 의한 DSC에는, CODEC(13)의 대신에 이후에 설명하는 CODEC(213)가 실장되어 있다고 생각하면 된다. 따라서, 여기서는 CODEC(213)의 구성 및 처리에 대해서 설명한다. 특별한 기재가 없는 부분에 대해서는, 제1 및 제2실시형태와 동일하다고 생각하면 된다. 본 실시형태의 CODEC(213) 는, 촬상 지시가 나온 순간(조작자에 의해 셔터 버튼이 눌린 순간)까지 촬상 소자에 입사한 피사체에 관한 광학적 정보에 근거하여, 최적화 압축 부호화 화소 값 데이터 비트 수, 및 양자화 폭 등을 결정하는 최적화 압축 부호화 화소 값 데이터 등 결정 처리를 실행한다. 이하에, CODEC(213)의 구성 및 처리에 대해서 설명한다.

〈CODEC(213)의 구성〉

도 10에 본 실시형태에 관한 CODEC(213)의 블록도를 나타낸다. 제1 및 제2실시형태에 관한 CODEC(13 및 113)와의 차이는, 부호화부(31)에 있어서는, 차분 양자화 범위 추출부(67), 및 분포 비율 해석부(69)가 추가된 점이다. 그외의 다른 구성은, CODEC(13) 또는 CODEC(113)의 구성과 동일해도 좋다. 즉, 도 9에 있어서는, 상기 상위점을 제외하고 CODEC(13)와 마찬가지의 구성을 CODEC(213)가 갖도록 나타내지만, 상기 상위점을 제외하고 CODEC(113)와 마찬가지의 구성을 가져도 좋다.

차분 양자화 범위 추출부(67)는, 차분 양자화 범위 결정부(41)로부터의 출력, 즉, 각각의 화소 차분 값의 양자화 범위를 입력하여 일시 저장한다. 추출부(67)에 저장된 복수의 양자화 범위는, 소정의 타이밍으로 분포 비율 해석부(69)에 출력된다.

분포 비율 해석부(69)는, 입력한 화상 1 프레임 분량에 상당하는 시닝된(thinned) 화소의 양자화 범위를 해석하고, 최적화 압축 부호화 화소 값 데이터 비트 수를 결정한다. 결정된 최적화 압축 부호화 화소 값 데이터 비트 수(t [비트])는, 양자화 처리부(47) 및 클래스 값 부호 생성부(49)에 전송된다.

양자화 처리부(47)에서는, t 비트 길이의 압축 부호화 화소 값 데이터를 생 성한다. 클래스 값 부호 생성부(49)에서는, 존 양자화 폭 결정부(43)로부터 입력하는 존 양자화 폭과 최적화 압축 부호화 화소 값 데이터 비트 수를 나타내는 m 비트의 클래스 값 부호를 생성하여 패킹부(51)에 출력한다. 본 실시형태에 있어서의 클래스 값은, 최적화 압축 부호화 화소 값 데이터 비트 수도 포함하도록 미리 정해진 변환 규칙에 근거해서 생성되면 좋다.

〈CODEC(213)에 있어서의 최적화 압축 부호화 화소 값 데이터 비트 수 등 결정 처리〉

DSC(1)는 "모니터" 모드(monitor mode)로 되는 동작 모드를 갖는다. 상기 모니터 모드는, 조작자가 피사체를 결정하고 셔터를 누를 타이밍을 기다리기 때문에, 촬상 소자(5)에 입사하는 광 정보(즉 피사체의 상)를, 예를 들면 표시부(27)에 표시하는 모드이다. DSC(1)는, 모니터 모드에서는, 촬상 소자(5)의 모든 화소의 축적 전하를 인출하고, 인출한 모든 축적 전하에 대해서 신호 처리를 실행하는 대신에, 소정 비율의 화소에 대해서만 처리를 실행한다. 이 촬상 소자 구동 모드를, 드래프트 모드(draft mode) 또는 시닝 모드(thinning mode)라고 부르고 있다. 즉, DSC(1)는 모니터 모드에서는, 촬상 소자(5)를 드래프트 모드로 구동한다. DSC(1)는, 조작자에 의한 셔터 버튼 조작에 호응해서, 촬상 소자 구동 모드를 드래프트 모드로부터 전체 화소 구동 모드(all pixel drvie mode)로 바꾸어서 촬상을 실행한다.

모니터 모드에 있어서는, CODEC(213)에는 드래프트 모드에서, 즉 시닝된 수의 화소 값이 입력된다. 화소의 시닝은, 소정의 패턴에서 실행되기 때문에, 드래프트 모드에 있어서의, 처리 대상 화소 값에 대한 근방 좌측 동일 색 화소 값도, 촬 상 시와는 다르지만, 소정의 규칙에 따라서 정할 수 있다. 차분 생성부(37)에서는, 이렇게 해서 정해진 처리 대상 화소 값에 대한 근방 좌측 동일 색 화소 값을 이용해서 각각의 처리 대상 화소 값에 대하여 차분 값을 산출하고, 차분 양자화 범위 결정부(41)는, 각각의 처리 대상 화소 값에 대한 차분 양자화 범위를 결정한다. 결정된 차분 양자화 범위는 차분 양자화 범위 추출부(67)에 전송된다.

차분 양자화 범위 추출부(67)는, 일시 저장하는 각각의 처리 대상 화소 값에 대한 차분 양자화 범위를 이용하여, 최근의 화상 1 프레임 분량의 차분 양자화 범위를 분포 비율 해석부(69)에 전송한다.

〈분포 비율 해석부(69)에 있어서의 처리〉

분포 비율 해석부(69)는, 수신한 차분 양자화 범위를 해석하여, 최적화 압축 부호화 화소 값 데이터 비트 수를 결정한다.

최적화 압축 부호화 화소 값 데이터 비트 수는, 촬상된 화상을 압축 부호화 데이터로서 SDRAM(15)에 기록하기 위해서 CODEC(213)에서 생성되는 압축 부호화 화소 값 데이터의 비트 길이이다. 제1 및 제2실시형태에 있어서는, 이 비트 길이 n은 8 비트에 고정되어 있다. 그러나, 피사체 상에 따라서는, 8 비트 길이보다도 짧은 비트 길이로 충분한 화상 품질을 얻을 수 있는 경우가 있다. 그 때문에, 본 실시형태에서는, 모니터 모드 중에 수신한 피사체 정보에 근거하여 최적인 비트 길이를 결정한다.

우선, 분포 비율 해석부(69)는, 최근의 피사체의 화상 1 프레임 분량의 차분 양자화 범위를 해석하여, 차분 양자화 범위의 출현 분포를 구한다. 그리고, 예를 들면, 차분 양자화 범위의 분포 비율이, (n-1(=8-1=7)) 미만의 자연수 v, v-1, v-2, … 이하의 값에 포함되는 비율을 구한다. 이들 분포 비율 중에서, 분포 비율이 소정의 임계치 이상이 되는 차분 양자화 범위 중에서, 최대의 차분 양자화 범위 w를 구한다. 최대 차분 양자화 범위 w에 1을 더한 수를, 최적화 압축 부호화 화소 값 데이터 비트 수로서 설정하고, 양자화 처리부(47) 및 클래스 값 생성부(49)에 전송한다.

예를 들면, 4 이하의 값을 갖는 차분 양자화 범위의 비율이, 모든 양자화 범위에 대하여 소정 비율(예를 들면, 90%)이라면, 실제로 촬상되는 피사체 화상에 있어서도, 90% 정도의 화소 값 데이터는 4+1=5 비트 길이 데이터를 사용하는 양자화부(47)에 의한 라운딩 없이 기록될 수 있다고 추측된다. 이러한 피사체에 대해서, 각 압축 부호화 화소 값 데이터의 비트 수에 8 비트 길이를 부여하는 것은 압축률의 면으로 불리하다. CODEC(213)는, 이러한 경우에 있어서 품질 열화(劣化)를 일으키지 않고 압축률을 향상시킨다. 이러한 경우에서는, 양자화 처리부(47)는 각각의 처리 대상 화소 값에 대하여 5 비트 길이의 데이터의 압축 부호화 화소 값 데이터를 부여한다. 클래스 값에 대해서는, 최적화 압축 부호화 화소 값 데이터 비트 수에 관한 정보를 갖는 클래스 값이 생성된다. 따라서, 복호화부(33)에서의 복호화에서는, 클래스 값에 근거하여 각각의 압축 부호화 화소 값 데이터 비트 수를 결정하여, 이전 실시형태와 마찬가지로 복호화 처리가 가능하다.

또한, 분포 비율 해석부(69)에서는, 최근의 화상 1 프레임 분량의 차분 양자화 범위를 해석하는 대신에, 화상의 일부, 예를 들면, 중요한 부분 또는 화상에 있 어서의 중앙부 영역만을 해석해서 최적 압축 부호화 화소 값 데이터 비트 수를 결정해도 좋다.

또한, 이전 예에서는, 소정 비율을 90%로 했지만, 1∼100%의 비율을 임계치로서 이용해도 좋다. 또한, 피사체 상의 특성을 조사하고, 또한 그 조사 결과에 근거해서 임계치를 촬상 처리마다 탄력적으로 결정해도 좋다.

또한, 화상 1 프레임 분량에 포함되는 차분 양자화 범위를, 복수의 블록으로 구분하고, 각각의 블록 내에서 최적 압축 부호화 화소 값 데이터 비트 수를 결정해도 좋다. 이 경우, 화상 1 프레임 분량의 압축 부호화 화소 값 데이터에는, 비트 길이가 다른 데이터가 혼재하게 되지만, 클래스 값은, 이 압축 부호화 화소 값 데이터 비트 수의 변화도 기록할 수 있으므로, 복호화부(33)에서 바르게 복호화하는 것이 가능하다.

또한, 모니터 모드에서도, 전체 화소 구동 모드로 촬상 소자(5)를 구동해도 된다.

또한, 본 발명의 모든 실시형태에 있어서, 데이터를 저장 또는 일시 저장하는 기능은, 저장 소자뿐만 아니라, 주지의 지연 회로(delay circuit)를 이용해서 실현되어도 좋다.

본 발명은, CCD센서 및 MOS센서를 갖는 전자기기 전반 또는 영상기기 전반에 채용될 수 있으며, 이러한 장치는 금후에 더 널리 이용될 것으로 생각된다. 본 발명은, 간단한 구성임에도 불구하고 화질을 거의 해치는 일 없이, 데이터량을 압축 할 수 있다.

기록되는 데이터의 비트 수를 삭감함으로써, 메모리의 사용량과, 메모리의 액세스량을 삭감할 수 있고, 또한 비용과 소비 전력도 삭감할 수 있다.

금후 디지털 스틸 카메라 및 동화상 촬영 카메라에 있어서도 점점 많은 용도로 사용되는 것이 기대된다.

Claims (27)

1. 적어도, 제1컬러를 감지하는 화소와 제2컬러를 감지하는 화소를 주기적으로 배치한 수광부로부터의 신호를 디지털 포맷으로 나타낸 화소 값 데이터를 받아서 처리하는, 디지털 데이터 부호화 장치에 있어서,

   제1컬러를 감지하는 제1화소의 제1화소 값 데이터와, 상기 제1화소의 근방에 위치하여 제1컬러를 감지하는 제2화소의 제2화소 값 데이터와의 차분 값을 제1화소 차분 값으로서 출력하는 동시에, 제2컬러를 감지하는 제3화소의 제3화소 값 데이터와, 상기 제3화소의 근방에 위치하여 제2컬러를 감지하는 제4화소의 제4화소 값 데이터와의 차분 값을 제2화소 차분 값으로서 출력하는 차분 생성부와,

   상기 제1화소 차분 값의 절대치와 상기 제2화소 차분 값의 절대치 중의 최대치를 최대 화소 값 차로서 구하고, 구한 최대 화소 값 차 이상의 값을 양자화 참조 값으로서 결정하는 양자화 참조 값 결정부와,

   상기 제1화소 값 데이터와 상기 양자화 참조 값과의 차를 제1오프셋 값으로서 설정하는 동시에, 상기 제3화소 값 데이터와 상기 양자화 참조 값과의 차를 제2오프셋 값으로서 설정하는 오프셋 값 설정부와,

   상기 제2화소 값 데이터와 제1오프셋 값과의 차를, 제1피양자화 처리 값으로서 설정하는 동시에, 상기 제4화소 값 데이터와 제2오프셋 값과의 차를, 제2피양자화 처리 값으로서 설정하는 피양자화 처리 값 설정부, 및

   상기 제1피양자화 처리 값 및 제2피양자화 처리 값을, 각각 양자화해서 제1 압축 부호화 화소 값 데이터 및 제2압축 부호화 화소 값 데이터를 구하는 양자화부를 갖는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
2. 제1항에 있어서, 상기 제1컬러와, 상기 제2컬러는 상이한 것을 특징으로 하는, 디지털 데이터 부호화 장치.
3. 제1항에 있어서, 상기 오프셋 값 설정부가 정한 오프셋 값이, 제로 이하일 경우, 상기 오프셋 값을 제로로 재설정하는 오프셋 값 제로 설정부를 더 갖는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
4. 제1항에 있어서, 상기 양자화에 있어서의 양자화 폭을 결정하는 양자화 폭 결정부를 더 갖는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
5. 제4항에 있어서, 상기 양자화 폭은, 상기 최대 화소 값 차가 커짐에 따라 증가하는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
6. 제4항에 있어서, 상기 결정된 양자화 폭을 m 비트 길이(m은 자연수)의 부호로 부호화하는 양자화 폭 정보 데이터 생성부를 더 갖는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
7. 제4항에 있어서, 상기 양자화 폭 결정부는, 미리 결정한 복수의 양자화 폭들 중 어느 하나에 상기 양자화 폭을 결정하는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
8. 제7항에 있어서, 상기 복수의 양자화 폭의 수는, 2의 m승 개 이하인 것을 특징으로 하는, 디지털 데이터 부호화 장치.
9. 제6항에 있어서, 상기 m은 2인 것을 특징으로 하는, 디지털 데이터 부호화 장치.
10. 제6항에 있어서, 압축 부호화 화상 데이터 생성부를 더 구비하고,

    상기 압축 부호화 화상 데이터 생성부는, 적어도 상기 양자화 폭 정보 데이터, 상기 제1압축 부호화 화소 값 데이터, 및 상기 제2압축 부호화 화소 값 데이터 중 어느 하나를 포함하고, s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 생성하고, 상기 s는 8의 배수인 것을 특징으로 하는, 디지털 데이터 부호화 장치.
11. 제10항에 있어서, 상기 압축 부호화 화상 데이터 생성부는, 상기 제1화소 값 데이터를 그대로 초기 화소 값 데이터로서 상기 압축 부호화 화상 데이터에 기록하는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
12. 제7항에 있어서, 상기 양자화 폭 결정부는, 상기 제1화소 차분(差分) 값 및 제2화소 차분 값의 각각에 관한 무부호 정수 바이너리(2진) 값 표기에 필요로 하는 자릿수들 중의 최대 자릿수 값을 구함으로써, 상기 복수의 양자화 폭 중에서 어느 하나를 결정하는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
13. 제1항에 있어서, 상기 제2화소 값 데이터를 보정해 오차 보정 화소 값 데이터를 생성하는 오차 보정부와,

    압축 부호화 화소 값 데이터를 복호화해서 복호화 화소 값 데이터를 출력하는 디지털 데이터 복호화부를 더 구비하고,

    상기 오프셋 값 설정부는, 상기 제1화소 값 데이터 대신에 상기 복호화 화소 값 데이터를 이용해서 상기 제1오프셋 값을 설정하고,

    상기 피양자화 처리 값 설정부는, 상기 제2화소 값 데이터 대신에 상기 오차 보정 화소 값 데이터를 이용해서 상기 제1피양자화 처리 값을 설정하는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
14. 제13항에 있어서, 상기 오차 보정부에서의 상기 제2화소 값 데이터의 보정은, 상기 제2화소 값으로부터, 상기 제1화소 값 데이터와 상기 복호화 화소 값 데이터 간의 차에 관련되는 보정 값을 감산함으로써 이루어지는 것을 특징으로 하는, 디지털 데이터 부호화 장치.
15. 제1컬러를 감지하는 제1화소의 제1화소 값 데이터가 그대로 제1초기 화소 값 데이터로서 기록되어 있는 초기 화소 값 데이터부와, 상기 제1화소의 근방에 위치해 제1컬러를 감지하는 제2화소의 제2화소 값 데이터를 나타내는 제1압축 부호화 화소 값 데이터가 기록되어 있는 압축 부호화 화소 값 데이터부를 구비하는 s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 입력하는 압축 부호화 화상 데이터 입력부와,

    상기 제1초기 화소 값 데이터와 설정된 제1양자화 참조 값과의 차(差)를 제1오프셋 값으로서 구하는 오프셋 값 설정부와,

    설정된 제1양자화 폭을 이용하여 제1압축 부호화 화소 값 데이터를 역양자화해서 제1역양자화 화소 값 데이터를 구하는 역양자화부, 및

    상기 제1역양자화 화소 값 데이터와 상기 제1오프셋 값과의 합을 구함으로써 제1복호화 화소 값 데이터를 생성하는 복호화 화소 값 생성부를 구비하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
16. 제15항에 있어서, 상기 초기 화소 값 데이터부에는, 또한 상기 제1화소에 근접해 제2컬러를 감지하는 제3화소의 제3화소 값 데이터가 그대로 제2초기 값 화소 값 데이터로서 기록되고,

    상기 압축 부호화 화소 값 데이터부에는, 또한 상기 제3화소의 근방에 위치하여 제2컬러를 감지하는 제4화소의 제4화소 값 데이터를 나타내는 제2압축 부호화 화소 값 데이터가 기록되고,

    상기 오프셋 값 설정부는, 또한 상기 제2초기 값 데이터와 상기 제1양자화 참조 값과의 차를 제2오프셋 값으로서 구하고,

    상기 역양자화부는, 또한 상기 제1양자화 폭을 이용해서 상기 제2압축 부호화 화소 값 데이터를 역양자화해서 제2역양자화 화소 값 데이터를 구하고,

    상기 복호화 화소 값 생성부는, 또한 상기 제2역양자화 화소 값 데이터와 상기 제2오프셋 값과의 합을 구함으로써 제2복호화 화소 값 데이터를 생성하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
17. 제15항에 있어서, 상기 제1컬러와 상기 제2컬러는 상이(相異)한 것을 특징으로 하는, 디지털 데이터 복호화 장치.
18. 제16항에 있어서, 상기 압축 부호화 화소 값 데이터부에는, 또한 상기 제2화소의 근방에 위치하고, 상기 제4화소에 근접하여 제1컬러를 감지하는 제5화소의 제5화소 값 데이터를 나타내는 제3압축 부호화 화소 값 데이터가 기록되고,

    상기 오프셋 값 설정부는, 또한 상기 제1복호화 화소 값 데이터와 설정된 제2양자화 참조 값과의 차를 제3오프셋 값으로서 구하고,

    상기 역양자화부는, 또한 설정된 제2양자화 폭을 이용하여 제3압축 부호화 화소 값 데이터를 역양자화해서 제3역양자화 화소 값 데이터를 구하고,

    상기 복호화 화소 값 생성부는, 또한 상기 제3역양자화 화소 값 데이터와 상기 제3오프셋 값과의 합을 구해서 제3복호화 화소 값 데이터를 생성하는 것을 특징 으로 하는, 디지털 데이터 복호화 장치.
19. 제15항에 있어서, 상기 오프셋 값 설정부가 정한 오프셋 값이, 제로(0) 이하일 경우, 상기 오프셋 값을 제로로 재설정하는 오프셋 값 제로 설정부를 더 구비하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
20. 제18항에 있어서, 상기 압축 부호화 화상 데이터는, 적어도, 상기 제1양자화 폭에 관한 정보를 구비하는 제1양자화 폭 정보 데이터 및 상기 제2양자화 폭에 관한 정보를 구비하는 제2양자화 폭 정보 데이터 중 어느 하나가 기록되어 있는 양자화 폭 정보 데이터부를 구비하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
21. 제20항에 있어서, 상기 역양자화에 있어서의 양자화 폭을, 미리 결정된 복수의 양자화 폭들 중 어느 하나에 설정하는 양자화 폭 설정부를 구비하고,

    상기 양자화 폭 설정부는, 상기 제1양자화 폭 정보 데이터 및 상기 제2양자화 폭 정보 데이터로부터, 상기 제1양자화 폭 및 상기 제2양자화 폭을, 각각, 상기 복수의 양자화 폭의 하나에 설정하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
22. 제21항에 있어서, 상기 역양자화에 있어서의 양자화 참조 값을, 미리 결정된 복수의 양자화 참조 값들 중 어느 하나에 설정하는 양자화 참조 값 설정부를 더 구 비하고,

    상기 양자화 참조 값 설정부는, 상기 제1양자화 폭 정보 데이터 및 상기 제2양자화 폭 정보 데이터로부터, 상기 제1양자화 참조 값 및 상기 제2양자화 참조 값을, 각각, 상기 복수의 양자화 참조 값의 하나에 설정하는 것을 특징으로 하는, 디지털 데이터 복호화 장치.
23. 제22항에 있어서, 상기 제1양자화 폭 정보 데이터 및 제2양자화 폭 정보 데이터는, 각각 m 비트 길이(m은 자연수)의 데이터인 것을 특징으로 하는, 디지털 데이터 복호화 장치.
24. 제23항에 있어서, 상기 복수의 양자화 폭 및 복수의 양자화 참조 값의 개수는, 각각 2의 m승 개 이하인 것을 특징으로 하는, 디지털 데이터 복호화 장치.
25. 제23항에 있어서, 상기 m은 2인 것을 특징으로 하는, 디지털 데이터 복호화 장치.
26. 적어도, 제1컬러를 감지하는 화소와 제2컬러를 감지하는 화소를 주기적으로 배치한 수광부로부터의 신호를 디지털 포맷으로 나타낸 화소 값 데이터를 받아서 처리하는, 디지털 데이터 부호화 방법에 있어서,

    제1컬러를 감지하는 제1화소의 제1화소 값 데이터와, 상기 제1화소의 근방에 위치하여 제1컬러를 감지하는 제2화소의 제2화소 값 데이터와의 차분 값을 제1화소 차분 값으로서 출력하는 동시에, 제2컬러를 감지하는 제3화소의 제3화소 값 데이터와, 상기 제3화소의 근방에 위치하여 제2컬러를 감지하는 제4화소의 제4화소 값 데이터와의 차분 값을 제2화소 차분 값으로서 출력하는 차분 생성 단계와,

    상기 제1화소 차분 값의 절대치와 상기 제2화소 차분 값의 절대치 중의 최대치를 최대 화소 값 차로서 구하고, 구한 최대 화소 값 차 이상의 값을 양자화 참조 값으로서 결정하는 양자화 참조 값 결정 단계와,

    상기 제1화소 값 데이터와 상기 양자화 참조 값과의 차를 제1오프셋 값으로서 설정하는 동시에, 상기 제3화소 값 데이터와 상기 양자화 참조 값과의 차를 제2오프셋 값으로서 설정하는 오프셋 값 설정 단계와,

    상기 제2화소 값 데이터와 제1오프셋 값과의 차를, 제1피양자화 처리 값으로서 설정하는 동시에, 상기 제4화소 값 데이터와 제2오프셋 값과의 차를 제2피양자화 처리 값으로서 설정하는 피양자화 처리 값 설정 단계, 및

    상기 제1피양자화 처리 값 및 제2피양자화 처리 값을, 각각 양자화해서 제1압축 부호화 화소 값 데이터 및 제2압축 부호화 화소 값 데이터를 구하는 양자화 단계를 갖는 것을 특징으로 하는, 디지털 데이터 부호화 방법.
27. 제1컬러를 감지하는 제1화소의 제1화소 값 데이터가 그대로 제1초기 화소 값 데이터로서 기록되어 있는 초기 화소 값 데이터부와, 상기 제1화소의 근방에 위치해 제1컬러를 감지하는 제2화소의 제2화소 값 데이터를 나타내는 제1압축 부호화 화소 값 데이터가 기록되어 있는 압축 부호화 화소 값 데이터부를 구비하는 s 비트 길이(s는 자연수)의 압축 부호화 화상 데이터를 입력하는 압축 부호화 화상 데이터 입력 단계와,

    상기 제1초기 화소 값 데이터와 설정된 제1양자화 참조 값과의 차를 제1오프셋 값으로서 구하는 오프셋 값 설정 단계와,

    설정된 제1양자화 폭을 이용하여 제1압축 부호화 화소 값 데이터를 역양자화해서 제1역양자화 화소 값 데이터를 구하는 역양자화 단계, 및

    상기 제1역양자화 화소 값 데이터와 상기 제1오프셋 값과의 합을 구함으로써 제1복호화 화소 값 데이터를 생성하는 복호화 화소 값 생성 단계를 갖는 것을 특징으로 하는, 디지털 데이터 복호화 방법.

Images