JPH0779405A - 電子スチルカメラ及び画像再生装置 - Google Patents
電子スチルカメラ及び画像再生装置Info
- Publication number
- JPH0779405A JPH0779405A JP16055494A JP16055494A JPH0779405A JP H0779405 A JPH0779405 A JP H0779405A JP 16055494 A JP16055494 A JP 16055494A JP 16055494 A JP16055494 A JP 16055494A JP H0779405 A JPH0779405 A JP H0779405A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- restored
- dct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
- H04N5/9264—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal
- H04N9/7973—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal by dividing the luminance or colour component signal samples or frequency bands among a plurality of recording channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 低解像度画像及び高解像度画像をより少ない
記憶容量の記録装置に記録し、異なる画質の映像を再生
可能とする。 【構成】 CCD30及びA/D変換器26により生成
した第1画像データをDCT20、量子化器22及びハ
フマン符号器24によって高能率符号化してICメモリ
カード10に記録する。CCD30と水平方向に半画素
ずれたCCD31から得られる第2画像データと第1画
像データとから高解像度画像データを生成し、この高解
像度画像データと第1画像データとの差分を補完データ
とし、DCT21、量子化器23及びハフマン符号器2
5によって高能率符号化してICメモリカード10に記
録する。高解像度画像データは、ICメモリカード10
の補完データと第1画像データをアップサンプリングし
たデータとの和に基づいて再生する。
記憶容量の記録装置に記録し、異なる画質の映像を再生
可能とする。 【構成】 CCD30及びA/D変換器26により生成
した第1画像データをDCT20、量子化器22及びハ
フマン符号器24によって高能率符号化してICメモリ
カード10に記録する。CCD30と水平方向に半画素
ずれたCCD31から得られる第2画像データと第1画
像データとから高解像度画像データを生成し、この高解
像度画像データと第1画像データとの差分を補完データ
とし、DCT21、量子化器23及びハフマン符号器2
5によって高能率符号化してICメモリカード10に記
録する。高解像度画像データは、ICメモリカード10
の補完データと第1画像データをアップサンプリングし
たデータとの和に基づいて再生する。
Description
【0001】
【産業上の利用分野】本発明は、同一のディジタル静止
画像を異なる解像度で記録再生する電子スチルカメラ及
び画像再生装置に関する。
画像を異なる解像度で記録再生する電子スチルカメラ及
び画像再生装置に関する。
【0002】
【従来の技術】複数の固体撮像素子を用いて静止画像を
ディジタル電気信号に変換し、フレキシブルディスク又
は光ディスク等に記録する電子スチルカメラがあるが、
この様な電子スチルカメラに於ける記録時の映像信号フ
ォーマットは、他装置による再生を可能とするため、1
種類(例えば、NTSC方式)に固定されるのが一般的
である。
ディジタル電気信号に変換し、フレキシブルディスク又
は光ディスク等に記録する電子スチルカメラがあるが、
この様な電子スチルカメラに於ける記録時の映像信号フ
ォーマットは、他装置による再生を可能とするため、1
種類(例えば、NTSC方式)に固定されるのが一般的
である。
【0003】
【発明が解決しようとする課題】また、異なる信号フォ
ーマット間(例えば、NTSC方式とハイビジョン方式
間)では、その映像信号の解像度が異なり、NTSC方
式の映像信号をハイビジョン方式の信号フォーマットに
変換したとしても、解像度そのものには変化がない。
ーマット間(例えば、NTSC方式とハイビジョン方式
間)では、その映像信号の解像度が異なり、NTSC方
式の映像信号をハイビジョン方式の信号フォーマットに
変換したとしても、解像度そのものには変化がない。
【0004】仮に、解像度が異なる信号フォーマットの
映像信号をそれぞれ記録すると、対応する信号フォーマ
ット毎に映像信号を記録せねばならず、記録する情報量
が増大し、フレキシブルディスク等の記憶容量が限られ
たデバイスに、より多くの画像を記録することが困難で
ある。また、ハイビジョン信号の様な高解像度の映像信
号フォーマットで記録媒体に記録し、再生時にNTSC
方式の様な低解像度の映像信号を生成して再生する方法
が考えられるが、この場合にも記録する情報量が多く記
録媒体の効果的な活用が困難である。
映像信号をそれぞれ記録すると、対応する信号フォーマ
ット毎に映像信号を記録せねばならず、記録する情報量
が増大し、フレキシブルディスク等の記憶容量が限られ
たデバイスに、より多くの画像を記録することが困難で
ある。また、ハイビジョン信号の様な高解像度の映像信
号フォーマットで記録媒体に記録し、再生時にNTSC
方式の様な低解像度の映像信号を生成して再生する方法
が考えられるが、この場合にも記録する情報量が多く記
録媒体の効果的な活用が困難である。
【0005】そこで本発明は、低解像度の映像信号を記
録再生できる装置をベースに、より少ない情報量の増加
で高解像度の映像信号を再生可能とし、接続されるディ
スプレイ等の表示装置が持つ種々の信号フォーマットの
解像度に対応する映像信号を出力することができる汎用
性の高い電子スチルカメラ及び画像再生装置を提供する
ものである。
録再生できる装置をベースに、より少ない情報量の増加
で高解像度の映像信号を再生可能とし、接続されるディ
スプレイ等の表示装置が持つ種々の信号フォーマットの
解像度に対応する映像信号を出力することができる汎用
性の高い電子スチルカメラ及び画像再生装置を提供する
ものである。
【0006】
【課題を解決するための手段】本発明に係る電子スチル
カメラの記録系は、光学像を低解像度の基本画像データ
に変換する第1画像データ生成手段と、空間座標軸にお
いて第1画像データから所定量ずれた第2画像データを
光学像から生成する第2画像データ生成手段と、第1画
像データと第2画像データとから第1画像データより高
解像度の第3画像データを生成する高解像度生成手段
と、第1画像データを第3画像データと同数の画素数と
なるようにアップサンプリングした拡張画像データを第
3画像データから減算して補完データを生成する補完デ
ータ生成手段と、補完データと第1画像データとを直交
変換して直交変換係数を求める直交変換手段と、直交変
換手段が求めた直交変換係数を量子化する量子化手段
と、量子化手段による量子化直交変換係数を可変長に置
き換えて符号化データに変換するエントロピー符号化手
段と、エントロピー符号化手段によって変換された補完
データと第1画像データの符号化データを所定フォーマ
ットで情報記録装置に記録する記録手段とを備えること
を特徴とする。
カメラの記録系は、光学像を低解像度の基本画像データ
に変換する第1画像データ生成手段と、空間座標軸にお
いて第1画像データから所定量ずれた第2画像データを
光学像から生成する第2画像データ生成手段と、第1画
像データと第2画像データとから第1画像データより高
解像度の第3画像データを生成する高解像度生成手段
と、第1画像データを第3画像データと同数の画素数と
なるようにアップサンプリングした拡張画像データを第
3画像データから減算して補完データを生成する補完デ
ータ生成手段と、補完データと第1画像データとを直交
変換して直交変換係数を求める直交変換手段と、直交変
換手段が求めた直交変換係数を量子化する量子化手段
と、量子化手段による量子化直交変換係数を可変長に置
き換えて符号化データに変換するエントロピー符号化手
段と、エントロピー符号化手段によって変換された補完
データと第1画像データの符号化データを所定フォーマ
ットで情報記録装置に記録する記録手段とを備えること
を特徴とする。
【0007】また、本発明に係る電子スチルカメラの画
像再生系は、情報記録装置から第1画像データ及び補完
データそれぞれの符号化データを読み出して量子化直交
変換係数を復号するエントロピー復号化手段と、復元量
子化直交変換係数を逆量子化して直交変換係数を復元す
る逆量子化手段と、復元直交変換係数に逆直交変換を施
して第1画像データ及び補完データを復元する逆直交変
換手段と、復元第1画像データを再生表示する低解像度
画像再生手段と、復元第1画像データを補完データ生成
手段と同一のアップサンプリングを行って拡張復元画像
データを生成する拡張手段と、拡張復元画像データと復
元補完データとから第1画像データより高解像度の画像
データを再生する高解像度画像再生手段とを備えること
を特徴とする。
像再生系は、情報記録装置から第1画像データ及び補完
データそれぞれの符号化データを読み出して量子化直交
変換係数を復号するエントロピー復号化手段と、復元量
子化直交変換係数を逆量子化して直交変換係数を復元す
る逆量子化手段と、復元直交変換係数に逆直交変換を施
して第1画像データ及び補完データを復元する逆直交変
換手段と、復元第1画像データを再生表示する低解像度
画像再生手段と、復元第1画像データを補完データ生成
手段と同一のアップサンプリングを行って拡張復元画像
データを生成する拡張手段と、拡張復元画像データと復
元補完データとから第1画像データより高解像度の画像
データを再生する高解像度画像再生手段とを備えること
を特徴とする。
【0008】
【実施例】初めに高能率符号化における信号処理の基礎
的な事項の説明を行う。信号や画像をディジタル計算器
等で処理するためには、アナログの連続信号状態の本来
の信号や画像をこれらのハードウェアで扱えるディジタ
ル量に変換しなければならない。
的な事項の説明を行う。信号や画像をディジタル計算器
等で処理するためには、アナログの連続信号状態の本来
の信号や画像をこれらのハードウェアで扱えるディジタ
ル量に変換しなければならない。
【0009】実数値を取る時間tの連続関数x(t)を
原信号とするとき、信号x(t)をサンプリング周期Δ
tでサンプリング(標本化若しくは離散値化)して得ら
れる数列 x(n)=・・・x(-1)、x(0)、 x(1)、 x(2)、・・・・ ;n=・・・-1、0、1、
2、・・・・ を信号x(t)の離散時間信号(サンプル値信号)又は
ディスクリート信号と呼ぶ。そして、この離散時間信号
x(n)を量子化(それ以上分解できない最小量の単位
に変換)することで、ディジタル計算器等で扱うことが
できるディジタル量x'(n) にすることができる。つま
りα(n−1)<x(n)≦α(n)を満足する各離散
時間信号を代表値x’(n)で表すこと。α(n)−α
(n−1)が量子化ステップ幅という。例えば、実数の
小数点以下を四捨五入して整数値に丸めることも量子化
である。
原信号とするとき、信号x(t)をサンプリング周期Δ
tでサンプリング(標本化若しくは離散値化)して得ら
れる数列 x(n)=・・・x(-1)、x(0)、 x(1)、 x(2)、・・・・ ;n=・・・-1、0、1、
2、・・・・ を信号x(t)の離散時間信号(サンプル値信号)又は
ディスクリート信号と呼ぶ。そして、この離散時間信号
x(n)を量子化(それ以上分解できない最小量の単位
に変換)することで、ディジタル計算器等で扱うことが
できるディジタル量x'(n) にすることができる。つま
りα(n−1)<x(n)≦α(n)を満足する各離散
時間信号を代表値x’(n)で表すこと。α(n)−α
(n−1)が量子化ステップ幅という。例えば、実数の
小数点以下を四捨五入して整数値に丸めることも量子化
である。
【0010】したがって、アナログ信号を一般に良く知
られたA/D変換器によってデジタルデータに変換する
ことは、サンプリングと量子化を同時に行うことであ
る。なお、上記ディジタル量x'(n) と離散時間信号x
(n)との値には誤差があるが、この誤差は量子化誤
差、つまり丸め誤差である。
られたA/D変換器によってデジタルデータに変換する
ことは、サンプリングと量子化を同時に行うことであ
る。なお、上記ディジタル量x'(n) と離散時間信号x
(n)との値には誤差があるが、この誤差は量子化誤
差、つまり丸め誤差である。
【0011】ところで、実際の画像信号は2次元平面上
を連続的に変化するアナログ信号であり、2次元平面上
の関数u(x,y)(x,yは独立変数)と表すことが
できる。しかも画像がカラーなら複数個の要素(例えば
R,G,B又はYと色差信号(R−Y、B−Y)等にお
いてそれぞれの値を持ったもの)からなるベクトル値関
数である。しかし、ここでは説明の便宜上、以下スカラ
ー値(例えば輝度値Yのみ)をとる2次元画像信号につ
いてのみ考える。また、通常のテレビジョン放送におい
て伝送される映像信号は上記2次元平面上のアナログ信
号を水平方向とそれより遅い垂直方向との走査の組み合
わせによって1次元の時系列信号に変換したものであ
る。
を連続的に変化するアナログ信号であり、2次元平面上
の関数u(x,y)(x,yは独立変数)と表すことが
できる。しかも画像がカラーなら複数個の要素(例えば
R,G,B又はYと色差信号(R−Y、B−Y)等にお
いてそれぞれの値を持ったもの)からなるベクトル値関
数である。しかし、ここでは説明の便宜上、以下スカラ
ー値(例えば輝度値Yのみ)をとる2次元画像信号につ
いてのみ考える。また、通常のテレビジョン放送におい
て伝送される映像信号は上記2次元平面上のアナログ信
号を水平方向とそれより遅い垂直方向との走査の組み合
わせによって1次元の時系列信号に変換したものであ
る。
【0012】このような1次元の時系列信号をサンプリ
ング定理を満足するサンプリング周波数で標本化し、さ
らに量子化することでディジタル計算器で扱うことがで
きるディジタルの画像配列を得ることができる。したが
って数学的な表現を用いるなら、2次元平面上の関数u
(x,y)で表される連続的に変化する信号に対してx
座標、y座標をサンプリング間隔Δx、Δyでサンプリ
ングし、さらに各点に於ける濃淡の値を量子化した、 u(n,m)=u'(nΔx,mΔy) が通常のディジタルの原画像配列である。つまり、u
(n,m)の1つ1つの要素が一般に画素と呼ばれてお
り、各画素それぞれが例えば256階調の濃淡を持つ2
次元的なディジタルの静止画像として表される。
ング定理を満足するサンプリング周波数で標本化し、さ
らに量子化することでディジタル計算器で扱うことがで
きるディジタルの画像配列を得ることができる。したが
って数学的な表現を用いるなら、2次元平面上の関数u
(x,y)で表される連続的に変化する信号に対してx
座標、y座標をサンプリング間隔Δx、Δyでサンプリ
ングし、さらに各点に於ける濃淡の値を量子化した、 u(n,m)=u'(nΔx,mΔy) が通常のディジタルの原画像配列である。つまり、u
(n,m)の1つ1つの要素が一般に画素と呼ばれてお
り、各画素それぞれが例えば256階調の濃淡を持つ2
次元的なディジタルの静止画像として表される。
【0013】従って、上記2次元的に配列されたディジ
タル画像配列u(n,m)は連続値画像信号を近似して
表したものと言え、ディジタル画像配列u(n,m)か
ら原連続値画像信号を復元できることはシャノン−染谷
の標本化定理によって証明されている。通常ディジタル
計算器においては、このディジタル画像配列u(n,
m)を原情報源として取り扱っている。ところが、この
様な原情報源ではデータ量が非常に多く(例えば400
×512画素の256階調のディジタル画像配列u
(n,m)では約200Kバイトにもなる)、画像情報
の蓄積又は通信回線を用いる情報伝送を行うには、非常
に効率の悪いものとなる。そこで、データ圧縮技術が重
要になる。
タル画像配列u(n,m)は連続値画像信号を近似して
表したものと言え、ディジタル画像配列u(n,m)か
ら原連続値画像信号を復元できることはシャノン−染谷
の標本化定理によって証明されている。通常ディジタル
計算器においては、このディジタル画像配列u(n,
m)を原情報源として取り扱っている。ところが、この
様な原情報源ではデータ量が非常に多く(例えば400
×512画素の256階調のディジタル画像配列u
(n,m)では約200Kバイトにもなる)、画像情報
の蓄積又は通信回線を用いる情報伝送を行うには、非常
に効率の悪いものとなる。そこで、データ圧縮技術が重
要になる。
【0014】データ圧縮は、情報源の冗長度を抑圧する
ことによって可能である。例えば、自然画像において
は、隣接画素間に相関があることが知られている。画素
間に相関があるということは、隣合う画素が同じような
濃淡を持った画素となっていることを意味し、ある画素
に対してその隣接する画素との差分のみを情報として保
持すれば、画素毎の情報を保持するより相対的に情報量
を圧縮することができる。これは一般にDPCMとして
知られている。
ことによって可能である。例えば、自然画像において
は、隣接画素間に相関があることが知られている。画素
間に相関があるということは、隣合う画素が同じような
濃淡を持った画素となっていることを意味し、ある画素
に対してその隣接する画素との差分のみを情報として保
持すれば、画素毎の情報を保持するより相対的に情報量
を圧縮することができる。これは一般にDPCMとして
知られている。
【0015】例えば、一次元の情報源が次の様に定義さ
れるとき、 f(x)=・・16、17、15、11、13、・・・
・ 各f(x)間の差分D(s)は D(s)=・・1、−2、−4、2、・・・ となる。f(x)をそのまま2進数表記した場合、少な
くとも5ビット必要であるが、D(s)を2進数表記し
た場合3ビットですむ。直観的に情報量を削減できるこ
とが解る。この予測符号化は可逆符号化と言われ、原情
報が忠実に復元できることで知られている。
れるとき、 f(x)=・・16、17、15、11、13、・・・
・ 各f(x)間の差分D(s)は D(s)=・・1、−2、−4、2、・・・ となる。f(x)をそのまま2進数表記した場合、少な
くとも5ビット必要であるが、D(s)を2進数表記し
た場合3ビットですむ。直観的に情報量を削減できるこ
とが解る。この予測符号化は可逆符号化と言われ、原情
報が忠実に復元できることで知られている。
【0016】また、事象ai =a1、a2、a3、・・
・・anからなる事象系Xがあるとき、各事象ai が発
生する確率が各々P(ai )で、各事象の選択される確
率の総和が1となる場合、発生確率P(ai )を持つ事
象が実際に発生したことを知って得られる自己情報量は
I(ai )=−log2 P(ai )と定義される。そし
て、P(ai )×I(ai )の総和を平均情報量(エン
トロピー)というが、各事象aiが均等に発生する程、
エントロピーが増大する。逆に情報源のとる事象がある
事象ai に集中すればエントロピーは減少する。したが
って、上記差分D(s)の場合、値は「0」近傍に集中
するので、情報源f(x)の持つエントロピーより差分
D(s)の持つエントロピーのほうが小さいといえる。
・・anからなる事象系Xがあるとき、各事象ai が発
生する確率が各々P(ai )で、各事象の選択される確
率の総和が1となる場合、発生確率P(ai )を持つ事
象が実際に発生したことを知って得られる自己情報量は
I(ai )=−log2 P(ai )と定義される。そし
て、P(ai )×I(ai )の総和を平均情報量(エン
トロピー)というが、各事象aiが均等に発生する程、
エントロピーが増大する。逆に情報源のとる事象がある
事象ai に集中すればエントロピーは減少する。したが
って、上記差分D(s)の場合、値は「0」近傍に集中
するので、情報源f(x)の持つエントロピーより差分
D(s)の持つエントロピーのほうが小さいといえる。
【0017】ところで、隣接画素間に相関があるという
ことは、濃淡の微小変化が空間座標軸上で少ないことを
意味する。つまり、空間周波数(=単位長さ当たりの波
の数、一般の電気信号に言う信号周波数は時間軸上の周
波数)軸上でその画像の性質を調べると、高い周波数成
分が少ないことになる。そこで、隣接画素間に相関が強
い程、低い周波数成分は細かなレベル間隔で量子化し、
高い周波数成分程量子化レベル間隔を荒くすれば、画像
全体に対する情報量を削減することができる。又場合に
よって、より高い周波数成分の情報を破棄してもよい。
ただし、この場合原画像を忠実に再現することはできな
いが、視覚上大きな画質劣化が伴わない程度に高周波成
分の情報を間引けば、効果的な情報圧縮が期待できる。
ことは、濃淡の微小変化が空間座標軸上で少ないことを
意味する。つまり、空間周波数(=単位長さ当たりの波
の数、一般の電気信号に言う信号周波数は時間軸上の周
波数)軸上でその画像の性質を調べると、高い周波数成
分が少ないことになる。そこで、隣接画素間に相関が強
い程、低い周波数成分は細かなレベル間隔で量子化し、
高い周波数成分程量子化レベル間隔を荒くすれば、画像
全体に対する情報量を削減することができる。又場合に
よって、より高い周波数成分の情報を破棄してもよい。
ただし、この場合原画像を忠実に再現することはできな
いが、視覚上大きな画質劣化が伴わない程度に高周波成
分の情報を間引けば、効果的な情報圧縮が期待できる。
【0018】次に原画像配列の空間座標軸を空間周波数
軸に変換する事によって、エントロピーが減少すること
を簡単に説明する。初めに座標軸の回転に付いて考え
る。テレビジョン信号のように走査線上で連続する2画
素x1,x2のマクロな分布をx1−x2平面上でプロ
ットすると、図13のようになる。この場合2画素間に
強い相関があるものとすると、この図のように画素値
(x1,x2)はx1=x2の直線近傍に集中する。ま
た、x1の取り得る範囲は1≦x1≦7であり、同じよ
うにx2の取り得る範囲は1≦x2≦7である。この様
に各x1、x2の分布が一様であると、上記したように
エントロピーが大きいことになる。
軸に変換する事によって、エントロピーが減少すること
を簡単に説明する。初めに座標軸の回転に付いて考え
る。テレビジョン信号のように走査線上で連続する2画
素x1,x2のマクロな分布をx1−x2平面上でプロ
ットすると、図13のようになる。この場合2画素間に
強い相関があるものとすると、この図のように画素値
(x1,x2)はx1=x2の直線近傍に集中する。ま
た、x1の取り得る範囲は1≦x1≦7であり、同じよ
うにx2の取り得る範囲は1≦x2≦7である。この様
に各x1、x2の分布が一様であると、上記したように
エントロピーが大きいことになる。
【0019】そこで、x1軸、x2軸を45度回転して
得られる新しい座標軸y1,y2を考えると画素値はy
1軸近傍に集中し、y1の取り得る範囲はx1とほぼ同
じで1≦y1≦7であるが、y2の取り得る範囲は図1
3から明らかな様にy2’≦y2≦y2”と分散範囲が
狭くなっていることが解る。これによりエントロピーが
相対的に減少する事が理解できる。この様な45度の座
標軸の回転は1/2の正規化係数を伴う直交行列で変換
を行うことである。さらにこの様な座標軸変換により画
素値がy2軸近傍に集中するということは、x1,x2
座標の間に存在した強い相関性が除去され、統計的に独
立に近い変数y1,y2で表される関数に変換されたこ
とになる。この様な互いに独立した変数で表される関数
に変換することを直交変換と言う。
得られる新しい座標軸y1,y2を考えると画素値はy
1軸近傍に集中し、y1の取り得る範囲はx1とほぼ同
じで1≦y1≦7であるが、y2の取り得る範囲は図1
3から明らかな様にy2’≦y2≦y2”と分散範囲が
狭くなっていることが解る。これによりエントロピーが
相対的に減少する事が理解できる。この様な45度の座
標軸の回転は1/2の正規化係数を伴う直交行列で変換
を行うことである。さらにこの様な座標軸変換により画
素値がy2軸近傍に集中するということは、x1,x2
座標の間に存在した強い相関性が除去され、統計的に独
立に近い変数y1,y2で表される関数に変換されたこ
とになる。この様な互いに独立した変数で表される関数
に変換することを直交変換と言う。
【0020】ところで、ある時系列信号を異なった周波
数の正弦波成分に分解する方法としてフーリエ変換が知
られている。正弦波は例えばasinθと表せるが、こ
の係数aと角度θは互いに独立(=無相関)した変数で
あり、直交する変数である。したがって、原画像配列の
空間座標軸を空間周波数軸に変換する事によって、互い
に直行した変数で表される関数に変換したことになり、
エントロピーが減少する。
数の正弦波成分に分解する方法としてフーリエ変換が知
られている。正弦波は例えばasinθと表せるが、こ
の係数aと角度θは互いに独立(=無相関)した変数で
あり、直交する変数である。したがって、原画像配列の
空間座標軸を空間周波数軸に変換する事によって、互い
に直行した変数で表される関数に変換したことになり、
エントロピーが減少する。
【0021】周波数領域への直交変換にはフーリエ変換
の他にアダマール変換、離散コサイン変換(以下DC
T)、カルーネン・レーベ(K−L)変換等がある。ア
ダマール変換は原信号をwalsh 関数に成分分解し、DC
Tは離散的な余弦関数に成分分解する。この様な直交変
換を行う直交行列の各行ベクトルは基底ベクトルと呼ば
れ、アダマール変換及びDCT変換それぞれの16次の
基底ベクトルを図14に示す。この図において、アダマ
ール変換の各基底ベクトルはゼロ交差回数が多いほど高
周波成分を多く含み、同じようにDCTの各基底ベクト
ルにおいても、各離散的な余弦関数の繰り返し周波数が
原信号に含まれる周波数に対応する。
の他にアダマール変換、離散コサイン変換(以下DC
T)、カルーネン・レーベ(K−L)変換等がある。ア
ダマール変換は原信号をwalsh 関数に成分分解し、DC
Tは離散的な余弦関数に成分分解する。この様な直交変
換を行う直交行列の各行ベクトルは基底ベクトルと呼ば
れ、アダマール変換及びDCT変換それぞれの16次の
基底ベクトルを図14に示す。この図において、アダマ
ール変換の各基底ベクトルはゼロ交差回数が多いほど高
周波成分を多く含み、同じようにDCTの各基底ベクト
ルにおいても、各離散的な余弦関数の繰り返し周波数が
原信号に含まれる周波数に対応する。
【0022】この様な直交変換を原画像配列[X](N
×N行列)に直交変換を行って求めた配列[Y]の各要
素は変換係数と呼ばれ、振幅スペクトル密度を表し、変
換係数の絶対値の2乗は電力スペクトル密度を表す。ま
た、配列[Y]の係数S(0,0) はDC係数と呼ばれ、ブ
ロック単位の平均濃度に相当する。残りはAC係数と呼
ばれ、各AC係数は係数S(1,0) 又は係数S(0,1) から
係数S(N,N) に向かって徐々に高い周波数成分の係数と
なっている。
×N行列)に直交変換を行って求めた配列[Y]の各要
素は変換係数と呼ばれ、振幅スペクトル密度を表し、変
換係数の絶対値の2乗は電力スペクトル密度を表す。ま
た、配列[Y]の係数S(0,0) はDC係数と呼ばれ、ブ
ロック単位の平均濃度に相当する。残りはAC係数と呼
ばれ、各AC係数は係数S(1,0) 又は係数S(0,1) から
係数S(N,N) に向かって徐々に高い周波数成分の係数と
なっている。
【0023】なお、直交変換によって電力集中度を最大
限に高め、最大の符号化効率を得ようとするのがK−L
変換であるが、K−L変換を行う行列、つまりK−L変
換行列を求めることは、与えられた入力画像に対して複
雑な計算を行うことによって求められる。しかし、この
様な計算は複雑であり、実用化は容易ではない。ところ
が、入力画像がある性質を満足している場合(例えば、
入力画像の自己相関係数が画素間距離の負の指数関数で
与えられるような場合)、K−L変換行列が離散コサイ
ン変換(DCT)の変換行列に非常に近似していること
が指摘されている。
限に高め、最大の符号化効率を得ようとするのがK−L
変換であるが、K−L変換を行う行列、つまりK−L変
換行列を求めることは、与えられた入力画像に対して複
雑な計算を行うことによって求められる。しかし、この
様な計算は複雑であり、実用化は容易ではない。ところ
が、入力画像がある性質を満足している場合(例えば、
入力画像の自己相関係数が画素間距離の負の指数関数で
与えられるような場合)、K−L変換行列が離散コサイ
ン変換(DCT)の変換行列に非常に近似していること
が指摘されている。
【0024】そこで、入力画像のK−L変換係数を求め
る代わりに、変換行列が一義的に決まっているDCTを
用いて直交変換を行うことで、計算を大幅に簡略できる
と共に、変換効率の劣化を少なくすることができる。こ
れが高能率符号化においてDCTが多く用いられる所以
である。DCTの様な直交変換を用いた符号化は非可逆
符号化と言われ、完全に原情報源が復元できない符号化
方法であるが、視覚上大きな画質劣化を伴わないで十分
な情報圧縮を行うことができる。
る代わりに、変換行列が一義的に決まっているDCTを
用いて直交変換を行うことで、計算を大幅に簡略できる
と共に、変換効率の劣化を少なくすることができる。こ
れが高能率符号化においてDCTが多く用いられる所以
である。DCTの様な直交変換を用いた符号化は非可逆
符号化と言われ、完全に原情報源が復元できない符号化
方法であるが、視覚上大きな画質劣化を伴わないで十分
な情報圧縮を行うことができる。
【0025】以下図示実施例に基づいて本発明を説明す
る。図1は本発明の第1実施例である電子スチルカメラ
の記録系のブロック図である。被写体36から到来した
光は集光レンズ34によって集光され、CCD(固体撮
像素子)30の受光面上に結像される。また、集光レン
ズ34とCCD30との間にはハーフミラー32が設置
されており、このハーフミラー32によって、その集光
レンズ34で集光された光の一部が反射され、CCD3
1の受光面上に結像される。CCD30及びCCD31
の受光面には2次元配列された光電変換素子が設けられ
ており、それら各光電変換素子によって被写体像が電気
信号に変換され出力される。
る。図1は本発明の第1実施例である電子スチルカメラ
の記録系のブロック図である。被写体36から到来した
光は集光レンズ34によって集光され、CCD(固体撮
像素子)30の受光面上に結像される。また、集光レン
ズ34とCCD30との間にはハーフミラー32が設置
されており、このハーフミラー32によって、その集光
レンズ34で集光された光の一部が反射され、CCD3
1の受光面上に結像される。CCD30及びCCD31
の受光面には2次元配列された光電変換素子が設けられ
ており、それら各光電変換素子によって被写体像が電気
信号に変換され出力される。
【0026】また、CCD30とCCD31とは、CC
Dの各光電変換素子間隔を1画素間隔とすると、水平方
向若しくは垂直方向に1/2画素間隔ずれて設置されて
いる。なお、本実施例においては水平走査線方向に1/
2画素間隔ずれている場合について説明する。従って、
水平及び垂直方向共に1/2画素間隔ずれていてもよい
し、垂直方向のみにずれていてもよい。
Dの各光電変換素子間隔を1画素間隔とすると、水平方
向若しくは垂直方向に1/2画素間隔ずれて設置されて
いる。なお、本実施例においては水平走査線方向に1/
2画素間隔ずれている場合について説明する。従って、
水平及び垂直方向共に1/2画素間隔ずれていてもよい
し、垂直方向のみにずれていてもよい。
【0027】CCD30はA/D変換器26と接続され
ており、光電変換素子によって電気信号に変換された映
像信号が1次元配列信号状態でこのA/D変換器26に
入力される。A/D変換器26に入力されたアナログ映
像信号はディジタルの第1画像データ100に変換され
る。同じように、CCD31はA/D変換器27と接続
されており、1次元配列状態のアナログ映像信号がこの
A/D変換器27に入力されてディジタルの第2画像デ
ータ104に変換される。
ており、光電変換素子によって電気信号に変換された映
像信号が1次元配列信号状態でこのA/D変換器26に
入力される。A/D変換器26に入力されたアナログ映
像信号はディジタルの第1画像データ100に変換され
る。同じように、CCD31はA/D変換器27と接続
されており、1次元配列状態のアナログ映像信号がこの
A/D変換器27に入力されてディジタルの第2画像デ
ータ104に変換される。
【0028】A/D変換器26のデータ出力端子は画像
メモリ38と接続されており、A/D変換器26によっ
て変換された1フィールド若しくは1フレーム分の第1
画像データ100が2次元的に蓄えられる。A/D変換
器27も画像メモリ39と接続されており、CCD31
によって得られた第2画像データ104が1フィールド
分若しくは1フレーム分蓄積される。
メモリ38と接続されており、A/D変換器26によっ
て変換された1フィールド若しくは1フレーム分の第1
画像データ100が2次元的に蓄えられる。A/D変換
器27も画像メモリ39と接続されており、CCD31
によって得られた第2画像データ104が1フィールド
分若しくは1フレーム分蓄積される。
【0029】画像メモリ38は2次元離散コサイン変換
を行うDCT20と接続されており、画像メモリ38に
一旦蓄えられた第1画像データ100が8×8ブロック
サイズに分割され、そのブロック単位毎に読み出されて
DCT20に入力される。DCT20に入力された第1
画像データ100は、2次元DCT変換が施されてDC
T変換係数が算出される。
を行うDCT20と接続されており、画像メモリ38に
一旦蓄えられた第1画像データ100が8×8ブロック
サイズに分割され、そのブロック単位毎に読み出されて
DCT20に入力される。DCT20に入力された第1
画像データ100は、2次元DCT変換が施されてDC
T変換係数が算出される。
【0030】DCT20は量子化器22と接続されてお
り、DCT20によって算出されたDCT変換係数が量
子化テーブルを用いて量子化される。量子化器22はハ
フマン符号器24と逆量子化器14とに接続されてい
る。ハフマン符号器24において、量子化器22で量子
化された各DCT変換係数が、ランレングス符号化及び
可変長符号化によって原情報源の持つ情報量が削減さ
れ、符号化データAに変換される。ハフマン符号器24
はICメモリカード10に接続されており、該符号化デ
ータAがこのICメモリカード10に順次記録される。
り、DCT20によって算出されたDCT変換係数が量
子化テーブルを用いて量子化される。量子化器22はハ
フマン符号器24と逆量子化器14とに接続されてい
る。ハフマン符号器24において、量子化器22で量子
化された各DCT変換係数が、ランレングス符号化及び
可変長符号化によって原情報源の持つ情報量が削減さ
れ、符号化データAに変換される。ハフマン符号器24
はICメモリカード10に接続されており、該符号化デ
ータAがこのICメモリカード10に順次記録される。
【0031】逆量子化器14は量子化器22から出力さ
れる量子化DCT係数に、量子化器22による量子化時
に用いられた量子化テーブルを利用して逆量子化が行わ
れ、DCT変換係数が復元される。逆量子化器14は逆
離散コサイン変換(以下IDCT)器16と接続されて
おり、逆量子化器14で復元されて入力されるDCT変
換係数に2次元IDCT変換が施され、画像データ10
0’が復元される。
れる量子化DCT係数に、量子化器22による量子化時
に用いられた量子化テーブルを利用して逆量子化が行わ
れ、DCT変換係数が復元される。逆量子化器14は逆
離散コサイン変換(以下IDCT)器16と接続されて
おり、逆量子化器14で復元されて入力されるDCT変
換係数に2次元IDCT変換が施され、画像データ10
0’が復元される。
【0032】IDCT16は拡張処理回路18と拡張処
理回路19とに接続されており、拡張処理回路18にお
いて、IDCT16から入力される復元画像データ10
0’がJPEG(Joint Photographic Expert Group)ア
ルゴリズムのハイアラーキカル・プロセスに基づいた拡
張処理が行われる。本実施例では、CCD30とCCD
31とが水平方向に1/2画素ずれているので、復元画
像データ100’の水平方向の画素数が2倍にアップサ
ンプリングされた拡張復元画像データ102が生成され
る。
理回路19とに接続されており、拡張処理回路18にお
いて、IDCT16から入力される復元画像データ10
0’がJPEG(Joint Photographic Expert Group)ア
ルゴリズムのハイアラーキカル・プロセスに基づいた拡
張処理が行われる。本実施例では、CCD30とCCD
31とが水平方向に1/2画素ずれているので、復元画
像データ100’の水平方向の画素数が2倍にアップサ
ンプリングされた拡張復元画像データ102が生成され
る。
【0033】拡張処理回路19には画像メモリ39が接
続されおり、この拡張処理回路19において、IDCT
16から入力される復元画像データ100’と画像メモ
リ39から入力される第2画像データ104とから高解
像度画像データ106が生成される。拡張処理回路19
の出力端子は減算器50と接続されている。減算器50
には拡張処理回路18も接続されており、この減算器5
0によって拡張処理回路19から入力される高解像度画
像データ106から、拡張処理回路18から入力される
拡張復元画像データ102が画素毎に減算されて補完デ
ータ108が算出される。
続されおり、この拡張処理回路19において、IDCT
16から入力される復元画像データ100’と画像メモ
リ39から入力される第2画像データ104とから高解
像度画像データ106が生成される。拡張処理回路19
の出力端子は減算器50と接続されている。減算器50
には拡張処理回路18も接続されており、この減算器5
0によって拡張処理回路19から入力される高解像度画
像データ106から、拡張処理回路18から入力される
拡張復元画像データ102が画素毎に減算されて補完デ
ータ108が算出される。
【0034】減算器50における減算は、各画素同士の
単純減算である。なお、本実施例においては、CCD3
0とCCD31とが水平方向に半画素ずれているので、
拡張処理回路18によるハイアラーキカル・プロセスに
準拠した拡張処理は、水平方向のみが行われるが、CC
D30とCCD31とが水平及び垂直方向に半画素ずれ
ていた場合、拡張処理回路18における復元画像データ
100’の拡張処理は、水平及び垂直方向の画素数が2
倍にアップサンプリングされる。この水平及び垂直方向
の拡張処理は、復元画像データ100’を最初に水平方
向にのみ画素数が2倍に拡張され、次にその水平方向の
画素数が2倍にされた画像データを垂直方向に画素数を
2倍にする処理が行われる。
単純減算である。なお、本実施例においては、CCD3
0とCCD31とが水平方向に半画素ずれているので、
拡張処理回路18によるハイアラーキカル・プロセスに
準拠した拡張処理は、水平方向のみが行われるが、CC
D30とCCD31とが水平及び垂直方向に半画素ずれ
ていた場合、拡張処理回路18における復元画像データ
100’の拡張処理は、水平及び垂直方向の画素数が2
倍にアップサンプリングされる。この水平及び垂直方向
の拡張処理は、復元画像データ100’を最初に水平方
向にのみ画素数が2倍に拡張され、次にその水平方向の
画素数が2倍にされた画像データを垂直方向に画素数を
2倍にする処理が行われる。
【0035】減算器50のデータ出力端子はDCT21
と接続されており、減算器50によって算出された補完
データ108にこのDCT21で2次元DCT変換が施
される。DCT21は量子化器23と接続されており、
DCT21によって算出された補完データ108のDC
T変換係数がこの量子化器23において量子化される。
と接続されており、減算器50によって算出された補完
データ108にこのDCT21で2次元DCT変換が施
される。DCT21は量子化器23と接続されており、
DCT21によって算出された補完データ108のDC
T変換係数がこの量子化器23において量子化される。
【0036】量子化器23の出力端子はハフマン符号器
25と接続されており、ハフマン符号器24と同様の処
理によって、補完データ108の量子化DCT係数から
符号化データB’が生成される。ハフマン符号器25は
ICメモリカード10と接続されており、この符号化デ
ータB’がICメモリカード10に順次記録される。
25と接続されており、ハフマン符号器24と同様の処
理によって、補完データ108の量子化DCT係数から
符号化データB’が生成される。ハフマン符号器25は
ICメモリカード10と接続されており、この符号化デ
ータB’がICメモリカード10に順次記録される。
【0037】次に、本実施例の電子スチルカメラの再生
系の構成を説明する。図2は本実施例の再生系のブロッ
ク図である。ICメモリカード10のデータ入出力端子
はハフマン復号器12、13と接続されており、ICメ
モリカード10から読み出された符号化データAと符号
化データB’とがそれぞれハフマン復号器12、13に
入力される。ハフマン復号器12、13で、符号化デー
タA及び符号化データB’から各々量子化DCT係数が
復号される。ハフマン復号器12は逆量子化器15と接
続されており、ハフマン復号器13は逆量子化器42に
接続されている。
系の構成を説明する。図2は本実施例の再生系のブロッ
ク図である。ICメモリカード10のデータ入出力端子
はハフマン復号器12、13と接続されており、ICメ
モリカード10から読み出された符号化データAと符号
化データB’とがそれぞれハフマン復号器12、13に
入力される。ハフマン復号器12、13で、符号化デー
タA及び符号化データB’から各々量子化DCT係数が
復号される。ハフマン復号器12は逆量子化器15と接
続されており、ハフマン復号器13は逆量子化器42に
接続されている。
【0038】逆量子化器15、42によって、ハフマン
復号器12、13各々から入力される各復号量子化DC
T係数に逆量子化が施され、DCT変換係数が復元され
る。逆量子化器15はIDCT40と接続されており、
このIDCT40によって復元DCT変換係数に2次元
IDCT変換が施されて画像データ100’が復元され
る。同様に、逆量子化器42はIDCT44と接続され
ており、逆量子化器42から入力される復元DCT変換
係数に2次元離散コサイン変換が施されて補完データ1
08’が復元される。
復号器12、13各々から入力される各復号量子化DC
T係数に逆量子化が施され、DCT変換係数が復元され
る。逆量子化器15はIDCT40と接続されており、
このIDCT40によって復元DCT変換係数に2次元
IDCT変換が施されて画像データ100’が復元され
る。同様に、逆量子化器42はIDCT44と接続され
ており、逆量子化器42から入力される復元DCT変換
係数に2次元離散コサイン変換が施されて補完データ1
08’が復元される。
【0039】IDCT40は画像メモリ46と接続され
ており、復元画像データ100’がこの画像メモリ46
に順次書き込まれ蓄積される。この画像メモリ46はス
イッチ60のコモン端子60cと接続されており、スイ
ッチ60の端子60aはD/A変換器28のデータ入力
端子と、スイッチ60の端子60bは拡張処理回路48
とそれぞれ接続されている。
ており、復元画像データ100’がこの画像メモリ46
に順次書き込まれ蓄積される。この画像メモリ46はス
イッチ60のコモン端子60cと接続されており、スイ
ッチ60の端子60aはD/A変換器28のデータ入力
端子と、スイッチ60の端子60bは拡張処理回路48
とそれぞれ接続されている。
【0040】スイッチ60の接点切り換え制御は図示し
ない中央演算処理回路(CPU)等によって行われる。
D/A変換器28は、筐体外面等に設けられたアナログ
映像信号出力端子を介してディスプレイ等の出力装置5
8と接続されており、画像メモリ46から読み出された
復元画像データ100’がこのD/A変換器28によっ
てアナログ信号に変換され、そして再生画像が出力装置
58に表示される。
ない中央演算処理回路(CPU)等によって行われる。
D/A変換器28は、筐体外面等に設けられたアナログ
映像信号出力端子を介してディスプレイ等の出力装置5
8と接続されており、画像メモリ46から読み出された
復元画像データ100’がこのD/A変換器28によっ
てアナログ信号に変換され、そして再生画像が出力装置
58に表示される。
【0041】これに対し、スイッチ60の接点が端子6
0b側に切り換えられていると、画像メモリ46から読
み出された復元画像データ100’が拡張処理回路48
に入力され、JPEGアルゴリズムのハイアラーキカル
・プロセスに準拠した拡張処理、すなわち図1の拡張処
理回路18と同様の処理が復元画像データ100’に施
され、復元画像データ100’の各画素が水平方向に2
倍にアップサンプリングされて拡張復元画像データ10
2が生成される。
0b側に切り換えられていると、画像メモリ46から読
み出された復元画像データ100’が拡張処理回路48
に入力され、JPEGアルゴリズムのハイアラーキカル
・プロセスに準拠した拡張処理、すなわち図1の拡張処
理回路18と同様の処理が復元画像データ100’に施
され、復元画像データ100’の各画素が水平方向に2
倍にアップサンプリングされて拡張復元画像データ10
2が生成される。
【0042】拡張処理回路48のデータ出力端子は加算
器52と接続されており、拡張復元画像データ102が
この加算器52に入力される。また、この加算器52に
はIDCT44が接続されている。加算器52によっ
て、IDCT44から入力される復元補完データ10
8’及び、拡張処理回路48から入力される拡張復元画
像データ102の各画素同士の加算が行われ高解像度画
像データ106’が復元される。加算器52のデータ出
力端子は画像メモリ56と接続されており、復元された
高解像度画像データ106’が順次この画像メモリ56
に蓄積される。
器52と接続されており、拡張復元画像データ102が
この加算器52に入力される。また、この加算器52に
はIDCT44が接続されている。加算器52によっ
て、IDCT44から入力される復元補完データ10
8’及び、拡張処理回路48から入力される拡張復元画
像データ102の各画素同士の加算が行われ高解像度画
像データ106’が復元される。加算器52のデータ出
力端子は画像メモリ56と接続されており、復元された
高解像度画像データ106’が順次この画像メモリ56
に蓄積される。
【0043】画像メモリ56のデータ出力端子はD/A
変換器29と接続されており、画像メモリ56に蓄えら
れた1フレーム若しくは1フィールドの高解像度画像デ
ータ106’が読み出されて、アナログの高解像度映像
信号に変換される。D/A変換器29のアナログ信号出
力端子は図示しない筐体側面等に設けられた映像信号出
力端子と接続されており、この映像信号出力端子に高解
像度画像出力装置62が接続されている。そしてD/A
変換器29によってアナログ信号に変換された高解像度
映像信号が高解像度画像出力装置62に出力され、出力
装置58に表示される画像より高解像度の画像が再生表
示される。
変換器29と接続されており、画像メモリ56に蓄えら
れた1フレーム若しくは1フィールドの高解像度画像デ
ータ106’が読み出されて、アナログの高解像度映像
信号に変換される。D/A変換器29のアナログ信号出
力端子は図示しない筐体側面等に設けられた映像信号出
力端子と接続されており、この映像信号出力端子に高解
像度画像出力装置62が接続されている。そしてD/A
変換器29によってアナログ信号に変換された高解像度
映像信号が高解像度画像出力装置62に出力され、出力
装置58に表示される画像より高解像度の画像が再生表
示される。
【0044】以上の構成において、以下各デバイスに於
ける動作と生成される画像データについて説明する。図
3は図1のIDCT16又は図2のIDCT40によっ
て復元された画像データ100’と、図1に於ける画像
メモリ39に蓄積される第2画像データ104と、図1
の拡張処理回路18又は図2の拡張処理回路48で生成
される拡張復元画像データ102等の一例を示す。図1
のCCD30から入力され、A/D変換される第1画像
データ100とCCD31から入力されA/D変換され
る第2画像データ104とは、空間座標軸において水平
方向に1/2画素分(図3の間隔114)ずれている。
第1画像データ100と第2画像データ104は、画像
メモリ38、39にそれぞれ2次元的に配列されて蓄積
される。そして各画像データ100、104は、8×8
画素ブロックサイズ毎に分割され、ブロック毎の画像デ
ータがDCT20と拡張処理回路19とにそれぞれ入力
される。
ける動作と生成される画像データについて説明する。図
3は図1のIDCT16又は図2のIDCT40によっ
て復元された画像データ100’と、図1に於ける画像
メモリ39に蓄積される第2画像データ104と、図1
の拡張処理回路18又は図2の拡張処理回路48で生成
される拡張復元画像データ102等の一例を示す。図1
のCCD30から入力され、A/D変換される第1画像
データ100とCCD31から入力されA/D変換され
る第2画像データ104とは、空間座標軸において水平
方向に1/2画素分(図3の間隔114)ずれている。
第1画像データ100と第2画像データ104は、画像
メモリ38、39にそれぞれ2次元的に配列されて蓄積
される。そして各画像データ100、104は、8×8
画素ブロックサイズ毎に分割され、ブロック毎の画像デ
ータがDCT20と拡張処理回路19とにそれぞれ入力
される。
【0045】DCT20では、入力される第1画像デー
タ100に対して2次元DCT変換が施され、8×8ブ
ロックサイズのDCT変換係数が求められる。
タ100に対して2次元DCT変換が施され、8×8ブ
ロックサイズのDCT変換係数が求められる。
【0046】ここで2次元DCT変換を行う演算式は次
のように定義されている。
のように定義されている。
【数1】
【0047】なお、この数1においてPxyは第1画像デ
ータ100の各画素値を示し、本実施例においては25
6階調(8ビット精度)の輝度信号から構成された画像
データとする。DCT20によって求めたDCT変換係
数は振幅スペクトル密度を表す。8×8画素ブロックサ
イズの場合、数1による2次元DCT変換によって8×
8=64個の変換係数Suvが求まる。この64個の変換
係数のうち、要素位置(0,0)にある変換係数Suvは
DC係数と呼ばれ、残り63個の係数はAC係数と呼ば
れる。
ータ100の各画素値を示し、本実施例においては25
6階調(8ビット精度)の輝度信号から構成された画像
データとする。DCT20によって求めたDCT変換係
数は振幅スペクトル密度を表す。8×8画素ブロックサ
イズの場合、数1による2次元DCT変換によって8×
8=64個の変換係数Suvが求まる。この64個の変換
係数のうち、要素位置(0,0)にある変換係数Suvは
DC係数と呼ばれ、残り63個の係数はAC係数と呼ば
れる。
【0048】また、AC係数は係数S01若しくは係数S
10から係数S77に向かって徐々に、より高い周波数成分
が原画像内にどのくらいあるかを表している(=振幅ス
ペクトル密度)。DC係数は8×8画素ブロック全体の
画素値の平均値(直流成分)を表している。
10から係数S77に向かって徐々に、より高い周波数成分
が原画像内にどのくらいあるかを表している(=振幅ス
ペクトル密度)。DC係数は8×8画素ブロック全体の
画素値の平均値(直流成分)を表している。
【0049】なお、(1)式において各画素値Pxyから
Ls を減算するのは、DC係数の期待値を0により近づ
かせるためである。これにより、後述するハフマン符号
化の際により短い符号長でDC係数を符号化でき、画像
データの情報圧縮率を高めることができる。
Ls を減算するのは、DC係数の期待値を0により近づ
かせるためである。これにより、後述するハフマン符号
化の際により短い符号長でDC係数を符号化でき、画像
データの情報圧縮率を高めることができる。
【0050】2次元DCT変換結果の具体例を図5に示
す。図5(a)は8×8ブロックに分割された第1画像
データ100の一例を示し、図5(b)は図5(a)の
原画像データに2次元DCT変換を施して求められた2
次元のDCT変換係数を示す。この様に1ブロック毎の
第1画像データ100が画像メモリ38から読み出さ
れ、DCT20にてDCT変換係数が求められる。この
DCT変換係数は量子化器22に入力される。この量子
化器22には、図5(d)に示すような量子化テーブル
Quvが具備されており、この量子化テーブルQuvを用い
て各DCT変換係数が要素位置毎に量子化される。
す。図5(a)は8×8ブロックに分割された第1画像
データ100の一例を示し、図5(b)は図5(a)の
原画像データに2次元DCT変換を施して求められた2
次元のDCT変換係数を示す。この様に1ブロック毎の
第1画像データ100が画像メモリ38から読み出さ
れ、DCT20にてDCT変換係数が求められる。この
DCT変換係数は量子化器22に入力される。この量子
化器22には、図5(d)に示すような量子化テーブル
Quvが具備されており、この量子化テーブルQuvを用い
て各DCT変換係数が要素位置毎に量子化される。
【0051】このDCT変換係数の量子化は次式によっ
て求められる。 Ruv=round(Suv/Quv) {0≦u,v ≦7} なお、本式におけるround は最も近い整数への整数化を
意味する。つまり、DCT変換係数及び量子化テーブル
の各要素同士の割算と四捨五入によって量子化DCT係
数Ruvが求められる。図5(d)の量子化テーブルQuv
によって2次元DCT変換係数が量子化されると、図5
(c)のような2次元の量子化DCT係数Ruvが求ま
る。
て求められる。 Ruv=round(Suv/Quv) {0≦u,v ≦7} なお、本式におけるround は最も近い整数への整数化を
意味する。つまり、DCT変換係数及び量子化テーブル
の各要素同士の割算と四捨五入によって量子化DCT係
数Ruvが求められる。図5(d)の量子化テーブルQuv
によって2次元DCT変換係数が量子化されると、図5
(c)のような2次元の量子化DCT係数Ruvが求ま
る。
【0052】このようにして量子化器22で求められた
量子化DCT係数Ruvはハフマン符号器24と逆量子化
器14とに入力される。ここで、図5(c)の量子化D
CT係数Ruvを符号化するハフマン符号化について簡単
に説明する。量子化DC係数(R00)と量子化AC係数
(R00以外)では符号化方法が異なっている。量子化D
C係数の符号化は次のように行われる。
量子化DCT係数Ruvはハフマン符号器24と逆量子化
器14とに入力される。ここで、図5(c)の量子化D
CT係数Ruvを符号化するハフマン符号化について簡単
に説明する。量子化DC係数(R00)と量子化AC係数
(R00以外)では符号化方法が異なっている。量子化D
C係数の符号化は次のように行われる。
【0053】初めに、現在の符号化対象ブロックの量子
化DC係数と一つ前に符号化が完了されたブロックの量
子化DC係数との差分が求められる。そして、その差分
値が図6に示すグループの何れに属するかが判断され、
グループ番号を表す符号語が図7に示す符号表(DC係
数の符号化テーブル)から求められる。さらに各グルー
プ各々において属する値のうち符号化対象の差分値が第
何番目の値であるかが付加ビットで表される。つまり、
隣接ブロックのDC係数同士の差分値の値から、その値
の属するグループ番号を表す符号語と、付加ビットによ
って差分値が符号化される。
化DC係数と一つ前に符号化が完了されたブロックの量
子化DC係数との差分が求められる。そして、その差分
値が図6に示すグループの何れに属するかが判断され、
グループ番号を表す符号語が図7に示す符号表(DC係
数の符号化テーブル)から求められる。さらに各グルー
プ各々において属する値のうち符号化対象の差分値が第
何番目の値であるかが付加ビットで表される。つまり、
隣接ブロックのDC係数同士の差分値の値から、その値
の属するグループ番号を表す符号語と、付加ビットによ
って差分値が符号化される。
【0054】例えば、一つ前に符号化されたブロックの
DC係数値が25、現在符号化しようとするブロックの
DC係数値が16であると、差分値は−9であるので、
図6のグループ番号表から、差分値=−9の属するグル
ープの番号(SSSS) は「4」と判別され、さらにそのグ
ループ番号(SSSS) の符号語が図7の符号化テーブルよ
り「101」と判断される。さらにSSSS=4のグループに
おいて、差分値「−9」は小さいほうから第7番目にあ
るので、付加ビットは「0110」となり、符号化対象ブロ
ックのDC係数のハフマン符号語は「1010110 」とな
る。
DC係数値が25、現在符号化しようとするブロックの
DC係数値が16であると、差分値は−9であるので、
図6のグループ番号表から、差分値=−9の属するグル
ープの番号(SSSS) は「4」と判別され、さらにそのグ
ループ番号(SSSS) の符号語が図7の符号化テーブルよ
り「101」と判断される。さらにSSSS=4のグループに
おいて、差分値「−9」は小さいほうから第7番目にあ
るので、付加ビットは「0110」となり、符号化対象ブロ
ックのDC係数のハフマン符号語は「1010110 」とな
る。
【0055】量子化AC係数の符号化は、図8に示す処
理ルーチンによって行われる。初めに、63個の量子化
AC係数が図9に示す順序でジクザクスキャンされて、
1次元配列データに並び直される(ステップ120)。
そして、1次元に並べられた各量子化AC係数が「0」
か否かが判断され(ステップ122)、「0」ならばそ
の「0」である量子化AC係数が連続する数がカウント
され(ステップ124)、ラン長(NNNN)が求められ
る。また、量子化AC係数が「0」でないならば、上記
DC係数と同じようなグループ分けが行われ、ラン長
(NNNN)とグループ番号とを用いた2次元ハフマン符号
化が行われる(ステップ130)。
理ルーチンによって行われる。初めに、63個の量子化
AC係数が図9に示す順序でジクザクスキャンされて、
1次元配列データに並び直される(ステップ120)。
そして、1次元に並べられた各量子化AC係数が「0」
か否かが判断され(ステップ122)、「0」ならばそ
の「0」である量子化AC係数が連続する数がカウント
され(ステップ124)、ラン長(NNNN)が求められ
る。また、量子化AC係数が「0」でないならば、上記
DC係数と同じようなグループ分けが行われ、ラン長
(NNNN)とグループ番号とを用いた2次元ハフマン符号
化が行われる(ステップ130)。
【0056】「0」でないその量子化AC係数(有効係
数)のグループ分けに際し、量子化DC係数のグループ
分けと同様に、その有効係数の属するグループ内に於け
る順位を表す付加ビットが求められる。2次元ハフマン
符号化とは、ラン長(NNNN)の値と、そのラン長(NNN
N)分「0」が続いた後に最初に出現する有効量子化A
C係数のグループ番号とを独立変数とし、各ラン長(NN
NN)値とグループ番号値との組み合わせに1つの符号語
を割り当て、その符号語と共にそのグループ番号で表さ
れた有効係数の付加ビットで量子化AC係数が符号化さ
れる。
数)のグループ分けに際し、量子化DC係数のグループ
分けと同様に、その有効係数の属するグループ内に於け
る順位を表す付加ビットが求められる。2次元ハフマン
符号化とは、ラン長(NNNN)の値と、そのラン長(NNN
N)分「0」が続いた後に最初に出現する有効量子化A
C係数のグループ番号とを独立変数とし、各ラン長(NN
NN)値とグループ番号値との組み合わせに1つの符号語
を割り当て、その符号語と共にそのグループ番号で表さ
れた有効係数の付加ビットで量子化AC係数が符号化さ
れる。
【0057】図5(c)の量子化DCT係数をこの様な
ハフマン符号化した結果の符号化データ140を図10
に示す。この様にして各ブロックがハフマン符号器24
によって符号化され、その符号化データ140がICメ
モリカード10に順次記録される。
ハフマン符号化した結果の符号化データ140を図10
に示す。この様にして各ブロックがハフマン符号器24
によって符号化され、その符号化データ140がICメ
モリカード10に順次記録される。
【0058】量子化器22から出力される量子化DCT
係数は逆量子化器14にも入力されており、量子化器2
2で用いた量子化テーブルQuvによってDCT変換係数
が復元される。図5(c)の量子化DCT係数を復元し
たDCT変換係数を図11(b)に示す。逆量子化器1
4によって復元されたDCT変換係数SuvはIDCT1
6に入力され、2次元IDCT変換が施され、8×8画
素ブロックの画像データ100’が復元される。この2
次元IDCT変換を行う変換式を示す。
係数は逆量子化器14にも入力されており、量子化器2
2で用いた量子化テーブルQuvによってDCT変換係数
が復元される。図5(c)の量子化DCT係数を復元し
たDCT変換係数を図11(b)に示す。逆量子化器1
4によって復元されたDCT変換係数SuvはIDCT1
6に入力され、2次元IDCT変換が施され、8×8画
素ブロックの画像データ100’が復元される。この2
次元IDCT変換を行う変換式を示す。
【数2】
【0059】図11(b)のDCT変換係数Suvに2次
元IDCT変換を施して復元した復元画像データ10
0’の様子を図11(c)に示す。
元IDCT変換を施して復元した復元画像データ10
0’の様子を図11(c)に示す。
【0060】復元画像データ100’は拡張処理回路1
8に順次入力される。この拡張処理回路18において、
復元画像データ100’の画素が水平方向に2倍にされ
る、JPEGアルゴリズムのハイアラーキカル・プロセ
スに基づいた拡張処理が施される。復元画像データ10
0’に拡張処理を施して得られる拡張復元画像データ1
02の様子を図3(b)に示す。この図に示すように、
ハイアラーキカル・プロセスにおける水平方向のアップ
サンプリングは復元画像データ100’の隣接画素同士
の平均がそれら隣接画素間の1画素の値と定義された画
像が生成される。復元画像データ100’を水平及び垂
直方向にアップサンプリングされた場合の画像の様子を
図4(b)に示す。
8に順次入力される。この拡張処理回路18において、
復元画像データ100’の画素が水平方向に2倍にされ
る、JPEGアルゴリズムのハイアラーキカル・プロセ
スに基づいた拡張処理が施される。復元画像データ10
0’に拡張処理を施して得られる拡張復元画像データ1
02の様子を図3(b)に示す。この図に示すように、
ハイアラーキカル・プロセスにおける水平方向のアップ
サンプリングは復元画像データ100’の隣接画素同士
の平均がそれら隣接画素間の1画素の値と定義された画
像が生成される。復元画像データ100’を水平及び垂
直方向にアップサンプリングされた場合の画像の様子を
図4(b)に示す。
【0061】画像メモリ38に蓄えられる第1画像デー
タ100に対して水平方向に半画素ずれた第2画像デー
タ104が画像メモリ39に入力され蓄積される。この
第2画像データ104とIDCT16から出力される復
元画像データ100’とが拡張処理回路19に入力さ
れ、水平方向に拡張処理が施されて高解像度画像データ
106が減算器50に入力される。この高解像度画像デ
ータ106を図3(d)に示す。この高解像度画像デー
タ106と拡張復元画像データ102の各画素同士の減
算が減算器50において行われ、図3(e)に示す高解
像度画像再生用の補完データ108としてDCT21に
入力される。
タ100に対して水平方向に半画素ずれた第2画像デー
タ104が画像メモリ39に入力され蓄積される。この
第2画像データ104とIDCT16から出力される復
元画像データ100’とが拡張処理回路19に入力さ
れ、水平方向に拡張処理が施されて高解像度画像データ
106が減算器50に入力される。この高解像度画像デ
ータ106を図3(d)に示す。この高解像度画像デー
タ106と拡張復元画像データ102の各画素同士の減
算が減算器50において行われ、図3(e)に示す高解
像度画像再生用の補完データ108としてDCT21に
入力される。
【0062】図4(c)には、CCD30とCCD31
とが水平及び垂直方向に半画素ずれていた場合に得られ
る高解像度画像データの一例を示す。この図において、
AxyはCCD30から得られる画像データであり、Bxy
はCCD31から得られる画像データである。αxy, β
xyは任意の値であり、例えば4方に隣接するAxy, Bxy
の平均であってもよい。
とが水平及び垂直方向に半画素ずれていた場合に得られ
る高解像度画像データの一例を示す。この図において、
AxyはCCD30から得られる画像データであり、Bxy
はCCD31から得られる画像データである。αxy, β
xyは任意の値であり、例えば4方に隣接するAxy, Bxy
の平均であってもよい。
【0063】DCT21によって変換されたDCT変換
係数が量子化器23に入力され、量子化器22で用いた
量子化テーブルQuvと異なる量子化テーブルを用いて各
DCT変換係数が量子化される。この様に、量子化器2
2における量子化テーブルと量子化器23における量子
化テーブルとが異なるのは、入力されるDCT変換係数
値の分布、すなわちDCT変換係数の統計的性質が異な
るためである。したがって、量子化器22で用いられる
量子化テーブルは、入力される原画像データの性質が異
なる場合には、量子化ステップ幅を変更するようにして
もよい。
係数が量子化器23に入力され、量子化器22で用いた
量子化テーブルQuvと異なる量子化テーブルを用いて各
DCT変換係数が量子化される。この様に、量子化器2
2における量子化テーブルと量子化器23における量子
化テーブルとが異なるのは、入力されるDCT変換係数
値の分布、すなわちDCT変換係数の統計的性質が異な
るためである。したがって、量子化器22で用いられる
量子化テーブルは、入力される原画像データの性質が異
なる場合には、量子化ステップ幅を変更するようにして
もよい。
【0064】量子化器23によって量子化されたDCT
変換係数はハフマン符号器25に入力され、ハフマン符
号器24と同じハフマン符号化が行われ符号化データ
B’が生成される。
変換係数はハフマン符号器25に入力され、ハフマン符
号器24と同じハフマン符号化が行われ符号化データ
B’が生成される。
【0065】なお、ハフマン符号器25に於ける符号化
に用いる符号化テーブルは、ハフマン符号器24で用い
る符号化テーブルと異なる。これは、ハフマン符号器2
4に入力される量子化DCT変換係数の原情報源は画像
そのものである第1画像データ100であり、ハフマン
符号器25に入力される量子化DCT変換係数の原情報
源は、高解像度画像再生用の補完データ108であり、
それら原情報源の統計的性質が異なるため、量子化後の
量子化DCT係数の値にも統計的性質に差異が生じてい
るからである。
に用いる符号化テーブルは、ハフマン符号器24で用い
る符号化テーブルと異なる。これは、ハフマン符号器2
4に入力される量子化DCT変換係数の原情報源は画像
そのものである第1画像データ100であり、ハフマン
符号器25に入力される量子化DCT変換係数の原情報
源は、高解像度画像再生用の補完データ108であり、
それら原情報源の統計的性質が異なるため、量子化後の
量子化DCT係数の値にも統計的性質に差異が生じてい
るからである。
【0066】ハフマン符号器25によって符号化された
符号化データB’はICメモリカード10に順次記録さ
れる。なお、この符号化データB’と前記符号化データ
AとがICメモリカード10に記録される際、ICメモ
リカード10からデータを読み出す際に、符号化データ
Aであるか、符号化データB’であるかを識別するため
の識別情報を付加して記録する。これにより、ICメモ
リカード10からのデータ読み出し時、符号化データA
と符号化データB’とを取り違えることはない。
符号化データB’はICメモリカード10に順次記録さ
れる。なお、この符号化データB’と前記符号化データ
AとがICメモリカード10に記録される際、ICメモ
リカード10からデータを読み出す際に、符号化データ
Aであるか、符号化データB’であるかを識別するため
の識別情報を付加して記録する。これにより、ICメモ
リカード10からのデータ読み出し時、符号化データA
と符号化データB’とを取り違えることはない。
【0067】次にICメモリカード10から符号化デー
タA若しくは符号化データB’を読み出して画像データ
を再生する処理を図2及び図11を参照しつつ説明す
る。なお、符号化データAと符号化データB’とを用い
て高解像度映像信号を復元できるが、低解像度映像信号
のみの再生を必要とするならば、符号化データB’のI
Cメモリカード10からの読み出しは行われない。
タA若しくは符号化データB’を読み出して画像データ
を再生する処理を図2及び図11を参照しつつ説明す
る。なお、符号化データAと符号化データB’とを用い
て高解像度映像信号を復元できるが、低解像度映像信号
のみの再生を必要とするならば、符号化データB’のI
Cメモリカード10からの読み出しは行われない。
【0068】ICメモリカード10から符号化データA
と符号化データB’とが、ICメモリカード10への記
録時に付加された識別情報をもとに読み出され、各々ハ
フマン復号器12とハフマン復号器13とに入力され
る。
と符号化データB’とが、ICメモリカード10への記
録時に付加された識別情報をもとに読み出され、各々ハ
フマン復号器12とハフマン復号器13とに入力され
る。
【0069】ハフマン復号器12では、図1のハフマン
符号器24で用いられた符号化テーブルを利用して量子
化DCT係数Ruvが復号される。図11(a)には、I
Cメモリカード10から読み出された符号化データAの
一例である図10に示す符号化データ140を復号した
場合の量子化DCT係数Ruvを示す。
符号器24で用いられた符号化テーブルを利用して量子
化DCT係数Ruvが復号される。図11(a)には、I
Cメモリカード10から読み出された符号化データAの
一例である図10に示す符号化データ140を復号した
場合の量子化DCT係数Ruvを示す。
【0070】ハフマン復号器12によって復号された量
子化DCT係数は逆量子化器15に入力される。逆量子
化器15では、図1の量子化器22で用いた量子化テー
ブルを用いて逆量子化が行われる。つまり、各量子化テ
ーブルQuvと各復元量子化DCT係数Ruvとの乗算が各
要素毎に行われ、DCT変換係数Suvが復元される。逆
量子化器15によって復元されたDCT変換係数の一例
を図11(b)に示す。なお、この逆量子化器15で使
用される逆量子化テーブルは、図1の逆量子化器14で
使用される量子化テーブルと同じである。
子化DCT係数は逆量子化器15に入力される。逆量子
化器15では、図1の量子化器22で用いた量子化テー
ブルを用いて逆量子化が行われる。つまり、各量子化テ
ーブルQuvと各復元量子化DCT係数Ruvとの乗算が各
要素毎に行われ、DCT変換係数Suvが復元される。逆
量子化器15によって復元されたDCT変換係数の一例
を図11(b)に示す。なお、この逆量子化器15で使
用される逆量子化テーブルは、図1の逆量子化器14で
使用される量子化テーブルと同じである。
【0071】逆量子化器15によって復元されたDCT
変換係数はIDCT40に入力され、2次元IDCT変
換が施される。IDCT40によって復元された復元画
像データ100’の一例を図11(c)に示す。このI
DCT40による逆IDCT変換によって復元された復
元画像データ100’は図1のIDCT16による復元
画像データと同じである。よって、逆量子化器15を逆
量子化器14と兼用し、またIDCT40をIDCT1
6と兼用してもよい。本実施例では説明の便宜上別体の
デバイスとした。
変換係数はIDCT40に入力され、2次元IDCT変
換が施される。IDCT40によって復元された復元画
像データ100’の一例を図11(c)に示す。このI
DCT40による逆IDCT変換によって復元された復
元画像データ100’は図1のIDCT16による復元
画像データと同じである。よって、逆量子化器15を逆
量子化器14と兼用し、またIDCT40をIDCT1
6と兼用してもよい。本実施例では説明の便宜上別体の
デバイスとした。
【0072】IDCT40によって復元された復元画像
データ100’は画像メモリ46に入力され、1フレー
ム分若しくは1フィールド分記憶される。画像メモリ4
6への1フレーム分若しくは1フィールド分の復元画像
データ100’の記憶が完了されると、スイッチ60の
接点切り換えによりD/A変換器28か、拡張処理回路
48何れかに画像メモリ46の復元画像データ100’
が入力される。D/A変換器28に復元画像データ10
0’が入力された場合には、アナログの映像信号に変換
されて出力装置58へと出力され、低解像度の画像がこ
の出力装置58に表示される。
データ100’は画像メモリ46に入力され、1フレー
ム分若しくは1フィールド分記憶される。画像メモリ4
6への1フレーム分若しくは1フィールド分の復元画像
データ100’の記憶が完了されると、スイッチ60の
接点切り換えによりD/A変換器28か、拡張処理回路
48何れかに画像メモリ46の復元画像データ100’
が入力される。D/A変換器28に復元画像データ10
0’が入力された場合には、アナログの映像信号に変換
されて出力装置58へと出力され、低解像度の画像がこ
の出力装置58に表示される。
【0073】拡張処理回路48に復元画像データ10
0’が入力された場合には、その復元画像データ10
0’の各画素がJPEGアルゴリズムのハイアラーキカ
ル・プロセスに基づいて水平方向に2倍に拡張される。
拡張処理回路48による拡張復元画像データ102は加
算器52へ出力される。この拡張復元画像データ102
の一例を図3(b)に示す。
0’が入力された場合には、その復元画像データ10
0’の各画素がJPEGアルゴリズムのハイアラーキカ
ル・プロセスに基づいて水平方向に2倍に拡張される。
拡張処理回路48による拡張復元画像データ102は加
算器52へ出力される。この拡張復元画像データ102
の一例を図3(b)に示す。
【0074】ICメモリカード10から読み出された符
号化データB’は、ハフマン復号器13によって復号さ
れる。このハフマン復号器13での復号に用いられる符
号化テーブルは図1のハフマン符号器25で用いられた
符号化テーブルと同じである。ハフマン復号器13によ
って復元された復元量子化DCT係数は、逆量子化器4
2によって逆量子化が施され、DCT変換係数が復元さ
れる。この逆量子化器42で使用される量子化テーブル
は、図1の量子化器23で使用される量子化テーブルと
同じものである。そして逆量子化器42によって復元さ
れたDCT変換係数はIDCT44によって2次元ID
CT変換が施され、補完データ108’が復元される。
補完データ108’の一例を図3(e)に示す。なお、
図3(e)に示す補完データ108’は図1に於ける減
算器50が出力する補完データ108にほぼ等しい。
号化データB’は、ハフマン復号器13によって復号さ
れる。このハフマン復号器13での復号に用いられる符
号化テーブルは図1のハフマン符号器25で用いられた
符号化テーブルと同じである。ハフマン復号器13によ
って復元された復元量子化DCT係数は、逆量子化器4
2によって逆量子化が施され、DCT変換係数が復元さ
れる。この逆量子化器42で使用される量子化テーブル
は、図1の量子化器23で使用される量子化テーブルと
同じものである。そして逆量子化器42によって復元さ
れたDCT変換係数はIDCT44によって2次元ID
CT変換が施され、補完データ108’が復元される。
補完データ108’の一例を図3(e)に示す。なお、
図3(e)に示す補完データ108’は図1に於ける減
算器50が出力する補完データ108にほぼ等しい。
【0075】IDCT44によって復元された補完デー
タ108’は加算器52に入力される。そして、拡張処
理回路48から入力される拡張復元画像データ102と
の同一画素位置にあるデータ同士で加算が行われ、高解
像度画像データ106’が再生される。この高解像度画
像データ106’の例を図3(d)に示す。加算器52
において生成された高解像度画像データ106’は画像
メモリ56に入力され、1フレーム分若しくは1フィー
ルド分蓄積される。そして、画像メモリ56に1フレー
ム分若しくは1フィールド分の高解像度画像データ10
6’の記憶が完了されると、画像メモリ56からその高
解像度画像データ106’が順次走査されて読み出さ
れ、D/A変換器29に入力される。
タ108’は加算器52に入力される。そして、拡張処
理回路48から入力される拡張復元画像データ102と
の同一画素位置にあるデータ同士で加算が行われ、高解
像度画像データ106’が再生される。この高解像度画
像データ106’の例を図3(d)に示す。加算器52
において生成された高解像度画像データ106’は画像
メモリ56に入力され、1フレーム分若しくは1フィー
ルド分蓄積される。そして、画像メモリ56に1フレー
ム分若しくは1フィールド分の高解像度画像データ10
6’の記憶が完了されると、画像メモリ56からその高
解像度画像データ106’が順次走査されて読み出さ
れ、D/A変換器29に入力される。
【0076】D/A変換器29において高解像度画像デ
ータ106’はアナログの映像信号に変換され、高解像
度出力装置62に出力される。これにより、高解像度画
像出力装置62には、出力装置58に表示される低解像
度の画像より水平方向の解像度が高い、画質が優れた画
像が表示される。
ータ106’はアナログの映像信号に変換され、高解像
度出力装置62に出力される。これにより、高解像度画
像出力装置62には、出力装置58に表示される低解像
度の画像より水平方向の解像度が高い、画質が優れた画
像が表示される。
【0077】このように、上記実施例における高解像度
画像の再生はCCD30から得られる第1画像データ1
00と、同一被写体像を対象とし、しかも半画素水平方
向にずれたCCD31から得られる第2画像データ10
4とを用いて生成した。
画像の再生はCCD30から得られる第1画像データ1
00と、同一被写体像を対象とし、しかも半画素水平方
向にずれたCCD31から得られる第2画像データ10
4とを用いて生成した。
【0078】高解像度画像の映像信号を出力できるCC
Dを用いる場合、すなわちCCD30、31より画素ピ
ッチがより狭いCCDを用いる場合、図1のように2枚
のCCDを用いる必要はない。すなわち、このような場
合、1枚のCCDによって得られる高解像度画像データ
Cをダウンサンプリングして画素数を間引き、低解像度
画像データAを生成すると共に、その低解像度画像デー
タAと高解像度画像データCとを用いて補完データB’
を生成し、その補完データB’と低解像度画像データA
とをDCT、量子化及びハフマン符号化からなる高能率
符号化によって情報量を圧縮してICメモリカード10
にそれぞれ記録すれば上記実施例と同様のデータがIC
メモリカード10に記録できる。
Dを用いる場合、すなわちCCD30、31より画素ピ
ッチがより狭いCCDを用いる場合、図1のように2枚
のCCDを用いる必要はない。すなわち、このような場
合、1枚のCCDによって得られる高解像度画像データ
Cをダウンサンプリングして画素数を間引き、低解像度
画像データAを生成すると共に、その低解像度画像デー
タAと高解像度画像データCとを用いて補完データB’
を生成し、その補完データB’と低解像度画像データA
とをDCT、量子化及びハフマン符号化からなる高能率
符号化によって情報量を圧縮してICメモリカード10
にそれぞれ記録すれば上記実施例と同様のデータがIC
メモリカード10に記録できる。
【0079】つまり、CCDから直接得られた高解像度
画像データCをダウンサンプリングして得られる低解像
度画像データAをDCT20及び量子化器22によって
量子化DCT係数に変換する。そして、逆量子化器14
及びIDCT16によって低解像度画像データA’に復
元し、さらに復元低解像度画像データA’を拡張処理回
路18によって拡張処理を施す。この拡張処理が施され
た拡張復元画像データ102と高解像度画像データCと
から、補完データ108を算出する。そして、この補完
データ108と上記低解像度画像データAとをICメモ
リカード10に高能率符号化して記録する。
画像データCをダウンサンプリングして得られる低解像
度画像データAをDCT20及び量子化器22によって
量子化DCT係数に変換する。そして、逆量子化器14
及びIDCT16によって低解像度画像データA’に復
元し、さらに復元低解像度画像データA’を拡張処理回
路18によって拡張処理を施す。この拡張処理が施され
た拡張復元画像データ102と高解像度画像データCと
から、補完データ108を算出する。そして、この補完
データ108と上記低解像度画像データAとをICメモ
リカード10に高能率符号化して記録する。
【0080】このように高解像度画像データを直接出力
することができるCCDを用いるなら、図1におけるC
CD31、ハーフミラー32、A/D変換器27及び拡
張処理回路19を省くことができる。なお高解像度画像
を直接出力するCCD等を用いる高解像度画像を基準と
し、その高解像度画像をサブサンプリングして低解像度
画像を生成し、その低解像度画像と高解像度画像とから
補完データを求める場合と、上記実施例のような場合で
は、補完データの数学的性質が多少異なる。
することができるCCDを用いるなら、図1におけるC
CD31、ハーフミラー32、A/D変換器27及び拡
張処理回路19を省くことができる。なお高解像度画像
を直接出力するCCD等を用いる高解像度画像を基準と
し、その高解像度画像をサブサンプリングして低解像度
画像を生成し、その低解像度画像と高解像度画像とから
補完データを求める場合と、上記実施例のような場合で
は、補完データの数学的性質が多少異なる。
【0081】また上記実施例においては、CCD及び集
光レンズ等を備え、しかも低解像度画像と高解像度画像
とを記録再生できる電子スチルカメラについて説明した
が、外部より高解像度画像の映像信号入力可能とし、再
生の際に低解像度画像と高解像度画像の双方を出力する
ことができる、解像度が異なる複数の画像を記録再生で
きる装置としてもよい。すなわち、CCD及びA/D変
換器等の画像データ生成装置を備えず、上述したように
外部から入力された高解像度映像信号から低解像度画像
を生成して記録するとともに、その高解像度画像と低解
像度画像との差分を記録し、低解像度画像、高解像度画
像いずれをも再生出力することができる画像記録再生装
置としてもよい。
光レンズ等を備え、しかも低解像度画像と高解像度画像
とを記録再生できる電子スチルカメラについて説明した
が、外部より高解像度画像の映像信号入力可能とし、再
生の際に低解像度画像と高解像度画像の双方を出力する
ことができる、解像度が異なる複数の画像を記録再生で
きる装置としてもよい。すなわち、CCD及びA/D変
換器等の画像データ生成装置を備えず、上述したように
外部から入力された高解像度映像信号から低解像度画像
を生成して記録するとともに、その高解像度画像と低解
像度画像との差分を記録し、低解像度画像、高解像度画
像いずれをも再生出力することができる画像記録再生装
置としてもよい。
【0082】ここで、上記実施例において、補完データ
をより小さな記憶領域サイズで何故記録できるのか簡単
に説明する。低解像度画像(第1画像データ100’)
から高解像度画像(高解像度画像データ106’)を生
成する際に使用する補完データ108各々の信号レベル
が取り得る振幅値分布は、CCD30から得られる第1
画像データ100とCCD31から得られる第2画像デ
ータ104とが同一被写体像を表しているので、高解像
度画像データ106から拡張復元画像データ102を減
算した補完データ108は値「0」近傍に集中する。
をより小さな記憶領域サイズで何故記録できるのか簡単
に説明する。低解像度画像(第1画像データ100’)
から高解像度画像(高解像度画像データ106’)を生
成する際に使用する補完データ108各々の信号レベル
が取り得る振幅値分布は、CCD30から得られる第1
画像データ100とCCD31から得られる第2画像デ
ータ104とが同一被写体像を表しているので、高解像
度画像データ106から拡張復元画像データ102を減
算した補完データ108は値「0」近傍に集中する。
【0083】このように各要素値の振幅分布が「0」近
傍に集中するということはエントロピーが小さくなる。
結果、エントロピーが小さな補完データ108を量子化
すると共に、発生頻度がより高い振幅値により短い符号
語を割り当てる可変長符号化であるハフマン符号化とを
行うことでより少ない情報量に変換することができる。
したがって、その補完データ108のICメモリカード
10への記録に際し使用する記録容量も極めて少なくす
ることができる。これにより、低解像度画像の第1画像
データ100及び高解像度画像データ106をICメモ
リカード10の様な記憶容量に制限がある情報記憶装置
に独立して記録するより、はるかに記録情報量を少なく
することができる。
傍に集中するということはエントロピーが小さくなる。
結果、エントロピーが小さな補完データ108を量子化
すると共に、発生頻度がより高い振幅値により短い符号
語を割り当てる可変長符号化であるハフマン符号化とを
行うことでより少ない情報量に変換することができる。
したがって、その補完データ108のICメモリカード
10への記録に際し使用する記録容量も極めて少なくす
ることができる。これにより、低解像度画像の第1画像
データ100及び高解像度画像データ106をICメモ
リカード10の様な記憶容量に制限がある情報記憶装置
に独立して記録するより、はるかに記録情報量を少なく
することができる。
【0084】高解像度画像を符号化して通信伝送路を介
して画像通信を行う手法としてJPEGから勧告されて
いる、カラー静止画像符号化方式としてJPEGアルゴ
リズムが知られている。このJPEGアルゴリズムに
は、非可逆符号化であるDCT方式を用いた画像のプロ
グレッシブ・ビルトアップ表示を行うことができるハイ
アラーキカル・プロセスがある。
して画像通信を行う手法としてJPEGから勧告されて
いる、カラー静止画像符号化方式としてJPEGアルゴ
リズムが知られている。このJPEGアルゴリズムに
は、非可逆符号化であるDCT方式を用いた画像のプロ
グレッシブ・ビルトアップ表示を行うことができるハイ
アラーキカル・プロセスがある。
【0085】このハイアラーキカル・プロセスは、原画
像をダウンサンプリングして1/2、1/4、・・、1
/(2のn乗)サイズの画像(強制的な段階的画質の低
下操作に相当する)を生成し、最も小さなサイズの画像
(1/(2のn乗)サイズの画像)を2次元DCT変
換、量子化及びハフマン符号化からなる高能率符号化
(JPEGアルゴリズムではDCT方式と呼ばれる)で
符号化データを生成し、その符号化データを再び復号し
て1/(2のn乗)サイズの復元画像を生成する。な
お、この1/(2のn乗)サイズの画像の高能率符号化
はベースラインプロセスと呼ばれる高能率符号化に近
い。そしてこの復元画像を2倍に拡大して1/(2のn
−1乗)サイズの画像とし、原画像をダウンサンプリン
グして得られる1/(2のn−1乗)サイズの画像との
補完データK(n−1)をDCT方式で符号化データに
変換する。
像をダウンサンプリングして1/2、1/4、・・、1
/(2のn乗)サイズの画像(強制的な段階的画質の低
下操作に相当する)を生成し、最も小さなサイズの画像
(1/(2のn乗)サイズの画像)を2次元DCT変
換、量子化及びハフマン符号化からなる高能率符号化
(JPEGアルゴリズムではDCT方式と呼ばれる)で
符号化データを生成し、その符号化データを再び復号し
て1/(2のn乗)サイズの復元画像を生成する。な
お、この1/(2のn乗)サイズの画像の高能率符号化
はベースラインプロセスと呼ばれる高能率符号化に近
い。そしてこの復元画像を2倍に拡大して1/(2のn
−1乗)サイズの画像とし、原画像をダウンサンプリン
グして得られる1/(2のn−1乗)サイズの画像との
補完データK(n−1)をDCT方式で符号化データに
変換する。
【0086】このような階層的な符号化を原画像サイズ
まで繰り返し行い、最も小さな画像サイズの符号化デー
タ(本実施例における基本画像の符号化データに相当す
る)を受信側に送信し、受信側でその受信した符号化デ
ータから基本画像を復元して表示すると共に、必要なら
補完データK(n−1)(p=n,n−1,...,
1)を用い、復元した基本画像データから1/(2のn
−1乗)サイズの画像を復元して表示する(本実施例に
おける高解像度画像に相当する)。これを繰り返すこと
で、段階的に解像度を上昇させた画像を表示させること
ができ、これをプログレッシブ・ビルトアップ表示とい
う。
まで繰り返し行い、最も小さな画像サイズの符号化デー
タ(本実施例における基本画像の符号化データに相当す
る)を受信側に送信し、受信側でその受信した符号化デ
ータから基本画像を復元して表示すると共に、必要なら
補完データK(n−1)(p=n,n−1,...,
1)を用い、復元した基本画像データから1/(2のn
−1乗)サイズの画像を復元して表示する(本実施例に
おける高解像度画像に相当する)。これを繰り返すこと
で、段階的に解像度を上昇させた画像を表示させること
ができ、これをプログレッシブ・ビルトアップ表示とい
う。
【0087】上記実施例において、基本画像である第1
画像データ100と第2画像データ104とから高解像
度画像データ106を求める。その高解像度画像データ
106と、第1画像データ100から高能率符号化し、
再び復元した復元画像データ100’をハイアラキーカ
ル・プロセスに準拠した拡張処理によって求めた拡張復
元画像データ102との差である補完データ108を求
める。そして、第1画像データ100と補完データ10
8とをDCT及びハフマン符号化してICメモリカード
10に記録するのは、このハイアラーキカル・プロセス
と近似している。そこで、本実施例においてもこのハイ
アラーキカル・プロセスに於ける通信プロトコルを適用
して符号化データをICメモリカード10に記録するよ
うにしてもよい。
画像データ100と第2画像データ104とから高解像
度画像データ106を求める。その高解像度画像データ
106と、第1画像データ100から高能率符号化し、
再び復元した復元画像データ100’をハイアラキーカ
ル・プロセスに準拠した拡張処理によって求めた拡張復
元画像データ102との差である補完データ108を求
める。そして、第1画像データ100と補完データ10
8とをDCT及びハフマン符号化してICメモリカード
10に記録するのは、このハイアラーキカル・プロセス
と近似している。そこで、本実施例においてもこのハイ
アラーキカル・プロセスに於ける通信プロトコルを適用
して符号化データをICメモリカード10に記録するよ
うにしてもよい。
【0088】つまり、JPEGアルゴリズムのハイアラ
ーキカル・プロセスにおいて、受信側で正しく画像を復
元できるように種々の情報が符号化データに付加されて
送信されているが、その様な復元に必要な付加情報を本
実施例に於ける符号化データA、B’に付加してICメ
モリカード10に記録する。付加情報としては、例えば
符号化に際して使用した量子化テーブル、ハフマン符号
化テーブルがある。さらにハイアラーキカル・プロセス
に於けるデータ構造は、1画像データ若しくは1補完デ
ータを符号化した符号化データをSOI(Start of Imag
e)マーカ及びEOI(End of Image) マーカでサンドイ
ッチした1フレームを基本単位として各階層毎の補完デ
ータの符号化データをそのフレーム内に収めて積み重ね
た構造になっている。また、各フレームの直前にはその
フレームに関する諸パラメータを指定したフレームヘッ
ダが付加されている。
ーキカル・プロセスにおいて、受信側で正しく画像を復
元できるように種々の情報が符号化データに付加されて
送信されているが、その様な復元に必要な付加情報を本
実施例に於ける符号化データA、B’に付加してICメ
モリカード10に記録する。付加情報としては、例えば
符号化に際して使用した量子化テーブル、ハフマン符号
化テーブルがある。さらにハイアラーキカル・プロセス
に於けるデータ構造は、1画像データ若しくは1補完デ
ータを符号化した符号化データをSOI(Start of Imag
e)マーカ及びEOI(End of Image) マーカでサンドイ
ッチした1フレームを基本単位として各階層毎の補完デ
ータの符号化データをそのフレーム内に収めて積み重ね
た構造になっている。また、各フレームの直前にはその
フレームに関する諸パラメータを指定したフレームヘッ
ダが付加されている。
【0089】したがって、このようなハイアラーキカル
・プロセスに準拠したデータ構造で符号化データA及び
符号化データB’をICメモリカード10に記録するこ
とで、ICメモリカード10から読み出したデータをJ
PEGアルゴリズムのデコーダで画像を復元させること
ができる。そこで、本実施例における電子スチルカメラ
で記録したICメモリカード10のデータを直接JPE
Gアルゴリズムに準拠した通信路を用い、なんらデータ
の修正を加えることなく受信側に送ることもでき、汎用
性が高い電子スチルカメラとすることができる。
・プロセスに準拠したデータ構造で符号化データA及び
符号化データB’をICメモリカード10に記録するこ
とで、ICメモリカード10から読み出したデータをJ
PEGアルゴリズムのデコーダで画像を復元させること
ができる。そこで、本実施例における電子スチルカメラ
で記録したICメモリカード10のデータを直接JPE
Gアルゴリズムに準拠した通信路を用い、なんらデータ
の修正を加えることなく受信側に送ることもでき、汎用
性が高い電子スチルカメラとすることができる。
【0090】なお、JPEGアルゴリズムにおいては、
カラー画像の符号化が可能なデータ構造となっているの
で、本実施例においても、各色信号成分を上記実施例に
於ける方法で符号化してハイアラーキカル・プロセスに
準拠したデータ構造でICメモリカード10に記録する
ようにしてもよい。
カラー画像の符号化が可能なデータ構造となっているの
で、本実施例においても、各色信号成分を上記実施例に
於ける方法で符号化してハイアラーキカル・プロセスに
準拠したデータ構造でICメモリカード10に記録する
ようにしてもよい。
【0091】図12は第2実施例である電子スチルカメ
ラの記録系のブロック図である。この第2実施例は、第
1実施例よりもさらに高解像度な画像を再生できるよう
に、新たな補完データを生成してICメモリカード10
に符号化データで記録する構成を有している。なお図1
2において、図1に示す第1実施例と同一の構成要素に
ついては、同一の符号を付しており、その詳細な説明は
省略する。
ラの記録系のブロック図である。この第2実施例は、第
1実施例よりもさらに高解像度な画像を再生できるよう
に、新たな補完データを生成してICメモリカード10
に符号化データで記録する構成を有している。なお図1
2において、図1に示す第1実施例と同一の構成要素に
ついては、同一の符号を付しており、その詳細な説明は
省略する。
【0092】集光レンズ34とハーフミラー32の間に
はハーフミラー71が設けられており、これによって、
一部の光はハーフミラー32に導かれ、他の光はハーフ
ミラー72に導かれる。ハーフミラー72を透過した光
はCCD73に、またハーフミラー72において反射し
た光はCCD74に導かれる。このようにしてCCD7
3、74には、CCD30、31と同じ被写体像が結像
される。
はハーフミラー71が設けられており、これによって、
一部の光はハーフミラー32に導かれ、他の光はハーフ
ミラー72に導かれる。ハーフミラー72を透過した光
はCCD73に、またハーフミラー72において反射し
た光はCCD74に導かれる。このようにしてCCD7
3、74には、CCD30、31と同じ被写体像が結像
される。
【0093】CCD73とCCD74とは、CCD3
0、31間の関係と同様に、水平方向に1/2画素間隔
ずれて配設されている。またCCD73、74は、CC
D30、31に対して垂直方向に1/2画素間隔ずれて
配設されている。
0、31間の関係と同様に、水平方向に1/2画素間隔
ずれて配設されている。またCCD73、74は、CC
D30、31に対して垂直方向に1/2画素間隔ずれて
配設されている。
【0094】CCD73により生成された画像信号はA
/D変換器75によってディジタル信号に変換され、画
像メモリ76に格納される。同様に、CCD74により
生成された画像信号はA/D変換器77によってディジ
タル信号に変換され、画像メモリ78に格納される。こ
れらのメモリ76、78からそれぞれ読み出された1フ
ィールド若しくは1フレーム分の画像データは、拡張処
理回路79に入力され、水平方向の画素数が2倍にアッ
プサンプリングされて高解像度画像データが生成され
る。また、この拡張処理回路79には、拡張処理回路1
9から出力された高解像度画像データ106が入力され
る。拡張処理回路79では、この高解像度画像データ
と、メモリ76、78から読み出された画像データに基
づいて生成された高解像度画像データとに対して、垂直
方向の画素数が2倍にアップサンプリングされるように
拡張処理が施される。これにより拡張処理回路79で
は、第2の高解像度画像データ200が生成される。
/D変換器75によってディジタル信号に変換され、画
像メモリ76に格納される。同様に、CCD74により
生成された画像信号はA/D変換器77によってディジ
タル信号に変換され、画像メモリ78に格納される。こ
れらのメモリ76、78からそれぞれ読み出された1フ
ィールド若しくは1フレーム分の画像データは、拡張処
理回路79に入力され、水平方向の画素数が2倍にアッ
プサンプリングされて高解像度画像データが生成され
る。また、この拡張処理回路79には、拡張処理回路1
9から出力された高解像度画像データ106が入力され
る。拡張処理回路79では、この高解像度画像データ
と、メモリ76、78から読み出された画像データに基
づいて生成された高解像度画像データとに対して、垂直
方向の画素数が2倍にアップサンプリングされるように
拡張処理が施される。これにより拡張処理回路79で
は、第2の高解像度画像データ200が生成される。
【0095】一方、量子化器23から出力される補完デ
ータの量子化DCT係数は、逆量子化器81により逆量
子化されてDCT変換係数に変換され、このDCT変換
係数はIDCT82により2次元IDCT変換を施され
て補完データが復元される。この復元補完データは加算
器83において、拡張処理回路18から出力される拡張
復元画像データ102に加算され、高解像度画像データ
202が復元される。この復元高解像度画像データ20
2は、拡張処理回路84において、垂直方向の画素数が
2倍にアップサンプリングされるように拡張処理が施さ
れる。これにより拡張処理回路84では、第3の高解像
度画像データ204が生成される。
ータの量子化DCT係数は、逆量子化器81により逆量
子化されてDCT変換係数に変換され、このDCT変換
係数はIDCT82により2次元IDCT変換を施され
て補完データが復元される。この復元補完データは加算
器83において、拡張処理回路18から出力される拡張
復元画像データ102に加算され、高解像度画像データ
202が復元される。この復元高解像度画像データ20
2は、拡張処理回路84において、垂直方向の画素数が
2倍にアップサンプリングされるように拡張処理が施さ
れる。これにより拡張処理回路84では、第3の高解像
度画像データ204が生成される。
【0096】減算器85では、第2の高解像度画像デー
タ200から第3の高解像度画像データ204が減算さ
れ、これにより第2の補完データ206が得られる。こ
の補完データ206は、DCT87においてDCTを施
され、量子化器88において量子化され、そしてハフマ
ン符号器89においてハフマン符号化されて、符号化デ
ータCD’としてICメモリカード10に記録される。
タ200から第3の高解像度画像データ204が減算さ
れ、これにより第2の補完データ206が得られる。こ
の補完データ206は、DCT87においてDCTを施
され、量子化器88において量子化され、そしてハフマ
ン符号器89においてハフマン符号化されて、符号化デ
ータCD’としてICメモリカード10に記録される。
【0097】このICメモリカード10から読み出した
画像データと2つの補完データとに基づいて、水平方向
および垂直方向にそれぞれ2倍に解像度を向上させた画
像を得ることができ、第1実施例よりもさらに高解像度
の画像を再生することができる。このようにCCDの数
を2倍にすることにより、再生画像の解像度を上げるこ
とができる。
画像データと2つの補完データとに基づいて、水平方向
および垂直方向にそれぞれ2倍に解像度を向上させた画
像を得ることができ、第1実施例よりもさらに高解像度
の画像を再生することができる。このようにCCDの数
を2倍にすることにより、再生画像の解像度を上げるこ
とができる。
【0098】なお上記各実施例では、原画像情報を空間
座標軸から空間周波数軸に座標軸変換するのに、上記実
施例においては離散コサイン変換を用いたが、フーリエ
変換、アダマール変換、ハール変換等、他の直交変換を
用いるようにしてもよい。さらにDCT変換等の直交変
換及び量子化後の量子化直交変換係数の符号化について
も、上記各実施例においてはハフマン符号化を用いた
が、算術符号化等他のエントロピー符号化を用いてもよ
く、本発明において符号化の手法を特に限定するもので
はない。
座標軸から空間周波数軸に座標軸変換するのに、上記実
施例においては離散コサイン変換を用いたが、フーリエ
変換、アダマール変換、ハール変換等、他の直交変換を
用いるようにしてもよい。さらにDCT変換等の直交変
換及び量子化後の量子化直交変換係数の符号化について
も、上記各実施例においてはハフマン符号化を用いた
が、算術符号化等他のエントロピー符号化を用いてもよ
く、本発明において符号化の手法を特に限定するもので
はない。
【0099】また、DCT変換における第1画像データ
100のブロック分割サイズも8×8画素のブロックサ
イズに限定するものではない。
100のブロック分割サイズも8×8画素のブロックサ
イズに限定するものではない。
【0100】
【発明の効果】以上のように本発明によれば、基本とな
る最も解像度の低い画像データを高能率符号化によって
情報量を削減して情報記録装置に記録すると共に、その
基本画像データとその基本画像より解像度の高い画像デ
ータとの補完データを同じように高能率符号化によって
情報量を削減して情報記録装置に記録するようにしたの
で、各解像度の画像を単独で記録するより情報記録密度
を高めることができ、しかも解像度が異なる表示装置と
本発明の電子スチルカメラとを直接接続することもでき
る。
る最も解像度の低い画像データを高能率符号化によって
情報量を削減して情報記録装置に記録すると共に、その
基本画像データとその基本画像より解像度の高い画像デ
ータとの補完データを同じように高能率符号化によって
情報量を削減して情報記録装置に記録するようにしたの
で、各解像度の画像を単独で記録するより情報記録密度
を高めることができ、しかも解像度が異なる表示装置と
本発明の電子スチルカメラとを直接接続することもでき
る。
【図1】本発明の第1実施例の記録系のブロック図であ
る。
る。
【図2】本発明の第1実施例の再生系のブロック図であ
る。
る。
【図3】本実施例における第1画像データと第2画像デ
ータとから生成した高解像度画像データ及び補完データ
の一例を示す図である。
ータとから生成した高解像度画像データ及び補完データ
の一例を示す図である。
【図4】JPEGアルゴリズムのハイアラーキカル・プ
ロセスによって復元画像データ100’を水平及び垂直
方向にアップサンプリングした場合の拡張画像の様子を
示す図である。
ロセスによって復元画像データ100’を水平及び垂直
方向にアップサンプリングした場合の拡張画像の様子を
示す図である。
【図5】8×8画素ブロックサイズの原データ、DCT
変換係数、量子化DCT変換係数及び量子化テーブルの
具体例を示す図である。
変換係数、量子化DCT変換係数及び量子化テーブルの
具体例を示す図である。
【図6】DCT変換係数のDC係数のハフマン符号化に
おけるグループ表を示す図である。
おけるグループ表を示す図である。
【図7】DC係数のハフマン符号化テーブルを示す図で
ある。
ある。
【図8】AC係数のハフマン符号化の処理ルーチンを示
す図である。
す図である。
【図9】AC係数のハフマン符号化におけるジグザグス
キャン説明図である。
キャン説明図である。
【図10】ハフマン符号化による符号化データの一例を
示す図である。
示す図である。
【図11】複合した量子化DCT係数、DCT変換係数
及び復号画像データの一例を示す図である。
及び復号画像データの一例を示す図である。
【図12】本発明の第2実施例の記録系のブロック図で
ある。
ある。
【図13】隣接画素間に相関がある情報源のエントロピ
ーの削減を説明するための図である。
ーの削減を説明するための図である。
【図14】直交変換の16次の基底ベクトルを示す図で
ある。
ある。
10 ICメモリカード 12、13 ハフマン復号器 14、15、42、81 逆量子化器 16、40、44、82 IDCT 18、19、48、79、84 拡張処理回路 20、21、87 DCT 22、88 量子化器 24、25、89 ハフマン符号器 26、27、75、77 A/D変換器 28、29 D/A変換器 30、31、73、74 CCD 32、71、72 ハーフミラー 50、85 減算器 52、83 加算器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/30 7734−5C H04N 5/91 L 7/133 Z
Claims (4)
- 【請求項1】 光学像を低解像度の基本画像データに変
換する第1画像データ生成手段と、空間座標軸において
前記第1画像データから所定量ずれた第2画像データを
光学像から生成する第2画像データ生成手段と、前記第
1画像データと前記第2画像データとから前記第1画像
データより高解像度の第3画像データを生成する高解像
度生成手段と、前記第1画像データを前記第3画像デー
タと同数の画素数となるようにアップサンプリングした
拡張画像データを前記第3画像データから減算して補完
データを生成する補完データ生成手段と、該補完データ
と前記第1画像データとを直交変換して直交変換係数を
求める直交変換手段と、該直交変換手段が求めた直交変
換係数を量子化する量子化手段と、該量子化手段による
量子化直交変換係数を可変長に置き換えて符号化データ
に変換するエントロピー符号化手段と、該エントロピー
符号化手段によって変換された前記補完データと第1画
像データの符号化データを所定フォーマットで情報記録
装置に記録する記録手段とを備えることを特徴とする電
子スチルカメラ。 - 【請求項2】 前記情報記録装置から前記第1画像デー
タ及び補完データそれぞれの符号化データを読み出して
前記量子化直交変換係数を復号するエントロピー復号化
手段と、該復元量子化直交変換係数を逆量子化して直交
変換係数を復元する逆量子化手段と、該復元直交変換係
数に逆直交変換を施して前記第1画像データ及び補完デ
ータを復元する逆直交変換手段と、該復元第1画像デー
タを再生表示する低解像度画像再生手段と、前記復元第
1画像データを前記補完データ生成手段と同一のアップ
サンプリングを行って拡張復元画像データを生成する拡
張手段と、該拡張復元画像データと前記復元補完データ
とから前記第1画像データより高解像度の画像データを
再生する高解像度画像再生手段とを備えることを特徴と
する画像再生装置。 - 【請求項3】 請求項1記載の電子スチルカメラにおい
て、前記補完データ生成手段における前記第1画像デー
タのアップサンプリング方法がハイアラーキカル・プロ
セスに準拠すると共に、前記記録手段によって前記情報
記録装置に記録される符号化データの記録フォーマット
をJPEGアルゴリズムのハイアラーキカル・プロセス
に準拠したデータフォーマットとすることを特徴とする
電子スチルカメラ。 - 【請求項4】 請求項2記載の画像再生装置を備えるこ
とを特徴とする請求項1又は3記載の電子スチルカメ
ラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16055494A JP3392946B2 (ja) | 1993-07-15 | 1994-06-20 | 電子スチルカメラ及び画像再生装置 |
US08/275,355 US5666209A (en) | 1993-07-15 | 1994-07-15 | Image signal processing device |
US08/704,875 US5689612A (en) | 1993-07-15 | 1996-08-30 | Image signal processing device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19799393 | 1993-07-15 | ||
JP5-197993 | 1993-07-15 | ||
JP16055494A JP3392946B2 (ja) | 1993-07-15 | 1994-06-20 | 電子スチルカメラ及び画像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0779405A true JPH0779405A (ja) | 1995-03-20 |
JP3392946B2 JP3392946B2 (ja) | 2003-03-31 |
Family
ID=26487032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16055494A Expired - Fee Related JP3392946B2 (ja) | 1993-07-15 | 1994-06-20 | 電子スチルカメラ及び画像再生装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US5666209A (ja) |
JP (1) | JP3392946B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002315001A (ja) * | 2001-04-13 | 2002-10-25 | Kddi Corp | 適応直交変換符号化装置および記録媒体 |
US6972876B2 (en) | 2000-12-07 | 2005-12-06 | Brother Kogyo Kabushiki Kaisha | Image reading apparatus |
JP2008125002A (ja) * | 2006-11-15 | 2008-05-29 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及び画像処理プログラム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6417859B1 (en) * | 1992-06-30 | 2002-07-09 | Discovision Associates | Method and apparatus for displaying video data |
US5887115A (en) * | 1993-01-13 | 1999-03-23 | Hitachi America, Ltd. | Method and apparatus for implementing a video tape recorder for recording digital video signals having either a fixed or variable data transmission rate |
JP3579544B2 (ja) * | 1996-08-29 | 2004-10-20 | ペンタックス株式会社 | 画像圧縮伸張装置 |
JPH1075463A (ja) | 1996-08-29 | 1998-03-17 | Asahi Optical Co Ltd | 画像圧縮装置および画像伸張装置 |
JPH1075448A (ja) * | 1996-08-29 | 1998-03-17 | Asahi Optical Co Ltd | 画像圧縮装置および画像伸張装置 |
JP3732900B2 (ja) | 1996-08-29 | 2006-01-11 | ペンタックス株式会社 | 画像圧縮装置および画像伸張装置 |
JP3222780B2 (ja) * | 1996-08-29 | 2001-10-29 | 旭光学工業株式会社 | 画像圧縮装置 |
JP3260284B2 (ja) | 1996-08-29 | 2002-02-25 | 旭光学工業株式会社 | 画像圧縮装置および画像伸張装置 |
JP4350809B2 (ja) * | 1997-03-24 | 2009-10-21 | 富士フイルム株式会社 | ディジタルカメラ |
US6335760B1 (en) * | 1997-03-27 | 2002-01-01 | Asahi Kogaku Kogyo Kabsushiki Kaisha | Image signal reproduction device |
US6750876B1 (en) | 1997-11-16 | 2004-06-15 | Ess Technology, Inc. | Programmable display controller |
US6580456B1 (en) | 1997-11-16 | 2003-06-17 | Pictos Technologies, Inc. | Programmable timing generator |
US6597394B1 (en) | 1997-11-16 | 2003-07-22 | Pictos Technologies, Inc. | Programmable image transform processor for digital image processing |
US6792149B1 (en) * | 1998-05-07 | 2004-09-14 | Sarnoff Corporation | Method and apparatus for resizing an image frame including field-mode encoding |
US6396955B1 (en) | 1998-06-25 | 2002-05-28 | Asahi Kogaku Kogyo Kabushiki Kaisha | Image compression and expansion device |
JP2000217112A (ja) | 1999-01-22 | 2000-08-04 | Asahi Optical Co Ltd | 画像圧縮伸張装置および画素数増加装置 |
JP2002369108A (ja) * | 2001-06-07 | 2002-12-20 | Pioneer Electronic Corp | 情報記録再生装置及び情報検索プログラム |
JP2003024272A (ja) * | 2001-07-18 | 2003-01-28 | Olympus Optical Co Ltd | 信号処理装置 |
US7865065B2 (en) * | 2002-03-08 | 2011-01-04 | Sony Corporation | Apparatus and method of recording information on a recording medium |
FI114071B (fi) * | 2003-01-13 | 2004-07-30 | Nokia Corp | Kuvien käsitteleminen rajoitetulla bittimäärällä |
JP4540322B2 (ja) * | 2003-09-29 | 2010-09-08 | Hoya株式会社 | 画像間対応点検出装置および画像間対応点検出方法 |
US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
US8731062B2 (en) * | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
DE102010006876B4 (de) * | 2010-02-04 | 2012-10-31 | Infineon Technologies Ag | Verfahren und Vorrichtung zur Kodierung von Daten |
WO2016050991A1 (es) * | 2014-10-03 | 2016-04-07 | RUIZ COLL, José Damián | Método de mejora de la calidad de una imagen sometida a recodificación |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04177992A (ja) * | 1990-11-09 | 1992-06-25 | Victor Co Of Japan Ltd | 階層性を有する画像符号化装置 |
NL9201594A (nl) * | 1992-09-14 | 1994-04-05 | Nederland Ptt | Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem. |
JP3381855B2 (ja) * | 1992-12-28 | 2003-03-04 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 |
US5473704A (en) * | 1993-06-01 | 1995-12-05 | Asahi Kogaku Kogyo Kabushiki Kaisha | Apparatus for substituting character data for image data using orthogonal conversion coefficients |
US5497246A (en) * | 1993-07-15 | 1996-03-05 | Asahi Kogaku Kogyo Kabushiki Kaisha | Image signal processing device |
-
1994
- 1994-06-20 JP JP16055494A patent/JP3392946B2/ja not_active Expired - Fee Related
- 1994-07-15 US US08/275,355 patent/US5666209A/en not_active Expired - Fee Related
-
1996
- 1996-08-30 US US08/704,875 patent/US5689612A/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6972876B2 (en) | 2000-12-07 | 2005-12-06 | Brother Kogyo Kabushiki Kaisha | Image reading apparatus |
JP2002315001A (ja) * | 2001-04-13 | 2002-10-25 | Kddi Corp | 適応直交変換符号化装置および記録媒体 |
JP4570065B2 (ja) * | 2001-04-13 | 2010-10-27 | Kddi株式会社 | 適応直交変換符号化装置 |
JP2008125002A (ja) * | 2006-11-15 | 2008-05-29 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US5666209A (en) | 1997-09-09 |
JP3392946B2 (ja) | 2003-03-31 |
US5689612A (en) | 1997-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3392946B2 (ja) | 電子スチルカメラ及び画像再生装置 | |
Thyagarajan | Still image and video compression with MATLAB | |
JP3575508B2 (ja) | 符号化動画像再生装置 | |
USRE40079E1 (en) | Video encoding and decoding apparatus | |
US6694342B1 (en) | Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same | |
US5883823A (en) | System and method of a fast inverse discrete cosine transform and video compression/decompression systems employing the same | |
US5714950A (en) | System for variable-length-coding and variable-length-decoding digitaldata | |
US5781239A (en) | System and method for performing an optimized inverse discrete cosine transform with improved efficiency | |
JP2001136526A (ja) | 画像処理方法及びその装置及び記憶媒体 | |
JPH09200757A (ja) | 符号化装置、復号化装置およびデータ伝送装置 | |
JPH08214309A (ja) | 画像信号復号装置 | |
JPH04229382A (ja) | ディジタル画像データの解像度交換装置 | |
US7450769B2 (en) | Image processing method for facilitating data transmission | |
HUE033524T2 (en) | Procedure for compressing data | |
KR100412176B1 (ko) | 문자와 이미지가 포함된 문서의 압축, 복원 시스템 및방법 | |
JPH06113291A (ja) | 画像符号化及び復号化装置 | |
JP3282134B2 (ja) | 画像データ圧縮処理方法 | |
JP3392949B2 (ja) | 画像圧縮装置および画像伸張装置 | |
JP3132171B2 (ja) | 縮小画像の復号装置 | |
JPH0779350A (ja) | 画像データ圧縮処理方法および画像データ再構成方法 | |
JPH1188183A (ja) | ウェーブレット変換装置およびその方法並びにウェーブレット逆変換装置およびその方法並びに画像符号化装置およびその方法並びに画像復号化装置およびその方法 | |
JPS62150475A (ja) | 画像処理装置 | |
JPH02122766A (ja) | 画像データ圧縮装置及び方法ならびに圧縮データ伸長装置及び方法 | |
KR100530745B1 (ko) | 고해상도 영상신호를 저해상도 디스플레이 장치에 디스플레이하는 디스플레이 방법 | |
Fränti | image COMPRESSION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |