JP4687216B2 - 画像信号処理装置、カメラシステム、および画像信号処理方法 - Google Patents
画像信号処理装置、カメラシステム、および画像信号処理方法 Download PDFInfo
- Publication number
- JP4687216B2 JP4687216B2 JP2005119739A JP2005119739A JP4687216B2 JP 4687216 B2 JP4687216 B2 JP 4687216B2 JP 2005119739 A JP2005119739 A JP 2005119739A JP 2005119739 A JP2005119739 A JP 2005119739A JP 4687216 B2 JP4687216 B2 JP 4687216B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- signal processing
- image
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
- H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
- H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
Description
本発明は、画像圧縮技術を採用した画像信号処理装置、カメラシステム、および画像信号処理方法に関するものである。
デジタルカメラ・デジタルビデオカメラ・デジタルテレビ等の近年の画像処理装置の高画質化・高精細化に伴い、これらの装置内に搭載される集積回路が処理する画像データ量が増大している。
莫大な画像データを取り扱うためには、集積回路内のデータ転送容量の帯域を確保するために、一般に幅の大きなデータバス、高い動作周波数、大容量の記録装置等、高価かつ大量の回路資源が必要となる。
記録装置については大容量化に伴う速度性能の問題も生じる。特に携帯電話、PDA、デジタルカメラやポータブルAVプレーヤー等の携帯性が求められる装置においては、速度性能とともに小面積・低消費電力性を両立させる必要があり、これらの要件をすべて高次元で満足させつつ近年のメガピクセル単位の画像データを取り扱うことは困難になりつつある。
莫大な画像データを取り扱うためには、集積回路内のデータ転送容量の帯域を確保するために、一般に幅の大きなデータバス、高い動作周波数、大容量の記録装置等、高価かつ大量の回路資源が必要となる。
記録装置については大容量化に伴う速度性能の問題も生じる。特に携帯電話、PDA、デジタルカメラやポータブルAVプレーヤー等の携帯性が求められる装置においては、速度性能とともに小面積・低消費電力性を両立させる必要があり、これらの要件をすべて高次元で満足させつつ近年のメガピクセル単位の画像データを取り扱うことは困難になりつつある。
そこで、一般的には、画像データはたとえば集積回路内での画像処理をすべて終えた上で、フラッシュメモリ等の外部記録装置に記録する際に圧縮処理を行う。
これによって、非圧縮に比べてより大きな画像サイズ、長い撮影時間、多くの枚数の画像データを同じ容量の外部記録装置に格納することが可能になる。
この圧縮処理実現には、JPEG, MPEG, GIF, LHA, ZIPといった符号化方式が用いられている。
これによって、非圧縮に比べてより大きな画像サイズ、長い撮影時間、多くの枚数の画像データを同じ容量の外部記録装置に格納することが可能になる。
この圧縮処理実現には、JPEG, MPEG, GIF, LHA, ZIPといった符号化方式が用いられている。
一般的に、画像データを集積回路内の複数のモジュール間で受け渡す場合、図１に示すように、画像データの出力側モジュール１と入力側モジュール２では、時間的に処理するタイミングが異なる場合が多い。このような場合の多くは、図１に示すように、画像データを一旦メモリ３を介して受け渡すことが多く、一時的にメモリ３上に画像データを保存することになる。
しかし、近年はLSIのメモリインターフェース（I/F）に使用可能なピン数とメモリへのアクセス周波数が頭打ち傾向にあり、多くの場合メモリ帯域は不足している。
しかし、近年はLSIのメモリインターフェース（I/F）に使用可能なピン数とメモリへのアクセス周波数が頭打ち傾向にあり、多くの場合メモリ帯域は不足している。
外部記録装置に対してではなく、集積回路内のデータバスや内部記録装置上で圧縮データを取り扱うことに関して、一般的な符号化方式では解決できない、次に挙げる第１から第４の課題が生じる。
第１の課題は、圧縮性能および画像品質の維持が困難であることである。
第２の課題は、処理に時間がかかり、処理速度が遅くなることである。
第３の課題は、帯域の保証が困難であることである。
第４の課題は、ランダムアクセス性の維持が困難であることである。
以下、これら第１から第４の課題についてさらに詳細に述べる。
第１の課題は、圧縮性能および画像品質の維持が困難であることである。
第２の課題は、処理に時間がかかり、処理速度が遅くなることである。
第３の課題は、帯域の保証が困難であることである。
第４の課題は、ランダムアクセス性の維持が困難であることである。
以下、これら第１から第４の課題についてさらに詳細に述べる。
まず第１の課題は、圧縮性能および圧縮データの品質の維持に関する課題である。
データを圧縮することで、帯域削減を図るに際し、圧縮効率がよくない、すなわち圧縮後のデータ容量があまり小さくならないようであると、帯域や記憶装置資源の削減を大きく達成できないことになる。
一般的に、画像データを可逆圧縮した場合、個々の画像の特徴に依ることはもちろんであるが、ベストケースでも圧縮後容量50%を達成するのが困難である場合がほとんどである。そこで、より高い圧縮率を達成するために、非可逆圧縮を用いる方法がある。
しかし容易に推測できる通り、この非可逆圧縮の場合は品質の問題が生じる。非可逆圧縮の場合は、圧縮後のデータは元のデータとは異なってしまう。この異なり方が大きいと、われわれ人間が画像データを目視した場合に、さまざまな情報が失われた美しくない絵を目にすることになる。非可逆圧縮を用いる際は、われわれが知覚的に差異を認識しにくい範囲でのデータの変化しか許されない。
データを圧縮することで、帯域削減を図るに際し、圧縮効率がよくない、すなわち圧縮後のデータ容量があまり小さくならないようであると、帯域や記憶装置資源の削減を大きく達成できないことになる。
一般的に、画像データを可逆圧縮した場合、個々の画像の特徴に依ることはもちろんであるが、ベストケースでも圧縮後容量50%を達成するのが困難である場合がほとんどである。そこで、より高い圧縮率を達成するために、非可逆圧縮を用いる方法がある。
しかし容易に推測できる通り、この非可逆圧縮の場合は品質の問題が生じる。非可逆圧縮の場合は、圧縮後のデータは元のデータとは異なってしまう。この異なり方が大きいと、われわれ人間が画像データを目視した場合に、さまざまな情報が失われた美しくない絵を目にすることになる。非可逆圧縮を用いる際は、われわれが知覚的に差異を認識しにくい範囲でのデータの変化しか許されない。
第２の課題は、処理速度に関する課題である。
いかに高い圧縮効率を得られる優れた圧縮手法を考案したとしても、その処理があまりに複雑で、多くの回路資源、そして多くの所要時間を要するようでは、帯域を削減するという目標を達成できない。
たとえば、1秒間に30枚の画像を表示しなければならない動画再生装置において、1/30秒の間に1枚の絵を処理しきれないと、データ圧縮に成功しても帯域が削減されているとはいえず、所期の目的を達成しているとはいい難い。
一般的な放送向けデータなどでは、圧縮データの展開さえ制限時間内に終了させられるのであれば、圧縮には相当の時間を要しても問題ない場合がある。
この場合は、２つの経路（2pass）の画像処理を施すことが可能である。すなわち、第１経路における処理で全画像データを走査して、そこから圧縮処理に有用な画像特徴量、たとえば、画面全体の明るさであるとか、とくに精細さが要求される複雑な画像部位の座標情報などを抽出する。
第２経路における処理では、すでに得た第１経路による情報を活用しつつ、効率のよい圧縮を実行することができる。
しかし、録画と同時に再生を行う装置、または集積回路内でのデータの取り扱いにおいては、このような悠長な調査を行うだけの時間が存在しない。
よって、基本的に非常に狭い範囲でのデータ走査のみ許される一つの経路（1pass）による処理が望ましい。
いかに高い圧縮効率を得られる優れた圧縮手法を考案したとしても、その処理があまりに複雑で、多くの回路資源、そして多くの所要時間を要するようでは、帯域を削減するという目標を達成できない。
たとえば、1秒間に30枚の画像を表示しなければならない動画再生装置において、1/30秒の間に1枚の絵を処理しきれないと、データ圧縮に成功しても帯域が削減されているとはいえず、所期の目的を達成しているとはいい難い。
一般的な放送向けデータなどでは、圧縮データの展開さえ制限時間内に終了させられるのであれば、圧縮には相当の時間を要しても問題ない場合がある。
この場合は、２つの経路（2pass）の画像処理を施すことが可能である。すなわち、第１経路における処理で全画像データを走査して、そこから圧縮処理に有用な画像特徴量、たとえば、画面全体の明るさであるとか、とくに精細さが要求される複雑な画像部位の座標情報などを抽出する。
第２経路における処理では、すでに得た第１経路による情報を活用しつつ、効率のよい圧縮を実行することができる。
しかし、録画と同時に再生を行う装置、または集積回路内でのデータの取り扱いにおいては、このような悠長な調査を行うだけの時間が存在しない。
よって、基本的に非常に狭い範囲でのデータ走査のみ許される一つの経路（1pass）による処理が望ましい。
第３の課題は、帯域のワーストケース保証の問題である。
一般的に画像を含めた各種データの圧縮に用いられる可変長符号化手法においては、圧縮後のデータ容量が決まっておらず、実際に一度圧縮を適用してみないと圧縮後のデータ容量を知ることができない。
しかも、この際圧縮には確率的な偏りを利用しているため、極端なデータを扱った場合(例：幾何学的な千鳥格子模様)、逆に圧縮前よりもデータ容量が大きくなってしまうことも論理的にはありえることになる。
しかし、集積回路においては、事前に予測される処理データ容量にもとづいた有限量の回路資源しか用いることができない。最も圧縮効率がよくなかった場合でも最低限保証できる圧縮後容量を決定し、かつこの圧縮後容量が、帯域削減の目標に到達していなければならない。
一般的に画像を含めた各種データの圧縮に用いられる可変長符号化手法においては、圧縮後のデータ容量が決まっておらず、実際に一度圧縮を適用してみないと圧縮後のデータ容量を知ることができない。
しかも、この際圧縮には確率的な偏りを利用しているため、極端なデータを扱った場合(例：幾何学的な千鳥格子模様)、逆に圧縮前よりもデータ容量が大きくなってしまうことも論理的にはありえることになる。
しかし、集積回路においては、事前に予測される処理データ容量にもとづいた有限量の回路資源しか用いることができない。最も圧縮効率がよくなかった場合でも最低限保証できる圧縮後容量を決定し、かつこの圧縮後容量が、帯域削減の目標に到達していなければならない。
最後に第４の課題は、ランダムアクセス性維持の問題である。
一般的に、画像圧縮の際は、ある順序に従って画面上の画素を走査し、圧縮処理を行っていく。走査方式の例としては、画像の左上から行→列の順で右下に向かって走査する“ラスタ（Raster）走査”がよく用いられる。
逆に、圧縮データを展開する際、一般的な可変長符号では、圧縮された符号データの先頭から、圧縮時の画素走査順を全く同様に辿る展開を行うことになる。
一方、一画像からその部分画像を切り出す場合、画素の上下間の参照・相関を必要とする画像処理を行う場合、また画像の輪郭部にみられる撮影時のレンズ由来の歪みを補正する処理の場合など、任意部位の画素を随意取得できることが要求されることが少ない。
この際、現状の可変長符号データでは、任意部位を取得するために符号データの途中から展開を開始できず、ランダムアクセス性を完全に損うことになる。
この問題を解決し、ある部位を取得する際に発生しうる先頭部分からの展開による帯域の消費、あるいはライン保持用メモリの消費を避けなければならない。
一般的に、画像圧縮の際は、ある順序に従って画面上の画素を走査し、圧縮処理を行っていく。走査方式の例としては、画像の左上から行→列の順で右下に向かって走査する“ラスタ（Raster）走査”がよく用いられる。
逆に、圧縮データを展開する際、一般的な可変長符号では、圧縮された符号データの先頭から、圧縮時の画素走査順を全く同様に辿る展開を行うことになる。
一方、一画像からその部分画像を切り出す場合、画素の上下間の参照・相関を必要とする画像処理を行う場合、また画像の輪郭部にみられる撮影時のレンズ由来の歪みを補正する処理の場合など、任意部位の画素を随意取得できることが要求されることが少ない。
この際、現状の可変長符号データでは、任意部位を取得するために符号データの途中から展開を開始できず、ランダムアクセス性を完全に損うことになる。
この問題を解決し、ある部位を取得する際に発生しうる先頭部分からの展開による帯域の消費、あるいはライン保持用メモリの消費を避けなければならない。
本発明は、画像データを圧縮する際に、高効率でありながら、画質を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率・帯域・記憶に要する容量を保証でき、また、ランダムアクセス性を損うことのない画像信号処理装置、カメラシステム、および画像信号処理方法を提供することにある。
本発明の第１の観点の画像信号処理装置は、画像データを圧縮処理する画像信号処理装置であって、入力画像データを複数のビット精度部分に分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行う信号処理部を有し、上記信号処理部は、画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする。
好適には、上記信号処理部は、画像データを上位側ビットと下位側ビットに分割し、分割した上位側ビットを可逆圧縮方式に従って可逆圧縮する。
好適には、上記信号処理部は、入力画像データを所定画素数のブロック単位毎に圧縮する。
好適には、上記信号処理部は、目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う。
好適には、上記信号処理部は、各ブロック毎に目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う。
好適には、上記信号処理部は、画素の持つ下位ビット精度を欠損させる際、画素値の大きさによる判断を行い、高画素値よりも低画素値の下位ビット精度をより欠損させにくくする。
好適には、上記信号処理部は、高画素値の画素から段階的にビット精度を落とす処理を行う。
好適には、上記信号処理部は、高画素値の画素から段階的にビット精度を落とす処理を行う。
好適には、上記信号処理部は、複数の削減案による符号量を試算後、目標に沿うものを採用し、当該削減案に沿った実際の符号化を行う。
好適には、上記信号処理部は、すべての削減案の結果が思わしくない場合は、生のまま上記上位ビットデータを保存する。
好適には、上記信号処理部は、すべての削減案の結果が思わしくない場合は、生のまま上記上位ビットデータを保存する。
好適には、記憶部をさらに有し、上記信号処理部は、有限の画素数のブロック単位ごとに圧縮を行い、上記記憶部の当該ブロック単位ごと決められた記録領域に記録する。
本発明の第２の観点のカメラシステムは、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置とを含み、上記画像信号処理装置は、入力画像データを複数のビット精度部分に分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行う信号処理部を有し、上記信号処理部は、画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする。
本発明の第３の観点は、画像データに所定の圧縮処理を行う画像信号処理方法であって、入力画像データを複数のビット精度部分に分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行い、画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする。
本発明によれば、以下の効果を得ることができる。
画像を保持するための記憶領域を保証された一定量以内に削減できる。
画像を伝送するためのバス帯域を保証された一定量以内に削減できる。
画像内のアライメントされた任意の部分領域に対して、ランダムアクセス性を保持できる。
画像の最低品質・精度を保証できる。
画素の輝度に応じて精度の削減度合を変化させ、知覚的な画質劣化を抑制できる。
画像の複雑さによって決まる圧縮の難易度により、精度を適応的に可変とすることで、画像の品質を維持しながら目標圧縮率を達成できる。
少ない回路資源によって、上記内容をリアルタイム処理することができる。
画像を保持するための記憶領域を保証された一定量以内に削減できる。
画像を伝送するためのバス帯域を保証された一定量以内に削減できる。
画像内のアライメントされた任意の部分領域に対して、ランダムアクセス性を保持できる。
画像の最低品質・精度を保証できる。
画素の輝度に応じて精度の削減度合を変化させ、知覚的な画質劣化を抑制できる。
画像の複雑さによって決まる圧縮の難易度により、精度を適応的に可変とすることで、画像の品質を維持しながら目標圧縮率を達成できる。
少ない回路資源によって、上記内容をリアルタイム処理することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
図２は、本実施形態に係る画像信号処理装置を採用したカメラシステムの構成例を示すブロック図である。
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、デジタル信号処理部１５、画像圧縮伸長部１６、画像メモリ１７、表示装置インインターフェース（Ｉ／Ｆ）１８、表示装置１９、制御ＣＰＵ２０、操作デバイス２１、ヒューマンインターフェース２２、ストレージインターフェース２３、および外部保存用メモリ２４を有している。
カメラシステム１０において、デジタル信号処理部１５、画像圧縮伸長部１６、画像メモリ１７、および表示装置インターフェース１８がバス２５を介して接続されている。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）１２、アナログ信号処理部１３等により撮像部が構成される。
カメラシステム１０において、デジタル信号処理部１５、画像圧縮伸長部１６、画像メモリ１７、および表示装置インターフェース１８がバス２５を介して接続されている。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）１２、アナログ信号処理部１３等により撮像部が構成される。
基本的に、第１の信号処理部としてのデジタル信号処理部１５、第２の信号処理部としての画像圧縮伸長部１６、および記憶部としての画像メモリ１７により画像信号処理装置を構成可能である。
そして、本実施形態においては、デジタル信号処理部１５が画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。
そして、本実施形態においては、デジタル信号処理部１５が画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。
まず、図２のカメラシステム１０の各部の機能の概要について説明する。
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１５に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１５に出力する。
デジタル信号処理部１５は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理や、撮影した画像データを後で詳述する圧縮方式に従って圧縮処理して記録媒体である画像メモリ１７に書き込み、書き込んだ画像データを画像メモリ１７から読み出して伸長（展開）する処理等を行う。
デジタル信号処理部１５は、画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。
このデジタル信号処理部１５の帯域保証圧縮伸長部２００の具体的な構成および機能については、後で詳述する。
デジタル信号処理部１５は、画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。
このデジタル信号処理部１５の帯域保証圧縮伸長部２００の具体的な構成および機能については、後で詳述する。
画像圧縮伸長部１６は、画像メモリ１７に記憶された被圧縮データを読み出して伸長処理するデコーダの機能や、カメラの信号などの複数の画像データから圧縮信号処理して画像ソースを作成するエンコード機能を有する。
画像圧縮伸長部１６は、ストレージインターフェース２３を通して画像保存用メモリ２４への画像データの保存、あるいはメモリ２４からの再生を行うことができる。
画像保存用メモリ２４としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。
画像圧縮伸長部１６は、ストレージインターフェース２３を通して画像保存用メモリ２４への画像データの保存、あるいはメモリ２４からの再生を行うことができる。
画像保存用メモリ２４としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。
表示装置インターフェース１８は、表示すべき画像データを表示装置１９に出力し表示させる。
表示装置１９としては、液晶表示装置（ＬＣＤ）等が適用可能である。
表示装置１９としては、液晶表示装置（ＬＣＤ）等が適用可能である。
制御ＣＰＵ２０は、デジタル信号処理部１５、画像圧縮伸長部１６や回路全体の制御を行う。
制御ＣＰＵ２０は、ヒューマンインターフェース２２を通して操作デバイス２１の操作に応じた制御を行う。
操作デバイス２１としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
制御ＣＰＵ２０は、ヒューマンインターフェース２２を通して操作デバイス２１の操作に応じた制御を行う。
操作デバイス２１としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
以下に、デジタル信号処理部１５における帯域圧縮伸長部２００の処理機能等について具体的に説明する。
本実施形態における帯域圧縮伸長部２００は、概念的には、図３に示すように、データ圧縮部２０１ａを備えたデータ送信側ブロック２０１と、データ伸長部（展開部）２０２ａを備えたデータ受信側ブロック２０２とを有している。これら、送信側ブロック２０１と受信側ブロック２０２がバス２５を通して画像メモリ（記憶部）１７に接続されて、データ転送が行われる。
本実施形態においては、後述するように、帯域圧縮伸長部２００の圧縮（伸長）処理により、バス２５上に流れるデータ量が少なく、画像メモリ１７を構成する記憶装置の帯域、容量を削減できる。
また、本実施形態においては、帯域圧縮伸長部２００とは別に、画像圧縮伸長部１６がバス２５に接続されている。すなわち、画像圧縮処理部１６は、デジタル信号処理部１５における処理とは全く別処理（無関係な処理）を行う機能ブロックとして、画像メモリ１７との間でデータの読み出し、書き込みのためのデータ転送処理を行うように配置されている。
本実施形態においては、後述するように、帯域圧縮伸長部２００の圧縮（伸長）処理により、バス２５上に流れるデータ量が少なく、画像メモリ１７を構成する記憶装置の帯域、容量を削減できる。
また、本実施形態においては、帯域圧縮伸長部２００とは別に、画像圧縮伸長部１６がバス２５に接続されている。すなわち、画像圧縮処理部１６は、デジタル信号処理部１５における処理とは全く別処理（無関係な処理）を行う機能ブロックとして、画像メモリ１７との間でデータの読み出し、書き込みのためのデータ転送処理を行うように配置されている。
すなわち、本実施形態においては、データ転送容量の帯域を削減するために、たとえば集積回路内で処理データを容量的に圧縮して取り扱う。
近年はLSIのメモリインターフェースに使用可能なピン数とメモリへのアクセス周波数が頭打ち傾向にあり、多くの場合メモリ帯域は不足している。集積回路内で圧縮した画像データを取り扱えば、データバスを通過させるデータ容量が少なくなり、必要な帯域の削減が図れる。さらに、データを圧縮することで、集積回路内の記録装置の必要容量も削減することが可能になる。
近年はLSIのメモリインターフェースに使用可能なピン数とメモリへのアクセス周波数が頭打ち傾向にあり、多くの場合メモリ帯域は不足している。集積回路内で圧縮した画像データを取り扱えば、データバスを通過させるデータ容量が少なくなり、必要な帯域の削減が図れる。さらに、データを圧縮することで、集積回路内の記録装置の必要容量も削減することが可能になる。
なお、本実施形態においては、前提条件として、たとえばＲＧＢ各色を１２ビット(bit)精度を持つ色フィルタ配列による画像データを、各色８ビット相当に圧縮する（目標圧縮率６６．７％、元データの２／３）こととする。
画像データを構成する個々の要素には、８ビット(bit)精度のものが標準で使用されてきた。画像データの構成要素としては、代表的なものに原色系(R/G/B)や輝度色差(Y/Cb/Cr)あるいはイメージセンサ固有の色フィルタ配列(Color Filter Array:CFA) などがある。
ところが、近年、高画質化の要求に伴い１０〜１２ビット、あるいはそれ以上への高精度化が重要になってきている。
本実施形態は、この高画質化、高精度化の要求に対しても十分に対応可能な機能を有する。
ただし、単純に画像データの扱う精度を高めるだけではデータ量が増えてしまい、画像データを保持するメモリ領域や伝送するメモリバス帯域などの増大を招いてしまう。
そこで、本実施形態のデジタル信号処理部１５における帯域圧縮伸長部２００は、効率よい画像データ圧縮方法を採用し、一般的な画像圧縮技術に存在する問題を解消した、以下のＡ）〜Ｄ）の４項目の目標を達成することが可能な機能を有している。
ところが、近年、高画質化の要求に伴い１０〜１２ビット、あるいはそれ以上への高精度化が重要になってきている。
本実施形態は、この高画質化、高精度化の要求に対しても十分に対応可能な機能を有する。
ただし、単純に画像データの扱う精度を高めるだけではデータ量が増えてしまい、画像データを保持するメモリ領域や伝送するメモリバス帯域などの増大を招いてしまう。
そこで、本実施形態のデジタル信号処理部１５における帯域圧縮伸長部２００は、効率よい画像データ圧縮方法を採用し、一般的な画像圧縮技術に存在する問題を解消した、以下のＡ）〜Ｄ）の４項目の目標を達成することが可能な機能を有している。
＜４目標＞
Ａ）視覚上の特性に合わせた符号化アルゴリズムにより、可能な限り高画質を維持する。
Ｂ）入力画像全体に対して１パスによる符号化方式により、バス帯域増加を抑制する。
Ｃ）任意の入力画像に対して常に、一定の圧縮率を保証する。
Ｄ）ランダムアクセス性を損わない。
Ａ）視覚上の特性に合わせた符号化アルゴリズムにより、可能な限り高画質を維持する。
Ｂ）入力画像全体に対して１パスによる符号化方式により、バス帯域増加を抑制する。
Ｃ）任意の入力画像に対して常に、一定の圧縮率を保証する。
Ｄ）ランダムアクセス性を損わない。
本実施形態の帯域圧縮伸長部２００においては、これら４項目の実現のために以下の処理機能を備えた画像データ圧縮方法を採用している。
１）：有限の画素数（ブロック）単位で圧縮を行う。この第１の機能により上記Ａ）〜Ｄ）の４つの目標を達成可能である。
２）：画像全体に対して１パスによる符号化処理を実現し、帯域増加を防ぐ。この第２の機能により上記Ｂ）の目標を達成可能である。
３）：１画像内の各ブロックに対してはマルチパスによる符号化処理により高画質を保持する。この第３の機能により上記Ｂ）の目標を達成可能である。
４）：ブロック毎に決められたアドレスに記録することで、ランダムアクセス性を損わない。この第４の機能により上記Ｄ）の目標を達成可能である。
５）：データを上位ビット側、下位ビット側など複数のビット精度部分に分割し、それぞれに別々の最適な圧縮方法を用いる。この第５の機能により上記Ａ）の目標を達成可能である。
６）：目標圧縮率を満たす範囲内で画質劣化を最小に抑えるように、最適な圧縮方法をブロック毎に適応的に用いる。この第６の機能により上記Ａ），Ｃ）の目標を達成可能である。
７）：画素の持つビット精度を欠損させる際、画素値の大きさによる判断を行い、高輝度（画素）値よりも低輝度（画素）値のビット精度をより欠損させにくくすることで、視覚的な画質劣化を防止する。この第７の機能により上記Ａ）の目標を達成可能である。
８）：上位ビット側は可逆圧縮し、最低限の画質を保証する。すべての削減案の結果が思わしくない場合は、生のまま上位データを保存し、最低限の圧縮後容量を保証する。この第８の機能により上記Ｃ）の目標を達成可能である。
２）：画像全体に対して１パスによる符号化処理を実現し、帯域増加を防ぐ。この第２の機能により上記Ｂ）の目標を達成可能である。
３）：１画像内の各ブロックに対してはマルチパスによる符号化処理により高画質を保持する。この第３の機能により上記Ｂ）の目標を達成可能である。
４）：ブロック毎に決められたアドレスに記録することで、ランダムアクセス性を損わない。この第４の機能により上記Ｄ）の目標を達成可能である。
５）：データを上位ビット側、下位ビット側など複数のビット精度部分に分割し、それぞれに別々の最適な圧縮方法を用いる。この第５の機能により上記Ａ）の目標を達成可能である。
６）：目標圧縮率を満たす範囲内で画質劣化を最小に抑えるように、最適な圧縮方法をブロック毎に適応的に用いる。この第６の機能により上記Ａ），Ｃ）の目標を達成可能である。
７）：画素の持つビット精度を欠損させる際、画素値の大きさによる判断を行い、高輝度（画素）値よりも低輝度（画素）値のビット精度をより欠損させにくくすることで、視覚的な画質劣化を防止する。この第７の機能により上記Ａ）の目標を達成可能である。
８）：上位ビット側は可逆圧縮し、最低限の画質を保証する。すべての削減案の結果が思わしくない場合は、生のまま上位データを保存し、最低限の圧縮後容量を保証する。この第８の機能により上記Ｃ）の目標を達成可能である。
以下に、第１〜第８の機能についてさらに詳細に説明する。
＜第１の機能＞
目標Ａ），Ｂ），Ｃ），Ｄ）を達成するように、有限の画素数（ブロック）単位で圧縮を行う。
一般的に、画像データは隣接する画素同士は相関性が高い。よって、隣接する数十画素程度から成るブロック単位で、隣接相関性を生かした高効率な圧縮処理を行う方法が有効である。たとえば、JPEGなどの圧縮方式では、8(横) x 8(縦)のブロック形状の単位で圧縮処理を行っている。
本実施形態の圧縮方式においては、予め定めたブロック形状単位ごとに圧縮を行う。
ブロックはシステム毎に最適な形状および画素数を選定することができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
ただし、一般的な画像圧縮アルゴリズムでは、ブロック内の絵柄の複雑度に応じてブロックの圧縮率が変動してしまう。よって、あらゆる複雑度の画像に対して一定の圧縮率を保証することができず、記憶領域やバス帯域を保証することが困難になる。
この点を考慮し、本実施形態の方式においては、ブロック毎に目標圧縮率を必ず達成する点が大きな特徴となっている。すなわち、ブロック単位の保存に必要なメモリのデータ量やブロック単位の伝送に必要なメモリバス帯域を保証することができる。
ブロック単位の目標圧縮率はシステム毎に最適な値を選定することができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
目標Ａ），Ｂ），Ｃ），Ｄ）を達成するように、有限の画素数（ブロック）単位で圧縮を行う。
一般的に、画像データは隣接する画素同士は相関性が高い。よって、隣接する数十画素程度から成るブロック単位で、隣接相関性を生かした高効率な圧縮処理を行う方法が有効である。たとえば、JPEGなどの圧縮方式では、8(横) x 8(縦)のブロック形状の単位で圧縮処理を行っている。
本実施形態の圧縮方式においては、予め定めたブロック形状単位ごとに圧縮を行う。
ブロックはシステム毎に最適な形状および画素数を選定することができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
ただし、一般的な画像圧縮アルゴリズムでは、ブロック内の絵柄の複雑度に応じてブロックの圧縮率が変動してしまう。よって、あらゆる複雑度の画像に対して一定の圧縮率を保証することができず、記憶領域やバス帯域を保証することが困難になる。
この点を考慮し、本実施形態の方式においては、ブロック毎に目標圧縮率を必ず達成する点が大きな特徴となっている。すなわち、ブロック単位の保存に必要なメモリのデータ量やブロック単位の伝送に必要なメモリバス帯域を保証することができる。
ブロック単位の目標圧縮率はシステム毎に最適な値を選定することができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
データ圧縮方式には、可逆圧縮(Lossless)方式と非可逆圧縮(Lossy)方式がある。
可逆圧縮方式では画質を劣化させないために圧縮効率を犠牲にするのに対し、非可逆圧縮方式は、圧縮効率を向上させるために画質を劣化させる。
本実施形態の方式では、可逆圧縮で目標圧縮率を満たす場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たせない場合に限り非可逆圧縮を行うことで、画質劣化を最小に抑える方法を採用している。
代表的な可逆圧縮方式として、近隣相関性を生かしたロスレスJPEG (JPEG Annex.H) がある。ロスレスJPEGでは、近隣画素との差分(DPCM) をHuffman符号化することによりデータ量を圧縮している。
代表的な非可逆圧縮方式としては、JPEG baselineがある。JPEG baselineでは、ブロック内を DCT(離散コサイン変換)／量子化／Huffman符号化することによりデータ量を圧縮している。
可逆圧縮および非可逆圧縮で用いる内部方式（上述のDPCM,DCT,Huffmanなどに相当するもの）は、システム毎に最適なものを採用することができ、本実施形態では特に限定しない。
可逆圧縮方式では画質を劣化させないために圧縮効率を犠牲にするのに対し、非可逆圧縮方式は、圧縮効率を向上させるために画質を劣化させる。
本実施形態の方式では、可逆圧縮で目標圧縮率を満たす場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たせない場合に限り非可逆圧縮を行うことで、画質劣化を最小に抑える方法を採用している。
代表的な可逆圧縮方式として、近隣相関性を生かしたロスレスJPEG (JPEG Annex.H) がある。ロスレスJPEGでは、近隣画素との差分(DPCM) をHuffman符号化することによりデータ量を圧縮している。
代表的な非可逆圧縮方式としては、JPEG baselineがある。JPEG baselineでは、ブロック内を DCT(離散コサイン変換)／量子化／Huffman符号化することによりデータ量を圧縮している。
可逆圧縮および非可逆圧縮で用いる内部方式（上述のDPCM,DCT,Huffmanなどに相当するもの）は、システム毎に最適なものを採用することができ、本実施形態では特に限定しない。
＜第２の機能＞
目標Ｂ）を達成するように、画像全体に対しては１パスによる符号化処理を実現し、帯域増加を防ぐ。
一般的に、高い圧縮効率を実現する手法として２パス符号化方式あるいはマルチパス符号化方式がある。
２パス符号化方式の場合、１パス目の処理において画像データ内の絵柄の複雑度の分布状況などの情報を収集し、２パス目において１パス目で収集した統計情報を基にビットレート(bit rate)制御を行うことで、高圧縮率・高画質維持を実現している。ただし、バスを介したメモリ上に画像データを置く場合、その代償として画像データ入力に必要なメモリ帯域が２倍に増大してしまう。
そこで、本方式では画像全体に対しては１パスによる符号化処理を実現し、画像データ入力帯域の増加を防ぐ。
目標Ｂ）を達成するように、画像全体に対しては１パスによる符号化処理を実現し、帯域増加を防ぐ。
一般的に、高い圧縮効率を実現する手法として２パス符号化方式あるいはマルチパス符号化方式がある。
２パス符号化方式の場合、１パス目の処理において画像データ内の絵柄の複雑度の分布状況などの情報を収集し、２パス目において１パス目で収集した統計情報を基にビットレート(bit rate)制御を行うことで、高圧縮率・高画質維持を実現している。ただし、バスを介したメモリ上に画像データを置く場合、その代償として画像データ入力に必要なメモリ帯域が２倍に増大してしまう。
そこで、本方式では画像全体に対しては１パスによる符号化処理を実現し、画像データ入力帯域の増加を防ぐ。
＜第３の機能＞
目標Ｂ）を達成するために、１画像内の各ブロックに対してはマルチパスによる符号化処理により、高画質を保持する。
本方式では、１画像内の各ブロックに対してはマルチパスによる符号化処理方法を適用する。異なった圧縮パラメータの中からマルチパスにより最適なパラメータを選択することで、一定の圧縮率を満たす範囲内で可能な限り画質劣化を防ぐことが可能となる。
圧縮パラメータの種類や数、あるいは最適なパラメータの選択アルゴリズムは本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
目標Ｂ）を達成するために、１画像内の各ブロックに対してはマルチパスによる符号化処理により、高画質を保持する。
本方式では、１画像内の各ブロックに対してはマルチパスによる符号化処理方法を適用する。異なった圧縮パラメータの中からマルチパスにより最適なパラメータを選択することで、一定の圧縮率を満たす範囲内で可能な限り画質劣化を防ぐことが可能となる。
圧縮パラメータの種類や数、あるいは最適なパラメータの選択アルゴリズムは本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
以下に実施の具体例を挙げる。
ブロックの圧縮後データ容量を試算する回路を複数個並列に用意することで、異なった圧縮パラメータよる多数のデータ量削減案を、１パス目で同時に試算することが可能となる。
これにより、ブロックの圧縮処理が２パスに近い処理で実現可能となる。
２パス目では、１パス目の試算から得られた最適な圧縮パラメータを用いて、実際の圧縮処理を実行すればよい。
ブロックの圧縮後データ容量を試算する回路を複数個並列に用意することで、異なった圧縮パラメータよる多数のデータ量削減案を、１パス目で同時に試算することが可能となる。
これにより、ブロックの圧縮処理が２パスに近い処理で実現可能となる。
２パス目では、１パス目の試算から得られた最適な圧縮パラメータを用いて、実際の圧縮処理を実行すればよい。
＜第４の機能＞
目標Ｄ）を達成するように、ブロック毎に決められたアドレスに記録することで、ランダムアクセス性を損わない。
ブロック単位で一定の圧縮率を保証するという事は、実際には目標圧縮率に相当するデータ量以下に圧縮するという事であり、用意したデータ容量分が完全に一杯になるまでにはまだ別のデータを詰め込む余地がわずかながら残されている場合もありうる。そこへ、次のブロックを詰め込むこともできるが、本方式ではあえてそのようなことはしない。
次のブロックは次のブロック用に予め確保された記憶領域へ記録することで、各ブロックの実際の圧縮率によらずに、ブロックの最初のデータのメモリ上のアドレスが固定になるため、ブロック単位ではあるがランダムアクセスが可能になる。
ブロック単位のアドレッシング方法はシステム毎に最適な方法を用いることができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
目標Ｄ）を達成するように、ブロック毎に決められたアドレスに記録することで、ランダムアクセス性を損わない。
ブロック単位で一定の圧縮率を保証するという事は、実際には目標圧縮率に相当するデータ量以下に圧縮するという事であり、用意したデータ容量分が完全に一杯になるまでにはまだ別のデータを詰め込む余地がわずかながら残されている場合もありうる。そこへ、次のブロックを詰め込むこともできるが、本方式ではあえてそのようなことはしない。
次のブロックは次のブロック用に予め確保された記憶領域へ記録することで、各ブロックの実際の圧縮率によらずに、ブロックの最初のデータのメモリ上のアドレスが固定になるため、ブロック単位ではあるがランダムアクセスが可能になる。
ブロック単位のアドレッシング方法はシステム毎に最適な方法を用いることができ、本実施形態では特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
＜第５の機能＞
目標Ａ）を達成するように、本実施形態の帯域保証圧縮法は、データを上位ビット側・下位ビット側など複数のビット精度部分に分割し、それぞれに別々の最適な圧縮方法を用いる。
一般的に、画像データは上位ビット側から下位ビット側に向かうに従い近隣との相関性が薄れていく。このため、８ビット(8bit)精度の画像データ圧縮に用いられ有効性が認められてきた近隣相関性に基づく圧縮方式は、必ずしも８ビット精度を超えた高精度画像データの下位ビット側には有効では無い。
実際、８ビット精度と１２ビット精度など高精度画像データの近隣相関性に基づく圧縮効率を比較してみると、高精度になるにつれ圧縮効率が低下する傾向になっている。
そこで、本実施形態の方式では高精度な画像データを上位ビット側と下位ビット側などの複数の精度部分に分割し、それぞれに別々の最適な圧縮方法を用いるように構成している。
上位ビット側と下位ビット側などに分割するデータの分割点はシステム毎に最適なポイントを選定することができ、本実施形態ではデータの分割点および分割数を特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
目標Ａ）を達成するように、本実施形態の帯域保証圧縮法は、データを上位ビット側・下位ビット側など複数のビット精度部分に分割し、それぞれに別々の最適な圧縮方法を用いる。
一般的に、画像データは上位ビット側から下位ビット側に向かうに従い近隣との相関性が薄れていく。このため、８ビット(8bit)精度の画像データ圧縮に用いられ有効性が認められてきた近隣相関性に基づく圧縮方式は、必ずしも８ビット精度を超えた高精度画像データの下位ビット側には有効では無い。
実際、８ビット精度と１２ビット精度など高精度画像データの近隣相関性に基づく圧縮効率を比較してみると、高精度になるにつれ圧縮効率が低下する傾向になっている。
そこで、本実施形態の方式では高精度な画像データを上位ビット側と下位ビット側などの複数の精度部分に分割し、それぞれに別々の最適な圧縮方法を用いるように構成している。
上位ビット側と下位ビット側などに分割するデータの分割点はシステム毎に最適なポイントを選定することができ、本実施形態ではデータの分割点および分割数を特に限定しない。可能な範囲でプログラマブルに実装することが望ましい。
以下に実施の具体例を挙げる。
１２ビット(12bit)精度の画像データを扱う場合、上位側８ビット部分と下位側４ビットの部分に２分割し、上位側８ビット部分には近隣相関性に基づいた差分PCM(DPCM)とハフマン（Huffman）符号化の組合わせによる可逆圧縮（Lossless圧縮）を採用し、下位側４ビット部分には非圧縮データ(PCM)をそのまま採用する。
１２ビット(12bit)精度の画像データを扱う場合、上位側８ビット部分と下位側４ビットの部分に２分割し、上位側８ビット部分には近隣相関性に基づいた差分PCM(DPCM)とハフマン（Huffman）符号化の組合わせによる可逆圧縮（Lossless圧縮）を採用し、下位側４ビット部分には非圧縮データ(PCM)をそのまま採用する。
＜第６の機能＞
目標Ａ），Ｃ）を達成するように、目標圧縮率を満たす範囲内で画質劣化を最小に抑えるように、最適な圧縮方法をブロック毎に適応的に用いる。
一般的な画像圧縮方法では、単純な絵柄に対しては圧縮効率が高いが、絵柄が複雑になるにつれ圧縮効率が低下してしまい、絵柄の複雑さと圧縮効率とは相反する要因となっている。
一方、高圧縮率と画素の高ビット精度保持(高画質維持)の両者も相反する要因であり、これらは互いにトレードオフの関係にある。
これら３要素“絵柄の複雑さ・圧縮効率・高画質維持”の関係をふまえ、画質劣化を最小に抑えつつ絵柄の複雑さによらずに一定の目標圧縮率を達成する手法が必要である。
本発明では、絵柄の複雑さに応じて画素の持つビット精度をブロック毎に適応的に欠損させる方法を採用している。
目標圧縮率に見合うようにビット精度の欠損度合いを最適なポイントに制御することで、絵柄の複雑さによらずに一定の圧縮率を達成することが可能となり、その上で可能な限り画質劣化を抑制することができる。
本実施形態では、画素の持つビット精度の最適な欠損ポイントを導出するアルゴリズムを特に限定しない。実施の具体的なアルゴリズム例については後述する。
目標Ａ），Ｃ）を達成するように、目標圧縮率を満たす範囲内で画質劣化を最小に抑えるように、最適な圧縮方法をブロック毎に適応的に用いる。
一般的な画像圧縮方法では、単純な絵柄に対しては圧縮効率が高いが、絵柄が複雑になるにつれ圧縮効率が低下してしまい、絵柄の複雑さと圧縮効率とは相反する要因となっている。
一方、高圧縮率と画素の高ビット精度保持(高画質維持)の両者も相反する要因であり、これらは互いにトレードオフの関係にある。
これら３要素“絵柄の複雑さ・圧縮効率・高画質維持”の関係をふまえ、画質劣化を最小に抑えつつ絵柄の複雑さによらずに一定の目標圧縮率を達成する手法が必要である。
本発明では、絵柄の複雑さに応じて画素の持つビット精度をブロック毎に適応的に欠損させる方法を採用している。
目標圧縮率に見合うようにビット精度の欠損度合いを最適なポイントに制御することで、絵柄の複雑さによらずに一定の圧縮率を達成することが可能となり、その上で可能な限り画質劣化を抑制することができる。
本実施形態では、画素の持つビット精度の最適な欠損ポイントを導出するアルゴリズムを特に限定しない。実施の具体的なアルゴリズム例については後述する。
＜第７の機能＞
目標Ａ）を達成するように、画素の持つビット精度を欠損させる際、画素値の大きさによる判断を行い、高輝度(画素)値よりも低輝度(画素)値のビット精度をより欠損させにくくすることで、視覚的な画質劣化を防止する。
画素の持つビット精度を欠損させる際に用いる指標として、輝度(画素)値の大きさが挙げられる。
一般に、人間の目が暗い部分の微妙な階調変化に敏感であるという視覚上の特性から、高輝度(画素)値よりも低輝度(画素)値のビット精度を優先的に保持する圧縮方法が高画質維持には有効となる。
そこで、本実施形態においては、ブロック内に含まれる低輝度側の画素値のビット精度をできるだけ保持しつつ、目標圧縮率を達成するまで高輝度側の画素値から少しずつ下位ビットを欠損させ、ビット精度の欠損度合いをブロック毎に最適なポイントに制御するような段階的なアルゴリズムを採用している。
本実施形態では、輝度(画素)値の大きさに対して欠損させるビット精度を導出するアルゴリズムを特に限定しない。
目標Ａ）を達成するように、画素の持つビット精度を欠損させる際、画素値の大きさによる判断を行い、高輝度(画素)値よりも低輝度(画素)値のビット精度をより欠損させにくくすることで、視覚的な画質劣化を防止する。
画素の持つビット精度を欠損させる際に用いる指標として、輝度(画素)値の大きさが挙げられる。
一般に、人間の目が暗い部分の微妙な階調変化に敏感であるという視覚上の特性から、高輝度(画素)値よりも低輝度(画素)値のビット精度を優先的に保持する圧縮方法が高画質維持には有効となる。
そこで、本実施形態においては、ブロック内に含まれる低輝度側の画素値のビット精度をできるだけ保持しつつ、目標圧縮率を達成するまで高輝度側の画素値から少しずつ下位ビットを欠損させ、ビット精度の欠損度合いをブロック毎に最適なポイントに制御するような段階的なアルゴリズムを採用している。
本実施形態では、輝度(画素)値の大きさに対して欠損させるビット精度を導出するアルゴリズムを特に限定しない。
以下に、実施の具体的なアルゴリズム例を挙げる。
画素値の上位ビット側部分の値の大きさに応じて、下位ビット側部分のデータの欠損具合を決定するアルゴリズム例を説明する。
まず、上位ビット側のデータを値の大小でいくつかのレベルに分割し、レベル毎に下位ビット側の精度を何ビット保持するかを決定する変換レコードを用意する。
このレコードは、低圧縮率から高圧縮率に至るまで圧縮効率順に並べてあるので、目標圧縮率に至るまで順にレコードを適応することで、目標圧縮率内において最もビット欠損の少ない高画質な圧縮が可能となる。
本実施形態においては、レコード内のレベルおよび欠損ビット精度などの値を特に限定しない。これらの値は画像データの特性に合わせるのが好ましいので、ソフトウェアで設定可能なようにプログラマブルに実装するのが望ましい。
画素値の上位ビット側部分の値の大きさに応じて、下位ビット側部分のデータの欠損具合を決定するアルゴリズム例を説明する。
まず、上位ビット側のデータを値の大小でいくつかのレベルに分割し、レベル毎に下位ビット側の精度を何ビット保持するかを決定する変換レコードを用意する。
このレコードは、低圧縮率から高圧縮率に至るまで圧縮効率順に並べてあるので、目標圧縮率に至るまで順にレコードを適応することで、目標圧縮率内において最もビット欠損の少ない高画質な圧縮が可能となる。
本実施形態においては、レコード内のレベルおよび欠損ビット精度などの値を特に限定しない。これらの値は画像データの特性に合わせるのが好ましいので、ソフトウェアで設定可能なようにプログラマブルに実装するのが望ましい。
＜第８の機能＞
目標Ｃ）を達成するように、上位ビット側は可逆圧縮し、最低限の画質を保証し、すべての削減案の結果が思わしくない場合は、生のまま上位データを保存し、最低限の圧縮後容量を保証する。
可変長符号化方式には、静的な可変長テーブルを用いるものと、データに合わせて動的に可変長テーブルを変化させるものとがある。
動的なテーブルを用いる方式の方が圧縮効率は高いが、それ以上に非常に複雑な処理および時間が必要となる。このことは本方式の目的であるリアルタイム性に支障をきたしうる。
それに対し静的なテーブルを用いる方式は、少ない回路資源でも動的テーブルを用いる方式に近い効果を発揮する。
そこで、本方式では静的な可変長符号化テーブルを用いる可変長符号化を採用している。
静的な可変長符号化テーブルは、様々な画像の統計情報を根拠にして、平均的な複雑度の画像を効率よく圧縮できるように設定される。そのため、その設定に対してワーストケースの統計分布を持つ画像に対しては、圧縮前よりも逆にデータ量が増えてしまうことがある。
このような場合は静的な可変長符号化を利用した圧縮処理をかけるよりも圧縮処理をかけない方が、データ量が少なく有利である。
本方式では、このような場合、圧縮前の上位ビット側のデータを下位ビット側の値で丸めたものを圧縮後のデータとする。
このように、下位ビット側のデータを保存せずあえて削減することで、ワーストケースにおいてもデータ容量を目標圧縮率以内に圧縮する。
目標Ｃ）を達成するように、上位ビット側は可逆圧縮し、最低限の画質を保証し、すべての削減案の結果が思わしくない場合は、生のまま上位データを保存し、最低限の圧縮後容量を保証する。
可変長符号化方式には、静的な可変長テーブルを用いるものと、データに合わせて動的に可変長テーブルを変化させるものとがある。
動的なテーブルを用いる方式の方が圧縮効率は高いが、それ以上に非常に複雑な処理および時間が必要となる。このことは本方式の目的であるリアルタイム性に支障をきたしうる。
それに対し静的なテーブルを用いる方式は、少ない回路資源でも動的テーブルを用いる方式に近い効果を発揮する。
そこで、本方式では静的な可変長符号化テーブルを用いる可変長符号化を採用している。
静的な可変長符号化テーブルは、様々な画像の統計情報を根拠にして、平均的な複雑度の画像を効率よく圧縮できるように設定される。そのため、その設定に対してワーストケースの統計分布を持つ画像に対しては、圧縮前よりも逆にデータ量が増えてしまうことがある。
このような場合は静的な可変長符号化を利用した圧縮処理をかけるよりも圧縮処理をかけない方が、データ量が少なく有利である。
本方式では、このような場合、圧縮前の上位ビット側のデータを下位ビット側の値で丸めたものを圧縮後のデータとする。
このように、下位ビット側のデータを保存せずあえて削減することで、ワーストケースにおいてもデータ容量を目標圧縮率以内に圧縮する。
次に、上述した本実施形態において採用する帯域保証圧縮法について図面に関連付けて説明する。
ここでの、目標圧縮率は６６．７％（元データ量の２／３）であり、１画素平均にすると１２ビットを８ビットにすることに相当する。
ここでの、目標圧縮率は６６．７％（元データ量の２／３）であり、１画素平均にすると１２ビットを８ビットにすることに相当する。
図４は、本実施形態において採用する帯域保証圧縮法について説明するための図であって、１２ビット精度の画素像データ（ＲＡＷデータ）を上位側ビットと下位側ビットに２分割する状態を示す図である。
図５は、本実施形態において採用する帯域保証圧縮法について説明するための図であって、画素データを２分割した後に適用されるエンコード(Encode)アルゴリズム例を示し図である。
なお、図４においては、画素配列の左画素側から右画素側の１ライン（横ライン）を便宜上縦方向にスキャンするように図示している。
図５は、本実施形態において採用する帯域保証圧縮法について説明するための図であって、画素データを２分割した後に適用されるエンコード(Encode)アルゴリズム例を示し図である。
なお、図４においては、画素配列の左画素側から右画素側の１ライン（横ライン）を便宜上縦方向にスキャンするように図示している。
図４の例においては、１２ビット生（ＲＡＷ）データを、上位側８ビット部分である精度保証部分３０１と下位側４ビット部分であるレート制御部分３０２に２分割し、図５に示すように、それぞれ異なったエンコードアルゴリズムを適用する。
本実施形態においては、図４に示すように、レート制御部分３０２の精度に関しては上位側の８ビットを参照し、輝度値が高いデータから優先的に下位側のレート制御部分３０２の精度を落とす。輝度値が低いデータはレート制御部分３０２の精度をできるだけ保持する。
図４の例において、輝度値が高いか低いかは、上位側の精度保証部分３０１の８ビットをＭＳＢ側４ビットとＬＳＢ側４ビットに分割し、ＭＳＢ側４ビットのいずれかのビットが論理１にセットされている場合に輝度値が高いと判断し、ＭＳＢ側４ビットのいずれのビットも１にセットされていない場合には輝度値が低いと判断する。
これは一例であり、種々の態様が可能である。
本実施形態においては、図４に示すように、レート制御部分３０２の精度に関しては上位側の８ビットを参照し、輝度値が高いデータから優先的に下位側のレート制御部分３０２の精度を落とす。輝度値が低いデータはレート制御部分３０２の精度をできるだけ保持する。
図４の例において、輝度値が高いか低いかは、上位側の精度保証部分３０１の８ビットをＭＳＢ側４ビットとＬＳＢ側４ビットに分割し、ＭＳＢ側４ビットのいずれかのビットが論理１にセットされている場合に輝度値が高いと判断し、ＭＳＢ側４ビットのいずれのビットも１にセットされていない場合には輝度値が低いと判断する。
これは一例であり、種々の態様が可能である。
エンコードの試行順としては、図５に示すように、上位側８ビット部分である精度保証部分３０１と下位側４ビット部分であるレート制御部分３０２のそれぞれに異なったエンコードアルゴリズムを適用するが、目標圧縮率を満たすまで（１）可逆圧縮（Lossless圧縮）、（２）第１の非可逆圧縮（Lossy圧縮）、（３）ワーストケースでの帯域保証用としての第２のLossy圧縮を順に適用する。
まず、Lossless圧縮処理ステップにおいては、上位側８ビット部分である精度保証部分３０１には近隣相関性に基づいた差分PCM(DPCM)とHuffman符号化の組合わせによるLossless圧縮を採用し、下位側４ビット部分であるレート制御部分３０２には非圧縮データ(PCM)をそのまま採用する。
次に、第１のLossy圧縮処理ステップにおいては、PCM(DPCM)とHuffman符号化の組合わせによるLossless圧縮を採用してその符号量が最大許容符号量以下の場合であって、目標圧縮率に達成していない場合、上位側８ビット部分である精度保証部分３０１には近隣相関性に基づいた差分PCM(DPCM)とHuffman符号化の組合わせによるLossy圧縮を採用し、下位側４ビット部分であるレート制御部分３０２にはレートに応じて精度を落としたデータを符号化せずにそのまま記録する。
第２のLossy圧縮処理ステップは、ワーストケースでの帯域保証用の処理ステップであり、PCM(DPCM)とHuffman符号化の組合わせによるLossless圧縮を採用してその符号量が最大共用符号量より大きい場合であって、目標圧縮率に達成していない場合、上位側８ビット部分である精度保証部分３０１における８ビット生データ（ＰＣＭ）をそのまま記録し、下位側４ビット部分であるレート制御部分３０２に関してはすべて記録しない。
次に、本実施形態における上位側ビット成分（精度保証部分）の符号化方式、および下位側ビット成分（レート制御部分）の符号化方式の一例について説明する。
まず、上位側ビット成分（精度保証部分）の符号化方式の一例について説明する。
図６は、本実施形態の上位側ビット成分（精度保証部分）の符号化方式を説明するための図である。
図６は、本実施形態の上位側ビット成分（精度保証部分）の符号化方式を説明するための図である。
圧縮の基本方式としては、現画素と前画素との差分をハフマン符号化する方式を採用する。
図６に示すように、まず、図６（Ａ）に示すような画素配列（入力画像データ）の１ライン（１つの横ライン）をブロック単位として、圧縮前データをブロック単位にラスタ順で処理する。
次に、図６（Ｂ）に示すように、保持部３０３に保持していた前画素（prev pxl）と現画素(cur pxl)との差分を引き算器３０４で求める。
図６（Ｃ）に示すように、求めた差分値をハフマンテーブル３０５中に示すように符号化する。ハフマンテーブルは通常３角形と形状となり、差分値が小さいほど符号長は短くなる。
次に、図６（Ｄ）に示すように、上位側ビット成分の圧縮率がどれくらいになるかを見積もるため、符号長(length)をアキュムレータ部３０６においてそれぞれ積算する。
次に、図６（Ｅ）に示すように、ブロック毎の上位側ビット成分の圧縮率を見積もる。見積もりの結果、上位側ビット成分の圧縮率が目標圧縮率以下の場合には、残りビットを下位側ビット成分に割り当てる。上位側ビット成分の圧縮率が目標圧縮率より大きい場合、ワーストケースとして（前画素差分＋はフマン符号化）の処理を行わず、ＰＣＭにより上位ビット側成分のみを保存する。
図６に示すように、まず、図６（Ａ）に示すような画素配列（入力画像データ）の１ライン（１つの横ライン）をブロック単位として、圧縮前データをブロック単位にラスタ順で処理する。
次に、図６（Ｂ）に示すように、保持部３０３に保持していた前画素（prev pxl）と現画素(cur pxl)との差分を引き算器３０４で求める。
図６（Ｃ）に示すように、求めた差分値をハフマンテーブル３０５中に示すように符号化する。ハフマンテーブルは通常３角形と形状となり、差分値が小さいほど符号長は短くなる。
次に、図６（Ｄ）に示すように、上位側ビット成分の圧縮率がどれくらいになるかを見積もるため、符号長(length)をアキュムレータ部３０６においてそれぞれ積算する。
次に、図６（Ｅ）に示すように、ブロック毎の上位側ビット成分の圧縮率を見積もる。見積もりの結果、上位側ビット成分の圧縮率が目標圧縮率以下の場合には、残りビットを下位側ビット成分に割り当てる。上位側ビット成分の圧縮率が目標圧縮率より大きい場合、ワーストケースとして（前画素差分＋はフマン符号化）の処理を行わず、ＰＣＭにより上位ビット側成分のみを保存する。
次に、下位側ビット成分（レート制御部分）の符号化方式の一例について説明する。
図７は、本実施形態の下位側ビット成分（レート制御部分）の符号化方式を説明するための図である。
図７は、本実施形態の下位側ビット成分（レート制御部分）の符号化方式を説明するための図である。
上述したように、本実施形態において、輝度値を判断し、輝度値に応じてレート制御部分３０２の精度を落とすか、可能な限り精度を保持するかの処理を行う。
本実施形態においては、輝度値を算出したら、その値の範囲に応じて、輝度情報を幾つか複数の範囲に分類することができる。
例としては、上位側８ビットのデータを2^0, 2^1, 2^2, ... 2^8の区間境界（^ は階乗を表す）で分割した８つの範囲に分けることができる。この範囲を「輝度レベル」と呼ぶ。後の工程において、輝度レベルに応じて、画素データの精度削減度合を決定することになる。
有限の回路資源を考える場合は、高々十数までの範囲に輝度値を分類した方が、処理量の面で有益である。もちろん、処理負荷が許すのであれば、分類を行わずに輝度値すなわち輝度レベルとして扱い、削減度合に変換する連続的な関数（図７）に入力してもよい。図７に関係する輝度レベルと削減度合の変換については、言及する。
本実施形態においては、輝度値を算出したら、その値の範囲に応じて、輝度情報を幾つか複数の範囲に分類することができる。
例としては、上位側８ビットのデータを2^0, 2^1, 2^2, ... 2^8の区間境界（^ は階乗を表す）で分割した８つの範囲に分けることができる。この範囲を「輝度レベル」と呼ぶ。後の工程において、輝度レベルに応じて、画素データの精度削減度合を決定することになる。
有限の回路資源を考える場合は、高々十数までの範囲に輝度値を分類した方が、処理量の面で有益である。もちろん、処理負荷が許すのであれば、分類を行わずに輝度値すなわち輝度レベルとして扱い、削減度合に変換する連続的な関数（図７）に入力してもよい。図７に関係する輝度レベルと削減度合の変換については、言及する。
本実施形態においては、図７（Ａ）に示すように、輝度・圧縮度の対応テーブル（または関数）が用意されている。輝度レベルを入力としてこのテーブルを引くことで、下位側データの精度をどれだけ残すかという「削減度合」を得ることができる。
図７（Ａ）において、テーブル内で点線に囲われた一行一行にあたる数列を、「レコード」と呼ぶ。各レコード一つは、削減度合一つに対応する。図では、上側のレコード程、削減度合が大きい、すなわち精度の欠損が多いことになる。基本的には、削減度合の小さなレコードから順次、圧縮を検討することになる。レコード一つが、削減案一つに相当する。
図７（Ａ）において、テーブル内で点線に囲われた一行一行にあたる数列を、「レコード」と呼ぶ。各レコード一つは、削減度合一つに対応する。図では、上側のレコード程、削減度合が大きい、すなわち精度の欠損が多いことになる。基本的には、削減度合の小さなレコードから順次、圧縮を検討することになる。レコード一つが、削減案一つに相当する。
各レコードでは、図７（Ｂ）〜（Ｄ）に示すように、輝度に応じて下位データの削減後ビット数を得ることができる。
ここでは、人間の視覚特性に応じて、入力されたデータが低輝度すなわち暗いデータであるほど、削減度合を減らさずに精度を保持するように、レコードを調整する。
図７（Ｂ）〜（Ｄ）は、図７（Ａ）と違って、連続的な関数のようなイメージが描かれているが、システムが許すのであれば、関数的な処理をしても構わない。削減度合が大きくなるにつれて、低輝度部分を含めた全体の削減ビット数が大きくなっていく。
いずれにせよ、ここでの輝度レベルの分類方法、テーブル内の削減度合の決定方針が、画質の維持に大きな役割を果すことになる。
このテーブルは可変に設定できることが望ましく、設定値は要求システムでの評価を経て、よく検討されたものが用いられることが望ましい。
ここでは、人間の視覚特性に応じて、入力されたデータが低輝度すなわち暗いデータであるほど、削減度合を減らさずに精度を保持するように、レコードを調整する。
図７（Ｂ）〜（Ｄ）は、図７（Ａ）と違って、連続的な関数のようなイメージが描かれているが、システムが許すのであれば、関数的な処理をしても構わない。削減度合が大きくなるにつれて、低輝度部分を含めた全体の削減ビット数が大きくなっていく。
いずれにせよ、ここでの輝度レベルの分類方法、テーブル内の削減度合の決定方針が、画質の維持に大きな役割を果すことになる。
このテーブルは可変に設定できることが望ましく、設定値は要求システムでの評価を経て、よく検討されたものが用いられることが望ましい。
削減度合を得たら、画素の下位側を何ビット残すかが決まることになる。ビットを削除する際は、下位側データのLSB側から、指定ビット分を四捨五入して丸めながら削除していく。
たとえば、テーブル内で、ある削減度合に応じてレコードを引き、いま扱っている上位データの輝度レベルから下位ビットの削減後ビット数「３」を得た場合、ここでは下位データのオリジナルの精度は４ビットであるから、４ビットから圧縮後のビット数は３ビットとなる。
LSB側の１ビットを四捨五入して削除することになる。これをブロック内の全ての画素に対して繰り返せば、そのブロックの下位データ側の圧縮後容量を試算することができる。
たとえば、テーブル内で、ある削減度合に応じてレコードを引き、いま扱っている上位データの輝度レベルから下位ビットの削減後ビット数「３」を得た場合、ここでは下位データのオリジナルの精度は４ビットであるから、４ビットから圧縮後のビット数は３ビットとなる。
LSB側の１ビットを四捨五入して削除することになる。これをブロック内の全ての画素に対して繰り返せば、そのブロックの下位データ側の圧縮後容量を試算することができる。
ここで、丸めつき下位ビット省略処理(Lossy圧縮）が必要である理由を図８に関連付けて説明する。
前述したように、精度保証部分３０１が８ビットの場合、Lossless圧縮での平均的な圧縮率は、８ビット部分が５．３３ビットとなる（６６．７％）程度であるが、場合によってはこれよりも圧縮率が低くなる場合もある。
そこで、本実施形態においては、レート制御部分３０２で目標圧縮率をあわせこむ処理を行う。本例においては、レート制御部分３０２において平均４ビット０を２．６７ビット（６６．７％）程度に圧縮するLossy圧縮（丸めつき下位ビット省略）が必要となる。
前述したように、精度保証部分３０１が８ビットの場合、Lossless圧縮での平均的な圧縮率は、８ビット部分が５．３３ビットとなる（６６．７％）程度であるが、場合によってはこれよりも圧縮率が低くなる場合もある。
そこで、本実施形態においては、レート制御部分３０２で目標圧縮率をあわせこむ処理を行う。本例においては、レート制御部分３０２において平均４ビット０を２．６７ビット（６６．７％）程度に圧縮するLossy圧縮（丸めつき下位ビット省略）が必要となる。
図９は、上述した本実施形態における帯域保証圧縮法の処理概要を示す図である。
本実施形態の帯域保証圧縮法においては、図９（Ａ）に示すように、１枚の画像を処理単位ブロックに分割し、図９（Ｂ）に示すように、各ブロックを圧縮し、目標圧縮率α％をブロック個々に達成し、圧縮された各ブロックの符号を図９（Ｃ）に示すように、画像メモリ１７に配置する。
画像メモリ１７は、ブロック毎の配置領域（容量α％）をとっておけば、ブロックの先頭画素単位でのランダムアクセスが可能となる。
画像メモリ１７においては、図９（Ｄ）に示すように、ブロック毎に先頭アドレスが固定であり、常にこの単位でランダムアクセスが可能である。また、圧縮効率が高く、α％を下回った場合はブロック毎の領域をすべて使いきらずに済む。また、ブロック毎に確保される容量は（元のブロック容量）×α％であり、圧縮後容量はα％で保証されていることから、この領域をはみ出ることは無い。
本実施形態の帯域保証圧縮法においては、図９（Ａ）に示すように、１枚の画像を処理単位ブロックに分割し、図９（Ｂ）に示すように、各ブロックを圧縮し、目標圧縮率α％をブロック個々に達成し、圧縮された各ブロックの符号を図９（Ｃ）に示すように、画像メモリ１７に配置する。
画像メモリ１７は、ブロック毎の配置領域（容量α％）をとっておけば、ブロックの先頭画素単位でのランダムアクセスが可能となる。
画像メモリ１７においては、図９（Ｄ）に示すように、ブロック毎に先頭アドレスが固定であり、常にこの単位でランダムアクセスが可能である。また、圧縮効率が高く、α％を下回った場合はブロック毎の領域をすべて使いきらずに済む。また、ブロック毎に確保される容量は（元のブロック容量）×α％であり、圧縮後容量はα％で保証されていることから、この領域をはみ出ることは無い。
次に、本実施形態のデジタル信号処理部１５における帯域圧縮伸長部２００の具体的な構成例およびその動作について説明する。
図１０は、本実施形態の帯域圧縮伸長部２００の具体的な構成例を示すブロック図である。
図１０の帯域圧縮伸長部２００は、図３の送信側ブロック２０１内の具体例であって、処理単位（ブロック取得部）２１１、画素データ分割部２１２、画素間冗長度削減部２１３、輝度値判定部２１４、上位側試算部２１５、下位側試算部２１６、採用圧縮度判定部２１７、上位側可変長符号化実行部２１８、下位側可変長符号化実行部２１９、およびアライン調整およびヘッダ付加部２２０を、主体に構成されている。
処理単位取得部２１１は、画像データをあらかじめ設定した処理単位規模設定値に基づく画素数の単位を取得し、画素データ分割部２１２に出力する。
この取得単位をブロックと呼び、ブロックごとに所望の圧縮率を達成させる。ブロックごとの画素数、形状は可変に設定できることが望ましい。
この取得単位をブロックと呼び、ブロックごとに所望の圧縮率を達成させる。ブロックごとの画素数、形状は可変に設定できることが望ましい。
画素データ分割部２１２は、取得したブロック画像データを上位側８ビットの精度保証部分３０１と下位側４ビットのレート制御部分３０２に分割し、上位側ビットデータを画素間冗長度削減部２１３に出力し、下位側ビットデータを下位側可変長符号化実行部２１９に出力する。
画素間冗長度削減部２１３は、周辺の画素データを参照した、画像特有の冗長度削減処理を行い、その結果を上位側試算部２１５に出力する。
本方式では、冗長度の削減処理方式、および削減処理後のデータ形式を規定しないが、一例としては、直近隣接画素間の引き算によって冗長度を削減するDPCM方式がある。
この方式はJPEG規格のDCT係数DC成分の冗長度削減手段として用いられている。また、色フィルタ配列データであれば、同一色間の冗長度を特に生かした方式が望ましい。
本方式では、冗長度の削減処理方式、および削減処理後のデータ形式を規定しないが、一例としては、直近隣接画素間の引き算によって冗長度を削減するDPCM方式がある。
この方式はJPEG規格のDCT係数DC成分の冗長度削減手段として用いられている。また、色フィルタ配列データであれば、同一色間の冗長度を特に生かした方式が望ましい。
輝度値判定部２１４は、画素データ分割部２１２による上位側データを輝度を表す値に変換し、その結果を下位側試算部２１６に出力する。
上位側試算部２１５は、可変長符号テーブルを参照して、冗長度を削減された後のデータに対し、符号化後の容量見積を行い、その結果を採用圧縮度判定部２１７に出力する。
下位側試算部２１６は、輝度レベルを入力として輝度・圧縮度の対応テーブル（または関数）を参照して、下位側データの精度をどれだけ残すかという「削減度合」を得、その結果を採用圧縮度判定部２１７に出力する。
採用圧縮度判定部２１７は、圧縮率が目標に到達するまで、順次圧縮度合を増加させていき、目標に到達した時点の圧縮度合を合格であるとして採用であると判定し、判定結果を上位側可変長符号化実行部２１８、および下位側可変長符号化実行部２１９に出力する。
上位側可変長符号化実行部２１８は、採用圧縮度判定部２１７の判定結果を受けて、採用する圧縮度合に従って、実際に上位側データを圧縮処理して圧縮後符号データを作成する。上位側データは、可変長符号化によって可逆圧縮を行う。可逆可変長符号化としては、典型的な例としてハフマン符号化が挙げられる。
下位側可変長符号化実行部２１９は、輝度・圧縮度の対応テーブルに従って下位側データのビット数を各画素ごとに削減していく、不可逆な圧縮を行い、そうして削減されたデータを単純に連結していくことで符号を作成する。
アライン調整およびヘッダ付加部２２０は、デコードに必要なデータ等をヘッダとして画素データ符号に付加し、最終的な圧縮後符号を完成させ、バス２５を通して画像メモリ１７に送信する。
以下に、上記構成を有する帯域圧縮伸長部２００の動作について図１１のフローチャートに関連付けて詳細に説明する。
なお、ここでは、前提条件として、各色１２ビット精度を持つ色フィルタ配列による画像データを、各色８ビット相当に圧縮するものとする。
なお、ここでは、前提条件として、各色１２ビット精度を持つ色フィルタ配列による画像データを、各色８ビット相当に圧縮するものとする。
まず、画像データをあらかじめ決定した画素数の単位分、ブロック（処理単位）取得部２１１に取得する（ＳＴ１）。このブロックごとに所望の圧縮率を達成させる。
取得したブロックデータ内の画素を、画素データ分割部２１２において、一画素ずつ上位ビット側と下位ビット側に分割する（ＳＴ２）。
ここでは上位側を８ビット、下位側を４ビットとする。分割方法は単純にビットの境界で二分するのみで、仮に上位側と下位側を単純に連結すると元に戻る形式である。この分割境界は圧縮後容量の最大値、および画像の最低品質に密接に関係する。
すなわち、圧縮後容量の最大値は、上位側ビットの容量に相当し、画像の最低品質は、上位側のビット数分の精度となる。
本具体例では、最終的に一画素８ビット相当の圧縮率・画像品質を目標とするため、このように境界が設定される。様々な用途・目標に対応するために、境界位置は任意に設定できることが望ましい。
ここでは上位側を８ビット、下位側を４ビットとする。分割方法は単純にビットの境界で二分するのみで、仮に上位側と下位側を単純に連結すると元に戻る形式である。この分割境界は圧縮後容量の最大値、および画像の最低品質に密接に関係する。
すなわち、圧縮後容量の最大値は、上位側ビットの容量に相当し、画像の最低品質は、上位側のビット数分の精度となる。
本具体例では、最終的に一画素８ビット相当の圧縮率・画像品質を目標とするため、このように境界が設定される。様々な用途・目標に対応するために、境界位置は任意に設定できることが望ましい。
画素データ分割部２１２で取得した上位側データを、輝度値判定部２１４にて輝度を表す値に変換する。
ここで想定している色フィルタ配列では、上位側データの値をそのまま輝度として扱ってもよい。より高度に輝度値を算出するには、周辺の画素データを含めた演算を行うことができる。輝度・色差系表現（YC）の輝度成分などが、ここでの演算結果の良い一例である。
ここで想定している色フィルタ配列では、上位側データの値をそのまま輝度として扱ってもよい。より高度に輝度値を算出するには、周辺の画素データを含めた演算を行うことができる。輝度・色差系表現（YC）の輝度成分などが、ここでの演算結果の良い一例である。
輝度値を算出したら、その値の範囲に応じて、輝度情報を幾つか複数の範囲に分類する。
例としては、前述したように、上位側８ビットのデータを2^0, 2^1, 2^2, ... 2^8の区間境界（^ は階乗を表す）で分割した８つの範囲（輝度レベル）に分ける。後の工程において、輝度レベルに応じて、画素データの精度削減度合を決定することになる。
有限の回路資源を考える場合は、高々十数までの範囲に輝度値を分類した方が、処理量の面で有益である。もちろん、処理負荷が許すのであれば、分類を行わずに輝度値すなわち輝度レベルとして扱い、削減度合に変換する連続的な関数（図７）に入力してもよい。
例としては、前述したように、上位側８ビットのデータを2^0, 2^1, 2^2, ... 2^8の区間境界（^ は階乗を表す）で分割した８つの範囲（輝度レベル）に分ける。後の工程において、輝度レベルに応じて、画素データの精度削減度合を決定することになる。
有限の回路資源を考える場合は、高々十数までの範囲に輝度値を分類した方が、処理量の面で有益である。もちろん、処理負荷が許すのであれば、分類を行わずに輝度値すなわち輝度レベルとして扱い、削減度合に変換する連続的な関数（図７）に入力してもよい。
輝度値判定部２１４で得た輝度レベルを、下位側可変長符号試算部２１６に入力する。ここには、図７（Ａ）に示すような輝度・圧縮度の対応テーブル（または関数）が用意されている。輝度レベルを入力としてこのテーブルを引く（参照する）ことで、下位側データの精度をどれだけ残すかという「削減度合」を得ることができる（ＳＴ３）。
図７（Ａ）に示すテーブル内で点線に囲われた一行一行にあたる数列を、「レコード」と呼び、各レコード一つは、削減度合一つに対応する。図では、上側のレコード程、削減度合が大きい、すなわち精度の欠損が多いことになる。基本的には、削減度合の小さなレコードから順次、圧縮を検討することになる。レコード一つが、削減案一つに相当する。
各レコードでは、図７（Ｂ）〜（Ｄ）に示すように、輝度に応じて下位データの削減後ビット数を得ることができる。
ここでは、人間の視覚特性に応じて、入力されたデータが低輝度すなわち暗いデータであるほど、削減度合を減らさずに精度を保持するように、レコードを調整する。
ここでは、人間の視覚特性に応じて、入力されたデータが低輝度すなわち暗いデータであるほど、削減度合を減らさずに精度を保持するように、レコードを調整する。
ここでの輝度レベルの分類方法、テーブル内の削減度合の決定方針が、画質の維持に大きな役割を果すことになる。
このテーブルは可変に設定できることが望ましく、設定値は要求システムでの評価を経て、よく検討されたものが用いられることが望ましい。
このテーブルは可変に設定できることが望ましく、設定値は要求システムでの評価を経て、よく検討されたものが用いられることが望ましい。
削減度合を得たら、画素の下位側を何ビット残すかが決まることになる。ビットを削除する際は、下位側データのLSB側から、指定ビット分を四捨五入して丸めながら削除していく。
たとえば、テーブル内で、ある削減度合に応じてレコードを引き、いま扱っている上位データの輝度レベルから下位ビットの削減後ビット数「３」を得た場合、ここでは下位データのオリジナルの精度は４ビットであるから、４ビットから圧縮後のビット数は３ビットとなる。
LSB側の１ビットを四捨五入して削除することになる。これをブロック内の全ての画素に対して繰り返せば、そのブロックの下位データ側の圧縮後容量を試算することができる。
たとえば、テーブル内で、ある削減度合に応じてレコードを引き、いま扱っている上位データの輝度レベルから下位ビットの削減後ビット数「３」を得た場合、ここでは下位データのオリジナルの精度は４ビットであるから、４ビットから圧縮後のビット数は３ビットとなる。
LSB側の１ビットを四捨五入して削除することになる。これをブロック内の全ての画素に対して繰り返せば、そのブロックの下位データ側の圧縮後容量を試算することができる。
さて、アルゴリズム的に考えると、図１１のフローチャートにもあるように、圧縮後容量の試算は、削減度合の小さい削減案から順次、試算結果が目標に達せられるまで試していくことになる。
しかし、集積回路上の専用回路へのハードウェア実装を考えた場合は、図１０に示すように、削減案すなわちテーブル内のレコード数ごとに、圧縮後容量の試算器を並列に持つことができる。
図１０の例では、この試算器が下位側可変長符号量試算部２１６−１２１６−ｎとして、n個並列に用意されている。これにより、試算を一度行うだけの時間で、全ての削減案の結果を一度に得ることができ、速度性能面で非常に有利となる。
しかし、集積回路上の専用回路へのハードウェア実装を考えた場合は、図１０に示すように、削減案すなわちテーブル内のレコード数ごとに、圧縮後容量の試算器を並列に持つことができる。
図１０の例では、この試算器が下位側可変長符号量試算部２１６−１２１６−ｎとして、n個並列に用意されている。これにより、試算を一度行うだけの時間で、全ての削減案の結果を一度に得ることができ、速度性能面で非常に有利となる。
なお、この処理部分を「試算部」と呼んでいるのも、この専用回路による並列処理を見越してである。ここでは、圧縮後のデータ容量を算出するが、実際の圧縮後データを得る符号化処理は行わない。
実際の符号化処理は、後工程で、削減案が採用されたものに対してのみ行うことができる。こうすることで、試算部にはブロック分の画素の試算結果の加算を行うだけのアキュミュレータ（累積加算結果保存器）だけを並列に備えればよく、並列化による速度向上とともに、回路資源の削減も同時に行うことができる。
本方式では、必ずしもこの試算部の並列化を必須としないが、強く推奨する構成とする。
実際の符号化処理は、後工程で、削減案が採用されたものに対してのみ行うことができる。こうすることで、試算部にはブロック分の画素の試算結果の加算を行うだけのアキュミュレータ（累積加算結果保存器）だけを並列に備えればよく、並列化による速度向上とともに、回路資源の削減も同時に行うことができる。
本方式では、必ずしもこの試算部の並列化を必須としないが、強く推奨する構成とする。
ここまでで、下位側データの圧縮後容量を得ることができた。ちなみに、ここまでで下位側データを参照する必要は一度もない。
次に、上位側データの圧縮後容量試算にとりかかる。
下位側データの符号化試算結果によっては、ある画素について、下位側データのビット全てが削減対象になることもありうる。
その場合、単に下位側データ全てを捨ててしまっては、残された上位側データは四捨五入ではなく、単に下位データを切り捨てて得られた値となってしまい、画像品質に影響を及ぼす。
よって、フローチャートにあるように、もし完全に削減される下位データが発生した場合は、下位側データの最上位ビットを参照して、上位側ビットに四捨五入の繰上げ処理を施すことが推奨される。この丸め処理により得られた上位側ビットが、符号化の対象データとなる（ＳＴ４，ＳＴ５）。
下位側データの符号化試算結果によっては、ある画素について、下位側データのビット全てが削減対象になることもありうる。
その場合、単に下位側データ全てを捨ててしまっては、残された上位側データは四捨五入ではなく、単に下位データを切り捨てて得られた値となってしまい、画像品質に影響を及ぼす。
よって、フローチャートにあるように、もし完全に削減される下位データが発生した場合は、下位側データの最上位ビットを参照して、上位側ビットに四捨五入の繰上げ処理を施すことが推奨される。この丸め処理により得られた上位側ビットが、符号化の対象データとなる（ＳＴ４，ＳＴ５）。
下位側データの参照から丸め処理を施された上位データは、画素間冗長度削減部２１３に送られる。
画素間冗長度削減部２１３においては、周辺の画素データを参照した、画像特有の冗長度削減処理を行う。本方式では、冗長度の削減処理方式、および削減処理後のデータ形式を規定しないが、一例としては、直近隣接画素間の引き算によって冗長度を削減するDPCM方式がある。
画素間冗長度削減部２１３においては、周辺の画素データを参照した、画像特有の冗長度削減処理を行う。本方式では、冗長度の削減処理方式、および削減処理後のデータ形式を規定しないが、一例としては、直近隣接画素間の引き算によって冗長度を削減するDPCM方式がある。
冗長度を削減された後のデータに対し、上位側可変長符号量試算部２１５において、符号化後の容量見積が行われる（ＳＴ８）。
ここでの圧縮方式は、可逆圧縮となる。ここでも、実際の符号化は行わず、可変長符号化後のデータ容量の試算のみを行う。
例として、ハフマン符号化であれば、ハフマンテーブルが与えられれば、実際の符号を作成しなくても、符号化を想定した際の符号長を得ることができる。そうして得た符号長を、各データに対してブロック分加算したものがブロックでの上位側符号化試算結果となる。
ここでも試算器の並列化が有効であり、実際の符号化処理部を持たず、アキュムレータのみを持つことで、試算結果を算出することができる。
ここでの圧縮方式は、可逆圧縮となる。ここでも、実際の符号化は行わず、可変長符号化後のデータ容量の試算のみを行う。
例として、ハフマン符号化であれば、ハフマンテーブルが与えられれば、実際の符号を作成しなくても、符号化を想定した際の符号長を得ることができる。そうして得た符号長を、各データに対してブロック分加算したものがブロックでの上位側符号化試算結果となる。
ここでも試算器の並列化が有効であり、実際の符号化処理部を持たず、アキュムレータのみを持つことで、試算結果を算出することができる。
以上で、上位側、下位側ともに圧縮後符号のデータ容量が試算された。
これらの試算結果を採用圧縮度判定部２１７にて合計する（ＳＴ９）。その合計結果を、当初の目標圧縮率として定めたデータ容量と比較する（ＳＴ１０）。
これらの試算結果を採用圧縮度判定部２１７にて合計する（ＳＴ９）。その合計結果を、当初の目標圧縮率として定めたデータ容量と比較する（ＳＴ１０）。
目標のデータ量よりも、試算結果のデータ量の方が少ない（以下の）場合、すなわち目標を達成できた場合は、その圧縮を試算したときの削減度合を合格として採用する。
目標を達成できなかった場合は、削減度合を一段階増加させ、より圧縮率がよい圧縮案の検討に移る。すなわち、精度の落ちる圧縮案において、もう一度上位・下位の圧縮後容量を試算しなおす。この削減度合を一段階増加させるという操作は、図７のテーブルイメージにおいて、一段階削減度合の大きいレコードを用いることに相当している。
こうして、採用圧縮度判定部２１７において、圧縮率が目標に到達するまで、順次圧縮度合を増加させていき、目標に到達した時点の圧縮度合を合格であるとして採用であると判定する。実際に論理回路として実装する場合は、図１０に示すように、各圧縮案における結果を試算する符号量試算部を並列に用意する。
これによって、採用圧縮度判定部２１７では、各圧縮案の試算結果を同時に得ることができ、一度に圧縮案の採用判定を下すことができる。
目標を達成できなかった場合は、削減度合を一段階増加させ、より圧縮率がよい圧縮案の検討に移る。すなわち、精度の落ちる圧縮案において、もう一度上位・下位の圧縮後容量を試算しなおす。この削減度合を一段階増加させるという操作は、図７のテーブルイメージにおいて、一段階削減度合の大きいレコードを用いることに相当している。
こうして、採用圧縮度判定部２１７において、圧縮率が目標に到達するまで、順次圧縮度合を増加させていき、目標に到達した時点の圧縮度合を合格であるとして採用であると判定する。実際に論理回路として実装する場合は、図１０に示すように、各圧縮案における結果を試算する符号量試算部を並列に用意する。
これによって、採用圧縮度判定部２１７では、各圧縮案の試算結果を同時に得ることができ、一度に圧縮案の採用判定を下すことができる。
最も削減度合いが少ないのは、上位側の可逆圧縮に加え、下位側データも１ビットも削除されない場合であり、この場合は全体として完全な可逆符号化となる。
一方、圧縮度合を定義した範囲で最高まで増加させても、目標の圧縮率に到達しない場合がありうる。この場合は、データの圧縮を諦め、そのままのデータ形式を符号データとみなすことになる。詳しくは後に記述する。
一方、圧縮度合を定義した範囲で最高まで増加させても、目標の圧縮率に到達しない場合がありうる。この場合は、データの圧縮を諦め、そのままのデータ形式を符号データとみなすことになる。詳しくは後に記述する。
採用圧縮度判定部２１７で採用する圧縮案が決定されたら、可変長符号化実行部２１８，１２９においてその案の圧縮度合に従って、実際にデータを圧縮処理して圧縮後符号データを作成する。
上位側データは、可変長符号化によって可逆圧縮を行う。可逆可変長符号化としては、典型的な例としてハフマン符号化が挙げられる（ＳＴ１１）。
下位側データは、図７（Ａ）のテーブルに従ってビット数を各画素ごとに削減していく、不可逆な圧縮を行い、そうして削減されたデータを単純に連結していくことで符号を作成する。この際、単純に削減後データを連結する代わりに、なんらかの圧縮手段を施して符号を作成してもよい（ＳＴ１２）。
上位側データは、可変長符号化によって可逆圧縮を行う。可逆可変長符号化としては、典型的な例としてハフマン符号化が挙げられる（ＳＴ１１）。
下位側データは、図７（Ａ）のテーブルに従ってビット数を各画素ごとに削減していく、不可逆な圧縮を行い、そうして削減されたデータを単純に連結していくことで符号を作成する。この際、単純に削減後データを連結する代わりに、なんらかの圧縮手段を施して符号を作成してもよい（ＳＴ１２）。
さて、通常のデータ圧縮手順は以上であるが、他に採用圧縮度判定部２１７において、どの圧縮案も目標に達しなかった場合の処理がある。
この場合は、上位側のデータをそのままの形で符号上に書き込むことになる。今回の一例では、８ビット分の上位側データがそのまま符号上に書き込まれるが、この際も一画素あたり８ビット相当の圧縮率という条件は満足させられることになる。
こうして書き込まれる上位側データは、単に元データから上位側ビット数分データを切り離したものではなく、下位側データを考慮して、元データをこの場合８ビットに四捨五入して得たものを用いるべきである。
この場合は、上位側のデータをそのままの形で符号上に書き込むことになる。今回の一例では、８ビット分の上位側データがそのまま符号上に書き込まれるが、この際も一画素あたり８ビット相当の圧縮率という条件は満足させられることになる。
こうして書き込まれる上位側データは、単に元データから上位側ビット数分データを切り離したものではなく、下位側データを考慮して、元データをこの場合８ビットに四捨五入して得たものを用いるべきである。
以上、画素データの符号化を終えたら、アライン調整およびヘッダ付加部２２０において、デコードに必要なデータ等をヘッダとして画素データ符号に付加し、最終的な圧縮後符号を完成させる。
圧縮後符号は、符号書き込み先の記録装置（メモリ）や、記録装置に到達するまでのデータバス幅にしたがってアライン調整され、記憶装置に書き込まれることになる。これまでの手順を、ブロックごと、画像一枚分に到達するまで繰り返し実行する（ＳＴ１０〜ＳＴ１９）。
圧縮後符号は、符号書き込み先の記録装置（メモリ）や、記録装置に到達するまでのデータバス幅にしたがってアライン調整され、記憶装置に書き込まれることになる。これまでの手順を、ブロックごと、画像一枚分に到達するまで繰り返し実行する（ＳＴ１０〜ＳＴ１９）。
付加するデータの内容についてであるが、最低限必須となるのは、デコード時に必要な情報である。デコード時に必要な情報は、まず大きく二つに分けられる。一つは、画像データ全体に共通する情報、もう一つは、ブロックごとに特有の情報である。
画像データ全体に共通の情報としては、符号化時に用いたテーブルの情報がある。上位側、下位側を圧縮した各圧縮用テーブルの情報を符号上に記しておかないと、デコード側で展開することができない。
もし、システムにおける使用の都合上、テーブルを固定として使用するのであれば、そのことをエンコード側、デコード側の規約とする代わりに、テーブル情報を符号上に記録する必要はなくなる。
その他、画像データ全体に共通する情報としては、タイムスタンプ等が考えられるが、これらは必須の情報ではなく、システムや場合に応じて付加すればよい。
画像データ全体に共通の情報としては、符号化時に用いたテーブルの情報がある。上位側、下位側を圧縮した各圧縮用テーブルの情報を符号上に記しておかないと、デコード側で展開することができない。
もし、システムにおける使用の都合上、テーブルを固定として使用するのであれば、そのことをエンコード側、デコード側の規約とする代わりに、テーブル情報を符号上に記録する必要はなくなる。
その他、画像データ全体に共通する情報としては、タイムスタンプ等が考えられるが、これらは必須の情報ではなく、システムや場合に応じて付加すればよい。
ブロック毎に特有の情報として、必須のものが二つある。まずは、保存形式として、圧縮したデータが符号化されたか、あるいは圧縮しないそのままのデータが符号化されたかを示すフラグである。二つ目の情報は、もし一つめの情報として圧縮されたデータがブロック内に書き込まれている場合、どの削減度合で圧縮したのかを示す値である。デコード側では、この値を圧縮時のテーブルに示し合わせることによって、下位側データの展開を行うことができる。
最後に、記憶装置に符号化データを書き込む際は、各ブロックごとに決められたアドレス位置から書き込みを行う（図９参照）。各ブロックごとに割り当てられる記憶装置内の領域のサイズは、最も圧縮効率が悪かった場合の符号化データ分、すなわち目標の圧縮後容量分である。
これにより、データ読み出し時において、各ブロック単位での頭出しが可能になり、ブロック単位間隔でのランダムアクセスが可能になる。読み出し側では、目的の画素を含むブロックをその先頭から読み出して展開することで、その画素を得ることができる。
これにより、データ読み出し時において、各ブロック単位での頭出しが可能になり、ブロック単位間隔でのランダムアクセスが可能になる。読み出し側では、目的の画素を含むブロックをその先頭から読み出して展開することで、その画素を得ることができる。
以上説明したように、本実施形態によれば、デジタル信号処理部１５が画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、画像データを上位側ビットと下位側ビットに分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行うことにより、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。
したがって、本実施形態においては、以下の効果を得ることができる。
静止画を保持するための記憶領域を保証された一定量以内に削減できる。
静止画を伝送するためのバス帯域を保証された一定量以内に削減できる。
画像内のアライメントされた任意の部分領域に対して、ランダムアクセス性を保持できる。
画像の最低品質・精度を保証できる。
画素の輝度に応じて精度の削減度合を変化させ、知覚的な画質劣化を抑制できる。
画像の複雑さによって決まる圧縮の難易度により、精度を適応的に可変とすることで、
画像の品質を維持しながら目標圧縮率を達成できる。
少ない回路資源によって、上記内容をリアルタイム処理することができる。
したがって、本実施形態においては、以下の効果を得ることができる。
静止画を保持するための記憶領域を保証された一定量以内に削減できる。
静止画を伝送するためのバス帯域を保証された一定量以内に削減できる。
画像内のアライメントされた任意の部分領域に対して、ランダムアクセス性を保持できる。
画像の最低品質・精度を保証できる。
画素の輝度に応じて精度の削減度合を変化させ、知覚的な画質劣化を抑制できる。
画像の複雑さによって決まる圧縮の難易度により、精度を適応的に可変とすることで、
画像の品質を維持しながら目標圧縮率を達成できる。
少ない回路資源によって、上記内容をリアルタイム処理することができる。
１０・・・カメラシステム、１１・・・光学系、１２・・・イメージセンサ（撮像装置）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・デジタル信号処理部、１６・・・画像圧縮伸長部、１７・・・画像メモリ、１８・・・表示装置インインターフェース（Ｉ／Ｆ）、１９・・・表示装置、２０・・・制御ＣＰＵ、２１・・・操作デバイス、２２・・・ヒューマンインターフェース、２３・・・ストレージインターフェース、２４・・・外部保存用メモリ、２５・・・バス、２００・・・帯域圧縮伸長部、２１１・・・処理単位（ブロック取得部）、２１２・・・画素データ分割部、２１３・・・画素間冗長度削減部、２１４・・・輝度値判定部、２１５・・・上位側試算部、２１６・・・下位側試算部、２１７・・・採用圧縮度判定部、２１８・・・上位側可変長符号化実行部、２１９・・・下位側可変長符号化実行部、２２０・・・アライン調整およびヘッダ付加部。
Claims (16)
- 画像データを圧縮処理する画像信号処理装置であって、
入力画像データを複数のビット精度部分に分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行う信号処理部を有し、
上記信号処理部は、
画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする
画像信号処理装置。 - 上記信号処理部は、画像データを上位側ビットと下位側ビットに分割し、分割した上位側ビットを可逆圧縮方式に従って可逆圧縮する
請求項１記載の画像信号処理装置。 - 上記信号処理部は、入力画像データを所定画素数のブロック単位毎に圧縮する
請求項２記載の画像信号処理装置。 - 上記信号処理部は、目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う
請求項２記載の画像信号処理装置。 - 上記信号処理部は、各ブロック毎に目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う
請求項３記載の画像信号処理装置。 - 上記信号処理部は、画素の持つ下位ビット精度を欠損させる際、画素値の大きさによる判断を行い、高画素値よりも低画素値の下位ビット精度をより欠損させにくくする
請求項１から５のいずれか一に記載の画像信号処理装置。 - 上記信号処理部は、高画素値の画素から段階的にビット精度を落とす処理を行う
請求項６記載の画像信号処理装置。 - 上記信号処理部は、複数の削減案による符号量を試算後、目標に沿うものを採用し、当該削減案に沿った実際の符号化を行う
請求項２から５のいずれか一に記載の画像信号処理装置。 - 上記信号処理部は、すべての削減案の結果が思わしくない場合は、生のまま上記上位ビットデータを保存する
請求項８記載の画像信号処理装置。 - 記憶部をさらに有し、
上記信号処理部は、有限の画素数のブロック単位ごとに圧縮を行い、上記記憶部の当該ブロック単位ごと決められた記録領域に記録する
請求項２から５のいずれか一に記載の画像信号処理装置。 - 被写体の像を撮像し画像データを出力する撮像部と、
画像データに所定の処理を行う画像信号処理装置とを含み、
上記画像信号処理装置は、
入力画像データを複数のビット精度部分に分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行う信号処理部を有し、
上記信号処理部は、
画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする
カメラシステム。 - 上記信号処理部は、画像データを上位側ビットと下位側ビットに分割し、分割した上位側ビットを可逆圧縮方式に従って可逆圧縮する
請求項１１記載のカメラシステム。 - 上記信号処理部は、入力画像データを所定画素数のブロック単位毎に圧縮する
請求項１１記載のカメラシステム。 - 上記信号処理部は、目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う
請求項１２記載のカメラシステム。 - 上記信号処理部は、各ブロック毎に目標圧縮率を達成すべく帯域圧縮処理を行い、可逆圧縮方式による圧縮処理で目標圧縮率を達成する場合は可逆圧縮を行い、可逆圧縮で目標圧縮率を満たさない場合に限り非可逆圧縮方式による圧縮処理を行う
請求項１３記載のカメラシステム。 - 画像データに所定の圧縮処理を行う画像信号処理方法であって、
入力画像データを複数のビット精度部分に分割し、
分割部分毎に所定の圧縮方式を適用して圧縮処理を行い、
画像の複雑さに応じて画素の持つビット精度をブロック毎に適応的に可変とする
画像信号処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005119739A JP4687216B2 (ja) | 2005-04-18 | 2005-04-18 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
| US11/402,853 US7702163B2 (en) | 2005-04-18 | 2006-04-13 | Image signal processing apparatus, camera system and image signal processing method |
| KR20060034105A KR101241971B1 (ko) | 2005-04-18 | 2006-04-14 | 화상 신호 처리장치, 카메라 시스템, 및 화상 신호처리방법 |
| CNB200610088647XA CN100414962C (zh) | 2005-04-18 | 2006-04-18 | 图像信号处理装置,照相机***和图像信号处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005119739A JP4687216B2 (ja) | 2005-04-18 | 2005-04-18 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006303690A JP2006303690A (ja) | 2006-11-02 |
| JP4687216B2 true JP4687216B2 (ja) | 2011-05-25 |
Family
ID=37108531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005119739A Expired - Fee Related JP4687216B2 (ja) | 2005-04-18 | 2005-04-18 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7702163B2 (ja) |
| JP (1) | JP4687216B2 (ja) |
| KR (1) | KR101241971B1 (ja) |
| CN (1) | CN100414962C (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101041635B1 (ko) | 2006-04-19 | 2011-06-15 | 세트레드 에이에스 | 3차원 디스플레이 대역폭 개선을 위한 복합시차지각 방식의디스플레이 장치 및 상기 디스플레이 장치의 동작방법 |
| TWI309948B (en) * | 2006-06-27 | 2009-05-11 | Realtek Semiconductor Corp | Method of generating video driving signal and apparatus thereof |
| JP4689545B2 (ja) * | 2006-07-05 | 2011-05-25 | 富士フイルム株式会社 | データ圧縮装置およびデータ圧縮プログラム |
| JP4795161B2 (ja) * | 2006-08-08 | 2011-10-19 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| KR100864278B1 (ko) * | 2007-06-22 | 2008-10-17 | 매그나칩 반도체 유한회사 | 영상 데이터 처리장치 |
| US8185815B1 (en) * | 2007-06-29 | 2012-05-22 | Ambrosia Software, Inc. | Live preview |
| JP2009014475A (ja) * | 2007-07-04 | 2009-01-22 | Sony Corp | 遠赤外線画像処理装置、遠赤外線撮像装置、遠赤外線画像処理方法および遠赤外線画像処理プログラム |
| GB0716776D0 (en) * | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
| JP2009273035A (ja) * | 2008-05-09 | 2009-11-19 | Toshiba Corp | 画像圧縮装置、画像伸張装置及び画像処理装置 |
| US8005152B2 (en) | 2008-05-21 | 2011-08-23 | Samplify Systems, Inc. | Compression of baseband signals in base transceiver systems |
| JP5238365B2 (ja) * | 2008-06-05 | 2013-07-17 | 富士フイルム株式会社 | 撮像装置 |
| JP2010041193A (ja) * | 2008-08-01 | 2010-02-18 | Seiko Epson Corp | 画像処理コントローラおよび画像処理装置 |
| JP5470819B2 (ja) | 2008-11-28 | 2014-04-16 | 富士通株式会社 | 空間データの出力処理方法、そのプログラム及びデータ処理システム |
| KR101539260B1 (ko) | 2008-12-02 | 2015-07-29 | 삼성전자주식회사 | 선택적 영상정보 무손실 압축, 복원 장치 및 방법 |
| CN101441160B (zh) * | 2008-12-29 | 2011-02-16 | 北京航空航天大学 | 一种适用于原子力显微镜的连续成像自动选区方法 |
| JP5303399B2 (ja) * | 2009-08-18 | 2013-10-02 | 日本放送協会 | 動画像ビット深度削減装置及びプログラム |
| KR101602871B1 (ko) * | 2009-08-25 | 2016-03-11 | 삼성전자주식회사 | 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치 |
| US8782803B2 (en) * | 2010-04-14 | 2014-07-15 | Legitmix, Inc. | System and method of encrypting a derivative work using a cipher created from its source |
| JP5548064B2 (ja) | 2010-08-17 | 2014-07-16 | ルネサスエレクトロニクス株式会社 | 表示システム及び表示デバイスドライバ |
| WO2012026122A1 (ja) * | 2010-08-26 | 2012-03-01 | パナソニック株式会社 | 撮像装置 |
| US8699801B2 (en) * | 2010-11-26 | 2014-04-15 | Agfa Healthcare Inc. | Systems and methods for transmitting high dynamic range images |
| JP5255089B2 (ja) * | 2011-04-14 | 2013-08-07 | 川崎マイクロエレクトロニクス株式会社 | 画像処理装置 |
| JP5956180B2 (ja) | 2012-02-24 | 2016-07-27 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 符号化装置および符号化方法 |
| US9215296B1 (en) | 2012-05-03 | 2015-12-15 | Integrated Device Technology, Inc. | Method and apparatus for efficient radio unit processing in a communication system |
| CN104584526B (zh) * | 2012-08-16 | 2016-04-13 | 富士胶片株式会社 | 图像文件生成装置及显示装置 |
| JP2014143655A (ja) * | 2013-01-25 | 2014-08-07 | Fuji Xerox Co Ltd | 画像符号化装置及び画像復号化装置並びにプログラム |
| US9203933B1 (en) * | 2013-08-28 | 2015-12-01 | Integrated Device Technology, Inc. | Method and apparatus for efficient data compression in a communication system |
| CN104427342A (zh) * | 2013-09-06 | 2015-03-18 | 聚晶半导体股份有限公司 | 视频编码方法及装置 |
| US9553954B1 (en) | 2013-10-01 | 2017-01-24 | Integrated Device Technology, Inc. | Method and apparatus utilizing packet segment compression parameters for compression in a communication system |
| US9485688B1 (en) | 2013-10-09 | 2016-11-01 | Integrated Device Technology, Inc. | Method and apparatus for controlling error and identifying bursts in a data compression system |
| US9398489B1 (en) | 2013-10-09 | 2016-07-19 | Integrated Device Technology | Method and apparatus for context based data compression in a communication system |
| US9313300B2 (en) | 2013-11-07 | 2016-04-12 | Integrated Device Technology, Inc. | Methods and apparatuses for a unified compression framework of baseband signals |
| JP6272689B2 (ja) * | 2013-12-24 | 2018-01-31 | 日本放送協会 | ビット深度分解割当装置、ビット深度結合復元装置、画像符号化装置、画像復号装置、及びこれらのプログラム |
| JP6310747B2 (ja) * | 2014-03-31 | 2018-04-11 | 株式会社メガチップス | データ記憶制御装置およびデータ記憶制御方法 |
| JP6289971B2 (ja) * | 2014-03-31 | 2018-03-07 | 株式会社メガチップス | データ記憶制御装置およびデータ記憶制御方法 |
| US10225569B2 (en) | 2014-03-31 | 2019-03-05 | Megachips Corporation | Data storage control apparatus and data storage control method |
| US9450601B1 (en) * | 2015-04-02 | 2016-09-20 | Microsoft Technology Licensing, Llc | Continuous rounding of differing bit lengths |
| US11942103B2 (en) * | 2018-05-23 | 2024-03-26 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting and receiving an audio signal including a mixed signal simultaneously transmitted by mixing a compressed audio signal and a linear pulse code modulation signal |
| US11593312B2 (en) * | 2019-07-31 | 2023-02-28 | EMC IP Holding Company LLC | File layer to block layer communication for selective data reduction |
| CN110769211A (zh) * | 2019-11-07 | 2020-02-07 | 鲁东大学 | 一种图像栅格数据的传输与存储方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09200532A (ja) * | 1996-01-23 | 1997-07-31 | Ricoh Co Ltd | 多値画像データ伝送装置 |
| JPH09331434A (ja) * | 1996-06-08 | 1997-12-22 | Ricoh Co Ltd | 画像形成装置 |
| JP2000244922A (ja) * | 1998-12-21 | 2000-09-08 | Nikon Corp | 画像データ圧縮方法 |
| JP2001045301A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2003051952A (ja) * | 2001-08-06 | 2003-02-21 | Fuji Xerox Co Ltd | 画像処理装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| KR0139495B1 (ko) * | 1994-07-13 | 1998-06-15 | 김광호 | 비트분할에 의한 화상신호의 부/복호화 방법 및 장치 |
| MX9700385A (es) * | 1994-07-14 | 1998-05-31 | Johnson Grace Company | Metodo y aparato para comprimir imagenes. |
| KR0161382B1 (ko) * | 1994-12-31 | 1999-01-15 | 김광호 | 관심영역이 존재하는 의료영상의 고압축방법 |
| JPH08256341A (ja) * | 1995-03-17 | 1996-10-01 | Sony Corp | 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置 |
| TW358296B (en) * | 1996-11-12 | 1999-05-11 | Matsushita Electric Ind Co Ltd | Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium |
| KR100248190B1 (ko) * | 1997-09-26 | 2000-03-15 | 윤종용 | 영상압축장치 및 방법 |
| JP4092830B2 (ja) * | 1998-12-21 | 2008-05-28 | 株式会社ニコン | 画像データ圧縮方法 |
| US6744929B1 (en) * | 1999-11-18 | 2004-06-01 | Nikon Corporation | Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program |
| US6754279B2 (en) * | 1999-12-20 | 2004-06-22 | Texas Instruments Incorporated | Digital still camera system and method |
| CN1141793C (zh) * | 2000-10-31 | 2004-03-10 | 合邦电子股份有限公司 | 适应性可变压缩比率编译码方法及其装置 |
| JP2002262102A (ja) | 2001-03-05 | 2002-09-13 | Matsushita Electric Ind Co Ltd | 画像符号化装置、画像符号化方法、及びその記憶媒体 |
| US7200561B2 (en) * | 2001-08-23 | 2007-04-03 | Nippon Telegraph And Telephone Corporation | Digital signal coding and decoding methods and apparatuses and programs therefor |
| CN1514649A (zh) * | 2003-08-11 | 2004-07-21 | 深圳市中太多媒体通信有限公司 | 一种用于视频信号压缩的图像前处理方法 |
-
2005
- 2005-04-18 JP JP2005119739A patent/JP4687216B2/ja not_active Expired - Fee Related
-
2006
- 2006-04-13 US US11/402,853 patent/US7702163B2/en not_active Expired - Fee Related
- 2006-04-14 KR KR20060034105A patent/KR101241971B1/ko not_active IP Right Cessation
- 2006-04-18 CN CNB200610088647XA patent/CN100414962C/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09200532A (ja) * | 1996-01-23 | 1997-07-31 | Ricoh Co Ltd | 多値画像データ伝送装置 |
| JPH09331434A (ja) * | 1996-06-08 | 1997-12-22 | Ricoh Co Ltd | 画像形成装置 |
| JP2000244922A (ja) * | 1998-12-21 | 2000-09-08 | Nikon Corp | 画像データ圧縮方法 |
| JP2001045301A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2003051952A (ja) * | 2001-08-06 | 2003-02-21 | Fuji Xerox Co Ltd | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060109836A (ko) | 2006-10-23 |
| KR101241971B1 (ko) | 2013-03-12 |
| US7702163B2 (en) | 2010-04-20 |
| CN1867034A (zh) | 2006-11-22 |
| CN100414962C (zh) | 2008-08-27 |
| JP2006303690A (ja) | 2006-11-02 |
| US20060233446A1 (en) | 2006-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4687216B2 (ja) | 画像信号処理装置、カメラシステム、および画像信号処理方法 | |
| JP4687215B2 (ja) | 画像信号処理装置、カメラシステム、および画像信号処理方法 | |
| JP4337911B2 (ja) | 撮像装置、撮像回路、および撮像方法 | |
| KR101241662B1 (ko) | 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체 | |
| EP2145330B1 (en) | Video camera | |
| JP4508132B2 (ja) | 撮像装置、撮像回路、および撮像方法 | |
| CN103248901B (zh) | 图像处理装置及使用该图像处理装置的电子设备 | |
| CN102812698B (zh) | 摄像装置 | |
| JP2016508700A (ja) | ビデオカメラ | |
| KR100504649B1 (ko) | 화상 데이타 압축장치 | |
| CN107509019A (zh) | 摄像设备、摄像方法及非瞬态计算机可读介质 | |
| JP5811879B2 (ja) | 画像処理装置および画像処理方法 | |
| CN108200429B (zh) | 一种Bayer图像压缩方法及装置 | |
| JP3795932B2 (ja) | 画像データ圧縮符号化方法および装置 | |
| JP2010074597A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| AU2016213747B2 (en) | Video camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110131 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |