JP5833961B2 - 画像圧縮装置、画像処理システム、及び画像圧縮方法 - Google Patents

画像圧縮装置、画像処理システム、及び画像圧縮方法 Download PDF

Info

Publication number
JP5833961B2
JP5833961B2 JP2012068124A JP2012068124A JP5833961B2 JP 5833961 B2 JP5833961 B2 JP 5833961B2 JP 2012068124 A JP2012068124 A JP 2012068124A JP 2012068124 A JP2012068124 A JP 2012068124A JP 5833961 B2 JP5833961 B2 JP 5833961B2
Authority
JP
Japan
Prior art keywords
pixel
encoding
unit
image data
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012068124A
Other languages
English (en)
Other versions
JP2013201562A (ja
Inventor
西 圭 里 中
西 圭 里 中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012068124A priority Critical patent/JP5833961B2/ja
Priority to US13/770,848 priority patent/US8953878B2/en
Publication of JP2013201562A publication Critical patent/JP2013201562A/ja
Application granted granted Critical
Publication of JP5833961B2 publication Critical patent/JP5833961B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明の実施形態は、画像圧縮装置、画像処理システム、及び画像圧縮方法に関する。
従来、画像の符号化方法としては、予測画素を計算し、計算により得られた予測画素を量子化し、量子化により得られた量子化データを符号化する方法が知られている。予測画素の計算方法としては、ＳＭＩＡ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）で、ベイヤーパターンに従って配列されたＲＧＢデータに対して、色成分毎に、水平方向に近接する複数の参照画素を用いる方法が知られている。ベイヤーパターンでは、色成分が、水平方向に１画素間隔で配列されている。即ち、予測画素は、予測の対象となる原画素と、原画素から水平方向に２画素分離れた参照画素と、を用いて計算される。
しかしながら、原画素と予測画素との間の差分値は、参照画素と予測対象画素の距離に応じて、大きくなる。また、差分値が大きくなるほど、量子化誤差も大きくなる。即ち、従来の符号化方法の量子化誤差は、２画素分の距離に相当する。
一般に、量子化誤差が大きくなるほど、符号化における信号雑音比（以下「ＳＮ比」という）が低下する。ＳＮ比の低下は、符号化データを復号して得られる復号データ（即ち、画像データ）を再生したときの画質に悪影響を及ぼす。
また、ベイヤーパターンでは、水平方向については、画素間の感度差はないが、垂直方向については、画素間の感度差がある。従って、垂直方向の間隔が１画素以下であったとしても、垂直方向に最も近い位置の元画素に基づいて予測画素を計算すると、符号化処理の際にＳＮ比が低下する。
特開２００５−１９１９３９号公報
本発明が解決しようとする課題は、符号化処理の際のＳＮ比の低下を防ぐことである。
本発明の実施形態の画像圧縮装置は、画像データ制御部と、第１符号化部と、第２符号
化部と、第３符号化部と、符号化データ生成部と、を備える。画像データ制御部は、ベイ
ヤーパターンに従って配列された、少なくとも３種類の色成分を有する画像データから、
前記画像データの第１ライン及び第２ライン上に含まれる第１色成分に対応する第１画素
と、前記第１ライン上に含まれる第２色成分に対応する第２画素と、前記第２ライン上に
含まれる第３色成分に対応する第３画素と、を抽出する。第１符号化部は、前記画像デー
タにおいて、符号化すべきターゲット第１画素に対してカラム方向に最近接する参照第１
画素を参照して、前記ターゲット第１画素を符号化することにより、第１符号化画素を生
成する。第２符号化部は、前記画像データにおいて、符号化すべきターゲット第２画素に
対してライン方向に最近接する参照第２画素を参照して、前記ターゲット第２画素を符号
化することにより、第２符号化画素を生成する。第３符号化部は、前記画像データにおい
て、符号化すべきターゲット第３画素に対してライン方向に最近接する参照第３画素を参
照して、前記ターゲット第３画素を符号化することにより、第３符号化画素を生成する。
符号化データ生成部は、前記第１符号化画素と、前記第２符号化画素と、前記第３符号化
画素と、を合成することにより、符号化データを生成する。さらに画像データ制御部は、
前記第１ライン及び前記第２ライン上に含まれる前記第１画素乃至第３画素を２ライン
１カラム毎に前記第１符号化部乃至第３符号化部へ供給する。
本実施形態の画像処理システム１のブロック図。 本実施形態の画像データの概略図。 第１実施形態の画像圧縮装置１０のブロック図。 第１実施形態の第１符号化部１４のブロック図。 第１実施形態の画像処理システム１のブロック図。 第１実施形態のメモリ制御部１２２及びラインメモリ１２４の動作の説明図。 第１実施形態のＤＰＣＭ１４１及びＩＤＰＣＭ１４２の動作の説明図。 第２実施形態の画像処理システム１のブロック図。 第２実施形態の並べ替え部１２６の動作の説明図。 第３実施形態の画像圧縮装置１０のブロック図。 第３実施形態の符号量制御部１３のブロック図。
本実施形態について、図面を参照して説明する。はじめに、本実施形態の画像処理システム１の構成について説明する。図１は、本実施形態の画像処理システム１のブロック図である。画像処理システム１は、画像圧縮装置１０と、イメージセンサ２０と、を備える。イメージセンサ２０は、画像データ（例えば、ＲＧＢデータ）を生成するモジュール（例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ）である。画像圧縮装置１０は、イメージセンサ２０が生成した画像データを圧縮する。
本実施形態の画像データについて説明する。図２は、本実施形態の画像データの概略図である。図２は、ライン方向（Ｈ方向）に１０カラム（Ｃ０〜Ｃ９）、且つ、カラム方向（Ｖ方向）に１０ライン（Ｌ０〜Ｌ９）のマトリクスに、ベイヤーパターンに従って配列された１００画素を示している。画像データは、３種類の色成分（第１〜第３色成分）に対応する画素（第１画素Ｇ、第２画素Ｒ、及び第３画素Ｂ）を含む。例えば、画像データは、Ｂａｙｅｒ ＲＡＷデータである。
第１画素Ｇは、全ラインＬｎ｛ｎ：０〜９｝及び全カラムＣｍ｛ｍ：０〜９｝上に現れる画素である。第１画素Ｇは、Ｈ方向及びＶ方向に、１画素間隔で配列されている。即ち、Ｈ方向及びＶ方向において第１画素Ｇ（Ｌｎ，Ｃｍ）に近接する第１画素は、Ｈ方向及びＶ方向に１画素分離れた第１画素Ｇ（Ｌ（ｎ＋１），Ｃ（ｍ＋１））である。例えば、Ｈ方向及びＶ方向において第１画素Ｇ（Ｌ０，Ｃ０）に近接する第１画素は、第１画素Ｇ（Ｌ１，Ｃ１）である。
第２画素Ｒは、偶数ラインＬ（２ｊ）｛ｊ：０〜４｝及び奇数カラムＣ（２ｉ＋１）｛ｉ：０〜４｝上に現れる画素である。第２画素Ｒは、Ｈ方向及びＶ方向に、１画素間隔で配列されている。即ち、Ｈ方向及びＶ方向において第２画素Ｒ（Ｌ（２ｊ），Ｃ（２ｉ＋１））に近接する第２画素は、Ｈ方向に２画素分離れた第２画素Ｒ（Ｌ（２ｊ），Ｃ（２ｉ＋３））及びＶ方向に２画素分離れた第２画素Ｒ（Ｌ（２ｊ＋２），Ｃ（２ｉ＋１））である。例えば、Ｈ方向及びＶ方向において第２画素Ｒ（Ｌ０，Ｃ１）に近接する第２画素は、第２画素Ｒ（Ｌ０，Ｃ３）及びＲ（Ｌ２，Ｃ１）である。
第３画素Ｂは、奇数ラインＬ（２ｊ＋１）及び偶数カラムＣ（２ｉ）上に現れる画素である。第３画素Ｂは、Ｈ方向及びＶ方向に、１画素間隔で配列されている。即ち、Ｈ方向及びＶ方向において第３画素Ｂ（Ｌ（２ｊ＋１），Ｃ（２ｉ））に近接する第３画素は、Ｈ方向に２画素分離れた第３画素Ｂ（Ｌ（２ｊ＋１），Ｃ（２ｉ＋２））及びＶ方向に２画素分離れた第３画素Ｂ（Ｌ（２ｊ＋３），Ｃ（２ｉ））である。例えば、Ｈ方向及びＶ方向において第３画素Ｂ（Ｌ１，Ｃ０）に近接する第３画素は、第３画素Ｂ（Ｌ１，Ｃ２）及びＢ（Ｌ３，Ｃ０）である。
（第１実施形態）
第１実施形態は、ラインメモリを用いて量子化誤差を低減する、画像圧縮装置１０の例である。図３は、第１実施形態の画像圧縮装置１０のブロック図である。画像圧縮装置１０は、画像データ制御部１２と、第１〜第３符号化部１４〜１６と、符号化データ生成部１８と、を備える。
画像データ制御部１２は、第１〜第３符号化部１４〜１６へ供給すべきデータを制御する。具体的には、画像データ制御部１２は、イメージセンサ２０から画像データを取得し、当該画像データから、第１画素Ｇと、第２画素Ｒと、第３画素Ｂと、を抽出し、第１画素Ｇを第１符号化部１４へ供給し、第２画素Ｒを第２符号化部１５へ供給し、第３画素Ｂを第３符号化部１６へ供給する。
第１符号化部１４は、全ライン（即ち、偶数ライン及び奇数ライン）上に含まれる画素に対して、符号化処理を適用する。具体的には、第１符号化部１４は、画像データのライン方向及びカラム方向において、符号化すべき第１画素（以下「ターゲット第１画素」という）Ｇに最も近い第１画素（以下「参照第１画素」という）Ｇ´を参照して、ターゲット第１画素Ｇを符号化することにより、第１符号化画素を生成する。
第２符号化部１５は、偶数ライン上に含まれる画素に対して、符号化処理を適用する。具体的には、第２符号化部１５は、画像データのライン方向において、符号化すべき第２画素（以下「ターゲット第２画素」という）Ｒに最も近い第２画素（以下「参照第２画素」という）Ｒ´を参照して、ターゲット第２画素Ｒを符号化することにより、第２符号化画素を生成する。
第３符号化部１６は、奇数ライン上に含まれる画素に対して、符号化処理を適用する。具体的には、第３符号化部１６は、画像データのライン方向において、符号化すべき第３画素（以下「ターゲット第３画素」という）Ｂに最も近い第３画素（以下「参照第３画素」という）Ｂ´を参照して、ターゲット第３画素Ｂを符号化することにより、第３符号化画素を生成する。
符号化データ生成部１８は、符号化データを生成する。具体的には、符号化データ生成部１８は、第１〜第３符号化画素を合成することにより、符号化データを生成する。符号化データは、画像処理システム１の外部に接続されたモジュール（例えば、外部メモリ及びデコーダ）に供給される。
第１実施形態の第１〜第３符号化部１４〜１６の構成について説明する。図４は、第１実施形態の第１符号化部１４のブロック図である。なお、第２及び第３符号化部１５及び１６の構成は、第１符号化部１４と同様である。
第１符号化部１４は、差分パルス符号変調部（以下「ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｒ）」という）１４１と、量子化部１４２と、可変長符号化部１４３と、逆量子化部１４４と、逆差分パルス符号変調部（以下「ＩＤＰＣＭ（Ｉｎｖｅｒｓｅ ＤＰＣＭ）」という）１４５と、を備える。
ＤＰＣＭ１４１は、有効信号Ｖに応じて、ＩＤＰＣＭ１４５からフィードバックされるフィードバック画素と、第１画素Ｇと、に対してパルス符号変調処理を適用することにより、フィードバック画素と第１画素Ｇとの差分値を示す第１差分信号を生成する。量子化部１４２は、ＤＰＣＭ１４１により生成された第１差分信号を量子化することにより、第１量子化信号を生成する。可変長符号化部１４３は、第１量子化信号に対して可変長符号化処理を適用することにより、第１符号化画素を生成する。逆量子化部１４４は、第１量子化信号を逆量子化することにより、第１差分信号を生成する。ＩＤＰＣＭ１４５は、逆量子化部１４４により生成された第１差分信号に対して逆パルス符号変調処理を適用することにより、フィードバック画素を生成する。
第１実施形態の画像処理システム１の構成について説明する。図５は、第１実施形態の画像処理システム１のブロック図である。イメージセンサ２０は、センサコア２１と、第１及び第２リードコントローラ２２，２４と、タイミングジェネレータ２６と、アナログデジタル変換器（以下「ＡＤＣ（Ａｎａｌｏｇｕｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ」という）２８と、を備える。画像データ制御部１２は、メモリ制御部１２２と、ラインメモリ１２４と、を備える。
センサコア２１は、レンズ（図示せず）を介して入力された光を、電気信号に変換する。センサコア２１は、ライン方向（Ｈ方向）及びカラム方向（Ｖ方向）に配列された複数の撮像素子を備える。センサコア２１の出力（電気信号）は、画像を表す信号である。
タイミングジェネレータ２６は、タイミング制御信号ＴＣを生成する。タイミング制御信号ＴＣは、第１及び第２リードコントローラ２２，２４、並びにメモリ制御部１２２の動作タイミングを制御する。
第１リードコントローラ２２は、１又は複数のライン毎に、読み出しラインを指定する第１制御信号を生成する。第２リードコントローラ２４は、１又は複数のカラム毎に、Ｈ方向の読み出し画素位置を指定する第２制御信号を生成し、第１制御信号が指定する読み出しラインに基づいて、読み出し画素位置を特定し、センサコア２１が変換した電気信号を読み出す。例えば、第１及び第２リードコントローラ２２，２４は、シフトレジスタを備える。
ＡＤＣ２８は、第２リードコントローラ２４により読み出された電気信号を、デジタル信号（図２の画像データ）に変換する。デジタル信号の数は、第２リードコントローラ２４により読み出されるカラムの数に応じて決まる。例えば、第２リードコントローラ２４が２カラム毎に電気信号を読み出す場合には、デジタル信号は、第１及び第２デジタル信号Ｄ１，Ｄ２である。
ラインメモリ１２４は、ＡＤＣ２８の出力（画像データ）をライン単位で記憶する。メモリ制御部１２２は、ラインメモリ１２４への画像データの書き込みと、ラインメモリ１２４からの画像データの読み出しと、第１〜第３符号化部１４〜１６の動作と、を制御する。例えば、ラインメモリ制御部１２２は、第１順に従って、複数ライン（例えば、４ライン）の画像データをラインメモリ１２４へ書き込み、第２順（即ち、第１順とは異なる順）に従って、ラインメモリ１２４から画像データを読み出し、読み出した画像データＧ，Ｒ，Ｂと、第１〜第３符号化制御信号Ｖ１〜Ｖ３と、を第１〜第３符号化部１４〜１６へ供給する。
メモリ制御部１２２及びラインメモリ１２４の動作例について説明する。図６は、第１実施形態のメモリ制御部１２２及びラインメモリ１２４の動作の説明図である。図６では、破線が読み出し動作を示し、実線が書き込み動作を示し、「Ｇ００」等が図２の第１画素Ｇ（Ｌ０，Ｃ０）等に対応し、「Ｒ０１」等が図２の第２画素Ｒ（Ｌ０，Ｃ１）等に対応し、「Ｂ１０」等が図２の第３画素Ｂ（Ｌ１，Ｃ０）等に対応する。
書き込み動作では、第１順に従って、１ライン２カラム毎に、２画素が書き込まれる。例えば、第１画素Ｇ２０及び第２画素Ｒ２１が書き込まれた後は、第１画素Ｇ２２及び第２画素Ｒ２３が書き込まれる。
読み出し動作では、第２順に従って、２ライン１カラム毎に、２画素が読み出される。例えば、第１画素Ｇ００及び第３画素Ｂ１０が読み出された後は、第２画素Ｒ０１及び第１画素Ｇ１１が読み出される。即ち、メモリ制御部１２２は、２ラインの奇数カラム上に含まれる第１及び３画素Ｇ，Ｂのセットと、２ラインの偶数カラム上に含まれる第１及び第２画素Ｇ，Ｒのセットと、を順次ラインメモリ１２２から読み出す。
即ち、メモリ制御部１２２は、第１画素Ｇ（例えば、Ｇ００）を第１符号化部１４へ供給した後に、カラム方向において当該第１画素（即ち、ターゲット第１画素）Ｇに近接する第１画素（即ち、参照第１画素）Ｇ（例えば、Ｇ１１）を、第１符号化部１４へ供給する。また、メモリ制御部１２２は、第２画素Ｒ（例えば、Ｒ０１）を第２符号化部１５へ供給した後に、ライン方向において当該第２画素（即ち、ターゲット第２画素）Ｒに近接する第２画素（即ち、参照第２画素）Ｒ（例えば、Ｒ０３）を、第２符号化部１５へ供給する。また、メモリ制御部１２２は、第３画素Ｂ（例えば、Ｂ１０）を第３符号化部１６へ供給した後に、ライン方向において当該第３画素（即ち、ターゲット第３画素）Ｂに近接する第３画素（即ち、参照第３画素）Ｂ（例えば、Ｂ１２）を、第３符号化部１６へ供給する。
第１実施形態のＤＰＣＭ１４１及びＩＤＰＣＭ１４２の動作について説明する。図７は、第１実施形態のＤＰＣＭ１４１及びＩＤＰＣＭ１４２の動作の説明図である。図７では、Ｇ００が図２の第１画素Ｇ（Ｌ０，Ｃ０）に対応し、Ｒ０１が図２の第２画素Ｒ（Ｌ０，Ｃ１）に対応し、Ｂ１０が図２の第３画素Ｂ（Ｌ１，Ｃ０）に対応する。
図７（Ａ）は、第１画素Ｇ１１について差分信号を生成するときのフィードバック画素が第１画素Ｇ００であり、第１画素Ｇ０２について差分信号を生成するときのフィードバック画素が第１画素Ｇ１１であることを示している。
第１符号化部１４において、ＤＰＣＭ１４１が第１画素Ｇ０２について差分信号を生成するときに、ＩＤＰＣＭ１４５は、ＨＶ空間において最も近接する第１画素Ｇ１１をフィードバック画素として、ＤＰＣＭ１４１へ供給する。次いで、ＤＰＣＭ１４１は、第１画素Ｇ１１，Ｇ０２との差分値を示す差分信号を生成する。
図７（Ｂ）は、第２画素Ｒ０３について差分信号を生成するときのフィードバック画素が第２画素Ｒ０１であり、第３画素Ｂ１２について差分信号を生成するときのフィードバック画素が第３画素Ｂ１０であることを示している。
第２符号化部１５において、ＤＰＣＭ１４１が第２画素Ｒ０３について差分信号を生成するときに、ＩＤＰＣＭ１４５は、Ｈ方向に近接する（即ち、Ｈ方向に２画素分離れた）第２画素Ｒ０１をフィードバック画素として、ＤＰＣＭ１４１へ供給する。次いで、ＤＰＣＭ１４１は、第２画素Ｒ０３，Ｒ０１との差分値を示す差分信号を生成する。
第３符号化部１６において、ＤＰＣＭ１４１が第３画素Ｂ１２について差分信号を生成するときに、ＩＤＰＣＭ１４５は、Ｈ方向に近接する（即ち、Ｈ方向に２画素分離れた）第３画素Ｂ１０をフィードバック画素として、ＤＰＣＭ１４１へ供給する。次いで、ＤＰＣＭ１４１は、第３画素Ｂ１２，Ｂ１０との差分値を示す差分信号を生成する。
換言すると、第２及び第３符号化部１５，１６は、符号化の対象となるターゲット画素について差分信号を生成するときに、Ｈ方向の距離を考慮して参照画素を選択する。一方、第１符号化部１４は、Ｈ方向及びＶ方向の両方の距離（即ち、直線距離）を考慮して、参照画素を選択する。
第１実施形態によれば、量子化誤差を低減することができ、ひいては、符号化の際のＳＮ比の低下を防ぐことができる。
（第２実施形態）
第２実施形態は、ラインメモリの代わりに、並び替え部を用いて、量子化誤差を低減する、画像圧縮システム１の例である。なお、第１実施形態と同様の説明は省略する。第２実施形態の画像処理システム１の構成について説明する。図８は、第２実施形態の画像処理システム１のブロック図である。タイミングジェネレータ２６は、クロック信号、水平同期信号、及び垂直同期信号を生成する。ＡＤＣ２８は、第２リードコントローラ２４ではなく、第１リードコントローラ２２により読み出された電気信号を、デジタル信号である画像データ（図２）に変換する。画像データ制御部１２は、第１実施形態のメモリ制御部１２２及びラインメモリ１２４ではなく、並べ替え部１２６を備える。
第２実施形態の並べ替え部１２６の動作について説明する。図９は、第２実施形態の並べ替え部１２６の動作の説明図である。図９では、「Ｇ００」、「Ｒ０１」、及び「Ｂ１０」等は図６と同様であり、「ｃｌｋ」はクロック信号であり、「Ｈｓｙｎｃ」は水平同期信号であり、「Ｖｓｙｎｃ」は垂直同期信号であり、「Ｄ１」、「Ｄ２」、「ＴＣ」、「Ｇ」、「Ｒ」、「Ｂ」、及び「Ｖ１」〜「Ｖ３」は、図８と同様である。
第１デジタル信号Ｄ１は、初期サイクルｔ０から所定サイクル経過後のサイクルｔ１から、第１画素Ｇ００、第２画素Ｒ０１、第１画素Ｇ０２の順（即ち、Ｈ方向）に、偶数ライン上の画素が配列された信号である。第２デジタル信号Ｄ２は、サイクルｔ１から、第３画素Ｂ１０、第１画素Ｇ１１、第３画素Ｂ１２の順（即ち、Ｈ方向）に、奇数ライン上の画素が配列された信号である。タイミング制御信号ＴＣは、サイクルｔ１から、１サイクル毎に、ハイとロウとが交互に切り替わる。
第１画素Ｇは、「Ｇ００」、「Ｇ１１」、「Ｇ０２」の順に（即ち、偶数ライン上の第１画素Ｇと奇数ライン上の第１画素Ｇとが交互に切り替わるように）、第１符号化部１４に供給される。第１有効信号Ｖ１の信号レベルは、サイクルｔ１から、常にハイ（即ち、第１符号化部１４を有効化する信号）である。第１画素Ｇは、第１有効信号Ｖ１がハイのときに、第１符号化部１４へ供給される。即ち、第１画素Ｇは、サイクルｔ１から、毎サイクル連続して供給される。
第２画素Ｒは、「Ｒ０１」、「Ｒ０３」、「Ｒ０５」の順に（即ち、偶数ライン上の第２画素Ｒが連続するように）、第２符号化部１５に供給される。第２有効信号Ｖ２の信号レベルは、サイクルｔ１から１サイクル経過後のサイクルｔ２から、１サイクル毎に、ハイ（即ち、第２符号化部１５を有効化する信号）とロウとが交互に切り替わる。第２画素Ｒは、第２有効信号Ｖ２がハイのときに、第２符号化部１５へ供給される。即ち、第２画素Ｒは、サイクルｔ２から、２サイクル毎に供給される。
第３画素Ｂは、「Ｂ１０」、「Ｂ１２」、「Ｂ１４」の順に（即ち、奇数ライン上の第３画素Ｂが連続するように）、第２符号化部１５に供給される。第３有効信号Ｖ３の信号レベルは、サイクルｔ１から、１サイクル毎に、ハイ（即ち、第３符号化部１６を有効化する信号）とロウとが交互に切り替わる。第３画素Ｂは、第３有効信号Ｖ３がハイのときに、第３符号化部１６へ供給される。即ち、第３画素Ｂは、サイクルｔ１から、２サイクル毎に供給される。
第２実施形態によれば、第１実施形態と比べて、画像データ制御部１２のサイズを低減することができる。
（第３実施形態）
第３実施形態は、第１又は第２実施形態と同様の機能に加えて、符号量を制御する、画像圧縮装置１０の例である。なお、第１又は第２実施形態と同様の説明は省略する。図１０は、第３実施形態の画像圧縮装置１０のブロック図である。画像圧縮装置１０は、第１実施形態と同様の構成（画像データ制御部１２、第１〜第３符号化部１４〜１６、及び符号化データ生成部１８）に加えて、符号量制御部１３を備える。
符号量制御部１３は、符号量制御信号を生成する。符号量制御信号は、第１〜第３符号化部１４〜１６の符号量（例えば、量子化係数）を制御する。具体的には、符号量制御部１３は、画像データ制御部１２から画像データ（第１画素Ｇ、第２画素Ｒ、及び第３画素Ｂ）を取得し、当該画像データに基づいて符号量制御信号を生成し、当該画像データ及び当該符号量制御信号を、第１〜第３符号化部１４〜１６へ供給する。第１〜第３符号化部１４〜１６はそれぞれ、符号量制御信号に基づいて、ターゲット第１画素〜ターゲット第３画素を符号化する。
第３実施形態の符号量制御部１３の構成について説明する。図１１は、第３実施形態の符号量制御部１３のブロック図である。符号量制御部１３は、第１〜第３サンプル生成部１３１〜１３３と、バッファ１３６と、レジスタ１３７と、符号量選択部１３８と、を備える。
第１〜第３サンプル部１３１〜１３３は、それぞれ、第１〜第３画素Ｇ，Ｒ，Ｂに対して、複数の符号量を用いた符号化処理を適用することにより、第１〜第３サンプルデータを生成する。第１〜第３サンプルデータとは、それぞれ、符号量毎の第１〜第３画素Ｇ，Ｒ，Ｂの符号化データの集合である。
レジスタ１３７は、サンプルデータと最適符号量との関係を示すマッチングテーブルを記憶する。マッチングテーブルは、固定情報であっても良いし、可変情報（例えば、符号量制御部１３の外部から更新可能な情報）であっても良い。
符号量選択部１３８は、第１〜第３サンプル部１３１〜１３３により生成された第１〜第３サンプルデータとレジスタ１３７に記憶されたマッチングテーブルとを用いて、第１〜第３符号化部１４〜１６の第１〜第３最適符号量を選択し、第１〜第３最適符号量を示す第１〜第３符号量制御信号を、第１〜第３符号化部１４〜１６へ供給する。
バッファ１３６は、第１〜第３画素Ｇ，Ｒ，Ｂが符号量選択部１３８に供給されてから、第１〜第３符号量制御信号が生成されるまでの間、第１〜第３画素Ｇ，Ｒ，Ｂを記憶する。バッファ１３６に記憶された第１〜第３画素Ｇ，Ｒ，Ｂは、第１〜第３符号量制御信号とともに、出力される。
第３実施形態によれば、第１又は第２実施形態と比べて、符号化データの符号量を最適値にすることができる。
なお、本実施形態では、画像データが、３種類の色成分に対応する画素を含む例について説明したが、画像データは、４種類以上の画素を含んでも良い。即ち、本実施形態の画像データは、少なくとも３種類の色成分に対応する画素を含むものである。
本実施形態に係る画像処理システム１の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像処理システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。
また、本実施形態に係る画像処理システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１ 画像処理システム
１０ 画像圧縮装置
１２ 画像データ制御部
１２２ メモリ制御部
１２４ ラインメモリ
１２６ 並び替え部
１３ 符号量制御部
１３１ 第１サンプル生成部
１３２ 第２サンプル生成部
１３３ 第３サンプル生成部
１３６ バッファ
１３７ レジスタ
１３８ 符号量選択部
１４ 第１符号化部
１４１ ＤＰＣＭ
１４２ 量子化部
１４３ 可変長符号化部
１４４ 逆量子化部
１４５ ＩＤＰＣＭ
１５ 第２符号化部
１６ 第３符号化部
１８ 符号化データ生成部
２０ イメージセンサ
２１ センサコア
２２ 第１リードコントローラ
２４ 第２リードコントローラ
２６ タイミングジェネレータ
２８ ＡＤＣ

Claims (6)

  1. ベイヤーパターンに従って配列された、少なくとも３種類の色成分を有する画像データ
    から、前記画像データの第１ライン及び第２ライン上に含まれる第１色成分に対応する第
    １画素と、前記第１ライン上に含まれる第２色成分に対応する第２画素と、前記第２ライ
    ンに含まれる第３色成分に対応する第３画素と、を抽出する画像データ制御部と、
    前記画像データにおいて、符号化すべきターゲット第１画素に対してカラム方向に最近
    接する参照第１画素を参照して、前記ターゲット第１画素を符号化することにより、第１
    符号化画素を生成する第１符号化部と、
    前記画像データにおいて、符号化すべきターゲット第２画素に対してライン方向に最近
    接する参照第２画素を参照して、前記ターゲット第２画素を符号化することにより、第２
    符号化画素を生成する第２符号化部と、
    前記画像データにおいて、符号化すべきターゲット第３画素に対してライン方向に最近
    接する参照第３画素を参照して、前記ターゲット第３画素を符号化することにより、第３
    符号化画素を生成する第３符号化部と、
    前記第１符号化画素と、前記第２符号化画素と、前記第３符号化画素と、を合成するこ
    とにより、符号化データを生成する符号化データ生成部と、を備え、
    前記画像データ制御部は、
    前記第１ライン及び前記第２ライン上に含まれる前記第１画素乃至第３画素を２ライン
    １カラム毎に前記第１符号化部乃至第３符号化部へ供給することを特徴とする画像圧縮装
    置。
  2. 前記画像データ制御部は、
    前記画像データをライン単位で記憶するラインメモリと、
    前記ラインメモリに記憶された前記画像データを、前記第１符号化部乃至第３符号化部
    へ供給するメモリ制御部と、を備える、請求項１に記載の画像圧縮装置。
  3. 前記メモリ制御部は、前記第１画素及び前記第３画素のセットと、前記第１画素及び前
    記第２画素のセットと、を前記ラインメモリから読み出す、請求項１又は２に記載の画像
    圧縮装置。
  4. 前記第１画素が、毎サイクル連続して前記第１符号化部へ供給され、前記第２画素が、
    ２サイクル毎に前記第２符号化部へ供給され、前記第３画素が、２サイクル前に、且つ、
    前記第２画素が供給されないサイクルに、前記第３符号化部へ供給されるように、前記画
    像データの配列を並べ替える並べ替え部を備える、請求項１乃至３の何れかに記載の画像
    圧縮装置。
  5. 前記第１画素と、前記第２画素と、前記第３画素と、に基づいて、前記第１符号化部、
    前記第２符号化部、及び前記第３符号化部の符号量を制御する、符号量制御部をさらに備
    える、請求項１乃至４の何れかに記載の画像圧縮装置。
  6. 前記符号量制御部は、
    前記第１画素に対して複数の符号量を用いた符号化処理を適用することにより、第１サ
    ンプルデータを生成する第１サンプル生成部と、
    前記第２画素に対して複数の符号量を用いた符号化処理を適用することにより、第２サ
    ンプルデータを生成する第２サンプル生成部と、
    前記第３画素に対して複数の符号量を用いた符号化処理を適用することにより、第３サ
    ンプルデータを生成する第３サンプル生成部と、
    前記第１サンプルデータ、前記第２サンプルデータ、及び前記第３サンプルデータに基
    づいて、最適符号量を選択し、前記最適符号量を、前記第１符号化部と、前記第２符号化
    部と、前記第３符号化部とへ供給する、符号量選択部と、を備える、請求項５に記載の画
    像圧縮装置。
JP2012068124A 2012-03-23 2012-03-23 画像圧縮装置、画像処理システム、及び画像圧縮方法 Expired - Fee Related JP5833961B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012068124A JP5833961B2 (ja) 2012-03-23 2012-03-23 画像圧縮装置、画像処理システム、及び画像圧縮方法
US13/770,848 US8953878B2 (en) 2012-03-23 2013-02-19 Image compressor, image processing system, and method for compressing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012068124A JP5833961B2 (ja) 2012-03-23 2012-03-23 画像圧縮装置、画像処理システム、及び画像圧縮方法

Publications (2)

Publication Number Publication Date
JP2013201562A JP2013201562A (ja) 2013-10-03
JP5833961B2 true JP5833961B2 (ja) 2015-12-16

Family

ID=49211860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012068124A Expired - Fee Related JP5833961B2 (ja) 2012-03-23 2012-03-23 画像圧縮装置、画像処理システム、及び画像圧縮方法

Country Status (2)

Country Link
US (1) US8953878B2 (ja)
JP (1) JP5833961B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016526A1 (en) * 2015-07-30 2017-02-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image compression
KR20210097448A (ko) * 2020-01-30 2021-08-09 삼성전자주식회사 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2523953B2 (ja) * 1990-07-02 1996-08-14 松下電器産業株式会社 符号化装置
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
JP2000354193A (ja) * 1999-06-11 2000-12-19 Sony Corp カメラシステムおよび映像信号処理方法
JP2002171531A (ja) * 2000-12-01 2002-06-14 Biitekku:Kk 単板カラーカメラの画素信号処理方法
US6970608B1 (en) * 2001-12-30 2005-11-29 Cognex Technology And Investment Corporation Method for obtaining high-resolution performance from a single-chip color image sensor
JP2003224868A (ja) 2002-01-29 2003-08-08 Nikon Corp 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、および画像伸張プログラム
BRPI0308148A2 (pt) 2002-04-05 2016-06-21 Koninkl Philips Electronics Nv métodos e aparelhos para codificar n sinais de entrada e para decodificar dados codificados representativos de n sinais, formato de sinal, e, portador de gravação
JP4458236B2 (ja) * 2003-09-30 2010-04-28 パナソニック株式会社 固体撮像装置
JP4470485B2 (ja) 2003-12-25 2010-06-02 株式会社ニコン 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP4892869B2 (ja) * 2005-05-25 2012-03-07 株式会社ニコン 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US8306362B2 (en) * 2005-07-20 2012-11-06 Omnivision Technologies, Inc. Selective pixel binning and averaging based on scene illuminant
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP2011015347A (ja) * 2009-07-06 2011-01-20 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5640371B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5167385B2 (ja) * 2011-06-16 2013-03-21 ペンタックスリコーイメージング株式会社 デジタルカメラ

Also Published As

Publication number Publication date
JP2013201562A (ja) 2013-10-03
US8953878B2 (en) 2015-02-10
US20130251255A1 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP6560367B2 (ja) バーチャルリアリティビデオの任意ビュー角度及びラインバッファ低減のための部分デコーディング
JP4782181B2 (ja) エントロピー復号化回路、エントロピー復号化方法、およびパイプライン方式を利用したエントロピー復号化方法
WO2004019607A1 (ja) 画像処理装置と画像処理システム及び画像処理方法
JP2014519221A5 (ja)
US10051276B2 (en) Image encoding apparatus, method and imaging apparatus
JP5520122B2 (ja) データ変換装置
WO2009084223A1 (ja) 画像記録装置および画像再生装置
KR100793286B1 (ko) 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법
US7844123B2 (en) Orthogonal transformation apparatus and imaging system
WO2016152510A1 (ja) イメージセンサ、処理方法、及び、電子機器
JP5833961B2 (ja) 画像圧縮装置、画像処理システム、及び画像圧縮方法
JP2017192078A (ja) 画像符号化装置及びその制御方法
JP2004274724A (ja) 高解像度画像を再構成する方法および装置
JP2007158550A (ja) 画像処理装置及び画像処理方法
JP5393331B2 (ja) 撮像装置
JP2008187694A (ja) 画像符号化装置およびその方法
JP6465571B2 (ja) 撮像装置、撮像装置の制御方法
JP4952685B2 (ja) 映像信号符号化装置
JP6221820B2 (ja) 符号化装置、符号化方法および符号化プログラム
JP2013543664A (ja) 広色域動画を取り込むための方法およびシステム
JP2009164909A (ja) 画像記録装置および画像再生装置
JP2005045527A (ja) 静止画像の圧縮方法および映像信号の圧縮方法
JP2019110405A (ja) 画像符号化装置及びその制御方法及びプログラム
JP2013126182A (ja) 撮像装置及び画像処理方法
JP2010276686A (ja) 画像制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150522

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151030

LAPS Cancellation because of no payment of annual fees