JP2012147073A - 画像符号化装置、画像符号化方法、及び撮像システム - Google Patents
画像符号化装置、画像符号化方法、及び撮像システム Download PDFInfo
- Publication number
- JP2012147073A JP2012147073A JP2011001845A JP2011001845A JP2012147073A JP 2012147073 A JP2012147073 A JP 2012147073A JP 2011001845 A JP2011001845 A JP 2011001845A JP 2011001845 A JP2011001845 A JP 2011001845A JP 2012147073 A JP2012147073 A JP 2012147073A
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding target
- reference image
- index
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像符号化の際の消費電力を削減する。
【解決手段】画像符号化装置であって、参照画像を参照して、第1及び第2符号化対象画像についての動きベクトルを、前記第1又は第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記参照画像インデックスに基づいて選択する。
【選択図】図1
【解決手段】画像符号化装置であって、参照画像を参照して、第1及び第2符号化対象画像についての動きベクトルを、前記第1又は第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記参照画像インデックスに基づいて選択する。
【選択図】図1
Description
本開示は、参照画像を参照して動画像の符号化を行う画像符号化技術に関する。
動画像データを符号化する標準技術として、ISO/IEC JTC1のMPEG(moving picture experts group)が策定した、MPEG−4 Part10:Advanced Video Coding(MPEG−4 AVCと略称される)がある。このMPEG−4 AVCでは、参照画像メモリに格納された複数の参照画像を参照し、ブロック単位で適切な参照画像を選択してフレーム間予測を行うことにより、符号化効率が向上し、画像符号化による画質劣化を抑えることができる。
前方向及び後方向への参照を行うBピクチャの場合には、例えば前方向2枚/後方向1枚の参照画像を参照してフレーム間予測が行われる。符号化の際に参照できる参照画像を増やすことにより、符号化対象画像との間の差がより小さい参照画像を選択することができるようになる。その結果、符号化効率や画質を改善することができる。しかし、参照画像は、DRAM(dynamic random-access memory)のような外部メモリに格納されることが多い。参照画像を増やすことにより参照画像を読み出すためのメモリアクセスが増加するので、広帯域なメモリバンド幅を有するメモリを用いる必要がある。
広帯域なメモリバンド幅を確保するためには、例えば32bit以上のデータビット幅を有する複数のDRAMを用いたり、LPDDR2(Low Power Double Data Rate 2)−SDRAM(synchronous dynamic random-access memory)のような高い動作周波数でも動作可能な高性能なDRAMを用いたりする必要がある。いずれの場合も実装コストが高くなったり、消費電力が大きくなったりするので、低コスト化や省電力化が困難である。内部メモリを用いる場合にも、同様の問題がある。特にデジタルビデオカメラやデジタルスチルカメラ等の携帯型撮像機器では、低コスト化・低消費電力化が求められるので、符号化時のメモリアクセスを削減する必要がある。
特許文献1には、複数の動き検出器を有する画像符号化装置が記載されている。各動き検出器は、異なる符号化対象画像についての動きベクトルを、同一の参照画像を参照して検出する。同一の参照画像を参照するので、参照画像メモリへのメモリアクセスを削減することができる。
しかしながら、特許文献1の画像符号化装置は、符号化装置の中でも回路規模が比較的大きな動き検出器を複数有する必要があるので、実装コストが大きい。また、動き検出器を複数有するので、消費電力も大きい。
本発明は、参照画像を読み出すためのメモリアクセスを削減することにより、画像符号化の際の消費電力を削減することを目的とする。
本発明の実施形態による画像符号化装置は、参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記参照画像インデックスを格納するインデックスメモリと、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。
これによると、第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像の数を、参照画像インデックスに基づいて、第1符号化対象画像についての動きベクトルを検出する際より少なくするので、メモリアクセスを削減し、消費電力を削減することができる。
本発明の実施形態による撮像システムは、各画素に入力された光を電気信号である画像信号に変換して出力するイメージセンサと、前記画像信号に対して信号処理を行う画像処理部とを有する。前記画像処理部は、参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記参照画像インデックスを格納するインデックスメモリと、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。
本発明の実施形態による画像符号化方法は、参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを生成し、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。
本発明の実施形態によれば、画像の符号化を行う際に、適切な参照画像を選択して実際に参照される画像の枚数を減らすことができる。参照画像を読み出すためのメモリアクセスを削減することができるので、画像符号化の際の消費電力を削減することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下2桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。
図1は、本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。図1の画像符号化装置100は、符号化対象画像メモリ112と、参照画像メモリ114と、動きベクトル検出部116と、符号化部118と、インデックスメモリ122と、参照画像選択部124と、制御部126とを有する。特に図示しないが、制御部126は、画像符号化装置100の各要素の制御を行う。
図2は、図1の画像符号化装置における処理の例を示すフローチャートである。図3は、インターレース画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。図3には、トップフィールド画像TA,TB,TC,及びTD、並びにこれらの画像にそれぞれ対応するボトムフィールド画像BA,BB,BC,及びBDが示されている。図3では、トップフィールド画像TCから前方に2方向(L0R0及びL0R1)、後方に1方向(L1R0)の参照を行う場合を示している。
図1〜図3を参照して図1の画像符号化装置の動作を説明する。図1の画像符号化装置100に入力される各画像はインターレース画像であり、各画像には複数のブロックが含まれ、各ブロックのサイズは、特に限定されないが例えば8ピクセル×8ピクセルである。トップフィールド画像TAとボトムフィールド画像BAとは、同一のフレーム画像に含まれる。トップフィールド画像TBとボトムフィールド画像BBとは、同一のフレーム画像に含まれる。トップフィールド画像TCとボトムフィールド画像BCとは、同一のフレーム画像に含まれる。トップフィールド画像TDとボトムフィールド画像BDとは、同一のフレーム画像に含まれる。いま、トップフィールド画像TCが符号化対象画像であり、画像TCに含まれる複数のブロックの1つが符号化対象ブロックであるとする。
S12では、符号化対象画像メモリ112には符号化対象画像PAとして符号化対象ブロックが入力され、符号化対象画像メモリ112は、入力されたブロックを格納する。S14では、参照画像メモリ114には参照画像として画像TB,TD,及びBBが入力され、参照画像メモリ114はこれらの画像を格納する。
S16では、動きベクトル検出部116は、参照画像メモリ114に格納された参照画像を参照して、符号対象画像メモリ112に格納された符号化対象ブロックの動きベクトルを検出し、動きベクトルを検出する際に参照された参照画像と符号化対象画像との間の関係を示す参照画像インデックスを生成する。動きベクトル検出部116は、検出された動きベクトルと、生成された参照画像インデックスとを出力する。動きベクトル検出の方法としては、例えば、符号化対象ブロックに類似した部分を参照画像から見つけるブロックマッチングが用いられる。
参照画像インデックスは、例えば参照方向を示す値であり、図3では、符号化対象画像であるトップフィールド画像TCから見て、1つ前の同じフィールド(トップフィールド)の画像、1つ前の異なるフィールド(ボトムフィールド)の画像、1つ後の同じフィールド(トップフィールド)の画像に対応する参照画像インデックス(それぞれ、L0R0、L0R1及びL1R0)を示している。また、S16では、符号化部118は、符号化対象画像メモリ112に格納された符号化対象画像と、参照画像メモリ114に格納された参照画像と、動きベクトル検出部116で検出された動きベクトルと、動きベクトル検出の際に参照された参照画像を示す参照画像インデックスとを用いて、例えばMPEG−4 AVCに準拠した符号化処理を行い、得られた符号化結果PDを画像符号化装置100の外部に出力する。
S18では、動きベクトル検出部116は、インデックスメモリ122に参照画像インデックスをブロック毎に格納させる。S20では、動きベクトル検出部116は、処理中の符号化対象画像についての動きベクトル検出処理が終了したか否かを判定する。終了している場合にはS22に進み、終了していない場合にはS12に戻り、次のブロックについての処理が行われる。このように、動きベクトル検出部は、符号化対象画像についての動きベクトルを、符号化対象画像に含まれる複数のブロックのそれぞれに対して検出する。
S22では、参照画像選択部124は、インデックスメモリ122にブロック毎に格納された参照画像インデックスを読み出し、符号化対象画像であるトップフィールド画像TCについての動きベクトルを検出する際に参照された参照画像に対応する参照画像インデックスの頻度を、参照画像インデックスの種類毎に求める。言い換えると、参照画像選択部124は、参照画像インデックスの個数を参照方向毎に分類してカウントする。ここで、例えば参照画像インデックスL0R0の個数が最も大きいという結果が得られたとする。この場合、参照画像選択部124は、参照画像インデックスL0R0を選択する。
次に符号化されるべき符号化対象画像は、ボトムフィールド画像BCである。参照画像選択部124は、トップフィールド画像TCについての動きベクトルを検出する際に参照された参照画像の数より少ない数の参照画像を、ボトムフィールド画像BCについての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ122に格納された参照画像インデックスに基づいて選択する。
具体的には、参照画像選択部124は、選択された参照画像インデックスL0R0に対応する参照画像(ここではボトムフィールド画像BB)を選択する。参照画像選択部124は、この画像を動きベクトル検出部116に出力するように、制御部126を介して符号化対象画像メモリ112と参照画像メモリ114とを制御する。符号化対象画像メモリ112及び参照画像メモリ114は、制御部126の制御に従って、符号化対象画像及び参照画像を動きベクトル検出部116に出力する。このように、ボトムフィールド画像BCの動きベクトル検出処理においては、参照画像インデックスL0R0に従って、ボトムフィールドの画像BBが参照画像として用いられる。他の参照方向にある画像TB及びBDは参照されない。
S24では、制御部126は、符号化すべき画像の符号化が全て終了したか否かを判定する。終了している場合には図2のフローを終了し、終了していない場合にはS12に戻り、ボトムフィールド画像BC等を符号化対象画像として、同様の処理が行われる。以下、同様に、参照画像インデックスに基づいて、参照画像が選択され、次の符号化対象画像の符号化処理が行われる。
自然画像などの通常の画像が入力される場合には、1枚のフレーム画像に含まれるトップフィールド画像とボトムフィールド画像とにおいて、適切な参照方向は同じであると考えられる。例えば、静止している領域が多い画像では、垂直方向のずれがない同じフィールドの画像を参照することが、トップフィールド画像においても、ボトムフィールド画像においても適切であると考えられる。また、カメラの向きを変えながらの撮影(パン)のように画像全体が動いているような場合には、時間的に近い異なるフィールドを参照することが、トップフィールド画像においても、ボトムフィールド画像においても適切であると考えられる。
このように、トップフィールド画像の符号化において頻度が最も高い参照画像インデックスが、ボトムフィールド画像の符号化において最も適切な参照画像インデックスであることが多いと言える。このため、ボトムフィールド画像の符号化の際に参照画像の枚数を削減しても、削減による画質劣化や符号量の増加は小さい。ボトムフィールド画像の符号化の際に参照される画像の数を減らすことができるので、参照画像メモリ114へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。
ボトムフィールド画像の符号化の際に参照画像を1枚選択する例を挙げたが、これには限られない。参照画像選択部124は、トップフィールド画像についての動きベクトルを検出する際に参照された参照画像の数(図3では3枚)より少ない数(例えば2枚)の参照画像を、ボトムフィールド画像についての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ122に格納された参照画像インデックスに基づいて選択してもよい。この場合には、例えば、参照画像選択部124は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。
ここでは、説明のためにトップフィールド画像の符号化で得られた参照画像インデックスに基づいて、ボトムフィールド画像の参照画像を選択する例を挙げたが、これには限られない。例えば、ボトムフィールド画像の符号化で得られた参照画像インデックスに基づいて、トップフィールド画像の参照画像を選択してもよい。
参照画像選択部124が、参照画像インデックスの頻度に基づいて参照画像を選択する方法について説明したが、これは限られず、参照画像インデックスと、動きベクトル検出の信頼度とに基づいて参照画像の選択を行ってもよい。この場合、動きベクトル検出部116は、動きベクトル検出の信頼度も参照画像インデックスとともにインデックスメモリ122に格納しておく。
例えば、動きベクトル検出処理の際に使用される動きベクトルのコストを信頼度に対応する値として使用してもよい。コストが小さいほど信頼度は大きいと考えることができる。参照画像選択部124は、参照画像インデックスの種類毎に、信頼度が所定値より大きい頻度、すなわち、コストが所定値より小さい頻度を、符号化対象画像について求める。言い換えると、参照画像選択部124は、参照画像インデックスの種類毎に、コストが所定値より小さいブロックの数を求める。参照画像選択部124は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。
つまり、参照画像選択部124は、求められたブロックの数が最も多い参照画像インデックスが示す参照画像から順に、所定の数の参照画像を選択する。動きベクトルのコストが所定値以上の場合は、適切な動きベクトル検出ができていない可能性があり、そのようなブロックの参照画像インデックスは信頼度が低い。このため、コストが所定値より小さいブロックの参照画像インデックスの個数を求める。
このように、参照画像インデックスと信頼度とに基づいて選択を行うことにより、信頼度の低い参照画像インデックスの影響を減らすことができ、より適切な参照画像の選択を行うことができる。
信頼度が所定値より大きいブロックの参照画像インデックスを利用して参照画像を選択する方法について説明したが、これには限られない。例えば、参照画像選択部124は、信頼度に対応する重みの和を、参照画像インデックスの種類毎に求め、求められた和が大きい順に参照画像インデックスの種類を選択してもよい。参照画像選択部124は、選択された参照画像インデックスの種類に対応する参照画像を選択する。このように信頼度による重み付けをすると、より適切な参照画像を選択することができる。
インターレース画像を符号化する場合について説明したが、図1の画像符号化装置100がステレオ画像を符号化する場合に、ほぼ同様に参照画像の選択を行ってもよい。図4は、ステレオ画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。図4には、主カメラの画像MA,MB,MC,及びMD、並びにこれらの画像にそれぞれ対応する従カメラの画像SA,SB,SC,及びSDが示されている。主カメラと従カメラとは、ステレオ画像を撮像する。図4では、画像MCから前方に2方向(L0R0及びL0R1)、後方に1方向(L1R0)の参照を行う場合を示している。
主カメラの画像MA〜MDは、例えば左目用の画像、従カメラの画像SA〜SDは、例えば右目用の画像である。主カメラの画像MAと従カメラの画像SAとは、一組のステレオ画像である。主カメラの画像MBと従カメラの画像SBとは、一組のステレオ画像である。主カメラの画像MCと従カメラの画像SCとは、一組のステレオ画像である。主カメラの画像MDと従カメラの画像SDとは、一組のステレオ画像である。
図1、図2、及び図4を参照して図1の画像符号化装置の動作を説明する。図1の画像符号化装置100に入力される各画像はプログレッシブ画像であり、各画像には複数のブロックが含まれ、各ブロックのサイズは、特に限定されないが例えば8ピクセル×8ピクセルである。いま、画像MCが符号化対象画像であり、画像MCの1つのブロックが符号化対象ブロックであるとする。
S12では、符号化対象画像メモリ112には符号化対象画像PAとして符号化対象ブロックが入力され、符号化対象画像メモリ112は、入力されたブロックを格納する。S14では、参照画像メモリ114には参照画像として画像MB,MD,及びMAが入力され、参照画像メモリ114は入力された画像MB,MD,及びMAを格納する。
参照画像インデックスは、例えば参照方向を示す値であり、図4では、符号化対象画像から見て、1つ前の主カメラ画像、2つ前の主カメラ画像、1つ後の主カメラ画像の参照画像インデックス(それぞれ、L0R0、L0R1及びL1R0)を示している。S16,S18,S20,S22,S24における処理は、図3を参照して説明した処理とほぼ同様であるので、その説明を省略する。
S22において、例えば参照画像インデックスL0R0の個数が最も大きいという結果が得られたとする。参照画像選択部124は、参照画像インデックスL0R0を選択し、選択された参照画像インデックスL0R0に対応する参照画像(ここでは従カメラの画像SB)を選択する。このように、次の符号化対象画像である従カメラの画像SCの動きベクトル検出処理においては、参照画像インデックスL0R0に従って、従カメラの画像SBが参照画像として用いられる。他の参照方向にある画像SA及びSDは参照されない。
一組のステレオ画像に含まれる主カメラの画像と従カメラの画像とにおいては、ほぼ同じ被写体が含まれるので、適切な参照方向は同じであると考えられる。これは、トップフィールド画像とボトムフィールド画像との間の関係と同様である。言い換えると、主カメラの画像の符号化において頻度が最も高い参照画像インデックスが、従カメラの画像の符号化において最も適切な参照画像インデックスであることが多いと考えられる。このため、従カメラの画像の符号化の際に参照画像の枚数を削減しても、削減による画質劣化や符号量の増加は小さい。従カメラの画像の符号化の際に参照される画像の数を減らすことができるので、参照画像メモリ114へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。
従カメラの画像の符号化の際に参照画像を1枚選択する例を挙げたが、これには限られない。参照画像選択部124は、主カメラの画像についての動きベクトルを検出する際に参照された参照画像の数より少ない数の参照画像を、従カメラの画像についての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ122に格納された参照画像インデックスに基づいて選択してもよい。この場合には、例えば、参照画像選択部124は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。
ここでは、主カメラの画像の符号化で得られた参照画像インデックスに基づいて、従カメラの画像の参照画像を選択する例を挙げたが、これには限られない。例えば、従カメラの画像の符号化で得られた参照画像インデックスに基づいて、主カメラの画像の参照画像を選択してもよい。
ステレオ画像の処理に関しては、図1の画像符号化装置100に入力される各画像はプログレッシブ画像であるとして説明したが、インターレース画像であってもよい。図3を参照して説明したインターレース画像の符号化の場合と同様に、参照画像インデックスと、動きベクトル検出の信頼度とに基づいて参照画像の選択を行ってもよい。
図5は、本発明の実施形態に係る画像符号化装置の他の構成例を示すブロック図である。図5の画像符号化装置200は、制御部126に代えて制御部226を有し、符号化対象画像メモリ112及び参照画像メモリ114を有しない点の他は、図1の画像符号化装置100とほぼ同様に構成されている。
外部メモリ202には、符号化対象画像PT及び参照画像PRが格納される。動きベクトル検出部116は、符号対象画像メモリ112及び参照画像メモリ114からではなく、外部メモリ202から符号化対象画像PT及び参照画像PRを読み出す。制御部226は、選択された参照画像インデックス(例えばL0R0)に対応する参照画像を動きベクトル検出部116に出力するように、外部メモリ202を制御する。このような点以外は、図5の画像符号化装置200は、図1の画像符号化装置100とほぼ同様に動作する。特に図示しないが、制御部226は、画像符号化装置200の各構成要素の制御を行う。
図5の画像符号化装置200によると、外部メモリ202を用いる場合においても、外部メモリ202へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。
図6は、図1の画像符号化装置100を有する撮像システムの構成例を示すブロック図である。図6の撮像システムは、例えばデジタルカメラやテレビ会議システム用カメラであって、カメラ部340と、画像処理部350と、記録/転送部362と、再生部364と、システム制御部366と、タイミング制御部368とを有する。カメラ部340は、レンズ等の光学系342と、イメージセンサ344と、A/D変換回路346とを有する。画像処理部350は、図1の画像符号化装置100を有する。
光学系342は、入射光を通過させ、イメージセンサ344上に結像させる。イメージセンサ344は、その各画素に入力された光を電気信号である画像信号に光電変換し、A/D変換回路346に出力する。A/D変換回路346は、イメージセンサ344からの出力信号をデジタル画像信号に変換し、画像処理部350に出力する。画像処理部350は、デジタル画像信号に対して信号処理を行い、処理後の信号を記録/転送部362に出力する。信号処理には、Y/C処理、エッジ処理、画像の拡大縮小、及びJPEG(joint photographic experts group)やMPEG等の画像圧縮/伸張処理等の画像処理や、画像圧縮されたストリームの制御等が含まれる。画像処理部350内の画像符号化装置100は、例えば、前述のようにMPEG−4 AVCに準拠した符号化処理を行う。
記録/転送部362は、画像処理部350で処理後の映像信号に対して、メディアへの記録又はインターネット等を介した伝送を行う。再生部364は、記録又は転送された信号を再生する。イメージセンサ344及び画像処理部350はタイミング制御部368によって制御され、光学系342、記録/転送部362、再生部364及びタイミング制御部368は、システム制御部366によって制御される。
このように、図1の画像符号化装置100を撮像システムに用いて、消費電力の削減を図るようにしてもよい。画像符号化装置100に代えて図5の画像符号化装置200を用いてもよい。
図1及び図5の画像符号化装置100及び200は、典型的にはIC(integrated circuit)として実現される。それぞれは、1チップ化されていてもよいし、複数のチップに跨っていてもよい。
本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、IC(integrated circuit)の一部として半導体基板上に形成され得る。図1及び図5の画像符号化装置100及び200のそれぞれは、1チップ化されていてもよいし、複数のチップに跨っていてもよい。ここでICは、LSI(large-scale integrated circuit)、システムLSI、スーパーLSI(SLSI)、ウルトラLSI(ULSI)、ASIC(application-specific integrated circuit)、ゲートアレイ、FPGA(field programmable gate array)、内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ及びプロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。
更には、半導体技術の進歩又は派生する別技術によりICに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えばバイオ技術の適用等が可能性としてあり得る。
本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
以上説明したように、本発明の実施形態によれば、消費電力の削減を図ることができるので、本発明は、画像符号化装置及び撮像システム等について有用である。
100,200 画像符号化装置
112 符号化対象画像メモリ
114 参照画像メモリ
116 動きベクトル検出部
118 符号化部
122 インデックスメモリ
124 参照画像選択部
342 光学系
344 イメージセンサ
350 画像処理部
112 符号化対象画像メモリ
114 参照画像メモリ
116 動きベクトル検出部
118 符号化部
122 インデックスメモリ
124 参照画像選択部
342 光学系
344 イメージセンサ
350 画像処理部
Claims (12)
- 参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、
前記参照画像インデックスを格納するインデックスメモリと、
前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを備え、
前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記第1符号化対象画像は、既に符号化された符号化対象画像であり、
前記第2符号化対象画像は、次に符号化されるべき符号化対象画像である
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記第1符号化対象画像及び第2符号化対象画像は、同一のフレーム画像に含まれる異なるフィールドの画像である
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記第1符号化対象画像は、主カメラによって撮像された画像であり、
前記第2符号化対象画像は、従カメラによって撮像された画像である
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記参照画像選択部は、前記参照画像インデックスの種類毎に頻度を求め、前記参照画像インデックスの種類を前記頻度が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記参照画像選択部は、前記動きベクトル検出の信頼度にも基づいて、前記参照画像を選択する
画像符号化装置。 - 請求項6に記載の画像符号化装置において、
前記信頼度は、前記信頼度に対応する前記動きベクトルのコストである
画像符号化装置。 - 請求項6に記載の画像符号化装置において、
前記参照画像選択部は、前記参照画像インデックスの種類毎に、前記信頼度が所定値より大きい頻度を求め、前記参照画像インデックスの種類を前記頻度が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
画像符号化装置。 - 請求項6に記載の画像符号化装置において、
前記参照画像選択部は、前記信頼度に対応する重みの和を、前記参照画像インデックスの種類毎に求め、前記参照画像インデックスの種類を前記和が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
画像符号化装置。 - 請求項1に記載の画像符号化装置において、
前記符号化対象画像を格納する符号化対象画像メモリと、
前記参照画像を格納する参照画像メモリとを更に備える
画像符号化装置。 - 各画素に入力された光を電気信号である画像信号に変換して出力するイメージセンサと、
前記画像信号に対して信号処理を行う画像処理部とを備え、
前記画像処理部は、
参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、
前記参照画像インデックスを格納するインデックスメモリと、
前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有し、
前記参照画像選択部は、前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
撮像システム。 - 参照画像を参照して、第1符号化対象画像及び第2符号化対象画像についての動きベクトルを、前記第1符号化対象画像又は前記第2符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第1符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第1符号化対象画像との間の関係を示す参照画像インデックスを生成し、
前記第1符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第2符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001845A JP2012147073A (ja) | 2011-01-07 | 2011-01-07 | 画像符号化装置、画像符号化方法、及び撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001845A JP2012147073A (ja) | 2011-01-07 | 2011-01-07 | 画像符号化装置、画像符号化方法、及び撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012147073A true JP2012147073A (ja) | 2012-08-02 |
Family
ID=46790238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011001845A Withdrawn JP2012147073A (ja) | 2011-01-07 | 2011-01-07 | 画像符号化装置、画像符号化方法、及び撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012147073A (ja) |
-
2011
- 2011-01-07 JP JP2011001845A patent/JP2012147073A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9628718B2 (en) | Image sensor alignment in a multi-camera system accelerator architecture | |
KR102498725B1 (ko) | 화상 부호화 장치, 화상 부호화 방법 및 기록 매체 | |
JP5340172B2 (ja) | 画像符号化装置及び画像符号化方法 | |
US20070165716A1 (en) | Signal processing device, image capturing device, network camera system and video system | |
US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
US20140028870A1 (en) | Concurrent image processing for generating an output image | |
US11399191B2 (en) | Adaptive frame resolution for compression matching | |
JP5156704B2 (ja) | 画像符号化装置、画像符号化方法、集積回路及びカメラ | |
EP3306925B1 (en) | Image processing device and image processing method | |
JP5450643B2 (ja) | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 | |
JPWO2017060951A1 (ja) | 画像圧縮装置、画像復号装置、および画像処理方法 | |
US8254451B2 (en) | Image coding apparatus, image coding method, image coding integrated circuit, and camera | |
CN112369024A (zh) | 图像处理装置、图像处理方法和程序 | |
US20130258053A1 (en) | Three-dimensional video encoding apparatus, three-dimensional video capturing apparatus, and three-dimensional video encoding method | |
US20160373744A1 (en) | Image processing apparatus and image processing method | |
US9743079B2 (en) | Image processing apparatus and image processing method for the collective transfer of prediction parameters between storage units | |
WO2011074189A1 (ja) | 画像符号化方法及び画像符号化装置 | |
US8897368B2 (en) | Image coding device, image coding method, image coding integrated circuit and image coding program | |
JP2012147073A (ja) | 画像符号化装置、画像符号化方法、及び撮像システム | |
US9438909B2 (en) | Moving image encoding method and moving image encoding device | |
US20120194643A1 (en) | Video coding device and video coding method | |
JP2009232004A (ja) | 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法 | |
US20190141341A1 (en) | Image processing apparatus and image processing method | |
JP2010246005A (ja) | 画像処理装置、およびそれを搭載した撮像装置 | |
JP2011124822A (ja) | 半導体集積回路、符号化方法及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140401 |