JP5156704B2 - 画像符号化装置、画像符号化方法、集積回路及びカメラ - Google Patents

画像符号化装置、画像符号化方法、集積回路及びカメラ Download PDF

Info

Publication number
JP5156704B2
JP5156704B2 JP2009173752A JP2009173752A JP5156704B2 JP 5156704 B2 JP5156704 B2 JP 5156704B2 JP 2009173752 A JP2009173752 A JP 2009173752A JP 2009173752 A JP2009173752 A JP 2009173752A JP 5156704 B2 JP5156704 B2 JP 5156704B2
Authority
JP
Japan
Prior art keywords
image
encoding
encoding target
weighted prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009173752A
Other languages
English (en)
Other versions
JP2010057166A (ja
Inventor
悠樹 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009173752A priority Critical patent/JP5156704B2/ja
Priority to US12/510,827 priority patent/US8514935B2/en
Publication of JP2010057166A publication Critical patent/JP2010057166A/ja
Application granted granted Critical
Publication of JP5156704B2 publication Critical patent/JP5156704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像を圧縮符号化して光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディアに記録する画像符号化装置及び画像符号化方法に関するものであり、特に、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４圧縮符号化方式により圧縮符号化を行う画像符号化装置、画像符号化方法、画像符号化集積回路、及びカメラに関する。
デジタル映像技術の発展と共に、データ量の増大に対応してデジタル映像データを圧縮符号化する技術が発展しつつある。その発展は、映像データの特性を生かし、映像データに特化した圧縮符号化技術となって現れている。
また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮符号化技術における複雑な演算も可能となり、映像データの圧縮率は大幅に高まりつつある。具体的には、衛星及び地上波デジタルハイビジョン放送で採用されている圧縮符号化技術は、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）と呼ばれる圧縮符号化方式である。例えば、衛星デジタルハイビジョン放送においてはＭＰＥＧ２によって映像データを約１／３０に圧縮している。
ＭＰＥＧ２に続いて規格化された映像圧縮符号化方式の１つであるＭＰＥＧ４ ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４と記載する）は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。Ｈ．２６４は、光ディスクの１つの規格であるＢｌｕ−ｒａｙ、及び、ハイビジョン映像をビデオカメラで記録するための規格であるＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の動画圧縮符号化方式としても採用されており、幅広い分野での利用が期待されている。
しかし、Ｈ．２６４は、非特許文献１に開示されているように、多くの圧縮符号化技術を実装し、それらを組み合わせることで高い圧縮率を実現しているため、演算量もＭＰＥＧ２と比べて大幅に増加している。
一般に、動画像の圧縮符号化においては、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行っている。具体的には、時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出（動きベクトル検出）及び予測画像の生成（動き補償）を行い、生成した予測画像と符号化対象ピクチャとの差分値を符号化する。
また、動画像を圧縮するための圧縮符号化技術の１つに重み付け予測がある。この重み付け予測を行う動き補償では、参照ピクチャの画素値“ｐｒｅｄ”に重み付け値“ｗ”を乗じ、オフセット値“ｏ”を加算することで、予測画素値“ｐ”は、“ｗ×ｐｒｅｄ＋ｏ”となる。一方、重み付け予測を行わない動き補償では、予測画素値“ｐ”は、参照ピクチャの画素値“ｐｒｅｄ”となる。
このように、重み付け予測では、重み付け値“ｗ”とオフセット値“ｏ”とを用いることにより、画像の明るさを予測することができる。つまり、画像の明るさの変化を予測し、予測した明るさの変化に基づいて、重み付け値“ｗ”とオフセット値“ｏ”とを決定することで、精度の高い予測画像を生成することができる。このため、フェードをしている映像やフラッシュの多いライブ映像などの符号化効率を上げることが可能である。
なお、この重み付け予測には、ＩｍｐｌｉｃｉｔモードとＥｘｐｌｉｃｉｔモードの２つのモードがある。Ｉｍｐｌｉｃｉｔモードを用いる動き補償を選択した場合は、前述の重み付け値“ｗ”及びオフセット値“ｏ”は、規格で決められた算出方法により求められる。Ｅｘｐｌｉｃｉｔモードを用いる動き補償を選択した場合は、圧縮符号化を行うエンコーダは、前述の重み付け値“ｗ”及びオフセット値“ｏ”を符号化ストリームのストリームヘッダに記載して符号化するため、規格で許容された値の範囲内で重み付け値“ｗ”及びオフセット値“ｏ”を指定することが可能である。
例えば、特許文献１には、符号化対象動画像がフェードをしている動画像であるか否かを判定して、重み付け予測を行うか否かを決定する技術が記載されている。具体的には、画像の輝度値の変化を検出することで、符号化対象動画像がフェードをしている動画像であるか否かを判定する。
これにより、重み付け予測の適用及び非適用を切り替えることができるので、より効果的に符号化効率を上げることができる。
特開２００７−３０６６１９号公報
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４
しかしながら、上記特許文献１に記載の技術では、画質及び符号化効率を低下させてしまう場合が存在するという課題がある。具体的には、以下の通りである。
特許文献１に記載の技術では、輝度値の変化を検出することで、符号化対象動画像がフェードをしている動画像であるか否かを判定している。しかしながら、フェードをしている動画像には輝度値の変化が生じるが、輝度値が変化している動画像が必ずしもフェードをしているとは限らない。
また、重み付け予測は、フェードをしている場合など輝度値が全体的に変化している場合には、符号化効率の向上に寄与するが、他の場合には、画質及び符号化効率を低下させてしまう恐れがある。したがって、特許文献１に記載の技術のように、輝度値の変化を検出するだけでは不十分であり、画質及び符号化効率を低下させてしまう場合が存在する。
なお、重み付け予測を行わない動き補償と重み付け予測を行う動き補償との２種類の動き補償の方式を備え、マクロブロック毎に２種類の動き補償の両方を行うことで、符号化効率が良かった方の動き補償の方式を選択して符号化を行うという常識的な方法が考えられる。しかしながら、この方法においては、符号化に必要な処理量が増加するため、回路規模及び消費電力が増加するといった課題が発生する。
そこで、本発明はかかる課題を解決するためになされたものであり、画像圧縮符号化処理における演算量の削減、高速化及び低消費電力化を図りつつ、画質及び符号化効率を向上させることができる画像符号化装置及び画像符号化方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像符号化装置は、符号化対象画像を含む動画像データを圧縮符号化する画像符号化装置であって、参照画像を蓄積する蓄積部と、前記蓄積部に蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成する予測画像生成部と、前記予測画像生成部によって生成された予測画像と前記符号化対象画像との差分を符号化する符号化部と、前記符号化対象画像が、前記動画像データのうち所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部とを備え、前記予測画像生成部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する。
これにより、符号化対象画像が所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定し、判定結果に基づいて重み付け予測を行うか行わないかを選択することができるので、画質及び符号化効率を高めることができる。また、重み付け予測を行わない動き補償と重み付け予測を行う動き補償との２種類の動き補償の両方を行う場合に比べて、必要な演算量を削減することができる。また、動きの有無を判定するので、輝度値の変化を検出する場合に比べて、予測の精度をより高めることができ、符号化効率を高めることができる。
また、前記判定部は、前記符号化対象画像を撮像したときの撮像装置の動作を示す撮像情報を取得し、取得した撮像情報に基づいて、前記符号化対象画像が前記ピクチャ群に含まれる画像であるか否かを判定してもよい。
これにより、撮像装置の動作に基づいて動きの有無を判定することができるので、予測の精度をより高めることができ、符号化効率を高めることができる。
また、前記撮像情報は、前記撮像装置がズーム、パン又はチルトしている状態であるか否かを示し、前記判定部は、取得した撮像情報が、ズーム、パン又はチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定してもよい。
これにより、撮像装置がズーム、パン又はチルト中に撮像された画像を、重み付け予測を用いずに符号化するので、符号化効率を高めることができる。なぜなら、重み付け予測は、フェードしている映像やフラッシュの多い映像など輝度値が画面全体で変動する場合に用いられるのが好ましく、逆に、動きの多い画像に用いるのは符号化効率の低下を招き、好ましくないためである。
また、前記撮像情報は、さらに、前記撮像装置が絞りを変化させている状態であるか否かを示し、前記判定部は、取得した撮像情報が、絞りを変化させている状態でないことを示す場合に、又は、絞りを変化させている状態であり、かつ、ズーム、パン若しくはチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定してもよい。
これにより、絞りの変化も利用することで、演算量を低減することができる。
また、前記画像符号化装置は、さらに、前記符号化対象画像が参照する１つ以上の参照画像毎に、前記オフセット値を所定の値に設定するパラメータ設定部を備え、前記動画像データは、インターレース方式の動画像データであり、前記パラメータ設定部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記符号化対象画像と逆パリティの関係にある参照画像の前記オフセット値を０に設定し、前記予測画像生成部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記パラメータ設定部によって設定されたオフセット値と前記参照画像とを加算することで、前記予測画像を生成してもよい。
これにより、動画像データがインターレース方式の画像データである場合において、符号化対象画像が動きのある画像であると判定した場合であっても、参照画像が逆パリティである場合にオフセット値“ｏ”を０に設定することで、重み付け予測を行わないようにすることができる。これにより、より精度良く符号化対象画像が動きのある画像であるか否かを判定することができ、画質及び符号化効率を高めることができる。
また、前記判定部は、前記符号化対象画像と過去の符号化対象画像とに基づいて算出される特徴量が所定の閾値以上である場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定し、前記特徴量が前記閾値より小さい場合に、前記符号化対象画像が前記ピクチャ群に含まれない画像であると判定してもよい。
これにより、符号化対象画像を含む動画像データに基づいて、重み付け予測を行うか行わないかを判定するので、符号化対象ピクチャが動きのある画像であるか否かをより精度良く判定することができ、画質及び符号化効率を高めることができる。
また、前記判定部は、既に符号化された符号化対象画像を基に算出される特徴量が所定の閾値以上である場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定し、前記特徴量が前記閾値より小さい場合に、前記符号化対象画像が前記ピクチャ群に含まれない画像であると判定してもよい。
これにより、既に符号化された符号化対象画像に基づいて、重み付け予測を行うか行わないかを判定するので、新たな特徴量を算出しなくて済み、低い処理量で、符号化対象ピクチャが動きのある画像であるか否かをより精度良く判定することができる。したがって、画質及び符号化効率を高めることができる。
また、前記画像符号化装置は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４圧縮符号化方式に基づいて前記動画像データを圧縮符号化し、前記画像符号化装置は、さらに、前記オフセット値を、Ｉｍｐｌｉｃｉｔモード又はＥｘｐｌｉｃｉｔモードで設定するパラメータ設定部を備えてもよい。
また、前記パラメータ設定部は、Ｅｘｐｌｉｃｉｔモードの場合に、前記符号化対象画像の輝度値の平均値と、前記参照画像の輝度値の平均値との変化量に基づいて前記オフセット値を設定してもよい。
また、本発明は、カメラとしても実現することができ、本発明に係るカメラは、被写体像を撮像することで得られた符号化対象画像を含む動画像データを圧縮符号化するカメラであって、被写体からの光を結像させることで、前記被写体像を形成する光学系と、前記被写体像を撮像することで、前記動画像データを取得する撮像素子と、当該カメラの動作を示す撮像情報を生成する撮像情報生成部と、参照画像を蓄積する蓄積部と、前記蓄積部に蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成する予測画像生成部と、前記予測画像生成部によって生成された予測画像と前記符号化対象画像との差分を符号化する符号化部と、前記撮像情報生成部によって生成された撮像情報に基づいて、前記符号化対象画像が、所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部と、前記予測画像生成部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する。
なお、本発明は、画像符号化装置及びカメラとして実現できるだけではなく、当該画像符号化装置を構成する処理部をステップとする方法として実現することもできる。
また、上記の各画像符号化装置及びカメラを構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
本発明によれば、画像圧縮符号化処理における演算量の削減、高速化、及び低消費電力化を図りつつ、画質及び符号化効率を向上させることが可能となる。
実施の形態１に係る画像符号化装置の構成の一例を示すブロック図である。 実施の形態１に係る画像符号化装置における画像符号化部の構成の一例を示すブロック図である。 実施の形態１に係る画像符号化装置の画像符号化部における動き補償部が実行する処理の一例を示すフローチャートである。 実施の形態１に係る画像符号化装置における重み付け予測判定部が実行する処理の一例を示すフローチャートである。 実施の形態１に係る画像符号化装置における重み付け予測判定部が実行する処理の別の一例を示すフローチャートである。 実施の形態２に係る画像符号化装置の構成の一例を示すブロック図である。 実施の形態２に係る画像符号化装置における重み付け予測判定部が実行する処理の一例を示すフローチャートである。 実施の形態３に係る画像符号化装置の構成の一例を示すブロック図である。 実施の形態３に係る画像符号化装置における重み付け予測判定部が実行する処理の一例を示すフローチャートである。 入力画像データがインターレース方式の画像データである場合の、画像符号化装置における重み付け予測判定部が実行する処理の一例を示すフローチャートである。 本発明に係る実施の形態の変形例における画像符号化装置の構成の一例を示すブロック図である。 本発明に係る実施の形態の変形例におけるカメラの一例を示す模式図である。 本発明に係る実施の形態の変形例におけるカメラの構成の一例を示すブロック図である。
以下に、本発明に係る画像再生装置及び画像再生方法について、実施の形態に基づいて、図面を参照しながら説明する。
（実施の形態１）
実施の形態１に係る画像符号化装置は、符号化対象画像が所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部と、符号化対象画像が当該ピクチャ群に含まれる画像であると判定された場合に、重み付け予測を伴わない動き補償を行うことで予測画像を生成し、符号化対象画像がピクチャ群に含まれる画像ではないと判定された場合に、重み付け予測を伴う動き補償を行うことで予測画像を生成する予測画像生成部とを備えることを特徴とする。
図１は、実施の形態１に係る画像符号化装置１００の構成の一例を示すブロック図である。図１に示すように、画像符号化装置１００には、複数のピクチャを含む入力動画像データと、入力動画像データの付加情報である撮像情報とが入力される。画像符号化装置１００は、入力された入力動画像データをＨ．２６４圧縮符号化方式で符号化し、符号化した入力動画像データを出力ストリームとして出力する。
なお、Ｈ．２６４圧縮符号化方式による符号化においては、１つのピクチャを１つ又は複数のスライスに分割し、そのスライスを処理単位としている。実施の形態１におけるＨ．２６４圧縮符号化方式による符号化では、１つのピクチャが１つのスライスであるとする。なお、このことは、後述する実施の形態２及び３においても同様である。
図１に示すように、画像符号化装置１００は、重み付け予測判定部１０１、重み付けパラメータ決定部１０２及び画像符号化部１０３を備える。
重み付け予測判定部１０１は、入力動画像データの付加情報として、撮像情報を取得し、取得した撮像情報に基づいて重み付け予測フラグ情報を生成する。生成した重み付け予測フラグ情報は、画像符号化部１０３に出力される。
なお、撮像情報とは、入力動画像データを撮影により取得したカメラなどの撮像装置の動作を示す情報である。撮像装置の動作とは、パン及びチルトなどの撮像装置自体の動きと、ズーム及び絞りの変更など撮像装置内部の動作とを含む。つまり、撮像情報は、具体的には、撮像装置がズームをしている状態であるか否かを示す情報、パンをしている状態であるか否かを示す情報、及びチルトをしている状態であるか否かを示す情報などである。なお、撮像情報は、入力動画像データとともに画像符号化装置１００に入力される入力動画像データに関する付加情報である。
重み付けパラメータ決定部１０２は、入力動画像データの画素情報を基に、重み付け予測を用いた符号化に必要な符号化パラメータを決定する。決定したパラメータの情報は、画像符号化部１０３に重み付けパラメータとして出力される。なお、重み付け予測は、参照画像の画素値に所定のオフセット値“ｏ”を加算する処理である。また、参照画像の画素値に重み付け値“ｗ”を乗じてから、オフセット値“ｏ”を加算してもよい。
符号化パラメータは、例えば、上述の重み付け値“ｗ”とオフセット値“ｏ”とである。重み付け値“ｗ”は、上述のように参照ピクチャの画素値に乗ずる値であり、オフセット値“ｏ”は、参照ピクチャに加算される値である。例えば、Ｈ．２６４では、符号化対象ピクチャは複数の参照ピクチャを参照することができるので、重み付けパラメータ決定部１０２は、オフセット値“ｏ”を、符号化対象ピクチャが参照する参照ピクチャ毎に設定する。
画像符号化部１０３は、重み付け予測判定部１０１が生成した重み付け予測フラグ情報と、重み付けパラメータ決定部１０２が決定した重み付けパラメータとに従って、符号化対象ピクチャを含む入力動画像データをＨ．２６４圧縮符号化方式による符号化により圧縮符号化する。後述するように、画像符号化部１０３は、予測画像と符号化対象画像との差分を符号化する。
次に、図２を用いて、画像符号化部１０３の詳細な構成の一例について説明する。なお、図２は、実施の形態１に係る画像符号化装置１００における画像符号化部１０３の詳細な構成の一例を示すブロック図である。なお、画像符号化部１０３は、入力動画像データに含まれる符号化対象ピクチャをブロック毎に圧縮符号化する。
図２に示すように、画像符号化部１０３は、入力画像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、予測モード判定部２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、加算部２１２及びエントロピー符号化部２１３を備えている。
入力画像データメモリ２０１は、入力動画像データを格納するメモリである。この入力画像データメモリ２０１が保持している情報は、面内予測部２０３、動きベクトル検出部２０４、予測モード判定部２０６及び差分演算部２０７により参照される。
参照画像データメモリ２０２は、参照画像を蓄積するメモリなどの蓄積部の一例であり、加算部２１２によって生成されたローカルデコード画像を参照画像として蓄積する。
面内予測部２０３は、参照画像データメモリ２０２に格納されているローカルデコード画像（参照画像）から同一画面内の符号化後の画素を用いて面内予測を行うことで、面内予測の予測画像を生成する。生成した予測画像は、予測モード判定部２０６に出力される。
動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されているローカルデコード画像（参照画像）を探索対象とし、最も入力画像に近い画像領域を検出し、検出した位置を示す動きベクトルを決定する。さらに、動きベクトル検出部２０４は、最も誤差の小さい符号化対象ブロックのサイズ及びそのサイズでの動きベクトルを決定し、決定したサイズ及び動きベクトルを示す情報を動き補償部２０５及びエントロピー符号化部２１３に送信する。
なお、動きベクトル検出部２０４は、符号化対象ブロック（マクロブロック）を参照ピクチャの任意の位置のブロックと比較し、最も似通ったブロックの位置を動きベクトルとして決定する。似通っているか否かの判断としては、符号化対象ブロックと参照ブロックとの比較誤差を使用するのが一般的であり、特に、絶対値差分和（ＳＡＤ：Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。また、参照ピクチャ全体の中で参照ブロックを探索すると演算量が膨大となるため、参照ピクチャの中で探索する範囲（探索範囲）を絞り込み、絞り込んだ範囲を探索する。
動き補償部２０５は、参照画像データメモリ２０２に蓄積された参照画像に基づいて、重み付け予測を伴う動き補償、又は、重み付け予測を伴わない動き補償を行うことで、符号化対象ピクチャの予測画像を生成する予測画像生成部の一例である。例えば、動き補償部２０５は、動きベクトル検出部２０４から受信した情報に含まれる動きベクトルを用いて、参照画像データメモリ２０２に格納されているローカルデコード画像（参照画像）から予測画像に最適な画像領域を取り出し、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部２０６に出力する。動き補償部２０５が行う具体的な動作に関しては、後ほど詳述する。
予測モード判定部２０６は、予測モードを判定し、その判定結果に基づき、面内予測部２０３からの面内予測で生成された予測画像と、動き補償部２０５からの面間予測で生成された予測画像とのいずれかを選択する。選択された予測画像は、差分演算部２０７及び加算部２１２に出力される。なお、予測モード判定部２０６が行う予測モードの判定方法としては、例えば、面間予測と面内予測とについて、それぞれ入力画像と予測画像との各画素の差分絶対値和を算出し、算出した差分絶対値和が小さい方を予測モードと判定する。
差分演算部２０７は、入力画像データメモリ２０１から符号化対象となる入力画像データを読み出し、読み出した入力画像と予測モード判定部２０６から出力された予測画像との画素差分値を算出する。算出した画素差分値は、直交変換部２０８に出力される。
直交変換部２０８は、差分演算部２０７から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部２０９に出力する。例えば、直交変換部２０８は、画素差分値に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直交変換処理を行う。
量子化部２０９は、直交変換部２０８から入力された周波数係数を量子化し、量子化した値、すなわち量子化値を、符号化データとしてエントロピー符号化部２１３及び逆量子化部２１０に出力する。
逆量子化部２１０は、量子化部２０９から入力された量子化値を逆量子化して周波数係数に復元する。復元した周波数係数は、逆直交変換部２１１に出力される。
逆直交変換部２１１は、逆量子化部２１０から入力された周波数係数に逆周波数変換を行うことで、画素差分値を復元する。復元した画素差分値は、加算部２１２に出力される。
加算部２１２は、逆直交変換部２１１から入力された画素差分値と、予測モード判定部２０６から出力された予測画像とを加算することで、ローカルデコード画像を生成する。生成したローカルデコード画像は、参照画像として参照画像データメモリ２０２に格納される。
ここで、参照画像データメモリ２０２に記憶されるローカルデコード画像（参照画像）は、入力画像データメモリ２０１に記憶される入力画像と基本的には同じ画像である。しかし、直交変換部２０８及び量子化部２０９で一旦直交変換及び量子化などの処理をされた後、逆量子化部２１０及び逆直交変換部２１１で逆量子化及び逆直交変換などの処理をされるため、ローカルデコード画像は、量子化歪みなどの歪み成分を有している。
エントロピー符号化部２１３は、量子化部２０９から入力された量子化値及び動きベクトル検出部２０４から入力された動きベクトル等をエントロピー符号化し、符号化したデータを出力ストリームとして出力する。
次に、図１及び図２を参照しながら図３を用いて、実施の形態１に係る画像符号化装置１００の画像符号化部１０３における動き補償部２０５が実行する処理の流れについて説明する。なお、図３は、実施の形態１に係る画像符号化装置１００の画像符号化部１０３における動き補償部２０５が実行する処理の流れの一例を示すフローチャートである。なお、後述する実施の形態２及び３に係る画像符号化装置の画像符号化部における動き補償部が実行する処理の流れの一例を示すフローチャートでもある。
図３に示すように、動き補償部２０５は、参照画像データメモリ２０２に格納されているローカルデコード画像（参照画像）の中から、動きベクトル検出部２０４から受信した動きベクトルが指し示す位置に相当する画像領域（以下、参照画像ブロックデータと称す）を読み出す（Ｓ１０１）。
次に、動き補償部２０５は、参照画像ブロックデータと動きベクトル検出部２０４から受信した動きベクトルとから、１／４画素精度の補間処理を行うことで、補間画像データを生成する（Ｓ１０２）。１／４画素精度の補間処理は規格で決められており、動きベクトルの値に応じてＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いた補間処理が行われる。
なお、Ｈ．２６４では、動きベクトルが１画素精度の位置を示している場合は、フィルタ処理を行わない。また、動きベクトルが１／２画素精度の位置を示している場合は、６タップフィルタを用いて補間処理を行う。また、動きベクトルが１／４画素精度の位置を示している場合は、６タップフィルタと２タップフィルタとを用いて補間処理を行う。
次に、動き補償部２０５は、重み付け予測判定部１０１から受信した重み付けフラグ情報がＯＮかＯＦＦかを判断する（Ｓ１０３）。重み付けフラグ情報がＯＦＦであると判断した場合（Ｓ１０３で“ＯＦＦ”）、動き補償部２０５は、生成した補間画像データを予測画像データとして、予測モード判定部２０６に出力する（Ｓ１０５）。
重み付けフラグ情報がＯＮであると判断された場合（Ｓ１０３で“ＯＮ”）、動き補償部２０５は、重み付けパラメータ決定部１０２によって決定された重み付けパラメータに基づき、補間画像データに対して重み付け予測を行うことで、予測画像データを生成する（Ｓ１０４）。
なお、補間画像データに対して重み付け予測を行う場合の重み付けパラメータは、Ｅｘｐｌｉｃｉｔモードを用いて重み付け予測を行う場合は、重み付けパラメータ決定部１０２によって決定された重み付けパラメータを用いる。Ｉｍｐｌｉｃｉｔモードを用いて重み付け予測を行う場合は、規格で決められた手順により重み付けパラメータを決定する。なお、Ｈ．２６４においては、Ｉｍｐｌｉｃｉｔモードを用いて重み付け予測を行う場合、重み付け値“ｗ”を符号化対象となっている入力画像データと参照画像データとの時間距離から求め、オフセット値“ｏ”を０とする。
次に、以上のように構成された画像符号化部１０３を具備する画像符号化装置１００が実行する処理の一例について説明する。
まず、入力動画像データが重み付けパラメータ決定部１０２と画像符号化部１０３とに、また、撮像情報が重み付け予測判定部１０１にそれぞれ入力される。入力動画像データは、複数のピクチャを含んでおり、画像符号化部１０３の入力画像データメモリ２０１に格納される。動画像の１フレーム（ピクチャ）は、例えば、１９２０画素×１０８０画素によって構成されている。
また、撮像情報は、上述したように、入力画像データを撮影したカメラの動作を示す情報であり、例えば、入力画像データを撮影した際にカメラがパン、チルト又はズームをしている状態にあったか否かを示す情報などの、入力画像データに関する付加情報である。撮像情報は、例えば、カメラが備えるセンサ（例、加速度センサ）又は制御部などから出力される情報である。
重み付け予測判定部１０１は、入力動画像データに含まれる符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定することで、符号化対象ピクチャの符号化の際に重み付け予測を用いるか否かを判定する。なお、以下では、『符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像である』ことを、『符号化対象ピクチャが、動きのある画像である』とも記載する。
重み付け予測判定部１０１は、符号化対象ピクチャが動きのある画像であると判定した場合に、重み付け予測を用いないと判定し、重み付け予測フラグ情報をＯＦＦに設定する。逆に、符号化対象ピクチャが動きのある画像ではないと判定した場合に、重み付け予測を用いると判定し、重み付け予測フラグ情報をＯＮに設定する。
具体的には、重み付け予測判定部１０１は、撮像情報を取得し、取得した撮像情報から符号化対象ピクチャの符号化に重み付け予測を用いるか否かを判定する。そして、判定結果に応じて重み付け予測フラグ情報をＯＮ又はＯＦＦに設定して、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する。
次に、図４を用いて、重み付け予測判定部１０１が実行する処理の一例について説明する。なお、図４は、実施の形態１に係る画像符号化装置１００における重み付け予測判定部１０１が実行する処理の一例を示すフローチャートである。
図４に示すように、重み付け予測判定部１０１は、符号化対象ピクチャを撮影した際にカメラがパン、チルト又はズームをしている状態であるか否かを判定する（Ｓ２０１）。カメラがパン、チルト又はズームをしている状態であると判定した場合（Ｓ２０１でＹｅｓ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＦＦに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ２０２）。
カメラがパン、チルト又はズームをしている状態ではないと判定した場合（Ｓ１０１でＮｏ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＮに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ２０３）。
重み付けパラメータ決定部１０２は、符号化対象ピクチャの画素情報を基に、重み付け予測を用いた符号化に必要な符号化パラメータを決定し、決定した符号化パラメータを画像符号化部１０３に重み付けパラメータとして出力する。重み付けパラメータの決定方法としては、例えば、重み付け値“ｗ”を１とし、符号化対象ピクチャの輝度値の平均値と、参照画像の輝度値の平均値との差分値をオフセット値“ｏ”として設定する方法があるが、これに限るものではなく、他の方法であってもよい。なお、重み付けパラメータは、例えば、ピクチャ単位で決定される。
画像符号化部１０３は、重み付け予測判定部１０１によって生成された重み付け予測フラグ情報と、重み付けパラメータ決定部１０２によって決定された重み付けパラメータとに基づいて、動きベクトル検出、動き補償、面内予測、直交変換、量子化及びエントロピー符号化等の一連の符号化処理を実行する。具体的には、動き補償部２０５が、重み付け予測フラグ情報と重み付けパラメータとに基づいて、動き補償のみ、又は、重み付け予測と動き補償処理とを実行することで、予測画像を生成する。
この際、Ｅｘｐｌｉｃｉｔモードを用いて重み付け予測を行う場合は、動き補償部２０５は、重み付け予測フラグ情報がＯＮであればＥｘｐｌｉｃｉｔモードを用いて重み付け予測を行い、重み付け予測の符号化に必要なパラメータとして重み付けパラメータ決定部１０２によって決定された重み付けパラメータを用いる。このとき、重み付け予測フラグ情報がＯＦＦであれば、重み付け予測を行わない動き補償を行う。
また、Ｉｍｐｌｉｃｉｔモードを用いて重み付け予測を行う場合は、動き補償部２０５は、重み付け予測フラグ情報がＯＮであればＩｍｐｌｉｃｉｔモードを用いた重み付け予測を行い、重み付け予測フラグ情報がＯＦＦであれば重み付け予測を行わない動き補償を行う。
なお、実施の形態１に係る画像符号化装置１００においては、画像符号化部１０３は、Ｈ．２６４圧縮符号化方式に従って、入力動画像データを圧縮符号化するものとする。また、このことは後述する実施の形態２及び３においても同様である。
重み付け予測は、フェードをしているシーンのような画面全体の輝度変化のある画像の符号化効率を向上させることができるが、一方で動きの大きなシーンでは符号化効率を下げることがある。このため、符号化対象ピクチャを撮影した際にカメラがパン、チルト又はズームをしている状態にあるか否かを示す撮像情報を利用することで、符号化対象ピクチャが動きのある画像であるか否かを判定することができる。これにより、符号化効率を高めることができる。
以上のように、重み付け予測フラグ情報を撮像情報に基づいて決定し、重み付け予測フラグ情報がＯＮであるときには、符号化対象ピクチャを重み付け予測を用いて符号化し、重み付け予測フラグ情報がＯＦＦであるときには、符号化対象となっている入力画像データを重み付け予測を用いずに符号化する。つまり、符号化対象画像が動きのある画像であると判定された場合、重み付け予測を伴わない動き補償を行うことで予測画像を生成し、符号化対象画像が動きのある画像ではないと判定された場合に、重み付け予測を伴う動き補償を行うことで予測画像を生成する。これにより、動き補償の予測精度を向上させることができるため、符号化効率を高めることができる。
また、特許文献１に記載の技術のように輝度値の変化を検出するだけでは、動きの大きな画像も輝度値の変化が大きいと判定されてしまい、動きの大きな画像に対して重み付け予測を行ってしまう。この場合、予測精度が悪くなるため、画質及び符号化効率が低下する。したがって、動きの大きな画像に重み付け予測を行わないようにすることで、符号化効率を高めることができる。
これに対して、実施の形態１に係る画像符号化装置１００は、輝度値の変化ではなく、撮像情報に基づいて符号化対象ピクチャが動きのある画像であるか否かを判定し、符号化対象ピクチャが動きのある画像である場合には重み付け予測を行わない。これにより、実施の形態１に係る画像符号化装置によれば、符号化効率を高めることができる。
また、重み付け予測を行わない動き補償と重み付け予測を行う動き補償との２種類の動き補償の方式を備え、マクロブロック毎に最適な方式を選択する常識的な方法に比べて、回路規模及び演算量を削減することができる。
以上のことから、実施の形態１に係る画像符号化装置１００によれば、画像符号化方式の演算量の削減、高速化、及び低消費電力化を図りつつ、画質及び符号化効率を向上させることが可能となる。
なお、重み付け予測フラグ情報をＯＮ又はＯＦＦに設定する際に、画像に動きがあるか否かだけではなく、画像の輝度値の変化も利用してもよい。例えば、撮像情報は、カメラが絞りを変化させている状態であるか否かを示す情報を含んでいてもよい。図５は、実施の形態１に係る画像符号化装置１００における重み付け予測判定部１０１が実行する処理の別の一例を示すフローチャートである。
図５に示すように、重み付け予測判定部１０１は、符号化対象ピクチャを撮影した際にカメラが絞りを変化させている状態であるか否かを判定する（Ｓ３０１）。カメラが絞りを変化させている状態ではないと判定した場合（Ｓ３０１でＮｏ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＦＦに設定する（Ｓ３０３）。これは、絞りが変化していない場合は、符号化対象ピクチャの輝度値には大きな変化が現れていないことを示しており、重み付け予測の効果が充分に期待できないためである。
カメラが絞りを変化させている状態であると判定した場合（Ｓ３０１でＹｅｓ）、重み付け予測判定部１０１は、符号化対象ピクチャを撮影した際にカメラがパン、チルト又はズームをしている状態であるか否かを判定する（Ｓ３０２）。カメラがパン、チルト又はズームをしている状態であると判定した場合（Ｓ３０１でＹｅｓ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＦＦに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ３０３）。
カメラがパン、チルト又はズームをしている状態ではないと判定した場合（Ｓ３０２でＮｏ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＮに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ３０４）。
以上のように、カメラの絞りが変化している場合であっても、動きの有無を判定することで、重み付け予測を行うか行わないかを選択することができる。
これにより、絞りの変化を判定する場合の方が動きの有無を判定する場合よりも処理量が少ないので、動きの有無のみを判定する場合に比べて、処理量を低減することができる。
（実施の形態２）
実施の形態２に係る画像符号化装置は、符号化対象画像と、過去の符号化対象画像とに基づいて算出される特徴量が所定の閾値以上である場合に、符号化対象画像が動きのある画像であると判定し、上記特徴量が上記閾値より小さい場合に、符号化対象画像が動きのある画像ではないと判定することを特徴とする。このように、実施の形態２に係る画像符号化装置は、符号化対象画像から動きの有無を判定することで、判定結果に基づいて重み付け予測を行うか行わないかを選択する。
図６は、実施の形態２に係る画像符号化装置３００の構成の一例を示すブロック図である。
図６に示すように、画像符号化装置３００は、重み付け予測判定部３０１、重み付けパラメータ決定部１０２及び画像符号化部１０３を備える。なお、重み付けパラメータ決定部１０２及び画像符号化部１０３は、実施の形態１と同じものであるので同じ符号を付し、以下では説明を省略する。
重み付け予測判定部３０１は、入力された入力動画像データに含まれる符号化対象ピクチャと、過去の符号化対象ピクチャとに基づいて算出された特徴量が所定の閾値以上であるか否かを判定する。特徴量が閾値以上であると判定した場合に、符号化対象ピクチャは動きのある画像であると判定し、重み付け予測フラグ情報をＯＦＦに設定する。特徴量が閾値より小さいと判定した場合に、符号化対象ピクチャは動きのある画像ではないと判定し、重み付け予測フラグ情報をＯＮに設定する。このように、重み付け予測判定部３０１は、入力動画像データの画素値情報を用いて重み付け予測フラグ情報を生成し、生成した重み付け予測フラグ情報を画像符号化部１０３に出力する。
なお、特徴量は、符号化対象ピクチャから得られる値であり、画像の動きを示す値である。例えば、特徴量は、符号化対象ピクチャと過去の符号化対象ピクチャとの間の動きを示す動きベクトル特徴量（以下、前処理動きベクトル特徴量と記載する）である。
次に、以上のように構成された画像符号化装置３００における重み付け予測判定部３０１が実行する処理の一例について説明する。
まず、符号化対象ピクチャを含む入力動画像データが画像符号化部１０３とともに、重み付け予測判定部３０１及び重み付けパラメータ決定部１０２に入力される。重み付け予測判定部３０１は、入力された符号化対象ピクチャの画素情報から、符号化対象ピクチャの符号化に重み付け予測を用いるか否かを、後述する方法により判定する。符号化対象ピクチャの符号化に重み付け予測を用いると判定した場合は重み付け予測フラグ情報をＯＮに設定し、そうでない場合は重み付け予測フラグ情報をＯＦＦに設定して、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する。
次に、図７を用いて、重み付け予測判定部３０１が実行する処理の一例について説明する。なお、図７は、実施の形態２に係る画像符号化装置３００における重み付け予測判定部３０１が実行する処理の一例を示すフローチャートである。
図７に示すように、重み付け予測判定部３０１は、入力動画像データに含まれる符号化対象ピクチャと過去の符号化対象ピクチャとを用いて前処理動きベクトル特徴量を算出する（Ｓ４０１）。そして、算出した前処理動きベクトル特徴量が予め定めた閾値以上であるか否かを判定する（Ｓ４０２）。
前処理動きベクトル特徴量が予め定めた閾値以上であると判定した場合（Ｓ４０２でＹｅｓ）、重み付け予測判定部３０１は、重み付け予測フラグ情報をＯＦＦに設定して、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ４０３）。前処理動きベクトル特徴量が予め定めた閾値よりも小さいと判定した場合（Ｓ４０２でＮｏ）、重み付け予測判定部３０１は、重み付け予測フラグ情報をＯＮに設定して、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ４０４）。
ここで、前処理動きベクトル特徴量とは、例えば、現在の入力画像（符号化対象ピクチャ）と過去の入力画像（過去の符号化対象ピクチャ）とから算出した、各ベクトルのＸ成分及びＹ成分の絶対値の和や、２点間の距離を表すユークリッドノルムなどの動きベクトルの大きさなどが考えられる。
また、過去の符号化対象ピクチャとは、現在の符号化対象ピクチャを符号化する際に用いる参照ピクチャに相当する過去の符号化対象ピクチャでもよい。あるいは、現在の符号化対象ピクチャの直前に入力された過去の符号化対象ピクチャであってもよい。ただし、これらに限るものではなく、例えば、回路設計の都合等で上記したような所望の過去の符号化対象ピクチャを使用することができない場合は、現在の符号化対象ピクチャの数フレーム前に入力されたような他の過去の符号化対象ピクチャで代用してもよい。
また、現在の符号化対象ピクチャと過去の符号化対象ピクチャとの間の動きベクトルとは、例えば、現在の符号化対象ピクチャと過去の符号化対象ピクチャとをそれぞれ縮小することで生成された現在の縮小画像と過去の縮小画像とのそれぞれに対して、予め定められた探索範囲で動きベクトル検出を行うことで得られた動きベクトルの代表値が考えられる。ここでいう代表値とは、例えば、動きベクトルの平均値が考えられるが、これに限るものではなく、統計処理などを用いて代表値を決定してもよい。
以上のように、実施の形態２に係る画像符号化装置３００では、符号化対象ピクチャを含む入力動画像データに基づいて、重み付け予測を行うか行わないかを判定する。これにより、符号化対象ピクチャが動きのある画像であるか否かをより精度良く判定することができるので、画質及び符号化効率を高めることができる。
（実施の形態３）
実施の形態３に係る画像符号化装置は、既に符号化された符号化対象画像に基づいて算出される特徴量が所定の閾値以上である場合に、現在の符号化対象画像が動きのある画像であると判定し、上記特徴量が上記閾値より小さい場合に、現在の符号化対象画像が動きのある画像ではないと判定することを特徴とする。このように、実施の形態３に係る画像符号化装置は、既に符号化された符号化対象画像から動きの有無を判定することで、判定結果に基づいて重み付け予測を行うか行わないかを選択する。
図８は、実施の形態３に係る画像符号化装置４００の構成の一例を示すブロック図である。
図８に示すように、画像符号化装置４００は、重み付け予測判定部４０１、重み付けパラメータ決定部１０２及び画像符号化部４０３を備える。重み付けパラメータ決定部１０２は、実施の形態１と同じものであるので同じ符号を付し、以下では説明を省略する。
重み付け予測判定部４０１は、既に符号化された符号化対象ピクチャを元に算出される特徴量が所定の閾値以上であるか否かを判定する。特徴量が閾値以上であると判定した場合に、符号化対象ピクチャは動きのある画像であると判定し、重み付け予測フラグ情報をＯＦＦに設定する。特徴量が閾値より小さいと判定した場合には、符号化対象ピクチャは動きのある画像ではないと判定し、重み付け予測フラグ情報をＯＮに設定する。このように、重み付け予測判定部４０１は、画像符号化部４０３において現在の入力画像データより以前に符号化されたピクチャの画像符号化情報を用いて、重み付け予測フラグ情報を生成し、生成した重み付け予測フラグ情報を画像符号化部４０３に出力する。
画像符号化部４０３は、実施の形態１で説明した画像符号化部１０３と同じ処理を行い、さらに、圧縮符号化に用いた情報である画像符号化情報を重み付け予測判定部４０１に出力する。
次に、以上のように構成された画像符号化装置４００が実行する処理の一例について説明する。
まず、符号化対象ピクチャを含む入力動画像データが重み付けパラメータ決定部１０２と画像符号化部４０３とに入力される。画像符号化部４０３は、実施の形態１及び２と同様、重み付け予測判定部４０１が出力した重み付け予測フラグ情報と、重み付けパラメータ決定部１０２が出力した重み付けパラメータとに従って、符号化対象ピクチャの画像データを、Ｈ．２６４圧縮符号化方式により圧縮符号化する。圧縮符号化された画像データは、出力ストリームとして出力される。さらに、画像符号化部４０３は、圧縮符号化に用いた情報である画像符号化情報を重み付け予測判定部４０１に出力する。
重み付け予測判定部４０１は、画像符号化部４０３から出力された画像符号化情報を受信し、受信した画像符号化情報を用いて、符号化対象ピクチャの符号化に重み付け予測を用いるか否かを後述する方法により判定する。重み付け予測判定部４０１は、符号化対象ピクチャの符号化に重み付け予測を用いると判定した場合は重み付け予測フラグ情報をＯＮに設定し、そうでない場合はＯＦＦに設定して、設定した重み付け予測フラグ情報を画像符号化部４０３に出力する。
なお、以上の説明では、画像符号化部４０３から重み付け予測判定部４０１に画像符号化情報を送信するとしたが、これに限るものではなく、画像符号化情報を含む出力ストリームを送信してもかまわない。ただしこの場合は、重み付け予測判定部４０１において、画像符号化部４０３から入力された出力ストリームから画像符号化情報を抽出する機能を備える必要がある。
次に、図９を用いて、重み付け予測判定部４０１が実行する処理の一例を説明する。なお、図９は、実施の形態３に係る画像符号化装置４００における重み付け予測判定部４０１が実行する処理の一例を示すフローチャートである。
図９に示すように、重み付け予測判定部４０１は、まず、画像符号化部４０３において現在の符号化対象ピクチャより以前に符号化されたピクチャの画像符号化情報から符号化動きベクトル特徴量を算出する（Ｓ５０１）。次に、算出した符号化動きベクトル特徴量が予め定めた閾値以上であるか否かを判定する（Ｓ５０２）。
重み付け予測判定部４０１は、符号化動きベクトル特徴量が予め定めた閾値以上であると判定した場合（Ｓ５０２でＹｅｓ）、重み付け予測フラグ情報をＯＦＦに設定して、設定した重み付け予測フラグ情報を画像符号化部４０３に出力する（Ｓ５０３）。また、符号化動きベクトル特徴量が予め定めた閾値より小さいと判定した場合（Ｓ５０２でＮｏ）、重み付け予測フラグ情報をＯＮに設定して、設定した重み付け予測フラグ情報を画像符号化部４０３に出力する（Ｓ５０４）。
ここで、画像符号化部４０３において現在の符号化対象ピクチャより以前に符号化され出力されたピクチャの画像符号化情報としては、例えば、各マクロブロックで符号化された動きベクトルが考えられるが、これに限るものではなく、動きベクトル以外のパラメータを利用してもかまわない。
また、符号化動きベクトル特徴量としては、例えば、同じピクチャに属する動きベクトルの平均値が考えられるが、これに限るものではなく、同じピクチャに属する動きベクトルの絶対値の平均値でもよい。あるいは、同じピクチャに属する動きベクトルの分散などであってもかまわない。
以上のように、実施の形態３に係る画像符号化装置４００では、既に符号化された符号化対象ピクチャに基づいて、重み付け予測を行うか行わないかを判定する。具体的には、過去の符号化対象ピクチャを符号化する際に利用した画像符号化情報を利用するので、実施の形態２のように新たに特徴量を算出しなくて済み、低い処理量で、符号化対象ピクチャが動きのある画像であるか否かをより精度良く判定することができる。これにより、画質及び符号化効率を高めることができる。
以上のように、実施の形態１〜３に係る画像符号化装置１００、３００又は４００では、重み付け予測判定部１０１、３０１、又は４０１において、入力動画像データの付加情報である撮像情報、入力動画像データの画素情報、又は画像符号化部４０３において生成された現在の符号化対象ピクチャより以前に圧縮符号化されたピクチャの画像符号化情報のうちのいずれかの情報に基づき、重み付け予測フラグ情報を生成して、生成した重み付け予測フラグ情報を画像符号化部１０３又は４０３に出力する。
また、重み付けパラメータ決定部１０２においては、重み付けパラメータを決定して画像符号化部１０３又は４０３へ出力する。また、画像符号化部１０３又は４０３においては、重み付け予測判定部１０１、３０１又は４０１から出力される重み付け予測フラグ情報と、重み付けパラメータ決定部１０２から出力される重み付けパラメータとに基づいて、入力動画像データを圧縮符号化してストリームを出力する。
実施の形態１〜３に係る画像符号化装置１００、３００又は４００は、以上のように構成されることにより、動き補償の予測精度を向上させることができるため、符号化効率を高めることができる。
以上、本発明に係る画像符号化装置及び画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、入力動画像データの圧縮符号化処理に重み付け予測を用いるか否かを判断する方法として、実施の形態１〜３においてそれぞれ３つの異なる方法を示したが、これらの方法を複数組み合わせることにより、入力画像データの圧縮符号化処理に重み付け予測を用いるか否かを判断してもかまわない。
また、実施の形態１においては、撮像情報として、入力動画像データを撮影したカメラがパン、チルト又はズームをしている状態にあるか否かを示している情報、及びカメラの絞りが変化している状態であるか否かを示している情報を例に挙げたが、これに限るものではない。例えば、カメラの感度が変化している状態であるか否かを示す情報、又は、カメラの他の物理的な動きを示す情報でもよい。
また、実施の形態１〜３においては、動きベクトル検出において、対象ブロックと参照ブロックの誤差としてＳＡＤを用いた場合を例に挙げたが、ＳＡＤの算出式であるΣ｜対象ブロックの画素−参照ブロックの画素｜を変形し、Σ｜対象ブロックの画素−参照ブロックの画素−オフセット値｜を誤差として使用してもよい。この場合、重み付け予測フラグ情報がＯＮである場合は重み付けパラメータをオフセット値として使用し、重み付け予測フラグ情報がＯＦＦである場合はオフセット値を０に設定する。
また、実施の形態１〜３においては、圧縮符号化方式としてＨ．２６４を用いた場合を例に挙げたが、これに限るものではなく、重み付け予測と同様の機能を持つ圧縮符号化方式を用いてもかまわない。
また、入力動画像データがインターレース方式の動画像データである場合は、重み付けパラメータ決定部１０２は、参照ピクチャと符号化対象ピクチャとのパリティの関係に基づいて重み付けパラメータを決定してもよい。なお、参照ピクチャと符号化対象ピクチャとが両方とも、トップフィールド又はボトムフィールドである場合が“同一パリティ”であり、一方がトップフィールドで他方がボトムフィールドである場合が“逆パリティ”である。
具体的には、重み付けパラメータ決定部１０２は、符号化対象ピクチャと逆パリティである参照ピクチャのオフセット値“ｏ”を０に設定し、符号化対象ピクチャと同一パリティである参照ピクチャのオフセット値“ｏ”をＥｃｐｌｉｃｉｔモードに基づいて決定する。
図１０は、入力動画像データがインターレース方式の画像データである場合の、画像符号化装置１００における重み付けパラメータ決定部１０２が実行する処理の一例を示すフローチャートである。
図１０に示すように、重み付け予測判定部１０１は、符号化対象ピクチャを撮影した際にカメラがパン、チルト又はズームをしている状態であるか否かを判定する（Ｓ６０１）。カメラがパン、チルト又はズームをしている状態であると判定した場合（Ｓ６０１でＹｅｓ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＦＦに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ６０２）。
カメラがパン、チルト又はズームをしている状態ではないと判定した場合（Ｓ６０１でＮｏ）、重み付け予測判定部１０１は、重み付け予測フラグ情報をＯＮに設定し、設定した重み付け予測フラグ情報を画像符号化部１０３に出力する（Ｓ６０３）。
重み付けパラメータ決定部１０２は、符号化対象ピクチャが参照する１つ以上の参照ピクチャのそれぞれについて、参照ピクチャが同一パリティであるか逆パリティであるかを判定する（Ｓ６０４）。参照ピクチャが同一パリティである場合（Ｓ６０４で“同一”）、重み付けパラメータ決定部１０２は、Ｅｘｐｌｉｃｉｔモードに基づいてオフセット値“ｏ”を設定する（Ｓ６０５）。参照ピクチャが逆パリティである場合（Ｓ６０５で“逆”）、重み付けパラメータ決定部１０２は、オフセット値“ｏ”を０に設定する（Ｓ６０６）。
以上により、入力動画像データがインターレース方式の画像データである場合において、撮像情報に基づいて重み付け予測フラグ情報をＯＮに設定した場合であっても、参照ピクチャが逆パリティである場合にオフセット値“ｏ”を０に設定することで、重み付け予測を行わないようにすることができる。
これは、逆パリティのピクチャを参照ピクチャとして選択することは、一般的に、符号化対象ピクチャが動きの大きな画像であることを意味するためである。つまり、撮像情報からは動きがないと判定された場合であっても、パリティの関係を判定することで、より精度良く符号化対象ピクチャが動きのある画像であるか否かを判定することができる。これにより、画質及び符号化効率を高めることができる。
また、本発明は、実施の形態１〜３における各処理部を備える画像符号化装置として提供することができるばかりでなく、画像符号化装置が具備する各処理部を各ステップとする画像符号化方法、画像符号化装置が具備する各処理部を備える画像符号化集積回路、及び、画像符号化方法を実現することができる画像符号化プログラムを提供することも可能である。
また、このような画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−ＲＯＭ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
また、例えば、本発明は、実施の形態１〜３の画像符号化装置１００、３００又は４００が備える構成要素の一部又は全部を備える画像符号化集積回路として実現してもよい。図１１は、本発明に係る実施の形態１〜３の変形例における画像符号化装置５００の構成の一例を示すブロック図である。
図１１に示すように、画像符号化装置５００には、画像符号化部１０３がＬＳＩ５０１として実装される。なお、重み付け予測判定部１０１及び重み付けパラメータ決定部１０２も、ＬＳＩ５０１として実装されていてもよい。
また、画像符号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成しても良いし、複数チップで構成してもよい。例えば、メモリ以外の機能ブロックが１チップＬＳＩで構成してもよい。なお、ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ又はウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩又は派生する他の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。
また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としてもよい。
また、本発明は、図１２に示すようなカメラ６００として実現することもできる。なお、図１２は、本発明に係る実施の形態１〜３の変形例におけるカメラ６００の一例を示す模式図である。以下では、カメラ６００の構成の一例について図１３を用いて説明する。図１３は、本発明に係る実施の形態１〜３の変形例におけるカメラ６００の構成の一例を示すブロック図である。
図１３に示すように、カメラ６００は、被写体像を撮像することで得られた動画像データを符号化し、記録媒体に記録するカメラであり、画像符号化装置１００と撮像部６１０とを備える。画像符号化装置１００は、実施の形態１に示したものと同じものであるので同じ符号を付し、以下では説明を省略する。
撮像部６１０は、被写体像を撮像する処理部であって、光学系６１１、撮像素子６１２及び撮像情報生成部６１３を備える。
光学系６１１は、被写体からの光を撮像素子６１２上に結像させることで、被写体像を形成する光学レンズなどである。光学系６１１は、例えば、カメラ６００が備える制御部（図示せず）などの制御により、ズーム及び絞りを変化させることができる。
撮像素子６１２は、被写体像を撮像するイメージセンサであり、撮像により得られた動画像データを入力動画像データとして重み付けパラメータ決定部１０２及び画像符号化部１０３に出力する。撮像素子６１２は、例えば、制御部（図示せず）などの制御により、感度を変化させることができる。
撮像情報生成部６１３は、カメラ６００の動作を示す撮像情報を生成し、生成した撮像情報を重み付け予測判定部１０１に出力する。具体的には、撮像情報生成部６１３は、カメラ６００が備える加速度センサ（図示せず）から、カメラ６００自体の動きを判定し、カメラ６００がパン又はチルトしている状態であるか否かを判定する。そして、判定結果を撮像情報として重み付け予測判定部１０１に出力する。なお、加速度センサは、例えば、カメラ６００の手ブレ補正機能に用いられるセンサなどでよい。
また、撮像情報生成部６１３は、光学系６１１及び撮像素子６１２においてズーム、絞り又は感度などが変化しているかを判定する。そして、判定結果を撮像情報に含めて重み付け予測判定部１０１に出力する。なお、撮像情報生成部６１３は、制御部（図示せず）からズーム中であるか否かを示す情報を受け取ってもよい。
以上のような構成により、カメラ６００は、撮像することで得られた動画像データを、優れた画質及び符号化効率で符号化し、記録媒体に記録することができる。
以上のように、本発明に係る画像符号化装置及びカメラは、入力動画像データの画素情報、入力動画像データを撮影したカメラの撮像情報、及び符号化対象ピクチャより以前に符号化されたピクチャの画像符号化情報の内の少なくとも１つの情報を用いて、入力動画像データの符号化に重み付け予測を用いるか否かを判定する。判定結果に基づいて動き補償を行うため、入力動画像データの符号化効率を高めることができる。
また、重み付け予測を行わない動き補償と重み付け予測を行う動き補償との２種類の動き補償の方式を備え、マクロブロック毎に最適な方式を選択する常識的な方法に比べて、回路規模や演算量を削減することができる。したがって、画像符号化装置の演算量の削減、高速化、及び低消費電力化を図りつつ画質及び符号化効率を向上させることが可能である。
本発明に係る画像符号化装置及び画像符号化方法は、より小さな回路規模及び低消費電力でＨ．２６４などの圧縮符号化方式による映像の符号化を実現することができるという効果を奏し、例えば、ビデオカメラ、パーソナルコンピュータ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）レコーダ、ＤＶＤレコーダ及びカメラ付き携帯電話機等に適用できる。
１００、３００、４００、５００ 画像符号化装置
１０１、３０１、４０１ 重み付け予測判定部
１０２ 重み付けパラメータ決定部
１０３、４０３ 画像符号化部
２０１ 入力画像データメモリ
２０２ 参照画像データメモリ
２０３ 面内予測部
２０４ 動きベクトル検出部
２０５ 動き補償部
２０６ 予測モード判定部
２０７ 差分演算部
２０８ 直交変換部
２０９ 量子化部
２１０ 逆量子化部
２１１ 逆直交変換部
２１２ 加算部
２１３ エントロピー符号化部
５０１ ＬＳＩ
６００ カメラ
６１０ 撮像部
６１１ 光学系
６１２ 撮像素子
６１３ 撮像情報生成部

Claims (14)

  1. 符号化対象画像を含む動画像データを圧縮符号化する画像符号化装置であって、
    参照画像を蓄積する蓄積部と、
    前記蓄積部に蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成する予測画像生成部と、
    前記予測画像生成部によって生成された予測画像と前記符号化対象画像との差分を符号化する符号化部と、
    前記符号化対象画像が、前記動画像データのうち所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部とを備え、
    前記予測画像生成部は、
    前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する
    画像符号化装置。
  2. 前記判定部は、前記符号化対象画像を撮像したときの撮像装置の動作を示す撮像情報を取得し、取得した撮像情報に基づいて、前記符号化対象画像が前記ピクチャ群に含まれる画像であるか否かを判定する
    請求項１記載の画像符号化装置。
  3. 前記撮像情報は、前記撮像装置がズーム、パン又はチルトしている状態であるか否かを示し、
    前記判定部は、取得した撮像情報が、ズーム、パン又はチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定する
    請求項２記載の画像符号化装置。
  4. 前記撮像情報は、さらに、前記撮像装置が絞りを変化させている状態であるか否かを示し、
    前記判定部は、取得した撮像情報が、絞りを変化させている状態でないことを示す場合に、又は、絞りを変化させている状態であり、かつ、ズーム、パン若しくはチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定する
    請求項３記載の画像符号化装置。
  5. 前記画像符号化装置は、さらに、
    前記符号化対象画像が参照する１つ以上の参照画像毎に、前記オフセット値を所定の値に設定するパラメータ設定部を備え、
    前記動画像データは、インターレース方式の動画像データであり、
    前記パラメータ設定部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記符号化対象画像と逆パリティの関係にある参照画像の前記オフセット値を０に設定し、
    前記予測画像生成部は、前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記パラメータ設定部によって設定されたオフセット値と前記参照画像とを加算することで、前記予測画像を生成する
    請求項１記載の画像符号化装置。
  6. 前記判定部は、前記符号化対象画像と過去の符号化対象画像とに基づいて算出される特徴量が所定の閾値以上である場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定し、前記特徴量が前記閾値より小さい場合に、前記符号化対象画像が前記ピクチャ群に含まれない画像であると判定する
    請求項１記載の画像符号化装置。
  7. 前記判定部は、既に符号化された符号化対象画像を基に算出される特徴量が所定の閾値以上である場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定し、前記特徴量が前記閾値より小さい場合に、前記符号化対象画像が前記ピクチャ群に含まれない画像であると判定する
    請求項１記載の画像符号化装置。
  8. 前記画像符号化装置は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４圧縮符号化方式に基づいて前記動画像データを圧縮符号化し、
    前記画像符号化装置は、さらに、
    前記オフセット値を、Ｉｍｐｌｉｃｉｔモード又はＥｘｐｌｉｃｉｔモードで設定するパラメータ設定部を備える
    請求項１記載の画像符号化装置。
  9. 前記パラメータ設定部は、Ｅｘｐｌｉｃｉｔモードの場合に、前記符号化対象画像の輝度値の平均値と、前記参照画像の輝度値の平均値との変化量に基づいて前記オフセット値を設定する
    請求項８記載の画像符号化装置。
  10. 符号化対象画像を含む動画像データを圧縮符号化する画像符号化方法であって、
    前記符号化対象画像が、前記動画像データのうち所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かの判定を行い、
    メモリに蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成し、
    生成された前記予測画像と前記符号化対象画像との差分を符号化し、
    前記予測画像の生成では、
    前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する
    画像符号化方法。
  11. 符号化対象画像を含む動画像データを圧縮符号化する集積回路であって、
    参照画像を蓄積する蓄積部と、
    前記蓄積部に蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成する予測画像生成部と、
    前記予測画像生成部によって生成された予測画像と前記符号化対象画像との差分を符号化する符号化部と、
    前記符号化対象画像が、前記動画像データのうち所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部とを備え、
    前記予測画像生成部は、
    前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する
    集積回路。
  12. 被写体像を撮像することで得られた符号化対象画像を含む動画像データを圧縮符号化するカメラであって、
    被写体からの光を結像させることで、前記被写体像を形成する光学系と、
    前記被写体像を撮像することで、前記動画像データを取得する撮像素子と、
    当該カメラの動作を示す撮像情報を生成する撮像情報生成部と、
    参照画像を蓄積する蓄積部と、
    前記蓄積部に蓄積された参照画像に基づいて、当該参照画像の画素値に所定のオフセット値を加算する処理である重み付け予測を伴う動き補償、又は、前記重み付け予測を伴わない動き補償を行うことで、前記符号化対象画像の予測画像を生成する予測画像生成部と、
    前記予測画像生成部によって生成された予測画像と前記符号化対象画像との差分を符号化する符号化部と、
    前記撮像情報生成部によって生成された撮像情報に基づいて、前記符号化対象画像が、所定の動き量以上の動きを示す一連のピクチャ群に含まれる画像であるか否かを判定する判定部と、
    前記予測画像生成部は、
    前記判定部によって前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定された場合に、前記重み付け予測を伴わない動き補償を行うことで前記予測画像を生成し、前記符号化対象画像が前記ピクチャ群に含まれる画像ではないと判定された場合に、前記重み付け予測を伴う動き補償を行うことで前記予測画像を生成する
    カメラ。
  13. 前記撮像情報は、前記カメラがズーム、パン又はチルトしている状態であるか否かを示し、
    前記判定部は、取得した撮像情報が、ズーム、パン又はチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定する
    請求項１２記載のカメラ。
  14. 前記撮像情報は、さらに、前記カメラが絞りを変化させている状態であるか否かを示し、
    前記判定部は、取得した撮像情報が、絞りを変化させている状態でないことを示す場合に、又は、絞りを変化させている状態であり、かつ、ズーム、パン若しくはチルトしている状態であることを示す場合に、前記符号化対象画像が前記ピクチャ群に含まれる画像であると判定する
    請求項１３記載のカメラ。
JP2009173752A 2008-07-29 2009-07-24 画像符号化装置、画像符号化方法、集積回路及びカメラ Active JP5156704B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009173752A JP5156704B2 (ja) 2008-07-29 2009-07-24 画像符号化装置、画像符号化方法、集積回路及びカメラ
US12/510,827 US8514935B2 (en) 2008-07-29 2009-07-28 Image coding apparatus, image coding method, integrated circuit, and camera

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008194471 2008-07-29
JP2008194471 2008-07-29
JP2009173752A JP5156704B2 (ja) 2008-07-29 2009-07-24 画像符号化装置、画像符号化方法、集積回路及びカメラ

Publications (2)

Publication Number Publication Date
JP2010057166A JP2010057166A (ja) 2010-03-11
JP5156704B2 true JP5156704B2 (ja) 2013-03-06

Family

ID=41607929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173752A Active JP5156704B2 (ja) 2008-07-29 2009-07-24 画像符号化装置、画像符号化方法、集積回路及びカメラ

Country Status (2)

Country Link
US (1) US8514935B2 (ja)
JP (1) JP5156704B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
JP4964355B2 (ja) * 2010-09-30 2012-06-27 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
BR112013018470B1 (pt) * 2011-01-28 2022-03-03 Micron Devices Llc Sistema de estimulador neural
US8768082B2 (en) 2011-06-22 2014-07-01 Blackberry Limited Compressing image data
US8837582B2 (en) 2011-06-22 2014-09-16 Blackberry Limited Compressing image data
WO2012174636A1 (en) 2011-06-22 2012-12-27 Research In Motion Limited Compressing image data
EP2724320B1 (en) * 2011-06-22 2016-08-10 BlackBerry Limited Projection-based decompression of image data
JP6086619B2 (ja) * 2015-03-27 2017-03-01 株式会社日立国際電気 符号化装置および符号化方法
CN110662047B (zh) * 2019-10-10 2022-06-21 上海依图网络科技有限公司 图像存储方法及装置、电子设备以及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328000B2 (ja) * 2000-08-02 2009-09-09 富士通株式会社 動画像符号化装置および動画像の特殊効果シーン検出装置
JP4015934B2 (ja) 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US7463684B2 (en) 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
US7609767B2 (en) 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
MXPA05013727A (es) * 2003-06-25 2006-07-06 Thomson Licensing Metodo y aparato para el calculo de prediccion ponderada con el uso de diferencial de cuadro desplazado.
US8311121B2 (en) * 2005-10-12 2012-11-13 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
JP2008259018A (ja) * 2007-04-06 2008-10-23 Victor Co Of Japan Ltd シーンチェンジ検出装置

Also Published As

Publication number Publication date
US8514935B2 (en) 2013-08-20
US20100026829A1 (en) 2010-02-04
JP2010057166A (ja) 2010-03-11

Similar Documents

Publication Publication Date Title
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
RU2682859C1 (ru) Выбор точности вектора движения
JP5328854B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
JP7514345B2 (ja) ビデオ符号化の動きベクトル予測子インデックス符号化
CN102986211A (zh) 视频编码中的速率控制
KR20120058521A (ko) 화상 처리 장치 및 방법
JP2007201558A (ja) 動画像符号化装置および動画像符号化方法
US8358860B2 (en) Motion vector detecting device, motion vector detecting method, image encoding device, and program
JP4804423B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
US8254451B2 (en) Image coding apparatus, image coding method, image coding integrated circuit, and camera
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2023065581A (ja) ビデオ符号化及び復号化
EP2890128A1 (en) Video encoder with block merging and methods for use therewith
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
JP5322956B2 (ja) 画像符号化装置および画像符号化方法
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP2009296363A (ja) 動きベクトル探索装置および動きベクトル探索方法
US20120194643A1 (en) Video coding device and video coding method
JP4561701B2 (ja) 動画像符号化装置
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2011234045A (ja) 画像符号化装置及び画像符号化方法
JP2008028882A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250