JP2010063092A - 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ - Google Patents

画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ Download PDF

Info

Publication number
JP2010063092A
JP2010063092A JP2009178444A JP2009178444A JP2010063092A JP 2010063092 A JP2010063092 A JP 2010063092A JP 2009178444 A JP2009178444 A JP 2009178444A JP 2009178444 A JP2009178444 A JP 2009178444A JP 2010063092 A JP2010063092 A JP 2010063092A
Authority
JP
Japan
Prior art keywords
picture
unit
encoding
reference index
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009178444A
Other languages
English (en)
Inventor
Hisaki Maruyama
悠樹 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009178444A priority Critical patent/JP2010063092A/ja
Priority to US12/535,110 priority patent/US8254451B2/en
Publication of JP2010063092A publication Critical patent/JP2010063092A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる画像符号化装置等を提供すること。
【解決手段】画像符号化装置100であって、符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部102と、参照インデックス割当部102により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで符号化対象ピクチャをフィールド符号化するとともに、参照インデックスを符号化する画像符号化部103とを備え、参照インデックス割当部102は、複数の参照ピクチャに含まれる2枚の参照ピクチャのうち、符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる。
【選択図】図1

Description

本発明は、画像を圧縮符号化して光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディアに記録する画像符号化装置および画像符号化方法に関するものであり、特に、MPEG4 AVC/H.264(以下、H.264と略す)圧縮符号化方式により圧縮符号化を行う画像符号化装置、画像符号化方法、画像符号化集積回路、およびカメラに関する。
デジタル映像技術の発展と共に、データ量の増大に対応してデジタル映像データを圧縮符号化する技術が発展しつつある。その発展は、映像データの特性を生かし、映像データに特化した圧縮符号化技術となって現れている。
また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮符号化技術における複雑な演算も可能となり、映像データの圧縮率は大幅に高まりつつある。
例えば、衛星および地上波デジタルハイビジョン放送で採用されている圧縮符号化技術は、MPEG2(Moving Picture Experts Group phase 2)と呼ばれる圧縮符号化方式である。例えば、衛星デジタルハイビジョン放送はMPEG2によって映像データを約1/30に圧縮している。
MPEG2に続いて規格化された映像圧縮符号化方式の1つであるH.264圧縮符号化方式は、MPEG2の約2倍の圧縮率を実現すると言われている。
H.264は、光ディスクの1つの規格であるBlu−ray、および、ハイビジョン映像をビデオカメラで記録するための規格であるAVCHD(Advanced Video Codec High Definition)の動画圧縮方式としても採用されており、幅広い分野での利用が期待されている。
しかし、H.264は、非特許文献1に開示されているように、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現しているため、演算量もMPEG2と比べ大幅に増加している。
一般に、動画像の圧縮符号化においては、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行っている。具体的には、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック(マクロブロック)単位で動き量(動きベクトル)を検出し、検出した動きベクトルを考慮した予測を行うことにより予測精度を上げ、符号化効率を向上させている。
例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測値の残差を符号化することにより、符号化に必要な情報量を削減している。
動きベクトルを用いた符号化を行う場合、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録または伝送される。なお、ここで、動きベクトルの検出時に参照されるピクチャを参照ピクチャと呼ぶ。また、ピクチャとは1枚の画面を表す用語である。
動きベクトルはブロック単位で検出される。具体的には、符号化対象ピクチャ側のブロック(符号化対象ブロック)を固定しておき、参照ピクチャ側のブロック(参照ブロック)を探索範囲内で移動させる。このようにして符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
この動きベクトルを探索する処理を、動きベクトル検出と呼ぶ。また、似通っているかどうかの判断としては、符号化対象ブロックと参照ブロックの比較誤差を使用するのが一般的である。特に、絶対値差分和(SAD:Summed Absolute Difference)がよく用いられる。
なお、参照ピクチャ全体の中で参照ブロックを探索すると演算量が膨大となるため、参照ピクチャの中で探索する範囲を制限することが一般的である。制限した範囲を探索範囲と呼ぶ。
また、画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをIピクチャ、1枚の参照ピクチャから画面間予測符号化を行うものをPピクチャ、最大2枚の参照ピクチャから画面間予測符号化を行うものをBピクチャと呼ぶ。
なお、Bピクチャは任意の組み合わせとして2枚のピクチャを参照することが可能であり、その1枚目の参照ピクチャをL0予測の参照ピクチャ、2枚目の参照ピクチャをL1予測の参照ピクチャと呼ぶ。
H.264圧縮符号化方式においては、既に符号化した複数のピクチャから参照ピクチャを選択することができる。選択された各参照ピクチャはReference Index(参照インデックス)という変数で管理され、動きベクトルを符号化する時は、動きベクトルがどのピクチャを参照するかという情報として、参照インデックスを同時に符号化する。
この参照インデックスは0以上の値を取り、値が小さいほど符号化後の情報量(符号量)が少なくなる。また、各参照ピクチャへの参照インデックスの割り当てを自由に設定することができる。そのため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さい参照インデックスを割り当てることにより、符号化効率を向上させることが可能となる。
例えば、H.264圧縮符号化方式で採用される算術符号化の一種であるCABAC(Context−based Adaptive Binary Arithmetic Coding)では、符号化対象のデータを2値化し、算術符号化する。
従って、参照インデックスも2値化および算術符号化されることになる。ここで、参照インデックスが“2”である場合の2値化後の符号長(2値信号長)さは、3ビットであり、参照インデックスが“1”である場合の2値信号長さは、2ビットである。また。参照インデックスが“0”である場合、2値化後の符号長(2値信号長)は、1ビットである。
このように、参照インデックスの値が小さいほど、2値信号長は短い。そのため、参照インデックスを符号化して得られる最終的な符号量も、参照インデックスの値が小さいほど、小さくなる傾向にある。
従来の参照インデックスの割り当て方法としては、例えば、符号化対象ピクチャと同パリティの関係にある参照ピクチャに、符号化対象ピクチャと逆パリティの関係にある参照ピクチャよりも番号の小さな参照インデックスを割り当てる方法がある。
この方法は、H.264圧縮符号化方式による映像記録機能を搭載した多くのビデオカメラで採用されている。ここで、符号化対象ピクチャと同パリティの関係にある参照ピクチャとは、符号化対象ピクチャと同一のフィールドに属する参照ピクチャを指す。
例えば、符号化対象ピクチャがトップフィールドであるならば、トップフィールドに属する参照ピクチャが同パリティの関係にある参照ピクチャとなる。
また、符号化対象ピクチャと逆パリティの関係にある参照ピクチャとは、符号化対象ピクチャと異なるフィールドに属する参照ピクチャを指す。例えば、符号化対象ピクチャがトップフィールドならば、ボトムフィールドに属する参照ピクチャが逆パリティの関係にある参照ピクチャとなる。
図15を用いて、符号化対象ピクチャをPピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法について説明する。
図15は、符号化対象ピクチャをPピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法の一例を示す図である。
図15において、ピクチャI0はIピクチャとして符号化するピクチャであり、ピクチャP1、ピクチャP6およびピクチャP7はPピクチャとして符号化するピクチャであり、ピクチャB2、ピクチャB3、ピクチャB4およびピクチャB5はBピクチャとして符号化するピクチャであることをそれぞれ表している。これらピクチャは画像符号化装置100に入力された順序で図示されている。
なお、図中の矢印は、矢印の根元(出発点)にあたるピクチャを符号化するときに、矢印の先(到達点)にあたるピクチャを参照し得ることを示している。
符号化対象ピクチャをPピクチャとして符号化する場合(図15のピクチャP6およびピクチャP7が該当)、例えば、図15に示すように、ピクチャP6の参照ピクチャとして、ピクチャI0およびピクチャP1の中から、ピクチャP6に含まれるマクロブロックごとに1枚が選択される。
さらに、符号化対象ピクチャであるピクチャP6と同パリティの関係にあるピクチャI0に参照インデックス0(図15ではRefIdx0と記載)が割り当てられる。また、符号化対象ピクチャであるピクチャP6と逆パリティの関係にあるピクチャP1に参照インデックス1(図15ではRefIdx1と記載)が割り当てられる。
同様に、ピクチャP7の参照ピクチャとして、ピクチャP1およびピクチャP6の中からピクチャP1に含まれるマクロブロックごとに一枚が選択される。さらに、符号化対象ピクチャであるピクチャP7と同パリティの関係にあるピクチャP1に参照インデックス0が割り当てられ、符号化対象ピクチャであるピクチャP7と逆パリティの関係にあるピクチャP6に参照インデックス1が割り当てられる。
ITU−T Recommendation H.264
上記従来の参照インデックスの割り当て方法は、画面内で静止している部分が多いシーンにおいては望ましい方法であると言える。その理由は、符号化対象ピクチャと逆パリティの関係にある参照ピクチャよりも、同パリティの関係にある参照ピクチャの方が符号化対象ピクチャとの相関が高いためである。
つまり、符号化対象ピクチャと逆パリティの関係にある参照ピクチャを参照する動きベクトルよりも、同パリティの関係にある参照ピクチャを参照する動きベクトルが多く検出されるためである。
しかしながら、画面内で動きのある部分が多いシーンでは、符号化対象ピクチャとの時間的な距離が近い参照ピクチャの方が符号化対象ピクチャとの相関が高い。そのため、符号化対象ピクチャとの時間的な距離が近い参照ピクチャを参照する動きベクトルが多く検出される。
例えば、図15に示すように符号化対象ピクチャをPピクチャとして符号化する場合に、符号化対象ピクチャが画面内で動きのある部分の多いシーンであった場合を想定する。
この場合、符号化対象ピクチャとの時間的な距離が近い、参照インデックス1が割り当てられた参照ピクチャを参照する動きベクトルが多く選ばれるようになる。その結果、符号化効率が低下するという課題があった。
本発明はかかる問題を解決するためになされたものであり、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる画像符号化装置等を提供することを目的とする。
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像データをフィールド符号化する画像符号化装置であって、前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部と、前記参照インデックス割当部により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる。
この構成により、画面内で動きのある部分が多いシーンを構成する各ピクチャを符号化する際に共に符号化される参照インデックスの符号量を従来よりも小さくできる。その結果、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることができる。
また、前記参照インデックス割当部は、前記符号化対象ピクチャが、Pピクチャとしてフィールド符号化されるピクチャである場合、前記2枚の参照ピクチャのうちの、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てるとしてもよい。
また、前記参照インデックス割当部は、前記符号化対象ピクチャが、Bピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、前記符号化対象ピクチャよりも時間的に前方にある前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てるとしてもよい。
これらの構成によれば、符号化対象ピクチャの符号化構造に応じて、参照インデックスの符号量を従来よりも小さくできる。また、符号化前に決定される情報に応じて参照インデックスの割り当てを制御するため、例えば処理の遅延を発生させることがない。
また、さらに、前記符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する判定部とを備え、前記参照インデックス割当部は、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定された場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
また、前記参照インデックス割当部はさらに、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定されなかった場合、前記他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに、前記一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
これらの構成により、符号化対象ピクチャが、画面内で動きのある部分が多いシーンに含まれるピクチャか否かに応じて、参照インデックスの割り当て方式を動的に変更することができる。
また、前記判定部は、ズームまたはパンしている動画像に前記符号化対象ピクチャが含まれることを示す情報を取得した場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定するとしてもよい。
この構成により、例えば、入力画像データを生成するカメラから、ズームしているか否か等の情報を取得することで、入力画像データ中に大きな動きが発生しているか否かを容易に判定することができる。
また、前記判定部は、符号化対象である前記符号化対象ピクチャと、過去の符号化対象ピクチャとから算出される値である特徴量が、所定の閾値以上である場合、符号化対象である前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判断するとしてもよい。
この構成により、符号化対象ピクチャを含む動画像そのものから得られる情報を利用して符号化対象ピクチャが動きのある画像であるか否かを判定することができる。つまり、より精度よく当該判定を行うことができるため、画質及び符号化効率をさらに高めることができる。
また、前記画像符号化部は、前記符号化対象ピクチャを含む複数のピクチャそれぞれをフィールド符号化し、前記判定部は、前記画像符号化部による、前記符号化対象ピクチャのフィールド符号化より前の、フィールド符号化に用いられた複数の動きベクトルにより算出される値である特徴量が、予め定められた閾値以上である場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定するとしてもよい。
この構成により、既に符号化されたピクチャを利用して符号化対象ピクチャが動きのある画像であるか否かを判定することができる。つまり、より精度よく当該判定を行うことができるため、画質及び符号化効率をさらに高めることができる。
なお、本発明は、画像符号化装置として実現できるだけではなく、当該画像符号化装置と撮像部とを備えるカメラとして実現することもできる。
また、本発明のカメラは、さらに、前記カメラの撮影モードを切り替える撮影モード切替部を備え、前記参照インデックス割当部は、前記撮影モード切替部により、前記カメラの撮影モードが所定の撮影モードに切り替えられた場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
また、さらに、前記カメラがパンしている状態であること、または、前記カメラがズームしている状態であることを示す状態情報を取得する状態取得部を備え、前記参照インデックス割当部は、前記状態取得部により前記状態情報が取得された場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てるとしてもよい。
また、本発明は、当該画像符号化装置を構成する処理部による各処理を含む方法として実現することもできる。
また、上記の各画像符号化装置及びカメラを構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
本発明によれば、符号化対象ピクチャに時間的に近い参照ピクチャには、小さな値の参照インデックスが割り当てられる。そのため、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
図1は、本発明の実施の形態1に係る画像符号化装置の構成を示すブロック図である。 図2は、本発明の実施の形態1に係る画像符号化装置における画像符号化部の構成を示すブロック図である。 図3は、本発明の実施の形態1に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。 図4は、本発明の実施の形態1に係る画像符号化装置における参照インデックス割当部が実行する処理の一例を示すフローチャートである。 図5は、本発明の実施の形態1に係る画像符号化装置における参照インデックス割当部がPピクチャの参照方式を決定する方法の一例を示す図である。 図6は、本発明の実施の形態1に係る画像符号化装置における参照インデックス割当部がBピクチャの参照方式を決定する方法の一例を示す図である。 図7は、本発明の実施の形態1に係る画像符号化装置における参照インデックス割当部がBピクチャの参照方式を決定する方法の他の例を示す図である。 図8は、本発明の実施の形態2に係る画像符号化装置の構成を示すブロック図である。 図9は、本発明の実施の形態2に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。 図10は、本発明の実施の形態3に係る画像符号化装置の構成を示すブロック図である。 図11は、本発明の実施の形態3に係る画像符号化装置における動きフラグ生成部が実行する処理の一例を示すフローチャートである。 図12は、本発明に係る実施の形態の変形例におけるカメラの外観を示す斜視図である。 図13は、本発明に係る実施の形態の変形例におけるカメラの構成の一例を示すブロック図である。 図14は、実施の形態1の画像符号化装置における集積回路化の一例を示す図である。 図15は、符号化対象ピクチャをPピクチャとして符号化する場合における、従来の参照インデックスの割り当て方法の一例を示す図である。
以下に、本発明を実施するための形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像符号化装置100の構成を示すブロック図である。
本発明の実施の形態1に係る画像符号化装置100には、入力画像データと入力画像データの付加情報である入力画像付加情報とが入力される。
画像符号化装置100は、入力された入力画像データをH.264圧縮符号化方式で符号化し、ストリームとして出力する。
なお、H.264圧縮符号化方式による符号化においては、1つのピクチャを1つまたは複数のスライスに分割し、そのスライスを処理単位としている。本発明の実施の形態1におけるH.264圧縮符号化方式による符号化では、1つのピクチャが1つのスライスとして扱う。なお、このことは、後述する本発明の実施の形態2および3においても同様である。
図1に示すように、画像符号化装置100は、動きフラグ生成部101、参照インデックス割当部102および画像符号化部103を備える。
動きフラグ生成部101は、本発明の画像符号化装置における判定部の一例である。動きフラグ生成部101は、本実施の形態においては、入力画像データの付加情報である入力画像付加情報を受信する。さらに、受信した入力画像付加情報を基に生成した動きフラグ情報を参照インデックス割当部102に対して出力する。
なお、入力画像付加情報とは、例えば、画像符号化装置100に画像データを入力するカメラが、ズームをしているか否かを示す情報、パンをしているか否かを示す情報およびチルトをしているか否かを示す情報などである。
このような内容を示す入力画像付加情報は、例えば、当該カメラが備える加速度センサなどから動きフラグ生成部101に入力される。
つまり、入力画像付加情報は、当該入力画像データに含まれる符号化対象ピクチャが、ズームまたはパンしている動画像など、大きな動きを示す一連のピクチャ群に含まれるが否かを示す情報である。また、入力画像付加情報は、入力画像データとともに画像符号化装置100に入力される入力画像データに関する付加情報である。
なお、“パン”には、カメラを左右方向に振りながら動画を撮影する技法である“チルト”も含まれる。
参照インデックス割当部102は、入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる処理部である。
参照インデックス割当部102は、上記割り当て処理により割り当てた参照インデックスを含む情報を、参照インデックス情報として画像符号化部103に対して出力する。
参照インデックス割当部102における具体的な動作に関しては後述する。
画像符号化部103は、参照インデックス割当部102が出力した参照インデックス情報に従って、符号化対象ピクチャの画像データをH.264圧縮符号化方式により圧縮符号化する。
次に、図2を用いて、画像符号化部103の詳細な構成について説明する。
図2は、本発明の実施の形態1に係る画像符号化装置100における画像符号化部103の構成を示すブロック図である。
図2に示すように、画像符号化部103は、入力画像データメモリ201、参照画像データメモリ202、面内予測部203、動きベクトル検出部204、動き補償部205、予測モード判定部206、差分演算部207、直交変換部208、量子化部209、逆量子化部210、逆直交変換部211、加算部212、およびエントロピー符号化部213を備えている。
入力画像データメモリ201は、入力画像データを格納するメモリである。この入力画像データメモリ201が保持している情報は、面内予測部203、動きベクトル検出部204、予測モード判定部206、および差分演算部207により参照される。
動きベクトル検出部204は、参照画像データメモリ202に格納されているローカルデコード画像を探索対象とし、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定する。
なお、この探索対象とするローカルデコード画像、つまり、参照ピクチャの特定には、参照インデックス割当部102から入力される参照インデックス情報が用いられる。
動きベクトル検出部204はさらに、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定し、決定したそれらの情報を動き補償部205およびエントロピー符号化部213に送信する。
動き補償部205は、動きベクトル検出部204から受信した情報に含まれる動きベクトルを用いて、参照画像データメモリ202に格納されているローカルデコード画像から予測画像に最適な画像領域を取り出し、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部206に出力する。
なお、この面間予測に用いられるローカルデコード画像、つまり、参照ピクチャの特定には、参照インデックス割当部102から入力される参照インデックス情報が用いられる。
面内予測部203は、参照画像データメモリ202に格納されているローカルデコード画像から同一画面内の符号化後の画素を用いて面内予測を行い、面内予測の予測画像を生成する。面内予測部203はさらに、生成した予測画像を予測モード判定部206に出力する。
予測モード判定部206は、予測モードを判定する。予測モード判定部206はさらに、その判定結果に基づき、面内予測部203により生成された予測画像と、動き補償部205により生成された予測画像を切り替えて出力する。
なお、予測モード判定部206において予測モードを判定する方法としては、例えば、面間予測と面内予測について、それぞれ入力画像と予測画像との各画素の差分絶対値和を求める。さらに、この値が小さい方を、採用する予測モードと判定する。
差分演算部207は、入力画像データメモリ201から符号化対象となる画像データを取得し、取得した画像データと予測モード判定部206から出力された予測画像との画素差分値を計算する。差分演算部207はさらに、計算した画素差分値を直交変換部208に出力する。
直交変換部208は、差分演算部207から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部209に出力する。
量子化部209は、直交変換部208から入力された周波数係数を量子化し、量子化した値、すなわち量子化値を、符号化すべきデータとしてエントロピー符号化部213および逆量子化部210に出力する。
逆量子化部210は、量子化部209から入力された量子化値を逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換部211に出力する。
逆直交変換部211は、逆量子化部210から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部212に出力する。
加算部212は、逆直交変換部211から入力される画素差分値と、予測モード判定部206から出力された予測画像を加算してローカルデコード画像を生成する。加算部212はさらに、そのローカルデコード画像を参照画像データメモリ202に出力する。
ここで、参照画像データメモリ202に記憶されるローカルデコード画像は、入力画像データメモリ201に記憶される入力画像と基本的には同じ画像である。
しかし、ローカルでコード画像は、画素差分値が、直交変換部208および量子化部209などで一旦直交変換および量子化処理をされた後、逆量子化部210および逆直交変換部211などで逆量子化および逆直交変換処理をされた結果を含んでいる。そのため、ローカルデコード画像は、量子化歪みなどの歪み成分を有している。
参照画像データメモリ202は、加算部212から入力されるローカルデコード画像を、参照インデックス割当部102から入力される参照インデックス情報に従って格納する。
例えば、参照インデックス情報が、入力されたローカルデコード画像を参照インデックス0として扱うという情報であった場合、該ローカルデコード画像に参照インデックス0のタグ情報を付与して管理する。
これにより、動きベクトル検出部204および動き補償部205は、上述のようにそれぞれの処理に必要なローカルデコード画像を特定することができる。
エントロピー符号化部213は、量子化部209から入力された量子化値および動きベクトル検出部204から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを出力ストリームとして出力する。
次に、図1および図2を参照しながら、以上のように構成された画像符号化装置100が実行する処理について説明する。
まず、入力画像データが画像符号化部103に入力され、また入力画像付加情報が動きフラグ生成部101に入力される。
入力画像データは、画像符号化部103の入力画像データメモリ201に格納される。入力画像データは、例えば、1920画素×1080画素によって構成されている。
動きフラグ生成部101は、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定し、判定の結果を示す符号化フラグ情報を生成する。
本実施の形態では、動きフラグ生成部101は、入力画像付加情報を参照することで、入力画像データに含まれる符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。
その結果、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであると判定した場合は、ONを示す動きフラグ情報を生成する。また、そうでない場合はOFFを示す動きフラグ情報を生成する。動きフラグ生成部101はさらに、生成した動きフラグ情報を、参照インデックス割当部102へ出力する。
次に、図3を用いて、動きフラグ生成部101が実行する処理の一例を説明する。
図3は、本発明の実施の形態1に係る画像符号化装置100における動きフラグ生成部101が実行する処理の一例を示すフローチャートである。
図3に示すように、動きフラグ生成部101は、入力画像データが、例えばカメラがパンしながら撮影され生成されたものであるか否か、つまり、入力画像データがパンをしている状態にあるか否かを判断する(S301)。
S301においてパンをしている状態にあると判断された場合(S301でYes)、動きフラグ生成部101はONを示す動きフラグ情報を生成して参照インデックス割当部102へ出力する(S302)。
また、S301においてパンをしている状態にないと判断された場合(S301でNo)、動きフラグ生成部101はOFFを示す動きフラグ情報を生成して参照インデックス割当部102へ出力する(S303)。
次に、図4を用いて、参照インデックス割当部102が実行する処理の一例について説明する。
図4は、本発明の実施の形態1に係る画像符号化装置100における参照インデックス割当部102が実行する処理の一例を示すフローチャートである。
参照インデックス割当部102は、動きフラグ生成部101から入力された動きフラグ情報に基づき、符号化対象ピクチャを符号化する際に、参照ピクチャにどのように参照インデックスを割り当てるかを示す参照方式などの情報を決定する。
参照インデックス割当部102はさらに、決定したそれらの情報を参照インデックス情報として画像符号化部103に対出力する。
参照インデックス割当部102は、動きフラグ生成部101から入力された動きフラグ情報がONであるかOFFであるかを判断する(S401)。参照インデックス割当部102は、S401において動きフラグ情報がONであると判断した場合(S401でYes)、動きフラグON時の参照方式を選択する(S402)。
S401において動きフラグ情報がOFFであると判断された場合、参照インデックス割当部102は、動きフラグOFF時の参照方式を選択する(S403)。
参照インデックス割当部102は、選択したそれぞれの参照方式を示す参照インデックス情報を画像符号化部103に対して出力する。
なお、動きフラグON時の参照方式および動きフラグOFF時の参照方式については後に詳しく述べる。動きフラグON時の参照方式を簡単に説明すると、符号化対象ピクチャに対して時間的に近い位置に存在する参照ピクチャに小さな値の参照インデックスを割り当てるように参照方式を決定する。
画像符号化部103は、参照インデックス割当部102で決定された参照インデックス情報に基づいて動きベクトル検出、動き補償、面内予測、直交変換、量子化およびエントロピー符号化等の一連の圧縮符号化処理を実行する。
なお、本発明の実施の形態1においては、画像符号化部103は、H.264圧縮符号化方式にしたがって入力画像データを圧縮符号化するものとする。また、このことは、後述する本発明の実施の形態2および3においても同様である。
次に、図5、図6および図7を参照しながら、参照インデックス割当部102がどのように参照方式を決定するかについて説明する。
図5は、本発明の実施の形態1に係る画像符号化装置100における参照インデックス割当部102がPピクチャについての参照方式を決定する方法の一例を示す図である。
図6は、本発明の実施の形態1に係る画像符号化装置100における参照インデックス割当部102がBピクチャについての参照方式を決定する方法の一例を示す図である。
図7は、本発明の実施の形態1に係る画像符号化装置100における参照インデックス割当部102がBピクチャについての参照方式を決定する方法の他の例を示す図である。
まず、図5(a)および図5(b)を参照しながら、Pピクチャについての参照方式を決定する方法の一例について説明する。
図5は、具体的には、符号化対象ピクチャをPピクチャとして符号化する場合における、(a)動きフラグ情報がOFF時の参照方式と(b)動きフラグ情報がON時の参照方式とを示す図である。
図5(a)および図5(b)において、ピクチャI0はIピクチャとして符号化するピクチャであり、ピクチャP1、ピクチャP6およびピクチャP7はPピクチャとして符号化するピクチャであり、また、ピクチャB2、ピクチャB3、ピクチャB4およびピクチャB5はBピクチャとして符号化するピクチャであることをそれぞれ表している。
なお、これらピクチャは時間順序で表示されている。また、図中の矢印は、矢印の根元(出発点)にあたるピクチャを符号化するときに、矢印の先(到達点)にあたるピクチャを参照し得ることを示している。
符号化対象ピクチャをPピクチャとして符号化する場合(図5(a)のピクチャP6およびピクチャP7が該当)、例えば、図5(a)に示すように、ピクチャP6の参照ピクチャとしてピクチャI0およびピクチャP1の中からからピクチャP6のマクロブロックごとに1枚が選択される。つまり、ピクチャP6の参照ピクチャとしてピクチャI0およびピクチャP1が選択可能である。
動きフラグ情報がOFF時の参照方式では、参照インデックス割当部102は、ピクチャI0に参照インデックス0(図5ではRefIdx0と記載)を割り当て、ピクチャP1に参照インデックス1(図5ではRefIdx1と記載)を割り当てる。
また、参照インデックス割当部102は、同様に、ピクチャP7の参照ピクチャとして選択可能なピクチャP1およびピクチャP6のうち、ピクチャP1に参照インデックス0を、ピクチャP6に参照インデックス1を割り当てる。
一方、動きフラグ情報がON時の参照方式では、参照インデックス割当部102は、例えば、図5(b)に示すように、ピクチャP6の参照ピクチャとして選択可能なピクチャI0およびピクチャP1のうちの、ピクチャP6に近い一方の参照ピクチャであるピクチャP1に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャI0に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャP7の参照ピクチャとして選択可能なピクチャP1およびピクチャP6のうちの、ピクチャP7に近い一方の参照ピクチャであるピクチャP6に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP1に参照インデックス1を割り当てる。
このように、参照インデックス割当部102は、符号化対象ピクチャが、Pピクチャとしてフィールド符号化されるピクチャである場合、2枚の参照ピクチャのうちの、符号化対象ピクチャとの時間的な距離が近い一方である、符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる。
次に、図6(a)および図6(b)を参照しながら、Bピクチャの参照方式を決定する方法の一例について説明する。
図6は、具体的には、符号化対象ピクチャが時間的にPピクチャの次に位置するフレームに属し、かつ、Bピクチャとして符号化する場合におけるもので、(a)は動きフラグ情報がOFF時の参照方式を示す図であり、(b)は動きフラグ情報がON時の参照方式を示す図である。また、図中の矢印の意味は、図5(a)および図5(b)における意味と同じである。
符号化対象ピクチャが時間的にPピクチャの次に位置するフレームに属し、かつ、Bピクチャとして符号化する場合(図6(a)のピクチャB2およびピクチャB3が該当)、例えば、図6(a)に示すように、ピクチャB2のL0予測の参照ピクチャとしてピクチャI0とおよびピクチャP1が選択可能であり、L1予測の参照ピクチャとしてピクチャP6およびピクチャP7が選択可能である。
また、ピクチャB3のL0予測の参照ピクチャとしてピクチャP1およびピクチャB2が選択可能であり、L1予測の参照ピクチャとしてピクチャP6およびピクチャP7が選択可能である。
動きフラグ情報がOFF時の参照方式では、参照インデックス割当部102は、ピクチャB2の複数の参照ピクチャのうち、ピクチャI0に参照インデックス0(図6(a)ではRefIdx0と記載)を割り当て、ピクチャP1に参照インデックス1(図6(a)ではRefIdx1と記載)を割り当てる。また、参照インデックス割当部102は、ピクチャP6に参照インデックス0を割り当て、ピクチャP7に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB3の複数の参照ピクチャのうち、ピクチャP1に参照インデックス0を割り当て、ピクチャB2に参照インデックス1を割り当て、ピクチャP6に参照インデックス1を割り当て、ピクチャP7に参照インデックス0を割り当てる。
一方、動きフラグ情報がON時の参照方式では、参照インデックス割当部102は、例えば、図6(b)に示すように、ピクチャB2のL0予測の参照ピクチャとして選択可能なピクチャI0およびピクチャP1のうちの、ピクチャB2に近い一方の参照ピクチャであるピクチャP1に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャI0に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB2のL1予測の参照ピクチャとして選択可能なピクチャP6およびピクチャP7のうちの、ピクチャB2に近い一方の参照ピクチャであるピクチャP6に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP7に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB3のL0予測の参照ピクチャとして選択可能なピクチャP1およびピクチャB2のうちの、ピクチャB3に近い一方の参照ピクチャであるピクチャB2に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP1に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB3のL1予測の参照ピクチャとして選択可能なピクチャP6およびピクチャP7のうちの、ピクチャB3に近い一方の参照ピクチャであるピクチャP6に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP7に参照インデックス1を割り当てる。
次に、図7(a)および図7(b)を参照しながら、Bピクチャの参照方式を決定する方法の他の例について説明する。
図7は、具体的には、符号化対象ピクチャが時間的にPピクチャの直前に位置するフレームに属し、かつ、Bピクチャとして符号化する場合におけるもので、(a)は動きフラグ情報がOFF時の参照方式を示す図であり、(b)は動きフラグ情報がON時の参照方式を示す図である。図中の矢印の意味は、図5(a)および図5(b)における意味と同じである。
符号化対象ピクチャが時間的にPピクチャの直前に位置するフレームに属し、かつ、Bピクチャとして符号化する場合(図7(a)のピクチャB4およびピクチャB5が該当)、例えば、図7(a)に示すように、ピクチャB4のL0予測の参照ピクチャとしてピクチャB2とおよびピクチャB3が選択可能であり、L1予測の参照ピクチャとしてピクチャP6およびピクチャP7が選択可能である。
また、ピクチャB5のL0予測の参照ピクチャとしてピクチャB2およびピクチャB3が選択可能であり、L1予測の参照ピクチャとしてピクチャP6およびピクチャP7が選択可能である。
動きフラグ情報がOFF時の参照方式では、参照インデックス割当部102は、ピクチャB4の複数の参照ピクチャのうち、ピクチャB2に参照インデックス0(図7(a)ではRefIdx0と記載)を割り当て、ピクチャB3に参照インデックス1(図7(a)ではRefIdx1)を割り当てる。また、参照インデックス割当部102は、ピクチャP6に参照インデックス0を割り当て、ピクチャP7に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB5の複数の参照ピクチャのうち、ピクチャB2に参照インデックス1を割り当て、ピクチャB3に参照インデックス0を割り当て、ピクチャP6に参照インデックス1を割り当て、ピクチャP7に参照インデックス0を割り当てる。
一方、動きフラグ情報がON時の参照方式では、参照インデックス割当部102は、例えば、図7(b)に示すように、ピクチャB4のL0予測の参照ピクチャとして選択可能なピクチャB2およびピクチャB3のうちの、ピクチャB4に近い一方の参照ピクチャであるピクチャB3に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャB2に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB4のL1予測の参照ピクチャとして選択可能なピクチャP6およびピクチャP7のうちの、ピクチャB4に近い一方の参照ピクチャであるピクチャP6に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP7に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB5のL0予測の参照ピクチャとして選択可能なピクチャB2およびピクチャB3のうちの、ピクチャB5に近い一方の参照ピクチャであるピクチャB3に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャB2に参照インデックス1を割り当てる。
また、参照インデックス割当部102は、ピクチャB5のL1予測の参照ピクチャとして選択可能なピクチャP6およびピクチャP7のうちの、ピクチャB5に近い一方の参照ピクチャであるピクチャP6に参照インデックス0を割り当てる。また、他方の参照ピクチャであるピクチャP7に参照インデックス1を割り当てる。
このように、参照インデックス割当部102は、符号化対象ピクチャが、Bピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、符号化対象ピクチャよりも時間的に前方にある前記2枚の参照ピクチャのうち、符号化対象ピクチャとの時間的な距離が近い一方である、符号化対象ピクチャと同パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる。
以上説明したように、動きフラグ生成部101は、動きフラグ情報を入力画像データの入力画像付加情報から決定する。また、参照インデックス割当部102は、動きフラグ生成部101から入力される動きフラグ情報がONの場合には、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように参照方式を決定する。
また、参照インデックス割当部102は、動きフラグ生成部101から入力される動きフラグ情報がOFFの場合には、符号化対象ピクチャと同パリティの関係にある参照ピクチャに値の小さな参照インデックスを割り当てるように参照方式を決定する。
このように、参照ピクチャに対する参照インデックスの割り当てが制御されることにより、複数の参照ピクチャの中で、参照する動きベクトルが多い参照ピクチャの参照インデックスを小さい値、すなわち、情報量(符号量)の少ない値に設定することができる。そのため、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
なお、画像符号化装置100は、符号化対象ピクチャが所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かの判定を行わなくてもよい。例えば、常に動いている被写体を監視するカメラから得られる動画像など、符号化対象となる動画像に含まれる各ピクチャが大きな動きを示す確率が高い場合、上記判定をすることなく、動きフラグ情報がON時の参照方式に決定してもよい。
(実施の形態2)
図8は、本発明の実施の形態2に係る画像符号化装置800の構成を示すブロック図である。
図8に示すように、画像符号化装置800は、動きフラグ生成部801、参照インデックス割当部102および画像符号化部103を備える。
動きフラグ生成部801には、入力画像付加情報ではなく入力画像データそのものが入力される。動きフラグ生成部801は、入力された入力画像データの画素情報を用いて動きフラグ情報を生成し、生成した動きフラグ情報を参照インデックス割当部102に対して出力する。
なお、参照インデックス割当部102および画像符号化部103は、本発明の実施の形態1と同様のものであるので同じ符号を付し、ここでは説明を省略する。
次に、以上のように構成された画像符号化装置800における動きフラグ生成部801が実行する処理について説明する。
まず、入力画像データが、画像符号化部103とともに動きフラグ生成部801に入力される。動きフラグ生成部801は、入力された入力画像データの画素情報から、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。
つまり、動きフラグ生成部801は、入力された入力画像データの画素情報から、入力画像データが大きな動きを含む画像であるか否かを判定する。
動きフラグ生成部801は、この判定の結果、入力画像データが大きな動きを含む画像データであると判定した場合、ONを示す動きフラグ情報を生成し、そうでない場合はOFFを示す動きフラグ情報を生成する。動きフラグ生成部801は、生成した動きフラグ情報を参照インデックス割当部102へ出力する。
次に、図9を用いて、動きフラグ生成部801が実行する処理の一例を説明する。
図9は、本発明の実施の形態2に係る画像符号化装置800における動きフラグ生成部801が実行する処理の一例を示すフローチャートである。
図9に示すように、動きフラグ生成部801は、入力画像データから前処理動きベクトル特徴量を算出する(S901)。動きフラグ生成部801はさらに、S901において算出された処理前画像の特徴量が予め定めた閾値以上であるか否かを判断する(S902)。
つまり、動きフラグ生成部801は、符号化処理がなされる前の符号化対象ピクチャの特徴量が閾値以上であるか否かを判断する。
動きフラグ生成部801は、算出した特徴量が予め定めた閾値以上であると判断した場合(S902でYes)、ONを示す動きフラグ情報を生成して出力する(S903)。
また、動きフラグ生成部801は、算出した特徴量が予め定めた閾値よりも小さいと判断した場合(S902でNo)、OFFを示す動きフラグ情報を生成して出力する(S904)。
ここで、入力画像データから算出した処理前画像の特徴量とは、現在の符号化対象ピクチャと過去の符号化対象ピクチャとから算出される値である。具体的には、現在の入力画像と過去の入力画像から算出した、各動きベクトルのX成分・Y成分の絶対値の和、または、2点間距離を表すユークリッドノルムの動きベクトルの大きさなどである。
また、過去の入力画像とは、現在の入力画像を符号化する際に用いる参照ピクチャに相当する過去の入力画像でもよい。また、現在の入力画像の直前に入力された入力画像であってもよい。さらに、これらに限られるものではない。
例えば、回路設計の都合などで上記のような所望の過去の入力画像を使用することができない場合、現在の入力画像の数フレーム前に入力されたような他の過去の入力画像で代用してもよい。
また、現在の入力画像と過去の入力画像の動きベクトルとは、現在の入力縮小画像と過去の入力縮小画像に対して予め定められた探索範囲で動きベクトル検出を行い、この検出により得られた動きベクトルの代表ベクトルなどである。なお、現在の入力縮小画像、および、過去の入力縮小画像は、現在の入力画像と過去の入力画像を縮小して得られる。
また代表ベクトルとは、動きベクトルの平均ベクトルが考えられるが、これに限るものではなく、統計処理などを用いて代表ベクトルを決定してもよい。
なお、図9に示す処理の後の、画像符号化装置800の処理の流れは、実施の形態1の画像符号化装置100と同じである。つまり、図4に示すように、画像符号化部103が、ONを示す動きフラグ情報を受信すると、フラグON時の参照方式が選択される。
すなわち、画像符号化装置800は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに値の小さな参照インデックスを割り当てるように参照方式を決定する。
従って、実施の形態2の画像符号化装置800は、実施の形態1の画像符号化装置100と同じく、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
(実施の形態3)
図10は、本発明の実施の形態3に係る画像符号化装置900の構成を示すブロック図である。
図10において、画像符号化装置900は、動きフラグ生成部901、参照インデックス割当部102および画像符号化部103を備える。
動きフラグ生成部901は、画像符号化部103によって、現在の入力画像データ(現在の符号化対象ピクチャ)より以前に符号化され生成されたピクチャの画像符号化情報を用いて動きフラグ情報を生成する。動きフラグ生成部901は、生成した動きフラグ情報を参照インデックス割当部102に対して出力する。
参照インデックス割当部102および画像符号化部103は、本発明の実施の形態1と同様のものであるので同じ符号を付し、ここでは説明を省略する。
次に、以上のように構成された画像符号化装置900における動きフラグ生成部901が実行する処理について説明する。
まず、入力画像データが画像符号化部103に入力される。画像符号化部103は、本発明の実施の形態1および2と同様、参照インデックス割当部102が出力した参照方式決定情報に従って、入力画像データにおける符号化対象ピクチャの画像データを、H.264圧縮符号化方式により圧縮符号化して出力ストリームとして出力する。
また、画像符号化部103は、入力画像データにおける符号化対象ピクチャの画像データの圧縮符号化に用いた情報である画像符号化情報を動きフラグ生成部901に出力する。
動きフラグ生成部901は、画像符号化部103から出力された画像符号化情報を受信する。動きフラグ生成部901は、画像符号化部103によって現在の符号化対象ピクチャより以前に符号化され生成されたピクチャの画像符号化情報を用いて、符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する。つまり、入力画像データが大きな動きを含む画像であるか否かを判定する。
動きフラグ生成部901は、入力画像データが大きな動きを含む画像データであると判定した場合はONを示す動きフラグ情報を生成し、そうでない場合はOFFを示す動きフラグ情報を生成する。動きフラグ生成部901は、生成した動きフラグ情報を参照インデックス割当部102へ出力する。
なお、上記説明では、画像符号化部103から動きフラグ生成部901に対して画像符号化情報を送信するとした。しかし、これに限るものではなく、画像符号化部103は、動きフラグ生成部901に、画像符号化情報を含む出力ストリームを送信してもかまわない。
ただしこの場合は、動きフラグ生成部901は、画像符号化部103から入力された出力ストリームから画像符号化情報を抽出する機能を備える必要がある。
次に、図11を用いて、動きフラグ生成部901が実行する処理の一例を説明する。
図11は、本発明の実施の形態3に係る画像符号化装置900における動きフラグ生成部901が実行する処理の一例を示すフローチャートである。
図11に示すように、動きフラグ生成部901は、まず、画像符号化部103によって現在の入力画像データより以前に符号化され出力されたピクチャの画像符号化情報から符号化動きベクトル特徴量を算出する(S1001)。次に、動きフラグ生成部901は、S1001において算出した符号化動きベクトル特徴量が予め定めた閾値以上であるか否かを判断する(S1002)。
S1002において、符号化動きベクトル特徴量が予め定めた閾値以上であると判断された場合(S1002でYes)、動きフラグ生成部901は、参照インデックス割当部102に対してONを示す動きフラグ情報を出力する(S1003)。符号化動きベクトル特徴量が予め定めた閾値より小さいと判断された場合(S1002でNo)、動きフラグ生成部901は、参照インデックス割当部102に対してOFFを示す動きフラグ情報を出力する(S1004)。
ここで、画像符号化部103によって現在の入力画像データより以前に符号化され出力されたピクチャの画像符号化情報とは、各マクロブロックで符号化された動きベクトルおよび動きベクトル以外のパラメータなどである。
また、符号化動きベクトル特徴量とは、符号化後のピクチャに属する動きベクトルの平均値、当該ピクチャに属する動きベクトルの絶対値の平均値、および当該ピクチャに属する動きベクトルの分散などである。
なお、図11に示す処理の後の、画像符号化装置900の処理の流れは、実施の形態1の画像符号化装置100と同じである。つまり、図4に示すように、画像符号化部103が、ONを示す動きフラグ情報を受信すると、フラグON時の参照方式が選択される。
すなわち、画像符号化装置900は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように参照方式を決定する。
従って、実施の形態3の画像符号化装置900は、実施の形態1の画像符号化装置100と同じく、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
以上のように、本発明の実施の形態1〜3に係る画像符号化装置のそれぞれは、動きフラグ生成部101、または801、または901において、入力画像データの付加情報である入力画像付加情報、入力画像データの画素情報、または画像符号化部103によって生成された現在の入力画像データより以前に符号化したピクチャの画像符号化情報、の内のいずれかの情報に基づき動きフラグ情報を生成して参照インデックス割当部102へ出力する。
また、参照インデックス割当部102は、符号化における参照方式を決定して画像符号化部103へ出力する。画像符号化部103は、参照インデックス割当部102から出力された参照方式に基づいて入力画像データを符号化してストリームを出力する。
本発明の実施の形態1〜3に係る画像符号化装置のそれぞれは、上記の機能構成を備えることにより、入力画像データの特性にあわせて適切な参照インデックスの割り当てを行うことができるため、符号化効率を向上させることができる。
なお、入力画像データの符号化における参照インデックスの割り当て方を決定する方法として、本発明の実施の形態1〜3においてそれぞれ3つの異なる方法を示し。しかしながら、これらの方法を組み合わせることにより、入力画像データの符号化における参照インデックスの割り当て方を決定してもかまわない。
以上、本発明の実施の形態1〜3について説明したが、本発明はこれに限定されるものではない。例えば、本発明の実施の形態1においては、入力画像付加情報として、入力画像データがパンをしている状態にあるか否かを示している情報を例に挙げた。
しかしながら、入力画像付加情報によって示される内容は、これに限るものではなく、入力画像付加情報は、入力画像データがズームをしている状態にあるか否かを示す情報、あるいは、入力画像データがチルトをしている状態にあるか否かを示す情報であってもかまわない。
また、本発明の実施の形態1〜3においては、入力画像データの画素情報、入力画像データの付加情報である入力画像付加情報、および入力画像データより以前に符号化されたピクチャの画像符号化情報、の内の少なくとも1つの情報を用いて、動きフラグ情報を生成する場合を例に挙げた。
しかしながら、動きフラグ情報の生成手法はこれに限るものではなく、MPEG2の符号化ストリームをデコードしてH.264圧縮符号化方式で符号化する場合、例えば、MPEG2の符号化ストリームをデコードする際に得た各マクロブロックの動きベクトルの平均ベクトルなどから動きフラグ情報を生成してもよい。
また、本発明の実施の形態1〜3においては、Bピクチャの符号化では4枚の参照ピクチャの中から動きベクトルの参照ピクチャを選ぶことができる場合を説明した。しかし、これに限るものではなく、例えば、3枚の参照ピクチャの中から動きベクトルの参照ピクチャを選ぶことができる場合に、本発明を適用させてもよい。
また、本発明の実施の形態1〜3においては、符号化対象ピクチャが、Pピクチャであるかどうか、Bピクチャであるかどうかに関わらず、全てのピクチャについて、参照インデックスの割り当てを適応的に切り替える場合を例に挙げて説明した。しかし、これに限るものではなく、例えば、Pピクチャのみに対して本発明を適用してもよいし、ボトムフィールドのみに本発明を適用させてもよい。
また、本発明の実施の形態1〜3においては、圧縮符号化方式としてH.264を用いた場合を例に挙げた。しかし、これに限るものではなく、参照インデックスを割り当てて参照ピクチャを管理する機能を持つ圧縮符号化方式に対して本発明を適用してもよい。
以上のように、本発明の画像符号化装置は、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスを割り当てるように、入力画像データの符号化における参照インデックスの割り当て方を決定する。
つまり、符号化により得られる符号量の増加を抑制するように符号化処理を行うため、入力画像データの符号化効率を高めることができる。
したがって、本発明に係る画像符号化装置は、画面内で動きのある部分が多いシーンにおいても符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能である。
なお、本発明は、図12および図13に示すようなカメラ1200として実現することもできる。
図12は、本発明に係る実施の形態の変形例におけるカメラ1200の外観を示す斜視図である。
図13は、本発明に係る実施の形態の変形例におけるカメラ1200の構成の一例を示すブロック図である。
図12および図13に示すカメラ1200は、被写体像を撮像することで得られた動画像データを符号化し、記録媒体に記録する、または、外部装置に送信する撮像装置である。
カメラ1200は、画像符号化装置100と、撮像部1210と、撮影モード切替部1220と、状態取得部1230とを備える。
画像符号化装置100は、実施の形態1に示したものと同じものであるので同じ符号を付し、以下では説明を省略する。
撮像部1210は、被写体像を撮像する構成要素であって、光学レンズおよびイメージセンサ等を有する。撮像部1210が撮像することにより得られた動画像データは、入力画像データとして、画像符号化装置100に入力される。
状態取得部1230は、カメラ1200が、パンしている状態であること、またはズームしている状態であること等を示す状態情報を取得する構成要素である。
状態取得部1230は、例えば、カメラ1200が備えるズームボタン(図示せず)および加速度センサ(図示せず)などから状態情報を取得する。
撮影モード切替部1220は、カメラ1200の撮影モードを切り替える構成要素である。撮影モード切替部1220は、例えばカメラ1200のユーザの指示を取得し、指示に応じた撮影モードに切り替えるよう、撮像部1210に指示する。撮像部1210は、指示された撮影モードに応じて、ズームまたは絞り等を変化させる。
このように構成されたカメラ1200の動作を簡単に説明する。
例えば、カメラ1200がパンしながら風景を撮影している場合、状態取得部1230は、例えば加速度センサから、カメラ1200がパンしていることを示す状態情報を取得する。
状態取得部1230は、取得した状態情報を、画像符号化装置100の動きフラグ生成部101に出力する。動きフラグ生成部101は、カメラ1200がパンしていることを示す状態情報を受け取ると、ONを示す動きフラグ情報を生成して参照インデックス割当部102へ出力する(図3のS302)。
その後、参照インデックス割当部102は、動きフラグON時の参照方式を選択する(図4のS402)。つまり、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスが割り当てられる。
これにより、カメラ1200がパンしていることにより、画面内で動きのある部分が多いシーンが発生した場合であっても、符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
なお、参照インデックス割当部102は、ONを示す動きフラグ情報ではなく、カメラ1200がパンしていること等を示す状態情報を受け取ってもよい。つまり、参照インデックス割当部102は、当該状態情報を受け取ることで、動きフラグON時の参照方式を選択してもよい。
また、例えば、ユーザから、撮影モード切替部1220に、「スポーツモード」に切り替える指示がなされた場合を想定する。
なお、「スポーツモード」は、本発明のカメラにおける所定の撮影モードの一例である。「スポーツモード」とは、例えば、動きまわる選手を追いかけながら撮影する際に選択される撮影モードである。
この場合、撮影モード切替部1220は、撮像部1210に「スポーツモード」に切り替える指示を行うとともに、画像符号化装置100の動きフラグ生成部101に、「スポーツモード」に切り替わることを示す情報を出力する。
動きフラグ生成部101は、カメラ1200が「スポーツモード」に切り替わることを示す情報を受け取ると、ONを示す動きフラグ情報を生成して参照インデックス割当部102へ出力する(図3のS302)。
その後、参照インデックス割当部102は、動きフラグON時の参照方式を選択する(図4のS402)。つまり、符号化対象ピクチャと時間的に近い位置に存在する参照ピクチャに、値の小さな参照インデックスが割り当てられる。
これにより、カメラ1200のユーザが、画面内で動きのある部分が多いシーンが発生するような撮影行動を行った場合であっても、符号化効率を低下させることがなく、画質および符号化効率を向上させることが可能となる。
なお、参照インデックス割当部102は、ONを示す動きフラグ情報ではなく、カメラ1200が「スポーツモード」に切り替わることを示す情報を受け取ってもよい。つまり、参照インデックス割当部102は、カメラ1200が所定の撮影モードに切り替わることを示す情報を受け取ることで、動きフラグON時の参照方式を選択してもよい。
このように、カメラ1200は、カメラ1200がパンしているか等の状態を取得し、その状態に応じて、参照ピクチャに対する参照インデックスの割り当て方を制御することができる。
さらに、カメラ1200は、ユーザによる明示的な指示により決定される撮影モードに応じて、参照ピクチャに対する参照インデックスの割り当て方を制御することもできる。
つまり、カメラ1200は、ユーザに意識させることなく、カメラ1200の状態に応じて、画質および符号化効率を向上させるように、参照ピクチャに対する参照インデックスの割り当て方を決定することができる。また、カメラ1200は、ユーザの明示の指示による撮影モードの切り替えに応じて、画質および符号化効率を向上させるように、参照ピクチャに対する参照インデックスの割り当て方を決定することもできる。
また、本発明は、本発明の実施の形態1〜3における各手段を備える画像符号化装置として提供することができるばかりでなく、画像符号化装置が具備する各手段を各ステップとする画像符号化方法や、画像符号化装置が具備する機能を実現する画像符号化集積回路、および画像符号化方法を実現することができる画像符号化プログラムを提供することも可能である。
そして、この画像符号化プログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
また、画像符号化集積回路は、典型的な集積回路であるLSIとして実現することができる。この場合、LSIは、1チップで構成してもよいし、複数チップで構成してもよい。例えば、メモリ以外の機能ブロックを1チップLSIで構成してもよい。なお、ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。
図14は、実施の形態1の画像符号化装置100における集積回路化の一例を示す図である。
図14に示すLSI200は、本発明の画像符号化集積回路の一例であり、画像符号化装置100が備える複数の機能ブロックを含む集積回路の一例である。
なお、これら複数の機能ブロックは1つのLSIではなく、複数のLSIに分散して含まれてもよい。
また、実施の形態2の画像符号化装置800および実施の形態3の画像符号化装置900のそれぞれにおいても、それらが有する機能ブロックの一部または全部を集積回路化することができる。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらに、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。
また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを1チップ化構成に取り込まず、別構成としてもよい。
本発明に係る画像符号化装置、画像符号化方法、および画像符号化集積回路は、より高画質、またはより高効率にH.264などの圧縮符号化方式による映像の符号化を実現することができるため、パーソナルコンピュータ、HDDレコーダ、DVDレコーダおよびカメラ付き携帯電話機等に適用できる。
また、本発明に係るカメラは、同じく、より高画質、またはより高効率にH.264などの圧縮符号化方式による映像の符号化を実現することができるため、家庭用および業務用のビデオカメラ等に適用できる。
100、800、900 画像符号化装置
101、801、901 動きフラグ生成部
102 参照インデックス割当部
103 画像符号化部
200 LSI
201 入力画像データメモリ
202 参照画像データメモリ
203 面内予測部
204 動きベクトル検出部
205 動き補償部
206 予測モード判定部
207 差分演算部
208 直交変換部
209 量子化部
210 逆量子化部
211 逆直交変換部
212 加算部
213 エントロピー符号化部
1200 カメラ
1210 撮像部
1220 撮影モード切替部
1230 状態取得部

Claims (13)

  1. 入力画像データをフィールド符号化する画像符号化装置であって、
    前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当てる参照インデックス割当部と、
    前記参照インデックス割当部により割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、
    前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    画像符号化装置。
  2. 前記参照インデックス割当部は、前記符号化対象ピクチャが、Pピクチャとしてフィールド符号化されるピクチャである場合、
    前記2枚の参照ピクチャのうちの、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる
    請求項1記載の画像符号化装置。
  3. 前記参照インデックス割当部は、前記符号化対象ピクチャが、Bピクチャとしてフィールド符号化されるピクチャであり、かつ、トップフィールドである場合、
    前記符号化対象ピクチャよりも時間的に前方にある前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに、他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも小さな値の参照インデックスを割り当てる
    請求項1記載の画像符号化装置。
  4. さらに、前記符号化対象ピクチャが、所定の動き量以上の動きを示す一連のピクチャ群に含まれるピクチャであるか否かを判定する判定部とを備え、
    前記参照インデックス割当部は、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定された場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    請求項1記載の画像符号化装置。
  5. 前記参照インデックス割当部はさらに、前記判定部により、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定されなかった場合、前記他方である、前記符号化対象ピクチャと同パリティの関係にある参照ピクチャに、前記一方である、前記符号化対象ピクチャと逆パリティの関係にある参照ピクチャに割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    請求項4記載の画像符号化装置。
  6. 前記判定部は、
    ズームまたはパンしている動画像に前記符号化対象ピクチャが含まれることを示す情報を取得した場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定する
    請求項4記載の画像符号化装置。
  7. 前記判定部は、
    符号化対象である前記符号化対象ピクチャと、過去の符号化対象ピクチャとから算出される値である特徴量が、所定の閾値以上である場合、符号化対象である前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判断する
    請求項4記載の画像符号化装置。
  8. 前記画像符号化部は、前記符号化対象ピクチャを含む複数のピクチャそれぞれをフィールド符号化し、
    前記判定部は、前記画像符号化部による、前記符号化対象ピクチャのフィールド符号化より前の、フィールド符号化に用いられた複数の動きベクトルにより算出される値である特徴量が、予め定められた閾値以上である場合、前記符号化対象ピクチャが前記一連のピクチャ群に含まれると判定する
    請求項4記載の画像符号化装置。
  9. 被写体像を撮像することで得られる動画像データをフィールド符号化するカメラであって、
    請求項1記載の画像符号化装置と、
    前記被写体像を撮像することで得られる動画像データを、前記入力画像データとして前記画像符号化装置に入力する撮像部と
    を備えるカメラ。
  10. さらに、前記カメラの撮影モードを切り替える撮影モード切替部を備え、
    前記参照インデックス割当部は、前記撮影モード切替部により、前記カメラの撮影モードが所定の撮影モードに切り替えられた場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    請求項9記載のカメラ。
  11. さらに、前記カメラがパンしている状態であること、または、前記カメラがズームしている状態であることを示す状態情報を取得する状態取得部を備え、
    前記参照インデックス割当部は、前記状態取得部により前記状態情報が取得された場合、前記2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    請求項9記載のカメラ。
  12. 入力画像データをフィールド符号化する画像符号化方法であって、
    前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当て、
    割り当てられた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化し、
    前記参照インデックスの割り当てでは、前記複数の参照ピクチャに含まれる2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    画像符号化方法。
  13. 入力画像データをフィールド符号化する画像符号化集積回路であって、
    前記入力画像データに含まれる符号化対象ピクチャが参照可能な複数の参照ピクチャのそれぞれに、互いに異なる値の参照インデックスを割り当る参照インデックス割当部と、
    前記参照インデックス割当部により割当られた参照インデックスそれぞれに示される参照ピクチャを参照することで前記符号化対象ピクチャをフィールド符号化するとともに、前記参照インデックスを符号化する画像符号化部とを備え、
    前記参照インデックス割当部は、前記複数の参照ピクチャに含まれる2枚の参照ピクチャのうち、前記符号化対象ピクチャとの時間的な距離が近い一方に、他方に割り当てる参照インデックスよりも値の小さな参照インデックスを割り当てる
    画像符号化集積回路。
JP2009178444A 2008-08-05 2009-07-30 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ Pending JP2010063092A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009178444A JP2010063092A (ja) 2008-08-05 2009-07-30 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
US12/535,110 US8254451B2 (en) 2008-08-05 2009-08-04 Image coding apparatus, image coding method, image coding integrated circuit, and camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008201521 2008-08-05
JP2009178444A JP2010063092A (ja) 2008-08-05 2009-07-30 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Publications (1)

Publication Number Publication Date
JP2010063092A true JP2010063092A (ja) 2010-03-18

Family

ID=41652553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009178444A Pending JP2010063092A (ja) 2008-08-05 2009-07-30 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Country Status (2)

Country Link
US (1) US8254451B2 (ja)
JP (1) JP2010063092A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155376A1 (ja) 2010-06-09 2011-12-15 ソニー株式会社 符号化装置および符号化方法
EP2408208A1 (en) 2010-07-16 2012-01-18 Sony Corporation Image processing device and image processing method
WO2012008351A1 (ja) 2010-07-16 2012-01-19 ソニー株式会社 画像処理装置と画像処理方法
CN104396239A (zh) * 2012-06-21 2015-03-04 瑞典爱立信有限公司 用于编码视频信号的装置和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964355B2 (ja) * 2010-09-30 2012-06-27 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
JP2013038623A (ja) * 2011-08-09 2013-02-21 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
GB2506590B (en) * 2012-09-28 2016-05-04 Canon Kk Method and device for deriving a set of enabled coding modes
KR20240014631A (ko) * 2018-10-11 2024-02-01 엘지전자 주식회사 변환 계수 코딩 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007040197A1 (ja) * 2005-10-05 2007-04-12 Matsushita Electric Industrial Co., Ltd. 参照画像選択方法および装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1484922A (zh) * 2001-11-06 2004-03-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
US7822120B2 (en) * 2002-07-26 2010-10-26 Panasonic Corporation Moving picture encoding method, moving picture decoding method, and recording medium
AU2003275672C1 (en) * 2002-11-25 2009-04-30 Godo Kaisha Ip Bridge 1 Moving Picture Coding Method and Moving Picture Decoding Method
US8194751B2 (en) 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007040197A1 (ja) * 2005-10-05 2007-04-12 Matsushita Electric Industrial Co., Ltd. 参照画像選択方法および装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155376A1 (ja) 2010-06-09 2011-12-15 ソニー株式会社 符号化装置および符号化方法
US9826227B2 (en) 2010-06-09 2017-11-21 Sony Corporation Motion picture encoding apparatus and motion picture encoding method based on bit rate
EP2408208A1 (en) 2010-07-16 2012-01-18 Sony Corporation Image processing device and image processing method
WO2012008351A1 (ja) 2010-07-16 2012-01-19 ソニー株式会社 画像処理装置と画像処理方法
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
CN102986234A (zh) * 2010-07-16 2013-03-20 索尼公司 图像处理装置和图像处理方法
CN104396239A (zh) * 2012-06-21 2015-03-04 瑞典爱立信有限公司 用于编码视频信号的装置和方法
JP2015524225A (ja) * 2012-06-21 2015-08-20 テレフオンアクチーボラゲット エル エム エリクソン(パブル) ビデオ信号をコーディングするための装置及び方法
CN104396239B (zh) * 2012-06-21 2018-07-13 瑞典爱立信有限公司 用于编码视频信号的装置和方法

Also Published As

Publication number Publication date
US8254451B2 (en) 2012-08-28
US20100033594A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
CN116723315B (zh) 视频解码的方法和装置、视频编码的方法和装置及存储介质
CN113678441B (zh) 视频编解码的方法和装置
CN110944202B (zh) 视频编解码方法、装置、计算机设备和存储介质
JP4755093B2 (ja) 画像符号化方法および画像符号化装置
JP2010063092A (ja) 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
CN110708557B (zh) 解码器中的视频解码方法和设备、计算机设备
US9693060B2 (en) Device and method for scalable coding of video information
JP2022168139A (ja) インター予測モードに基づいた映像処理方法およびそのための装置
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
CN111971965A (zh) 视频编解码的方法和装置
CN113228649B (zh) 视频解码方法、装置以及存储介质
KR102408765B1 (ko) 비디오 코딩 및 디코딩
CN113475067B (zh) 视频解码方法、装置、计算机设备及存储介质
CN113228631A (zh) 视频编解码的方法和装置
CN115428445A (zh) 用于视频编码的方法和装置
CN117178552A (zh) 边界外条件的基于子块的双向预测约束
US20160073127A1 (en) Method for predicting disparity vector for interlayer video decoding and encoding apparatus and method
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
US8897368B2 (en) Image coding device, image coding method, image coding integrated circuit and image coding program
JP2009296363A (ja) 動きベクトル探索装置および動きベクトル探索方法
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
US20120194643A1 (en) Video coding device and video coding method
CN113748678B (zh) 视频编解码方法、装置和存储介质
CN117044203A (zh) 用于一维变换跳过的eob的信令
JP2023553921A (ja) 探索範囲切り替えを用いたイントラブロックコピーモードコーディングのための方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218