JP4079375B2

JP4079375B2 - 手ぶれ補正装置

Info

Publication number: JP4079375B2
Application number: JP2004314643A
Authority: JP
Inventors: 宏之林
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-10-28
Filing date: 2004-10-28
Publication date: 2008-04-23
Anticipated expiration: 2024-10-28
Also published as: WO2006054387A1; KR100864999B1; KR20070057961A; CN101044751A; EP1816866A1; EP1816866A4; WO2006054387A8; US20090046160A1; JP2006129074A

Description

本発明は、映像ぶれを検出する装置及び方法に関する。

近年ビデオカメラなどの映像装置の普及が加速し、家庭等においても頻繁に使用されてきている。ビデオカメラなどの映像装置には、ぶれの少ない映像を記録できるように手ぶれ補正機能が搭載されているものが多くなっている。手ぶれ補正機能は通常、手ぶれを検出する機能と、検出した手ぶれを補正する機能からなっている。前記検出機能を実現する方法としては、角速度センサなどのセンサによって検出する方法や、特許文献１に開示されているようにセンサと動画像符号化の動き予測を利用した方法が提案されている。
特開２００１−２４９３２号公報

しかしながら、上記従来の技術においては、映像装置の動きを検出するためにセンサを必須要件としている。このため、コストが高くなるという点や、あるいは、実装体積の増大化や耐衝撃性などの観点から、携帯電話のような機器に実装するのは困難であるという課題があった。また、動画像符号化の動き予測のみを利用して手ぶれ補正を検出する場合においては、画面を構成する全ての符号化単位の動き予測を利用して、その全体の平均や中央値を用いていたため手ぶれ検出の精度が悪かった。

かかる課題を解決するために、ＣＣＤやＣＭＯＳイメージセンサから入力された映像信号を取得する映像信号取得部と、前記映像信号をＭＰＥＧ規格又はＭＰＥＧ準拠規格にて符号化する映像信号符号化部と、映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較部と、前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出部と、前記中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する符号化単位重み付け決定部と、を有する映像装置を提供する。また、当該映像装置は符号化された映像信号を復号化する映像信号復号化部を有していてもよく、符号化に加えて復号化の際においても各符号化単位の重み付けを決定することが可能となっている。また、当該映像装置は、各符号化単位ごとの中間情報を比較して各符号化単位ごとの重み付けを決定する際に、各符号化単位ごとの符号量から重みを決定してもよいし、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値から重みを決定してもよい。あるいは、同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定し、符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は／及び後のフレームの同符号化単位のベクトルを用いて補間算出してもよい。

本発明の映像装置においては、映像装置の動きを検出するためのセンサを使用することなく、映像信号符号化の際に生成される各符号化単位ごとの中間情報を使用して映像ぶれ検出を行うため、携帯電話のような機器に手ぶれ補正機能を実装することが可能となる。また、各符号化単位に重み付けをすることにより、映像ぶれ補正に最適な符号化単位を選択することができるため、精度の高い手ぶれ補正機能を効率よく提供することが可能となる。

以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
なお、以下の実施形態と請求項の関係は次の通りである。実施形態１、２及び３は、主に請求項１、３などについて説明する。実施形態４及び５は、主に請求項２、４などについて説明する。

<<実施形態１>>
<実施形態１の概要>
本実施形態における映像装置は、映像信号を符号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。

<実施形態１の構成>
図１に本実施形態における機能ブロックの一例を示す。図１に示す映像装置（０１００）は、「映像信号取得部」（０１１０）と、「映像信号符号化部」（０１２０）と、「中間情報比較部」（０１３０）と、「映像ぶれ量検出部」（０１４０）と、「符号化単位重み付け決定部」（０１５０）と、を有する。映像信号取得部（０１１０）は映像信号を取得する。映像信号とは、例えば、ＣＣＤやＣＭＯＳ型イメージセンサなどの撮像素子と、撮像素子駆動回路から構成される図外の映像信号入力部から入力される信号のことである。映像信号符号化部（０１２０）は、前記映像信号を符号化する。ここで、映像信号が符号化される例としては、テレビ電話・テレビ会議などの通信画像を対象としたＨ．２６３や、ＣＤ−ＲＯＭなどの蓄積メディア画像を対象としたＭＰＥＧ−１や、ＤＶＤやデジタルテレビ放送用の通信画像を対象としたＭＰＥＧ−２や、アナログ電話回線や移動体通信での通信画像を対象としたＭＰＥＧ−４などが挙げられる。これらの符号化は例えば動き補償や直交変換に基いて行われる。「中間情報比較部」（０１３０）は、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する。符号化単位とは、N×M画素のブロックの場合であってもよいし、あるいは輝度の４ブロックと色差の２ブロックとの６ブロックをまとめたマクロブロックであってもよい。中間情報とは、例えば動きベクトルや、フレームの符号化タイプや、符号量や、各符号化単位に含まれる画像を直交変換した係数や、これらを量子化したものや、更には可変長符号化を行った後の符号など、符号化に利用される情報のことであり、これらのうち1又は２以上のいずれかの任意の組み合わせであってもよい。これらの中間情報は映像信号を基に生成されることになる。なお、各符号化単位ごとの中間情報は一般的には符号化タイプにより異なる。例えば図２のＩフレーム（０２１、０２５）のようにフレーム内符号化の場合には、符号化単位に含まれる画像を直交変換し、直交変換後の係数を量子化する。そして、量子化を行った係数を符号化することで符号化が完結する。従って、この場合の中間情報の一例としては以上のプロセスで得られるものが挙げられる。一方、図２のＰフレーム（０２２、０２３、０２４、０２６及び０２７）のように符号化タイプがフレーム間予測である場合には、まず符号化単位に含まれる画像と類似したN×M画素の画像を予測元のフレームから選択し、当該符号化単位の位置と、予測元フレームの類似したN×M画素の画像の位置の差を動きベクトルとして取得する。次に、当該符号化単位に含まれる符号の値と予測元フレームの類似の符号化単位に含まれるの符号の値との差分を求めて、当該差分値を直交変換し、直交変換後の係数を量子化する。そして、量子化によって得られた係数を可変長符号化し、動きベクトルと多重化することで符号化が完結する。従って、フレーム間予測の場合における中間情報の一例としては以上のプロセスで得られるものが挙げられる。フレーム間予測の場合はフレーム内符号化と異なり符号化単位の差分値を符号化することが特徴となる。なお、符号化タイプがフレーム内符号化の場合には、前後のフレームを利用しないため、符号化単位に動きベクトルを付加しない。この場合は、前後のフレームの同符号化単位のベクトルを用いて補間するなどの手法により、符号化単位の動きベクトルを決定する。

次に各符号化単位ごとの中間情報を比較する一例を図３〜図５を用いて説明する。本実施形態においては、前記中間情報は、各符号化単位ごとの符号量である場合について説明する。まず、図３のような建物の映像を符号化する場合を考える。フレーム内符号化の符号化では、符号化単位０３２０は建物０３００の窓枠部分であり、輪郭を表現しているため符号量が多い。一方、符号化単位０３１０は建物０３００の真っ白な壁部分であるため、符号量が少ない。引き続き表示されるフレームでは、映像ぶれ量を求める際に、符号化単位０３２０の動きベクトルの方が符号化単位０３１０の動きベクトルに比べて信頼性が高くなる。何故なら、符号化単位０３２０に含まれる画像は窓枠部分という当該フレームの中において特徴的なものであり、図３の映像の中で類似している場所がないからである。これに対して、符号化単位０３１０は建物０３００の壁の一部分であって壁の他の部分と類似しており、当該フレームの中において特徴点が少ないからである。なお、本実施形態においては符号量が多い符号化単位の方が特徴点があるものとして説明するが、逆に符号量の少ない符号化単位の方が特徴的である場合もあり得る。例えば、激流の滝つぼを背景に人が写っている場合のように、フレームの中における大多数の符号化単位については符号量が多く含まれており、符号量の少ない符号化単位の方が希少である場合には、後者の方が類似する場所が少なくなるため、信頼性が高くなることもあるからである。従って、符号化単位の符号量が多い方が特徴的であるか、少ない方が特徴的であるかについては相対的に判断することも可能である。もっとも一般的な自然画像の場合にはフレーム内符号化では符号化単位の符号量が多い方が特徴的である場合が多いため、本明細書においては符号量が多い符号化単位の方が特徴的であるものとして説明する。次に、図４を用いてより具体的に説明する。図４の建物は、点線で示した建物０４１０を撮影した次のフレームでは、映像ぶれにより実線で示した建物０４２０の位置に撮影されたとする。このとき、符号化単位０４２１は、前フレームの類似場所０４１１を選択し、動きベクトル４Ａが取得されることになる。これに対して、符号化単位０４２２は誤って類似場所０４２４を選択して動きベクトル４Ｃを取得してしまい、前フレームの類似場所０４２３を選択して動きベクトル４Ｂを取得しない場合がある。従って、符号化タイプがフレーム内符号化である場合には、符号量が多い符号化単位の方が映像ぶれ量を検出する際に信頼性が高くなる。一方、符号化タイプがフレーム間予測である場合について図５を用いて説明する。図５の建物は、点線で示した建物０５１０を撮影したフレームの次のフレームで、映像ぶれにより実線で示した建物０５２０の位置に撮影されたとする。このとき、符号化単位０５２１について考えると、前フレームの類似場所０５１１について動きベクトル５Ａが取得された場合には、符号化単位に含まれる画像の差異が小さいため、符号量も少なくなる。これに対して、符号化単位０５２２について考えると、前フレームの類似場所０５１２について動きベクトル５Ｂが取得された場合には、窓枠部分の画像の差分が生じるため、符号化単位に含まれる画像の差異が大きくなり、その結果符号量も多くなる。このようにフレーム間予測のときに符号量が多くなる場合とは、映像ぶれではなく、実際に対象が動いた結果である場合や、動き予測に失敗した場合が多い。従って、フレーム内符号化とは対照的に、符号量の少ない符号化単位の方が映像ぶれ量を検出する際に信頼性が高くなる。このように各符号化タイプの違いによって、符号化単位に含まれる符号量に対する信頼性が異なることになる。

映像ぶれ量検出部（０１４０）は、前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報に重み付けをすることで検出する。映像ぶれ量の検出の一例としては、各符号化単位の動きベクトルと中間情報の重み付けとを使用して映像のぶれ量を決定することが挙げられる。動きベクトルの中には、映像ぶれにより生じたものもあれば、被写体等の実際の動きを示しているものや動き予測に失敗したものもあるため、どの符号化単位の動きベクトルを使用して映像ぶれ量を決定するかを明確にするために前記中間情報の重み付けを利用している。符号化単位重み付け決定部（０１５０）は、前記中間情報比較部の比較結果に基づいて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する。例えば、符号化タイプがフレーム内符号化である場合を考えると、符号量が多い符号化単位については映像ぶれ量を検出する際の信頼性が高いため、大きな重み付けをし、符号量が少ない符号化単位には小さな重みを付ける。重みは符号量を元に、あらかじめ準備してあるテーブルなどに基づいて決定してもよいし、フレーム中における符号化単位の符号量の平均値などから相対的に決定してもよい。一例としては、一定の符号量を越えた符号化単位には「重み＝１」をつけ、それ以外の符号化単位には「重み＝０」をつける。そして「重み＝１」の符号化単位のみの動きベクトルの平均値などを用いて映像ぶれ量を検出する場合がある。一方、符号化タイプがフレーム間予測である場合を考えると、符号量が少ない符号化単位については映像ぶれ量を検出する際の信頼性が高いため、大きな重み付けをし、符号量が多い符号化単位には小さな重みを付ける。このように、フレーム内符号化の場合であっても、フレーム間予測の場合であっても、映像ぶれ量と類似する動きベクトルを持つ符号化単位ほど重みが大きくなり、映像ぶれ量検出の精度が高まることになる。フレーム内符号化の重みとフレーム間予測の重みは、片方のみ、あるいは両方を利用して映像ぶれ量を検出してもよい。両方の重みを使用する場合には、フレーム内符号化とフレーム間予測の重みを平均して使用してもよい。映像ぶれ量を示す情報の一例としては、ベクトルのように大きさと方向とを示す情報と、当該ベクトルの含まれているフレームを示す情報とが関連付けられた情報などが挙げられる。本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。たとえば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される（本明細書の全体を通じて同様である。）。

<実施形態１の処理の流れと効果>
図６は本実施形態における処理の流れの一例を示すものである。本実施形態の映像装置の動作方法は、映像信号を取得する映像信号取得ステップ（Ｓ０６１０）と、前記映像信号を符号化する映像信号符号化ステップ（Ｓ０６２０）と、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する中間情報比較ステップ（Ｓ０６３０）と、前記中間情報比較ステップの比較結果に基づいて各符号化単位の重み付けを決定する符号化単位重み付け決定ステップ（Ｓ０６４０）と、前記映像信号取得ステップで取得した映像信号のぶれ量を、前記中間情報に重み付けをすることで検出する映像ぶれ量検出ステップ（Ｓ０６５０）と、からなる。本発明の映像装置においては、映像装置の動きを検出するためのセンサを使用することなく、映像信号符号化の際に生成される各符号化単位ごとの中間情報を使用するため、携帯電話のような機器に手ぶれ補正機能を実装することが可能となった。また、各符号化単位に重み付けをすることにより、映像ぶれ補正に最適な符号化単位を選択することができるため、精度の高い手ぶれ補正機能を効率よく提供することが可能となった。

<<実施形態２>>
<実施形態２の概要>
本実施形態は、実施形態１と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態１に加えて映像信号入力部とデータ保存部とを設けていることが特徴である。

<実施形態２の構成>
図７に本実施形態における機能ブロック図の一例を示す。図７に示す映像装置（０７００）は、「映像信号取得部」（０７１０）と、「映像信号符号化部」（０７２０）と、「中間情報比較部」（０７３０）と、「映像ぶれ量検出部」（０７４０）と、「符号化単位重み付け決定部」（０７５０）と、「映像信号入力部」（０７６０）と、「データ保存部」（０７７０）と、を有する。「映像信号入力部」（０７６０）と、「データ保存部」（０７７０）と、を除いた構成については実施形態１で説明したものと同様であるため、ここでの説明は省略する。また、「映像信号入力部」（０７６０）についても実施形態１で説明したため、ここでの説明は省略する。データ保存部（０７７０）は、前記映像信号符号化部にて符号化された映像信号や、前記映像ぶれ量検出部にて検出された映像ぶれ量を保存する。データ保存部は、映像処理装置と分離可能に構成される記録媒体でもよく、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュ（登録商標）、スマートメディア（登録商標）、ＩＣカード、ＳＤカード（登録商標）、メモリースティック（登録商標）等のカード系、あるいは、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた媒体であってもよい。符号化された映像信号と、映像ぶれ量とを併せて保存することにより、映像信号を再生する際にぶれを解消した映像の再生が可能となる。また、かかる構成によって利用者が映像信号を再生する際に、保存してある映像ぶれ量を利用して映像ぶれ補正を行うか否かを選択することも可能となる。なお、図８はデータ保存部に保存された符号化された映像信号及び映像ぶれ量利用して映像信号を再生して表示する映像装置の一例を示すものであり、データ読出し部（０８１０）と、映像信号復号化部（０８２０）と、映像ぶれ補正部（０８３０）と、映像表示部（０８４０）と、データ保存部（０８５０）と、からなっている。データ読出し部（０８１０）は、前記データ保存部に保存されている符号化された映像信号や映像ぶれ量を読み出す。映像信号復号化部（０８２０）は、符号化された映像信号を復号化する。映像ぶれ補正部（０８３０）は、前記データ読出し部から読み出した映像ぶれ量に基いて、前記映像信号の映像ぶれを補正する。映像ぶれを補正する方法の一例としては、映像の所定領域を切り出して、画像を平行移動させて平行移動後の映像を映像表示部に送ることなどが挙げられる。手ぶれ補正を行う映像表示部（０８４０）は、映像ぶれを補正した映像信号を表示する。映像表示部の具体例としては、ＬＣＤモニタのようなディスプレイが挙げられる。なお、図８に示す各部は図７に示す映像装置と一体となっていてもよい。

<実施形態２の処理の流れと効果>
図９は本実施形態の処理の流れの一例を示す図である。本実施形態における映像装置の動作方法は、映像信号取得ステップ（Ｓ０９１０）と、映像信号符号化ステップ（Ｓ０９２０）と、中間情報比較ステップ（Ｓ０９３０）と、データ保存ステップ（Ｓ０９２１、Ｓ０９５１）と、符号化単位重み付け決定ステップ（Ｓ０９４０）と、映像ぶれ量検出ステップ（Ｓ０９５０）と、からなる。本実施形態の映像処理装置は、符号化された映像信号と、最適な映像ぶれ量とを併せて保存するため、映像信号を再生する際にぶれを解消した映像の再生が可能となる。

<<実施形態３>>
<実施形態３の概要>
本実施形態は、実施形態２と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態２に加えて、入力される映像信号の映像ぶれ量を予測することによってリアルタイムに補正することが特徴である。

<実施形態３の構成>
図１０に本実施形態における機能ブロック図の一例を示す。図１０に示す映像装置（１０００）は、「映像信号取得部」（１０１０）と、「映像信号符号化部」（１０２０）と、「中間情報比較部」（１０３０）と、「映像ぶれ量検出部」（１０４０）と、「符号化単位重み付け決定部」（１０５０）と、「映像信号入力部」（１０６０）と、「データ保存部」（１０７０）と、「映像ぶれ補正部」（１０８０）と、を有する。「映像ぶれ補正部」（１０８０）を除いた構成については実施形態２で説明したものと同様であるため、ここでの説明は省略する。本実施形態における映像ぶれ補正部（１０８０）は、前記映像ぶれ量検出部にて検出された映像ぶれ量に基いて映像ぶれの補正を行う。本実施形態における映像ぶれの補正の一例としては、映像ぶれ量を映像信号入力部に送信して、撮像素子と被写体の間にあるレンズを動かしたり、あるいは撮像素子からの読み出し領域の位置を変えたりして映像ぶれ補正を行うことが挙げられる。このようにして現在の映像ぶれ量に基いて将来の映像ぶれ量を予測することで、映像信号入力部から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。これは例えば強風が絶えず吹き荒れているため、カメラが常に振動し映像ぶれが継続して発生する海岸などで映像を撮る場合においてより効果的である。

<実施形態３の処理の流れと効果>
図１１は本実施形態の処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、映像信号入力ステップ（Ｓ１１１０）と、映像信号取得ステップ（Ｓ１１２０）と、映像信号符号化ステップ（Ｓ１１３０）と、データ保存ステップ（Ｓ１１３１）と、中間情報比較ステップ（Ｓ１１４０）と、符号化単位重み付け決定ステップ（Ｓ１１５０）と、映像ぶれ量予測ステップ（Ｓ１１６０）と、映像ぶれ補正ステップ（Ｓ１１７０）と、からなる。本実施形態の映像装置においては、映像ぶれ補正部を設けているため、映像ぶれ量検出部にて検出された映像ぶれ量に基づいて映像ぶれ補正を行うことが可能となっている。また、映像ぶれ補正部からの情報が映像信号入力部に送られることによって、映像ぶれ量を予測し、映像信号入力から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。

<<実施形態４>>
<実施形態４の概要>
本実施形態における映像装置は、実施形態1と異なり映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。

<実施形態４の構成>
図１２は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置（１２００）は、「映像信号復号化部」（１２１０）と、「第二中間情報比較部」（１２２０）と、「第二映像ぶれ量検出部」（１２３０）と、「第二符号化単位重み付け決定部」（１２４０）と、を有する。映像信号復号化部（１２１０）は符号化された映像信号を復号化する。映像信号を復号化するには、映像信号を符号化した逆の処理を行えばよい。例えば、符号化された映像信号に対して可変長復号化を行い、逆量子化を経て逆直交変換などにより、映像信号を復号化する。第二中間情報比較部（１２２０）は、前記復号化に利用される各符号化単位ごとの第二の中間情報である第二中間情報を比較する。前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であってもよい。テクスチャとは符号化をオブジェクトベースで行う場合における画像の絵柄情報のことである。変換された成分とは、例えば直交変換して得られた係数である場合などが挙げられる。高周波顕在化積分とは、変換された成分に高周波が多く含まれている符号化単位を際立たせるために行うものである。図１３は高周波顕在化積分に使用する係数の一例である。以下の例については映像信号を符号化する際の処理について説明するが、復号化時においても可能であることは勿論である。一般的な符号化の処理においては、直交変換して得られた成分に対して、図１３で示すような係数を用いて除算を行い、高周波成分を丸める量子化が行われている。しかしながら、本実施形態における高周波顕在化積分とは、量子化とは逆に図１３に示すような係数を用いて乗算を行うものである。これにより、高周波成分が多い符号化単位をより際立たせることが可能となる。評価値とは、直交変換された成分に対して、図１３のような係数を用いて乗算を行った全ての合計値のことである。評価値が高いほどより高周波成分が多いことになる。第二映像ぶれ量検出部（１２３０）は、符号化された映像信号のぶれ量を、前記第二中間情報に重み付けをすることで検出する。第二符号化単位重み付け決定部（１２４０）は、前記第二中間情報比較部の比較結果に基づいて前記第二映像ぶれ量検出部における各符号化単位の重み付けを決定する。重み付けは符号化タイプによって異なる。フレーム内符号化の場合には特徴的な画像を含んでいる符号化単位の方が信頼性が高いため、高周波成分を多く含んでいる符号化単位、すなわち評価値が高い符号化単位には大きな重み付けをし、評価値が低い符号化単位には小さな重み付けを行う。一方フレーム間予測の場合には、前フレームとの差分が小さい方が信頼性が高いため、高周波成分が小さい符号化単位、すなわち評価値が低い符号化単位に大きな重み付けをする。

なお、前記符号化単位重み付け決定部は、同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合と、前記中間情報がフレーム内符号化に利用される場合と、では、逆数の関係となるように重み付け値を決定する逆数決定手段を有していてもよい。図１４は中間情報が評価値である場合の重み付けテーブルである。これにより、フレーム内符号化とフレーム間予測とで、それぞれ別々の重みテーブルを参照する必要がなくなり、実装がより容易となる。図１５は「逆数決定手段」（１５００）の一例である。逆数決定手段（１５００）は、評価値を評価値入力器（１５１２）から入力し、重み出力器（１５３０）から重みを出力する。また、符号化タイプ入力器（１５１１）からフレーム内符号化かフレーム間予測かの識別信号を入力する。符号化タイプ入力器（１５１１）への入力がフレーム内符号化であれば、スイッチ（１５１０）は出力端（１５１４）から出力を行い、評価値入力器（１５１２）から入った評価値はそのまま重み出力器（１５３０）から出力される。これに対して、符号化タイプ入力器（１５１１）への入力がフレーム間予測であれば、スイッチ（１５１０）は出力端（１５１３）から出力を行い、評価値は逆数算出器（１５２０）へ出力される。逆数算出器（１５２０）では評価値の逆数を算出した後、重み出力器（１５３０）から重みが出力される。これにより、フレーム内符号化とフレーム間予測とで、それぞれ重みテーブルを参照する必要がなくなる。以上、本実施形態における中間情報は評価値であるとして説明を行ったが、各符号化単位ごとの符号量であってもよいことは勿論である。また、実施形態１から４のいずれかにおける中間情報が評価値であってもよいことは勿論である。

<実施形態４の処理の流れと効果>
図１６に本実施形態における処理の流れの一例を示す。本実施形態における映像装置の動作方法は、映像信号復号化ステップ（Ｓ１６１０）と、第二中間情報比較ステップ（Ｓ１６２０）と、第二符号化単位重み付け決定ステップ（Ｓ１６３０）と、映像ぶれ検出ステップ（Ｓ１６４０）と、からなる。また、図１７に評価値を決定する場合の処理の流れの一例を示す。図１７に示す評価値の決定方法は、テクスチャの直交変換ステップ（Ｓ１７２０）と、高周波顕在化積分ステップ（Ｓ１７２０）と、評価値決定ステップ（Ｓ１７３０）と、からなる。また、図１８に逆数決定方法の処理の流れの一例を示す。図１８に示す逆数決定方法は、評価値入力ステップ（Ｓ１８１０）と、符号化タイプ判断ステップ（Ｓ１８２０）と、符号化タイプ判断ステップの判断結果に応じて逆数を算出する逆数算出ステップ（Ｓ１８３０）と、からなる。本実施形態においては映像信号を復号化する際に使用される中間情報を利用することができるため、映像信号に映像ぶれ量に関する情報が付加されていない場合であっても、最適な映像ぶれ量を検出することが可能である。また、同一の重み付け値を用いる中間情報の値が、フレーム間予測に利用される場合と、フレーム内符号化に利用される場合とでは逆数の関係となるように重み付け値を決定することができるため、それぞれ重みテーブルを参照する必要がなくなり、実装がより容易となる。

<<実施形態５>>
<実施形態５の概要>
本実施形態における映像装置は、実施形態４と同様に映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをするが、実施形態４に加えてデータ読出し部と映像ぶれ補正部と映像表示部とを備えたことを特徴とする。

<実施形態５の構成>
図１９は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置（１９００）は、「映像信号復号化部」（１９１０）と、「第二中間情報比較部」（１９２０）と、「第二映像ぶれ量検出部」（１９３０）と、「第二符号化単位重み付け決定部」（１９４０）と、「データ読出し部」（１９５０）と、「映像ぶれ補正部」（１９６０）と、「映像表示部」（１９７０）と、を有する。データ読出し部（１９５０）と、映像ぶれ補正部（１９６０）と映像表示部（１９７０）とを除いた構成は実施形態４で説明したものと同様であるため、ここでの説明は省略する。また、データ読出し部（１９５０）と、映像ぶれ補正部（１９６０）と、映像表示部（１９７０）についてはいずれも既に説明してあるため、ここでの説明は省略する。本実施形態においては映像信号を復号化する際に最適な映像ぶれ量を検出し、当該検出した映像ぶれ量に基いて映像ぶれ補正を行い表示することができる。映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。

<実施形態５の処理の流れと効果>
図２０は本実施形態における処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、データ読出しステップ（Ｓ２０１０）と、映像信号復号化ステップ（Ｓ２０２０）と、第二中間情報比較ステップ（Ｓ２０３０）と、第二符号化単位重み付け決定ステップ（Ｓ２０４０）と、映像ぶれ量検出ステップ（Ｓ２０５０）と、映像表示ステップ（Ｓ２０６０）と、からなる。本実施形態における映像装置においては、映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。

実施形態１を説明するための機能ブロック図。フレームの符号化タイプを説明するための図。符号化単位ごとに含まれる画像の異なりを説明するための図。動きベクトルが異なることを説明するための図。動きベクトルの違いにより画像の差分が異なることを説明するための図。実施形態１の処理の流れを説明するための図。実施形態２を説明するための機能ブロック図。実施形態２の別例を説明するための機能ブロック図。実施形態２の処理の流れを説明するための図。実施形態３を説明するための機能ブロック図。実施形態３の処理の流れを説明するための図。実施形態４を説明するための機能ブロック図。符号化単位に含まれる画像を直交変換した成分に対して乗じる係数の図。逆数決定手段の機能ブロック図。重み付けが逆数の関係となっている重みテーブル図。実施形態４の処理の流れを説明するための図。評価値決定の処理の流れを説明するための図。逆数算出の処理の流れを説明するための図。実施形態５を説明するための機能ブロック図。実施形態５の処理の流れを説明するための図。

符号の説明

０１００映像装置
０１１０映像信号取得部
０１２０映像信号符号化部
０１３０中間情報比較部
０１４０映像ぶれ量検出部
０１５０符号化単位重み付け決定部

Claims

ＣＣＤやＣＭＯＳイメージセンサから入力された映像信号を取得する映像信号取得部と、
前記映像信号をＭＰＥＧ規格又はＭＰＥＧ準拠規格にて符号化する映像信号符号化部と、
映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較部と、
前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出部と、
前記中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する符号化単位重み付け決定部と、を有する映像装置であって、
前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とし、
前記符号化単位重み付け決定部は、
同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定する逆数決定手段と、
符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は／及び後のフレームの同符号化単位のベクトルを用いて補間算出する動きベクトル補間算出手段と、
を有する映像装置。
ＭＰＥＧ規格又はＭＰＥＧ準拠規格にて符号化された映像信号を復号化する映像信号復号化部と、
前記復号化に利用される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、前記符号化映像信号を可変長復号化したデータ、前記データを逆量子化して得られた係数、各符号化単位の係数を逆直交変換することで得られるテクスチャ、のいずれか一以上の第二の中間情報である第二中間情報を映像ぶれ量検出の信頼性を判断するため比較する第二中間情報比較部と、
符号化された映像信号のぶれ量を、前記第二中間情報である動きベクトルに重み付けをすることで検出する第二映像ぶれ量検出部と、
前記第二中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記第二映像ぶれ量検出部における各符号化単位の重み付けを決定する第二符号化単位重み付け決定部と、
を有する映像装置であって、
前記第二中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とし、
前記第二符号化単位重み付け決定部は、
同一の重み付け値を用いる第二中間情報の値が、前記第二中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記第二中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定する逆数決定手段と、
符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は／及び後のフレームの同符号化単位のベクトルを用いて補間算出する動きベクトル補間算出手段と、
を有する映像装置。
ＣＣＤやＣＭＯＳイメージセンサから入力された映像信号を取得する映像信号取得ステップと、
前記映像信号をＭＰＥＧ規格又はＭＰＥＧ準拠規格にて符号化する映像信号符号化ステップと、
映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較ステップと、
前記映像信号取得ステップで取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出ステップと、
前記中間情報比較ステップの比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出ステップにおける各符号化単位の重み付けを決定する符号化単位重み付け決定ステップと、
を有する映像装置の動作方法であって、
前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とし、
前記符号化単位重み付け決定ステップは、
同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定する逆数決定ステップと、
符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は／及び後のフレームの同符号化単位のベクトルを用いて補間算出する動きベクトル補間算出ステップと、
を有する映像装置の動作方法。
ＭＰＥＧ規格又はＭＰＥＧ準拠規格にて符号化された映像信号を復号化する映像信号復号化ステップと、
前記復号化に利用される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、前記符号化映像信号を可変長復号化したデータ、前記データを逆量子化して得られた係数、各符号化単位の係数を逆直交変換することで得られるテクスチャ、のいずれか一以上の第二の中間情報である第二中間情報を映像ぶれ量検出の信頼性を判断するため比較する第二中間情報比較ステップと、
符号化された映像信号のぶれ量を、前記第二中間情報である動きベクトルに重み付けをすることで検出する第二映像ぶれ量検出ステップと、
前記第二中間情報比較ステップの比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記第二映像ぶれ量検出ステップにおける各符号化単位の重み付けを決定する第二符号化単位重み付け決定ステップと、
を有する映像装置の動作方法であって、
前記第二中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とし、
前記第二符号化単位重み付け決定ステップは、
同一の重み付け値を用いる第二中間情報の値が、前記第二中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記第二中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定する逆数決定ステップと、
符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は／及び後のフレームの同符号化単位のベクトルを用いて補間算出する動きベクトル補間算出ステップと、
を有する映像装置の動作方法。