JP2008104223A - 手ぶれ補正装置 - Google Patents
手ぶれ補正装置 Download PDFInfo
- Publication number
- JP2008104223A JP2008104223A JP2007312669A JP2007312669A JP2008104223A JP 2008104223 A JP2008104223 A JP 2008104223A JP 2007312669 A JP2007312669 A JP 2007312669A JP 2007312669 A JP2007312669 A JP 2007312669A JP 2008104223 A JP2008104223 A JP 2008104223A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- video signal
- intermediate information
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】映像ぶれ検出機能を実現する方法としては、角速度センサなどのセンサによって検出するものや、センサと動画像符号化の動き予測を利用したものが提案されている。センサを用いると、コスト、実装体積および耐衝撃の面から不利であり、携帯電話のような機器に実装するのは困難であった。また、動画像符号化の動き予測のみを利用して手ぶれ補正を検出する場合においては、画面を構成する全ての符号化単位の動き予測を利用して、その全体の平均や中央値を用いていたため手ぶれ検出の精度が悪かった。
【解決手段】映像信号取得部と、映像信号符号化部と、中間情報比較部と、映像ぶれ量検出部と、符号化単位重み付け決定部と、を有する映像装置を提供する。
【選択図】図1
【解決手段】映像信号取得部と、映像信号符号化部と、中間情報比較部と、映像ぶれ量検出部と、符号化単位重み付け決定部と、を有する映像装置を提供する。
【選択図】図1
Description
本発明は、映像ぶれを検出する装置及び方法に関する。
近年ビデオカメラなどの映像装置の普及が加速し、家庭等においても頻繁に使用されてきている。ビデオカメラなどの映像装置には、ぶれの少ない映像を記録できるように手ぶれ補正機能が搭載されているものが多くなっている。手ぶれ補正機能は通常、手ぶれを検出する機能と、検出した手ぶれを補正する機能からなっている。前記検出機能を実現する方法としては、角速度センサなどのセンサによって検出する方法や、特許文献1に開示されているようにセンサと動画像符号化の動き予測を利用した方法が提案されている。
特開2001−24932号公報
しかしながら、上記従来の技術においては、映像装置の動きを検出するためにセンサを必須要件としている。このため、コストが高くなるという点や、あるいは、実装体積の増大化や耐衝撃性などの観点から、携帯電話のような機器に実装するのは困難であるという課題があった。また、動画像符号化の動き予測のみを利用して手ぶれ補正を検出する場合においては、画面を構成する全ての符号化単位の動き予測を利用して、その全体の平均や中央値を用いていたため手ぶれ検出の精度が悪かった。
かかる課題を解決するために、CCDやCMOSイメージセンサから入力された映像信号を取得する映像信号取得部と、前記映像信号をMPEG規格又はMPEG準拠規格にて符号化する映像信号符号化部と、映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較部と、前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出部と、前記中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する符号化単位重み付け決定部と、を有する映像装置を提供する。また、当該映像装置は符号化された映像信号を復号化する映像信号復号化部を有していてもよく、符号化に加えて復号化の際においても各符号化単位の重み付けを決定することが可能となっている。また、当該映像装置は、各符号化単位ごとの中間情報を比較して各符号化単位ごとの重み付けを決定する際に、各符号化単位ごとの符号量から重みを決定してもよいし、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値から重みを決定してもよい。あるいは、同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合は前記信頼性が高いことを示す値になり、前記中間情報がフレーム内符号化に利用される場合では、フレーム間予測の場合の値の逆数の関係となるように重み付け値を決定し、符号化タイプがフレーム内符号化である符号化単位の動きベクトルを、前又は/及び後のフレームの同符号化単位のベクトルを用いて補間算出してもよい。
本発明の映像装置においては、映像装置の動きを検出するためのセンサを使用することなく、映像信号符号化の際に生成される各符号化単位ごとの中間情報を使用して映像ぶれ検出を行うため、携帯電話のような機器に手ぶれ補正機能を実装することが可能となる。また、各符号化単位に重み付けをすることにより、映像ぶれ補正に最適な符号化単位を選択することができるため、精度の高い手ぶれ補正機能を効率よく提供することが可能となる。
以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
なお、以下の実施形態と請求項の関係は次の通りである。実施形態1、2及び3は、主に請求項1、3、6、8などについて説明する。実施形態4及び5は、主に請求項2、4、5、7,9,10などについて説明する。
なお、以下の実施形態と請求項の関係は次の通りである。実施形態1、2及び3は、主に請求項1、3、6、8などについて説明する。実施形態4及び5は、主に請求項2、4、5、7,9,10などについて説明する。
<<実施形態1>>
<実施形態1の概要>
本実施形態における映像装置は、映像信号を符号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。
<実施形態1の概要>
本実施形態における映像装置は、映像信号を符号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。
<実施形態1の構成>
図1に本実施形態における機能ブロックの一例を示す。図1に示す映像装置(0100)は、「映像信号取得部」(0110)と、「映像信号符号化部」(0120)と、「中間情報比較部」(0130)と、「映像ぶれ量検出部」(0140)と、「符号化単位重み付け決定部」(0150)と、を有する。映像信号取得部(0110)は映像信号を取得する。映像信号とは、例えば、CCDやCMOS型イメージセンサなどの撮像素子と、撮像素子駆動回路から構成される図外の映像信号入力部から入力される信号のことである。映像信号符号化部(0120)は、前記映像信号を符号化する。ここで、映像信号が符号化される例としては、テレビ電話・テレビ会議などの通信画像を対象としたH.263や、CD−ROMなどの蓄積メディア画像を対象としたMPEG−1や、DVDやデジタルテレビ放送用の通信画像を対象としたMPEG−2や、アナログ電話回線や移動体通信での通信画像を対象としたMPEG−4などが挙げられる。これらの符号化は例えば動き補償や直交変換に基いて行われる。「中間情報比較部」(0130)は、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する。符号化単位とは、N×M画素のブロックの場合であってもよいし、あるいは輝度の4ブロックと色差の2ブロックとの6ブロックをまとめたマクロブロックであってもよい。中間情報とは、例えば動きベクトルや、フレームの符号化タイプや、符号量や、各符号化単位に含まれる画像を直交変換した係数や、これらを量子化したものや、更には可変長符号化を行った後の符号など、符号化に利用される情報のことであり、これらのうち1又は2以上のいずれかの任意の組み合わせであってもよい。これらの中間情報は映像信号を基に生成されることになる。なお、各符号化単位ごとの中間情報は一般的には符号化タイプにより異なる。例えば図2のIフレーム(021、025)のようにフレーム内符号化の場合には、符号化単位に含まれる画像を直交変換し、直交変換後の係数を量子化する。そして、量子化を行った係数を符号化することで符号化が完結する。従って、この場合の中間情報の一例としては以上のプロセスで得られるものが挙げられる。一方、図2のPフレーム(022、023、024、026及び027)のように符号化タイプがフレーム間予測である場合には、まず符号化単位に含まれる画像と類似したN×M画素の画像を予測元のフレームから選択し、当該符号化単位の位置と、予測元フレームの類似したN×M画素の画像の位置の差を動きベクトルとして取得する。次に、当該符号化単位に含まれる符号の値と予測元フレームの類似の符号化単位に含まれるの符号の値との差分を求めて、当該差分値を直交変換し、直交変換後の係数を量子化する。そして、量子化によって得られた係数を可変長符号化し、動きベクトルと多重化することで符号化が完結する。従って、フレーム間予測の場合における中間情報の一例としては以上のプロセスで得られるものが挙げられる。フレーム間予測の場合はフレーム内符号化と異なり符号化単位の差分値を符号化することが特徴となる。なお、符号化タイプがフレーム内符号化の場合には、前後のフレームを利用しないため、符号化単位に動きベクトルを付加しない。この場合は、前後のフレームの同符号化単位のベクトルを用いて補間するなどの手法により、符号化単位の動きベクトルを決定する。
図1に本実施形態における機能ブロックの一例を示す。図1に示す映像装置(0100)は、「映像信号取得部」(0110)と、「映像信号符号化部」(0120)と、「中間情報比較部」(0130)と、「映像ぶれ量検出部」(0140)と、「符号化単位重み付け決定部」(0150)と、を有する。映像信号取得部(0110)は映像信号を取得する。映像信号とは、例えば、CCDやCMOS型イメージセンサなどの撮像素子と、撮像素子駆動回路から構成される図外の映像信号入力部から入力される信号のことである。映像信号符号化部(0120)は、前記映像信号を符号化する。ここで、映像信号が符号化される例としては、テレビ電話・テレビ会議などの通信画像を対象としたH.263や、CD−ROMなどの蓄積メディア画像を対象としたMPEG−1や、DVDやデジタルテレビ放送用の通信画像を対象としたMPEG−2や、アナログ電話回線や移動体通信での通信画像を対象としたMPEG−4などが挙げられる。これらの符号化は例えば動き補償や直交変換に基いて行われる。「中間情報比較部」(0130)は、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する。符号化単位とは、N×M画素のブロックの場合であってもよいし、あるいは輝度の4ブロックと色差の2ブロックとの6ブロックをまとめたマクロブロックであってもよい。中間情報とは、例えば動きベクトルや、フレームの符号化タイプや、符号量や、各符号化単位に含まれる画像を直交変換した係数や、これらを量子化したものや、更には可変長符号化を行った後の符号など、符号化に利用される情報のことであり、これらのうち1又は2以上のいずれかの任意の組み合わせであってもよい。これらの中間情報は映像信号を基に生成されることになる。なお、各符号化単位ごとの中間情報は一般的には符号化タイプにより異なる。例えば図2のIフレーム(021、025)のようにフレーム内符号化の場合には、符号化単位に含まれる画像を直交変換し、直交変換後の係数を量子化する。そして、量子化を行った係数を符号化することで符号化が完結する。従って、この場合の中間情報の一例としては以上のプロセスで得られるものが挙げられる。一方、図2のPフレーム(022、023、024、026及び027)のように符号化タイプがフレーム間予測である場合には、まず符号化単位に含まれる画像と類似したN×M画素の画像を予測元のフレームから選択し、当該符号化単位の位置と、予測元フレームの類似したN×M画素の画像の位置の差を動きベクトルとして取得する。次に、当該符号化単位に含まれる符号の値と予測元フレームの類似の符号化単位に含まれるの符号の値との差分を求めて、当該差分値を直交変換し、直交変換後の係数を量子化する。そして、量子化によって得られた係数を可変長符号化し、動きベクトルと多重化することで符号化が完結する。従って、フレーム間予測の場合における中間情報の一例としては以上のプロセスで得られるものが挙げられる。フレーム間予測の場合はフレーム内符号化と異なり符号化単位の差分値を符号化することが特徴となる。なお、符号化タイプがフレーム内符号化の場合には、前後のフレームを利用しないため、符号化単位に動きベクトルを付加しない。この場合は、前後のフレームの同符号化単位のベクトルを用いて補間するなどの手法により、符号化単位の動きベクトルを決定する。
次に各符号化単位ごとの中間情報を比較する一例を図3〜図5を用いて説明する。本実施形態においては、前記中間情報は、各符号化単位ごとの符号量である場合について説明する。まず、図3のような建物の映像を符号化する場合を考える。フレーム内符号化の符号化では、符号化単位0320は建物0300の窓枠部分であり、輪郭を表現しているため符号量が多い。一方、符号化単位0310は建物0300の真っ白な壁部分であるため、符号量が少ない。引き続き表示されるフレームでは、映像ぶれ量を求める際に、符号化単位0320の動きベクトルの方が符号化単位0310の動きベクトルに比べて信頼性が高くなる。何故なら、符号化単位0320に含まれる画像は窓枠部分という当該フレームの中において特徴的なものであり、図3の映像の中で類似している場所がないからである。これに対して、符号化単位0310は建物0300の壁の一部分であって壁の他の部分と類似しており、当該フレームの中において特徴点が少ないからである。なお、本実施形態においては符号量が多い符号化単位の方が特徴点があるものとして説明するが、逆に符号量の少ない符号化単位の方が特徴的である場合もあり得る。例えば、激流の滝つぼを背景に人が写っている場合のように、フレームの中における大多数の符号化単位については符号量が多く含まれており、符号量の少ない符号化単位の方が希少である場合には、後者の方が類似する場所が少なくなるため、信頼性が高くなることもあるからである。従って、符号化単位の符号量が多い方が特徴的であるか、少ない方が特徴的であるかについては相対的に判断することも可能である。もっとも一般的な自然画像の場合にはフレーム内符号化では符号化単位の符号量が多い方が特徴的である場合が多いため、本明細書においては符号量が多い符号化単位の方が特徴的であるものとして説明する。次に、図4を用いてより具体的に説明する。図4の建物は、点線で示した建物0410を撮影した次のフレームでは、映像ぶれにより実線で示した建物0420の位置に撮影されたとする。このとき、符号化単位0421は、前フレームの類似場所0411を選択し、動きベクトル4Aが取得されることになる。これに対して、符号化単位0422は誤って類似場所0424を選択して動きベクトル4Cを取得してしまい、前フレームの類似場所0423を選択して動きベクトル4Bを取得しない場合がある。従って、符号化タイプがフレーム内符号化である場合には、符号量が多い符号化単位の方が映像ぶれ量を検出する際に信頼性が高くなる。一方、符号化タイプがフレーム間予測である場合について図5を用いて説明する。図5の建物は、点線で示した建物0510を撮影したフレームの次のフレームで、映像ぶれにより実線で示した建物0520の位置に撮影されたとする。このとき、符号化単位0521について考えると、前フレームの類似場所0511について動きベクトル5Aが取得された場合には、符号化単位に含まれる画像の差異が小さいため、符号量も少なくなる。これに対して、符号化単位0522について考えると、前フレームの類似場所0512について動きベクトル5Bが取得された場合には、窓枠部分の画像の差分が生じるため、符号化単位に含まれる画像の差異が大きくなり、その結果符号量も多くなる。このようにフレーム間予測のときに符号量が多くなる場合とは、映像ぶれではなく、実際に対象が動いた結果である場合や、動き予測に失敗した場合が多い。従って、フレーム内符号化とは対照的に、符号量の少ない符号化単位の方が映像ぶれ量を検出する際に信頼性が高くなる。このように各符号化タイプの違いによって、符号化単位に含まれる符号量に対する信頼性が異なることになる。
映像ぶれ量検出部(0140)は、前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報に重み付けをすることで検出する。映像ぶれ量の検出の一例としては、各符号化単位の動きベクトルと中間情報の重み付けとを使用して映像のぶれ量を決定することが挙げられる。動きベクトルの中には、映像ぶれにより生じたものもあれば、被写体等の実際の動きを示しているものや動き予測に失敗したものもあるため、どの符号化単位の動きベクトルを使用して映像ぶれ量を決定するかを明確にするために前記中間情報の重み付けを利用している。符号化単位重み付け決定部(0150)は、前記中間情報比較部の比較結果に基づいて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する。例えば、符号化タイプがフレーム内符号化である場合を考えると、符号量が多い符号化単位については映像ぶれ量を検出する際の信頼性が高いため、大きな重み付けをし、符号量が少ない符号化単位には小さな重みを付ける。重みは符号量を元に、あらかじめ準備してあるテーブルなどに基づいて決定してもよいし、フレーム中における符号化単位の符号量の平均値などから相対的に決定してもよい。一例としては、一定の符号量を越えた符号化単位には「重み=1」をつけ、それ以外の符号化単位には「重み=0」をつける。そして「重み=1」の符号化単位のみの動きベクトルの平均値などを用いて映像ぶれ量を検出する場合がある。一方、符号化タイプがフレーム間予測である場合を考えると、符号量が少ない符号化単位については映像ぶれ量を検出する際の信頼性が高いため、大きな重み付けをし、符号量が多い符号化単位には小さな重みを付ける。このように、フレーム内符号化の場合であっても、フレーム間予測の場合であっても、映像ぶれ量と類似する動きベクトルを持つ符号化単位ほど重みが大きくなり、映像ぶれ量検出の精度が高まることになる。フレーム内符号化の重みとフレーム間予測の重みは、片方のみ、あるいは両方を利用して映像ぶれ量を検出してもよい。両方の重みを使用する場合には、フレーム内符号化とフレーム間予測の重みを平均して使用してもよい。映像ぶれ量を示す情報の一例としては、ベクトルのように大きさと方向とを示す情報と、当該ベクトルの含まれているフレームを示す情報とが関連付けられた情報などが挙げられる。本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。たとえば、これらを実現する一例として、コンピュータを利用する場合には、CPU、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される(本明細書の全体を通じて同様である。)。
<実施形態1の処理の流れと効果>
図6は本実施形態における処理の流れの一例を示すものである。本実施形態の映像装置の動作方法は、映像信号を取得する映像信号取得ステップ(S0610)と、前記映像信号を符号化する映像信号符号化ステップ(S0620)と、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する中間情報比較ステップ(S0630)と、前記中間情報比較ステップの比較結果に基づいて各符号化単位の重み付けを決定する符号化単位重み付け決定ステップ(S0640)と、前記映像信号取得ステップで取得した映像信号のぶれ量を、前記中間情報に重み付けをすることで検出する映像ぶれ量検出ステップ(S0650)と、からなる。本発明の映像装置においては、映像装置の動きを検出するためのセンサを使用することなく、映像信号符号化の際に生成される各符号化単位ごとの中間情報を使用するため、携帯電話のような機器に手ぶれ補正機能を実装することが可能となった。また、各符号化単位に重み付けをすることにより、映像ぶれ補正に最適な符号化単位を選択することができるため、精度の高い手ぶれ補正機能を効率よく提供することが可能となった。
図6は本実施形態における処理の流れの一例を示すものである。本実施形態の映像装置の動作方法は、映像信号を取得する映像信号取得ステップ(S0610)と、前記映像信号を符号化する映像信号符号化ステップ(S0620)と、映像信号から生成される前記符号化に利用される各符号化単位ごとの中間情報を比較する中間情報比較ステップ(S0630)と、前記中間情報比較ステップの比較結果に基づいて各符号化単位の重み付けを決定する符号化単位重み付け決定ステップ(S0640)と、前記映像信号取得ステップで取得した映像信号のぶれ量を、前記中間情報に重み付けをすることで検出する映像ぶれ量検出ステップ(S0650)と、からなる。本発明の映像装置においては、映像装置の動きを検出するためのセンサを使用することなく、映像信号符号化の際に生成される各符号化単位ごとの中間情報を使用するため、携帯電話のような機器に手ぶれ補正機能を実装することが可能となった。また、各符号化単位に重み付けをすることにより、映像ぶれ補正に最適な符号化単位を選択することができるため、精度の高い手ぶれ補正機能を効率よく提供することが可能となった。
<<実施形態2>>
<実施形態2の概要>
本実施形態は、実施形態1と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態1に加えて映像信号入力部とデータ保存部とを設けていることが特徴である。
<実施形態2の概要>
本実施形態は、実施形態1と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態1に加えて映像信号入力部とデータ保存部とを設けていることが特徴である。
<実施形態2の構成>
図7に本実施形態における機能ブロック図の一例を示す。図7に示す映像装置(0700)は、「映像信号取得部」(0710)と、「映像信号符号化部」(0720)と、「中間情報比較部」(0730)と、「映像ぶれ量検出部」(0740)と、「符号化単位重み付け決定部」(0750)と、「映像信号入力部」(0760)と、「データ保存部」(0770)と、を有する。「映像信号入力部」(0760)と、「データ保存部」(0770)と、を除いた構成については実施形態1で説明したものと同様であるため、ここでの説明は省略する。また、「映像信号入力部」(0760)についても実施形態1で説明したため、ここでの説明は省略する。データ保存部(0770)は、前記映像信号符号化部にて符号化された映像信号や、前記映像ぶれ量検出部にて検出された映像ぶれ量を保存する。データ保存部は、映像処理装置と分離可能に構成される記録媒体でもよく、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュ(登録商標)、スマートメディア(登録商標)、ICカード、SDカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいは、RAM、EEPROM、フラッシュROM等による半導体メモリを含めた媒体であってもよい。符号化された映像信号と、映像ぶれ量とを併せて保存することにより、映像信号を再生する際にぶれを解消した映像の再生が可能となる。また、かかる構成によって利用者が映像信号を再生する際に、保存してある映像ぶれ量を利用して映像ぶれ補正を行うか否かを選択することも可能となる。なお、図8はデータ保存部に保存された符号化された映像信号及び映像ぶれ量利用して映像信号を再生して表示する映像装置の一例を示すものであり、データ読出し部(0810)と、映像信号復号化部(0820)と、映像ぶれ補正部(0830)と、映像表示部(0840)と、データ保存部(0850)と、からなっている。データ読出し部(0810)は、前記データ保存部に保存されている符号化された映像信号や映像ぶれ量を読み出す。映像信号復号化部(0820)は、符号化された映像信号を復号化する。映像ぶれ補正部(0830)は、前記データ読出し部から読み出した映像ぶれ量に基いて、前記映像信号の映像ぶれを補正する。映像ぶれを補正する方法の一例としては、映像の所定領域を切り出して、画像を平行移動させて平行移動後の映像を映像表示部に送ることなどが挙げられる。手ぶれ補正を行う映像表示部(0840)は、映像ぶれを補正した映像信号を表示する。映像表示部の具体例としては、LCDモニタのようなディスプレイが挙げられる。なお、図8に示す各部は図7に示す映像装置と一体となっていてもよい。
図7に本実施形態における機能ブロック図の一例を示す。図7に示す映像装置(0700)は、「映像信号取得部」(0710)と、「映像信号符号化部」(0720)と、「中間情報比較部」(0730)と、「映像ぶれ量検出部」(0740)と、「符号化単位重み付け決定部」(0750)と、「映像信号入力部」(0760)と、「データ保存部」(0770)と、を有する。「映像信号入力部」(0760)と、「データ保存部」(0770)と、を除いた構成については実施形態1で説明したものと同様であるため、ここでの説明は省略する。また、「映像信号入力部」(0760)についても実施形態1で説明したため、ここでの説明は省略する。データ保存部(0770)は、前記映像信号符号化部にて符号化された映像信号や、前記映像ぶれ量検出部にて検出された映像ぶれ量を保存する。データ保存部は、映像処理装置と分離可能に構成される記録媒体でもよく、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュ(登録商標)、スマートメディア(登録商標)、ICカード、SDカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいは、RAM、EEPROM、フラッシュROM等による半導体メモリを含めた媒体であってもよい。符号化された映像信号と、映像ぶれ量とを併せて保存することにより、映像信号を再生する際にぶれを解消した映像の再生が可能となる。また、かかる構成によって利用者が映像信号を再生する際に、保存してある映像ぶれ量を利用して映像ぶれ補正を行うか否かを選択することも可能となる。なお、図8はデータ保存部に保存された符号化された映像信号及び映像ぶれ量利用して映像信号を再生して表示する映像装置の一例を示すものであり、データ読出し部(0810)と、映像信号復号化部(0820)と、映像ぶれ補正部(0830)と、映像表示部(0840)と、データ保存部(0850)と、からなっている。データ読出し部(0810)は、前記データ保存部に保存されている符号化された映像信号や映像ぶれ量を読み出す。映像信号復号化部(0820)は、符号化された映像信号を復号化する。映像ぶれ補正部(0830)は、前記データ読出し部から読み出した映像ぶれ量に基いて、前記映像信号の映像ぶれを補正する。映像ぶれを補正する方法の一例としては、映像の所定領域を切り出して、画像を平行移動させて平行移動後の映像を映像表示部に送ることなどが挙げられる。手ぶれ補正を行う映像表示部(0840)は、映像ぶれを補正した映像信号を表示する。映像表示部の具体例としては、LCDモニタのようなディスプレイが挙げられる。なお、図8に示す各部は図7に示す映像装置と一体となっていてもよい。
<実施形態2の処理の流れと効果>
図9は本実施形態の処理の流れの一例を示す図である。本実施形態における映像装置の動作方法は、映像信号取得ステップ(S0910)と、映像信号符号化ステップ(S0920)と、中間情報比較ステップ(S0930)と、データ保存ステップ(S0921、S0951)と、符号化単位重み付け決定ステップ(S0940)と、映像ぶれ量検出ステップ(S0950)と、からなる。本実施形態の映像処理装置は、符号化された映像信号と、最適な映像ぶれ量とを併せて保存するため、映像信号を再生する際にぶれを解消した映像の再生が可能となる。
図9は本実施形態の処理の流れの一例を示す図である。本実施形態における映像装置の動作方法は、映像信号取得ステップ(S0910)と、映像信号符号化ステップ(S0920)と、中間情報比較ステップ(S0930)と、データ保存ステップ(S0921、S0951)と、符号化単位重み付け決定ステップ(S0940)と、映像ぶれ量検出ステップ(S0950)と、からなる。本実施形態の映像処理装置は、符号化された映像信号と、最適な映像ぶれ量とを併せて保存するため、映像信号を再生する際にぶれを解消した映像の再生が可能となる。
<<実施形態3>>
<実施形態3の概要>
本実施形態は、実施形態2と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態2に加えて、入力される映像信号の映像ぶれ量を予測することによってリアルタイムに補正することが特徴である。
<実施形態3の概要>
本実施形態は、実施形態2と同様に映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをする映像装置に関するものであるが、実施形態2に加えて、入力される映像信号の映像ぶれ量を予測することによってリアルタイムに補正することが特徴である。
<実施形態3の構成>
図10に本実施形態における機能ブロック図の一例を示す。図10に示す映像装置(1000)は、「映像信号取得部」(1010)と、「映像信号符号化部」(1020)と、「中間情報比較部」(1030)と、「映像ぶれ量検出部」(1040)と、「符号化単位重み付け決定部」(1050)と、「映像信号入力部」(1060)と、「データ保存部」(1070)と、「映像ぶれ補正部」(1080)と、を有する。「映像ぶれ補正部」(1080)を除いた構成については実施形態2で説明したものと同様であるため、ここでの説明は省略する。本実施形態における映像ぶれ補正部(1080)は、前記映像ぶれ量検出部にて検出された映像ぶれ量に基いて映像ぶれの補正を行う。本実施形態における映像ぶれの補正の一例としては、映像ぶれ量を映像信号入力部に送信して、撮像素子と被写体の間にあるレンズを動かしたり、あるいは撮像素子からの読み出し領域の位置を変えたりして映像ぶれ補正を行うことが挙げられる。このようにして現在の映像ぶれ量に基いて将来の映像ぶれ量を予測することで、映像信号入力部から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。これは例えば強風が絶えず吹き荒れているため、カメラが常に振動し映像ぶれが継続して発生する海岸などで映像を撮る場合においてより効果的である。
図10に本実施形態における機能ブロック図の一例を示す。図10に示す映像装置(1000)は、「映像信号取得部」(1010)と、「映像信号符号化部」(1020)と、「中間情報比較部」(1030)と、「映像ぶれ量検出部」(1040)と、「符号化単位重み付け決定部」(1050)と、「映像信号入力部」(1060)と、「データ保存部」(1070)と、「映像ぶれ補正部」(1080)と、を有する。「映像ぶれ補正部」(1080)を除いた構成については実施形態2で説明したものと同様であるため、ここでの説明は省略する。本実施形態における映像ぶれ補正部(1080)は、前記映像ぶれ量検出部にて検出された映像ぶれ量に基いて映像ぶれの補正を行う。本実施形態における映像ぶれの補正の一例としては、映像ぶれ量を映像信号入力部に送信して、撮像素子と被写体の間にあるレンズを動かしたり、あるいは撮像素子からの読み出し領域の位置を変えたりして映像ぶれ補正を行うことが挙げられる。このようにして現在の映像ぶれ量に基いて将来の映像ぶれ量を予測することで、映像信号入力部から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。これは例えば強風が絶えず吹き荒れているため、カメラが常に振動し映像ぶれが継続して発生する海岸などで映像を撮る場合においてより効果的である。
<実施形態3の処理の流れと効果>
図11は本実施形態の処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、映像信号入力ステップ(S1110)と、映像信号取得ステップ(S1120)と、映像信号符号化ステップ(S1130)と、データ保存ステップ(S1131)と、中間情報比較ステップ(S1140)と、符号化単位重み付け決定ステップ(S1150)と、映像ぶれ量予測ステップ(S1160)と、映像ぶれ補正ステップ(S1170)と、からなる。本実施形態の映像装置においては、映像ぶれ補正部を設けているため、映像ぶれ量検出部にて検出された映像ぶれ量に基づいて映像ぶれ補正を行うことが可能となっている。また、映像ぶれ補正部からの情報が映像信号入力部に送られることによって、映像ぶれ量を予測し、映像信号入力から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。
図11は本実施形態の処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、映像信号入力ステップ(S1110)と、映像信号取得ステップ(S1120)と、映像信号符号化ステップ(S1130)と、データ保存ステップ(S1131)と、中間情報比較ステップ(S1140)と、符号化単位重み付け決定ステップ(S1150)と、映像ぶれ量予測ステップ(S1160)と、映像ぶれ補正ステップ(S1170)と、からなる。本実施形態の映像装置においては、映像ぶれ補正部を設けているため、映像ぶれ量検出部にて検出された映像ぶれ量に基づいて映像ぶれ補正を行うことが可能となっている。また、映像ぶれ補正部からの情報が映像信号入力部に送られることによって、映像ぶれ量を予測し、映像信号入力から入力される映像信号に対してリアルタイムで映像ぶれ補正を行うことが可能となる。
<<実施形態4>>
<実施形態4の概要>
本実施形態における映像装置は、実施形態1と異なり映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。
<実施形態4の概要>
本実施形態における映像装置は、実施形態1と異なり映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する。そして、映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをすることを特徴とする。
<実施形態4の構成>
図12は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置(1200)は、「映像信号復号化部」(1210)と、「第二中間情報比較部」(1220)と、「第二映像ぶれ量検出部」(1230)と、「第二符号化単位重み付け決定部」(1240)と、を有する。映像信号復号化部(1210)は符号化された映像信号を復号化する。映像信号を復号化するには、映像信号を符号化した逆の処理を行えばよい。例えば、符号化された映像信号に対して可変長復号化を行い、逆量子化を経て逆直交変換などにより、映像信号を復号化する。第二中間情報比較部(1220)は、前記復号化に利用される各符号化単位ごとの第二の中間情報である第二中間情報を比較する。前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であってもよい。テクスチャとは符号化をオブジェクトベースで行う場合における画像の絵柄情報のことである。変換された成分とは、例えば直交変換して得られた係数である場合などが挙げられる。高周波顕在化積分とは、変換された成分に高周波が多く含まれている符号化単位を際立たせるために行うものである。図13は高周波顕在化積分に使用する係数の一例である。以下の例については映像信号を符号化する際の処理について説明するが、復号化時においても可能であることは勿論である。一般的な符号化の処理においては、直交変換して得られた成分に対して、図13で示すような係数を用いて除算を行い、高周波成分を丸める量子化が行われている。しかしながら、本実施形態における高周波顕在化積分とは、量子化とは逆に図13に示すような係数を用いて乗算を行うものである。これにより、高周波成分が多い符号化単位をより際立たせることが可能となる。評価値とは、直交変換された成分に対して、図13のような係数を用いて乗算を行った全ての合計値のことである。評価値が高いほどより高周波成分が多いことになる。第二映像ぶれ量検出部(1230)は、符号化された映像信号のぶれ量を、前記第二中間情報に重み付けをすることで検出する。第二符号化単位重み付け決定部(1240)は、前記第二中間情報比較部の比較結果に基づいて前記第二映像ぶれ量検出部における各符号化単位の重み付けを決定する。重み付けは符号化タイプによって異なる。フレーム内符号化の場合には特徴的な画像を含んでいる符号化単位の方が信頼性が高いため、高周波成分を多く含んでいる符号化単位、すなわち評価値が高い符号化単位には大きな重み付けをし、評価値が低い符号化単位には小さな重み付けを行う。一方フレーム間予測の場合には、前フレームとの差分が小さい方が信頼性が高いため、高周波成分が小さい符号化単位、すなわち評価値が低い符号化単位に大きな重み付けをする。
図12は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置(1200)は、「映像信号復号化部」(1210)と、「第二中間情報比較部」(1220)と、「第二映像ぶれ量検出部」(1230)と、「第二符号化単位重み付け決定部」(1240)と、を有する。映像信号復号化部(1210)は符号化された映像信号を復号化する。映像信号を復号化するには、映像信号を符号化した逆の処理を行えばよい。例えば、符号化された映像信号に対して可変長復号化を行い、逆量子化を経て逆直交変換などにより、映像信号を復号化する。第二中間情報比較部(1220)は、前記復号化に利用される各符号化単位ごとの第二の中間情報である第二中間情報を比較する。前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であってもよい。テクスチャとは符号化をオブジェクトベースで行う場合における画像の絵柄情報のことである。変換された成分とは、例えば直交変換して得られた係数である場合などが挙げられる。高周波顕在化積分とは、変換された成分に高周波が多く含まれている符号化単位を際立たせるために行うものである。図13は高周波顕在化積分に使用する係数の一例である。以下の例については映像信号を符号化する際の処理について説明するが、復号化時においても可能であることは勿論である。一般的な符号化の処理においては、直交変換して得られた成分に対して、図13で示すような係数を用いて除算を行い、高周波成分を丸める量子化が行われている。しかしながら、本実施形態における高周波顕在化積分とは、量子化とは逆に図13に示すような係数を用いて乗算を行うものである。これにより、高周波成分が多い符号化単位をより際立たせることが可能となる。評価値とは、直交変換された成分に対して、図13のような係数を用いて乗算を行った全ての合計値のことである。評価値が高いほどより高周波成分が多いことになる。第二映像ぶれ量検出部(1230)は、符号化された映像信号のぶれ量を、前記第二中間情報に重み付けをすることで検出する。第二符号化単位重み付け決定部(1240)は、前記第二中間情報比較部の比較結果に基づいて前記第二映像ぶれ量検出部における各符号化単位の重み付けを決定する。重み付けは符号化タイプによって異なる。フレーム内符号化の場合には特徴的な画像を含んでいる符号化単位の方が信頼性が高いため、高周波成分を多く含んでいる符号化単位、すなわち評価値が高い符号化単位には大きな重み付けをし、評価値が低い符号化単位には小さな重み付けを行う。一方フレーム間予測の場合には、前フレームとの差分が小さい方が信頼性が高いため、高周波成分が小さい符号化単位、すなわち評価値が低い符号化単位に大きな重み付けをする。
なお、前記符号化単位重み付け決定部は、同一の重み付け値を用いる中間情報の値が、前記中間情報がフレーム間予測に利用される場合と、前記中間情報がフレーム内符号化に利用される場合と、では、逆数の関係となるように重み付け値を決定する逆数決定手段を有していてもよい。図14は中間情報が評価値である場合の重み付けテーブルである。これにより、フレーム内符号化とフレーム間予測とで、それぞれ別々の重みテーブルを参照する必要がなくなり、実装がより容易となる。図15は「逆数決定手段」(1500)の一例である。逆数決定手段(1500)は、評価値を評価値入力器(1512)から入力し、重み出力器(1530)から重みを出力する。また、符号化タイプ入力器(1511)からフレーム内符号化かフレーム間予測かの識別信号を入力する。符号化タイプ入力器(1511)への入力がフレーム内符号化であれば、スイッチ(1510)は出力端(1514)から出力を行い、評価値入力器(1512)から入った評価値はそのまま重み出力器(1530)から出力される。これに対して、符号化タイプ入力器(1511)への入力がフレーム間予測であれば、スイッチ(1510)は出力端(1513)から出力を行い、評価値は逆数算出器(1520)へ出力される。逆数算出器(1520)では評価値の逆数を算出した後、重み出力器(1530)から重みが出力される。これにより、フレーム内符号化とフレーム間予測とで、それぞれ重みテーブルを参照する必要がなくなる。以上、本実施形態における中間情報は評価値であるとして説明を行ったが、各符号化単位ごとの符号量であってもよいことは勿論である。また、実施形態1から4のいずれかにおける中間情報が評価値であってもよいことは勿論である。
<実施形態4の処理の流れと効果>
図16に本実施形態における処理の流れの一例を示す。本実施形態における映像装置の動作方法は、映像信号復号化ステップ(S1610)と、第二中間情報比較ステップ(S1620)と、第二符号化単位重み付け決定ステップ(S1630)と、映像ぶれ検出ステップ(S1640)と、からなる。また、図17に評価値を決定する場合の処理の流れの一例を示す。図17に示す評価値の決定方法は、テクスチャの直交変換ステップ(S1720)と、高周波顕在化積分ステップ(S1720)と、評価値決定ステップ(S1730)と、からなる。また、図18に逆数決定方法の処理の流れの一例を示す。図18に示す逆数決定方法は、評価値入力ステップ(S1810)と、符号化タイプ判断ステップ(S1820)と、符号化タイプ判断ステップの判断結果に応じて逆数を算出する逆数算出ステップ(S1830)と、からなる。本実施形態においては映像信号を復号化する際に使用される中間情報を利用することができるため、映像信号に映像ぶれ量に関する情報が付加されていない場合であっても、最適な映像ぶれ量を検出することが可能である。また、同一の重み付け値を用いる中間情報の値が、フレーム間予測に利用される場合と、フレーム内符号化に利用される場合とでは逆数の関係となるように重み付け値を決定することができるため、それぞれ重みテーブルを参照する必要がなくなり、実装がより容易となる。
図16に本実施形態における処理の流れの一例を示す。本実施形態における映像装置の動作方法は、映像信号復号化ステップ(S1610)と、第二中間情報比較ステップ(S1620)と、第二符号化単位重み付け決定ステップ(S1630)と、映像ぶれ検出ステップ(S1640)と、からなる。また、図17に評価値を決定する場合の処理の流れの一例を示す。図17に示す評価値の決定方法は、テクスチャの直交変換ステップ(S1720)と、高周波顕在化積分ステップ(S1720)と、評価値決定ステップ(S1730)と、からなる。また、図18に逆数決定方法の処理の流れの一例を示す。図18に示す逆数決定方法は、評価値入力ステップ(S1810)と、符号化タイプ判断ステップ(S1820)と、符号化タイプ判断ステップの判断結果に応じて逆数を算出する逆数算出ステップ(S1830)と、からなる。本実施形態においては映像信号を復号化する際に使用される中間情報を利用することができるため、映像信号に映像ぶれ量に関する情報が付加されていない場合であっても、最適な映像ぶれ量を検出することが可能である。また、同一の重み付け値を用いる中間情報の値が、フレーム間予測に利用される場合と、フレーム内符号化に利用される場合とでは逆数の関係となるように重み付け値を決定することができるため、それぞれ重みテーブルを参照する必要がなくなり、実装がより容易となる。
<<実施形態5>>
<実施形態5の概要>
本実施形態における映像装置は、実施形態4と同様に映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをするが、実施形態4に加えてデータ読出し部と映像ぶれ補正部と映像表示部とを備えたことを特徴とする。
<実施形態5の概要>
本実施形態における映像装置は、実施形態4と同様に映像信号を復号化する際に生成される各符号化単位ごとの情報から映像信号のぶれ量を検出する際に最適な符号化単位を選択するために符号化単位に重み付けをするが、実施形態4に加えてデータ読出し部と映像ぶれ補正部と映像表示部とを備えたことを特徴とする。
<実施形態5の構成>
図19は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置(1900)は、「映像信号復号化部」(1910)と、「第二中間情報比較部」(1920)と、「第二映像ぶれ量検出部」(1930)と、「第二符号化単位重み付け決定部」(1940)と、「データ読出し部」(1950)と、「映像ぶれ補正部」(1960)と、「映像表示部」(1970)と、を有する。データ読出し部(1950)と、映像ぶれ補正部(1960)と映像表示部(1970)とを除いた構成は実施形態4で説明したものと同様であるため、ここでの説明は省略する。また、データ読出し部(1950)と、映像ぶれ補正部(1960)と、映像表示部(1970)についてはいずれも既に説明してあるため、ここでの説明は省略する。本実施形態においては映像信号を復号化する際に最適な映像ぶれ量を検出し、当該検出した映像ぶれ量に基いて映像ぶれ補正を行い表示することができる。映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。
図19は本実施形態における機能ブロック図の一例を示す。本実施形態における映像装置(1900)は、「映像信号復号化部」(1910)と、「第二中間情報比較部」(1920)と、「第二映像ぶれ量検出部」(1930)と、「第二符号化単位重み付け決定部」(1940)と、「データ読出し部」(1950)と、「映像ぶれ補正部」(1960)と、「映像表示部」(1970)と、を有する。データ読出し部(1950)と、映像ぶれ補正部(1960)と映像表示部(1970)とを除いた構成は実施形態4で説明したものと同様であるため、ここでの説明は省略する。また、データ読出し部(1950)と、映像ぶれ補正部(1960)と、映像表示部(1970)についてはいずれも既に説明してあるため、ここでの説明は省略する。本実施形態においては映像信号を復号化する際に最適な映像ぶれ量を検出し、当該検出した映像ぶれ量に基いて映像ぶれ補正を行い表示することができる。映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。
<実施形態5の処理の流れと効果>
図20は本実施形態における処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、データ読出しステップ(S2010)と、映像信号復号化ステップ(S2020)と、第二中間情報比較ステップ(S2030)と、第二符号化単位重み付け決定ステップ(S2040)と、映像ぶれ量検出ステップ(S2050)と、映像表示ステップ(S2060)と、からなる。本実施形態における映像装置においては、映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。
図20は本実施形態における処理の流れの一例を示すものである。本実施形態における映像装置の動作方法は、データ読出しステップ(S2010)と、映像信号復号化ステップ(S2020)と、第二中間情報比較ステップ(S2030)と、第二符号化単位重み付け決定ステップ(S2040)と、映像ぶれ量検出ステップ(S2050)と、映像表示ステップ(S2060)と、からなる。本実施形態における映像装置においては、映像信号を復号化する際においても映像ぶれ量を検出することが可能であるため、映像ぶれ量に関する情報が含まれていない映像信号であってもぶれを修正した映像を表示することが可能となる。
0100 映像装置
0110 映像信号取得部
0120 映像信号符号化部
0130 中間情報比較部
0140 映像ぶれ量検出部
0150 符号化単位重み付け決定部
0110 映像信号取得部
0120 映像信号符号化部
0130 中間情報比較部
0140 映像ぶれ量検出部
0150 符号化単位重み付け決定部
Claims (6)
- CCDやCMOSイメージセンサから入力された映像信号を取得する映像信号取得部と、
前記映像信号をMPEG規格又はMPEG準拠規格にて符号化する映像信号符号化部と、
映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較部と、
前記映像信号取得部で取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出部と、
前記中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出部における各符号化単位の重み付けを決定する符号化単位重み付け決定部と、
を有する映像装置。 - MPEG規格又はMPEG準拠規格にて符号化された映像信号を復号化する映像信号復号化部と、
前記復号化に利用される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、前記符号化映像信号を可変長復号化したデータ、前記データを逆量子化して得られた係数、各符号化単位の係数を逆直交変換することで得られるテクスチャ、のいずれか一以上の第二の中間情報である第二中間情報を映像ぶれ量検出の信頼性を判断するため比較する第二中間情報比較部と、
符号化された映像信号のぶれ量を、前記第二中間情報である動きベクトルに重み付けをすることで検出する第二映像ぶれ量検出部と、
前記第二中間情報比較部の比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記第二映像ぶれ量検出部における各符号化単位の重み付けを決定する第二符号化単位重み付け決定部と、
を有する映像装置。 - 前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とする請求項1又は2に記載の映像装置。
- CCDやCMOSイメージセンサから入力された映像信号を取得する映像信号取得ステップと、
前記映像信号をMPEG規格又はMPEG準拠規格にて符号化する映像信号符号化ステップと、
映像信号から生成される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、各符号化単位に含まれる画像を直交変換した係数、あるいはこれらを量子化したもの、これらの可変長符号化後の符号のいずれか一以上の中間情報を映像ぶれ量検出の信頼性を判断するため比較する中間情報比較ステップと、
前記映像信号取得ステップで取得した映像信号のぶれ量を、前記中間情報である動きベクトルに重み付けをすることで検出する映像ぶれ量検出ステップと、
前記中間情報比較ステップの比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記映像ぶれ量検出ステップにおける各符号化単位の重み付けを決定する符号化単位重み付け決定ステップと、
を有する映像装置の動作方法。 - MPEG規格又はMPEG準拠規格にて符号化された映像信号を復号化する映像信号復号化ステップと、
前記復号化に利用される各符号化単位ごとの動きベクトル、フレームの符号化タイプ、符号量、前記符号化映像信号を可変長復号化したデータ、前記データを逆量子化して得られた係数、各符号化単位の係数を逆直交変換することで得られるテクスチャ、のいずれか一以上の第二の中間情報である第二中間情報を映像ぶれ量検出の信頼性を判断するため比較する第二中間情報比較ステップと、
符号化された映像信号のぶれ量を、前記第二中間情報である動きベクトルに重み付けをすることで検出する第二映像ぶれ量検出ステップと、
前記第二中間情報比較ステップの比較結果に基づいて判断される映像ぶれ量検出の信頼性に応じて前記第二映像ぶれ量検出ステップにおける各符号化単位の重み付けを決定する第二符号化単位重み付け決定ステップと、
を有する映像装置の動作方法。 - 前記中間情報は、各符号化単位ごとのテクスチャを直交変換し、変換された成分を高周波顕在化積分することで求めた評価値であることを特徴とする請求項4又は5に記載の映像装置の動作方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007312669A JP2008104223A (ja) | 2007-12-03 | 2007-12-03 | 手ぶれ補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007312669A JP2008104223A (ja) | 2007-12-03 | 2007-12-03 | 手ぶれ補正装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004314643A Division JP4079375B2 (ja) | 2004-10-28 | 2004-10-28 | 手ぶれ補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008104223A true JP2008104223A (ja) | 2008-05-01 |
Family
ID=39438127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007312669A Pending JP2008104223A (ja) | 2007-12-03 | 2007-12-03 | 手ぶれ補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008104223A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10504485B2 (en) | 2011-12-21 | 2019-12-10 | Nokia Tehnologies Oy | Display motion quality improvement |
CN116095484A (zh) * | 2021-10-29 | 2023-05-09 | 华为技术有限公司 | 一种视频防抖方法、装置及电子设备 |
-
2007
- 2007-12-03 JP JP2007312669A patent/JP2008104223A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10504485B2 (en) | 2011-12-21 | 2019-12-10 | Nokia Tehnologies Oy | Display motion quality improvement |
CN116095484A (zh) * | 2021-10-29 | 2023-05-09 | 华为技术有限公司 | 一种视频防抖方法、装置及电子设备 |
CN116095484B (zh) * | 2021-10-29 | 2024-04-09 | 华为技术有限公司 | 一种视频防抖方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100864999B1 (ko) | 손떨림 보정 장치 | |
US7880769B2 (en) | Adaptive image stabilization | |
US7171052B2 (en) | Apparatus and method for correcting motion of image | |
JP4682102B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JP4799438B2 (ja) | 画像記録装置、画像記録方法、画像符号化装置、及びプログラム | |
JP4641892B2 (ja) | 動画像符号化装置、方法、及びプログラム | |
JP5529685B2 (ja) | 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置 | |
JP4887750B2 (ja) | 画像処理装置、制御方法及びプログラム | |
KR20050049422A (ko) | 화상 부호화 장치, 화상 복호화 장치 및 이들의 방법 | |
KR100941285B1 (ko) | 영상 처리 장치 및 컴퓨터 판독가능 매체 | |
US7956898B2 (en) | Digital image stabilization method | |
USRE43491E1 (en) | Image shake correction image processing apparatus and program | |
US8189102B2 (en) | Image processing apparatus using interpolation direction | |
JP2008104223A (ja) | 手ぶれ補正装置 | |
JP2010258576A (ja) | シーンチェンジ検出装置および映像記録装置 | |
JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP7047878B2 (ja) | 動画像符号化装置 | |
JP6922215B2 (ja) | 動画像符号化装置 | |
JP2006109060A (ja) | 画像符号化情報を利用した手ぶれ補正方法及び装置 | |
WO2011021345A1 (ja) | 画像処理装置及びカメラシステム | |
KR100683998B1 (ko) | 디지털 이미지 캡쳐 장치 및 방법 | |
JP2011029690A (ja) | 電子カメラ及び画像符号化方法 | |
JP2012222460A (ja) | 動画像符号化装置、動画像符号化方法及びプログラム | |
JP2006041648A (ja) | 動画像処理ユニット | |
JP2012109846A (ja) | 画像符号化装置およびカメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100125 |