JPH0937303A - 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 - Google Patents
符号化画像処理方法、符号化画像処理装置および符号化画像処理回路Info
- Publication number
- JPH0937303A JPH0937303A JP7182942A JP18294295A JPH0937303A JP H0937303 A JPH0937303 A JP H0937303A JP 7182942 A JP7182942 A JP 7182942A JP 18294295 A JP18294295 A JP 18294295A JP H0937303 A JPH0937303 A JP H0937303A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- coded
- image
- motion
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】 疑似立体表示等画像処理に必要な画像の動き
情報獲得・修正に要する負荷を軽減する。 【解決手段】 符号化の際に付加された動きベクトルか
ら画像の動きを検出し、画像各部の奥行を算出して疑似
立体表示を行う。画像の復号はMPEGデコーダ20で
行う。動きベクトル修正回路28は奥行情報を生成する
ために、前記動きベクトル信号を修正する。動きベクト
ル検出回路40は修正後の動きベクトル信号から後段の
回路に適した形式で動きベクトル信号を検出、出力す
る。既存の動きベクトル信号を動き情報として使用する
ため、計算負荷が激減する。
情報獲得・修正に要する負荷を軽減する。 【解決手段】 符号化の際に付加された動きベクトルか
ら画像の動きを検出し、画像各部の奥行を算出して疑似
立体表示を行う。画像の復号はMPEGデコーダ20で
行う。動きベクトル修正回路28は奥行情報を生成する
ために、前記動きベクトル信号を修正する。動きベクト
ル検出回路40は修正後の動きベクトル信号から後段の
回路に適した形式で動きベクトル信号を検出、出力す
る。既存の動きベクトル信号を動き情報として使用する
ため、計算負荷が激減する。
Description
【0001】
【発明の属する技術分野】本発明は、符号化された画像
を処理する方法、装置および回路に関する。特に、本発
明は符号化動画像の動き情報の導出、奥行情報の生成、
疑似立体映像信号の作成に関する。
を処理する方法、装置および回路に関する。特に、本発
明は符号化動画像の動き情報の導出、奥行情報の生成、
疑似立体映像信号の作成に関する。
【0002】
【従来の技術】現在、画像の動き情報をもとに各種画像
処理を行う取り組みがなされている。例えば、基準ピク
チャと動き情報を組にして、動きのない部分のデータを
圧縮する処理がある。画像各部の動きを追跡して被写体
の形状等を検出し、画像認識を行う例もある。ここでは
まず、動き情報を利用して疑似立体表示を行う従来技術
を説明する。
処理を行う取り組みがなされている。例えば、基準ピク
チャと動き情報を組にして、動きのない部分のデータを
圧縮する処理がある。画像各部の動きを追跡して被写体
の形状等を検出し、画像認識を行う例もある。ここでは
まず、動き情報を利用して疑似立体表示を行う従来技術
を説明する。
【0003】従来技術1.図1は特開平7−59119
号公報に開示される疑似立体映像表示装置の概略構成図
である。この装置は、例えばヘッドマウントディスプレ
イの態様をとる。この装置は、いわゆる時間差方式の疑
似立体表示を行う。
号公報に開示される疑似立体映像表示装置の概略構成図
である。この装置は、例えばヘッドマウントディスプレ
イの態様をとる。この装置は、いわゆる時間差方式の疑
似立体表示を行う。
【0004】[立体視の原理]人が物体を両目で見たと
き、物体像は両目の視線の交点に結ばれる。この交点と
人の距離に応じて両眼視差(ここでは交点から人の両目
を見込む角と定義する)が変化し、距離感が生じる。時
間差方式では、両目に与える画像に時間差を設ける。例
えば右に移動する物体があれば、右目用の映像を遅らせ
る。このとき右目は左目に比べて、より左の方向を見る
ため、物体像が人に近い位置に結ばれる。この結果、物
体が手前に飛び出して見え、立体感が現出する。
き、物体像は両目の視線の交点に結ばれる。この交点と
人の距離に応じて両眼視差(ここでは交点から人の両目
を見込む角と定義する)が変化し、距離感が生じる。時
間差方式では、両目に与える画像に時間差を設ける。例
えば右に移動する物体があれば、右目用の映像を遅らせ
る。このとき右目は左目に比べて、より左の方向を見る
ため、物体像が人に近い位置に結ばれる。この結果、物
体が手前に飛び出して見え、立体感が現出する。
【0005】[構成と動作]映像信号101がA/Dコ
ンバータ1でデジタル化された後、動きベクトル検出回
路11へ投入され、動きベクトルが検出される。検出さ
れた動きベクトルに従い、左遅延回路3と右遅延回路4
で必要な遅延が付加され、映像がD/Aコンバータ5、
6および駆動回路7、8を経て、左右それぞの目に対応
する液晶パネル9、10に与えられる。反転回路13は
左目に与える遅延特性を反転し、両目に自然な疑似立体
映像を与える。検出用遅延回路2は動きベクトル検出に
必要なフレーム遅延映像信号を生成する。
ンバータ1でデジタル化された後、動きベクトル検出回
路11へ投入され、動きベクトルが検出される。検出さ
れた動きベクトルに従い、左遅延回路3と右遅延回路4
で必要な遅延が付加され、映像がD/Aコンバータ5、
6および駆動回路7、8を経て、左右それぞの目に対応
する液晶パネル9、10に与えられる。反転回路13は
左目に与える遅延特性を反転し、両目に自然な疑似立体
映像を与える。検出用遅延回路2は動きベクトル検出に
必要なフレーム遅延映像信号を生成する。
【0006】以上、この装置は動画像の動き情報をもと
に疑似立体表示を行う立体コンバータと考えることがで
きる。
に疑似立体表示を行う立体コンバータと考えることがで
きる。
【0007】従来技術2.図2は特公昭55−3624
0号公報に開示される立体画像表示装置の概略構成図で
ある。この装置は、例えば立体テレビジョン(TV)受
像機であり、個別に受信したTV信号と奥行情報信号を
組み合わせることで疑似立体表示を行う。
0号公報に開示される立体画像表示装置の概略構成図で
ある。この装置は、例えば立体テレビジョン(TV)受
像機であり、個別に受信したTV信号と奥行情報信号を
組み合わせることで疑似立体表示を行う。
【0008】[立体視の原理]やはり時間差方式に立脚
する。従来技術1で述べた両眼視差は、人(またはカメ
ラ)と物体の距離(以降「奥行」という)に依存する。
奥行が小さくなるほど両眼視差は大きくなる。そこで奥
行をパラメータとして、時間差すなわち画像の遅延時間
を設定する。
する。従来技術1で述べた両眼視差は、人(またはカメ
ラ)と物体の距離(以降「奥行」という)に依存する。
奥行が小さくなるほど両眼視差は大きくなる。そこで奥
行をパラメータとして、時間差すなわち画像の遅延時間
を設定する。
【0009】[構成と動作]TV信号は入力端子1から
入力される。これは固定遅延回路2で固定遅延を受け、
出力端子14へ出力される。奥行情報信号は入力端子5
から入力される。疑似多方向信号形成回路3、3’…は
それぞれ可変遅延回路4を含み、ここにもTV信号が入
力される。可変遅延回路4は、関数回路および電圧周波
数変換回路を含む遅延制御回路10によって制御され
る。奥行情報信号によってTV信号の遅延時間が制御さ
れ、必要な遅延が与えられた映像が出力端子15、1
5’…から出力される。これら各出力端子の出力映像に
より、多目用の疑似立体映像を表示することができる。
入力される。これは固定遅延回路2で固定遅延を受け、
出力端子14へ出力される。奥行情報信号は入力端子5
から入力される。疑似多方向信号形成回路3、3’…は
それぞれ可変遅延回路4を含み、ここにもTV信号が入
力される。可変遅延回路4は、関数回路および電圧周波
数変換回路を含む遅延制御回路10によって制御され
る。奥行情報信号によってTV信号の遅延時間が制御さ
れ、必要な遅延が与えられた映像が出力端子15、1
5’…から出力される。これら各出力端子の出力映像に
より、多目用の疑似立体映像を表示することができる。
【0010】以上、この装置は1つの映像信号と奥行情
報により、あたかも多方向から撮影された立体映像を表
示するものである。この奥行情報も、動き情報から推定
することが可能である。
報により、あたかも多方向から撮影された立体映像を表
示するものである。この奥行情報も、動き情報から推定
することが可能である。
【0011】これら2つの従来技術のように、動き情報
を疑似立体表示を含む各種画像処理に利用する場合は多
い。
を疑似立体表示を含む各種画像処理に利用する場合は多
い。
【0012】一方、国際符号化標準MPEGに代表され
るように、画像の符号化もまた、重要な基礎技術となっ
ている。画像符号化・復号化技術の普及により、圧縮符
号化された圧縮符号化画像が広く用いられ、圧縮符号化
画像を復号して得られる復号画像が前記の各種画像処理
(画像認識処理、画像圧縮符号化処理、疑似立体化処理
等)に入力される場合も多い。
るように、画像の符号化もまた、重要な基礎技術となっ
ている。画像符号化・復号化技術の普及により、圧縮符
号化された圧縮符号化画像が広く用いられ、圧縮符号化
画像を復号して得られる復号画像が前記の各種画像処理
(画像認識処理、画像圧縮符号化処理、疑似立体化処理
等)に入力される場合も多い。
【0013】
【発明が解決しようとする課題】各種画像処理に動き情
報を用いるとき、最大の課題は負荷の大きさにある。動
き情報の検出には、オプティカルフローなどいくつかの
手法があるが、計算機の負荷は概して非常大きく、必要
なハードウエアも高価かつ大規模になる。このため、情
報通信家電や低コスト通信サービスなど、リアルタイム
に低ビットレートで動画像の送受信する用途には向かな
い。
報を用いるとき、最大の課題は負荷の大きさにある。動
き情報の検出には、オプティカルフローなどいくつかの
手法があるが、計算機の負荷は概して非常大きく、必要
なハードウエアも高価かつ大規模になる。このため、情
報通信家電や低コスト通信サービスなど、リアルタイム
に低ビットレートで動画像の送受信する用途には向かな
い。
【0014】本発明は、動き情報の検出に必要な負荷の
軽減を目的とする。この際、MPEG等、動き補償ピク
チャ間圧縮符号化利用技術の特徴を活用する。すなわ
ち、圧縮符号化画像に、該画像を復号するため必要な情
報(動きベクトル情報、コマンド情報)が予め挿入され
ている点に着目し、この情報を復号に利用するだけでは
なく、後段の各種画像処理段に対して出力する。この結
果、これら画像処理段の負荷の大幅な軽減を図るもので
ある。
軽減を目的とする。この際、MPEG等、動き補償ピク
チャ間圧縮符号化利用技術の特徴を活用する。すなわ
ち、圧縮符号化画像に、該画像を復号するため必要な情
報(動きベクトル情報、コマンド情報)が予め挿入され
ている点に着目し、この情報を復号に利用するだけでは
なく、後段の各種画像処理段に対して出力する。この結
果、これら画像処理段の負荷の大幅な軽減を図るもので
ある。
【0015】
【課題を解決するための手段】本発明の符号化画像処理
方法は、符号化動画像データに予め含まれる動き情報を
参照し、復号後の画像(復号画像)が有するべき動き情
報を導出する。すなわち本発明は、符号化の規則が予め
動き情報を含む場合に適用される。この例として動き補
償ピクチャ間圧縮符号化利用技術がある。「符号化動画
像データ」とは、符号化された動画像のデータをいう。
動き情報の例には動きベクトルがあるが、その他、何ら
かの表現形式で画像の動きを表す情報はこれに含まれ
る。「復号画像の動き情報」とは、画像を復号したとき
に、例えば疑似立体表示のために必要となる動き情報を
いう。本発明のこの態様では、導出すべき動き情報を画
像の復号とは異なる用途に用いる点に特徴がある。
方法は、符号化動画像データに予め含まれる動き情報を
参照し、復号後の画像(復号画像)が有するべき動き情
報を導出する。すなわち本発明は、符号化の規則が予め
動き情報を含む場合に適用される。この例として動き補
償ピクチャ間圧縮符号化利用技術がある。「符号化動画
像データ」とは、符号化された動画像のデータをいう。
動き情報の例には動きベクトルがあるが、その他、何ら
かの表現形式で画像の動きを表す情報はこれに含まれ
る。「復号画像の動き情報」とは、画像を復号したとき
に、例えば疑似立体表示のために必要となる動き情報を
いう。本発明のこの態様では、導出すべき動き情報を画
像の復号とは異なる用途に用いる点に特徴がある。
【0016】本発明の符号化画像処理方法は、符号化動
画像データに予め含まれる動きベクトル情報を参照し、
復号画像ピクチャ間の対応点移動量を導出する。すなわ
ち、動きベクトルによって画像各部の動きが判明するた
め、この動きから対応点の移動を計算する。「対応点」
とはピクチャ間で画像上対応しあうピクチャ平面上の
点、「ピクチャ」とは表示単位である画面をいい、フレ
ームやフィールドなどを含む。最も簡単な場合、画像各
部の動きベクトル自体がその部分の移動を示すと考えれ
ばよい。画像を複数の領域に分割する場合は、各領域を
代表する動きベクトルがその領域全体の移動を示すとみ
なしてもよい。導出された移動量は、例えば画像各部の
奥行情報を導く際に有益な情報となる。
画像データに予め含まれる動きベクトル情報を参照し、
復号画像ピクチャ間の対応点移動量を導出する。すなわ
ち、動きベクトルによって画像各部の動きが判明するた
め、この動きから対応点の移動を計算する。「対応点」
とはピクチャ間で画像上対応しあうピクチャ平面上の
点、「ピクチャ」とは表示単位である画面をいい、フレ
ームやフィールドなどを含む。最も簡単な場合、画像各
部の動きベクトル自体がその部分の移動を示すと考えれ
ばよい。画像を複数の領域に分割する場合は、各領域を
代表する動きベクトルがその領域全体の移動を示すとみ
なしてもよい。導出された移動量は、例えば画像各部の
奥行情報を導く際に有益な情報となる。
【0017】本発明では、前記動きベクトル情報を前記
対応点の検索範囲を限定するために使用してもよい。す
なわち、ある点または領域の移動先を探すとき、前記動
きベクトルによって移動先をある程度限定し、その後例
えばブロックマッチング等によって正確な探索を行えば
よい。
対応点の検索範囲を限定するために使用してもよい。す
なわち、ある点または領域の移動先を探すとき、前記動
きベクトルによって移動先をある程度限定し、その後例
えばブロックマッチング等によって正確な探索を行えば
よい。
【0018】本発明の別の態様は、符号化動画像データ
に予め含まれる動き情報から、疑似立体表示のための奥
行情報を生成する。まず、符号化動画像データの動き情
報から復号画像の動き情報を導き、この情報から幾何計
算によって画像各部の三次元座標が判明する。この座標
で奥行がわかる。奥行情報は疑似立体表示の有益な情報
となる。
に予め含まれる動き情報から、疑似立体表示のための奥
行情報を生成する。まず、符号化動画像データの動き情
報から復号画像の動き情報を導き、この情報から幾何計
算によって画像各部の三次元座標が判明する。この座標
で奥行がわかる。奥行情報は疑似立体表示の有益な情報
となる。
【0019】より具体的には、前記動き情報が動きベク
トル情報であるとき、本発明の符号化画像処理方法は、
この動きベクトル情報を前記符号化動画像データから分
離して抽出する工程、抽出した動きベクトル情報に従っ
て画像各部の相対空間位置を算出する工程、その相対空
間位置に基づいて画像各部の奥行を導出する工程を含
む。
トル情報であるとき、本発明の符号化画像処理方法は、
この動きベクトル情報を前記符号化動画像データから分
離して抽出する工程、抽出した動きベクトル情報に従っ
て画像各部の相対空間位置を算出する工程、その相対空
間位置に基づいて画像各部の奥行を導出する工程を含
む。
【0020】前記符号化動画像データは、動画像をDC
T符号化技術によって符号化したデータであってもよ
い。DCTとはディスクリートコサイン変換ともいわれ
るもので、領域ベースの符号化を行う。このデータはさ
らに、MPEGで符号化したデータであってもよい。M
PEGの場合、領域ベースで符号化を行うとともに、各
領域の動きを1つ以上の動きベクトルで表現するため、
この動きベクトル信号が前記動き情報として利用され
る。
T符号化技術によって符号化したデータであってもよ
い。DCTとはディスクリートコサイン変換ともいわれ
るもので、領域ベースの符号化を行う。このデータはさ
らに、MPEGで符号化したデータであってもよい。M
PEGの場合、領域ベースで符号化を行うとともに、各
領域の動きを1つ以上の動きベクトルで表現するため、
この動きベクトル信号が前記動き情報として利用され
る。
【0021】本発明では、前記奥行情報を画像各部に対
して個別に生成してもよい。画像全体に一様な奥行を与
えてもよいし、例えば動きのある任意の領域のみに与え
てもよい。ここでいう画像各部は領域分割して得られる
所定の領域でもよいし、各画像要素によって形成される
領域でもよい。ここで「画像要素」とは、何らかの意味
をなす画像領域を指し、例えば人の顔、目、背景の山な
どがこれに当たる。奥行情報を画像各部に対して生成す
る場合は、対応する部分の動き情報を参照すればよい。
して個別に生成してもよい。画像全体に一様な奥行を与
えてもよいし、例えば動きのある任意の領域のみに与え
てもよい。ここでいう画像各部は領域分割して得られる
所定の領域でもよいし、各画像要素によって形成される
領域でもよい。ここで「画像要素」とは、何らかの意味
をなす画像領域を指し、例えば人の顔、目、背景の山な
どがこれに当たる。奥行情報を画像各部に対して生成す
る場合は、対応する部分の動き情報を参照すればよい。
【0022】本発明の符号化画像処理方法の別の態様
は、知的符号化技術によって符号化された平面画像デー
タを示すコマンド情報から疑似立体表示のための奥行情
報を生成する。知的符号化とは、一般に符号化側が画像
要素の特徴を示すコマンド情報を送信することをいい、
復号側ではコマンドの内容を見て画像を再生する。知的
符号化の基本概念は周知である。本発明では、コマンド
情報が平面画像データを示していても、このコマンドに
よって示される画像要素間の前後関係等から奥行情報を
生成する。この処理は受信側で行うことができる。
は、知的符号化技術によって符号化された平面画像デー
タを示すコマンド情報から疑似立体表示のための奥行情
報を生成する。知的符号化とは、一般に符号化側が画像
要素の特徴を示すコマンド情報を送信することをいい、
復号側ではコマンドの内容を見て画像を再生する。知的
符号化の基本概念は周知である。本発明では、コマンド
情報が平面画像データを示していても、このコマンドに
よって示される画像要素間の前後関係等から奥行情報を
生成する。この処理は受信側で行うことができる。
【0023】本発明では、前記コマンド情報が(1)画
像要素自体、(2)複数画像要素を表示する際の前後関
係、(3)画像要素の動作、(4)画像要素の感情、な
どを示してもよい。これらの情報に従い、例えば、前に
ある物体を近くに表示するよう奥行情報を生成する。
像要素自体、(2)複数画像要素を表示する際の前後関
係、(3)画像要素の動作、(4)画像要素の感情、な
どを示してもよい。これらの情報に従い、例えば、前に
ある物体を近くに表示するよう奥行情報を生成する。
【0024】なお、これらのうち(3)と(4)につい
ては、平面画像データでない場合(すでに立体表示用の
情報を持ったデータの場合)であっても本発明は有効で
ある。すなわち、復号の際に一旦立体表示された画像要
素の奥行を、その動作、感情に従って変更することによ
り、さらに効果的な画像を得ることができる。
ては、平面画像データでない場合(すでに立体表示用の
情報を持ったデータの場合)であっても本発明は有効で
ある。すなわち、復号の際に一旦立体表示された画像要
素の奥行を、その動作、感情に従って変更することによ
り、さらに効果的な画像を得ることができる。
【0025】一方、本発明の符号化画像処理装置は、動
き補償ピクチャ間圧縮符号化利用技術によって符号化さ
れた符号化データを復号して映像信号を生成する復号手
段と、この符号化データを復号する際に使用される復号
用の動きベクトル信号を該データから分離抽出する動き
ベクトル信号抽出手段と、分離抽出された動きベクトル
信号を参照することにより、疑似立体表示用の奥行情報
を生成する奥行情報生成手段とを備える。すなわち、映
像信号が復号される際、符号化データに含まれる動きベ
クトル信号も抽出される。動き補償ピクチャ間圧縮符号
化利用技術が動きベクトル信号をフォーマットに含む特
徴を利用している。つづいて動きベクトル信号から、例
えば画像各部の奥行が算出される。従って、この態様で
の本装置は、奥行情報生成装置といってよい。
き補償ピクチャ間圧縮符号化利用技術によって符号化さ
れた符号化データを復号して映像信号を生成する復号手
段と、この符号化データを復号する際に使用される復号
用の動きベクトル信号を該データから分離抽出する動き
ベクトル信号抽出手段と、分離抽出された動きベクトル
信号を参照することにより、疑似立体表示用の奥行情報
を生成する奥行情報生成手段とを備える。すなわち、映
像信号が復号される際、符号化データに含まれる動きベ
クトル信号も抽出される。動き補償ピクチャ間圧縮符号
化利用技術が動きベクトル信号をフォーマットに含む特
徴を利用している。つづいて動きベクトル信号から、例
えば画像各部の奥行が算出される。従って、この態様で
の本装置は、奥行情報生成装置といってよい。
【0026】さらにこのとき、この装置は前記奥行情報
に基づいて前記映像信号から疑似立体映像信号を作成す
る疑似立体化手段を備えてもよい。このとき、この疑似
立体化手段は遅延量または輝度レベルの異なる2系統の
疑似立体映像信号を作成すればよい。これは時間差方式
の疑似立体表示手法であるが、ここで輝度レベルでもよ
いのは、プルフリッヒの原理による。人の視感覚の性
質、すなわち物が見えたと感じるまでの時間が明るさに
依存する性質を利用するのである。従って、この態様で
の本装置は、疑似立体映像信号作成装置といってもよ
い。
に基づいて前記映像信号から疑似立体映像信号を作成す
る疑似立体化手段を備えてもよい。このとき、この疑似
立体化手段は遅延量または輝度レベルの異なる2系統の
疑似立体映像信号を作成すればよい。これは時間差方式
の疑似立体表示手法であるが、ここで輝度レベルでもよ
いのは、プルフリッヒの原理による。人の視感覚の性
質、すなわち物が見えたと感じるまでの時間が明るさに
依存する性質を利用するのである。従って、この態様で
の本装置は、疑似立体映像信号作成装置といってもよ
い。
【0027】また本発明は、動きベクトル信号抽出手段
によって分離抽出された動きベクトル信号に修正を与え
た上で、これを奥行情報生成手段に供給する動きベクト
ル修正手段を備えてもよい。修正とは、奥行情報の生成
に最適な動きベクトルを得るために必要な処理をいう。
修正の例には、後述の動きベクトル信号の推測がある。
によって分離抽出された動きベクトル信号に修正を与え
た上で、これを奥行情報生成手段に供給する動きベクト
ル修正手段を備えてもよい。修正とは、奥行情報の生成
に最適な動きベクトルを得るために必要な処理をいう。
修正の例には、後述の動きベクトル信号の推測がある。
【0028】前記符号化データがインター符号化画像お
よびイントラ符号化画像のデータを含む場合にあって
は、前記動きベクトル信号抽出手段は、インター符号化
画像の動きベクトル信号を分離抽出し、前記動きベクト
ル修正手段は分離抽出された動きベクトル信号から、該
インター符号化画像に時間的または位置的に近いイント
ラ符号化画像の動きベクトル信号を推測する動きベクト
ル信号推測手段を備えることにしてもよい。
よびイントラ符号化画像のデータを含む場合にあって
は、前記動きベクトル信号抽出手段は、インター符号化
画像の動きベクトル信号を分離抽出し、前記動きベクト
ル修正手段は分離抽出された動きベクトル信号から、該
インター符号化画像に時間的または位置的に近いイント
ラ符号化画像の動きベクトル信号を推測する動きベクト
ル信号推測手段を備えることにしてもよい。
【0029】ここで「インター符号化画像」とは、符号
化の際の属性情報の1つに動きベクトル情報を含むピク
チャまたはその一部領域をいう。MPEGの場合、この
ピクチャはPピクチャ、Bピクチャである。Pピクチャ
等が後述のイントラマクロブロックを含む場合、それを
除くインターマクロブロックが前記の一部領域に当た
る。「イントラ符号化画像」は逆に、動きベクトル情報
を含まないピクチャかそのような一部領域を指す。MP
EGのIピクチャ、またはP、Bピクチャのイントラマ
クロブロックが該当する。イントラマクロブロックは通
常、ピクチャ内圧縮符号化技術によって生成される。イ
ンター、イントラの区別は符号化側が行う。
化の際の属性情報の1つに動きベクトル情報を含むピク
チャまたはその一部領域をいう。MPEGの場合、この
ピクチャはPピクチャ、Bピクチャである。Pピクチャ
等が後述のイントラマクロブロックを含む場合、それを
除くインターマクロブロックが前記の一部領域に当た
る。「イントラ符号化画像」は逆に、動きベクトル情報
を含まないピクチャかそのような一部領域を指す。MP
EGのIピクチャ、またはP、Bピクチャのイントラマ
クロブロックが該当する。イントラマクロブロックは通
常、ピクチャ内圧縮符号化技術によって生成される。イ
ンター、イントラの区別は符号化側が行う。
【0030】インター符号化画像は動きベクトル信号を
持つため、まずこの信号が分離抽出される。つづいて、
その信号から該インター符号化画像に時間的または位置
的に近いイントラ符号化画像の動きベクトル信号が推測
される。「時間的に近い」とはピクチャ間の時間間隔が
小さいこと、「位置的に近い」とはピクチャ内において
位置的に近いことを指す。
持つため、まずこの信号が分離抽出される。つづいて、
その信号から該インター符号化画像に時間的または位置
的に近いイントラ符号化画像の動きベクトル信号が推測
される。「時間的に近い」とはピクチャ間の時間間隔が
小さいこと、「位置的に近い」とはピクチャ内において
位置的に近いことを指す。
【0031】なお、本装置において疑似立体化手段を外
し、動きベクトル修正手段のみを残してもよい。その場
合、本装置は不足している動きベクトル信号を変換して
生成する動きベクトル変換生成装置または回路として機
能する。
し、動きベクトル修正手段のみを残してもよい。その場
合、本装置は不足している動きベクトル信号を変換して
生成する動きベクトル変換生成装置または回路として機
能する。
【0032】前記イントラ符号化画像が修整動きベクト
ル信号を持つ場合には、前記動きベクトル信号抽出手段
はさらにイントラ符号化画像の修整動きベクトル信号を
分離抽出し、前記動きベクトル修正手段は、この修整動
きベクトル信号を該イントラ符号化画像の動きベクトル
信号として扱うこともできる。ここで「修整動きベクト
ル信号」とは、本来動き情報を持たないイントラ符号化
画像に疑似的または便宜的に与えられる動き情報で、M
PEGではコンシールメント・モーション・ベクトルが
これに当たる。従って、これを動きベクトル信号とみな
して処理を行えばよい。
ル信号を持つ場合には、前記動きベクトル信号抽出手段
はさらにイントラ符号化画像の修整動きベクトル信号を
分離抽出し、前記動きベクトル修正手段は、この修整動
きベクトル信号を該イントラ符号化画像の動きベクトル
信号として扱うこともできる。ここで「修整動きベクト
ル信号」とは、本来動き情報を持たないイントラ符号化
画像に疑似的または便宜的に与えられる動き情報で、M
PEGではコンシールメント・モーション・ベクトルが
これに当たる。従って、これを動きベクトル信号とみな
して処理を行えばよい。
【0033】前記動き補償ピクチャ間圧縮符号化利用技
術がピクチャ並びの順方向、逆方向またはこれらの両方
向で動き補償ピクチャ間圧縮を行う場合は、前記動きベ
クトル信号抽出手段は、前記動き補償ピクチャ間圧縮の
方向に従って生じる動きベクトル信号を分離抽出し、前
記動きベクトル修正手段は分離抽出された動きベクトル
信号をいずれか一方向を基準として表現した動きベクト
ル信号に変換する動き方向統一変換手段を備えることに
してもよい。ここで「ピクチャ並びの順方向」とは、時
間的に前のピクチャから後のピクチャを見る方向をい
い、「逆方向」とは後のピクチャから前のピクチャを遡
って見る方向をいう。「動き補償ピクチャ」とは、情報
として動きベクトルが付加されたピクチャをいう。例え
ばMPEGの場合、動きベクトルが順方向のみならず逆
方向でも定義されるため、後段の処理を配慮して、これ
を例えば順方向のみに揃える。なおこの場合も疑似立体
化手段を外し、動きベクトル修正手段のみを残せば、本
装置は動きベクトル変換生成装置または回路となる。
術がピクチャ並びの順方向、逆方向またはこれらの両方
向で動き補償ピクチャ間圧縮を行う場合は、前記動きベ
クトル信号抽出手段は、前記動き補償ピクチャ間圧縮の
方向に従って生じる動きベクトル信号を分離抽出し、前
記動きベクトル修正手段は分離抽出された動きベクトル
信号をいずれか一方向を基準として表現した動きベクト
ル信号に変換する動き方向統一変換手段を備えることに
してもよい。ここで「ピクチャ並びの順方向」とは、時
間的に前のピクチャから後のピクチャを見る方向をい
い、「逆方向」とは後のピクチャから前のピクチャを遡
って見る方向をいう。「動き補償ピクチャ」とは、情報
として動きベクトルが付加されたピクチャをいう。例え
ばMPEGの場合、動きベクトルが順方向のみならず逆
方向でも定義されるため、後段の処理を配慮して、これ
を例えば順方向のみに揃える。なおこの場合も疑似立体
化手段を外し、動きベクトル修正手段のみを残せば、本
装置は動きベクトル変換生成装置または回路となる。
【0034】一方、前記動き補償ピクチャ間圧縮符号化
利用技術が、動き補償ピクチャ間圧縮の対象となるピク
チャの間隔を適宜変更しながら該圧縮を行う場合は、前
記動きベクトル信号抽出手段は、前記適宜変更されたピ
クチャ間に生じる動きベクトル信号を分離抽出し、前記
動きベクトル修正手段は分離抽出された動きベクトル信
号をピクチャ間隔を揃えた状態で得られるべき動きベク
トル信号に変換するピクチャ間隔統一変換手段を備える
ことにしてもよい。例えばMPEGの場合、隣接するピ
クチャ間のみならず、ある程度離れたピクチャ間でも動
きベクトルが定義される。ピクチャの間隔は状況に応じ
て決定されるため、これを一定の間隔で表現した動きベ
クトルに変換し、後段の処理に配慮する。当然ながら、
この場合も本装置を動きベクトル変換生成装置または回
路として構成することができる。
利用技術が、動き補償ピクチャ間圧縮の対象となるピク
チャの間隔を適宜変更しながら該圧縮を行う場合は、前
記動きベクトル信号抽出手段は、前記適宜変更されたピ
クチャ間に生じる動きベクトル信号を分離抽出し、前記
動きベクトル修正手段は分離抽出された動きベクトル信
号をピクチャ間隔を揃えた状態で得られるべき動きベク
トル信号に変換するピクチャ間隔統一変換手段を備える
ことにしてもよい。例えばMPEGの場合、隣接するピ
クチャ間のみならず、ある程度離れたピクチャ間でも動
きベクトルが定義される。ピクチャの間隔は状況に応じ
て決定されるため、これを一定の間隔で表現した動きベ
クトルに変換し、後段の処理に配慮する。当然ながら、
この場合も本装置を動きベクトル変換生成装置または回
路として構成することができる。
【0035】これらの装置または回路は、前記動きベク
トル修正手段によって生成または変換された動きベクト
ル信号から、後段の処理内容に適した手法で動きベクト
ルの検出を行う動きベクトル検出手段を含んでもよい。
「後段の処理」には、画像認識、画像圧縮などがある。
「適した手法」とは、それらの処理に好都合な形式また
は内容の動きベクトルが得られる方法をいう。
トル修正手段によって生成または変換された動きベクト
ル信号から、後段の処理内容に適した手法で動きベクト
ルの検出を行う動きベクトル検出手段を含んでもよい。
「後段の処理」には、画像認識、画像圧縮などがある。
「適した手法」とは、それらの処理に好都合な形式また
は内容の動きベクトルが得られる方法をいう。
【0036】前記動き補償ピクチャ間圧縮符号化利用技
術がMPEGの場合、前記動きベクトル検出手段はMP
EGのPピクチャを中心に動きベクトルの検出を行うこ
とにしてもよい。後述のように、Pピクチャの動きベク
トル情報の順方向のみで規定されるため、動きベクトル
の検出が容易かつ効率的になる。「Pピクチャを中心
に」とは、Pピクチャのみから情報を得る場合の他、一
部を例えばIピクチャから、その他をPピクチャから得
るような場合を含む。
術がMPEGの場合、前記動きベクトル検出手段はMP
EGのPピクチャを中心に動きベクトルの検出を行うこ
とにしてもよい。後述のように、Pピクチャの動きベク
トル情報の順方向のみで規定されるため、動きベクトル
の検出が容易かつ効率的になる。「Pピクチャを中心
に」とは、Pピクチャのみから情報を得る場合の他、一
部を例えばIピクチャから、その他をPピクチャから得
るような場合を含む。
【0037】また、前記動きベクトル修正手段は、前記
動きベクトル検出手段からの指示に従って必要な領域ま
たは必要な時点の動きベクトル信号を出力する構成とし
てもよい。動きベクトル修正手段が動きベクトルの検出
を必要とするピクチャは必ずしも全ピクチャではないた
めである。従って、動きベクトル検出手段が指示を送っ
た場合のみ、動きベクトルの修正および出力がなされ
る。
動きベクトル検出手段からの指示に従って必要な領域ま
たは必要な時点の動きベクトル信号を出力する構成とし
てもよい。動きベクトル修正手段が動きベクトルの検出
を必要とするピクチャは必ずしも全ピクチャではないた
めである。従って、動きベクトル検出手段が指示を送っ
た場合のみ、動きベクトルの修正および出力がなされ
る。
【0038】なおこの装置または回路は、符号化画像が
イントラ符号化画像を含まない場合も適用可能である。
すなわち、インター符号化画像を含む符号化データを復
号して映像信号を生成する復号手段と、この符号化デー
タを復号する際に使用されるインター符号化画像の復号
用動きベクトル信号を該データから分離抽出する動きベ
クトル信号抽出手段と、前記復号された映像信号を二次
処理するための二次処理用の動きベクトルを検出する動
きベクトル検出手段と、この動きベクトル検出手段から
の指示に従って必要な領域または必要な時点の動き情報
を前記復号用動きベクトル信号より生成する動きベクト
ル修正手段とを備えればよい。ここで「二次処理」とは
後段の各種画像処理等をいう。それぞれの手段の内容に
ついては、既述の通りである。
イントラ符号化画像を含まない場合も適用可能である。
すなわち、インター符号化画像を含む符号化データを復
号して映像信号を生成する復号手段と、この符号化デー
タを復号する際に使用されるインター符号化画像の復号
用動きベクトル信号を該データから分離抽出する動きベ
クトル信号抽出手段と、前記復号された映像信号を二次
処理するための二次処理用の動きベクトルを検出する動
きベクトル検出手段と、この動きベクトル検出手段から
の指示に従って必要な領域または必要な時点の動き情報
を前記復号用動きベクトル信号より生成する動きベクト
ル修正手段とを備えればよい。ここで「二次処理」とは
後段の各種画像処理等をいう。それぞれの手段の内容に
ついては、既述の通りである。
【0039】
【発明の実施の形態】実施の形態1. 本発明の好適な実施の形態を説明する。
図3は実施の形態1に係る符号化画像処理装置の概略構
成図である。本装置は、奥行情報生成機能を持つデコー
ダということができる。構成と動作は以下の通りであ
る。
図3は実施の形態1に係る符号化画像処理装置の概略構
成図である。本装置は、奥行情報生成機能を持つデコー
ダということができる。構成と動作は以下の通りであ
る。
【0040】1.MPEGデコーダ20 実施の形態1では、入力される映像信号がDCT符号化
技術、特にMPEGによって符号化された動画像である
とする。すなわち、MPEGデコーダ20は入力端子2
2から入力された映像信号をMPEGの規則に従って復
号し、これを出力端子24から出力する。この動作は従
来のMPEGデコーダと同様であるが、このMPEGデ
コーダ20の特徴は、符号化データに予め含まれる動き
ベクトル信号およびピクチャ種別信号を分離抽出する回
路を内蔵し、これらの信号を出力する出力端子26を持
つ点にある。出力信号は動きベクトル修正回路28へ与
えられる。
技術、特にMPEGによって符号化された動画像である
とする。すなわち、MPEGデコーダ20は入力端子2
2から入力された映像信号をMPEGの規則に従って復
号し、これを出力端子24から出力する。この動作は従
来のMPEGデコーダと同様であるが、このMPEGデ
コーダ20の特徴は、符号化データに予め含まれる動き
ベクトル信号およびピクチャ種別信号を分離抽出する回
路を内蔵し、これらの信号を出力する出力端子26を持
つ点にある。出力信号は動きベクトル修正回路28へ与
えられる。
【0041】2.動きベクトル修正回路28 動きベクトル信号およびピクチャ種別信号を受け、後段
の奥行情報生成回路30に必要な動き情報を生成する。
動き情報の生成は、動きベクトル信号に修正を加えて行
われる。この回路は、例えばマイクロコンピュータと動
きベクトル修正プログラムによって構成することができ
る。この回路の動作を理解するために、必要な予備知識
を説明する。
の奥行情報生成回路30に必要な動き情報を生成する。
動き情報の生成は、動きベクトル信号に修正を加えて行
われる。この回路は、例えばマイクロコンピュータと動
きベクトル修正プログラムによって構成することができ
る。この回路の動作を理解するために、必要な予備知識
を説明する。
【0042】(1)MPEGの動きベクトル信号 MPEGでは各ピクチャを16×16画素のマクロブロ
ックという領域に分割して扱う。図4は1つのピクチャ
を構成するマクロブロックの配置図である。同図に示す
ように、マクロブロックはインターマクロブロック、イ
ントラマクロブロックに分類される。インターマクロブ
ロックは動きベクトル情報を持つが、イントラマクロブ
ロックは持たない(すなわち、それ自身は動き情報を持
たない)。図4の各マクロブロック内に記載された
(x,y)がそのブロックの動きベクトル成分を示して
いる。
ックという領域に分割して扱う。図4は1つのピクチャ
を構成するマクロブロックの配置図である。同図に示す
ように、マクロブロックはインターマクロブロック、イ
ントラマクロブロックに分類される。インターマクロブ
ロックは動きベクトル情報を持つが、イントラマクロブ
ロックは持たない(すなわち、それ自身は動き情報を持
たない)。図4の各マクロブロック内に記載された
(x,y)がそのブロックの動きベクトル成分を示して
いる。
【0043】(2)MPEGのピクチャ種別 図5はGOP(グループ・オブ・ピクチャ)と呼ばれる
MPEGのランダムアクセス単位のピクチャ構成図であ
る。同図に示す通り、MPEGにはI、P、Bピクチャ
がある。この例では、1つのGOPは合計12枚のピク
チャからなる。同図では便宜上、I、B、Pの種別の他
に、表示順を示す番号を付けている。右向きがピクチャ
並びの順方向である。
MPEGのランダムアクセス単位のピクチャ構成図であ
る。同図に示す通り、MPEGにはI、P、Bピクチャ
がある。この例では、1つのGOPは合計12枚のピク
チャからなる。同図では便宜上、I、B、Pの種別の他
に、表示順を示す番号を付けている。右向きがピクチャ
並びの順方向である。
【0044】ここで、Iピクチャはキーフレームであ
り、全領域がイントラマクロブロックで構成される。P
ピクチャは自身より左側(過去側)に存在する最も近い
IまたはPピクチャをもとに構築されるピクチャで、例
えば図5のピクチャP5の動きベクトルはI2を、P8
の動きベクトルはP5をそれぞれ基準として表現され
る。(以下、動きベクトルを表現する際に基準となるピ
クチャを「参照ピクチャ」、動きベクトルによる表現の
対象を「対象ピクチャ」という)。仮に対象ピクチャを
P5とすれば、例えば図4の左上端のインターマクロブ
ロックの動きベクトル値(4,5)は、 「参照ピクチャI2において、右に+4、下に+5移動
した位置」 を意味し、復号の際、ピクチャI2のその位置から切り
出したブロックをもってピクチャP5の当該インターマ
クロブロックとする。
り、全領域がイントラマクロブロックで構成される。P
ピクチャは自身より左側(過去側)に存在する最も近い
IまたはPピクチャをもとに構築されるピクチャで、例
えば図5のピクチャP5の動きベクトルはI2を、P8
の動きベクトルはP5をそれぞれ基準として表現され
る。(以下、動きベクトルを表現する際に基準となるピ
クチャを「参照ピクチャ」、動きベクトルによる表現の
対象を「対象ピクチャ」という)。仮に対象ピクチャを
P5とすれば、例えば図4の左上端のインターマクロブ
ロックの動きベクトル値(4,5)は、 「参照ピクチャI2において、右に+4、下に+5移動
した位置」 を意味し、復号の際、ピクチャI2のその位置から切り
出したブロックをもってピクチャP5の当該インターマ
クロブロックとする。
【0045】一方、Bピクチャは自身を挟み込むI、P
ピクチャ双方を参照ピクチャとして構築される。例えば
ピクチャB3、B4は、マクロブロックごとにI2また
はP5のうち都合のよいほうを参照ピクチャとし、順方
向、逆方向またはこれらの両方向の動きベクトルによっ
て表現される。参照した方向はマクロブロック毎に設け
られた方向フラグによって判明する。Bピクチャがさら
に遠いIまたはPピクチャを参照することはない。ま
た、参照関係はGOP内でのみ発生するため、ピクチャ
B0、B1はI2のみから逆方向の動きベクトルで表現
される。(後のピクチャが参照できるのは、伝送の順番
が表示の順番とは異なるためで、例えば図5ではピクチ
ャI2が最初に伝送される。ただし、以後特に断らない
限り、順方向などの時間概念は表示の順番に基づく。) P、Bピクチャは通常インターマクロブロックからのみ
構成されるが、イントラマクロブロックが含まれること
もある。例えば、ボールが飛んでいくような動画像を考
えたとき、あるマクロブロックが、参照ピクチャでは完
全にボール内に含まれ、対象ピクチャでは完全にボール
外に出る場合、このマクロブロックを動きベクトルで的
確に表現できないこともある。こうした場合、このマク
ロブロックはイントラマクロブロックとして符号化され
る。
ピクチャ双方を参照ピクチャとして構築される。例えば
ピクチャB3、B4は、マクロブロックごとにI2また
はP5のうち都合のよいほうを参照ピクチャとし、順方
向、逆方向またはこれらの両方向の動きベクトルによっ
て表現される。参照した方向はマクロブロック毎に設け
られた方向フラグによって判明する。Bピクチャがさら
に遠いIまたはPピクチャを参照することはない。ま
た、参照関係はGOP内でのみ発生するため、ピクチャ
B0、B1はI2のみから逆方向の動きベクトルで表現
される。(後のピクチャが参照できるのは、伝送の順番
が表示の順番とは異なるためで、例えば図5ではピクチ
ャI2が最初に伝送される。ただし、以後特に断らない
限り、順方向などの時間概念は表示の順番に基づく。) P、Bピクチャは通常インターマクロブロックからのみ
構成されるが、イントラマクロブロックが含まれること
もある。例えば、ボールが飛んでいくような動画像を考
えたとき、あるマクロブロックが、参照ピクチャでは完
全にボール内に含まれ、対象ピクチャでは完全にボール
外に出る場合、このマクロブロックを動きベクトルで的
確に表現できないこともある。こうした場合、このマク
ロブロックはイントラマクロブロックとして符号化され
る。
【0046】以上の知識をもとに、動きベクトル修正回
路28の動作ステップを説明する。
路28の動作ステップを説明する。
【0047】[ステップ1]動きベクトル信号の推測 後段の奥行情報生成回路30のために、動きベクトル情
報はすべてのマクロブロックに必要である。しかしイン
トラマクロブロックにはこの情報がないため、これを推
測する。例えば、図5のピクチャI2は全く動きベクト
ル情報を持たなものの、ピクチャB1はピクチャI2の
みを参照ピクチャとする動きベクトル信号を持つ。そこ
で、このベクトル関係を逆変換し、参照ピクチャをB1
とするピクチャI2の動きベクトル信号を得る。逆変換
は概略(x,y)→(−x,−y)で表される。こうし
た推測は時間的に近いピクチャ間で行えばよいが、1つ
のGOP内ではすべてのピクチャに直接または間接のベ
クトル関係があるため、遠いピクチャをもとに動きベク
トル信号を生成してもよい。以降ピクチャ間で行われる
推測を「時間ベースの推測」と呼ぶ。
報はすべてのマクロブロックに必要である。しかしイン
トラマクロブロックにはこの情報がないため、これを推
測する。例えば、図5のピクチャI2は全く動きベクト
ル情報を持たなものの、ピクチャB1はピクチャI2の
みを参照ピクチャとする動きベクトル信号を持つ。そこ
で、このベクトル関係を逆変換し、参照ピクチャをB1
とするピクチャI2の動きベクトル信号を得る。逆変換
は概略(x,y)→(−x,−y)で表される。こうし
た推測は時間的に近いピクチャ間で行えばよいが、1つ
のGOP内ではすべてのピクチャに直接または間接のベ
クトル関係があるため、遠いピクチャをもとに動きベク
トル信号を生成してもよい。以降ピクチャ間で行われる
推測を「時間ベースの推測」と呼ぶ。
【0048】つづいて、PまたはBピクチャに含まれる
イントラマクロブロックの推測を行う。この場合も時間
ベースの推測を行うことは可能であるが、PまたはBピ
クチャは、一般に自ピクチャ内に多数のインターマクロ
ブロックを持つため、ここではイントラマクロブロック
に位置的に近いインターマクロブロックの動きベクトル
信号をもとに推測を行う。すなわち、例えば図4の中央
付近に含まれるイントラマクロブロックについては、周
囲のインターマクロブロックの動きベクトル信号の平均
をとり、ベクトル値を(3,5)と推測する。こうした
推測は位置的に近いインターマクロブロックを基準に行
われるため、以降「位置ベースの推測」と呼ぶ。
イントラマクロブロックの推測を行う。この場合も時間
ベースの推測を行うことは可能であるが、PまたはBピ
クチャは、一般に自ピクチャ内に多数のインターマクロ
ブロックを持つため、ここではイントラマクロブロック
に位置的に近いインターマクロブロックの動きベクトル
信号をもとに推測を行う。すなわち、例えば図4の中央
付近に含まれるイントラマクロブロックについては、周
囲のインターマクロブロックの動きベクトル信号の平均
をとり、ベクトル値を(3,5)と推測する。こうした
推測は位置的に近いインターマクロブロックを基準に行
われるため、以降「位置ベースの推測」と呼ぶ。
【0049】なお、Iピクチャの動きベクトル信号の推
測に当たり、最初は時間ベースの推測によっていくつか
のマクロブロックの動きベクトル信号を得た後、位置ベ
ースの推測に切り換えて残りの動きベクトル信号を得る
構成としてもよい。
測に当たり、最初は時間ベースの推測によっていくつか
のマクロブロックの動きベクトル信号を得た後、位置ベ
ースの推測に切り換えて残りの動きベクトル信号を得る
構成としてもよい。
【0050】[ステップ2]動きベクトルの表現方向の
統一 本ステップでは、もともと存在した動きベクトル信号の
方向を問題とする。すなわち、Bピクチャのマクロブロ
ックの中には動きベクトル信号が逆方向で表現されたも
のがある。本ステップではこうした逆方向表現の動きベ
クトル信号をすべて順方向に変換する。この意味で、動
きベクトル修正回路28は動きベクトル変換回路として
機能する。
統一 本ステップでは、もともと存在した動きベクトル信号の
方向を問題とする。すなわち、Bピクチャのマクロブロ
ックの中には動きベクトル信号が逆方向で表現されたも
のがある。本ステップではこうした逆方向表現の動きベ
クトル信号をすべて順方向に変換する。この意味で、動
きベクトル修正回路28は動きベクトル変換回路として
機能する。
【0051】例えば、図5のピクチャB4の参照ピクチ
ャが後方のP5のみであるとする。このとき、参照ピク
チャをI2に変更した場合のピクチャB4の動きベクト
ル(γ)を求める。
ャが後方のP5のみであるとする。このとき、参照ピク
チャをI2に変更した場合のピクチャB4の動きベクト
ル(γ)を求める。
【0052】いま、I2を参照ピクチャとし、対象ピク
チャをP5とした場合の動きベクトルをαとする。ま
た、P5を参照ピクチャとし、対象ピクチャをB4とし
た場合の動きベクトルをβとする。この関係を概念的に
示せば、 P5の画面=I2の画面をαだけ動かしたもの B4の画面=P5の画面をβだけ動かしたもの であるから、 B4の画面=I2の画面をα動かし、さらにβ動かした
もの となり、 B4の画面=I2の画面を(α+β)動かしたもの すなわち、 動きベクトル(γ)=動きベクトル(α)+動きベクト
ル(β) である。このようにしてベクトルの変換が実現する。
チャをP5とした場合の動きベクトルをαとする。ま
た、P5を参照ピクチャとし、対象ピクチャをB4とし
た場合の動きベクトルをβとする。この関係を概念的に
示せば、 P5の画面=I2の画面をαだけ動かしたもの B4の画面=P5の画面をβだけ動かしたもの であるから、 B4の画面=I2の画面をα動かし、さらにβ動かした
もの となり、 B4の画面=I2の画面を(α+β)動かしたもの すなわち、 動きベクトル(γ)=動きベクトル(α)+動きベクト
ル(β) である。このようにしてベクトルの変換が実現する。
【0053】[ステップ3]ピクチャ間隔の統一 前ステップにより、すべての動きベクトル信号が順方向
で表現できた。しかし、奥行情報生成回路30の動作を
考えたとき、ピクチャの動きベクトル信号はすべて直前
のピクチャを参照ピクチャとして記述されることが望ま
しい。そこでピクチャ間隔を統一する。この方法は前ス
テップ同様ベクトルの加減演算によるベクトル変換によ
り実現可能である。同一GOP内では、すべてのピクチ
ャ間にベクトル関係があるためである。なお、本ステッ
プは前ステップと同時に行ってもよい。
で表現できた。しかし、奥行情報生成回路30の動作を
考えたとき、ピクチャの動きベクトル信号はすべて直前
のピクチャを参照ピクチャとして記述されることが望ま
しい。そこでピクチャ間隔を統一する。この方法は前ス
テップ同様ベクトルの加減演算によるベクトル変換によ
り実現可能である。同一GOP内では、すべてのピクチ
ャ間にベクトル関係があるためである。なお、本ステッ
プは前ステップと同時に行ってもよい。
【0054】以上が動きベクトル修正回路28の動作で
ある。こうして得られた各マクロブロックの動きベクト
ル信号は奥行情報生成回路30へ与えられる。
ある。こうして得られた各マクロブロックの動きベクト
ル信号は奥行情報生成回路30へ与えられる。
【0055】3.奥行情報生成回路30 この回路もマイクロコンピュータとプログラムによって
実現できる。従って、マイクロコンピュータは前記動き
ベクトル修正回路28と本回路で共用することができ
る。
実現できる。従って、マイクロコンピュータは前記動き
ベクトル修正回路28と本回路で共用することができ
る。
【0056】本回路は画像各部(被写体各部)の動き情
報から各部の奥行を導出する。ここで、被写体の立体表
示には、基本的に左右2眼以上による映像信号が必要で
ある。図6は人の顔を中、右、下の3眼で撮影して奥行
情報を得る周知の方法を示す。同図(a)は3眼それぞ
れによって撮影された顔、(b)はこれら3つの映像信
号から対応点の比較により奥行情報を得る工程、(c)
は得られた顔の奥行を立体的に表現したものである。奥
行情報を得るための計算方法については後述するが、い
ずれにせよ奥行情報の導出には、本来2眼以上からの映
像が必要である。
報から各部の奥行を導出する。ここで、被写体の立体表
示には、基本的に左右2眼以上による映像信号が必要で
ある。図6は人の顔を中、右、下の3眼で撮影して奥行
情報を得る周知の方法を示す。同図(a)は3眼それぞ
れによって撮影された顔、(b)はこれら3つの映像信
号から対応点の比較により奥行情報を得る工程、(c)
は得られた顔の奥行を立体的に表現したものである。奥
行情報を得るための計算方法については後述するが、い
ずれにせよ奥行情報の導出には、本来2眼以上からの映
像が必要である。
【0057】しかしながら、本装置を考えた場合、現実
には単眼映像が入力される。そこで、ここでは単眼の画
像から奥行情報を導出する。単眼の画像の動き情報、輪
郭情報、陰影情報から奥行情報を推定する概念自体は周
知である。導出は以下のステップによる。
には単眼映像が入力される。そこで、ここでは単眼の画
像から奥行情報を導出する。単眼の画像の動き情報、輪
郭情報、陰影情報から奥行情報を推定する概念自体は周
知である。導出は以下のステップによる。
【0058】[ステップ1]ピクチャ間対応点の検出 ピクチャとその直前のピクチャ間で対応点を検出する。
通常、対応点はピクチャ内で特徴のある点、例えば家な
ら屋根の突端などについて検出される。しかし本ステッ
プでは、動きベクトル信号を用いてマクロブロック単位
でその中に含まれる点を均等に扱う。すなわちここで
は、各マクロブロックに含まれる画像各部がそのマクロ
ブロックの動きベクトル信号に従って一様に移動すると
みなす。「動きベクトル=対応点の移動」と簡略化する
のである。この方法によれば、通常対応点検出の際に行
われるブロックマッチング等の計算が全く不要となる。
通常、対応点はピクチャ内で特徴のある点、例えば家な
ら屋根の突端などについて検出される。しかし本ステッ
プでは、動きベクトル信号を用いてマクロブロック単位
でその中に含まれる点を均等に扱う。すなわちここで
は、各マクロブロックに含まれる画像各部がそのマクロ
ブロックの動きベクトル信号に従って一様に移動すると
みなす。「動きベクトル=対応点の移動」と簡略化する
のである。この方法によれば、通常対応点検出の際に行
われるブロックマッチング等の計算が全く不要となる。
【0059】[ステップ2]三次元的な動きの算出 つづいて、対応点の動き情報(すなわち動きベクトルそ
のもの)から画像各部の三次元空間における動きを算出
する。各ピクチャは被写体の現実の動きを平面に投影し
たものに過ぎず、奥行情報の導出のためには被写体のも
との動きを知る必要がある。
のもの)から画像各部の三次元空間における動きを算出
する。各ピクチャは被写体の現実の動きを平面に投影し
たものに過ぎず、奥行情報の導出のためには被写体のも
との動きを知る必要がある。
【0060】一般に被写体の三次元的な動きは、並進運
動と回転運動の合成で記述できる。ここではまず、動き
が並進運動のみで構成される場合の計算を説明し、後に
回転運動を含む場合を説明する。
動と回転運動の合成で記述できる。ここではまず、動き
が並進運動のみで構成される場合の計算を説明し、後に
回転運動を含む場合を説明する。
【0061】(1)並進運動のみの場合 図7はある点Pのピクチャ平面上の移動と三次元空間で
の現実の移動の対応を示す図である。同図ではピクチャ
平面上の二次元座標を大文字X等で、現実の三次元座標
を小文字x等で表記するものとし、三次元座標のうち
x、y軸をピクチャ平面上に、z軸を奥行方向にとる。
また、視点からピクチャ平面までの距離を1とする。
の現実の移動の対応を示す図である。同図ではピクチャ
平面上の二次元座標を大文字X等で、現実の三次元座標
を小文字x等で表記するものとし、三次元座標のうち
x、y軸をピクチャ平面上に、z軸を奥行方向にとる。
また、視点からピクチャ平面までの距離を1とする。
【0062】この図に示す通り、P(X, Y)はピクチ
ャ平面上をP' (X',Y' )へ移動するが、この間、こ
の点は三次元空間においてS(x, y, z)からS
(x',y',z' )へと移動する。ここで、 (x',y',z' )=(x, y, z)+(a, b, c) とすれば、ピクチャ平面までの距離が1なので、 X =x/z, Y =y/z X' =x' /z' , Y' =y' /z' となる。これを解けば、 X' =(Xz+a)/(z+c) Y' =(Yz+b)/(z+c) となるため、zを消去し、次式が求められる。
ャ平面上をP' (X',Y' )へ移動するが、この間、こ
の点は三次元空間においてS(x, y, z)からS
(x',y',z' )へと移動する。ここで、 (x',y',z' )=(x, y, z)+(a, b, c) とすれば、ピクチャ平面までの距離が1なので、 X =x/z, Y =y/z X' =x' /z' , Y' =y' /z' となる。これを解けば、 X' =(Xz+a)/(z+c) Y' =(Yz+b)/(z+c) となるため、zを消去し、次式が求められる。
【0063】
【数1】 (a−X' c)(Y' −Y)=(b−Y' c)(X' −X) (式1) 式1はピクチャ平面上の動き情報で表現されているた
め、動きベクトル信号の情報によって未知数a, b, c
を決めることができる。その結果、三次元的な動きが判
明する。
め、動きベクトル信号の情報によって未知数a, b, c
を決めることができる。その結果、三次元的な動きが判
明する。
【0064】しかしこのとき注意すべきは、現実にはk
倍の大きさの物体がk倍離れたところをk倍の速さで移
動するケースにおいて、このkの値(スケールファクタ
ー)を決めることはできないことである。すなわち、
a, b, cについてはそれらの比のみを求めることが可
能となるため、本ステップではc=1と正規化してa,
bを表すものとする。比のみでも、次ステップによる処
理が可能なためである。
倍の大きさの物体がk倍離れたところをk倍の速さで移
動するケースにおいて、このkの値(スケールファクタ
ー)を決めることはできないことである。すなわち、
a, b, cについてはそれらの比のみを求めることが可
能となるため、本ステップではc=1と正規化してa,
bを表すものとする。比のみでも、次ステップによる処
理が可能なためである。
【0065】並進運動の別の解法として、式1から誤差
eを、
eを、
【数2】 e ={(a-X'c)(Y'-Y) −(b-Y'c)(X'-X) }2 ={(Y'-Y)a −(X'-X)b−(XY'-X'Y)c}2 と定義し、全対応点についてeの総和Σeをとり、この
値を最小にするa, b,cを次の式から求めてもよい。
値を最小にするa, b,cを次の式から求めてもよい。
【0066】d(Σe)/da=0 d(Σe)/db=0 d(Σe)/dc=0 以上が並進運動に関する計算方法の例である。
【0067】(2)回転運動を含む場合 回転運動はx, y, z方向の3つの変位と各軸を中心と
する3つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。
する3つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。
【0068】ここで上記合計6つの変数を決定すればよ
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を1として各変数の比を求める。
従って、理論的上対応点を5組とれば運動を記述するこ
とができる。
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を1として各変数の比を求める。
従って、理論的上対応点を5組とれば運動を記述するこ
とができる。
【0069】[ステップ3]奥行情報の生成 ステップ2によって画像各部の三次元的な動きがわかっ
た。ステップ3では、この動きから各部の奥行情報を導
出する。ここでは説明のため、被写体は静止しており、
撮影カメラの側が動くものと仮定する。すなわち、画像
のある部分の動きを回転行列Rと並進ベクトル(a,
b, c)により、 (x',y',z' )=R(x, y, z)+(a, b, c) と表す場合、この逆変換、
た。ステップ3では、この動きから各部の奥行情報を導
出する。ここでは説明のため、被写体は静止しており、
撮影カメラの側が動くものと仮定する。すなわち、画像
のある部分の動きを回転行列Rと並進ベクトル(a,
b, c)により、 (x',y',z' )=R(x, y, z)+(a, b, c) と表す場合、この逆変換、
【数3】 (x, y, z)=R-1{(x',y',z' )−(a, b, c)} (式2) をカメラの動きと考える。
【0070】図8はカメラの三次元移動とある点Pのピ
クチャ平面上の移動から点Pの三次元座標を導く原理を
説明する図である。同図からわかるように、これは一般
に三角測量の原理として知られるもので、位置の異なる
2点から点Pの方向を見たとき、点Pの現実の位置(図
中の点S)はそれら2つの視線の交点に存在する事実に
立脚する。
クチャ平面上の移動から点Pの三次元座標を導く原理を
説明する図である。同図からわかるように、これは一般
に三角測量の原理として知られるもので、位置の異なる
2点から点Pの方向を見たとき、点Pの現実の位置(図
中の点S)はそれら2つの視線の交点に存在する事実に
立脚する。
【0071】同図では、時刻t〜t' の間にカメラが矢
印で示すように式2に従って移動したとする。時刻tの
ピクチャでは点Sが点Pt に、t' では点Pt'にそれぞ
れ投影されている。従って点Sは図中の2つの直線L
t、Lt' の交点にある。
印で示すように式2に従って移動したとする。時刻tの
ピクチャでは点Sが点Pt に、t' では点Pt'にそれぞ
れ投影されている。従って点Sは図中の2つの直線L
t、Lt' の交点にある。
【0072】ここでカメラの方向とLt、Lt' のなす
角θt、θt' は既知であり、一方カメラの移動方向と
距離は判明しているため、点Sの三次元座標を求めるこ
とが可能となる。この座標により、画像各部の奥行情報
を生成することができる。生成された奥行情報は、例え
ばマクロブロックの番号と対応させながら本装置の出力
端子32から出力すればよい。
角θt、θt' は既知であり、一方カメラの移動方向と
距離は判明しているため、点Sの三次元座標を求めるこ
とが可能となる。この座標により、画像各部の奥行情報
を生成することができる。生成された奥行情報は、例え
ばマクロブロックの番号と対応させながら本装置の出力
端子32から出力すればよい。
【0073】以上が実施の形態1の概要である。本装置
は復号画像と奥行情報を出力するため、後段には、例え
ば従来技術2で説明した立体TVを接続すればよい。
は復号画像と奥行情報を出力するため、後段には、例え
ば従来技術2で説明した立体TVを接続すればよい。
【0074】本実施の形態の特徴は、従来MPEGデコ
ーダ内部で画像復号のためのみに使用された動きベクト
ル信号を抽出して二次利用を図る点にある。この信号を
活用することにより、動き情報の計算に必要な負荷がな
くなり、従来の課題を解消することができる。本実施の
形態から、奥行情報の生成に関する本発明の符号化画像
処理方法の内容も明らかである。
ーダ内部で画像復号のためのみに使用された動きベクト
ル信号を抽出して二次利用を図る点にある。この信号を
活用することにより、動き情報の計算に必要な負荷がな
くなり、従来の課題を解消することができる。本実施の
形態から、奥行情報の生成に関する本発明の符号化画像
処理方法の内容も明らかである。
【0075】なお本実施の形態については、以下の応用
が考えられる。
が考えられる。
【0076】(1)他のGOPに含まれるピクチャの動
きの推測 動きベクトル修正回路28における時間ベースの推測は
1つのGOP内で行ったが、必要に応じて他のGOPの
動きベクトル信号を推測してもよい。例えば図5の場
合、GOP最後の2つのピクチャB10、P11から次
のGOPの最初のIピクチャの画像を予測することがで
きる。そこで、ピクチャP11を参照ピクチャとして当
該Iピクチャの動きベクトル信号を記述してもよい。
きの推測 動きベクトル修正回路28における時間ベースの推測は
1つのGOP内で行ったが、必要に応じて他のGOPの
動きベクトル信号を推測してもよい。例えば図5の場
合、GOP最後の2つのピクチャB10、P11から次
のGOPの最初のIピクチャの画像を予測することがで
きる。そこで、ピクチャP11を参照ピクチャとして当
該Iピクチャの動きベクトル信号を記述してもよい。
【0077】(2)最適なピクチャ間隔の選定 動きベクトル修正回路28のステップ3では直前のピク
チャを参照ピクチャとしたが、これは場合により、さら
に前のピクチャであってもよい。例えば動きが極めて緩
慢な動画像の場合、ある程度時間をおいて動き情報を獲
得しなければ誤差が大きくなることもある。選定すべき
ピクチャ間隔は、動きベクトル修正回路28が動きベク
トル信号を見て判断する構成とすればよい。
チャを参照ピクチャとしたが、これは場合により、さら
に前のピクチャであってもよい。例えば動きが極めて緩
慢な動画像の場合、ある程度時間をおいて動き情報を獲
得しなければ誤差が大きくなることもある。選定すべき
ピクチャ間隔は、動きベクトル修正回路28が動きベク
トル信号を見て判断する構成とすればよい。
【0078】(3)経験則を加味した奥行情報の生成 奥行情報生成回路30で経験則を加味した奥行情報を生
成する。例えば、画像の一部分のみが動いていれば、そ
の部分に限って奥行をつける。その他の部分は例えば奥
行を無限大とすればよい。動く被写体のみを効果的に疑
似立体表示するためである。また、画像各部がばらばら
に動いている場合は、正しい奥行計算が不可能であるた
め、奥行を一切つけない。特定ピクチャがそれ以前と全
く違う動きを示す場合も、そのピクチャには奥行をつけ
ない。シーンチェンジの可能性があるためである。
成する。例えば、画像の一部分のみが動いていれば、そ
の部分に限って奥行をつける。その他の部分は例えば奥
行を無限大とすればよい。動く被写体のみを効果的に疑
似立体表示するためである。また、画像各部がばらばら
に動いている場合は、正しい奥行計算が不可能であるた
め、奥行を一切つけない。特定ピクチャがそれ以前と全
く違う動きを示す場合も、そのピクチャには奥行をつけ
ない。シーンチェンジの可能性があるためである。
【0079】(4)MPEG以外の技術への適用 MPEG以外の動き補償ピクチャ間圧縮符号化利用技術
に適用する。本実施の形態は、予め動き情報を持つ符号
化データ全般に適用可能である。MPEGでは予測単位
を画一的なマクロブロックとしているが、これは他の基
準によって分割された任意の画像領域でよい。領域の例
として、知的符号化の際に用いられる画像要素(例えば
人物)がある。理想的には画素ごとの動き情報に基づい
て奥行情報を生成すること可能である。本実施の形態で
は計算を殆ど必要としないため、そのような場合でもリ
アルタイムの奥行情報生成が可能である。
に適用する。本実施の形態は、予め動き情報を持つ符号
化データ全般に適用可能である。MPEGでは予測単位
を画一的なマクロブロックとしているが、これは他の基
準によって分割された任意の画像領域でよい。領域の例
として、知的符号化の際に用いられる画像要素(例えば
人物)がある。理想的には画素ごとの動き情報に基づい
て奥行情報を生成すること可能である。本実施の形態で
は計算を殆ど必要としないため、そのような場合でもリ
アルタイムの奥行情報生成が可能である。
【0080】(5)奥行情報の精度改善 奥行情報生成回路30のステップ1では、「動きベクト
ル=対応点の移動」と簡略化した。このとき計算が不要
となるためである。しかし、本装置がマイクロコンピュ
ータ等の演算素子を搭載する場合、処理に時間的な余裕
が生じると考えられる。そのような場合は、動きベクト
ルを対応点探索領域の限定に使用すればよい。すなわ
ち、時間的余裕の範囲で達成可能な精度を考慮した上
で、探索領域内で簡単なブロックマッチングを行えば、
対応点をより正確に求めることができる。この結果、奥
行情報の精度が増す。
ル=対応点の移動」と簡略化した。このとき計算が不要
となるためである。しかし、本装置がマイクロコンピュ
ータ等の演算素子を搭載する場合、処理に時間的な余裕
が生じると考えられる。そのような場合は、動きベクト
ルを対応点探索領域の限定に使用すればよい。すなわ
ち、時間的余裕の範囲で達成可能な精度を考慮した上
で、探索領域内で簡単なブロックマッチングを行えば、
対応点をより正確に求めることができる。この結果、奥
行情報の精度が増す。
【0081】(6)位置ベースの推測の例外処理 動きベクトル修正回路28のステップ1では、イントラ
マクロブロックの動きベクトル信号を周囲のインターマ
クロブロックから推測したが、周囲もイントラマクロブ
ロックの場合は動きベクトルを0とする。無理な推測を
避けるためである。
マクロブロックの動きベクトル信号を周囲のインターマ
クロブロックから推測したが、周囲もイントラマクロブ
ロックの場合は動きベクトルを0とする。無理な推測を
避けるためである。
【0082】(7)疑似立体表示装置化 本実施の形態では奥行情報生成までを目的としたが、当
然ながら立体TVに当たる装置部分を本装置に取り込む
ことにより、疑似立体表示装置を一体的に実現すること
ができる。この場合、奥行情報から疑似立体映像信号を
作成する回路を新設する。この回路は既知の方法によ
り、奥行情報から遅延量または輝度レベルの異なる左右
両目用の映像信号を作成する。これを時分割で表示する
場合はシャッターめがねで観視すればよいし、レンチキ
ュラーレンズを用いて左右画像の分離を行ってもよい。
然ながら立体TVに当たる装置部分を本装置に取り込む
ことにより、疑似立体表示装置を一体的に実現すること
ができる。この場合、奥行情報から疑似立体映像信号を
作成する回路を新設する。この回路は既知の方法によ
り、奥行情報から遅延量または輝度レベルの異なる左右
両目用の映像信号を作成する。これを時分割で表示する
場合はシャッターめがねで観視すればよいし、レンチキ
ュラーレンズを用いて左右画像の分離を行ってもよい。
【0083】(8)修整動きベクトル信号の利用 本実施の形態では、イントラマクロブロックの動きベク
トルを、時間ベースまたは位置ベースで推測したが、こ
のブロックが修整動きベクトル信号(コンシールメント
・モーション・ベクトル)を持つ場合は、これを動きベ
クトル信号と見なして処理を行ってもよい。
トルを、時間ベースまたは位置ベースで推測したが、こ
のブロックが修整動きベクトル信号(コンシールメント
・モーション・ベクトル)を持つ場合は、これを動きベ
クトル信号と見なして処理を行ってもよい。
【0084】実施の形態2.実施の形態1の装置は奥行
情報の生成を行ったが、実施の形態2の符号化画像処理
装置は、その前段階である動きベクトル信号の検出まで
を行う。検出された動きベクトル信号は別装置に与えら
れ、そこで奥行情報生成(および疑似立体表示)、画像
認識処理、画像圧縮処理など所望の処理が行われる。従
って本装置は奥行情報生成以外の用途を視野においた動
き情報検出装置といってよい。
情報の生成を行ったが、実施の形態2の符号化画像処理
装置は、その前段階である動きベクトル信号の検出まで
を行う。検出された動きベクトル信号は別装置に与えら
れ、そこで奥行情報生成(および疑似立体表示)、画像
認識処理、画像圧縮処理など所望の処理が行われる。従
って本装置は奥行情報生成以外の用途を視野においた動
き情報検出装置といってよい。
【0085】図9は実施の形態2に係る符号化画像処理
装置の概略構成図で、同図において図3と異なる構成は
動きベクトル検出回路40である。動きベクトル検出回
路40は動きベクトル修正回路28から出力された動き
ベクトル信号を参照し、後段の処理に適した手法で動き
ベクトル検出を行う。検出の結果は出力端子42から出
力される。本実施の形態でも入力映像はMPEGに限る
必要はない。
装置の概略構成図で、同図において図3と異なる構成は
動きベクトル検出回路40である。動きベクトル検出回
路40は動きベクトル修正回路28から出力された動き
ベクトル信号を参照し、後段の処理に適した手法で動き
ベクトル検出を行う。検出の結果は出力端子42から出
力される。本実施の形態でも入力映像はMPEGに限る
必要はない。
【0086】(1)後段が画像認識処理の場合 被写体ごとの輪郭情報の獲得が重要である。ここで動き
ベクトル値の変化する点を結ぶ線が輪郭線であると考え
れば、そうした変化点の位置を精度よく特定する必要が
ある。そこで動きベクトル検出回路40は、復号画像も
入力し、変化点を含むマクロブロックを細かく分割し、
より多くの点で正確な動きベクトルの検出を行う。
ベクトル値の変化する点を結ぶ線が輪郭線であると考え
れば、そうした変化点の位置を精度よく特定する必要が
ある。そこで動きベクトル検出回路40は、復号画像も
入力し、変化点を含むマクロブロックを細かく分割し、
より多くの点で正確な動きベクトルの検出を行う。
【0087】(2)後段が画像圧縮処理の場合 例えばテレビ電話を考えた場合、ピクチャの中で相手の
顔が占める領域はある程度特定できる。このような用途
なら、顔の領域について特に多数の点で動きベクトルを
検出すればよい。さらに、顔の中でも通話中に動きの大
きい個所は目と口と考えられるため、それらの領域を細
分化して正確な動きベクトルを検出すればよい。
顔が占める領域はある程度特定できる。このような用途
なら、顔の領域について特に多数の点で動きベクトルを
検出すればよい。さらに、顔の中でも通話中に動きの大
きい個所は目と口と考えられるため、それらの領域を細
分化して正確な動きベクトルを検出すればよい。
【0088】以上が実施の形態2の概要である。動きベ
クトル検出回路40は上記の例に限らず、後段の処理内
容に合わせて設計すればよい。
クトル検出回路40は上記の例に限らず、後段の処理内
容に合わせて設計すればよい。
【0089】実施の形態3.実施の形態2では動きベク
トル修正回路28が、いわば自主的に動きベクトル信号
の修正を行っていたが、実施の形態3では後段の動きベ
クトル検出回路40の指示に従い、必要かつ十分な修正
を行う。
トル修正回路28が、いわば自主的に動きベクトル信号
の修正を行っていたが、実施の形態3では後段の動きベ
クトル検出回路40の指示に従い、必要かつ十分な修正
を行う。
【0090】図10は実施の形態3に係る符号化画像処
理装置の概略構成図である。同図と図9の相違点は、動
きベクトル検出回路40にもピクチャ種別信号が入力さ
れている点と、動きベクトル検出回路40が動きベクト
ル修正回路28に対して指示を行うための指示信号が設
けられている点である。従って本装置では、動きベクト
ル検出回路40が動きベクトル修正回路28の制御回路
を兼ねる。その意味で、実施の形態2の動きベクトル修
正回路28の機能のうち、インテリシェントな部分は動
きベクトル検出回路40に移管され、動きベクトル修正
回路28はそのスレーブ回路として機能する。この構成
による動作を説明する。
理装置の概略構成図である。同図と図9の相違点は、動
きベクトル検出回路40にもピクチャ種別信号が入力さ
れている点と、動きベクトル検出回路40が動きベクト
ル修正回路28に対して指示を行うための指示信号が設
けられている点である。従って本装置では、動きベクト
ル検出回路40が動きベクトル修正回路28の制御回路
を兼ねる。その意味で、実施の形態2の動きベクトル修
正回路28の機能のうち、インテリシェントな部分は動
きベクトル検出回路40に移管され、動きベクトル修正
回路28はそのスレーブ回路として機能する。この構成
による動作を説明する。
【0091】[ステップ1]処理ピクチャの決定 まず、動きベクトル検出回路40が自己の目的に従って
参照ピクチャおよび対象ピクチャを決定する。ピクチャ
の決定のために、ピクチャ種別信号を参照する。後の動
きベクトルの修正を考慮する場合、予測関係が容易に把
握可能なIおよびPピクチャを参照ピクチャ、Pピクチ
ャを対象ピクチャとすればよい。
参照ピクチャおよび対象ピクチャを決定する。ピクチャ
の決定のために、ピクチャ種別信号を参照する。後の動
きベクトルの修正を考慮する場合、予測関係が容易に把
握可能なIおよびPピクチャを参照ピクチャ、Pピクチ
ャを対象ピクチャとすればよい。
【0092】[ステップ2]処理ピクチャの指示 動きベクトル検出回路40が動きベクトルの修正を施す
べきピクチャを動きベクトル修正回路28に指示する。
指示は回路間の通信によってハードウエア的に行うこと
ができるが、2つの回路がマイクロコンピュータを共用
する場合には、ソフトウエアモジュール間の通信で行う
こともできる。指示の具体的内容は、参照ピクチャ、対
象ピクチャ、動きベクトル信号を抽出または推測すべき
マクロブロックの特定などである。これらの情報はピク
チャ番号等のコードで与えてもよいし、実際にピクチャ
を受信している間にタイミング信号として与えてもよ
い。動きベクトル修正回路28は指示に従い、動きベク
トルの推測、生成、方向変換、間隔変換等を行う。
べきピクチャを動きベクトル修正回路28に指示する。
指示は回路間の通信によってハードウエア的に行うこと
ができるが、2つの回路がマイクロコンピュータを共用
する場合には、ソフトウエアモジュール間の通信で行う
こともできる。指示の具体的内容は、参照ピクチャ、対
象ピクチャ、動きベクトル信号を抽出または推測すべき
マクロブロックの特定などである。これらの情報はピク
チャ番号等のコードで与えてもよいし、実際にピクチャ
を受信している間にタイミング信号として与えてもよ
い。動きベクトル修正回路28は指示に従い、動きベク
トルの推測、生成、方向変換、間隔変換等を行う。
【0093】以上が実施の形態3の概要である。例えば
本装置の後段に疑似立体表示装置が接続される場合、観
視者が疑似立体表示の中止を望む場合もある。このよう
な指令がくれば、動きベクトル検出回路40は動きベク
トル修正回路28を待機モード等に変更することによ
り、省電力化等を図ることができる。
本装置の後段に疑似立体表示装置が接続される場合、観
視者が疑似立体表示の中止を望む場合もある。このよう
な指令がくれば、動きベクトル検出回路40は動きベク
トル修正回路28を待機モード等に変更することによ
り、省電力化等を図ることができる。
【0094】実施の形態4.本発明の符号化画像処理方
法に係る実施の形態4は、知的符号化された画像の復号
とその奥行情報の生成に関する。
法に係る実施の形態4は、知的符号化された画像の復号
とその奥行情報の生成に関する。
【0095】周知のように、知的符号化技術では一般
に、送信側(符号化側)と受信側(復号側)が画像要素
の特徴の送受信によって画像を伝送する。通常は送信側
が画像要素の種類とその配置などの情報をコマンドの形
式で送信し、受信側が予め保持しているデータベース等
からコマンド内容に適合する画像要素とその配置を決定
し、画像要素を合成していくことで画像全体を再生す
る。
に、送信側(符号化側)と受信側(復号側)が画像要素
の特徴の送受信によって画像を伝送する。通常は送信側
が画像要素の種類とその配置などの情報をコマンドの形
式で送信し、受信側が予め保持しているデータベース等
からコマンド内容に適合する画像要素とその配置を決定
し、画像要素を合成していくことで画像全体を再生す
る。
【0096】図11は実施の形態4に係る符号化画像処
理装置の概略構成図である。この装置は主に画像デコー
ダ50、各種平面画像要素を保持する画像要素データベ
ース52、奥行情報生成回路54を持つ。符号化画像デ
ータ(すなわちコマンド)は入力端子56から入力さ
れ、復号画像は出力端子58から出力される。画像デコ
ーダ50は、コマンドおよびそのコマンドに対応する画
像要素の領域情報(以下「コマンド関連情報」という)
を出力端子60に出力し、奥行情報生成回路54が入力
端子62を介してこれを受ける。本装置の後段には、実
施の形態1同様、立体TVなどを接続することになる。
以下、本装置の動作を説明する。
理装置の概略構成図である。この装置は主に画像デコー
ダ50、各種平面画像要素を保持する画像要素データベ
ース52、奥行情報生成回路54を持つ。符号化画像デ
ータ(すなわちコマンド)は入力端子56から入力さ
れ、復号画像は出力端子58から出力される。画像デコ
ーダ50は、コマンドおよびそのコマンドに対応する画
像要素の領域情報(以下「コマンド関連情報」という)
を出力端子60に出力し、奥行情報生成回路54が入力
端子62を介してこれを受ける。本装置の後段には、実
施の形態1同様、立体TVなどを接続することになる。
以下、本装置の動作を説明する。
【0097】1.画像デコーダ50 送信側からは、画像が符号化され、コマンドの形で送信
されてくる。コマンドの種類は、画像要素自体を指示す
る要素コマンド、画像要素間の前後関係を指示するレイ
ヤーコマンド、画像要素の動きを指示する動作コマン
ド、画像要素が人の場合にその感情を指示する感情コマ
ンドなどである。感情コマンドは符号量を圧縮するため
のコマンドで、この感情コマンドに基づいて、画像復号
時に目鼻口の形状、それらの位置、顔色、顔のうつむき
加減等を変更する。すなわち、本来は多くの符号量が必
要となる画像の変化を、わずか1つのコマンドの符号量
で伝送できる。その意味でこの感情コマンドは、単に画
像要素に対して説明的な意味を持つだけではなく、符号
化に必須のコマンドといってよい。
されてくる。コマンドの種類は、画像要素自体を指示す
る要素コマンド、画像要素間の前後関係を指示するレイ
ヤーコマンド、画像要素の動きを指示する動作コマン
ド、画像要素が人の場合にその感情を指示する感情コマ
ンドなどである。感情コマンドは符号量を圧縮するため
のコマンドで、この感情コマンドに基づいて、画像復号
時に目鼻口の形状、それらの位置、顔色、顔のうつむき
加減等を変更する。すなわち、本来は多くの符号量が必
要となる画像の変化を、わずか1つのコマンドの符号量
で伝送できる。その意味でこの感情コマンドは、単に画
像要素に対して説明的な意味を持つだけではなく、符号
化に必須のコマンドといってよい。
【0098】以上のコマンドにより、例えば、 「背景は山で固定」 という画像を送りたければ、送信側は「背景」をレイヤ
ーコマンド、「山」を要素コマンド、「固定」を動作コ
マンドとして送る。要素コマンドを受信したとき、画像
デコーダ50は画像要素データベース52を参照し、対
応する画像要素の読み出しと画像に対する張り付けを行
う。次に、 「この前に人がいる」 としたい場合、「前」をレイヤーコマンド、「人」を要
素コマンドで送る。図12(a)はこの段階で得られた
復号画像を示す図である。さらに、 「人は右に移動して怒る」 としたければ、「右」と「移動」を動作コマンド、「怒
る」を感情コマンドで送る。図12(b)はこの段階の
復号画像である。
ーコマンド、「山」を要素コマンド、「固定」を動作コ
マンドとして送る。要素コマンドを受信したとき、画像
デコーダ50は画像要素データベース52を参照し、対
応する画像要素の読み出しと画像に対する張り付けを行
う。次に、 「この前に人がいる」 としたい場合、「前」をレイヤーコマンド、「人」を要
素コマンドで送る。図12(a)はこの段階で得られた
復号画像を示す図である。さらに、 「人は右に移動して怒る」 としたければ、「右」と「移動」を動作コマンド、「怒
る」を感情コマンドで送る。図12(b)はこの段階の
復号画像である。
【0099】2.奥行情報生成回路54 コマンド関連情報をもとに奥行情報を生成する。奥行は
疑似立体表示を念頭におき、以下の規則に従って生成す
る。
疑似立体表示を念頭におき、以下の規則に従って生成す
る。
【0100】(1)要素コマンドに対して 例えば「人」のように、通常重要な場合の多い画像要素
については、小さめの奥行を与える。立体表示の際、手
前に飛び出して見える効果を狙うためである。
については、小さめの奥行を与える。立体表示の際、手
前に飛び出して見える効果を狙うためである。
【0101】このとき、コマンド関連情報に含まれる領
域情報を参照し、「人」の領域を特定する。特定された
領域とその奥行を関連づけて出力すればよい。
域情報を参照し、「人」の領域を特定する。特定された
領域とその奥行を関連づけて出力すればよい。
【0102】(2)レイヤーコマンドに対して 例えば「前」にある物に小さな奥行を与える。前後と奥
行の関係を自然に保つとともに、手前にある物の立体感
を強くするためである。
行の関係を自然に保つとともに、手前にある物の立体感
を強くするためである。
【0103】(3)動作コマンドに対して 例えば「移動」する物に対して、小さい奥行を与える。
移動物体は観視者が注目しやすく、この部分を立体化す
る効果が大きいためである。
移動物体は観視者が注目しやすく、この部分を立体化す
る効果が大きいためである。
【0104】(4)感情コマンドに対して 例えば「怒る」という感情の変化、「怒っている」とい
う感情の状態を持つ物に小さな奥行を与える。感情を強
調して表現するためである。
う感情の状態を持つ物に小さな奥行を与える。感情を強
調して表現するためである。
【0105】以上の規則で奥行情報を生成すれば、疑似
立体表示の際、図12(b)の「人」がこちら側にせり
出して見えるため、効果的な画像を得ることができる。
当然ながら、他の種類のコマンドに対しても、経験則等
に従って望ましい奥行情報を生成すればよい。立体視に
適当なコマンドが見つからない場合は、例えば奥行を無
限大にとるなどの方法も有効である。
立体表示の際、図12(b)の「人」がこちら側にせり
出して見えるため、効果的な画像を得ることができる。
当然ながら、他の種類のコマンドに対しても、経験則等
に従って望ましい奥行情報を生成すればよい。立体視に
適当なコマンドが見つからない場合は、例えば奥行を無
限大にとるなどの方法も有効である。
【0106】なお、本実施の形態では、符号化データが
平面画像データであるとしたが、上記コマンドのうち、
特に(3)、(4)については、符号化データが疑似立
体表示可能なデータであってもよい。この場合、復号の
際に一旦立体表示された画像要素の奥行を、その動作、
感情に従って変更することができる。例えば、復号の際
D0という奥行が与えられた人が、動き出したり怒った
りしたとき、奥行をD1(<D0)に変更することによ
り、さらに効果的な画像を得ることができる。
平面画像データであるとしたが、上記コマンドのうち、
特に(3)、(4)については、符号化データが疑似立
体表示可能なデータであってもよい。この場合、復号の
際に一旦立体表示された画像要素の奥行を、その動作、
感情に従って変更することができる。例えば、復号の際
D0という奥行が与えられた人が、動き出したり怒った
りしたとき、奥行をD1(<D0)に変更することによ
り、さらに効果的な画像を得ることができる。
【0107】
【発明の効果】本発明の符号化画像処理方法によれば、
符号化動画像データに予め含まれる動き情報から復号画
像の動き情報が導出されるため、計算負荷が激減する。
特に、既存の動きベクトル情報から復号ピクチャ間の対
応点移動量を導出する場合、対応点の検出が極めて容易
であり、後の奥行情報生成等に有利である。動きベクト
ル情報を対応点の検索範囲の限定に使用する場合は、対
応点検出の精度が向上する。
符号化動画像データに予め含まれる動き情報から復号画
像の動き情報が導出されるため、計算負荷が激減する。
特に、既存の動きベクトル情報から復号ピクチャ間の対
応点移動量を導出する場合、対応点の検出が極めて容易
であり、後の奥行情報生成等に有利である。動きベクト
ル情報を対応点の検索範囲の限定に使用する場合は、対
応点検出の精度が向上する。
【0108】本発明の符号化画像処理方法の別の態様に
よれば、符号化動画像データに予め含まれる動き情報か
ら疑似立体表示のための奥行情報が生成できる。このた
めの計算負荷も非常に軽い。符号化動画像データとして
は、DCT符号化技術によるもの、特にMPEGの画像
データを採用できるため、応用範囲が広い。奥行情報も
画像のいろいろな領域に対して生成できるので、後に疑
似立体表示を行う場合、自然な画像が得られる。
よれば、符号化動画像データに予め含まれる動き情報か
ら疑似立体表示のための奥行情報が生成できる。このた
めの計算負荷も非常に軽い。符号化動画像データとして
は、DCT符号化技術によるもの、特にMPEGの画像
データを採用できるため、応用範囲が広い。奥行情報も
画像のいろいろな領域に対して生成できるので、後に疑
似立体表示を行う場合、自然な画像が得られる。
【0109】本発明が知的符号化技術による符号化画像
を対象とする場合は、符号化データを示すコマンドから
奥行情報が生成できるため、ほとんど計算負荷を発生さ
せることなく、画像の復号と疑似立体表示が可能とな
る。このとき、コマンドの種類と経験則などから、疑似
立体表示の際に効果的な画像を得るための奥行情報を生
成することができる。さらにこの場合、符号化データが
予め疑似立体表示用の情報を含んでいても、例えば動
作、感情に従って奥行を変更することにより、より効果
的な画像を得ることができる。
を対象とする場合は、符号化データを示すコマンドから
奥行情報が生成できるため、ほとんど計算負荷を発生さ
せることなく、画像の復号と疑似立体表示が可能とな
る。このとき、コマンドの種類と経験則などから、疑似
立体表示の際に効果的な画像を得るための奥行情報を生
成することができる。さらにこの場合、符号化データが
予め疑似立体表示用の情報を含んでいても、例えば動
作、感情に従って奥行を変更することにより、より効果
的な画像を得ることができる。
【0110】一方、本発明の符号化画像処理装置によれ
ば、動き補償ピクチャ間圧縮符号化利用技術によって符
号化された画像を復号するとともに、既存の動きベクト
ル情報から疑似立体表示用の奥行情報を生成することが
できる。このときも計算負荷は極めて軽い。この装置が
奥行情報に従って疑似立体映像信号を作成する場合は、
復号画像とこの信号を既存の立体TVに与えることで、
疑似立体表示が可能となる。本発明によれば、例えばM
PEGのように、インターマクロブロック、イントラマ
クロブロックが混在していても、欠如する動きベクトル
信号の推測と生成、後段の便宜を考えた動きベクトル信
号の修正が可能であり、適用の幅が広い。
ば、動き補償ピクチャ間圧縮符号化利用技術によって符
号化された画像を復号するとともに、既存の動きベクト
ル情報から疑似立体表示用の奥行情報を生成することが
できる。このときも計算負荷は極めて軽い。この装置が
奥行情報に従って疑似立体映像信号を作成する場合は、
復号画像とこの信号を既存の立体TVに与えることで、
疑似立体表示が可能となる。本発明によれば、例えばM
PEGのように、インターマクロブロック、イントラマ
クロブロックが混在していても、欠如する動きベクトル
信号の推測と生成、後段の便宜を考えた動きベクトル信
号の修正が可能であり、適用の幅が広い。
【0111】また本発明の符号化画像処理回路でも、画
像の復号のみならず、欠如する動きベクトル信号の推測
と生成など、動きベクトル信号の修正が可能であり、例
えば立体コンバータ装置に内蔵する等、後段の処理に合
わせて広い用途を実現することができる。MPEGのP
ピクチャから動きベクトルの検出を行う場合は、特に処
理が容易かつ効率的になる。また、動きベクトルの検出
を必要としないピクチャに対する処理をスキップするこ
とにより、省電力化等が可能となる。
像の復号のみならず、欠如する動きベクトル信号の推測
と生成など、動きベクトル信号の修正が可能であり、例
えば立体コンバータ装置に内蔵する等、後段の処理に合
わせて広い用途を実現することができる。MPEGのP
ピクチャから動きベクトルの検出を行う場合は、特に処
理が容易かつ効率的になる。また、動きベクトルの検出
を必要としないピクチャに対する処理をスキップするこ
とにより、省電力化等が可能となる。
【図1】 特開平7−59119号公報に記載される疑
似立体映像表示装置の概略構成図である。
似立体映像表示装置の概略構成図である。
【図2】 特公昭55−36240号公報に開示される
立体画像表示装置の概略構成図である。
立体画像表示装置の概略構成図である。
【図3】 実施の形態1に係る符号化画像処理装置の概
略構成図である。
略構成図である。
【図4】 1つのピクチャを構成するマクロブロックの
配置図である。
配置図である。
【図5】 GOPと呼ばれるMPEGのランダムアクセ
ス単位のピクチャ構成図である。
ス単位のピクチャ構成図である。
【図6】 人の顔を中、右、下の3眼で撮影して奥行情
報を得る周知の方法を示す図である。
報を得る周知の方法を示す図である。
【図7】 ある点Pのピクチャ平面上の移動と三次元空
間での現実の移動の対応を示す図である。
間での現実の移動の対応を示す図である。
【図8】 カメラの三次元移動とある点Pのピクチャ平
面上の移動から点Pの三次元座標を導く原理を説明する
図である。
面上の移動から点Pの三次元座標を導く原理を説明する
図である。
【図9】 実施の形態2に係る符号化画像処理装置の概
略構成図である。
略構成図である。
【図10】 実施の形態3に係る符号化画像処理装置の
概略構成図である。
概略構成図である。
【図11】 実施の形態4に係る符号化画像処理装置の
概略構成図である。
概略構成図である。
【図12】 実施の形態4の画像テコーダ50によって
得られた復号画像を示す図である。
得られた復号画像を示す図である。
20 MPEGデコーダ、22,56,62 入力端
子、24,26,32,42,58,60 出力端子、
28 動きベクトル修正回路、30,54 奥行情報生
成回路、40 動きベクトル検出回路、50 画像デコ
ーダ、52 画像要素データベース。
子、24,26,32,42,58,60 出力端子、
28 動きベクトル修正回路、30,54 奥行情報生
成回路、40 動きベクトル検出回路、50 画像デコ
ーダ、52 画像要素データベース。
Claims (33)
- 【請求項1】 符号化動画像データに予め含まれる動き
情報を参照し、復号後の画像が有するべき動き情報を導
出することを特徴とする符号化画像処理方法。 - 【請求項2】 符号化動画像データに予め含まれる動き
ベクトル情報を参照し、復号後の画像ピクチャ間の対応
点移動量を導出することを特徴とする符号化画像処理方
法。 - 【請求項3】 前記動きベクトル情報を前記対応点の検
索範囲を限定するために使用する請求項2に記載の符号
化画像処理方法。 - 【請求項4】 符号化動画像データに予め含まれる動き
情報から、疑似立体表示のための奥行情報を生成するこ
とを特徴とする符号化画像処理方法。 - 【請求項5】 前記動き情報は動きベクトル情報であ
り、該方法は、 前記動きベクトル情報を前記符号化動画像データから分
離して抽出する工程と、 抽出した動きベクトル情報に従って画像各部の相対空間
位置を算出する工程と、 その相対空間位置に基づいて画像各部の奥行を導出する
工程と、 を含む請求項4に記載の符号化画像処理方法。 - 【請求項6】 前記符号化動画像データは、動画像をD
CT符号化技術によって符号化したデータである請求項
4、5のいずれかに記載の符号化画像処理方法。 - 【請求項7】 前記符号化動画像データは、動画像をM
PEG規格に基づいて符号化したデータである請求項6
に記載の符号化画像処理方法。 - 【請求項8】 前記奥行情報を画像各部に対して個別に
生成する請求項4〜7のいずれかに記載の符号化画像処
理方法。 - 【請求項9】 前記画像各部は、領域分割して得られる
所定の領域である請求項8に記載の符号化画像処理方
法。 - 【請求項10】 前記画像各部は、各画像要素によって
形成される領域である請求項8に記載の符号化画像処理
方法。 - 【請求項11】 知的符号化技術によって符号化された
平面画像データを示すコマンド情報から疑似立体表示の
ための奥行情報を生成することを特徴とする符号化画像
処理方法。 - 【請求項12】 前記コマンド情報は、画像要素自体を
指示するコマンドである請求項11に記載の符号化画像
処理方法。 - 【請求項13】 前記コマンド情報は、複数画像要素を
表示する際、その前後関係を指示するコマンドである請
求項11に記載の符号化画像処理方法。 - 【請求項14】 前記コマンド情報は、画像要素の動作
を指示するコマンドである請求項11に記載の符号化画
像処理方法。 - 【請求項15】 前記コマンド情報は、画像要素の感情
を指示するコマンドである請求項11に記載の符号化画
像処理方法。 - 【請求項16】 知的符号化技術によって符号化された
画像データの画像要素の動作を指示するコマンド情報か
ら疑似立体表示のための奥行情報を生成することを特徴
とする符号化画像処理方法。 - 【請求項17】 知的符号化技術によって符号化された
画像データの画像要素の感情を指示するコマンド情報か
ら疑似立体表示のための奥行情報を生成することを特徴
とする符号化画像処理方法。 - 【請求項18】 動き補償ピクチャ間圧縮符号化利用技
術によって符号化された符号化データを復号して映像信
号を生成する復号手段と、 この符号化データを復号する際に使用される動きベクト
ル信号を該データから分離抽出する動きベクトル信号抽
出手段と、 分離抽出された動きベクトル信号を参照することによ
り、疑似立体表示用の奥行情報を生成する奥行情報生成
手段と、 を備えることを特徴とする符号化画像処理装置。 - 【請求項19】 前記奥行情報に基づいて前記映像信号
から疑似立体映像信号を作成する疑似立体化手段を備え
る請求項18に記載の符号化画像処理装置。 - 【請求項20】 前記疑似立体化手段は、奥行情報に基
づいて前記映像信号から遅延量または輝度レベルの異な
る2系統の疑似立体映像信号を作成する請求項19に記
載の符号化画像処理装置。 - 【請求項21】 前記分離抽出された動きベクトル信号
に修正を与えた上でこれを前記奥行情報生成手段に供給
する動きベクトル修正手段を備える請求項18〜20の
いずれかに記載の符号化画像処理装置。 - 【請求項22】 前記符号化データは、インター符号化
画像およびイントラ符号化画像のデータを含み、 前記動きベクトル信号抽出手段は、インター符号化画像
の動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
トル信号から、該インター符号化画像に時間的または位
置的に近いイントラ符号化画像の動きベクトル信号を推
測する動きベクトル信号推測手段を備える、 請求項21に記載の符号化画像処理装置。 - 【請求項23】 前記イントラ符号化画像が修整動きベ
クトル信号を持つとき、 前記動きベクトル信号抽出手段はさらに、イントラ符号
化画像の修整動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、この修整動きベクトル信
号を該イントラ符号化画像の動きベクトル信号として扱
う、 請求項22に記載の符号化画像処理装置。 - 【請求項24】 前記動き補償ピクチャ間圧縮符号化利
用技術は、ピクチャ並びの順方向、逆方向またはこれら
の両方向で動き補償ピクチャ間圧縮を行い、 前記動きベクトル信号抽出手段は、前記動き補償ピクチ
ャ間圧縮の方向に従って生じる動きベクトル信号を分離
抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
トル信号をいずれか一方向を基準として表現した動きベ
クトル信号に変換する動き方向統一変換手段を備える、 請求項21〜23のいずれかに記載の符号化画像処理装
置。 - 【請求項25】 前記動き補償ピクチャ間圧縮符号化利
用技術は、動き補償ピクチャ間圧縮の対象となるピクチ
ャの間隔を適宜変更しながら該圧縮を行い、 前記動きベクトル信号抽出手段は、前記適宜変更された
ピクチャ間に生じる動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
トル信号をピクチャ間隔を揃えた状態で得られるべき動
きベクトル信号に変換するピクチャ間隔統一変換手段を
備える、 請求項21〜24のいずれかに記載の符号化画像処理装
置。 - 【請求項26】 動き補償ピクチャ間圧縮符号化利用技
術によって符号化されたインター符号化画像と、ピクチ
ャ内圧縮符号化技術によって符号化されたイントラ符号
化画像とを含む符号化データを復号して映像信号を生成
する復号手段と、 この符号化データを復号する際に使用されるインター符
号化画像の動きベクトル信号を該データから分離抽出す
る動きベクトル信号抽出手段と、 分離抽出された動きベクトル信号を参照し、該インター
符号化画像に時間的または位置的に近いイントラ符号化
画像の動きベクトル信号を推測して生成する動きベクト
ル修正手段と、 を備えることを特徴とする符号化画像処理回路。 - 【請求項27】 前記イントラ符号化画像が修整動きベ
クトル信号を持つとき、 前記動きベクトル信号抽出手段はさらにイントラ符号化
画像の修整動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、この修整動きベクトル信
号を該イントラ符号化画像の動きベクトル信号として扱
う、 請求項26に記載の符号化画像処理回路。 - 【請求項28】 前記動き補償ピクチャ間圧縮符号化利
用技術は、ピクチャ並びの順方向、逆方向またはこれら
の両方向で動き補償ピクチャ間圧縮を行い、 前記動きベクトル信号抽出手段は、前記動き補償ピクチ
ャ間圧縮の方向に従って生じる動きベクトル信号を分離
抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
トル信号をいずれか一方向を基準として表現した動きベ
クトル信号に変換する動き方向統一変換手段を備える、 請求項26、27のいずれかに記載の符号化画像処理回
路。 - 【請求項29】 前記動き補償ピクチャ間圧縮符号化利
用技術は、動き補償ピクチャ間圧縮の対象となるピクチ
ャの間隔を適宜変更しながら該圧縮を行い、 前記動きベクトル信号抽出手段は、前記適宜変更された
ピクチャ間に生じる動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
トル信号をピクチャ間隔を揃えた状態で得られるべき動
きベクトル信号に変換するピクチャ間隔統一変換手段を
備える、 請求項26〜28のいずれかに記載の符号化画像処理回
路。 - 【請求項30】 前記動きベクトル修正手段によって生
成または変換された動きベクトル信号から、後段の処理
内容に適した手法で動きベクトルの検出を行う動きベク
トル検出手段を含む、 請求項26〜29のいずれかに記載の符号化画像処理回
路。 - 【請求項31】 前記動き補償ピクチャ間圧縮符号化利
用技術はMPEGであり、前記動きベクトル検出手段は
MPEGのPピクチャを中心に動きベクトルの検出を行
う請求項30に記載の符号化画像処理回路。 - 【請求項32】 前記動きベクトル修正手段は、前記動
きベクトル検出手段からの指示に従って必要な領域また
は必要な時点の動きベクトル信号を出力する請求項3
0、31のいずれかに記載の符号化画像処理回路。 - 【請求項33】 動き補償ピクチャ間圧縮符号化利用技
術によって符号化されたインター符号化画像を含む符号
化データを復号して映像信号を生成する復号手段と、 この符号化データを復号する際に使用されるインター符
号化画像の復号用動きベクトル信号を該データから分離
抽出する動きベクトル信号抽出手段と、 前記復号された映像信号を二次処理するための二次処理
用動きベクトルを検出する動きベクトル検出手段と、 この動きベクトル検出手段からの指示に従って必要な領
域または必要な時点の動き情報を前記復号用動きベクト
ル信号より生成する動きベクトル修正手段と、 を備えることを特徴とする符号化画像処理回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7182942A JPH0937303A (ja) | 1995-07-19 | 1995-07-19 | 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7182942A JPH0937303A (ja) | 1995-07-19 | 1995-07-19 | 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0937303A true JPH0937303A (ja) | 1997-02-07 |
Family
ID=16127069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7182942A Pending JPH0937303A (ja) | 1995-07-19 | 1995-07-19 | 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0937303A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169334A (ja) * | 2008-01-21 | 2009-07-30 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
CN101909182A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 图像处理设备,图像处理方法和图像显示设备 |
JP2012156748A (ja) * | 2011-01-26 | 2012-08-16 | Nlt Technologies Ltd | 画像表示装置、画像表示方法、及びプログラム |
JPWO2011074070A1 (ja) * | 2009-12-15 | 2013-04-25 | パイオニア株式会社 | 画像出力装置 |
-
1995
- 1995-07-19 JP JP7182942A patent/JPH0937303A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169334A (ja) * | 2008-01-21 | 2009-07-30 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
CN101909182A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 图像处理设备,图像处理方法和图像显示设备 |
JPWO2011074070A1 (ja) * | 2009-12-15 | 2013-04-25 | パイオニア株式会社 | 画像出力装置 |
JP2012156748A (ja) * | 2011-01-26 | 2012-08-16 | Nlt Technologies Ltd | 画像表示装置、画像表示方法、及びプログラム |
US9307220B2 (en) | 2011-01-26 | 2016-04-05 | Nlt Technologies, Ltd. | Image display device, image display method, and program |
US9736450B2 (en) | 2011-01-26 | 2017-08-15 | Nlt Technologies, Ltd. | Image display device, image display method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU783045B2 (en) | Generation of a sequence of stereoscopic images from a seque nce of 2D images | |
US7027659B1 (en) | Method and apparatus for generating video images | |
KR100381348B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 방법 | |
CN111540055B (zh) | 三维模型驱动方法、装置、电子设备及存储介质 | |
US8983175B2 (en) | Video processing method and device for depth extraction | |
US8045792B2 (en) | Method and apparatus for controlling dynamic depth of stereo-view or multi-view sequence images | |
Sun et al. | Region of interest extraction and virtual camera control based on panoramic video capturing | |
US9986258B2 (en) | Efficient encoding of multiple views | |
KR100334722B1 (ko) | Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치 | |
US8847956B2 (en) | Method and apparatus for modifying a digital image | |
KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
CN108012155A (zh) | 预拼接图像的视频编码方法、视频解码方法和相关的装置 | |
JPH08331607A (ja) | 三次元表示画像生成方法 | |
Ohm | An object-based system for stereoscopic viewpoint synthesis | |
US20210258554A1 (en) | Apparatus and method for generating an image data stream | |
Murata et al. | 32.2: A Real‐Time 2‐D to 3‐D Image Conversion Technique Using Computed Image Depth | |
Rotem et al. | Automatic video to stereoscopic video conversion | |
KR20030049642A (ko) | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 | |
JPH06153239A (ja) | 画像の符号化方式 | |
KR100540732B1 (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 | |
CN114513646A (zh) | 一种三维虚拟场景中全景视频的生成方法及设备 | |
GB2558893A (en) | Method for processing media content and technical equipment for the same | |
JPH0937303A (ja) | 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 | |
JPH0981746A (ja) | 二次元表示画像生成方法 | |
US20130011047A1 (en) | Method, System and Computer Program Product for Switching Between 2D and 3D Coding of a Video Sequence of Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040907 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041102 |