JP4131113B2 - 画像処理装置と画像処理方法および画像処理プログラム - Google Patents
画像処理装置と画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP4131113B2 JP4131113B2 JP2002058917A JP2002058917A JP4131113B2 JP 4131113 B2 JP4131113 B2 JP 4131113B2 JP 2002058917 A JP2002058917 A JP 2002058917A JP 2002058917 A JP2002058917 A JP 2002058917A JP 4131113 B2 JP4131113 B2 JP 4131113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display position
- motion
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Description
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法および画像処理プログラムに関する。詳しくは、入力画像信号に基づく表示画像の動きベクトルを検出すると共に表示画像のシーンチェンジを検出し、また表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、シーンチェンジの検出結果に基づき連続シーンを判別して、表示画像の表示位置を、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させることにより、臨場感の高い画像表示を可能とすると共に画像を途切れることなく正しく表示するものである。
【0002】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、1つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【0003】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を1つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【0004】
【発明が解決しようとする課題】
ところで、このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【0005】
これは、撮影された広い空間の画像を無理やり固定画枠内の2次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平10−301556号公報で開示されている。
【0006】
しかし、画像表示領域が限られているとき、被写体の動きに合わせて画像の表示位置を移動させると、画像が画像表示領域から外れてしまい、画像を正しく表示することができない。
【0007】
そこで、この発明では、現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像を途切れることなく正しく表示できる画像処理装置と画像処理方法および画像処理プログラムを提供するものである。
【0008】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出するシーンチェンジ検出手段と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を移動させる画像移動手段とを設け、前記画像移動手段は、前記シーンチェンジ検出手段での前記シーンジェンジの検出結果に基づき判別された前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が前記画像表示領域における前記表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【0009】
また、画像処理方法は、入力画像信号に基づく表示画像の動きベクトルを検出し、前記表示画像の連続シーンを判別することによりシーンチェンジを検出し、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【0010】
また、画像処理プログラムは、コンピュータに、入力画像信号に基づく表示画像の動きベクトルを検出する手順と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出する手順と、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる手順とを実行させるものである。
【0011】
この発明においては、シーンチェンジの検出結果に基づき連続シーンが判別されると共に、この連続シーンの期間中に検出された動きベクトルを累積して動きベクトルの時間推移情報である動き累積値を生成して、この動き累積値に基づいて連続シーンにおける表示画像の振れ幅が判別される。表示画像の画像サイズよりも大きい画像表示領域における表示画像の移動可能範囲と振れ幅に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定される。また、振れ幅が移動可能範囲よりも大きいときには、表示位置の移動方向が画像表示領域の外側方向であるときに動きベクトルの動き量を縮小させる補正処理や、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率を大きくする補正処理が行われて、この動き量に基づき表示画像の表示位置が移動される。
【0012】
さらに、基準表示位置が設定されると共に、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動される。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合には、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われる。
【0013】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図1は、この発明における画像処理装置を用いた表示システムの全体構成を示している。この表示システムは、例えば3つのスクリーンをユーザの前面と両側面側に配置している。また、各スクリーン10L,10C,10Rに対応させてプロジェクタ12L,12C,12Rを設けている。この各プロジェクタ12L,12C,12Rを用いて画像を投影することにより、3スクリーン分の広範囲の画枠を用いて画像の表示が行われる。プロジェクタ12L,12C,12Rは、画像処理装置20と接続されている。
【0014】
画像処理装置20は、入力画像信号SDinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように3つの画像信号SDL,SDC,SDRを生成して、画像信号SDLをプロジェクタ12L、画像信号SDCをプロジェクタ12C、画像信号SDRをプロジェクタ12Rに供給する。また、シーンチェンジを検出したとき、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示する。
【0015】
例えば、画像処理装置20に供給する入力画像信号SDinは、図2Aに示すように、静止している被写体OBaをビデオカメラ100で撮影し、その後図2Bに示すように、ビデオカメラ100をパンニングさせて前進,後退,前進の順に移動する被写体OBbを撮影し、さらに、図2Cに示すように、静止している被写体OBcを撮影して得た画像信号であるものとする。
【0016】
各スクリーンのサイズは例えばアスペクト比が「4:3」で表示サイズが「720画素×480画素」、入力画像信号SDinに基づく画像は、アスペクト比が「16:9」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「720画素×270画素」の場合を図3に示す。
【0017】
画像処理装置20は、入力画像信号SDinに基づき画像信号SDCを生成してプロジェクタ12Cに供給し、図3Aに示すように例えば動きのない被写体OBaを撮影したシーンAの画像を前方のスクリーン10Cの中央に表示させる。その後、動きのある被写体OBbを撮影したシーンBの画像については、シーンBの画像の動きベクトルに基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように、シーンBの最初の画像の表示位置を決定する。この決定された表示位置に基づき入力画像信号SDinから画像信号SDL,SDC,SDRを生成して、例えば画像信号SDC,SDRによって図3Bに示すように前方のスクリーン10Cと右側のスクリーン10Rを用いて画像を表示させる。その後、図3C,図3Dに示すように被写体OBbの動きに合わせて画像表示位置を右側から左側に移動させる。また、シーンチェンジが行われてシーンBからシーンCに切り替えられたとき、例えば動きのない被写体OBcを撮影したシーンCの画像を図3Eに示すようにスクリーン10Cの中央に表示させる。このように、画像の動き量に基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように表示位置を設定する。また、移動範囲が画像表示領域よりも大きいときには、表示画像が欠けてしまうことがないように表示位置を調整する。このように、画像の動きベクトルに応じて表示位置を移動させる際に画像表示領域を有効に利用することで、臨場感の高い画像表示を行う。
【0018】
図4は、画像処理装置20の概略構成を示している。画像処理装置20は、入力画像信号SDinをシーンチェンジ検出部21と動き検出部22と画像位置移動部23に供給する。
【0019】
シーンチェンジ検出部21は、入力画像信号SDinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図5は、シーンチェンジ検出部21の概略構成を示しており、例えば2フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【0020】
シーンチェンジ検出部21の遅延回路211は、入力画像信号SDinを1フレーム遅延させて遅延画像信号SDaとして差分平均算出回路212に供給する。差分平均算出回路212は、入力画像信号SDinと遅延画像信号SDaに基づき、2フレーム間の差分平均値Davを算出して正規化回路214に供給する。この差分平均値Davの算出は、各画素における2フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Davとして正規化回路214に供給する。なお、1フレームの画像の画素数が「N」で、入力画像信号SDinに基づく輝度レベルを「YC」、遅延画像信号SDaに基づく輝度レベルを「YP」としたとき、差分平均値Davは式(1)に基づいて算出できる。
【0021】
【数1】
【0022】
ここで、差分平均値Davは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Davが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Davは大きくならない。このため、シーンチェンジ検出部21に正規化回路214を設けるものとして、画像の明るさに応じた差分平均値Davの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【0023】
輝度平均算出回路213は、入力画像信号SDinに基づき、各画素の輝度レベルに基づき1フレームにおける輝度レベルの平均値を算出して輝度平均値Yavとして正規化回路214に供給する。なお、上述のように1フレームの画像の画素数が「N」で入力画像信号SDinに基づく画素の輝度レベルを「YC」としたとき、輝度平均値Yavは式(2)に基づいて算出できる。
【0024】
【数2】
【0025】
正規化回路214は、画像の明るさに応じた差分平均値Davの正規化を行う。すなわち、式(3)に示すように、画像の明るさを示す輝度平均値Yavに応じて差分平均値Davを補正して差分平均正規化値(以下単に「正規化値」という)Eを生成する。
E=Dav/Yav ・・・(3)
この正規化回路214で生成された正規化値Eは、判定回路215に供給される。
【0026】
判定回路215は、予め設定された閾値Lrを有しており、正規化値Eと閾値Lrを比較して、正規化値Eが閾値Lrよりも大きいときにはシーンチェンジと判定する。また、正規化値Eが閾値Lr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路215は、この判定結果を示すシーンチェンジ検出信号SCを生成して図4の動き検出部22と画像位置移動部23に供給する。
【0027】
このように、正規化回路214は画像の明るさに応じた差分平均値Davの正規化を行い、判定回路215は正規化値Eを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【0028】
図6は、フレーム位置と正規化値Eの関係を例示的に示したものである。ここで、閾値Lrが「0.4」に設定されている場合、正規化値Eが「0.4」を超えるフレーム位置をシーンチェンジ検出位置Pscとする。
【0029】
ところで、上述のシーンチェンジ検出部21では、1フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Davや輝度平均値Yavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図7に示すように1フレームの画像を8×4画素の領域に区分して各領域から斜線で示すように1画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Davや輝度平均値Yavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【0030】
また、上述のシーンチェンジ検出部21では、正規化値Eを用いてシーンチェンジ検出を行うものとしたが、2フレーム間の画像の相関係数rを求めて、この相関係数rと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図8は、相関係数rを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路211は、入力画像信号SDinを1フレーム遅延させて遅延画像信号SDaとして相関係数算出回路216に供給する。相関係数算出回路216は、入力画像信号SDinと遅延画像信号SDaに基づき、相関係数rの算出を行う。
【0031】
ここで、1フレームの画像の画素数を「N」、最初のフレームの画像信号に基づく画素の輝度レベルを「YF」、次のフレームの画像信号に基づく画素の輝度レベルを「YS」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「YFav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「YSav」としたとき、相関係数rは式(4)を用いて算出できる。
【0032】
【数3】
【0033】
この相関係数算出回路216で算出された相関係数rは、判定回路217に供給される。
判定回路217は、予め設定された閾値Lrを有しており、相関係数rと閾値Lrを比較して、相関係数rが閾値Lr以下であるときにはシーンチェンジと判定する。また、相関係数rが閾値Lr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路217は、この判定結果を示すシーンチェンジ検出信号SCを生成して、図4の動き検出部22と画像位置移動部23に供給する。なお、図9は、フレーム位置と相関係数rの関係を例示的に示したものである。ここで、閾値Lrが例えば「0.4」に設定されている場合、相関係数rが「0.4」以下となるフレーム位置をシーンチェンジ検出位置Pscとする。
【0034】
動き検出部22は、シーンチェンジ検出部21からのシーンチェンジ検出信号SCによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図10は、動き検出部22の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【0035】
動き検出部22の遅延回路221は、入力画像信号SDinを1フレーム遅延させて遅延画像信号SDbとして画像位置切替回路222に供給する。画像位置切替回路222は、遅延画像信号SDbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号SDcを順次生成する。この生成された画像信号SDCは、差分演算回路223に供給される。また、画像位置切替回路222は、画像の移動方向と移動量を示す動きベクトルMVを最小値判定回路224に供給する。
【0036】
差分演算回路223は、画像信号SDcと入力画像信号SDinとの差分値DMを順次算出して、最小値判定回路224に供給する。
【0037】
最小値判定回路224は、差分値DMと、この差分値DMの算出に用いた画像信号SDcを生成する際の動きベクトルMVとを関係付けて保持する。また、画像位置切替回路222で動き探索範囲内での画像の移動を完了したとき、最小値判定回路224は、保持している差分値DMから最小値を判別して、この最小値となる差分値DMと関係付けて保持されている動きベクトルMVを、動き検出情報MVDとして図4の画像位置移動部23に供給する。
【0038】
ところで、シーンチェンジ検出信号SCによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路222は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号SDbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく背景画像の動きベクトルを検出できる。
【0039】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路224は、動き検出情報MVDを画像位置切替回路222にも供給するものとし、画像位置切替回路222は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報MVDに基づいて設定する。このように、画像の動きベクトルに応じて次に動き検出を行う際の動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、画像の動きベクトルの検出を効率よく速やかに行うことができる。
【0040】
図4に示す画像位置移動部23は、シーンチェンジ検出信号SCと動き検出情報MVDに基づき表示位置を決定する。さらに、決定した表示位置に基づき画像表示領域に応じた画像信号を生成する。例えば上述のように画像表示領域が3つの領域(スクリーン10L,10C,10R)に区分されており、この3つの領域を使用して画像表示を行う場合、決定した表示位置に基づき画像信号SDL,SDC,SDRを生成し、画像信号SDLをプロジェクタ12L、画像信号SDCをプロジェクタ12C、画像信号SDRをプロジェクタ12Rに供給することで、スクリーン10L,10C,10Rを使用して画像表示を行う。
【0041】
図11は、画像位置移動部23の構成を示している。画像位置移動部23の画像位置決定回路231は、シーンチェンジ検出信号SCと動き検出情報MVDに基づき表示位置を決定して、この表示位置を示す位置情報PDを書込読出制御回路237に供給する。
【0042】
図12は、画像位置決定回路231の構成を示している。動き累積回路232は、シーンチェンジ検出信号SCに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報MVDで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値MVTを生成して初期位置決定回路233と表示範囲判定回路234に供給する。
【0043】
初期位置決定回路233では、動き累積値MVTに基づき第1の移動方向(例えば右方向や上方向)の最大値MVT-1と、第1の方向とは逆方向である第2の移動方向(例えば左方向や下方向)の最大値MVT-2を求め、最大値MVT-1と最大値MVT-2に基づき動き累積値MVTの振れ幅WTや中央値MVTctを求めて、この中央値MVTctが画像表示範囲の所定位置例えば中央となるように、連続シーンの最初の表示画像の表示位置を決定して初期位置PSとして表示範囲判定回路234と表示位置決定回路236に供給する。
【0044】
表示範囲判定回路234は、初期位置PSに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報MVDに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置PSと動き累積値MVTに基づいて判別する。この表示範囲判定回路234での判別結果を示す判別結果信号CHaは動き補正回路235に供給される。
【0045】
動き補正回路235は、判別結果信号CHaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報MVDを補正して、動き検出情報MVEとして表示位置決定回路236に供給する。また、判別結果信号CHaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報MVDの補正を行うことなく表示位置決定回路236に供給する。
【0046】
表示位置決定回路236は、初期位置決定回路233から供給された初期位置PSを連続シーンの最初の表示画像の表示位置とする。その後、動き検出情報MVEに基づき、動き検出情報MVEで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す位置情報PDを順次出力して、図11の書込読出制御回路237に供給する。
【0047】
ここで、位置情報PDに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が3つの領域(スクリーン10L,10C,10R)に区分されているときには、入力画像信号SDinと位置情報PDに基づき、各領域に対して画像表示を行うための画像信号SDL,SDC,SDRを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリ238を設けるものとし、書込読出制御回路237は、画像メモリ238に入力画像信号SDinを書き込む際の書込位置を、位置情報PDに基づいて表示位置に対応させる。このように入力画像信号SDinを書き込むものとすれば、表示領域に対応した画像メモリ238の記憶領域の画像信号を用いることで、画像信号SDL,SDC,SDRを容易に生成できる。
【0048】
書込読出制御回路237は、画像メモリ238に画像信号を書き込むための書込制御信号WCと、画像メモリ238に書き込まれている画像信号を読み出すための読出制御信号RCを生成して、画像メモリ238に供給する。ここで、書込読出制御回路237は、上述したように画像位置決定回路231で決定された表示位置と対応する画像メモリ238の記憶領域の位置に画像信号を記憶させるため、位置情報PDに基づいて書込制御信号WCを生成する。
【0049】
画像メモリ238は、書込制御信号WCに基づき、画像位置決定回路231で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの入力画像信号SDinを記憶する。なお、入力画像信号SDinが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ238は、書込読出制御回路237からの読出制御信号RCに基づき、記憶領域に記憶されている画像信号を読み出して画像信号SDeとして画像分割回路239に供給する。
【0050】
画像分割回路239は、画像信号SDeから例えばスクリーン10Lに対応する記憶領域の信号を用いて画像信号SDLを生成する。同様に、スクリーン10C,10Rに対応する記憶領域の信号を用いて画像信号SDC,SDRを生成する。このようにして生成した画像信号SDLをプロジェクタ12L、画像信号SDCをプロジェクタ12C、画像信号SDRをプロジェクタ12Rにそれぞれ供給することにより、複数のスクリーンを利用して1つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号SDdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号SDinに基づく画像の周囲が黒表示となる。
【0051】
なお、画像位置移動部23は、シーンチェンジ検出信号SCと動き検出情報MVDに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ238に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号SDL,SDC,SDRを生成できる。
【0052】
次に、画像処理装置20の動作について説明する。なお、説明を簡単とするため動き検出情報MVDで示される動きベクトル方向の左右方向成分についてのみ説明する。図13Aは、入力画像信号SDinに基づく画像であり、フレームF(g-1)までがシーンAの画像、フレームF(g),F(g+1)〜フレームF(g+k)が連続フレームのシーンBの画像、フレームF(g+k+1)からシーンCの画像である場合を示している。
【0053】
入力画像信号SDinがフレームF(g-1)からフレームF(g)およびフレームF(g+k)からフレームF(g+k+1)となると、シーンチェンジ検出部21は、正規化値Eあるいは相関係数rに基づいて、このシーンチェンジ位置を検出すると共に、シーンチェンジ検出信号SCは、シーンチェンジであることを示すものとなる。
【0054】
画像位置決定回路231の動き累積回路232は、シーンチェンジ検出信号SCに基づいて連続シーンの期間中における動きベクトルを累積して動き累積値MVTを生成する。例えばフレームF(g)からフレームF(g+k)までの連続シーンであるシーンBの動きベクトルを累積して動き累積値MVTを生成する。
【0055】
図14はシーンBの動き累積値MVTに基づく左右方向の動き量を示している。なお、図14において、シーンA,シーンCは動きがないため動き累積値MVTの左右方向の動き量は「0」である。ここで、図2Bに示すように、ビデオカメラ100を左方向にパンニングさせて前進する被写体OBbを撮影すると背景画像は右方向に移動する。このため動き累積値MVTの動き量は右方向に増加する。その後、ビデオカメラ100のパンニングを停止したのち、右方向にパンニングさせて後退する被写体OBbを撮影すると、動き累積値MVTの動き量は減少したのち左方向に増加する。再度、ビデオカメラ100のパンニングを停止したのち左方向にパンニングさせて前進する被写体OBbを撮影すると、動き累積値MVTの動き量は減少したのち右方向に増加する。
【0056】
初期位置決定回路233は、動き累積値MVTの振れ幅WTを求めることでシーンBでの表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲LW(画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離)の中央となるように、フレームF(g)の画像の表示位置である初期位置PSを決定する。例えば、動き累積値MVTの振れ幅WTを求め、振れ幅WTの1/2を中央値MWctとする。さらに、右方向に動き量の最大値MVT-1から中央値MWctを減算すると、画像の移動範囲を画像表示領域の中央に設定した場合におけるフレームF(g)の画像に対する動き量MU-sを求めることができる。このため、画像表示領域の中央から動き量MU-sだけ動きベクトル方向とは逆方向に移動した位置を初期位置PSとする。このように初期位置PSを決定することで、動き検出情報MVDに基づいて画像の表示位置を移動させたとき、画像の移動範囲が画像表示領域の中央となる。このようにして初期位置決定回路233は初期位置PSを決定して表示範囲判定回路234と表示位置決定回路236に供給する。
【0057】
表示範囲判定回路234は、連続シーンの最初の表示画像を初期位置PSに表示してから、動き検出情報MVDで示された動き量だけ表示位置を動きベクトル方向とは逆方向に移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。例えば、動き累積値MVTに基づき振れ幅WTを算出して、この振れ幅WTと画像表示領域内の移動可能範囲LWを比較して、連続シーンの画像が図14に示すように移動可能範囲からはみ出すことなく移動されるものであるか、あるいは図15に示すように、シーンGの振れ幅WTが移動可能範囲LWよりも大きくなって、表示画像が画像表示領域に入りきらなくなってしまうかを判別して、判別結果を示す判別結果信号CHaを動き補正回路235に供給する。なお、振れ幅WTは、初期位置決定回路233で算出した振れ幅WTを用いるものとしても良い。
【0058】
動き補正回路235は、判別結果信号CHaで表示画像が画像表示領域に入りきらないことが示されたとき、動き検出情報MVDの動き量を少なくする補正を行い、動き検出情報MVEとして表示位置決定回路236に供給する。例えば、動き累積値MVTの振れ幅WTが大きくなって、図15で示すように画像表示領域の移動可能範囲LWを超えてしまう場合、シーンGの動き量に補正係数CR(<1)を乗算することで、動き量を少なくする補正を行い、振れ幅WTを小さくする。なお、振れ幅を小さくしたときに、表示位置が移動可能範囲LWを超えてしまうときには、動き検出情報MVEに係らず表示位置を移動可能範囲LW内に制限する。
【0059】
また、動き累積値MVTの振れ幅WTを動き補正回路235に供給すると共に、画像表示領域内の移動可能範囲LWを動き補正回路235に予め記憶させておくものとし、振れ幅WTと移動可能範囲LWを用いて補正係数CRを「CR=(LW/WT)」に設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲LWを超えて制限されてしまうことを防止できる。
【0060】
ところで、動き量に固定の補正係数CRを乗算すると、常に画像の動き量が小さくなってしまい、臨場感の少ない画像となってしまう。このため、補正係数CRに重み付けを行うものとして、臨場感の高い画像表示を行うこともできる。
【0061】
ここで、画像表示領域の中央から端部側方向に画像の表示位置を移動させるときには動き量に補正係数CRを乗算して動き量を少なくする。また、端部側から画像表示領域の中央方向に表示位置を移動させる場合、補正係数CRを「1」とする。この場合、画像表示領域の端部側方向に表示位置が移動される場合にのみ動き量が小さくされるので、画像が途切れてしまうことを防止できると共に、画像表示領域の中央方向への表示位置の移動は、画像の動きベクトルに応じて行われるので、臨場感を確保できる。
【0062】
図16は、動き量の補正を行った場合と行わなかった場合での画像表示位置の違いを例示的に示したものである。ここで、実線で示す動き量の補正を行った場合、破線で示す動き量の補正を行わなかった場合に比べて、画像の表示位置が中央部分に近くなり、画像が途切れてしまうことを防止できる。
【0063】
また、動き量の補正では、画像表示領域の中央部分で表示位置の移動を行う場合に補正係数CRを「1」あるいは「1」に近づけて動き量の縮小率を少なくする。また、表示位置が画像表示領域の中央から離れて端部側に移動するに伴い補正係数CRを小さくして動き量の縮小率を大きくする。このように補正係数CRを設定すると、視聴者が注目する画像表示領域の中央部で画像の動きベクトルに応じた表示位置の移動が行われて、視聴者の注目が少ない画像表示領域の端部で表示位置の移動が少なくなるので、動き量の補正による臨場感の減少を抑えることができる。
【0064】
さらに、振れ幅WTが大きい場合、補正係数CRを「CR=(LW/WT)」に設定すると動き量が少なくなりすぎてしまう。このため、補正係数CRに制限を設けるものとし、表示位置を移動したときに表示画像が画像表示領域に入り切らない場合は、動き量に係らず表示画像を画像表示領域の端部側位置として、画像が途切れてしまうことを防止することもできる。
【0065】
このようにして、画像位置決定回路231で各フレームの画像の表示位置を決定して位置情報PDを生成すると、書込読出制御回路237は、位置情報PDに基づき書込制御信号WCを生成して画像メモリ238に供給し、図13Bに示すように、画像メモリ238の記憶領域における画像表示位置と対応する記憶領域AR1にシーンAのフレームF(g-1)の画像信号を記憶させる。また、シーンBの最初のフレームF(g)の画像信号を、位置情報PDに基づき初期位置PSに対応した記憶領域AR2に記憶させる。その後、フレームF(g+1)〜フレームF(g+k)の画像信号を位置情報PDに基づいて移動させながら画像メモリ238に記憶される。また、シーンCのフレームF(g+k+1)の画像信号を記憶領域AR1に記憶させる。
【0066】
書込読出制御回路237は、読出制御信号RCを生成して画像メモリ238に供給すると共に、画像メモリ238は記憶して画像信号を読出制御信号RCに基づいて読み出して画像分割回路239に供給する。画像分割回路239は、画像メモリ238の記憶領域が画像表示領域に対応して設けられていることから、スクリーン10Lと対応する記憶領域BALから読み出した信号に基づいて画像信号SDLを生成する。またスクリーン10Cと対応する記憶領域BACから読み出した信号に基づいて画像信号SDCを生成すると共に、スクリーン10Rと対応する記憶領域BARから読み出した信号に基づいて画像信号SDRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号SDinに基づく画像のみを表示させる。
【0067】
このようにして、生成した画像信号SDL,SDC,SDRをプロジェクタ12L,12C,12Rに供給することで、被写体の動きに応じて表示位置を移動させることができる。このように、撮影時のカメラ動き、あるいはカメラの向きに忠実な表現が可能となり、実世界と同じ位置、同じ方向に映像が表示されるため、視聴者は現実と同じ空間、あるいは動きを視聴時に取得することができる。さらに、画面自体の動きによって、従来よりも大きな躍動感を映像から得ることが可能であり、また視聴者自らの顔向きの動きなどにより、完全受動的であった動き表現の視聴を、視線を動かすというアクティブな操作で感じることが可能である。また、画像表示領域に応じた移動が行われるので、画像の途切れを無くして正しく画像表示を行うことができる。また、振れ幅を用いることで、振れ幅と画像表示領域の移動可能範囲から表示位置をどの位補正しなければならないか簡単に判別できるので、画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【0068】
ところで、上述の画像位置決定回路231は、動き累積回路232で動き検出情報MVDの動きベクトルを累積して、この動き累積値MVTに基づいて表示画像の初期位置を決定すると共に、表示位置を動きベクトルに基づいて順次移動するものとしたが、基準表示位置を設定して動き検出情報MVDで示された動きベクトル分だけ表示位置を基準表示位置から移動させることもできる。
【0069】
例えば右方向へのパンニングを行って撮影したときには、背景画像が左方向に移動することから、動き検出情報MVDに基づき、表示位置を基準表示位置から動きベクトル方向とは逆方向に動き量分だけ移動する。パンニングが終了したときには、動き検出情報MVDの動き量が「0」となるので、表示位置は基準表示位置とする。このように動きベクトルに応じて表示位置を決定した場合には、動きベクトルの変化が表示位置の移動として表現されることとなり、ダイナミックな画像表示を行うことができる。
【0070】
図17は、基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合の表示位置を例示的に示したものである。なお図において実線は基準表示位置から動きベクトル分だけ表示位置を移動させる場合を示しており、破線は動きベクトルに基づいて順次表示位置を移動させる場合を示している。図に示すように、例えば右方向へのパンニングが終了したときには、動き検出情報MVDの動き量が「0」となるので、基準表示位置から動きベクトル分だけ表示位置を移動させる場合の表示位置は、基準表示位置となる。また、動きベクトルに基づいて順次表示位置を移動させる場合には、表示位置が初期位置から最も右側に離れた位置となる。
【0071】
また、基準表示位置から動きベクトル分だけ表示位置を移動させる場合、動きベクトルの検出精度が高くないと、動きベクトルの検出の誤差によって表示位置が振動してしまい、安定感のない品位が低下した表示画像となってしまう。このため、動きベクトルに対してフィルタ処理を行い、動きベクトルから高域成分を除くことで表示位置の振動を防止する。このフィルタ処理は、例えば±20フレーム分の動きベクトルから平均を算出することで、高域成分を除くものとする。
【0072】
図18は、フィルタ処理を行った場合と行わない場合とでの表示位置の違いを例示的に示した図である。なお図において太線はフィルタ処理を行い動きベクトルから高域成分を除いた場合の表示位置を示しており、細線はフィルタ処理を行わない場合の表示位置を示している。この図18に示すように、フィルタ処理を行うことにより動きベクトルが平均化されるので、表示位置が振動してしまうことを防止して良好な画像表示を行うことができる。
【0073】
また、動き検出情報MVDに基づいて表示位置を決定する場合、動きベクトルに基づく表示位置の振れ幅が画像表示領域内の移動可能範囲LWに収まるように設定する。例えば、動き量が「0」であるときの表示位置を画像表示範囲の中央に基準表示位置として設定し、動きベクトルの動き量が最大となったときに表示位置が画像表示範囲の端部側となるように設定する。ここで、動き検出情報MVDで示された動きベクトルの動き量を「Md」、動き量の最大値を「Vmax」としたとき、表示位置Xは式(5)に基づいて算出することができ、この算出された表示位置Xに画像表示を行うものとすれば、画像表示領域を有効に活用して画像表示を行うことができる。
X = (LW/Vmax)Md ・・・(5)
【0074】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図19に示す。コンピュータは、図19に示すようにCPU(Central Processing Unit)301を内蔵しており、このCPU301にはバス320を介してROM302,RAM303,ハード・ディスク・ドライブ304,入出力インタフェース305が接続されている。さらに、入出力インタフェース305には入力部311や記録媒体ドライブ312,通信部313,画像信号入力部314,画像信号出力部315が接続されている。
【0075】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部311から命令が入力されると、この命令が入出力インタフェース305を介してCPU301に供給される。
【0076】
CPU301は、ROM302やRAM303あるいはハード・ディスク・ドライブ304に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ROM302やRAM303あるいはハード・ディスク・ドライブ304には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部314に入力された入力画像信号SDinに基づき画像信号SDL,SDC,SDRを生成して、画像信号出力部315から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ312によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部313によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【0077】
図20は、画像処理プログラムの全体構成を示すフローチャートである。ステップST1では動き累積値MVTを初期化してステップST2に進み、ステップST2ではシーン判別を行う。図21は、このシーン判別動作を示すフローチャートである。ステップST21では、フレーム間の差分平均値Davとフレーム内の輝度平均値Yavを算出してステップST22に進む。
【0078】
ステップST22は、輝度平均値Yavを用いて差分平均値Davの正規化を行い正規化値Eを算出する。
ステップST23は、正規化値Eと閾値Lrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Eが閾値Lr以下であるときにはステップST24に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Eが閾値Lrよりも大きいときにはステップST25に進み、シーンチェンジであると判別してシーン判別を終了する。
【0079】
なお、シーン判別動作では、上述のように相関係数rを算出して、この相関係数rと閾値Lrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップST21とステップST22の処理に替えて、上述の式(4)で示した相関係数rの算出を行い、ステップST23では相関係数rが閾値よりも小さくないときにはステップST24に進み連続シーンと判別する。また相関係数rが閾値よりも小さいときにはステップST25にシーンチェンジであると判別する。
【0080】
図20のステップST3は、ステップST2のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジでないすなわち連続シーンと判別されたときにはステップST4に進み、シーンチェンジであると判別されたときにはステップST6に進む。
【0081】
ステップST4は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップST5に進む。ステップST5では動き累積値MVTにステップST4で検出された動きベクトルを加算して新たな動き累積値MVTとすると共に、新たな動き累積値MVTを順次記憶してステップST2に戻る。
【0082】
ステップST3でシーンチェンジであると判別されてステップST6に進むと、ステップST6では、順次記憶した動き累積値MVTに基づき動き累積値MVTの振れ幅WTを算出して、振れ幅WTの中心が画像表示領域の中央となるように画像表示位置の初期位置PSを決定する。
【0083】
次に、ステップST7では、動き累積値MVTに応じて画像表示位置を移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。ここの、表示画像が画像表示領域に入りきらないときにはステップST8に進み、入りきる場合にはステップST9に進む。
ステップST8では、表示画像が画像表示領域に入りきるように動きベクトルを補正してステップST9に進む。
【0084】
ステップST9では、ステップST6で決定された画像表示位置の初期位置PSとステップST4で検出された動きベクトル、あるいは補正された動きベクトルに基づいて表示位置を決定してステップST10に進む。
【0085】
ステップST10は、出力画像の分割処理を行う。ここで、図1に示すように3つのスクリーンを1つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号SDL,SDC,SDRを生成する。このように入力画像信号SDinをコンピュータで処理して画像信号SDL,SDC,SDRを生成するものとしても、同様の効果を得ることができる。
【0086】
なお、上述の画像処理装置20は、連続シーンを判別してから、この連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるものであり、複数の連続シーンの画像信号SDL,SDC,SDRをリアルタイムで生成することが困難である。このため、画像信号SDL,SDC,SDRを記録媒体に記録して、その後記録媒体に記録されている画像信号SDL,SDC,SDRを同期して再生することにより、上述の図3に示す画像表示が行われる。また、入力画像信号SDinと画像位置移動部23で設定された表示位置を関係付けて記録媒体に記録させるものとして、画像表示を行う際に、入力画像信号SDinとこの入力画像信号SDinに関係付けて記憶されている表示位置を記録媒体から読み出して画像信号SDL,SDC,SDRも生成するものとしても良い。この場合には、画像信号SDL,SDC,SDRを記録しておく必要がないので、記録する信号量を少なくできる。また、連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるために記録媒体に蓄積されている入力画像信号SDinを用いる場合には、画像表示領域を設定してから表示位置の決定や画像信号SDL,SDC,SDRの生成を行うことができるので、スクリーンサイズやスクリーン数等が変更されても容易に対応することができる。
【0087】
また、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【0088】
さらに、新たに映像ソースや別のフォーマットを作らなくても、従来のテレビ用やビデオ映像などのコンテンツの画像信号を用いて本発明の処理を施すことで、従来の映像鑑賞以上の臨場感を得ることができる。
【0089】
【発明の効果】
この発明によれば、表示画像の画像サイズよりも大きい画像表示領域が設定されると共に、シーンチェンジの検出結果に基づき連続シーンが判別されて、表示画像の表示位置が、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させる。このため、連続シーンの画像が画像の動きに応じて移動されて現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像の途切れを防止して正しく表示できる。
【0090】
また、連続シーンの期間中に検出された動きベクトルから動きベクトルの時間推移情報を生成して、この時間推移情報に基づき連続シーンにおける表示画像の振れ幅が判別される。この判別された振れ幅に基づき表示画像の表示位置が画像表示領域おける表示画像の移動可能範囲内となるように表示位置が移動されるので、画像の途切れを生ずることなく画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【0091】
また、振れ幅と移動可能範囲に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定されるので、画像表示領域を有効に活用して画像表示を行うことができる。
【0092】
また、振れ幅が前記移動可能範囲よりも大きいときには、動きベクトルの動き量を縮小させる補正処理が行われて、補正処理後の動き量を用いて表示画像の表示位置が移動されるので、画像表示領域から表示画像が外れてしまうことを防止できる。また表示位置の移動方向が画像表示領域の外側方向であるときに補正処理が行われるので、補正処理を行っても臨場感を確保できる。また、補正処理では、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率が大きくされるので、臨場感の低下を少なくできる。
【0093】
さらに、基準表示位置を設定して、検出された動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、ダイナミックな画像表示を行うことができる。また、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、表示画像が振動して品位が低下してしまうことを防止できる。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われるので、画像表示領域から表示画像が外れてしまうことを防止できる。
【図面の簡単な説明】
【図1】画像表示システムの構成を示す図である。
【図2】入力画像信号の生成動作を示す図である。
【図3】画像表示状態を示す図である。
【図4】画像処理装置の構成を示す図である。
【図5】シーンチェンジ検出部の構成を示す図である。
【図6】フレーム位置と正規化値の関係を示す図である。
【図7】画素の間引きを示す図である。
【図8】シーンチェンジ検出部の他の構成を示す図である。
【図9】フレーム位置と相関係数の関係を示す図である。
【図10】動き検出部の構成を示す図である。
【図11】画像位置移動部の構成を示す図である。
【図12】画像位置決定回路の構成を示す図である。
【図13】画像処理装置の動作を説明するための図である。
【図14】画像位置決定回路の動作を説明するための図である。
【図15】画像位置決定回路の他の動作を説明するための図である。
【図16】動き量の補正を行った場合の表示位置と動き量の補正を行わなかった場合の表示位置を示す図である。
【図17】基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合での表示位置を示す図である。
【図18】フィルタ処理を行った場合の表示位置とフィルタ処理を行わなかった場合の表示位置を示す図である。
【図19】コンピュータを用いたときの構成を示す図である。
【図20】画像処理プログラムの全体構成を示すフローチャートである。
【図21】シーン判別の動作を示すフローチャートである。
【符号の説明】
10L,10C,10R・・・スクリーン、12L,12C,12R・・・プロジェクタ、20・・・画像処理装置、21・・・シーンチェンジ検出部、22・・・動き検出部、23・・・画像位置移動部、211,221,233・・・遅延回路、212・・・差分平均算出回路、213・・・輝度平均算出回路、214・・・正規化回路、215,217・・・判定回路、216・・・相関係数算出回路、222・・・画像位置切替回路、223・・・差分演算回路、224・・・最小値判定回路、231・・・画像位置決定回路、232・・・動き累積回路、233・・・初期位置決定回路、234・・・表示範囲判定回路、235・・・動き補正回路、236・・・表示位置決定回路、237・・・書込読出制御回路、238・・・画像メモリ、239・・・画像分割回路、301・・・CPU、302・・・ROM、303・・・RAM、314・・・画像信号入力部、315・・・画像信号出力部
Claims (17)
- 入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出するシーンチェンジ検出手段と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に
対する前記表示画像の表示位置を移動させる画像移動手段とを設け、
前記画像移動手段は、前記シーンチェンジ検出手段での前記シーンジェンジの検出結果に基づき判別された前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が前記画像表示領域における前記表示画像の移動可能範囲内となるように表示位置を移動させる画像処理装置。 - 前記画像移動手段は、前記振れ幅と前記移動可能範囲に基づき、前記振れ幅の中央に対応する表示画像の表示位置が前記移動可能範囲の中央となるように、前記連続シーンの最初の表示画像の表示位置を設定する請求項1記載の画像処理装置。
- 前記画像移動手段は、前記振れ幅が前記移動可能範囲よりも大きいときには、前記動きベクトルの動き量を縮小させる補正処理を行い、該補正処理後の動き量を用いて前記表示画像の表示位置を移動させる請求項1記載の画像処理装置。
- 前記画像移動手段は、前記表示位置の移動方向が前記画像表示領域の外側方向であるときに前記補正処理を行う請求項3記載の画像処理装置。
- 前記画像移動手段は、前記補正処理において、前記表示位置が前記画像表示領域の中央から離れるに伴い前記動き量の縮小率を大きくする請求項1記載の画像処理装置。
- 前記画像移動手段は、基準表示位置を設定し、前記動き検出手段で検出された動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項1記載の画像処理装置。
- 前記動き検出手段で検出された動きベクトルに対してフィルタ処理を行う低域フィルタ手段を設け、前記画像移動手段は、前記低域フィルタ手段でフィルタ処理が行われた動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項6記載の画像処理装置。
- 前記画像移動手段は、前記連続シーン内の動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させたときに、前記表示画像が前記画像表示領域を超える場合、前記連続シーン内の動きベクトルの動き量を縮小させる補正処理を行う請求項6記載の画像処理装置。
- 入力画像信号に基づく表示画像の動きベクトルを検出し、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出し、
前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる画像処理方法。 - 前記振れ幅と前記移動可能範囲に基づき、前記振れ幅の中央に対応する表示画像の表示位置が前記移動可能範囲の中央となるように、前記連続シーンの最初の表示画像の表示位置を設定する請求項9記載の画像処理方法。
- 前記振れ幅が前記移動可能範囲よりも大きいときには、前記動きベクトルの動き量を縮小させる補正処理を行い、該補正処理後の動き量を用いて前記表示画像の表示位置を移動させる請求項9記載の画像処理方法。
- 前記表示位置の移動方向が前記画像表示領域の外側方向であるときに前記補正処理を行う請求項11記載の画像処理方法。
- 前記補正処理において、前記表示位置が前記画像表示領域の中央から離れるに伴い前記動き量の縮小率を大きくする請求項9記載の画像処理方法。
- 基準表示位置を設定し、前記検出された動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項9記載の画像処理方法。
- 前記検出された動きベクトルに対してフィルタ処理を行い、該フィルタ処理が行われた動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項14記載の画像処理方法。
- 前記連続シーン内の動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させたときに、前記表示画像が前記画像表示領域を超える場合、前記連続シーン内の動きベクトルの動き量を縮小させる補正処理を行う請求項14記載の画像処理方法。
- コンピュータに、
入力画像信号に基づく表示画像の動きベクトルを検出する手順と、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出する手順と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる手順とを実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058917A JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058917A JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003256846A JP2003256846A (ja) | 2003-09-12 |
JP4131113B2 true JP4131113B2 (ja) | 2008-08-13 |
Family
ID=28668758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002058917A Expired - Fee Related JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4131113B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7899208B2 (en) | 2004-01-06 | 2011-03-01 | Sony Corporation | Image processing device and method, recording medium, and program for tracking a desired point in a moving image |
JP4924131B2 (ja) * | 2007-03-20 | 2012-04-25 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
JP2010278997A (ja) * | 2009-06-01 | 2010-12-09 | Sharp Corp | 画像処理装置、画像処理方法及びプログラム |
CN102165516A (zh) * | 2009-08-31 | 2011-08-24 | 松下电器产业株式会社 | 图像显示控制装置、图像显示控制方法及集成电路 |
JP2013026943A (ja) * | 2011-07-25 | 2013-02-04 | Sharp Corp | 立体画像処理装置および立体画像処理方法 |
-
2002
- 2002-03-05 JP JP2002058917A patent/JP4131113B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003256846A (ja) | 2003-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20080094498A1 (en) | Imaging apparatus and imaging control method | |
US7916177B2 (en) | Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur | |
JP2951230B2 (ja) | 2次元映像から3次元映像を生成する方法 | |
JP5592006B2 (ja) | 三次元画像処理 | |
CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
US20120105657A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
JP4924228B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN109936697B (zh) | 一种视频拍摄目标跟踪方法和装置 | |
JP2007295559A (ja) | ビデオ処理および表示 | |
JP2013172446A (ja) | 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法 | |
JP2012119804A (ja) | 画像記録装置 | |
JP2006246307A (ja) | 画像データ処理装置 | |
JP4131113B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
WO2012097020A1 (en) | Determining a stereo image from video | |
JP3327520B2 (ja) | Ng警告機能付き撮影方法、ng警告機能付き撮影装置および撮影プログラムを記録した記録媒体 | |
JPH08336128A (ja) | 映像視聴装置 | |
JP3832362B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
JP3982316B2 (ja) | 画像処理装置と画像処理方法及び画像処理プログラム | |
JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
JP4924131B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム | |
JP3213105B2 (ja) | 映像の構図自動決定処理方法 | |
JP3128467B2 (ja) | 2次元映像を3次元映像に変換する方法 | |
JP6346529B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JP3209234B2 (ja) | 代表画面抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080513 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |