JP4131113B2 - 画像処理装置と画像処理方法および画像処理プログラム - Google Patents
画像処理装置と画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP4131113B2 JP4131113B2 JP2002058917A JP2002058917A JP4131113B2 JP 4131113 B2 JP4131113 B2 JP 4131113B2 JP 2002058917 A JP2002058917 A JP 2002058917A JP 2002058917 A JP2002058917 A JP 2002058917A JP 4131113 B2 JP4131113 B2 JP 4131113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display position
- motion
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法および画像処理プログラムに関する。詳しくは、入力画像信号に基づく表示画像の動きベクトルを検出すると共に表示画像のシーンチェンジを検出し、また表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、シーンチェンジの検出結果に基づき連続シーンを判別して、表示画像の表示位置を、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させることにより、臨場感の高い画像表示を可能とすると共に画像を途切れることなく正しく表示するものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００３】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
【発明が解決しようとする課題】
ところで、このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【０００５】
これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平１０−３０１５５６号公報で開示されている。
【０００６】
しかし、画像表示領域が限られているとき、被写体の動きに合わせて画像の表示位置を移動させると、画像が画像表示領域から外れてしまい、画像を正しく表示することができない。
【０００７】
そこで、この発明では、現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像を途切れることなく正しく表示できる画像処理装置と画像処理方法および画像処理プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出するシーンチェンジ検出手段と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を移動させる画像移動手段とを設け、前記画像移動手段は、前記シーンチェンジ検出手段での前記シーンジェンジの検出結果に基づき判別された前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が前記画像表示領域における前記表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【０００９】
また、画像処理方法は、入力画像信号に基づく表示画像の動きベクトルを検出し、前記表示画像の連続シーンを判別することによりシーンチェンジを検出し、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【００１０】
また、画像処理プログラムは、コンピュータに、入力画像信号に基づく表示画像の動きベクトルを検出する手順と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出する手順と、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる手順とを実行させるものである。
【００１１】
この発明においては、シーンチェンジの検出結果に基づき連続シーンが判別されると共に、この連続シーンの期間中に検出された動きベクトルを累積して動きベクトルの時間推移情報である動き累積値を生成して、この動き累積値に基づいて連続シーンにおける表示画像の振れ幅が判別される。表示画像の画像サイズよりも大きい画像表示領域における表示画像の移動可能範囲と振れ幅に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定される。また、振れ幅が移動可能範囲よりも大きいときには、表示位置の移動方向が画像表示領域の外側方向であるときに動きベクトルの動き量を縮小させる補正処理や、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率を大きくする補正処理が行われて、この動き量に基づき表示画像の表示位置が移動される。
【００１２】
さらに、基準表示位置が設定されると共に、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動される。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合には、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われる。
【００１３】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた表示システムの全体構成を示している。この表示システムは、例えば３つのスクリーンをユーザの前面と両側面側に配置している。また、各スクリーン１０L，１０C，１０Rに対応させてプロジェクタ１２L，１２C，１２Rを設けている。この各プロジェクタ１２L，１２C，１２Rを用いて画像を投影することにより、３スクリーン分の広範囲の画枠を用いて画像の表示が行われる。プロジェクタ１２L，１２C，１２Rは、画像処理装置２０と接続されている。
【００１４】
画像処理装置２０は、入力画像信号ＳＤinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給する。また、シーンチェンジを検出したとき、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示する。
【００１５】
例えば、画像処理装置２０に供給する入力画像信号ＳＤinは、図２Ａに示すように、静止している被写体ＯＢaをビデオカメラ１００で撮影し、その後図２Ｂに示すように、ビデオカメラ１００をパンニングさせて前進，後退，前進の順に移動する被写体ＯＢbを撮影し、さらに、図２Ｃに示すように、静止している被写体ＯＢcを撮影して得た画像信号であるものとする。
【００１６】
各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像信号ＳＤinに基づく画像は、アスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」の場合を図３に示す。
【００１７】
画像処理装置２０は、入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ａに示すように例えば動きのない被写体ＯＢaを撮影したシーンＡの画像を前方のスクリーン１０Cの中央に表示させる。その後、動きのある被写体ＯＢbを撮影したシーンＢの画像については、シーンＢの画像の動きベクトルに基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように、シーンＢの最初の画像の表示位置を決定する。この決定された表示位置に基づき入力画像信号ＳＤinから画像信号ＳＤL，ＳＤC，ＳＤRを生成して、例えば画像信号ＳＤC，ＳＤRによって図３Ｂに示すように前方のスクリーン１０Cと右側のスクリーン１０Rを用いて画像を表示させる。その後、図３Ｃ，図３Ｄに示すように被写体ＯＢbの動きに合わせて画像表示位置を右側から左側に移動させる。また、シーンチェンジが行われてシーンＢからシーンＣに切り替えられたとき、例えば動きのない被写体ＯＢcを撮影したシーンＣの画像を図３Ｅに示すようにスクリーン１０Cの中央に表示させる。このように、画像の動き量に基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように表示位置を設定する。また、移動範囲が画像表示領域よりも大きいときには、表示画像が欠けてしまうことがないように表示位置を調整する。このように、画像の動きベクトルに応じて表示位置を移動させる際に画像表示領域を有効に利用することで、臨場感の高い画像表示を行う。
【００１８】
図４は、画像処理装置２０の概略構成を示している。画像処理装置２０は、入力画像信号ＳＤinをシーンチェンジ検出部２１と動き検出部２２と画像位置移動部２３に供給する。
【００１９】
シーンチェンジ検出部２１は、入力画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部２１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００２０】
シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００２１】
【数１】
【００２２】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２３】
輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２４】
【数２】
【００２５】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２６】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図４の動き検出部２２と画像位置移動部２３に供給する。
【００２７】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２８】
図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２９】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００３０】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図８は、相関係数ｒを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００３１】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３２】
【数３】
【００３３】
この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３４】
動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００３５】
動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３６】
差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３７】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。
【００３８】
ところで、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路２２２は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号ＳＤbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく背景画像の動きベクトルを検出できる。
【００３９】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動き検出を行う際の動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、画像の動きベクトルの検出を効率よく速やかに行うことができる。
【００４０】
図４に示す画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定する。さらに、決定した表示位置に基づき画像表示領域に応じた画像信号を生成する。例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されており、この３つの領域を使用して画像表示を行う場合、決定した表示位置に基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給することで、スクリーン１０L，１０C，１０Rを使用して画像表示を行う。
【００４１】
図１１は、画像位置移動部２３の構成を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３７に供給する。
【００４２】
図１２は、画像位置決定回路２３１の構成を示している。動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して初期位置決定回路２３３と表示範囲判定回路２３４に供給する。
【００４３】
初期位置決定回路２３３では、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＷＴや中央値ＭＶＴctを求めて、この中央値ＭＶＴctが画像表示範囲の所定位置例えば中央となるように、連続シーンの最初の表示画像の表示位置を決定して初期位置ＰＳとして表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００４４】
表示範囲判定回路２３４は、初期位置ＰＳに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置ＰＳと動き累積値ＭＶＴに基づいて判別する。この表示範囲判定回路２３４での判別結果を示す判別結果信号ＣＨａは動き補正回路２３５に供給される。
【００４５】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。また、判別結果信号ＣＨaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報ＭＶＤの補正を行うことなく表示位置決定回路２３６に供給する。
【００４６】
表示位置決定回路２３６は、初期位置決定回路２３３から供給された初期位置ＰＳを連続シーンの最初の表示画像の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す位置情報ＰＤを順次出力して、図１１の書込読出制御回路２３７に供給する。
【００４７】
ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３８を設けるものとし、書込読出制御回路２３７は、画像メモリ２３８に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、表示領域に対応した画像メモリ２３８の記憶領域の画像信号を用いることで、画像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。
【００４８】
書込読出制御回路２３７は、画像メモリ２３８に画像信号を書き込むための書込制御信号ＷＣと、画像メモリ２３８に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３８に供給する。ここで、書込読出制御回路２３７は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３８の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。
【００４９】
画像メモリ２３８は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの入力画像信号ＳＤinを記憶する。なお、入力画像信号ＳＤinが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３８は、書込読出制御回路２３７からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３９に供給する。
【００５０】
画像分割回路２３９は、画像信号ＳＤeから例えばスクリーン１０Lに対応する記憶領域の信号を用いて画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに対応する記憶領域の信号を用いて画像信号ＳＤC，ＳＤRを生成する。このようにして生成した画像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。
【００５１】
なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３８に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。
【００５２】
次に、画像処理装置２０の動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。図１３Ａは、入力画像信号ＳＤinに基づく画像であり、フレームＦ（g-1）までがシーンＡの画像、フレームＦ(g)，Ｆ（g+1）〜フレームＦ(g+k)が連続フレームのシーンＢの画像、フレームＦ(g+k+1)からシーンＣの画像である場合を示している。
【００５３】
入力画像信号ＳＤinがフレームＦ(g-1)からフレームＦ(g)およびフレームＦ(g+ｋ)からフレームＦ(g+k+1)となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出すると共に、シーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。
【００５４】
画像位置決定回路２３１の動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間中における動きベクトルを累積して動き累積値ＭＶＴを生成する。例えばフレームＦ(g)からフレームＦ(g+k)までの連続シーンであるシーンＢの動きベクトルを累積して動き累積値ＭＶＴを生成する。
【００５５】
図１４はシーンＢの動き累積値ＭＶＴに基づく左右方向の動き量を示している。なお、図１４において、シーンＡ，シーンＣは動きがないため動き累積値ＭＶＴの左右方向の動き量は「０」である。ここで、図２Ｂに示すように、ビデオカメラ１００を左方向にパンニングさせて前進する被写体ＯＢbを撮影すると背景画像は右方向に移動する。このため動き累積値ＭＶＴの動き量は右方向に増加する。その後、ビデオカメラ１００のパンニングを停止したのち、右方向にパンニングさせて後退する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち左方向に増加する。再度、ビデオカメラ１００のパンニングを停止したのち左方向にパンニングさせて前進する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち右方向に増加する。
【００５６】
初期位置決定回路２３３は、動き累積値ＭＶＴの振れ幅ＷＴを求めることでシーンＢでの表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲ＬＷ（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、フレームＦ(ｇ)の画像の表示位置である初期位置ＰＳを決定する。例えば、動き累積値ＭＶＴの振れ幅ＷＴを求め、振れ幅ＷＴの１／２を中央値ＭＷctとする。さらに、右方向に動き量の最大値ＭＶＴ-1から中央値ＭＷctを減算すると、画像の移動範囲を画像表示領域の中央に設定した場合におけるフレームＦ(ｇ)の画像に対する動き量ＭＵ-sを求めることができる。このため、画像表示領域の中央から動き量ＭＵ-sだけ動きベクトル方向とは逆方向に移動した位置を初期位置ＰＳとする。このように初期位置ＰＳを決定することで、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたとき、画像の移動範囲が画像表示領域の中央となる。このようにして初期位置決定回路２３３は初期位置ＰＳを決定して表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００５７】
表示範囲判定回路２３４は、連続シーンの最初の表示画像を初期位置ＰＳに表示してから、動き検出情報ＭＶＤで示された動き量だけ表示位置を動きベクトル方向とは逆方向に移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。例えば、動き累積値ＭＶＴに基づき振れ幅ＷＴを算出して、この振れ幅ＷＴと画像表示領域内の移動可能範囲ＬＷを比較して、連続シーンの画像が図１４に示すように移動可能範囲からはみ出すことなく移動されるものであるか、あるいは図１５に示すように、シーンＧの振れ幅ＷＴが移動可能範囲ＬＷよりも大きくなって、表示画像が画像表示領域に入りきらなくなってしまうかを判別して、判別結果を示す判別結果信号ＣＨaを動き補正回路２３５に供給する。なお、振れ幅ＷＴは、初期位置決定回路２３３で算出した振れ幅ＷＴを用いるものとしても良い。
【００５８】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、動き検出情報ＭＶＤの動き量を少なくする補正を行い、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。例えば、動き累積値ＭＶＴの振れ幅ＷＴが大きくなって、図１５で示すように画像表示領域の移動可能範囲ＬＷを超えてしまう場合、シーンＧの動き量に補正係数ＣＲ（＜１）を乗算することで、動き量を少なくする補正を行い、振れ幅ＷＴを小さくする。なお、振れ幅を小さくしたときに、表示位置が移動可能範囲ＬＷを超えてしまうときには、動き検出情報ＭＶＥに係らず表示位置を移動可能範囲ＬＷ内に制限する。
【００５９】
また、動き累積値ＭＶＴの振れ幅ＷＴを動き補正回路２３５に供給すると共に、画像表示領域内の移動可能範囲ＬＷを動き補正回路２３５に予め記憶させておくものとし、振れ幅ＷＴと移動可能範囲ＬＷを用いて補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲ＬＷを超えて制限されてしまうことを防止できる。
【００６０】
ところで、動き量に固定の補正係数ＣＲを乗算すると、常に画像の動き量が小さくなってしまい、臨場感の少ない画像となってしまう。このため、補正係数ＣＲに重み付けを行うものとして、臨場感の高い画像表示を行うこともできる。
【００６１】
ここで、画像表示領域の中央から端部側方向に画像の表示位置を移動させるときには動き量に補正係数ＣＲを乗算して動き量を少なくする。また、端部側から画像表示領域の中央方向に表示位置を移動させる場合、補正係数ＣＲを「１」とする。この場合、画像表示領域の端部側方向に表示位置が移動される場合にのみ動き量が小さくされるので、画像が途切れてしまうことを防止できると共に、画像表示領域の中央方向への表示位置の移動は、画像の動きベクトルに応じて行われるので、臨場感を確保できる。
【００６２】
図１６は、動き量の補正を行った場合と行わなかった場合での画像表示位置の違いを例示的に示したものである。ここで、実線で示す動き量の補正を行った場合、破線で示す動き量の補正を行わなかった場合に比べて、画像の表示位置が中央部分に近くなり、画像が途切れてしまうことを防止できる。
【００６３】
また、動き量の補正では、画像表示領域の中央部分で表示位置の移動を行う場合に補正係数ＣＲを「１」あるいは「１」に近づけて動き量の縮小率を少なくする。また、表示位置が画像表示領域の中央から離れて端部側に移動するに伴い補正係数ＣＲを小さくして動き量の縮小率を大きくする。このように補正係数ＣＲを設定すると、視聴者が注目する画像表示領域の中央部で画像の動きベクトルに応じた表示位置の移動が行われて、視聴者の注目が少ない画像表示領域の端部で表示位置の移動が少なくなるので、動き量の補正による臨場感の減少を抑えることができる。
【００６４】
さらに、振れ幅ＷＴが大きい場合、補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定すると動き量が少なくなりすぎてしまう。このため、補正係数ＣＲに制限を設けるものとし、表示位置を移動したときに表示画像が画像表示領域に入り切らない場合は、動き量に係らず表示画像を画像表示領域の端部側位置として、画像が途切れてしまうことを防止することもできる。
【００６５】
このようにして、画像位置決定回路２３１で各フレームの画像の表示位置を決定して位置情報ＰＤを生成すると、書込読出制御回路２３７は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３８に供給し、図１３Ｂに示すように、画像メモリ２３８の記憶領域における画像表示位置と対応する記憶領域ＡＲ1にシーンＡのフレームＦ(g-1)の画像信号を記憶させる。また、シーンＢの最初のフレームＦ(g)の画像信号を、位置情報ＰＤに基づき初期位置ＰＳに対応した記憶領域ＡＲ2に記憶させる。その後、フレームＦ(g+1)〜フレームＦ(g+k)の画像信号を位置情報ＰＤに基づいて移動させながら画像メモリ２３８に記憶される。また、シーンＣのフレームＦ(g+k+1)の画像信号を記憶領域ＡＲ1に記憶させる。
【００６６】
書込読出制御回路２３７は、読出制御信号ＲＣを生成して画像メモリ２３８に供給すると共に、画像メモリ２３８は記憶して画像信号を読出制御信号ＲＣに基づいて読み出して画像分割回路２３９に供給する。画像分割回路２３９は、画像メモリ２３８の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Lと対応する記憶領域ＢＡLから読み出した信号に基づいて画像信号ＳＤLを生成する。またスクリーン１０Cと対応する記憶領域ＢＡCから読み出した信号に基づいて画像信号ＳＤCを生成すると共に、スクリーン１０Rと対応する記憶領域ＢＡRから読み出した信号に基づいて画像信号ＳＤRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。
【００６７】
このようにして、生成した画像信号ＳＤL，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに供給することで、被写体の動きに応じて表示位置を移動させることができる。このように、撮影時のカメラ動き、あるいはカメラの向きに忠実な表現が可能となり、実世界と同じ位置、同じ方向に映像が表示されるため、視聴者は現実と同じ空間、あるいは動きを視聴時に取得することができる。さらに、画面自体の動きによって、従来よりも大きな躍動感を映像から得ることが可能であり、また視聴者自らの顔向きの動きなどにより、完全受動的であった動き表現の視聴を、視線を動かすというアクティブな操作で感じることが可能である。また、画像表示領域に応じた移動が行われるので、画像の途切れを無くして正しく画像表示を行うことができる。また、振れ幅を用いることで、振れ幅と画像表示領域の移動可能範囲から表示位置をどの位補正しなければならないか簡単に判別できるので、画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００６８】
ところで、上述の画像位置決定回路２３１は、動き累積回路２３２で動き検出情報ＭＶＤの動きベクトルを累積して、この動き累積値ＭＶＴに基づいて表示画像の初期位置を決定すると共に、表示位置を動きベクトルに基づいて順次移動するものとしたが、基準表示位置を設定して動き検出情報ＭＶＤで示された動きベクトル分だけ表示位置を基準表示位置から移動させることもできる。
【００６９】
例えば右方向へのパンニングを行って撮影したときには、背景画像が左方向に移動することから、動き検出情報ＭＶＤに基づき、表示位置を基準表示位置から動きベクトル方向とは逆方向に動き量分だけ移動する。パンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、表示位置は基準表示位置とする。このように動きベクトルに応じて表示位置を決定した場合には、動きベクトルの変化が表示位置の移動として表現されることとなり、ダイナミックな画像表示を行うことができる。
【００７０】
図１７は、基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合の表示位置を例示的に示したものである。なお図において実線は基準表示位置から動きベクトル分だけ表示位置を移動させる場合を示しており、破線は動きベクトルに基づいて順次表示位置を移動させる場合を示している。図に示すように、例えば右方向へのパンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、基準表示位置から動きベクトル分だけ表示位置を移動させる場合の表示位置は、基準表示位置となる。また、動きベクトルに基づいて順次表示位置を移動させる場合には、表示位置が初期位置から最も右側に離れた位置となる。
【００７１】
また、基準表示位置から動きベクトル分だけ表示位置を移動させる場合、動きベクトルの検出精度が高くないと、動きベクトルの検出の誤差によって表示位置が振動してしまい、安定感のない品位が低下した表示画像となってしまう。このため、動きベクトルに対してフィルタ処理を行い、動きベクトルから高域成分を除くことで表示位置の振動を防止する。このフィルタ処理は、例えば±２０フレーム分の動きベクトルから平均を算出することで、高域成分を除くものとする。
【００７２】
図１８は、フィルタ処理を行った場合と行わない場合とでの表示位置の違いを例示的に示した図である。なお図において太線はフィルタ処理を行い動きベクトルから高域成分を除いた場合の表示位置を示しており、細線はフィルタ処理を行わない場合の表示位置を示している。この図１８に示すように、フィルタ処理を行うことにより動きベクトルが平均化されるので、表示位置が振動してしまうことを防止して良好な画像表示を行うことができる。
【００７３】
また、動き検出情報ＭＶＤに基づいて表示位置を決定する場合、動きベクトルに基づく表示位置の振れ幅が画像表示領域内の移動可能範囲ＬＷに収まるように設定する。例えば、動き量が「０」であるときの表示位置を画像表示範囲の中央に基準表示位置として設定し、動きベクトルの動き量が最大となったときに表示位置が画像表示範囲の端部側となるように設定する。ここで、動き検出情報ＭＶＤで示された動きベクトルの動き量を「Ｍd」、動き量の最大値を「Ｖmax」としたとき、表示位置Ｘは式（５）に基づいて算出することができ、この算出された表示位置Ｘに画像表示を行うものとすれば、画像表示領域を有効に活用して画像表示を行うことができる。
Ｘ ＝ （ＬＷ／Ｖmax）Ｍd ・・・（５）
【００７４】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１９に示す。コンピュータは、図１９に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【００７５】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００７６】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００７７】
図２０は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１では動き累積値ＭＶＴを初期化してステップＳＴ２に進み、ステップＳＴ２ではシーン判別を行う。図２１は、このシーン判別動作を示すフローチャートである。ステップＳＴ２１では、フレーム間の差分平均値Ｄavとフレーム内の輝度平均値Ｙavを算出してステップＳＴ２２に進む。
【００７８】
ステップＳＴ２２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
ステップＳＴ２３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ２４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ２５に進み、シーンチェンジであると判別してシーン判別を終了する。
【００７９】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ２１とステップＳＴ２２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ２４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ２５にシーンチェンジであると判別する。
【００８０】
図２０のステップＳＴ３は、ステップＳＴ２のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジでないすなわち連続シーンと判別されたときにはステップＳＴ４に進み、シーンチェンジであると判別されたときにはステップＳＴ６に進む。
【００８１】
ステップＳＴ４は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。ステップＳＴ５では動き累積値ＭＶＴにステップＳＴ４で検出された動きベクトルを加算して新たな動き累積値ＭＶＴとすると共に、新たな動き累積値ＭＶＴを順次記憶してステップＳＴ２に戻る。
【００８２】
ステップＳＴ３でシーンチェンジであると判別されてステップＳＴ６に進むと、ステップＳＴ６では、順次記憶した動き累積値ＭＶＴに基づき動き累積値ＭＶＴの振れ幅ＷＴを算出して、振れ幅ＷＴの中心が画像表示領域の中央となるように画像表示位置の初期位置ＰＳを決定する。
【００８３】
次に、ステップＳＴ７では、動き累積値ＭＶＴに応じて画像表示位置を移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。ここの、表示画像が画像表示領域に入りきらないときにはステップＳＴ８に進み、入りきる場合にはステップＳＴ９に進む。
ステップＳＴ８では、表示画像が画像表示領域に入りきるように動きベクトルを補正してステップＳＴ９に進む。
【００８４】
ステップＳＴ９では、ステップＳＴ６で決定された画像表示位置の初期位置ＰＳとステップＳＴ４で検出された動きベクトル、あるいは補正された動きベクトルに基づいて表示位置を決定してステップＳＴ１０に進む。
【００８５】
ステップＳＴ１０は、出力画像の分割処理を行う。ここで、図１に示すように３つのスクリーンを１つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを生成するものとしても、同様の効果を得ることができる。
【００８６】
なお、上述の画像処理装置２０は、連続シーンを判別してから、この連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるものであり、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤRをリアルタイムで生成することが困難である。このため、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録して、その後記録媒体に記録されている画像信号ＳＤL，ＳＤC，ＳＤRを同期して再生することにより、上述の図３に示す画像表示が行われる。また、入力画像信号ＳＤinと画像位置移動部２３で設定された表示位置を関係付けて記録媒体に記録させるものとして、画像表示を行う際に、入力画像信号ＳＤinとこの入力画像信号ＳＤinに関係付けて記憶されている表示位置を記録媒体から読み出して画像信号ＳＤL，ＳＤC，ＳＤRも生成するものとしても良い。この場合には、画像信号ＳＤL，ＳＤC，ＳＤRを記録しておく必要がないので、記録する信号量を少なくできる。また、連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるために記録媒体に蓄積されている入力画像信号ＳＤinを用いる場合には、画像表示領域を設定してから表示位置の決定や画像信号ＳＤL，ＳＤC，ＳＤRの生成を行うことができるので、スクリーンサイズやスクリーン数等が変更されても容易に対応することができる。
【００８７】
また、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【００８８】
さらに、新たに映像ソースや別のフォーマットを作らなくても、従来のテレビ用やビデオ映像などのコンテンツの画像信号を用いて本発明の処理を施すことで、従来の映像鑑賞以上の臨場感を得ることができる。
【００８９】
【発明の効果】
この発明によれば、表示画像の画像サイズよりも大きい画像表示領域が設定されると共に、シーンチェンジの検出結果に基づき連続シーンが判別されて、表示画像の表示位置が、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させる。このため、連続シーンの画像が画像の動きに応じて移動されて現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像の途切れを防止して正しく表示できる。
【００９０】
また、連続シーンの期間中に検出された動きベクトルから動きベクトルの時間推移情報を生成して、この時間推移情報に基づき連続シーンにおける表示画像の振れ幅が判別される。この判別された振れ幅に基づき表示画像の表示位置が画像表示領域おける表示画像の移動可能範囲内となるように表示位置が移動されるので、画像の途切れを生ずることなく画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００９１】
また、振れ幅と移動可能範囲に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定されるので、画像表示領域を有効に活用して画像表示を行うことができる。
【００９２】
また、振れ幅が前記移動可能範囲よりも大きいときには、動きベクトルの動き量を縮小させる補正処理が行われて、補正処理後の動き量を用いて表示画像の表示位置が移動されるので、画像表示領域から表示画像が外れてしまうことを防止できる。また表示位置の移動方向が画像表示領域の外側方向であるときに補正処理が行われるので、補正処理を行っても臨場感を確保できる。また、補正処理では、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率が大きくされるので、臨場感の低下を少なくできる。
【００９３】
さらに、基準表示位置を設定して、検出された動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、ダイナミックな画像表示を行うことができる。また、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、表示画像が振動して品位が低下してしまうことを防止できる。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われるので、画像表示領域から表示画像が外れてしまうことを防止できる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】入力画像信号の生成動作を示す図である。
【図３】画像表示状態を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】フレーム位置と正規化値の関係を示す図である。
【図７】画素の間引きを示す図である。
【図８】シーンチェンジ検出部の他の構成を示す図である。
【図９】フレーム位置と相関係数の関係を示す図である。
【図１０】動き検出部の構成を示す図である。
【図１１】画像位置移動部の構成を示す図である。
【図１２】画像位置決定回路の構成を示す図である。
【図１３】画像処理装置の動作を説明するための図である。
【図１４】画像位置決定回路の動作を説明するための図である。
【図１５】画像位置決定回路の他の動作を説明するための図である。
【図１６】動き量の補正を行った場合の表示位置と動き量の補正を行わなかった場合の表示位置を示す図である。
【図１７】基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合での表示位置を示す図である。
【図１８】フィルタ処理を行った場合の表示位置とフィルタ処理を行わなかった場合の表示位置を示す図である。
【図１９】コンピュータを用いたときの構成を示す図である。
【図２０】画像処理プログラムの全体構成を示すフローチャートである。
【図２１】シーン判別の動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・動き累積回路、２３３・・・初期位置決定回路、２３４・・・表示範囲判定回路、２３５・・・動き補正回路、２３６・・・表示位置決定回路、２３７・・・書込読出制御回路、２３８・・・画像メモリ、２３９・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法および画像処理プログラムに関する。詳しくは、入力画像信号に基づく表示画像の動きベクトルを検出すると共に表示画像のシーンチェンジを検出し、また表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、シーンチェンジの検出結果に基づき連続シーンを判別して、表示画像の表示位置を、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させることにより、臨場感の高い画像表示を可能とすると共に画像を途切れることなく正しく表示するものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００３】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
【発明が解決しようとする課題】
ところで、このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【０００５】
これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平１０−３０１５５６号公報で開示されている。
【０００６】
しかし、画像表示領域が限られているとき、被写体の動きに合わせて画像の表示位置を移動させると、画像が画像表示領域から外れてしまい、画像を正しく表示することができない。
【０００７】
そこで、この発明では、現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像を途切れることなく正しく表示できる画像処理装置と画像処理方法および画像処理プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出するシーンチェンジ検出手段と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を移動させる画像移動手段とを設け、前記画像移動手段は、前記シーンチェンジ検出手段での前記シーンジェンジの検出結果に基づき判別された前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が前記画像表示領域における前記表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【０００９】
また、画像処理方法は、入力画像信号に基づく表示画像の動きベクトルを検出し、前記表示画像の連続シーンを判別することによりシーンチェンジを検出し、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させるものである。
【００１０】
また、画像処理プログラムは、コンピュータに、入力画像信号に基づく表示画像の動きベクトルを検出する手順と、前記表示画像の連続シーンを判別することによりシーンチェンジを検出する手順と、前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる手順とを実行させるものである。
【００１１】
この発明においては、シーンチェンジの検出結果に基づき連続シーンが判別されると共に、この連続シーンの期間中に検出された動きベクトルを累積して動きベクトルの時間推移情報である動き累積値を生成して、この動き累積値に基づいて連続シーンにおける表示画像の振れ幅が判別される。表示画像の画像サイズよりも大きい画像表示領域における表示画像の移動可能範囲と振れ幅に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定される。また、振れ幅が移動可能範囲よりも大きいときには、表示位置の移動方向が画像表示領域の外側方向であるときに動きベクトルの動き量を縮小させる補正処理や、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率を大きくする補正処理が行われて、この動き量に基づき表示画像の表示位置が移動される。
【００１２】
さらに、基準表示位置が設定されると共に、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動される。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合には、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われる。
【００１３】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた表示システムの全体構成を示している。この表示システムは、例えば３つのスクリーンをユーザの前面と両側面側に配置している。また、各スクリーン１０L，１０C，１０Rに対応させてプロジェクタ１２L，１２C，１２Rを設けている。この各プロジェクタ１２L，１２C，１２Rを用いて画像を投影することにより、３スクリーン分の広範囲の画枠を用いて画像の表示が行われる。プロジェクタ１２L，１２C，１２Rは、画像処理装置２０と接続されている。
【００１４】
画像処理装置２０は、入力画像信号ＳＤinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給する。また、シーンチェンジを検出したとき、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示する。
【００１５】
例えば、画像処理装置２０に供給する入力画像信号ＳＤinは、図２Ａに示すように、静止している被写体ＯＢaをビデオカメラ１００で撮影し、その後図２Ｂに示すように、ビデオカメラ１００をパンニングさせて前進，後退，前進の順に移動する被写体ＯＢbを撮影し、さらに、図２Ｃに示すように、静止している被写体ＯＢcを撮影して得た画像信号であるものとする。
【００１６】
各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像信号ＳＤinに基づく画像は、アスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」の場合を図３に示す。
【００１７】
画像処理装置２０は、入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ａに示すように例えば動きのない被写体ＯＢaを撮影したシーンＡの画像を前方のスクリーン１０Cの中央に表示させる。その後、動きのある被写体ＯＢbを撮影したシーンＢの画像については、シーンＢの画像の動きベクトルに基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように、シーンＢの最初の画像の表示位置を決定する。この決定された表示位置に基づき入力画像信号ＳＤinから画像信号ＳＤL，ＳＤC，ＳＤRを生成して、例えば画像信号ＳＤC，ＳＤRによって図３Ｂに示すように前方のスクリーン１０Cと右側のスクリーン１０Rを用いて画像を表示させる。その後、図３Ｃ，図３Ｄに示すように被写体ＯＢbの動きに合わせて画像表示位置を右側から左側に移動させる。また、シーンチェンジが行われてシーンＢからシーンＣに切り替えられたとき、例えば動きのない被写体ＯＢcを撮影したシーンＣの画像を図３Ｅに示すようにスクリーン１０Cの中央に表示させる。このように、画像の動き量に基づいて表示位置の移動範囲を決定して、この移動範囲が画像表示領域の中央となるように表示位置を設定する。また、移動範囲が画像表示領域よりも大きいときには、表示画像が欠けてしまうことがないように表示位置を調整する。このように、画像の動きベクトルに応じて表示位置を移動させる際に画像表示領域を有効に利用することで、臨場感の高い画像表示を行う。
【００１８】
図４は、画像処理装置２０の概略構成を示している。画像処理装置２０は、入力画像信号ＳＤinをシーンチェンジ検出部２１と動き検出部２２と画像位置移動部２３に供給する。
【００１９】
シーンチェンジ検出部２１は、入力画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部２１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００２０】
シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００２１】
【数１】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２３】
輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２４】
【数２】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２６】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図４の動き検出部２２と画像位置移動部２３に供給する。
【００２７】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２８】
図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２９】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００３０】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図８は、相関係数ｒを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００３１】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３２】
【数３】
この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３４】
動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００３５】
動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３６】
差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３７】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。
【００３８】
ところで、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路２２２は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号ＳＤbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく背景画像の動きベクトルを検出できる。
【００３９】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動き検出を行う際の動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、画像の動きベクトルの検出を効率よく速やかに行うことができる。
【００４０】
図４に示す画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定する。さらに、決定した表示位置に基づき画像表示領域に応じた画像信号を生成する。例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されており、この３つの領域を使用して画像表示を行う場合、決定した表示位置に基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給することで、スクリーン１０L，１０C，１０Rを使用して画像表示を行う。
【００４１】
図１１は、画像位置移動部２３の構成を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３７に供給する。
【００４２】
図１２は、画像位置決定回路２３１の構成を示している。動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して初期位置決定回路２３３と表示範囲判定回路２３４に供給する。
【００４３】
初期位置決定回路２３３では、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＷＴや中央値ＭＶＴctを求めて、この中央値ＭＶＴctが画像表示範囲の所定位置例えば中央となるように、連続シーンの最初の表示画像の表示位置を決定して初期位置ＰＳとして表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００４４】
表示範囲判定回路２３４は、初期位置ＰＳに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置ＰＳと動き累積値ＭＶＴに基づいて判別する。この表示範囲判定回路２３４での判別結果を示す判別結果信号ＣＨａは動き補正回路２３５に供給される。
【００４５】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。また、判別結果信号ＣＨaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報ＭＶＤの補正を行うことなく表示位置決定回路２３６に供給する。
【００４６】
表示位置決定回路２３６は、初期位置決定回路２３３から供給された初期位置ＰＳを連続シーンの最初の表示画像の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す位置情報ＰＤを順次出力して、図１１の書込読出制御回路２３７に供給する。
【００４７】
ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３８を設けるものとし、書込読出制御回路２３７は、画像メモリ２３８に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、表示領域に対応した画像メモリ２３８の記憶領域の画像信号を用いることで、画像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。
【００４８】
書込読出制御回路２３７は、画像メモリ２３８に画像信号を書き込むための書込制御信号ＷＣと、画像メモリ２３８に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３８に供給する。ここで、書込読出制御回路２３７は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３８の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。
【００４９】
画像メモリ２３８は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの入力画像信号ＳＤinを記憶する。なお、入力画像信号ＳＤinが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３８は、書込読出制御回路２３７からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３９に供給する。
【００５０】
画像分割回路２３９は、画像信号ＳＤeから例えばスクリーン１０Lに対応する記憶領域の信号を用いて画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに対応する記憶領域の信号を用いて画像信号ＳＤC，ＳＤRを生成する。このようにして生成した画像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。
【００５１】
なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３８に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。
【００５２】
次に、画像処理装置２０の動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。図１３Ａは、入力画像信号ＳＤinに基づく画像であり、フレームＦ（g-1）までがシーンＡの画像、フレームＦ(g)，Ｆ（g+1）〜フレームＦ(g+k)が連続フレームのシーンＢの画像、フレームＦ(g+k+1)からシーンＣの画像である場合を示している。
【００５３】
入力画像信号ＳＤinがフレームＦ(g-1)からフレームＦ(g)およびフレームＦ(g+ｋ)からフレームＦ(g+k+1)となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出すると共に、シーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。
【００５４】
画像位置決定回路２３１の動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間中における動きベクトルを累積して動き累積値ＭＶＴを生成する。例えばフレームＦ(g)からフレームＦ(g+k)までの連続シーンであるシーンＢの動きベクトルを累積して動き累積値ＭＶＴを生成する。
【００５５】
図１４はシーンＢの動き累積値ＭＶＴに基づく左右方向の動き量を示している。なお、図１４において、シーンＡ，シーンＣは動きがないため動き累積値ＭＶＴの左右方向の動き量は「０」である。ここで、図２Ｂに示すように、ビデオカメラ１００を左方向にパンニングさせて前進する被写体ＯＢbを撮影すると背景画像は右方向に移動する。このため動き累積値ＭＶＴの動き量は右方向に増加する。その後、ビデオカメラ１００のパンニングを停止したのち、右方向にパンニングさせて後退する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち左方向に増加する。再度、ビデオカメラ１００のパンニングを停止したのち左方向にパンニングさせて前進する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち右方向に増加する。
【００５６】
初期位置決定回路２３３は、動き累積値ＭＶＴの振れ幅ＷＴを求めることでシーンＢでの表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲ＬＷ（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、フレームＦ(ｇ)の画像の表示位置である初期位置ＰＳを決定する。例えば、動き累積値ＭＶＴの振れ幅ＷＴを求め、振れ幅ＷＴの１／２を中央値ＭＷctとする。さらに、右方向に動き量の最大値ＭＶＴ-1から中央値ＭＷctを減算すると、画像の移動範囲を画像表示領域の中央に設定した場合におけるフレームＦ(ｇ)の画像に対する動き量ＭＵ-sを求めることができる。このため、画像表示領域の中央から動き量ＭＵ-sだけ動きベクトル方向とは逆方向に移動した位置を初期位置ＰＳとする。このように初期位置ＰＳを決定することで、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたとき、画像の移動範囲が画像表示領域の中央となる。このようにして初期位置決定回路２３３は初期位置ＰＳを決定して表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００５７】
表示範囲判定回路２３４は、連続シーンの最初の表示画像を初期位置ＰＳに表示してから、動き検出情報ＭＶＤで示された動き量だけ表示位置を動きベクトル方向とは逆方向に移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。例えば、動き累積値ＭＶＴに基づき振れ幅ＷＴを算出して、この振れ幅ＷＴと画像表示領域内の移動可能範囲ＬＷを比較して、連続シーンの画像が図１４に示すように移動可能範囲からはみ出すことなく移動されるものであるか、あるいは図１５に示すように、シーンＧの振れ幅ＷＴが移動可能範囲ＬＷよりも大きくなって、表示画像が画像表示領域に入りきらなくなってしまうかを判別して、判別結果を示す判別結果信号ＣＨaを動き補正回路２３５に供給する。なお、振れ幅ＷＴは、初期位置決定回路２３３で算出した振れ幅ＷＴを用いるものとしても良い。
【００５８】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、動き検出情報ＭＶＤの動き量を少なくする補正を行い、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。例えば、動き累積値ＭＶＴの振れ幅ＷＴが大きくなって、図１５で示すように画像表示領域の移動可能範囲ＬＷを超えてしまう場合、シーンＧの動き量に補正係数ＣＲ（＜１）を乗算することで、動き量を少なくする補正を行い、振れ幅ＷＴを小さくする。なお、振れ幅を小さくしたときに、表示位置が移動可能範囲ＬＷを超えてしまうときには、動き検出情報ＭＶＥに係らず表示位置を移動可能範囲ＬＷ内に制限する。
【００５９】
また、動き累積値ＭＶＴの振れ幅ＷＴを動き補正回路２３５に供給すると共に、画像表示領域内の移動可能範囲ＬＷを動き補正回路２３５に予め記憶させておくものとし、振れ幅ＷＴと移動可能範囲ＬＷを用いて補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲ＬＷを超えて制限されてしまうことを防止できる。
【００６０】
ところで、動き量に固定の補正係数ＣＲを乗算すると、常に画像の動き量が小さくなってしまい、臨場感の少ない画像となってしまう。このため、補正係数ＣＲに重み付けを行うものとして、臨場感の高い画像表示を行うこともできる。
【００６１】
ここで、画像表示領域の中央から端部側方向に画像の表示位置を移動させるときには動き量に補正係数ＣＲを乗算して動き量を少なくする。また、端部側から画像表示領域の中央方向に表示位置を移動させる場合、補正係数ＣＲを「１」とする。この場合、画像表示領域の端部側方向に表示位置が移動される場合にのみ動き量が小さくされるので、画像が途切れてしまうことを防止できると共に、画像表示領域の中央方向への表示位置の移動は、画像の動きベクトルに応じて行われるので、臨場感を確保できる。
【００６２】
図１６は、動き量の補正を行った場合と行わなかった場合での画像表示位置の違いを例示的に示したものである。ここで、実線で示す動き量の補正を行った場合、破線で示す動き量の補正を行わなかった場合に比べて、画像の表示位置が中央部分に近くなり、画像が途切れてしまうことを防止できる。
【００６３】
また、動き量の補正では、画像表示領域の中央部分で表示位置の移動を行う場合に補正係数ＣＲを「１」あるいは「１」に近づけて動き量の縮小率を少なくする。また、表示位置が画像表示領域の中央から離れて端部側に移動するに伴い補正係数ＣＲを小さくして動き量の縮小率を大きくする。このように補正係数ＣＲを設定すると、視聴者が注目する画像表示領域の中央部で画像の動きベクトルに応じた表示位置の移動が行われて、視聴者の注目が少ない画像表示領域の端部で表示位置の移動が少なくなるので、動き量の補正による臨場感の減少を抑えることができる。
【００６４】
さらに、振れ幅ＷＴが大きい場合、補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定すると動き量が少なくなりすぎてしまう。このため、補正係数ＣＲに制限を設けるものとし、表示位置を移動したときに表示画像が画像表示領域に入り切らない場合は、動き量に係らず表示画像を画像表示領域の端部側位置として、画像が途切れてしまうことを防止することもできる。
【００６５】
このようにして、画像位置決定回路２３１で各フレームの画像の表示位置を決定して位置情報ＰＤを生成すると、書込読出制御回路２３７は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３８に供給し、図１３Ｂに示すように、画像メモリ２３８の記憶領域における画像表示位置と対応する記憶領域ＡＲ1にシーンＡのフレームＦ(g-1)の画像信号を記憶させる。また、シーンＢの最初のフレームＦ(g)の画像信号を、位置情報ＰＤに基づき初期位置ＰＳに対応した記憶領域ＡＲ2に記憶させる。その後、フレームＦ(g+1)〜フレームＦ(g+k)の画像信号を位置情報ＰＤに基づいて移動させながら画像メモリ２３８に記憶される。また、シーンＣのフレームＦ(g+k+1)の画像信号を記憶領域ＡＲ1に記憶させる。
【００６６】
書込読出制御回路２３７は、読出制御信号ＲＣを生成して画像メモリ２３８に供給すると共に、画像メモリ２３８は記憶して画像信号を読出制御信号ＲＣに基づいて読み出して画像分割回路２３９に供給する。画像分割回路２３９は、画像メモリ２３８の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Lと対応する記憶領域ＢＡLから読み出した信号に基づいて画像信号ＳＤLを生成する。またスクリーン１０Cと対応する記憶領域ＢＡCから読み出した信号に基づいて画像信号ＳＤCを生成すると共に、スクリーン１０Rと対応する記憶領域ＢＡRから読み出した信号に基づいて画像信号ＳＤRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。
【００６７】
このようにして、生成した画像信号ＳＤL，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに供給することで、被写体の動きに応じて表示位置を移動させることができる。このように、撮影時のカメラ動き、あるいはカメラの向きに忠実な表現が可能となり、実世界と同じ位置、同じ方向に映像が表示されるため、視聴者は現実と同じ空間、あるいは動きを視聴時に取得することができる。さらに、画面自体の動きによって、従来よりも大きな躍動感を映像から得ることが可能であり、また視聴者自らの顔向きの動きなどにより、完全受動的であった動き表現の視聴を、視線を動かすというアクティブな操作で感じることが可能である。また、画像表示領域に応じた移動が行われるので、画像の途切れを無くして正しく画像表示を行うことができる。また、振れ幅を用いることで、振れ幅と画像表示領域の移動可能範囲から表示位置をどの位補正しなければならないか簡単に判別できるので、画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００６８】
ところで、上述の画像位置決定回路２３１は、動き累積回路２３２で動き検出情報ＭＶＤの動きベクトルを累積して、この動き累積値ＭＶＴに基づいて表示画像の初期位置を決定すると共に、表示位置を動きベクトルに基づいて順次移動するものとしたが、基準表示位置を設定して動き検出情報ＭＶＤで示された動きベクトル分だけ表示位置を基準表示位置から移動させることもできる。
【００６９】
例えば右方向へのパンニングを行って撮影したときには、背景画像が左方向に移動することから、動き検出情報ＭＶＤに基づき、表示位置を基準表示位置から動きベクトル方向とは逆方向に動き量分だけ移動する。パンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、表示位置は基準表示位置とする。このように動きベクトルに応じて表示位置を決定した場合には、動きベクトルの変化が表示位置の移動として表現されることとなり、ダイナミックな画像表示を行うことができる。
【００７０】
図１７は、基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合の表示位置を例示的に示したものである。なお図において実線は基準表示位置から動きベクトル分だけ表示位置を移動させる場合を示しており、破線は動きベクトルに基づいて順次表示位置を移動させる場合を示している。図に示すように、例えば右方向へのパンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、基準表示位置から動きベクトル分だけ表示位置を移動させる場合の表示位置は、基準表示位置となる。また、動きベクトルに基づいて順次表示位置を移動させる場合には、表示位置が初期位置から最も右側に離れた位置となる。
【００７１】
また、基準表示位置から動きベクトル分だけ表示位置を移動させる場合、動きベクトルの検出精度が高くないと、動きベクトルの検出の誤差によって表示位置が振動してしまい、安定感のない品位が低下した表示画像となってしまう。このため、動きベクトルに対してフィルタ処理を行い、動きベクトルから高域成分を除くことで表示位置の振動を防止する。このフィルタ処理は、例えば±２０フレーム分の動きベクトルから平均を算出することで、高域成分を除くものとする。
【００７２】
図１８は、フィルタ処理を行った場合と行わない場合とでの表示位置の違いを例示的に示した図である。なお図において太線はフィルタ処理を行い動きベクトルから高域成分を除いた場合の表示位置を示しており、細線はフィルタ処理を行わない場合の表示位置を示している。この図１８に示すように、フィルタ処理を行うことにより動きベクトルが平均化されるので、表示位置が振動してしまうことを防止して良好な画像表示を行うことができる。
【００７３】
また、動き検出情報ＭＶＤに基づいて表示位置を決定する場合、動きベクトルに基づく表示位置の振れ幅が画像表示領域内の移動可能範囲ＬＷに収まるように設定する。例えば、動き量が「０」であるときの表示位置を画像表示範囲の中央に基準表示位置として設定し、動きベクトルの動き量が最大となったときに表示位置が画像表示範囲の端部側となるように設定する。ここで、動き検出情報ＭＶＤで示された動きベクトルの動き量を「Ｍd」、動き量の最大値を「Ｖmax」としたとき、表示位置Ｘは式（５）に基づいて算出することができ、この算出された表示位置Ｘに画像表示を行うものとすれば、画像表示領域を有効に活用して画像表示を行うことができる。
Ｘ ＝ （ＬＷ／Ｖmax）Ｍd ・・・（５）
【００７４】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１９に示す。コンピュータは、図１９に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【００７５】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００７６】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００７７】
図２０は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１では動き累積値ＭＶＴを初期化してステップＳＴ２に進み、ステップＳＴ２ではシーン判別を行う。図２１は、このシーン判別動作を示すフローチャートである。ステップＳＴ２１では、フレーム間の差分平均値Ｄavとフレーム内の輝度平均値Ｙavを算出してステップＳＴ２２に進む。
【００７８】
ステップＳＴ２２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
ステップＳＴ２３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ２４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ２５に進み、シーンチェンジであると判別してシーン判別を終了する。
【００７９】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ２１とステップＳＴ２２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ２４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ２５にシーンチェンジであると判別する。
【００８０】
図２０のステップＳＴ３は、ステップＳＴ２のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジでないすなわち連続シーンと判別されたときにはステップＳＴ４に進み、シーンチェンジであると判別されたときにはステップＳＴ６に進む。
【００８１】
ステップＳＴ４は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。ステップＳＴ５では動き累積値ＭＶＴにステップＳＴ４で検出された動きベクトルを加算して新たな動き累積値ＭＶＴとすると共に、新たな動き累積値ＭＶＴを順次記憶してステップＳＴ２に戻る。
【００８２】
ステップＳＴ３でシーンチェンジであると判別されてステップＳＴ６に進むと、ステップＳＴ６では、順次記憶した動き累積値ＭＶＴに基づき動き累積値ＭＶＴの振れ幅ＷＴを算出して、振れ幅ＷＴの中心が画像表示領域の中央となるように画像表示位置の初期位置ＰＳを決定する。
【００８３】
次に、ステップＳＴ７では、動き累積値ＭＶＴに応じて画像表示位置を移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。ここの、表示画像が画像表示領域に入りきらないときにはステップＳＴ８に進み、入りきる場合にはステップＳＴ９に進む。
ステップＳＴ８では、表示画像が画像表示領域に入りきるように動きベクトルを補正してステップＳＴ９に進む。
【００８４】
ステップＳＴ９では、ステップＳＴ６で決定された画像表示位置の初期位置ＰＳとステップＳＴ４で検出された動きベクトル、あるいは補正された動きベクトルに基づいて表示位置を決定してステップＳＴ１０に進む。
【００８５】
ステップＳＴ１０は、出力画像の分割処理を行う。ここで、図１に示すように３つのスクリーンを１つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを生成するものとしても、同様の効果を得ることができる。
【００８６】
なお、上述の画像処理装置２０は、連続シーンを判別してから、この連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるものであり、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤRをリアルタイムで生成することが困難である。このため、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録して、その後記録媒体に記録されている画像信号ＳＤL，ＳＤC，ＳＤRを同期して再生することにより、上述の図３に示す画像表示が行われる。また、入力画像信号ＳＤinと画像位置移動部２３で設定された表示位置を関係付けて記録媒体に記録させるものとして、画像表示を行う際に、入力画像信号ＳＤinとこの入力画像信号ＳＤinに関係付けて記憶されている表示位置を記録媒体から読み出して画像信号ＳＤL，ＳＤC，ＳＤRも生成するものとしても良い。この場合には、画像信号ＳＤL，ＳＤC，ＳＤRを記録しておく必要がないので、記録する信号量を少なくできる。また、連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるために記録媒体に蓄積されている入力画像信号ＳＤinを用いる場合には、画像表示領域を設定してから表示位置の決定や画像信号ＳＤL，ＳＤC，ＳＤRの生成を行うことができるので、スクリーンサイズやスクリーン数等が変更されても容易に対応することができる。
【００８７】
また、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【００８８】
さらに、新たに映像ソースや別のフォーマットを作らなくても、従来のテレビ用やビデオ映像などのコンテンツの画像信号を用いて本発明の処理を施すことで、従来の映像鑑賞以上の臨場感を得ることができる。
【００８９】
【発明の効果】
この発明によれば、表示画像の画像サイズよりも大きい画像表示領域が設定されると共に、シーンチェンジの検出結果に基づき連続シーンが判別されて、表示画像の表示位置が、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させる。このため、連続シーンの画像が画像の動きに応じて移動されて現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像の途切れを防止して正しく表示できる。
【００９０】
また、連続シーンの期間中に検出された動きベクトルから動きベクトルの時間推移情報を生成して、この時間推移情報に基づき連続シーンにおける表示画像の振れ幅が判別される。この判別された振れ幅に基づき表示画像の表示位置が画像表示領域おける表示画像の移動可能範囲内となるように表示位置が移動されるので、画像の途切れを生ずることなく画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００９１】
また、振れ幅と移動可能範囲に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定されるので、画像表示領域を有効に活用して画像表示を行うことができる。
【００９２】
また、振れ幅が前記移動可能範囲よりも大きいときには、動きベクトルの動き量を縮小させる補正処理が行われて、補正処理後の動き量を用いて表示画像の表示位置が移動されるので、画像表示領域から表示画像が外れてしまうことを防止できる。また表示位置の移動方向が画像表示領域の外側方向であるときに補正処理が行われるので、補正処理を行っても臨場感を確保できる。また、補正処理では、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率が大きくされるので、臨場感の低下を少なくできる。
【００９３】
さらに、基準表示位置を設定して、検出された動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、ダイナミックな画像表示を行うことができる。また、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、表示画像が振動して品位が低下してしまうことを防止できる。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われるので、画像表示領域から表示画像が外れてしまうことを防止できる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】入力画像信号の生成動作を示す図である。
【図３】画像表示状態を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】フレーム位置と正規化値の関係を示す図である。
【図７】画素の間引きを示す図である。
【図８】シーンチェンジ検出部の他の構成を示す図である。
【図９】フレーム位置と相関係数の関係を示す図である。
【図１０】動き検出部の構成を示す図である。
【図１１】画像位置移動部の構成を示す図である。
【図１２】画像位置決定回路の構成を示す図である。
【図１３】画像処理装置の動作を説明するための図である。
【図１４】画像位置決定回路の動作を説明するための図である。
【図１５】画像位置決定回路の他の動作を説明するための図である。
【図１６】動き量の補正を行った場合の表示位置と動き量の補正を行わなかった場合の表示位置を示す図である。
【図１７】基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合での表示位置を示す図である。
【図１８】フィルタ処理を行った場合の表示位置とフィルタ処理を行わなかった場合の表示位置を示す図である。
【図１９】コンピュータを用いたときの構成を示す図である。
【図２０】画像処理プログラムの全体構成を示すフローチャートである。
【図２１】シーン判別の動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・動き累積回路、２３３・・・初期位置決定回路、２３４・・・表示範囲判定回路、２３５・・・動き補正回路、２３６・・・表示位置決定回路、２３７・・・書込読出制御回路、２３８・・・画像メモリ、２３９・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部
Claims (17)
- 入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出するシーンチェンジ検出手段と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に
対する前記表示画像の表示位置を移動させる画像移動手段とを設け、
前記画像移動手段は、前記シーンチェンジ検出手段での前記シーンジェンジの検出結果に基づき判別された前記連続シーンの期間中に前記動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が前記画像表示領域における前記表示画像の移動可能範囲内となるように表示位置を移動させる画像処理装置。 - 前記画像移動手段は、前記振れ幅と前記移動可能範囲に基づき、前記振れ幅の中央に対応する表示画像の表示位置が前記移動可能範囲の中央となるように、前記連続シーンの最初の表示画像の表示位置を設定する請求項１記載の画像処理装置。
- 前記画像移動手段は、前記振れ幅が前記移動可能範囲よりも大きいときには、前記動きベクトルの動き量を縮小させる補正処理を行い、該補正処理後の動き量を用いて前記表示画像の表示位置を移動させる請求項１記載の画像処理装置。
- 前記画像移動手段は、前記表示位置の移動方向が前記画像表示領域の外側方向であるときに前記補正処理を行う請求項３記載の画像処理装置。
- 前記画像移動手段は、前記補正処理において、前記表示位置が前記画像表示領域の中央から離れるに伴い前記動き量の縮小率を大きくする請求項１記載の画像処理装置。
- 前記画像移動手段は、基準表示位置を設定し、前記動き検出手段で検出された動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項１記載の画像処理装置。
- 前記動き検出手段で検出された動きベクトルに対してフィルタ処理を行う低域フィルタ手段を設け、前記画像移動手段は、前記低域フィルタ手段でフィルタ処理が行われた動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項６記載の画像処理装置。
- 前記画像移動手段は、前記連続シーン内の動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させたときに、前記表示画像が前記画像表示領域を超える場合、前記連続シーン内の動きベクトルの動き量を縮小させる補正処理を行う請求項６記載の画像処理装置。
- 入力画像信号に基づく表示画像の動きベクトルを検出し、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出し、
前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる画像処理方法。 - 前記振れ幅と前記移動可能範囲に基づき、前記振れ幅の中央に対応する表示画像の表示位置が前記移動可能範囲の中央となるように、前記連続シーンの最初の表示画像の表示位置を設定する請求項９記載の画像処理方法。
- 前記振れ幅が前記移動可能範囲よりも大きいときには、前記動きベクトルの動き量を縮小させる補正処理を行い、該補正処理後の動き量を用いて前記表示画像の表示位置を移動させる請求項９記載の画像処理方法。
- 前記表示位置の移動方向が前記画像表示領域の外側方向であるときに前記補正処理を行う請求項１１記載の画像処理方法。
- 前記補正処理において、前記表示位置が前記画像表示領域の中央から離れるに伴い前記動き量の縮小率を大きくする請求項９記載の画像処理方法。
- 基準表示位置を設定し、前記検出された動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項９記載の画像処理方法。
- 前記検出された動きベクトルに対してフィルタ処理を行い、該フィルタ処理が行われた動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させる請求項１４記載の画像処理方法。
- 前記連続シーン内の動きベクトルに応じて前記表示画像の表示位置を前記基準表示位置から移動させたときに、前記表示画像が前記画像表示領域を超える場合、前記連続シーン内の動きベクトルの動き量を縮小させる補正処理を行う請求項１４記載の画像処理方法。
- コンピュータに、
入力画像信号に基づく表示画像の動きベクトルを検出する手順と、
前記表示画像の連続シーンを判別することによりシーンチェンジを検出する手順と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定すると共に、前記シーンジェンジの検出結果に基づき判別された連続シーンの期間中に動き検出手段で検出された動きベクトルの時間推移に基づいて前記連続シーンにおける前記表示画像の振れ幅を判別し、該振れ幅に基づき前記表示画像の表示位置が画像表示領域における表示画像の移動可能範囲内となるように表示位置を移動させる手順とを実行させる画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058917A JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058917A JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256846A JP2003256846A (ja) | 2003-09-12 |
| JP4131113B2 true JP4131113B2 (ja) | 2008-08-13 |
Family
ID=28668758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002058917A Expired - Fee Related JP4131113B2 (ja) | 2002-03-05 | 2002-03-05 | 画像処理装置と画像処理方法および画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4131113B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7899208B2 (en) | 2004-01-06 | 2011-03-01 | Sony Corporation | Image processing device and method, recording medium, and program for tracking a desired point in a moving image |
| JP4924131B2 (ja) * | 2007-03-20 | 2012-04-25 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
| JP2010278997A (ja) * | 2009-06-01 | 2010-12-09 | Sharp Corp | 画像処理装置、画像処理方法及びプログラム |
| CN102165516A (zh) * | 2009-08-31 | 2011-08-24 | 松下电器产业株式会社 | 图像显示控制装置、图像显示控制方法及集成电路 |
| JP2013026943A (ja) * | 2011-07-25 | 2013-02-04 | Sharp Corp | 立体画像処理装置および立体画像処理方法 |
-
2002
- 2002-03-05 JP JP2002058917A patent/JP4131113B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256846A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20080094498A1 (en) | Imaging apparatus and imaging control method | |
| US7916177B2 (en) | Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur | |
| JP2951230B2 (ja) | ２次元映像から３次元映像を生成する方法 | |
| JP5592006B2 (ja) | 三次元画像処理 | |
| CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
| US20120105657A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
| JP4924228B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN109936697B (zh) | 一种视频拍摄目标跟踪方法和装置 | |
| JP2007295559A (ja) | ビデオ処理および表示 | |
| JP2013172446A (ja) | 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法 | |
| JP2012119804A (ja) | 画像記録装置 | |
| JP2006246307A (ja) | 画像データ処理装置 | |
| JP4131113B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
| WO2012097020A1 (en) | Determining a stereo image from video | |
| JP3327520B2 (ja) | Ｎｇ警告機能付き撮影方法、ｎｇ警告機能付き撮影装置および撮影プログラムを記録した記録媒体 | |
| JPH08336128A (ja) | 映像視聴装置 | |
| JP3832362B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
| JP3982316B2 (ja) | 画像処理装置と画像処理方法及び画像処理プログラム | |
| JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4924131B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム | |
| JP3213105B2 (ja) | 映像の構図自動決定処理方法 | |
| JP3128467B2 (ja) | ２次元映像を３次元映像に変換する方法 | |
| JP6346529B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
| JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
| JP3209234B2 (ja) | 代表画面抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080513 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |