JP3832362B2

JP3832362B2 - Image processing apparatus, image processing method, and image processing program

Info

Publication number: JP3832362B2
Application number: JP2002058918A
Authority: JP
Inventors: 哲二郎近藤; 大介菊地
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-03-05
Filing date: 2002-03-05
Publication date: 2006-10-11
Anticipated expiration: 2022-03-05
Also published as: JP2003259252A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法および画像処理プログラムに関する。詳しくは、表示画像から画像の動きベクトルを検出して、この動きベクトルに応じて表示位置を移動させる場合、シーンチェンジが検出されたときには、表示画像の表示位置を、シーンチェンジの検出前の表示画像と関連性を有しない表示位置とすることで、シーンチェンジを容易に判別可能とするものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００３】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【０００５】
これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平１０−３０１５５６号公報で開示されている。
【０００６】
【発明が解決しようとする課題】
ところで、シーンチェンジによって表示画像がある空間から別の空間へ切り替えられるとき、例えば表示画像の空間が右前方から左前方に切り替えられるとき、右前方の撮影画像を左前方の撮影画像に切り替えることで、空間の移動が１つの固定画枠内で行われる。このような場合、異なる２つの空間を１つの共通の固定画枠で表示することから空間の位置を表現という意味では不適当である。また、被写体の動きに合わせて表示位置を移動させる場合にも、シーンチェンジのように表示画像がある空間から別の空間に切り替えられるときには、この表示画像の空間の切り替えを容易に把握することができなければ、現実空間に関連付けて空間の位置を表現することができない。
【０００７】
そこで、この発明では、表示画像の表示位置を画像の動きに応じて移動させることにより臨場感の高い画像表示を可能としたときに、空間の切り替えを容易に識別可能とする画像処理装置と画像処理方法および画像処理プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、前記表示画像のシーンチェンジを検出するシーンチェンジ検出手段と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記動き検出手段で検出された動きベクトルに応じて移動させる画像位置移動手段とを設け、前記画像移動手段では、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定するものである。
【０００９】
また、画像処理方法は、入力画像信号に基づく表示画像の動きベクトルを検出し、前記表示画像のシーンチェンジを検出し、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させるものとし、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定するものである。
【００１０】
さらに画像処理プログラムは、コンピュータに、入力画像信号に基づく表示画像の動きベクトルを検出する手順と、前記表示画像のシーンチェンジを検出する手順と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させると共に、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定する手順を実行させるものである。
【００１１】
この発明においては、入力画像信号に基づく表示画像の動き検出が行われて、表示面積の広い例えば背景画像の動きベクトルが検出される。また、表示画像の２フレーム間の信号の差分平均値を表示画像の明るさに応じて正規化した正規化値と閾値を比較して、あるいは表示画像の２フレーム間の相関係数と閾値を比較して表示画像のシーンチェンジが検出される。さらに、表示画像の画像サイズよりも大きい画像表示領域が設定されて、この画像表示領域に対する表示画像の表示位置が検出された動きベクトルに応じて移動させる。ここで、シーンチェンジが検出されたときには、表示画像の表示位置がシーンチェンジの検出前の表示画像と関連性を有しない位置、すなわちシーンチェンジの検出前の表示画像の表示位置から所定量離れた位置や、所定量離れた位置であると共にシーンチェンジ検出前の表示画像の動きベクトル方向とは異なる位置に設定される。また、シーンチェンジが検出されたときに設定された表示位置は、シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動される。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた表示システムの全体構成を示している。この表示システムは、例えば３つのスクリーンをユーザの前面と両側面側に配置している。また、各スクリーン１０L，１０C，１０Rに対応させてプロジェクタ１２L，１２C，１２Rを設けている。この各プロジェクタ１２L，１２C，１２Rを用いて画像を投影することにより、３スクリーン分の広範囲の画枠を用いて画像の表示が行われる。プロジェクタ１２L，１２C，１２Rは、画像処理装置２０と接続されている。
【００１３】
画像処理装置２０は、入力画像信号ＳＤinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給する。また、シーンチェンジを検出したとき、画像処理装置２０は、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示する。
【００１４】
例えば、画像処理装置２０に供給する入力画像信号ＳＤinは、図２Ａに示すようにビデオカメラ１００をパンニングさせて前方から左側に移動する被写体ＯＢaを撮影し、その後シーンの切り替えを行い、図２Ｂに示す被写体ＯＢbを撮影して得た画像信号であるものとする。
【００１５】
各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像信号ＳＤinに基づく画像は、アスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」の場合を図３に示す。
【００１６】
画像処理装置２０は、入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ａに示すように前方のスクリーン１０Cの中央に入力画像信号ＳＤinに基づく画像を表示させる。その後、表示画像の動きベクトルに応じて入力画像信号ＳＤinに基づき例えば画像信号ＳＤC，ＳＤLを生成してプロジェクタ１２C，１２Lに供給する。このとき、図３Ｂに示すように前方のスクリーン１０Cと左側のスクリーン１０Lを用いて、入力画像信号ＳＤinに基づく画像を、被写体の動きに合わせて前方から左側に移動させた位置に表示させる。また、シーンチェンジを検出したとき、画像処理装置２０は、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置に新たなシーンの画像を表示するよう入力画像信号ＳＤinに基づいて画像信号ＳＤL，ＳＤC，ＳＤRを生成する。例えば、シーンチェンジ検出前の連続シーンにおける動きが図３Ａ，図３Ｂで示したように前方から左方向に移動する場合、新たなシーンの表示位置を連続シーンの表示位置と関連した位置、すなわち連続シーンの表示位置である図３Ｂの表示位置や、連続シーンにおける表示画像の移動方向である図３Ｃの破線で示す位置とすると、連続シーンの動きが停止あるいは動きがさらに続いているものと判断されて、新たなシーンに切り替えられたことを判別しにくい。このため、例えば入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ｃに示すように、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置である例えばスクリーン１０Cの中央に新たなシーンの画像を表示させる。
【００１７】
図４は、画像処理装置２０の概略構成を示している。画像処理装置２０は、入力画像信号ＳＤinをシーンチェンジ検出部２１と動き検出部２２と画像位置移動部２３に供給する。
【００１８】
シーンチェンジ検出部２１は、入力画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部２１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００１９】
シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００２０】
【数１】

【００２１】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば明るい画像の場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、暗い画像の場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２２】
輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２３】
【数２】

【００２４】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２５】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌr以下でないときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。
【００２６】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２７】
図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２８】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００２９】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図８は、相関係数ｒを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００３０】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３１】
【数３】

【００３２】
この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３３】
動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００３４】
動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３５】
差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３６】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。
【００３７】
ところで、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路２２２は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号ＳＤbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく画像の動きベクトルを検出できる。
【００３８】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動きベクトルの検出を行う際での動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、動きベクトルの検出を効率よく速やかに行うことができる。
【００３９】
図４に示す画像位置移動部２３は、表示画像の画像サイズよりも大きい画像表示領域を設定して、動き検出部２２で検出された動きベクトルに応じて画像の表示位置を移動させると共に、シーンチェンジ検出部２１でシーンチェンジが検出されたときには、表示画像の表示位置をシーンチェンジの検出前の表示画像と関連性を有しない表示位置とする。また、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されており、この３つの領域を使用して画像表示を行う場合、画像位置移動部２３は、決定した表示位置に基づき画像表示領域に応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給することで、スクリーン１０L，１０C，１０Rを使用して画像表示を行う。
【００４０】
図１１は、画像位置移動部２３の構成を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。ここで、シーンチェンジ検出信号ＳＣによって連続シーンであることが示されたとき、画像位置決定回路２３１は、前フレームの画像の表示位置に対して、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させる。このように、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させると、動き検出部２２によって動きベクトルが検出された表示面積の広い部分例えば背景画像の位置が前フレームの画像と等しくなり、被写体を動きに合わせて画像の表示位置を移動させることができる。画像位置決定回路２３１は、このようにして決定した表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示されたとき、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を、シーンチェンジ検出前の連続シーンと関連性を有しない位置に表示するように表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を最初に表示する際に、最初の画像を例えば画像表示領域の中央に表示するよう表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。
【００４１】
ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければならない。このため、３つのスクリーン１０L，１０C，１０Rで構成される領域を画像表示表示領域として設定して、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３４を設けるものとする。また、書込読出制御回路２３２は、画像メモリ２３４に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、スクリーンの領域に対応した画像メモリ２３４の記憶領域の画像信号を用いることで、画像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。
【００４２】
書込読出制御回路２３２は、画像メモリ２３４に画像信号の書き込むための書込制御信号ＷＣと、画像メモリ２３４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３４に供給する。ここで、書込読出制御回路２３２は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３４の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。
【００４３】
遅延回路２３３は、シーンチェンジ検出部２１と動き検出部２２と画像位置決定回路２３１および書込読出制御回路２３２での処理時間に応じて入力画像信号ＳＤinを遅延させることにより、入力画像信号ＳＤinに基づく画像とこの画像の位置情報ＰＤに基づいて生成した書込制御信号ＷＣとのタイミング調整を行う。この遅延回路２３３で遅延された入力画像信号ＳＤinは、画像信号ＳＤdとして画像メモリ２３４に供給される。
【００４４】
画像メモリ２３４は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に画像信号ＳＤdを記憶する。なお、画像信号ＳＤdが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３４は、書込読出制御回路２３２からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３５に供給する。
【００４５】
画像分割回路２３５は、画像信号ＳＤeから例えばスクリーン１０Lに対応する記憶領域の信号を用いて画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに対応する記憶領域の信号を用いて画像信号ＳＤC，ＳＤRを生成する。このようにして生成した画像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。
【００４６】
なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３４に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。
【００４７】
次に、画像処理装置２０の動作について図１２を用いて説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の水平方向成分についてのみ説明する。図１２Ａは入力画像信号ＳＤinに基づく画像であり、フレームＦ(1)〜フレームＦ(k)が連続フレームで、フレームＦ(k+1)から新たなシーンとなる場合を示している。また、図１２Ｃは画像メモリ２３４の記憶領域を示している。
【００４８】
最初のフレームＦ(1)の場合、画像位置決定回路２３１は、表示位置を画像表示範囲の中央とするように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像表示範囲の中央と対応する画像メモリ２３４の領域ＡＲ1にフレームＦ(1)の画像信号を記憶させる。
【００４９】
次のフレームＦ(2)はフレームＦ(1)に連続するフレームであることから、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、連続シーンであることを示すものとなる。このとき、動き検出部２２は、フレームＦ(1)とフレームＦ(2)の画像信号を用いて全画面動き検出を行い、表示面積の広い部分である例えば背景画像の動きベクトルを検出して、この検出結果を示す動き検出情報ＭＶＤを画像位置決定回路２３１に供給する。この場合、動き検出情報ＭＶＤは、図１２Ｂの矢印Ｍaで示すように、表示面積の広い部分である背景画像の動きベクトルを示すものとなる。
【００５０】
画像位置決定回路２３１は、動き検出情報ＭＶＤに基づき、背景画像の表示位置が前フレームと等しくなるように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、図１２Ｃに示すように、前フレームの画像記憶位置から矢印Ｍaと方向が逆であると共に同じ動き量である矢印Ｍbの動きベクトル分だけ移動させた領域ＡＲ2に、フレームＦ(2)の画像信号を記憶させる。以下同様にして連続シーンの画像信号は、動き検出部２２での動き検出結果に基づいて移動された領域に記憶させる。
【００５１】
入力画像信号ＳＤinがフレームＦ(k)からフレームＦ(k+1)となると、シーンチェンジ検出部２１は、フレームＦ(k)とフレームＦ(k+1)と画像信号を用いて算出した正規化値Ｅや相関係数ｒに基づき、このシーンチェンジ位置を検出する。また、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。このとき、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連を有しない位置に新たなシーンの画像を表示するように表示位置を設定する。
【００５２】
ここで、画像位置決定回路２３１は、シーンチェンジが検出されるまでの連続フレームに対して表示位置の決定を行っていることから、既に決定した表示位置を参考として、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とする。例えば連続フレームの最終画像の表示位置から所定量離れた位置、あるいは最後の画像の表示位置が画像表示領域の中心から離れているときには、画像表示領域の中心に表示位置を設定する。また、連続フレームの画像の動き方向とは逆方向に所定量だけ離した位置を表示位置とすることもできる。このように、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とした位置情報ＰＤを生成して、書込読出制御回路２３２に供給する。
【００５３】
書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像メモリ２３４の記憶領域における例えば画像表示範囲の中央と対応する領域ＡＲ1にフレームＦ(k+1)の画像信号を記憶させる。
【００５４】
また、書込読出制御回路２３２は、読出制御信号ＲＣを生成して画像メモリ２３４に供給すると共に、画像メモリ２３４は記憶して画像信号を読出制御信号ＲＣに基づいて読み出して画像分割回路２３５に供給する。画像分割回路２３５は、画像メモリ２３４の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Lと対応する記憶領域ＢＡLから読み出した信号に基づいて画像信号ＳＤLを生成する。またスクリーン１０Cと対応する記憶領域ＢＡCから読み出した信号に基づいて画像信号ＳＤCを生成すると共に、スクリーン１０Rと対応する記憶領域ＢＡRから読み出した信号に基づいて画像信号ＳＤRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。
【００５５】
なお、上述の説明は画像の動きベクトルが左右方向である場合を示したが、動きベクトル方向が上下方向の成分を有しているときには、画像メモリ２３４に対する画像信号の書込位置を上下方向の画像の移動に合わせて変更することで対応する。
【００５６】
このようにして生成した画像信号ＳＤL，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに供給することで、画像の表示位置が被写体の動きに応じて移動される。また、シーンチェンジが検出されたとき、シーンチェンジ検出前のシーンと関連性を有しない表示位置にシーンチェンジ検出後の画像が表示されるので、現実空間との不整合を少なくして、現実世界に忠実で臨場感の高い画像表示を行ったときに、シーンの切り替えが行われたことを容易に判別できる。
【００５７】
ところで、図１に示すように、画像表示領域が視聴者の周囲全体に設けられていない場合、表示位置を順次移動させていくと、表示画像が画像表示領域からはみ出してしまう場合が生ずる。このような場合、画像位置決定回路２３１では、画像の動き量に係らず表示位置の移動を制限する。例えば表示画像の位置が表示領域の左側端部となったときには、左方向への表示位置の移動を禁止する。また、上方向や下方向および右方向に対しても表示画像の位置が表示領域の端部となったときには、表示位置の移動を禁止する。このように、表示画像の位置が表示領域の端部となったときには、表示位置の移動を禁止することで、表示画像が欠けてしまうことを防止できる。また、このような状態でシーンチェンジが検出されたときには、例えば画像の表示位置を画像表示領域の中央に設定することで、シーンの切り替えが行われたことを容易に判別できる。
【００５８】
さらに、上述の遅延回路２３３での遅延量を更に１フレーム分以上多く遅延させるものとして、シーンチェンジ後の新たなシーンの動き検出情報ＭＶＤに基づいてシーンチェンジ後の表示位置を、新たなシーンの動き検出情報ＭＶＤに基づく表示位置の移動方向とは逆方向に移動させることにより画像表示領域を有効に活用できる。例えば、シーンチェンジと判別された図１２ＡのフレームＦ(k+1)に対して次のフレームＦ（k+2）の背景画像が右方向に移動する場合、フレームＦ（k+2)の画像表示位置は左方向に移動する。このため、新たなシーンであるフレームＦ(k+1)の画像の表示位置は、新たなシーンの動き検出情報ＭＶＤに基づき、その後の表示位置の移動方向を考慮して調整する。すなわち、シーンチェンジ後の表示位置が設定されたとき、この表示位置を次に移動させる方向とは逆方向である右方向にオフセットさせる。例えば画像信号の記憶位置を図１２Ｃに示す容易に領域ＡＲ1から破線で示す領域ＡＲofの位置にオフセットさせる。このようにすれば、画像の移動方向の画像表示領域を広くできるので、シーンの切り替えを容易に判別できるだけでなく、画像表示領域を有効に活用してシーンチェンジ後の画像の表示を行うことができる。
【００５９】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１３に示す。コンピュータは、図１３に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【００６０】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００６１】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００６２】
図１４は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１ではシーン判別を行う。図１５は、このシーン判別動作を示すフローチャートである。ステップＳＴ１１では、フレーム間の差分平均値Ｄavと１フレームの輝度平均値Ｙavを算出してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
ステップＳＴ１３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ１４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別してシーン判別を終了する。
【００６４】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ２１とステップＳＴ２２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ２４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ２５にシーンチェンジであると判別する。
【００６５】
図１４のステップＳＴ２は、ステップＳＴ１のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジと判別されたときにはステップＳＴ３に進み、シーンチェンジでない、すなわち連続シーンと判別されたときにはステップＳＴ４に進む。
【００６６】
ステップＳＴ３は、新たなシーンの表示位置設定を行う。この表示位置設定では、シーンチェンジ検出前の連続シーンと関連性を有しない位置に新たなシーンの画像を表示するように表示位置を設定してステップＳＴ６に進む。
ステップＳＴ４は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。
【００６７】
ステップＳＴ５は、ステップＳＴ４で検出された動きベクトルに基づき画像の表示位置を移動させる。ここで、動きベクトルは表示面積の広い例えば背景部分の動き方向と動き量を示している。このため、背景部分の画像を固定して表示できるように、動きベクトルとは逆方向であると共に等しい検出した動き量分だけ表示位置を移動させてステップＳＴ６に進む。
【００６８】
ステップＳＴ６は、出力画像の分割処理を行う。ここで、図１に示すように３つのスクリーンを１つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを生成するものとしても、同様の作用効果を得ることができる。
【００６９】
なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【００７０】
また、映画館などでは、大型な表示系を設備として導入することが可能であることから、臨場感を一層高めた画像表示を行うことが可能であるが、このような場合にも上述のようにシーンチェンジ検出後の画像表示位置を制御することでシーンの切り替えの識別を容易とすることができる。
【００７１】
【発明の効果】
この発明によれば、シーンチェンジが検出されたときには、表示画像の表示位置がシーンチェンジの検出前の表示画像と関連性を有しない表示位置とされる。このため、シーンチェンジが行われたことを容易に識別できる。
【００７２】
また、表示画像の２フレーム間の輝度レベル差分値を前記表示画像の明るさに応じて正規化した正規化値と閾値を比較してシーンチェンジの検出を行うことで、表示画像の明るさの影響を受けることなくシーンチェンジを検出できる。また、表示画像の２フレーム間の相関係数と閾値を比較してシーンチェンジ検出を行うことで、精度良くシーンチェンジを検出できる。
【００７３】
また、シーンチェンジが検出されたときの表示位置として、シーンチェンジ検出前の表示画像の表示位置から所定量離れた位置、あるいは所定量離れた位置であると共にシーンチェンジ検出前の表示画像の動きベクトルの動き方向とは異なる位置が設定される。このため、シーンチェンジが行われたことを容易かつ誤り無く識別できる。
【００７４】
さらに、シーンチェンジが検出されたときに設定された表示位置は、シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動されるので、画像表示領域を有効に利用して画像表示を行うことができる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】入力画像信号の生成動作を示す図である。
【図３】画像表示状態を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】フレーム位置と正規化値の関係を示す図である。
【図７】画素間引きを示す図である。
【図８】シーンチェンジ検出部の他の構成を示す図である。
【図９】フレーム位置と相関係数の関係を示す図である。
【図１０】動き検出部の構成を示す図である。
【図１１】画像位置移動部の構成を示す図である。
【図１２】画像処理装置の動作を説明するための図である。
【図１３】コンピュータを用いたときの構成を示す図である。
【図１４】画像処理プログラムの全体構成を示すフローチャートである。
【図１５】シーン判別の動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・書込読出制御回路、２３４・・・画像メモリ、２３５・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and an image processing program. Specifically, when a motion vector of an image is detected from the display image and the display position is moved according to the motion vector, when a scene change is detected, the display position of the display image is displayed before the scene change is detected. By making the display position not related to the image, the scene change can be easily discriminated.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an image display system that displays an image such as a television broadcast program or a movie, an image is displayed using one fixed image frame, such as a display screen or a screen of a television device. Also, when producing image content such as a broadcast program or a movie, content production is performed on the assumption that image display is performed in such a fixed image frame.
[0003]
Furthermore, in recent years, a multi-screen display system, a curved display, a wide-angle display, a head-mounted display, and the like have been put into practical use in order to display an image with enhanced realism. However, even when such a multi-screen display system or the like is used, content production is performed on the premise that an image display area formed by this system is used as one fixed image frame and an image is displayed in accordance with the fixed image frame. Has been done.
[0004]
In the case of image content produced in accordance with a fixed image frame in this way, when an image including camera movement is included at the time of shooting, the shot image is displayed in the fixed image frame and the background motion in this shot image is displayed. The camera movement is expressed by In other words, the viewer recognizes that the subject in the image displayed in the fixed image frame moves, and the subject in the image moves in the direction opposite to the background motion, and the viewer feels as if he / she is Get the feeling of changing direction as the subject moves.
[0005]
This is a result of forcibly projecting the captured image of a wide space onto a two-dimensional plane in a fixed image frame, and the viewer feels that he / she moved sensuously by the movement of the background even if he / she did not actually move. There will be unnaturalness due to inconsistency with real space. For this reason, for example, Japanese Patent Laid-Open No. 10-301556 discloses that motion detection is performed on a photographed image and the display position is moved in accordance with the motion of the subject to prevent inconsistency with the real space. Yes.
[0006]
[Problems to be solved by the invention]
By the way, when the display image is switched from one space to another by a scene change, for example, when the display image space is switched from the right front to the left front, the right front shot image is switched to the left front shot image. The movement of the space is performed within one fixed image frame. In such a case, since two different spaces are displayed in one common fixed image frame, the position of the space is inappropriate in terms of expression. Even when the display position is moved in accordance with the movement of the subject, when the display image can be switched from one space to another as in a scene change, it is possible to easily grasp the switching of the display image space. If it is not possible, the position of the space cannot be expressed in association with the real space.
[0007]
Therefore, according to the present invention, an image processing apparatus and an image that can easily identify switching of space when the display position of the display image is moved according to the movement of the image to enable high-realistic image display. A processing method and an image processing program are provided.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes a motion detection unit that detects a motion vector of a display image based on an input image signal, a scene change detection unit that detects a scene change of the display image, and an image size of the display image. An image position moving means for setting a large image display area and moving the display position of the display image relative to the image display area according to the motion vector detected by the motion detecting means; When a scene change is detected by the scene change detection means, the display position of the display image is set to a display position that is not related to the display image before the detection of the scene change.
[0009]
The image processing method detects a motion vector of a display image based on an input image signal, detects a scene change of the display image, sets an image display area larger than an image size of the display image, and The display position of the display image relative to the display area is moved according to the detected motion vector, and when the scene change is detected, the display position of the display image is the display image before the scene change is detected. The display position is set so as not to be related.
[0010]
Further, the image processing program has a computer that has a procedure for detecting a motion vector of a display image based on an input image signal, a procedure for detecting a scene change of the display image, and an image display area larger than the image size of the display image. Setting and moving the display position of the display image relative to the image display area according to the detected motion vector, and when the scene change is detected, the display position of the display image is changed to the scene change position. The procedure for setting the display position not related to the display image before detection is executed.
[0011]
In the present invention, motion detection of a display image based on an input image signal is performed, and for example, a motion vector of a background image having a large display area is detected. In addition, the threshold value is compared with the normalized value obtained by normalizing the difference average value of the signals between the two frames of the display image according to the brightness of the display image, or the correlation coefficient and the threshold value between the two frames of the display image are calculated. In comparison, a scene change of the display image is detected. Further, an image display area larger than the image size of the display image is set, and the display position of the display image with respect to the image display area is moved according to the detected motion vector. Here, when a scene change is detected, the display position of the display image is not related to the display image before the detection of the scene change, that is, a predetermined amount away from the display position of the display image before the detection of the scene change. The position is set to a position different from the motion vector direction of the display image before the scene change is detected and the position is a predetermined distance away. Further, the display position set when the scene change is detected is moved in the direction opposite to the moving direction of the display position based on the motion vector of the display image after the scene change is detected.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of a display system using an image processing apparatus according to the present invention. In this display system, for example, three screens are arranged on the front and both sides of the user. In addition,

projectors

12L, 12C, and 12R are provided corresponding to the screens 10L, 10C, and 10R, respectively. By projecting an image using each of the

projectors

12L, 12C, and 12R, an image is displayed using a wide image frame for three screens. The

projectors

12L, 12C, and 12R are connected to the image processing device 20.
[0013]
The image processing device 20 detects an image motion vector and a scene change based on the input image signal SDin, and outputs three image signals SDL, SDC, and SDR so that the image display position moves according to the detected motion vector. Then, the image signal SDL is supplied to the projector 12L, the image signal SDC is supplied to the projector 12C, and the image signal SDR is supplied to the projector 12R. When a scene change is detected, the image processing apparatus 20 displays a new scene image at a display position that is not related to the continuous scene before the scene change.
[0014]
For example, as shown in FIG. 2A, the input image signal SDin supplied to the image processing device 20 pans the video camera 100 to photograph a subject OBa that moves from the front to the left side, and then switches the scene. It is assumed that the image signal is obtained by photographing the subject OBb shown.
[0015]
The size of each screen is, for example, an aspect ratio of “4: 3”, a display size of “720 pixels × 480 pixels”, and an image based on the input image signal SDin is used in movies with an aspect ratio of “16: 9”. FIG. 3 shows a case where the display size is “720 pixels × 270 pixels” with the aspect ratio of the wide image being displayed.
[0016]
The image processing device 20 generates an image signal SDC based on the input image signal SDin and supplies it to the projector 12C, and displays an image based on the input image signal SDin at the center of the front screen 10C as shown in FIG. 3A. Thereafter, for example, image signals SDC and SDL are generated based on the input image signal SDin according to the motion vector of the display image and supplied to the projectors 12C and 12L. At this time, as shown in FIG. 3B, the front screen 10C and the left screen 10L are used to display an image based on the input image signal SDin at a position moved from the front to the left in accordance with the movement of the subject. When a scene change is detected, the image processing device 20 displays the image signal SDL based on the input image signal SDin so as to display an image of a new scene at a display position that is not related to the continuous scene before the scene change is detected. , SDC, SDR. For example, when the movement in the continuous scene before the scene change is detected moves from the front to the left as shown in FIGS. 3A and 3B, the display position of the new scene is related to the display position of the continuous scene, that is, continuous. When the display position of FIG. 3B that is the display position of the scene and the position indicated by the broken line of FIG. 3C that is the moving direction of the display image in the continuous scene, it is determined that the movement of the continuous scene is stopped or further continued. Therefore, it is difficult to determine that the scene has been switched to a new scene. For this reason, for example, the image signal SDC is generated based on the input image signal SDin and supplied to the projector 12C. As shown in FIG. 3C, for example, the screen 10C is a display position that is not related to the continuous scene before the scene change is detected. An image of a new scene is displayed in the center of.
[0017]
FIG. 4 shows a schematic configuration of the image processing apparatus 20. The image processing apparatus 20 supplies the input image signal SDin to the scene change detection unit 21, the motion detection unit 22, and the image position movement unit 23.
[0018]
The scene change detection unit 21 detects a scene change based on the input image signal SDin, that is, detects a discontinuous position of an image which is a joint portion between a continuous scene and a scene different from the continuous scene. FIG. 5 shows a schematic configuration of the scene change detection unit 21, which detects, for example, whether or not the scenes are continuous using image signals for two frames.
[0019]
The delay circuit 211 of the scene change detection unit 21 delays the input image signal SDin by one frame and supplies it to the difference average calculation circuit 212 as a delayed image signal SDa. The difference average calculation circuit 212 calculates a difference average value Dav between two frames based on the input image signal SDin and the delayed image signal SDa and supplies the difference average value Dav to the normalization circuit 214. The difference average value Dav is calculated by calculating a difference value of luminance levels between two frames in each pixel and supplying the obtained difference value average value to the normalization circuit 214 as the difference average value Dav. When the number of pixels of an image of one frame is “N”, the luminance level based on the input image signal SDin is “YC”, and the luminance level based on the delayed image signal SDa is “YP”, the difference average value Dav is an expression. It can be calculated based on (1).
[0020]
[Expression 1]

[0021]
Here, the difference average value Dav varies greatly depending on the luminance level of the image. For example, in the case of a bright image, even if the scene is not switched, the difference average value Dav increases only by changing a part of the image to a dark image. On the other hand, in the case of a dark image, the difference average value Dav does not increase because the change in the luminance level is small even when the scene is switched. For this reason, assuming that the scene change detection unit 21 is provided with a normalization circuit 214, normalization of the difference average value Dav corresponding to the brightness of the image is performed, and the influence of the brightness of the image is reduced to correctly detect the scene change. Make it possible.
[0022]
The luminance average calculation circuit 213 calculates an average value of luminance levels in one frame based on the luminance level of each pixel based on the input image signal SDin, and supplies the average value to the normalization circuit 214 as the luminance average value Yav. As described above, when the number of pixels of one frame image is “N” and the luminance level of the pixel based on the input image signal SDin is “YC”, the average luminance value Yav can be calculated based on the equation (2). .
[0023]
[Expression 2]

[0024]
The normalization circuit 214 normalizes the difference average value Dav according to the brightness of the image. That is, as shown in Equation (3), the difference average value Dav is corrected according to the luminance average value Yav indicating the brightness of the image to generate a difference average normalized value (hereinafter simply referred to as “normalized value”) E. To do.
E = Dav / Yav (3)
The normalized value E generated by the normalization circuit 214 is supplied to the determination circuit 215.
[0025]
The determination circuit 215 has a preset threshold value Lr, compares the normalized value E with the threshold value Lr, and determines that a scene change has occurred when the normalized value E is not less than or equal to the threshold value Lr. Further, when the normalized value E is less than or equal to the threshold value Lr, it is determined that the scene is not a continuous scene. Further, the determination circuit 215 generates a scene change detection signal SC indicating the determination result and supplies the scene change detection signal SC to the motion detection unit 22 and the image position movement unit 23 in FIG.
[0026]
As described above, the normalization circuit 214 normalizes the difference average value Dav according to the brightness of the image, and the determination circuit 215 determines whether the scene change or the continuous scene by using the normalization value E. Therefore, the scene change can be detected correctly with less influence of the brightness of the image.
[0027]
FIG. 6 exemplarily shows the relationship between the frame position and the normalized value E. Here, when the threshold value Lr is set to “0.4”, the frame position where the normalized value E exceeds “0.4” is set as the scene change detection position Psc.
[0028]
By the way, in the scene change detection unit 21 described above, scene change detection is performed using signals of all pixels in one frame, but the difference average value Dav and luminance average value Yav are calculated using signals of all pixels. If it calculates, time will be required for arithmetic processing. Further, if the calculation process is speeded up in order to shorten the time required for the calculation process, the calculation process cost becomes enormous. Therefore, pixel decimation, for example, as shown in FIG. 7, an image of one frame is divided into 8 × 4 pixel areas, and only one pixel is selected from each area as indicated by diagonal lines. The difference average value Dav and the luminance average value Yav are calculated using the signal of the selected pixel. In this way, if pixel thinning is performed, the amount of calculation is reduced, so that the calculation process can be easily performed, and the calculation process cost is enormous because it is not necessary to perform the calculation process at high speed. Can also be prevented.
[0029]
In the scene change detection unit 21 described above, the scene change detection is performed using the normalized value E. However, the correlation coefficient r of the image between two frames is obtained, and the correlation coefficient r and the threshold value are set. By comparing, scene change detection can be performed with high accuracy. FIG. 8 shows the configuration of the scene change detection unit when the correlation coefficient r is used. The delay circuit 211 delays the input image signal SDin by one frame and supplies it to the correlation coefficient calculation circuit 216 as a delayed image signal SDa. The correlation coefficient calculation circuit 216 calculates the correlation coefficient r based on the input image signal SDin and the delayed image signal SDa.
[0030]
Here, the number of pixels of the image of one frame is “N”, the luminance level of the pixel based on the image signal of the first frame is “YF”, the luminance level of the pixel based on the image signal of the next frame is “YS”, When the average luminance level of the pixels based on the image signal of the next frame is “YFav” and the average luminance level of the pixels based on the image signal of the next frame is “YSav”, the correlation coefficient r is calculated using the equation (4). It can be calculated.
[0031]
[Equation 3]

[0032]
The correlation coefficient r calculated by the correlation coefficient calculation circuit 216 is supplied to the determination circuit 217.
The determination circuit 217 has a preset threshold value Lr, and compares the correlation coefficient r with the threshold value Lr. When the correlation coefficient r is equal to or less than the threshold value Lr, the determination circuit 217 determines a scene change. When the correlation coefficient r is not less than or equal to the threshold value Lr, it is determined that the scene is not a scene change. Further, the determination circuit 217 generates a scene change detection signal SC indicating the determination result, and supplies the scene change detection signal SC to the motion detection unit 22 and the image position movement unit 23 in FIG. FIG. 9 exemplarily shows the relationship between the frame position and the correlation coefficient r. Here, when the threshold Lr is set to “0.4”, for example, the frame position where the correlation coefficient r is “0.4” or less is set as the scene change detection position Psc.
[0033]
The motion detection unit 22 detects a motion vector with respect to a frame indicated by the scene change detection signal SC from the scene change detection unit 21 as a continuous scene, and a motion vector having a wide display area, for example, a motion of a background portion. Detect vectors. FIG. 10 shows a configuration of the motion detection unit 22, which is a case where a motion vector is detected using a block matching method, for example.
[0034]
The delay circuit 221 of the motion detector 22 delays the input image signal SDin by one frame and supplies it to the image position switching circuit 222 as a delayed image signal SDb. The image position switching circuit 222 sequentially changes the position of the image based on the delayed image signal SDb in the horizontal direction or the vertical direction within a preset motion search range, and sequentially generates new image signals SDc. The generated image signal SDC is supplied to the difference calculation circuit 223. Further, the image position switching circuit 222 supplies a motion vector MV indicating the moving direction and moving amount of the image to the minimum value determining circuit 224.
[0035]
The difference calculation circuit 223 sequentially calculates a difference value DM between the image signal SDc and the input image signal SDin and supplies the difference value DM to the minimum value determination circuit 224.
[0036]
The minimum value determination circuit 224 associates and holds the difference value DM and the motion vector MV when generating the image signal SDc used for calculating the difference value DM. When the image position switching circuit 222 completes the movement of the image within the motion search range, the minimum value determination circuit 224 determines the minimum value from the held difference value DM, and the difference that is the minimum value The motion vector MV held in association with the value DM is supplied to the image position moving unit 23 in FIG. 4 as motion detection information MVD.
[0037]
By the way, when the scene change detection signal SC indicates that a scene change has been detected and it is indicated that the scene is a continuous scene again, the moving direction of the image after the scene change cannot be predicted. Therefore, the image position switching circuit 222 sets the motion search range around the position of the image based on the delayed image signal SDb when detecting the first motion vector after the scene change is detected. By setting the motion search range in this way, it is possible to correctly detect the motion vector of an image even after scene switching has occurred.
[0038]
Also, in a continuous scene, the movement of images is often continuous. For this reason, the minimum value determination circuit 224 also supplies the motion detection information MVD to the image position switching circuit 222, and the image position switching circuit 222 next determines the center of the motion search range when determining the motion vector of the image. Is set based on the motion detection information MVD. In this way, if the motion search range for the next motion vector detection is set according to the motion vector of the image, the motion search range is made narrower than when the first motion vector is detected after the scene change is detected. However, the motion vector of the image can be correctly detected, and the motion vector can be detected efficiently and promptly.
[0039]
The image position moving unit 23 shown in FIG. 4 sets an image display area larger than the image size of the display image, moves the image display position according to the motion vector detected by the motion detecting unit 22, and When a scene change is detected by the change detection unit 21, the display position of the display image is set to a display position that is not related to the display image before the scene change is detected. Further, for example, as described above, the image display area is divided into three areas (screens 10L, 10C, and 10R), and when image display is performed using these three areas, the image position moving unit 23 determines the image display area. By generating the image signals SDL, SDC, SDR corresponding to the image display area based on the displayed position, and supplying the image signal SDL to the projector 12L, the image signal SDC to the projector 12C, and the image signal SDR to the projector 12R, the screen 10L. , 10C, 10R are used to display images.
[0040]
FIG. 11 shows the configuration of the image position moving unit 23. The image position determining circuit 231 of the image position moving unit 23 determines a display position based on the scene change detection signal SC and the motion detection information MVD, and supplies position information PD indicating the display position to the writing / reading control circuit 232. . Here, when the scene change detection signal SC indicates that the scene is a continuous scene, the image position determination circuit 231 determines the motion vector indicated by the motion detection information MVD with respect to the display position of the image of the previous frame. The display position is moved in the opposite direction by the amount of movement. In this way, when the display position is moved by the amount of motion in the direction opposite to the motion vector indicated by the motion detection information MVD, a portion having a large display area where the motion vector is detected by the motion detection unit 22, for example, the background image The position becomes equal to the image of the previous frame, and the display position of the image can be moved according to the movement of the subject. The image position determination circuit 231 supplies position information PD indicating the display position determined in this way to the writing / reading control circuit 232. When the scene change detection signal SC indicates that a scene change has been detected, the image position determination circuit 231 does not relate the image based on the input image signal SDin to the continuous scene before the scene change detection. The display position is determined so as to be displayed at the position, and position information PD indicating the display position is supplied to the writing / reading control circuit 232. Further, when the image position determination circuit 231 first displays an image based on the input image signal SDin, the image position determination circuit 231 determines the display position so as to display the first image, for example, at the center of the image display area, and indicates the display position. The position information PD is supplied to the writing / reading control circuit 232.
[0041]
Here, when the image display position is switched based on the position information PD, for example, when the image display area is divided into three areas (screens 10L, 10C, and 10R) as described above, the input image signal SDin and the position are displayed. Based on the information PD, image signals SDL, SDC, and SDR for displaying an image on each area must be generated. For this reason, an area composed of the three screens 10L, 10C, and 10R is set as an image display display area, and an image memory 234 having a storage area corresponding to the image display area is provided, for example. Further, the writing / reading control circuit 232 associates the writing position when writing the input image signal SDin to the image memory 234 with the display position based on the position information PD. If the input image signal SDin is written in this way, the image signals SDL, SDC, SDR can be easily generated by using the image signal in the storage area of the image memory 234 corresponding to the screen area.
[0042]
The write / read control circuit 232 generates a write control signal WC for writing an image signal in the image memory 234 and a read control signal RC for reading the image signal written in the

image memory

234, and 234. Here, the write / read control circuit 232 stores the image signal at the position of the storage area of the image memory 234 corresponding to the display position determined by the image position determination circuit 231 as described above. To generate a write control signal WC.
[0043]
The delay circuit 233 delays the input image signal SDin according to the processing time in the scene change detection unit 21, the motion detection unit 22, the image position determination circuit 231, and the writing / reading control circuit 232, thereby generating the input image signal SDin. The timing adjustment is performed between the base image and the writing control signal WC generated based on the position information PD of the base image. The input image signal SDin delayed by the delay circuit 233 is supplied to the image memory 234 as the image signal SDd.
[0044]
The image memory 234 stores the image signal SDd in a storage area corresponding to the display position determined by the image position determination circuit 231 based on the write control signal WC. For example, a signal for black display is stored in an area where the image signal SDd is not stored. Further, the image memory 234 reads out the image signal stored in the storage area based on the read control signal RC from the write / read control circuit 232 and supplies it to the image dividing circuit 235 as the image signal SDe.
[0045]
The image dividing circuit 235 generates an image signal SDL from the image signal SDe using, for example, a signal in a storage area corresponding to the screen 10L. Similarly, image signals SDC and SDR are generated using the signals in the storage area corresponding to the screens 10C and 10R. By supplying the image signal SDL thus generated to the projector 12L, the image signal SDC to the projector 12C, and the image signal SDR to the projector 12R, it is possible to display one image using a plurality of screens and display images. When the image spans a plurality of screens, the display image is divided and displayed for each screen. In addition, when a black display signal is stored in an area where the image signal SDd is not stored, the periphery of the image based on the input image signal SDin is displayed in black.
[0046]
Note that the image position moving unit 23 determines a display position based on the scene change detection signal SC and the motion detection information MVD, and generates an image signal corresponding to the image display area based on the determined display position. The image signal writing position to the image memory 234 is not limited to one that controls the display position according to the display position. For example, the image signals SDL, SDC, and SDR can be generated by storing the image signal at a predetermined position and controlling the read position of the recorded signal based on the display position.
[0047]
Next, the operation of the image processing apparatus 20 will be described with reference to FIG. For the sake of simplicity, only the horizontal direction component of the motion vector direction indicated by the motion detection information MVD will be described. FIG. 12A shows an image based on the input image signal SDin, and shows a case where the frames F (1) to F (k) are continuous frames and a new scene starts from the frame F (k + 1). FIG. 12C shows a storage area of the image memory 234.
[0048]
In the case of the first frame F (1), the image position determination circuit 231 generates position information PD so that the display position is at the center of the image display range, and supplies the position information PD to the writing / reading control circuit 232. The write / read control circuit 232 generates a write control signal WC based on the position information PD, supplies the write control signal WC to the image memory 234, and stores the frame F (1) in the area AR1 of the image memory 234 corresponding to the center of the image display range. The image signal is stored.
[0049]
Since the next frame F (2) is a frame continuous with the frame F (1), the scene change detection signal SC output from the scene change detection unit 21 indicates a continuous scene. At this time, the motion detection unit 22 performs full-screen motion detection using the image signals of the frames F (1) and F (2), and detects, for example, a motion vector of a background image having a wide display area. Then, motion detection information MVD indicating the detection result is supplied to the image position determination circuit 231. In this case, the motion detection information MVD indicates the motion vector of the background image, which is a large display area, as indicated by the arrow Ma in FIG. 12B.
[0050]
The image position determination circuit 231 generates position information PD based on the motion detection information MVD so that the display position of the background image becomes equal to the previous frame, and supplies the position information PD to the writing / reading control circuit 232. The write / read control circuit 232 generates a write control signal WC based on the position information PD and supplies it to the image memory 234. As shown in FIG. 12C, the direction of the arrow Ma is reversed from the image storage position of the previous frame. The image signal of the frame F (2) is stored in the area AR2 that is moved by the motion vector indicated by the arrow Mb having the same motion amount. Similarly, the image signal of the continuous scene is stored in the moved area based on the motion detection result in the motion detection unit 22.
[0051]
When the input image signal SDin changes from the frame F (k) to the frame F (k + 1), the scene change detection unit 21 uses the normal values calculated using the frame F (k), the frame F (k + 1), and the image signal. The scene change position is detected based on the conversion value E and the correlation coefficient r. In addition, the scene change detection signal SC output from the scene change detection unit 21 indicates a scene change. At this time, the image position determination circuit 231 sets the display position so that an image of a new scene is displayed at a position not related to the continuous scene before the scene change is detected.
[0052]
Here, since the image position determination circuit 231 determines the display position for the continuous frames until the scene change is detected, the continuous scene before the scene change is detected with reference to the already determined display position. The display position is a position that is not related to the display. For example, the display position is set at the center of the image display area when the position is a predetermined amount away from the display position of the last image in the continuous frame or when the display position of the last image is away from the center of the image display area. Further, the display position can be a position separated by a predetermined amount in the direction opposite to the moving direction of the images of the continuous frames. As described above, the image position determination circuit 231 generates the position information PD with the display position as the position not related to the continuous scene before the scene change is detected, and supplies the position information PD to the writing / reading control circuit 232.
[0053]
The write / read control circuit 232 generates a write control signal WC based on the position information PD, supplies the write control signal WC to the image memory 234, and sets the frame F in the area AR 1 corresponding to, for example, the center of the image display range in the storage area of the image memory 234. (k + 1) image signals are stored.
[0054]
The write / read control circuit 232 generates a read control signal RC and supplies the read control signal RC to the image memory 234, and the image memory 234 stores and reads the image signal based on the read control signal RC to the image dividing circuit 235. Supply. Since the storage area of the image memory 234 is provided corresponding to the image display area, the image dividing circuit 235 generates the image signal SDL based on the signal read from the storage area BAL corresponding to the screen 10L. Further, the image signal SDC is generated based on the signal read from the storage area BAC corresponding to the screen 10C, and the image signal SDR is generated based on the signal read from the storage area BAR corresponding to the screen 10R. It should be noted that the signal level of the portion without an image is displayed as black as described above, and only an image based on the input image signal SDin is displayed in the image display area.
[0055]
Although the above description has shown the case where the motion vector of the image is the left-right direction, when the motion vector direction has a vertical component, the writing position of the image signal to the image memory 234 is set to the vertical direction. Respond by changing according to the movement of the image.
[0056]
By supplying the image signals SDL, SDC, SDR generated in this way to the

projectors

12L, 12C, 12R, the display position of the image is moved according to the movement of the subject. Also, when a scene change is detected, the image after the scene change detection is displayed at a display position that is not related to the scene before the scene change detection. It is possible to easily determine that the scene has been switched when displaying an image that is faithful to the image and has a high sense of presence.
[0057]
By the way, as shown in FIG. 1, when the image display area is not provided in the entire periphery of the viewer, when the display position is moved sequentially, the display image may protrude from the image display area. In such a case, the image position determination circuit 231 limits the movement of the display position regardless of the amount of image movement. For example, when the position of the display image is at the left end of the display area, the movement of the display position in the left direction is prohibited. In addition, when the position of the display image reaches the end of the display area in the upward direction, the downward direction, and the right direction, the movement of the display position is prohibited. As described above, when the position of the display image reaches the end of the display area, it is possible to prevent the display image from being lost by prohibiting the movement of the display position. Further, when a scene change is detected in such a state, for example, by setting the image display position at the center of the image display area, it is possible to easily determine that the scene has been switched.
[0058]
Further, assuming that the delay amount in the delay circuit 233 is further delayed by one frame or more, the display position after the scene change is changed based on the motion detection information MVD of the new scene after the scene change. By moving the display position in the direction opposite to the moving direction of the display position based on the motion detection information MVD, the image display area can be used effectively. For example, when the background image of the next frame F (k + 2) moves to the right with respect to the frame F (k + 1) of FIG. 12A determined as a scene change, the image of the frame F (k + 2) The display position moves to the left. For this reason, the display position of the image of the frame F (k + 1) which is a new scene is adjusted in consideration of the moving direction of the subsequent display position based on the motion detection information MVD of the new scene. That is, when the display position after the scene change is set, the display position is offset in the right direction, which is the reverse direction to the next moving direction. For example, the storage position of the image signal is easily offset from the area AR1 shown in FIG. 12C to the position of the area ARof indicated by the broken line. In this way, since the image display area in the moving direction of the image can be widened, not only can the scene change be easily determined, but also the image display area can be used effectively to display the image after the scene change. it can.
[0059]
Furthermore, the above-described processing may be realized not only by hardware but also by software. The configuration in this case is shown in FIG. The computer includes a CPU (Central Processing Unit) 301 as shown in FIG. 13, and a ROM 302, a RAM 303, a hard disk drive 304, and an input / output interface 305 are connected to the CPU 301 via a bus 320. Yes. Further, an input unit 311, a recording medium drive 312, a communication unit 313, an image signal input unit 314, and an image signal output unit 315 are connected to the input / output interface 305.
[0060]
When a command is input from an external device, or when a command is input from an input unit 311 configured using an operation unit such as a keyboard or a mouse or a voice input unit such as a microphone, the command is input via the input / output interface 305. Are supplied to the CPU 301.
[0061]
The CPU 301 executes a program stored in the ROM 302, RAM 303, or hard disk drive 304, and performs processing according to the supplied command. Further, the ROM 302, the RAM 303, or the hard disk drive 304 stores in advance an image processing program for causing the computer to execute the same processing as that of the above-described image processing apparatus, and the input input to the image signal input unit 314. Based on the image signal SDin, image signals SDL, SDC, SDR are generated and output from the image signal output unit 315. Also, an image processing program is recorded on a recording medium, and the recording medium drive 312 records the image processing program on the recording medium or reads the image processing program recorded on the recording medium and executes it on a computer. It is also good. Furthermore, the communication unit 313 may transmit or receive an image processing program via a transmission path, and the received image processing program may be executed by a computer.
[0062]
FIG. 14 is a flowchart showing the overall configuration of the image processing program. In step ST1, scene discrimination is performed. FIG. 15 is a flowchart showing the scene discrimination operation. In step ST11, an average difference value Dav between frames and a luminance average value Yav of one frame are calculated, and the process proceeds to step ST12.
[0063]
In step ST12, the average difference value Dav is normalized using the luminance average value Yav to calculate a normalized value E.
In step ST13, the normalized value E is compared with the threshold value Lr to determine whether or not it is a scene change. Here, when the normalized value E is equal to or less than the threshold value Lr, the process proceeds to step ST14, where it is determined that the scene is a continuous scene and the scene determination is terminated. When the normalized value E is greater than the threshold value Lr, the process proceeds to step ST15. It is determined that it is a change, and the scene determination is terminated.
[0064]
In the scene determination operation, the correlation coefficient r may be calculated as described above, and the correlation coefficient r and the threshold value Lr may be compared to determine whether the scene change has occurred. In this case, instead of the processing in step ST21 and step ST22, the correlation coefficient r shown in the above equation (4) is calculated. In step ST23, if the correlation coefficient r is not smaller than the threshold value, the process proceeds to step ST24. Discriminated as a continuous scene. If the correlation coefficient r is smaller than the threshold value, it is determined in step ST25 that it is a scene change.
[0065]
Step ST2 in FIG. 14 determines whether or not the scene determination result in the scene determination in step ST1 is a scene change. If it is determined that the scene has changed, the process proceeds to step ST3. If it is not a scene change, that is, if it is determined to be a continuous scene, the process proceeds to step ST4.
[0066]
In step ST3, a new scene display position is set. In this display position setting, the display position is set so that an image of a new scene is displayed at a position not related to the continuous scene before the scene change is detected, and the process proceeds to step ST6.
Step ST4 performs motion detection. In this motion detection, full-screen motion detection is performed to detect a motion vector of a portion with a large display area, and the process proceeds to step ST5.
[0067]
In step ST5, the display position of the image is moved based on the motion vector detected in step ST4. Here, the motion vector indicates a motion direction and a motion amount of a background portion having a large display area, for example. Therefore, the display position is moved by the detected amount of motion that is opposite to the motion vector and equal to the motion vector so that the background image can be fixed and displayed, and the process proceeds to step ST6.
[0068]
Step ST6 performs output image division processing. Here, when three screens are used as one image display area as shown in FIG. 1, even when the display position is moved and the display image is displayed across a plurality of screens, the image can be displayed correctly. Then, the image is divided and image signals SDL, SDC, SDR corresponding to each screen are generated. In this way, even if the input image signal SDin is processed by the computer to generate the image signals SDL, SDC, SDR, the same effect can be obtained.
[0069]
Note that the screens and projectors in the above-described embodiments are exemplary, and if the image display area is larger than the display image size, it is possible to display an image that is faithful to the real world and has a high sense of presence as in the present invention. In addition, scene switching can be easily identified.
[0070]
In movie theaters and the like, since a large display system can be introduced as equipment, it is possible to perform image display with a higher sense of reality. In addition, it is possible to easily identify scene switching by controlling the image display position after detection of a scene change.
[0071]
【The invention's effect】
According to the present invention, when a scene change is detected, the display position of the display image is set to a display position that is not related to the display image before the scene change is detected. For this reason, it can be easily identified that a scene change has been performed.
[0072]
Further, by detecting a scene change by comparing a threshold value with a normalization value obtained by normalizing a luminance level difference value between two frames of a display image according to the brightness of the display image, the brightness of the display image can be detected. Scene changes can be detected without being affected. Further, by detecting the scene change by comparing the correlation coefficient between the two frames of the display image with the threshold value, the scene change can be detected with high accuracy.
[0073]
The display position when a scene change is detected is a position that is a predetermined amount away from the display position of the display image before the scene change is detected, or a position that is a predetermined amount away from the display image, and the motion vector of the display image before the scene change is detected. A position different from the movement direction is set. For this reason, it can be easily and error-identified that the scene change has been performed.
[0074]
Further, the display position set when the scene change is detected is moved in the direction opposite to the moving direction of the display position based on the motion vector of the display image after the scene change is detected. The image can be displayed by effectively using.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image display system.
FIG. 2 is a diagram illustrating an operation of generating an input image signal.
FIG. 3 is a diagram illustrating an image display state.
FIG. 4 is a diagram illustrating a configuration of an image processing apparatus.
FIG. 5 is a diagram illustrating a configuration of a scene change detection unit.
FIG. 6 is a diagram illustrating a relationship between a frame position and a normalized value.
FIG. 7 is a diagram illustrating pixel thinning.
FIG. 8 is a diagram illustrating another configuration of a scene change detection unit.
FIG. 9 is a diagram illustrating a relationship between a frame position and a correlation coefficient.
FIG. 10 is a diagram illustrating a configuration of a motion detection unit.
FIG. 11 is a diagram illustrating a configuration of an image position moving unit.
FIG. 12 is a diagram for explaining the operation of the image processing apparatus.
FIG. 13 is a diagram illustrating a configuration when a computer is used.
FIG. 14 is a flowchart illustrating an overall configuration of an image processing program.
FIG. 15 is a flowchart showing an operation of scene discrimination.
[Explanation of symbols]
10L, 10C, 10R ... screen, 12L, 12C, 12R ... projector, 20 ... image processing device, 21 ... scene change detector, 22 ... motion detector, 23 ... image Position moving unit, 211, 211, 233 ... delay circuit, 212 ... difference average calculation circuit, 213 ... luminance average calculation circuit, 214 ... normalization circuit, 215, 217 ... determination circuit, 216: correlation coefficient calculation circuit, 222: image position switching circuit, 223: difference calculation circuit, 224: minimum value determination circuit, 231 ... image position determination circuit, 232 ... book ,... Image memory, 235... Image dividing circuit, 301... CPU, 302... ROM, 303.・ Image signal output

Claims

入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、
前記表示画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記動き検出手段で検出された動きベクトルに応じて移動させる画像位置移動手段とを設け、
前記画像移動手段では、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置とする
ことを特徴とする画像処理装置。Motion detection means for detecting a motion vector of a display image based on an input image signal;
Scene change detecting means for detecting a scene change of the display image;
Image position moving means for setting an image display area larger than the image size of the display image and moving the display position of the display image relative to the image display area according to the motion vector detected by the motion detecting means; Provided,
In the image moving means, when a scene change is detected by the scene change detecting means, the display position of the display image is set to a display position not related to the display image before the detection of the scene change. An image processing apparatus.

前記シーンチェンジ検出手段は、前記表示画像の２フレーム間の信号の差分平均値を前記表示画像の明るさに応じて正規化した正規化値を用いてシーンチェンジを検出する
ことを特徴とする請求項１記載の画像処理装置。The scene change detection means detects a scene change using a normalized value obtained by normalizing a difference average value of signals between two frames of the display image in accordance with brightness of the display image. Item 6. The image processing apparatus according to Item 1.

前記シーンチェンジ検出手段は、前記表示画像の２フレーム間の相関係数を用いてシーンチェンジを検出する
ことを特徴とする請求項１記載の画像処理装置。The image processing apparatus according to claim 1, wherein the scene change detection unit detects a scene change using a correlation coefficient between two frames of the display image.

前記画像移動手段は、前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置として、前記表示画像の表示位置を前記シーンチェンジの検出前の表示位置から所定量離れた位置、あるいは該所定量離れた位置であると共に前記シーンチェンジの検出前の表示画像の動きベクトル方向とは異なる位置に設定する
ことを特徴とする請求項１記載の画像処理装置。The image moving means is a display position that is not related to the display image before detection of the scene change, a position that is a predetermined distance away from the display position before detection of the scene change, or the display position of the display image. 2. The image processing apparatus according to claim 1, wherein the position is set at a position that is a predetermined distance away from a motion vector direction of the display image before the scene change is detected.

前記画像移動手段は、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに設定された表示位置を、前記シーンチェンジ検出手段でシーンチェンジが検出されたあとに前記動き検出手段で検出された動きベクトルに基づく表示位置の移動方向とは逆方向に移動させる
ことを特徴とする請求項１記載の画像処理装置。The image moving means detects the display position set when the scene change is detected by the scene change detecting means, and the motion detected by the motion detecting means after the scene change is detected by the scene change detecting means. The image processing apparatus according to claim 1, wherein the display position is moved in a direction opposite to a moving direction of the display position based on the vector.

入力画像信号に基づく表示画像の動きベクトルを検出し、
前記表示画像のシーンチェンジを検出し、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させるものとし、
前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置とする
ことを特徴とする画像処理方法。Detect the motion vector of the display image based on the input image signal,
Detecting a scene change in the display image,
An image display area larger than the image size of the display image is set, and the display position of the display image with respect to the image display area is moved according to the detected motion vector,
An image processing method, wherein when the scene change is detected, the display position of the display image is set to a display position not related to the display image before the scene change is detected.

前記シーンチェンジの検出は、前記表示画像の２フレーム間の信号の差分平均値を前記表示画像の明るさに応じて正規化した正規化値と閾値を比較して行う
ことを特徴とする請求項６記載の画像処理方法。The detection of the scene change is performed by comparing a normalized value obtained by normalizing a difference average value of signals between two frames of the display image according to brightness of the display image with a threshold value. 6. The image processing method according to 6.

前記シーンチェンジの検出は、前記表示画像の２フレーム間の相関係数と閾値を比較して行う
ことを特徴とする請求項６記載の画像処理方法。7. The image processing method according to claim 6, wherein the scene change is detected by comparing a correlation coefficient between two frames of the display image with a threshold value.

前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置として、前記表示画像の表示位置を前記シーンチェンジの検出前の表示位置から所定量離れた位置、あるいは該所定量離れた位置であると共に前記シーンチェンジの検出前の表示画像の動きベクトル方向とは異なる位置に設定する
ことを特徴とする請求項６記載の画像処理方法。As a display position that is not related to the display image before detection of the scene change, the display position of the display image is a predetermined distance from the display position before detection of the scene change, or a position that is a predetermined distance away 7. The image processing method according to claim 6, wherein the image processing method is set at a position different from a motion vector direction of the display image before the scene change is detected.

前記シーンチェンジが検出されたときに設定された表示位置を、前記シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動させる
ことを特徴とする請求項６記載の画像処理方法。The display position set when the scene change is detected is moved in a direction opposite to a moving direction of the display position based on a motion vector of a display image after the scene change is detected. Item 7. The image processing method according to Item 6.

コンピュータに、
入力画像信号に基づく表示画像の動きベクトルを検出する手順と、
前記表示画像のシーンチェンジを検出する手順と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させると共に、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定する手順
を実行させることを特徴とする画像処理プログラム。On the computer,
A procedure for detecting a motion vector of a display image based on an input image signal;
A procedure for detecting a scene change in the display image;
An image display area larger than the image size of the display image is set, and the display position of the display image with respect to the image display area is moved according to the detected motion vector, and the scene change is detected In some cases, the image processing program executes a procedure for setting the display position of the display image to a display position that is not related to the display image before the scene change is detected.