JP2004147281A - 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム - Google Patents
特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム Download PDFInfo
- Publication number
- JP2004147281A JP2004147281A JP2003017023A JP2003017023A JP2004147281A JP 2004147281 A JP2004147281 A JP 2004147281A JP 2003017023 A JP2003017023 A JP 2003017023A JP 2003017023 A JP2003017023 A JP 2003017023A JP 2004147281 A JP2004147281 A JP 2004147281A
- Authority
- JP
- Japan
- Prior art keywords
- video
- subject
- video frame
- motion vector
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】映像内において、動きのある注目する被写体の解像度を保持し、それ以外の映像の解像度を低下させた特殊効果映像を生成することを可能にする特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムを提供する。
【解決手段】特殊効果映像生成装置１は、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０と、を備え、連続する複数の映像フレームから、注目被写体を特定の映像フレームの注目被写***置に合わせるように、各映像フレームの画素位置を補正し、その補正された複数の映像フレームを特定の比率で合成することを特徴とする。
【選択図】 図１
【解決手段】特殊効果映像生成装置１は、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０と、を備え、連続する複数の映像フレームから、注目被写体を特定の映像フレームの注目被写***置に合わせるように、各映像フレームの画素位置を補正し、その補正された複数の映像フレームを特定の比率で合成することを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、映像内において注目した被写体以外の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、映像内における注目した被写体を強調するような特殊効果映像を生成するには、注目する被写体とその被写体以外の領域とを分割し、注目する被写体とその被写体以外の領域との解像度に差をつけることで、注目する被写体を強調している。
【０００３】
このとき、動画像の映像から被写体を抽出するには、注目する被写体が大きくかつ速く動くことを利用して、映像から被写体を識別して抽出する技術が存在する（例えば、非特許文献１参照。）。
【０００４】
そして、注目する被写体とそれ以外の領域との解像度に差をつけるには、一枚の映像フレーム毎に映像フレームを被写体とそれ以外の領域とに分割し、分割された被写体以外の領域に対して、例えば隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させていた。
【０００５】
また、注目した被写体が静止しており、それ以外の領域の映像が動いているときには、時間方向のフィルタリング処理、例えば、時間方向に連続する複数の映像フレームを加算した各画素値を、加算した映像フレームの数で除することで、被写体以外の動きのある映像を平滑化する処理（ノイズリデュース機能）によって、被写体以外の領域の解像度を低下させていた（例えば、非特許文献２参照。）。
【０００６】
【非特許文献１】
李相吉 他，“体操選手のフォーム・軌跡表示システム−マルチモーション−”，映像情報メディア学会誌，ｖｏｌ．５１，Ｎｏ．１１，
１９９７
【非特許文献２】
鎧沢勇，“時間軸フィルタの画質改善効果に関する心理物理実験”，テレビジョン学会技術報告，ＶＶＩ３７−１，ｐｐ．１９−２４、Ｊｕｌｙ，１９８０
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像フレームを被写体とそれ以外の領域とに分割して解像度に差をつける方法では、領域分割を行う処理が複雑であり、さらに、その領域分割処理を一枚の映像フレーム毎に行わなければならないため、処理に要する時間が大きくなってしまうという問題があった。
【０００８】
また、時間方向のフィルタリング処理によって、静止した被写体以外の領域の解像度を低下させる方法では、注目した被写体が動いた映像では、被写体そのものの解像度が低下してしまうという問題がある。
このように、動画映像においては、動きを伴う被写体の解像度を保持し、被写体以外の映像の解像度を低下させる特殊効果を実現する効果的な手法は存在しなかった。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、時間方向のフィルタリング処理により、映像内において、動きのある注目する被写体の解像度を保持し、それ以外の映像の解像度を低下させた特殊効果映像を生成することを可能にする特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の特殊効果映像生成装置は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置であって、前記入力映像において、前記注目被写体を指定する注目被写体指定手段と、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段と、この被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段と、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成手段と、を備える構成とした。
【００１１】
かかる構成によれば、特殊効果映像生成装置は、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。ここで注目被写体とは、映像上で特定の被写体の解像度だけを保持し、他の領域の解像度を低下させた特殊効果映像を生成するために、操作者が注目する被写体のことをいう。
【００１２】
そして、特殊効果映像生成装置は、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００１３】
さらに、特殊効果映像生成装置は、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００１４】
また、請求項２に記載の特殊効果映像生成装置は、請求項１に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム位置補正手段で補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算することを特徴とする。
【００１５】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算する。このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００１６】
さらに、請求項３に記載の特殊効果映像生成装置は、請求項２に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備え、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変えることを特徴とする。
【００１７】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段が映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備えており、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変える。例えば、注目被写体の位置を合わせる特定映像フレーム以外の映像フレームの画素値に乗ずるフィルタ係数の値を大きくすることで、注目被写体以外の領域の解像度が低下する。
【００１８】
さらにまた、請求項４に記載の特殊効果映像生成装置は、請求項１乃至請求項３のいずれか１項に記載の特殊効果映像生成装置において、注目被写体と同一の動きをする非注目被写体の領域を設定する非注目被写体設定手段と、この非注目被写体設定手段で設定した非注目被写体領域を、前記被写体動きベクトルに基づいて追跡する非注目被写体追跡手段と、前記映像フレーム合成手段から出力される特殊効果映像における、前記非注目被写体領域の解像度を低下させる解像度低下処理手段と、を備える構成とした。
【００１９】
かかる構成によれば、特殊効果映像生成装置は、非注目被写体設定手段によって、注目被写体と同一の動きをする非注目被写体の領域を設定する。例えば、マウス等の入力手段によって、非注目被写体を含んだ矩形領域を設定する。そして、特殊効果映像生成装置は、非注目被写体追跡手段によって、非注目被写体設定手段で設定した非注目被写体領域を、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて追跡する。注目被写体と非注目被写体とは同一の動きをするため、注目被写体の被写体動きベクトルを参照することで、非注目被写体の領域を追跡することが可能になる。
【００２０】
そして、特殊効果映像生成装置は、解像度低下処理手段によって、映像フレーム合成手段から出力される特殊効果映像における非注目被写体の領域の解像度のみを低下させる。例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させることができる。
【００２１】
また、請求項５に記載の特殊効果映像生成装置は、請求項２又は請求項３に記載の特殊効果映像生成装置において、前記入力映像の連続した映像フレームから、前記映像フレーム間における背景の動きを示すグローバルベクトルを算出するグローバルベクトル算出手段と、前記フィルタ係数を複数記憶した係数記憶手段と、前記被写体動きベクトルと前記グローバルベクトルとの差に基づいて、前記係数記憶手段に記憶されているフィルタ係数の中から、前記映像フレームに乗ずるフィルタ係数を選択する係数選択手段とを備え、前記映像フレーム合成手段が、前記係数選択手段で選択されたフィルタ係数に基づいて、前記映像フレームを合成することを特徴とする。
【００２２】
かかる構成によれば、特殊効果映像生成装置は、グローバルベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における背景の動きとなるグローバルベクトルを算出する。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、背景が動いた動きベクトルとみなすことができる。
【００２３】
そして、特殊効果映像生成装置は、係数選択手段によって、予め係数記憶手段に記憶されたフィルタ係数を、被写体動きベクトルとグローバルベクトルとの差により選択する。例えば、注目被写体と背景との動きの差が大きい場合、背景の解像度を大きく低下させないようなフィルタ係数を選択する。これによって、連続した映像フレームにおいて、注目被写体以外の背景の解像度の変動が小さくなるようにフィルタ係数を選択できるので、映像フレーム合成手段において、映像フレームを合成したときに、注目被写体の動きの大きさに影響されずに、背景の解像度の低下が一定となる特殊効果映像を生成することができる。
【００２４】
また、請求項６に記載の特殊効果映像生成方法は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成方法であって、前記入力映像において、前記注目被写体を指定する注目被写体指定ステップと、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出ステップと、この被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正ステップと、この映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、特殊効果映像生成方法は、注目被写体指定ステップによって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出ステップによって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００２６】
さらに、特殊効果映像生成方法は、映像フレーム位置補正ステップによって、被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成ステップによって、映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００２７】
さらに、請求項７に記載の特殊効果映像生成プログラムは、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２８】
すなわち、前記入力映像において、前記注目被写体を指定する注目被写体指定手段、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段、この被写体動きベクトル算出手段で算出した前記動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して１つの映像フレームを生成する映像フレーム合成手段、とした。
【００２９】
かかる構成によれば、特殊効果映像生成プログラムは、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００３０】
さらに、特殊効果映像生成プログラムは、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（特殊効果映像生成装置の構成：第一の実施の形態）
図１は、本発明における第一の実施の形態である特殊効果映像生成装置１の構成を示したブロック図である。特殊効果映像生成装置１は、入力映像（映像信号）の中で注目すべき被写体（以下、注目被写体という）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００３２】
この特殊効果映像生成装置１は、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０と、を備える構成とした。
【００３３】
注目被写体指定手段１０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体に含まれる矩形領域を、注目被写体領域として指定するものである。この注目被写体指定手段１０は、指定された注目被写体領域の位置及び大きさを、注目被写体領域情報として被写体動きベクトル算出手段２０へ出力する。なお、注目被写体を指定するために表示される映像フレームや、注目被写体領域は、図示していない表示手段によって表示されるものとする。
【００３４】
被写体動きベクトル算出手段２０は、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０から入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された被写体動きベクトルは、映像フレーム位置補正手段３０へ出力される。
【００３５】
この被写体動きベクトル算出手段２０については、さらに、図２を参照（適宜図１参照）して説明を行う。図２は、被写体動きベクトル算出手段２０の内部構成を示したブロック図である。図２に示すように被写体動きベクトル算出手段２０は、映像遅延部２１と、動きベクトル検出部２２とを備えて構成した。
【００３６】
映像遅延部２１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部２１で１映像フレーム分遅延された映像信号は動きベクトル検出部２２へ出力される。
【００３７】
動きベクトル検出部２２は、外部から入力される映像信号と、映像遅延部２１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、注目被写体指定手段１０から入力された注目被写体領域情報で示される注目被写体領域の移動量と方向を示す動きベクトルを算出するものである。例えば、動きベクトル検出部２２は、映像遅延部２１から入力される映像フレーム内の注目被写体領域が、外部から入力される映像信号の映像フレーム内でどの領域に移動したかを輝度信号レベルの相関を調べるブロックマッチング法に基づいて算出する。
図１に戻って説明を続ける。
【００３８】
映像フレーム位置補正手段３０は、外部から入力される映像信号と、被写体動きベクトル算出手段２０から入力される被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正した補正映像信号を生成するものである。
【００３９】
この映像フレーム位置補正手段３０については、さらに、図３を参照（適宜図１参照）して説明を行う。図３は、映像フレーム位置補正手段３０の内部構成の一例を示したブロック図である。図３に示すように映像フレーム位置補正手段３０は、映像遅延部３１（３１ａ，３１ｂ，３１ｃ，３１ｄ）と、位置合わせ部３２（３２ａ，３２ｂ，３２ｃ，３２ｄ）と、符号反転部３３（３３ａ，３３ｂ）と、加算部３４（３４ａ，３４ｂ）と、動きベクトル遅延部３５（３５ａ，３５ｂ，３５ｃ）とを備えて構成した。
【００４０】
この映像フレーム位置補正手段３０は、連続した５つの映像フレームに基づいて、その真中（３番目）の映像フレームを特定映像フレームとして、その特定映像フレーム以外の映像フレームの画素位置を補正し、５つの補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥを生成し出力するものである。
【００４１】
映像遅延部３１は、映像信号を映像フレーム単位で遅延させるものである。また、位置合わせ部３２は、映像信号と被写体動きベクトルとに基づいて、映像信号で入力される映像フレームの画素位置を被写体動きベクトル分だけ移動させることで、注目被写体の位置を、特定映像フレームの注目被写体の位置と同じ位置に合わせるとともに、被写体動きベクトル分移動させることで発生する映像フレームにおける画素の欠落部分の補填を行うものである。
【００４２】
また、符号反転部３３は、被写体動きベクトルの値の符号を反転させるものであり、加算部３４は、入力される２つの信号量を加算した新たな信号を生成するものである。さらに、動きベクトル遅延部３５は、入力された被写体動きベクトルを映像フレーム単位で遅延させるものである。
【００４３】
このように構成することで、補正映像信号Ａは以下のように生成される。
まず、動きベクトル遅延部３５ｃから出力される最初の映像フレームと２番目の映像フレームとの間の被写体動きベクトルと、動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルとを、加算部３４ｂで加算する。これによって、最初の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルが算出される。
【００４４】
そして、加算部３４ｂから出力される被写体動きベクトルと、映像遅延部３１ｄから出力される最初の映像フレームとに基づいて、位置合わせ部３２ｄが、最初の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する最初の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ａとして生成し出力する。
【００４５】
また、補正映像信号Ｂは、以下のように生成される。
動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルと、映像遅延部３１ｃから出力される２番目の映像フレームとに基づいて、位置合わせ部３２ｃが、２番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する２番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｂとして生成し出力する。
【００４６】
また、補正映像信号Ｄは、以下のように生成される。
動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルの符号を、符号反転部３３ｂが反転させる。この符号反転部３３ｂで符号を反転された被写体動きベクトルと映像遅延部３１ａから出力される４番目の映像フレームとに基づいて、位置合わせ部３２ｂが、４番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する４番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｄを生成し出力する。
【００４７】
また、補正映像信号Ｅは、以下のように生成される。
まず、動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルと、被写体動きベクトル算出手段２０から入力される４番目の映像フレームと５番目の映像フレームとの間の被写体動きベクトルとを、加算部３４ａで加算する。これによって、３番目の映像フレーム（特定映像フレーム）と５番目の映像フレームとの間の被写体動きベクトルが算出される。
【００４８】
そして、符号反転部３３ａによって、加算部３４ａから出力される被写体動きベクトルの符号を反転した被写体動きベクトルと、５番目の映像フレームとに基づいて、位置合わせ部３２ａが、５番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する５番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｅとして生成し出力する。
【００４９】
なお、補正映像信号Ｃは、映像遅延部３１ａ及び映像遅延部３１ｂで遅延され、映像遅延部３１ｂから出力される３番目の映像フレーム（特定映像フレーム）がそのまま出力される。
【００５０】
ここでは、映像フレーム位置補正手段３０を、連続した５つの映像フレームから補正映像信号を生成するものとして構成としたが、この構成に限定されるものではない。例えば、映像フレーム位置補正手段３０から、映像遅延部３１ａ及び３１ｄ、位置合わせ部３２ａ及び３２ｄ、符号反転部３３ａ、加算部３４ａ及び３４ｂ、並びに、動きベクトル遅延部３５ａ及び３５ｃを削除することで、連続した３つの映像フレームから補正映像信号を生成することも可能である。
【００５１】
また、映像フレーム位置補正手段３０は、映像遅延部３１と、位置合わせ部３２と、符号反転部３３と、加算部３４と、動きベクトル遅延部３５とを増やすことで連続した５つ以上の映像フレームから補正映像信号を生成することも可能である。なお、注目被写体の位置の基準となる特定映像フレームは、必ずしも連続した映像フレームの真中にある必要はない。
図１に戻って説明を続ける。
【００５２】
映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を入力し、各補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０については、さらに、図４を参照（適宜図１参照）して説明を行う。図４は、映像フレーム合成手段４０の内部構成を示したブロック図である。図４に示すよう映像フレーム合成手段４０は、係数設定部４１と乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３とを備えて構成した。
【００５３】
この映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥに対して、特定のフィルタ係数を乗算したのちに各補正映像信号を加算して、特殊効果映像信号（特殊効果映像）を生成するものである。なお、このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００５４】
係数設定部（係数設定手段）４１は、図示していないキーボード等の入力手段によって、各補正映像信号に乗ずるフィルタ係数を設定するものである。ここで設定されたフィルタ係数は、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力される。
【００５５】
乗算部４２は、入力される２つの信号量を乗算し新たな信号を生成するものである。例えば、乗算部４２（４２ａ）は、補正映像信号Ａに係数設定部４１で設定したフィルタ係数を乗じた信号を生成する。この乗算部４２で生成された信号は加算部４３へ出力される。
【００５６】
加算部４３は、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）から出力される信号を加算し、特殊効果映像信号（特殊効果映像）として出力するものである。
【００５７】
なお、この映像フレーム合成手段４０において、係数設定部４１で設定するフィルタ係数を、例えば、補正映像信号Ａ〜Ｅに対応して、１／５、１／５、１／５、１／５、１／５と設定する。これによって、注目被写体は連続する映像フレーム（補正映像信号）の同一位置に存在するため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算することで、元の解像度を再現することができる。また、注目被写体以外の領域は、各映像フレーム（補正映像信号）において「ずれ」が発生しているため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算しても、もとの解像度を再現することはなく、解像度を低下させることができる。
【００５８】
また、係数設定部４１で設定するフィルタ係数は、補正映像信号Ｃ（ここでは特定映像フレームの映像信号）に乗ずるフィルタ係数の割合を高め、例えば、補正映像信号Ａ〜Ｅに対応して、１／９、１／９、５／９、１／９、１／９とすることで、注目被写体以外の領域の解像度の低下を軽減することができる。なお、この係数設定部４１で設定するフィルタ係数と、注目被写体以外の領域の解像度との関係は、図９に示すように、特定映像フレーム（図４における補正映像信号Ａ）に乗ずるフィルタ係数を大きくし、他の映像フレーム（図４における補正映像信号Ａ、Ｂ、Ｄ及びＥ）に乗ずるフィルタ係数を小さくすると、注目被写体以外の領域の解像度は高くなる。また、特定映像フレームに乗ずるフィルタ係数を小さくし、他の映像フレームに乗ずるフィルタ係数を大きくすると、注目被写体以外の領域の解像度は低くなる。
【００５９】
なお、ここでは、映像フレーム合成手段４０を連続した５つの補正映像信号に基づいて、特殊効果映像信号を生成するものとして構成したが、乗算部４２を増減させることで任意の数の補正映像信号から特殊効果映像信号を生成する構成とすることも可能である。
【００６０】
以上、特殊効果映像生成装置１の構成について説明したが、特殊効果映像生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００６１】
（特殊効果映像生成装置の動作）
次に、図１及び図１０を参照して、特殊効果映像生成装置１の動作について説明する。図１０は、特殊効果映像生成装置１の動作を示すフローチャートである。
【００６２】
［注目被写体指定ステップ］
まず最初に、注目被写体指定手段１０によって、映像信号として入力される映像フレーム内の注目被写体を指定する（ステップＳ１）。例えば、図５に示すように、処理対象となる映像の最初の映像フレーム上で、車Ｃ１を注目被写体として指定する場合、車Ｃ１内に含まれる矩形領域を注目被写体領域Ｐ１として指定する。
【００６３】
［被写体動きベクトル算出ステップ］
次に、被写体動きベクトル算出手段２０によって、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０で指定された注目被写体を示す矩形領域の動きベクトル（被写体動きベクトル）を算出する（ステップＳ２）。なお、この被写体動きベクトル算出ステップは、映像フレームが入力されるたびに逐次、先に入力された映像フレームと後から入力された映像フレームとに基づいて、被写体動きベクトルを算出する。
【００６４】
［映像フレーム位置補正ステップ］
そして、映像フレーム位置補正手段３０によって、連続して入力される映像フレーム（映像信号）と被写体動きベクトル算出手段２０で算出された被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、画素位置をずらす（ステップＳ３）。そして、ステップＳ３で映像フレームの画素位置をずらすことで発生する画素の欠落部分を補填した補正映像信号を複数の映像フレーム分生成する（ステップＳ４）。なお、特定映像フレームの映像信号は補正を行わずに、そのまま補正映像信号とする。
【００６５】
ここで、映像フレーム位置補正手段３０の動作について、図６及び図７を参照（適宜図１参照）して具体的な映像を例にして視覚的に説明を行う。図６は、連続した映像フレームの内容と、その連続した映像フレームにおいて、注目被写体の位置を合わせるように、画素位置をずらした映像フレームの内容を示したものである。図７は、画素位置をずらした映像フレームの画素の欠落部分を補填する方法の一例を示した図である。ここでは、説明を簡略化するために３つの連続した映像フレームを用いて補正映像信号を生成する動作を説明するが、それ以外の連続した映像フレームであっても動作は同様である。
【００６６】
図６（ａ）は、（ａ−１）、（ａ−２）、（ａ−３）の順番で時間的に経過する３つの連続した映像フレームの内容を示している。ここでは注目被写体である車Ｃ１が表示画面上で右から左へ移動しているものとする。また、図６（ｂ）は、図６（ａ）の映像フレーム（ａ−２）を特定映像フレームとして、その１つ前の映像フレーム（ａ−１）、及び１つ後の映像フレーム（ａ−３）の画素位置を、特定映像フレーム（ａ−２）の注目被写体（車Ｃ１）の位置に合わせるように画素位置をずらした内容を示している。
【００６７】
ここで、（ｂ−２）は、映像フレーム（ａ−２）と同じ映像フレームで特定映像フレームの内容を示している。また、（ｂ−１）は、映像フレーム（ａ−１）を、その映像フレームの注目被写体（車Ｃ１）の位置を、１映像フレーム分後の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、右から左へ移動を行ったので、映像フレーム（ｂ−１）では右側に画素の欠落部分（ＳＰ１）が発生している。
【００６８】
また、（ｂ−３）は、映像フレーム（ａ−３）を、その映像フレームの注目被写体（車Ｃ１）の位置を１映像フレーム分前の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、左から右へ移動を行ったので、映像フレーム（ｂ−３）では左側に画素の欠落部分（ＳＰ２）が発生している。
【００６９】
そして、映像フレーム位置補正手段３０は、図７に示すように画素の欠落部分の補填を行う。図７（ａ）では、ＦＲ１が元の映像フレームの内容を示しており、ＦＲ２が画素位置をずらして位置合わせを行う位置を示している。このように、元の映像フレームＦＲ１内の注目被写体Ｃ１が動くことで画素の欠落部分ＳＰが発生する。この画素の欠落部分ＳＰの補填は、種々の外挿手法によって行うことが可能であるが、ここでは、鏡像を用いた例について説明する。
【００７０】
図７（ｂ）に示すように、元の映像フレームＦＲ１の左右に画素の欠落部分が発生する場合は、映像フレームＦＲ１を左右に反転した線対称映像ＭＩ１を作成し（ここでは右側のみに作成）、元の映像フレームＦＲ１の上下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下に反転した線対称映像ＭＩ２を作成する（ここでは下側のみに作成）。また、元の映像フレームＦＲ１の斜め右上、右下、左上又は左下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下左右に反転した点対称映像ＭＩ３を作成する（ここでは右下のみに作成）。このように作成された鏡像から、位置合わせを行った領域ＦＲ２を切り出すことで、図７（ｃ）に示すような画素の欠落部分を補填した映像（補正映像信号）が生成される。
なお、この画素の欠落部分の補填は、その他の外挿手法、例えば、元の映像フレームの内容をそのまま利用する（０次ホールド）手法を用いることもできる。
図１０のフローチャートに戻って説明を続ける。
【００７１】
［映像フレーム合成ステップ］
映像フレーム合成手段４０によって、ステップＳ４で生成された複数の映像フレームの補正映像信号毎に特定の係数（フィルタ係数）を乗算する（ステップＳ５）。そして、フィルタ係数を乗算した補正映像信号を複数の映像フレーム数分加算して（ステップＳ６）して、特殊効果映像信号として出力する（ステップＳ７）。
【００７２】
この映像フレーム合成手段４０から出力される特殊効果映像信号の例を図８に示す。図８は、特殊効果映像信号として出力される映像を模式的に表したものである。図８（ａ）に示すような映像信号の前後に連続する映像フレームから、図８（ｂ）に示すような特殊効果映像信号の映像フレームが生成される。ここでは、連続する３つの映像フレームから、特殊効果映像信号の映像フレームが生成した例を示しているが、図８（ｂ）に示すように、注目被写体（車Ｃ１）は解像度を保持し、注目被写体（車Ｃ１）以外の領域は解像度を低下させた映像となっている。この解像度の低下具合は、映像フレーム合成手段４０で乗算するフィルタ係数によって変化させることができる。
【００７３】
以上の各ステップによって、入力映像（映像信号）の中で指定された注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させた特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００７４】
（特殊効果映像生成装置：第二の実施の形態）
次に、図１１を参照して、本発明における第二の実施の形態である特殊効果映像生成装置１Ｂについて説明する。図１１は、特殊効果映像生成装置１Ｂの構成を示したブロック図である。図１１に示すように特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体（以下、非注目被写体という）とを指定することで、その注目被写体のみの解像度を保持したままで、注目被写体以外の領域（非注目被写体を含む）の解像度を低下させる特殊効果を施した特殊効果映像を生成するものである。
【００７５】
特殊効果映像生成装置１（図１）は、入力映像（映像信号）の中に注目被写体と同じ動きをする非注目被写体が存在した場合、注目被写体以外の領域の解像度を低下させようとしても、非注目被写体の解像度が保持されたままになってしまう。そこで、特殊効果映像生成装置１Ｂは、注目被写体以外の領域と、その領域に含まれる注目被写体と同じ動きをする非注目被写体の解像度を低下させるものである。
【００７６】
この特殊効果映像生成装置１Ｂは、特殊効果映像生成装置１に、非注目被写体設定手段５０と、非注目被写体追跡手段６０と、解像度低下処理手段７０とを付加して構成した。
【００７７】
特殊効果映像生成装置１内の被写体動きベクトル算出手段２０（２０Ｂ）、非注目被写体設定手段５０、非注目被写体追跡手段６０及び解像度低下処理手段７０以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
【００７８】
被写体動きベクトル算出手段２０Ｂは、入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された動きベクトルは、映像フレーム位置補正手段３０及び非注目被写体追跡手段６０へ出力される。なお、この被写体動きベクトル算出手段２０Ｂは、被写体動きベクトル算出手段２０（図１）に比べて出力先が増えているだけで機能は同じものである。
【００７９】
非注目被写体設定手段５０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体と同じ動きをする非注目被写体の領域を設定するものである。この非注目被写体設定手段５０は、設定された非注目被写体領域の位置及び大きさを、非注目被写体領域情報として非注目被写体追跡手段６０へ出力する。
【００８０】
なお、非注目被写体領域は、非注目被写体を含んだ矩形領域とする。例えば、図１２に示すように、処理対象となる映像の最初の映像フレーム上で、注目被写体（車Ｃ１）と同じ動きをする自転車を含んだ矩形領域を非注目被写体領域Ｂ１として設定する。
【００８１】
非注目被写体追跡手段６０は、非注目被写体設定手段５０で設定された非注目被写体領域と、被写体動きベクトル算出手段２０Ｂで算出された注目被写体の被写体動きベクトルとに基づいて、非注目被写体の領域（非注目被写体領域）の位置を映像上で追跡するものである。ここで追跡される非注目被写体領域は、非注目被写体追跡手段６０内で保持されるとともに、解像度低下処理手段７０へ出力される。
【００８２】
この非注目被写体追跡手段６０は、非注目被写体が注目被写体と同じ動きをすることを前提としているため、被写体動きベクトル算出手段２０Ｂから入力される注目被写体の被写体動きベクトルは、そのまま非注目被写体を含んだ非注目被写体領域の動きベクトルと等しくなる。これによって、非注目被写体追跡手段６０は、保持している非注目被写体領域の位置を逐次更新することで、非注目被写体を追跡することが可能になる。
【００８３】
解像度低下処理手段７０は、映像フレーム合成手段４０から入力される特殊効果映像信号と、非注目被写体追跡手段６０から入力される非注目被写体領域とに基づいて、特殊効果映像信号として入力される映像フレーム内の非注目被写体領域の解像度を低下させた新たな特殊効果映像信号を生成し出力するものである。
【００８４】
この解像度低下処理手段７０において、非注目被写体領域の解像度を低下させるには、例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させる。
【００８５】
この場合、非注目被写体を厳密に指定して解像度を低下させるのではなく、非注目被写体を含んだ非注目被写体領域に対して、解像度低下処理を施すので、従来の技術よりも簡易に解像度を低下させることができる。なお、非注目被写体が注目被写体と異なる動きをするようになったときは、特殊効果映像生成装置１Ｂの操作者が、非注目被写体設定手段５０で非注目被写体領域を解除するものとする。
【００８６】
これによって、特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体とを指定することで、注目被写体のみの解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００８７】
以上、特殊効果映像生成装置１Ｂの構成について説明したが、特殊効果映像生成装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００８８】
（特殊効果映像生成装置：第三の実施の形態）
次に、図１３を参照して、本発明における第三の実施の形態である特殊効果映像生成装置１Ｃについて説明する。図１３は、特殊効果映像生成装置１Ｃの構成を示したブロック図である。図１３に示すように特殊効果映像生成装置１Ｃは、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００８９】
ここでは、特殊効果映像生成装置１Ｃを、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０Ｂと、グローバルベクトル算出手段８０と、係数選択手段９０とを備えて構成した。注目被写体指定手段１０、被写体動きベクトル算出手段２０及び映像フレーム位置補正手段３０は、図１に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【００９０】
グローバルベクトル算出手段８０は、連続して入力される映像フレーム（映像信号）から、背景の動きベクトルとなるグローバルベクトルを算出するものである。ここで算出されたグローバルベクトルは、係数選択手段９０へ出力される。このグローバルベクトル算出手段８０については、さらに、図１４を参照（適宜図１３参照）して説明を行う。図１４は、グローバルベクトル算出手段８０の内部構成を示したブロック図である。図１４に示すようにグローバルベクトル算出手段８０は、映像遅延部８１と、動きベクトル検出部８２とを備えて構成した。
【００９１】
映像遅延部８１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部８１で１映像フレーム分遅延された映像信号は動きベクトル検出部８２へ出力される。
【００９２】
動きベクトル検出部８２は、入力される映像信号と、映像遅延部８１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、映像フレーム内の背景が動いた動きベクトルであるグローバルベクトルを算出するものである。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、映像フレーム内の背景が動いた動きベクトルとみなすことができる。
【００９３】
この動きベクトル検出部８２では、例えば、連続する映像フレームにおいて、ブロックマッチング法により、特定の大きさ（例えば、１６×１６画素等）のマクロブロック単位の動きベクトルを算出し、映像フレーム内におけるマクロブロックの動きベクトルのヒストグラム分布で、最大頻度となる動きベクトルをグローバルベクトルとする。
【００９４】
また、これ以外にも、このグローバルベクトルを検出（算出）する手法として、「上倉一人 等，“動画像符号化におけるグローバル動き補償法”，電子情報通信学会論文誌Ｂ−Ｉ，Ｖｏｌ．Ｊ７６−Ｂ−Ｉ，Ｎｏ．１２，ｐ．９４４−９５２，１９９３年１２月」や、カメラの動き情報やズーム情報等のカメラデータ（メタデータ）からグローバルベクトルを求める「鄭文濤 等，“Ａ Ｈｉｇｈ−Ｐｒｉｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．４７，Ｎｏ．１，ｐ．４６−５５，Ｍａｒｃｈ ２００１」で開示されている技術を用いることができる。
【００９５】
例えば、カメラデータによってグローバルベクトルを求めるには、グローバルベクトル算出手段８０に、図示していないカメラデータ入力手段を備え、カメラの動き（パン、チルト、ズーム等）によって、映像フレーム内のあるマクロブロックが当該映像フレームのどこに移動するかを算出し、そのマクロブロックの移動方向及び移動量を統計した量をグローバルベクトルとする。例えば、カメラを画面の右方向にパンすると、背景として映っている領域は左方向に移動したように見える。この移動した領域は映像フレーム内では動きを持っているが、実際には背景領域となるものである。このように、カメラデータによって、グローバルベクトルを求める場合は、映像フレーム間でマクロブロック単位の動きベクトルを算出する必要はない。
図１３に戻って説明を続ける。
【００９６】
係数選択手段９０は、被写体動きベクトル算出手段２０で算出された被写体動きベクトルと、グローバルベクトル算出手段８０で算出されたグローバルベクトル（背景の動きベクトル）との差を算出し、その差に基づいて、フィルタ係数を選択するための係数選択信号を出力するものである。なお、この係数選択信号は映像フレーム合成手段４０Ｂへ出力される。
【００９７】
この係数選択手段９０については、さらに、図１５を参照（適宜図１３）して説明を行う。図１５は、係数選択手段９０の内部構成の一例を示したブロック図である。図１５に示すように係数選択手段９０は、動きベクトル遅延部９１（９１ａ，９１ｂ，９１ｃ）と、移動量差算出部９２（９２ａ，９２ｂ，９２ｃ，９２ｄ）と、加算部９３（９３ａ，９３ｂ）と、係数選択判定部９４とを備えて構成した。
【００９８】
この係数選択手段９０は、連続した５つの映像フレームにおいて、その真中（３番目）の映像フレームを特定映像フレームとし、各映像フレーム間における被写体動きベクトルとグローバルベクトルとの差に基づいて、係数選択信号を出力するものである。ここでは、特定映像フレームをｎ番目の映像フレームとし、それより前に入力された２つの映像フレームをそれぞれ（ｎ−２）番目、（ｎ−１）番目の映像フレームとする。また、特定映像フレームよりも後に入力された２つの映像フレームをそれぞれ（ｎ＋１）番目、（ｎ＋２）番目の映像フレームとする。
【００９９】
動きベクトル遅延部９１は、入力された被写体動きベクトル及びグローバルベクトルを映像フレーム単位で遅延させるものである。ここで、動きベクトル遅延部９１ｃからの出力を、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとすると、動きベクトル遅延部９１ｂからの出力は、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。また、動きベクトル遅延部９１ａからの出力は、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。さらに、動きベクトル遅延部９１ａへの入力は、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。
【０１００】
移動量差算出部９２は、入力された被写体動きベクトルとグローバルベクトルとの差を算出し、移動量差（ベクトル量）として出力するものである。すなわち、移動量差算出部９２ａは、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄｎ＋２を算出するものである。また、移動量差算出部９２ｂは、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間の移動量差ｄｎ＋１を算出するものである。また、移動量差算出部９２ｃは、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間の移動量差ｄｎ−１を算出するものである。さらに、移動量差算出部９２ｄは、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間の移動量差ｄｎ−２を算出するものである。
【０１０１】
加算部９３は、入力される２つの信号量を加算した新たな信号を生成するものである。加算部９３ａは、移動量算出部９２ａから出力される移動量差ｄｎ＋２と、移動量算出部９２ｂから出力される移動量差ｄｎ＋１とを加算することで、ｎ番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄｎ２を出力するものである。加算部９３ｂは、移動量算出部９２ｃから出力される移動量差ｄｎ−１と、移動量算出部９２ｄから出力される移動量差ｄｎ−２とを加算することで、ｎ番目の映像フレームと（ｎ−２）番目の映像フレームとの間の移動量差ｄｎ１を出力するものである。
【０１０２】
係数選択判定部９４は、特定映像フレームに対する前後の映像フレームの移動量差（被写体動きベクトルとグローバルベクトルとの差）に基づいて、フィルタ係数を選択するための係数選択信号を生成するものである。すなわち、係数選択判定部９４は、特定映像フレームを基準として、２映像フレーム前の移動量差ｄｎ１と、１映像フレーム前の移動量差ｄｎ−１と、１映像フレーム後の移動量差ｄｎ＋１と、２映像フレーム後の移動量差ｄｎ２とに基づいて、係数選択信号を生成する。例えば、係数選択判定部９４は、（１）式に示すような二乗和の平均又は（２）式に示すような絶対値和の平均によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（１）式及び（２）式における分母の５は、映像フレーム数（フィルタ係数長）を示す。
【０１０３】
α＝（ｄｎ１ ２＋ｄｎ−１ ２＋ｄｎ＋１ ２＋ｄｎ２ ２）／５ …（１）式
【０１０４】
α＝（｜ｄｎ１｜＋｜ｄｎ−１｜＋｜ｄｎ＋１｜＋｜ｄｎ２｜）／５ …（２）式
【０１０５】
ここで係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４は、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。なお、（α＜Ｔｈ１）の場合、すなわち、映像フレーム内における注目被写体及び背景の動きが小さい場合は、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｂ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。
図１３に戻って説明を続ける。
【０１０６】
映像フレーム合成手段４０Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０Ｂについては、さらに、図１６を参照（適宜図１３参照）して説明を行う。図１６は、映像フレーム合成手段４０Ｂの内部構成を示したブロック図である。図１６に示すよう映像フレーム合成手段４０Ｂは、係数設定部４１Ｂと、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３と、係数記憶部４４とを備えて構成した。乗算部４２及び加算部４３は、図４に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【０１０７】
係数設定部（係数設定手段）４１Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、各補正映像信号に乗ずるフィルタ係数を係数記憶部４４から読み込んで、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力するものである。
【０１０８】
係数記憶部４４は、予め各補正映像信号に乗ずる複数のフィルタ係数を記憶しておくもので、一般的なメモリ等で構成されるものである。例えば、この係数記憶部４４に記憶しておくフィルタ係数として、｛１／５、１／５、１／５、１／５、１／５｝、｛１／７、１／７、３／７、１／７、１／７｝｛１／９、１／９、５／９、１／９、１／９｝等の組み合わせとする。これによって、注目被写体と背景との動きの差に応じて、解像度の変動を小さくするようにフィルタ係数を選択することが可能になる。
【０１０９】
以上、特殊効果映像生成装置１Ｃの構成について説明したが、特殊効果映像生成装置１Ｃは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１０】
（特殊効果映像生成装置：第四の実施の形態）
次に、図１３、図１５及び図１６を参照して、本発明における第四の実施の形態である特殊効果映像生成装置１Ｄについて説明する。この特殊効果映像生成装置１Ｄは、特殊効果映像生成装置１Ｃと同様に、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。ここで、映像フレーム合成手段４０Ｃ及び係数選択手段９０Ｂ以外の構成は、特殊効果映像生成装置１Ｃと同じであるので、説明を省略する。
【０１１１】
映像フレーム合成手段４０Ｃは、図１６に示した映像フレーム合成手段４０Ｂにおける係数設定部４１Ｂを、乗算部４２に出力しているフィルタ係数を係数選択手段９０Ｂへ通知する機能を付加した係数設定部４１Ｃに変更したものである。
係数選択手段９０Ｂは、図１５に示した係数選択手段９０の係数選択判定部９４を以下に説明する機能に変更した係数選択判定部９４Ｂとして構成したものである。
【０１１２】
すなわち、係数選択判定部９４Ｂは、映像フレーム合成手段４０Ｃから通知されるフィルタ係数と特定映像フレームに対する前後の映像フレームの移動量差とに基づいて、フィルタ係数を選択するための係数選択信号を生成するものとする。例えば、係数選択判定部９４Ｂは、（３）式に示すような重み付き二乗和又は（４）式に示すようなフィルタ係数による重み付き絶対値和によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（３）式及び（４）式におけるａ−２、ａ−１、ａ１及びａ２は、フィルタ係数を示している。
【０１１３】
α＝ａ−２ ２・ｄｎ１ ２＋ａ−１ ２・ｄｎ−１ ２＋ａ１ ２・ｄｎ＋１ ２＋ａ２ ２・ｄｎ２ ２…（３）式
【０１１４】
α＝｜ａ−２｜・｜ｄｎ１｜＋｜ａ−１｜・｜ｄｎ−１｜＋｜ａ１｜・｜ｄｎ＋１｜＋｜ａ２｜・｜ｄｎ２｜ …（４）式
【０１１５】
ここでフィルタ係数の係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４Ｂは、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。
【０１１６】
これにより、例えば、映像フレーム内における注目被写体及び背景の動きが大きく、判定基準値αの値が大きいときは、映像フレーム合成手段４０Ｃ（図１３）において、フィルタのタップ数を減らして動作させることが可能になる。また、判定基準値αが小さいときは、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｃ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。これによって、特殊効果映像生成装置１Ｄは、注目被写体及び背景映像の動きの差とフィルタ係数とによって、注目被写体以外の領域の解像度の変動を軽減させることができる。
【０１１７】
以上、特殊効果映像生成装置１Ｄの構成及び機能について説明したが、特殊効果映像生成装置１Ｄは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１８】
【発明の効果】
以上説明したとおり、本発明に係る特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムでは、以下に示す優れた効果を奏する。
【０１１９】
請求項１、請求項６又は請求項７に記載の発明によれば、入力映像に含まれる注目する被写体の動き情報（動きベクトル）を利用した、時間方向のフィルタリング処理による簡易な手法によって、動きのある注目被写体の解像度を保持したまま、それ以外の領域の解像度を低下させることが可能になる。これによって、従来の特殊効果映像生成手法に、本発明を付加することで低コストで新たな特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２０】
請求項２に記載の発明によれば、注目被写体の位置を補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算するという簡易な手法で、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２１】
請求項３に記載の発明によれば、複数の映像フレームの各画素値を、映像フレーム毎に乗ずるフィルタ係数の値を可変にできるため、注目被写体以外の領域の解像度を変化させることが可能になる。これによって、同一映像であっても、特殊効果の異なる特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２２】
請求項４に記載の発明によれば、注目被写体と同じ動きをする被写体（非注目被写体）が映像上に存在していても、その非注目被写体を含んだ矩形領域を指定するだけで非注目被写体の解像度を低下させることができ、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２３】
請求項５に記載の発明によれば、注目被写体と背景映像との動きの差によって、注目被写体以外の領域における解像度を低下させることができるので、注目被写体から離れた背景の解像度を低下させることができ、注目被写体の動きによる注目被写体以外の領域における解像度の変動を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係る特殊効果映像生成装置の被写体動きベクトル算出手段の構成例を示すブロック図である。
【図３】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム位置補正手段の構成例を示すブロック図である。
【図４】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【図５】注目被写体指定手段における注目被写体領域を指定するための画面例を示した図である。
【図６】映像フレーム位置補正手段における映像フレームの画素位置をずらす動作を模式的に示した模式図である。
【図７】映像フレーム位置補正手段における画素の欠落部分の補填を行う動作を模式的に示した模式図である。
【図８】特殊効果映像生成装置によって特殊効果映像信号として出力される画面例を示した図である。
【図９】映像フレームに乗ずるフィルタ係数と、注目被写体以外の領域の解像度との関係を示した図である。
【図１０】本発明の第一の実施の形態に係る特殊効果映像生成装置の動作を示すフローチャートである。
【図１１】本発明の第二の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１２】非注目被写体設定手段における非注目被写体領域を設定するための画面例を示した図である。
【図１３】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１４】本発明の第三の実施の形態に係る特殊効果映像生成装置のグローバルベクトル算出手段の構成例を示すブロック図である。
【図１５】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の係数選択手段の構成例を示すブロック図である。
【図１６】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【符号の説明】
１、１Ｂ、１Ｃ、１Ｄ……特殊効果映像生成装置
１０ ……注目被写体指定手段
２０、２０Ｂ ……被写体動きベクトル算出手段
３０ ……映像フレーム位置補正手段
４０、４０Ｂ、４０Ｃ……映像フレーム合成手段
４１、４１Ｂ、４１Ｃ……係数設定部（係数設定手段）
４４ ……係数記憶部（係数記憶手段）
５０ ……非注目被写体設定手段
６０ ……非注目被写体追跡手段
７０ ……解像度低下処理手段
８０ ……グローバルベクトル算出手段
９０、９０Ｂ ……係数選択手段
【発明の属する技術分野】
本発明は、映像内において注目した被写体以外の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、映像内における注目した被写体を強調するような特殊効果映像を生成するには、注目する被写体とその被写体以外の領域とを分割し、注目する被写体とその被写体以外の領域との解像度に差をつけることで、注目する被写体を強調している。
【０００３】
このとき、動画像の映像から被写体を抽出するには、注目する被写体が大きくかつ速く動くことを利用して、映像から被写体を識別して抽出する技術が存在する（例えば、非特許文献１参照。）。
【０００４】
そして、注目する被写体とそれ以外の領域との解像度に差をつけるには、一枚の映像フレーム毎に映像フレームを被写体とそれ以外の領域とに分割し、分割された被写体以外の領域に対して、例えば隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させていた。
【０００５】
また、注目した被写体が静止しており、それ以外の領域の映像が動いているときには、時間方向のフィルタリング処理、例えば、時間方向に連続する複数の映像フレームを加算した各画素値を、加算した映像フレームの数で除することで、被写体以外の動きのある映像を平滑化する処理（ノイズリデュース機能）によって、被写体以外の領域の解像度を低下させていた（例えば、非特許文献２参照。）。
【０００６】
【非特許文献１】
李相吉 他，“体操選手のフォーム・軌跡表示システム−マルチモーション−”，映像情報メディア学会誌，ｖｏｌ．５１，Ｎｏ．１１，
１９９７
【非特許文献２】
鎧沢勇，“時間軸フィルタの画質改善効果に関する心理物理実験”，テレビジョン学会技術報告，ＶＶＩ３７−１，ｐｐ．１９−２４、Ｊｕｌｙ，１９８０
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像フレームを被写体とそれ以外の領域とに分割して解像度に差をつける方法では、領域分割を行う処理が複雑であり、さらに、その領域分割処理を一枚の映像フレーム毎に行わなければならないため、処理に要する時間が大きくなってしまうという問題があった。
【０００８】
また、時間方向のフィルタリング処理によって、静止した被写体以外の領域の解像度を低下させる方法では、注目した被写体が動いた映像では、被写体そのものの解像度が低下してしまうという問題がある。
このように、動画映像においては、動きを伴う被写体の解像度を保持し、被写体以外の映像の解像度を低下させる特殊効果を実現する効果的な手法は存在しなかった。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、時間方向のフィルタリング処理により、映像内において、動きのある注目する被写体の解像度を保持し、それ以外の映像の解像度を低下させた特殊効果映像を生成することを可能にする特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の特殊効果映像生成装置は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置であって、前記入力映像において、前記注目被写体を指定する注目被写体指定手段と、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段と、この被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段と、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成手段と、を備える構成とした。
【００１１】
かかる構成によれば、特殊効果映像生成装置は、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。ここで注目被写体とは、映像上で特定の被写体の解像度だけを保持し、他の領域の解像度を低下させた特殊効果映像を生成するために、操作者が注目する被写体のことをいう。
【００１２】
そして、特殊効果映像生成装置は、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００１３】
さらに、特殊効果映像生成装置は、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００１４】
また、請求項２に記載の特殊効果映像生成装置は、請求項１に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム位置補正手段で補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算することを特徴とする。
【００１５】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算する。このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００１６】
さらに、請求項３に記載の特殊効果映像生成装置は、請求項２に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備え、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変えることを特徴とする。
【００１７】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段が映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備えており、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変える。例えば、注目被写体の位置を合わせる特定映像フレーム以外の映像フレームの画素値に乗ずるフィルタ係数の値を大きくすることで、注目被写体以外の領域の解像度が低下する。
【００１８】
さらにまた、請求項４に記載の特殊効果映像生成装置は、請求項１乃至請求項３のいずれか１項に記載の特殊効果映像生成装置において、注目被写体と同一の動きをする非注目被写体の領域を設定する非注目被写体設定手段と、この非注目被写体設定手段で設定した非注目被写体領域を、前記被写体動きベクトルに基づいて追跡する非注目被写体追跡手段と、前記映像フレーム合成手段から出力される特殊効果映像における、前記非注目被写体領域の解像度を低下させる解像度低下処理手段と、を備える構成とした。
【００１９】
かかる構成によれば、特殊効果映像生成装置は、非注目被写体設定手段によって、注目被写体と同一の動きをする非注目被写体の領域を設定する。例えば、マウス等の入力手段によって、非注目被写体を含んだ矩形領域を設定する。そして、特殊効果映像生成装置は、非注目被写体追跡手段によって、非注目被写体設定手段で設定した非注目被写体領域を、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて追跡する。注目被写体と非注目被写体とは同一の動きをするため、注目被写体の被写体動きベクトルを参照することで、非注目被写体の領域を追跡することが可能になる。
【００２０】
そして、特殊効果映像生成装置は、解像度低下処理手段によって、映像フレーム合成手段から出力される特殊効果映像における非注目被写体の領域の解像度のみを低下させる。例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させることができる。
【００２１】
また、請求項５に記載の特殊効果映像生成装置は、請求項２又は請求項３に記載の特殊効果映像生成装置において、前記入力映像の連続した映像フレームから、前記映像フレーム間における背景の動きを示すグローバルベクトルを算出するグローバルベクトル算出手段と、前記フィルタ係数を複数記憶した係数記憶手段と、前記被写体動きベクトルと前記グローバルベクトルとの差に基づいて、前記係数記憶手段に記憶されているフィルタ係数の中から、前記映像フレームに乗ずるフィルタ係数を選択する係数選択手段とを備え、前記映像フレーム合成手段が、前記係数選択手段で選択されたフィルタ係数に基づいて、前記映像フレームを合成することを特徴とする。
【００２２】
かかる構成によれば、特殊効果映像生成装置は、グローバルベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における背景の動きとなるグローバルベクトルを算出する。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、背景が動いた動きベクトルとみなすことができる。
【００２３】
そして、特殊効果映像生成装置は、係数選択手段によって、予め係数記憶手段に記憶されたフィルタ係数を、被写体動きベクトルとグローバルベクトルとの差により選択する。例えば、注目被写体と背景との動きの差が大きい場合、背景の解像度を大きく低下させないようなフィルタ係数を選択する。これによって、連続した映像フレームにおいて、注目被写体以外の背景の解像度の変動が小さくなるようにフィルタ係数を選択できるので、映像フレーム合成手段において、映像フレームを合成したときに、注目被写体の動きの大きさに影響されずに、背景の解像度の低下が一定となる特殊効果映像を生成することができる。
【００２４】
また、請求項６に記載の特殊効果映像生成方法は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成方法であって、前記入力映像において、前記注目被写体を指定する注目被写体指定ステップと、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出ステップと、この被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正ステップと、この映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、特殊効果映像生成方法は、注目被写体指定ステップによって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出ステップによって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００２６】
さらに、特殊効果映像生成方法は、映像フレーム位置補正ステップによって、被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成ステップによって、映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００２７】
さらに、請求項７に記載の特殊効果映像生成プログラムは、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２８】
すなわち、前記入力映像において、前記注目被写体を指定する注目被写体指定手段、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段、この被写体動きベクトル算出手段で算出した前記動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して１つの映像フレームを生成する映像フレーム合成手段、とした。
【００２９】
かかる構成によれば、特殊効果映像生成プログラムは、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００３０】
さらに、特殊効果映像生成プログラムは、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（特殊効果映像生成装置の構成：第一の実施の形態）
図１は、本発明における第一の実施の形態である特殊効果映像生成装置１の構成を示したブロック図である。特殊効果映像生成装置１は、入力映像（映像信号）の中で注目すべき被写体（以下、注目被写体という）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００３２】
この特殊効果映像生成装置１は、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０と、を備える構成とした。
【００３３】
注目被写体指定手段１０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体に含まれる矩形領域を、注目被写体領域として指定するものである。この注目被写体指定手段１０は、指定された注目被写体領域の位置及び大きさを、注目被写体領域情報として被写体動きベクトル算出手段２０へ出力する。なお、注目被写体を指定するために表示される映像フレームや、注目被写体領域は、図示していない表示手段によって表示されるものとする。
【００３４】
被写体動きベクトル算出手段２０は、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０から入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された被写体動きベクトルは、映像フレーム位置補正手段３０へ出力される。
【００３５】
この被写体動きベクトル算出手段２０については、さらに、図２を参照（適宜図１参照）して説明を行う。図２は、被写体動きベクトル算出手段２０の内部構成を示したブロック図である。図２に示すように被写体動きベクトル算出手段２０は、映像遅延部２１と、動きベクトル検出部２２とを備えて構成した。
【００３６】
映像遅延部２１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部２１で１映像フレーム分遅延された映像信号は動きベクトル検出部２２へ出力される。
【００３７】
動きベクトル検出部２２は、外部から入力される映像信号と、映像遅延部２１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、注目被写体指定手段１０から入力された注目被写体領域情報で示される注目被写体領域の移動量と方向を示す動きベクトルを算出するものである。例えば、動きベクトル検出部２２は、映像遅延部２１から入力される映像フレーム内の注目被写体領域が、外部から入力される映像信号の映像フレーム内でどの領域に移動したかを輝度信号レベルの相関を調べるブロックマッチング法に基づいて算出する。
図１に戻って説明を続ける。
【００３８】
映像フレーム位置補正手段３０は、外部から入力される映像信号と、被写体動きベクトル算出手段２０から入力される被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正した補正映像信号を生成するものである。
【００３９】
この映像フレーム位置補正手段３０については、さらに、図３を参照（適宜図１参照）して説明を行う。図３は、映像フレーム位置補正手段３０の内部構成の一例を示したブロック図である。図３に示すように映像フレーム位置補正手段３０は、映像遅延部３１（３１ａ，３１ｂ，３１ｃ，３１ｄ）と、位置合わせ部３２（３２ａ，３２ｂ，３２ｃ，３２ｄ）と、符号反転部３３（３３ａ，３３ｂ）と、加算部３４（３４ａ，３４ｂ）と、動きベクトル遅延部３５（３５ａ，３５ｂ，３５ｃ）とを備えて構成した。
【００４０】
この映像フレーム位置補正手段３０は、連続した５つの映像フレームに基づいて、その真中（３番目）の映像フレームを特定映像フレームとして、その特定映像フレーム以外の映像フレームの画素位置を補正し、５つの補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥを生成し出力するものである。
【００４１】
映像遅延部３１は、映像信号を映像フレーム単位で遅延させるものである。また、位置合わせ部３２は、映像信号と被写体動きベクトルとに基づいて、映像信号で入力される映像フレームの画素位置を被写体動きベクトル分だけ移動させることで、注目被写体の位置を、特定映像フレームの注目被写体の位置と同じ位置に合わせるとともに、被写体動きベクトル分移動させることで発生する映像フレームにおける画素の欠落部分の補填を行うものである。
【００４２】
また、符号反転部３３は、被写体動きベクトルの値の符号を反転させるものであり、加算部３４は、入力される２つの信号量を加算した新たな信号を生成するものである。さらに、動きベクトル遅延部３５は、入力された被写体動きベクトルを映像フレーム単位で遅延させるものである。
【００４３】
このように構成することで、補正映像信号Ａは以下のように生成される。
まず、動きベクトル遅延部３５ｃから出力される最初の映像フレームと２番目の映像フレームとの間の被写体動きベクトルと、動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルとを、加算部３４ｂで加算する。これによって、最初の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルが算出される。
【００４４】
そして、加算部３４ｂから出力される被写体動きベクトルと、映像遅延部３１ｄから出力される最初の映像フレームとに基づいて、位置合わせ部３２ｄが、最初の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する最初の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ａとして生成し出力する。
【００４５】
また、補正映像信号Ｂは、以下のように生成される。
動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルと、映像遅延部３１ｃから出力される２番目の映像フレームとに基づいて、位置合わせ部３２ｃが、２番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する２番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｂとして生成し出力する。
【００４６】
また、補正映像信号Ｄは、以下のように生成される。
動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルの符号を、符号反転部３３ｂが反転させる。この符号反転部３３ｂで符号を反転された被写体動きベクトルと映像遅延部３１ａから出力される４番目の映像フレームとに基づいて、位置合わせ部３２ｂが、４番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する４番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｄを生成し出力する。
【００４７】
また、補正映像信号Ｅは、以下のように生成される。
まず、動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルと、被写体動きベクトル算出手段２０から入力される４番目の映像フレームと５番目の映像フレームとの間の被写体動きベクトルとを、加算部３４ａで加算する。これによって、３番目の映像フレーム（特定映像フレーム）と５番目の映像フレームとの間の被写体動きベクトルが算出される。
【００４８】
そして、符号反転部３３ａによって、加算部３４ａから出力される被写体動きベクトルの符号を反転した被写体動きベクトルと、５番目の映像フレームとに基づいて、位置合わせ部３２ａが、５番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する５番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｅとして生成し出力する。
【００４９】
なお、補正映像信号Ｃは、映像遅延部３１ａ及び映像遅延部３１ｂで遅延され、映像遅延部３１ｂから出力される３番目の映像フレーム（特定映像フレーム）がそのまま出力される。
【００５０】
ここでは、映像フレーム位置補正手段３０を、連続した５つの映像フレームから補正映像信号を生成するものとして構成としたが、この構成に限定されるものではない。例えば、映像フレーム位置補正手段３０から、映像遅延部３１ａ及び３１ｄ、位置合わせ部３２ａ及び３２ｄ、符号反転部３３ａ、加算部３４ａ及び３４ｂ、並びに、動きベクトル遅延部３５ａ及び３５ｃを削除することで、連続した３つの映像フレームから補正映像信号を生成することも可能である。
【００５１】
また、映像フレーム位置補正手段３０は、映像遅延部３１と、位置合わせ部３２と、符号反転部３３と、加算部３４と、動きベクトル遅延部３５とを増やすことで連続した５つ以上の映像フレームから補正映像信号を生成することも可能である。なお、注目被写体の位置の基準となる特定映像フレームは、必ずしも連続した映像フレームの真中にある必要はない。
図１に戻って説明を続ける。
【００５２】
映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を入力し、各補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０については、さらに、図４を参照（適宜図１参照）して説明を行う。図４は、映像フレーム合成手段４０の内部構成を示したブロック図である。図４に示すよう映像フレーム合成手段４０は、係数設定部４１と乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３とを備えて構成した。
【００５３】
この映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥに対して、特定のフィルタ係数を乗算したのちに各補正映像信号を加算して、特殊効果映像信号（特殊効果映像）を生成するものである。なお、このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００５４】
係数設定部（係数設定手段）４１は、図示していないキーボード等の入力手段によって、各補正映像信号に乗ずるフィルタ係数を設定するものである。ここで設定されたフィルタ係数は、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力される。
【００５５】
乗算部４２は、入力される２つの信号量を乗算し新たな信号を生成するものである。例えば、乗算部４２（４２ａ）は、補正映像信号Ａに係数設定部４１で設定したフィルタ係数を乗じた信号を生成する。この乗算部４２で生成された信号は加算部４３へ出力される。
【００５６】
加算部４３は、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）から出力される信号を加算し、特殊効果映像信号（特殊効果映像）として出力するものである。
【００５７】
なお、この映像フレーム合成手段４０において、係数設定部４１で設定するフィルタ係数を、例えば、補正映像信号Ａ〜Ｅに対応して、１／５、１／５、１／５、１／５、１／５と設定する。これによって、注目被写体は連続する映像フレーム（補正映像信号）の同一位置に存在するため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算することで、元の解像度を再現することができる。また、注目被写体以外の領域は、各映像フレーム（補正映像信号）において「ずれ」が発生しているため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算しても、もとの解像度を再現することはなく、解像度を低下させることができる。
【００５８】
また、係数設定部４１で設定するフィルタ係数は、補正映像信号Ｃ（ここでは特定映像フレームの映像信号）に乗ずるフィルタ係数の割合を高め、例えば、補正映像信号Ａ〜Ｅに対応して、１／９、１／９、５／９、１／９、１／９とすることで、注目被写体以外の領域の解像度の低下を軽減することができる。なお、この係数設定部４１で設定するフィルタ係数と、注目被写体以外の領域の解像度との関係は、図９に示すように、特定映像フレーム（図４における補正映像信号Ａ）に乗ずるフィルタ係数を大きくし、他の映像フレーム（図４における補正映像信号Ａ、Ｂ、Ｄ及びＥ）に乗ずるフィルタ係数を小さくすると、注目被写体以外の領域の解像度は高くなる。また、特定映像フレームに乗ずるフィルタ係数を小さくし、他の映像フレームに乗ずるフィルタ係数を大きくすると、注目被写体以外の領域の解像度は低くなる。
【００５９】
なお、ここでは、映像フレーム合成手段４０を連続した５つの補正映像信号に基づいて、特殊効果映像信号を生成するものとして構成したが、乗算部４２を増減させることで任意の数の補正映像信号から特殊効果映像信号を生成する構成とすることも可能である。
【００６０】
以上、特殊効果映像生成装置１の構成について説明したが、特殊効果映像生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００６１】
（特殊効果映像生成装置の動作）
次に、図１及び図１０を参照して、特殊効果映像生成装置１の動作について説明する。図１０は、特殊効果映像生成装置１の動作を示すフローチャートである。
【００６２】
［注目被写体指定ステップ］
まず最初に、注目被写体指定手段１０によって、映像信号として入力される映像フレーム内の注目被写体を指定する（ステップＳ１）。例えば、図５に示すように、処理対象となる映像の最初の映像フレーム上で、車Ｃ１を注目被写体として指定する場合、車Ｃ１内に含まれる矩形領域を注目被写体領域Ｐ１として指定する。
【００６３】
［被写体動きベクトル算出ステップ］
次に、被写体動きベクトル算出手段２０によって、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０で指定された注目被写体を示す矩形領域の動きベクトル（被写体動きベクトル）を算出する（ステップＳ２）。なお、この被写体動きベクトル算出ステップは、映像フレームが入力されるたびに逐次、先に入力された映像フレームと後から入力された映像フレームとに基づいて、被写体動きベクトルを算出する。
【００６４】
［映像フレーム位置補正ステップ］
そして、映像フレーム位置補正手段３０によって、連続して入力される映像フレーム（映像信号）と被写体動きベクトル算出手段２０で算出された被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、画素位置をずらす（ステップＳ３）。そして、ステップＳ３で映像フレームの画素位置をずらすことで発生する画素の欠落部分を補填した補正映像信号を複数の映像フレーム分生成する（ステップＳ４）。なお、特定映像フレームの映像信号は補正を行わずに、そのまま補正映像信号とする。
【００６５】
ここで、映像フレーム位置補正手段３０の動作について、図６及び図７を参照（適宜図１参照）して具体的な映像を例にして視覚的に説明を行う。図６は、連続した映像フレームの内容と、その連続した映像フレームにおいて、注目被写体の位置を合わせるように、画素位置をずらした映像フレームの内容を示したものである。図７は、画素位置をずらした映像フレームの画素の欠落部分を補填する方法の一例を示した図である。ここでは、説明を簡略化するために３つの連続した映像フレームを用いて補正映像信号を生成する動作を説明するが、それ以外の連続した映像フレームであっても動作は同様である。
【００６６】
図６（ａ）は、（ａ−１）、（ａ−２）、（ａ−３）の順番で時間的に経過する３つの連続した映像フレームの内容を示している。ここでは注目被写体である車Ｃ１が表示画面上で右から左へ移動しているものとする。また、図６（ｂ）は、図６（ａ）の映像フレーム（ａ−２）を特定映像フレームとして、その１つ前の映像フレーム（ａ−１）、及び１つ後の映像フレーム（ａ−３）の画素位置を、特定映像フレーム（ａ−２）の注目被写体（車Ｃ１）の位置に合わせるように画素位置をずらした内容を示している。
【００６７】
ここで、（ｂ−２）は、映像フレーム（ａ−２）と同じ映像フレームで特定映像フレームの内容を示している。また、（ｂ−１）は、映像フレーム（ａ−１）を、その映像フレームの注目被写体（車Ｃ１）の位置を、１映像フレーム分後の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、右から左へ移動を行ったので、映像フレーム（ｂ−１）では右側に画素の欠落部分（ＳＰ１）が発生している。
【００６８】
また、（ｂ−３）は、映像フレーム（ａ−３）を、その映像フレームの注目被写体（車Ｃ１）の位置を１映像フレーム分前の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、左から右へ移動を行ったので、映像フレーム（ｂ−３）では左側に画素の欠落部分（ＳＰ２）が発生している。
【００６９】
そして、映像フレーム位置補正手段３０は、図７に示すように画素の欠落部分の補填を行う。図７（ａ）では、ＦＲ１が元の映像フレームの内容を示しており、ＦＲ２が画素位置をずらして位置合わせを行う位置を示している。このように、元の映像フレームＦＲ１内の注目被写体Ｃ１が動くことで画素の欠落部分ＳＰが発生する。この画素の欠落部分ＳＰの補填は、種々の外挿手法によって行うことが可能であるが、ここでは、鏡像を用いた例について説明する。
【００７０】
図７（ｂ）に示すように、元の映像フレームＦＲ１の左右に画素の欠落部分が発生する場合は、映像フレームＦＲ１を左右に反転した線対称映像ＭＩ１を作成し（ここでは右側のみに作成）、元の映像フレームＦＲ１の上下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下に反転した線対称映像ＭＩ２を作成する（ここでは下側のみに作成）。また、元の映像フレームＦＲ１の斜め右上、右下、左上又は左下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下左右に反転した点対称映像ＭＩ３を作成する（ここでは右下のみに作成）。このように作成された鏡像から、位置合わせを行った領域ＦＲ２を切り出すことで、図７（ｃ）に示すような画素の欠落部分を補填した映像（補正映像信号）が生成される。
なお、この画素の欠落部分の補填は、その他の外挿手法、例えば、元の映像フレームの内容をそのまま利用する（０次ホールド）手法を用いることもできる。
図１０のフローチャートに戻って説明を続ける。
【００７１】
［映像フレーム合成ステップ］
映像フレーム合成手段４０によって、ステップＳ４で生成された複数の映像フレームの補正映像信号毎に特定の係数（フィルタ係数）を乗算する（ステップＳ５）。そして、フィルタ係数を乗算した補正映像信号を複数の映像フレーム数分加算して（ステップＳ６）して、特殊効果映像信号として出力する（ステップＳ７）。
【００７２】
この映像フレーム合成手段４０から出力される特殊効果映像信号の例を図８に示す。図８は、特殊効果映像信号として出力される映像を模式的に表したものである。図８（ａ）に示すような映像信号の前後に連続する映像フレームから、図８（ｂ）に示すような特殊効果映像信号の映像フレームが生成される。ここでは、連続する３つの映像フレームから、特殊効果映像信号の映像フレームが生成した例を示しているが、図８（ｂ）に示すように、注目被写体（車Ｃ１）は解像度を保持し、注目被写体（車Ｃ１）以外の領域は解像度を低下させた映像となっている。この解像度の低下具合は、映像フレーム合成手段４０で乗算するフィルタ係数によって変化させることができる。
【００７３】
以上の各ステップによって、入力映像（映像信号）の中で指定された注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させた特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００７４】
（特殊効果映像生成装置：第二の実施の形態）
次に、図１１を参照して、本発明における第二の実施の形態である特殊効果映像生成装置１Ｂについて説明する。図１１は、特殊効果映像生成装置１Ｂの構成を示したブロック図である。図１１に示すように特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体（以下、非注目被写体という）とを指定することで、その注目被写体のみの解像度を保持したままで、注目被写体以外の領域（非注目被写体を含む）の解像度を低下させる特殊効果を施した特殊効果映像を生成するものである。
【００７５】
特殊効果映像生成装置１（図１）は、入力映像（映像信号）の中に注目被写体と同じ動きをする非注目被写体が存在した場合、注目被写体以外の領域の解像度を低下させようとしても、非注目被写体の解像度が保持されたままになってしまう。そこで、特殊効果映像生成装置１Ｂは、注目被写体以外の領域と、その領域に含まれる注目被写体と同じ動きをする非注目被写体の解像度を低下させるものである。
【００７６】
この特殊効果映像生成装置１Ｂは、特殊効果映像生成装置１に、非注目被写体設定手段５０と、非注目被写体追跡手段６０と、解像度低下処理手段７０とを付加して構成した。
【００７７】
特殊効果映像生成装置１内の被写体動きベクトル算出手段２０（２０Ｂ）、非注目被写体設定手段５０、非注目被写体追跡手段６０及び解像度低下処理手段７０以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
【００７８】
被写体動きベクトル算出手段２０Ｂは、入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された動きベクトルは、映像フレーム位置補正手段３０及び非注目被写体追跡手段６０へ出力される。なお、この被写体動きベクトル算出手段２０Ｂは、被写体動きベクトル算出手段２０（図１）に比べて出力先が増えているだけで機能は同じものである。
【００７９】
非注目被写体設定手段５０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体と同じ動きをする非注目被写体の領域を設定するものである。この非注目被写体設定手段５０は、設定された非注目被写体領域の位置及び大きさを、非注目被写体領域情報として非注目被写体追跡手段６０へ出力する。
【００８０】
なお、非注目被写体領域は、非注目被写体を含んだ矩形領域とする。例えば、図１２に示すように、処理対象となる映像の最初の映像フレーム上で、注目被写体（車Ｃ１）と同じ動きをする自転車を含んだ矩形領域を非注目被写体領域Ｂ１として設定する。
【００８１】
非注目被写体追跡手段６０は、非注目被写体設定手段５０で設定された非注目被写体領域と、被写体動きベクトル算出手段２０Ｂで算出された注目被写体の被写体動きベクトルとに基づいて、非注目被写体の領域（非注目被写体領域）の位置を映像上で追跡するものである。ここで追跡される非注目被写体領域は、非注目被写体追跡手段６０内で保持されるとともに、解像度低下処理手段７０へ出力される。
【００８２】
この非注目被写体追跡手段６０は、非注目被写体が注目被写体と同じ動きをすることを前提としているため、被写体動きベクトル算出手段２０Ｂから入力される注目被写体の被写体動きベクトルは、そのまま非注目被写体を含んだ非注目被写体領域の動きベクトルと等しくなる。これによって、非注目被写体追跡手段６０は、保持している非注目被写体領域の位置を逐次更新することで、非注目被写体を追跡することが可能になる。
【００８３】
解像度低下処理手段７０は、映像フレーム合成手段４０から入力される特殊効果映像信号と、非注目被写体追跡手段６０から入力される非注目被写体領域とに基づいて、特殊効果映像信号として入力される映像フレーム内の非注目被写体領域の解像度を低下させた新たな特殊効果映像信号を生成し出力するものである。
【００８４】
この解像度低下処理手段７０において、非注目被写体領域の解像度を低下させるには、例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させる。
【００８５】
この場合、非注目被写体を厳密に指定して解像度を低下させるのではなく、非注目被写体を含んだ非注目被写体領域に対して、解像度低下処理を施すので、従来の技術よりも簡易に解像度を低下させることができる。なお、非注目被写体が注目被写体と異なる動きをするようになったときは、特殊効果映像生成装置１Ｂの操作者が、非注目被写体設定手段５０で非注目被写体領域を解除するものとする。
【００８６】
これによって、特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体とを指定することで、注目被写体のみの解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００８７】
以上、特殊効果映像生成装置１Ｂの構成について説明したが、特殊効果映像生成装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００８８】
（特殊効果映像生成装置：第三の実施の形態）
次に、図１３を参照して、本発明における第三の実施の形態である特殊効果映像生成装置１Ｃについて説明する。図１３は、特殊効果映像生成装置１Ｃの構成を示したブロック図である。図１３に示すように特殊効果映像生成装置１Ｃは、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００８９】
ここでは、特殊効果映像生成装置１Ｃを、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０Ｂと、グローバルベクトル算出手段８０と、係数選択手段９０とを備えて構成した。注目被写体指定手段１０、被写体動きベクトル算出手段２０及び映像フレーム位置補正手段３０は、図１に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【００９０】
グローバルベクトル算出手段８０は、連続して入力される映像フレーム（映像信号）から、背景の動きベクトルとなるグローバルベクトルを算出するものである。ここで算出されたグローバルベクトルは、係数選択手段９０へ出力される。このグローバルベクトル算出手段８０については、さらに、図１４を参照（適宜図１３参照）して説明を行う。図１４は、グローバルベクトル算出手段８０の内部構成を示したブロック図である。図１４に示すようにグローバルベクトル算出手段８０は、映像遅延部８１と、動きベクトル検出部８２とを備えて構成した。
【００９１】
映像遅延部８１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部８１で１映像フレーム分遅延された映像信号は動きベクトル検出部８２へ出力される。
【００９２】
動きベクトル検出部８２は、入力される映像信号と、映像遅延部８１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、映像フレーム内の背景が動いた動きベクトルであるグローバルベクトルを算出するものである。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、映像フレーム内の背景が動いた動きベクトルとみなすことができる。
【００９３】
この動きベクトル検出部８２では、例えば、連続する映像フレームにおいて、ブロックマッチング法により、特定の大きさ（例えば、１６×１６画素等）のマクロブロック単位の動きベクトルを算出し、映像フレーム内におけるマクロブロックの動きベクトルのヒストグラム分布で、最大頻度となる動きベクトルをグローバルベクトルとする。
【００９４】
また、これ以外にも、このグローバルベクトルを検出（算出）する手法として、「上倉一人 等，“動画像符号化におけるグローバル動き補償法”，電子情報通信学会論文誌Ｂ−Ｉ，Ｖｏｌ．Ｊ７６−Ｂ−Ｉ，Ｎｏ．１２，ｐ．９４４−９５２，１９９３年１２月」や、カメラの動き情報やズーム情報等のカメラデータ（メタデータ）からグローバルベクトルを求める「鄭文濤 等，“Ａ Ｈｉｇｈ−Ｐｒｉｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．４７，Ｎｏ．１，ｐ．４６−５５，Ｍａｒｃｈ ２００１」で開示されている技術を用いることができる。
【００９５】
例えば、カメラデータによってグローバルベクトルを求めるには、グローバルベクトル算出手段８０に、図示していないカメラデータ入力手段を備え、カメラの動き（パン、チルト、ズーム等）によって、映像フレーム内のあるマクロブロックが当該映像フレームのどこに移動するかを算出し、そのマクロブロックの移動方向及び移動量を統計した量をグローバルベクトルとする。例えば、カメラを画面の右方向にパンすると、背景として映っている領域は左方向に移動したように見える。この移動した領域は映像フレーム内では動きを持っているが、実際には背景領域となるものである。このように、カメラデータによって、グローバルベクトルを求める場合は、映像フレーム間でマクロブロック単位の動きベクトルを算出する必要はない。
図１３に戻って説明を続ける。
【００９６】
係数選択手段９０は、被写体動きベクトル算出手段２０で算出された被写体動きベクトルと、グローバルベクトル算出手段８０で算出されたグローバルベクトル（背景の動きベクトル）との差を算出し、その差に基づいて、フィルタ係数を選択するための係数選択信号を出力するものである。なお、この係数選択信号は映像フレーム合成手段４０Ｂへ出力される。
【００９７】
この係数選択手段９０については、さらに、図１５を参照（適宜図１３）して説明を行う。図１５は、係数選択手段９０の内部構成の一例を示したブロック図である。図１５に示すように係数選択手段９０は、動きベクトル遅延部９１（９１ａ，９１ｂ，９１ｃ）と、移動量差算出部９２（９２ａ，９２ｂ，９２ｃ，９２ｄ）と、加算部９３（９３ａ，９３ｂ）と、係数選択判定部９４とを備えて構成した。
【００９８】
この係数選択手段９０は、連続した５つの映像フレームにおいて、その真中（３番目）の映像フレームを特定映像フレームとし、各映像フレーム間における被写体動きベクトルとグローバルベクトルとの差に基づいて、係数選択信号を出力するものである。ここでは、特定映像フレームをｎ番目の映像フレームとし、それより前に入力された２つの映像フレームをそれぞれ（ｎ−２）番目、（ｎ−１）番目の映像フレームとする。また、特定映像フレームよりも後に入力された２つの映像フレームをそれぞれ（ｎ＋１）番目、（ｎ＋２）番目の映像フレームとする。
【００９９】
動きベクトル遅延部９１は、入力された被写体動きベクトル及びグローバルベクトルを映像フレーム単位で遅延させるものである。ここで、動きベクトル遅延部９１ｃからの出力を、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとすると、動きベクトル遅延部９１ｂからの出力は、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。また、動きベクトル遅延部９１ａからの出力は、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。さらに、動きベクトル遅延部９１ａへの入力は、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。
【０１００】
移動量差算出部９２は、入力された被写体動きベクトルとグローバルベクトルとの差を算出し、移動量差（ベクトル量）として出力するものである。すなわち、移動量差算出部９２ａは、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄｎ＋２を算出するものである。また、移動量差算出部９２ｂは、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間の移動量差ｄｎ＋１を算出するものである。また、移動量差算出部９２ｃは、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間の移動量差ｄｎ−１を算出するものである。さらに、移動量差算出部９２ｄは、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間の移動量差ｄｎ−２を算出するものである。
【０１０１】
加算部９３は、入力される２つの信号量を加算した新たな信号を生成するものである。加算部９３ａは、移動量算出部９２ａから出力される移動量差ｄｎ＋２と、移動量算出部９２ｂから出力される移動量差ｄｎ＋１とを加算することで、ｎ番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄｎ２を出力するものである。加算部９３ｂは、移動量算出部９２ｃから出力される移動量差ｄｎ−１と、移動量算出部９２ｄから出力される移動量差ｄｎ−２とを加算することで、ｎ番目の映像フレームと（ｎ−２）番目の映像フレームとの間の移動量差ｄｎ１を出力するものである。
【０１０２】
係数選択判定部９４は、特定映像フレームに対する前後の映像フレームの移動量差（被写体動きベクトルとグローバルベクトルとの差）に基づいて、フィルタ係数を選択するための係数選択信号を生成するものである。すなわち、係数選択判定部９４は、特定映像フレームを基準として、２映像フレーム前の移動量差ｄｎ１と、１映像フレーム前の移動量差ｄｎ−１と、１映像フレーム後の移動量差ｄｎ＋１と、２映像フレーム後の移動量差ｄｎ２とに基づいて、係数選択信号を生成する。例えば、係数選択判定部９４は、（１）式に示すような二乗和の平均又は（２）式に示すような絶対値和の平均によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（１）式及び（２）式における分母の５は、映像フレーム数（フィルタ係数長）を示す。
【０１０３】
α＝（ｄｎ１ ２＋ｄｎ−１ ２＋ｄｎ＋１ ２＋ｄｎ２ ２）／５ …（１）式
【０１０４】
α＝（｜ｄｎ１｜＋｜ｄｎ−１｜＋｜ｄｎ＋１｜＋｜ｄｎ２｜）／５ …（２）式
【０１０５】
ここで係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４は、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。なお、（α＜Ｔｈ１）の場合、すなわち、映像フレーム内における注目被写体及び背景の動きが小さい場合は、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｂ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。
図１３に戻って説明を続ける。
【０１０６】
映像フレーム合成手段４０Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０Ｂについては、さらに、図１６を参照（適宜図１３参照）して説明を行う。図１６は、映像フレーム合成手段４０Ｂの内部構成を示したブロック図である。図１６に示すよう映像フレーム合成手段４０Ｂは、係数設定部４１Ｂと、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３と、係数記憶部４４とを備えて構成した。乗算部４２及び加算部４３は、図４に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【０１０７】
係数設定部（係数設定手段）４１Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、各補正映像信号に乗ずるフィルタ係数を係数記憶部４４から読み込んで、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力するものである。
【０１０８】
係数記憶部４４は、予め各補正映像信号に乗ずる複数のフィルタ係数を記憶しておくもので、一般的なメモリ等で構成されるものである。例えば、この係数記憶部４４に記憶しておくフィルタ係数として、｛１／５、１／５、１／５、１／５、１／５｝、｛１／７、１／７、３／７、１／７、１／７｝｛１／９、１／９、５／９、１／９、１／９｝等の組み合わせとする。これによって、注目被写体と背景との動きの差に応じて、解像度の変動を小さくするようにフィルタ係数を選択することが可能になる。
【０１０９】
以上、特殊効果映像生成装置１Ｃの構成について説明したが、特殊効果映像生成装置１Ｃは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１０】
（特殊効果映像生成装置：第四の実施の形態）
次に、図１３、図１５及び図１６を参照して、本発明における第四の実施の形態である特殊効果映像生成装置１Ｄについて説明する。この特殊効果映像生成装置１Ｄは、特殊効果映像生成装置１Ｃと同様に、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。ここで、映像フレーム合成手段４０Ｃ及び係数選択手段９０Ｂ以外の構成は、特殊効果映像生成装置１Ｃと同じであるので、説明を省略する。
【０１１１】
映像フレーム合成手段４０Ｃは、図１６に示した映像フレーム合成手段４０Ｂにおける係数設定部４１Ｂを、乗算部４２に出力しているフィルタ係数を係数選択手段９０Ｂへ通知する機能を付加した係数設定部４１Ｃに変更したものである。
係数選択手段９０Ｂは、図１５に示した係数選択手段９０の係数選択判定部９４を以下に説明する機能に変更した係数選択判定部９４Ｂとして構成したものである。
【０１１２】
すなわち、係数選択判定部９４Ｂは、映像フレーム合成手段４０Ｃから通知されるフィルタ係数と特定映像フレームに対する前後の映像フレームの移動量差とに基づいて、フィルタ係数を選択するための係数選択信号を生成するものとする。例えば、係数選択判定部９４Ｂは、（３）式に示すような重み付き二乗和又は（４）式に示すようなフィルタ係数による重み付き絶対値和によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（３）式及び（４）式におけるａ−２、ａ−１、ａ１及びａ２は、フィルタ係数を示している。
【０１１３】
α＝ａ−２ ２・ｄｎ１ ２＋ａ−１ ２・ｄｎ−１ ２＋ａ１ ２・ｄｎ＋１ ２＋ａ２ ２・ｄｎ２ ２…（３）式
【０１１４】
α＝｜ａ−２｜・｜ｄｎ１｜＋｜ａ−１｜・｜ｄｎ−１｜＋｜ａ１｜・｜ｄｎ＋１｜＋｜ａ２｜・｜ｄｎ２｜ …（４）式
【０１１５】
ここでフィルタ係数の係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４Ｂは、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。
【０１１６】
これにより、例えば、映像フレーム内における注目被写体及び背景の動きが大きく、判定基準値αの値が大きいときは、映像フレーム合成手段４０Ｃ（図１３）において、フィルタのタップ数を減らして動作させることが可能になる。また、判定基準値αが小さいときは、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｃ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。これによって、特殊効果映像生成装置１Ｄは、注目被写体及び背景映像の動きの差とフィルタ係数とによって、注目被写体以外の領域の解像度の変動を軽減させることができる。
【０１１７】
以上、特殊効果映像生成装置１Ｄの構成及び機能について説明したが、特殊効果映像生成装置１Ｄは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１８】
【発明の効果】
以上説明したとおり、本発明に係る特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムでは、以下に示す優れた効果を奏する。
【０１１９】
請求項１、請求項６又は請求項７に記載の発明によれば、入力映像に含まれる注目する被写体の動き情報（動きベクトル）を利用した、時間方向のフィルタリング処理による簡易な手法によって、動きのある注目被写体の解像度を保持したまま、それ以外の領域の解像度を低下させることが可能になる。これによって、従来の特殊効果映像生成手法に、本発明を付加することで低コストで新たな特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２０】
請求項２に記載の発明によれば、注目被写体の位置を補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算するという簡易な手法で、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２１】
請求項３に記載の発明によれば、複数の映像フレームの各画素値を、映像フレーム毎に乗ずるフィルタ係数の値を可変にできるため、注目被写体以外の領域の解像度を変化させることが可能になる。これによって、同一映像であっても、特殊効果の異なる特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２２】
請求項４に記載の発明によれば、注目被写体と同じ動きをする被写体（非注目被写体）が映像上に存在していても、その非注目被写体を含んだ矩形領域を指定するだけで非注目被写体の解像度を低下させることができ、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２３】
請求項５に記載の発明によれば、注目被写体と背景映像との動きの差によって、注目被写体以外の領域における解像度を低下させることができるので、注目被写体から離れた背景の解像度を低下させることができ、注目被写体の動きによる注目被写体以外の領域における解像度の変動を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係る特殊効果映像生成装置の被写体動きベクトル算出手段の構成例を示すブロック図である。
【図３】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム位置補正手段の構成例を示すブロック図である。
【図４】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【図５】注目被写体指定手段における注目被写体領域を指定するための画面例を示した図である。
【図６】映像フレーム位置補正手段における映像フレームの画素位置をずらす動作を模式的に示した模式図である。
【図７】映像フレーム位置補正手段における画素の欠落部分の補填を行う動作を模式的に示した模式図である。
【図８】特殊効果映像生成装置によって特殊効果映像信号として出力される画面例を示した図である。
【図９】映像フレームに乗ずるフィルタ係数と、注目被写体以外の領域の解像度との関係を示した図である。
【図１０】本発明の第一の実施の形態に係る特殊効果映像生成装置の動作を示すフローチャートである。
【図１１】本発明の第二の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１２】非注目被写体設定手段における非注目被写体領域を設定するための画面例を示した図である。
【図１３】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１４】本発明の第三の実施の形態に係る特殊効果映像生成装置のグローバルベクトル算出手段の構成例を示すブロック図である。
【図１５】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の係数選択手段の構成例を示すブロック図である。
【図１６】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【符号の説明】
１、１Ｂ、１Ｃ、１Ｄ……特殊効果映像生成装置
１０ ……注目被写体指定手段
２０、２０Ｂ ……被写体動きベクトル算出手段
３０ ……映像フレーム位置補正手段
４０、４０Ｂ、４０Ｃ……映像フレーム合成手段
４１、４１Ｂ、４１Ｃ……係数設定部（係数設定手段）
４４ ……係数記憶部（係数記憶手段）
５０ ……非注目被写体設定手段
６０ ……非注目被写体追跡手段
７０ ……解像度低下処理手段
８０ ……グローバルベクトル算出手段
９０、９０Ｂ ……係数選択手段
Claims (7)
- 入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置であって、
前記入力映像において、前記注目被写体を指定する注目被写体指定手段と、
前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段と、
この被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段と、
この映像フレーム位置補正手段で補正した複数の映像フレームを合成して前記特殊効果映像を生成する映像フレーム合成手段と、
を備えていることを特徴とする特殊効果映像生成装置。 - 前記映像フレーム合成手段は、前記映像フレーム位置補正手段で補正した複数の映像フレームの各画素値を、前記映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算することを特徴とする請求項１に記載の特殊効果映像生成装置。
- 前記映像フレーム合成手段は、前記フィルタ係数を設定する係数設定手段を備え、
前記映像フレームの画素値に乗ずるフィルタ係数を変えることで、前記注目被写体以外の映像の解像度を変えることを特徴とする請求項２に記載の特殊効果映像生成装置。 - 前記注目被写体と同一の動きをする非注目被写体の領域を設定する非注目被写体設定手段と、
この非注目被写体設定手段で設定した非注目被写体領域を、前記被写体動きベクトルに基づいて追跡する非注目被写体追跡手段と、
前記映像フレーム合成手段から出力される特殊効果映像における、前記非注目被写体領域の解像度を低下させる解像度低下処理手段と、
を備えていることを特徴とする請求項１乃至請求項３のいずれか１項に記載の特殊効果映像生成装置。 - 前記入力映像の連続した映像フレームから、前記映像フレーム間における背景の動きを示すグローバルベクトルを算出するグローバルベクトル算出手段と、
前記フィルタ係数を複数記憶した係数記憶手段と、
前記被写体動きベクトルと前記グローバルベクトルとの差に基づいて、前記係数記憶手段に記憶されているフィルタ係数の中から、前記映像フレームに乗ずるフィルタ係数を選択する係数選択手段とを備え、
前記映像フレーム合成手段が、前記係数選択手段で選択されたフィルタ係数に基づいて、前記映像フレームを合成することを特徴とする請求項２又は請求項３に記載の特殊効果映像生成装置。 - 入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成方法であって、
前記入力映像において、前記注目被写体を指定する注目被写体指定ステップと、
前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出ステップと、
この被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正ステップと、
この映像フレーム位置補正ステップで補正した複数の映像フレームを合成して前記特殊効果映像を生成する映像フレーム合成ステップと、
を含んでいることを特徴とする特殊効果映像生成方法。 - 入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成するために、コンピュータを、
前記入力映像において、前記注目被写体を指定する注目被写体指定手段、
前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段、
この被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段、
この映像フレーム位置補正手段で補正した複数の映像フレームを合成して前記特殊効果映像を生成する映像フレーム合成手段、
として機能させることを特徴とする特殊効果映像生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003017023A JP4163968B2 (ja) | 2002-08-29 | 2003-01-27 | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002250239 | 2002-08-29 | ||
| JP2003017023A JP4163968B2 (ja) | 2002-08-29 | 2003-01-27 | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004147281A true JP2004147281A (ja) | 2004-05-20 |
| JP4163968B2 JP4163968B2 (ja) | 2008-10-08 |
Family
ID=32472770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003017023A Expired - Fee Related JP4163968B2 (ja) | 2002-08-29 | 2003-01-27 | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4163968B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259106A (ja) * | 2006-03-23 | 2007-10-04 | Fujifilm Corp | 撮像画像中の動体の検出方法及びその装置 |
| JP2012060201A (ja) * | 2010-09-03 | 2012-03-22 | Olympus Imaging Corp | 撮像装置および撮像プログラム |
| JP2014135784A (ja) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | 撮像装置、撮像方法および撮像プログラム |
| US8810691B2 (en) | 2010-09-03 | 2014-08-19 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| KR102027172B1 (ko) * | 2018-11-05 | 2019-10-01 | 전자부품연구원 | Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 |
| US11025880B2 (en) | 2018-11-05 | 2021-06-01 | Korea Electronics Technology Institute | ROI-based VR content streaming server and method |
-
2003
- 2003-01-27 JP JP2003017023A patent/JP4163968B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259106A (ja) * | 2006-03-23 | 2007-10-04 | Fujifilm Corp | 撮像画像中の動体の検出方法及びその装置 |
| JP2012060201A (ja) * | 2010-09-03 | 2012-03-22 | Olympus Imaging Corp | 撮像装置および撮像プログラム |
| US8810691B2 (en) | 2010-09-03 | 2014-08-19 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| US9241112B2 (en) | 2010-09-03 | 2016-01-19 | Olympus Corporation | Imaging apparatus, imaging method and computer-readable recording medium |
| JP2014135784A (ja) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | 撮像装置、撮像方法および撮像プログラム |
| KR102027172B1 (ko) * | 2018-11-05 | 2019-10-01 | 전자부품연구원 | Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 |
| WO2020096118A1 (ko) * | 2018-11-05 | 2020-05-14 | 전자부품연구원 | Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법 |
| US11025880B2 (en) | 2018-11-05 | 2021-06-01 | Korea Electronics Technology Institute | ROI-based VR content streaming server and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4163968B2 (ja) | 2008-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5687553B2 (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
| US7865030B2 (en) | Method and system for motion compensated temporal filtering using both FIR and IIR filtering | |
| KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
| JP2003526272A (ja) | ビデオ画像のシャープさを改善するシステム及び方法 | |
| US8305489B2 (en) | Video conversion apparatus and method, and program | |
| JP2009251839A (ja) | 画像信号処理回路、画像表示装置、および画像信号処理方法 | |
| US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
| CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| JPH07288768A (ja) | 映像信号処理方法および映像信号処理装置 | |
| JP2006074155A (ja) | 画像処理装置および画像処理方法ならびに画像表示装置 | |
| WO2011155258A1 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
| US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
| JP4163968B2 (ja) | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム | |
| US8213718B2 (en) | Method for video mode detection | |
| KR101517233B1 (ko) | 움직임 추정을 이용한 잡음 제거장치 | |
| US20120008692A1 (en) | Image processing device and image processing method | |
| JP4878628B2 (ja) | 映像処理装置および映像処理方法 | |
| JP2009147670A (ja) | 映像処理装置及びそれを用いた映像表示装置 | |
| JP2007060192A (ja) | 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体 | |
| JP2008011476A (ja) | フレーム補間装置及びフレーム補間方法 | |
| JP4886479B2 (ja) | 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置 | |
| JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
| US8817191B2 (en) | Image processing apparatus and image processing method | |
| JP2005293361A (ja) | 画像処理装置 | |
| US20090046208A1 (en) | Image processing method and apparatus for generating intermediate frame image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080725 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140801 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |