JP2004186994A - オブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラム - Google Patents

Abstract

【課題】時系列の画像データに撮影されている物体の運動動作におけるポイントが明瞭なストロボ画像を生成することを可能にする。
【解決手段】オブジェクト画像抽出部２２は、時系列画像データ入力部２０によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成する。画像加工部２４は、時系列のオブジェクト画像データの一部分に他と異なる画像加工を施す。画像合成部３０は、一部分に画像加工が施された時系列のオブジェクト画像データを重ね合わせながら合成することでストロボ画像を生成する。例えば、注目するフレームのオブジェクト画像の領域に上書きしないように合成することで、スポーツのダイナミックな瞬間を捕らえているストロボ画像を生成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばテレビ放送で用いる特殊映像効果、特にストロボ合成のためのオブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラムに関する。
【０００２】
【従来の技術】
一般に、画像中の特定の被写体に注目し、その物体の運動を解析する技術は、ＴＶのスポーツ中継において視聴者に対して効果的な合成映像を提供したり、野球、テニス、ゴルフなどの運動を解析してスポーツ選手の技術向上に利用したりする等、画像に関する重要な技術の一つである。
【０００３】
スポーツ選手の動作を分かりやすく画像に表示するためのシステムとして、例えば非特許文献１「マルチモーション―体操選手のフォーム・軌跡表示システム―」八木、李、野口（画像ラボ，ｖｏｌ．９，ｎｏ．４，ｐｐ．５５−６０，日本工業出版，Ａｐｒｉｌ １９９８）に、ストロボ合成のシステムが提案されている。
【０００４】
ここで、ストロボ合成を野球のバッターの画像を例に説明する。
例えば、バッターがスイングする様子をビデオカメラで撮影することにより、時系列のフレーム画像を複数枚入力し、この入された複数枚のフレーム画像から人物以外の背景領域を削除したオブジェクト画像を作成する。このオブジェクト画像を作成処理は、オブジェクト抽出、オブジェクト切出しなどと呼ばれる。
【０００５】
オブジェクト抽出は、先の非特許文献では自動的なアルゴリズムを用いているが、１フレームずつ、オペレータがオブジェクト領域をマニュアル操作で設定する場合もあり、状況により様々である。
【０００６】
オブジェクト抽出により作成された時系列のオブジェクト画像について、最初のフレームのオブジェクト画像に第２フレームのオブジェクト画像を重ね合わせ、以降のフレームのオブジェクト画像についても同様に１枚ずつ上書きしていくストロボ合成をすることでストロボ画像を生成する。各フレームのオブジェクト画像を重ねたストロボ画像を、オブジェクト画像の重ね合わせ毎に順次連続して表示することにより、動画像として人物の動きの軌跡が表示されるので、バッティングフォームのチェックや解析を容易に行なうことができる。
【０００７】
【非特許文献１】
「マルチモーション―体操選手のフォーム・軌跡表示システム―」八木、李、野口（画像ラボ，ｖｏｌ．９，ｎｏ．４，ｐｐ．５５−６０，日本工業出版，Ａｐｒｉｌ １９９８）
【０００８】
【特許文献１】
特公昭６２−６０８７７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のオブジェクト画像のストロボ合成では、次フレームのオブジェクト画像を次々に上書きしてしまうため、例えば、バッティングにおけるボールのインパクトの瞬間など、運動動作においてポイントとなる部分も上書きされ、見えなくなってしまうという不具合がある。
【００１０】
本発明は前記のような事情を考慮してなされたもので、時系列の画像データに撮影されている物体の運動動作におけるポイントが明瞭なストロボ画像を生成することが可能なオブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明においては、時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成方法において、時系列画像データを入力する時系列画像データ入力工程と、前記時系列画像データ入力工程によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出工程と、前記オブジェクト画像抽出工程によって生成された前記時系列のオブジェクト画像データの一部分に他と異なる画像加工を施す画像加工工程と、前記画像加工工程によって一部分に画像加工が施された前記時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する画像合成工程とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施形態に係わるオブジェクト画像合成装置の機能構成を示すブロック図である。本実施形態におけるオブジェクト画像合成装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録されたオブジェクト画像合成プログラムを読み込み、このオブジェクト画像合成プログラムによって動作が制御されるコンピュータ（例えばパーソナルコンピュータ）によって実現される。
【００１３】
図１に示すように、本実施形態におけるオブジェクト画像合成装置は、オブジェクト画像合成制御部１０、入力装置１２、表示装置１４、タブレット１５、及び記憶装置１６が設けられて構成されている。
【００１４】
オブジェクト画像合成制御部１０は、入力装置１２あるいは記憶装置１６から時系列画像データを入力し、この時系列画像データに撮影されている物体の運動動作のポイントが明瞭なストロボ画像を生成する機能を有している。
【００１５】
オブジェクト画像合成制御部１０には、時系列画像データ入力部２０、オブジェクト画像抽出部２２、画像加工部２４、合成順序マスク生成部２６、画像合成部３０が設けられる。
【００１６】
時系列画像データ入力部２０は、入力装置１２あるいは記憶装置１６から解析対象とする時系列画像データを入力する。
【００１７】
オブジェクト画像抽出部２２は、時系列画像データ入力部２０によって入力された時系列画像データから、解析の対象となる物体（オブジェクト）領域のみを切り出して（オブジェクト抽出）時系列のオブジェクト画像データを生成する。
【００１８】
画像加工部２４は、オブジェクト画像抽出部２２によって抽出された時系列のオブジェクト画像データの一部分に他とは異なる画像加工を施す。画像加工部２４による画像加工としては、時系列のオブジェクト画像データの一部のフレームに他のフレームと異なる画像加工を施すもの（第１の画像加工）、時系列のオブジェクト画像データのオブジェクト領域を複数のサブ領域に分割して、そのサブ領域に対して他と異なる画像加工を施すもの（第２の画像加工）などがある。
【００１９】
第１の画像加工では、時系列のオブジェクト画像データの一部フレーム（オブジェクト）の大きさあるいは画面内におけるオブジェクトの表示位置を変更する、時系列のオブジェクト画像データの特定フレームよりも前のフレームのオブジェクト画像データを削除する、時系列のオブジェクト画像データの一部のフレームの画素値を変更する、時系列のオブジェクト画像データのフレーム間に別のフレームを内挿することができる。
【００２０】
第２の画像加工では、時系列のオブジェクト画像データから分割した一部のサブ領域の画素値を変更する、オブジェクト領域をそれまでに合成されたフレームにおいて一度以上オブジェクト領域となったサブ領域とオブジェクト領域にならなかったサブ領域に分割して、一度以上オブジェクト領域となったサブ領域を半透明化して重ね合わせる、サブ領域の少なくとも一つが他のサブ領域よりも手前に重ねられるようにすることができる。
【００２１】
合成順序マスク生成部２６は、オブジェクト画像抽出部２２によって切り出された時系列のオブジェクト画像データのフレーム毎に、それぞれのオブジェクト画像のオブジェクト領域を重ね合わせる（ストロボ合成する）順序を画素値としてもつ合成順序マスクを合成する。
【００２２】
画像合成部３０は、画像加工部２４によって画像加工された、オブジェクト画像抽出部２２によって切り出された時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する。画像合成部３０は、合成順序マスク生成部２６による合成順序マスクが生成されている場合には、合成順序マスクがもつ画素値に従う順序でオブジェクト画像データをフレーム毎に重ね合わせながら合成することができる。また、画像合成部３０は、時系列のオブジェクト画像データと、それまでに合成されたフレームにおいて一度もオブジェクト領域になっていない現フレームの画像データを背景画像データとしてフレーム毎に重ね合わせることができる。
【００２３】
入力装置１２は、オブジェクト画像合成装置に対する利用者による制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、解析処理の対象とする時系列画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００２４】
表示装置１４は、オブジェクト画像合成制御部１０（画像合成部３０）により作成されたストロボ画像などを表示する。
【００２５】
タブレット１５は、オブジェクト画像合成制御部１０における画像中の物体に対する解析のための入力操作に用いられるもので、ペンによるポインティングにより画像中における位置の指定を入力する。タブレット１５は、表示装置１４の表示面と重ね合わされており、例えば表示装置１４において表示されたストロボ画像のオブジェクト領域を直接的に指定することができる。
【００２６】
記憶装置１６は、ハードディスク装置などにより構成され、解析の対象となる時系列画像データ１８、オブジェクト画像合成プログラム、オブジェクト画像合成を実行する際に使用される各種データなどが記憶される。
【００２７】
次に、本実施形態におけるオブジェクト画像合成装置により実現されるオブジェクト画像合成方法について説明する。
まず、基本的なストロボ合成について説明する。ここでは、野球でバッターがスイングする様子をビデオカメラで撮影して得られる画像を例に説明する。
【００２８】
図２は、ビデオカメラで撮影した時系列画像のある１フレームの入力画像である。このような矩形のフレーム画像が時系列で複数枚得られる。このような入力画像から人物以外の背景領域を削除したオブジェクト画像を作成する（オブジェクト抽出、オブジェクト切出し）。図２に対するオブジェクト画像を図３（Ａ）に示す。図３（Ａ）において、白色の部分は画像が存在しない、つまり透明である。
【００２９】
図３（Ａ）〜（Ｆ）には、時系列のオブジェクト画像の例を示している。図４（Ａ）〜（Ｆ）は、図３（Ａ）〜（Ｆ）に示すオブジェクト画像を順に重ね合わせることで生成されるストロボ画像の例である。
【００３０】
最初のフレームである図４（Ａ）は、図３（Ａ）と同じものである。第２フレームである図４（Ｂ）は、図３（Ａ）に図３（Ｂ）のオブジェクト画像を重ねたものである。
【００３１】
以降も同様に、ストロボ画像の直前のフレームに、オブジェクト画像を１枚ずつ上書きすることにより、図４（Ｃ）（Ｄ）（Ｅ）（Ｆ）のストロボ画像が順次得られる。図４（Ａ）から図４（Ｆ）に示すストロボ画像を連続して表示することにより、動画像として、この人物の動きの軌跡が表示されるので、バッティングフォームのチェックや解析を容易に行なうことができる。
【００３２】
なお、ストロボ画像の背景（図４（Ａ）〜（Ｆ）の白い部分）は最初のフレーム（図２）の背景を用いることもできる。図２の画像に対して、図３（Ｂ）以降のオブジェクト画像を合成すれば、背景があるストロボ画像を得ることができる。
【００３３】
以下、本発明による実施形態について説明する。図５は、本実施形態におけるオブジェクト画像合成方法を説明するためのフローチャートである。なお、以下の説明では、図が煩雑になるので背景を白色にしたストロボ画像を主に示すが、背景があるストロボ画像についても同様の処理を実行することができる。
【００３４】
図５において、ステップＡ１は時系列画像を入力する時系列画像入力工程、ステップＡ２は時系列画像の各フレームからオブジェクト画像を切出して時系列のオブジェクト画像を生成するオブジェクト画像生成工程、ステップＡ３は切り出された時系列のオブジェクト画像の一部分にオブジェクトの運動動作を明瞭にするための加工を施すオブジェクト画像加工工程、ステップＡ４は加工された時系列のオブジェクト画像を重ね合わせながら合成してストロボ合成画像を生成する画像合成工程である。
【００３５】
まず、はじめに、時系列画像データ入力部２０による時系列画像データ入力工程（ステップＡ１）では、例えば入力装置１２（ビデオカメラ等の撮影手段）により撮像して得られる時系列画像データ（１フレームずつの画像が連続したデータ）、あるいは記憶装置１６に予め記録されている時系列画像データ１８を入力する。また、図示せぬ通信装置を通じて、通信回線を介して接続された遠方にある情報処理装置などから時系列画像データを受信するようにしても良い。なお、ここで入力した時系列画像データ１８は、野球のバッターのスイングを撮影して得られたものとする。この場合、解析対象とするオブジェクトは、人体とバットとなる。
【００３６】
続いて、オブジェクト画像抽出部２２による物体領域切り出し工程（ステップＡ２）において、時系列画像データの各フレームからオブジェクト画像のみを切り出して、図３（Ａ）〜（Ｆ）に示す時系列のオブジェクト画像データを生成する。時系列のオブジェクト画像データとは、例えば、時系列画像データの１つのフレームの画像を、背景領域、オブジェクト領域（人体とバット）に分割して、オブジェクト領域のみを切り出したデータである。オブジェクト画像データには、オブジェクト部分の画像の色情報とオブジェクト領域の形状情報とが含まれる。
【００３７】
ここで、ステップＡ２におけるオブジェクト画像を切り出すとは、具体的には例えば、時系列画像データの各フレームに対して、それぞれアルファマスクを生成することである。アルファマスクは、例えば、背景領域に０の画素値、オブジェクト領域に１の画素値を配置した画像である。図３（Ｃ）に対応するアルファマスクを図６に示す。図６に示すアルファマスクは、画素値０を白色、画素値１を黒色で示している。
【００３８】
図３（Ｃ）に示すオブジェクト画像を別の画像に合成する際には、図６に示すアルファマスクを参照しながら、画素値が０の画素については、上書きをせず、画素値が１の画素について入力画像からその位置の画素値をコピーしてきて、それに置き換えることになる。
【００３９】
なお、アルファマスクは、前述した背景を０、オブジェクト領域を１とする他にも、背景を０、オブジェクト領域を２５５とするもの、また０と２５５の中間値を用いて半透明を表したもの（ソフトアルファマスクと称する）もある。ソフトアルファマスクについては後で詳しく説明する。
【００４０】
次に、画像加工部２４による画像加工（ステップＡ３）において、オブジェクト画像抽出部２２により抽出された時系列のオブジェクト画像データの一部分に他とは異なる画像加工を施す。なお、画像加工部２４における画像加工の詳細については後述する。
【００４１】
次に、画像合成部３０による画像合成（ステップＡ４）において、オブジェクト画像抽出部２２により抽出された時系列のオブジェクト画像データを、画像加工部２４によって画像加工が施されたフレームを含めて、順次重ね合わせながら合成することでストロボ画像を生成し、表示装置１４において表示させる。
【００４２】
図７には、画像加工部２４による画像加工と画像合成部３０による画像合成の例を示している。図７は、時系列のオブジェクト画像データの所定のフレームが最前面となるように合成する例である。
【００４３】
図７（Ａ）に示すストロボ画像は、図４（Ｃ）に示す画像と同じであり、それ以前のストロボ画像は図４（Ａ）（Ｂ）と同じである。図７（Ａ）は、図３（Ａ）〜（Ｄ）までのオブジェクト画像を合成した段階である。
【００４４】
ここで、図３（Ｃ）に示すオブジェクト画像は、選手がボールを打つ直前のオブジェクト画像であり、他のフレームと比べて、よりスポーツのダイナミックな瞬間を捕らえている画像である。画像合成部３０は、このフレームに注目して、このフレームが最前面となるように他のオブジェクト画像データを重ね合わせながら合成する。
【００４５】
図３（Ａ）〜（Ｄ）の画像に対して通常のストロボ合成を行うと、図４（Ｄ）が示すように、図３（Ｄ）のオブジェクト画像によって、注目すべき図３（Ｃ）に示すオブジェクト画像の多くの部分が上書きされてしまい、効果的なスポーツシーン合成が行われない。
【００４６】
そこで、図３（Ｃ）のフレームを注目したい場合、画像合成部３０は、図３（Ｄ）以降のオブジェクト画像を合成する場合に、図３（Ｃ）のオブジェクト画像よりも後ろ側、すなわち図３（Ｃ）のオブジェクト画像の領域に上書きしないようにして合成する。
【００４７】
図７（Ｂ）（Ｃ）は、それぞれ図３（Ｅ）（Ｆ）に示すオブジェクト画像までをストロボ合成することで得られたストロボ画像を示している。図７（Ｂ）（Ｃ）に示すように、それ以降のオブジェクト画像の重ね合わせにおいて、図３（Ｃ）のオブジェクト画像が上書きされないようにしている。
【００４８】
このようにして、一般の方法でストロボ合成された図４（Ｄ）のストロボ画像と比べて、本実施形態による合成方法により生成された図７（Ａ）に示すストロボ画像では、スポーツのダイナミックな瞬間を捕らえている図３（Ｃ）のオブジェクトをストロボ画像中で確認することができるため、例えばＴＶのスポーツ中継において使用した場合に、視聴者に対して効果的な画像を提供することができる。
【００４９】
なお、前述した説明において、何れのフレームに注目してストロボ合成を行なうかは次のようにして決定することができる。例えば、オブジェクト画像が順次重ね合わされたストロボ画像が表示装置１４において表示されている過程において、注目するオブジェクト画像、すなわち図３（Ｃ）に示すようなスポーツのダイナミックな瞬間を捕らえているオブジェクト画像（バットがボールに当たる瞬間など）が重ね合わせたストロボ画像が表示されている時に、入力装置１２を通じて利用者から指示させる。これにより、画像合成部３０は、その時に重ね合わされたオブジェクト画像を最前となるように、それ以降のオブジェクト画像の合成を実行する。
【００５０】
あるいは、オブジェクト画像中のバットに該当するオブジェクト領域と、ボールを表すオブジェクト領域との位置関係、例えば両者が最も近接しているオブジェクト画像を検出し、このオブジェクト画像を注目すべきフレームとして決定することもできる。なお、ボールを表すオブジェクト領域は、その形状が一定（円形）であるので容易に検出することができる。
【００５１】
なお、ここではバッターがボールを打つためにスイングした様子を撮影した画像を対象としているので、バットとボールとの位置関係に応じて注目するオブジェクト画像を抽出しているが、撮影の対象としている他のスポーツなどに特徴的なオブジェクトをそれぞれ決定し、その該当するオブジェクトの位置関係をもとに注目するオブジェクト画像を決定することができる。
【００５２】
また、本実施例では、オブジェクト画像抽出部２２により切り出された時系列のオブジェクト画像データのストロボ合成を行うために、オブジェクト領域に加えて上書き合成の順序が画像毎に与えられたアルファマスク（以下、合成順序マスクと称する）を合成順序マスク生成部２６により生成することもできる。
【００５３】
図８には、合成順序マスクを生成する場合のオブジェクト画像合成方法を説明するためのフローチャートを示している。
【００５４】
図８においてステップＢ１，Ｂ２，Ｂ４は、図５におけるステップＡ１，Ａ２，Ａ３と同じであるので説明を省略する。ステップＢ３はストロボ合成の際の上書きの順序に従ってオブジェクト領域に画素値（順序値）を設定して、合成順序マスクを生成する合成順序マスク生成工程、ステップＢ４は合成順序マスクの順序値が小さい順序でオブジェクト画像を重ね合わせながら合成する画像合成工程である。
【００５５】
合成順序マスク生成部２６による合成順序マスク生成工程（ステップＢ３）では、例えば、オブジェクト画像抽出部２２により生成された時系列のオブジェクト画像データのフレームの順序で上書きするのであれば、オブジェクト画像データのそれぞれのフレームに対して、フレーム番号を順序値とした合成順序マスクを生成する。あるいは、別に、各オブジェクトの奥行き距離が与えられる場合には、その奥行き距離が短いほど手前に重なるような順序値を与えて合成順序マスクを生成する。
【００５６】
また、前述したように、入力装置１２を通じて利用者より注目すべきフレームが指定される場合には、合成順序マスク生成部２６は、この指定に応じて該当するフレームに対応する合成順序マスクの順序値を設定する。
【００５７】
画像合成部３０による画像合成工程（ステップＢ５）では、合成対象の全フレームの合成順序マスクの順序値を画素ごとに調べ、最も大きな順序値であるフレームの画素値をその画素にコピーする。
【００５８】
例えば、図３（Ａ）の画像に対する合成順序マスクにおいては、オブジェクト領域の画素値を１とし、図３（Ｂ）の画像に対する合成順序マスクでのオブジェクト領域の画素値を２とする。以下同様に、図３（Ｃ）（Ｄ）（Ｅ）（Ｆ）の画像に対する合成順序マスクでのオブジェクト領域の画素値を、それぞれ３、４、５、６とする。背景領域はいずれも０とする。そして、画像合成部３０は、画素値が小さい順にオブジェクト領域を上書きするようにすれば、フレームの順番が管理されていなくても時系列のオブジェクト画像を意図した重ね合わせの順序に従ってストロボ合成することができる。
【００５９】
前述した例において、図３（Ｅ）（Ｆ）までのオブジェクト画像を合成した結果が、それぞれ図７（Ｂ）（Ｃ）に示すストロボ画像である。これは、具体的には、前述した合成順序マスクを用いる場合、図３（Ｃ）の注目するフレームのオブジェクト画像の合成順序マスクのオブジェクト領域の画素値を７以上にすることで、フレームの枚数が６枚であることから、この注目するフレームが最前となるようにストロボ合成することができる。なお、注目するフレームの合成順序マスクに用いるオブジェクト領域の画素値（順序値）は、ストロボ合成の対象とするフレーム数に応じて、最も高い値となるように設定される。
【００６０】
こうして、合成順序マスクを生成することで、画像合成部３０において合成順序マスクの画素値（順序値）に応じた順番で時系列のオブジェクト画像データを重ね合わせて合成することができる。これにより、例えば各フレームの画像のファイルが独立してパーソナルコンピュータのハードディスク装置（記憶装置１６）に格納され、重ね合わせの順番が不明な状態となっていたとしても、それぞれの画像データに付属する合成順序マスクの画素値を確認すれば、正しい順序でストロボ合成を実行することができるようになる。
【００６１】
また、オブジェクト画像に付属する合成順序マスクの画素値を変更するだけで、容易に上書きの順序を変更することができる。なお、合成順序マスクの画素値の変更は、例えばストロボ画像が表示された画面中で入力装置１２（マウスなど）あるいはタブレット１５（ペン入力）によって任意にオブジェクト画像を指定することで実行できるようにしても良い。ここでは、注目するフレームのオブジェクト画像を指定する、あるいは任意に複数のフレームを指定して、それぞれのフレームに対して順番を指定することができる。合成順序マスク生成部２６は、入力装置１２を通じて入力される指示に応じて、該当するフレームに付属する合成順序マスクを生成する。
【００６２】
次に、画像加工部２４における画像加工の具体例について説明する。
まず、オブジェクト画像抽出部２２により抽出された時系列のオブジェクト画像データの一部のフレームに他のフレームと異なる画像加工を施す第１の画像加工について説明する。
【００６３】
前述した説明では、予め前面となるように合成するフレームが指定される場合について示しているが、予め決められた順番（例えばフレーム順）に合成されたストロボ画像が表示された後、利用者がストロボ画像を確認しながら画面中で前面に出すフレームを指定するなど、ストロボ画像に対して繰り返して画像加工を施すことも可能である。
【００６４】
図９は、本実施形態におけるストロボ画像に対して繰り返して画像加工を施すことができるオブジェクト画像合成方法を説明するためのフローチャートである。なお、図９においてステップＣ１，Ｃ２は、図５におけるステップＡ１，Ａ２と同じであるので説明を省略する。
【００６５】
最初の画像合成では、前述したステップＡ１〜Ａ４と同様にして、オブジェクト画像抽出部２２により生成された時系列のオブジェクト画像についてストロボ合成が行われ、これにより生成されたストロボ画像が表示装置１４において表示される（ステップＣ１〜Ｃ４）。
【００６６】
ここで、オブジェクト画像合成制御部１０は、画像加工部２４によるオブジェクト画像加工工程に戻り、入力装置１２を通じて表示装置１４において表示されたオブジェクト画像に対する指示の入力を受け付けて、この指示に応じた画像加工を実行させる。画像合成部３０は、画像加工部２４により画像加工が施されたフレームを含むオブジェクト画像をストロボ画像を生成して、表示装置１４において表示させる。
【００６７】
例えば、指定された注目のフレームが前面になるように加工した後に合成を再度行う場合には、ストロボ画像が表示された画面中で入力装置１２（マウスなど）によって任意にオブジェクト画像を指定することで実行できるようにしても良い。オブジェクト画像合成制御部１０は、例えばマウスのポインタがストロボ画像上で移動されると、ポインタが示す位置に該当するオブジェクト画像を一時的に最前面に表示し、利用者が選択しているオブジェクト画像を明示する。ここで、入力装置１２からのボタン操作あるいはマウスのクリック操作などによって選択指示が入力されると、その時点にポインタで選択しているオブジェクト画像を注目のフレームとして、画像加工を施してストロボ画像を合成して表示させる。
【００６８】
また、ストロボ画像から不要なフレームのオブジェクト画像を削除することで全体を見やすくすることもできる。この場合、前述と同様にして、入力装置１２を通じて利用者から削除対象とするフレームのオブジェクト画像を選択させ、削除実行の指示に応じて、選択されたオブジェクト画像を削除したストロボ画像を生成して表示させる。ここでは、１フレーム単位でオブジェクト画像を順次削除しても良いし、利用者が一括して複数のフレームのオブジェクト画像を選択し、一括して複数のオブジェクト画像を削除したストロボ画像を表示するようにしても良い。
【００６９】
なお、前述したストロボ画像中からのオブジェクト画像の指定は、後述する他の画像加工を行なう場合についても同様に利用することができるものとする。
【００７０】
図７（Ｃ）に示すストロボ画像では、図３（Ｃ）に示す注目のフレームのオブジェクト画像は隠されないが、他のフレームのオブジェクト画像が視覚的に邪魔になる場合も考えられる。この場合、画像加工部２４は、図１０に示すように、注目のフレームのオブジェクト画像以外の輝度を暗くすることで、注目しているフレームのオブジェクト画像を際立たせてより見やすくすることができる。なお、輝度を暗くする以外にも、画素信号のダイナミックレンジを狭めることでコントラストを低くしたり、平滑化フィルタなどを用いてぼかして解像度を低くすることも、注目オブジェクト以外を目立たなくするのに有効である。
【００７１】
また、オブジェクト画像をフレーム中の元の位置で合成すると、一箇所で複数のオブジェクト画像を重ね合わせることになり、撮影されたオブジェクトによってはストロボ画像が見にくく感じられる場合がある。この場合、図１１（Ａ）に示すように、オブジェクト画像の合成位置を左右方向に移動させながら、各オブジェクト画像をストロボ合成するようにしても良い。なお、図１１（Ａ）では、時系列的にオブジェクト画像の合成位置を順次、右方向に移動させながら合成しているが、左方向、上方向、下方向、あるいは斜め方向など、任意の方向で合成することもできる。また、何れの方向に移動させながら合成するかを、入力装置１２を通じて利用者に指示させるようにしても良い（メニュー選択、表示画面中での位置指示などによる）。画像合成部３０は、入力装置１２を通じて利用者から指示された方向に従って位置を変更させながら、オブジェクト画像の合成を実行する。
【００７２】
また、オブジェクト画像の合成位置を移動させる場合についても、図１１（Ｂ）に示すように、注目するフレームのオブジェクト画像を前面に出して合成することで、その注目するフレームを見やすくすることができる。あるいは、図１１（Ｃ）に示すように、注目するフレームだけを他のオブジェクト画像から離して合成することにより、見やすくすることもできる。
【００７３】
この場合、図１１（Ａ）あるいは図１１（Ｂ）に示すようにストロボ画像を表示させている時に、入力装置１２を通じた利用者からの指示に応じて選択されたオブジェクト画像を、図１１（Ｃ）に示すように、注目するフレームのオブジェクト画像として、他のオブジェクト画像から離れた位置に表示するようにしても良い。なお、注目するフレームのオブジェクト画像を他のオブジェクト画像から離れた位置に表示する方法は、図１１に示すように、各フレームのオブジェクト画像の位置を移動させながら合成する場合に限らず、図７に示すような、フレーム中の元の位置でオブジェクト画像を合成する場合にも適用することができる。
【００７４】
また、ストロボ合成では、合成の対象とするオブジェクト画像の枚数が多いと見にくくなることがある。その場合には、オブジェクト画像抽出部２２により抽出された複数のフレームに対するオブジェクト画像から一部を選択して重ね合わせてストロボ画像を生成するようにしても良い。例えば、図１２に示すように、重ね合わせの対象としている最新フレームから直近の連続したＮフレーム（Ｎは自然数）のオブジェクト画像を合成するようにしても良い。図１２では、Ｎ＝３としており、図３（Ｂ）（Ｃ）（Ｄ）のオブジェクト画像だけが合成されている。
【００７５】
画像合成部３０は、図３（Ｄ）のオブジェクト画像を合成する段階で、図３（Ａ）のオブジェクト画像を合成対象から除く。次のフレームのオブジェクト画像を合成する段階では、画像合成部３０は、図３（Ｂ）のオブジェクト画像を除いて、図３（Ｃ）（Ｄ）（Ｅ）のオブジェクト画像を合成する。
【００７６】
つまり、図４（Ａ）〜（Ｆ）に示すストロボ合成フレーム１〜６は、それぞれ図３（Ａ）、図３（Ａ）（Ｂ）、図３（Ａ）〜（Ｃ）、図３（Ａ）〜（Ｄ）、図３（Ａ）〜（Ｅ）、図３（Ａ）〜（Ｆ）のオブジェクト画像による合成であったが、これをそれぞれ図３（Ａ）、図３（Ａ）（Ｂ）、図３（Ａ）〜（Ｃ）、図３（Ｂ）〜（Ｄ）、図３（Ｃ）〜（Ｅ）、図３（Ｄ）〜（Ｆ）のオブジェクト画像をストロボ合成する。
【００７７】
あるいは、前述したように直近の連続したＮフレームではなく、不連続な一部のフレームを合成するようにしても良い。つまり、ストロボ合成フレーム１〜６は、それぞれ図３（Ａ）、図３（Ａ）（Ｂ）、図３（Ａ）（Ｃ）、図３（Ａ）（Ｃ）（Ｄ）、図３（Ａ）（Ｃ）（Ｅ）、図３（Ａ）（Ｃ）（Ｅ）（Ｆ）のオブジェクト画像をストロボ合成する。こうして、不連続な一部のフレームを合成することで、前面のオブジェクト画像の動きが滑らかでありながら、オブジェクト画像が適当に間引かれるためストロボ画像を見易くすることができる。
【００７８】
また、前述した直近の連続したＮフレームと、それ以前の不連続な一部を間引いたフレームのオブジェクト画像とを合成するようにすることも可能である。
【００７９】
さらに、図１３に示すように、直近の連続したＮフレームだけを合成する場合の最新のフレーム、あるいは注目するフレームのオブジェクト画像（オブジェクト領域）を、他のオブジェクト画像と異なる大きさにすることで、特定のフレームのオブジェクト画像を見やすくすることができる。
【００８０】
図１３（Ａ）に示す例では、最新のフレーム以外を小さくして合成することで、最新のフレームのオブジェクト画像を見やすくしている。また、図１３（Ｂ）に示す例では、特定の注目するフレームを以外のオブジェクト画像を小さくすることで、注目するフレームのオブジェクト画像を見やすくしている。なお、最新のフレームあるいは注目するフレームのオブジェクト画像を、他のオブジェクト画像よりも大きくすることで見やすくすることも勿論可能である。
【００８１】
また、図１４に示すように、各フレームのオブジェクト画像毎に異なる色でそのシルエットを合成することで全体の動きを見やすくすることもできる。画像加工部２４は、アルファマスクのオブジェクト領域をフレーム毎に所定の色で着色するだけで、図１４に示すようなシルエット画像を生成できる。また、フレーム毎に異なる色で着色するだけでなく、同一の色で濃淡を変えて各オブジェクト領域を着色するようにしても良い。
【００８２】
なお、図１４に示すように、オブジェクト画像をそれぞれ所定の色で着色するのではなく、それぞれのオブジェクト画像を所定の色を用いた輪郭によって表すようにしても良い。
【００８３】
なお、図１４に示すようなオブジェクト領域に着色する場合においても、前述した他の画像加工と組み合わせて実施することができる。例えば、注目のフレームを前面となるように合成する、直近のＮフレームのオブジェクト画像のみを合成する、オブジェクト画像の位置あるいは大きさを変化させて合成する場合にも適用することができる。
【００８４】
次に、時系列のオブジェクト画像データのオブジェクト領域を複数のサブ領域に分割して、そのサブ領域に対して他と異なる画像加工を施す第２の画像加工について説明する。
【００８５】
図１５（Ａ）は、一般的な方法により作成したストロボ画像を示している。なお、図１５（Ａ）は、野球においてピッチャーが投球する様子を撮影して得られた時系列のフレーム画像をもとにして得られたストロボ画像である。
【００８６】
図１５（Ａ）に示すストロボ画像では、各フレームのオブジェクト画像（人物に該当する）を上書き合成していくことで、前のフレームのオブジェクト画像が隠れて見えなくなってしまう。本実施形態では、オブジェクト画像を上書き合成しても前のフレームのオブジェクト画像を確認することができるように、上書きするオブジェクト画像を半透明化して合成する。
【００８７】
図１５（Ｂ）には、上書きするオブジェクト画像を半透明化して合成したストロボ画像の例を示している。図１５（Ｂ）に示すストロボ画像の例では、前フレームまでのオブジェクト画像を合成したストロボ画像Ａと、これから合成するオブジェクト画像Ｂが与えられた際に、ストロボ画像Ａ中のオブジェクト画像Ｂが合成される領域に該当する部分についてはそのままにし、オブジェクト画像Ｂが合成される領域についてはストロボ画像Ａとオブジェクト画像Ｂの画素値の平均値に置き換えることで、オブジェクト画像が半透明化された現フレームまでのストロボ画像を得ることができる。
【００８８】
このように、半透明を表すにはソフトアルファマスクを用いる。ソフトアルファマスクでは、画素値０が背景、つまり透明を表し、合成する際には、後方の画像をそのままにする。そして、画素値が２５５が不透明を表し、そのオブジェクト画像で完全に上書する。画素値が１〜２５４の時には、その値の混合比で、後方の画像（ストロボ画像Ａ）とそのオブジェクト画像をブレンドする。
【００８９】
例えば、アルファマスクの画素値が例えば１２８のときには、後方の画像とオブジェクト画像の画素値を単純平均し、１２８より小さくなるほど、後方の画像に重みをつけて加重平均をとる。逆に１２８より大きい場合はオブジェクト画像に重みをつける。なお、前述した説明では、画素値の中間値１２８を基準にして加重平均を実行しているが、これ以外の値を基準とすることもできる。
【００９０】
なお、図１５（Ｂ）に示すストロボ画像では、オブジェクト画像を透明化することで過去のフレームのオブジェクト画像を確認することができるようになるが、オブジェクト画像以外の背景の領域も透けて見えてしまい、この部分が見にくくなってしまうことがある。
【００９１】
そこで、そのフレームまでに一度でもオブジェクト領域になった画素は半透明にし、一度もオブジェクト領域になっていない領域は不透明につまり単純に上書きすることで、背景の領域が透けて見えなくするようにもできる。
【００９２】
この処理は、具体的には、まず、以下のように参照マスクを生成する。はじめに、１フレーム目のオブジェクト領域を参照マスクとして保持する。そして、各フレームでの合成処理が終わるたびに、そのフレームのオブジェクト領域を参照マスクに加えていく。例えば、入力されるアルファマスクが背景が０、オブジェクト領域が１で表される場合、参照マスクとそのフレームのアルファマスクの論理和を画面全体で求める。
【００９３】
そのような参照マスクを参照しながら、図５のステップＡ３では図１７のフローチャートに示した画素値決定処理によりソフトアルファマスクの画素値αを決定する。
【００９４】
図１７において、ステップＤ１は、その画素がオブジェクト領域に含まれるかを判別し、オブジェクト領域に含まれる場合にはステップＤ２に進む。そうでない場合にはソフトアルファマスクの画素値α＝０とする（ステップＤ３）。
【００９５】
ステップＤ２は、参照マスクにおいてその画素値が０である場合かを判別し、画素値が０であるにはα＝２５５とし（ステップＤ５）、そうでない場合にはα＝１２８とする（ステップＤ４）。
このようにして生成されたソフトアルファマスクを用いて、図５のステップＡ４では、オブジェクト領域の部分毎に透明度を切り替えながら合成を行う。
【００９６】
このように、オブジェクト領域を透明度の異なるサブ領域に分割することにより、図１６のように、オブジェクトが存在した領域は半透明に、背景領域は不透明に上書きされるため、前述した背景画像が混入する不具合を回避できる。
【００９７】
次に、合成順序マスクにおいて、オブジェクト領域のサブ領域を加工する例について示す。ここでは、オブジェクト画像中の特定のサブ領域が手前に表示されるようにサブ領域を加工する例にして説明する。
【００９８】
例えば、図３（Ａ）〜（Ｆ）のオブジェクト領域に対して、合成順序マスクにおいてそれぞれ１〜６の画素値を与えておき、そのストロボ合成を行うと、図４（Ａ）〜（Ｆ）のように、バットの動きを注目したいとしても、バットが上書きされてしまう。そこで、オブジェクト画像中のバットの領域を胴体よりも手前に合成するために、バットの部分の合成順序マスクの画素値を大きくすることで、バットの領域が手前に合成されるようにする。
【００９９】
そこで、各フレームの合成順序マスクにおいて、例えば図３（Ｃ）に示すオブジェクト画像については、図１８に示すように、バットの部分に該当する領域に７よりも大きな画素値を与える。そうすると、図４（Ｃ）であったものが図１９（Ａ）、図４（Ｄ）であったものが、図１９（Ｂ）、以降同様に、図４（Ｅ）（Ｆ）が図２０（Ａ）、図２０（Ｂ）に示すように、各フレームのバットに該当する領域部分が人体による領域（オブジェクト画像）によって上書きされないストロボ画像を生成することができる。従って、ストロボ画像においてバットの部分の変化を容易に判別することができるようになり、例えばスイングに要求されるバットが水平に振られていることがよく分かるようになる。
【０１００】
この画素毎に設定された合成順序マスクは、例えば利用者が入力装置１２やタブレット１５を用いて画面中でバット領域や胴体領域を分けることで生成するマニュアル作業によってしてもよいし、また、時系列画像データを撮影するカメラと併用してレンジファインダー等の時系列距離画像データ撮影用の機器を組み合わせたり、複数カメラによる視差による距離画像の生成によって、自動的に獲得することも可能である。
【０１０１】
次に、オブジェクト画像と共に変化すべき他のオブジェクトについての補正について説明する。ここでは、例えばオブジェクト画像である人物とバットと共に変化すべきボールの位置を変化させる場合を例にして説明する。
【０１０２】
図２１（Ａ）（Ｂ）（Ｃ）は、人物がボールを打つ画像を入力として、人物をオブジェクト領域としてストロボ合成した例である。図２１（Ａ）〜（Ｃ）に示すように、人物とボールが写っている最初のフレームに対して、２フレーム目以降は、人物に該当するオブジェクト画像だけを上書きしている。図２１（Ａ）〜（Ｃ）において黒い縦の棒は、ボールを支持している台（支持台）であり、その上にボールが乗っている。ボールと支持台は、背景として扱われるために、最初のフレームの状態のまま変化はない。従って、スイングによってボールを打つことで、後のフレームではボールの位置が移動したとしても、図２１（Ｂ）（Ｃ）のように、ボールが元の位置（支持台の上）にとどまり、あたかも空振りしたように見えてしまう。
【０１０３】
そこで、入力された画像について、別途、ボールの画像（位置）をフレーム毎にオブジェクト画像として検出し、フレーム間でボールのオブジェクト画像の位置を比較することで、ボールの移動が検出されたときに、その１フレーム前においてボールがあった位置をその時の最新のフレームの画像で上書きする。これにより、その１フレーム前のボールがあった部分には本当の背景で上書きされ、最新のフレームにおけるボールがストロボ画像に書き込まれるようになる。
【０１０４】
ここで、ボールの画像（位置）の検出は、例えば、ボールの形状に相当する白くて円形の画像パターンを用意し、それを用いて画面内でパターンマッチングを行い、誤差が小さい部分をボールと判定する。あるいは、輝度が所定位置よりも高く、形状が円に近いものをボールと判定する。あるいは、最初のフレームにおいてボールの位置を入力しておき（利用者による指示）、その部分については、毎フレーム上書きする。ただし、途中でオブジェクト領域になった場合は、それ以降は、オブジェクト領域になったフレームでだけ上書きを行う。
【０１０５】
あるいは、前述した参照マスクを用いる。参照マスクは、まず、１フレーム目のオブジェクト領域を参照マスクとして保持する。そして、各フレームでの合成処理が終わるたびに、そのフレームのオブジェクト領域を参照マスクに加えていく。例えば、入力されるアルファマスクが背景が０、オブジェクト領域が１で表される場合、参照マスクとそのフレームのアルファマスクの論理和を画面全体で求める。そして、ストロボ合成を行う際には、そのフレームのオブジェクト領域に加えて、参照マスクでない領域も上書きする。
【０１０６】
図２２には、最新のフレームの画像を背景として上書きしながらストロボ画像を生成する場合のフローチャートを示している。
【０１０７】
図２２においてステップＥ１は、時系列画像を入力する時系列画像入力工程、ステップＥ２は、時系列画像の各フレームからオブジェクト画像を切出して時系列のオブジェクト画像を生成するオブジェクト画像生成工程、ステップＥ３は、時系列のオブジェクト画像を重ね合わせながら合成することでストロボ合成画像を生成する画像合成工程である。ステップＥ３の画像合成工程において、オブジェクト画像を重ね合わせながら合成する際に、それまでに一度もオブジェクト領域になっていない領域について最新フレーム（ストロボ合成の対象としている現フレーム）の画像で背景画像として上書きする。
【０１０８】
このようにすると、これまでに一度もオブジェクト領域になっていない領域、つまりストロボ画像における背景の領域が常に最新のフレームによる画像となり、ボールがその場所に無くなれば、ストロボ合成により生成されるストロボ画像中においてもボールは無くなり、オブジェクト画像（人物とバット）の変化に応じた自然なストロボ画像を生成することができるようになる。
【０１０９】
同様にして、図１５に示すストロボ画像では、最初のフレームにおける人物に対する影があり、現フレームの人物に影がなく不自然となっているが、ここで述べたように背景を常に最新のものに更新することにより、図２３に示すように現フレームの人物の影が表示された自然なストロボ画像とすることができる。
【０１１０】
また、影については、最新のフレームのオブジェクト領域の下方、例えばオブジェクトが人物であればその足下付近のそれまでに一度もオブジェクト領域になっていない部分に、影を表す暗い色（黒あるいは黒に近い色）による例えば楕円形状の画像を合成するようにしても良い。実際には人物が動くことで影の形状も変化するが、影に注目するための画像ではないので、影の色による楕円形状の画像を合成しても何ら違和感を生じることなく、全体として自然なストロボ画像とすることができる。
【０１１１】
なお、図２３に示す例では影を対象としてるが、オブジェクト画像の変化に伴って変化する他の対象物についても、同様にして対象物の形状や色を模式的に類似させた図形を生成して合成することができる。
【０１１２】
図２４（Ａ）は、人物（バットを含む）に加えて、ボールもオブジェクト画像として抽出してストロボ合成した例である。図２４（Ａ）に示すように、打球速度が速いため、打った直後の１フレームだけは画面の中に写るが、その後のフレームには画面外にとび出すため、合計２つのボールしか合成されない。そこで、２つめのボールを合成する際に、図２４（Ｂ）のように、１つめのボールとの間にボールの画像を挿入する。これにより打球の方向がよく分かるようになる。
【０１１３】
例えば、アルファマスクにオブジェクト領域が２つあるときに、その小さいほうをボールと判定して、その前フレームでの位置と現フレームでの位置を線分で結び、その線分上に切出したボールの画像をずらしながら上書きする。
【０１１４】
図２５にはオブジェクトの切出しを行わないストロボ合成をする場合のフローチャートを示している。これは、例えば図２６（Ａ）に示すように、夜空に舞う白いボールを合成する場合に有効である。
【０１１５】
図２５において、ステップＦ１は、時系列画像を入力する時系列画像入力工程、ステップＦ２は、前フレームまでの合成画像と現フレームの同じ位置の画素値を比較して、所定の色に近い方の画素値で現フレームの合成画像を生成する画像合成行程である。
【０１１６】
例えば、オブジェクトの色が白であれば、白色に近い方の画素によるオブジェクト領域を選ぶようにする。これにより、図２６（Ｂ）のようにボールのストロボ合成画像が生成される。
【０１１７】
また、先に説明した背景を常に最新のものに更新する場合、背景の更新の際に図２５に示すアルゴリズムを適用して、それまでの背景画像とこれから上書きしようとする背景画像のうち、画素ごとに輝度が低い方を選ぶようにすれば、図２７のように、最新のフレーム以外の他のフレームにおけるオブジェクトの影も残すことができる。
【０１１８】
なお、上述した実施形態において記載した手法は、コンピュータに実行させることのできるオブジェクト画像合成プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたオブジェクト画像合成プログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１１９】
また、本願発明は、前述した各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１２０】
【発明の効果】
以上述べてきたように、本発明によれば、時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成し、この時系列のオブジェクト画像データの一部分に他と異なる画像加工を施して重ね合わせながら合成することで、時系列の画像データに撮影されているオブジェクトの運動動作におけるポイントを明瞭にしたストロボ画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係わるオブジェクト画像合成装置の機能構成を示すブロック図。
【図２】ビデオカメラで撮影した時系列画像のある１フレームの入力画像の一例を示す図。
【図３】時系列のオブジェクト画像の例を示す図。
【図４】図３（Ａ）〜（Ｆ）に示すオブジェクト画像を順に重ね合わせることで生成されるストロボ画像の例を示す図。
【図５】本実施形態におけるオブジェクト画像合成方法を説明するためのフローチャート。
【図６】図３（Ｃ）に対応するアルファマスクの一例を示す図。
【図７】本実施形態における画像加工部による画像加工と画像合成部による画像合成の例を示す図。
【図８】本実施形態における合成順序マスクを生成する場合のオブジェクト画像合成方法を説明するためのフローチャート。
【図９】本実施形態におけるストロボ画像に対して繰り返して画像加工を施すことができるオブジェクト画像合成方法を説明するためのフローチャート。
【図１０】本実施形態における注目のフレームのオブジェクト画像以外の輝度を暗くした素簿画像の一例を示す図。
【図１１】本実施形態におけるオブジェクト画像の合成位置を移動させながらオブジェクト画像をストロボ合成したストロボ画像の一例を示す図。
【図１２】本実施形態における重ね合わせの対象としている最新フレームから直近の連続したＮフレームのオブジェクト画像を合成したストロボ画像の一例を示す図。
【図１３】本実施形態におけるオブジェクト画像を他のオブジェクト画像と異なる大きさにしたストロボ画像の一例を示す図。
【図１４】本実施形態における各フレームのオブジェクト画像毎に異なる色でシルエットを合成した画像の一例を示す図。
【図１５】一般的な方法により作成したストロボ画像と上書きするオブジェクト画像を半透明化して合成したストロボ画像の例を示す図。
【図１６】本実施形態におけるオブジェクトが存在した領域を半透明にし背景領域を不透明に上書きしたストロボ画像の一例を示す図。
【図１７】本実施形態における部分毎に透明度を切り替えながら合成を行うオブジェクト画像合成方法を説明するためのフローチャート。
【図１８】図３（Ｃ）に示すオブジェクト画像に付属するバットの部分に該当する領域に７よりも大きな画素値を与えた合成順序マスクの一例を示す図。
【図１９】本実施形態における各フレームのバットに該当する領域部分が人体による領域（オブジェクト画像）によって上書きされないストロボ画像の一例を示す図。
【図２０】本実施形態における各フレームのバットに該当する領域部分が人体による領域（オブジェクト画像）によって上書きされないストロボ画像の一例を示す図。
【図２１】人物がボールを打つ画像を入力として人物をオブジェクト領域としてストロボ合成した例を示す図。
【図２２】本実施形態における最新の背景で上書きしながらストロボ画像を生成する場合のフローチャート。
【図２３】現フレームの人物の影が表示されたストロボ画像の一例を示す図。
【図２４】人物に加えてボールをオブジェクト画像として抽出してストロボ合成した例を示す図。
【図２５】本実施形態におけるオブジェクトの切出しを行わないストロボ合成をする場合のフローチャート。
【図２６】本実施形態におけるオブジェクトの切出しを行わないストロボ合成をする場合の入力画像とストロボ画像の一例を示す図。
【図２７】最新のフレーム以外の他のフレームにおけるオブジェクトの影を残したストロボ画像の一例を示す図。
【符号の説明】
１０…オブジェクト画像合成制御部、１２…入力装置、１４…表示装置、１５…タブレット、１６…記憶装置、１８…時系列画像データ、２０…時系列画像データ入力部、２２…オブジェクト画像抽出部、２４…画像加工部、２６…合成順序マスク生成部、３０…画像合成部。

Claims (13)

1. 時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成方法において、
   時系列画像データを入力する時系列画像データ入力工程と、
   前記時系列画像データ入力工程によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出工程と、
   前記オブジェクト画像抽出工程によって生成された前記時系列のオブジェクト画像データの一部分に他と異なる画像加工を施す画像加工工程と、
   前記画像加工工程によって一部分に画像加工が施された前記時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する画像合成工程と
   を備えることを特徴とするオブジェクト画像合成方法。
2. 前記画像加工工程においては、前記時系列のオブジェクト画像データの一部のフレームに他と異なる画像加工を施すことを特徴とする請求項１記載のオブジェクト画像合成方法。
3. 前記加工加工工程においては、前記時系列のオブジェクト画像データの一部のフレームにおけるオブジェクト領域を変更することを特徴とする請求項２記載のオブジェクト画像合成方法。
4. 前記画像加工工程においては、前記オブジェクト画像抽出工程によって生成された複数のフレームに対するオブジェクト画像から一部を選択することを特徴とする請求項２記載のオブジェクト画像合成方法。
5. 前記画像加工工程においては、前記時系列画像データのオブジェクト画像データに別のフレームのオブジェクト画像データを挿入することを特徴とする請求項２記載のオブジェクト画像合成方法。
6. 前記画像加工工程においては、前記時系列のオブジェクト画像データのオブジェクト領域を複数のサブ領域に分割し、前記サブ領域の少なくとも一つに他と異なる画像加工を施すことを特徴とする請求項１記載のオブジェクト画像合成方法。
7. 前記画像加工工程においては、前記時系列のオブジェクト画像データの一部のフレームのオブジェクト領域、あるいはサブ領域の画素値を変更することを特徴とする請求項２または請求項６記載のオブジェクト画像合成方法。
8. 前記画像加工工程においては、現フレームのオブジェクト領域を、それまでに合成されたフレームにおいて一度以上オブジェクト領域になったサブ領域と、一度もオブジェクト領域にならなかったサブ領域に分割し、前記一度以上オブジェクト領域になったサブ領域を半透明化して重ね合わせることを特徴とする請求項６記載のオブジェクト画像合成方法。
9. 前記画像加工工程においては、前記サブ領域の少なくとも一つを他のサブ領域よりも手前に重ねられるようにすることを特徴とする請求項６記載のオブジェクト画像合成方法。
10. 時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成方法において、
    時系列画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出工程と、
    前記オブジェクト画像抽出工程によって生成された前記時系列のオブジェクト画像データのフレーム毎に、それぞれのオブジェクト領域を重ね合わせる順序を画素値としてもつ合成順序マスクを生成する合成順序マスク生成工程と、
    前記合成順序マスク生成工程によって生成された前記合成順序マスクの画素値に従って、前記時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する画像合成工程と
    を備えることを特徴とするオブジェクト画像合成方法。
11. 時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成方法において、
    時系列画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出工程と、
    前記オブジェクト画像抽出工程によって生成された前記時系列のオブジェクト画像データと、それまでに合成されたフレームで一度もオブジェクト領域になっていない領域における現フレームの画像データとをフレーム毎に重ね合わせながら合成する画像合成工程と
    を備えることを特徴とするオブジェクト画像合成方法。
12. 時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成装置において、
    時系列画像データを入力する時系列画像データ入力手段と、
    前記時系列画像データ入力手段によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出手段と、
    前記オブジェクト画像抽出手段によって生成された前記時系列のオブジェクト画像データの一部分に他と異なる画像加工を施す画像加工手段と、
    前記画像加工手段によって一部分に画像加工が施された前記時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する画像合成手段と
    を備えることを特徴とするオブジェクト画像合成装置。
13. 時系列の画像データに撮影されているオブジェクトの画像を合成するオブジェクト画像合成プログラムであって、
    コンピュータに、
    時系列画像データを入力する時系列画像データ入力工程と、
    前記時系列画像データ入力工程によって入力された時系列画像データからフレーム毎にオブジェクト領域を抽出して時系列のオブジェクト画像データを生成するオブジェクト画像抽出工程と、
    前記オブジェクト画像抽出工程によって生成された前記時系列のオブジェクト画像データの一部分に他と異なる画像加工を施す画像加工工程と、
    前記画像加工工程によって一部分に画像加工が施された前記時系列のオブジェクト画像データをフレーム毎に重ね合わせながら合成する画像合成工程と
    を実行させることを特徴とするオブジェクト画像合成プログラム。

Images