JP4467231B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画（「連続静止画」を含む）データを処理する画像処理装置に関し、特に、注目被写体を中心とする画像を得るようにする画像処理装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラではもちろん、デジタルカメラでも動画を撮影、記録できるようになっているが、撮影された動画をプリントする場合、記録された動画から一定時間間隔で静止画を取り出してプリントすることが多い。特に、１シートに複数の画像コマが表示されている分割写真の状態でプリントすることがよく行われるが、この場合、注目したい被写体が各画像コマのなかで小さく写っていることが多く、見る者にとって見づらかった。
【０００３】
下記特許文献１は、撮影開始スイッチで動画撮影し、記録された動画から一定時間間隔で動画分割写真を抜き出し、プリントするもので、特に、動画の先頭から動画分割写真を一定の時間間隔で抽出する店頭プリント機（いわゆるプリクラ機）を開示している。これは、プリクラ機という撮影条件が整った場合でのプリントに関するもので、通常のビデオカメラなどで撮影した画像では注目フレームを抜き出すと、動いている被写体が小さかったり画面の中央から外れたりしていた。
【０００４】
下記特許文献２は、ビデオカメラなどで手ぶれ状態を含んで記録された動画データから、再生時に注目被写体を画面の所定位置に常に表示できるようにする技術を開示している。これは、被写体の一部を指定し、その動き量をパターンマッチングで検出してブレ補正を行い、ブレ補正で欠落するデータは他のフレームからもってくるようにしたものである。
【０００５】
しかし、幼稚園の運動会におけるわが子のかけっこの姿を撮影した場合などでは、ユーザが、注目被写体（わが子）を画面の所定位置、特に中央部分にもってくると共に注目被写体（わが子）を大きくした状態で分割写真のプリント画像などを見たいという思いが強い。
【０００６】
【特許文献１】
特開平１０−１１５８６６号公報
【０００７】
【特許文献２】
特開平１１−１８７３０３号公報
【０００８】
【発明が解決しようとする課題】
本発明は、上記の事情を考慮し、連続撮影された動画データの時間的な注目フレーム区間から注目被写体を中心とした空間部分（フレームの一部）を抜き出し、注目被写体をより大きくして見やすくした画像を得るための画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の第１側面は、連続する複数の画像からなる動画データを処理する画像処理装置であって、動画データを読み込み、当該動画データから指定時間範囲の動画を構成するフレームを取り出す取り出し手段と、取り出した動画データの構成フレームから被写体の特徴色を指定し、当該特徴色に近似している色を当該構成フレームから抽出した後、抽出した部分を重ね合わせることによって被写体を特定する特定手段と、前記取り出した動画データの構成フレーム中で前記特定手段によって被写体を特定した部分を前記取り出した構成フレーム分すべてを重ね合わせて、被写体が存在する範囲が前記被写体が移動した範囲であるとすることによって前記被写体が移動した範囲を検出する検出手段と、前記被写体が移動した範囲の画像の動画データのエリア部分を切り出す切り出し手段と、からなる画像処理装置、からなる。
【００１０】
本発明の第１側面によれば、取り出し手段が、動画データを読み込み、当該動画データから指定時間範囲の動画を構成するフレーム、すなわち、ある時点から別のある時点までの動画構成フレームを取り出し、特定手段が、取り出した動画構成フレームから当該フレーム中に存在する被写体を特定する。検出手段は、動画データを構成する複数のフレーム中で前記被写体が移動した範囲を検出する。切り出し手段は、前記被写体が複数フレーム間で移動した範囲を含めた画像の動画データのエリア部分を切り出す。切り出した画像は被写体を中心とした空間部分を含む画像になっており、被写体が大きく写ったより見やすい画像になっている。なお、上記「動画」とは、「連続静止画」を含む意味である。
【００１１】
本発明の第２側面は、前記切り出した動画データの各フレームを静止画合成する合成手段をさらに有する第１側面の画像処理装置、からなる。
【００１２】
本発明の第２側面によれば、合成手段が、前記切り出した動画データの各フレームを静止画合成することによって、例えば、多重露光画像やインデックス画像を得ることができる。
【００１３】
本発明の第３側面は、前記特定手段は、被写体の特徴色を指定し、当該特徴色に近似している色を当該構成フレームから抽出することによって被写体を特定する第１側面の画像処理装置、からなる。
【００１４】
本発明の第３側面によれば、特定手段がフレーム内の被写体の特徴色を指定し、その特徴色と同種の色をその構成フレームから抽出して被写体を特定し、この抽出工程を各フレームに対して行う。
【００１５】
本発明の第４側面は、前記特定手段は、被写体の特徴色を指定し、当該特徴色に近似している色を当該構成フレームから抽出した後、抽出した部分を重ね合わせることによって被写体を特定する第１側面の画像処理装置、からなる。
【００１６】
本発明の第４側面によれば、特定手段がフレーム内の被写体の特徴色を指定し、その特徴色と同種の色をその構成フレームから抽出した後、抽出した部分を重ね合わせることによって被写体を特定し、この特定工程を各フレームに対して行う。
【００１７】
【発明の実施の形態】
以下、添付図面に従って本発明の実施の形態を詳説する。
【００１８】
図１は本実施の形態に係る画像処理装置２の構成を示すブロック図である。
【００１９】
記録媒体スロット２４に記録媒体をセットすると、記録媒体コントローラ２２が作動して記録媒体に格納されたデータが読み込まれる。キーボード、マウス等の操作部４から指示情報を入力すると、指示情報はインターフェース８を介してＣＰＵ１２に送られ、ＣＰＵ１２から制御信号が記録媒体コントローラ２２に送られ、記録媒体コントローラ２２を介して記録媒体から必要な画像データが取り出されて、ＲＡＭ２０に格納される。ＲＯＭ１８には、制御プログラムが格納されている。画像処理部１４では、操作部４からの指示情報に基づくＣＰＵ１２の制御信号により、ＲＡＭ２０に格納された画像データに対して、制御指示された画像処理が行われ、その結果がディスプレイコントローラ１０を介してディスプレイ６に表示される。ユーザは、ディスプレイ６を見てさらに必要な指示情報を操作部４から入力する。
【００２０】
図２は、動画ファイルの動画データから注目被写体を拡大した静止画を合成するまでの概略工程を示した図である。
【００２１】
連続した複数の静止画からなる動画ファイルを読み込み、動画ファイル中の動画フレームを分解して指定時間範囲のフレームを取り出す。その後、３つの工程を経る。
【００２２】
第１工程は、被写体の特徴色を抽出処理する被写体特徴色抽出処理３０である。この被写体特徴色抽出処理３０は、被写体の中の部分を数箇所ポイントすることによって被写体を指定し、各ポイントでの特徴色リストを作成する。
【００２３】
第２工程は、画像エリア抽出処理をするエリア抽出処理３２である。この工程では、第１工程で作成した特徴色と近似している色を抽出し、抽出した部分を重ね合わせることによって被写体を特定し、全フレームの被写体エリアを重ね合わせて画像の移動エリアを得、被写体の動き範囲を検出する。
【００２４】
第３工程は、領域切り出し処理３４である。この工程では、第２工程で検出した被写体の動き範囲を基にその領域を切り出し、静止画を合成する。
【００２５】
各工程の詳細を説明する。
【００２６】
第１工程の詳細を説明する。図３は、第１工程での特徴色の指定法を示した図、図４は、第１工程での特徴色抽出工程の流れを示したフローチャートである。
【００２７】
図３において、まず、動画フレーム中の特定の静止画フレームｎにおいてユーザが特定したい被写体の特徴色を指定する。ユーザが特定したい被写体を女の子とすると、ユーザは、被写体の一部、例えば、髪であるＡ点、腕であるＢ点、胴体であるＣ点をそれぞれ操作部４であるマウスでポイントする。ポイントすることによって、Ａ点、Ｂ点、Ｃ点のｘ、ｙ座標が決定する。そして、Ａ点のＲ、Ｇ、Ｂ値を取り込んで特徴色ｒｅｆ（１）とし、Ｂ点のＲ、Ｇ、Ｂ値を取り込んで特徴色ｒｅｆ（２）とし、Ｃ点のＲ、Ｇ、Ｂ値を取り込んで特徴色ｒｅｆ（３）とする。
【００２８】
図４で説明すると、特定の静止画フレームｎがディスプレイ６に表示され（ステップ４０）、特徴色抽出工程が必要回繰り返されたか判断され（ステップ４２）、イエスの場合は終了し、ノーの場合は被写体の一部をポイントする（ステップ４４）。Ａ点、Ｂ点、Ｃ点の特徴色が各Ｒ、Ｇ、Ｂ値の取り込みにより抽出される（ステップ４６）。その後、特徴色抽出工程が必要回繰り返されたかの判断に戻る（ステップ４２）。
【００２９】
第２工程を説明する。図５は、画像エリア抽出処理工程を示す概念図であり、図６は、画像エリア抽出処理工程のフローチャートである。
【００３０】
図５において、第１工程で抽出されたＡ点の特徴色ｒｅｆ（１）、Ｂ点の特徴色ｒｅｆ（２）、Ｃ点の特徴色ｒｅｆ（３）について、それぞれに近似している色を抽出する。
【００３１】
Ａ点の特徴色ｒｅｆ（１）については、Ａ点の特徴色ｒｅｆ（１）と色差ΔＣ以内の部分を抽出する。静止画フレームｎはビットプレーンで構成されているので、ｒｅｆ（ｉ）とピクセルｉの差分をとって色差ΔＣ以内の部分かどうかを０か１かで該当するか否か調べる。値０となった場合は該当しないことになり、色一致しなかった部分とみなされる。値１となった場合は該当することになり、色一致した部分とみなされる。その結果、Ａ点の特徴色ｒｅｆ（１）と近似の色の部分が抽出される。
【００３２】
Ｂ点の特徴色ｒｅｆ（２）、Ｃ点の特徴色ｒｅｆ（３）についても、同様に近似の色の部分が抽出される。
【００３３】
それらの抽出した特徴色部分を１つの静止画フレームｎにおいて重ね合わせる。その静止画フレームｎの被写体エリアが画定される。その工程を指定時間範囲のフレームすべてについて行い、画定された被写体エリアを指定範囲の全フレーム分重ね合わせる。すると、指定された複数フレームにわたっての被写体画像の移動エリアが得られる。移動エリアが長方形になるように、その移動エリアの左上ｘ座標、左上ｙ座標（ｍｉｎ＿ｘ，ｍｉｎ＿ｙ）、右下ｘ座標、右下ｙ座標（ｍａｘ＿ｘ，ｍａｘ＿ｙ）が特定されて移動エリアが最終的に画定され、被写体の動き範囲が検出される。
【００３４】
図６で説明すると、まず対象となる最初の静止画フレームが選定され（ステップ５０）、フレーム終了までくり返されたかどうか判断され（ステップ５２）、最終フレームが完了したらステップ６４に移行し、そうでなければステップ５４で特徴色ｒｅｆ（ｉ）についての画像エリア抽出をくり返すかどうかが判断され、抽出が完了した場合はステップ６０に移行する。完了していない場合は、ステップ５６でｒｅｆ（ｉ）と色差ΔＣ以内の色一致エリアを上述の方法で抽出する。その後、次の特徴色とし（ステップ５８）、ステップ５４に戻る。
【００３５】
ステップ６０では、上述の例では、Ａ点、Ｂ点、Ｃ点の各特徴色についての色一致エリアを重ね合わせ、そのフレームｎの被写体エリアを抽出する。これが終了すると次のフレームを対象とし（ステップ６２）、ステップ５２に戻る。
【００３６】
ステップ６４では、指定された全フレームの被写体エリアを重ね合わせ、被写体画像の移動エリアを得る。そして、ステップ６６に移行し、移動エリアが長方形になるように、その移動エリアの外接座標である左上ｘ座標、左上ｙ座標（ｍｉｎ＿ｘ，ｍｉｎ＿ｙ）、右下ｘ座標、右下ｙ座標（ｍａｘ＿ｘ，ｍａｘ＿ｙ）が特定されて移動エリアが最終的に画定され、終了する。
【００３７】
第３工程を説明する。図７は、領域切り出し工程を示すフローチャートである。この工程では、第２工程で検出した被写体の動き範囲の画像領域を切り出し、静止画を合成する。
【００３８】
まず、移動エリアが画定された対象フレームを特定する（ステップ７０）。該当フレームを読み、画定された移動エリア部分が切り出される（ステップ７２）。切り出した画像を出力する（ステップ７４）。対象フレームが終了したかどうか判断する（ステップ７６）。終了していない場合は、他の移動エリアが画定された対象フレームを特定し（ステップ７８）、ステップ７２に戻る。ステップ７６でイエスの場合は、工程を終了する。
【００３９】
画像を切り出した後は、例えば、切り出した静止画画像を分割写真として合成することが考えられる。図８に示すように、合成した画像では、動画を構成する静止画の１コマ１コマにおける被写体が通常の分割写真よりも拡大した画像になっているので、注目したい被写体をより大きく見やすくすることができる。また、図８に示す分割写真からさらに静止画合成することもできる。
【００４０】
また、切り出した静止画画像を重ね合わせることで多重露光的な合成写真をプリントすることもできるし、インデックス的な画像に合成することもできる。
【００４１】
上述のように、本形態によれば、連続撮影された分解写真画像をプリントしたときなどに注目したい被写体を中心とした画像を得ることができる。
【００４２】
また、動画像の注目フレーム期間について注目被写体の動きが分かるため、分解写真でプリントするフレーム領域の切り出しが容易になる。
【００４３】
さらに、長方形の左上隅と右下隅の座標を定義するｒｅｃｔ＿ｍｉｎ＿ｘ，ｒｅｃｔ＿ｍｉｎ＿ｙ、ｒｅｃｔ＿ｍａｘ＿ｘ，ｒｅｃｔ＿ｍａｘ＿ｙなどの演算で、自動的に分解写真抽出領域が効果的に切り出せなかった場合でも、参照画像Ｒ［ｘ，ｙ］，Ｇ［ｘ，ｙ］，Ｂ［ｘ，ｙ］を見ることで、手動で切り出すべき領域が容易に指定できる。
【００４４】
【発明の効果】
本発明によれば、被写体が大きく写ったより見やすい画像を得ることができるので、連続撮影された分解写真画像をプリントしたときなどに注目したい被写体を中心とした画像を得ることができる。
【図面の簡単な説明】
【図１】画像処理装置の構成を示すブロック図。
【図２】動画ファイルの動画データから注目被写体を拡大した静止画を合成するまでの概略工程を示した図。
【図３】第１工程での特徴色の指定法を示した図。
【図４】 第１工程での特徴色抽出工程の流れを示したフローチャート。
【図５】画像エリア抽出処理工程を示す概念図。
【図６】画像エリア抽出処理工程のフローチャート。
【図７】領域切り出し工程を示すフローチャート。
【図８】動画データから拡大した被写体画像が得られた分割写真の図。
【符号の説明】
２…画像処理装置、４…操作部、６…ディスプレイ、１２…ＣＰＵ、１４…画像処理部、１８…ＲＯＭ、２０…ＲＡＭ、２２…記録媒体コントローラ、２４…記録媒体スロット、３０…被写体特徴色抽出処理、３２…画像エリア抽出処理、３４…領域切り出し処理

Claims (2)

1. 連続する複数の画像からなる動画データを処理する画像処理装置であって、動画データを読み込み、当該動画データから指定時間範囲の動画を構成するフレームを取り出す取り出し手段と、
   取り出した動画データの構成フレームから被写体の特徴色を指定し、当該特徴色に近似している色を当該構成フレームから抽出した後、抽出した部分を重ね合わせることによって被写体を特定する特定手段と、
   前記取り出した動画データの構成フレーム中で前記特定手段によって被写体を特定した部分を前記取り出した構成フレーム分すべてを重ね合わせて、被写体が存在する範囲が前記被写体が移動した範囲であるとすることによって前記被写体が移動した範囲を検出する検出手段と、
   前記被写体が移動した範囲の画像の動画データのエリア部分を切り出す切り出し手段と、からなる画像処理装置。
2. 前記切り出した動画データの各エリア部分を静止画合成する合成手段をさらに有する請求項１の画像処理装置。

Images