JP2012010133A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】ハイライト期間を適切に判別し設定する。
【解決手段】連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する際に、画像ごとの特徴量を抽出する（Ｓ２１）とともに、画像ごとの特徴量の単位時間当たりの変化量を検出し（Ｓ２２）、変化量に基づいてハイライト期間を判別する（Ｓ２３）。
【選択図】図４

Description

本発明は、画像処理装置および画像処理プログラムに関する。

デジタルビデオカメラで撮影した動画を再生する際に、短時間で効果的に内容を把握するために、最も目立つシーン、最も精彩のあるシーン、見せ場のシーンなどをハイライトシーンとして検出し、優先的に表示するようにした画像処理装置が知られている（例えば、特許文献１参照）。

特開２００７−１３４７７１号公報

しかしながら、上述した従来の画像処理装置では、ハイライトシーンとして検出されたシーンが必ずしもユーザーが求めているシーンとは限らず、適切なハイライトシーンの判別がなされていないという問題がある。

連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する際に、画像ごとの特徴量を抽出するとともに、画像ごとの特徴量の単位時間当たりの変化量を検出し、変化量に基づいてハイライト期間を判別する。

本発明によれば、ハイライト期間を適切に判別し設定することができる。

一実施の形態の画像処理装置を搭載したデジタルカメラの構成を示す図 動画記録時のハイライト期間設定プログラムを示すフローチャート 動画再生時のハイライト期間設定プログラムを示すフローチャート ハイライト判定サブルーチンを示すフローチャート 徒競争シーンを動画撮影した場合のハイライト判定例を示す図 特殊再生処理プログラムを示すフローチャート 特殊再生処理の一例を示す図 特殊再生処理の他の例を示す図 特殊再生処理の他の例を示す図

本発明の画像処理装置を動画撮影可能なデジタルカメラに搭載した一実施の形態を説明する。

図１は一実施の形態のデジタルカメラの構成を示す図である。なお、本発明に直接関係のないカメラの機器および装置については図示と説明を省略する。撮影光学系１は撮像素子２の撮像面に被写体像を結像する。この撮影光学系１には撮影レンズと絞りの他に、レンズおよび絞り駆動制御装置や光学系情報を記憶するメモリなどが内蔵されている。撮像素子２はＣＣＤやＣＭＯＳなどのイメージセンサーであり、被写体像を画像信号に変換する。Ａ／Ｄコンバーター３はアナログ画像信号をデジタル画像信号に変換する。信号処理回路４は画像信号に対してクランプ処理、ゲイン処理、画素補間処理、色変換処理などの各種処理を施す。バッファメモリ５は画像を一時的に記憶するメモリである。

圧縮記録回路６は画像信号を所定のフォーマットで圧縮し、メモリカードなどの記録媒体７に記録する。特殊再生処理回路８は動画の中のハイライト期間に特殊な演出効果を付加する。この特殊再生処理については詳細を後述する。読出伸張回路９は記録媒体７に圧縮記録されている画像を読み出して伸張する。表示制御回路１０は動画を含む画像をモニター１１に表示する。制御装置１２はＣＰＵ１２ａを備え、カメラの各種演算とシーケンス制御を行うとともに、動画の中からハイライト期間を判別し、ハイライト期間に対して特殊再生処理を施す。操作部１３はカメラを操作するための操作部材であり、レリーズスイッチ、メニュースイッチ、十字キースイッチ、ハイライトスイッチ、再生スイッチなどが含まれる。

図２〜図４、図６は一実施の形態の画像処理装置のハイライト期間設定と特殊再生処理の制御プログラムを示すフローチャートである。これらのプログラムは制御装置１２のＣＰＵ１２ａにより実行される。これらのフローチャートにより一実施の形態の動作を説明する。

図２は動画記録時のハイライト期間設定プログラムを示す。操作部１３のレリーズスイッチがオンして動画の撮影と記録動作が行われている間、制御装置１２のＣＰＵ１２ａは図２に示すプログラムを繰り返し実行する。ステップ１において、操作部１３のハイライトスイッチが操作されたか否かを判別する。操作部１３のハイライトスイッチは、撮影者が撮影時にここはハイライトシーンであるとして操作し、撮影者自身がハイライト期間を設定するためのスイッチである。なお、詳細を後述するハイライトモードが設定されていない場合でもハイライトスイッチの操作が優先され、ハイライトスイッチが操作されるとハイライトモードの非設定時でもハイライト期間が設定される。ハイライトスイッチがオンしているときはステップ２へ進み、ハイライトスイッチがオンしているときに撮影された画像にハイライトフラグを設定し、画像データとともに記録媒体７に記録する。

ここで、ハイライト期間は、動画撮影または静止画の連続撮影により撮像された一連の画像の中に、短時間で効果的に一連の画像の内容を把握するために、最も目立つ画像、最も精彩のある画像、見せ場の画像などの、一連の画像の要点を表す画像もしくは画像群として設定される。

操作部１３のハイライトスイッチがオンしていないときはステップ３ヘ進み、ハイライトモードが設定されているか否かを判別する。この一実施の形態の画像処理装置は、動画の撮影記録時に自動的にハイライト期間を判定してハイライトフラグを設定するモード、すなわちハイライトモードを有している。ハイライトモードは、操作部１３のメニュースイッチを操作してモニター１１にメニュー画面を表示させ、操作部１３の十字キーを操作してハイライトモードの設定と解除を行う。ハイライトモードが設定されているときはステップ４へ進み、図４に示すハイライト判定サブルーチンを実行し、ハイライト期間の判定とハイライトフラグの設定を行う。このハイライト判定処理については詳細を後述する。ハイライトモードが設定されていないときはステップ４をスキップする。ステップ５では、操作部１３のレリーズスイッチがオンになっているか、つまり動画の撮影と記録動作が継続されているか否かを判別し、継続されているときはステップ１へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。

図３は動画再生時のハイライト期間設定プログラムを示す。操作部１３の再生スイッチがオンして動画の再生動作が行われている間、制御装置１２のＣＰＵ１２ａは図３に示すプログラムを繰り返し実行する。ステップ１１において、操作部１３のハイライトスイッチが操作されたか否かを判別する。操作部１３のハイライトスイッチは、上述したように、撮影者自身がハイライト期間を設定するためのスイッチであり、ハイライトモードが設定されていない場合でもハイライトスイッチの操作が優先される。動画の撮影記録時にハイライト期間が設定されていない動画に対しても、モニター１１に動画を再生しているときに操作部１３のハイライトスイッチを操作することによって、改めてハイライト期間を設定することができる。ハイライトスイッチがオンしているときはステップ１２へ進み、ハイライトスイッチがオンしているときに再生された画像にハイライトフラグを設定し、画像データとともに記録媒体７に記録する。

操作部１３のハイライトスイッチがオンしていないときはステップ１３ヘ進み、上述したハイライトモードが設定されているか否かを判別する。この一実施の形態の画像処理装置は、動画の再生時に自動的にハイライト期間を判定してハイライトフラグを設定するモード、すなわちハイライトモードを有している。ハイライトモードは、操作部１３のメニュースイッチを操作してモニター１１にメニュー画面を表示させ、操作部１３の十字キーを操作してハイライトモードの設定と解除を行う。ハイライトモードが設定されているときはステップ１４へ進み、図４に示すハイライト判定サブルーチンを実行し、ハイライト期間の判定とハイライトフラグの設定を行う。このハイライト判定処理については詳細を後述する。ハイライトモードが設定されていないときはステップ１４をスキップする。ステップ１５では、操作部１３の再生スイッチがオンになっているか、つまり動画の再生動作が継続されているか否かを判別し、継続されているときはステップ１１へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。

図４はハイライト判定サブルーチンを示す。ステップ２１において、動画の中の駒画像ごとに画像の特徴量を抽出する。特徴量としては、例えば、主要被写体の動きを示す画像中の動きベクトル量を検出してもよい。また、主要被写体に対するピント状態を示す画像中の空間周波数を検出してもよい。あるいは、画像中の主要被写体の輝度、形状、色相などを検出し、特徴量としてもよい。なお、画像中の主要被写体としては、例えば、顔認識処理により人物の顔を認識して主要被写体としたり、焦点検出結果の至近のデフォーカス量を示す被写体を主要被写体としてもよい。動画撮影で時系列的に撮影記録される駒画像に対して上述した特徴量を検出し、バッファーメモリ５に順に記憶する。

続くステップ２２では、単位時間当たりの特徴量の変化量を検出する。バッファーメモリ５に記憶されている駒画像ごとの特徴量を読み出し、連続した画像における特徴量の単位時間当たりの変化量を求める。ステップ２３で、特徴量の単位時間当たりの変化量が予め設定したしきい値を超えているか否かを判別し、特徴量の変化量がしきい値を越えている場合はステップ２４へ進み、現在処理中の画像にハイライトフラグを設定し、画像データとともに記録媒体７に記録する。なお、特徴量の変化量がしきい値以下の場合はステップ２４をスキップする。

図５は徒競争シーンを動画撮影した場合のハイライト判定例を示す。図５(ａ)は徒競争におけるスタート時、走行中、ゴール時におけるシーン０〜４を示し、図５(ｂ)は各シーンにおける主要被写体すなわちランナーの動きベクトル量の単位時間当たりの変化量を示す。スタート時のシーン０では、ランナーの動きがほとんどないため、動きベクトル量はほぼ０である。ランナーがスタートした直後のシーン１では、ランナーの動きベクトル量が急激に増加する。走行中のシーン２では、ランナーの動きベクトル量はほぼ一定になり、変化は少ない。ゴール直後のシーン３ではランナーの動きベクトル量は急激に減少する。そして、ゴール後にランナーが所定の場所へ移動するシーン４では、ランナーの動きベクトル量は歩行移動に応じた微小な量になる。

この一実施の形態では、主要被写体の動きベクトル量の単位時間当たりの変化量が予め設定したしきい値を超えた期間をハイライト期間とする。しかし、動きベクトル量の単位時間当たりの変化量がしきい値を超えた時点ではすでに主要被写体が動き始めており、また、動きベクトル量の単位時間当たりの変化量がしきい値以下になった時点以降も主要被写体はまだ動き続けている。そこで、この一実施の形態では、図５(ｂ)に示すように、主要被写体の動きベクトル量の単位時間当たりの変化量がしきい値を超えた期間の前後の所定期間も含めた期間をハイライト期間に設定する。

図６は特殊再生処理プログラムを示す。操作部１３のメニュースイッチが操作され、十字キーにより特殊再生処理が選択されると、制御装置１２のＣＰＵ１２ａはこの特殊再生処理プログラムを実行する。ステップ３１において、モニター１１に動画を再生しながら駒画像ごとにハイライトフラグが設定されているか否かを判別する。ハイライトフラグが設定されている駒画像があるとステップ３２へ進み、特殊再生処理を施す。特殊再生処理の詳細については後述する。ステップ３３で動画の再生が継続されているか否かを判別し、継続されているときはステップ３１へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。

図７は特殊再生処理の一例を示す。この例では、ハイライト期間内の画像中から上述した方法で主要被写体を抽出し、主要被写体の明度を高くするとともに背景の明度を低くし、主要被写体を際立たせる演出効果を付加する。

図８は特殊再生処理の他の例を示す。この例では、ハイライト期間にスローモーション再生を行うために、撮影された動画のフレーム間にその前後のフレームの画像に基づいて新しいフレームを生成し、滑らかなスローモーション再生を可能にする。図８において、(ａ)は通常の再生フレーム(１)、(２)、(３)、(４)、・・を示し、(ｂ)は通常の再生フレーム間に前後のフレーム画像に基づいて新しいフレームを生成し追加したものである。また、図８(ｃ)は、(ｂ)に示す再生フレーム間に前後のフレーム画像に基づいて新しいフレームを生成し追加したものであり、(ｂ)に示す１／２再生に比べてさらに滑らかなスローモーション再生が実現できる。

図９は特殊再生処理の他の例を示す。この例では、ハイライト期間にスローモーションの再生を行うために、動画の撮影記録時に動画フレーム間において高速シャッタースピードの画像を取得し、これらのすべての画像フレームを用いてスローモーション再生を行う。図９において、動画の画像は通常のシャッター速度、例えば１／６０〜１／２５０[sec]で撮影し、通常の画像フレーム(１)、(２)、(３)、(４)、・・・の間に高速のシャッター速度、例えば１／１０００[sec]で複数枚の静止画を撮影する。そして、通常の再生時は通常の画像フレーム(１)、(２)、(３)、(４)、・・・のみを再生し、ハイライト期間のスローモーション再生時には通常の画像フレームと高速シャッター速度で撮影した静止画の両方を再生する。このような高速シャッター速度で撮影した駒画像を用いてスローモーション再生することによって、輪郭のぼやけのないシャープで滑らかなスローモーション再生が可能になる。

なお、上述した一実施の形態では、動画を対象にハイライト期間を自動設定または手動設定する例を示したが、連続撮影（連写）した多くの枚数の静止画像を対象にしてハイライト期間の自動検出または手動設定を行うこともできる。

また、上述した一実施の形態では、本発明の画像処理装置をデジタルカメラに搭載した例を示したが、本発明の画像処理装置をハイライト設定専用器としてもよいし、本発明の画像処理装置をＤＶＤのような動画再生装置に搭載してもよい。あるいは、本発明の画像処理プログラムをパーソナルコンピューター上で実行し、パーソナルコンピューターに取り込んだ動画または連写画像に対してハイライト期間の自動設定または手動設定を行うとともに、ハイライト期間に上述した特殊再生処理を施すようにしてもよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する際に、画像ごとの特徴量を抽出するとともに、画像ごとの特徴量の単位時間当たりの変化量を検出し、この変化量に基づいてハイライト期間を判別するようにしたので、ハイライト期間を適切に判別し設定することができる。

また、一実施の形態によれば、画像の中から主要被写体を抽出し、主要被写体の動きベクトル量を特徴量として検出するようにしたので、背景の変化に影響を受けることなく適切なハイライト期間を設定することができる。

さらに、一実施の形態によれば、一連の画像の中の任意の期間にハイライト期間を手動で設定するためのハイライトスイッチを備えたので、画像処理装置によるハイライト期間の自動設定がなされない箇所にも、ユーザーが任意にハイライト期間を設定することができる。

一実施の形態によれば、一連の画像を撮影するときはもちろんのこと、一連の画像を再生するときにも、ハイライト期間を設定可能にしたので、撮影済みの一連の画像に対して新たにハイライト期間を設定もしくは追加することができる。

一実施の形態によれば、連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する処理を実行させるコンピューター・プログラムとして、画像ごとの特徴量を抽出する抽出ステップと、画像ごとの特徴量の単位時間当たりの変化量を検出する検出ステップと、変化量に基づいてハイライト期間を判別する判別ステップとを有するようにしたので、画像再生装置やコンピューター上などでハイライト期間を適切に判別し設定することができる。

２；撮像素子、１１；モニター、１２；制御装置、１２ａ；ＣＰＵ、１３；操作部

Claims (6)

1. 連続して撮影された一連の画像を処理して前記一連の画像の中に前記一連の画像の要点を表すハイライト期間を設定する画像処理装置であって、
   前記画像ごとの特徴量を抽出する抽出手段と、
   前記画像ごとの特徴量の単位時間当たりの変化量を検出する検出手段と、
   前記変化量に基づいて前記ハイライト期間を判別する判別手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記抽出手段は、前記画像の中から主要被写体を抽出し、前記主要被写体の動きベクトル量を前記特徴量として検出することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記一連の画像の中の任意の期間に前記ハイライト期間を手動で設定するための操作部材を備えることを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   動画撮影または静止画の連続撮影により前記一連の画像を撮像する撮像手段を備え、
   前記一連の画像を撮影するときに前記ハイライト期間を設定することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記画像を表示する表示手段を備え、
   前記一連の画像を前記表示手段で再生するときに前記ハイライト期間を設定することを特徴とする画像処理装置。
6. 連続して撮影された一連の画像を処理して前記一連の画像の中に前記一連の画像の要点を表すハイライト期間を設定する処理をコンピューターに実行させる画像処理プログラムであって、
   前記画像ごとの特徴量を抽出する抽出ステップと、
   前記画像ごとの特徴量の単位時間当たりの変化量を検出する検出ステップと、
   前記変化量に基づいて前記ハイライト期間を判別する判別ステップとをコンピューターに実行させることを特徴とする画像処理プログラム。

Images