JP6870728B2 - 画像処理装置、画像形成装置及び画像処理方法 - Google Patents

Description

本発明は、動画像データから静止画像データを抽出する画像処理技術に関し、特にアルバムの作成等に利用可能な技術に関する。

近年、ビデオカメラやスマートフォンの性能向上や画質向上に伴い、動画像データから抽出可能な静止画像データを生成することが行われている。

また、動画像データから所望の静止画を抽出し、抽出された前記静止画のアルバムなどを作成可能とする技術も提案されている。たとえば特許文献１は、動画中から所定の人物の画像を検出し、その人物の画像が写りこんでいる複数のフレームから代表的な一部を選択することでアルバムを自動的に作成する技術を提案している。

特開２００９−８８６８７号公報

ところで、従来は、前記動画像データが単に複数のフレーム画像データの集合として捉えられている。そのため、前記動画像データの特性である時間的な連続性を活かして静止画像データを抽出するという観点での十分な検討が行われていなかった。

本開示は、このような状況に鑑みてなされたものであり、前記動画像データの特性である時間的な連続性を活かして静止画像データを抽出する技術を提供することを目的とする。

本開示の一の局面に係る画像処理装置は、静止画像データ生成部と、連続静止画像データ抽出部と、を備える。前記静止画像データ生成部は、動画像データから複数の静止画像データを生成する。前記連続静止画像データ抽出部は、生成された前記複数の静止画像データから、同一の被写体の画像を含むとともに所定の周期で時間的に連続している静止画像データであり、かつ、前記同一の被写体の画像の動きが予め設定されている条件を満たしている連続静止画像データを抽出する。

本開示の他の局面に係る画像形成装置は、前記画像処理装置と、印刷媒体に画像を形成する画像形成部と、を備える。

本開示の他の局面に係る画像処理方法は、動画像データから複数の静止画像データを生成することと、前記生成された複数の静止画像データから、同一の被写体の画像を含むとともに所定の周期で時間的に連続している静止画像データであり、かつ、前記同一の被写体の画像の動きが予め設定されている条件を満たしている連続静止画像データを抽出することと、を含む。

本開示によれば、動画像データの特性である時間的な連続性を活かした静止画像データの抽出を実現する技術を提供することが可能である。

本開示の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。 一実施形態に係る静止画像取得処理の内容を示すフローチャートである。 一実施形態に係る人物登録処理の内容を示すフローチャートである。 一実施形態に係るフレーム画像データ生成処理の内容を示すデータフローダイアグラムである。 同一人物の画像を含む複数のフレーム画像データの内容を示す説明図である。 同一人物の画像を含む２枚のフレーム画像データＦ１，Ｆ２の内容を示す説明図である。 被写体が遠近方向において移動しているフレーム画像データの内容を示す説明図である。

以下、本開示の実施形態を、図面を参照して説明する。なお、前記実施形態は、本開示を実施するための形態である。

図１に示されるように、本開示の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。画像形成装置１００は、制御部１１０と、画像形成部１２０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部１５０とを備えている。通信インターフェース部１５０は、通信Ｉ／Ｆ部とも呼ばれる。

制御部１１０、画像形成部１２０、操作表示部１３０、記憶部１４０および通信インターフェース部１５０は、それぞれ画像処理装置、印刷処理装置、操作表示装置、記憶装置および通信インターフェース装置の一例である。

画像形成装置１００は、通信インターフェース部１５０を介して近距離無線通信でスマートフォン２００と接続される。これにより、画像形成装置１００は、スマートフォン２００で撮像して生成された動画像データを受信することができる。

近距離無線通信は、本実施形態では、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２は、出力２．５ｍＷの通信であり、画像形成装置１００とスマートフォン２００との距離が１０ｍ以内程度での通信が可能な近距離無線通信である。

制御部１１０は、ＲＡＭやＲＯＭ等の記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーを備えている。前記プロセッサーは、制御手段の一例である。

また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラの機能を備えている。制御部１１０は、画像形成装置１００の全体を制御する。

制御部１１０は、さらに、フレーム抽出部１１１と、人物照合部１１２と、速度検出部１１３と、高速移動区間抽出部１１４と、静止画像出力部１１５と、周期設定部１１６とを備えている。人物照合部１１２は、人物登録部１１２ａを備えている。

なお、前記プロセッサーは、前記ＲＯＭ等に記憶されたプログラムを実行する。これにより、制御部１１０は、フレーム抽出部１１１、人物照合部１１２、速度検出部１１３、高速移動区間抽出部１１４、静止画像出力部１１５および周期設定部１１６として機能する。

フレーム抽出部１１１、人物照合部１１２、速度検出部１１３、高速移動区間抽出部１１４、静止画像出力部１１５および周期設定部１１６は、それぞれフレーム抽出装置、人物照合装置、速度検出装置、高速移動区間抽出装置、静止画像出力装置および周期設定装置の一例である。

画像形成部１２０は、紙その他のシート状の印刷媒体上に画像を形成する。操作表示部１３０は、操作部及び表示部を含むタッチパネルとして機能する。操作表示部１３０は、様々なメニュー画面を入力画面として前記表示部に表示し、さらに前記操作部を通じてユーザーの操作入力を受け付ける。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置である。

記憶部１４０は、それぞれ制御部１１０が実行する処理に対応する制御プログラム及びデータを記憶する。記憶部１４０は、フレーム画像データを一時的に格納するためのフレームメモリ１４１と、静止画像格納領域１４２と、人物登録データ格納領域１４３とを有している。なお、格納領域とは、記憶部１４０におけるデータ記憶部の一部である。

フレームメモリ１４１、静止画像格納領域１４２および人物登録データ格納領域１４３が、１つの記憶装置におけるデータ記憶部の一部であることが考えられる。一方、静止画像格納領域１４２および人物登録データ格納領域１４３が、それぞれ個別の記憶装置であることも考えられる。

制御部１１０は、一実施形態に係る静止画像取得処理を実行可能である。図２におけるＳ１０，Ｓ２０，Ｓ３０，・・・は、前記静止画像取得処理における複数のステップの識別符号である。

図２に示されるように、一実施形態に係る静止画像取得処理の内容を示すフローチャートである。前記静止画像取得処理のステップＳ１０では、人物照合部１１２が、ユーザーによる操作表示部１３０の使用を伴う人物登録処理を実行する。前記人物登録処理では、人物登録部１１２ａが、動画像データから静止画像データを抽出する際の条件の一つとして、抽出対象となる静止画像で検出されるべき人物の情報を登録することができる。

図３におけるＳ１１，Ｓ１２，Ｓ１３，・・・は、前記静止画像取得処理における複数のステップの識別符号である。

図３に示されるように、一実施形態に係る人物登録処理の内容を示すフローチャートである。前記人物登録処理のステップＳ１１では、人物登録部１１２ａが、動画像データ取込処理を実行する。動画像データ取込処理では、人物登録部１１２ａは、ユーザーによる操作表示部１３０の操作に従って、動画像データＭＤを選択する。さらに、人物登録部１１２ａは、動画像データＭＤを、たとえば不図示のワイヤレス通信装置又は不図示の可搬記憶媒体を通じて、画像形成装置１００に取り込むことが可能である。

ステップＳ１２では、制御部１１０の人物照合部１１２が、人物検出処理を実行する。人物検出処理では、人物照合部１１２は、動画像データＭＤからフレーム画像データを生成する。さらに、人物照合部１１２は、フレーム画像データファイルによって表される静止画像中から人物の特徴を有する画像領域である人物検出領域を抽出する。

人物照合部１１２は、たとえばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量に基づいて、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの機械学習を利用して人物検出領域を抽出することができる。

ステップＳ１３では、人物照合部１１２は、人物分類処理を実行する。人物分類処理では、人物照合部１１２は、たとえば人物検出領域中の人物の画像が予め登録されている家族の画像のいずれに該当するかを判定することにより、人物検出領域中の人物を分類する。

例えば、家族の情報は、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄの情報を含む。人物登録部１１２ａは、ユーザーによる操作表示部１３０に対する操作に応じて、前記家族の情報を予め記憶部１４０に登録する。

人物照合部１１２は、予め設定されている画像サイズよりも大きなサイズの顔の画像を含むフレーム画像データを選択する。さらに、人物照合部１１２は、選択したフレーム画像データを、人物分類処理の分類結果に従って、複数のグループに分類して操作表示部１３０に表示させる。

さらに、人物照合部１１２は、ユーザーによる操作表示部１３０への入力操作に応じて、複数のグループのそれぞれが父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄあるいは他人の何れに該当するかの分類結果を修正可能である。

ユーザーは、たとえば息子Ｃのグループに父親Ａの静止画像が含まれているといった誤認識を修正する操作を行うことができる。これにより、人物照合部１１２は、機械学習の精度を向上させることができる。

人物照合部１１２は、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄをレコードとしてデータベースを生成する。データベースには、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄの顔画像のＨＯＧ特徴量が登録される。

ステップＳ１４では、人物照合部１１２は、服装選択処理を実行する。服装選択処理では、人物照合部１１２は、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄのそれぞれが着ている服装についてのＨＯＧ特徴量をフレーム画像データから抽出する。これにより、人物照合部１１２は、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄの顔画像のＨＯＧ特徴量に加えて、その服装画像のＨＯＧ特徴量を使用して人物を特定することができる。各人物は、同一の服装を着ることが多く、相違する人物は、相違する服装を着る傾向があるからである。

ステップＳ１５では、人物照合部１１２の人物登録部１１２ａは、データベース登録処理を実行する。データベース登録処理では、人物登録部１１２ａは、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄについてのデータベースを記憶部１４０の人物登録データ格納領域１４３に格納する。

データベースにおいて、父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄがレコードである。データベースには、顔画像それぞれのＨＯＧ特徴量、服装画像のＨＯＧ特徴量、顔画像の機械学習データ、服装画像の機械学習データに加え、身長その他のユーザー入力可能な属性データが含まれる。

さらに、人物登録部１１２ａは、ユーザーによる操作に従って、デジタルカメラで撮像した静止画像データを使用して各人物の顔画像や服装画像のデータを登録することもできる。人物登録部１１２ａは、このような画像データを使用して、顔画像のＨＯＧ特徴量及び服装画像のＨＯＧ特徴量を生成して、データベースに登録することができる。なお、本実施形態では、ＨＯＧ特徴量は、画像認識における計算負荷の小さいＹＵＶ画像データに基づいて生成されているものとする。

図２に示されるように、ステップＳ２０では、ユーザーは、操作表示部１３０を介して静止画像抽出モードを設定する。静止画像抽出モードには、たとえば人物の顔のアップ写真を抽出するモードおよび集合写真を抽出するモードといった各種のモードに加えて、躍動感のある連続写真が抽出される連続写真モードが含まれている。静止画像抽出モードの設定では、制御部１１０は、操作表示部１３０に各モードの選択を受け付ける画面（図示せず）を表示させる。

例えば、連続写真モードが選択された場合、周期設定部１１６は、周期設定入力を受け付ける操作表示画面（図示せず）を操作表示部１３０に表示させる。前記周期設定入力は、フレーム画像の時間的な間隔である周期を設定する入力操作である。周期は、静止画像としてのフレーム画像の抽出周期の設定に使用される。ただし、ユーザー入力がなされなかった場合には、初期設定として０．２秒が使用されるものとする。

ステップＳ３０では、人物照合部１１２が、ユーザーによる操作表示部１３０の操作を通じて、人物を選択する。人物の選択では、人物照合部１１２は、操作表示部１３０に父親Ａ、母親Ｂ、息子Ｃ及び娘Ｄの選択を受け付ける画面を表示させる。この例では、息子Ｃが選択されたものとする。

ステップＳ４０では、フレーム抽出部１１１は、フレーム画像生成処理を実行する。フレーム抽出部１１１は、静止画像データ生成部とし機能する装置の一例である。フレーム画像生成処理では、フレーム抽出部１１１は、たとえば３０ｆｐｓのフレームレートの動画像データＭＤから所定の周期のフレーム画像データを生成する。所定の周期は、たとえばユーザーによって予め設定される。例えば、初期設定の所定の周期が、０．２秒であることが考えられる。

図４は、一実施形態に係るフレーム画像データ生成処理の内容を示すデータフローダイアグラムである。図４には、上側にデータフローダイアグラムが示され、下側にＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が示されている。データフローダイアグラムは、動画像データＭＤからフレーム画像データが抽出され、抽出されたデータが変換および保存されるまでの流れを示している。フレーム画像データは、ＹＵＶ画像データとして構成されている。フレーム画像データ生成処理は、動画像データＭＤから複数のフレーム画像データを抽出する処理であり、フレーム抽出部１１１によって実行される。

フレーム画像データ生成処理には、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）やＨ．２６４に規定される処理が含まれる。フレーム画像データ生成処理では、フレーム抽出部１１１は、Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）及びＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）からフレーム画像データを生成する。

Ｉフレームは、フレーム間予測を用いずに符号化されるフレームである。Ｉフレームは、イントラフレームやキーフレームとも呼ばれる。Ｉフレームは、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）およびＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）とともにＧＯＰを構成する。

Ｐフレームが、Ｉフレームとのフレーム間処理を施されることによって、フレーム画像データを生成することが可能である。Ｂフレームが、Ｉフレーム、Ｐフレーム及び他のＢフレームとのフレーム間処理を施されることによって、フレーム画像データを生成することが可能である。

動画像データは、時系列順に配列されている複数のフレーム画像データから生成される。複数のフレーム画像データは、時系列の前後のフレーム間で近似していることが多い。フレーム間予測は、このような動画像データの性質を利用した処理である。フレーム間予測は、時系列的に前のフレーム画像から現在のフレーム画像を予測する処理である。

具体的には、フレーム間予測において、画素ブロック毎の移動が推定され、さらに、移動後のフレーム間での画素ブロックの差分が、ＤＣＴ変換されるとともに量子化される。これにより、ＧＯＰ単位での圧縮率が高まる。Ｐフレームは、動きベクトルを使用することによりＩフレームから再現される。動きベクトルは、各画素ブロックの移動ベクトルである。

フレーム抽出部１１１は、Ｉフレームに対して逆離散コサイン変換（逆ＤＣＴ変換とも呼ばれる。）を行うことによって、輝度データと色差データとを含むＹＵＶ画像データとしてのフレーム画像データを生成する。逆ＤＣＴ変換は、たとえば８×８画素あるいは１６×１６の画素ブロック毎に実行される。フレーム抽出部１１１は、再現されたフレーム画像データをフレームメモリ１４１に格納する。

フレーム抽出部１１１は、Ｐフレーム及びＢフレームに対して逆離散コサイン変換を行うことによって差分データを生成する。フレーム抽出部１１１は、差分データと動きベクトルとを使用してフレーム間処理を実行することによりフレーム画像データを生成する。動きベクトルは、動画像データＭＤのエンコード時に生成されるデータである。本処理は、ＭＰＥＧ−４やＨ．２６４に規定される通常の復号化処理である。

フレーム抽出部１１１は、制御部１１０のＲＡＭ（図示せず）上でＰフレームおよびＢフレームに基づくフレーム画像データ生成処理を実行する。フレーム抽出部１１１は、予め設定されている周期のフレーム画像データをフレームメモリ１４１に格納する。具体的には、動画像データＭＤのフレームレートが３０ｆｐｓである場合、周期が０．２秒に設定されている。この場合、フレーム抽出部１１１は、６フレーム毎にフレーム画像データをフレームメモリ１４１に格納する。一方、フレーム抽出部１１１は、他のフレーム画像データを廃棄する。これにより、フレーム抽出部１１１は、フレームメモリ１４１の過剰な消費を低減させることができる。

フレーム抽出部１１１は、フレーム画像データをフレームメモリ１４１に格納する際に、一緒にフレーム画像データの生成で使用された動きベクトルを各フレーム画像データに紐づけて格納する。

ステップＳ５０では、人物照合部１１２が、人物検出処理を実行する。人物検出処理では、人物照合部１１２は、フレームメモリ１４１に格納されている複数のフレーム画像データのそれぞれについてステップＳ３０で選択された人物が含まれているか否かを判断する。

例えば、ステップＳ３０で選択された人物が息子Ｃであることが考えられる。この場合、人物照合部１１２は、輝度データと色差データとを含むＹＵＶ画像データとしてのフレーム画像データから息子Ｃの検出を試みる。

人物照合部１１２は、たとえば周知のＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を使用して人物の検出や特定を実行することができる。まず、人物照合部１１２は、フレーム画像データの中から人物を検出する。さらに、人物照合部１１２は、息子Ｃの顔画像のＨＯＧ特徴量を使用して検出された人物の顔が息子Ｃの顔であるか否かを判断する。

人物照合部１１２は、息子Ｃの顔であるか否かの判断の確度が低い場合に、息子Ｃの服装画像のＨＯＧ特徴量を使用して、人物の顔が息子Ｃの顔であるか否かを判断する。特に、息子Ｃが横方向から撮影されており、かつ、顔画像のサイズが小さい場合等に、服装画像のＨＯＧ特徴量を補助的に使用することができる。一般に、躍動感のある連続画像が撮影される場合、アップで顔画像を安定的に捉えることが難しいからである。

ステップＳ６０では、制御部１１０の速度検出部１１３は、被写体である人物の移動速度を検出する。この例では、人物は息子Ｃである。速度検出部１１３は、時間的に連続している複数のフレーム画像データにおいて同一の被写体の画像が含まれる時間的な区間を特定する。

速度検出部１１３は、同一の被写体の画像、すなわち同一人物の画像を含む画像領域を構成する画素ブロックの動きベクトルを使用して被写体の画像の速度を推定することができる。息子Ｃの画像を含む画像領域を構成する画素ブロックは、息子Ｃの併進移動速度に対応する動きベクトルを有しているからである。

図５に示される例では、同一人物として息子Ｃが撮影されている９枚のフレーム画像データＦ１〜Ｆ９の画像が示されている。フレーム画像データＦ１〜Ｆ９は、静止している３本の樹木を背景として、息子Ｃが疾走している躍動感のある一連の連続画像を表している。

図６は、同一人物が表されている２枚のフレーム画像データＦ１，Ｆ２の内容を示す説明図である。図６における２枚のフレーム画像データＦ１，Ｆ２において、息子Ｃの画像は、図６に向かって右側に併進移動している。息子Ｃの画像の併進移動量は、２枚のフレーム画像データＦ１，Ｆ２のフレーム間の移動量である。併進移動量を周期で除することによって、併進移動速度を算出することができる。ただし、本実施形態では、併進移動速度は、３０ｆｐｓを想定する動きベクトルから推定される。

ステップＳ７０では、制御部１１０の高速移動区間抽出部１１４は、息子Ｃの画像の移動速度が予め設定されている閾値以上であるか否かを判断する。高速移動区間抽出部１１４は、息子Ｃの画像の移動速度が閾値以上である場合には、処理をステップＳ８０に進め、息子Ｃの画像の移動速度が閾値未満である場合には、処理をステップＳ９０に進める。

ステップＳ８０では、高速移動区間抽出部１１４は、フレーム画像データグループ化処理を実行する。フレーム画像データグループ化処理は、２枚のフレーム画像データＦ１，Ｆ２の前後に所定の周期で時間的に連続し、息子Ｃの画像を含むフレーム画像データである。

図５は、フレーム画像データＦ１で息子Ｃの撮影が開始され、フレーム画像データＦ９まで息子Ｃの撮影が継続している例を示す。

高速移動区間抽出部１１４は、９枚のフレーム画像データＦ１〜Ｆ９をグループ化し、静止画像格納領域１４２に格納する。これにより、９枚のフレーム画像データＦ１〜Ｆ９は、一つの連続画像データファイルとしての管理および取り扱いが可能である。静止画像格納領域１４２には、９枚のフレーム画像データＦ１〜Ｆ９が、それぞれＤＣＴ変換されてＪＰＥＧ静止画像データとして格納される。

なお、高速移動区間抽出部１１４は、連続静止画像データ抽出部の一例である。９枚のフレーム画像データＦ１〜Ｆ９は、連続静止画像データの一例である。

また、本実施形態では、被写体（息子Ｃ）の画像の移動速度が閾値以上である状態が、一つの連続画像データファイルにおいて一瞬でもよい。即ち、被写体の画像の移動速度が閾値以上である状態が、一つの連続画像データファイルにおいて１回生じていればよい。画像の移動速度が一つの連続画像データファイルの全体において閾値を超えている必要はない。ただし、高速移動区間抽出部１１４が、一つの連続画像データファイルの全区間において移動速度が閾値を超えていることを必要条件として判断することも考えられる。

制御部１１０は、ステップＳ４０乃至ステップＳ８０の処理を、複数のフレーム画像データについて、最終フレーム画像データが処理対象となるまで繰り返して実行する（ステップＳ９０）。

ステップＳ１００では、静止画像出力部１１５は、フレーム画像データ出力処理を実行する。フレーム画像データ出力処理では、静止画像出力部１１５は、一つの連続画像データファイルを操作表示部１３０に９枚のサムネイル画像として表示する。ここでは、一つの連続画像データファイルは、グループ化された９枚のフレーム画像データＦ１〜Ｆ９を含む。

なお、制御部１１０は、ユーザーによるサムネイル画像をタッチする操作に従って、９枚のフレーム画像データＦ１〜Ｆ９から任意のフレーム画像を処理対象として選択すること、及び、一括して全てのフレーム画像を処理対象として選択することもできる。

静止画像出力部１１５は、ユーザーの指示に応じて、選択されたフレーム画像データに基づいて画像形成部１２０を制御することにより、印刷媒体上に画像を形成する処理を、画像形成部１２０に実行させることができる。

画像形成部１２０により出力された印刷物は、躍動感のある連続写真としてアルバムなどに利用可能である。一方、静止画像出力部１１５は、ユーザーによる指示操作に応じて、通信インターフェース部１５０を介してスマートフォン２００又は図示しないパーソナルコンピュータに連続画像データファイルを送信することもできる。

このように、本実施形態に係る画像形成装置１００によれば、動画像データの特性である時間的な連続性を活かして、躍動感のある連続画像（連続写真）として、所定の周期で時間的に連続する複数の静止画像データ（フレーム画像データ）を抽出することができる。

本開示は、上記実施形態だけでなく、以下のような変形例でも実施することができる。

［変形例１］
上記実施形態では、躍動感のある連続画像として、被写体としての人物の画像の並進移動速度が閾値を超えたフレーム画像データが抽出されている。しかしながら、躍動感のある連続画像は、並進移動速度が速い画像に限定されない。

具体的には、たとえば図７に示されるように、被写体が遠近方向において近づいてくるようなシーンを示す画像も躍動感のある連続画像に含まれる。

図７に示される例では、検出対象としての人物が検出された領域のサイズが、検出領域Ｆｒ１のサイズから検出領域Ｆｒ２のサイズに変化している。ステップＳ７０において、速度検出部１１３が、被写体の画像サイズの変化率が予め設定されている閾値以上であるか否かに基づいて判断することが考えられる。被写体の画像サイズの変化率は、単位時間あたりの縮小率または拡大率である。

Ｐフレーム又はＢフレームにおいて、被写体としての人物の画像を構成する画素ブロックに紐づけられている動きベクトルは、検出対象としての人物が近づいてくる場合には発散方向の成分を多く有する。一方、動きベクトルは、検出対象としての人物が遠ざかる場合には収束方向の成分を多く有する。

並進移動、遠近移動及びその組合せは、動きベクトルの並進成分と、発散成分と、収束成分とを解析することによって検出することができる。速度検出部１１３は、被写体としての人物の画像の移動速度に伴う動きベクトルの並進成分、発散成分及び収束成分の少なくとも１つに基づいて躍動感のある連続画像であるか否かを判断することができる。

［変形例２］
上記実施形態では、躍動感のある連続画像として、被写体としての人物の画像の移動速度に基づいてフレーム画像データが抽出されている。しかしながら、躍動感のある連続画像は、移動速度が速い画像に限定されない。

具体的には、たとえば被写体としての人物が体操をしているような場合が考えられる。この場合、被写体としての人物の画像は、移動を伴わずに、人物の手足が動いている場合又は回転している場合の画像である。このような場合に、制御部１１０が、手足が動いている場合又は回転している人物の画像を含む連続画像を、躍動感のある連続画像として抽出してもよい。

このように、検出対象としての人物の手足が動いている場合又は回転している場合が考えられる。この場合、被写体としての人物の画像を構成する画素ブロックに紐づけられている動きベクトルが、ランダムな方向と大きさとを有することがある。この場合、速度検出部１１３は、被写体としての人物の画像を構成する画素ブロックの動きベクトルがランダムな方向と大きさとを有する場合に、その動きベクトルに対応する連続画像が躍動感のある連続画像であると判断することができる。

［変形例３］
上記実施形態では、躍動感のある連続画像であるか否かの判断に使用するデータとして、動きベクトルが使用されている。しかしながら、必ずしも動きベクトルが使用される必要はなく他のデータが採用されてもよい。

具体的には、速度検出部１１３は、たとえば各フレーム画像に存在する人物領域の位置又は大きさを参照し、人物の移動速度を検知するように構成されていてもよい。たとえば、速度検出部１１３は、時間的に隣接するフレーム画像間での人物領域の位置の差を移動距離として計算し、その距離が所定の閾値より大きければ、動画中の人物が高速で移動していると判断することができる。ここで、人物領域は、人物の画像を含む領域である。

速度検出部１１３は、さらに、人物領域の位置だけでなく人物領域の大きさを比較し、大きさの差が所定の閾値より大きい場合にも動画中の人物の画像が高速で移動していると判断してもよい。

上記実施形態における動きベクトルを使用する方法は、計算負荷が小さく処理を高速化することができるという利点を有している。一方、本変形例における方法は、躍動感のある連続画像であるか否かの判断のための処理の設計自由度が高いという利点を有している。

さらに、たとえば人物領域の位置の差及び人物領域の大きさの差の一方を主として利用し、他方を補完的に利用することによって、両者を組み合わせてもよい。このように、速度検出部１１３は、同一の被写体の画像の動きが予め設定されている条件を満たしているか否かを判断するものであればよい。

［変形例４］
上記実施形態では、画像形成装置に本発明が適用されている。しかしながら、本発明を、たとえばスマートフォンやパーソナルコンピュータといった画像処理装置として機能する装置に適用することもできる。

Claims (4)

1. 動画像データから複数の静止画像データを生成する静止画像データ生成部と、
   生成された前記複数の静止画像データから、同一の被写体の画像を含むとともに所定の周期で時間的に連続している静止画像データであり、かつ、前記同一の被写体の画像の動きが予め設定されている条件を満たしている連続静止画像データを抽出する連続静止画像データ抽出部と、を備え、
   前記静止画像データ生成部は、前記動画像データに含まれている動きベクトルを使用して前記動きベクトルが紐づけられている複数の画素ブロックの画像を再現して前記複数の静止画像データを生成し、
   前記連続静止画像データ抽出部は、前記被写体の画像を構成する少なくとも１つの前記画素ブロックに紐づけられている前記動きベクトルの並進成分、発散成分及び収束成分に基づいて、前記被写体の並進移動および遠近移動の組み合わせの動きが予め設定されている条件を満たしているか否かを判断する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、さらに、
   画面を表示し、ユーザーからの入力を受け付ける操作表示部と、
   前記所定の周期の設定である周期設定入力を受け付ける画面を前記操作表示部に表示させる周期設定部と、を備える画像処理装置。
3. 請求項１に記載の画像処理装置と、
   印刷媒体に画像を形成する画像形成部と、を備える画像形成装置。
4. 動画像データから複数の静止画像データを生成することと、
   前記生成された複数の静止画像データから、同一の被写体の画像を含むとともに所定の周期で時間的に連続している静止画像データであり、かつ、前記同一の被写体の画像の動きが予め設定されている条件を満たしている連続静止画像データを抽出することと、
   を含み、
   前記複数の静止画像データは、前記動画像データに含まれている動きベクトルを使用して前記動きベクトルが紐づけられている複数の画素ブロックの画像を再現することにより生成され、
   前記連続静止画像データが抽出される際に、前記被写体の画像を構成する少なくとも１つの前記画素ブロックに紐づけられている前記動きベクトルの並進成分、発散成分及び収束成分に基づいて、前記被写体の並進移動および遠近移動の組み合わせの動きが予め設定されている条件を満たしているか否かが判断される、画像処理方法。
   

Images