JP2015198387A - 動画処理プログラム、動画処理方法、及び動画処理装置 - Google Patents

Abstract

【課題】動画印刷を行う際に、動画ファイル中のメタデータが付加されているフレームを、ユーザの好みに応じた内容で印刷できるようにする。【解決手段】動画印刷させるフレームが決定されると、そのフレームを印刷させた場合の印刷結果を示すプレビュー画像を少なくとも１つ生成し、表示部に表示させる。生成するプレビュー画像として、フレームの画像６２及びそのフレームに付加されているメタデータを示す情報画像６３を含む特定種類のプレビュー画像６１が、少なくとも１つ含まれる。プレビュー画像が選択されたら、その選択されたプレビュー画像の印刷データを生成する。【選択図】図６

Description

本発明は、動画ファイルを処理するための動画処理プログラム、動画処理方法、及び動画処理装置に関する。

動画ファイルを取り込んで閲覧したり編集したりすることが可能なハードウェアやソフトウェアが普及している。例えばパソコン、スマートフォン、多機能装置などの様々な情報処理端末に動画ファイルを取り込み、各種の処理を実行させることで、動画ファイルを様々な形態で楽しむことができる。

動画ファイルに対する処理機能の１つとして、動画印刷の機能が知られており、既に実用化されている（例えば、特許文献１参照。）。動画印刷とは、動画の中から所望のタイミングのフレームを抽出してそのフレームの画像を印刷する機能である。

特開２０１１−７１５９１号公報

動画ファイルには、その動画ファイルに関連した情報であるメタデータを付加することができる。動画ファイルを編集するソフトウェアの普及や、インターネットを介した動画投稿サービスの多様化なども相まって、動画ファイルにメタデータを付加して付加価値を高めることが多用されつつある。インターネット上の動画サイトから動画ファイルをダウンロードして閲覧した場合に、動画中にメタデータの情報が表示されるケースも増えつつある。

メタデータが付加された動画ファイルに対しても、動画印刷を行うことができる。しかし、メタデータが付加されているシーン内の特定のフレームを印刷させたい場合に、ユーザは、メタデータの情報も印刷されるのかどうか、また印刷されるとしたらどのような画像が印刷されるのか、迷う可能性がある。

本発明は上記課題に鑑みなされたものであり、動画印刷を行う際に、動画ファイル中のメタデータが付加されているフレームを、ユーザの好みに応じた内容で印刷できるようにすることを目的とする。

上記課題を解決するためになされた本発明は、表示部と、制御部と、を備えた動画処理装置において、制御部が実行可能な動画処理プログラムである。本発明の動画処理プログラムは、制御部に実行させる処理として、ファイル取得処理と、データ取得処理と、フレーム決定処理と、画像生成処理と、画像表示処理と、画像選択処理と、印刷データ生成処理と、を有する。

ファイル取得処理は、動画ファイルを取得する処理である。データ取得処理は、ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得する処理である。フレーム決定処理は、動画ファイルの中から、メタデータが付加されている特定のフレームを印刷対象フレームとして決定する処理である。画像生成処理は、フレーム決定処理により決定された印刷対象フレームを印刷させる際の印刷結果のプレビュー画像を少なくとも１つ生成する処理である。画像表示処理は、画像生成処理により生成されたプレビュー画像を表示部に表示させる処理である。画像選択処理は、画像表示処理により表示されたプレビュー画像のうち特定のプレビュー画像の選択入力を受け付ける処理である。印刷データ生成処理は、画像選択処理により選択されたプレビュー画像の印刷データを生成する処理である。

本発明の動画処理プログラムをコンピュータに実行させることで、メタデータが付加されている印刷対象フレームのプレビュー画像を少なくとも１つ表示させて、その中から選択された特定のプレビュー画像についてその印刷データを生成させることができる。

そのため、本発明の動画処理プログラムによれば、メタデータが付加されているフレームが実際にどのように印刷出力されるのかを予め確認することができ、これによりユーザの好みに応じた内容で印刷出力させることができる。

なお、本発明は、上記のプログラムのほか、そのプログラムが記録された記録媒体、そのプログラムが実行される装置、その装置を含む各種システム、動画を処理する方法など、種々の形態で実現することができる。

実施形態の動画印刷システムの概略構成を示すブロック図である。 テキストメタデータが付加された動画ファイルの再生中の画像例を示す説明図である。 リンクメタデータが付加された動画ファイル及び領域メタデータが付加された動画ファイルの再生中の画像例を示す説明図である。 オーバーレイレイアウト及び外配置レイアウトでの印刷結果の例を示す説明図である。 文字認識レイアウト及び顔認識レイアウトでの印刷結果の例を示す説明図である。 プレビュー画面の一例を示す説明図である。 レイアウト選択画面の一例を示す説明図である。 動画印刷処理を示すフローチャートである。 図８の動画印刷処理におけるＳ１８０の印刷レイアウト選択処理の詳細を示すフローチャートである。 図９の印刷レイアウト選択処理におけるＳ３８０のテキストメタデータレイアウト処理の詳細を示すフローチャートである。

以下に、本発明の好適な実施形態を図面に基づいて説明する。
（１）動画印刷システムの説明
本実施形態の動画印刷システムは、図１に示すように、端末１０と、ＭＦＰ（多機能周辺装置の略称）１００と、ＡＰ（アクセスポイントの略称）１５０と、サーバ１６０とを備える。

端末１０は、例えばパソコン、スマートフォン、タブレットなどの情報処理端末である。端末１０は、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、メモリカードインタフェース（以下「メモリカードＩ／Ｆ」と称す）１８、音声入出力部１９、電話網通信部２０、近距離通信部２２、及び無線通信部２３を備える。これらの各部は、バスライン２４を介して互いに接続される。

ＣＰＵ１１は、フラッシュメモリ１２に記憶されるプログラムやデータに従って、バスライン２４を介して接続された各部を制御する。フラッシュメモリ１２は、記憶内容を電気的に書き換え可能な不揮発性のメモリである。フラッシュメモリ１２には、オペレーティングシステム（以下「ＯＳ」と略す）１２ａ、アプリケーション（以下「アプリ」と略す）１２ｂが格納される。ＯＳ１２ａは、端末１０の標準機能を実現するための基本ソフトウェアである。

なお、フラッシュメモリ１２には、アプリ１２ｂ以外の他のアプリも記憶されているが、ここではそれら他のアプリについては図示及び説明を省略する。また、以下の説明では、ＯＳ１２ａやアプリ１２ｂなどのプログラムを実行するＣＰＵ１１のことを、単にプログラム名で記載する場合もある。例えば「アプリが」という記載が「アプリを実行するＣＰＵ１１が」を意味する場合もある。

アプリ１２ｂは、端末１０からＭＦＰ１００の各種機能を利用するためのソフトウェアであり、ＭＦＰ１００のベンダによって提供され、ユーザによって端末１０にインストールされる。端末１０にアプリ１２ｂをインストールすることで、端末１０から、ＭＦＰ１００が有する各種機能を利用可能となる。例えば、アプリ１２ｂによって、端末１０から直接、ＭＦＰ１００の印刷機能やスキャン機能などを利用することが可能となる。

アプリ１２ｂが備える複数の機能の１つに、動画ファイルの中からフレームを選択してそのフレームの画像（即ち静止画）をＭＦＰ１００で印刷させることが可能な、動画印刷機能がある。

フラッシュメモリ１２には、アプリ用記憶領域１２ｃが設けられる。アプリ用記憶領域１２ｃは、アプリ１２ｂが使用する、アプリ１２ｂに割り当てられた記憶領域である。アプリ用記憶領域１２ｃには、例えば、動画印刷機能が実行された場合に生成される各種のプレビュー画像や、動画印刷の履歴などが記憶される。動画ファイルや、動画ファイルに対して付加されているメタデータ（詳細は後述）は、アプリ用記憶領域１２ｃに記憶されてもよいし、フラッシュメモリ１２内におけるアプリ用記憶領域１２ｃとは別の領域に記憶されてもよい。

ＲＡＭ１３は、ＣＰＵ１１がＯＳ１２ａやアプリ１２ｂなどを実行する際に各種データを一時的に記憶するための揮発性のメモリである。操作キー１５は、端末１０のユーザが端末１０に対して各種の情報や指示等を入力するためのメカニカルキーである。ＬＣＤ１６は、各種画面を表示可能な液晶表示装置である。タッチパネル１７は、指や棒などの指示体を接触または接近させることによって端末１０に対する入力操作を受け付け可能な周知の入力デバイスであり、ＬＣＤ１６に重ねて設けられる。なお、端末１０が、入力デバイスとしてマウスを接続可能な端末（例えばパソコン）である場合は、端末１０の構成部材としてマウスも含めることができる。以下の説明では、タッチパネル１７への指示体による入力操作を「タッチ操作」と言い、画面内でマウスのポインタを移動させて特定の領域又は画像に重ねる操作を「マウスオーバー」と言い、マウスのクリック操作による入力操作を「マウス操作」と言う。

メモリカードＩ／Ｆ１８は、書き換え可能な不揮発性のメモリカード２５が装着されるインタフェースであり、メモリカード２５に対するデータの書き込み及び読み出しを制御する。音声入出力部１９は、マイクやスピーカなどで構成された音声入出力用デバイスである。電話網通信部２０は、携帯電話網（図示せず）を介した音声通話を行うための回路である。

近距離通信部２２は、例えば１０ｃｍ程度の短い距離を通信可能距離とする近距離無線通信で通信を行うためのインタフェースである。本実施形態の近距離通信部２２が行う近距離無線通信は、ＮＦＣ標準規格に従う非接触通信（以下「ＮＦＣ通信」と称す）である。

無線通信部２３は、無線ＬＡＮ規格による通信（以下「無線ＬＡＮ通信」と称す）を行うためのインタフェースである。本実施形態では、無線通信部２３が行う無線ＬＡＮ通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮ通信である。端末１０は、無線通信部２３を介して、ＡＰ１５０との間で、Ｗｉ−Ｆｉ（登録商標。以下同様。）規格に基づく無線通信（以下「Ｗｉ−Ｆｉ通信」と称す）を行うことができる。

ＡＰ１５０は、Ｗｉ−Ｆｉ通信を中継する中継装置である。ＡＰ１５０は、ブロードバンドルーター機能を有し、インターネットに接続されている。よって、端末１０は、ＡＰ１５０を介してインターネットに接続でき、インターネットに接続されているサーバ１６０と通信することができる。

ＭＦＰ１００は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。ＭＦＰ１００は、上記各種機能を実現するための各種の構成部材を備える。図１に図示されているプリンタ部１３１は、印刷機能を実現するための構成部材である。ＭＦＰ１００において、外部から無線通信部１２３又は近距離通信部１２２に印刷データが受信されると、プリンタ部１３１によって、その印刷データに基づく印刷出力が可能である。

ＭＦＰ１００は、端末１０の近距離通信部２２と同様の構成の近距離通信部１２２を有している。また、ＭＦＰ１００は、端末１０の無線通信部２３と同様の構成の無線通信部１２３を有している。そのため、端末１０とＭＦＰ１００は両者間でＮＦＣ通信を行うことが可能である。また、端末１０とＭＦＰ１００は、ＡＰ１５０を介して相互にＷｉ−Ｆｉ通信を行うことができる。また、端末１０とＭＦＰ１００は、両者間でＷｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標。以下同様。）規格に基づく直接通信、すなわち、ＡＰ１５０を介さない無線通信も可能である。

なお、端末１０及びＭＦＰ１００は、他のデータ通信方式によってデータ通信が可能な構成であってもよい。例えば、有線ＬＡＮによるデータ通信が可能であってもよい。その場合、端末１０から有線ＬＡＮを介してインターネットに接続できるようにしてもよい。

サーバ１６０には、様々な種類のデータが格納される。サーバ１６０に格納されるデータとして、動画ファイルがある。サーバ１６０は、動画投稿サービスのサーバとしても機能し、インターネットを介してサーバ１６０へ動画ファイルをアップロードしたり、サーバ１６０からインターネットを介して動画ファイルをダウンロードしたりすることができる。また、アップロードした動画ファイルに対し、各種のメタデータ（詳細は後述）を付加することができる。また、動画ファイルをダウンロードする際、動画ファイルに付加されているメタデータもダウンロードすることができる。メタデータのダウンロードは、通常、動画ファイルのダウンロードとは別に行う。例えば、まず動画ファイルをダウンロードし、その後、その動画ファイルに付加されている（即ち関連付けられてサーバ１６０に保存されている）メタデータをダウンロードする。

端末１０においても、サーバ１６０から動画ファイル及びメタデータをダウンロードして閲覧することができる。サーバ１６０からダウンロードした動画ファイル及びメタデータは、フラッシュメモリ１２又はメモリカード２５に保存することができる。また、端末１０が動画撮影機能を備えている場合には、撮影した動画ファイルをサーバ１６０にアップロードすることができる。メモリカード２５に保存されている動画ファイルをサーバ１６０にアップロードすることもできる。なお、動画ファイルに対するメタデータの付加は任意に行うことができる。そのため、サーバ１６０やメモリカード２５などから動画ファイルを取得した場合に、その動画に必ずしもメタデータが付加されているとは限らないが、本実施形態では、動画ファイルにメタデータが付加されていることを前提とする。

（２）メタデータの説明
次に、動画ファイル、及び動画ファイルに付加されるメタデータについて、より詳しく説明する。よく知られているように、動画ファイルは、所定時間間隔で連続的に撮影された複数のフレーム（静止画）によって構成される。フレームレートが高い動画ほど、単位時間あたりのフレームの数が多く、より滑らかな動きを再現できる。動画ファイルには、複数のフレームの他にも、動画に関する種々のデータが含まれる。例えば、動画撮影日時、ファイル形式などである。

さらに、動画ファイルには、既述の通り、その動画ファイルに関連した情報であるメタデータを付加することができる。メタデータとは、動画の内容を示すデータであり、動画ファイルの再生時間全体のうち任意のタイミング又は時間帯に対して付加することができる。動画ファイルにメタデータを付加することで、動画ファイルの付加価値を高めることができる。

メタデータには、例えば、アノテーション、付箋、タグ、コメントなど、様々な種類がある。例えば、動画ファイルの特定の時間帯に対し、動画中にテキストを表示させるためのメタデータ（以下「テキストメタデータ」という）を付加すると、その時間帯の再生中にそのメタデータが示すテキストが表示される。

また例えば、動画ファイルの特定の時間帯に対し、動画中にハイパーリンクを埋め込むためのメタデータ（以下「リンクメタデータ」という）を付加することができる。ハイパーリンク（以下「リンク」と略す）とは、よく知られているように、他のファイル、データの所在情報であり、主にＵＲＬ（Uniform Resource Locator）が用いられる。リンクメタデータは、動画が表示される画面全体における任意の領域を指定して、その指定領域に対して付加することができる。リンクメタデータに含まれるリンク情報は、そのリンクメタデータが付加された時間帯の再生中であっても、直接的には表示されない。ただし、リンク情報が埋め込まれている指定領域の外苑を示す枠画像が表示されるため、ユーザは、リンクメタデータが付加されていること自体は認識することができる。

リンクメタデータが付加された時間帯の再生中に、画面における指定領域内をタッチ操作するか、又は指定領域内をマウスオーバーすると、その指定領域の外苑を示す枠画像が強調表示されると共に、付加されているリンク情報（例えばＵＲＬ）が表示される。そして、リンクメタデータが付加されている時間内に、リンクが埋め込まれている指定領域において、タッチパネル１７に対して特定の操作（例えば長押し。ロングタップとも呼ばれる。）を行うか又はマウス操作すると、リンク情報が示すリンク先にジャンプすることができる。

また、動画中にリンクを埋め込むためのメタデータとして、上記のリンクメタデータの他に、領域メタデータがある。領域メタデータは、その領域メタデータが付加された時間帯の再生中であっても、直接的には表示されない。しかも、リンクメタデータと異なり、リンク情報が埋め込まれている指定領域の外苑を示す枠画像も表示されない。そのため、ユーザは、再生中の動画の内容からは、メタデータが付加されていることを直接的に認識することはできない。

領域メタデータが付加された時間帯の再生中、画面における指定領域内をタッチ操作するか、又は指定領域内をマウスオーバーすると、その指定領域の外苑を示す枠画像が表示される。またその際、枠画像が表示されるのに加えて、リンク情報（例えばＵＲＬ）も表示される。これにより、ユーザは、リンクが埋め込まれていること及びその埋め込まれている指定領域を認識できる。そして、領域メタデータが付加されている時間内に、リンクが埋め込まれている指定領域において、タッチパネル１７に対して特定の操作（例えば長押し）を行うか又はマウス操作すると、リンク情報が示すリンク先にジャンプすることができる。

メタデータには、様々な情報が含まれる。メタデータに含まれる情報としては、例えば、動画全体のうちメタデータを付加する時間帯情報、画面中のどの位置に表示させるかを示す表示位置情報、動画に付加された日時を示す付加日時情報、表示すべき画像（例えばテキストや枠画像）がある場合にはその画像の内容を示す表示画像情報、表示すべき画像がある場合にそれを直接表示させるのかそれともタッチ操作されたりマウスオーバーされたりするまでは非表示状態にするのかを示す表示方法情報などがある。テキストメタデータの場合は、表示画像情報として、テキストのフォント、フォントサイズ、色などの情報が含まれる。リンクメタデータ及び領域メタデータの場合は、指定領域の位置・範囲を示す情報やリンク情報も含まれる。

図２、図３に、各種メタデータが付加された動画ファイルの再生中の画像例を示す。図２及び図３は、フラッシュメモリ１２に保存されている動画ファイルを再生させているときにＬＣＤ１６に表示される動画であって、特に、メタデータが付加されている時間帯の表示例を示す。

図２（ａ）は、愛犬記録動画３１の再生中の一コマ（即ち１つのフレーム）であり、テキスト画像３１ａのテキストメタデータが付加されている時間帯での一コマである。愛犬記録動画３１には、図２（ａ）に示すように、犬が撮影されているシーンに対して、犬の気持ちを表現したテキスト画像３１ａを表示させるためのテキストメタデータが付加されている。

図２（ｂ）は、花火大会動画３２の再生中の一コマであり、テキスト画像３２ａのテキストメタデータが付加されている時間帯での一コマである。花火大会動画３２には、図２（ｂ）に示すように、花火が打ち上げられているシーンに対して、打ち上げ中の花火のタイトルのテキスト画像３２ａを表示させるためのテキストメタデータが付加されている。

図２（ｃ）は、洋画番組動画３３の再生中の一コマであり、テキスト画像３３ａのテキストメタデータが付加されている時間帯での一コマである。洋画番組動画３３には、図２（ｃ）に示すように、洋画中の、ある登場人物が話をしているシーンであってその話の英語字幕が映っているシーンに対して、その英語字幕の日本語訳のテキスト画像３３ａを表示させるためのテキストメタデータが付加されている。

図３（ａ）は、自然紹介動画３４の再生中の一コマであり、３つの枠画像３４ａ，３４ｂ，３４ｃのリンクメタデータが付加されている時間帯での一コマである。自然紹介動画３４に付加されているリンクメタデータには、各枠画像３４ａ，３４ｂ，３４ｃを表示させるための情報と、各枠画像３４ａ，３４ｂ，３４ｃで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像を強調表示させるための情報と、各枠画像３４ａ，３４ｂ，３４ｃで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像に対応したリンク情報を表示させるための情報とが含まれる。例えば図中左側の枠画像３４ａで囲まれる領域内をマウスオーバーすると、枠画像３４ａが強調表示されて、その枠画像３４ａに対応付けられているリンク情報が表示される。その状態でマウスを左クリックすると、端末１０は、そのリンク情報が示すリンク先にアクセスして、そのリンク先から情報を取得して表示する。リンク先が外部の動画ファイルの場合は、その動画ファイルがダウンロードされて再生可能となる。

図３（ｂ）は、風景記録動画３５の再生中の一コマであり、４つの枠画像３５ａ〜３５ｄの領域メタデータが付加されている時間帯での一コマである。ただし、各枠画像３５ａ〜３５ｄは通常は非表示状態である。各枠画像３５ａ〜３５ｄは、それぞれ、画面内に表示されている特定のオブジェクト画像３５１〜３５４を囲むように表示される。例えば、図中左上の枠画像３５ｄは、山上の雲のオブジェクト画像３５４を囲むように表示される。

風景記録動画３５に付加されているリンクメタデータには、非表示状態の各枠画像３５ａ〜３５ｄで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその領域に対応した枠画像を表示させるための情報と、各枠画像３５ａ〜３５ｄの何れかが表示状態になってその領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像に対応したリンク情報を表示させるための情報とが含まれる。例えば図中中央の枠画像３５ａ（ただし非表示状態）で囲まれる領域内をマウスオーバーすると、枠画像３５ａが表示され、さらにその枠画像３５ａに対応付けられているリンク情報が表示される。その状態でマウスを左クリックすると、端末１０は、そのリンク情報が示すリンク先にアクセスして、そのリンク先から情報を取得して表示する。リンク先が外部の動画ファイルの場合は、その動画ファイルがダウンロードされて再生可能となる。

（３）動画印刷機能の概要
次に、アプリ１２ｂの機能の１つである動画印刷機能について、その概要を説明する。アプリ１２ｂの動画印刷機能を用いると、端末１０において動画ファイル中の所望のフレームを選択し、そのフレームの印刷データをＭＦＰ１００に送信させてＭＦＰ１００で印刷出力させることができる。

端末１０において動画ファイルから所望のフレームを選択すると、そのフレームを印刷出力させた場合の印刷結果が表されたプレビュー画像がＬＣＤ１６に表示される。本実施形態では、印刷対象として選択されたフレームにメタデータが付加されている場合、フレームの画像にそのメタデータが示す画像である情報画像が加えられた画像を印刷出力させることができる。そして、印刷出力させる際の印刷レイアウトとして、フレームの画像と情報画像のレイアウトが異なる複数の印刷レイアウトが用意されている。

具体的には、本実施形態では、印刷レイアウトとして、オーバーレイレイアウトと、外配置レイアウトと、文字認識レイアウトと、顔認識レイアウトと、メタデータ無しレイアウトと、が少なくとも用意されている。

オーバーレイレイアウトは、フレームの画像に情報画像がオーバーレイ表示（即ち重畳表示）されたレイアウトである。図４（ａ）に、テキストメタデータが付加されたフレームをオーバーレイレイアウトで印刷させた場合の印刷結果の一例を示す。図４（ａ）の印刷結果４１は、図２（ａ）に示した愛犬記録動画３１の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図２（ａ）に例示したフレームをオーバーレイレイアウトで印刷させたときの印刷結果４１には、印刷用紙の大部分にフレーム画像５１が印刷され、且つそのフレーム画像５１の中にテキスト画像５１ａがオーバーレイで印刷される。テキスト画像５１ａの内容は動画再生中に表示されるテキスト画像３１ａ（図２（ａ）参照）と同じである。また、印刷結果４１において、フレーム画像５１に対するテキスト画像５１ａの相対的位置関係や大きさ、色は、動画再生中のフレーム画像全体に対するテキスト画像３１ａの相対的位置関係や大きさ、色とほぼ同じである。つまり、テキストメタデータが付加されたフレームに対するオーバーレイレイアウトは、動画再生中の再生画面がほぼそのまま再現されたレイアウトである。

図４（ｂ）は、領域メタデータが付加されたフレームをオーバーレイレイアウトで印刷させた場合の印刷結果の一例を示す。図４（ｂ）の印刷結果４２は、図３（ｂ）に示した風景記録動画３５の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図３（ｂ）に例示したフレームをオーバーレイレイアウトで印刷させたときの印刷結果４２には、縦方向に配置された長方形状の印刷用紙に対してその上側にフレーム画像５２が印刷され、且つそのフレーム画像５２の中に４つの枠画像５２ａ〜５２ｄがオーバーレイで印刷される。印刷結果４２において、フレーム画像５２に対する各枠画像５２ａ〜５２ｄの相対的位置関係や大きさは、動画再生中のフレーム画像全体に対する各枠画像３５ａ〜３５ｄａの相対的位置関係や大きさとほぼ同じである。つまり、動画再生中に仮に全ての枠画像３５ａ〜３５ｄを表示させたならばこのような画像になる、という仮想の画像が再現されたレイアウトである。また言い換えれば、図４（ｂ）の印刷結果４２は、フレーム画像中における、リンク情報が対応付けられている領域が可視化された画像であるとも言える。

このように、オーバーレイレイアウトは、フレーム画像中にメタデータの情報画像がオーバーレイ表示される印刷レイアウトである。そして、オーバーレイ表示される情報画像の内容は、メタデータの種類によって異なる。なお、リンクメタデータが付加されたフレームをオーバーレイレイアウトで印刷出力させた場合は、フレーム画像中の枠画像が強調表示された画像が印刷される。

外配置レイアウトは、フレームの画像とは別に情報画像が表示されるレイアウトである。図４（ｃ）に、テキストメタデータが付加されたフレームを外配置レイアウトで印刷させた場合の印刷結果の一例を示す。図４（ｃ）の印刷結果４３は、図２（ｂ）に示した花火大会動画３２の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図２（ｂ）に例示したフレームを外配置レイアウトで印刷させたときの印刷結果４３には、縦方向に配置された長方形状の印刷用紙に対してその上側にフレーム画像５３が印刷され、且つそのフレーム画像５３とは別にそのフレーム画像５３の下側にテキスト画像５３ａが印刷される。テキスト画像５３ａの内容は動画再生中に表示されるテキスト画像３２ａ（図２（ｂ）参照）と同じである。

図４（ｄ）は、リンクメタデータが付加されたフレームを外配置レイアウトで印刷させた場合の印刷結果の一例を示す。図４（ｄ）の印刷結果４４は、図３（ａ）に示した自然紹介動画３４の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図３（ａ）に例示したフレームを外配置レイアウトで印刷させたときの印刷結果４４には、縦方向に配置された長方形状の印刷用紙に対してその上側にフレーム画像５４が印刷される。また、フレーム画像５４の下における左側の領域には、図３（ａ）に示した各枠画像３４ａ，３４ｂ，３４ｃで囲まれた領域内の画像が、領域画像５４１，５４２，５４３としてそれぞれ表示される。また、各領域画像５４１，５４２，５４３の右側には、図３（ａ）の各枠画像３４ａ，３４ｂ，３４ｃにそれぞれ対応付けられているリンク情報５４ａ，５４ｂ，５４ｃ及び補足説明用のテキストが表示される。

このように、外配置レイアウトは、フレーム画像とは別にメタデータの情報画像が表示される印刷レイアウトである。そして、フレーム画像の外に表示される情報画像の内容は、メタデータの種類によって異なる。なお、領域メタデータが付加されたフレームを外配置レイアウトで印刷出力させる場合は、例えば、図４（ｂ）に例示したオーバーレイレイアウトの内容に加えて、フレーム画像５２の下に、各枠画像５２ａ〜５２ｄで囲まれた領域内の画像を表示させると共に、各枠画像５２ａ〜５２ｄに対応付けられているリンク情報を表示させるようにしてもよい。

文字認識レイアウトは、テキストメタデータが付加されているフレーム画像中にテキストメタデータのテキスト画像とは別に文字が含まれている場合に、フレーム画像からその文字を抽出してテキストメタデータのテキスト画像と並べてフレーム画像の外に表示させるレイアウトである。

図５（ａ）は、テキストメタデータが付加されたフレームであって且つ画像として文字が含まれているフレームを文字認識レイアウトで印刷させた場合の印刷結果の一例を示す。図５（ａ）の印刷結果４５は、図２（ｃ）に示した洋画番組動画３３の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図２（ｃ）に例示したフレームを文字認識レイアウトで印刷させたときの印刷結果４５には、縦方向に配置された長方形状の印刷用紙に対してその上側にフレーム画像５５が印刷される。

また、図２（ｃ）のフレームには、そのフレームの画像に含まれる文字として、英語の字幕がある。そこで、フレーム中の文字の認識を試み、文字が正常に認識された場合には、その認識された文字（即ち英語の字幕）５５１と、フレームに付加されているテキストメタデータのテキスト画像５５ａとが、フレーム画像５５の下に表示される。

顔認識レイアウトは、テキストメタデータが付加されているフレーム画像中に人物の顔の画像が含まれている場合に、その人物の横に吹き出しを表示させると共に、その吹き出しの中にテキストメタデータのテキスト画像を表示させるレイアウトである。図５（ｂ）は、テキストメタデータが付加されたフレームであって且つ画像として人物の顔が含まれているフレームを顔認識レイアウトで印刷させた場合の印刷結果の一例を示す。図５（ｂ）の印刷結果４６は、図２（ｃ）に示した洋画番組動画３３の再生中の一コマを印刷対象のフレームに選択して動画印刷させた結果を例示している。図２（ｃ）に例示したフレームを顔認識レイアウトで印刷させたときの印刷結果４５には、縦方向に配置された長方形状の印刷用紙に対してその上側にフレーム画像５６が印刷される。

また、図２（ｃ）のフレームには、画像全体における左側に人物の顔が表示されている。そこで、フレーム中の顔の認識を試み、顔及びその位置が正常に認識された場合には、フレームの外側のうちフレーム中心からみて人物の顔が存在している方向側に吹き出し５６１を表示させ、さらにその吹き出し５６１の中に、テキストメタデータのテキスト画像５６ａを表示させる。

メタデータ無しレイアウトは、印刷結果としてフレームの画像のみ表示させてメタデータの情報は表示させないレイアウトである。具体例としては、例えば図２（ａ）に示した愛犬記録動画３１をメタデータ無しレイアウトで印刷させた場合、図４（ａ）に示した印刷結果４１からテキスト画像５１ａを取り除いた状態の印刷結果が得られる。

このように、本実施形態では、印刷レイアウトとして少なくとも上記５種類の印刷レイアウトが用意されている。そして、端末１０において動画ファイルから所望のフレームが選択された場合にＬＣＤ１６に表示されるプレビュー画像は、用意されている印刷レイアウトのうち特定の１つの印刷レイアウトによる印刷結果を示すプレビュー画像である。

図６に、ＬＣＤ１６に表示されるプレビュー画面６０の一例を示す。図６のプレビュー画面６０には、図２（ｃ）に例示した洋画番組動画３３のフレームをオーバーレイレイアウトで印刷させる場合の印刷結果を示すプレビュー画像６１が表示されている。このプレビュー画像６１には、フレーム画像６２が表示されると共に、そのフレーム画像６２の中に、テキストメタデータが示すテキスト画像６３がオーバーレイ表示されている。

動画ファイルから印刷対象の所望のフレームが選択された場合に最初に表示されるプレビュー画像は、デフォルトプレビュー画像である。デフォルトプレビュー画像としてどのような内容（即ちどのような印刷レイアウトの）プレビュー画像を表示させるかについては、適宜決めることができる。

本実施形態では、デフォルトプレビュー画像は、印刷対象のフレームが決定される度に、過去に行った動画印刷履歴に基づいて決定される。具体的には、過去に同じ動画の同じシーンに対する動画印刷が行われたことがある場合には、そのときに採用された印刷レイアウトと同じ印刷レイアウトのプレビュー画像がデフォルトプレビュー画像として表示される。

また、過去に同じ動画の同じシーンに対する動画印刷が行われたことがない場合でも、過去に同じメタデータの組み合わせのフレームが動画印刷されたことがある場合には、そのときに採用された印刷レイアウトと同じ印刷レイアウトのプレビュー画像がデフォルトプレビュー画像として表示される。

例えば、テキストメタデータが１つ付加されているフレームが選択されてそのデフォルトプレビュー画像を生成する際、過去の履歴を参照して、同じメタデータの組み合わせ（この例では、テキストメタデータ１つ）のフレームを動画印刷したことがあってそのとき例えばオーバーレイレイアウトで印刷した場合は、同じオーバーレイレイアウトのデフォルトプレビュー画像を表示させる。また例えば、テキストメタデータが２つ付加されているフレームが選択されてそのデフォルトプレビュー画像を生成する際、過去の履歴を参照して、同じメタデータ組み合わせ（この例では、テキストメタデータ２つ）のフレームを動画印刷したことがあってそのとき例えば外配置レイアウトで印刷した場合は、同じ外配置レイアウトのデフォルトプレビュー画像を表示させる。

プレビュー画面６０には、プレビュー画像の他に、印刷操作用ウィンドウ７１も表示される。印刷操作用ウィンドウ７１には、ＮＦＣ通信を利用して印刷データを送信できることを示すＮＦＣ印刷マーク７２と、設定ボタン７３と、Ｗｉ−Ｆｉ印刷ボタン７４とが表示される。

ＮＦＣ印刷マーク７２の下側には、端末１０をＮＦＣ通信機能付きのプリンタにかざしてプレビュー画面をタップすると現在表示中のプレビュー画像を印刷させることができる旨のメッセージも表示される。このメッセージに示されているように、端末１０から、ＮＦＣ通信を用いてＭＦＰ１００へ印刷データを送信することができる。プレビュー画面６０が表示されている状態で、端末１０をＭＦＰ１００にかざして両者間でＮＦＣ通信が可能な状態として、プレビュー画像６１をタップ操作すると、その操作時に表示されているプレビュー画像６１の印刷レイアウトでの印刷データが生成される。端末１０がマウスを利用可能な端末である場合は、プレビュー画像６１に対するマウス操作でもよい。生成された印刷データは、ＮＦＣ通信によってＭＦＰ１００へ送信される。これにより、ＭＦＰ１００で印刷が行われる。なお、端末１０からＭＦＰ１００への印刷データの送信方法は、ＮＦＣ通信で直接送信する方法に限らず、他の方法でもよい。例えば、まずＮＦＣ通信でＷｉ−Ｆｉ接続情報を送信することにより端末１０とＭＦＰ１００の双方でＷｉ−Ｆｉ通信の準備を整え、その後にＷｉ−Ｆｉ通信によって印刷データを送信するようにしてもよい。その場合、ＡＰ１５０を介したＷｉ−Ｆｉ通信で送信してもよいし、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔで直接送信してもよい。端末１０とＭＦＰ１００が、ＮＦＣ通信及びＷｉ−Ｆｉ通信以外の他の通信方式でデータ通信が可能な場合にはその通信方式を用いて印刷データを送信してもよい。

また、印刷操作用ウィンドウ７１に表示されているＷｉ−Ｆｉ印刷ボタン７４をタップ操作又はマウス操作することによっても、ＭＦＰ１００へ印刷データを送信することができる。プレビュー画面６０が表示されている状態で、Ｗｉ−Ｆｉ印刷ボタン７４をタップ操作又はマウス操作すると、その操作時に表示されているプレビュー画像６１の印刷レイアウトでの印刷データが生成され、Ｗｉ−Ｆｉ通信によってＭＦＰ１００へ送信される。これにより、ＭＦＰ１００で印刷が行われる。

一方、プレビュー画面６０に表示されたデフォルトプレビュー画像を見て、ユーザが他のプレビュー画像も見てみたいと思った場合は、他の印刷レイアウトによるプレビュー画像の一覧を見ることができる。具体的には、印刷操作用ウィンドウ７１内の設定ボタン７３をタップ操作又はマウス操作すると、不図示の設定メニュー画面が表示される。その設定メニュー画面に表示されている設定項目の中の「レイアウト」ボタンをタップ操作又はマウス操作すると、選択されたフレームに対して生成可能な全ての印刷レイアウトでのプレビュー画像が生成される。そして、生成されたプレビュー画像の一覧が、レイアウト選択画面としてＬＣＤ１６に表示される。

図７に、レイアウト選択画面８０の一例を示す。図７に示すように、レイアウト選択画面８０は、生成されたプレビュー画像が並べられて一覧表示された画面である。より詳しくは、生成されたプレビュー画像のサイズが縮小された縮小画像であるプレビューサムネイルが一覧表示される。図７には、４つのプレビューサムネイル８１〜８４が全て表示されて２つのプレビューサムネイル８５，８６が一部分のみ表示されている例が示されている。レイアウト選択画面８０においては、ユーザが例えば画面上下方向へのフリック操作又はスワイプ操作を行うことで、画面の表示内容を上下方向にスライドさせることができる。マウス操作によっても表示内容を上下方向にスライドさせることができる。

不図示のレイアウトボタンがタップ操作又はマウス操作されることにより生成されるプレビュー画像の種類は、印刷対象として選択されたフレームに付加されている全てのメタデータに基づいて決定される。例えば、印刷対象のフレームにテキストメタデータが１つだけ付加されている場合は、少なくとも、オーバーレイレイアウトと外配置レイアウトのプレビュー画像が生成される。また、フレーム中に文字が含まれていてその文字を認識できた場合は、文字認識レイアウトのプレビュー画像も生成される。また、フレーム中に人物の顔の画像が含まれていてその顔を認識できた場合は、顔認識レイアウトのプレビュー画像も生成される。このように、印刷対象のフレームに付加されている全てのメタデータについて生成可能な全ての印刷レイアウトでの印刷プレビュー画像が生成される。そして、生成された全ての印刷プレビュー画像を、レイアウト選択画面８０で確認することができるようになる。

ユーザが、レイアウト選択画面８０の中から印刷させたい所望の印刷レイアウトのプレビュー画像を探して、そのプレビュー画像をタップ操作又はマウス操作すると、ＬＣＤ１６の表示内容は、その選択されたプレビュー画像が表示されたプレビュー画面（図６参照）に切り替わる。そのため、ユーザは、レイアウト選択画面で選択したプレビュー画像を、プレビュー画面でより大きなサイズのプレビュー画像として再確認することができる。そして、選択したプレビュー画像の印刷レイアウトでよければ、端末１０をＭＦＰ１００にかざすか、Ｗｉ−Ｆｉ印刷ボタン７４をタップ操作又はマウス操作することで、その選択した印刷レイアウトでの印刷をＭＦＰ１００に実行させることができる。

なお、レイアウト選択画面８０に表示されたプレビュー画像の一部又は全てを一枚の印刷用紙に一覧表示させることができるようにしてもよい。例えば、プレビュー画面内の印刷操作用ウィンドウ７１にインデックス印刷用の操作ボタンを設け、その操作ボタンを操作すると、選択されたフレームに対して生成可能な全ての印刷レイアウトでのプレビュー画像が一覧表示された印刷データがＭＦＰ１００に送信されるようにしてもよい。

（４）動画印刷処理
上述した動画印刷機能を実現するためのアプリ１２ｂの処理である動画印刷処理について、図８のフローチャートを用いて説明する。端末１０のＣＰＵ１１は、起動後、アプリ１２ｂを起動させるための特定の入力操作がなされると、アプリ１２ｂを読み込んで実行する。アプリ１２ｂの起動後、動画印刷機能を開始させるための特定の入力操作がなされると、図８に示す動画印刷処理を開始する。動画印刷開始処理は、アプリ１２ｂに含まれるプログラムモジュールの１つである。

端末１０のＣＰＵ１１は、図８に示す動画印刷処理を開始すると、Ｓ１１０で、動画ファイルを取得する。動画ファイルをどこから取得するかについては予め設定しておくことができる。例えば、端末１０のフラッシュメモリ１２に保存されている動画ファイルを取得対象としてもよい。メモリカード２５が装着されている場合にはメモリカード２５も取得対象に含めるようにしてもよい。また例えば、外部のサーバにおいて特定の保存領域に保存されている動画ファイルを取得対象としてもよい。

Ｓ１２０では、Ｓ１１０で取得した動画ファイルに付加されているメタデータを取得する。Ｓ１３０では、印刷対象のフレーム（以下「印刷フレーム」ともいう）の自動抽出を行うか否か判断する。本実施形態では、ユーザは、動画ファイルを再生させながらユーザ自身が所望の印刷フレームを選ぶ手動抽出と、動画フレームの中から動画印刷に適したフレームを自動で抽出させる自動抽出と、の何れかを選択することができる。自動抽出は、アプリ１２ｂの動画印刷機能の一部である。

ユーザにより手動抽出が選択されると（Ｓ１３０：ＮＯ）、Ｓ１４０で、印刷フレーム選択処理を実行する。具体的には、ユーザに対し、動画ファイルを再生させてその中から所望の印刷フレームを選択するように促す。そして、再生中の動画に対して特定のフレーム選択操作が行われたら、その選択されたフレームを印刷フレームとして決定する。印刷フレームを決定したら、Ｓ１７０に進む。

ユーザにより自動抽出が選択された場合は（Ｓ１３０：ＹＥＳ）、Ｓ１５０で、印刷フレーム自動抽出処理を行う。印刷フレーム自動抽出処理の詳細説明は省略するが、簡単に説明すると次のように行われる。まず、動画ファイルに付加されているメタデータに基づいて、動画印刷に適したフレームが存在することが予想される特徴的なシーンを絞り込む。例えば、メタデータが付加されているシーン、特定のメタデータが付加されているシーン、複数のメタデータが重複して付加されているシーン、などに絞り込むことができる。そして、シーンを絞り込んだら、そのシーンの中からさらに１つ又は複数のフレームを印刷フレームとして抽出する。例えば、シーン中の特定の時間のフレーム、シーン中で最も画像ぶれの少ないフレームなどを印刷フレームとして抽出する。Ｓ１５０の印刷フレーム自動抽出処理で印刷フレームの抽出が行われることにより、動画ファイルから１つ又は複数の印刷フレームが抽出される。

Ｓ１６０では、印刷フレームの選択を受け付ける。具体的には、Ｓ１５０で抽出した印刷フレームをＬＣＤ１６に一覧表示させてその中から何れか１つを選択させる。そして、選択された１つの印刷フレームを、実際に印刷させる印刷フレームとして決定する。

Ｓ１７０では、アプリ用記憶領域１２ｃに保存されている印刷実行情報（詳細は後述）から、動画印刷履歴を取得する。Ｓ１８０では、印刷レイアウト選択処理を実行する。Ｓ１７０で取得した動画印刷履歴は、Ｓ１８０の印刷レイアウト選択処理で用いられる。Ｓ１８０の印刷レイアウト選択処理は、Ｓ１４０又はＳ１６０で決定された印刷フレームを印刷させる際の印刷レイアウトをユーザに選択させる処理である。Ｓ１８０の印刷レイアウト選択処理の詳細は後述する。Ｓ１９０では、Ｓ１８０で選択された印刷レイアウトに従った印刷データを生成して、ＮＦＣ通信又はＷｉ−Ｆｉ通信にてＭＦＰ１００へ出力する。

印刷データの送信後、Ｓ２００で、今回の動画印刷の動画印刷履歴として、印刷実行情報をアプリ用記憶領域１２ｃに保存する。保存する印刷実行情報には、動画印刷を行った動画ファイルのファイル名、実際に印刷データを生成した印刷フレームを示す情報、印刷フレームに付加されていたメタデータの情報、印刷フレームに付加されていたメタデータのうち実際に印刷結果として表された（つまり印刷用紙に画像として印刷された）メタデータの情報、採用された印刷レイアウト、などが含まれる。

Ｓ１８０の印刷レイアウト選択処理について、詳しく説明する。Ｓ１８０の印刷レイアウト選択処理の詳細を、図９に示す。端末１０のＣＰＵ１１は、印刷レイアウト選択処理に移行すると、Ｓ３１０で、アプリ用記憶領域１２ｃに記憶されている動画印刷履歴を参照して、過去に同じ動画ファイルの同じシーンが動画印刷されたか否か判断する。過去に同じ動画ファイルの同じシーンが動画印刷された場合は（Ｓ３１０：ＹＥＳ）、Ｓ３４０に進む。

Ｓ３４０では、過去の印刷レイアウトと同じ印刷レイアウトでプレビュー画像を生成し、デフォルトプレビュー画像としてＬＣＤ１６に表示させる。デフォルトプレビュー画像を表示させた後は、Ｓ３５０に進む。

Ｓ３１０で、過去に同じ動画ファイルの同じシーンが動画印刷されたことがない場合は（Ｓ３１０：ＮＯ）、Ｓ３２０に進む。Ｓ３２０では、アプリ用記憶領域１２ｃに記憶されている動画印刷履歴を参照して、過去に同じメタデータの組み合わせのフレームが動画印刷されたことがあるか否か判断する。つまり、これから印刷させようとする印刷フレームに付加されているメタデータの組み合わせと同じ組み合わせのフレームを過去に印刷させたことがあるか否か判断する。

過去に同じメタデータの組み合わせのフレームが動画印刷されたことがある場合は（Ｓ３２０：ＹＥＳ）、Ｓ３４０で、その過去の動画印刷で用いられた印刷レイアウトと同じ印刷レイアウトでプレビュー画像を生成し、デフォルトプレビュー画像としてＬＣＤ１６に表示させる。デフォルトプレビュー画像を表示させた後は、Ｓ３５０に進む。なお、Ｓ３４０で生成したプレビュー画像のデータは、少なくとも最終的に印刷レイアウトが決定されるまでは、アプリ用記憶領域１２ｃに一時的に保存される。このことは、後述するＳ３３０，Ｓ４００，Ｓ４２０，Ｓ４３０，Ｓ５２０，Ｓ５６０〜Ｓ５７０，Ｓ５８０の各処理で生成されるプレビュー画像についても同様である。

過去に同じメタデータの組み合わせのフレームが動画印刷されたことがない場合は（Ｓ３２０：ＮＯ）、Ｓ３３０に進む。Ｓ３３０では、オーバーレイレイアウトのプレビュー画像を生成し、デフォルトプレビュー画像としてＬＣＤ１６に表示させる。デフォルトプレビュー画像を表示させた後は、Ｓ３５０に進む。なお、Ｓ３３０で採用する印刷レイアウトは、オーバーレイレイアウトに限らず、適宜決めることができる。

Ｓ３５０では、レイアウトボタンが押されたか否か判断する。詳しくは、プレビュー画面（図６参照）に表示される設定ボタン７３がタップ操作又はマウス操作されて、さらに、その操作により表示される設定メニュー画面（不図示）においてレイアウトボタンがタップ操作又はマウス操作されたか否か判断する。レイアウトボタンが押されていない場合は（Ｓ３５０：ＮＯ）、Ｓ３６０で、印刷実行の指示があったか否か判断する具体的には、図６を用いて説明したように、端末１０がＮＦＣ通信機能付きのプリンタにかざされた状態でプレビュー画面がタップ操作又はマウス操作されたか、Ｗｉ−Ｆｉ印刷ボタン７４がタップ操作又はマウス操作されたかを判断する。何れかの操作が行われた場合は（Ｓ３６０：ＹＥＳ）、印刷実行指示があったものとして、印刷レイアウトを現在プレビュー画面に表示されているプレビュー画像の印刷レイアウトに決定して、Ｓ１９０（図８）に進む。何れの操作も行われない場合は（Ｓ３６０：ＮＯ）、Ｓ３５０に戻る。

Ｓ３５０で、レイアウトボタンが押された場合は（Ｓ３５０：ＹＥＳ）、Ｓ３７０で、印刷フレームに付加されているメタデータの中にテキストメタデータが含まれているか否か判断する。テキストメタデータが含まれている場合は、Ｓ３８０に進む。Ｓ３８０では、テキストメタデータレイアウト処理を実行する。Ｓ３８０のテキストメタデータレイアウト処理の詳細を、図１０に示す。端末１０のＣＰＵ１１は、テキストメタデータレイアウト処理に移行すると、Ｓ５１０で、印刷フレームに対する文字認識処理を実行し、文字を認識したか否か判断する。印刷フレームの画像から文字を認識した場合は（Ｓ５１０：ＹＥＳ）、Ｓ５２０に進む。

Ｓ５２０では、プレビュー画像として、文字認識レイアウト（図５（ａ）参照）のプレビュー画像を生成して、Ｓ５３０に進む。また、印刷フレームの画像から文字を認識できなかった場合も（Ｓ５１０：ＮＯ）、Ｓ５３０に進む。

Ｓ５３０では、印刷フレームに対する顔認識処理を実行し、人物の顔を認識したか否か判断する。印刷フレームの画像から人物の顔を認識した場合は（Ｓ５３０：ＹＥＳ）、Ｓ５４０に進む。Ｓ５４０では、認識された顔が１つであるか否か判断する。認識された顔が１つではない場合は（Ｓ５４０：ＮＯ）、Ｓ５５０で、認識された複数の顔のうち喋っている人物の顔を特定する。

喋っている人物を特定する方法は種々考えられるが、本実施形態では、印刷対象フレームの前後少なくとも一方のフレームと比較して、画像の内容の変化に基づく特定のアルゴリズムを用いて、喋っている人物を特定する。喋っている人物の顔を特定したら、Ｓ５６０に進む。Ｓ５４０で、認識された顔が１つと判断した場合は（Ｓ５４０：ＹＥＳ）、その１つの顔が喋っている人物の顔であると特定して、Ｓ５６０に進む。

Ｓ５６０〜Ｓ５７０の処理は、顔認識レイアウト（図５（ｂ）参照）のプレビュー画像を生成する処理である。Ｓ５６０では、印刷フレーム中の喋っている人物の顔の位置と、印刷フレームの中心座標とを比較し、中心座標から見て人物の顔が存在している方向のフレーム外に吹き出しを生成する。Ｓ５７０では、Ｓ５６０で生成された吹き出しの中に、テキストメタデータを合成する。即ち、テキストメタデータが示すテキスト画像を吹き出しの中に埋め込む。

Ｓ５７０の処理後はＳ５８０に進む。また、Ｓ５３０で印刷フレームの画像から人物の顔を認識できなかった場合も（Ｓ５３０：ＮＯ）、Ｓ５８０に進む。Ｓ５８０では、テキストメタデータを対象とした、オーバーレイレイアウト、外配置レイアウト、及びメタデータ無しレイアウト、の３種類の印刷レイアウトのプレビュー画像をそれぞれ生成する。このように、図１０に示したテキストメタデータレイアウト処理では、プレビュー画像として、少なくとも、オーバーレイレイアウト（図４（ａ）参照）、外配置レイアウト（図４（ｃ）参照）、及びメタデータ無しレイアウト、の３種類の印刷レイアウトのプレビュー画像を生成する。そして、印刷フレームから文字を認識できた場合は、文字認識レイアウトのプレビュー画像も生成する。また、印刷フレームから人物の顔を認識できた場合は、顔認識レイアウトのプレビュー画像も生成する。

図９に戻って説明を続ける。Ｓ３７０で、テキストメタデータが含まれていないと判断した場合は（Ｓ３７０：ＮＯ）、Ｓ３９０で、印刷フレームに付加されているメタデータの中にリンクメタデータが含まれているか否か判断する。リンクメタデータが含まれている場合は（Ｓ３９０：ＹＥＳ）、Ｓ４００に進む。

Ｓ４００では、リンクメタデータを対象とした、オーバーレイレイアウト（図２（ｂ）に類似）、外配置レイアウト（図２（ｄ）参照）、及びメタデータ無しレイアウト、の３種類の印刷レイアウトのプレビュー画像をそれぞれ生成して、Ｓ４１０に進む。Ｓ３９０で、リンクメタデータが含まれていないと判断した場合も（Ｓ３９０：ＮＯ）、Ｓ４１０に進む。

Ｓ４１０では、印刷フレームに付加されているメタデータの中に領域メタデータが含まれているか否か判断する。領域メタデータが含まれている場合は（Ｓ４１０：ＹＥＳ）、Ｓ４２０に進む。Ｓ４２０では、領域メタデータを対象とした、オーバーレイレイアウト（図２（ｂ）参照）及びメタデータ無しレイアウトの２種類の印刷レイアウトのプレビュー画像をそれぞれ生成して、Ｓ４３０に進む。Ｓ４１０で、領域メタデータが含まれていない判断した場合も（Ｓ４１０：ＮＯ）、Ｓ４３０に進む。

Ｓ４３０では、ここまでの処理で複数種類の印刷レイアウトのプレビュー画像が生成された場合に、その複数種類の印刷レイアウトを合成したプレビュー画像を少なくとも１つ生成する。例えば、テキストメタデータが付加されていてそのテキストメタデータについてオーバーレイレイアウトのプレビュー画像と外配置レイアウトのプレビュー画像が生成されている場合は、それら両者が合成されたプレビュー画像、即ちテキスト画像がフレーム画像中及びフレーム画像外の双方に表示されたプレビュー画像を生成する。合成可能な組み合わせの全てについてプレビュー画像を生成してもよいし、合成可能な全ての組み合わせのうち特定の種類又は数に絞ってプレビュー画像を生成するようにしてもよい。

Ｓ４４０では、Ｓ４３０までに生成した各プレビュー画像を対象としたレイアウト選択画面（図７参照）をＬＣＤ１６に表示して、その中から印刷レイアウトの選択を受け付ける。

Ｓ４５０では、Ｓ４４０で選択された印刷レイアウトのプレビュー画像を、プレビュー画面（図６参照）に表示させる。つまり画面をレイアウト選択画面からプレビュー画面に切り替える。Ｓ４５０で画面をプレビュー画面に切り替えた後は、Ｓ３５０に戻る。

（５）実施形態の効果
以上説明したように、本実施形態の端末１０は、アプリ１２ｂが、動画印刷機能を備え、図８〜図１０に示した動画印刷処理を実行する。本実施形態の動画印刷機能においては、 メタデータが付加されている印刷フレームのプレビュー画像をプレビュー画面に表示させて、印刷させたい印刷レイアウトのプレビュー画像を選択させ、その選択された印刷レイアウトの印刷データを生成する。

そのため、ユーザは、メタデータが付加されているフレームを印刷させたい場合に、実際にどのように印刷出力されるのかを印刷前に予め確認することができ、これによりユーザの好みに応じた内容で印刷出力させることができる。

また、本実施形態では、印刷フレームが選択された場合、まず１つのデフォルトプレビュー画像をプレビュー画面に表示させる。そして、そのデフォルトプレビュー画像が選択されればそのデフォルトプレビュー画像の印刷レイアウトの印刷データを生成する。つまり、最初に表示させたデフォルトプレビュー画像がユーザの望む内容になっていてそれが印刷用として選択されれば、他のレイアウトのプレビュー画像は生成されない。そのため、プレビュー画像の生成にかかる処理負荷を低減することができる。

一方、プレビュー画面において、他のプレビュー画像を表示させるための操作（本実施形態ではレイアウトボタンの操作）が行われた場合は、デフォルトプレビュー画像とは異なる他の各プレビュー画像を生成して、レイアウト選択画面に一覧表示させる。なおこのとき、デフォルトプレビュー画像も併せてレイアウト選択画面に表示させるようにしてもよい。そして、レイアウト選択画面の中から何れか１つのプレビュー画像が選択されたら、その選択されたプレビュー画像をあらためてプレビュー画面に表示させる。ユーザは、レイアウト選択画面から選択したプレビュー画面を、最終的にプレビュー画面内で大きなサイズで再確認することができる。そのため、意図しない内容で印刷出力されてしまうのを抑制できる。

また、本実施形態では、プレビュー画像として、印刷フレームの画像と、メタデータが示す情報画像とが含まれたプレビュー画像を生成させることができる。そのため、印刷出力結果の付加価値を高めることができる。

さらに、本実施形態では、印刷可能な印刷レイアウトが複数種類用意されており、印刷フレームに付加されているメタデータの種類に応じた印刷レイアウトのプレビュー画像を複数種類生成させることができる。そのため、情報画像を含むプレビュー画像の選択肢が広がり、ユーザはより自分の好みに近い印刷レイアウトの印刷結果を得ることができる。

なお、本実施形態において、端末１０は本発明の動画処理装置の一例に相当する。アプリ１２ｂは本発明の動画処理プログラムの一例に相当する。ＣＰＵ１１は本発明の制御部の一例に相当する。ＬＣＤ１６は本発明の表示部の一例に相当する。Ｓ１４０又はＳ１６０で選択される印刷フレームは本発明の印刷対象フレームの一例に相当する。図４〜図５に例示した５種類の印刷レイアウトは本発明のレイアウトパターンの一例に相当する。フレームの画像中に含まれている文字及び人物の顔は本発明の特定の種類の画像の一例に相当する。図２（ｃ）の洋画番組動画３３の一コマにおける、英語字幕と、日本語訳のテキスト画像３３ａとの関係は、本発明の特定関係の一例に相当する。まあ、同図（ｃ）における、人物の顔と、日本語訳のテキスト画像３３ａとの関係も、本発明の特定関係の一例に相当する。文字認識レイアウト及び顔認識レイアウトは本発明の特定レイアウトの一例に相当する。デフォルトプレビュー画像は本発明の初期プレビュー画像の一例に相当する。図７のレイアウト選択画面内に同時に表示可能なプレビュー画像の最大数は本発明の最大表示可能数の一例に相当する。Ｓ１１０の処理は本発明のファイル取得処理の一例に相当する。Ｓ１２０の処理は本発明のデータ取得処理の一例に相当する。Ｓ１４０及びＳ１６０の処理は本発明のフレーム決定処理の一例に相当する。Ｓ１８０の処理は本発明の画像生成処理の一例に相当する。Ｓ３６０の処理は本発明の画像選択処理の一例に相当する。Ｓ１９０の処理は本発明の印刷データ生成処理の一例に相当する。Ｓ３４０，Ｓ３３０，Ｓ４００，Ｓ４２０，Ｓ４３０，Ｓ５２０，Ｓ５６０〜Ｓ５７０，Ｓ５８０の処理は本発明のレイアウト決定処理の一例に相当する。Ｓ５１０及びＳ５３０の処理は本発明の画像認識処理の一例に相当する。Ｓ３３０及びＳ３４０の処理は本発明の第１の生成処理及び第１の表示処理の一例に相当する。Ｓ４００，Ｓ４２０，Ｓ４３０，Ｓ５２０，Ｓ５６０〜Ｓ５７０，Ｓ５８０の処理は本発明の第２の生成処理及の一例に相当する。Ｓ４４０の処理は本発明の第２の表示処理の一例に相当する。Ｓ３５０の処理は本発明の操作受付処理の一例に相当する。Ｓ３６０の処理は本発明の第１の選択処理、第２の選択処理、及び第３の選択処理の一例に相当する。Ｓ２００の処理は本発明の記憶処理の一例に相当する。Ｓ４５０の処理は本発明の第３の表示処理の一例に相当する。

［他の実施形態］
（１）印刷レイアウトの種類は、上記実施形態で例示した印刷レイアウト以外にも種々考えられる。例えば、領域メタデータが付加されたフレームに対するオーバーレイレイアウトとして、図４（ｂ）に例示したオーバーレイレイアウトの他に、枠画像ではなくて例えばリンク情報がオーバーレイ表示されるレイアウトを設定してもよい。或いは、枠画像とリンク情報の双方が表示されるレイアウトを設定してもよい。

また例えば、図４（ａ）に例示したオーバーレイレイアウトにおいて、テキスト画像５１ａを配置する位置やテキスト画像５１ａの大きさ、色などは、適宜決めることができる。図４（ｃ）に例示した外配置レイアウトにおけるテキスト画像５３ａについても、フレーム画像５３の外側においてどこにどのような大きさ、色で配置刷るかについては適宜決めることができる。

また例えば、図４（ｄ）に例示した外配置レイアウトにおいて、フレーム画像５４の外に表示させる枠画像やテキスト画像の大きさ、位置、相対的位置関係などは、適宜決めることができる。枠画像又はテキスト画像の何れか一方のみを印刷出力させるようにしてもよい。

また、印刷レイアウトとして、オーバーレイレイアウト、外配置レイアウト、文字認識レイアウト、顔認識レイアウト、及びメタデータ無しレイアウトの５種類を例示したが、これら５種類以外の印刷レイアウトが用意されていてもよい。何種類の印刷レイアウトを用意しておくか、また各印刷レイアウトそれぞれに対してどのメタデータを適用可能となるかについては、適宜決めることができる。

（２）アプリ１２ｂを実行させるプラットフォームとして、端末１０はあくまでも一例である。例えば、ＭＦＰ１００でアプリ１２ｂを実行できるようにしてもよい。また例えば、サーバ１６０或いはその他の情報処理装置（具体的には、端末１０とは別体の、端末１０とデータ通信可能な情報処理装置）でアプリ１２ｂを実行できるようにしてもよい。具体的には、例えば、端末１０又はＭＦＰ１００から、印刷させたい所望の動画ファイルを情報処理装置にアップロードすると、情報処理装置側でシーン決定やフレーム抽出が行われる。生成、選出された各サムネイルは、そのサムネイルのデータを情報処理装置から端末１０又はＭＦＰ１００に送信させることで、端末１０又はＭＦＰ１００で表示させる。端末１０又はＭＦＰ１００における、サムネイルの選択処理の結果は、情報処理装置に送信され、それに基づいて情報処理装置が印刷データを生成し、その印刷データがＭＦＰ１００に送信される。

（３）アプリ１２ｂの提供形態は、インターネットを介したダウンロードによる提供に限らず、種々の提供形態を採用できる。例えば、メモリカード、フレキシブルディスク、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスクなどの、コンピュータで読み取り可能な（有形な）非一時的な記録媒体（A non-transitory computer-readable recording medium）に記録された状態で提供できるようにしてもよい。

（４）その他、本発明は、上記の実施形態に示された具体的手段や構造等に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の形態を採り得る。例えば、上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

１０…端末、１１…ＣＰＵ、１２…フラッシュメモリ、１２ａ…ＯＳ、１２ｂ…アプリ、１２ｃ…アプリ用記憶領域、１３…ＲＡＭ、１５…操作キー、１６…ＬＣＤ、１７…タッチパネル、１８…メモリカードＩ／Ｆ、１９…音声入出力部、２０…電話網通信部、２２…近距離通信部、２３…無線通信部、２４…バスライン、２５…メモリカード、３１…愛犬記録動画、３１ａ，３２ａ，３３ａ，４１ａ，４２ａ，４３ａ，４４ａ…テキスト画像、３２…花火大会動画、３３…洋画番組動画、３４…自然紹介動画、３４ａ〜３４ｃ，３５ａ〜３５ｄ…枠画像、３５…風景記録動画、３６…旅行記録動画、４１〜４６…印刷結果、５１〜５６，６２…フレーム画像、５１ａ，５３ａ，５５ａ，５６ａ，６３…テキスト画像、５２ａ…枠画像、５４ａ…リンク情報、６０…プレビュー画面、６１…プレビュー画像、７１…印刷操作用ウィンドウ、７２…ＮＦＣ印刷マーク、７３…設定ボタン、７４…印刷ボタン、８０…レイアウト選択画面、８１〜８６…プレビューサムネイル、１００…ＭＦＰ、１２２…近距離通信部、１２３…無線通信部、１３１…プリンタ部、１５０…ＡＰ、１６０…サーバ、３５１〜３５４…オブジェクト画像、５４１〜５４３…領域画像、５５１…英語の字幕、５６１…吹き出し。

Claims (11)

1. 表示部と、
   制御部と、を備えた動画処理装置において、前記制御部が実行可能な動画処理プログラムであって、
   前記制御部に、
   動画ファイルを取得するファイル取得処理と、
   前記ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得するデータ取得処理と、
   前記動画ファイルの中から、前記メタデータが付加されている特定のフレームを印刷対象フレームとして決定するフレーム決定処理と、
   前記フレーム決定処理により決定された前記印刷対象フレームを印刷させる際の印刷結果のプレビュー画像を少なくとも１つ生成する画像生成処理と、
   前記画像生成処理により生成された前記プレビュー画像を前記表示部に表示させる画像表示処理と、
   前記画像表示処理により表示された前記プレビュー画像のうち特定のプレビュー画像の選択入力を受け付ける画像選択処理と、
   前記画像選択処理により選択された前記プレビュー画像の印刷データを生成する印刷データ生成処理と、
   を実行させるための動画処理プログラム。
2. 請求項１に記載の動画処理プログラムであって、
   前記画像生成処理では、前記印刷対象フレームを示すフレーム画像及びその印刷対象フレームに付加されているメタデータを示す情報画像を含むプレビュー画像である特定種類のプレビュー画像を少なくとも１つ含む、少なくとも１つのプレビュー画像を生成する
   ことを特徴とする動画処理プログラム。
3. 請求項２に記載の動画処理プログラムであって、
   前記画像生成処理では、前記特定種類のプレビュー画像として、前記フレーム画像及び前記情報画像のレイアウトが異なる複数のプレビュー画像を生成する
   ことを特徴とする動画処理プログラム。
4. 請求項３に記載の動画処理プログラムであって、
   前記印刷対象フレームの前記フレーム画像の内容及びその印刷対象フレームに付加されている前記メタデータの内容の少なくとも一方に基づいて、予め用意された少なくとも一種類のレイアウトパターンの中から少なくとも１つを決定するレイアウト決定処理を有し、
   前記画像生成処理では、前記レイアウト決定処理により決定された少なくとも１つの前記レイアウトパターン毎に、そのレイアウトパターンに従った前記レイアウトの前記特定種類のプレビュー画像を生成する
   ことを特徴とする動画処理プログラム。
5. 請求項４に記載の動画処理プログラムであって、
   前記レイアウトパターンとして、次の（ａ）〜（ｃ）のうち少なくとも１つが用意されていることを特徴とする動画処理プログラム。
   （ａ）前記フレーム画像中に前記情報画像を重畳表示させるレイアウトパターン。
   （ｂ）前記フレーム画像の外部に前記情報画像を配置するレイアウトパターン。
   （ｃ）前記情報画像と、前記フレーム画像のうちその情報画像に関連付けられた領域の画像とを表示させるレイアウトパターン。
6. 請求項４又は請求項５に記載の動画処理プログラムであって、
   前記レイアウトパターンとして、特定の種類の画像と、その特定の種類の画像と特定関係にあるメタデータである特定メタデータを示す前記情報画像とを、前記特定関係に対応した位置関係となるように配置する特定レイアウトを有し、
   前記印刷対象フレームの前記フレーム画像の中から前記特定の種類の画像を認識する画像認識処理を有し、
   前記レイアウト決定処理では、前記画像認識処理により前記特定の種類の画像が認識された場合、前記レイアウトパターンとして少なくとも前記特定レイアウトを決定する
   ことを特徴とする動画処理プログラム。
7. 請求項１〜請求項６の何れか１項に記載の動画処理プログラムであって、
   前記画像生成処理は、
   前記プレビュー画像を１つ生成する第１の生成処理と、
   前記第１の生成処理により生成されたプレビュー画像である初期プレビュー画像とは異なるプレビュー画像の要求操作が受け付けられた場合に、前記初期プレビュー画像とは異なるプレビュー画像を少なくとも１つ生成する第２の生成処理と、
   を有し、
   前記画像表示処理は、
   前記第１の生成処理により前記初期プレビュー画像が生成された場合にその初期プレビュー画像を前記表示部に表示させる第１の表示処理と、
   前記第２の生成処理により前記プレビュー画像が生成された場合に、そのプレビュー画像を、前記初期プレビュー画像も含めて又は前記初期プレビュー画像を除いて、前記表示部に表示させる第２の表示処理と、
   を有し、
   更に、前記第１の表示処理の実行後に前記要求操作を受け付ける操作受付処理を有し、
   前記第２の生成処理は、前記操作受付処理によって前記要求操作が受け付けられた場合に実行される処理であり、
   前記画像選択処理は、
   前記第１の表示処理により表示された前記初期プレビュー画像に対する前記選択入力を受け付ける第１の選択処理と、
   前記第２の表示処理が実行された場合に前記表示されている前記プレビュー画像のうち特定のプレビュー画像の選択入力を受け付ける第２の選択処理と、
   を有し、
   前記印刷データ生成処理では、前記第１の選択処理又は前記第２の選択処理で選択された前記プレビュー画像の印刷データを生成する
   ことを特徴とする動画処理プログラム。
8. 請求項７に記載の動画処理プログラムであって、
   前記動画処理装置は、記憶部を有し、
   前記印刷データ生成処理で前記印刷データが生成された場合、その生成された印刷データについて、その印刷データに対応した前記印刷対象フレームに付加されていたメタデータの数及び種類と、その付加されていたメタデータのうちどのメタデータの情報が実際に印刷結果の中に表されたかを示す情報とを、印刷履歴として前記記憶部に記憶する記憶処理を有し、
   前記第１の生成処理では、前記記憶部に記憶されている前記印刷履歴に基づき、前記印刷対象フレームに付加されている前記メタデータの数及び種類と同じ数及び種類のメタデータが付加されていたフレームの印刷データが過去に生成されたことがある場合には、その過去に生成された印刷データにおいて印刷結果の中に情報が表されていたメタデータと同じメタデータの情報を含む前記初期プレビュー画像を１つ生成する
   ことを特徴とする動画処理プログラム。
9. 請求項７又は請求項８に記載の動画処理プログラムであって、
   前記第２の表示処理では、表示対象の前記プレビュー画像を、前記第１の表示処理での前記初期プレビュー画像の表示サイズよりも小さいサイズで、前記表示部の表示領域中に所定の最大表示可能数を上限として同時に一覧表示させ、
   更に、
   前記第２の表示処理の実行後、前記第２の選択処理によって前記プレビュー画像が選択された場合に、その選択されたプレビュー画像を、前記第２の表示処理での表示サイズよりも大きいサイズで前記表示部に表示させる第３の表示処理と、
   前記第３の表示処理により表示されたプレビュー画像に対する選択入力を受け付ける第３の選択処理と、
   を有し、
   前記印刷データ生成処理では、前記第３の選択処理によって前記プレビュー画像が選択された場合には、そのプレビュー画像の印刷データを生成する
   ことを特徴とする動画処理プログラム。
10. メタデータが付加された動画ファイルの中から、メタデータが付加されている特定のフレームを印刷対象フレームとして決定するフレーム決定ステップと、
    前記フレーム決定ステップで決定した前記印刷対象フレームを印刷させる際の印刷結果のプレビュー画像を生成するステップであって、前記印刷対象フレームを示すフレーム画像及びその印刷対象フレームに付加されているメタデータを示す情報画像を含むプレビュー画像である特定種類のプレビュー画像を少なくとも１つ含む、少なくとも１つのプレビュー画像を生成する画像生成ステップと、
    前記画像生成ステップで生成した前記プレビュー画像を表示部に表示させる画像表示ステップと、
    前記画像表示ステップで表示した前記プレビュー画像のうち特定のプレビュー画像の選択入力を受け付ける画像選択ステップと、
    前記画像選択ステップで選択された前記プレビュー画像の印刷データを生成する印刷データ生成ステップと、
    を有することを特徴とする動画処理方法。
11. 表示部と、
    制御部と、を備え、
    前記制御部は、
    動画ファイルを取得するファイル取得処理と、
    前記ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得するデータ取得処理と、
    前記データ取得処理により取得されたメタデータに基づき、前記動画ファイルの中から印刷対象のフレームである印刷対象フレームを決定するフレーム決定処理と、
    前記フレーム決定処理により決定された前記印刷対象フレームを印刷させる際の印刷結果のプレビュー画像を生成する処理であって、前記印刷対象フレームを示すフレーム画像及びその印刷対象フレームに付加されているメタデータを示す情報画像を含むプレビュー画像である特定種類のプレビュー画像を少なくとも１つ含む、少なくとも１つのプレビュー画像を生成する画像生成処理と、
    前記画像生成処理により生成された前記プレビュー画像を前記表示部に表示させる画像表示処理と、
    前記画像表示処理により表示された前記プレビュー画像のうち特定のプレビュー画像の選択入力を受け付ける画像選択処理と、
    前記画像選択処理により選択された前記プレビュー画像の印刷データを生成する印刷データ生成処理と、
    を実行することを特徴とする動画処理装置。