JP5436367B2 - グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置 - Google Patents

Description

本発明は、広角画像を利用したフォトブックのレイアウトの作成に関する。

特許文献１の発明は、３次元ジャイロ、ズーム可動器操作情報、３次元加速度測定部等の各種センサによって測定したデジタルカメラによる撮影時の移動情報を各フレームに対応して画像データに付与してメモリカード又は内蔵メモリに記録する。そして、記録された移動情報が付与された画像データから移動情報をスプリット手段によって抽出して、該抽出移動情報に基づいて演算手段によってデジタルカメラの撮影時の移動方向や移動距離を演算し、画像加工手段によって隣接する被写体フレームを抽出して、パノラマ画像を作成する。

特許文献２の発明の画像レイアウト装置には、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段と、画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段とを設ける。

特許文献３および４は、それぞれ静止画および動画からパノラマ画像を作成する従来技術の一例である。図１５のように、フォトブックに広角のパノラマ画像を配置すると、従来のような普通の静止画をページに配置しただけの場合に比べて、大きな魅力がフォトブックに生まれる。パノラマ画像とは、少なくとも一部が互いに重複する被写体を有する複数の画像（静止画または動画コマ）を、被写体の重複部分が互いに重なるように各画像を接合ないし重畳して作成されうる。

特開２００４−１２８６８３号公報 特開２００４−１９９２４８号公報 特開２００５−２５２７３９号公報 特開２００７−２６７００８号公報

一般にパノラマ画像を生成する方法としては、複数の静止画の合成または動画コマを合成する方法が知られている。しかしいずれの場合も、ユーザがカメラを動かしながら撮影を行うため、場合によっては図１６のように境界領域が整っていないパノラマ画像が生成されることがある。この場合、撮影部分は意味があるが、黒塗りの非撮影部分は意味がない。

本発明は、境界領域が整っていない広角画像の非撮影部分を利用してより魅力的なフォトブックを生成することを目的とする。

本発明は、情報処理装置が、広角画像の中から撮影領域を特定する情報である撮影領域情報と非撮影領域を特定する情報である非撮影領域情報を取得するステップと、撮影領域情報で特定される撮影領域に包含される所望の位置およびサイズの部分領域の属性に基づいて、部分領域の優先度を設定するステップと、非撮影領域情報と部分領域の優先度に基づいて、広角画像に付随する１または複数のグラフィックの配置を決定するステップと、を実行するグラフィック配置決定方法を提供する。

情報処理装置が、優先度に基づいて、広角画像から１または複数の部分領域を抽出するステップを実行する。

情報処理装置が、広角画像に付随する１または複数のグラフィックとして、抽出された１または複数の部分領域の配置を決定するステップを実行する。

抽出された部分領域が前記グラフィックと重なりを有さないよう広角画像に付随するグラフィックの配置を決定するステップを実行する。

部分領域の優先度は、部分領域内の特定の種類の被写体の数、部分領域の単位撮影時間あたりの撮影面積、または異なる部分領域との重なり合いの数に基づいて設定される。

情報処理装置が、撮影領域が前記グラフィックと重なりを有さないよう広角画像に付随するグラフィックの配置を決定するステップを実行する。

情報処理装置が、非撮影領域と広角画像の配置ページの余白が前記グラフィックと重なりを有するよう広角画像に付随するグラフィックの配置を決定するステップを実行する。

情報処理装置が、広角画像の配置ページの寸法に基づいて広角画像のアスペクト比の上限を決定するステップを実行する。

情報処理装置が、決定されたアスペクト比の上限に基づいて広角画像を生成するステップを実行する。

情報処理装置が、決定されたアスペクト比の上限に基づいて広角画像から部分領域を抽出するステップを実行する。

非撮影領域情報は、広角画像における非撮影領域の位置座標または広角画像における所定の色を含む。

本発明は、グラフィック配置決定方法を情報処理装置が実行するためのプログラムおよび情報処理装置を含む。

この発明によると、単に被写体の存在しない余白領域に任意の画像を配置するだけの場合と異なり、広角画像の非撮影領域をグラフィックの配置領域として有効に活用でき、価値の高いフォトブックを提供できる。

画像プリント作成装置の概略構成を示すブロック図 パノラマ画像の例を示す図 非撮影領域に所定の色を配置したパノラマ画像の一例を示す図 非撮影領域に相当するマスク画像の例を示す図 非撮影領域の座標を示すテキスト情報の一例を示す図 非撮影領域に配置されるグラフィックのレイアウトの例を示す図 余白領域および非撮影領域の統一された色の例を示す図 パノラマ画像の存在しない余白領域に任意の画像を配置する例を示す図 パノラマ画像の部分的な切り出し領域の例を示す図 アスペクト比に基づいて決定された切り出し領域の例を示す図 包含する人物被写体の数に基づいて決定された切り出し領域の例を示す図 単位時間あたりの撮影面積の大小に基づいて設定された矩形領域の優先度の一例を示す図 矩形領域パターンの共通領域の一例を示す図 共通領域の抽出の一例を示す図 切り出された矩形領域の配置例を示す図 非撮影領域よりも前面に配置されたグラフィックの例を示す図 フォトブックのページに配置されたパノラマ画像の位置の偏りの例を示す図 画像アスペクト比上限の例を示す図 画像アスペクト比上限に従ったパノラマ画像を対応するサイズのフォトブックに配置した様子を例示する図 レイアウト決定処理のフローチャート 注文画像から作成可能なパノラマ画像とアスペクト比上限に従った範囲の関係を示した図 パノラマ画像の配置されたフォトブックの例を示す図 境界領域が整っていないパノラマ画像の一例を示す図

図１は、本発明を適用した画像プリント作成装置１０の概略構成を示すブロック図である。画像プリント作成装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディアやメモリカードなどの記憶媒体から、あるいはカメラと接続されたＵＳＢなどの周辺機器接続用汎用インターフェースから、あるいはインターネットやＬＡＮなどのネットワークから画像（静止画像データ、動画データ、動画をキャプチャした静止画である動画コマを含む）を画像入力部２を介して読み込み、これを素材としてフォトブック（ページごとのレイアウトとデザインで表示装置あるいは印刷装置に画像を出力させるためのデータまたはページごとのレイアウトとデザインで画像が印刷された紙などの印刷媒体）を作成する。一例として動画データは、モーションＪＰＥＧ、ＭＰＥＧ４などの圧縮記録規格に対応している。一例として静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式に対応している。

なお、図１のシステム構成は一例であって、これと同等の構成を有する情報端末（例えばパソコン、店頭プリント端末、ＰＤＡ、携帯電話機）であれば、本発明の実施は可能である。また、図示の個々のブロックが必ずしも１つの電子機器に一体的に構成されている必要はなく、各ブロックがそれぞれ別の電子機器の構成の一部であり、なおかつネットワーク等の何らかの通信手段でそれらの電子機器相互の情報送受信が確保されていれば、本発明の実施は可能であり、特定の機器構成に依存して実施されるものではない。

この画像プリント作成装置１０は、マウス、タッチパッド、トラックボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやタッチパネルなどの各種操作デバイスを含む注文受付部１によって操作される。タッチパネルはディスプレイ５０に積層されており、ディスプレイ５０のボタン表示部分を押下することで、その部分に対応する文字を入力できたり、各種機能を起動させることができる。

また、画像プリント作成装置１０には、指示された静止画像を普通紙や印画紙などの紙媒体で構成される台紙に、画像レイアウト部９の決定した所定の配置でプリントする画像出力部８が接続されている。あるいは所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイ５０や記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。

ＨＤＤ１８には、画像プリントの主な素材となる１または複数の静止画像データや動画コマやパノラマ画像の他に、画像プリントの生成の際にこれらの主な素材と合成される装飾画像データ（グラフィック）などが記憶されている。グラフィックは、静止画像、画像に挿入する文字（漢字、カタカナ、ひらがな、アルファベット、記号、絵文字その他の意味のある可読的な符号ないしその組合せ。以下同様）を構成するキャラクタデータおよび当該文字を包含するテキストボックス、吹き出し、立て札、掲示板その他文字を配置するのに適したオブジェクトのグラフィックデータや、対象となる画像の不要な部分の一部または全部を覆うマスク画像、画像の周囲を囲むフレーム、イラストやクリップアートなどを含む。こうした装飾画像は、フォトブックの主要な素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトブックに彩を与える。

パノラマ画像生成部７は、画像入力部２から入力された静止画像または動画像からパノラマ画像を生成する。その具体的手法は従来技術と同様に行うことができる。すなわち、パノラマ画像生成部７は、重複領域同士を重ねあわせるように複数の静止画像（ただし連写画像などパノラマ生成できるような重複部分を持つ一連の画像）または動画コマをつなぎ合わせることで、パノラマ画像を生成する。パノラマ画像の素材になる複数の動画コマまたは静止画像は、連写画像などパノラマ生成できるような被写体の重複部分を持つ一連の画像であり、その撮影方法は任意である。

ＣＰＵ１２は、ＨＤＤ１８に記憶されたプログラムを実行することで、画像プリント作成装置１０全体を制御する。

画像解析部３、撮影領域・非撮影領域抽出部４、アスペクト比上限設定部６、パノラマ画像生成部７、画像レイアウト部９は、コプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。また領域情報保存部５は、ＲＡＭなどの揮発性記憶媒体で構成される。

画像レイアウト部９は、注文受付部１からの画像プリントのデザイン指定に従って画像プリントのデザインに関する情報を決定する。

撮影領域・非撮影領域抽出部４は、パノラマ画像生成部７によるパノラマ画像合成時に、パノラマ画像ないしそれを構成する個々の画像の撮影領域（被写体の存在する領域）と非撮影領域（被写体の存在しない領域）の情報を解析し、非撮影領域を特定する情報（例えば位置座標や色情報）を取得する。そして、その解析の結果得られた情報を領域情報保存部５に保存する。例えば、図２のようなパノラマ画像をパノラマ画像生成部７が生成したとすると、この画像の生成中、画像解析部３は各静止画像または動画コマに存在する被写体部分ないしそれらをつなぎ合わせた部分（撮影領域）と、静止画像または動画コマに被写体の存在しない部分（非撮影領域）とを区別し、パノラマ画像における非撮影領域の位置座標情報を領域情報保存部５に保存する。

あるいは、図３に示すように、パノラマ画像生成部７は、パノラマ画像生成部７によるパノラマ画像合成時に、静止画像または動画コマが存在しない部分（非撮影領域）に所定の色（例えば赤）を配置する。画像解析部３は、このパノラマ画像から所定の色の存在領域を識別する。その所定の色そのものが非撮影領域を特定する情報であり、識別された色の存在領域が非撮影領域である。撮影領域・非撮影領域抽出部４は、画像解析部３の識別した所定の色の存在領域を特定する情報、典型的にはその位置座標情報を非撮影領域を特定する情報として領域情報保存部５に保存することができる。

撮影領域・非撮影領域抽出部４による領域情報保存部５への非撮影領域の保存方式は任意である。例えば、図４のように撮影領域・非撮影領域抽出部４は非撮影領域に相当するマスク画像を生成し、このマスク画像ないしその圧縮画像ファイルを領域情報保存部５へ保存する。マスク画像の情報（透明部分）をパノラマ画像のαチャンネルに付随させてもよい。あるいは、図５に示すような非撮影領域の座標(800,0)-(4500,600)を示すテキスト情報を領域情報保存部５へ保存する。撮影領域の座標もあわせて領域情報保存部５へ保存してもよい。

画像レイアウト部９は、領域情報保存部５の非撮影領域に基づき、パノラマ画像生成部７の生成したパノラマ画像と、ＨＤＤ１８に保存されたパノラマ画像以外のグラフィックを含むフォトブックのレイアウトを決定する。

例えば、図６のように、画像レイアウト部９は、パノラマ画像の存在しない余白領域ＢＬおよび領域情報保存部５の非撮影領域Ｎに適合する形状およびサイズの１または複数のグラフィックを非撮影領域に配置するレイアウトを決定する。好ましくは、画像レイアウト部９は、グラフィックでその一部または全部が覆われる（すなわちグラフィックと重なりを有する）非撮影領域の面積が最小となるようなレイアウトを決定する。余白領域Ｂの面積は通常０を超えるが、０でもよい。

あるページのグラフィックの配置が先に決まっている場合は、それらのグラフィックの存在しない余白の面積プラス非撮影領域の面積が最小となるようなパノラマ画像を選択し、その選択されたパノラマ画像をそのページに配置するレイアウトを決定する。この際も、画像レイアウト部９は、当該グラフィックで覆われる非撮影領域の面積が最小となるようなレイアウトを決定するのが好ましい。

なお、図７のように、実際には余白領域ＢＬおよび非撮影領域Ｎの色は黒などの同一の色で統一することが好ましい。あるいは、余白領域ＢＬは、非撮影領域Ｎの色情報と同色または同系色としてもよい。例えば、非撮影領域Ｎが白であれば、余白領域ＢＬも白とする。

こうすると、従来のような単にパノラマ画像の存在しない余白領域に任意の画像を配置するだけの場合（図８参照）と異なり、パノラマ画像の非撮影領域をグラフィックの配置領域として有効に活用でき、価値の高いフォトブックを提供できる。

あるいは、非撮影領域Ｎは透明とし、パノラマ画像の背後の背景画像およびその色がそのまま出力されてもよい。この場合、背景の台紙の色がそのままプリント上でも反映されるようにするため、色補正は撮影領域に限って受け付けられることが好ましい。撮影領域と同じ色補正を非撮影領域にかけると、その背後の背景の元々の色、例えば白色が別の色に変わってしまうからである。透明な非撮影領域を含むパノラマ画像の周囲にはフレームが配置されないようにすることが好ましい。

なお、画像解析部３は、撮影領域と非撮影領域に基づいて、パノラマ画像を部分的に切り出す矩形領域を決定することができる。図９では、画像解析部３は、パノラマ画像Ｉから３つの矩形部分領域Ｒ１〜Ｒ３を決定している。画像解析部３はこの決定された矩形領域を切り出してＨＤＤ１８に保存する。ＨＤＤ１８に保存された矩形領域は、切り出し元のパノラマ画像と同一のフォトブックまたは別のフォトブックの非撮影領域などに配置することができる。

どのような基準で矩形領域を切り出すかは任意であるが、なるべく重要性の高い矩形領域を抽出するには、次のようにするとよい。

例えば、画像解析部３は、パノラマ画像の撮影領域のみを包含する任意のサイズ・任意のアスペクト比・任意の位置の矩形領域のパターンをランダムにあるいは全てのパターンを網羅するよう生成し、生成されたパターンの中から、所定の閾値以上のアスペクト比を有するパターンを、切り出すべき矩形領域に決定する。

図１０のように、矩形領域のパターンＰ１〜Ｐ３の縦／横のアスペクト比の中では、Ｐ３の縦／横のアスペクト比が閾値＝１を超え、最も大きい（横サイズに比べて縦サイズが大きい）。この場合、Ｐ３が切り出すべき矩形領域に決定される。

あるいは、画像解析部３は、上記のように生成されたパターンの中から、各々のパターンに関する以下の属性を解析する。

（ａ）各パターンに含まれる特定の種類の被写体の数。例えば、人物被写体の数。

（ｂ）各パターンに含まれる被写体のサイズ。あるいは、当該被写体の中の特定のパーツ、例えば顔のサイズ。

（ｃ）各パターンに含まれる画像情報を撮影するのに要した時間。これは、当該画像情報を構成する動画コマまたは静止画コマの最初の撮影時間から最後の撮影時間までの時間間隔である。

（ｄ）各パターンのアスペクト比。あるいはアスペクト比から派生する情報。例えば各パターンが縦長かあるいか横長か。例えば、上述の図１０およびその関連説明を参照。

（ｅ）各パターンの面積
画像解析部３は、解析された属性に従って、各パターンに優先度を設定する。例えば、上記（ａ）〜（ｅ）の属性に対して、次のように優先度を設定する。

（ａ）包含する特定の種類の被写体の数がより多いパターンにより高い優先度を設定。例えば、図１１では、矩形領域パターンＱ１〜Ｑ３において、包含する人物被写体の数がそれぞれ４、２、０であるから、優先度はＱ１＞Ｑ２＞Ｑ３の順に設定される。

（ｂ）被写体ないしその特定のパーツのサイズがより大きいパターンにより高い優先度を設定。

（ｃ）画像情報を撮影するのに要した時間がより長いパターンにより高い優先度を設定。

（ｄ）縦長のパターンに高い優先度を設定。または、横長のパターンに高い優先度を設定。

（ｅ）面積の大きいパターンに高い優先度を設定。

（ｆ）単位時間あたりの撮影面積が少ないパターンに高い優先度を設定。例えば、図１２のように、パターンＴ１〜Ｔ３の単位時間あたりの撮影面積の大小から、Ｔ２＞Ｔ３＞Ｔ１の順に優先度を設定する。これは、パターンの単位時間あたりの撮影面積が少ないほど、パターン内の画像情報がゆっくりと時間をかけて撮影されており、その重要度が高いと考えられるからである。

撮影領域・非撮影領域抽出部４は、画像解析部３が設定した優先度の最も高いパターンから順に、所定の個数（１または複数）の矩形領域を切り出す。

上記のようなパターンそのものに優先度を設定する代わりにパターンの部分領域に優先度を設定してもよい。例えば、重複するパターンの数がより多い共通領域により高い優先度を設定する。図１３のような矩形領域パターンＤ１〜Ｄ３では、Ｄ１・Ｄ２・Ｄ３の全てが共通するＲ１に最も高い優先度が設定される。

Ｄ１とＤ２の共通領域、Ｄ１とＤ３の共通領域、Ｄ２とＤ３の共通領域は、同じ優先度が設定される。ただし、上記の（ａ）〜（ｆ）の属性に対応する優先度がより高いパターンに対応する共通領域には、より高い優先度が設定されてもよい。

例えば、図１４において、上記の（ａ）〜（ｆ）の属性に対応するパターンＶ１〜Ｖ３の優先度として、高い順から、Ｖ１＞Ｖ２＞Ｖ３が設定されているとする。

この場合、画像解析部３は、Ｖ１・Ｖ２・Ｖ３の全ての共通領域に１番目の優先度、Ｖ１・Ｖ２の共通領域に２番目の優先度、Ｖ２・Ｖ３の共通領域に３番目の優先度を設定する。撮影領域・非撮影領域抽出部４は、画像解析部３が設定した優先度の最も高い部分領域から順に、所定の１または複数の個数の矩形領域を切り出す。撮影領域・非撮影領域抽出部４は、優先度の最も高い部分領域の面積が、所望の面積（ないしアスペクト比）に達しない場合、さらに、次の優先度の部分領域を抽出し、所望の面積（ないしアスペクト比）を得てもよい。図１４では、Ｖ１の全体とＶ２の一部からなる所望の面積のＶ０が抽出されている。

切り出された矩形領域は、切り出し元のパノラマ画像と同一のフォトブックまたは別のフォトブックの非撮影領域などに配置することができる。図１５は切り出された矩形領域の配置例である。

あるいは、高い優先度の設定されていない矩形領域は、非撮影領域と同視され、配置されたグラフィックの方が優先的に出力される。例えば、図１６に示すように、パノラマ画像のうち高い優先度の設定された矩形領域Ｚ以外の部分は、非撮影領域と同視され、グラフィックＧ１〜Ｇ４は、その非撮影領域よりも前面に配置される。

アスペクト比上限設定部６は、注文受付部１から受け付けたフォトブックのサイズまたはそのアスペクト比からパノラマ画像アスペクト比上限を決定する。

同じアスペクト比のパノラマ画像でも、フォトブックのプリントサイズまたはそのアスペクト比によって、その見栄えは変わってくる。例えば、図１７のように、横長のフォトブックＰＢ１に横長のパノラマ画像を配置しても観る者に違和感を与えないが、横長でないフォトブックＰＢ２に横長のパノラマを配置すると、パノラマ画像の位置の偏りと余白の偏りが観る者に違和感を与える。

そこでアスペクト比上限設定部６は、パノラマ画像の位置の偏りが生じず見栄えがよくなるよう、注文受付部１などから設定されたフォトブックのサイズまたはそのアスペクト比に適合するパノラマ画像アスペクト比の上限を決定する。パノラマ画像を配置するページの余白の面積が所定の上限に達するアスペクト比を画像アスペクト比上限に決定してもよい。

図１８は決定された画像アスペクト比上限の例を示す。アスペクト比上限設定部６は、フォトブックのサイズが３０００×３０００ならばそのサイズに対応するアスペクト比上限は１：８、フォトブックのサイズが３０００×２０００ならばそのサイズに対応するアスペクト比上限は１：６、フォトブックのサイズが１５００×３０００ならばそのサイズに対応するアスペクト比上限は１：２と決定している。

例えば図１８（ａ）のようなパノラマ画像のアスペクト比上限は、図１８（ｂ）のようなプリントサイズのアスペクト比とパノラマサイズのアスペクト比との関係式に従って決定される。図１８（ｂ）のような関係式を予めＨＤＤ１８などの記憶媒体に記憶しておき、アスペクト比上限設定部６は、注文受付部１を介して指定された所望のプリントサイズのアスペクト比に対応するパノラマ画像のアスペクト比を当該関係式から特定することで、パノラマ画像生成部７の生成すべきパノラマ画像の上限のアスペクト比をプリントサイズに応じて決定する。

図１８（ｂ）のグラフの傾きは、作成するフォトブックのタイプやフォトブックを作成するユーザー自身が注文受付部１を介して設定できてもよい。

例えば、ユーザから設定された傾きが大きければ、アスペクトの比の上限が大きくなる。この場合、多少バランスが悪くなったり、表示されるパノラマ画像の高さは小さくなるかもしれないが、パノラマ画像全体をフォトブックに利用可能となる。

あるいは、ユーザから設定された傾きが小さければ、アスペクト比の上限が小さくなるこの場合 バランスよくパノラマ画像を配置できるが、アスペクト比に合わせてパノラマ画像の一部が表示できなくなる可能性が有る。よって、傾きをどの程度にするかをユーザの嗜好にあわせて選択させるのが好ましい。

また、式自体もユーザが注文受付部１を介して設定できてもよい。図１８（ｂ）に示す式はあくまで一例であり、１次線形式に限られない。

図１９は、図１８のように決定された画像アスペクト比上限に従ったパノラマ画像を対応するサイズのフォトブックに配置した様子を例示する。このアスペクト比上限は見開きページに渡るパノラマ画像の配置に関するが、片方のページに渡るパノラマ画像の配置に関する画像アスペクト比上限が決定されてもよい。

図２０は画像プリント作成装置１０の実行するレイアウト決定処理のフローチャートを示す。この処理はＣＰＵ１２によって制御される。この処理をＣＰＵ１２に実行させるためのプログラムはＨＤＤ１８その他のコンピュータ読み取り可能な記憶媒体に記憶されている。なお、この処理は注文受付部１からフォトブックを作成する指示が入力されたときに開始される。

Ｓ１では、ＣＰＵ１２は、フォトブックのサイズを注文受付部１から受け付ける。

Ｓ２では、ＣＰＵ１２は、注文受付部１から受け付けたフォトブックのサイズからパノラマ画像アスペクト比上限を決定するようアスペクト比上限設定部６を制御する。決定されたアスペクト比上限の一例は図１８に示した通りである。アスペクト比上限設定部６は注文受付部１から指定された値をそのままアスペクト比上限に設定してもよい。

Ｓ３では、ＣＰＵ１２は、画像入力部２から入力された画像のうち注文受付部１からフォトブックに使用するものとして選択された画像である注文画像の全てのレイアウトが画像レイアウト部９により決定されたか否かを判断する。決定された場合は処理を終了し、決定されない場合はＳ４に進む。なお各注文画像の配置ページは注文受付部１から任意に指定できるものとする。

Ｓ４では、ＣＰＵ１２は、各注文画像がパノラマ合成可能な動画または静止画像であるか否かを解析するよう画像解析部３に指示し、その解析の結果、動画またはパノラマ合成可能な静止画像である場合はＳ５、そうでない場合はＳ８に進む。パノラマ合成可能か否かの判断は、注文画像を構成する複数の動画コマまたは静止画同士が重複する被写体部分を有するか否かに基づく。

Ｓ５では、ＣＰＵ１２は、注文画像に基づいてパノラマ画像を生成するようパノラマ画像生成部７を制御する。ＣＰＵ１２は、Ｓ４で解析された動画または静止画に基づいてパノラマ画像生成部７により作成されるパノラマ画像のアスペクト比が、Ｓ２で決定されたアスペクト比上限を超えるか否かを判断する。Ｙｅｓの場合はＳ６、Ｎｏの場合はＳ７に進む。

Ｓ６では、ＣＰＵ１２は、アスペクト比上限に従った範囲でパノラマ画像を作成するようパノラマ画像生成部７を制御する。この際、パノラマ画像生成部７は、画像解析部３によりパノラマ画像の特徴部分（例えば従来の顔検出技術で検出される人物の顔、従来の構図解析技術で検出される構造線など）を特定し、特定された特徴部分が所定の位置（例えば中心）になるようパノラマ画像を作成してもよい。図２１は注文画像から作成可能なパノラマ画像ＲＴとアスペクト比上限に従った範囲ＲＬの関係を示している。

あるいは、ＣＰＵ１２は、作成されたパノラマ画像からアスペクト比上限を超えない範囲を抽出してもよい。この際、画像解析部３によりパノラマ画像の特徴部分（例えば人物の顔）を特定し、特定された特徴部分が所定の位置（例えば中心）になるよう作成されたパノラマ画像からアスペクト比上限を超えない範囲を抽出してもよい。

Ｓ７では、ＣＰＵ１２は、非撮影領域を特定する情報を領域情報保存部５に保存するよう撮影領域・非撮影領域抽出部４を制御する。非撮影領域を特定する情報とは図３〜５のいずれかに例示したものを含む。

Ｓ８では、ＣＰＵ１２は、パノラマ画像を切り出す矩形部分領域を決定するよう画像解析部３を制御する。所望の矩形部分領域を抽出する。この矩形領域の例は図９、１０、１１、１３、１４に示した通りである。

Ｓ９では、ＣＰＵ１２は、パノラマ画像生成部７により作成されるパノラマ画像を、注文受付部１で指定されたフォトブックの所望のページである指定ページに配置するよう画像レイアウト部９に指示する。ＣＰＵ１２は、配置されたパノラマ画像に対応する非撮影領域が領域情報保存部５に保存されているか否かを判断する。Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ１１に進む。

Ｓ１０では、ＣＰＵ１２は、領域情報保存部５の非撮影領域および指定ページの余白に基づき、パノラマ画像生成部７の生成したパノラマ画像と、ＨＤＤ１８に保存されたパノラマ画像以外のグラフィックを含むフォトブックのレイアウトを決定するよう画像レイアウト部９を制御する。決定されたレイアウトは図６、１５、１６に例示した通りである。

Ｓ１１では、ＣＰＵ１２は、指定ページの余白に基づき、パノラマ画像生成部７の生成したパノラマ画像と、ＨＤＤ１８に保存されたパノラマ画像以外のグラフィックを含むフォトブックのレイアウトを決定するよう画像レイアウト部９を制御する。決定されたレイアウトは図８に例示した通りである。

なお、上記で述べたパノラマ画像は、パノラマ画像生成部７による複数の画像の合成で作成されたものでなくてもよく、外部から入力された各種の画像でもよい。例えば、魚眼レンズのような特殊な広角レンズで撮影された広角画像をそのままパノラマ画像として入力することもできる。撮影領域・非撮影領域抽出部４は、入力されたパノラマ画像から、撮影領域と非撮影領域とを区別し、当該パノラマ画像における非撮影領域の位置座標情報を領域情報保存部５に保存することもできる。要するに、レイアウト決定処理は、非撮影領域の生じている画像であれば、その生成方法に関わらず適用されうる。

また、レイアウト決定処理は、フォトブックへのグラフィック配置に限らず、１枚あるいは複数枚の画像プリントやポストカードなど各種のプリント商材へのグラフィック配置に応用することもできる。

１：注文受付部、２：画像入力部、３：画像解析部、４：撮影領域・非撮影領域抽出部、５：領域情報保存部、６：アスペクト比上限設定部、７：パノラマ画像生成部、８：画像出力部、９：画像レイアウト部、１０：画像プリント作成装置

Claims (13)

1. 情報処理装置が、
   広角画像の中から撮影領域を特定する情報である撮影領域情報と非撮影領域を特定する情報である非撮影領域情報を取得するステップと、
   前記撮影領域情報で特定される撮影領域に包含される所望の位置およびサイズの部分領域の属性に基づいて、前記部分領域の優先度を設定するステップと、
   前記非撮影領域情報と前記部分領域の優先度に基づいて、前記広角画像に付随する１または複数のグラフィックの配置を決定するステップと、
   を実行するグラフィック配置決定方法。
2. 情報処理装置が、前記優先度に基づいて、前記広角画像から１または複数の部分領域を抽出するステップを実行する請求項１に記載のグラフィック配置決定方法。
3. 情報処理装置が、前記広角画像に付随する１または複数のグラフィックとして、前記抽出された１または複数の部分領域の配置を決定するステップを実行する請求項２に記載のグラフィック配置決定方法。
4. 前記抽出された部分領域が前記グラフィックと重なりを有さないよう前記広角画像に付随するグラフィックの配置を決定するステップを実行する請求項２に記載のグラフィック配置決定方法。
5. 前記部分領域の優先度は、前記部分領域内の特定の種類の被写体の数、前記部分領域の単位撮影時間あたりの撮影面積、または異なる部分領域との重なり合いの数に基づいて設定される請求項１〜４のいずれかに記載のグラフィック配置決定方法。
6. 情報処理装置が、前記撮影領域が前記グラフィックと重なりを有さないよう前記広角画像に付随するグラフィックの配置を決定するステップを実行する請求項１〜５のいずれかに記載のグラフィック配置決定方法。
7. 情報処理装置が、前記非撮影領域と前記広角画像の配置ページの余白が前記グラフィックと重なりを有するよう前記広角画像に付随するグラフィックの配置を決定するステップを実行する請求項１〜６のいずれかに記載のグラフィック配置決定方法。
8. 情報処理装置が、
   前記広角画像の配置ページの寸法に基づいて広角画像のアスペクト比の上限を決定するステップを実行する請求項１〜７のいずれかに記載のグラフィック配置決定方法。
9. 情報処理装置が、
   前記決定されたアスペクト比の上限に基づいて前記広角画像を生成するステップを実行する請求項８に記載のグラフィック配置決定方法。
10. 情報処理装置が、
    前記決定されたアスペクト比の上限に基づいて前記広角画像から部分領域を抽出するステップを実行する請求項９に記載のグラフィック配置決定方法。
11. 前記非撮影領域情報は、前記広角画像における前記非撮影領域の位置座標または前記広角画像における所定の色を含む請求項１〜１０のいずれかに記載のグラフィック配置決定方法。
12. 請求項１〜１１のいずれかに記載のグラフィック配置決定方法を情報処理装置が実行するためのプログラム。
13. 請求項１〜１１のいずれかに記載のグラフィック配置決定方法を実行する情報処理装置。

Images