JP2010079569A - 情報処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】
被写体までの距離情報を解析し、その解析結果に基づいて配置位置を編集してレイアウト面に画像を配置するようにした情報処理装置、その処理方法及びプログラムを提供する。
【解決手段】
情報処理装置は、撮像装置により撮像された複数の画像をレイアウト対象として選択し、当該選択した複数の画像各々について当該画像内における被写体を撮像した撮像装置の位置から被写体までの距離情報を解析し、その解析により得られた距離情報に基づいて複数の画像の配置位置を編集してレイアウト面に配置する。
【選択図】 図１

Description

本発明は、複数の画像の配置位置を編集して２次元状のレイアウト面に配置する情報処理装置、その処理方法及びプログラムに関する。

写真の活用方法としては、専用の台紙に写真を貼り付けてアルバムを作成することが挙げられる。しかし、デジタルカメラで撮像した場合には、デジタルデータでアルバムを作成できるため、アルバム作成に際して、現像や貼り付けといった作業は必要なくなる。デジタルデータでアルバムを作成する場合には、焼き付けされた印画紙を貼り付け等する場合よりも、簡単であり更に自由度も高い。

その一方で、銀塩フイルムの時と異なり、撮像される枚数は、メモリ容量の拡大に伴って増加しているため、デジタルデータでアルバムを作成する場合には、レイアウト作業（例えば、複数の画像の中から対象となる画像の選択等）に多くの時間を要してしまう。

このような問題を解決するために、特許文献１では、撮像日時を利用してレイアウトする方法が開示されている。また、特許文献２では、画像からオブジェクトを抽出し、２つのオブジェクトの個数や関連性によってレイアウトする方法が開示されている。特許文献３では、画像の有する方向成分に基づいて違和感のないレイアウトを行なう方法が開示されている。

ここで、撮像日時、撮像されている被写体の関連性、画像の方向成分で画像のレイアウトを行なった場合の一例について説明する。例えば、撮像日時によりレイアウトした場合には、図２３に示すレイアウトが得られる。２３００は、レイアウトされるメディア（印刷用紙など）を示しており、その中に所定の期間内に撮像された６つの画像データ２３０１〜２３０６がレイアウトされている。この例では、撮像日時順に左上からレイアウトされている。
特開２００６−２８５９６４ 特開２００６−２９３９８６ 特開２００６−３０４２６５

ここで、画像の持つ遠近感、奥行感を元に画像を、
近景画像： 被写体までの距離が短く、結果として被写体が大きく写っている画像
遠景画像： 被写体までの距離が長く、結果として被写体が小さく写っている画像
中景画像： 近景、遠景のどちらでもない画像
とクラス分けすると、画像データ２３０２、２３０６は近景画像に分類され、画像データ２３０１、２３０３は中景画像に分類され、２３０４、２３０５は遠景画像に分類される。図２３では、結果として近景、中景、遠景の画像が入り混じったレイアウトになっている。

実空間で目に見えている風景は、必ず近景から遠景と続いている。したがって、アルバムの１ページのレイアウトでも近景から遠景への配置の連続性を確保することで、面上で擬似的な遠近感や奥行感を感じ取ることができる。しかし、従来の技術では、複数の画像のレイアウトに際して、画像内における被写体までの距離等を考慮してレイアウトする技術はなかった。

本発明は、上記問題点に鑑みてなされたものであり、被写体までの距離情報を解析し、その解析結果に基づいて配置位置を編集してレイアウト面に画像を配置するようにした情報処理装置、その処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様は、複数の画像の配置位置を編集して２次元状のレイアウト面に配置する情報処理装置であって、撮像装置により撮像された複数の画像をレイアウト対象として選択する選択手段と、前記選択手段により選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析手段と、前記解析手段による解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して前記レイアウト面に配置する配置手段とを具備することを特徴とする。

また、本発明の一態様は、複数の画像の配置位置を編集して２次元状のレイアウト面に配置する情報処理装置の処理方法であって、撮像装置により撮像された複数の画像をレイアウト対象として選択する選択工程と、前記選択工程で選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析工程と、前記解析工程での解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して前記レイアウト面に配置する配置工程とを含むことを特徴とする。

また、本発明の一態様によるプログラムは、コンピュータを、撮像装置により撮像された複数の画像をレイアウト対象として選択する選択手段、前記選択手段により選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析手段、前記解析手段による解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して２次元状のレイアウト面に配置する配置手段として機能させる。

本発明によれば、被写体までの距離情報を解析し、その解析結果に基づいて配置位置を編集してレイアウト面に画像を配置する。これにより、レイアウト面上で擬似的な遠近感、奥行感を出すことができる。

以下、本発明に係わる情報処理装置、その処理方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置１００の機能的な構成の一例を示す図である。

ＣＰＵ１０１は、中央演算ユニット（Central Processing Unit）であり、他の機能ブロックや装置の制御を行なう。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックとの間でのデータのやり取りを制御する。

ＲＯＭ（Read Only Memory）１０３は、読み込み専用の不揮発メモリであり、例えば、ＢＩＯＳ（Basic Input/Output System）と呼ばれるプログラムが格納されている。ＢＩＯＳは、情報処理装置１００の起動時に最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御する。

ＲＡＭ（Random Access Memory）１０４は、読み／書き可能な記憶領域を提供する揮発性メモリである。２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Hard Disk Drive）である。上述したＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Operating System）が実行される。ＯＳは、全てのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Graphical User Interface）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせ、アプリケーション独自の機能を実現するＵＩを提供する。ＯＳ、他のアプリケーションの実行プログラムや作業用に使用されるデータは、必要に応じてＲＡＭ１０４又は２次記憶装置１０５に格納される。

表示制御部１０６は、表示装置１０７上に各種画面を表示する制御を行なう。具体的には、ＯＳやアプリケーションに対するユーザ操作の結果をＧＵＩの画像データとして生成し、それを表示装置１０７上に表示制御する。表示装置１０７としては、例えば、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ等が挙げられる。

Ｉ／Ｏ制御部１０８は、入力装置１０９や出力装置１１０とのインターフェースを提供する。インターフェースとしては、例えば、ＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）等が挙げられる。

入力装置１０９は、ユーザ操作や各種データ等を装置内に入力する。入力装置１０９としては、例えば、キーボードやマウス等が挙げられる。また、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Compact Flash）メモリ、ＳＤ（Secure Digital）メモリカードといった記憶装置なども入力装置１０９に該当する。これら記憶装置に格納されたデータ（例えば、画像データ）は、装置内に入力されるためである。出力装置１１０は、各種データに従って用紙等に印刷を行なう。出力装置１１０としては、例えば、プリンタが挙げられる。

以上が、情報処理装置１００の構成についての説明である。なお、図１に示す構成は、あくまで一例であり、これに限られない。例えば、情報処理装置１００の構成の一部として出力装置１１０を設けず、出力装置１１０を別の装置として設けるようにしてもよい。

ここで、図２を用いて、図１に示す情報処理装置１００における全体動作の流れの一例について説明する。この処理は、例えば、ＲＯＭ１０３や２次記憶装置１０５等に格納されたプログラムがＣＰＵ１０１により実行されることで実現される。ここでは、複数の画像データからアルバムを作成し、それを印刷する場合の流れについて説明する。なお、レイアウト対象となる画像を画像データＤ２０１とする。画像データＤ２０１は、例えば、２次記憶装置１０５の記憶領域、又はＩ／Ｏ制御部１０８に接続されたＣＦメモリ、ＳＤメモリカードなどの記憶装置内に格納されている。この画像データは、デジタルカメラなどの撮像装置を使用して撮像されたものであり、後で述べるＥｘｉｆ（Exchangeable image file format）ファイルフォーマットで構成されている。

ここでまず、情報処理装置１００は、レイアウト対象となる画像データを選択する（Ｓ２０１）。画像データの選択は、例えば、ユーザの指示に基づいて行なわれる。具体的には、アルバムを作成しようとするユーザは、まず、アルバム用の画像データに用いる画像群を、画像データＤ２０１の中から選択する。画像の選択には、例えば、図３に示すようなＵＩを用いる。このＵＩは、例えば、アルバム作成アプリケーション３０１の画像選択時のＵＩである。ＵＩには、画像データが保存されている場所を示すディレクトリツリーの表示領域３０２がある。この表示領域３０２には、２次記憶装置１０５内に格納されたフォルダの構成が表示されている。マウスポインタ３０６は、入力装置１０９のひとつであるマウスの指定位置を示している。ユーザは、マウス、又はキーボードを操作して、画像データの選択を行なう。例えば、ユーザは、一つのフォルダを指定する。指定されたフォルダには、複数の画像データが格納されており、その画像データ各々がサムネイル表示領域３０３にサムネイル画像として表示される。ユーザがマウスポインタ３０６を使用して画像データのリストを選択すると、この操作を受けた情報処理装置１００は、領域３０４にサムネイル画像を表示する。このサムネイル画像がレイアウト対象となる。

このようにしてレイアウト対象の画像データが選択されると、情報処理装置１００は次に、レイアウト情報を指定する（Ｓ２０２）。この指定も上記同様に、ユーザの指示に基づいて行なわれる。具体的には、ユーザは、アルバムの各ページの構成を指定する操作を装置に入力する。例えば、１ページのレイアウトとして表示する最大画像枚数の指定、各画像を貼り付ける位置や大きさ等の指定を行なう。これらのレイアウト情報は、ユーザが全て指定するようにしてもよいし、また、選択された画像の枚数等から自動的に情報処理装置側で決めるようにしてもよい。

レイアウト情報の指定が済むと（Ｓ２０２）、情報処理装置１００は、Ｓ２０１で選択された画像データの解析を行なう（Ｓ２０３）。この解析処理では、例えば、画像データ内の特定の被写体（例えば、主要被写体）までの距離を示す情報、すなわち、被写体を撮像した撮像装置の位置から当該被写体まで距離情報が導き出される。なお、距離情報は、実際の距離を示す値であってもよいし、また、距離の度合いを示す量子化値等であってもよい。距離情報の解析の仕方については、後述するが、例えば、Ｅｘｉｆ情報に基づいて解析を行なえばよい。

画像データの解析が済むと、情報処理装置１００は、その結果を解析データＤ２０２としてＲＡＭ１０４等に格納する。この処理は、Ｓ２０１で選択された画像データ全てについての解析が済むまで繰り返し実施される（Ｓ２０４でＮＯ）。全ての画像データについて解析が済むと（Ｓ２０４でＹＥＳ）、情報処理装置１００は、詳細については後述するが、画像のレイアウト、すなわち、レイアウト面上のどの位置に画像各々を配置するのかを決める（Ｓ２０５）。なお、レイアウト面とは、写真の台紙に相当し、例えば、２次元状で構成される。

レイアウトが決定すると、情報処理装置１００は、そのレイアウトを制御するレイアウト情報Ｄ２０３をＲＡＭ１０４等に格納する。レイアウト情報には、例えば、アルバムのページ数、使用する画像の名前、保存先、各画像の貼り付けられるページ番号、ページ内の貼り付け位置などの情報、の少なくとも１つが含まれる。なお、アルバムの各ページのレイアウトを画像データとして作成して保存してもよい。格納先は、２次記憶装置１０５又はＲＡＭ１０４のいずれであってもよい。ここで、情報処理装置１００は、レイアウト結果を表示装置１０７上に表示する。そして、これを参照したユーザが、その結果に満足せず、再実行等の指示を入力すると（Ｓ２０６でＮＯ）、レイアウト修正処理が実施され、再度、レイアウトの調整が行なわれる（Ｓ２０７）。一方、ユーザがレイアウト結果に満足した場合には、ユーザによりＯＫを示す指示が入力される（Ｓ２０６でＹＥＳ）。この操作を受けた情報処理装置１００は、当該作成されたレイアウト情報に基づいて印刷データを生成し、それをプリンタ等に出力する。これにより、アルバムが印刷される（Ｓ２０８）。

ここで、図４を用いて、図２のＳ２０３における画像データ解析処理の動作の一例について説明する。ここでは、Ｅｘｉｆ情報に基づいて解析を行なう場合について説明する。

この処理が開始されると、情報処理装置１００は、まず、Ｓ２０１で選択された画像データＤ４０１を一つずつ順番に読み込む。ここでまず、一つ目の画像データを読み込み（Ｓ４０１）、その読み込んだ画像データを解析する（Ｓ４０２）。この解析処理では、上述した通り、Ｅｘｉｆ情報に基づいて画像データ内の被写体までの距離情報が解析される。

解析の結果、距離情報が得られると、情報処理装置１００は、それを解析結果Ｄ４０２として格納する（Ｓ４０３）。格納先は、２次記憶装置１０５又はＲＡＭ１０４のいずれであってもよい。なお、アルバム作成アプリケーションを一旦終了してから、再度、アルバム作成を行なう場合には、２次記憶装置１０５に解析結果を格納しておけばよい。すなわち、情報が消去されず、保持されたままとなるためである。

次に、図４のＳ４０２における距離情報の解析について説明する。ここでは、画像データ内における被写体までの距離情報をＥｘｉｆ情報に基づいて解析する方法について説明する。デジタルカメラで撮像された画像データは、一般的に、Ｅｘｉｆファイルフォーマットで保存されている。図５は、Ｅｘｉｆファイルの構造の一例を示す図である。

Ｅｘｉｆファイルの構造は、基本的には、通常のＪＰＥＧ画像形式そのものである。相違点としては、サムネイル画像や撮像関連情報等がＪＰＥＧの規約に準拠した形で画像データ内に埋め込めこまれている点にある。Ｅｘｉｆファイルは、ＪＰＥＧ形式をサポートしているインターネットブラウザ、画像ビューア、フォトレタッチソフト等を使用することにより、通常のＪＰＥＧ画像として見ることができる。

ＪＰＥＧファイルには、図５の左側に示すように、最初にＳＯＩ（Start of image/0xFFD8）５０１が格納される。その後に、ＡＰＰ１ ５０２、ＤＱＴ（Define Quantization Table）５０３、ＤＨＴ（Define Huffman Table）５０４、ＳＯＦ（Start of Frame）５０５が順番に格納される。また更に、ＳＯＳ（Start of Stream）マーカー５０６、圧縮データ（data）５０７も順に格納され、最後に、ＥＯＩ（End of Image）５０８が格納される。

ＤＱＴ５０３は、量子化テーブルの実態を定義し、ＤＨＴ５０４は、ハフマン・テーブルの実態を定義する。また、ＳＯＦ５０５は、フレームのスタートを示し、ＳＯＳマーカー５０６は、画像データの開始を示し、ＥＯＩ５０８は、画像データの終了を示している。ＪＰＥＧに使われるマーカー（Maker）のうち、０ｘＦＦＥ０〜０ｘＦＦＥＦまでのマーカーは、アプリケーションマーカーと呼ばれ、これらは、ＪＰＥＧイメージをデコードするのには不要である。それぞれのアプリケーションプログラムで使用するためのデータ領域として定義されている。Ｅｘｉｆファイルにおいては、撮像条件等をＪＰＥＧ画像内に格納するため、ＡＰＰ１（0xFFE1）というマーカーを使用している。

ここで、”ＡＰＰ１”の構造は、図５の右側に示される。

”ＡＰＰ１”は、その先頭に、ＡＰＰ１ Ｍａｋｅｒ（0xFFE1/2byte）領域５１０があり、その次に、ＡＰＰ１ Ｌｅｎｇｔｈ（２ｂｙｔｅのＡＰＰ１領域の大きさ）領域５１１があり、その次に、ＡＰＰ１のデータ領域５１２がある。このＡＰＰ１のデータ領域５１２の最初の６バイトには、識別子として機能するＡＳＣＩＩ文字列の“Ｅｘｉｆ”が格納され、次の２バイトには、０ｘ００が格納される。その後に、Ｔｉｆｆ（Tagged Image File Format）形式でデータが格納されている。Ｔｉｆｆ形式のデータの最初の８バイトは、Ｔｉｆｆヘッダー（Header）領域５１４となり、その最初の２バイトは、バイト並びの形式を定義している。例えば、０ｘ４ｄ４ｄ：”ＭＭ”の場合はモトローラ形式、０ｘ４８４８：”ＩＩ”の場合はインテル形式を表わす。

Ｔｉｆｆヘッダー領域５１４に続く０ｔｈ ＩＦＤ（IFD of main image）領域５１５には、最初のＩＦＦＤ（Image file directry）が格納される。通常、メイン画像データ及び画像関連データはこの中に収まる。記載項目毎にメイン情報、サブ情報（Exif SubIFD/0x8768）、メーカ独自情報（Maker note/0x827c）といった記載事項が分かれている。

図６は、メイン情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。メイン情報としては、タイトル、デジタルカメラのメーカ名や機種名、画像方向、幅の解像度、高さの解像度、解像度単位、ソフトウェア、変更日時等の一般的な情報が記載されている。

図７は、サブ情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。サブ情報としては、光源、レンズ焦点距離等のデジタルカメラの詳細情報や、露出時間Ｆ値、ＩＳＯ感度、自動露出測光モード等の各種撮像条件等が記載されている。

図８は、メーカ依存データの一例を示す図である。このメーカ独自データの記載内容及び”ｔａｇ”アドレス等は、メーカ毎に独自設定できるのでその詳細は不明である。サブ情報に定義されていない撮像関連情報が記載されている傾向がある。メーカ独自データの中には、独自に主要被写体までの距離情報が記載されている場合もある。このようにＥｘｉｆ情報の中には、距離情報を解析できる情報が含まれる。

例えば、サブ情報の中では、
被写体距離は、Ｓｕｂｊｅｃｔ ｄｉｓｔａｎｃｅ： ｔａｇ ＝ ０ｘ９２０６であり、被写体距離レンジは、Ｓｕｂｊｅｃｔ ｄｉｓｔａｎｃｅ Ｒａｎｇｅ： ｔａｇ ＝ ０ｘａ４０ｃである。また、メーカ依存データでは、被写体までの距離は、０ｘＸＸＸＸとなる。被写体距離は、例えば、３２ビットの符号無し整数の分子と分母で表現されており、単位はｍである。分子がＦＦＦＦＦＦＦＦＨの場合は無限遠、００００００００Ｈの場合は距離不明を表す。

被写体距離レンジは、１６ビットの符号無し整数で表され、
０ ＝ 不明
１ ＝ マクロ
２ ＝ 近景
３ ＝ 遠景
その他 ＝ 予約
となっている。なお、メーカ依存データは、決まったフォーマットでは格納されていない。

また、これらの他にも、
被写体領域（Ｓｕｂｊｅｃｔ Ａｒｅａ： ｔａｇ ＝ ０ｘ９２１４）
レンズ焦点距離（Ｆｏｃａｌ Ｌｅｎｇｔｈ： ｔａｇ ＝ ０ｘ９２０ａ）
被写***置（Ｓｕｂｊｅｃｔ Ｌｏｃａｔｉｏｎ： ｔａｇ ＝ ０ｘａ２１４）
３５ｍｍ換算レンズ焦点距離（Ｆｏｃａｌ Ｌｅｎｇｔｈ Ｉｎ ３５ｍｍ Ｆｉｌｍ： ｔａｇ ＝ ０ｘａ４０５）
撮像シーンタイプ（Ｓｃｅｎｅ Ｃａｐｔｕｒｅ Ｔｙｐｅ： ｔａｇ ＝ ０ｘａ４０６）
といった情報に基づいて複合的に被写体までの距離を推定することもできる。すなわち。上述した各種情報の少なくともいずれかに基づいて被写体までの距離情報を求める。

ここで、図９を用いて、Ｅｘｉｆ情報に基づいて被写体（例えば、主要被写体）までの距離情報を解析した結果について説明する。

各画像９０１〜９０３、９１１〜９１２、９２１〜９２３の７枚の解析結果を示される。図４で説明した解析結果Ｄ４０２には、各画像データのファイル名と主要被写体までの距離ｄ［ｍ］が少なくとも組になって格納される。

ここで、主要被写体までの距離ｄが、０以上〜３未満の場合は近景、３以上〜１０未満の場合は中景、１０以上の場合は遠景であると仮に定義しておく。すると、画像データ９０１、９１１、９２１は近景、画像９０２、９１２、９２２は中景、画像データ９０３、９２３は遠景であると判断できる。

次に、図２のＳ２０３における画像データ解析処理をＥｘｉｆ情報を用いずに行なう場合について説明する。別の解析方法としては、画像データ内に存在する、ある程度大きさの決まったオブジェクトを用いる。そのオブジェクトが画像データ内にあれば、それを画像データ内から検出し、そのオブジェクトまでの距離を推定する。オブジェクトとしては、例えば、撮像時に被写体となる人物やその人物の顔（特定部分）等を用いればよい。特に人物の顔はその特徴や検出結果の流用性が非常に高いことから多くの検出アルゴリズムが検討されており、近年ではほぼ実用的な性能を実現できている。人物の顔の検出には、例えば、出願人が以前提案した特開２００２−１８３７３１号公報に記載された技術を用いればよい。この技術では、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。そして、顔候補領域に対して、画素毎の輝度勾配、及び輝度勾配の重みを算出し、これらの値と、予め設定されている理想的な顔基準画像の勾配、及び勾配の重みとを比較する。その結果、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する。

また、この技術以外にも、例えば、特開２００３−３０６６７号公報に記載された技術を用いてもよい。この技術によれば、まず、画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出する。これにより、目の位置を検出することができる。更に、特開平８−６３５９７号公報に記載された技術によれば、複数の顔の形状のテンプレートと画像とのマッチング度を計算する。その結果、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度が予め定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。更に、特開２０００−１０５８２９号公報に記載された技術を用いてもよい。その他、顔及び器官位置を検出する方法としては、特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特開平５−１９７７９３号公報、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報に外字されている。これ以外にも、特開２０００−２３５６４８号公報、特開平１１−２５０２６７号公報、特登録２５４１６８８など、数多くの手法が提案されている。本実施形態においては、それらのいずれの手法を用いても良い。なお、顔及び器官位置の検出に関しては、従来方法が様々な文献及び特許で開示されているため、ここでは、その説明については省略する。

ここで、図２のＳ２０３における画像データ解析処理の動作の一例について説明する。ここでは、上述した顔検出技術を利用して解析を行なう場合について説明する。なお、処理の流れは、上述した図４と同様となるため、図４に沿って説明する。

この処理が開始されると、情報処理装置は、まず、Ｓ２０１で選択された画像データＤ１２０１を一つずつ順番に読み込む。ここでまず、一つ目の画像データを読み込み（Ｓ４０１）、その読み込んだ画像データを解析する（Ｓ４０２）。ここでは、画像データＤ１２０１に対して顔検出処理を実施する。そして、その顔検出結果から距離情報を算出し、それを解析結果Ｄ４０２として格納する（Ｓ４０３）。格納先は、２次記憶装置１０５又はＲＡＭ１０４のいずれであってもよい。

図１０は、画像データ内から人物の顔を検出した時の検出例を示している。１００１は、画像データである。一般的にデジタルカメラで撮像されたデータは、横軸を幅方向Ｘ、縦軸を高さ方向Ｙ、左上を原点Ｏ（０，０）とする座標系で構成されている。画像データ１００１の中に撮像されている人物の顔領域１００２の位置は、４点の座標で囲まれる領域として表すことができる。人物の、向って左上の点をＬＴ（Left Top）、左下をＬＢ（Left Bottom）、右上をＲＴ（Right Top）、右下をＲＢ（Right Bottom）として、顔検出の検出結果としている。

ここで、図１１を用いて、顔検出結果に基づいて被写体（例えば、主要被写体）までの距離情報を解析した結果について説明する。

画像データ１１０１で顔検出を行った結果、顔領域１１０２が検出されている場合、顔の大きさＬｆは、

で求められる。更に被写体までの距離ｄｆは、

で求められる。

画像データ１１０３では、２つの顔検出結果が求められている。このように複数の顔が検出された場合には、例えば、一番大きなＬｆ（顔の大きさ）となる顔検出結果を使ってｄｆ（距離）を算出すればよい。なお、ｄｆ（距離）は、全ての顔検出結果の平均値から求めてもよい。更に、小さい顔、つまり背景の中に写っており関連性の低いと判断されるような顔検出結果は無視するなどしてもよく、様々な算出方法が考えられる。

このようにＥｘｉｆ情報を用いず、顔検出技術等を利用して距離情報を求めるようにした場合には、例えば、銀塩カメラにより撮像された写真をスキャナ等でデジタルデータに変換した画像データに対しても上記同様の処理を実施できる。

なお、上述した説明では、人物の顔をオブジェクトとして利用する場合を例に挙げて説明してたが、オブジェクトは、人物の顔に限定するものではない。画像データ内からオブジェクトとして検出でき、更にその大きさがある程度限定できるものであればよく、例えば、車や花などであってもよい。

また、本実施形態においては、図２のＳ２０３の画像データ解析処理の具体例として２つの方法を説明したが、このいずれか一方の方法により解析を行ってもよいし、２つを組み合わせて解析を行なってもよい。また、これ以外の方法により解析を行なうようにしてもよく、特に、方法は問わない。

次に、図１２〜図１５を用いて、図２のＳ２０５の画像レイアウト処理の一例について説明する。ここでは、レイアウトの仕方についていくつか例を挙げて説明する。

図１２に示すレイアウトでは、レイアウト面（紙面）１２０１の下から上方向に近景から遠景へ順番に並ぶように画像データを配置している。番号が付された四角の枠が画像データを貼り付ける領域である。その四角の枠内に示されている番号が小さい方から順に被写体までの距離が短い写真を挿入していく。仮に、被写体までの距離が同じ写真があれば、撮影日時（撮像日時）の早い順に並べるなどの方法で対応すればよい。

図１３のレイアウトでは、左から右に近景から遠景へ並ぶように画像データを配置している。図１４のレイアウトは、見開きページ構成の場合のレイアウトであり、見開きの中心の下辺から端の方へ放射状に近景から遠景へ順番に並ぶように配置している。図１５のレイアウトは、見開きページ構成の場合のレイアウトであり、見開きの中心から端の方へ放射状に近景から遠景へ順番に並ぶように画像データを配置している。なお、図１４及び図１５では、見開きの中心の下辺や、見開きの中心から放射状に画像データを配置する場合を例に挙げているが、この画像配置の中心（始点）となる位置は、見開きの中心の左辺等であってもよく、特に問わない。

ここで、図１６を用いて、図１２に示すレイアウトについて具体例を挙げて説明する。この場合、レイアウト面１６００に６枚の画像データがレイアウトされており、各画像の被写体までの距離は、画像データ１６０１、１６０２、１６０３、１６０４、１６０５、１６０６の順で大きな値となっている。

また、図１７は、図１３に示すレイアウトの具体例である。このように横に並べる場合には、レイアウト面も横長の方が効果としては大きい。レイアウト面１７００に６枚の画像がレイアウトされており、各画像の被写体までの距離は、画像データ１７０１、１７０２、１７０３、１７０４、１７０５、１７０６の順で大きな値となっている。当然ながら、図１７の例では、近景から遠景への並びを左右反転してもよい。すなわち、レイアウト面の左右のいずれか一方から他方へ連続的に画像データを並べてもよい。

更に、図１８には、遠近感、奥行感を強調できるレイアウトの具体例が示される。図１８では、レイアウト面１８００上に画像データ１８０１〜１８０６がレイアウトされている。図１６では、各画像データ１６０１〜１６０６は、同じサイズでレイアウトされているが、図１８では、近景画像は大きく、遠景画像は小さく配置することでより遠近感、奥行感を強調している。このとき、各画像のサイズＩｓｉｚｅの制御方法としては、例えば、レイアウト面上に配置する画像領域の最大、最小値を予め決定しておき、被写体までの距離の解析データに応じて下記の計算式で算出する。

また、レイアウト面上で画像データが重なり合ってレイアウトされてもよい。このようなレイアウトの具体例を図１９に示す。図１９では、レイアウト面１９００に画像データ１９０１〜１９０６の６枚の画像がレイアウトされている。画像１９０１及び１９０３は、その一部が重なり合ってレイアウトされているが、この場合、各画像データ１９０１、１９０３の被写体までの距離情報を解析し、距離の短い方が上側になるようにレイアウトする。この結果、被写体までの距離が短い、すなわち、近景の画像が上になるようにレイアウトされる。重なり合う領域は、各画像の主要被写体までの距離の比に応じて合成比率を変更するなどの制御を行ってもよい。

以上説明したように本実施形態によれば、被写体までの距離情報（Ｅｘｉｆ情報、顔検出技術等を利用）を解析し、その解析結果に基づいて配置位置を編集してレイアウト面に画像を配置する。これにより、被写体までの距離に応じた順番で画像が連続的に並ぶため、レイアウト面上で擬似的な遠近感、奥行感を出すことができる。

なお、実施形態１では、ユーザによる指示に基づいて選択された画像をレイアウト対象としていたが、必ずしもユーザがレイアウト対象となる画像を選択する必要はない。例えば、装置内に取り込まれた画像データを自動的にレイアウト対象として認識し、上述した処理を行なうようにしてもよい。

また、実施形態１では、図１２〜１５を用いて、予め決められたパターンに従ってレイアウトを行なう場合について説明したが、これに限られない。例えば、ユーザがレイアウト面上で近景の開始点と、遠景の並べる方向とを指定できるようにしてもよい。

（実施形態２）
次に、実施形態２について説明する。上述した実施形態１では、被写体までの距離情報だけに基づいて画像をレイアウトする場合について説明した。しかし、レイアウト対象となる画像の中に撮影日（撮像日）が異なる画像が混在している可能性がある。例えば、図２０に示す例では、画像２００１〜２００４の撮影日は、２００８年０１月０１日であり、画像２０１１〜２０１４の撮影日は、２００８年０６月０６日である。なお、撮影日時は、Ｅｘｉｆ情報から解析することができる。

このように撮影日が異なる場合に距離情報だけに基づいてレイアウトを行なうと、図２１に示すようなレイアウトになってしまう。図２１は、主要被写体までの距離情報に基づいて画像を左から右方向に配置している。この場合、主要被写体である人物と犬とが混ざってしまい印象の悪いレイアウトになっている。

このようなケースを防ぐために、時間情報で画像をグループ化し、そのグループ化された画像群の中でレイアウトを制御するようにすればよい。すなわち、被写体までの距離情報に加えて、撮影日時をも考慮してレイアウトを行なうようにする。

このように制御した時の画像レイアウトの例を図２２に示す。図２２では、レイアウト面２２０１を撮影日によって２つの領域に分割し、各領域内で画像のレイアウトを行っている。分割領域２２０２には撮影日が２００８年０１月０１日の画像、分割領域２２０３には撮影日が２００８年０６月０６日の画像を主要被写体までの距離情報を考慮して配置している。

このように主要被写体までの距離情報以外の画像データの情報をも組み合わせてレイアウトを制御した場合には、より効果のあるレイアウトを得ることができる。このような情報としては、例えば、撮影日時、撮像されているオブジェクト、撮像シーンなどが挙げられる。また、オブジェクトの検出には、例えば、人物検出、個人認識、表情検出といった技術を利用してもよい。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、上述した実施形態１及び２では、アルバム作成しそれを印刷する場合を例に挙げて説明したが、これに限定されるものではない。例えば、Ｗｅｂ（World Wide Web）上のＨＰ（Home Page）にデジタルカメラで撮像した画像データを配置するＰｈｏｔｏ Ｇａｌｌｅｒｙのようなホームページを作成するときのレイアウト作成に使用してもよい。

なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータが該供給されたプログラムコードを読み出して実行することにより実施形態の機能が達成される場合をも含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行なう。

本発明の一実施の形態に係わる情報処理装置１００の機能的な構成の一例を示す図である。 図１に示す情報処理装置１００における全体動作の流れの一例を示すフローチャートである。 ＵＩの一例を示す図である。 図２のＳ２０３における画像データ解析処理の動作の一例を示すフローチャートである。 Ｅｘｉｆファイルの構造の一例を示す図である メイン情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。 サブ情報の記載内容と記述を示す“ｔａｇ”アドレスの一例を示す図である。 メーカ依存データの一例を示す図である。 Ｅｘｉｆ情報に基づいて距離情報を解析した結果の一例を示す図である。 画像データ内から人物の顔を検出した時の検出例を示す図である。 顔検出結果に基づいて距離情報を解析した結果の一例を示す図である。 画像レイアウト処理の一例を示す図である。 画像レイアウト処理の一例を示す図である。 画像レイアウト処理の一例を示す図である。 画像レイアウト処理の一例を示す図である。 図１２に示す画像レイアウトの具体例を示す図である。 図１３に示す画像レイアウトの具体例を示す図である。 画像レイアウトの具体例の一例を示す図である。 画像レイアウトの具体例の一例を示す図である。 距離情報を解析した結果の一例を示す図である。 画像レイアウトの具体例の一例を示す図である。 実施形態２に係わる画像レイアウトの具体例の一例を示す図である。 従来技術を説明する図である。

符号の説明

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ブリッジ部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
１０６ 表示制御部
１０７ 表示装置
１０８ Ｉ／Ｏ制御部
１０９ 入力装置
１１０ 出力装置

Claims (16)

1. 複数の画像の配置位置を編集して２次元状のレイアウト面に配置する情報処理装置であって、
   撮像装置により撮像された複数の画像をレイアウト対象として選択する選択手段と、
   前記選択手段により選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析手段と、
   前記解析手段による解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して前記レイアウト面に配置する配置手段と
   を具備することを特徴とする情報処理装置。
2. 前記配置手段は、
   前記距離情報の値が順番に並ぶように前記複数の画像を前記レイアウト面に配置する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記配置手段は、
   前記距離情報の値が前記レイアウト面の下から上方向に順番に並ぶように前記複数の画像を前記レイアウト面に配置する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記配置手段は、
   前記距離情報の値が前記レイアウト面の左右のいずれか一方から他方へ順番に並ぶように前記複数の画像を前記レイアウト面に配置する
   ことを特徴とする請求項１又は３記載の情報処理装置。
5. 前記配置手段は、
   前記距離情報の値が前記レイアウト面の所定の位置から放射状に順番に並ぶように前記複数の画像を前記レイアウト面に配置する
   ことを特徴とする請求項１記載の情報処理装置。
6. 前記配置手段は、
   前記距離情報の値がユーザにより指定された位置及び方向に順番に並ぶように前記複数の画像を前記レイアウト面に配置する
   ことを特徴とする請求項１記載の情報処理装置。
7. 前記レイアウト面に配置された複数の画像各々は、その一部が他の画像の一部と重なり合うように配置され、
   前記配置手段は、
   前記画像を重ねて配置する際に、前記距離情報の値が小さい方の画像を前記距離情報の値が大きいほうの画像よりも上側になるように配置する
   ことを特徴とする請求項３乃至６いずれか１項に記載の情報処理装置。
8. 前記配置手段は、
   前記距離情報の値に応じて前記複数の画像各々のサイズを変更させて前記レイアウト面に配置する
   ことを特徴とする請求項３乃至６いずれか１項に記載の情報処理装置。
9. 前記複数の画像各々は、撮像関連情報を含み、
   前記解析手段は、
   前記画像の撮像関連情報に基づいて前記距離情報を解析する
   ことを特徴とする請求項１記載の情報処理装置。
10. 前記解析手段は、
    前記撮像関連情報に含まれる、被写体距離、被写体距離レンジ、の少なくともいずれかに基づいて前記解析を行なう
    ことを特徴とする請求項９記載の情報処理装置。
11. 前記解析手段は、
    前記複数の画像各々から被写体又は該被写体の特定部分を検出し、該検出したものの大きさから前記距離情報を解析する
    ことを特徴とする請求項１記載の情報処理装置。
12. 前記被写体は、人物であり、
    前記特定部分は、人物の顔である
    ことを特徴とする請求項１１記載の情報処理装置。
13. 前記複数の画像各々は、撮像関連情報を含み、
    前記解析手段は、
    前記撮像関連情報の解析結果と、前記特定部分の解析結果との少なくともいずれかに基づいて前記距離情報を解析する
    ことを特徴とする請求項１１記載の情報処理装置。
14. 前記複数の画像各々は、撮像関連情報を含み、
    前記解析手段は、
    前記撮像関連情報から撮像日時を示す情報を解析し、
    前記配置手段は、
    前記解析手段による解析により得られた前記距離情報と、前記撮像日時を示す情報とに基づいて前記複数の画像を前記レイアウト面に配置する
    ことを特徴とする請求項１に記載の情報処理装置。
15. 複数の画像の配置位置を編集して２次元状のレイアウト面に配置する情報処理装置の処理方法であって、
    撮像装置により撮像された複数の画像をレイアウト対象として選択する選択工程と、
    前記選択工程で選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析工程と、
    前記解析工程での解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して前記レイアウト面に配置する配置工程と
    を含むことを特徴とする情報処理装置の処理方法。
16. コンピュータを、
    撮像装置により撮像された複数の画像をレイアウト対象として選択する選択手段、
    前記選択手段により選択された複数の画像各々について該画像内における被写体を撮像した前記撮像装置の位置から該被写体までの距離情報を解析する解析手段、
    前記解析手段による解析により得られた前記距離情報に基づいて前記複数の画像の配置位置を編集して２次元状のレイアウト面に配置する配置手段
    として機能させるためのプログラム。

Images