JP2010224659A - 情報処理装置、情報処理方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】コメント等の内容もテンプレート化することを目的とする。
【解決手段】文書のレイアウトを解析し、レイアウトを解析した結果であるレイアウト情報を得る解析手段と、レイアウト情報に基づいて、文書に係るコメント領域のコメント文を取得する取得手段と、取得手段で取得されたコメント文と、コメント領域に対応する画像領域の画像に関係する画像情報と、に基づいてコメントテンプレートを作成するコメントテンプレート作成手段と、作成手段で作成されたコメントテンプレートと、レイアウト情報と、に基づいて、文書テンプレートを作成する文書テンプレート作成手段と、を有することによって課題を解決する。
【選択図】図４

Description

本発明は、情報処理装置、情報処理方法、プログラム及び記憶媒体に関する。

従来、画像データやコメント等の要素を配置した文書に電子アルバムがある。電子アルバムの作成にあたって、画像データやコメント等の表示領域の位置やサイズといったレイアウト情報を予め定義した文書テンプレートを用いて、画像データを配置する方法が知られている（例えば、特許文献１参照）。

文書テンプレートを自動的に作成するためにレイアウト解析が行われる。レイアウト解析技術は、画像データやコメントの表示領域の位置およびサイズを特定する。これにより得られた情報を文書テンプレートとすることができる。

特開平０９−１９０５４６号公報

しかしながら、良いアルバムはレイアウトが美しいだけではなく、アルバムの画像データやコメントといった内容の持つメッセージ性やストーリー性も優れている。従来のレイアウト解析技術を用いた方法では、レイアウト情報しかテンプレート化されない。そのため、ストーリー性等の内容の情報を再利用できない問題があった。

本発明はこのような問題点に鑑みなされたもので、コメント等の内容もテンプレート化することを目的とする。

そこで、本発明は、文書のレイアウトを解析し、前記レイアウトを解析した結果であるレイアウト情報を得る解析手段と、前記レイアウト情報に基づいて、前記文書に係るコメント領域のコメント文を取得する取得手段と、前記取得手段で取得されたコメント文と、前記コメント領域に対応する画像領域の画像に関係する画像情報と、に基づいてコメントテンプレートを作成するコメントテンプレート作成手段と、前記作成手段で作成されたコメントテンプレートと、前記レイアウト情報と、に基づいて、文書テンプレートを作成する文書テンプレート作成手段と、を有する。

本発明によれば、コメント等の内容もテンプレート化することができる。

情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。 画像データの構成図である。 文書テンプレートの一例を示す図（その１）である。 情報処理装置の機能構成の一例を示す図（その１）である。 レイアウト解析の対象となる電子アルバムの一例を示す図である。 図５に示す電子アルバムのレイアウト解析の結果得られたレイアウト情報の概念を示す図である。 文書テンプレートの概念図である。 文書テンプレート作成処理を示すフローチャートである。 Ｓ９０６の処理の詳細を示したフローチャートである。 表現辞書の一例を示す図である。 メタデータの一例を示す図である。 本実施形態でアルバムに利用する画像データを示した図である。 画像データのメタデータを記述した図である。 電子アルバムの一例を示す図である。 情報処理装置の機能構成の一例を示す図（その２）である。 固有表現とメタデータ項目との対応付けの一例を示す図である。 情報処理装置の機能構成の一例を示す図（その３）である。 文書テンプレートの一例を示す図（その２）である。 ステップＳ９０６直後の画像関連情報の作成処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
図１において、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１０１は、情報処理装置１００全体を制御する。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０２は、変更を必要としないプログラムやパラメータを格納する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０３は、外部装置等から供給されるプログラムやデータを一時記憶する。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカード等である。入力デバイスインターフェイス１０５は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボード等の入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。ネットワークインターフェイス１０７は、インターネット等のネットワーク回線１１１に接続するためのインターフェイスである。システムバス１０８は、１０１〜１０７の各ユニットを通信可能に接続する。
ＣＰＵ１０１によってプログラムが実行されることによって、後述する情報処理装置の機能、又はフローチャートの各ステップに係る処理が実現される。

図２は、画像データの構成図である。
画像データ２００は、メタデータ２０１と画像本体データ２０７とで構成される。
メタデータ２０１は、日付２０２、被写体２０３、地名２０４、イベント２０５、天気２０６等で構成される。メタデータはＥｘｉｆ形式やＸＭＬ形式等によって記述されてもよい。日付２０２は、カメラ等の撮影機器によって付与されてもよい。被写体２０３、地名２０４、イベント２０５、天気２０６は、予め人手によって付与されてもよい。或いは、被写体２０３や天気２０６は画像認識技術等によって付与されていてもよい。また、日付、被写体、地名、イベント、天気をメタデータ項目と呼び、それぞれの具体的な値である２００８／０８／１０、建物、フィレンツェ、散策、晴れをメタデータ値と呼ぶこととする。
画像本体データ２０７は、画像データ２００の本体で、例えばＪＰＥＧ等の符号化方式でエンコードされたデータに相当する。或いは、画像本体データ２０７は、ＭＰＥＧ等の符号化方式でエンコードされた動画データであってもよい。なお、メタデータ２０１は、画像データ２００に埋め込まずに、画像本体データ２０７と関連付けて別々に保管してもよい。

次に、本実施形態で扱う文書について説明する。本実施形態は、主に電子アルバムを文書として扱う。電子アルバムとは、図５に示されるような、画像データやコメント等により構成されるデータであり、ＨＴＭＬ等の形式で保存・管理される。本実施形態では、電子アルバム中の画像データにはメタデータが関連付けられているものとする。なお、文書はカタログやパンフレット等でもよい。また、そのデータ形式もＰＤＦあるいはＴＩＦＦ等のマルチフレームに対応した画像ファイル等であってもよい。そのため、本実施形態の文書はこれらに限定されるものではない。

次に、本実施形態で扱う文書テンプレートについて説明する。従来の文書テンプレートは、画像領域やコメント領域の位置やサイズが定義されたものであった。しかし、本実施形態の文書テンプレートは、アルバムの持つ内容を保持する。そのため本実施形態の文書テンプレートは、次の二つの情報も持つ。一つ目は、アルバムの構成要素同士の関連である。構成要素同士の関連とは、画像データとコメントとの間の「コメントが説明している画像データ」といった関連のことである。以後これを構成要素関連情報と呼ぶ。二つ目は、コメントテンプレートである。コメントテンプレートとは文章の雛型である。この雛型に画像データのメタデータを適用することでコメント文を作成できる。本実施形態では、％で囲んだメタデータ項目名を０個以上含む文字列をコメントテンプレートとする。例えば、地名というメタデータ項目があるとき、コメントテンプレートの一例としては「％地名％にて」というものが考えられる。本実施形態の文書テンプレートに対して画像データを配置すると、関連付けられたコメント領域のコメントテンプレートに、配置した画像のメタデータを適用し、コメント文を得ることができる。より具体的に説明すると、コメントテンプレート中のメタデータ項目を画像データのメタデータ項目の値で置換することでコメント文を得る。例えば、図２の画像データのメタデータを「％地名％にて」に適用すると「フィレンツェにて」というコメント文を作成することができる。なお、本実施形態におけるコメントテンプレートの表現方法及びコメント文への変換方法はこれらに限定されるものではない。

文書テンプレートは上記情報を含めばどのような形式で保持されてもよい。例えば、ＸＭＬで文書テンプレートを記述すると図３のようになる。
ｌａｙｏｕｔタグ３０１の内容には、各領域の位置やサイズ及びコメントテンプレートの情報が記述されている。ｌａｙｏｕｔタグ３０１内のｃｏｍｐｏｎｅｎｔタグ３０２で、アルバムの各要素が表現されている。各領域の位置やサイズはｃｏｍｐｏｎｅｎｔタグの属性として記述されている。ｉｄはそれぞれの要素を識別するために割り当てられる固有の番号である。ｔｙｐｅは要素の種類を示し、その値ｉｍａｇｅは画像領域、ｃｏｍｍｅｎｔはコメント領域であることを示している。ｓｈａｐｅは領域の形を示し、その値ｒｅｃｔａｎｇｌｅは四角形の領域であることを示している。ｘ、ｙは領域の位置を示している。ｗｉｄｔｈ、ｈｅｉｇｈｔは領域のサイズを示しており、それぞれ領域の幅と高さとを示す。ｃｏｍｐｏｎｅｎｔタグ３０２の内容には、コメントテンプレート３０３が記述されている。

ｒｅｌａｔｉｏｎタグ３０４の内容として、構成要素関連情報が記述されている。個々の構成要素関連情報はｃｏｎｎｅｃｔｉｏｎタグ３０５として表現されている。属性ｉｄはそれぞれの構成要素関連情報を識別するために割り当てられる固有の番号である。属性ｆｒｏｍ＿ｉｄは関連元になる１つの要素である。より具体的にはコメント領域のｉｄが入ることになる。ｃｏｎｎｅｃｔｉｏｎタグ３０５の内容は、ｆｒｏｍ＿ｉｄの示す要素に関連付けられる要素であり。各要素はｌａｙｏｕｔタグ３０１で使用したｉｄを属性としたｃｏｍｐｏｎｅｎｔタグとして列挙される。例えば、ｃｏｎｎｅｃｔｉｏｎタグ３０５ではｉｄが２のコメント領域が、ｉｄが１の画像領域に関連付けられていることがわかる。

図４は、情報処理装置の機能構成の一例を示す図（その１）である。
アルバム取得部４０１は、テンプレート化の処理対象となる電子アルバムを取得する。
本実施形態では、電子アルバムは外部記憶装置１０４に保存されており、オペレーティングシステム（ＯＳ）により階層構造で管理されている。この場合、アルバム取得部４０１は、ＯＳの機能を利用して、指定されたファイルパスより電子アルバムを取得する。また、ＲＯＭ１０２やＲＡＭ１０３に電子アルバムが保持されていてもよい。
或いは、インターネット等のネットワーク上に電子アルバムがある場合、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）により電子アルバムが指定されることも考えられる。この場合、アルバム取得部４０１は、ネットワークインターフェイス１０７を通じて、ユーザ等に指定されたＵＲＬより電子アルバムを取得する。
ファイルパスやＵＲＬはユーザが入力デバイス１０９を通じて指定する。或いは、外部プログラムがＲＡＭ１０３上にファイルパスやＵＲＬの値を格納し、格納場所のアドレスを指定する。

レイアウト解析部４０２は、アルバム取得部４０１により取得された電子アルバムをレイアウト解析し、画像データやコメントの表示領域の位置やサイズを求める。加えて、レイアウト解析部４０２は、画像データのことを記述しているコメントを特定し、画像データとコメントとに関連付けを行う。例えば、レイアウト解析部４０２は、画像領域に付与されているメタデータとコメントとを比較することによって関連を特定してもよい。或いは、レイアウト解析部４０２は、領域の近接性等を基に関連を特定してもよい。
より具体的な例として図５、６を用いて、レイアウト解析部４０２により得られるレイアウト情報を説明する。
図５は、レイアウト解析の対象となる電子アルバムの一例を示す図である。５０１〜５０４は画像データであり、５０５はコメントである。
図６は、図５に示す電子アルバムのレイアウト解析の結果得られたレイアウト情報の概念を示す図である。６０１〜６０４は、画像データ５０１〜５０４に対応する画像領域である。また、６０５はコメント５０５に対応するコメント領域である。そして、６０６に示す破線は、コメント領域６０５と画像領域６０１〜６０４との関連を表している。これによって、コメント５０５は、画像データ５０１〜５０４に関するコメントであったことが分かる。このような結果がレイアウト解析部４０２によって生成される。

コメント文取得部４０３は、コメント領域に該当する電子アルバム上の領域を解析してコメント文を取得する。より具体的には、電子アルバムが画像ファイルならば、コメント文取得部４０３は、画像ファイルの対象となる領域に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を適用することによりコメント文を取得する。なお、レイアウト解析部４０２で、予めＯＣＲを適用し、コメント領域とコメント文とを対応付けて保持しておき、コメント文取得部４０３は、この保存されているコメント文を取得するようにしてもよい。また、電子アルバムが文書ファイルならば、コメント文取得部４０３は、文書ファイルの対象となる領域より文字列を取得して、コメント文としてもよい。
コメントテンプレート作成部４０４は、コメント文取得部４０３で取得されたコメント文と、後述する画像情報取得部４０７で得られた画像データのメタデータと、を比較する。そして、コメントテンプレート作成部４０４は、画像データのメタデータと関連するテキスト表現を発見し、画像データのメタデータ項目を用いてコメントテンプレートを作成する。より具体的な処理については後述するフローチャートの図９を用いて説明する。

テンプレート統合部４０５は、コメントテンプレート作成部４０４により得られたコメントテンプレートをレイアウト解析部４０２により得られたレイアウト情報の対応するコメント領域に関連付けて保持する。図５に示す電子アルバムのコメント領域の全てに対応するコメントテンプレートが作成された後の結果を図７に示す。コメント５０５より作られたコメントテンプレートが、レイアウト情報のコメント領域６０５に関連付けられて、７０５に保持されていることが分かる。なお、コメントテンプレートをコメント領域に関連付ける処理は、コメント領域ごとに逐次行ってもよいし、全てのコメント領域に対するコメントテンプレートが作られた後に一括して行ってもよい。

関連画像領域取得部４０６は、レイアウト解析部４０２で得られたレイアウト情報より、コメント領域に関連付けられた画像領域を得る。画像領域は一つであるとは限らないため、複数の画像領域が得られることもある。
画像情報取得部４０７は、アルバム取得部４０１で得られた電子アルバムより、関連画像領域取得部４０６より得られた画像領域に位置する画像データのメタデータを取得する。なお、本実施形態では、画像領域に位置する画像データに関係する画像情報の一例としてメタデータを用いて説明を行う。もし、複数の画像領域からメタデータを取得した場合、画像情報取得部４０７は、全ての画像データにおいて共通するメタデータ値を持つメタデータ項目を残す。

図８は、文書テンプレート作成処理を示すフローチャートである。文書テンプレート作成処理は、入力デバイス１０９からユーザが所定の操作を行うことで起動される。或いは、文書テンプレート作成処理は、外部プログラムによって起動される。起動時には、処理対象となる電子アルバムが指定される。
ステップＳ９０１において、アルバム取得部４０１は、処理対象となる電子アルバムを取得する。
ステップＳ９０２において、レイアウト解析部４０２は、ステップＳ９０１で取得された電子アルバムのレイアウトを解析し、レイアウト情報を得る。

ステップＳ９０３において、例えば、レイアウト解析部４０２は、ステップＳ９０２で得られたレイアウト情報中にコメントテンプレート化の処理をしていないコメント領域がないかを判定する。レイアウト解析部４０２は、未処理のコメント領域がある場合はステップＳ９０４に進み、ない場合は処理を終了する。
ステップＳ９０４において、例えば、コメント文取得部４０３は、未処理のコメント領域をレイアウト情報から一つ選び出す。
ステップＳ９０５において、コメント文取得部４０３は、ステップＳ９０４で選択した該コメント領域に対応するコメント文を文字列として得る。
ステップＳ９０６において、コメントテンプレート作成部４０４等は、コメントテンプレートを作成する処理を行う。この処理の詳細は後述するフローチャートの図９を用いて説明する。
ステップＳ９０７において、テンプレート統合部４０５は、Ｓ９０２で得られたレイアウト情報に、Ｓ９０６で得られたコメントテンプレートをコメント領域に関連付けて保持する。

図９は、Ｓ９０６の処理の詳細を示したフローチャートである。
ステップＳ１００１において、画像情報取得部４０７は、関連画像領域取得部４０６によって取得された、コメント領域に関連する画像領域をリストアップする。
ステップＳ１００２において、画像情報取得部４０７は、リストに未処理の画像領域が存在するか否かを判定する。例えば、画像情報取得部４０７は、次で説明するステップＳ１００３において、リストから処理を行った画像領域を削除することで、リストが空の場合には未処理の画像領域がないと判定すればよい。或いは、画像情報取得部４０７は、リストの各要素に対してフラグを設け、処理済フラグがＯＦＦである要素が残っているか否かで判断してもよい。画像情報取得部４０７は、未処理の画像データがある場合はステップＳ１００３に進み、ない場合はステップＳ１００７に進む。

ステップＳ１００３において、画像情報取得部４０７は、リストより未処理画像領域を選択し、電子アルバムの該画像領域に対応する画像データのメタデータを取得する。
ステップＳ１００４において、画像情報取得部４０７は、ステップＳ１００３で選択した画像領域がリストの１番目であるか否かを判定する。画像情報取得部４０７は、リストの１番目である場合はステップＳ１００５に進み、違う場合はステップＳ１００６に進む。
ステップＳ１００５において、画像情報取得部４０７は、ステップＳ１００３で取得した画像データのメタデータをそのまま保持する。
ステップＳ１００６において、画像情報取得部４０７は、保持しているメタデータのそれぞれのメタデータ項目に対して、ステップＳ１００３で取得した画像データのメタデータ項目のメタデータ値と保持しているメタデータ値とが一致するかを調べる。そして、画像情報取得部４０７は、一致するメタデータのみを残して保持する。ただし、取得した画像データのメタデータとしてメタデータ項目が存在しない場合、画像情報取得部４０７は、そのメタデータは保持しない。ステップＳ１００１からステップＳ１００６までの処理は、画像情報作成手段における処理の一例に対応する。
ステップＳ１００７において、コメントテンプレート作成部４０４は、最終的に保持していたメタデータを用いて、コメントテンプレートを作成する。より具体的には、コメントテンプレート作成部４０４は、メタデータ値に一致するテキスト表現がコメント文中にある場合は、メタデータ項目で置換することによってコメントテンプレートを作成する。

或いは、コメントテンプレート作成部４０４は、図１０に示すような表現辞書を予め用意しておき、次のように処理するようにしてもよい。つまり、コメントテンプレート作成部４０４は、保持しているメタデータのメタデータ項目と値が一致する表現辞書の表現をリストアップする。コメントテンプレート作成部４０４は、リストアップされた表現と一致するコメント文中の文字列を見つける。次に、コメントテンプレート作成部４０４は、文字列をメタデータ項目で置換することでコメントテンプレートを作成する。
例えば、最終的に保持していたメタデータが図１１の場合に、「天気がよいので散策へ」というコメント文に、図１０に示す辞書を用いてＳ１００７の処理を施すと、「％天気％ので％イベント％へ」が得られることになる。
また、コメントテンプレート作成部４０４は、コメント文に予め形態素解析を施し語幹を得てから上記処理を行うようにしてもよい。この場合、コメントテンプレート作成部４０４は、表現辞書の表現も語幹処理が施されているものを用いる。
さらに、コメントテンプレート作成部４０４は、文字列のマッチングの際にタイプミス、誤字、脱字、旧字体等の表記上の違いを考慮したマッチングを行ってもよい。
なお、コメントテンプレート作成部４０４は、メタデータ項目に該当しなかったコメント文の文字列は、一部分だけを残すようにしてもよいし、全てを残さなくてもよい。全てを残さない場合、コメントテンプレートはメタデータ項目のみによりなる。
ちなみに、保持していたメタデータがない場合、コメントテンプレート作成部４０４は、コメントテンプレートを空の文字列とする。或いは、コメントテンプレート作成部４０４は、コメント文をそのままコメントテンプレートとしてもよい。
以上述べた方法によって、図７に示すような文書テンプレートが得られることになる。図７は、文書テンプレートの概念図である。実際はＸＭＬ等によって記述されたデータである。

次に、作成した文書テンプレート（図７）を用いた電子アルバムの作成について述べる。
電子アルバム作成時には、文書テンプレートが表示される。例えば、図７のように文書テンプレートが表示される。ただし、領域同士の関連を示す線は常に表示されていなくてもよい。例えば、領域上にカーソルがあるときのみ、領域の関連のみが表示されるようにしてもよい。また、コメントテンプレートはメタデータ項目名が％で囲まれた表示になっているが、具体的な値を例として示しておいてもよい。例えば、％日付％がという表現を、％２０００／９／１０％のように具体的な値を適当に当てはめた表現としてもよい。なお、メタデータ項目であることを示すにあたって％で囲んでいるが、フォントを斜体にする等して示してもよい。
図１２は、本実施形態でアルバムに利用する画像データを示した図である。図１３は、画像データのメタデータを記述した図である。ユーザが入力デバイス１０９等を用いて画像領域７１２に画像データ１３０３を配置すると、画像領域７１２に関連付けられたコメント領域７１３のコメントテンプレートよりコメント文が作成される。より具体的には、１３０３の被写体のメタデータ値が％被写体％の部分に適用され「いろは橋です」というコメント文が生成される。

また、メタデータ値を直接使わず、図１０に示すようなメタデータとテキスト表現とを対応付けた表現辞書を用いて該当する表現を適用するようにしてもよい。より具体的には、情報処理装置は、表現辞書の項目と値とにそれぞれメタデータ項目とメタデータ値とが一致する表現を検索する。情報処理装置は、該当した表現をコメントテンプレートに適用する。なお、複数該当する表現が存在した場合、情報処理装置は、ユーザが表現を選ぶことができるインターフェイスを備えてもよい。
コメント文を生成するときに、ただ置換しただけでは不自然な文章になることが考えられる。そのため、情報処理装置は、コメント文を修正するコメント編集手段を備えてもよい。或いは、情報処理装置は、自然な文章となるように自動的に補正してもよい。例えば、「晴れていた」というコメント文から「％天気％ていた」というコメントテンプレートが得られていたとする。このとき、天気のメタデータ値が曇りのメタデータが適用されると「曇りていた」と不自然な文章になる。そこで、情報処理装置は、不自然な表現と自然な表現とを対応付けた辞書を用意しておきマッチングにより解決してもよい。こうすることによって、情報処理装置は、例えば、曇りてと曇ってとが対応付けられていた場合、「曇っていた」と自然な文章とすることができる。もしくは、情報処理装置は、コメント文の品詞情報を原文より求めておき、その情報を基に語尾を変化させてもよい。

コメントテンプレートは文書テンプレートに含まれるもの以外を用いてもよい。より具体的には、情報処理装置は、予め別にコメントテンプレートを用意しておき、文書テンプレートのコメントテンプレートとメタデータ項目とが少なくとも一つ共通するものを選択して用いる。例えば、情報処理装置は、コメントテンプレートとして「％被写体％です」「％被写体％の前で」「％地名％にて」等を予め用意しておく。文書テンプレートのコメントテンプレートが「％被写体％」であった場合、情報処理装置は、共通のメタデータ項目を含む「％被写体％です」「％被写体％の前で」を選ぶ。情報処理装置は、該当したコメントテンプレートからどちらかを選択する。情報処理装置は、選択したコメントテンプレートを用いて上記方法でコメント文を作成する。これはメタデータ項目のみを残したコメントテンプレートに特に有効である。
画像データが別の画像データに変更されると、関連付けられたコメント領域も変更される。このとき、情報処理装置は、変更されたコメント領域を強調表示する等してユーザに変更を通知してもよい。或いは、情報処理装置は、コメント文が生成された直後に、コメント文が編集可能となるようにしてもよい。例えば、情報処理装置は、コメント文の部分に自動的にカーソルが移動し、編集モードへと移行してもよい。これによって、不自然な文章になっている個所等をユーザが効率的に発見し修正することが可能となる。

コメントテンプレートよりコメント文を生成すると、コメント文の表示上の行数が変化することがある。また、配置した画像と画像領域とのアスペクト比が異なることもある。そうした場合、配置のバランスが崩れることが考えられる。このとき、情報処理装置は、領域を、中央揃え・上揃え・間隔を均一にするといった処理をすることで配置を調節してもよい。
このようにして、全ての画像データ１３０１〜１３１０をアルバムに配置すると、図１４のような電子アルバムが得られることになる。
以上のように、本実施形態で作成した文書テンプレートを用いてアルバムを作成すると、内容の記述にかかる手間が軽減されることが分かる。

＜実施形態２＞
上記実施形態は、既存の電子アルバムに配置されている画像データにメタデータが付与されている場合を想定していた。しかしながら、紙媒体よりスキャナを用いて画像ファイルとして得た電子アルバム等には、配置されている画像データにメタデータがついていない。また、マルチフレームに対応しないＪＰＥＧのような画像形式も画像データにメタデータが関連付けられていないことが多い。そこで、本実施形態では、アルバム中の画像データのメタデータを用いない文書テンプレートの作成装置について述べる。

図１５は、情報処理装置の機能構成の一例を示す図（その２）である。
１５０１〜１５０３、１５０５は実施形態１における４０１〜４０３、４０５と一致する。
コメントテンプレート作成部１５０４は、コメント文取得部１５０３で取得されたコメント文中の画像データに関連付けられた表現を特定し、コメントテンプレートを作成する。
本実施形態の情報処理装置における文書テンプレート作成処理は、実施形態１の図８のステップＳ９０６が異なる以外は同じである。以下、Ｓ９０６について説明する。
ステップＳ９０６において、コメントテンプレート作成部１５０４は、テキスト表現に対応する画像データのメタデータ項目を発見し、コメントテンプレートを作成する。より具体的には、コメントテンプレート作成部１５０４は、日付・地名・人名・天気等の固有表現を抽出する技術を用いる。そして、コメントテンプレート作成部１５０４は、各固有表現に対応するメタデータ項目を決めておき、抽出した固有表現の部分をメタデータ項目で置き換える。例えば、コメントテンプレート作成部１５０４は、固有表現とメタデータ項目とが図１６のように対応付けられているとする。この場合、コメント文「晴れたので拓也と京都の散策へ ２００８／１０／１０」は「％天気％たので％被写体％と％地名％の散策へ ％日付％」というコメントテンプレートになる。

＜実施形態３＞
アルバム中には複数の画像データが配置されるが、この画像データ同士が関連を持つことがある。より具体的には、１つのコメント文により複数の画像データが説明されている場合がある。この場合、この複数画像データは共通のイベントの中で撮影されたといった関連を持つと考えられる。画像領域間に存在する関連を文書テンプレートとして保持することによって、アルバム作成時に画像データの選択を支援すること等が行える。
本実施形態では、画像領域間に存在する関連を発見し、保持する情報処理装置について述べる。

図１７は、情報処理装置の機能構成の一例を示す図（その３）である。
１７０１〜１７０４、１７０６、１７０７は実施形態１の４０１〜４０４、４０６、４０７と同じである。
画像領域関連作成部１７０８は、複数の画像領域を互いに関連付ける情報（関連情報）を作成する（関連情報作成）。より具体的には、画像領域関連作成部１７０８は、複数の画像領域が関連画像領域取得部１７０６より得られた場合、画像情報取得部１７０７より複数の画像領域に共通するメタデータを取得して、メタデータ項目を関連として保持する。なお、以後この関連情報を画像領域関連情報と呼ぶ。
テンプレート統合部１７０５は、４０５と同様に、コメントテンプレート作成部１７０４により得られたコメントテンプレートをレイアウト解析部１７０２により得られたレイアウト情報の対応するコメント領域に関連付けて保持する。これに加えて、テンプレート統合部１７０５は、画像領域関連作成部１７０８によって得られた画像領域関連情報を文書テンプレートとして保持する。

例えば、ＸＭＬによって文書テンプレートが記述された場合、保持された情報は文書テンプレート（図１８）のｃｏｎｎｅｃｔｉｏｎタグ１８０１のように記述される。関連付けられる画像領域はｃｏｍｐｏｎｅｎｔタグによって表現されｃｏｎｎｅｃｔｉｏｎタグの内容として記述される。画像領域に共通するメタデータはｃｏｎｎｅｃｔｉｏｎタグの属性ｒｅｓｔｒｉｃｔの値として列挙される。図１８の例では、ｉｄが１、２、３、４の画像領域に配置される画像データのメタデータは、地名、イベントの２つが共通することが示されている。

本実施形態の情報処理装置における文書テンプレート作成処理は、実施形態１のフローチャートのステップＳ９０６直後に画像領域関連情報の作成処理が入ることとＳ９０７が異なること以外、全て同じである。
ステップＳ９０６直後の画像領域関連情報の作成処理を、図１９を用いて説明する。図１９は、ステップＳ９０６直後の画像領域関連情報の作成処理の一例を示すフローチャートである。
ステップＳ１９０１において、関連画像領域取得部１７０６は、Ｓ９０４で選択されたコメント領域に関連付けられた画像領域のリストを取得する。なお、実施形態１の図９の処理を行っている場合、関連画像領域取得部１７０６は、ステップＳ１００１で取得したリストを用いてもよい。
ステップＳ１９０２において、例えば、関連画像領域取得部１７０６は、リストに複数の画像領域が存在するかを判定する。例えば、関連画像領域取得部１７０６は、存在する場合はＳ１９０３に進み、存在しない場合は処理を終了する。

ステップＳ１９０３において、画像情報取得部１７０７は、画像領域に共通するメタデータを取得する。なお、実施形態１の図９の処理を行っている場合は、画像情報取得部１７０７は、Ｓ１００２〜Ｓ１００６で作成されたメタデータを用いてもよい。
ステップＳ１９０４において、画像領域関連作成部１７０８は、画像領域関連情報を作成する。まず画像領域関連作成部１７０８は、Ｓ１９０３で得たメタデータよりメタデータ項目名を得る。画像領域関連作成部１７０８は、メタデータ項目名とＳ１９０１で得た画像領域のリストとを関連付けて、画像領域関連情報として保持する。
ステップＳ９０７では、テンプレート統合部１５０５は、従来の処理であるコメントテンプレートとレイアウト情報とを対応付けて文書テンプレートを作成するだけでなく、Ｓ９０６直後の処理によって得られる画像領域関連情報も含めて文書テンプレートとする。なお、画像領域関連情報が存在しない場合、テンプレート統合部１５０５は、従来の処理のみを行う。具体的な文書テンプレートの記述は前述した図１８のようになる。

なお、上記では画像領域関連情報に用いるメタデータは、画像データに共通する全てのメタデータとして説明を行ったが、その一部分だけでもよい。
例えば、コメントテンプレートに使用されたメタデータだけであってもよい。この場合、ステップＳ１９０３では、画像情報取得部１７０７は、Ｓ９０６で得られたコメントテンプレートより、使われているメタデータ項目を抽出することになる。或いは、コメントテンプレート作成部１５０４は、Ｓ９０６でコメント文のテキスト表現に一致するメタデータ項目が判明したときに、そのメタデータ項目を保持しておくようにしてもよい。そして、ステップＳ１９０３において、画像情報取得部１７０７が、保持されていたメタデータを利用するようにしてもよい。
また、画像データにメタデータが付与されていない場合は、上記と同様に、コメントテンプレートに使用されたメタデータを、画像領域関連情報に用いればよい。この場合、コメントテンプレートは実施形態２に示す構成により作られる。

次に、本実施形態により得られた文書テンプレートを用いた電子アルバム作成時の画像データ選択支援について述べる。
使用する文書テンプレートは、図７に示すものを用いる。ただし、７０１〜７０４にメタデータ項目の地名とイベントが関連付けられており、７０７〜７１０にはメタデータ項目の地名とイベントと時間帯が関連付けられているものとする。以降、このメタデータ項目のことを関連メタデータ項目と呼ぶことにする。
配置する画像データは、図１２に示す画像データである。なお、前提として既にユーザが画像領域７０１に画像データ１３０８を配置しているとする。
はじめに、ユーザの意図しない不適切な画像データの配置を防ぐ方法について述べる。
この方法は、情報処理装置が、画像データの配置時に配置対象の画像データと配置済みの画像データとで、関連メタデータ項目の値が互いに一致するかを確認する。不一致の場合、情報処理装置は、ユーザにその旨を伝え、配置するかを決定する。
例えば、ユーザが画像領域７０２に画像データ１３０３を配置する場合を考える。既に配置されている画像データ１３０８のメタデータは地名が京都でイベントが散策である。一方で、画像データ１３０３のメタデータは地名が宇治でイベントが散策である。そのため、地名のメタデータ値が一致しない。この場合、情報処理装置は、ユーザに一致しない旨を伝えて、それでも配置する場合は配置する等の方法が考えられる。これによって、見た目が似たような画像データであっても撮影された状況が異なるものを誤って配置してしまうことを防ぐことができる。

次に、ユーザに配置に適した画像データを提示する方法について述べる。
この方法は、情報処理装置が、関連メタデータ項目が配置済みの画像データのメタデータ値を持つ未配置の画像データを提示する。
例えば、ユーザが画像領域７０２を選択すると、情報処理装置は、関連メタデータ項目の地名とイベントとが画像データ１３０８と同じである画像データをユーザに提示する。つまり、地名が京都でイベントが散策である画像データ１３０１、１３０２、１３０９がユーザに提示される。提示方法として、情報処理装置は、別の画面において配置可能な画像データを表示するようにしてもよい。或いは、情報処理装置は、領域上でのホイール操作等によって領域内の画像データを切り替えるようにしてもよい。もしくは、情報処理装置は、画像データ１３０８が配置されたときに、自動的に７０２〜７０４に配置可能な画像データを配置してもよい。これによって、画像データが多く存在する場合、適切な画像データの選択が支援できる。
情報処理装置は、お互いに関連している画像領域は、作成画面上でグループ化されている旨が分かるように表示してもよい。例えば、情報処理装置は、複数画像領域を線で囲むことや、同じ背景色とするようにしてもよい。こうすることで、画像領域が互いに関連付けられていることがユーザに分かり、不適切な画像データが配置できない理由や提示された画像データがどこに配置可能かがわかりやすくなる。

＜実施形態４＞
実施形態１、２、３では、全てのコメントに対してコメントテンプレートを作成することを想定していた。しかし、テンプレート化の処理を行うコメントは全てである必要はなく一部分だけであってもよい。そこで、本実施形態ではコメントテンプレートを一部分だけ作成する場合について述べる。

本実施形態の文書テンプレート作成処理は、実施形態１の図８のステップＳ９０２の処理の直後に対象コメント領域指定処理とＳ９０４の処理の直後に対象コメント領域判定処理とが入ること以外全て同じである。
対象コメント領域指定処理では、例えば、レイアウト解析部４０２は、電子アルバムを表示し、ユーザにテンプレート化の対象とするコメント領域を選択させる。より具体的には、例えば、レイアウト解析部４０２は、ユーザが電子アルバム上でコメントを選択すると、レイアウト情報を用いて選択されたコメント領域を特定し、対象とするか若しくは非対象とするかを決定する。例えば、例えば、レイアウト解析部４０２は、ユーザがカーソルでコメント領域を選択すると対象若しくは非対象をトグル式に変化させる。このとき、例えば、レイアウト解析部４０２は、分かりやすいように非対象となった領域の色をグレーにする等して示してもよい。選択後、ユーザが決定ボタン等を押すと、例えば、レイアウト解析部４０２は、選択結果（設定）を保持してＳ９０３の処理へと進む。
対象コメント領域判定処理は、例えば、コメント文取得部４０３が、前記選択結果に基づき、Ｓ９０４で選択したコメント領域がコメントテンプレートを作成する対象となっているかを判定する。例えば、コメント文取得部４０３は、対象となっている場合はＳ９０５へと進み、なっていない場合はＳ９０３へと進む。

＜実施形態５＞
上記実施形態１〜３では、レイアウト情報と構成要素との関連に加えて、コメントテンプレートや画像領域関連情報等を含んだ文書テンプレートを作成した。しかし、レイアウト情報と構成要素との関連のみで文書テンプレートを作成するようにしてもよい。
このような構成にすることによって、ある領域が変更されたときに、関連する領域に変更が必要な旨をユーザに伝える等の支援を行うことができる。

＜その他の実施形態＞
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した実施形態によれば、コメント等の内容もテンプレート化することができる。また、上述した実施形態によれば、提供される文書テンプレートだけでなく、ユーザが気に入ったアルバムをテンプレート化することができる。そのため、気に入った文書テンプレートで何度でも類似のアルバムを作成することができる。さらに、上述した実施形態により作成された文書テンプレートを用いることで、内容の描写等にかかる手間を軽減するという効果が得られる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
また、上述した実施形態を任意に組合せて実施してもよい。

１０１ ＣＰＵ：１０２ ＲＯＭ：１０３ ＲＡＭ：１０４ 外部記憶装置

Claims (7)

1. 文書のレイアウトを解析し、前記レイアウトを解析した結果であるレイアウト情報を得る解析手段と、
   前記レイアウト情報に基づいて、前記文書に係るコメント領域のコメント文を取得する取得手段と、
   前記取得手段で取得されたコメント文と、前記コメント領域に対応する画像領域の画像に関係する画像情報と、に基づいてコメントテンプレートを作成するコメントテンプレート作成手段と、
   前記作成手段で作成されたコメントテンプレートと、前記レイアウト情報と、に基づいて、文書テンプレートを作成する文書テンプレート作成手段と、
   を有する情報処理装置。
2. 前記コメント文に基づいて、前記コメント領域に対応する画像領域の画像に関係する画像情報を作成する画像情報作成手段を更に有する請求項１に記載の情報処理装置。
3. 前記コメント領域に対応する複数の画像領域の画像に関係する画像情報のうち、共通する画像情報を関連情報として作成する関連情報作成手段を更に有し、
   前記文書テンプレート作成手段は、前記作成手段で作成されたコメントテンプレートと、前記レイアウト情報と、前記関連情報作成手段で作成された前記関連情報と、に基づいて、文書テンプレートを作成する請求項１又は２に記載の情報処理装置。
4. 前記コメントテンプレート作成手段は、前記コメント領域にテンプレート化の対象とする旨の設定がなされていた場合、前記コメントテンプレートを作成する請求項１乃至３の何れか１項に記載の情報処理装置。
5. 情報処理装置が、文書のレイアウトを解析し、前記レイアウトを解析した結果であるレイアウト情報を得る解析ステップと、
   情報処理装置が、前記レイアウト情報に基づいて、前記文書に係るコメント領域のコメント文を取得する取得ステップと、
   情報処理装置が、前記取得ステップで取得されたコメント文と、前記コメント領域に対応する画像領域の画像に関係する画像情報と、に基づいてコメントテンプレートを作成するコメントテンプレート作成ステップと、
   情報処理装置が、前記作成ステップで作成されたコメントテンプレートと、前記レイアウト情報と、に基づいて、文書テンプレートを作成する文書テンプレート作成ステップと、
   を含む情報処理方法。
6. コンピュータを、
   文書のレイアウトを解析し、前記レイアウトを解析した結果であるレイアウト情報を得る解析手段と、
   前記レイアウト情報に基づいて、前記文書に係るコメント領域のコメント文を取得する取得手段と、
   前記取得手段で取得されたコメント文と、前記コメント領域に対応する画像領域の画像に関係する画像情報と、に基づいてコメントテンプレートを作成するコメントテンプレート作成手段と、
   前記作成手段で作成されたコメントテンプレートと、前記レイアウト情報と、に基づいて、文書テンプレートを作成する文書テンプレート作成手段と、
   して機能させるプログラム。
7. 請求項６に記載のプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。

Images