JP2006101156A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】画像データの被写体に関する情報に基づいて自動的に付加情報を得ることである。
【解決手段】被写体の特徴を表す複数の画像パターン情報と文字列情報とを対応付けて記憶する第１の記憶手段としてのフラッシュメモリ７０と、前記記憶された画像パターン情報を用いて、画像データをパターン照合し、照合一致した複数の画像パターン情報に対応する複数の文字列情報をフラッシュメモリ７０から読み出し、当該読み出した複数の文字列情報を結合して前記画像データの付加情報を作成する制御部２０と、を備える。
【選択図】 図１

Description

本発明は、画像データに付加情報を付加する情報処理装置及び情報処理プログラムに関する。

従来、デジタルカメラ等の電子カメラでは、撮影日時、時刻、各種撮影モード等の情報を、Ｅｘｉｆ（Exchangeable Image File Format）規格などを用いてＪＰＥＧ（Joint Photographic Coding Experts Group）形式で圧縮された画像データ内に自動付与し格納していた。

また、撮影日時、時刻、各種撮影モード等の情報以外の情報を画像データに付与する構成も考えられている。撮影した画像データに対して任意の付加情報（撮影場所や被写体の説明等）を付与したい場合には、ユーザが、撮影した画像データをＰＣ（Personal Computer）等のコンピュータに取り込み、そのコンピュータ上で表示された画像データを参照しながらキーボード等の入力装置を介して手入力で行っていた。

また、撮影した画像データ（画像ファイル）のファイル名を自動生成する構成も考えられている。撮影位置、時刻若しくは撮影した画像内の文字情報をキー情報として、撮影時に取得したキー情報に基づいて、予めキー情報と対応付けたファイル名、又はキー情報そのものを含むファイル名を、撮影画像データのファイル名として決定する（例えば、特許文献１参照）。
特開２００２−３７４４８１号公報

しかし、画像データに付加情報を付加する場合に、コンパクト性の重視される電子カメラでは、キーボード等の入力装置を搭載することが困難であり、また、電子カメラに搭載される簡易な操作部を用いて、画像データごとに付加情報を手入力により付与する構成では、非常に効率が悪かった。

また、従来の、コンピュータ上に表示された画像データを参照しながら入力装置を介して手入力で付加情報の入力を行う構成でも、ユーザが画像データを参照しながら手入力をせねばならず、画像データが複数ある場合等には、効率の悪い非常に煩わしい作業となっていた。

また、従来の撮影した画像ファイルのファイル名を自動生成する構成では、撮影場所に対応して予め設定した文字列情報しか取得できなく、撮影された被写体に対する変化に富んだ付加情報を取得することができなかった。これに関して、従来の構成では、被写体として文字列が撮影された場合に、その文字列情報を読み取ってファイル名にすることができるが、被写体の中に文字列が含まれるように撮影せねばならず、利便性が悪かった。さらに、取得した複数の文字列情報をまとめて１つの文字列情報として取得することができなかった。

本発明の課題は、画像データの被写体に関する情報に基づいて自動的に付加情報を得ることである。

上記課題を解決するために、請求項１に記載の発明は、
被写体の特徴を表す複数の画像パターン情報と文字列情報とを対応付けて記憶する第１の記憶手段と、
前記記憶された画像パターン情報を用いて、画像データをパターン照合する照合手段と、
前記照合手段により照合一致された複数の画像パターン情報に対応する複数の文字列情報を前記第１の記憶手段から読み出し、当該読み出した複数の文字列情報を結合して前記画像データの付加情報を作成する付加情報作成手段と、を備えることを特徴とする情報処理装置である。

請求項３に記載の発明は、
被写体の特徴を表す画像パターン情報と、被写体を分類する属性を示す属性識別情報とを対応付けて記憶する第１の記憶手段と、
前記記憶された前記画像パターン情報を用いて、画像データをパターン照合する照合手段と、
前記照合手段により照合一致された画像パターン情報に対応する属性識別情報を前記第１の記憶手段から読み出し、当該読み出した属性識別情報に基づいて、前記画像データの属性情報を付加情報として作成する付加情報作成手段と、を備えることを特徴とする情報処理装置である。

請求項１に記載の発明によれば、画像パターン情報を用いて画像データをパターン照合し、照合一致した画像パターン情報に対応する複数の文字列情報を結合して付加情報を取得するので、画像データの複数の被写体を表す付加情報を自動的に取得でき、ファイル名などの情報として利用することができる。

請求項３に記載の発明によれば、画像パターン情報を用いて画像データをパターン照合し、照合一致した画像パターン情報に対応する属性識別情報に基づいて属性情報を取得するので、画像データの被写体の属性を表す属性情報を付加情報として自動的に取得でき、画像データをその属性情報に応じて容易に分類できる。

以下、添付図面を参照して本発明に係る好適な第１〜第３の実施の形態及びその変形例を詳細に説明する。なお、本明細書において、「文字列」とは、単数又は複数の文字からなるものとする。

（第１の実施の形態）
図１〜図８を参照して、本発明に係る第１の実施の形態を説明する。先ず、図１を参照して本実施の形態の装置構成を説明する。図１に、本実施の形態の電子カメラ１００の内部構成を示す。

図１に示すように、本実施の形態の電子カメラ１００は、撮影部１０と、照合手段、付加情報作成手段、付加情報付加手段、記憶制御手段としての制御部２０と、操作部３０と、表示部４０と、情報記録部５０と、ＤＲＡＭ（Dynamic Random Access Memory）６０と、第１の記憶手段、第２の記憶手段としてのフラッシュメモリ７０と、を備えて構成される。

撮影部１０は、光学系１１と、信号変換部１２と、信号処理部１３と、を備えて構成される。光学系１１は、レンズ、絞りと、これらの駆動部とを備える。光学系１１は、制御部２０の指示により、ズーム、合焦、絞り調整等を行う。信号変換部１２は、ＣＣＤ（Charge-Coupled Devices）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子と、Ａ／Ｄ変換部等とを備え、光学系１１を介して入射された被写体からの光を撮像素子により撮像してアナログ画像信号を生成し、Ａ／Ｄ変換部によりそのアナログ画像信号をデジタル画像データに変換して制御部２０に出力する。信号処理部１３は、ＤＲＡＭ６０に記憶された画像データをＪＰＥＧ形式で圧縮して、その圧縮した画像データを情報記録部５０にメモリカード５１へ記録させる。

制御部２０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭと、ＲＯＭ（Read Only memory）等と、により構成され、電子カメラ１００の各部を制御する。制御部２０は、ＣＰＵによりＲＯＭに記憶されているシステムプログラム及び各種アプリケーションプログラム（例えば、後述するパターン認識ＤＢ登録処理の手順を示すパターン認識ＤＢ登録プログラム、後述する第１の撮影処理の手順を示す第１の撮影プログラムを含む）の中から指定されたプログラムが読み出されてＲＡＭに展開され、ＲＡＭに展開されたプログラムと、ＣＰＵとの協働で、各種処理を実行する。

操作部３０は、シャッタキー３１と、各種操作キー等とを備え、ユーザによりシャッタキー３１、各種操作キー等から操作入力された情報を制御部２０に出力する。

表示部４０は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（ElectroLuminescent Display）等を備え、制御部２０から入力された表示情報を表示する。情報記録部５０は、ＳＤ（Secure Digital）カード、メモリスティック、ｘＤピクチャカード等の第２の記憶手段としてのメモリカード５１のスロットを備え、メモリカード５１が着脱可能である。情報記録部５０は、セットされたメモリカード５１に記憶された情報の読み出しと、メモリカード５１への情報の書き込みとを行う。

ＤＲＡＭ６０は、信号変換部１２から出力された画像データを一時的に格納する。フラッシュメモリ７０は、情報を読み出し及び書き込み可能に記憶する不揮発性のメモリであり、特に後述するパターン認識ＤＢ（Data Base）７１を記憶する。

電子カメラ１００で撮影する際には、先ず、光学系１１を介して入射された光が信号変換部１２により所定周期で画像データに変換され、その画像データがＤＲＡＭ６０に格納される。これとともに、制御部２０により、ＤＲＡＭ６０に格納された画像データが所定周期で読み出されて表示部４０にスルー画像として表示され、表示部４０が電子ファインダとして機能する。そして、ユーザにより適切なタイミングでシャッタキー３１が押下されたことをトリガとして、信号処理部１３により、ＤＲＡＭ６０に格納された画像データがＪＰＥＧ形式で圧縮されて、そのＪＰＥＧファイル（撮影画像データ）がメモリカード５１に記憶される。本実施の形態では、この撮影時に、撮影画像データの特徴を示す付加情報を作成する。

次に、図２及び図３を参照して、フラッシュメモリ７０及び画像データに記憶する情報について説明する。図２に、フラッシュメモリ７０に記憶されるパターン認識ＤＢ７１の構成を示す。図３に、撮影画像データ内に付加される付加情報テーブル８０の構成を示す。

図２に示すように、パターン認識ＤＢ７１は、後述する第１の撮影処理で使用される情報を有し、第１の撮影処理実行前に、後述する画像パターン情報登録処理の実行により、予め設定されて、フラッシュメモリ７０に記憶される。パターン認識ＤＢ７１は、管理番号７１１と、画像データを照合するための画像データとしての画像パターン情報７１２と、画像パターン情報７１２に対応する文字列情報７１３と、を有する。パターン認識ＤＢ７１のレコード（管理番号７１１）の数は、複数の場合を説明するが、単数としてもよい。画像パターン情報７１２は、撮影画像データの画像内の単数又は複数の被写体を識別し、画像照合するためにパターン化された部品の画像データである。部品とは、元の画像データから分割（抽出）される部分領域である。

パターン化された部品の画像データは、元の画像データに、画像照合のための補正処理及びエッジ抽出処理が施された画像データとする。補正処理とは、例えば、ノイズ除去、平滑化、鮮鋭化、２次元フィルタリング、２値化、細線化、正規化等である。正規化とは、例えば、画像サイズの拡大・縮小、平行移動、回転、濃度変換等である。

エッジ抽出処理とは、画像データが濃度の変化点の抽出によりいくつかの連続領域に分割されることであり、２次微分処理、ハフ変換等の方法で行われる。切れているエッジの点列は、膨張法、収縮法、延長跡法等により繋がれる。

図３に示すように、付加情報テーブル８０は、画像データ内に付加するための付加情報を有し、画像データのヘッダ情報等として、その画像データ内に含められる。付加情報テーブル８０は、各付加情報の名称としての付加情報名称８１と、付加情報名称８１の各付加情報の内容としての付加情報内容８２と、を有する。付加情報としては、付加先の画像データに関する情報であり、図３に示すような、種類（ファイル形式）、サイズ等である。

また、付加情報テーブル８０は、少なくとも、パターン認識情報８１１と、その内容とを有する。パターン認識情報は、後述する第１の撮影処理により作成される、付加先の画像データの特徴を示すデータである。また、属性情報８１２は、本実施の形態では必須の情報ではなく、後述する第３の実施の形態で説明する。

次に、図４〜図８を参照して、電子カメラ１００の動作を説明する。図４に、パターン認識ＤＢ登録処理の流れを示す。図５に、画像パターン情報を登録する撮影画像データ９０を示す。図６に、追加登録するパターン認識ＤＢ７１Ａを示す。図７に、第１の撮影処理の流れを示す。図８に、画像パターン情報と照合する撮影画像データ１１０を示す。

大まかな流れとしては、電子カメラ１００において、先ず、パターン認識ＤＢ登録処理の実行により、画像パターン情報及びを新たに生成してパターン認識ＤＢ７１に登録し、第１の撮影処理の実行により、新たに画像データを撮影し（以下、撮影画像データとする）、その撮影画像データと、パターン認識ＤＢ７１の画像パターン情報とを照合し、照合された全ての画像パターン情報に対応する文字列情報を結合して短文化し撮影画像データ内に付加情報として含める。

図４〜図６を参照して、パターン認識ＤＢ登録処理を説明する。パターン認識ＤＢ登録処理では、パターン認識ＤＢ７１がフラッシュメモリ７０に記憶されていない場合に、新規にパターン認識ＤＢ７１が作成されてフラッシュメモリ７０に記憶され、パターン認識ＤＢ７１が既にフラッシュメモリ７０に記憶されている場合に、そのパターン認識ＤＢ７１に新たな画像パターン情報及びその文字列情報が記憶される。

例えば、電子カメラ１００において、ユーザにより操作部３０を介してパターン認識ＤＢ登録処理の実行指示が入力されたことをトリガとして、図４に示すパターン認識ＤＢ登録処理が実行開始される。予め、電子カメラ１００は、表示部４０にスルー画像が表示されているものとする。

先ず、ユーザにより、画像パターン情報として登録したい被写体に電子カメラ１００の表示部４０の画面が合わせられて、シャッタキー３１が押下される（ステップＳ１１）。そして、信号処理部１３により、ＤＲＡＭ４０から撮影時の画像データが読み出され、ＪＰＥＧ形式で圧縮されてＪＰＥＧファイル（撮影画像データ）が作成される（ステップＳ１２）。

そして、制御部２０により、ＪＰＥＧファイルがパターン化されて部品に分解され、その部品が取得される（ステップＳ１３）。具体的には、ＪＰＥＧファイルに、上記補正処理及びエッジ抽出処理が施されて、単数又は複数の被写体を表す部品が抽出されて、画像パターン情報として取得される。

そして、制御部２０により、未選択の部品があるか否かが判別される（ステップＳ１４）。未選択の部品がある場合（ステップＳ１４；ＹＥＳ）、制御部２０により、未選択の全部品から１つの部品が選択される（ステップＳ１５）。そして、ステップＳ１６で作成された画像パターン情報が表示部４０に表示される（ステップＳ１６）。そして、ユーザによる、表示された画像パターン情報に対応する文字列情報の入力が操作部３０を介して受け付けられ（ステップＳ１７）、ステップＳ１４に移行される。ステップＳ１８では、表示された画像パターン情報を登録したくない場合には、登録しない旨の入力も受付可能とする。

未選択の部品がない場合（ステップＳ１４；ＹＥＳ）、制御部２０により、ステップＳ１６、Ｓ１８で入力された登録対象の全ての画像パターン情報及びこれに対応する文字列情報を、画像パターン情報７１２及びこれに対応する文字列情報７１３とし、管理番号７１１を新たに付与して、パターン認識ＤＢ７１を新規に作成、又は既存のパターン認識ＤＢ７１に新規レコードが追加され、そのパターン認識ＤＢ７１がフラッシュメモリ７０に記憶され（ステップＳ１８）、パターン認識ＤＢ登録処理が終了する。

パターン認識ＤＢ登録処理の具体例を説明する。例えば、図２に示すパターン認識ＤＢ７１が既にフラッシュメモリ７０に記憶されている場合に、パターン認識ＤＢ登録処理が実行される。ステップＳ１３において、図５に示す撮影画像データ（ＪＰＥＧファイル）９０から、部品９１，９２，９３が取得される。そして、ステップＳ１４〜Ｓ１８により、部品９１，９２に対応する登録対象の画像パターン情報及び文字列情報が作成され、部品９３については、パターン認識ＤＢ７１の管理番号７１１が“１”のレコードに既に登録されているので登録対象から外される。ステップＳ１９において、このように作成された登録対象の画像パターン情報及び文字列情報に管理番号が付与され、図６に示す、部品９１に対応するレコード７１１１と、部品９２に対応するレコード７１１２とを有するパターン認識ＤＢ７１Ａが、パターン認識ＤＢ７１に追加されて記憶される。

次いで、図７及び図８を参照して、第１の撮影処理を説明する。第１の撮影処理では、撮影画像データの部品と、画像パターン情報とが照合され、その照合結果に応じて、撮影画像データの特徴を示すパターン認識情報が作成され、そのパターン認識情報を含む付加情報テーブル８０が撮影画像データ内に付加される。

例えば、電子カメラ１００において、ユーザにより操作部３０を介して第１の撮影処理の実行指示が入力されたことをトリガとして、図７に示す第１の撮影処理が実行開始される。予め、電子カメラ１００は、表示部４０にスルー画像が表示されているものとする。

先ず、ユーザにより、撮影したい被写体に電子カメラ１００の表示部４０の画面が合わせられて、シャッタキー３１が押下される（ステップＳ２１）。そして、信号処理部１３により、ＤＲＡＭ４０から撮影時の画像データが読み出され、ＪＰＥＧ形式で圧縮されてＪＰＥＧファイル（撮影画像データ）が作成される（ステップＳ２２）。そして、信号処理部１３により、作成されたＪＰＥＧファイルが、情報記録部５０を介してメモリカード５１に記録される（ステップＳ２３）。そして、制御部２０により、ＪＰＥＧファイルの画像が分解されて、部品が取得される（ステップＳ２４）。ステップＳ２４は、ステップＳ１３と同様である。

そして、制御部２０により、未選択の部品があるか否かが判別される（ステップＳ２５）。未選択の部品がある場合（ステップＳ２５；ＹＥＳ）、制御部２０により、未選択の全部品から１つの部品が選択される（ステップＳ２６）。そして、制御部２０により、フラッシュメモリ７０に記憶されたパターン認識ＤＢ７１が読み出され、選択中の部品と、パターン認識ＤＢ７１の各画像パターン情報７１２とが照合される（ステップＳ２７）。

画像データの照合は、例えば、選択中の部品と、各画像パターン情報７１２とから、それぞれ特徴パラメータを抽出し、その特徴パラメータの比較に基づいて行う。特徴パラメータの抽出とは、例えば、領域分割による抽出、テクスチャの抽出等である。領域分割による抽出とは、エッジ抽出された画像データ（部品、画像パターン情報）又はその一部に対して、その領域の形状特徴（幾何学的特徴（対象画像の距離、面積、重心、中心等）、領域の心線の特徴、閉曲線の特徴等）、統計的特徴（濃度分布のパラメータ、カラー）を抽出することである。

画像データの照合は、特徴パラメータの比較に限定されるものではなく、選択中の部品と、各画像パターン情報７１２とを直接重ねて画素値を比較するパターンマッチングや、テンプレートマッチング等を利用する構成としてもよい。また、画像データの照合として、テクスチャの抽出を利用する構成としてもよい。テクスチャとは、ある規則によって配列された繰り返しパターンに基づくものである。画像からテクスチャの自身の持つ固有の特徴を抽出し、モデル化を行って、画像パターンの同定を行う。また、画像データの照合として、２つの画像データを構造解析し、その特徴点やエッジ点等の構造のグラフの類似度に基づいて、画像照合を行う構成としてもよい。

そして、制御部２０により、照合一致したか否かが判別される（ステップＳ２８）。照合一致した場合（ステップＳ２８；ＹＥＳ）、制御部２０により、ステップＳ２７で照合一致した画像パターン情報７１２に対応する文字列情報が、選択中の部品に対応する文字列情報７１３として取得され（ステップＳ２９）、ステップＳ２５に移行される。照合一致していない場合（ステップＳ２８；ＮＯ）、ステップＳ２５に移行される。

未選択の部品がない場合（ステップＳ２５；ＮＯ）、制御部２０により、ステップＳ２９で取得された全文字列情報が結合されて短文が作成され、その短文がパターン認識情報として作成される（ステップＳ３０）。そして、制御部２０により、作成されたパターン認識情報を、パターン認識情報８１１として含む付加情報テーブル８０が作成され、その付加情報テーブル８０がＪＰＥＧファイル内に付加され（ステップＳ３１）、第１の撮影処理が終了する。

第１の撮影処理の具体例を説明する。例えば、ステップＳ２４において、図８に示す撮影画像データ（ＪＰＥＧファイル）１１０から、部品１１１，１１２が取得される。そして、ステップＳ２５〜Ｓ２９により、部品１１１，１１２に対応する画像パターン情報７１２が照合一致され、その照合一致した画像パターン情報７１２に対応する文字列情報７１３の“山”、“２人”が取得される。そして、ステップＳ３０において、文字列情報“山”、“２人”からパターン認識情報“山と２人”が作成され、ステップＳ３１において、パターン認識情報８１１として撮影画像データ１１０内に付加される。

なお、文字列情報“山”、“２人”からパターン認識情報“山と２人”が作成される例を説明したが、これに限定されるものではなく、例えば、パターン認識ＤＢとしては、 一般的な名称としての“山”に代えて、“富士山”、“阿蘇山”等の具体的なものとしてもよい。また、パターン認識情報としては、例えば、“山をバックに撮影した２人”等のように、被写体の位置関係を描写するようなものとしてもよい。また、結合する文字列情報は、３つ以上としてもよい。

また、撮影画像データを表示する場合には、ユーザにより撮影画像データ表示指示が操作部３０から入力され、制御部２０により、メモリカード５１から撮影画像データ（ＪＰＥＧデータ）と付加情報テーブル８０のパターン認識情報８１１が読み出されて、撮影画像データ及びパターン認識情報８１１が関連付けられて表示部４０に表示される。これらの事項は、以下の他の実施の形態及び変形例でも同様である。

以上、本実施の形態によれば、画像パターン情報を用いて撮影画像データをパターン照合し、照合一致した画像パターン情報に対応する文字列情報を結合してパターン認識情報を取得するので、撮影画像データの被写体を表す付加情報としてのパターン認識情報を自動的に取得でき、ファイル名などの情報として利用することができる。

また、パターン認識情報を撮影画像データ内にパターン認識情報８１１として付加するので、撮影画像データとパターン認識情報とを別々にすることなく容易に管理できる。また、パターン認識ＤＢをフラッシュメモリ７０にパターン認識ＤＢ７１として記憶できる。

また、撮影画像データをパターン化した部品に分割して画像パターン情報を自動的に作成し、フラッシュメモリ７０にパターン認識ＤＢ７１として記憶するので、被写体のパターン情報を容易に作成及び記憶できる。特に、ユーザが頻繁に撮影する被写体の画像パターン情報を作成及び記憶できる。また、第１の撮影処理において撮影した撮影画像データからも画像パターン情報を作成及び記憶する構成としてもよい。

（第２の実施の形態）
図９を参照して、本発明に係る第２の実施の形態を説明する。図９に、第２の撮影処理の流れを示す。本実施の形態の装置構成は、第１の実施の形態と同様であるものとする。また、電子カメラ１００において、第１の実施の形態と同様に、パターン認識ＤＢ登録処理が実行される。

次いで、図９を参照して、第２の撮影処理を説明する。第２の撮影処理では、撮影画像データと、画像パターン情報とが照合され、その照合結果に応じて、撮影画像データの特徴を示すパターン認識情報が作成されて撮影画像データの画像の一部として合成される。

例えば、電子カメラ１００において、ユーザにより操作部３０を介して第２の撮影処理の実行指示が入力されたことをトリガとして、図９に示す第２の撮影処理が実行開始される。予め、電子カメラ１００は、表示部４０にスルー画像が表示されているものとする。

先ず、ユーザにより、撮影したい被写体に電子カメラ１００の表示部４０の画面が合わせられて、シャッタキー３１が押下される（ステップＳ４１）。そして、信号処理部１３により、ＤＲＡＭ４０から撮影時の画像データが読み出され、ＪＰＥＧ形式で圧縮されて第１のＪＰＥＧファイル（撮影画像データ）が作成される（ステップＳ４２）。そして、信号処理部１３により、作成された第１のＪＰＥＧファイルが、情報記録部５０を介してメモリカード５１に記録される（ステップＳ４３）。そして、制御部２０により、第１のＪＰＥＧファイルの画像が分解されて、部品が取得される（ステップＳ４４）。

ステップＳ４５〜Ｓ５０は、それぞれ、第１の撮影処理のステップＳ２５〜Ｓ３０と同様である。そして、制御部２０により、ステップＳ５０で作成されたパターン認識情報を画像として表す画像データが作成され、信号処理部１３により、その作成されたパターン認識情報の画像データがＪＰＥＧ形式に圧縮されて第２のＪＰＥＧファイルが作成される（ステップＳ５１）。例えば、パターン認識情報の文字色、文字の大きさ、フォント等は、予め設定されているものとする。

そして、制御部２０により、作成された第１のＪＰＥＧファイルに第２のＪＰＥＧファイルが合成されて第３のＪＰＥＧファイルが作成される（ステップＳ５２）。例えば、第１のＪＰＥＧファイル内の予め設定された所定場所に第２のＪＰＥＧファイルが貼り付けられて合成される。そして、制御部２０により、作成された第３のＪＰＥＧファイルが、情報記録部５０を介してメモリカード５１に記録され（ステップＳ５３）、第２の撮影処理が終了する。

なお、ステップＳ５２において、第２のＪＰＥＧファイルを合成する場所が予め設定されていたが、これに限定されるものではなく、右上、右下、左上、左下、***、下中央、中心や、座標等のように、ユーザが任意に設定入力可能な構成としてもよい。また、ステップＳ５１において、第２のＪＰＥＧファイルを構成するパターン認識情報の文字の色、大きさ及びフォント等を合成する場所が予め設定されていたが、これに限定されるものではなく、第２のＪＰＥＧファイルを構成するパターン認識情報の文字の色、大きさ及びフォント等をユーザが任意に設定入力可能な構成としてもよい。さらに、撮影画像データ（の背景等）に基づいて、画像を見やすくするような第２のＪＰＥＧファイルの位置、文字の色、大きさ及びフォント等を自動的に選択する構成としてもよい。

以上、本実施の形態によれば、画像パターン情報を用いて撮影画像データ（第１のＪＰＥＧファイル）をパターン照合し、照合一致した画像パターン情報に対応する文字列情報を結合してパターン認識情報を取得し、そのパターン認識情報をＪＰＥＧ化して第２のＪＰＥＧファイルを作成し、第１及び第２のＪＰＥＧファイルを合成して第３のＪＰＥＧファイルを取得するので、撮影画像データの被写体を表す付加情報としてのパターン認識情報を自動的に取得でき、撮影画像データ内に画像の一部として自動的に含めることができる。

また、パターン認識情報をメモリカード５１に第３のＪＰＥＧファイルとして記憶できる。また、第１の実施の形態と同様にして、制御部２０により、メモリカード５１に記憶された第３のＪＰＥＧファイルを読み出して表示部４０に表示できる。

（第３の実施の形態）
図１０〜図１２を参照して、本発明に係る第３の実施の形態を説明する。図１０（ａ）に、パターン認識ＤＢ７２の構成を示す。図１０（ｂ）に、属性情報テーブル７３の構成を示す。図１１に、第３の撮影処理の流れを示す。図１２に、画像パターン情報と照合する撮影画像データ１２０を示す。本実施の形態の装置構成は、第１の実施の形態と同様であるものとする。

また、フラッシュメモリ７０には、図２に示すパターン認識ＤＢ７１に代えて、図１０（ａ）に示すパターン認識ＤＢ７２と、図１０（ｂ）に示す属性情報テーブル７３と、が記憶される。

図１０（ａ）に示すように、パターン認識ＤＢ７２は、管理番号７２１と、画像パターン情報７２２と、文字列情報７２３と、属性値７２４と、を有する。管理番号７２１、画像パターン情報７２２、文字列情報７２３は、それぞれ図３の管理番号７１１、画像パターン情報７１２、文字列情報７１３と同様である。

属性値７２４は、撮影画像データを分類する属性の算出に用いる属性識別情報としての情報である。本実施の形態においては、属性情報を、撮影場所として屋内外の別を示す情報とし、その属性値を、画像パターン情報の属性が屋外撮影の場合に“１”とし、画像パターン情報の属性が屋内撮影の場合に“−１”とし、画像パターン情報の属性が屋内外撮影の両方又はどちらでもない場合 “０”とする。図１０（ｂ）に示すように、属性情報テーブル７３は、属性を判別するために用いる属性判別情報７３１と、属性判別情報７３１に対応する文字列情報７３２と、を有する。

次いで、本実施の形態における電子カメラ１００の動作を説明する。本実施の形態では、図４に示すパターン認識ＤＢ登録処理の実行により、パターン認識ＤＢ７２を登録するものとするが、ステップＳ１８において、パターン認識情報に対応する文字列情報とともに属性値の操作入力を受け付ける。そして、ステップＳ１９において、得られた画像パターン情報、文字列情報、属性値に、管理番号７２１が付与されて、それぞれ、画像パターン情報７２２、文字列情報７２３、属性値７２４としたパターン認識ＤＢ７２が作成及び記憶される。

次いで、図１１を参照して、第３の撮影処理を説明する。第３の撮影処理では、撮影画像データと、画像パターン情報とが照合され、その照合結果に応じて、撮影画像データの特徴を示すパターン認識情報が作成され、さらにその撮影画像データの属性情報が判別され、そのパターン認識情報及び属性情報を含む付加情報テーブル８０が撮影画像データに付加される。

例えば、電子カメラ１００において、ユーザにより操作部３０を介して第３の撮影処理の実行指示が入力されたことをトリガとして、図１１に示す第３の撮影処理が実行開始される。

ステップＳ６１〜Ｓ７０は、それぞれ、第１の撮影処理のステップＳ２１〜Ｓ３０と同様である。そして、制御部２０により、フラッシュメモリ７０に記憶された認識ＤＢ７２中の、ステップＳ６８において取得された各文字列情報に対応する各属性値７２４が読み出され、その各属性値の総和が算出される（ステップＳ７１）。そして、制御部２０により、フラッシュメモリ７０に記憶された属性情報テーブル７３が読み出され、算出された属性値の総和が属性判別情報７３１の何れに当てはまるかが判別される（ステップＳ７２）。

属性値の総和＜０の場合（ステップＳ７２；＜０）、属性判別情報７３１の“＜０”に対応する文字列情報７３２の“屋内撮影”が属性情報として取得され、ステップＳ６９で作成されたパターン認識情報と、属性情報“屋内撮影”とを、それぞれ、パターン認識情報８１１と、属性情報８１２として含む付加情報テーブル８０が作成され、ＪＰＥＧファイルに付加され（ステップＳ７３）、第３の撮影処理が終了する。

属性値の総和＝０の場合（ステップＳ７２；＝０）、属性判別情報７３１の“＝０”に対応する文字列情報７３２の“不明”が属性情報として取得され、ステップＳ６９で作成されたパターン認識情報と、属性情報“不明”とを、それぞれ、パターン認識情報８１１と、属性情報８１２として含む付加情報テーブル８０が作成され、ＪＰＥＧファイルに付加され（ステップＳ７４）、第３の撮影処理が終了する。

属性値の総和＞０の場合（ステップＳ７２；＞０）、属性判別情報７３１の“＞０”に対応する文字列情報７３２の“屋外撮影”が属性情報として取得され、ステップＳ６９で作成されたパターン認識情報と、属性情報“屋外撮影”とを、それぞれ、パターン認識情報８１１と、属性情報８１２として含む付加情報テーブル８０が作成され、ＪＰＥＧファイルに付加され（ステップＳ７５）、第３の撮影処理が終了する。

第３の撮影処理の具体例を説明する。例えば、ステップＳ６４において、図１２に示す撮影画像データ（ＪＰＥＧファイル）１２０から、部品１２１〜１２４が取得される。そして、ステップＳ６５〜Ｓ６９により、部品１２１〜１２４に対応する画像パターン情報７２２が照合一致され、その照合一致した画像パターン情報７２２に対応する文字列情報７２３の“山”、“タンス”、“イス”、“テーブル”が取得される。そして、ステップＳ７０において、“山”、“タンス”、“イス”、“テーブル”からパターン認識情報“山とタンスとイスとテーブル”が作成され、ステップＳ７１において、属性値の総和＝１−１−１−１＝−２が算出され、属性値の総和＜０であるため、ステップＳ７３において、属性情報“屋内撮影”が取得され、パターン認識情報“山とタンスとイスとテーブル”がパターン認識情報８１１として付加され、属性情報“屋内撮影”が属性情報８１２に付加される。

以上、本実施の形態によれば、画像パターン情報を用いて撮影画像データをパターン照合し、照合一致した画像パターン情報に対応する文字列情報を結合してパターン認識情報を取得するとともに、照合一致した画像パターン情報に対応する属性値から撮影画像データの属性値を算出し、その算出した属性値により、撮影画像データの属性情報を判別して取得するので、撮影画像データの被写体を表す付加情報としてのパターン認識情報を自動的に取得できるとともに、撮影画像データの被写体の属性を表す付加情報としての属性情報を自動的に取得でき、撮影画像データをその属性情報に応じて容易に分類できる。また、属性情報を、ファイル名などの情報として利用することができる。

また、属性情報をメモリカード５１に属性情報８１２として記憶できる。

なお、属性としては、屋内及び屋外を分類するものを一例として説明したが、これに限定されるものではなく、社内及び社外、山及び海等の属性や、秋葉原、新宿、グアム等の具体的な属性等としてもよい。また、属性の判別を、属性値（＋１，−１）の和による単純計算により行う例を説明したが、これに限定されるものではなく、撮影画像データと画像パターン情報との照合精度、認識率等に基づいてより細かく行うこととしてもよい。

また、本実施の形態では、撮影画像データと画像パターン情報との照合に基づいて、パターン認識情報と属性情報とを取得して記憶する構成としたが、これに限定されるものではなく、撮影画像データと画像パターン情報との照合に基づいて、属性情報のみを取得及び記憶する構成としてもよい。

（第１の変形例）
図１３を参照して、上記第１又は第３の実施の形態の変形例としての第１の変形例を説明する。図１３に、メモリカード５１に記憶する付加情報テーブル５２の構成を示す。第１の実施の形態では、パターン認識情報を含む付加情報テーブルを撮影画像データに文字データとして付加したが、本変形例では、パターン認識情報をメモリカード５１に記録する構成である。本変形例の装置構成は、第１の実施の形態と同様であるものとする。

図１３に示すように、メモリカード５１に記憶する付加情報テーブル５２は、付加情報名称５２１と、付加情報内容５２２とを有する。付加情報名称５２１は、ＪＰＥＧファイル（撮影画像データ）の名前としてのＪＰＥＧファイル名５２１１と、パターン認識情報５２１２と、属性情報５２１３とを有する。第１の実施の形態の変形例としては、属性情報５２１３が必須の情報ではない。

第１の実施の形態の変形例としては、図７の第１の撮影処理において、ステップＳ３０で、制御部２０により、ステップＳ３０で作成されたパターン認識情報を、パターン認識情報５２１２として含む付加情報テーブル５２が作成され、その付加情報テーブル５２が情報記録部５０を介してメモリカード５１に記録される。

また、第２の実施の形態の変形例としては、図１１の第３の撮影処理において、ステップＳ７３、Ｓ７４又はＳ７５で、制御部２０により、属性判別情報７３１に対応する文字列情報７３２の属性情報が取得され、ステップＳ７０で作成されたパターン認識情報と、属性情報とを、それぞれ、パターン認識情報５２１２と、属性情報５２１３として含む付加情報テーブル５２が作成され、その付加情報テーブル５２が情報記録部５０を介してメモリカード５１に記録される。

以上、本変形例によれば、パターン認識情報を、撮影画像データとは別に、メモリカード５１に付加情報テーブル５２として記憶できる。なお、付加情報テーブルは、フラッシュメモリ７０に記憶する構成としてもよい。

（第２の変形例）
上記第１〜第３の実施の形態の変形例としての第２の変形例を説明する。本変形では、パターン認識ＤＢの登録の別の方法を説明する。装置構成としては、電子カメラ１００が、無線又は有線で別の電子カメラと情報を送受信するための通信部（図示せず）を有し、その電子カメラ２台（以下、第１及び第２の電子カメラとする）がお互いに通信接続されているものとする。第１及び第２の電子カメラの通信接続は、通信ネットワークを介してもよく、ピアツーピアとしてもよい。

この装置構成において、第１の電子カメラにおいてパターン認識ＤＢ（７１又は７２）が登録されてフラッシュメモリ７０に記録されているものとする。そして、第２の電子カメラにおいて、通信部を介して第１の電子カメラからパターン認識ＤＢが受信されて第２の電子カメラのフラッシュメモリ７０に記録される。

本変形例によれば、第１の電子カメラで作成したパターン認識ＤＢを第２の電子カメラに送信し第２の電子カメラで記憶する構成としたので、パターン認識ＤＢを２台の電子カメラで共有でき、パターン認識ＤＢの登録作業を軽減できる。

（第３の変形例）
上記第１〜第３の実施の形態の変形例としての第３の変形例を説明する。本変形例では、第２の変形例で説明したような通信部を有する電子カメラ１００（第３の電子カメラとする）が、サーバ装置と接続される。サーバ装置は、パターン認識ＤＢを登録及び記憶する記憶部を有する。第３の電子カメラとサーバ装置との通信接続は、通信ネットワークを介してもよく、ピアツーピアとしてもよい。サーバ装置と第３の電子カメラとは、１対Ｎ（但しＮは２以上の整数）としてもよい。

先ず、第３の電子カメラにおいて、撮影された撮影画像データがサーバ装置に送信される。サーバ装置において、第３の電子カメラから受信した撮影画像データと、パターン認識ＤＢの各画像パターン情報とが照合され、その照合一致した画像パターン情報に対応する文字列情報が取得され、その文字列情報からパターン認識情報が作成されて、撮影画像データの送信元の第３の電子カメラに送信される。そして、送信元の第３の電子カメラにおいて、サーバ装置からパターン認識情報が受信されて取得される。

本変形例によれば、サーバ装置において、画像パターン情報を用いて第３の電子カメラから受信した撮影画像データをパターン照合し、照合一致した画像パターン情報に対応する複数の文字列情報からパターン認識情報を作成して第３の電子カメラに送信するので、第３の電子カメラからサーバ装置に対してパターン認識情報を問い合わせて取得できる。また、第３の電子カメラに、パターン認識ＤＢの記憶手段、画像の照合手段、文字列情報の取得及び結合手段等の構成が不要であるので、第３の電子カメラの装置構成を簡単にすることができる。さらに、一般的に、サーバ装置の記憶手段は、第３の電子カメラの記憶手段よりも容量が大きく、サーバ装置の容量の大きなパターン認識ＤＢを用いて、より多様な文字列情報（パターン認識情報）を取得することができる。

また、例えば、電子カメラで撮影した花や昆虫の名前等を知りたい場合、サーバ装置からそれらに関連する画像パターン情報及びその名前（文字列情報）とを有するパターン認識ＤＢをダウンロードし、パターン照合により、パターン認識情報としての花や昆虫等の名前等を得ることとしてもよい。また、サーバで属性情報の取得、パターン認識情報を画像の一部として含む撮影データの合成、を行う構成としてもよい。

（第４の変形例）
上記第１〜第３の実施の形態の変形例としての第４の変形例を説明する。本変形例では、第２の変形例で説明したような通信部を有する電子カメラ１００（第４の電子カメラとする）が、サーバ装置と接続される。サーバ装置は、パターン認識ＤＢを登録及び記憶する記憶部を有する。第４の電子カメラとサーバ装置との通信接続は、通信ネットワークを介してもよく、ピアツーピアとしてもよい。サーバ装置と第４の電子カメラとは、１対Ｎ（但しＮは２以上の整数）としてもよい。

先ず、サーバ装置において、管理者の操作入力等により、サンプルとしての画像パターン情報等を用いて、パターン認識ＤＢが作成されて記憶部に記憶される。そして、サーバ装置において、サーバ装置に接続された他の電子カメラからパターン認識ＤＢの要求指示を受信した場合に、記憶部からパターン認識ＤＢが読み出されて、要求元の電子カメラに送信される。要求元の電子カメラにおいて、サーバ装置から、要求したパターン認識ＤＢが受信されて取得される。

本変形例によれば、第４の電子カメラにおいて、サーバ装置からパターン認識ＤＢをダウンロードでき、パターン認識ＤＢ取得の利便性を高めることができる。さらに、一般的に、サーバ装置の記憶手段は、第４の電子カメラの記憶手段よりも容量が大きく、サーバ装置の容量の大きなパターン認識ＤＢを用いて、第４の電子カメラがより多様なパターン認識ＤＢを取得することができる。

（第５の変形例）
上記第１〜第３の実施の形態の変形例としての第５の変形例を説明する。本変形例では、第２の変形例で説明したような通信部を有する電子カメラ１００（第５の電子カメラとする）が、サーバ装置と接続される。サーバ装置は、パターン認識ＤＢを登録及び記憶する記憶部を有する。第５の電子カメラとサーバ装置との通信接続は、通信ネットワークを介してもよく、ピアツーピアとしてもよい。サーバ装置と第５の電子カメラとは、１対Ｎ（但しＮは２以上の整数）とする。

先ず、第５の電子カメラにおいて、撮影された撮影画像データにおいて、パターン認識ＤＢ登録処理が実行されて、パターン認識ＤＢ７１が作成され、パターン認識ＤＢ又はその新規レコードがサーバ装置に送信される。サーバ装置において、第５の電子カメラから受信したパターン認識ＤＢ又はその新規レコードが記憶部に記憶される。そして、サーバ装置において、サーバ装置に接続された他の電子カメラからパターン認識ＤＢの要求指示を受信した場合に、記憶部からパターン認識ＤＢが読み出されて、要求元の電子カメラに送信される。要求元の電子カメラにおいて、サーバ装置から、要求したパターン認識ＤＢを受信して取得される。

本変形例によれば、第５の電子カメラにおいて、サーバ装置へパターン認識ＤＢ又はそのレコードをアップロードでき、サーバ装置の容量の大きなパターン認識ＤＢを用いて、第５の電子カメラがより多様なパターン認識ＤＢを共有することができ、利便性を高めることができる。

なお、上記各実施の形態及び変形例においては、電子カメラ１００を用いて撮影した撮影画像データを照合してパターン認識情報を取得する構成としたがこれに限定されるものではない。例えば、撮影機能を有する携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の、撮影機能を有する機器を用いてもよい。

また、画像データをパターン照合してパターン認識情報を取得する機能を有するＰＣ（Personal Computer）等の機器を用いて、メモリカード、メール、ダウンロード等により入力した画像データを、パターン照合してパターン認識情報を取得する構成としてもよい。

また、上記各実施の形態及び変形例においては、パターン認識ＤＢをフラッシュメモリ７０に記憶する構成としたが、これに限定されるものではない。例えば、パターン認識ＤＢをメモリカード５１に記憶し、使用する場合に読み出す構成としてもよい。この構成では、パターン認識ＤＢを記憶したメモリカードを販売することにより、ユーザにパターン認識ＤＢを提供することとしてもよい。

また、上記第２、第４、第５の変形例において、サーバ装置又は電子カメラからパターン認識ＤＢをダウンロードするにあたり、パターン認識ＤＢの種類（例えば、花、鳥、昆虫、動物、石、食材、料理、人物、行楽地等）や、ユーザが知りたい情報（名前、由来、歴史、植生、命名語源、関連人物等）を指定して、その指定のパターン認識ＤＢをダウンロード可能とすることとしてもよい。

また、上記各実施の形態及び各変形例の少なくとも２つを組み合わせることとしてもよい。例えば、属性情報と、属性情報及びパターン認識情報と、のいずれか一方を画像の一部として含む撮影画像データを合成する構成としてもよい。

また、上記各実施の形態及び各変形例において、画像パターン情報は、画像データである構成としたが、これに限定されるものではなく、特徴パラメータにより記述される構成としてもよい。

また、上記各実施の形態及び各変形例における画像データの照合において、撮影時の電子カメラのモードによって認識（照合）精度をある程度高めることができる。例えば、人物撮影モードである場合に、パターン認識ＤＢの人物カテゴリーの画像パターン情報を用いて優先認識し、マクロモードである場合に、パターン認識ＤＢの花・昆虫カテゴリーの画像パターン情報を用いて優先認識し、風景モードの場合に、パターン認識ＤＢの風景カテゴリーの画像パターン情報を用いて優先認識する。

また、上記各実施の形態における情報処理装置の各構成要素の細部構成、及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

本発明に係る第１の実施の形態の電子カメラ１００の内部構成を示すブロック図である。 フラッシュメモリ７０に記憶されるパターン認識ＤＢ７１の構成を示す図である。 撮影画像データ内に付加される付加情報テーブル８０の構成を示す図である。 パターン認識ＤＢ登録処理を示すフローチャートである。 画像パターン情報を登録する撮影画像データ９０を示す図である。 追加登録するパターン認識ＤＢ７１Ａを示す図である。 第１の撮影処理を示すフローチャートである。 画像パターン情報と照合する撮影画像データ１１０を示す図である。 第２の撮影処理を示すフローチャートである。 （ａ）は、パターン認識ＤＢ７２の構成を示す図である。（ｂ）は、属性情報テーブル７３の構成を示す図である。 第３の撮影処理を示すフローチャートである。 画像パターン情報と照合する撮影画像データ１２０を示す図である。 メモリカード５１に記憶する付加情報テーブル５２の構成を示す図である。

符号の説明

１００ 電子カメラ
１０ 撮影部
１１ 光学系
１２ 信号変換部
１３ 信号処理部
２０ 制御部
３０ 操作部
３１ シャッタキー
４０ 表示部
５０ 情報記録部
５１ メモリカード
６０ ＤＲＡＭ
７０ フラッシュメモリ

Claims (6)

1. 被写体の特徴を表す複数の画像パターン情報と文字列情報とを対応付けて記憶する第１の記憶手段と、
   前記記憶された画像パターン情報を用いて、画像データをパターン照合する照合手段と、
   前記照合手段により照合一致された複数の画像パターン情報に対応する複数の文字列情報を前記第１の記憶手段から読み出し、当該読み出した複数の文字列情報を結合して前記画像データの付加情報を作成する付加情報作成手段と、を備えることを特徴とする情報処理装置。
2. 前記第１の記憶手段は、被写体を分類する属性を示す属性識別情報を前記各画像パターンに対応付けて記憶し、
   前記付加情報作成手段は、前記照合手段により照合された複数の画像パターン情報に対応する複数の属性識別情報を前記第１の記憶手段から読み出し、当該読み出した複数の属性識別情報に基づいて、前記画像データの属性情報を付加情報として作成することを特徴とする請求項１に記載の情報処理装置。
3. 被写体の特徴を表す画像パターン情報と、被写体を分類する属性を示す属性識別情報とを対応付けて記憶する第１の記憶手段と、
   前記記憶された前記画像パターン情報を用いて、画像データをパターン照合する照合手段と、
   前記照合手段により照合一致された画像パターン情報に対応する属性識別情報を前記第１の記憶手段から読み出し、当該読み出した属性識別情報に基づいて、前記画像データの属性情報を付加情報として作成する付加情報作成手段と、を備えることを特徴とする情報処理装置。
4. 前記付加情報作成手段により作成された付加情報を前記画像データ内に付加する付加情報付加手段を備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. コンピュータに、
   被写体の特徴を表す複数の画像パターン情報と文字列情報とを対応付けてメモリに記憶する機能と、
   前記記憶された画像パターン情報を用いて、画像データをパターン照合する機能と、
   照合一致された複数の前記画像パターン情報に対応する複数の文字列情報を前記メモリから読み出し、当該読み出した複数の文字列情報を結合して前記画像データの付加情報を作成する機能と、を実現させるための情報処理プログラム。
6. コンピュータに、
   被写体の特徴を表す画像パターン情報と、被写体を分類する属性を示す属性識別情報とを対応付けてメモリに記憶する機能と、
   前記記憶された前記画像パターン情報を用いて、画像データをパターン照合する機能と、
   照合一致された前記画像パターン情報に対応する属性識別情報を前記メモリから読み出し、当該読み出した属性識別情報に基づいて、前記画像データの属性情報を付加情報として作成する機能と、を実現させるための情報処理プログラム。

Images