JP4281402B2 - Image management system, image management method, and computer program - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の被写体が含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、カメラ位置と方向を計測し、地図情報上に記載された認識インデックスを被写体として認識することができる。しかしながら、被写体認識を行なうには、位置と計測を非常に精度よく計測する必要がある。また、あらかじめ用意しておく地図情報は、撮影者が何を認識させたいかに対応していない。
【０００８】
また、撮影場所や撮影対象に関する付加情報を得て、操作性を向上する画像記録装置について提案がなされている（例えば、特開２０００−１３７２２号公報を参照のこと）。この画像記録装置によれば、複数の撮影対象候補が抽出された場合には、その確度の高い順に優先順位を付して推定するようになっている。しかしながら、撮影対象候補の確度を求めるに当たり、撮影画像中に設けられた推定範囲の中心からの距離に基づいて優先順位付けを行なっているので、撮影画像中でどんなに大きく写った物体（例えば巨大な建造物など）であっても、推定範囲の中心から外れると評価されない。また、焦点方向と一致している撮影対象は高い確度が付与されることになるが、この際、被写界深度に関しては一切考慮されていない。
【０００９】
一方、得られた写真画像をアルバムとして編集し保存することは一般的に行なわれている。従来のアルバム作成システムでは、写真を撮影時間順にソートする方式のものや、撮影された時間やＧＰＳログ内の時間と照らし合わせることによって、地図上に写真を配列する方式のものなどがあった。また、写真に何らかの被写体情報を付加してある場合には、これら付加情報を利用して写真検索が行なわれる。
【００１０】
しかしながら、個々の写真に被写体情報が何らかの方法で付加されている場合、これを用いて写真アルバムを作成する方法は皆無である。
【００１１】
また、写真に付けられた被写体情報を対象とした検索方法を応用して、写真を並べて表示するということは技術的には可能であるが、その評価軸は１軸であり、各々の被写体に対するグルーピングを施し、アルバムを編集するということはできない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【００１６】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００１７】
本発明は、各画像に含まれる被写体をその評価値に基づいた優先順位に従って、検索やその他の画像管理を効率的に行なうものである。
【００１８】
本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができる。
【００１９】
さらに、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識単位のそれぞれに優先順位を付けることができる。これによって、認識単位の集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。
【００２０】
また、前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて評価値を計算するようにしてもよい。
【００２１】
例えば、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００２２】
また、本発明に係る画像管理システムは、被写体毎に用意されているイベント表を蓄積するイベント表蓄積手段と、画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段とをさらに備えてもよい。
【００２３】
被写体認識に用いる地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られている。そして、前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返すようになっている。
【００２４】
この地図情報は、各認識単位に地図上で面積を持ち、位置的に重ね合わせて複数の認識単位を定義することができる。そして、認識単位は階層化されており、位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与えることによって、複数の認識単位間でランキングの調整を行なうことができる。また、位置的に重なり合う認識単位が同じ階層に割り付けられている場合、各認識単位の認識インデックス値を重なり合う数で割ることによって均等化するようにする。
【００２５】
また、認識単位に複数のカテゴリを用意してもよい。前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位をカテゴリ毎に分類した認識インデックスのリストを認識結果として返すようにしてもよい。
【００２６】
このような場合、カテゴリ毎に撮影画像をグループ化し、画像グループ毎にアルバムを生成することができる。
【００２７】
例えば、所定の手続で決定されるグループ間順序に従って各画像グループのアルバムを順次生成する。ここで言うグループ間順位は、例えば各画像グループに含まれる撮影画像の平均撮影時間又は評価値の合計に基づいて決定される。
【００２８】
また、所定の手続で決定されるグループ内順序に従って画像グループ内の撮影画像を取捨選択して画像グループのアルバムを生成する。ここで言うグループ内順序は、例えば、画像グループ内の各撮影画像の撮影時間又は評価値に基づいて決定される。
【００２９】
また、本発明の第２の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
Ａ．写真の被写体認識
図１には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号１は撮影に用いるカメラであり、図示の例では被写体３１を撮影している。また、参照番号３はカメラ位置と被写体３１を地図上にマッピングした様子を示している。また、参照番号４は、図示のカメラ位置及びレンズ方向にて被写体３１を含む風景を撮影した写真を示している。
【００３４】
図２には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【００３５】
まず、デジタル・カメラなど撮影装置１０１によって撮影を行なう。また、撮影状態取得部１０２は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【００３６】
被写体認識部１０３は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識する。
【００３７】
ランキング・ポイント付与部１０４は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内で占める割合に基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる（後述）。
【００３８】
画像保存部１０５は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索／編集部１０６は、認識インデックス集合のリスト順位を決め、ユーザ操作による画像の検索や編集作業を支援する。
【００３９】
図３には、上述した画像管理システムにおいて、撮影装置１０１に相当する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が配設されており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００４０】
図４には、図３に示した撮影装置１０１の内部構成を示している。
【００４１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００４２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４３】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００４４】
通信部４０１は、携帯電話網上の基地局との通信処理を行なう。
【００４５】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００４６】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【００４７】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【００４８】
出力部４０７は、画像信号の外部出力や、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４９】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻を出力するようになっている。
【００５０】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００５１】
図４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００５２】
図５には、各ユーザが所持する携帯電話機（図４を参照のこと）と通信を行なう画像管理サーバの構成を模式的に示している。この画像管理サーバは、撮影画像と、その撮影ログ（撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報など）を受信し、被写体認識並びに各被写体に対するランキング・ポイントの付与、並びに画像保存や、画像検索・編集の支援などのサービスを提供する。
【００５３】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００５４】
ＲＡＭ５１３は、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００５５】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００５６】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【００５７】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する（後述）。
【００５８】
被写体リスト取得部５１１は、撮影画像に付随する撮影ログに含まれている撮影状態から算出される撮影空間と地図情報とを照合して、カメラの撮影対象範囲にある物体の集合を被写体リストとして取得する。
【００５９】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００６０】
図６には、携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【００６１】
まず、携帯電話機において撮影した後（Ｔ６１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをサーバ側へ送信する（Ｔ６１２）。
【００６２】
サーバ側では、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（後述）（Ｔ６２１）。
【００６３】
次いで、サーバは、撮影ログに含まれている撮影時のカメラ位置と地図情報とを照合して、この撮影画像の撮影対象範囲にある物体の集合を被写体リストとして作成する。
【００６４】
さらに、サーバは、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）（Ｔ６２３）。
【００６５】
そして、サーバは、作成した被写体リストとリスト順位を、携帯電話機に返信する（Ｔ６２４）。
【００６６】
携帯電話機側では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ６１３）。
【００６７】
図７には、携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を示している。
【００６８】
例えば、参照番号７０４に示すような写真が撮影された場合、写真撮影と同時に、時計４１６が出力する撮影時間７５１、位置測定部４０３によって測定された撮影場所７５２、方向取得部４０４によって取得されたレンズ方向７５３が取得され、撮影状態７０５として撮影画像と対応付けて撮影ログ保存部４２３に保存される。
【００６９】
また、図８には、図７に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で撮影状態が記述され、撮影時刻８５１と、撮影場所８５２と、撮影方向８５３が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク８０４が含まれている。
【００７０】
図９には、撮影方向すなわち方向取得部４０４から取得されるカメラのレンズ方向を表現する方法の一例を示している。図示の例では、レンズ方向５３１は、北を０度としたときの、時計回りの方向の角度５３２として記述される。
【００７１】
図１０には、サーバにおいて蓄積される地図情報を編集するための処理手順をフローチャートの形式で示している。本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【００７２】
まず、編集用の地図情報を読み込む（ステップＳ１）。編集用の地図情報がない場合には新規作成する。
【００７３】
次いで、認識単位を領域として選択、設定する（ステップＳ２）。そして、これに相当するインデックスを設定し（ステップＳ３）、重なり設定を行ない（ステップＳ４）、情報を記録する（ステップＳ５）。
【００７４】
ここで、領域設定が終了していない場合には（ステップＳ６）、ステップＳ２に戻る。また、領域設定が終了している場合で、地図データへの書き出しを行なわない場合（ステップＳ７）、編集用地図を書き出して（ステップＳ８）、本処理ルーチン全体を終了する。
【００７５】
一方、地図データの書き出しを行なう場合には、セルへ分割し（ステップＳ９）、それぞれのセル毎にインデックスのランキングを計算した後（ステップＳ１０）、地図データとして出力し（ステップＳ１１）、本処理ルーチン全体を終了する。
【００７６】
図１１には、図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示している。
【００７７】
ＣＰＵ１１１５がオペレーティング・システムの制御下で、地図情報を編集するためのプログラムを実行することによって、この装置全体の動作が統括的にコントロールされる。ＣＰＵ１１１５は、バス１１１７を介して各部に相互接続されている。
【００７８】
ＲＡＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００７９】
入力部１１０８は、マウスやキーボードなどのユーザからのコマンドやデータを入力するためのユーザ入力装置や、外部記憶装置やネットワーク上のホスト装置などからの伝送データを受信するための入力ポートなどで構成される。
【００８０】
出力部１１０７は、ディスプレイやプリンタなどのＣＰＵ１１１５による演算処理結果を画面出力又は印刷出力する装置、あるいは外部記憶装置やネットワーク上のホスト装置へデータを送信するための出力ポートなどで構成される。
【００８１】
ランキング計算部１１４１は、重なっている認識単位領域がある場合に、各々のインデックスに対するランキング値の計算を行なう。
【００８２】
領域分割部１１４２は、同じレベルの認識単位が地図上で干渉する場合に、ランキング値を干渉しているインデックス数で等分する計算を行なう。
【００８３】
セル化部１１４３は、地図データを出力する際に、地図をセル毎に分割し、各々のセルにおいてインデックス毎のランキングを計算し、所定の出力形式に変換する処理を行なう。
【００８４】
図１２には、地図１２０３上に設定されている各認識単位の領域を示している。同図に示す例では、認識単位としての平安神宮３１、二条通り３２、東大路通り３３、東山駅３４、三条通り３５、地下鉄東西線３６、神宮通り３７が地図上に配設されている。各認識単位は、カメラ１で撮影したときに被写体となり得る。各認識単位には認識インデックスが割り振られている。
【００８５】
それぞれの認識単位は、地図上で面積を持っているが、位置的に重ね合わせて定義することができる。また、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。
【００８６】
例えば、図１２に示す例では、三条通り３５、地下鉄東西線３６、東山駅３４が位置的に重なり合って定義されているが、東山駅３４、地下鉄東西線３６、三条通り３５の順で大きなランキング・ポイントが与えられている。したがって、東山駅３４を写した撮影画像内には、地下鉄東西線３６（あるいは写されない）、三条通り３５がともに写されているが、より大きなランキング・ポイントが与えられている東山駅３４が被写体リストのより上位にリストアップされることになる。
【００８７】
また、元の地図情報にない認識単位をユーザ操作などによって作成・編集して追加することも可能である。図１２に示す例では、地図編集装置を操作するユーザが、地図表示画面上で、参照番号４１及び４２で示すようなマウス操作を印加することによって、認識単位としての東山駅３４が描画される。
【００８８】
図１３には、認識単位の分類を指定する様子を示している。地図編集装置のディスプレイ画面上では、図１２に示した地図表示ウィンドウで、東山駅３４あるいはその他の認識単位をユーザが手付け入力したことに応答して、図１３に示す認識単位の分類指定ウィンドウがポップアップ表示される。ここで、図１３に示すように分類名「駅」をマウスでクリックすることにより、新規に作成された認識単位が駅であることが登録される。
【００８９】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができる。このような場合、認識インデックスが階層化される。図１４には、認識インデックスの階層を指定する様子を示している。同図に示す例では、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。図１４では、図１２に示すように東山駅３４を新規作成したときに東山駅３４をインデックスとして登録しているところを表している。
【００９０】
図１５には、このような編集用の地図情報のデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ形式で地図情報が記述されている。同図に示すように、それぞれの認識単位は、図１４に示したインデックスと階層に従ってタグ情報として記述されている。また、個々のタグ情報の中には対応する認識単位に付与された認識の分類（図１３を参照のこと）が記述されている。さらに、タグ情報には、各認識単位についての地図上の位置データの記述が含まれている。
【００９１】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができ、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。図１６には、階層化されている認識インデックスの重み付けを調整する様子を示している。
【００９２】
図１４を参照しながら既に説明したように、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。京都３０、三条通り３５、地下鉄東西線３６、東山駅３４の各インデックスが階層化されている様子が図１６には示されている。本実施形態では、上に重なる認識単位のポイントを、一定値αだけ逐次加算するようにしている。例えば、α＝１とした場合、京都３０のポイントを１とすると、三条通り３５のポイントは２、地下鉄東西線３６のポイントは３、東山駅３４のポイントは４となる。
【００９３】
また、二条通り３２と神宮通り３７は、図１４に示したように同一階層の認識単位であるが、図１６中の参照番号３８で示す領域で干渉している。このことから、領域３８では、各々の認識単位のポイント値を半分にしている。このように、同一階層にある認識単位が地図上で干渉している場合、干渉している各認識単位のポイント値を干渉数で割ることによって均等化している。
【００９４】
図１７には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【００９５】
図１５に示した編集用地図データに対して、地図をセル毎に分割し、セル内にある認識インデックスの階層に基づいて、インデックス毎のランキング値を計算し、規格化を行なっておく。なお、図示のフォーマットは、セル情報部７００１と、認識単位定義部７００２で構成される。
【００９６】
セル情報部７００１において、参照番号７１１１は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は０となる。また、同図中の参照番号７１１２、７１１３は、地図をセルに分割したときの横位置及び縦位置のセル数を示している。また、参照番号７１２１〜７１２３は、セル内の認識単位数を示しており、この値が０だと、これに続く認識単位指示７１２３−１が省略される。
【００９７】
参照番号７１２３−５で示されるセル（ｉ，ｊ）内の認識単位数は５であり、認識単位支持７１２３−１が存在している。この中には、認識単位番号７１２３−３とポイント７１２３−２が対となって定義されている。また、ポイントは足して１になるように規格化されている。
【００９８】
次に、認識単位定義部７００２において、参照番号７０２１は認識単位数を表しており、その１番目から順になるように記述されている。ここで、例えば３４番目の情報の場合、認識単位番号３４の情報を示しており、この中には認識単位カテゴリ７２２１と認識単位名７２２２がある。
【００９９】
図１８には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０１００】
参照番号１は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り３２と神宮通り３７の交差する付近に立ち、平安神宮３１を向いて撮影しているところを表している。
【０１０１】
図１９には、セル内に存在する認識単位を登録している様子を示している。例えば、参照番号５０は、図１８に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、認識単位インデックスである東山駅３４、三条通り３５、地下鉄東西線３６が当該セルに含まれていることが判る。図１９に示すような認識単位の登録方式を採用することにより、認識単位を早見することができる。
【０１０２】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影空間と地図情報とを照合して、撮影空間にある建造物などの認識単位を抽出して、認識単位インデックスをポイント値に従ってリストアップして被写体リストを作成する。撮影空間内の認識単位を探索する際の、計算上の便宜から、図１９に示したようなセル内認識単位早見表を利用する。
【０１０３】
図２０には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０１０４】
次いで、選択されたセルに含まれる認識単位を取得する。図２１には、図１９に示したセル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示している。同図に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択され、さらにこれらセルに登録されている認識単位インデックスである平安神宮３１、二条通り３２、並びに神宮通り３７が選択されたセルに含まれるものとして取得される。
【０１０５】
次いで、認識された各認識単位についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての認識単位が撮影空間内で占める割合に基づいて評価値を計算する。さらに、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、地図情報に記載されている認識単位の面積を用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０１０６】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確度という観点で順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０１０７】
図２２には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【０１０８】
既に述べたように、カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図２２に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。
【０１０９】
ここで、カメラ１が、図２２中の参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０１１０】
また、図２２には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。また、この撮影空間２２１４内にある認識単位２２０２は、参照番号２２２２で示されるようにセル単位に分割されており、中心角２２２２−１とピント面からの距離２２２２−２に応じた重み付けが与えられている。
【０１１１】
認識単位ｓについてのランキング・ポイントｒ_ｓの計算式を以下に示している。
【０１１２】
【数１】
【０１１３】
但し、Ａ_ｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃ_ｉはカメラ位置の重み、Ｄ_ｊはレンズ方向の重み、Ｓ_ｋｓは他の認識単位ｋとの重なりによる重みをそれぞれ表している。これら重みＡ_ｉｊ、Ｃ_ｉ、Ｄ_ｊ、Ｓ_ｋｓはそれぞれ値が規格化されているものとする。
【０１１４】
本実施形態では、地図情報上の各認識単位が持つイベントに関する情報を時間軸上で管理し、撮影時間とイベント表との照合により、被写体としてのイベントを取得し、これにもランキング・ポイントが与えられ、画像検索やアルバム作成などの画像管理に利用される。イベントの管理は、例えば、サーバ内の催し物カレンダ５２５にて行なわれる。
【０１１５】
図２３には、イベントを記載するデータ・フォーマットの構成例を示している。イベントは認識単位毎に定義される。同図に示す例では、京都３０に対するイベント７１と、平安神宮３１に対するイベント７２がこれに相当し、それぞれ効用７１１と時代祭７２１が定義されている。勿論、イベントを持たない認識単位もある。
【０１１６】
図２３の右側に示すように、イベント・データは例えばｘｍｌ形式で記述され、認識対象毎にイベントがその開催日時とともにタグ情報として記載されている。このようなデータ・フォーマットを認識単位と撮影時間で走査することによって、撮影画像に該当するイベントを取り出すことができる。
【０１１７】
図２４には、イベントとそのランキング・ポイントを計算するための処理手順をフローチャートの形式で示している。
【０１１８】
まず、撮影画像に付加されている撮影ログから撮影状態を取り出し、撮影空間を算出し、この撮影空間に含まれる認識単位を取り出す（ステップＳ２１）。
【０１１９】
そして、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、認識単位が持つ面積を用いてランキング・ポイント値が算出される。
【０１２０】
次いで、図２３に示したようなイベント・データを走査して、取り出された各認識単位及び撮影時間と照合するイベントを取り出す（ステップＳ２２）。
【０１２１】
そして、各イベントのポイント値を認識単位が持つポイント値に設定する（ステップＳ２３）。
【０１２２】
図２５には、撮影画像の中から認識単位インデックスが取得された様子を示している。図７を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号５７は認識単位インデックスを示している。認識単位インデックスが取得された場合、撮影ログに加えて、認識種類として、場所５２０とイベント５３０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０１２３】
図２６には、認識単位インデックスを記述するデータ・フォーマットの構成例を示している。
【０１２４】
図８を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図８に示す例では、ｘｍｌ形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【０１２５】
図２６では、さらに、撮影画像に含まれる認識単位インデックスとそのポイント値が記載されるとともに、撮影時間と認識単位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値０．６３、０．２８、０．１９とともにタグ情報５２１、５２２、５２３として記載されている。また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値０．６３，０．１９とともにタグ情報として記載されている。
【０１２６】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これらの付加情報に基づいて写真の管理を好適に行なうことができる。
【０１２７】
図２７には、ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【０１２８】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【０１２９】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【０１３０】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【０１３１】
【数２】
【０１３２】
図２７に示した画像管理用ユーザ・インターフェースには、選択された写真に対して特定の処理を適用するコマンド・ボタンが用意されている。図２８には、コマンドの設定を行なうコマンド設定画面の構成例を示している。
【０１３３】
例えば、図２７に示した画像管理用ユーザ・インターフェース画面上で、「設定」コマンド・ボタン２７６３を選択すると、図２８に示すような、「メール」６３１、「画像編集」６３２、「インデックス編集」６３３からなるサブメニュー・ウィンドウがポップアップ表示される。個々のサブメニュー項目にはさらにサブメニュー項目が用意されている。図示の例では、「ポイント編集」６３３１、と「リスト順位編集」６３３２がインデックス編集６３３のサブメニュー項目として用意されている。図示の状態では、リスト順位編集がデフォルトとして指定されており、編集コマンドをクリックすると、認識インデックス編集としてリスト順位編集モードが選択実行される。
【０１３４】
図２９には、ポイント調整により認識インデックスを変更する様子を示している。参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドを示している。参照番号５２０２〜５２０４で示すように、現在の認識単位インデックスのリスト５２００は、ポイント０．６３で平安神宮、ポイント０．２８で神宮通り、ポイント０．１９で京都がリストアップされている。
【０１３５】
ここで、参照番号５２０７で示すように、「神宮通り」を削り、「竜宮城」を追加し、「竜宮城」のポイントを入力するという手付け入力操作を行なうと、認識単位の名前が切り替わるとともに、リスト順位が変更されて、参照番号５２１２〜５２１４で示すように、ポイント０．６３で平安神宮、ポイント０．１９で京都、ポイント０．１で竜宮城がリストアップされる。
【０１３６】
図３０には、認識単位インデックスを変更するための処理手順をフローチャートの形式で示している。
【０１３７】
まず、認識インデックス・リストの編集モードへ入る（ステップＳ３１）。そして、編集モードが終了するまで（ステップＳ３２）、ユーザによってリスト編集が行なわれる（ステップＳ３３）。ここで言うリスト編集には、認識インデックスの追加、順位変更、名称変更などが挙げられる。
【０１３８】
ここで、認識インデックスの削除が行なわれた場合には（ステップＳ３４）、これを削除し（ステップＳ３７）、そうでない場合には、編集履歴が保存される（ステップＳ３５）。
【０１３９】
そして、編集が終了したならば、ポイント修正を行なってから（ステップＳ３６）、本処理ルーチン全体を終了する。
【０１４０】
図３１には、認識単位インデックスを挿入する様子を示している。図示の例では、参照番号３１０１、３１０２で示す場所に既存の認識単位インデックスがあり、参照番号３１１０で示される範囲にＡ１〜Ａ３、参照番号３１２０で示される範囲にＢ１、参照番号３１３０で示される範囲にＣ１〜Ｃ２を挿入している。ここで、ポイントの最小値は０、最大値は１となっており、この範囲に収まるように各インデックスのポイント値が調整される。
【０１４１】
そして、図３２には、認識単位インデックスを挿入した結果を示している。参照番号３２３１並びに３２３２は、ポイント値が最小値０から０．０６の間に２つ追加されていることから、認識単位インデックスＣ２、Ｃ１はそれぞれ０．０２，０．０４となる。同様に、参照番号３２２１は、ポイント値が０．０６〜０．４６の間に入り、Ｂ１は０．２６となる。また、参照番号３２１１〜３２１３は、ポイント値が最大値１〜０．４６の間に入り、Ａ１は０．８６５、Ａ２は０．７３、Ａ３は０．５９５となる。
【０１４２】
図３３には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０１４３】
参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号５２０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５２０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【０１４４】
図示の例では、現在の認識単位のインデックス・リスト５２００は、平安神宮５２０２、神宮通り５２０３、京都５２０４からなる。これに対し、参照番号５２０７で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮５２１２、京都５２１４、竜宮城５２１８というリスト順位になる。
【０１４５】
図３４には、認識対象の変更によって変化したデータの様子を示している。
【０１４６】
図２６に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都からなるリストが記載され、また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」からなるリストが記載されている。
【０１４７】
これに対し、図３３に示したような認識単位インデックスの変更を行なった結果、認識種類「場所」のリスト５２１０内が、平安神宮５２１２、京都５２１４、竜宮城５２１８に変わっている。
【０１４８】
上述した実施形態では、被写体認識において、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体が占める面積すなわち建造物の床面積を用いてランキング・ポイント値を算出するものであった。実際には、建造物は平屋建て、数階建て、あるいは高層ビルの場合もあり、これに応じて（撮影空間ではなく）撮影画像内で占める割合も相違するので、単に床面積だけで撮影画像内での優先順位を推定するだけでは不十分なこともある。そこで、認識単位が持つ床面積だけではなく、その建造物が持つ表面積と併せてランキング・ポイント値を求めるという被写体の評価方法も考えられる。
【０１４９】
図３５には、図１２に示したような地図情報が３次元的に表現されている。但し、認識単位としての各建造物は、建造物を囲む最小限の立方体すなわちＢｏｕｎｄａｒｙＢｏｘ（境界立方体）の形で表されている。また、図３７には、このような地図上で、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影した画像を示している。
【０１５０】
図３６には、図３５に示した地図上に存在する認識単位インデックスの階層を指定する様子を示している。例えば図３５に示したような３次元地図表示上で、認識対象３２０をユーザが手付け入力したことに応答して、図３６に示す認識単位の階層指定ウィンドウがポップアップ表示され、該当する認識単位の上の階層に割り付けることができる。
【０１５１】
図３８には、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影したときの撮影空間を作成する様子を示している。また、図３９には、撮影空間内の認識単位に対するランキング・ポイント値を計算する様子を示している。
【０１５２】
カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置１１を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向３９１３で画角に相当する部分が撮影空間として抽出される。
【０１５３】
図３９には、カメラ１が図３７に示した画像を撮影したときの撮影空間３９１４を示している。撮影空間３９１４は、撮影状態に基づいて、ピント面３９１５と被写界深度によって算出される。この撮影空間には、例えば、二条通り３４１や、○○公園３１１、噴水３１２などの認識単位が含まれている。○○公園３１１と噴水３１２は同じ位置に重なり合っているが、インデックス階層の上にある噴水３１２のほうにより大きなポイントが与えられる。また、二条通り３４１や○○公園３１１が平面的であり、床面積しか持たないのに対し、噴水３１２は立体的であり、さらにＢｏｕｎｄａｒｙＢｏｘの表面積を考慮してランキング・ポイント値が計算される。
【０１５４】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と地図情報を照合し、撮影空間内の建造物などの認識単位を被写体として認識する。さらに、撮影空間内の認識単位についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【０１５５】
被写体すなわち写真に現れている認識単位に対するランキング・ポイント値の計算方法については、図２２を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【０１５６】
図４０には撮影領域を示している。 個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【０１５７】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図４１には、撮影空間における重み傾斜の様子を示している。 参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。
【０１５８】
図４２には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ４１）。次いで、被写体の位置を入力する（ステップＳ４２）。そして、カリングを行なった結果（ステップＳ４３）、カリングされた場合には０を返し（ステップＳ４５）、そうでない場合にはランキング・ポイント値が計算される（ステップＳ４６）。
【０１５９】
図４３には、図４２に示したフローチャート中のステップＳ４３に相当するカリング処理の詳細な手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ５１）。次いで、被写体の位置を入力し（ステップＳ５２）、対象物を含む最小半径の円を境界円として作成する（ステップＳ５３）。次いで、図４４で述べる距離条件を満たし（ステップＳ５４）、図４５で述べる角度条件１を満たし（ステップＳ５５）、図４６で述べる角度条件２を満たす（ステップＳ５６）場合、ＴＲＵＥを返し（ステップＳ５７）、そうでない場合にはＦＡＬＳＥを返す（ステップＳ５８）。
【０１６０】
図４４には、カリングの距離条件を判定する様子を示している。参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３２は撮影領域を、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、それぞれ示している。また、参照番号４４３７は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【０１６１】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号４４３７に示すベクトルの大きさが、参照番号４４３６で示されるピント距離を中心として、前方被写界深度４４３５と後方被写界深度４４３４の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６２】
【数３】
【０１６３】
図４５には、カリングの角度条件１を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２にカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３８はレンズ方向に向かって右にある画角限界ベクトルを示しており、 これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１６４】
下式には、カリングの角度条件１の判定を行なう式である。 図４５において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円半径分４４２２の余裕を持って入っていることが条件となる。
【０１６５】
【数４】
【０１６６】
図４６には、カリングの角度条件２を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。参照番号４４３８は、レンズ方向に向かって左にある画角限界ベクトルを示しており、これに直交するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付き距離を表すことになる。
【０１６７】
下式には、カリングの角度条件２の判定を行なう式を示している。図４６において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６８】
【数５】
【０１６９】
図４７には、被写体領域をセル分割する様子を示している。同図において、参照番号４７０３は被写体領域を示している。まず、被写体領域をｘ軸とｙ軸に沿って、最大値と最小値を求めることによって、境界長方形４７０１を求める。次いで、参照番号４７４１で示されるｘ軸方向の刻み幅ｄｘと、参照番号４７４２で示されるｙ軸方向刻み幅のｄｙを用いて、境界長方形４７０１をメッシュ４７２１に分解する。各メッシュ内の中心点４７２２が被写体領域４７０３に含まれているとき、ランキング・ポイント値の計算を行なう。参照番号４７３１はランキング・ポイント値の計算を行なうメッシュ・セルを示している。
【０１７０】
図４８には、被写体に対するランキング・ポイント値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体領域の積分を行なう。
【０１７１】
まず、ｘ軸とｙ軸に沿って最大値と最小値をとる頂点を求めることにより、被写体領域を覆う長方形を取得する（ステップＳ６１）。
【０１７２】
次いで、被写体領域面積Ｓと、ランク値Ｓｕｍを０で初期化し（ステップＳ６２）。ｘ軸方向変数ｘに先行ステップＳ６１で取得したｘ軸最小値Ｘ_ｍｉｎを代入する（ステップＳ６３）。また、ｙ軸方向変数ｙに先行ステップＳ６１で取得したｙ軸最小値Ｙ_ｍｉｎを代入する（ステップＳ６４）。
【０１７３】
次いで、現在注目しているメッシュ・セルの中心点Ｐが被写体領域内にあれば（ステップＳ６５）、 面積Ｓを１だけ増やし（ステップＳ６６）、ランキング・ポイント値Ｓｕｍにカメラ側から点Ｐを見たときのランキング・ポイント値を加える（ステップＳ６７）。
【０１７４】
次いで、ｙに刻み幅ｄｙを加える（ステップＳ６８）。そして、ｙがｙ軸最大値Ｙ_ｍａｘより小さければ（ステップＳ６９）、ステップＳ６５へ戻る。
【０１７５】
次いで、ｘに刻み幅ｄｘを加え（ステップＳ７０）、ｘがｘ軸最大値Ｘ_ｍａｘより小さければ（ステップＳ７１）、ステップＳ６５へ戻る。
【０１７６】
最後に、ｓｕｍをＳで割って規格化した後（ステップＳ７２）、これを出力して（ステップＳ７３）、本処理ルーチン全体を終了する。
【０１７７】
図４９には、被写体のある点に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラの誤差円部分の積分を行なう。
【０１７８】
まず、被写***置Ｏを入力する（ステップＳ８１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ８２）、半径変数ｒを０に初期化する（ステップＳ８３）。
【０１７９】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ８４）、角度変数θを０に初期化する（ステップＳ８５)。
【０１８０】
次いで、カメラ誤差円内の点座標Ｐを求め（ステップＳ８６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ８７）。
【０１８１】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ８８）、θが２πを越えなければ（ステップＳ８９）、ステップＳ８６へ移動する。
【０１８２】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ９０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ９１）、ステップＳ８４へ移動する。
【０１８３】
そして、誤差半径面積Ｓを計算し（ステップＳ９２）、ｓｕｍをＳで規格化して出力し（ステップＳ９３）、本処理ルーチン全体を終了する。
【０１８４】
図５０には、距離条件を判定する様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１８５】
下式には、距離条件の判定を行なう式を示している。ベクトル４４３７の長さが、ピント距離４４３６を中心として、前方被写界深度４４３５と後方被写界深度４４３４の範囲内に含まれていることを条件とする。
【０１８６】
【数６】
【０１８７】
図５１には、角度条件を判定する様子を示している。 同図において、参照番号４４３１は北からのレンズ方向までの角度を、参照番号４４３２は画角を、参照番号４４３８はレンズ方向ベクトルを、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。また、参照番号４４３９は、このベクトル４４３７とレンズ方向ベクトル４４３８のなす角度を示している。
【０１８８】
下式には、角度条件の判定を行なう式を示している。図５１で求めた角度４４３９が画角４４３３未満となることを条件とする。
【０１８９】
【数７】
【０１９０】
図５２には、前後方被写界を分ける様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２−１は前方被写界深度内撮影空間を、 参照番号４４３２−２は後方被写界深度内撮影空間を、それぞれ示している。 また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１９１】
下式により前後方被写界におけるランク値を計算する。 図５２に示すように、被写体が前方被写界深度内撮影空間内４４３２−１にあるときと、後方被写界深度内撮影空間内４４３２−２にあるときでその計算式が異なっている。
【０１９２】
【数８】
【０１９３】
Ｂ．移動体からなる被写体の認識
上述した実施形態では、撮影画像中の認識対象は、建造物など地図上での位置が静的・固定的であり、基本的には撮影空間と地図上の各認識対象の位置との照合により被写体認識を行なうものである。この場合、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。そこで、以下では、移動体が被写体として含まれる写真画像において、写真と被写体とを結合させることによって写真の管理を行なう画像管理システムについて説明する。
【０１９４】
図５３には、図２に示した画像管理システムにおいて、人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【０１９５】
撮影装置５３３１は、撮影時に装置５３３１内で取得される撮影情報をセンター５３３３へ転送する。また、被写体５３３２としての人は、ＧＰＳなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター５３３３へ転送する。この後、センター５３３３では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【０１９６】
撮影側の装置５３３１は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。この撮影側装置５３３１の内部構成を図５４に示している。
【０１９７】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１９８】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１９９】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【０２００】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２０１】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、方向測定部４０４は、固定値である方向誤差を出力する。
【０２０２】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【０２０３】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【０２０４】
出力部４０７は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０２０５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２０６】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０２０７】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２０８】
図５４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【０２０９】
勿論、被写体となる人物も、自ら写真撮影を行なう場合には、図５４に示した機器構成の装置を携帯して、自身の移動ログを取得してもよい。あるいは、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持する。この場合の移動ログ記録装置の外観構成を図５５に、その内部構成を図５６に示している。
【０２１０】
図５５に示すように、移動ログ記録装置は、携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１を備えている。
【０２１１】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能を実現するための各プログラムを実行することによって、この移動ログ記録装置の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０２１２】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１３は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０２１３】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２１４】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ４３４に記録する。
【０２１５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２１６】
図示の機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２１７】
図５７には、図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示している。このサーバ５３３３は、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【０２１８】
同図に示すサーバ５３３３は、図５に示したサーバ構成に対し、さらに端末位置情報蓄積部５２１と、ＩＤ公開情報蓄積部５２２を備えている。
【０２１９】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【０２２０】
本実施形態では、図５３や図５５に示した機器を携帯する人々から得られる被写***置情報を利用して、これら移動体の位置と撮影空間とを照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写***置情報の利用を、各機器ユーザが許可していることが前提となる。図５８には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【０２２１】
まず、撮影側の機器５３３１が、センター・サーバ５３３３に対して名簿登録申請を行なう（Ｔ９１１）。次いで、センター・サーバ５３３３が、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２２】
被写体側の機器５３３２から許可が返ってきたら（Ｔ９３１）、センター・サーバ５３３３は、ＩＤ公開情報を更新し、名簿登録変更通知を撮影側の機器５３３１へ送る（Ｔ９１４）。
【０２２３】
また、図５９には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２２４】
撮影側の機器５３３１がセンター・サーバ５３３３に対して名簿登録申請を行ない（Ｔ９１１）、センター・サーバ５３３３は、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２５】
これに対し、被写体側の機器５３３２から拒否が返ってきたら（Ｔ９３２）、センター・サーバ５３３３は、名簿登録拒否通知を撮影側の機器５３３１へ送る（Ｔ９１３）。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体認識の処理対象外となる。
【０２２６】
図６０には、撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイント値を付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイント値に基づいたユーザの編集操作を行なうための処理手順を示している。
【０２２７】
まず、撮影側機器５３３１において撮影した後（Ｔ１１１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ５３３３側へ送信する（Ｔ１１１２）。
【０２２８】
センター・サーバ５３３３側では、ＩＤ公開情報５２２から被写体となり得る対象者リストを取得する（Ｔ１１２１）。このとき、ＩＤ公開情報５２２への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ５３３３は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（Ｔ１１２２）。
【０２２９】
撮影範囲内に名簿登録された（すなわち位置取得を許可した）被写体側機器がいた場合、センター・サーバ５３３３は、これら各機器５３３２に対して、位置確認を行なう（Ｔ１１２３）。そして、各機器５３３２から位置報告を受け（Ｔ１１３１）、撮影空間に入っているものを抽出して、被写体リストを作成する（Ｔ１１２４）。
【０２３０】
この後、センター・サーバ５３３３は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する（Ｔ１１２５）。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【０２３１】
そして、センター・サーバ５３３３は、作成した被写体リストとリスト順位を、撮影側機器５３３１に返信する（Ｔ１１２６）。
【０２３２】
撮影側機器５３３１では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ１１１３）。
【０２３３】
本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる（同上）。
【０２３４】
図６１には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０２３５】
図示の地図上には、被写体としての人２１〜２６が散在している。各被写体は、図５３又は図５５に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ５３３３から位置情報を取得することができる。同図では、撮影側の機器１が２人の被写体２５、２６を撮影したところを示している。
【０２３６】
図６２には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ１は、機器ユーザ２２，２５，２６から被写体としての認証を得ており、センター・サーバ５３３３では機器ユーザ１からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ２５は、機器ユーザ１、２６から被写体としての認証を得ており、機器ユーザ２６は、機器ユーザ１、２４から被写体としての認証を得ている。
【０２３７】
図６３には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号５０は、図６１に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器２４が当該セルに含まれていることが判る。図６３に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【０２３８】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図６３に示したようなセル内認識対象早見表を利用する。
【０２３９】
図６４には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０２４０】
次いで、選択されたセルに含まれる認識対象を取得する。図６５には、図６２に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図６６には、図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【０２４１】
まず、図６５に示すように、被写体リストから、機器１を認証している被写体が機器２２、２５、２６であることを検知し、これらの機器の位置情報を取得する。
【０２４２】
次いで、図６６に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器１、機器２５、機器２６が選択されたセルに含まれるものとして取得される。
【０２４３】
次いで、認識された各認識対象についての評価値としてのランキング・ポイント値を計算する。本実施形態では、被写体としての人（又はその他の移動体）が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写***置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０２４４】
図６７には、撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する様子を示している。
【０２４５】
カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている（前述）。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図６７に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号２２０２で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【０２４６】
ここで、カメラ１が、参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０２４７】
また、図６７には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。
【０２４８】
この撮影空間２２１４内にある認識対象は、位置測定により得られた被写***置２２０２を中心とした誤差範囲２２２１を持ち、これを参照番号２２２２で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル２２２２は、測定値２２０２からの距離２２２２−３に応じた重み付けがなされ、さらに中心角２２２２−１とピント面からの距離２２２２２−４に応じた重み付けがなされている。
【０２４９】
認識単位ｐについてのランキング・ポイントｒ_ｐの計算式を以下に示している。
【０２５０】
【数９】
【０２５１】
但し、Ａ_ｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃ_ｉはカメラ位置の重み、Ｄ_ｊはレンズ方向の重み、Ｏ_ｋｓは被写体の確からしさをそれぞれ表している。これら重みＡ_ｉｊ、Ｃ_ｉ、Ｄ_ｊ、Ｏ_ｋｓはそれぞれ値が規格化されているものとする。
【０２５２】
図６８には、撮影画像の中から人物に関する認識対象インデックスが取得された様子を示している。図２５に示した認識対象点デックスに対し、認識種類として人物５１０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０２５３】
図６９には、人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示している。同図に示す例では、図２６に示したデータ・フォーマットに対し、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０が追加され、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２とともにタグ情報５１１、５１２として記載されている。
【０２５４】
本実施形態に係る画像管理システムによれば、撮影画像に含まれる被写体の認識、並びに被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示され、これに基づいて写真の管理を好適に行なうことができる。
【０２５５】
人物などの移動体も被写体として認識する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。
【０２５６】
図７０には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０２５７】
参照番号５１０１は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号５１０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５１０６は該当する認識単位のリスト順位を一つずつ下げるボタンを、それぞれ示している。
【０２５８】
図示の例では、現在の認識単位のインデックス・リスト５１００は、なっち５１０２、ひかり５１０３からなる。これに対し、参照番号５１０７で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち５１１２、なおみ５２１８というリスト順位になる。
【０２５９】
図７１には、認識対象の変更によって変化したデータの様子を示している。
【０２６０】
図６９に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。これに対し、図７０に示したような認識単位インデックスの変更を行なった結果、図７１に示すように、認識種類「人物」のリスト５１１０内が、なっち５１１２、なおみ５１１８に変わっている。
【０２６１】
本実施形態では、被写体から得られた位置情報とカメラ位置などの撮影状態から得られた撮影空間との照合により、撮影画像中の被写体の認識を行なう。図７２には、被写体とカメラ間における位置関係を移動ログから取得する様子を示している。
【０２６２】
参照番号３１０１は撮影側の機器の移動ログを示している。また、参照番号３１１１は、この移動ログ３１０１上で写真撮影が行なわれた地点であり、そのときの時刻３１１３は１２時３５分である。
【０２６３】
一方、被写***置は被写体が携帯していた移動ログ記録装置の移動ログ３０３４から取り出される。参照番号３１２１は、撮影位置３１１１にて撮影側装置で写真撮影が行なわれたときの被写***置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間３１１３に対応するように、サンプリング値から逆算して求める。
【０２６４】
撮影位置３１１１と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間３１１２が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写***置３１２１が求められる。そして、撮影空間３１１２と被写***置３１２１とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができ、図６７を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【０２６５】
図７３には、本実施形態における、人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順をフローチャートの形式で示している。
【０２６６】
まず、撮影データをキューに入れる（ステップＳ１０１）。そして、このキューから１つずつ撮影データを取り出す（ステップＳ１０２）。このとき、未処理データがなくなれば（ステップＳ１０３）、本処理ルーチン全体を終了する。
【０２６７】
次いで、登録メンバー表から１人分の移動ログを取り出す（ステップＳ１０４）。ここで、未処理メンバーがいなくった時点で（ステップＳ１０５）、ステップＳ１０２に戻り、次のキューを取り出す。
【０２６８】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする（ステップＳ１０７）。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し（ステップＳ１０８）、そのメンバーＩＤとランキング・ポイント値を保存する（ステップＳ１０９）。
【０２６９】
その後、ステップＳ１４に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【０２７０】
Ｃ．地図情報の追加
本発明では、被写体の撮影状態から算出される撮影空間と地図情報との照合により、撮影空間に含まれる建造物などを被写体として認識し、写真の認識対象リストに登録していく。
【０２７１】
ここで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。
【０２７２】
そこで、本実施形態では、認識インデックスを追加していく地図追加情報をさらに用意し、地図追加情報の利用を許可し合ったユーザ・グループ内では、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２７３】
本実施形態によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図７４には、本実施形態に係る写真画像の管理方法の仕組みを図解している。
【０２７４】
図示の例では、地図３上のあるカメラ位置１１にて建造物３１に向かって撮影を行ない、参照番号４１で示される写真が撮影されている。また、地図３上の別のカメラ位置１２にて建造物３１に向かって撮影を行ない、参照番号４２で示される写真が撮影されている。そして、写真４１、４２について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【０２７５】
ここで、写真４１を撮影したユーザが、認識対象リスト中の被写体３１に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体３１を「竜宮城」として記述するとともに、既に被写体３１を撮影した別の写真４２に付いた認識対象リスト上にも被写体３１の認識インデックスを併せて更新する。
【０２７６】
本実施形態では、撮影装置は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。また、この撮影装置の内部構成は図５４に示したものと同様である。
【０２７７】
図７５には、各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの内部構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、さらには被写体側ユーザの機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物や移動体の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【０２７８】
同図に示すサーバは、図５７に示したサーバ構成に対し、さらに地図追加情報格納部５２３を備えている。この地図追加情報格納部５２３は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【０２７９】
本実施形態では、ユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２８０】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図７６には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【０２８１】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８２】
他のユーザの機器５３３２から地図利用の許可が返ってきたら（Ｔ５３１）、センター・サーバ５３３３は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器５３３１へ送る（Ｔ５１４）。
【０２８３】
また、図７７には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２８４】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８５】
これに対し、他のユーザの機器５３３２から地図利用に対する拒否が返ってきたら（Ｔ５３２）、センター・サーバ５３３３は、地図利用登録拒否通知を要求元ユーザの機器５３３１へ送る（Ｔ５１３）。
【０２８６】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【０２８７】
ユーザ間で新規の認識インデックスに関する地図情報を共有する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。また、図２９や図７０を参照しながら説明した場合と同様、上下ボタンの操作により認識対象インデックスを変更することができる。
【０２８８】
図７８には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【０２８９】
まず、撮影側の機器５３３１において、ＧＵＩ操作により、撮影した写真に対して新しい認識インデックスの追加を行ない（Ｔ９１１）、これを当該写真の撮影状態とともにセンター・サーバ５３３３へ送信して、地図追加情報への登録申請を行なう（Ｔ９１２）。
【０２９０】
センター・サーバ５３３３側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し（Ｔ９２１）、認識単位として地図追加情報５２３に追加登録する（Ｔ９２２）。そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後（Ｔ９２３）、認識インデックスの追加を行なった機器５３３１にＡＣＣを返す（Ｔ９２４）。
【０２９１】
次いで、機器５３３１側では、他の写真についても、各々の撮影状態をセンター・サーバ５３３３へ送り（Ｔ９１３）、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。
【０２９２】
センター・サーバ５３３３では、これらの写真について被写体認識処理を改めて行ない（Ｔ９２５）、各写真毎の認識された被写体についてのランキング・ポイント値を機器５３３１へ返す（Ｔ９２６）。
【０２９３】
そして、機器５３３１側では、追加された認識インデックスのポイント値が０より大きくなる場合（Ｔ９１４）、その写真の認識インデックスに新規の認識インデックスを追加登録する（Ｔ９１５）。
【０２９４】
なお、Ｔ９２３において通知を受けた登録ユーザの機器側では、Ｔ９１３〜Ｔ９１５の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【０２９５】
図７９には、図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【０２９６】
まず、Ｔ１２で機器３１側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する（ステップＳ１１１）。
【０２９７】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する（ステップＳ１１２）。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【０２９８】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する（ステップＳ１１３）。本実施形態では、重なっている数で等分している。
【０２９９】
そして、地図追加情報データベース４２３へ認識対象インデックスを追加登録して（ステップＳ１１４）、本処理ルーチン全体を終了する。
【０３００】
図４０を参照しながら既に説明したように、個々の写真データにおける撮影空間４００２は、カメラ１の撮影位置、レンズ方向４００１、画角４００３、ピント距離４０２２、焦点距離情報、絞り値からなる撮影状態のパラメータ値を用いて計算され、ピント面を構成する円弧４０１２、４０２２、４０３２と、前方被写界深度４０１３、４０２３、４０３３と、後方被写界深度４０１１、４０２１、４０３１で表される。
【０３０１】
また、図４１を参照しながら説明したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。すなわち、撮影空間は、カメラ方向並びにピント面の左右方向における重み傾斜を持ち、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で（後述）、撮影空間の積分が１になるように規格化しておく。
【０３０２】
図８０には、異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示している。同図に示す例では、２つの撮影領域１３２１、１３２２が参照番号１３２３で示した領域で交差している。
【０３０３】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う（同上）。
【０３０４】
図８１には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【０３０５】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には（ステップＳ１２１）、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【０３０６】
まず、追加領域を１つ取り出す（ステップＳ１２２）。追加領域がない場合（ステップＳ１２３）、セル内のポイント値を１に規格化し（ステップＳ１２４）、セル情報として書き込み、次のセルの処理を行なう。
【０３０７】
追加情報がある場合（ステップＳ１２３）、セルにインデックスを加え（ステップＳ１２６）、ステップＳ１２２に戻る。
【０３０８】
Ｄ．写真アルバムの自動作成
前項Ａでは、本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができることを説明した。
【０３０９】
また、前項Ｂでは、人物などの移動体からなる被写体にも移動ログを取得する装置を携帯させ、撮影時点での位置情報を得ることにより、撮影空間との照合が可能となり、地図上にある建造物などの静物と同様に移動体も被写体認識の対象とすることができることを説明した。
【０３１０】
また、前項Ｃでは、地図情報に既存の認識対象を利用するだけでなく、ユーザが新たな認識対象を地図情報に追加し、同じユーザが過去に撮った写真や、他のユーザが撮った写真、これ以後に撮る写真に対しても新たな認識対象を作用させることができることを説明した。
【０３１１】
そして、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、これら被写体の面積あるいは撮影空間に存在する確度を用いて各被写体のランキング・ポイント値を計算し、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。ユーザは、優先順位が付された認識インデックスのリストを参照することにより、写真画像の管理を効率的に行なうことができる。
【０３１２】
本項では、ランキング付き被写体情報が付加されている複数の写真に対して、被写体の種類に応じてグループ化を行ない、また、ランキング・ポイント値を用いて写真の取捨選択を行なうことで、アルバムを自動生成する方法について説明する。
【０３１３】
図８２には、アルバムの自動生成処理の手順をフローチャートの形式で示している。
【０３１４】
まず、写真を入力し（ステップＳ１３１）、これらに被写体情報を付加する（ステップＳ１３２）。被写体情報を付加する処理については、前項Ａ〜Ｃにおいて既に記載しているので、ここでは説明を省略する。また、旅程付きの旅行写真の場合、写真に付いている時間と旅程に基づいて、各写真に対して旅程項目を被写体項目として付加することができる。
【０３１５】
次いで、ユーザが認識種類（人物、建物・場所、イベント、旅程など）の中から所望のカテゴリを選択し、指定されたカテゴリに対するグルーピングを行なう（ステップＳ１３３）。そして、グループ間で順序を決める。（ステップＳ１３４）。この順序決めとしては、グループ内に登録されている写真撮影時間の平均値を比較し、若いものから順番に配置する方法や、グループ内に登録されている写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１６】
次いで、グループ内で順序を決める（ステップＳ１３５）。この順序決定方法として、各々の写真撮影時間の若いものから順番に配置する方法や、個々の写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１７】
そして、最後に写真をグループ毎に配置して、アルバムを作成・出力する（ステップＳ１３６）。
【０３１８】
図８３には、写真ファイル内に記述されている情報構造を図解している。ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットなどでは、写真ファイル８３０１に対して、イメージ・フィールド８３１１と、Ｅｘｉｆと呼ばれる情報フィールドが設けられている。また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットでも、イメージ・データ部分８３１１と、メタデータ記述部分が設けられている。
【０３１９】
図示の例では、イメージ・ファイル内に存在する情報フィールドに対して、図８４に示すようなカテゴリ要素を記述するためのタグ構造を導入して、人物８３１２−１、建物・場所８３１２−２、イベント８３１２−３、旅程８３１２−４などのカテゴリを記述している。
【０３２０】
図８４には、イメージ・ファイル内の情報フィールドに記述する情報を示している。この情報は、カテゴリ・タグ８４００によって囲まれている。また、人物８４１１〜８４１３、建物・場所８４２２、イベント８４２３、旅程８４２４のカテゴリを記述するためのタグがそれぞれ用意され、各タグにはランキング・ポイント値を記述することができる。
【０３２１】
図８５には、グルーピング処理の手順をフローチャートの形式で示している。
【０３２２】
まず、所定の閾値以上となるキーを持つ写真を取得する（ステップＳ１４１）。次いで、出現したキーワード名をグループ名としてリストに保存する（ステップＳ１４２）。このとき、既に取得したカテゴリ名と重複するものについては、登録を行なわない（ステップＳ１４３）。
【０３２３】
そして、リスト内に登録したグループ毎に写真の振り分けを行なう（ステップＳ１４４）。なお、本実施形態では、複数のグループに属する写真がある場合、各々のキーワード・ランキングの大きさを比較し、この値が大きい方のキーワード・グループへ登録する。
【０３２４】
図８６には、カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８６０１に示すフィールドには、旅程情報８６１１〜８６１３が記載される。また、参照番号８６０２に示すフィールドには、写真イメージ８６２１と、写真に付けたコメント８６２２が記載される。なお、各々の写真はグループ単位でまとめられて出力される。
【０３２５】
また、図８７には、カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８７０１で示すフィールドには、人物情報８７１１〜８７１３が記載される。また、参照番号８７０２で示すフィールドには、写真イメージ８７２１と、写真に付けたコメント８７２２が記載される。なお、各々の写真は、グループ単位でまとめられて出力される。
【０３２６】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０３２７】
【発明の効果】
以上詳記したように、本発明によれば、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２８】
また、本発明によれば、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２９】
また、本発明によれば、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３３０】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差は場に応じて重み付けされた領域に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０３３１】
また、本発明によれば、複数のカテゴリがある被写体情報が付加されている写真の集合に対して、ユーザが指定したカテゴリ内の認識結果に対して、被写体のランキング値を用いてグルーピングを行ない、グループ毎に写真を配置するといったアルバムの自動生成を実現することができる。また、グループ単位の表示順位や、グループ内での写真表示順位など、被写体認識の評価値を用いて決定することができる。したがって、写真グルーピングを行なうことによって、整理されたアルバムを自動生成することができる。
【図面の簡単な説明】
【図１】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図２】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図３】撮影装置１０１に相当する機器の外観構成を示した図である。
【図４】撮影装置１０１の内部構成を示した図である。
【図５】各ユーザが所持する携帯電話機と通信を行なう画像管理サーバの構成を模式的に示した図である。
【図６】携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図７】携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を説明するための図である。
【図８】写真撮影時に取得される撮影状態を記録するデータ・フォーマットの構成例を示した図である。
【図９】方向取得部４０４から取得されるカメラのレンズ方向の表現方法の一例を示した図である。
【図１０】サーバにおいて蓄積される地図情報を編集するための処理手順を示したフローチャートである。
【図１１】図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示した図である。
【図１２】地図上に認識単位の領域を設定する方法を説明するための図である。
【図１３】認識単位の分類を指定する様子を示した図である。
【図１４】認識インデックスの階層を指定する様子を示した図である。
【図１５】編集用の地図情報のデータ・フォーマットの構成例を示した図である。
【図１６】階層化されている認識インデックスの重み付けを調整する様子を示した図である。
【図１７】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図１８】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【図１９】セル内に存在する認識単位を登録している様子を示した図である。
【図２０】撮影空間を含むセルを選択する様子を示した図である。
【図２１】セル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示した図である。
【図２２】撮影空間内の認識単位に対するランキング・ポイントを計算する処理手順を説明するための図である。
【図２３】イベントを記載するデータ・フォーマットの構成例を示した図である。
【図２４】イベントとそのランキング・ポイントを計算するための処理手順を示したフローチャートである。
【図２５】撮影画像の中から認識単位インデックスが取得された様子を示した図である。
【図２６】認識単位インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図２７】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図２８】コマンド設定画面の構成例を示した図である。
【図２９】ポイント調整により認識インデックスを変更する様子を示した図である。
【図３０】認識単位インデックスを変更するための処理手順を示したフローチャートである。
【図３１】認識単位インデックスを挿入する様子を示した図である。
【図３２】認識単位インデックスを挿入した結果を示した図である。
【図３３】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図３４】認識対象の変更によって変化したデータの様子を示した図である。
【図３５】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３６】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３７】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３８】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３９】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図４０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４３】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４４】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４７】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４８】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４９】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５３】人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図５４】撮影側装置５３３１の内部構成を示した図である。
【図５５】移動ログ記録装置の外観構成を示した図である。
【図５６】移動ログ記録装置の内部構成を示した図である。
【図５７】図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示した図である。
【図５８】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図５９】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図６０】撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイントを付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図６１】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図６２】機器が認証を受けている被写体リストの構成例を示した図である。
【図６３】セル内に存在する認識対象を登録している様子を示した図である。
【図６４】撮影空間を含むセルを選択する様子を示した図である。
【図６５】図６２に示した各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図６６】図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図６７】撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する方法を説明するための図である。
【図６８】撮影画像の中から人物に関する認識対象インデックスが取得された様子を示した図である。
【図６９】人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図７０】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図７１】認識対象の変更によって変化したデータの様子を示した図である。
【図７２】被写体とカメラとの位置関係を移動ログから取得する様子を示した図である。
【図７３】人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順を示したフローチャートである。
【図７４】新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される写真画像の管理方法の仕組みを説明するための図である。
【図７５】各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図７６】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図７７】あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図７８】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図７９】図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図８０】異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示した図である。
【図８１】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図８２】アルバムの自動生成処理の手順を示したフローチャートである。
【図８３】写真ファイル内に記述されている情報構造を示した図である。
【図８４】イメージ・ファイル内の情報フィールドに記述する情報を示した図である。
【図８５】グルーピング処理の手順を示したフローチャートである。
【図８６】カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【図８７】カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【符号の説明】
１０１…撮像装置
１０２…撮影状態取得部
１０３…被写体認識部
１０４…ランキング・ポイント付与部
１０５…画像保存部
１０６…画像検索／編集部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image management system and image management method for managing a large number of photographic images, and a computer program, and more particularly to an image management system and image management method for managing photographic images including one or more subjects, and a computer.・ Regarding the program.
[0002]
More particularly, the present invention relates to an image management system, an image management method, and a computer program that recognize a subject in a photographed photograph and facilitates the management of the photograph by combining the photograph and the subject. More particularly, the present invention relates to an image management system, an image management method, and a computer program for performing prioritized object recognition by prioritizing among a plurality of photographing objects.
[0003]
[Prior art]
In recent years, devices such as digital cameras that output and reproduce captured images as digital contents have become widespread. This type of photograph is stored on a magnetic tape, magnetic disk, semiconductor memory or the like. Coupled with the simplicity of device operation and the output of photos, the number of photos can be enormous because it can be taken easily. In such a case, a suitable photo management method is important from the viewpoint of effective use of contents.
[0004]
For example, a technique is adopted in which predetermined meta information is added to an image, and images are managed and searched based on the meta information. In this case, events and other situations at the time of taking a photographic image, information and impressions related to shooting and episodes and subjects, etc., or these keywords are managed as meta information together with the image. However, if the meta information is relied on the user's manual input, the work load is excessive and cumbersome.
[0005]
In addition, several methods have been proposed in which a shooting time, a shooting location detected using a GPS (Global Positioning System), or the like is automatically added to the image main body as meta information.
[0006]
Here, the present inventors think that a photo search can be facilitated by combining what is in the photo (subject) with the taken photo.
[0007]
For example, the camera position and direction can be measured, and the recognition index described on the map information can be recognized as a subject. However, in order to perform subject recognition, it is necessary to measure the position and measurement very accurately. The map information prepared in advance does not correspond to what the photographer wants to recognize.
[0008]
  In addition, an image recording apparatus that obtains additional information about a shooting location and a shooting target and improves operability has been proposed (for example, a special feature).No. 2000-13722checking). According to this image recording apparatus, when a plurality of photographing target candidates are extracted, a priority order is assigned in the descending order of accuracy, and estimation is performed. However, priorities are determined based on the distance from the center of the estimated range provided in the photographed image when determining the accuracy of the photographing target candidate, so no matter how large an object (for example, a huge image) appears in the photographed image. Even buildings, etc.) will not be evaluated if they are off the center of the estimated range. In addition, although a high accuracy is given to a subject to be photographed that matches the focal direction, no consideration is given to the depth of field.
[0009]
On the other hand, it is common practice to edit and save the obtained photographic images as an album. Conventional album creation systems include a method that sorts photos in order of shooting time, and a method that arranges photos on a map by comparing them with the time taken or the time in the GPS log. In addition, when some subject information is added to the photo, a photo search is performed using the additional information.
[0010]
However, when subject information is added to individual photos by some method, there is no method for creating a photo album using this information.
[0011]
Although it is technically possible to apply a search method for subject information attached to a photo to display the photos side by side, the evaluation axis is one axis, and each subject is You cannot group and edit an album.
[0012]
[Problems to be solved by the invention]
An object of the present invention is to provide an excellent image management system, an image management method, and a computer program capable of facilitating photo management by combining a photographed photo and a subject in the photo. There is.
[0013]
A further object of the present invention is to provide an excellent image management system, image management method, and computer program capable of prioritizing a plurality of photographing objects and performing practical subject recognition.
[0014]
A further object of the present invention is to provide excellent image management capable of suitably managing, grouping, and other editing processing of a large number of captured images based on subject information or other additional information attached to each captured image. A system, an image management method, and a computer program are provided.
[0015]
[Means and Actions for Solving the Problems]
The present invention has been made in consideration of the above problems, and a first aspect of the present invention is an image management system that manages an image in combination with a subject included in a captured image.
Shooting state acquisition means for acquiring a shooting state at the time of image shooting;
Photographing space estimation means for calculating a photographing space to be photographed in the photographed image based on the photographing state;
Subject recognition means for recognizing an object existing in the photographing space on the map as a subject, by comparing the photographing space calculated by the photographing space estimation means with predetermined map information;
Subject evaluation value calculating means for calculating an evaluation value according to the situation in the captured image of each recognized subject;
An image management system comprising:
[0016]
However, “system” here refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter whether or not.
[0017]
According to the present invention, a subject included in each image is efficiently searched and other image management is performed in accordance with the priority order based on the evaluation value.
[0018]
According to the present invention, in subject recognition of a photographic image, a shooting space consisting of a focus plane and a depth of field is calculated based on a shooting state including a camera position, a lens direction, a focal length, a field angle, and an aperture value at the time of shooting. Then, the imaging space can be compared with predetermined map information, and an object existing in the imaging space on the map can be recognized as a subject.
[0019]
Further, the shooting space estimation means calculates a shooting space consisting of the focus plane and the depth of field based on the indication values of these shooting states, the distance from the focus plane of the shooting space, the distance from the central axis, the camera position Each of the multiple recognition units using the subject area as the recognition unit described in the map information for the shooting space weighted according to the measured value and error radius, direction measurement value and error width Can be prioritized. Thus, the list order of the recognition unit set can be determined and used for photo search and other photo management / editing.
[0020]
The subject evaluation value calculating means may calculate the evaluation value by giving a weight based on the photographing position error and the line-of-sight direction error to the ratio of the subject in the photographing space.
[0021]
For example, in situations where the measurement accuracy is not sufficiently high, a large number of recognition candidates are acquired according to the accuracy of the information, and the list ranking is changed or items are deleted by presenting them to the user in a ranked form. At the time of editing, the user is less burdensome than the labor of adding items by manual input.
[0022]
The image management system according to the present invention also includes an event table storage unit that stores an event table prepared for each subject, an event that acquires an event as a subject by comparing the shooting time of the image with the event table. You may further provide an acquisition means.
[0023]
The map information used for subject recognition is configured by arranging recognition units consisting of buildings and other objects on a map, and a recognition index is assigned to each recognition unit. The subject recognition means returns a list of recognition indexes of recognition units recognized as subjects in the shooting space as a recognition result.
[0024]
In this map information, each recognition unit has an area on the map, and a plurality of recognition units can be defined by overlapping in position. The recognition units are hierarchized, and ranking recognition can be adjusted among a plurality of recognition units by giving larger weights to the recognition units that are overlapped with each other. In addition, when recognition units that overlap in position are assigned to the same layer, the recognition index value of each recognition unit is divided by the number of overlaps so as to be equalized.
[0025]
A plurality of categories may be prepared for the recognition unit. The subject recognition means may return a list of recognition indexes obtained by classifying recognition units recognized as subjects in the shooting space as a recognition result.
[0026]
In such a case, captured images can be grouped for each category, and an album can be generated for each image group.
[0027]
For example, albums for each image group are sequentially generated according to the order between groups determined by a predetermined procedure. The inter-group ranking mentioned here is determined based on, for example, the average shooting time or the total of evaluation values of the shot images included in each image group.
[0028]
Further, the photographed images in the image group are selected according to the order in the group determined by a predetermined procedure, and an album of the image group is generated. The intra-group order here is determined based on, for example, the photographing time or the evaluation value of each photographed image in the image group.
[0029]
According to a second aspect of the present invention, there is provided a computer program written in a computer-readable format so that processing for managing an image by combining with a subject included in a photographed image is executed on the computer system. There,
A shooting state acquisition step for acquiring a shooting state at the time of image shooting;
A shooting space estimation step of calculating a shooting space to be shot in the shot image based on the shooting state;
A subject recognition step of collating the shooting space calculated in the shooting space estimation step with predetermined map information and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculating step for calculating an evaluation value according to the situation in the captured image of each recognized subject;
A computer program characterized by comprising:
[0030]
The computer program according to the second aspect of the present invention defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer system. In other words, by installing the computer program according to the second aspect of the present invention in the computer system, a cooperative action is exhibited on the computer system, and the image management according to the first aspect of the present invention. The same effect as the system can be obtained.
[0031]
Other objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the present invention described later and the accompanying drawings.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0033]
A. Photo object recognition
FIG. 1 shows how a subject is recognized using the camera position, lens direction, and map information. In the figure, reference numeral 1 is a camera used for photographing, and a subject 31 is photographed in the illustrated example. Reference numeral 3 indicates a state where the camera position and the subject 31 are mapped on the map. Reference numeral 4 indicates a photograph of a landscape including the subject 31 at the illustrated camera position and lens direction.
[0034]
FIG. 2 schematically shows the system configuration of the image management system according to the embodiment of the present invention. The illustrated image management system manages photographs by combining the photographed photograph with the subject in the photograph.
[0035]
First, photographing is performed by the photographing apparatus 101 such as a digital camera. The shooting state acquisition unit 102 acquires the shooting state at this time at the same time. The shooting state referred to here includes the camera position, lens direction, focal length, angle of view, aperture value, etc. at the time of shooting.
[0036]
The subject recognizing unit 103 recognizes a subject appearing in the photographed image using the photographing state. More specifically, a shooting space consisting of the focus plane and the depth of field is calculated based on each indication value of the shooting state, the shooting space is compared with predetermined map information, and exists on the map in the shooting space. The object to be recognized is recognized as the subject.
[0037]
The ranking point assigning unit 104 calculates an evaluation value, that is, a ranking point, according to the estimated situation in the captured image of the subject. The ranking points referred to here are calculated based on, for example, the proportion of the subject in the shooting space, and can be given a weight based on the shooting position error and the line-of-sight direction error (described later).
[0038]
The image storage unit 105 stores the captured image and the index of the subject included in the captured image in association with each other. The image search / edit unit 106 determines the list order of the recognition index set, and supports image search and editing operations by user operations.
[0039]
FIG. 3 shows an external configuration of a device corresponding to the photographing apparatus 101 in the image management system described above. The illustrated device is, for example, a mobile phone with a camera function, and includes a main body including a user operation unit such as a button and a lid that is pivotally supported at a substantially rear edge of the main body. ing. A mobile phone communication antenna 112 and a GPS signal receiving antenna 121 are disposed at the tip of the lid, and a display device including a liquid crystal panel is incorporated on the front side 12 thereof. A camera / lens 111 is disposed on the back surface 11 of the lid, and an image capture process is activated by pressing a button 1241 assigned to the shutter function on the top surface of the main body, and a subject through the lens 111 is photographed. Is done.
[0040]
FIG. 4 shows an internal configuration of the photographing apparatus 101 shown in FIG.
[0041]
A CPU (Central Processing Unit) 415 executes each program for realizing a mobile phone function and a camera function under the control of the operating system, whereby the operation of the photographing apparatus 101 is comprehensively controlled. The CPU 415 is mutually connected to each unit via a bus 417.
[0042]
A RAM (Random Access Memory) 413 is configured by a readable / writable semiconductor memory, for loading an execution program code of the CPU 415 and temporarily storing work data when the mobile phone function or the camera function is activated. Used for. A ROM (Read Only Memory) 413 is configured by a read-only semiconductor memory, and permanently stores information written at the time of factory shipment, such as an execution program code of the CPU 415 and manufacturing information.
[0043]
The input unit 408 includes buttons that can be operated by the user, and is used for inputting a telephone number and other data. One of the operation buttons is assigned to the shutter 409 when the camera function is activated.
[0044]
The communication unit 401 performs communication processing with a base station on the mobile phone network.
[0045]
The position measurement unit 403 measures the current position of the device based on the GPS signal received by the antenna 121. The direction acquisition unit 404 includes a digital magnetic compass or the like, and acquires the orientation of the device or the direction of the camera / lens. The position measurement includes a position error based on the signal strength of the GPS signal and the spatial spread of the GPS satellite. In this embodiment, the position measurement unit 403 estimates the position error and outputs it. Yes. In addition, the direction measuring unit 404 outputs a direction error that is a fixed value.
[0046]
The imaging unit 405 includes a camera / lens, an imaging device that captures an image on its imaging plane, a signal processing module that processes an image signal, and the like. In the present embodiment, the imaging unit 405 outputs a shooting state such as a camera position, a lens direction, a focal length, a field angle, and an aperture value.
[0047]
The display unit 406 outputs the result of processing by the CPU 415 to the screen. For example, when the mobile phone function is activated, the entered phone number and other device status during a call are displayed. When the camera function is activated, the viewfinder screen obtained via the camera / lens and the image after shooting are displayed. Is displayed.
[0048]
The output unit 407 includes an external output of an image signal, audio output by a speaker, vibration, and other devices that provide feedback to the user.
[0049]
The clock 416 measures the real time and supplies a timer signal to the system. In the present embodiment, the clock 416 outputs the imaging time by the imaging unit 405.
[0050]
The photo storage unit 431 stores an image captured by the imaging unit 405. In addition, the shooting log storage unit 432 stores a shooting log including shooting time, shooting state, and error information included in position measurement and direction acquisition at the time of shooting for each shot image.
[0051]
When a photograph is taken on the mobile phone shown in FIG. 4, the photographing unit 405 operates in conjunction with an input from the shutter 409 in the input unit 408 to photograph the photograph, and this photographed image is stored in the image storage unit 431. save. In addition, when the photograph is taken and stored, the time taken by the clock 416, the photographing state output from the photographing unit 405, the camera position obtained from the position measuring unit 403 and its error range, and the direction obtaining unit 404 are obtained. The lens direction and its error range are acquired and stored in the imaging log storage unit 432. Even when shooting is not performed, the position of the device is ascertained at regular intervals and recorded as a log together with the time counted by the clock 416.
[0052]
FIG. 5 schematically shows a configuration of an image management server that communicates with a mobile phone (see FIG. 4) possessed by each user. This image management server receives a captured image and its captured log (shooting time, shooting state, error information included in position measurement and direction acquisition at the time of shooting, etc.), and recognizes the subject and ranking points for each subject. Provides services such as granting, image storage, and image search / editing support.
[0053]
The CPU 515 executes the respective programs for realizing the mobile phone function and the camera function under the control of the operating system, whereby the operation of the entire server apparatus is comprehensively controlled. The CPU 515 is mutually connected to each unit via a bus 517.
[0054]
The RAM 513 is used for loading an execution program code of the CPU 515 and temporarily storing work data. The ROM 513 permanently stores information written at the time of factory shipment, such as an execution program code of the CPU 515 and manufacturing information.
[0055]
The communication unit 501 performs communication processing with a mobile phone possessed by the user via a mobile phone network or other networks.
[0056]
The map information storage unit 524 stores predetermined map information. The map information includes arrangement information related to buildings and other objects existing at each location. The event calendar 525 manages information related to events and the like related to buildings and other objects arranged at each location of the map information on the time axis.
[0057]
The shooting target range calculation unit 510 acquires a shooting state such as a camera position, a lens direction, a focal length, a field angle, and an aperture value from a shooting log attached to the shot image, and focuses on the focus surface based on the instruction value of the shooting state. And a shooting space composed of the depth of field is calculated as an allowable range to be shot by the camera (described later).
[0058]
The subject list acquisition unit 511 collates the shooting space calculated from the shooting state included in the shooting log attached to the shot image with the map information, and sets a set of objects in the shooting target range of the camera as the subject list. get.
[0059]
The ranking point calculation unit 512 calculates an evaluation value corresponding to the estimated situation in the image of the subject as a ranking point. The evaluation value here is calculated based on the ratio (or area) of the subject in the shooting space. However, since the captured image includes uncertain components such as camera position error and lens direction error, the proportion of the subject in the shooting space is weighted based on the shooting position error and gaze direction error. And give ranking points based on the accuracy of the information (described later).
[0060]
FIG. 6 shows a processing procedure for recognizing a subject included in an image photographed on a mobile phone, assigning a ranking point to each subject, and performing a user editing operation based on the ranking point. Yes.
[0061]
First, after shooting with a mobile phone (T611), a device ID and shooting logs such as focal length, angle of view, and aperture are transmitted to the server side (T612).
[0062]
On the server side, the camera position, lens direction, focal length, angle of view, and aperture value are acquired from the shooting log, and the shooting space consisting of the focus plane and depth of field is captured based on the indication values of these shooting states. Is calculated as a range to be photographed (described later) (T621).
[0063]
Next, the server collates the camera position at the time of shooting included in the shooting log with the map information, and creates a set of objects in the shooting target range of this shot image as a subject list.
[0064]
Further, the server calculates an evaluation value corresponding to the estimated situation in the subject image as a ranking point. The evaluation value here is calculated based on the ratio (or area) of the subject in the shooting space. However, since the captured image includes uncertain components such as camera position error and lens direction error, the proportion of the subject in the shooting space is weighted based on the shooting position error and gaze direction error. And ranking points based on the accuracy of the information are given (described later) (T623).
[0065]
Then, the server returns the created subject list and list order to the mobile phone (T624).
[0066]
On the mobile phone side, using the received subject list and list order, subjects included in the photo and their order are added or modified as appropriate (T613).
[0067]
FIG. 7 shows information acquired at the time of taking a picture on a mobile phone or other user equipment having a camera function.
[0068]
For example, when a photograph as shown by reference numeral 704 is taken, the photographing time 751 output by the clock 416, the photographing location 752 measured by the position measuring unit 403, and the direction obtaining unit 404 are acquired simultaneously with the photographing. The lens direction 753 is acquired and stored in the shooting log storage unit 423 as a shooting state 705 in association with the shot image.
[0069]
  FIG. 8 shows a configuration example of a data format for recording a photographing state acquired at the time of photographing as shown in FIG. In the example shown, xml (extensibling  The shooting state is described in a markup language format, and includes a shooting time 851, a shooting location 852, and a shooting direction 853. Further, this data format includes a link 804 with the photographed image.
[0070]
FIG. 9 shows an example of a method for expressing the shooting direction, that is, the lens direction of the camera acquired from the direction acquisition unit 404. In the illustrated example, the lens direction 531 is described as an angle 532 in the clockwise direction when north is 0 degree.
[0071]
FIG. 10 shows a processing procedure for editing the map information stored in the server in the form of a flowchart. In this embodiment, the map information 524 has two formats, one is map information editing data, and one describes a state where a map on which a recognition unit such as a building is placed is divided into cells. The latter method is used for actual processing, such as assigning ranking points to each subject in the captured image.
[0072]
First, map information for editing is read (step S1). If there is no map information for editing, a new one is created.
[0073]
Next, the recognition unit is selected and set as a region (step S2). Then, an index corresponding to this is set (step S3), overlap setting is performed (step S4), and information is recorded (step S5).
[0074]
If the area setting has not been completed (step S6), the process returns to step S2. If the area setting has been completed and the map data is not written (step S7), the editing map is written (step S8), and the entire processing routine is terminated.
[0075]
On the other hand, when the map data is to be written, it is divided into cells (step S9), the index ranking is calculated for each cell (step S10), and then output as map data (step S11). End the entire routine.
[0076]
FIG. 11 schematically shows a functional configuration of a map information editing apparatus that performs map information editing processing as shown in FIG.
[0077]
When the CPU 1115 executes a program for editing the map information under the control of the operating system, the operation of the entire apparatus is comprehensively controlled. The CPU 1115 is interconnected to each unit via a bus 1117.
[0078]
The RAM 1113 is used for loading an execution program code of the CPU 1115 and temporarily storing work data. The ROM 1113 permanently stores information written at the time of factory shipment, such as an execution program code of the CPU 1115 and manufacturing information.
[0079]
The input unit 1108 includes a user input device for inputting commands and data from a user such as a mouse and a keyboard, an input port for receiving transmission data from an external storage device, a host device on a network, and the like. Is done.
[0080]
The output unit 1107 is configured by a device such as a display or a printer that outputs or prints out the calculation processing result by the CPU 1115, or an output port for transmitting data to an external storage device or a host device on a network.
[0081]
The ranking calculation unit 1141 calculates a ranking value for each index when there are overlapping recognition unit areas.
[0082]
  The region dividing unit 1142 ranks the ranking when recognition units of the same level interfere on the map.valueIs divided equally by the number of interfering indexes.
[0083]
When outputting the map data, the cell converting unit 1143 divides the map for each cell, calculates a ranking for each index in each cell, and performs processing for conversion into a predetermined output format.
[0084]
FIG. 12 shows areas of each recognition unit set on the map 1203. In the example shown in the figure, Heian Shrine 31, Nijo Street 32, Higashioji Street 33, Higashiyama Station 34, Sanjo Street 35, Subway Tozai Line 36, and Jingu Street 37 as the recognition units are arranged on the map. Each recognition unit can be a subject when captured by the camera 1. Each recognition unit is assigned a recognition index.
[0085]
Each recognition unit has an area on the map, but can be defined by overlapping in position. In addition, the ranking is adjusted among a plurality of recognition units that overlap with each other by giving a larger ranking point to the recognition units that overlap.
[0086]
For example, in the example shown in FIG. 12, the Sanjo Street 35, the subway Tozai Line 36, and the Higashiyama Station 34 are defined to overlap each other, but the ranking ranks in the order of the Higashiyama Station 34, the Subway Tozai Line 36, and the Sanjo Street 35.・ Points are given. Therefore, in the captured image of Higashiyama Station 34, subway Tozai Line 36 (or not captured) and Sanjo Street 35 are both copied, but Higashiyama Station 34 to which a larger ranking point is given is the subject. It will be listed higher in the list.
[0087]
It is also possible to create and edit a recognition unit that is not in the original map information and add it by a user operation or the like. In the example shown in FIG. 12, the user who operates the map editing apparatus applies a mouse operation as indicated by reference numerals 41 and 42 on the map display screen, thereby drawing Higashiyama Station 34 as a recognition unit. .
[0088]
FIG. 13 shows how the classification of recognition units is designated. On the display screen of the map editing apparatus, the recognition unit classification designation window shown in FIG. 13 is displayed in response to the user manually inputting the Higashiyama station 34 or other recognition units in the map display window shown in FIG. Pop-up is displayed. Here, as shown in FIG. 13, by clicking the classification name “station” with the mouse, it is registered that the newly created recognition unit is a station.
[0089]
As described above, in the map information according to this embodiment, a plurality of recognition units can be defined by overlapping in position. In such a case, the recognition index is hierarchized. FIG. 14 shows how the recognition index hierarchy is specified. In the example shown in the figure, there is Kyoto 30 first, on which Sanjo Street 35, Heian Jingu 31, 31, Nijo Street 32, Higashioji Road 33, and Jingu Street 37 are allocated. In addition, a subway Tozai Line 36 is allocated on the Sanjo Street 35, and a Higashiyama Station 34 is further allocated thereon. FIG. 14 shows that the Higashiyama station 34 is registered as an index when the Higashiyama station 34 is newly created as shown in FIG.
[0090]
  FIG. 15 shows a configuration example of the data format of such editing map information. In the illustrated example, the map information is described in the xml format. As shown in the figure, each recognition unit is described as tag information according to the index and hierarchy shown in FIG. Each tag information includes a classification of recognition (see FIG. 13) assigned to the corresponding recognition unit. Further, the tag information includes position data on the map for each recognition unit.ofDescriptionButinclude.
[0091]
As described above, in the map information according to the present embodiment, a plurality of recognition units can be defined by overlapping in position, and overlapping in position by giving a larger ranking point to the recognition unit that is overlaid. The ranking is adjusted among a plurality of recognition units. FIG. 16 shows a state in which the weighting of the hierarchical recognition index is adjusted.
[0092]
As already described with reference to FIG. 14, there is Kyoto 30 first, on which Sanjo Street 35, Heian Shrine 31, Nijo Street 32, Higashioji Road 33, and Jingu Street 37 are allocated. In addition, a subway Tozai Line 36 is allocated on the Sanjo Street 35, and a Higashiyama Station 34 is further allocated thereon. FIG. 16 shows how the indexes of Kyoto 30, Sanjo Street 35, subway Tozai Line 36, and Higashiyama Station 34 are hierarchized. In the present embodiment, the recognition unit points that overlap each other are sequentially added by a fixed value α. For example, when α = 1, if the point of Kyoto 30 is 1, the point of Sanjo Street 35 is 2, the point of the subway Tozai Line 36 is 3, and the point of Higashiyama Station 34 is 4.
[0093]
Further, Nijo-dori 32 and Jingu-dori 37 are recognition units in the same hierarchy as shown in FIG. 14, but interfere in the region indicated by reference numeral 38 in FIG. For this reason, in the region 38, the point value of each recognition unit is halved. Thus, when the recognition unit in the same hierarchy interferes on a map, it equalizes by dividing the point value of each recognition unit which has interfered by the number of interferences.
[0094]
FIG. 17 shows a configuration example of a map information format used for the operation of the subject list providing service.
[0095]
For the editing map data shown in FIG. 15, the map is divided for each cell, and the ranking value for each index is calculated based on the hierarchy of recognition indexes in the cell, and normalization is performed. The format shown in the figure includes a cell information part 7001 and a recognition unit definition part 7002.
[0096]
In the cell information part 7001, reference number 7111 indicates an area number when map information is divided. If the map is not divided, this value is zero. Further, reference numbers 7112 and 7113 in the figure indicate the number of cells in the horizontal position and the vertical position when the map is divided into cells. Reference numbers 7121 to 7123 indicate the number of recognition units in the cell. If this value is 0, the subsequent recognition unit instruction 7123-1 is omitted.
[0097]
The number of recognition units in the cell (i, j) indicated by the reference number 7123-5 is 5, and the recognition unit support 71123-1 exists. In this, a recognition unit number 7123-3 and a point 7123-3 are defined as a pair. Also, the points are standardized so that 1 is added.
[0098]
Next, in the recognition unit definition unit 7002, reference numeral 7021 represents the number of recognition units, which are described in order from the first. Here, for example, in the case of the 34th information, information of the recognition unit number 34 is shown, and there are a recognition unit category 7221 and a recognition unit name 7222.
[0099]
FIG. 18 shows the relationship between the cell-divided map, the camera position, and the lens direction. In the example shown in the figure, the map is divided into six parts in the vertical direction and eight parts in the horizontal direction. Actually, a device such as hierarchization of cell division is performed, but is omitted in this specification for the sake of simplicity.
[0100]
Reference numeral 1 indicates the position and lens direction of a photographing apparatus such as a camera. In the example shown in the figure, the image is taken while standing near the intersection of Nijo-dori 32 and Jingu-dori 37 and facing Heian Jingu 31.
[0101]
FIG. 19 shows a state in which recognition units existing in the cell are registered. For example, the reference number 50 describes information in a cell located at the fifth cell in the horizontal direction and the zeroth cell in the vertical direction on the cell-divided map as shown in FIG. It can be seen that Higashiyama Station 34, Sanjo Street 35, and Tozai Line 36 are included in the cell. By adopting the recognition unit registration method as shown in FIG. 19, the recognition unit can be quickly seen.
[0102]
In the present embodiment, the camera state, the lens direction, the focal length, the angle of view, the aperture value, and the like are acquired, and a shooting space composed of the focus plane and the depth of field based on the instruction values of these shooting states is obtained. This is calculated as an allowable range for the camera to shoot. Then, the imaging space and the map information are collated, a recognition unit such as a building in the imaging space is extracted, and the subject unit list is created by listing the recognition unit index according to the point value. For the convenience of calculation when searching for the recognition unit in the imaging space, the in-cell recognition unit quick reference table as shown in FIG. 19 is used.
[0103]
FIG. 20 shows a state in which a cell including an imaging space is selected. As shown in the figure, first, a shooting state including a camera position information, a lens direction, a focal length, a field angle, an aperture value, and the like is acquired, and a shooting space 11 is created. Then, a cell lump 41 overlapping this area is selected.
[0104]
Next, the recognition unit included in the selected cell is acquired. FIG. 21 shows how recognition units are acquired from selected cells using the in-cell recognition unit quick reference table shown in FIG. As shown in the figure, three cells, which are fifth in the horizontal direction and second to fourth in the vertical direction, and two cells which are sixth in the horizontal direction and third to fourth in the vertical direction overlap the imaging space. Heian Jingu 31, Nijo-dori 32, and Jingu-dori 37, which are selected as cells and are registered in these cells, are acquired as included in the selected cell.
[0105]
Next, a ranking point is calculated as an evaluation value for each recognized recognition unit. In the present embodiment, the evaluation value is calculated based on the ratio of the recognition unit as the subject in the shooting space. Further, the calculation is performed by giving a weight based on the photographing position error and the line-of-sight direction error to the proportion of the subject in the photographing space. That is, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, and the area weighted according to the direction measured value and the error width are described in the map information. Using the area of the recognition unit, each recognition target is given a ranking point indicating a priority.
[0106]
For example, in a situation where the measurement accuracy is not sufficiently high, a large number of recognition candidates are obtained and presented to the user in a form ranked according to the accuracy of information, thereby changing the list order or deleting items. At the time of editing, the user is less burdensome than the labor of adding items by manual input.
[0107]
FIG. 22 shows how ranking points are calculated for recognition units in the shooting space.
[0108]
As already described, the camera-equipped photographing device 1 has a camera position error and a lens direction error. The position error is output from the position measurement unit 403 due to the signal strength of the GPS signal and the spatial spread of the GPS satellite at the time of position measurement. Further, the error in the lens direction is output from the direction measuring unit 404 due to device characteristics such as a digital magnetic compass. In the example shown in FIG. 22, the position error corresponds to an error circle indicated by reference numeral 2211. The lens direction error is indicated by reference numeral 2217. These position error and direction error are components of the shooting state and can be acquired from the shooting log.
[0109]
Here, the probability that the camera 1 is at the cell position indicated by reference numeral 2212 in FIG. 22 is set according to the distance 2121 from the actual position measurement result. In this embodiment, this value is set so as to decrease from the center toward the periphery. Further, the standardization is performed so that the total probability of each cell 2212 corresponding to the camera position is 1.
[0110]
FIG. 22 shows a lens direction 2213, a field angle 2216, a focus surface 2215, and an imaging space 2214 when the camera 1 is at the cell position indicated by reference numeral 2212. In addition, the recognition unit 2202 in the imaging space 2214 is divided into cell units as indicated by reference numeral 2222, and weighting is given according to the center angle 2222-1 and the distance 2222-2 from the focus plane. It has been.
[0111]
Ranking points r for recognition unit s_sThe calculation formula is shown below.
[0112]
[Expression 1]
[0113]
However, A_ijIs the imaging space weight of the cell in i row and j column, C_iIs the weight of the camera position, D_jIs the weight in the lens direction, S_ksRepresents the weights due to overlapping with other recognition units k. These weights A_ij, C_i, D_j, S_ksAssume that each value is standardized.
[0114]
In this embodiment, information on events of each recognition unit on the map information is managed on the time axis, and an event as a subject is acquired by comparing the shooting time with the event table. Given and used for image management such as image search and album creation. The management of the event is performed, for example, in an event calendar 525 in the server.
[0115]
FIG. 23 shows a configuration example of a data format describing events. An event is defined for each recognition unit. In the example shown in the figure, an event 71 for Kyoto 30 and an event 72 for Heian Jingu 31 correspond to this, and utility 711 and period festival 721 are defined, respectively. Of course, there are recognition units that do not have events.
[0116]
As shown on the right side of FIG. 23, the event data is described in, for example, the xml format, and the event is described as tag information together with its date and time for each recognition target. By scanning such a data format with the recognition unit and the photographing time, an event corresponding to the photographed image can be taken out.
[0117]
FIG. 24 shows a processing procedure for calculating an event and its ranking points in the form of a flowchart.
[0118]
First, the shooting state is extracted from the shooting log added to the shot image, the shooting space is calculated, and the recognition unit included in the shooting space is extracted (step S21).
[0119]
Then, the area of the recognition unit is used for the area weighted according to the distance from the focal plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measured value and the error width Ranking point value is calculated.
[0120]
Next, the event data as shown in FIG. 23 is scanned, and an event to be compared with each recognized recognition unit and photographing time is extracted (step S22).
[0121]
And the point value of each event is set to the point value which a recognition unit has (step S23).
[0122]
FIG. 25 shows a state where the recognition unit index is acquired from the captured image. With reference to FIG. 7, it has already been described that the photographing state is acquired together with the photographed image at the time of photographing. Reference numeral 57 indicates a recognition unit index. When the recognition unit index is acquired, a place 520 and an event 530 are added as a recognition type in addition to the shooting log. Reference numeral 56 indicates a point value set for each recognition unit index.
[0123]
FIG. 26 shows a configuration example of a data format describing a recognition unit index.
[0124]
The configuration of the data format for describing the shooting state has already been described with reference to FIG. In the example shown in FIG. 8, the shooting state is described in an xml format, and includes a link with a shot image, a shooting time, a shooting location, and a shooting direction.
[0125]
  In FIG. 26, the recognition unit index included in the photographed image and its point value are described, and the event extracted from the photographing time and the recognition unit index and its point value are also described. In the illustrated example, a tag field 520 describing a recognition unit for each recognition type is provided, and the recognition type “location (location)” is provided._Object) "In the tag field are Heian Jingu Shrine, Jingu Dori and Kyoto as recognition units included in the photographed image as tag information 521, 522 and 523 together with respective point values 0.63, 0.28 and 0.19. Are listed. Also, in the tag field 530 of the recognition type “event”, the event “era festival” taken out based on the recognition unit “Heian Jingu” and the shooting time, the recognition unit “Kyoto” and the shooting time are used. The extracted event “Autumn leaves” is described as tag information together with the respective point values 0.63 and 0.19.
[0126]
According to the image management system according to the present embodiment, the subject included in the captured image is recognized based on the shooting time, the shooting state, the error information included in the position measurement and direction acquisition at the time of shooting, and the like. Ranking points are given to the subject, and ranking points are given for obtaining events related to the subject. On the user side, a list of subjects is presented in a priority order based on the ranking points, so that the management of photographs can be suitably performed based on these additional information.
[0127]
FIG. 27 shows a screen configuration example of an image management user interface based on ranking points. A photograph (image) taken is displayed in an area indicated by reference numeral 2704. Further, the shooting time is displayed in the area indicated by reference number 2751, the recognition type is displayed in the area indicated by reference number 2754 in accordance with the priority order, and the value of each item is displayed and output on the right side thereof.
[0128]
Reference numerals 2761 to 2763 are command button groups. When a selection operation such as clicking one of the buttons with a mouse is applied, the corresponding command processing is applied to the displayed photo.
[0129]
In the area indicated by reference numeral 2764, thumbnailed photos are listed in descending order of image points. The photo selected on the thumbnail list 2764 is displayed and output in the display area 2704. A desired photo can be selected from the thumbnail list by using a jog dial, a cursor key, a mouse pointer, or the like.
[0130]
The calculation formula for calculating the image point is, for example, as follows. That is, the sum is obtained by multiplying the ranking point value of each subject recognized in the image by the priority for the recognition type.
[0131]
[Expression 2]
[0132]
  FIG.Pointing out toungueThe image management user interface includes command buttons for applying specific processing to selected photos. FIG. 28 shows a configuration example of a command setting screen for setting commands.
[0133]
For example, when the “setting” command button 2763 is selected on the image management user interface screen shown in FIG. 27, “mail” 631, “image editing” 632, “index editing” as shown in FIG. A submenu window 633 is popped up. Each submenu item is further provided with a submenu item. In the illustrated example, “point edit” 6331 and “list order edit” 6332 are prepared as sub-menu items for index edit 633. In the state shown in the figure, list order editing is designated as a default, and when the edit command is clicked, the list order editing mode is selected and executed as recognition index editing.
[0134]
FIG. 29 shows how the recognition index is changed by point adjustment. Reference numeral 5201 indicates a field in which a user-specified recognition unit index is written. As indicated by reference numbers 5202 to 5204, the current recognition unit index list 5200 lists Heian Jingu at point 0.63, Jingu-dori at point 0.28, and Kyoto at point 0.19.
[0135]
Here, as indicated by reference numeral 5207, if the manual input operation of cutting “Jingu Street”, adding “Ryugu Castle”, and inputting the point of “Ryugu Castle”, the name of the recognition unit is switched. As shown by reference numbers 5212 to 5214, Heian Shrine is listed at point 0.63, Kyoto at point 0.19, and Ryugu Castle at point 0.1.
[0136]
FIG. 30 shows a processing procedure for changing the recognition unit index in the form of a flowchart.
[0137]
First, a recognition index list editing mode is entered (step S31). The list is edited by the user (step S33) until the edit mode ends (step S32). The list editing mentioned here includes adding a recognition index, changing the rank, changing the name, and the like.
[0138]
If the recognition index is deleted (step S34), it is deleted (step S37). Otherwise, the edit history is saved (step S35).
[0139]
When editing is completed, point correction is performed (step S36), and the entire processing routine is terminated.
[0140]
FIG. 31 shows how a recognition unit index is inserted. In the illustrated example, there is an existing recognition unit index at a location indicated by reference numbers 3101 and 3102, and a range indicated by reference number 3110 is indicated by A1 to A3, a range indicated by reference number 3120 is indicated by B1 and reference number 3130. C1 to C2 are inserted in the range. Here, the minimum value of the point is 0 and the maximum value is 1, and the point value of each index is adjusted so as to be within this range.
[0141]
FIG. 32 shows the result of inserting the recognition unit index. In reference numbers 3231 and 3232, since two point values are added between the minimum values 0 to 0.06, the recognition unit indexes C2 and C1 are 0.02 and 0.04, respectively. Similarly, the reference number 3221 has a point value between 0.06 and 0.46, and B1 is 0.26. Further, the reference numbers 3211 to 3213 have a point value between the maximum values 1 to 0.46, A1 is 0.865, A2 is 0.73, and A3 is 0.595.
[0142]
FIG. 33 shows how the recognition target index is changed by operating the up and down buttons.
[0143]
Reference numeral 5201 is a field for writing a recognition unit index designated by the user. Reference number 5205 indicates a button for raising the list order of the corresponding recognition units one by one, and reference number 5206 indicates a button for lowering the list order of the corresponding recognition units one by one.
[0144]
In the illustrated example, the current recognition unit index list 5200 includes a Heian Shrine 5202, a Jingu Street 5203, and a Kyoto 5204. On the other hand, as shown by reference number 5207, when the recognition unit “Jingu-dori” is deleted, the recognition unit “Ryugu Castle” is added, and the order of the recognition unit “Ryugu Castle” is lowered, the list order is changed. As a result, the list ranks of Heian Shrine 5212, Kyoto 5214, and Ryugu Castle 5218 are changed.
[0145]
FIG. 34 shows the state of data changed by changing the recognition target.
[0146]
  In the example of the data format describing the recognition unit index shown in FIG. 26, a tag field 520 describing the recognition unit for each recognition type is provided, and the recognition type “location (location)” is provided._Object) ”Tag field includes a list of Heian Jingu, Jingu-dori, and Kyoto as recognition units included in the photographed image, and a tag type 530 of the recognition type“ event ” A list consisting of a recognition unit “Heian Jingu” and an event “Era Festival” taken out based on the shooting time, a recognition unit “Kyoto” and an event “Koyo” taken out based on the shooting time is described.
[0147]
On the other hand, as a result of changing the recognition unit index as shown in FIG. 33, the recognition type “place” list 5210 is changed to Heian Jingu 5212, Kyoto 5214, and Ryugu Castle 5218.
[0148]
In the above-described embodiment, in subject recognition, a map for a shooting space weighted according to the distance from the focus plane, the distance from the central axis, the measurement value and error radius of the camera position, the direction measurement value and the error width, The ranking point value is calculated using the area occupied by the subject as the recognition unit described in the information, that is, the floor area of the building. Actually, the building may be a one-story building, several stories, or a high-rise building, and the proportion in the captured image (not the shooting space) varies accordingly. In some cases, it is not enough to just estimate the priority. Therefore, an object evaluation method is also conceivable in which a ranking point value is obtained in addition to the surface area of the building as well as the floor area of the recognition unit.
[0149]
In FIG. 35, the map information as shown in FIG. 12 is expressed three-dimensionally. However, each building as a recognition unit is represented in the form of a minimum cube surrounding the building, that is, a Boundary Box (boundary cube). FIG. 37 shows an image photographed by a camera having the camera position and the lens direction indicated by reference numeral 1 on such a map.
[0150]
FIG. 36 shows how the recognition unit index hierarchy existing on the map shown in FIG. 35 is designated. For example, in response to the user manually inputting the recognition target 320 on the three-dimensional map display as shown in FIG. 35, the recognition unit hierarchy designation window shown in FIG. Can be assigned to the upper hierarchy.
[0151]
FIG. 38 shows how a shooting space is created when shooting is performed with a camera having the camera position and lens direction indicated by reference numeral 1. FIG. 39 shows a state in which ranking point values are calculated for recognition units in the shooting space.
[0152]
The camera position information and lens direction as well as the shooting state consisting of the focal length, angle of view, aperture value, etc. are acquired, with the camera position 11 as the center, and in the area of the radius range determined based on the focus plane and the depth of field. A portion corresponding to the angle of view in the lens direction 3913 is extracted as an imaging space.
[0153]
FIG. 39 shows an imaging space 3914 when the camera 1 captures the image shown in FIG. The shooting space 3914 is calculated by the focus surface 3915 and the depth of field based on the shooting state. This photographing space includes recognition units such as Nijo-dori 341, OO park 311, and fountain 312. The park 311 and the fountain 312 overlap at the same position, but a larger point is given to the fountain 312 above the index hierarchy. The Nijo-dori 341 and the OO park 311 are two-dimensional and have only a floor area, whereas the fountain 312 is three-dimensional, and the ranking point value is calculated in consideration of the surface area of the BoundaryBox.
[0154]
As described above, in this embodiment, the camera position information, the lens direction, and the shooting state including the focal length, the angle of view, the aperture value, and the like are acquired, and the focus position and the depth of field are centered on the camera position. A portion corresponding to the angle of view in the lens direction is calculated as a shooting space in a region of a radius range determined on the basis of the range. Then, the shooting space and the map information are collated, and a recognition unit such as a building in the shooting space is recognized as a subject. Furthermore, when calculating the ranking point value for the recognition unit in the shooting space, weighting according to the weight of the shooting space, that is, the distance from the central angle and the focus plane, and the accuracy of the camera position due to the camera position error are performed. Is weighted according to.
[0155]
The ranking point value calculation method for the recognition unit appearing in the subject, that is, the photograph, has been schematically described with reference to FIG. 22, and the detailed processing will be described below.
[0156]
FIG. 40 shows a shooting area. Each piece of photograph data includes a photographing position of the camera 1, a lens direction 4001, an angle of view 4003, a focus distance 4022, focal length information, and an aperture value, and the photographing region 4002 is calculated using these photographing state parameter values. Here, an arc passing through each point represented by reference numerals 4012, 4022, and 4032 represents a focus plane. Further, arcs passing through the respective points represented by reference numerals 4013, 4023, and 4033 represent the forward depth of field. In addition, arcs passing through the points represented by reference numbers 4011, 4021, and 4031 represent the rear depth of field.
[0157]
As described above, the shooting space is weighted according to the distance from the center angle and the focus plane. FIG. 41 shows a state of weight inclination in the photographing space. A graph indicated by reference number 4101 indicates a weighted inclination in the camera direction, and a graph indicated by reference number 4102 indicates a weighted inclination in the horizontal direction of the focus surface. In the present embodiment, as shown in the figure, the weight is decreased in the vertical direction (points 4023 and 4021) and the horizontal direction (points 4012 and 4032) with the point 4022 as the center.
[0158]
FIG. 42 shows a processing procedure for calculating the ranking point value of the subject in the form of a flowchart. First, a camera position and a lens direction are input (step S41). Next, the position of the subject is input (step S42). As a result of the culling (step S43), if culled, 0 is returned (step S45). Otherwise, a ranking point value is calculated (step S46).
[0159]
FIG. 43 shows a detailed procedure of the culling process corresponding to step S43 in the flowchart shown in FIG. 42 in the form of a flowchart. First, the camera position and lens direction are input (step S51). Next, the position of the subject is input (step S52), and a circle with the minimum radius including the object is created as a boundary circle (step S53). Next, when the distance condition described in FIG. 44 is satisfied (step S54), the angle condition 1 described in FIG. 45 is satisfied (step S55), and the angle condition 2 described in FIG. 46 is satisfied (step S56), TRUE is returned (step S57). If not, FALSE is returned (step S58).
[0160]
FIG. 44 shows how the culling distance condition is determined. Reference number 4411 is the camera position, reference number 4412 is the error radius of the camera position, reference number 4421 is the center position of the subject boundary circle, reference number 4422 is the radius of the subject boundary circle, reference number 4432 is the shooting area, Reference numeral 4436 indicates the focus distance, reference numeral 4434 indicates the rear depth of field, and reference numeral 4435 indicates the front depth of field. Reference numeral 4437 indicates a vector from the camera position toward the center of the subject boundary circle.
[0161]
The culling distance condition is determined according to the following formula. According to the equation, the size of the vector indicated by the reference number 4437 is set to be an error of the camera position within the width of the front depth of field 4435 and the rear depth of field 4434 with the focus distance indicated by the reference number 4436 as the center. The condition is that the radius 4412 and the subject boundary circle radius 4422 are included with a margin.
[0162]
[Equation 3]
[0163]
FIG. 45 shows how the culling angle condition 1 is determined. In the figure, reference number 4411 is the camera position, reference number 4412 is the error radius of the camera position, reference number 4421 is the center position of the subject boundary circle, reference number 4422 is the radius of the subject boundary circle, and reference number 4431 is the reference number 4431. The lens direction, reference numeral 4433 indicates the angle of view, and reference numeral 4432 indicates the imaging space. The reference number 4438 indicates a field angle limit vector on the right side in the lens direction. The inner product of the vector 4439 orthogonal to this and the vector 4437 from the camera position 4411 to the center position 4422 of the subject boundary circle is calculated. To do. The value of the inner product represents a signed distance from the vector 4438 to the center position 4422 of the subject boundary circle.
[0164]
  The following expression is an expression for determining the culling angle condition 1. The signed distance obtained in FIG. 45 is centered on the focus distance 4436.rearWith depth of field 4434in frontThe condition is that the width of the direction depth of field 4435 is within a margin of the error radius 4412 of the camera position and the subject boundary circle radius 4422.
[0165]
[Expression 4]
[0166]
  FIG. 46 shows how the culling angle condition 2 is determined. In the figure, reference number 4411 is the camera position, reference number 4412 is the error radius of the camera position, reference number 4421 is the center position of the subject boundary circle, reference number 4422 is the radius of the subject boundary circle, and reference number 4431 is the reference number 4431. The lens direction, reference numeral 4433 indicates the angle of view, and reference numeral 4432 indicates the imaging space. Reference numeral 4438 indicates a field angle limit vector on the left side in the lens direction.ExchangeThe inner product of the vector 4439 and the vector 4437 from the camera position 4411 to the center position 4422 of the subject boundary circle is calculated. This inner product value represents a signed distance from the vector 4438 to the center position 4422 of the subject boundary circle.
[0167]
  The following expression shows an expression for determining the culling angle condition 2. The signed distance obtained in FIG. 46 is centered on the focus distance 4436.rearWith depth of field 4434in frontThe condition is that the width of the direction depth of field 4435 is within a margin of an error radius 4412 of the camera position and a radius 4422 of the subject boundary circle.
[0168]
[Equation 5]
[0169]
FIG. 47 shows a state where the subject area is divided into cells. In the figure, reference numeral 4703 indicates a subject area. First, the boundary rectangle 4701 is obtained by obtaining the maximum value and the minimum value of the subject area along the x-axis and the y-axis. Next, the boundary rectangle 4701 is decomposed into a mesh 4721 using the step size dx in the x-axis direction indicated by reference number 4741 and the dy of the step size in the y-axis direction indicated by reference number 4742. When the center point 4722 in each mesh is included in the subject area 4703, the ranking point value is calculated. Reference numeral 4731 indicates a mesh cell for calculating a ranking point value.
[0170]
FIG. 48 shows a processing procedure for calculating a ranking point value for a subject in the form of a flowchart. Here, the subject area is integrated.
[0171]
First, a rectangle that covers the subject area is obtained by obtaining vertices having maximum and minimum values along the x-axis and y-axis (step S61).
[0172]
Next, the subject area S and the rank value Sum are initialized to 0 (step S62). x-axis minimum value X acquired in the preceding step S61 in the x-axis direction variable x_minIs substituted (step S63). In addition, the y-axis minimum value Y acquired in the preceding step S61 is added to the y-axis direction variable y._minIs substituted (step S64).
[0173]
Next, if the center point P of the mesh cell currently focused on is within the subject area (step S65), the area S is increased by 1 (step S66), and the point P is viewed from the camera side in the ranking point value Sum. The ranking point value is added (step S67).
[0174]
Next, the step size dy is added to y (step S68). And y is the y-axis maximum value Y_maxIf smaller (step S69), the process returns to step S65.
[0175]
Next, the step size dx is added to x (step S70), and x is the x-axis maximum value X._maxIf smaller (step S71), the process returns to step S65.
[0176]
Finally, after sum is divided by S for normalization (step S72), this is output (step S73), and the entire processing routine is terminated.
[0177]
FIG. 49 shows a processing procedure for calculating the rank value for a certain point of the subject in the form of a flowchart. Here, the error circle part of the camera is integrated.
[0178]
First, the subject position O is input (step S81). Then, the rank value sum Sum is initialized to 0 (step S82), and the radius variable r is initialized to 0 (step S83).
[0179]
Next, a weighting parameter w that decreases as the camera position distance increases is calculated (step S84), and the angle variable θ is initialized to 0 (step S85).
[0180]
Next, a point coordinate P within the camera error circle is obtained (step S86), and a ranking point value when the camera is assumed to be at the position P is calculated and added to sum (step S87).
[0181]
Next, the angle increment dθ is added to θ (step S88), and if θ does not exceed 2π (step S89), the process proceeds to step S86.
[0182]
Next, the distance increment dr is added to r (step S90), and if r does not exceed the error radius Cr (step S91), the process moves to step S84.
[0183]
Then, the error radius area S is calculated (step S92), sum is normalized by S and output (step S93), and the entire processing routine is terminated.
[0184]
FIG. 50 shows how the distance condition is determined. In the figure, reference numeral 4436 indicates the focus distance, reference numeral 4434 indicates the rear depth of field, reference numeral 4435 indicates the front depth of field, and reference numeral 4432 indicates the photographing space. Reference numeral 4437 indicates a vector from the camera position 4411 to the subject position 4421.
[0185]
The following expression shows an expression for determining the distance condition. It is a condition that the length of the vector 4437 is included in the range of the front depth of field 4435 and the rear depth of field 4434 with the focus distance 4436 as the center.
[0186]
[Formula 6]
[0187]
FIG. 51 shows how the angle condition is determined. In the figure, reference numeral 4431 indicates an angle from the north to the lens direction, reference numeral 4432 indicates an angle of view, and reference numeral 4438 indicates a lens direction vector. Reference numeral 4437 indicates a vector from the camera position 4411 to the subject position 4421. Reference numeral 4439 indicates an angle formed by the vector 4437 and the lens direction vector 4438.
[0188]
The following equation shows an equation for determining the angle condition. The condition is that the angle 4439 obtained in FIG. 51 is less than the angle of view 4433.
[0189]
[Expression 7]
[0190]
FIG. 52 shows how the front and rear scenes are divided. In the same figure, reference number 4436 is the focus distance, reference number 4434 is the rear depth of field, reference number 4435 is the front depth of field, reference number 4432-1 is the shooting space within the front depth of field, Reference numeral 4432-2 indicates the imaging space within the rear depth of field. Reference numeral 4437 indicates a vector from the camera position 4411 to the subject position 4421.
[0191]
The rank value in the front / rear scene is calculated by the following formula. As shown in FIG. 52, the calculation formula is different when the subject is in the imaging space 4432-1 within the front depth of field and when it is in the imaging space 4432-2 within the rear depth of field.
[0192]
[Equation 8]
[0193]
B. Recognition of moving objects
In the above-described embodiment, the recognition target in the captured image has a static or fixed position on the map such as a building, and basically, by comparing the shooting space with the position of each recognition target on the map. Subject recognition is performed. In this case, it is not possible to perform subject recognition for a moving body such as a person or a car. Therefore, in the following, an image management system that manages photographs by combining a photograph and a subject in a photograph image including a moving body as a subject will be described.
[0194]
FIG. 53 illustrates a mechanism in which subject recognition processing is performed based on position information of a subject such as a person and a photographing space of a photographed image in the image management system shown in FIG.
[0195]
The photographing apparatus 5331 transfers photographing information acquired in the apparatus 5331 at the time of photographing to the center 5333. A person as the subject 5332 has a portable terminal with a position measurement function such as GPS, and transfers his / her position information to the center 5333. Thereafter, the center 5333 performs subject recognition processing. More specifically, a shooting space consisting of the focus plane and the depth of field is calculated based on each indication value of the shooting state, and this shooting space is compared with the position information of each moving body, so that the person in the shooting space is identified. Recognize as a subject.
[0196]
The photographing device 5331 is constituted by, for example, a mobile phone with a camera function, and has an appearance configuration as shown in FIG. FIG. 54 shows the internal configuration of the photographing apparatus 5331.
[0197]
When the CPU 415 executes each program for realizing the mobile phone function and the camera function under the control of the operating system, the operation of the photographing apparatus 101 is comprehensively controlled. The CPU 415 is mutually connected to each unit via a bus 417.
[0198]
The RAM 413 is used for loading an execution program code of the CPU 415 and temporarily storing work data when the mobile phone function or the camera function is activated. The ROM 414 permanently stores information written at the time of shipment from the factory, such as an execution program code of the CPU 415 and manufacturing information.
[0199]
The input unit 408 includes buttons that can be operated by the user, and is used for inputting a telephone number and other data. One of the operation buttons is assigned to the shutter 409 when the camera function is activated.
[0200]
A communication unit 401 performs communication processing with a base station on a mobile phone network, and further communicates with a server (described later).
[0201]
The position measurement unit 403 measures the current position of the device based on the GPS signal received by the antenna 121. The direction acquisition unit 404 includes a digital magnetic compass or the like, and acquires the orientation of the device or the direction of the camera / lens. The position measurement includes a position error based on the signal strength of the GPS signal and the spatial spread of the GPS satellite. In this embodiment, the position measurement unit 403 estimates the position error and outputs it. In addition, the direction measuring unit 404 outputs a direction error that is a fixed value.
[0202]
The imaging unit 405 includes a camera / lens, an imaging device that captures an image on its imaging plane, a signal processing module that processes an image signal, and the like. In the present embodiment, the imaging unit 405 outputs a shooting state such as a camera position, a lens direction, a focal length, a field angle, and an aperture value.
[0203]
The display unit 406 outputs the result of processing by the CPU 415 to the screen. For example, when the mobile phone function is activated, the entered phone number and other device status during a call are displayed. When the camera function is activated, the viewfinder screen obtained via the camera / lens and the image after shooting are displayed. Is displayed.
[0204]
The output unit 407 is composed of a sound output by a speaker, vibration, and other devices that give feedback to the user.
[0205]
The clock 416 measures the real time and supplies a timer signal to the system. In the present embodiment, the clock 416 outputs the imaging time by the imaging unit 405 and the position measurement time by the position measurement unit 403.
[0206]
The photo storage unit 431 stores an image captured by the imaging unit 405. In addition, the shooting log storage unit 432 stores a shooting log including shooting time, shooting state, and error information included in position measurement and direction acquisition at the time of shooting for each shot image.
[0207]
The device also includes an ID holding unit 402 that stores device identification information for device identification, and is transmitted from the communication unit 401 to the server together with the position information acquired by the position measurement unit 403. Further, the ID name list 433 holds the device IDs of other devices that permit the disclosure of their own device positions.
[0208]
54, when the photograph is taken on the mobile phone shown in FIG. 54, the photographing unit 405 operates in conjunction with an input from the shutter 409 in the input unit 408, and the photographed image is stored in the image storage unit 431. save. In addition, when the photograph is taken and stored, the time taken by the clock 416, the photographing state output from the photographing unit 405, the camera position obtained from the position measuring unit 403 and its error range, and the direction obtaining unit 404 are obtained. The lens direction and its error range are acquired and stored in the imaging log storage unit 432. Even when shooting is not performed, the position of the device is ascertained at regular intervals and recorded as a log together with the time counted by the clock 416.
[0209]
Of course, when a person who is a subject also takes a picture of himself / herself, he / she may carry the apparatus having the device configuration shown in FIG. 54 and acquire his / her movement log. Alternatively, a person who does not take a photograph by himself possesses a portable device that does not have a camera function but is equipped with a position measuring function. FIG. 55 shows the external configuration of the movement log recording apparatus in this case, and FIG. 56 shows its internal configuration.
[0210]
As shown in FIG. 55, the movement log recording apparatus includes an antenna 112 for mobile phone communication and an antenna 121 for receiving GPS signals.
[0211]
When the CPU 415 executes each program for realizing the mobile phone function under the control of the operating system, the operation of the movement log recording apparatus is controlled in an integrated manner. The CPU 415 is mutually connected to each unit via a bus 417.
[0212]
The RAM 413 is used for loading an execution program code of the CPU 415 and temporarily storing work data when the mobile phone function is activated. The ROM 413 permanently stores information written at the time of factory shipment, such as an execution program code of the CPU 415 and manufacturing information.
[0213]
A communication unit 401 performs communication processing with a base station on a mobile phone network, and further communicates with a server (described later).
[0214]
The position measurement unit 403 measures the current position of the device based on the GPS signal received by the antenna 121. The position measurement includes a position error based on the signal strength of the GPS signal and the spatial spread of the GPS satellite. In this embodiment, the position measurement unit 403 estimates the position error and outputs it. Further, the position measurement results are arranged in time series and recorded in the movement log 434.
[0215]
The clock 416 measures the real time and supplies a timer signal to the system. In the present embodiment, the timepiece 416 outputs the position measurement time by the position measurement unit 403.
[0216]
The illustrated device includes an ID holding unit 402 that stores device identification information for device identification, and is transmitted from the communication unit 401 to the server together with the position information acquired by the position measurement unit 403. Further, the ID name list 433 holds the device IDs of other devices that permit the disclosure of their own device positions.
[0217]
FIG. 57 schematically shows an internal configuration of an apparatus that operates as the center server 5333 in the subject recognition service shown in FIG. The server 5333 receives the shooting state and shooting time information from the shooting side device, and also receives the subject position information and the position measurement time information from the subject side device. A process of estimating a person in the shooting space as a subject is performed by collating with the position information of each moving body.
[0218]
The server 5333 shown in the figure further includes a terminal location information storage unit 521 and an ID disclosure information storage unit 522 in addition to the server configuration shown in FIG.
[0219]
The terminal location information storage unit 521 stores terminal location information transmitted from a device carried by each device. The ID public information storage unit 522 stores the device ID of a device that is permitted to disclose its own device position.
[0220]
In the present embodiment, by using subject position information obtained from people carrying the devices shown in FIG. 53 and FIG. 55, the positions of these moving bodies and the photographing space are collated, so that the subject on the photographed image can be identified. Estimate whether there is. In order to perform subject recognition, it is assumed that each device user permits the use of subject position information deeply related to privacy. FIG. 58 illustrates a processing procedure for applying for permission to use position information for a subject.
[0221]
First, the device 5331 on the photographing side makes an application for registering a list to the center server 5333 (T911). Next, the center server 5333 confirms the name list registration with respect to the device 5332 on the subject side (T921).
[0222]
When permission is returned from the subject device 5332 (T931), the center server 5333 updates the ID public information and sends a name list registration change notification to the photographing device 5331 (T914).
[0223]
FIG. 59 shows a processing procedure in the case where the application is rejected when the application for permission to use the positional information on the subject is performed.
[0224]
The photographing device 5331 makes an application for registering a name list to the center server 5333 (T911), and the center server 5333 checks the subject list for the subject device 5332 (T921).
[0225]
On the other hand, when a rejection is returned from the subject-side device 5332 (T932), the center server 5333 sends a name list registration rejection notification to the photographing-side device 5331 (T913). Since the use of the position information is deeply related to the privacy of the device user as the subject, the device for which the registration of the name list is rejected will not be subject to subject recognition processing thereafter.
[0226]
In FIG. 60, a subject included in an image photographed on the photographing device 5331 is recognized by the center server 5333 and a ranking point value is given to each subject and provided to the device 5331. Shows a processing procedure for performing a user editing operation based on the ranking point value.
[0227]
First, after photographing with the photographing device 5331 (T1111), a device ID and photographing logs such as a focal length, a field angle, and an aperture are transmitted to the center server 5333 side (T1112).
[0228]
On the center server 5333 side, a list of subjects who can be subjects is acquired from the ID public information 522 (T1121). At this time, a device for which permission for registering the name list in the ID public information 522 is not obtained in advance is excluded from the subject list from the viewpoint of privacy protection. The center server 5333 acquires a camera position, a lens direction, a focal length, a field angle, and an aperture value from the shooting log, and a shooting space including a focus surface and a depth of field based on the indication values of these shooting states. Is calculated as a range to be captured by the captured image (T1122).
[0229]
When there is a subject-side device registered in the name list (that is, the position acquisition is permitted) within the shooting range, the center server 5333 confirms the position of each device 5332 (T1123). Then, it receives a location report from each device 5332 (T1131), extracts what is in the shooting space, and creates a subject list (T1124).
[0230]
Thereafter, the center server 5333 calculates an evaluation value corresponding to the situation in the image as a ranking point for each subject (T1125). The evaluation value here is calculated based on the probability that the subject exists in the imaging space. However, since the captured image includes indeterminate components such as camera position errors and lens direction errors, it is based on the shooting position error and the line-of-sight direction error with respect to the probability that the subject exists in the shooting space. Give weights and give ranking points based on the accuracy of the information.
[0231]
Then, the center server 5333 returns the created subject list and list order to the photographing device 5331 (T1126).
[0232]
The photographing device 5331 uses the received subject list and list order to add or modify subjects included in the photo and their order as appropriate (T1113).
[0233]
In this embodiment, the map information 524 has two formats, one is map information editing data, and one describes a state where a map on which a recognition unit such as a building is placed is divided into cells. The latter method is used for actual processing such as assigning ranking points to each subject in the captured image (same as above).
[0234]
FIG. 61 shows the relationship between the camera position, lens direction, and subject on the cell-divided map. In the example shown in the figure, the map is divided into six parts in the vertical direction and eight parts in the horizontal direction. Actually, a device such as hierarchization of cell division is performed, but is omitted in this specification for the sake of simplicity.
[0235]
On the illustrated map, people 21 to 26 as subjects are scattered. Each subject carries a device having the configuration shown in FIG. 53 or FIG. 55, and each subject user obtains position information from the center server 5333 when the registration of the name list, that is, the use of information is permitted in advance. can do. In the drawing, the device 1 on the photographing side has photographed two subjects 25 and 26.
[0236]
FIG. 62 shows a configuration example of a subject list for which the device has been authenticated. In the example shown in the figure, the device user 1 has obtained authentication as a subject from the device users 22, 25, and 26, and the center server 5333 responds to the subject list request from the device user 1, and the position information of these subjects Is acquired, collated with the shooting space, and subject authentication for the shot image is performed. Similarly, the device user 25 has obtained authentication as a subject from the device users 1 and 26, and the device user 26 has obtained authentication from the device users 1 and 24 as a subject.
[0237]
FIG. 63 shows a state where recognition targets existing in a cell are registered. For example, reference number 50 describes information in a cell located at the fifth cell in the horizontal direction and the zeroth cell in the vertical direction on the cell-divided map as shown in FIG. It can be seen that the target device 24 is included in the cell. By adopting the recognition unit registration method as shown in FIG. 63, the recognition unit can be quickly seen.
[0238]
  In the present embodiment, the camera state, the lens direction, the focal length, the angle of view, the aperture value, and the like are acquired, and a shooting space composed of the focus plane and the depth of field based on the instruction values of these shooting states is obtained. This is calculated as an allowable range for the camera to shoot. Then, the photographing space of the camera used for photographing is compared with the position information of the subject that has been authenticated, and the subject in the photographing space is extracted as a recognition target to create a subject list. For the convenience of calculation when searching for recognition targets in the shooting space,63The in-cell recognition target quick reference table as shown in Fig. 1 is used.
[0239]
FIG. 64 shows a state in which a cell including an imaging space is selected. As shown in the figure, first, a shooting state including a camera position information, a lens direction, a focal length, a field angle, an aperture value, and the like is acquired, and a shooting space 11 is created. Then, a cell lump 41 overlapping this area is selected.
[0240]
Next, a recognition target included in the selected cell is acquired. FIG. 65 shows how recognition targets are acquired from the subject list for each device shown in FIG. FIG. 66 shows a state where a recognition target is acquired from a selected cell using the intra-cell recognition target quick reference table shown in FIG.
[0241]
First, as shown in FIG. 65, it is detected from the subject list that the subject for which the device 1 is authenticated is the devices 22, 25, and 26, and the position information of these devices is acquired.
[0242]
Next, as shown in FIG. 66, there are three shooting cells in the horizontal direction, five cells in the vertical direction and two cells in the second to fourth directions, and two cells in the sixth horizontal direction and the third to fourth cells in the vertical direction. Is selected as a cell that overlaps Then, the imaging space and position information sent from each device are collated, and the device 1, device 25, and device 26 are acquired as included in the selected cell.
[0243]
Next, a ranking point value is calculated as an evaluation value for each recognized recognition target. In the present embodiment, the evaluation value is calculated based on the probability that a person (or other moving body) as a subject exists in the imaging space. Further, calculation is performed by giving weighting based on the photographing position error and the line-of-sight direction error to the probability that the subject exists in the photographing space. That is, the object position probability is used for the area weighted according to the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measurement value and the error width. Thus, a ranking point indicating a priority order is attached to each recognition target.
[0244]
FIG. 67 shows how ranking points are calculated for a recognition unit made up of a moving body such as a person existing in the shooting space.
[0245]
  The camera photographing device 1 has a camera position error and a lens direction error (described above). The position error is output from the position measurement unit 403 due to the signal strength of the GPS signal and the spatial spread of the GPS satellite at the time of position measurement. Further, the error in the lens direction is output from the direction measuring unit 404 due to device characteristics such as a digital magnetic compass. In the example shown in FIG. 67, the position error corresponds to an error circle indicated by reference numeral 2211. The lens direction error is indicated by reference numeral 2217. These position error and direction error are components of the shooting state and can be acquired from the shooting log. In addition, the reference number220The recognition target indicated by 2 also has a position error that occurs during position measurement.
[0246]
Here, the probability that the camera 1 is at the cell position indicated by reference numeral 2212 is set according to the distance 2121 from the actual position measurement result. In this embodiment, this value is set so as to decrease from the center toward the periphery. Further, the standardization is performed so that the total probability of each cell 2212 corresponding to the camera position is 1.
[0247]
67 shows a lens direction 2213, a field angle 2216, a focus surface 2215, and an imaging space 2214 when the camera 1 is at the cell position indicated by reference numeral 2212.
[0248]
The recognition target in the shooting space 2214 has an error range 2221 centered on the subject position 2202 obtained by position measurement, and is divided into cell units as indicated by reference numeral 2222 to obtain ranking points. Perform the calculation. Each cell 2222 is weighted according to the distance 2222-3 from the measured value 2202, and further weighted according to the center angle 2222-1 and the distance 22222-4 from the focus plane.
[0249]
Ranking points r for recognition unit p_pThe calculation formula is shown below.
[0250]
[Equation 9]
[0251]
However, A_ijIs the imaging space weight of the cell in i row and j column, C_iIs the weight of the camera position, D_jIs the weight in the lens direction, O_ksRepresents the likelihood of the subject. These weights A_ij, C_i, D_j, O_ksAssume that each value is standardized.
[0252]
FIG. 68 shows a state where a recognition target index related to a person is acquired from a captured image. A person 510 is added as a recognition type to the recognition target point index shown in FIG. Reference numeral 56 indicates a point value set for each recognition unit index.
[0253]
FIG. 69 shows a configuration example of a data format describing a recognition target index including a person as a recognition target. In the example shown in the figure, a tag field 510 of the recognition type “person” is added to the data format shown in FIG. 26, and “Nachi” and “Hikari” as recognition targets included in the photographed image. "Is described as tag information 511 and 512 together with the respective point values 0.72 and 0.32.
[0254]
According to the image management system according to the present embodiment, recognition of a subject included in a photographed image, and ranking points for acquiring events related to the subject are provided. On the user side, a list of subjects is presented in a priority order based on the ranking points, and based on this, it is possible to suitably manage photos.
[0255]
In this embodiment in which a moving body such as a person is also recognized as a subject, an example of the screen configuration of the image management user interface is the same as that shown in FIG.
[0256]
FIG. 70 shows how the recognition target index is changed by operating the up and down buttons.
[0257]
Reference numeral 5101 is a field for writing a recognition target index designated by the user. Reference number 5105 indicates a button for raising the list order of the corresponding recognition units one by one, and reference number 5106 indicates a button for lowering the list order of the corresponding recognition units one by one.
[0258]
In the illustrated example, the index list 5100 of the current recognition unit is composed of 5102 and Hikari 5103. On the other hand, as shown by reference numeral 5107, when the recognition target “Hikari” is deleted, the recognition target “Naomi” is added, and the order of the recognition target “Naomi” is lowered, the list order is changed. , Nachi 5112 and Naomi 5218 are listed.
[0259]
FIG. 71 shows the state of data changed by changing the recognition target.
[0260]
  In the example of the data format describing the recognition unit index shown in FIG. 69, a tag field describing the recognition unit for each recognition type is provided, and the tag field 510 of the recognition type “person” is recorded. “Nachi” and “Hikari” as recognition targets included in the image are described as tag information 511 and 512 for the respective point values 0.72 and 0.32. On the other hand, as a result of changing the recognition unit index as shown in FIG. 70, as shown in FIG. 71, the list 5110 of the recognition type “person” contains 5112,In additionOnly 51It has changed to 18.
[0261]
In this embodiment, the subject in the photographed image is recognized by collating the position information obtained from the subject with the photographing space obtained from the photographing state such as the camera position. FIG. 72 shows how the positional relationship between the subject and the camera is acquired from the movement log.
[0262]
Reference numeral 3101 indicates a movement log of the photographing apparatus. Reference numeral 3111 is a point where a photograph was taken on the movement log 3101, and the time 3113 at that time is 12:35.
[0263]
On the other hand, the subject position is extracted from the movement log 3034 of the movement log recording device that the subject carried. Reference numeral 3121 indicates a subject position when a photograph is taken by the photographing apparatus at the photographing position 3111. Note that the movement log of the subject is obtained by back-calculating from the sampling value so as to correspond to the shooting time 3113 because the movement log recording device records its position at regular intervals.
[0264]
Based on the shooting position 3111 and the shooting log taken out from the device on the shooting side, a shooting space 3112 at the time of shooting is obtained. Also, the subject position 3121 at the time of photographing is obtained based on the movement log taken out from the movement log recording device. Then, by comparing the shooting space 3112 and the subject position 3121, it is possible to recognize whether or not the subject is included in the photographed photograph, and ranking the subject according to the procedure described with reference to FIG.・ Point values can be calculated.
[0265]
FIG. 73 is a flowchart showing a subject recognition processing procedure for a photographed image including a moving body such as a person as a subject in the present embodiment.
[0266]
First, shooting data is queued (step S101). Then, the photographing data is taken out from the queue one by one (step S102). At this time, if there is no unprocessed data (step S103), the entire processing routine is terminated.
[0267]
Next, a migration log for one person is extracted from the registered member table (step S104). Here, when there is no unprocessed member (step S105), the process returns to step S102 to take out the next queue.
[0268]
Then, the position at the shooting time is acquired from the extracted movement log, and it is checked whether or not the camera is in the shooting space (step S107). If a movement log in the shooting space is found, the ranking point value for the corresponding subject is calculated (step S108), and the member ID and ranking point value are stored (step S109).
[0269]
Thereafter, the process returns to step S14, and subject recognition and ranking / point value calculation processing are repeated for the next registered member.
[0270]
C. Adding map information
In the present invention, by comparing the shooting space calculated from the shooting state of the subject with the map information, a building or the like included in the shooting space is recognized as a subject and registered in the photo recognition target list.
[0271]
Here, map information is generally universal and is created for everyone. Here, when describing map information with recognition units, if it is set for everyone, recognition units necessary only for individual users or limited user groups are discarded.
[0272]
Therefore, in this embodiment, map additional information to which a recognition index is added is further prepared, and a user adds a new recognition index to the recognition result within a user group that allows the use of the map additional information. The recognition index is also inserted into the recognition target list of the photos of other users whose shooting spaces overlap. In addition, by newly registering a new recognition index in the map addition information of the user / group, this recognition index is also applied to a photograph taken in an area where the photographing spaces overlap.
[0273]
According to the present embodiment, by adding a new index using a photo taken at a certain shooting location, this new index is also added to a photo previously shot at the same shooting location. FIG. 74 illustrates the mechanism of a photographic image management method according to this embodiment.
[0274]
In the example shown in the drawing, a photograph is taken toward a building 31 at a certain camera position 11 on the map 3, and a photograph indicated by reference numeral 41 is taken. In addition, photographing is performed toward the building 31 at another camera position 12 on the map 3, and a photograph indicated by reference numeral 42 is photographed. Then, subject recognition processing is performed on the photos 41 and 42, and a recognition target list shown in the photos is created.
[0275]
  Here, it is assumed that the user who has taken the photo 41 gives the subject 31 in the recognition target list the name “Ryugujo” and registers it as a recognition index. In response to the additional registration by the user, the image management system describes the subject 31 as “Ryugu Castle” in the map information of the group to which the user belongs, and another photo of the subject 31 already taken.4The recognition index of the subject 31 is also updated on the recognition target list attached to 2.
[0276]
In the present embodiment, the photographing apparatus is configured by, for example, a mobile phone with a camera function and has an external configuration as shown in FIG. The internal configuration of this photographing apparatus is the same as that shown in FIG.
[0277]
FIG. 75 schematically shows an internal configuration of a server that communicates with each photographing apparatus and performs a subject recognition and recognition target list providing service. This server receives information on the shooting state and the shooting time from the device on the shooting side, and further receives information on the position of the subject and the position measurement time from the device on the subject side, and the shooting position on the predetermined map information. And the position information of each building or moving body, and processing for recognizing the building or person in the shooting space as a subject is performed.
[0278]
The server shown in the figure further includes a map additional information storage unit 523 in addition to the server configuration shown in FIG. The map additional information storage unit 523 additionally registers and stores the recognition index additionally registered on the user's photographing device on the map information of the same user / group.
[0279]
In this embodiment, the number of subjects on the captured image is recognized by collating the shooting space of the photograph taken by the user with the map information. Furthermore, when a certain user adds a new recognition index to the recognition result within the same user group, the recognition index is also inserted into the recognition target list of the photos of other users whose shooting spaces overlap. In addition, by newly registering a new recognition index in the map addition information of the user / group, this recognition index is also applied to a photograph taken in an area where the photographing spaces overlap.
[0280]
As described above, in order to use the added recognition index not included in general map information for subject recognition within a specific user group, the subject recognition service for a photographed image and a server for providing a recognition target list are provided. It is assumed that registration of map use is performed between users. FIG. 76 illustrates a processing procedure for making a map use registration application to the server.
[0281]
First, a device 5331 of a certain user makes a map use registration application for applying for permission to use another user's map to the center server 5333 (T511). Next, the center server 5333 confirms the map use registration with respect to the device 5332 of another user (T521).
[0282]
When the permission of map use is returned from another user's device 5332 (T531), the center server 5333 updates the map use information and sends a map use registration change notification to the photographing device 5331 (T514).
[0283]
FIG. 77 shows a processing procedure in the case where an application is rejected when a certain user makes an application for permission to use another user's map.
[0284]
First, a device 5331 of a certain user makes a map use registration application for applying for permission to use another user's map to the center server 5333 (T511). Next, the center server 5333 confirms the map use registration with respect to the device 5332 of another user (T521).
[0285]
On the other hand, if a refusal to use the map is returned from another user's device 5332 (T532), the center server 5333 sends a map use registration refusal notification to the requesting user's device 5331 (T513).
[0286]
Since the use of map information has different policies for each user and is related to the privacy of the user, the map addition information including the added recognition index is not shared thereafter for the device that refuses the map use registration.
[0287]
Also in this embodiment in which map information related to a new recognition index is shared among users, the screen configuration example of the image management user interface is the same as that shown in FIG. As in the case described with reference to FIGS. 29 and 70, the recognition target index can be changed by operating the up and down buttons.
[0288]
FIG. 78 illustrates a processing procedure for updating the recognition index for a photograph that has already been taken.
[0289]
First, in the photographing device 5331, a new recognition index is added to the photographed photograph by GUI operation (T911), and this is transmitted to the center server 5333 together with the photographing state of the photograph to add map additional information. Application for registration is made (T912).
[0290]
On the side of the center server 5333, the photographing space for the photographic image to which the recognition index has been added is calculated (T921), and additionally registered in the map additional information 523 as a recognition unit (T922). Then, after notifying the newly created recognition index to other users who have completed use registration of the map additional information (T923), ACC is returned to the device 5331 that has added the recognition index (T924). .
[0291]
Next, on the device 5331 side, the shooting state of other photos is also sent to the center server 5333 (T913), and a request is made to determine whether these photos also include the added recognition index. .
[0292]
The center server 5333 performs subject recognition processing for these photos again (T925), and returns the ranking point value for the recognized subject for each photo to the device 5331 (T926).
[0293]
On the device 5331 side, when the point value of the added recognition index is larger than 0 (T914), a new recognition index is additionally registered in the photo recognition index (T915).
[0294]
On the registered user device side that received the notification in T923, the processing from T913 to T915 is performed in the same manner, and additional registration processing for adding a new recognition index to the recognition target list of already photographed photos is performed.
[0295]
FIG. 79 shows a processing procedure for updating the map information by adding the recognition index performed at T922 in FIG. 78 in the form of a flowchart.
[0296]
First, based on the shooting state composed of the camera position, lens direction, focal length, angle of view, aperture value, etc. at the time of shooting sent from the device 31 side at T12, shooting consisting of the focus plane and depth of field A space is calculated (step S111).
[0297]
Next, a weight distribution according to the center angle and the distance from the focus plane is calculated for the imaging space (step S112). The reason why the shooting space is weighted is that, in a situation where the measurement accuracy is not sufficiently high, a large number of recognition candidates are acquired according to the accuracy of the information and are presented to the user in a ranked form.
[0298]
Next, if the added recognition target index overlaps the imaging space, the overlap is calculated (step S113). In this embodiment, it is equally divided by the overlapping number.
[0299]
Then, the recognition target index is additionally registered in the map additional information database 423 (step S114), and the entire processing routine is terminated.
[0300]
  FIG.0As described above with reference to FIG. 4, the shooting space 4002 in each piece of photographic data is a shooting state parameter including the shooting position of the camera 1, the lens direction 4001, the angle of view 4003, the focus distance 4022, the focal length information, and the aperture value. It is calculated using the values, and is represented by arcs 4012, 4022, and 4032 constituting the focus surface, front depths of field 4013, 4023, and 4033, and rear depths of field 4011, 4021, and 4031.
[0301]
  Also, FIG.1As described with reference to, the imaging space is weighted according to the center angle and the distance from the focus plane. That is, the imaging space has a weighted slope in the camera direction and the left-right direction of the focus plane, and the weight is reduced in the vertical direction (points 4023 and 4021) and in the left-right direction (points 4012 and 4032). Note that when the map information is divided into cells (described later), normalization is performed so that the integral of the shooting space becomes 1.
[0302]
FIG. 80 shows a state where shooting spaces of different users (or different photos) intersect. In the example shown in the figure, two imaging areas 1321 and 1322 intersect at an area indicated by reference numeral 1323.
[0303]
In the present embodiment, for convenience of calculation processing such as collation between the imaging space and the recognition target, and collation between the imaging spaces, it is divided into mesh cells and handled in units of cells (same as above).
[0304]
FIG. 81 shows a processing procedure for dividing a plurality of photographing spaces in units of cells in the form of a flowchart. Here, a process of adding a shooting space as a recognition unit to data that has already been divided into cells is shown.
[0305]
Processing is performed in each cell. If there is no additional area (step S121), the next cell is processed. If there is no unprocessed cell, the entire processing routine is terminated.
[0306]
First, one additional area is taken out (step S122). If there is no additional area (step S123), the point value in the cell is normalized to 1 (step S124), written as cell information, and the next cell is processed.
[0307]
If there is additional information (step S123), an index is added to the cell (step S126), and the process returns to step S122.
[0308]
D. Automatic photo album creation
In the preceding paragraph A, according to the present invention, in subject recognition of a photographic image, a focus surface and a depth of field are formed based on a shooting state including a camera position, a lens direction, a focal length, a field angle, and an aperture value at the time of shooting. It has been described that an imaging space is calculated, the imaging space is compared with predetermined map information, and an object existing in the imaging space on the map can be recognized as a subject.
[0309]
Also, in the previous section B, a subject that is a moving body such as a person is also brought with a device that acquires a movement log, and by obtaining position information at the time of shooting, it is possible to collate with the shooting space and be on the map. It has been explained that moving objects can be subject to object recognition as well as still life such as buildings.
[0310]
Further, in the previous section C, not only the existing recognition target is used for the map information, but also the user adds a new recognition target to the map information, and the photograph taken by the same user in the past or the photograph taken by another user He explained that a new recognition object can be applied to photographs taken thereafter.
[0311]
In addition, the subject area or the shooting space exists for the shooting space weighted according to the distance from the focus plane, the distance from the central axis, the measurement value and error radius of the camera position, the direction measurement value and the error width. It is possible to calculate the ranking point value of each subject using the accuracy of the recognition, and to give priority to each of a plurality of recognition indexes. The user can efficiently manage photographic images by referring to the list of recognition indexes with priorities.
[0312]
In this section, multiple photos with ranking subject information added are grouped according to the type of subject, and the photos are selected using ranking point values, so that the album A method of automatically generating the will be described.
[0313]
FIG. 82 shows a procedure of automatic album generation processing in the form of a flowchart.
[0314]
First, photographs are input (step S131), and subject information is added to these (step S132). Since the processing for adding subject information has already been described in the preceding paragraphs A to C, description thereof is omitted here. Further, in the case of a travel photograph with an itinerary, an itinerary item can be added as a subject item to each photo based on the time and itinerary attached to the photograph.
[0315]
Next, the user selects a desired category from among the recognition types (person, building / place, event, itinerary, etc.), and performs grouping for the designated category (step S133). Then, the order is determined between the groups. (Step S134). This ordering can be done by comparing the average photography times registered in the group and arranging them in order from the youngest, or by adding the ranking values of the subject information held by the photos registered in the group. For example, a method of comparing values and arranging them in order from the largest value.
[0316]
Next, the order is determined within the group (step S135). As a method for determining the order, a method of arranging each photo in ascending order, or a method of comparing the total values of the subject information rankings of individual photos and arranging them in order from the largest Etc.
[0317]
Finally, a photo is arranged for each group, and an album is created and output (step S136).
[0318]
  FIG. 83 illustrates the information structure described in the photo file. JPEG (Joint Pphotographic  In the Experts Group) format or the like, an image field 8311 and an information field called Exif are provided for a photo file 8301. The MPEG (Moving Picture Experts Group) format also includes an image data portion 8311 and a metadata description portion.
[0319]
In the illustrated example, a tag structure for describing a category element as shown in FIG. 84 is introduced to an information field existing in an image file, and a person 8312-1, building / location 8312-2, Categories such as event 8312-3 and itinerary 8312-4 are described.
[0320]
FIG. 84 shows information described in the information field in the image file. This information is surrounded by a category tag 8400. Tags for describing categories of persons 8411 to 8413, buildings / places 8422, events 8423, and itineraries 8424 are prepared, and ranking / point values can be described in each tag.
[0321]
FIG. 85 shows the procedure of the grouping process in the form of a flowchart.
[0322]
First, a photograph having a key that is equal to or greater than a predetermined threshold is acquired (step S141). Next, the appearing keyword name is stored in the list as a group name (step S142). At this time, registration is not performed for those overlapping with the already acquired category name (step S143).
[0323]
Then, photos are sorted for each group registered in the list (step S144). In the present embodiment, when there are photographs belonging to a plurality of groups, the sizes of the keyword rankings are compared and registered in the keyword group having the larger value.
[0324]
FIG. 86 shows a configuration example of albums automatically generated by grouping in the category “Itinerary”. In the field indicated by reference number 8601, itinerary information 8611 to 8613 is described. In the field indicated by reference number 8602, a photographic image 8621 and a comment 8622 attached to the photograph are described. Each photograph is output in a group.
[0325]
FIG. 87 shows a configuration example of an album automatically generated by grouping with the category “person”. In the field indicated by reference number 8701, person information 8711 to 8713 is described. In the field indicated by reference number 8702, a photographic image 8721 and a comment 8722 attached to the photograph are described. Each photograph is output in a group unit.
[0326]
[Supplement]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiment without departing from the gist of the present invention. That is, the present invention has been disclosed in the form of exemplification, and the contents described in the present specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
[0327]
【The invention's effect】
As described in detail above, according to the present invention, an excellent image management system and image management method that can facilitate the management of photographs by combining the photographed photograph and the subject in the photograph, In addition, a computer program can be provided.
[0328]
Further, according to the present invention, it is possible to provide an excellent image management system, image management method, and computer program capable of assigning priorities among a plurality of shooting targets and performing practical subject recognition. .
[0329]
In addition, according to the present invention, it is possible to suitably manage, group, and perform other editing processes for a large number of captured images based on subject information or other additional information attached to each captured image. A management system, an image management method, and a computer program can be provided.
[0330]
According to the present invention, in subject recognition, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value of the camera position and the error radius, the direction measured value and the error are weighted according to the field. Thus, each of the plurality of recognition indexes can be prioritized using the area of the subject as a recognition unit described in the map information. As a result, the list order of the recognition index set can be determined and used for photo search and other photo management / editing. For example, in a situation where the measurement accuracy is not sufficiently high, a large number of recognition candidates are obtained and presented to the user in a ranked form so that the user can edit the list order or delete items. Is less burdensome than the effort of adding items by manual entry.
[0331]
  Also, according to the present invention, grouping is performed using a subject ranking value for a recognition result in a category specified by a user for a set of photos to which subject information having a plurality of categories is added. It is possible to realize automatic generation of an album in which photos are arranged for each group. Further, it can be determined using the evaluation value for subject recognition, such as the display order of the group unit or the photo display order within the group. Therefore, an organized album can be automatically generated by performing photo grouping.
[Brief description of the drawings]
FIG. 1 is a diagram showing how a subject is recognized using camera position, lens direction, and map information.
FIG. 2 is a diagram schematically showing a system configuration of an image management system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an external configuration of a device corresponding to the photographing apparatus 101. FIG.
FIG. 4 is a diagram showing an internal configuration of the photographing apparatus 101.
FIG. 5 is a diagram schematically showing a configuration of an image management server that communicates with a mobile phone possessed by each user.
FIG. 6 shows an operation showing a processing procedure for recognizing a subject included in an image photographed on a mobile phone, giving a ranking point to each subject, and performing a user editing operation based on the ranking point; It is a sequence diagram.
FIG. 7 is a diagram for explaining information acquired at the time of taking a picture on a user device having a camera function such as a mobile phone;
FIG. 8 is a diagram showing a configuration example of a data format for recording a photographing state acquired at the time of photographing.
FIG. 9 is a diagram illustrating an example of a method for expressing a lens direction of a camera acquired from a direction acquisition unit 404;
FIG. 10 is a flowchart showing a processing procedure for editing map information accumulated in the server.
FIG. 11 is a diagram schematically showing a functional configuration of a map information editing apparatus that performs map information editing processing as shown in FIG. 10;
FIG. 12 is a diagram for explaining a method of setting a recognition unit area on a map;
FIG. 13 is a diagram showing a state in which recognition unit classification is designated.
FIG. 14 is a diagram showing how to specify a hierarchy of recognition indexes.
FIG. 15 is a diagram showing a configuration example of a data format of map information for editing.
FIG. 16 is a diagram showing how to adjust the weighting of recognition indexes that are hierarchized.
FIG. 17 is a diagram showing a configuration example of a map information format used for the operation of the subject list providing service.
FIG. 18 is a diagram showing a relationship between a cell-divided map, a camera position, and a lens direction.
FIG. 19 is a diagram showing a state in which recognition units existing in a cell are registered.
FIG. 20 is a diagram illustrating a state in which a cell including an imaging space is selected.
FIG. 21 is a diagram illustrating a state in which a recognition unit is acquired from a selected cell using an intra-cell recognition unit quick reference table.
FIG. 22 is a diagram for explaining a processing procedure for calculating a ranking point for a recognition unit in a photographing space.
FIG. 23 is a diagram illustrating a configuration example of a data format describing an event.
FIG. 24 is a flowchart showing a processing procedure for calculating an event and its ranking points.
FIG. 25 is a diagram illustrating a state where a recognition unit index is acquired from a captured image.
FIG. 26 is a diagram illustrating a configuration example of a data format describing a recognition unit index.
FIG. 27 is a diagram showing a screen configuration example of an image management user interface based on ranking points.
FIG. 28 is a diagram illustrating a configuration example of a command setting screen.
FIG. 29 is a diagram showing how a recognition index is changed by point adjustment.
FIG. 30 is a flowchart showing a processing procedure for changing a recognition unit index.
FIG. 31 shows how a recognition unit index is inserted.
FIG. 32 is a diagram illustrating a result of inserting a recognition unit index.
FIG. 33 is a diagram showing a state where the recognition target index is changed by operating the up and down buttons.
FIG. 34 is a diagram showing a state of data changed by changing a recognition target.
FIG. 35 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area that a recognition unit has in an imaging space.
FIG. 36 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area that a recognition unit has in an imaging space.
FIG. 37 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area that a recognition unit has in an imaging space.
FIG. 38 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area that a recognition unit has in an imaging space.
FIG. 39 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area that a recognition unit has in an imaging space.
FIG. 40 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 41 is a diagram for describing a ranking point value calculation method for a subject;
FIG. 42 is a diagram for explaining a ranking point value calculation method for a subject.
FIG. 43 is a diagram for explaining a ranking point value calculation method for a subject;
FIG. 44 is a diagram for describing a ranking point value calculation method for a subject;
FIG. 45 is a diagram for describing a ranking point value calculation method for a subject;
FIG. 46 is a diagram for explaining a ranking point value calculation method for a subject.
FIG. 47 is a diagram for explaining a ranking point value calculation method for a subject.
FIG. 48 is a diagram for describing a ranking point value calculation method for a subject.
FIG. 49 is a diagram for explaining a ranking point value calculation method for a subject.
FIG. 50 is a diagram for explaining a ranking point value calculation method for a subject.
FIG. 51 is a diagram for explaining a ranking point value calculation method for a subject;
FIG. 52 is a diagram for explaining a ranking point value calculation method for a subject;
FIG. 53 is a diagram for describing a mechanism in which subject recognition processing is performed based on position information of a subject such as a person and a photographing space of a photographed image.
54 is a diagram showing an internal configuration of the photographing side device 5331. FIG.
FIG. 55 is a diagram showing an external configuration of a movement log recording device.
FIG. 56 is a diagram showing an internal configuration of a movement log recording device.
57 is a diagram schematically showing an internal configuration of an apparatus operating as a center server 5333 in the subject recognition service shown in FIG. 53. FIG.
FIG. 58 is an operation sequence diagram showing a processing procedure for applying for permission to use position information for a subject.
FIG. 59 is an operation sequence diagram showing a processing procedure in a case where an application is rejected when an application for permitting use of position information for a subject is made.
60. A subject included in an image photographed on the photographing device 5331 is recognized by the center server 5333, ranking points are given to each subject and provided to the device 5331, and ranking is performed on the photographing device 5331. FIG. FIG. 6 is an operation sequence diagram illustrating a processing procedure for performing a user editing operation based on points.
FIG. 61 is a diagram illustrating a relationship between a camera position, a lens direction, and a subject on a cell-divided map.
FIG. 62 is a diagram illustrating a configuration example of a subject list for which a device has been authenticated.
FIG. 63 is a diagram showing a state where recognition targets existing in a cell are registered.
FIG. 64 is a diagram illustrating a state in which a cell including an imaging space is selected.
65 is a diagram showing a state in which recognition targets are acquired from the subject list for each device shown in FIG. 62. FIG.
66 is a diagram showing a state in which a recognition target is acquired from a selected cell using the in-cell recognition target quick reference table shown in FIG. 63. FIG.
FIG. 67 is a diagram for explaining a method of calculating ranking points for a recognition unit made up of a moving body such as a person existing in a shooting space;
FIG. 68 is a diagram illustrating a state in which a recognition target index related to a person is acquired from a captured image.
FIG. 69 is a diagram illustrating a configuration example of a data format describing a recognition target index including a person as a recognition target.
FIG. 70 is a diagram showing a state where the recognition target index is changed by operating the up and down buttons.
FIG. 71 is a diagram showing a state of data changed by changing a recognition target.
FIG. 72 is a diagram illustrating a state in which a positional relationship between a subject and a camera is acquired from a movement log.
FIG. 73 is a flowchart showing a subject recognition processing procedure for a captured image including a moving body such as a person as a subject.
[Fig. 74] Fig. 74 is a diagram for explaining a mechanism of a photographic image management method in which a new index is added to a photo previously taken at the same shooting location by newly adding an index.
FIG. 75 is a diagram schematically illustrating a configuration of a server that performs communication with each imaging apparatus and performs subject recognition and a recognition target list providing service.
FIG. 76 is an operation sequence diagram showing a processing procedure for making a map use registration application to the server.
FIG. 77 is an operation sequence diagram showing a processing procedure when an application is rejected when a certain user makes an application for permission to use another user's map;
FIG. 78 is an operation sequence diagram showing a processing procedure for updating a recognition index for a photograph that has already been taken.
FIG. 79 is a flowchart showing a processing procedure for updating map information by adding a recognition index performed at T922 in FIG. 78;
FIG. 80 is a diagram illustrating a state where shooting spaces of different users (or different photographs) intersect.
FIG. 81 is a flowchart showing a processing procedure for dividing a plurality of imaging spaces into cells.
FIG. 82 is a flowchart showing the procedure of automatic album generation processing.
FIG. 83 is a diagram showing an information structure described in a photo file.
Fig. 84 is a diagram showing information described in an information field in an image file.
FIG. 85 is a flowchart showing a procedure for grouping processing;
FIG. 86 is a diagram showing a configuration example of an album automatically generated by grouping with a category “journey”.
FIG. 87 is a diagram showing a configuration example of an album automatically generated by grouping with a category “person”.
[Explanation of symbols]
101. Imaging device
102 ... Shooting state acquisition unit
103 ... Subject recognition unit
104 ... Ranking and point granting unit
105. Image storage unit
106 ... Image search / editing unit

Claims (9)

撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得手段と、
前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システム。An image management system for managing an image by combining with a subject included in a captured image,
Shooting state acquisition means for acquiring the camera position, lens direction, focal length, angle of view, aperture value at the time of shooting as a shooting state;
Shooting space estimation means for calculating a shooting space composed of a focus plane and a depth of field in a shot image based on an instruction value of the shooting state;
Subject recognition means for recognizing an object existing in the photographing space on the map as a subject, by comparing the photographing space calculated by the photographing space estimation means with predetermined map information;
Subject evaluation value calculating means for calculating an evaluation value of each recognized subject by giving a weight based on a shooting position error and a line-of-sight direction error to a ratio of the subject in the shooting space ;
An image management system comprising: 各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理手段と、
優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
をさらに備えることを特徴とする請求項１に記載の画像管理システム。Subject management means for managing subjects included in each image according to a priority order based on the evaluation value;
Image search means for searching for an image including a subject according to priority;
The image management system according to claim 1, further comprising: 前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に基づいて評価値を計算する、The subject evaluation value calculating means calculates an evaluation value based on a ratio of the subject in the shooting space;
ことを特徴とする請求項１に記載の画像管理システム。The image management system according to claim 1. 前記の地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られ、The map information is configured by arranging recognition units consisting of buildings and other objects on a map, and a recognition index is assigned to each recognition unit,
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返す、The subject recognition means returns a recognition index list of recognition units recognized as subjects in the shooting space as a recognition result.
ことを特徴とする請求項１に記載の画像管理システム。The image management system according to claim 1. 移動体の位置情報を取得する移動***置情報取得手段をさらに備え、It further includes a moving body position information acquisition means for acquiring position information of the moving body,
前記被写体認識手段は、移動体の位置情報と撮影空間とを照合して被写体認識を行なう、The subject recognizing means performs subject recognition by collating position information of a moving body with a shooting space.
ことを特徴とする請求項１に記載の画像管理システム。The image management system according to claim 1. ユーザが新たに認識対象を地図情報に追加登録する認識対象登録手段をさらに備え、The apparatus further comprises a recognition object registration means for the user to newly register a recognition object in the map information,
前記被写体認識手段は、撮影空間内にある追加登録された認識対象を被写体として認識する、The subject recognition means recognizes an additionally registered recognition target in the shooting space as a subject;
ことを特徴とする請求項１に記載の画像管理システム。The image management system according to claim 1. 認識単位は認識の種類毎に分類が可能であり、Recognition units can be classified by type of recognition,
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位を認識の種類毎に分類した認識インデックスのリストを認識結果として返す、The subject recognition means returns a recognition index list obtained by classifying recognition units recognized as subjects in the shooting space for each recognition type, as a recognition result.
ことを特徴とする請求項１に記載の画像管理システム。The image management system according to claim 1. コンピュータ上で構築される画像管理システムにおいて、撮影した画像に含まれる被写体と結合して画像を管理する画像管理方法であって、In an image management system constructed on a computer, an image management method for managing an image in combination with a subject included in a captured image,
前記コンピュータが備える撮影状態取得手段が、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得ステップと、A shooting state acquisition unit provided in the computer acquires a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of shooting as a shooting state;
前記コンピュータが備える撮影空間推定手段が、前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定ステップと、An imaging space estimation unit provided in the computer calculates an imaging space consisting of a focus plane and a depth of field that are to be imaged in the captured image based on an instruction value of the imaging state; and
前記コンピュータが備える被写体認識手段が、前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、Subject recognition means provided in the computer for collating the shooting space calculated in the shooting space estimation step with predetermined map information and recognizing an object existing in the shooting space on the map as a subject; ,
前記コンピュータが備える被写体評価値算出手段が、認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出ステップと、The subject evaluation value calculating means provided in the computer calculates the evaluation value of each recognized subject by giving a weight based on the shooting position error and the line-of-sight direction error to the proportion of the subject in the shooting space. A calculation step;
を有することを特徴とする画像管理方法。An image management method characterized by comprising: 撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、A computer program described in a computer-readable format so as to execute processing for managing an image in combination with a subject included in a captured image on the computer, the computer comprising:
撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得手段、Shooting state acquisition means for acquiring the camera position, lens direction, focal length, angle of view, aperture value at the time of shooting as the shooting state,
前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定手段、Shooting space estimation means for calculating a shooting space consisting of a focus surface and a depth of field in a shot image based on the instruction value of the shooting state;
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段、Subject recognition means for collating the imaging space calculated by the imaging space estimation means with predetermined map information and recognizing an object existing in the imaging space on the map as an object;
認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出手段、A subject evaluation value calculating means for calculating a recognized evaluation value of each subject by giving a weight based on a shooting position error and a gaze direction error with respect to a ratio of the subject in the shooting space;
として機能させるためのコンピュータ・プログラム。Computer program to function as