JP4281402B2 - 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム - Google Patents
画像管理システム及び画像管理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4281402B2 JP4281402B2 JP2003116170A JP2003116170A JP4281402B2 JP 4281402 B2 JP4281402 B2 JP 4281402B2 JP 2003116170 A JP2003116170 A JP 2003116170A JP 2003116170 A JP2003116170 A JP 2003116170A JP 4281402 B2 JP4281402 B2 JP 4281402B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognition
- shooting
- image
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の被写体が含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、カメラ位置と方向を計測し、地図情報上に記載された認識インデックスを被写体として認識することができる。しかしながら、被写体認識を行なうには、位置と計測を非常に精度よく計測する必要がある。また、あらかじめ用意しておく地図情報は、撮影者が何を認識させたいかに対応していない。
【０００８】
また、撮影場所や撮影対象に関する付加情報を得て、操作性を向上する画像記録装置について提案がなされている（例えば、特開２０００−１３７２２号公報を参照のこと）。この画像記録装置によれば、複数の撮影対象候補が抽出された場合には、その確度の高い順に優先順位を付して推定するようになっている。しかしながら、撮影対象候補の確度を求めるに当たり、撮影画像中に設けられた推定範囲の中心からの距離に基づいて優先順位付けを行なっているので、撮影画像中でどんなに大きく写った物体（例えば巨大な建造物など）であっても、推定範囲の中心から外れると評価されない。また、焦点方向と一致している撮影対象は高い確度が付与されることになるが、この際、被写界深度に関しては一切考慮されていない。
【０００９】
一方、得られた写真画像をアルバムとして編集し保存することは一般的に行なわれている。従来のアルバム作成システムでは、写真を撮影時間順にソートする方式のものや、撮影された時間やＧＰＳログ内の時間と照らし合わせることによって、地図上に写真を配列する方式のものなどがあった。また、写真に何らかの被写体情報を付加してある場合には、これら付加情報を利用して写真検索が行なわれる。
【００１０】
しかしながら、個々の写真に被写体情報が何らかの方法で付加されている場合、これを用いて写真アルバムを作成する方法は皆無である。
【００１１】
また、写真に付けられた被写体情報を対象とした検索方法を応用して、写真を並べて表示するということは技術的には可能であるが、その評価軸は１軸であり、各々の被写体に対するグルーピングを施し、アルバムを編集するということはできない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【００１６】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００１７】
本発明は、各画像に含まれる被写体をその評価値に基づいた優先順位に従って、検索やその他の画像管理を効率的に行なうものである。
【００１８】
本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができる。
【００１９】
さらに、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識単位のそれぞれに優先順位を付けることができる。これによって、認識単位の集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。
【００２０】
また、前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて評価値を計算するようにしてもよい。
【００２１】
例えば、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００２２】
また、本発明に係る画像管理システムは、被写体毎に用意されているイベント表を蓄積するイベント表蓄積手段と、画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段とをさらに備えてもよい。
【００２３】
被写体認識に用いる地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られている。そして、前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返すようになっている。
【００２４】
この地図情報は、各認識単位に地図上で面積を持ち、位置的に重ね合わせて複数の認識単位を定義することができる。そして、認識単位は階層化されており、位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与えることによって、複数の認識単位間でランキングの調整を行なうことができる。また、位置的に重なり合う認識単位が同じ階層に割り付けられている場合、各認識単位の認識インデックス値を重なり合う数で割ることによって均等化するようにする。
【００２５】
また、認識単位に複数のカテゴリを用意してもよい。前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位をカテゴリ毎に分類した認識インデックスのリストを認識結果として返すようにしてもよい。
【００２６】
このような場合、カテゴリ毎に撮影画像をグループ化し、画像グループ毎にアルバムを生成することができる。
【００２７】
例えば、所定の手続で決定されるグループ間順序に従って各画像グループのアルバムを順次生成する。ここで言うグループ間順位は、例えば各画像グループに含まれる撮影画像の平均撮影時間又は評価値の合計に基づいて決定される。
【００２８】
また、所定の手続で決定されるグループ内順序に従って画像グループ内の撮影画像を取捨選択して画像グループのアルバムを生成する。ここで言うグループ内順序は、例えば、画像グループ内の各撮影画像の撮影時間又は評価値に基づいて決定される。
【００２９】
また、本発明の第２の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
Ａ．写真の被写体認識
図１には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号１は撮影に用いるカメラであり、図示の例では被写体３１を撮影している。また、参照番号３はカメラ位置と被写体３１を地図上にマッピングした様子を示している。また、参照番号４は、図示のカメラ位置及びレンズ方向にて被写体３１を含む風景を撮影した写真を示している。
【００３４】
図２には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【００３５】
まず、デジタル・カメラなど撮影装置１０１によって撮影を行なう。また、撮影状態取得部１０２は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【００３６】
被写体認識部１０３は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識する。
【００３７】
ランキング・ポイント付与部１０４は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内で占める割合に基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる（後述）。
【００３８】
画像保存部１０５は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索／編集部１０６は、認識インデックス集合のリスト順位を決め、ユーザ操作による画像の検索や編集作業を支援する。
【００３９】
図３には、上述した画像管理システムにおいて、撮影装置１０１に相当する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が配設されており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００４０】
図４には、図３に示した撮影装置１０１の内部構成を示している。
【００４１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００４２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４３】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００４４】
通信部４０１は、携帯電話網上の基地局との通信処理を行なう。
【００４５】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００４６】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【００４７】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【００４８】
出力部４０７は、画像信号の外部出力や、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４９】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻を出力するようになっている。
【００５０】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００５１】
図４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００５２】
図５には、各ユーザが所持する携帯電話機（図４を参照のこと）と通信を行なう画像管理サーバの構成を模式的に示している。この画像管理サーバは、撮影画像と、その撮影ログ（撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報など）を受信し、被写体認識並びに各被写体に対するランキング・ポイントの付与、並びに画像保存や、画像検索・編集の支援などのサービスを提供する。
【００５３】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００５４】
ＲＡＭ５１３は、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００５５】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００５６】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【００５７】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する（後述）。
【００５８】
被写体リスト取得部５１１は、撮影画像に付随する撮影ログに含まれている撮影状態から算出される撮影空間と地図情報とを照合して、カメラの撮影対象範囲にある物体の集合を被写体リストとして取得する。
【００５９】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００６０】
図６には、携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【００６１】
まず、携帯電話機において撮影した後（Ｔ６１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをサーバ側へ送信する（Ｔ６１２）。
【００６２】
サーバ側では、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（後述）（Ｔ６２１）。
【００６３】
次いで、サーバは、撮影ログに含まれている撮影時のカメラ位置と地図情報とを照合して、この撮影画像の撮影対象範囲にある物体の集合を被写体リストとして作成する。
【００６４】
さらに、サーバは、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）（Ｔ６２３）。
【００６５】
そして、サーバは、作成した被写体リストとリスト順位を、携帯電話機に返信する（Ｔ６２４）。
【００６６】
携帯電話機側では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ６１３）。
【００６７】
図７には、携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を示している。
【００６８】
例えば、参照番号７０４に示すような写真が撮影された場合、写真撮影と同時に、時計４１６が出力する撮影時間７５１、位置測定部４０３によって測定された撮影場所７５２、方向取得部４０４によって取得されたレンズ方向７５３が取得され、撮影状態７０５として撮影画像と対応付けて撮影ログ保存部４２３に保存される。
【００６９】
また、図８には、図７に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で撮影状態が記述され、撮影時刻８５１と、撮影場所８５２と、撮影方向８５３が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク８０４が含まれている。
【００７０】
図９には、撮影方向すなわち方向取得部４０４から取得されるカメラのレンズ方向を表現する方法の一例を示している。図示の例では、レンズ方向５３１は、北を０度としたときの、時計回りの方向の角度５３２として記述される。
【００７１】
図１０には、サーバにおいて蓄積される地図情報を編集するための処理手順をフローチャートの形式で示している。本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【００７２】
まず、編集用の地図情報を読み込む（ステップＳ１）。編集用の地図情報がない場合には新規作成する。
【００７３】
次いで、認識単位を領域として選択、設定する（ステップＳ２）。そして、これに相当するインデックスを設定し（ステップＳ３）、重なり設定を行ない（ステップＳ４）、情報を記録する（ステップＳ５）。
【００７４】
ここで、領域設定が終了していない場合には（ステップＳ６）、ステップＳ２に戻る。また、領域設定が終了している場合で、地図データへの書き出しを行なわない場合（ステップＳ７）、編集用地図を書き出して（ステップＳ８）、本処理ルーチン全体を終了する。
【００７５】
一方、地図データの書き出しを行なう場合には、セルへ分割し（ステップＳ９）、それぞれのセル毎にインデックスのランキングを計算した後（ステップＳ１０）、地図データとして出力し（ステップＳ１１）、本処理ルーチン全体を終了する。
【００７６】
図１１には、図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示している。
【００７７】
ＣＰＵ１１１５がオペレーティング・システムの制御下で、地図情報を編集するためのプログラムを実行することによって、この装置全体の動作が統括的にコントロールされる。ＣＰＵ１１１５は、バス１１１７を介して各部に相互接続されている。
【００７８】
ＲＡＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００７９】
入力部１１０８は、マウスやキーボードなどのユーザからのコマンドやデータを入力するためのユーザ入力装置や、外部記憶装置やネットワーク上のホスト装置などからの伝送データを受信するための入力ポートなどで構成される。
【００８０】
出力部１１０７は、ディスプレイやプリンタなどのＣＰＵ１１１５による演算処理結果を画面出力又は印刷出力する装置、あるいは外部記憶装置やネットワーク上のホスト装置へデータを送信するための出力ポートなどで構成される。
【００８１】
ランキング計算部１１４１は、重なっている認識単位領域がある場合に、各々のインデックスに対するランキング値の計算を行なう。
【００８２】
領域分割部１１４２は、同じレベルの認識単位が地図上で干渉する場合に、ランキング値を干渉しているインデックス数で等分する計算を行なう。
【００８３】
セル化部１１４３は、地図データを出力する際に、地図をセル毎に分割し、各々のセルにおいてインデックス毎のランキングを計算し、所定の出力形式に変換する処理を行なう。
【００８４】
図１２には、地図１２０３上に設定されている各認識単位の領域を示している。同図に示す例では、認識単位としての平安神宮３１、二条通り３２、東大路通り３３、東山駅３４、三条通り３５、地下鉄東西線３６、神宮通り３７が地図上に配設されている。各認識単位は、カメラ１で撮影したときに被写体となり得る。各認識単位には認識インデックスが割り振られている。
【００８５】
それぞれの認識単位は、地図上で面積を持っているが、位置的に重ね合わせて定義することができる。また、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。
【００８６】
例えば、図１２に示す例では、三条通り３５、地下鉄東西線３６、東山駅３４が位置的に重なり合って定義されているが、東山駅３４、地下鉄東西線３６、三条通り３５の順で大きなランキング・ポイントが与えられている。したがって、東山駅３４を写した撮影画像内には、地下鉄東西線３６（あるいは写されない）、三条通り３５がともに写されているが、より大きなランキング・ポイントが与えられている東山駅３４が被写体リストのより上位にリストアップされることになる。
【００８７】
また、元の地図情報にない認識単位をユーザ操作などによって作成・編集して追加することも可能である。図１２に示す例では、地図編集装置を操作するユーザが、地図表示画面上で、参照番号４１及び４２で示すようなマウス操作を印加することによって、認識単位としての東山駅３４が描画される。
【００８８】
図１３には、認識単位の分類を指定する様子を示している。地図編集装置のディスプレイ画面上では、図１２に示した地図表示ウィンドウで、東山駅３４あるいはその他の認識単位をユーザが手付け入力したことに応答して、図１３に示す認識単位の分類指定ウィンドウがポップアップ表示される。ここで、図１３に示すように分類名「駅」をマウスでクリックすることにより、新規に作成された認識単位が駅であることが登録される。
【００８９】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができる。このような場合、認識インデックスが階層化される。図１４には、認識インデックスの階層を指定する様子を示している。同図に示す例では、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。図１４では、図１２に示すように東山駅３４を新規作成したときに東山駅３４をインデックスとして登録しているところを表している。
【００９０】
図１５には、このような編集用の地図情報のデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ形式で地図情報が記述されている。同図に示すように、それぞれの認識単位は、図１４に示したインデックスと階層に従ってタグ情報として記述されている。また、個々のタグ情報の中には対応する認識単位に付与された認識の分類（図１３を参照のこと）が記述されている。さらに、タグ情報には、各認識単位についての地図上の位置データの記述が含まれている。
【００９１】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができ、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。図１６には、階層化されている認識インデックスの重み付けを調整する様子を示している。
【００９２】
図１４を参照しながら既に説明したように、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。京都３０、三条通り３５、地下鉄東西線３６、東山駅３４の各インデックスが階層化されている様子が図１６には示されている。本実施形態では、上に重なる認識単位のポイントを、一定値αだけ逐次加算するようにしている。例えば、α＝１とした場合、京都３０のポイントを１とすると、三条通り３５のポイントは２、地下鉄東西線３６のポイントは３、東山駅３４のポイントは４となる。
【００９３】
また、二条通り３２と神宮通り３７は、図１４に示したように同一階層の認識単位であるが、図１６中の参照番号３８で示す領域で干渉している。このことから、領域３８では、各々の認識単位のポイント値を半分にしている。このように、同一階層にある認識単位が地図上で干渉している場合、干渉している各認識単位のポイント値を干渉数で割ることによって均等化している。
【００９４】
図１７には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【００９５】
図１５に示した編集用地図データに対して、地図をセル毎に分割し、セル内にある認識インデックスの階層に基づいて、インデックス毎のランキング値を計算し、規格化を行なっておく。なお、図示のフォーマットは、セル情報部７００１と、認識単位定義部７００２で構成される。
【００９６】
セル情報部７００１において、参照番号７１１１は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は０となる。また、同図中の参照番号７１１２、７１１３は、地図をセルに分割したときの横位置及び縦位置のセル数を示している。また、参照番号７１２１〜７１２３は、セル内の認識単位数を示しており、この値が０だと、これに続く認識単位指示７１２３−１が省略される。
【００９７】
参照番号７１２３−５で示されるセル（ｉ，ｊ）内の認識単位数は５であり、認識単位支持７１２３−１が存在している。この中には、認識単位番号７１２３−３とポイント７１２３−２が対となって定義されている。また、ポイントは足して１になるように規格化されている。
【００９８】
次に、認識単位定義部７００２において、参照番号７０２１は認識単位数を表しており、その１番目から順になるように記述されている。ここで、例えば３４番目の情報の場合、認識単位番号３４の情報を示しており、この中には認識単位カテゴリ７２２１と認識単位名７２２２がある。
【００９９】
図１８には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０１００】
参照番号１は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り３２と神宮通り３７の交差する付近に立ち、平安神宮３１を向いて撮影しているところを表している。
【０１０１】
図１９には、セル内に存在する認識単位を登録している様子を示している。例えば、参照番号５０は、図１８に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、認識単位インデックスである東山駅３４、三条通り３５、地下鉄東西線３６が当該セルに含まれていることが判る。図１９に示すような認識単位の登録方式を採用することにより、認識単位を早見することができる。
【０１０２】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影空間と地図情報とを照合して、撮影空間にある建造物などの認識単位を抽出して、認識単位インデックスをポイント値に従ってリストアップして被写体リストを作成する。撮影空間内の認識単位を探索する際の、計算上の便宜から、図１９に示したようなセル内認識単位早見表を利用する。
【０１０３】
図２０には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０１０４】
次いで、選択されたセルに含まれる認識単位を取得する。図２１には、図１９に示したセル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示している。同図に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択され、さらにこれらセルに登録されている認識単位インデックスである平安神宮３１、二条通り３２、並びに神宮通り３７が選択されたセルに含まれるものとして取得される。
【０１０５】
次いで、認識された各認識単位についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての認識単位が撮影空間内で占める割合に基づいて評価値を計算する。さらに、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、地図情報に記載されている認識単位の面積を用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０１０６】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確度という観点で順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０１０７】
図２２には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【０１０８】
既に述べたように、カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図２２に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。
【０１０９】
ここで、カメラ１が、図２２中の参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０１１０】
また、図２２には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。また、この撮影空間２２１４内にある認識単位２２０２は、参照番号２２２２で示されるようにセル単位に分割されており、中心角２２２２−１とピント面からの距離２２２２−２に応じた重み付けが与えられている。
【０１１１】
認識単位ｓについてのランキング・ポイントｒｓの計算式を以下に示している。
【０１１２】
【数１】
【０１１３】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｓｋｓは他の認識単位ｋとの重なりによる重みをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｓｋｓはそれぞれ値が規格化されているものとする。
【０１１４】
本実施形態では、地図情報上の各認識単位が持つイベントに関する情報を時間軸上で管理し、撮影時間とイベント表との照合により、被写体としてのイベントを取得し、これにもランキング・ポイントが与えられ、画像検索やアルバム作成などの画像管理に利用される。イベントの管理は、例えば、サーバ内の催し物カレンダ５２５にて行なわれる。
【０１１５】
図２３には、イベントを記載するデータ・フォーマットの構成例を示している。イベントは認識単位毎に定義される。同図に示す例では、京都３０に対するイベント７１と、平安神宮３１に対するイベント７２がこれに相当し、それぞれ効用７１１と時代祭７２１が定義されている。勿論、イベントを持たない認識単位もある。
【０１１６】
図２３の右側に示すように、イベント・データは例えばｘｍｌ形式で記述され、認識対象毎にイベントがその開催日時とともにタグ情報として記載されている。このようなデータ・フォーマットを認識単位と撮影時間で走査することによって、撮影画像に該当するイベントを取り出すことができる。
【０１１７】
図２４には、イベントとそのランキング・ポイントを計算するための処理手順をフローチャートの形式で示している。
【０１１８】
まず、撮影画像に付加されている撮影ログから撮影状態を取り出し、撮影空間を算出し、この撮影空間に含まれる認識単位を取り出す（ステップＳ２１）。
【０１１９】
そして、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、認識単位が持つ面積を用いてランキング・ポイント値が算出される。
【０１２０】
次いで、図２３に示したようなイベント・データを走査して、取り出された各認識単位及び撮影時間と照合するイベントを取り出す（ステップＳ２２）。
【０１２１】
そして、各イベントのポイント値を認識単位が持つポイント値に設定する（ステップＳ２３）。
【０１２２】
図２５には、撮影画像の中から認識単位インデックスが取得された様子を示している。図７を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号５７は認識単位インデックスを示している。認識単位インデックスが取得された場合、撮影ログに加えて、認識種類として、場所５２０とイベント５３０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０１２３】
図２６には、認識単位インデックスを記述するデータ・フォーマットの構成例を示している。
【０１２４】
図８を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図８に示す例では、ｘｍｌ形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【０１２５】
図２６では、さらに、撮影画像に含まれる認識単位インデックスとそのポイント値が記載されるとともに、撮影時間と認識単位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値０．６３、０．２８、０．１９とともにタグ情報５２１、５２２、５２３として記載されている。また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値０．６３，０．１９とともにタグ情報として記載されている。
【０１２６】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これらの付加情報に基づいて写真の管理を好適に行なうことができる。
【０１２７】
図２７には、ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【０１２８】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【０１２９】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【０１３０】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【０１３１】
【数２】
【０１３２】
図２７に示した画像管理用ユーザ・インターフェースには、選択された写真に対して特定の処理を適用するコマンド・ボタンが用意されている。図２８には、コマンドの設定を行なうコマンド設定画面の構成例を示している。
【０１３３】
例えば、図２７に示した画像管理用ユーザ・インターフェース画面上で、「設定」コマンド・ボタン２７６３を選択すると、図２８に示すような、「メール」６３１、「画像編集」６３２、「インデックス編集」６３３からなるサブメニュー・ウィンドウがポップアップ表示される。個々のサブメニュー項目にはさらにサブメニュー項目が用意されている。図示の例では、「ポイント編集」６３３１、と「リスト順位編集」６３３２がインデックス編集６３３のサブメニュー項目として用意されている。図示の状態では、リスト順位編集がデフォルトとして指定されており、編集コマンドをクリックすると、認識インデックス編集としてリスト順位編集モードが選択実行される。
【０１３４】
図２９には、ポイント調整により認識インデックスを変更する様子を示している。参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドを示している。参照番号５２０２〜５２０４で示すように、現在の認識単位インデックスのリスト５２００は、ポイント０．６３で平安神宮、ポイント０．２８で神宮通り、ポイント０．１９で京都がリストアップされている。
【０１３５】
ここで、参照番号５２０７で示すように、「神宮通り」を削り、「竜宮城」を追加し、「竜宮城」のポイントを入力するという手付け入力操作を行なうと、認識単位の名前が切り替わるとともに、リスト順位が変更されて、参照番号５２１２〜５２１４で示すように、ポイント０．６３で平安神宮、ポイント０．１９で京都、ポイント０．１で竜宮城がリストアップされる。
【０１３６】
図３０には、認識単位インデックスを変更するための処理手順をフローチャートの形式で示している。
【０１３７】
まず、認識インデックス・リストの編集モードへ入る（ステップＳ３１）。そして、編集モードが終了するまで（ステップＳ３２）、ユーザによってリスト編集が行なわれる（ステップＳ３３）。ここで言うリスト編集には、認識インデックスの追加、順位変更、名称変更などが挙げられる。
【０１３８】
ここで、認識インデックスの削除が行なわれた場合には（ステップＳ３４）、これを削除し（ステップＳ３７）、そうでない場合には、編集履歴が保存される（ステップＳ３５）。
【０１３９】
そして、編集が終了したならば、ポイント修正を行なってから（ステップＳ３６）、本処理ルーチン全体を終了する。
【０１４０】
図３１には、認識単位インデックスを挿入する様子を示している。図示の例では、参照番号３１０１、３１０２で示す場所に既存の認識単位インデックスがあり、参照番号３１１０で示される範囲にＡ１〜Ａ３、参照番号３１２０で示される範囲にＢ１、参照番号３１３０で示される範囲にＣ１〜Ｃ２を挿入している。ここで、ポイントの最小値は０、最大値は１となっており、この範囲に収まるように各インデックスのポイント値が調整される。
【０１４１】
そして、図３２には、認識単位インデックスを挿入した結果を示している。参照番号３２３１並びに３２３２は、ポイント値が最小値０から０．０６の間に２つ追加されていることから、認識単位インデックスＣ２、Ｃ１はそれぞれ０．０２，０．０４となる。同様に、参照番号３２２１は、ポイント値が０．０６〜０．４６の間に入り、Ｂ１は０．２６となる。また、参照番号３２１１〜３２１３は、ポイント値が最大値１〜０．４６の間に入り、Ａ１は０．８６５、Ａ２は０．７３、Ａ３は０．５９５となる。
【０１４２】
図３３には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０１４３】
参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号５２０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５２０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【０１４４】
図示の例では、現在の認識単位のインデックス・リスト５２００は、平安神宮５２０２、神宮通り５２０３、京都５２０４からなる。これに対し、参照番号５２０７で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮５２１２、京都５２１４、竜宮城５２１８というリスト順位になる。
【０１４５】
図３４には、認識対象の変更によって変化したデータの様子を示している。
【０１４６】
図２６に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都からなるリストが記載され、また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」からなるリストが記載されている。
【０１４７】
これに対し、図３３に示したような認識単位インデックスの変更を行なった結果、認識種類「場所」のリスト５２１０内が、平安神宮５２１２、京都５２１４、竜宮城５２１８に変わっている。
【０１４８】
上述した実施形態では、被写体認識において、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体が占める面積すなわち建造物の床面積を用いてランキング・ポイント値を算出するものであった。実際には、建造物は平屋建て、数階建て、あるいは高層ビルの場合もあり、これに応じて（撮影空間ではなく）撮影画像内で占める割合も相違するので、単に床面積だけで撮影画像内での優先順位を推定するだけでは不十分なこともある。そこで、認識単位が持つ床面積だけではなく、その建造物が持つ表面積と併せてランキング・ポイント値を求めるという被写体の評価方法も考えられる。
【０１４９】
図３５には、図１２に示したような地図情報が３次元的に表現されている。但し、認識単位としての各建造物は、建造物を囲む最小限の立方体すなわちＢｏｕｎｄａｒｙＢｏｘ（境界立方体）の形で表されている。また、図３７には、このような地図上で、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影した画像を示している。
【０１５０】
図３６には、図３５に示した地図上に存在する認識単位インデックスの階層を指定する様子を示している。例えば図３５に示したような３次元地図表示上で、認識対象３２０をユーザが手付け入力したことに応答して、図３６に示す認識単位の階層指定ウィンドウがポップアップ表示され、該当する認識単位の上の階層に割り付けることができる。
【０１５１】
図３８には、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影したときの撮影空間を作成する様子を示している。また、図３９には、撮影空間内の認識単位に対するランキング・ポイント値を計算する様子を示している。
【０１５２】
カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置１１を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向３９１３で画角に相当する部分が撮影空間として抽出される。
【０１５３】
図３９には、カメラ１が図３７に示した画像を撮影したときの撮影空間３９１４を示している。撮影空間３９１４は、撮影状態に基づいて、ピント面３９１５と被写界深度によって算出される。この撮影空間には、例えば、二条通り３４１や、○○公園３１１、噴水３１２などの認識単位が含まれている。○○公園３１１と噴水３１２は同じ位置に重なり合っているが、インデックス階層の上にある噴水３１２のほうにより大きなポイントが与えられる。また、二条通り３４１や○○公園３１１が平面的であり、床面積しか持たないのに対し、噴水３１２は立体的であり、さらにＢｏｕｎｄａｒｙＢｏｘの表面積を考慮してランキング・ポイント値が計算される。
【０１５４】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と地図情報を照合し、撮影空間内の建造物などの認識単位を被写体として認識する。さらに、撮影空間内の認識単位についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【０１５５】
被写体すなわち写真に現れている認識単位に対するランキング・ポイント値の計算方法については、図２２を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【０１５６】
図４０には撮影領域を示している。 個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【０１５７】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図４１には、撮影空間における重み傾斜の様子を示している。 参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。
【０１５８】
図４２には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ４１）。次いで、被写体の位置を入力する（ステップＳ４２）。そして、カリングを行なった結果（ステップＳ４３）、カリングされた場合には０を返し（ステップＳ４５）、そうでない場合にはランキング・ポイント値が計算される（ステップＳ４６）。
【０１５９】
図４３には、図４２に示したフローチャート中のステップＳ４３に相当するカリング処理の詳細な手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ５１）。次いで、被写体の位置を入力し（ステップＳ５２）、対象物を含む最小半径の円を境界円として作成する（ステップＳ５３）。次いで、図４４で述べる距離条件を満たし（ステップＳ５４）、図４５で述べる角度条件１を満たし（ステップＳ５５）、図４６で述べる角度条件２を満たす（ステップＳ５６）場合、ＴＲＵＥを返し（ステップＳ５７）、そうでない場合にはＦＡＬＳＥを返す（ステップＳ５８）。
【０１６０】
図４４には、カリングの距離条件を判定する様子を示している。参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３２は撮影領域を、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、それぞれ示している。また、参照番号４４３７は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【０１６１】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号４４３７に示すベクトルの大きさが、参照番号４４３６で示されるピント距離を中心として、前方被写界深度４４３５と後方被写界深度４４３４の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６２】
【数３】
【０１６３】
図４５には、カリングの角度条件１を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２にカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３８はレンズ方向に向かって右にある画角限界ベクトルを示しており、 これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１６４】
下式には、カリングの角度条件１の判定を行なう式である。 図４５において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円半径分４４２２の余裕を持って入っていることが条件となる。
【０１６５】
【数４】
【０１６６】
図４６には、カリングの角度条件２を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。参照番号４４３８は、レンズ方向に向かって左にある画角限界ベクトルを示しており、これに直交するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付き距離を表すことになる。
【０１６７】
下式には、カリングの角度条件２の判定を行なう式を示している。図４６において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６８】
【数５】
【０１６９】
図４７には、被写体領域をセル分割する様子を示している。同図において、参照番号４７０３は被写体領域を示している。まず、被写体領域をｘ軸とｙ軸に沿って、最大値と最小値を求めることによって、境界長方形４７０１を求める。次いで、参照番号４７４１で示されるｘ軸方向の刻み幅ｄｘと、参照番号４７４２で示されるｙ軸方向刻み幅のｄｙを用いて、境界長方形４７０１をメッシュ４７２１に分解する。各メッシュ内の中心点４７２２が被写体領域４７０３に含まれているとき、ランキング・ポイント値の計算を行なう。参照番号４７３１はランキング・ポイント値の計算を行なうメッシュ・セルを示している。
【０１７０】
図４８には、被写体に対するランキング・ポイント値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体領域の積分を行なう。
【０１７１】
まず、ｘ軸とｙ軸に沿って最大値と最小値をとる頂点を求めることにより、被写体領域を覆う長方形を取得する（ステップＳ６１）。
【０１７２】
次いで、被写体領域面積Ｓと、ランク値Ｓｕｍを０で初期化し（ステップＳ６２）。ｘ軸方向変数ｘに先行ステップＳ６１で取得したｘ軸最小値Ｘｍｉｎを代入する（ステップＳ６３）。また、ｙ軸方向変数ｙに先行ステップＳ６１で取得したｙ軸最小値Ｙｍｉｎを代入する（ステップＳ６４）。
【０１７３】
次いで、現在注目しているメッシュ・セルの中心点Ｐが被写体領域内にあれば（ステップＳ６５）、 面積Ｓを１だけ増やし（ステップＳ６６）、ランキング・ポイント値Ｓｕｍにカメラ側から点Ｐを見たときのランキング・ポイント値を加える（ステップＳ６７）。
【０１７４】
次いで、ｙに刻み幅ｄｙを加える（ステップＳ６８）。そして、ｙがｙ軸最大値Ｙｍａｘより小さければ（ステップＳ６９）、ステップＳ６５へ戻る。
【０１７５】
次いで、ｘに刻み幅ｄｘを加え（ステップＳ７０）、ｘがｘ軸最大値Ｘｍａｘより小さければ（ステップＳ７１）、ステップＳ６５へ戻る。
【０１７６】
最後に、ｓｕｍをＳで割って規格化した後（ステップＳ７２）、これを出力して（ステップＳ７３）、本処理ルーチン全体を終了する。
【０１７７】
図４９には、被写体のある点に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラの誤差円部分の積分を行なう。
【０１７８】
まず、被写***置Ｏを入力する（ステップＳ８１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ８２）、半径変数ｒを０に初期化する（ステップＳ８３）。
【０１７９】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ８４）、角度変数θを０に初期化する（ステップＳ８５)。
【０１８０】
次いで、カメラ誤差円内の点座標Ｐを求め（ステップＳ８６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ８７）。
【０１８１】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ８８）、θが２πを越えなければ（ステップＳ８９）、ステップＳ８６へ移動する。
【０１８２】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ９０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ９１）、ステップＳ８４へ移動する。
【０１８３】
そして、誤差半径面積Ｓを計算し（ステップＳ９２）、ｓｕｍをＳで規格化して出力し（ステップＳ９３）、本処理ルーチン全体を終了する。
【０１８４】
図５０には、距離条件を判定する様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１８５】
下式には、距離条件の判定を行なう式を示している。ベクトル４４３７の長さが、ピント距離４４３６を中心として、前方被写界深度４４３５と後方被写界深度４４３４の範囲内に含まれていることを条件とする。
【０１８６】
【数６】
【０１８７】
図５１には、角度条件を判定する様子を示している。 同図において、参照番号４４３１は北からのレンズ方向までの角度を、参照番号４４３２は画角を、参照番号４４３８はレンズ方向ベクトルを、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。また、参照番号４４３９は、このベクトル４４３７とレンズ方向ベクトル４４３８のなす角度を示している。
【０１８８】
下式には、角度条件の判定を行なう式を示している。図５１で求めた角度４４３９が画角４４３３未満となることを条件とする。
【０１８９】
【数７】
【０１９０】
図５２には、前後方被写界を分ける様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２−１は前方被写界深度内撮影空間を、 参照番号４４３２−２は後方被写界深度内撮影空間を、それぞれ示している。 また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１９１】
下式により前後方被写界におけるランク値を計算する。 図５２に示すように、被写体が前方被写界深度内撮影空間内４４３２−１にあるときと、後方被写界深度内撮影空間内４４３２−２にあるときでその計算式が異なっている。
【０１９２】
【数８】
【０１９３】
Ｂ．移動体からなる被写体の認識
上述した実施形態では、撮影画像中の認識対象は、建造物など地図上での位置が静的・固定的であり、基本的には撮影空間と地図上の各認識対象の位置との照合により被写体認識を行なうものである。この場合、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。そこで、以下では、移動体が被写体として含まれる写真画像において、写真と被写体とを結合させることによって写真の管理を行なう画像管理システムについて説明する。
【０１９４】
図５３には、図２に示した画像管理システムにおいて、人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【０１９５】
撮影装置５３３１は、撮影時に装置５３３１内で取得される撮影情報をセンター５３３３へ転送する。また、被写体５３３２としての人は、ＧＰＳなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター５３３３へ転送する。この後、センター５３３３では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【０１９６】
撮影側の装置５３３１は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。この撮影側装置５３３１の内部構成を図５４に示している。
【０１９７】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１９８】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１９９】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【０２００】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２０１】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、方向測定部４０４は、固定値である方向誤差を出力する。
【０２０２】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【０２０３】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【０２０４】
出力部４０７は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０２０５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２０６】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０２０７】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２０８】
図５４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【０２０９】
勿論、被写体となる人物も、自ら写真撮影を行なう場合には、図５４に示した機器構成の装置を携帯して、自身の移動ログを取得してもよい。あるいは、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持する。この場合の移動ログ記録装置の外観構成を図５５に、その内部構成を図５６に示している。
【０２１０】
図５５に示すように、移動ログ記録装置は、携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１を備えている。
【０２１１】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能を実現するための各プログラムを実行することによって、この移動ログ記録装置の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０２１２】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１３は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０２１３】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２１４】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ４３４に記録する。
【０２１５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２１６】
図示の機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２１７】
図５７には、図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示している。このサーバ５３３３は、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【０２１８】
同図に示すサーバ５３３３は、図５に示したサーバ構成に対し、さらに端末位置情報蓄積部５２１と、ＩＤ公開情報蓄積部５２２を備えている。
【０２１９】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【０２２０】
本実施形態では、図５３や図５５に示した機器を携帯する人々から得られる被写***置情報を利用して、これら移動体の位置と撮影空間とを照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写***置情報の利用を、各機器ユーザが許可していることが前提となる。図５８には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【０２２１】
まず、撮影側の機器５３３１が、センター・サーバ５３３３に対して名簿登録申請を行なう（Ｔ９１１）。次いで、センター・サーバ５３３３が、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２２】
被写体側の機器５３３２から許可が返ってきたら（Ｔ９３１）、センター・サーバ５３３３は、ＩＤ公開情報を更新し、名簿登録変更通知を撮影側の機器５３３１へ送る（Ｔ９１４）。
【０２２３】
また、図５９には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２２４】
撮影側の機器５３３１がセンター・サーバ５３３３に対して名簿登録申請を行ない（Ｔ９１１）、センター・サーバ５３３３は、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２５】
これに対し、被写体側の機器５３３２から拒否が返ってきたら（Ｔ９３２）、センター・サーバ５３３３は、名簿登録拒否通知を撮影側の機器５３３１へ送る（Ｔ９１３）。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体認識の処理対象外となる。
【０２２６】
図６０には、撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイント値を付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイント値に基づいたユーザの編集操作を行なうための処理手順を示している。
【０２２７】
まず、撮影側機器５３３１において撮影した後（Ｔ１１１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ５３３３側へ送信する（Ｔ１１１２）。
【０２２８】
センター・サーバ５３３３側では、ＩＤ公開情報５２２から被写体となり得る対象者リストを取得する（Ｔ１１２１）。このとき、ＩＤ公開情報５２２への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ５３３３は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（Ｔ１１２２）。
【０２２９】
撮影範囲内に名簿登録された（すなわち位置取得を許可した）被写体側機器がいた場合、センター・サーバ５３３３は、これら各機器５３３２に対して、位置確認を行なう（Ｔ１１２３）。そして、各機器５３３２から位置報告を受け（Ｔ１１３１）、撮影空間に入っているものを抽出して、被写体リストを作成する（Ｔ１１２４）。
【０２３０】
この後、センター・サーバ５３３３は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する（Ｔ１１２５）。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【０２３１】
そして、センター・サーバ５３３３は、作成した被写体リストとリスト順位を、撮影側機器５３３１に返信する（Ｔ１１２６）。
【０２３２】
撮影側機器５３３１では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ１１１３）。
【０２３３】
本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる（同上）。
【０２３４】
図６１には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０２３５】
図示の地図上には、被写体としての人２１〜２６が散在している。各被写体は、図５３又は図５５に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ５３３３から位置情報を取得することができる。同図では、撮影側の機器１が２人の被写体２５、２６を撮影したところを示している。
【０２３６】
図６２には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ１は、機器ユーザ２２，２５，２６から被写体としての認証を得ており、センター・サーバ５３３３では機器ユーザ１からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ２５は、機器ユーザ１、２６から被写体としての認証を得ており、機器ユーザ２６は、機器ユーザ１、２４から被写体としての認証を得ている。
【０２３７】
図６３には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号５０は、図６１に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器２４が当該セルに含まれていることが判る。図６３に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【０２３８】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図６３に示したようなセル内認識対象早見表を利用する。
【０２３９】
図６４には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０２４０】
次いで、選択されたセルに含まれる認識対象を取得する。図６５には、図６２に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図６６には、図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【０２４１】
まず、図６５に示すように、被写体リストから、機器１を認証している被写体が機器２２、２５、２６であることを検知し、これらの機器の位置情報を取得する。
【０２４２】
次いで、図６６に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器１、機器２５、機器２６が選択されたセルに含まれるものとして取得される。
【０２４３】
次いで、認識された各認識対象についての評価値としてのランキング・ポイント値を計算する。本実施形態では、被写体としての人（又はその他の移動体）が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写***置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０２４４】
図６７には、撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する様子を示している。
【０２４５】
カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている（前述）。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図６７に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号２２０２で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【０２４６】
ここで、カメラ１が、参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０２４７】
また、図６７には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。
【０２４８】
この撮影空間２２１４内にある認識対象は、位置測定により得られた被写***置２２０２を中心とした誤差範囲２２２１を持ち、これを参照番号２２２２で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル２２２２は、測定値２２０２からの距離２２２２−３に応じた重み付けがなされ、さらに中心角２２２２−１とピント面からの距離２２２２２−４に応じた重み付けがなされている。
【０２４９】
認識単位ｐについてのランキング・ポイントｒｐの計算式を以下に示している。
【０２５０】
【数９】
【０２５１】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｏｋｓは被写体の確からしさをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｏｋｓはそれぞれ値が規格化されているものとする。
【０２５２】
図６８には、撮影画像の中から人物に関する認識対象インデックスが取得された様子を示している。図２５に示した認識対象点デックスに対し、認識種類として人物５１０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０２５３】
図６９には、人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示している。同図に示す例では、図２６に示したデータ・フォーマットに対し、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０が追加され、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２とともにタグ情報５１１、５１２として記載されている。
【０２５４】
本実施形態に係る画像管理システムによれば、撮影画像に含まれる被写体の認識、並びに被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示され、これに基づいて写真の管理を好適に行なうことができる。
【０２５５】
人物などの移動体も被写体として認識する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。
【０２５６】
図７０には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０２５７】
参照番号５１０１は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号５１０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５１０６は該当する認識単位のリスト順位を一つずつ下げるボタンを、それぞれ示している。
【０２５８】
図示の例では、現在の認識単位のインデックス・リスト５１００は、なっち５１０２、ひかり５１０３からなる。これに対し、参照番号５１０７で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち５１１２、なおみ５２１８というリスト順位になる。
【０２５９】
図７１には、認識対象の変更によって変化したデータの様子を示している。
【０２６０】
図６９に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。これに対し、図７０に示したような認識単位インデックスの変更を行なった結果、図７１に示すように、認識種類「人物」のリスト５１１０内が、なっち５１１２、なおみ５１１８に変わっている。
【０２６１】
本実施形態では、被写体から得られた位置情報とカメラ位置などの撮影状態から得られた撮影空間との照合により、撮影画像中の被写体の認識を行なう。図７２には、被写体とカメラ間における位置関係を移動ログから取得する様子を示している。
【０２６２】
参照番号３１０１は撮影側の機器の移動ログを示している。また、参照番号３１１１は、この移動ログ３１０１上で写真撮影が行なわれた地点であり、そのときの時刻３１１３は１２時３５分である。
【０２６３】
一方、被写***置は被写体が携帯していた移動ログ記録装置の移動ログ３０３４から取り出される。参照番号３１２１は、撮影位置３１１１にて撮影側装置で写真撮影が行なわれたときの被写***置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間３１１３に対応するように、サンプリング値から逆算して求める。
【０２６４】
撮影位置３１１１と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間３１１２が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写***置３１２１が求められる。そして、撮影空間３１１２と被写***置３１２１とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができ、図６７を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【０２６５】
図７３には、本実施形態における、人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順をフローチャートの形式で示している。
【０２６６】
まず、撮影データをキューに入れる（ステップＳ１０１）。そして、このキューから１つずつ撮影データを取り出す（ステップＳ１０２）。このとき、未処理データがなくなれば（ステップＳ１０３）、本処理ルーチン全体を終了する。
【０２６７】
次いで、登録メンバー表から１人分の移動ログを取り出す（ステップＳ１０４）。ここで、未処理メンバーがいなくった時点で（ステップＳ１０５）、ステップＳ１０２に戻り、次のキューを取り出す。
【０２６８】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする（ステップＳ１０７）。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し（ステップＳ１０８）、そのメンバーＩＤとランキング・ポイント値を保存する（ステップＳ１０９）。
【０２６９】
その後、ステップＳ１４に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【０２７０】
Ｃ．地図情報の追加
本発明では、被写体の撮影状態から算出される撮影空間と地図情報との照合により、撮影空間に含まれる建造物などを被写体として認識し、写真の認識対象リストに登録していく。
【０２７１】
ここで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。
【０２７２】
そこで、本実施形態では、認識インデックスを追加していく地図追加情報をさらに用意し、地図追加情報の利用を許可し合ったユーザ・グループ内では、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２７３】
本実施形態によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図７４には、本実施形態に係る写真画像の管理方法の仕組みを図解している。
【０２７４】
図示の例では、地図３上のあるカメラ位置１１にて建造物３１に向かって撮影を行ない、参照番号４１で示される写真が撮影されている。また、地図３上の別のカメラ位置１２にて建造物３１に向かって撮影を行ない、参照番号４２で示される写真が撮影されている。そして、写真４１、４２について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【０２７５】
ここで、写真４１を撮影したユーザが、認識対象リスト中の被写体３１に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体３１を「竜宮城」として記述するとともに、既に被写体３１を撮影した別の写真４２に付いた認識対象リスト上にも被写体３１の認識インデックスを併せて更新する。
【０２７６】
本実施形態では、撮影装置は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。また、この撮影装置の内部構成は図５４に示したものと同様である。
【０２７７】
図７５には、各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの内部構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、さらには被写体側ユーザの機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物や移動体の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【０２７８】
同図に示すサーバは、図５７に示したサーバ構成に対し、さらに地図追加情報格納部５２３を備えている。この地図追加情報格納部５２３は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【０２７９】
本実施形態では、ユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２８０】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図７６には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【０２８１】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８２】
他のユーザの機器５３３２から地図利用の許可が返ってきたら（Ｔ５３１）、センター・サーバ５３３３は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器５３３１へ送る（Ｔ５１４）。
【０２８３】
また、図７７には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２８４】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８５】
これに対し、他のユーザの機器５３３２から地図利用に対する拒否が返ってきたら（Ｔ５３２）、センター・サーバ５３３３は、地図利用登録拒否通知を要求元ユーザの機器５３３１へ送る（Ｔ５１３）。
【０２８６】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【０２８７】
ユーザ間で新規の認識インデックスに関する地図情報を共有する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。また、図２９や図７０を参照しながら説明した場合と同様、上下ボタンの操作により認識対象インデックスを変更することができる。
【０２８８】
図７８には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【０２８９】
まず、撮影側の機器５３３１において、ＧＵＩ操作により、撮影した写真に対して新しい認識インデックスの追加を行ない（Ｔ９１１）、これを当該写真の撮影状態とともにセンター・サーバ５３３３へ送信して、地図追加情報への登録申請を行なう（Ｔ９１２）。
【０２９０】
センター・サーバ５３３３側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し（Ｔ９２１）、認識単位として地図追加情報５２３に追加登録する（Ｔ９２２）。そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後（Ｔ９２３）、認識インデックスの追加を行なった機器５３３１にＡＣＣを返す（Ｔ９２４）。
【０２９１】
次いで、機器５３３１側では、他の写真についても、各々の撮影状態をセンター・サーバ５３３３へ送り（Ｔ９１３）、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。
【０２９２】
センター・サーバ５３３３では、これらの写真について被写体認識処理を改めて行ない（Ｔ９２５）、各写真毎の認識された被写体についてのランキング・ポイント値を機器５３３１へ返す（Ｔ９２６）。
【０２９３】
そして、機器５３３１側では、追加された認識インデックスのポイント値が０より大きくなる場合（Ｔ９１４）、その写真の認識インデックスに新規の認識インデックスを追加登録する（Ｔ９１５）。
【０２９４】
なお、Ｔ９２３において通知を受けた登録ユーザの機器側では、Ｔ９１３〜Ｔ９１５の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【０２９５】
図７９には、図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【０２９６】
まず、Ｔ１２で機器３１側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する（ステップＳ１１１）。
【０２９７】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する（ステップＳ１１２）。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【０２９８】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する（ステップＳ１１３）。本実施形態では、重なっている数で等分している。
【０２９９】
そして、地図追加情報データベース４２３へ認識対象インデックスを追加登録して（ステップＳ１１４）、本処理ルーチン全体を終了する。
【０３００】
図４０を参照しながら既に説明したように、個々の写真データにおける撮影空間４００２は、カメラ１の撮影位置、レンズ方向４００１、画角４００３、ピント距離４０２２、焦点距離情報、絞り値からなる撮影状態のパラメータ値を用いて計算され、ピント面を構成する円弧４０１２、４０２２、４０３２と、前方被写界深度４０１３、４０２３、４０３３と、後方被写界深度４０１１、４０２１、４０３１で表される。
【０３０１】
また、図４１を参照しながら説明したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。すなわち、撮影空間は、カメラ方向並びにピント面の左右方向における重み傾斜を持ち、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で（後述）、撮影空間の積分が１になるように規格化しておく。
【０３０２】
図８０には、異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示している。同図に示す例では、２つの撮影領域１３２１、１３２２が参照番号１３２３で示した領域で交差している。
【０３０３】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う（同上）。
【０３０４】
図８１には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【０３０５】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には（ステップＳ１２１）、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【０３０６】
まず、追加領域を１つ取り出す（ステップＳ１２２）。追加領域がない場合（ステップＳ１２３）、セル内のポイント値を１に規格化し（ステップＳ１２４）、セル情報として書き込み、次のセルの処理を行なう。
【０３０７】
追加情報がある場合（ステップＳ１２３）、セルにインデックスを加え（ステップＳ１２６）、ステップＳ１２２に戻る。
【０３０８】
Ｄ．写真アルバムの自動作成
前項Ａでは、本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができることを説明した。
【０３０９】
また、前項Ｂでは、人物などの移動体からなる被写体にも移動ログを取得する装置を携帯させ、撮影時点での位置情報を得ることにより、撮影空間との照合が可能となり、地図上にある建造物などの静物と同様に移動体も被写体認識の対象とすることができることを説明した。
【０３１０】
また、前項Ｃでは、地図情報に既存の認識対象を利用するだけでなく、ユーザが新たな認識対象を地図情報に追加し、同じユーザが過去に撮った写真や、他のユーザが撮った写真、これ以後に撮る写真に対しても新たな認識対象を作用させることができることを説明した。
【０３１１】
そして、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、これら被写体の面積あるいは撮影空間に存在する確度を用いて各被写体のランキング・ポイント値を計算し、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。ユーザは、優先順位が付された認識インデックスのリストを参照することにより、写真画像の管理を効率的に行なうことができる。
【０３１２】
本項では、ランキング付き被写体情報が付加されている複数の写真に対して、被写体の種類に応じてグループ化を行ない、また、ランキング・ポイント値を用いて写真の取捨選択を行なうことで、アルバムを自動生成する方法について説明する。
【０３１３】
図８２には、アルバムの自動生成処理の手順をフローチャートの形式で示している。
【０３１４】
まず、写真を入力し（ステップＳ１３１）、これらに被写体情報を付加する（ステップＳ１３２）。被写体情報を付加する処理については、前項Ａ〜Ｃにおいて既に記載しているので、ここでは説明を省略する。また、旅程付きの旅行写真の場合、写真に付いている時間と旅程に基づいて、各写真に対して旅程項目を被写体項目として付加することができる。
【０３１５】
次いで、ユーザが認識種類（人物、建物・場所、イベント、旅程など）の中から所望のカテゴリを選択し、指定されたカテゴリに対するグルーピングを行なう（ステップＳ１３３）。そして、グループ間で順序を決める。（ステップＳ１３４）。この順序決めとしては、グループ内に登録されている写真撮影時間の平均値を比較し、若いものから順番に配置する方法や、グループ内に登録されている写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１６】
次いで、グループ内で順序を決める（ステップＳ１３５）。この順序決定方法として、各々の写真撮影時間の若いものから順番に配置する方法や、個々の写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１７】
そして、最後に写真をグループ毎に配置して、アルバムを作成・出力する（ステップＳ１３６）。
【０３１８】
図８３には、写真ファイル内に記述されている情報構造を図解している。ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットなどでは、写真ファイル８３０１に対して、イメージ・フィールド８３１１と、Ｅｘｉｆと呼ばれる情報フィールドが設けられている。また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットでも、イメージ・データ部分８３１１と、メタデータ記述部分が設けられている。
【０３１９】
図示の例では、イメージ・ファイル内に存在する情報フィールドに対して、図８４に示すようなカテゴリ要素を記述するためのタグ構造を導入して、人物８３１２−１、建物・場所８３１２−２、イベント８３１２−３、旅程８３１２−４などのカテゴリを記述している。
【０３２０】
図８４には、イメージ・ファイル内の情報フィールドに記述する情報を示している。この情報は、カテゴリ・タグ８４００によって囲まれている。また、人物８４１１〜８４１３、建物・場所８４２２、イベント８４２３、旅程８４２４のカテゴリを記述するためのタグがそれぞれ用意され、各タグにはランキング・ポイント値を記述することができる。
【０３２１】
図８５には、グルーピング処理の手順をフローチャートの形式で示している。
【０３２２】
まず、所定の閾値以上となるキーを持つ写真を取得する（ステップＳ１４１）。次いで、出現したキーワード名をグループ名としてリストに保存する（ステップＳ１４２）。このとき、既に取得したカテゴリ名と重複するものについては、登録を行なわない（ステップＳ１４３）。
【０３２３】
そして、リスト内に登録したグループ毎に写真の振り分けを行なう（ステップＳ１４４）。なお、本実施形態では、複数のグループに属する写真がある場合、各々のキーワード・ランキングの大きさを比較し、この値が大きい方のキーワード・グループへ登録する。
【０３２４】
図８６には、カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８６０１に示すフィールドには、旅程情報８６１１〜８６１３が記載される。また、参照番号８６０２に示すフィールドには、写真イメージ８６２１と、写真に付けたコメント８６２２が記載される。なお、各々の写真はグループ単位でまとめられて出力される。
【０３２５】
また、図８７には、カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８７０１で示すフィールドには、人物情報８７１１〜８７１３が記載される。また、参照番号８７０２で示すフィールドには、写真イメージ８７２１と、写真に付けたコメント８７２２が記載される。なお、各々の写真は、グループ単位でまとめられて出力される。
【０３２６】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０３２７】
【発明の効果】
以上詳記したように、本発明によれば、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２８】
また、本発明によれば、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２９】
また、本発明によれば、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３３０】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差は場に応じて重み付けされた領域に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０３３１】
また、本発明によれば、複数のカテゴリがある被写体情報が付加されている写真の集合に対して、ユーザが指定したカテゴリ内の認識結果に対して、被写体のランキング値を用いてグルーピングを行ない、グループ毎に写真を配置するといったアルバムの自動生成を実現することができる。また、グループ単位の表示順位や、グループ内での写真表示順位など、被写体認識の評価値を用いて決定することができる。したがって、写真グルーピングを行なうことによって、整理されたアルバムを自動生成することができる。
【図面の簡単な説明】
【図１】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図２】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図３】撮影装置１０１に相当する機器の外観構成を示した図である。
【図４】撮影装置１０１の内部構成を示した図である。
【図５】各ユーザが所持する携帯電話機と通信を行なう画像管理サーバの構成を模式的に示した図である。
【図６】携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図７】携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を説明するための図である。
【図８】写真撮影時に取得される撮影状態を記録するデータ・フォーマットの構成例を示した図である。
【図９】方向取得部４０４から取得されるカメラのレンズ方向の表現方法の一例を示した図である。
【図１０】サーバにおいて蓄積される地図情報を編集するための処理手順を示したフローチャートである。
【図１１】図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示した図である。
【図１２】地図上に認識単位の領域を設定する方法を説明するための図である。
【図１３】認識単位の分類を指定する様子を示した図である。
【図１４】認識インデックスの階層を指定する様子を示した図である。
【図１５】編集用の地図情報のデータ・フォーマットの構成例を示した図である。
【図１６】階層化されている認識インデックスの重み付けを調整する様子を示した図である。
【図１７】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図１８】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【図１９】セル内に存在する認識単位を登録している様子を示した図である。
【図２０】撮影空間を含むセルを選択する様子を示した図である。
【図２１】セル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示した図である。
【図２２】撮影空間内の認識単位に対するランキング・ポイントを計算する処理手順を説明するための図である。
【図２３】イベントを記載するデータ・フォーマットの構成例を示した図である。
【図２４】イベントとそのランキング・ポイントを計算するための処理手順を示したフローチャートである。
【図２５】撮影画像の中から認識単位インデックスが取得された様子を示した図である。
【図２６】認識単位インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図２７】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図２８】コマンド設定画面の構成例を示した図である。
【図２９】ポイント調整により認識インデックスを変更する様子を示した図である。
【図３０】認識単位インデックスを変更するための処理手順を示したフローチャートである。
【図３１】認識単位インデックスを挿入する様子を示した図である。
【図３２】認識単位インデックスを挿入した結果を示した図である。
【図３３】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図３４】認識対象の変更によって変化したデータの様子を示した図である。
【図３５】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３６】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３７】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３８】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３９】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図４０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４３】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４４】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４７】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４８】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４９】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５３】人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図５４】撮影側装置５３３１の内部構成を示した図である。
【図５５】移動ログ記録装置の外観構成を示した図である。
【図５６】移動ログ記録装置の内部構成を示した図である。
【図５７】図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示した図である。
【図５８】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図５９】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図６０】撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイントを付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図６１】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図６２】機器が認証を受けている被写体リストの構成例を示した図である。
【図６３】セル内に存在する認識対象を登録している様子を示した図である。
【図６４】撮影空間を含むセルを選択する様子を示した図である。
【図６５】図６２に示した各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図６６】図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図６７】撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する方法を説明するための図である。
【図６８】撮影画像の中から人物に関する認識対象インデックスが取得された様子を示した図である。
【図６９】人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図７０】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図７１】認識対象の変更によって変化したデータの様子を示した図である。
【図７２】被写体とカメラとの位置関係を移動ログから取得する様子を示した図である。
【図７３】人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順を示したフローチャートである。
【図７４】新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される写真画像の管理方法の仕組みを説明するための図である。
【図７５】各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図７６】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図７７】あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図７８】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図７９】図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図８０】異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示した図である。
【図８１】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図８２】アルバムの自動生成処理の手順を示したフローチャートである。
【図８３】写真ファイル内に記述されている情報構造を示した図である。
【図８４】イメージ・ファイル内の情報フィールドに記述する情報を示した図である。
【図８５】グルーピング処理の手順を示したフローチャートである。
【図８６】カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【図８７】カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【符号の説明】
１０１…撮像装置
１０２…撮影状態取得部
１０３…被写体認識部
１０４…ランキング・ポイント付与部
１０５…画像保存部
１０６…画像検索／編集部
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の被写体が含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、カメラ位置と方向を計測し、地図情報上に記載された認識インデックスを被写体として認識することができる。しかしながら、被写体認識を行なうには、位置と計測を非常に精度よく計測する必要がある。また、あらかじめ用意しておく地図情報は、撮影者が何を認識させたいかに対応していない。
【０００８】
また、撮影場所や撮影対象に関する付加情報を得て、操作性を向上する画像記録装置について提案がなされている（例えば、特開２０００−１３７２２号公報を参照のこと）。この画像記録装置によれば、複数の撮影対象候補が抽出された場合には、その確度の高い順に優先順位を付して推定するようになっている。しかしながら、撮影対象候補の確度を求めるに当たり、撮影画像中に設けられた推定範囲の中心からの距離に基づいて優先順位付けを行なっているので、撮影画像中でどんなに大きく写った物体（例えば巨大な建造物など）であっても、推定範囲の中心から外れると評価されない。また、焦点方向と一致している撮影対象は高い確度が付与されることになるが、この際、被写界深度に関しては一切考慮されていない。
【０００９】
一方、得られた写真画像をアルバムとして編集し保存することは一般的に行なわれている。従来のアルバム作成システムでは、写真を撮影時間順にソートする方式のものや、撮影された時間やＧＰＳログ内の時間と照らし合わせることによって、地図上に写真を配列する方式のものなどがあった。また、写真に何らかの被写体情報を付加してある場合には、これら付加情報を利用して写真検索が行なわれる。
【００１０】
しかしながら、個々の写真に被写体情報が何らかの方法で付加されている場合、これを用いて写真アルバムを作成する方法は皆無である。
【００１１】
また、写真に付けられた被写体情報を対象とした検索方法を応用して、写真を並べて表示するということは技術的には可能であるが、その評価軸は１軸であり、各々の被写体に対するグルーピングを施し、アルバムを編集するということはできない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【００１６】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００１７】
本発明は、各画像に含まれる被写体をその評価値に基づいた優先順位に従って、検索やその他の画像管理を効率的に行なうものである。
【００１８】
本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができる。
【００１９】
さらに、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識単位のそれぞれに優先順位を付けることができる。これによって、認識単位の集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。
【００２０】
また、前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて評価値を計算するようにしてもよい。
【００２１】
例えば、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００２２】
また、本発明に係る画像管理システムは、被写体毎に用意されているイベント表を蓄積するイベント表蓄積手段と、画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段とをさらに備えてもよい。
【００２３】
被写体認識に用いる地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られている。そして、前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返すようになっている。
【００２４】
この地図情報は、各認識単位に地図上で面積を持ち、位置的に重ね合わせて複数の認識単位を定義することができる。そして、認識単位は階層化されており、位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与えることによって、複数の認識単位間でランキングの調整を行なうことができる。また、位置的に重なり合う認識単位が同じ階層に割り付けられている場合、各認識単位の認識インデックス値を重なり合う数で割ることによって均等化するようにする。
【００２５】
また、認識単位に複数のカテゴリを用意してもよい。前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位をカテゴリ毎に分類した認識インデックスのリストを認識結果として返すようにしてもよい。
【００２６】
このような場合、カテゴリ毎に撮影画像をグループ化し、画像グループ毎にアルバムを生成することができる。
【００２７】
例えば、所定の手続で決定されるグループ間順序に従って各画像グループのアルバムを順次生成する。ここで言うグループ間順位は、例えば各画像グループに含まれる撮影画像の平均撮影時間又は評価値の合計に基づいて決定される。
【００２８】
また、所定の手続で決定されるグループ内順序に従って画像グループ内の撮影画像を取捨選択して画像グループのアルバムを生成する。ここで言うグループ内順序は、例えば、画像グループ内の各撮影画像の撮影時間又は評価値に基づいて決定される。
【００２９】
また、本発明の第２の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
Ａ．写真の被写体認識
図１には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号１は撮影に用いるカメラであり、図示の例では被写体３１を撮影している。また、参照番号３はカメラ位置と被写体３１を地図上にマッピングした様子を示している。また、参照番号４は、図示のカメラ位置及びレンズ方向にて被写体３１を含む風景を撮影した写真を示している。
【００３４】
図２には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【００３５】
まず、デジタル・カメラなど撮影装置１０１によって撮影を行なう。また、撮影状態取得部１０２は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【００３６】
被写体認識部１０３は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識する。
【００３７】
ランキング・ポイント付与部１０４は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内で占める割合に基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる（後述）。
【００３８】
画像保存部１０５は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索／編集部１０６は、認識インデックス集合のリスト順位を決め、ユーザ操作による画像の検索や編集作業を支援する。
【００３９】
図３には、上述した画像管理システムにおいて、撮影装置１０１に相当する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が配設されており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００４０】
図４には、図３に示した撮影装置１０１の内部構成を示している。
【００４１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００４２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４３】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００４４】
通信部４０１は、携帯電話網上の基地局との通信処理を行なう。
【００４５】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００４６】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【００４７】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【００４８】
出力部４０７は、画像信号の外部出力や、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４９】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻を出力するようになっている。
【００５０】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００５１】
図４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００５２】
図５には、各ユーザが所持する携帯電話機（図４を参照のこと）と通信を行なう画像管理サーバの構成を模式的に示している。この画像管理サーバは、撮影画像と、その撮影ログ（撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報など）を受信し、被写体認識並びに各被写体に対するランキング・ポイントの付与、並びに画像保存や、画像検索・編集の支援などのサービスを提供する。
【００５３】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００５４】
ＲＡＭ５１３は、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００５５】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００５６】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【００５７】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する（後述）。
【００５８】
被写体リスト取得部５１１は、撮影画像に付随する撮影ログに含まれている撮影状態から算出される撮影空間と地図情報とを照合して、カメラの撮影対象範囲にある物体の集合を被写体リストとして取得する。
【００５９】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００６０】
図６には、携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【００６１】
まず、携帯電話機において撮影した後（Ｔ６１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをサーバ側へ送信する（Ｔ６１２）。
【００６２】
サーバ側では、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（後述）（Ｔ６２１）。
【００６３】
次いで、サーバは、撮影ログに含まれている撮影時のカメラ位置と地図情報とを照合して、この撮影画像の撮影対象範囲にある物体の集合を被写体リストとして作成する。
【００６４】
さらに、サーバは、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）（Ｔ６２３）。
【００６５】
そして、サーバは、作成した被写体リストとリスト順位を、携帯電話機に返信する（Ｔ６２４）。
【００６６】
携帯電話機側では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ６１３）。
【００６７】
図７には、携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を示している。
【００６８】
例えば、参照番号７０４に示すような写真が撮影された場合、写真撮影と同時に、時計４１６が出力する撮影時間７５１、位置測定部４０３によって測定された撮影場所７５２、方向取得部４０４によって取得されたレンズ方向７５３が取得され、撮影状態７０５として撮影画像と対応付けて撮影ログ保存部４２３に保存される。
【００６９】
また、図８には、図７に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で撮影状態が記述され、撮影時刻８５１と、撮影場所８５２と、撮影方向８５３が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク８０４が含まれている。
【００７０】
図９には、撮影方向すなわち方向取得部４０４から取得されるカメラのレンズ方向を表現する方法の一例を示している。図示の例では、レンズ方向５３１は、北を０度としたときの、時計回りの方向の角度５３２として記述される。
【００７１】
図１０には、サーバにおいて蓄積される地図情報を編集するための処理手順をフローチャートの形式で示している。本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【００７２】
まず、編集用の地図情報を読み込む（ステップＳ１）。編集用の地図情報がない場合には新規作成する。
【００７３】
次いで、認識単位を領域として選択、設定する（ステップＳ２）。そして、これに相当するインデックスを設定し（ステップＳ３）、重なり設定を行ない（ステップＳ４）、情報を記録する（ステップＳ５）。
【００７４】
ここで、領域設定が終了していない場合には（ステップＳ６）、ステップＳ２に戻る。また、領域設定が終了している場合で、地図データへの書き出しを行なわない場合（ステップＳ７）、編集用地図を書き出して（ステップＳ８）、本処理ルーチン全体を終了する。
【００７５】
一方、地図データの書き出しを行なう場合には、セルへ分割し（ステップＳ９）、それぞれのセル毎にインデックスのランキングを計算した後（ステップＳ１０）、地図データとして出力し（ステップＳ１１）、本処理ルーチン全体を終了する。
【００７６】
図１１には、図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示している。
【００７７】
ＣＰＵ１１１５がオペレーティング・システムの制御下で、地図情報を編集するためのプログラムを実行することによって、この装置全体の動作が統括的にコントロールされる。ＣＰＵ１１１５は、バス１１１７を介して各部に相互接続されている。
【００７８】
ＲＡＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００７９】
入力部１１０８は、マウスやキーボードなどのユーザからのコマンドやデータを入力するためのユーザ入力装置や、外部記憶装置やネットワーク上のホスト装置などからの伝送データを受信するための入力ポートなどで構成される。
【００８０】
出力部１１０７は、ディスプレイやプリンタなどのＣＰＵ１１１５による演算処理結果を画面出力又は印刷出力する装置、あるいは外部記憶装置やネットワーク上のホスト装置へデータを送信するための出力ポートなどで構成される。
【００８１】
ランキング計算部１１４１は、重なっている認識単位領域がある場合に、各々のインデックスに対するランキング値の計算を行なう。
【００８２】
領域分割部１１４２は、同じレベルの認識単位が地図上で干渉する場合に、ランキング値を干渉しているインデックス数で等分する計算を行なう。
【００８３】
セル化部１１４３は、地図データを出力する際に、地図をセル毎に分割し、各々のセルにおいてインデックス毎のランキングを計算し、所定の出力形式に変換する処理を行なう。
【００８４】
図１２には、地図１２０３上に設定されている各認識単位の領域を示している。同図に示す例では、認識単位としての平安神宮３１、二条通り３２、東大路通り３３、東山駅３４、三条通り３５、地下鉄東西線３６、神宮通り３７が地図上に配設されている。各認識単位は、カメラ１で撮影したときに被写体となり得る。各認識単位には認識インデックスが割り振られている。
【００８５】
それぞれの認識単位は、地図上で面積を持っているが、位置的に重ね合わせて定義することができる。また、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。
【００８６】
例えば、図１２に示す例では、三条通り３５、地下鉄東西線３６、東山駅３４が位置的に重なり合って定義されているが、東山駅３４、地下鉄東西線３６、三条通り３５の順で大きなランキング・ポイントが与えられている。したがって、東山駅３４を写した撮影画像内には、地下鉄東西線３６（あるいは写されない）、三条通り３５がともに写されているが、より大きなランキング・ポイントが与えられている東山駅３４が被写体リストのより上位にリストアップされることになる。
【００８７】
また、元の地図情報にない認識単位をユーザ操作などによって作成・編集して追加することも可能である。図１２に示す例では、地図編集装置を操作するユーザが、地図表示画面上で、参照番号４１及び４２で示すようなマウス操作を印加することによって、認識単位としての東山駅３４が描画される。
【００８８】
図１３には、認識単位の分類を指定する様子を示している。地図編集装置のディスプレイ画面上では、図１２に示した地図表示ウィンドウで、東山駅３４あるいはその他の認識単位をユーザが手付け入力したことに応答して、図１３に示す認識単位の分類指定ウィンドウがポップアップ表示される。ここで、図１３に示すように分類名「駅」をマウスでクリックすることにより、新規に作成された認識単位が駅であることが登録される。
【００８９】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができる。このような場合、認識インデックスが階層化される。図１４には、認識インデックスの階層を指定する様子を示している。同図に示す例では、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。図１４では、図１２に示すように東山駅３４を新規作成したときに東山駅３４をインデックスとして登録しているところを表している。
【００９０】
図１５には、このような編集用の地図情報のデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ形式で地図情報が記述されている。同図に示すように、それぞれの認識単位は、図１４に示したインデックスと階層に従ってタグ情報として記述されている。また、個々のタグ情報の中には対応する認識単位に付与された認識の分類（図１３を参照のこと）が記述されている。さらに、タグ情報には、各認識単位についての地図上の位置データの記述が含まれている。
【００９１】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができ、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。図１６には、階層化されている認識インデックスの重み付けを調整する様子を示している。
【００９２】
図１４を参照しながら既に説明したように、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。京都３０、三条通り３５、地下鉄東西線３６、東山駅３４の各インデックスが階層化されている様子が図１６には示されている。本実施形態では、上に重なる認識単位のポイントを、一定値αだけ逐次加算するようにしている。例えば、α＝１とした場合、京都３０のポイントを１とすると、三条通り３５のポイントは２、地下鉄東西線３６のポイントは３、東山駅３４のポイントは４となる。
【００９３】
また、二条通り３２と神宮通り３７は、図１４に示したように同一階層の認識単位であるが、図１６中の参照番号３８で示す領域で干渉している。このことから、領域３８では、各々の認識単位のポイント値を半分にしている。このように、同一階層にある認識単位が地図上で干渉している場合、干渉している各認識単位のポイント値を干渉数で割ることによって均等化している。
【００９４】
図１７には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【００９５】
図１５に示した編集用地図データに対して、地図をセル毎に分割し、セル内にある認識インデックスの階層に基づいて、インデックス毎のランキング値を計算し、規格化を行なっておく。なお、図示のフォーマットは、セル情報部７００１と、認識単位定義部７００２で構成される。
【００９６】
セル情報部７００１において、参照番号７１１１は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は０となる。また、同図中の参照番号７１１２、７１１３は、地図をセルに分割したときの横位置及び縦位置のセル数を示している。また、参照番号７１２１〜７１２３は、セル内の認識単位数を示しており、この値が０だと、これに続く認識単位指示７１２３−１が省略される。
【００９７】
参照番号７１２３−５で示されるセル（ｉ，ｊ）内の認識単位数は５であり、認識単位支持７１２３−１が存在している。この中には、認識単位番号７１２３−３とポイント７１２３−２が対となって定義されている。また、ポイントは足して１になるように規格化されている。
【００９８】
次に、認識単位定義部７００２において、参照番号７０２１は認識単位数を表しており、その１番目から順になるように記述されている。ここで、例えば３４番目の情報の場合、認識単位番号３４の情報を示しており、この中には認識単位カテゴリ７２２１と認識単位名７２２２がある。
【００９９】
図１８には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０１００】
参照番号１は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り３２と神宮通り３７の交差する付近に立ち、平安神宮３１を向いて撮影しているところを表している。
【０１０１】
図１９には、セル内に存在する認識単位を登録している様子を示している。例えば、参照番号５０は、図１８に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、認識単位インデックスである東山駅３４、三条通り３５、地下鉄東西線３６が当該セルに含まれていることが判る。図１９に示すような認識単位の登録方式を採用することにより、認識単位を早見することができる。
【０１０２】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影空間と地図情報とを照合して、撮影空間にある建造物などの認識単位を抽出して、認識単位インデックスをポイント値に従ってリストアップして被写体リストを作成する。撮影空間内の認識単位を探索する際の、計算上の便宜から、図１９に示したようなセル内認識単位早見表を利用する。
【０１０３】
図２０には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０１０４】
次いで、選択されたセルに含まれる認識単位を取得する。図２１には、図１９に示したセル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示している。同図に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択され、さらにこれらセルに登録されている認識単位インデックスである平安神宮３１、二条通り３２、並びに神宮通り３７が選択されたセルに含まれるものとして取得される。
【０１０５】
次いで、認識された各認識単位についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての認識単位が撮影空間内で占める割合に基づいて評価値を計算する。さらに、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、地図情報に記載されている認識単位の面積を用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０１０６】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確度という観点で順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０１０７】
図２２には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【０１０８】
既に述べたように、カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図２２に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。
【０１０９】
ここで、カメラ１が、図２２中の参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０１１０】
また、図２２には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。また、この撮影空間２２１４内にある認識単位２２０２は、参照番号２２２２で示されるようにセル単位に分割されており、中心角２２２２−１とピント面からの距離２２２２−２に応じた重み付けが与えられている。
【０１１１】
認識単位ｓについてのランキング・ポイントｒｓの計算式を以下に示している。
【０１１２】
【数１】
【０１１３】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｓｋｓは他の認識単位ｋとの重なりによる重みをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｓｋｓはそれぞれ値が規格化されているものとする。
【０１１４】
本実施形態では、地図情報上の各認識単位が持つイベントに関する情報を時間軸上で管理し、撮影時間とイベント表との照合により、被写体としてのイベントを取得し、これにもランキング・ポイントが与えられ、画像検索やアルバム作成などの画像管理に利用される。イベントの管理は、例えば、サーバ内の催し物カレンダ５２５にて行なわれる。
【０１１５】
図２３には、イベントを記載するデータ・フォーマットの構成例を示している。イベントは認識単位毎に定義される。同図に示す例では、京都３０に対するイベント７１と、平安神宮３１に対するイベント７２がこれに相当し、それぞれ効用７１１と時代祭７２１が定義されている。勿論、イベントを持たない認識単位もある。
【０１１６】
図２３の右側に示すように、イベント・データは例えばｘｍｌ形式で記述され、認識対象毎にイベントがその開催日時とともにタグ情報として記載されている。このようなデータ・フォーマットを認識単位と撮影時間で走査することによって、撮影画像に該当するイベントを取り出すことができる。
【０１１７】
図２４には、イベントとそのランキング・ポイントを計算するための処理手順をフローチャートの形式で示している。
【０１１８】
まず、撮影画像に付加されている撮影ログから撮影状態を取り出し、撮影空間を算出し、この撮影空間に含まれる認識単位を取り出す（ステップＳ２１）。
【０１１９】
そして、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、認識単位が持つ面積を用いてランキング・ポイント値が算出される。
【０１２０】
次いで、図２３に示したようなイベント・データを走査して、取り出された各認識単位及び撮影時間と照合するイベントを取り出す（ステップＳ２２）。
【０１２１】
そして、各イベントのポイント値を認識単位が持つポイント値に設定する（ステップＳ２３）。
【０１２２】
図２５には、撮影画像の中から認識単位インデックスが取得された様子を示している。図７を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号５７は認識単位インデックスを示している。認識単位インデックスが取得された場合、撮影ログに加えて、認識種類として、場所５２０とイベント５３０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０１２３】
図２６には、認識単位インデックスを記述するデータ・フォーマットの構成例を示している。
【０１２４】
図８を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図８に示す例では、ｘｍｌ形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【０１２５】
図２６では、さらに、撮影画像に含まれる認識単位インデックスとそのポイント値が記載されるとともに、撮影時間と認識単位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値０．６３、０．２８、０．１９とともにタグ情報５２１、５２２、５２３として記載されている。また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値０．６３，０．１９とともにタグ情報として記載されている。
【０１２６】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これらの付加情報に基づいて写真の管理を好適に行なうことができる。
【０１２７】
図２７には、ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【０１２８】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【０１２９】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【０１３０】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【０１３１】
【数２】
【０１３２】
図２７に示した画像管理用ユーザ・インターフェースには、選択された写真に対して特定の処理を適用するコマンド・ボタンが用意されている。図２８には、コマンドの設定を行なうコマンド設定画面の構成例を示している。
【０１３３】
例えば、図２７に示した画像管理用ユーザ・インターフェース画面上で、「設定」コマンド・ボタン２７６３を選択すると、図２８に示すような、「メール」６３１、「画像編集」６３２、「インデックス編集」６３３からなるサブメニュー・ウィンドウがポップアップ表示される。個々のサブメニュー項目にはさらにサブメニュー項目が用意されている。図示の例では、「ポイント編集」６３３１、と「リスト順位編集」６３３２がインデックス編集６３３のサブメニュー項目として用意されている。図示の状態では、リスト順位編集がデフォルトとして指定されており、編集コマンドをクリックすると、認識インデックス編集としてリスト順位編集モードが選択実行される。
【０１３４】
図２９には、ポイント調整により認識インデックスを変更する様子を示している。参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドを示している。参照番号５２０２〜５２０４で示すように、現在の認識単位インデックスのリスト５２００は、ポイント０．６３で平安神宮、ポイント０．２８で神宮通り、ポイント０．１９で京都がリストアップされている。
【０１３５】
ここで、参照番号５２０７で示すように、「神宮通り」を削り、「竜宮城」を追加し、「竜宮城」のポイントを入力するという手付け入力操作を行なうと、認識単位の名前が切り替わるとともに、リスト順位が変更されて、参照番号５２１２〜５２１４で示すように、ポイント０．６３で平安神宮、ポイント０．１９で京都、ポイント０．１で竜宮城がリストアップされる。
【０１３６】
図３０には、認識単位インデックスを変更するための処理手順をフローチャートの形式で示している。
【０１３７】
まず、認識インデックス・リストの編集モードへ入る（ステップＳ３１）。そして、編集モードが終了するまで（ステップＳ３２）、ユーザによってリスト編集が行なわれる（ステップＳ３３）。ここで言うリスト編集には、認識インデックスの追加、順位変更、名称変更などが挙げられる。
【０１３８】
ここで、認識インデックスの削除が行なわれた場合には（ステップＳ３４）、これを削除し（ステップＳ３７）、そうでない場合には、編集履歴が保存される（ステップＳ３５）。
【０１３９】
そして、編集が終了したならば、ポイント修正を行なってから（ステップＳ３６）、本処理ルーチン全体を終了する。
【０１４０】
図３１には、認識単位インデックスを挿入する様子を示している。図示の例では、参照番号３１０１、３１０２で示す場所に既存の認識単位インデックスがあり、参照番号３１１０で示される範囲にＡ１〜Ａ３、参照番号３１２０で示される範囲にＢ１、参照番号３１３０で示される範囲にＣ１〜Ｃ２を挿入している。ここで、ポイントの最小値は０、最大値は１となっており、この範囲に収まるように各インデックスのポイント値が調整される。
【０１４１】
そして、図３２には、認識単位インデックスを挿入した結果を示している。参照番号３２３１並びに３２３２は、ポイント値が最小値０から０．０６の間に２つ追加されていることから、認識単位インデックスＣ２、Ｃ１はそれぞれ０．０２，０．０４となる。同様に、参照番号３２２１は、ポイント値が０．０６〜０．４６の間に入り、Ｂ１は０．２６となる。また、参照番号３２１１〜３２１３は、ポイント値が最大値１〜０．４６の間に入り、Ａ１は０．８６５、Ａ２は０．７３、Ａ３は０．５９５となる。
【０１４２】
図３３には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０１４３】
参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号５２０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５２０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【０１４４】
図示の例では、現在の認識単位のインデックス・リスト５２００は、平安神宮５２０２、神宮通り５２０３、京都５２０４からなる。これに対し、参照番号５２０７で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮５２１２、京都５２１４、竜宮城５２１８というリスト順位になる。
【０１４５】
図３４には、認識対象の変更によって変化したデータの様子を示している。
【０１４６】
図２６に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ＿ｏｂｊｅｃｔ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都からなるリストが記載され、また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」からなるリストが記載されている。
【０１４７】
これに対し、図３３に示したような認識単位インデックスの変更を行なった結果、認識種類「場所」のリスト５２１０内が、平安神宮５２１２、京都５２１４、竜宮城５２１８に変わっている。
【０１４８】
上述した実施形態では、被写体認識において、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体が占める面積すなわち建造物の床面積を用いてランキング・ポイント値を算出するものであった。実際には、建造物は平屋建て、数階建て、あるいは高層ビルの場合もあり、これに応じて（撮影空間ではなく）撮影画像内で占める割合も相違するので、単に床面積だけで撮影画像内での優先順位を推定するだけでは不十分なこともある。そこで、認識単位が持つ床面積だけではなく、その建造物が持つ表面積と併せてランキング・ポイント値を求めるという被写体の評価方法も考えられる。
【０１４９】
図３５には、図１２に示したような地図情報が３次元的に表現されている。但し、認識単位としての各建造物は、建造物を囲む最小限の立方体すなわちＢｏｕｎｄａｒｙＢｏｘ（境界立方体）の形で表されている。また、図３７には、このような地図上で、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影した画像を示している。
【０１５０】
図３６には、図３５に示した地図上に存在する認識単位インデックスの階層を指定する様子を示している。例えば図３５に示したような３次元地図表示上で、認識対象３２０をユーザが手付け入力したことに応答して、図３６に示す認識単位の階層指定ウィンドウがポップアップ表示され、該当する認識単位の上の階層に割り付けることができる。
【０１５１】
図３８には、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影したときの撮影空間を作成する様子を示している。また、図３９には、撮影空間内の認識単位に対するランキング・ポイント値を計算する様子を示している。
【０１５２】
カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置１１を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向３９１３で画角に相当する部分が撮影空間として抽出される。
【０１５３】
図３９には、カメラ１が図３７に示した画像を撮影したときの撮影空間３９１４を示している。撮影空間３９１４は、撮影状態に基づいて、ピント面３９１５と被写界深度によって算出される。この撮影空間には、例えば、二条通り３４１や、○○公園３１１、噴水３１２などの認識単位が含まれている。○○公園３１１と噴水３１２は同じ位置に重なり合っているが、インデックス階層の上にある噴水３１２のほうにより大きなポイントが与えられる。また、二条通り３４１や○○公園３１１が平面的であり、床面積しか持たないのに対し、噴水３１２は立体的であり、さらにＢｏｕｎｄａｒｙＢｏｘの表面積を考慮してランキング・ポイント値が計算される。
【０１５４】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と地図情報を照合し、撮影空間内の建造物などの認識単位を被写体として認識する。さらに、撮影空間内の認識単位についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【０１５５】
被写体すなわち写真に現れている認識単位に対するランキング・ポイント値の計算方法については、図２２を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【０１５６】
図４０には撮影領域を示している。 個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【０１５７】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図４１には、撮影空間における重み傾斜の様子を示している。 参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。
【０１５８】
図４２には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ４１）。次いで、被写体の位置を入力する（ステップＳ４２）。そして、カリングを行なった結果（ステップＳ４３）、カリングされた場合には０を返し（ステップＳ４５）、そうでない場合にはランキング・ポイント値が計算される（ステップＳ４６）。
【０１５９】
図４３には、図４２に示したフローチャート中のステップＳ４３に相当するカリング処理の詳細な手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ５１）。次いで、被写体の位置を入力し（ステップＳ５２）、対象物を含む最小半径の円を境界円として作成する（ステップＳ５３）。次いで、図４４で述べる距離条件を満たし（ステップＳ５４）、図４５で述べる角度条件１を満たし（ステップＳ５５）、図４６で述べる角度条件２を満たす（ステップＳ５６）場合、ＴＲＵＥを返し（ステップＳ５７）、そうでない場合にはＦＡＬＳＥを返す（ステップＳ５８）。
【０１６０】
図４４には、カリングの距離条件を判定する様子を示している。参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３２は撮影領域を、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、それぞれ示している。また、参照番号４４３７は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【０１６１】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号４４３７に示すベクトルの大きさが、参照番号４４３６で示されるピント距離を中心として、前方被写界深度４４３５と後方被写界深度４４３４の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６２】
【数３】
【０１６３】
図４５には、カリングの角度条件１を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２にカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３８はレンズ方向に向かって右にある画角限界ベクトルを示しており、 これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１６４】
下式には、カリングの角度条件１の判定を行なう式である。 図４５において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円半径分４４２２の余裕を持って入っていることが条件となる。
【０１６５】
【数４】
【０１６６】
図４６には、カリングの角度条件２を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。参照番号４４３８は、レンズ方向に向かって左にある画角限界ベクトルを示しており、これに直交するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付き距離を表すことになる。
【０１６７】
下式には、カリングの角度条件２の判定を行なう式を示している。図４６において求めた符号付距離が、ピント距離４４３６を中心として後方被写界深度４４３４と前方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６８】
【数５】
【０１６９】
図４７には、被写体領域をセル分割する様子を示している。同図において、参照番号４７０３は被写体領域を示している。まず、被写体領域をｘ軸とｙ軸に沿って、最大値と最小値を求めることによって、境界長方形４７０１を求める。次いで、参照番号４７４１で示されるｘ軸方向の刻み幅ｄｘと、参照番号４７４２で示されるｙ軸方向刻み幅のｄｙを用いて、境界長方形４７０１をメッシュ４７２１に分解する。各メッシュ内の中心点４７２２が被写体領域４７０３に含まれているとき、ランキング・ポイント値の計算を行なう。参照番号４７３１はランキング・ポイント値の計算を行なうメッシュ・セルを示している。
【０１７０】
図４８には、被写体に対するランキング・ポイント値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体領域の積分を行なう。
【０１７１】
まず、ｘ軸とｙ軸に沿って最大値と最小値をとる頂点を求めることにより、被写体領域を覆う長方形を取得する（ステップＳ６１）。
【０１７２】
次いで、被写体領域面積Ｓと、ランク値Ｓｕｍを０で初期化し（ステップＳ６２）。ｘ軸方向変数ｘに先行ステップＳ６１で取得したｘ軸最小値Ｘｍｉｎを代入する（ステップＳ６３）。また、ｙ軸方向変数ｙに先行ステップＳ６１で取得したｙ軸最小値Ｙｍｉｎを代入する（ステップＳ６４）。
【０１７３】
次いで、現在注目しているメッシュ・セルの中心点Ｐが被写体領域内にあれば（ステップＳ６５）、 面積Ｓを１だけ増やし（ステップＳ６６）、ランキング・ポイント値Ｓｕｍにカメラ側から点Ｐを見たときのランキング・ポイント値を加える（ステップＳ６７）。
【０１７４】
次いで、ｙに刻み幅ｄｙを加える（ステップＳ６８）。そして、ｙがｙ軸最大値Ｙｍａｘより小さければ（ステップＳ６９）、ステップＳ６５へ戻る。
【０１７５】
次いで、ｘに刻み幅ｄｘを加え（ステップＳ７０）、ｘがｘ軸最大値Ｘｍａｘより小さければ（ステップＳ７１）、ステップＳ６５へ戻る。
【０１７６】
最後に、ｓｕｍをＳで割って規格化した後（ステップＳ７２）、これを出力して（ステップＳ７３）、本処理ルーチン全体を終了する。
【０１７７】
図４９には、被写体のある点に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラの誤差円部分の積分を行なう。
【０１７８】
まず、被写***置Ｏを入力する（ステップＳ８１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ８２）、半径変数ｒを０に初期化する（ステップＳ８３）。
【０１７９】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ８４）、角度変数θを０に初期化する（ステップＳ８５)。
【０１８０】
次いで、カメラ誤差円内の点座標Ｐを求め（ステップＳ８６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ８７）。
【０１８１】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ８８）、θが２πを越えなければ（ステップＳ８９）、ステップＳ８６へ移動する。
【０１８２】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ９０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ９１）、ステップＳ８４へ移動する。
【０１８３】
そして、誤差半径面積Ｓを計算し（ステップＳ９２）、ｓｕｍをＳで規格化して出力し（ステップＳ９３）、本処理ルーチン全体を終了する。
【０１８４】
図５０には、距離条件を判定する様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１８５】
下式には、距離条件の判定を行なう式を示している。ベクトル４４３７の長さが、ピント距離４４３６を中心として、前方被写界深度４４３５と後方被写界深度４４３４の範囲内に含まれていることを条件とする。
【０１８６】
【数６】
【０１８７】
図５１には、角度条件を判定する様子を示している。 同図において、参照番号４４３１は北からのレンズ方向までの角度を、参照番号４４３２は画角を、参照番号４４３８はレンズ方向ベクトルを、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。また、参照番号４４３９は、このベクトル４４３７とレンズ方向ベクトル４４３８のなす角度を示している。
【０１８８】
下式には、角度条件の判定を行なう式を示している。図５１で求めた角度４４３９が画角４４３３未満となることを条件とする。
【０１８９】
【数７】
【０１９０】
図５２には、前後方被写界を分ける様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２−１は前方被写界深度内撮影空間を、 参照番号４４３２−２は後方被写界深度内撮影空間を、それぞれ示している。 また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１９１】
下式により前後方被写界におけるランク値を計算する。 図５２に示すように、被写体が前方被写界深度内撮影空間内４４３２−１にあるときと、後方被写界深度内撮影空間内４４３２−２にあるときでその計算式が異なっている。
【０１９２】
【数８】
【０１９３】
Ｂ．移動体からなる被写体の認識
上述した実施形態では、撮影画像中の認識対象は、建造物など地図上での位置が静的・固定的であり、基本的には撮影空間と地図上の各認識対象の位置との照合により被写体認識を行なうものである。この場合、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。そこで、以下では、移動体が被写体として含まれる写真画像において、写真と被写体とを結合させることによって写真の管理を行なう画像管理システムについて説明する。
【０１９４】
図５３には、図２に示した画像管理システムにおいて、人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【０１９５】
撮影装置５３３１は、撮影時に装置５３３１内で取得される撮影情報をセンター５３３３へ転送する。また、被写体５３３２としての人は、ＧＰＳなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター５３３３へ転送する。この後、センター５３３３では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【０１９６】
撮影側の装置５３３１は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。この撮影側装置５３３１の内部構成を図５４に示している。
【０１９７】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１９８】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１９９】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【０２００】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２０１】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、方向測定部４０４は、固定値である方向誤差を出力する。
【０２０２】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【０２０３】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【０２０４】
出力部４０７は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０２０５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２０６】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０２０７】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２０８】
図５４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【０２０９】
勿論、被写体となる人物も、自ら写真撮影を行なう場合には、図５４に示した機器構成の装置を携帯して、自身の移動ログを取得してもよい。あるいは、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持する。この場合の移動ログ記録装置の外観構成を図５５に、その内部構成を図５６に示している。
【０２１０】
図５５に示すように、移動ログ記録装置は、携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１を備えている。
【０２１１】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能を実現するための各プログラムを実行することによって、この移動ログ記録装置の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０２１２】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１３は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０２１３】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２１４】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ４３４に記録する。
【０２１５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２１６】
図示の機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２１７】
図５７には、図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示している。このサーバ５３３３は、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【０２１８】
同図に示すサーバ５３３３は、図５に示したサーバ構成に対し、さらに端末位置情報蓄積部５２１と、ＩＤ公開情報蓄積部５２２を備えている。
【０２１９】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【０２２０】
本実施形態では、図５３や図５５に示した機器を携帯する人々から得られる被写***置情報を利用して、これら移動体の位置と撮影空間とを照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写***置情報の利用を、各機器ユーザが許可していることが前提となる。図５８には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【０２２１】
まず、撮影側の機器５３３１が、センター・サーバ５３３３に対して名簿登録申請を行なう（Ｔ９１１）。次いで、センター・サーバ５３３３が、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２２】
被写体側の機器５３３２から許可が返ってきたら（Ｔ９３１）、センター・サーバ５３３３は、ＩＤ公開情報を更新し、名簿登録変更通知を撮影側の機器５３３１へ送る（Ｔ９１４）。
【０２２３】
また、図５９には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２２４】
撮影側の機器５３３１がセンター・サーバ５３３３に対して名簿登録申請を行ない（Ｔ９１１）、センター・サーバ５３３３は、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２５】
これに対し、被写体側の機器５３３２から拒否が返ってきたら（Ｔ９３２）、センター・サーバ５３３３は、名簿登録拒否通知を撮影側の機器５３３１へ送る（Ｔ９１３）。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体認識の処理対象外となる。
【０２２６】
図６０には、撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイント値を付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイント値に基づいたユーザの編集操作を行なうための処理手順を示している。
【０２２７】
まず、撮影側機器５３３１において撮影した後（Ｔ１１１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ５３３３側へ送信する（Ｔ１１１２）。
【０２２８】
センター・サーバ５３３３側では、ＩＤ公開情報５２２から被写体となり得る対象者リストを取得する（Ｔ１１２１）。このとき、ＩＤ公開情報５２２への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ５３３３は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（Ｔ１１２２）。
【０２２９】
撮影範囲内に名簿登録された（すなわち位置取得を許可した）被写体側機器がいた場合、センター・サーバ５３３３は、これら各機器５３３２に対して、位置確認を行なう（Ｔ１１２３）。そして、各機器５３３２から位置報告を受け（Ｔ１１３１）、撮影空間に入っているものを抽出して、被写体リストを作成する（Ｔ１１２４）。
【０２３０】
この後、センター・サーバ５３３３は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する（Ｔ１１２５）。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【０２３１】
そして、センター・サーバ５３３３は、作成した被写体リストとリスト順位を、撮影側機器５３３１に返信する（Ｔ１１２６）。
【０２３２】
撮影側機器５３３１では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ１１１３）。
【０２３３】
本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる（同上）。
【０２３４】
図６１には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０２３５】
図示の地図上には、被写体としての人２１〜２６が散在している。各被写体は、図５３又は図５５に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ５３３３から位置情報を取得することができる。同図では、撮影側の機器１が２人の被写体２５、２６を撮影したところを示している。
【０２３６】
図６２には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ１は、機器ユーザ２２，２５，２６から被写体としての認証を得ており、センター・サーバ５３３３では機器ユーザ１からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ２５は、機器ユーザ１、２６から被写体としての認証を得ており、機器ユーザ２６は、機器ユーザ１、２４から被写体としての認証を得ている。
【０２３７】
図６３には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号５０は、図６１に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器２４が当該セルに含まれていることが判る。図６３に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【０２３８】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図６３に示したようなセル内認識対象早見表を利用する。
【０２３９】
図６４には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０２４０】
次いで、選択されたセルに含まれる認識対象を取得する。図６５には、図６２に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図６６には、図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【０２４１】
まず、図６５に示すように、被写体リストから、機器１を認証している被写体が機器２２、２５、２６であることを検知し、これらの機器の位置情報を取得する。
【０２４２】
次いで、図６６に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器１、機器２５、機器２６が選択されたセルに含まれるものとして取得される。
【０２４３】
次いで、認識された各認識対象についての評価値としてのランキング・ポイント値を計算する。本実施形態では、被写体としての人（又はその他の移動体）が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写***置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０２４４】
図６７には、撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する様子を示している。
【０２４５】
カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている（前述）。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図６７に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号２２０２で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【０２４６】
ここで、カメラ１が、参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０２４７】
また、図６７には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。
【０２４８】
この撮影空間２２１４内にある認識対象は、位置測定により得られた被写***置２２０２を中心とした誤差範囲２２２１を持ち、これを参照番号２２２２で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル２２２２は、測定値２２０２からの距離２２２２−３に応じた重み付けがなされ、さらに中心角２２２２−１とピント面からの距離２２２２２−４に応じた重み付けがなされている。
【０２４９】
認識単位ｐについてのランキング・ポイントｒｐの計算式を以下に示している。
【０２５０】
【数９】
【０２５１】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｏｋｓは被写体の確からしさをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｏｋｓはそれぞれ値が規格化されているものとする。
【０２５２】
図６８には、撮影画像の中から人物に関する認識対象インデックスが取得された様子を示している。図２５に示した認識対象点デックスに対し、認識種類として人物５１０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０２５３】
図６９には、人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示している。同図に示す例では、図２６に示したデータ・フォーマットに対し、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０が追加され、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２とともにタグ情報５１１、５１２として記載されている。
【０２５４】
本実施形態に係る画像管理システムによれば、撮影画像に含まれる被写体の認識、並びに被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示され、これに基づいて写真の管理を好適に行なうことができる。
【０２５５】
人物などの移動体も被写体として認識する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。
【０２５６】
図７０には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０２５７】
参照番号５１０１は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号５１０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５１０６は該当する認識単位のリスト順位を一つずつ下げるボタンを、それぞれ示している。
【０２５８】
図示の例では、現在の認識単位のインデックス・リスト５１００は、なっち５１０２、ひかり５１０３からなる。これに対し、参照番号５１０７で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち５１１２、なおみ５２１８というリスト順位になる。
【０２５９】
図７１には、認識対象の変更によって変化したデータの様子を示している。
【０２６０】
図６９に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。これに対し、図７０に示したような認識単位インデックスの変更を行なった結果、図７１に示すように、認識種類「人物」のリスト５１１０内が、なっち５１１２、なおみ５１１８に変わっている。
【０２６１】
本実施形態では、被写体から得られた位置情報とカメラ位置などの撮影状態から得られた撮影空間との照合により、撮影画像中の被写体の認識を行なう。図７２には、被写体とカメラ間における位置関係を移動ログから取得する様子を示している。
【０２６２】
参照番号３１０１は撮影側の機器の移動ログを示している。また、参照番号３１１１は、この移動ログ３１０１上で写真撮影が行なわれた地点であり、そのときの時刻３１１３は１２時３５分である。
【０２６３】
一方、被写***置は被写体が携帯していた移動ログ記録装置の移動ログ３０３４から取り出される。参照番号３１２１は、撮影位置３１１１にて撮影側装置で写真撮影が行なわれたときの被写***置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間３１１３に対応するように、サンプリング値から逆算して求める。
【０２６４】
撮影位置３１１１と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間３１１２が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写***置３１２１が求められる。そして、撮影空間３１１２と被写***置３１２１とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができ、図６７を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【０２６５】
図７３には、本実施形態における、人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順をフローチャートの形式で示している。
【０２６６】
まず、撮影データをキューに入れる（ステップＳ１０１）。そして、このキューから１つずつ撮影データを取り出す（ステップＳ１０２）。このとき、未処理データがなくなれば（ステップＳ１０３）、本処理ルーチン全体を終了する。
【０２６７】
次いで、登録メンバー表から１人分の移動ログを取り出す（ステップＳ１０４）。ここで、未処理メンバーがいなくった時点で（ステップＳ１０５）、ステップＳ１０２に戻り、次のキューを取り出す。
【０２６８】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする（ステップＳ１０７）。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し（ステップＳ１０８）、そのメンバーＩＤとランキング・ポイント値を保存する（ステップＳ１０９）。
【０２６９】
その後、ステップＳ１４に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【０２７０】
Ｃ．地図情報の追加
本発明では、被写体の撮影状態から算出される撮影空間と地図情報との照合により、撮影空間に含まれる建造物などを被写体として認識し、写真の認識対象リストに登録していく。
【０２７１】
ここで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。
【０２７２】
そこで、本実施形態では、認識インデックスを追加していく地図追加情報をさらに用意し、地図追加情報の利用を許可し合ったユーザ・グループ内では、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２７３】
本実施形態によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図７４には、本実施形態に係る写真画像の管理方法の仕組みを図解している。
【０２７４】
図示の例では、地図３上のあるカメラ位置１１にて建造物３１に向かって撮影を行ない、参照番号４１で示される写真が撮影されている。また、地図３上の別のカメラ位置１２にて建造物３１に向かって撮影を行ない、参照番号４２で示される写真が撮影されている。そして、写真４１、４２について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【０２７５】
ここで、写真４１を撮影したユーザが、認識対象リスト中の被写体３１に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体３１を「竜宮城」として記述するとともに、既に被写体３１を撮影した別の写真４２に付いた認識対象リスト上にも被写体３１の認識インデックスを併せて更新する。
【０２７６】
本実施形態では、撮影装置は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。また、この撮影装置の内部構成は図５４に示したものと同様である。
【０２７７】
図７５には、各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの内部構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、さらには被写体側ユーザの機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物や移動体の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【０２７８】
同図に示すサーバは、図５７に示したサーバ構成に対し、さらに地図追加情報格納部５２３を備えている。この地図追加情報格納部５２３は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【０２７９】
本実施形態では、ユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２８０】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図７６には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【０２８１】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８２】
他のユーザの機器５３３２から地図利用の許可が返ってきたら（Ｔ５３１）、センター・サーバ５３３３は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器５３３１へ送る（Ｔ５１４）。
【０２８３】
また、図７７には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２８４】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８５】
これに対し、他のユーザの機器５３３２から地図利用に対する拒否が返ってきたら（Ｔ５３２）、センター・サーバ５３３３は、地図利用登録拒否通知を要求元ユーザの機器５３３１へ送る（Ｔ５１３）。
【０２８６】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【０２８７】
ユーザ間で新規の認識インデックスに関する地図情報を共有する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。また、図２９や図７０を参照しながら説明した場合と同様、上下ボタンの操作により認識対象インデックスを変更することができる。
【０２８８】
図７８には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【０２８９】
まず、撮影側の機器５３３１において、ＧＵＩ操作により、撮影した写真に対して新しい認識インデックスの追加を行ない（Ｔ９１１）、これを当該写真の撮影状態とともにセンター・サーバ５３３３へ送信して、地図追加情報への登録申請を行なう（Ｔ９１２）。
【０２９０】
センター・サーバ５３３３側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し（Ｔ９２１）、認識単位として地図追加情報５２３に追加登録する（Ｔ９２２）。そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後（Ｔ９２３）、認識インデックスの追加を行なった機器５３３１にＡＣＣを返す（Ｔ９２４）。
【０２９１】
次いで、機器５３３１側では、他の写真についても、各々の撮影状態をセンター・サーバ５３３３へ送り（Ｔ９１３）、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。
【０２９２】
センター・サーバ５３３３では、これらの写真について被写体認識処理を改めて行ない（Ｔ９２５）、各写真毎の認識された被写体についてのランキング・ポイント値を機器５３３１へ返す（Ｔ９２６）。
【０２９３】
そして、機器５３３１側では、追加された認識インデックスのポイント値が０より大きくなる場合（Ｔ９１４）、その写真の認識インデックスに新規の認識インデックスを追加登録する（Ｔ９１５）。
【０２９４】
なお、Ｔ９２３において通知を受けた登録ユーザの機器側では、Ｔ９１３〜Ｔ９１５の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【０２９５】
図７９には、図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【０２９６】
まず、Ｔ１２で機器３１側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する（ステップＳ１１１）。
【０２９７】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する（ステップＳ１１２）。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【０２９８】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する（ステップＳ１１３）。本実施形態では、重なっている数で等分している。
【０２９９】
そして、地図追加情報データベース４２３へ認識対象インデックスを追加登録して（ステップＳ１１４）、本処理ルーチン全体を終了する。
【０３００】
図４０を参照しながら既に説明したように、個々の写真データにおける撮影空間４００２は、カメラ１の撮影位置、レンズ方向４００１、画角４００３、ピント距離４０２２、焦点距離情報、絞り値からなる撮影状態のパラメータ値を用いて計算され、ピント面を構成する円弧４０１２、４０２２、４０３２と、前方被写界深度４０１３、４０２３、４０３３と、後方被写界深度４０１１、４０２１、４０３１で表される。
【０３０１】
また、図４１を参照しながら説明したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。すなわち、撮影空間は、カメラ方向並びにピント面の左右方向における重み傾斜を持ち、上下方向（点４０２３並びに点４０２１)と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で（後述）、撮影空間の積分が１になるように規格化しておく。
【０３０２】
図８０には、異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示している。同図に示す例では、２つの撮影領域１３２１、１３２２が参照番号１３２３で示した領域で交差している。
【０３０３】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う（同上）。
【０３０４】
図８１には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【０３０５】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には（ステップＳ１２１）、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【０３０６】
まず、追加領域を１つ取り出す（ステップＳ１２２）。追加領域がない場合（ステップＳ１２３）、セル内のポイント値を１に規格化し（ステップＳ１２４）、セル情報として書き込み、次のセルの処理を行なう。
【０３０７】
追加情報がある場合（ステップＳ１２３）、セルにインデックスを加え（ステップＳ１２６）、ステップＳ１２２に戻る。
【０３０８】
Ｄ．写真アルバムの自動作成
前項Ａでは、本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができることを説明した。
【０３０９】
また、前項Ｂでは、人物などの移動体からなる被写体にも移動ログを取得する装置を携帯させ、撮影時点での位置情報を得ることにより、撮影空間との照合が可能となり、地図上にある建造物などの静物と同様に移動体も被写体認識の対象とすることができることを説明した。
【０３１０】
また、前項Ｃでは、地図情報に既存の認識対象を利用するだけでなく、ユーザが新たな認識対象を地図情報に追加し、同じユーザが過去に撮った写真や、他のユーザが撮った写真、これ以後に撮る写真に対しても新たな認識対象を作用させることができることを説明した。
【０３１１】
そして、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、これら被写体の面積あるいは撮影空間に存在する確度を用いて各被写体のランキング・ポイント値を計算し、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。ユーザは、優先順位が付された認識インデックスのリストを参照することにより、写真画像の管理を効率的に行なうことができる。
【０３１２】
本項では、ランキング付き被写体情報が付加されている複数の写真に対して、被写体の種類に応じてグループ化を行ない、また、ランキング・ポイント値を用いて写真の取捨選択を行なうことで、アルバムを自動生成する方法について説明する。
【０３１３】
図８２には、アルバムの自動生成処理の手順をフローチャートの形式で示している。
【０３１４】
まず、写真を入力し（ステップＳ１３１）、これらに被写体情報を付加する（ステップＳ１３２）。被写体情報を付加する処理については、前項Ａ〜Ｃにおいて既に記載しているので、ここでは説明を省略する。また、旅程付きの旅行写真の場合、写真に付いている時間と旅程に基づいて、各写真に対して旅程項目を被写体項目として付加することができる。
【０３１５】
次いで、ユーザが認識種類（人物、建物・場所、イベント、旅程など）の中から所望のカテゴリを選択し、指定されたカテゴリに対するグルーピングを行なう（ステップＳ１３３）。そして、グループ間で順序を決める。（ステップＳ１３４）。この順序決めとしては、グループ内に登録されている写真撮影時間の平均値を比較し、若いものから順番に配置する方法や、グループ内に登録されている写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１６】
次いで、グループ内で順序を決める（ステップＳ１３５）。この順序決定方法として、各々の写真撮影時間の若いものから順番に配置する方法や、個々の写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１７】
そして、最後に写真をグループ毎に配置して、アルバムを作成・出力する（ステップＳ１３６）。
【０３１８】
図８３には、写真ファイル内に記述されている情報構造を図解している。ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットなどでは、写真ファイル８３０１に対して、イメージ・フィールド８３１１と、Ｅｘｉｆと呼ばれる情報フィールドが設けられている。また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットでも、イメージ・データ部分８３１１と、メタデータ記述部分が設けられている。
【０３１９】
図示の例では、イメージ・ファイル内に存在する情報フィールドに対して、図８４に示すようなカテゴリ要素を記述するためのタグ構造を導入して、人物８３１２−１、建物・場所８３１２−２、イベント８３１２−３、旅程８３１２−４などのカテゴリを記述している。
【０３２０】
図８４には、イメージ・ファイル内の情報フィールドに記述する情報を示している。この情報は、カテゴリ・タグ８４００によって囲まれている。また、人物８４１１〜８４１３、建物・場所８４２２、イベント８４２３、旅程８４２４のカテゴリを記述するためのタグがそれぞれ用意され、各タグにはランキング・ポイント値を記述することができる。
【０３２１】
図８５には、グルーピング処理の手順をフローチャートの形式で示している。
【０３２２】
まず、所定の閾値以上となるキーを持つ写真を取得する（ステップＳ１４１）。次いで、出現したキーワード名をグループ名としてリストに保存する（ステップＳ１４２）。このとき、既に取得したカテゴリ名と重複するものについては、登録を行なわない（ステップＳ１４３）。
【０３２３】
そして、リスト内に登録したグループ毎に写真の振り分けを行なう（ステップＳ１４４）。なお、本実施形態では、複数のグループに属する写真がある場合、各々のキーワード・ランキングの大きさを比較し、この値が大きい方のキーワード・グループへ登録する。
【０３２４】
図８６には、カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８６０１に示すフィールドには、旅程情報８６１１〜８６１３が記載される。また、参照番号８６０２に示すフィールドには、写真イメージ８６２１と、写真に付けたコメント８６２２が記載される。なお、各々の写真はグループ単位でまとめられて出力される。
【０３２５】
また、図８７には、カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８７０１で示すフィールドには、人物情報８７１１〜８７１３が記載される。また、参照番号８７０２で示すフィールドには、写真イメージ８７２１と、写真に付けたコメント８７２２が記載される。なお、各々の写真は、グループ単位でまとめられて出力される。
【０３２６】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０３２７】
【発明の効果】
以上詳記したように、本発明によれば、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２８】
また、本発明によれば、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２９】
また、本発明によれば、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３３０】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差は場に応じて重み付けされた領域に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０３３１】
また、本発明によれば、複数のカテゴリがある被写体情報が付加されている写真の集合に対して、ユーザが指定したカテゴリ内の認識結果に対して、被写体のランキング値を用いてグルーピングを行ない、グループ毎に写真を配置するといったアルバムの自動生成を実現することができる。また、グループ単位の表示順位や、グループ内での写真表示順位など、被写体認識の評価値を用いて決定することができる。したがって、写真グルーピングを行なうことによって、整理されたアルバムを自動生成することができる。
【図面の簡単な説明】
【図１】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図２】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図３】撮影装置１０１に相当する機器の外観構成を示した図である。
【図４】撮影装置１０１の内部構成を示した図である。
【図５】各ユーザが所持する携帯電話機と通信を行なう画像管理サーバの構成を模式的に示した図である。
【図６】携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図７】携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を説明するための図である。
【図８】写真撮影時に取得される撮影状態を記録するデータ・フォーマットの構成例を示した図である。
【図９】方向取得部４０４から取得されるカメラのレンズ方向の表現方法の一例を示した図である。
【図１０】サーバにおいて蓄積される地図情報を編集するための処理手順を示したフローチャートである。
【図１１】図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示した図である。
【図１２】地図上に認識単位の領域を設定する方法を説明するための図である。
【図１３】認識単位の分類を指定する様子を示した図である。
【図１４】認識インデックスの階層を指定する様子を示した図である。
【図１５】編集用の地図情報のデータ・フォーマットの構成例を示した図である。
【図１６】階層化されている認識インデックスの重み付けを調整する様子を示した図である。
【図１７】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図１８】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【図１９】セル内に存在する認識単位を登録している様子を示した図である。
【図２０】撮影空間を含むセルを選択する様子を示した図である。
【図２１】セル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示した図である。
【図２２】撮影空間内の認識単位に対するランキング・ポイントを計算する処理手順を説明するための図である。
【図２３】イベントを記載するデータ・フォーマットの構成例を示した図である。
【図２４】イベントとそのランキング・ポイントを計算するための処理手順を示したフローチャートである。
【図２５】撮影画像の中から認識単位インデックスが取得された様子を示した図である。
【図２６】認識単位インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図２７】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図２８】コマンド設定画面の構成例を示した図である。
【図２９】ポイント調整により認識インデックスを変更する様子を示した図である。
【図３０】認識単位インデックスを変更するための処理手順を示したフローチャートである。
【図３１】認識単位インデックスを挿入する様子を示した図である。
【図３２】認識単位インデックスを挿入した結果を示した図である。
【図３３】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図３４】認識対象の変更によって変化したデータの様子を示した図である。
【図３５】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３６】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３７】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３８】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３９】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図４０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４３】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４４】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４７】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４８】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４９】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５３】人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図５４】撮影側装置５３３１の内部構成を示した図である。
【図５５】移動ログ記録装置の外観構成を示した図である。
【図５６】移動ログ記録装置の内部構成を示した図である。
【図５７】図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示した図である。
【図５８】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図５９】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図６０】撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイントを付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図６１】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図６２】機器が認証を受けている被写体リストの構成例を示した図である。
【図６３】セル内に存在する認識対象を登録している様子を示した図である。
【図６４】撮影空間を含むセルを選択する様子を示した図である。
【図６５】図６２に示した各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図６６】図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図６７】撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する方法を説明するための図である。
【図６８】撮影画像の中から人物に関する認識対象インデックスが取得された様子を示した図である。
【図６９】人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図７０】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図７１】認識対象の変更によって変化したデータの様子を示した図である。
【図７２】被写体とカメラとの位置関係を移動ログから取得する様子を示した図である。
【図７３】人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順を示したフローチャートである。
【図７４】新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される写真画像の管理方法の仕組みを説明するための図である。
【図７５】各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図７６】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図７７】あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図７８】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図７９】図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図８０】異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示した図である。
【図８１】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図８２】アルバムの自動生成処理の手順を示したフローチャートである。
【図８３】写真ファイル内に記述されている情報構造を示した図である。
【図８４】イメージ・ファイル内の情報フィールドに記述する情報を示した図である。
【図８５】グルーピング処理の手順を示したフローチャートである。
【図８６】カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【図８７】カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【符号の説明】
１０１…撮像装置
１０２…撮影状態取得部
１０３…被写体認識部
１０４…ランキング・ポイント付与部
１０５…画像保存部
１０６…画像検索／編集部
Claims (9)
- 撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得手段と、
前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システム。 - 各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理手段と、
優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
をさらに備えることを特徴とする請求項１に記載の画像管理システム。 - 前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に基づいて評価値を計算する、
ことを特徴とする請求項１に記載の画像管理システム。 - 前記の地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られ、
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項１に記載の画像管理システム。 - 移動体の位置情報を取得する移動***置情報取得手段をさらに備え、
前記被写体認識手段は、移動体の位置情報と撮影空間とを照合して被写体認識を行なう、
ことを特徴とする請求項１に記載の画像管理システム。 - ユーザが新たに認識対象を地図情報に追加登録する認識対象登録手段をさらに備え、
前記被写体認識手段は、撮影空間内にある追加登録された認識対象を被写体として認識する、
ことを特徴とする請求項１に記載の画像管理システム。 - 認識単位は認識の種類毎に分類が可能であり、
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位を認識の種類毎に分類した認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項１に記載の画像管理システム。 - コンピュータ上で構築される画像管理システムにおいて、撮影した画像に含まれる被写体と結合して画像を管理する画像管理方法であって、
前記コンピュータが備える撮影状態取得手段が、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得ステップと、
前記コンピュータが備える撮影空間推定手段が、前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定ステップと、
前記コンピュータが備える被写体認識手段が、前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
前記コンピュータが備える被写体評価値算出手段が、認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出ステップと、
を有することを特徴とする画像管理方法。 - 撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を撮影状態として取得する撮影状態取得手段、
前記撮影状態の指示値に基づいて撮影画像において撮影対象とされるピント面と被写界深度からなる撮影空間を算出する撮影空間推定手段、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段、
認識された各被写体の評価値を、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重みを与えて算出する被写体評価値算出手段、
として機能させるためのコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116170A JP4281402B2 (ja) | 2003-04-21 | 2003-04-21 | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116170A JP4281402B2 (ja) | 2003-04-21 | 2003-04-21 | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004328077A JP2004328077A (ja) | 2004-11-18 |
| JP2004328077A5 JP2004328077A5 (ja) | 2006-06-22 |
| JP4281402B2 true JP4281402B2 (ja) | 2009-06-17 |
Family
ID=33496506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003116170A Expired - Fee Related JP4281402B2 (ja) | 2003-04-21 | 2003-04-21 | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4281402B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1871105A4 (en) * | 2005-03-29 | 2008-04-16 | Fujitsu Ltd | VIDEO MANAGEMENT SYSTEM |
| JP4961473B2 (ja) * | 2006-04-28 | 2012-06-27 | ノキア コーポレイション | 較正 |
| BRPI0812782B1 (pt) * | 2007-05-31 | 2019-01-22 | Panasonic Corp | aparelho de captura de imagem, aparelho de provisão de informação adicional e método para uso em um aparelho de provisão de informação adicional |
| CA2717745A1 (en) * | 2008-03-07 | 2009-09-11 | Intelligent Spatial Technologies, Inc. | Mobile device and geographic information system background and summary of the related art |
| KR100970121B1 (ko) * | 2009-12-24 | 2010-07-13 | (주)올라웍스 | 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체 |
| JP2012065263A (ja) * | 2010-09-17 | 2012-03-29 | Olympus Imaging Corp | 撮影機器 |
| JP2013153329A (ja) * | 2012-01-25 | 2013-08-08 | Nikon Corp | 電子機器 |
| JP5914714B2 (ja) * | 2015-02-12 | 2016-05-11 | オリンパス株式会社 | 撮影機器および撮影方法 |
| CN113343008A (zh) * | 2021-06-29 | 2021-09-03 | 维沃软件技术有限公司 | 图像排序方法、图像排序装置、电子设备和可读存储介质 |
| CN115331174B (zh) * | 2022-08-19 | 2023-06-13 | 中国安全生产科学研究院 | 一种企业安全生产标准化智能监管***及方法 |
-
2003
- 2003-04-21 JP JP2003116170A patent/JP4281402B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004328077A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8774520B2 (en) | Geo-relevance for images | |
| JP4902270B2 (ja) | デジタル画像のコレクションの組み立て方法 | |
| US8611592B2 (en) | Landmark identification using metadata | |
| JP5006195B2 (ja) | 画像データ管理装置および画像データ管理方法 | |
| US20080288523A1 (en) | Event-based digital content record organization | |
| US8558918B2 (en) | Method to control image processing apparatus, image processing apparatus, and image file | |
| WO2015107640A1 (ja) | アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 | |
| JP2007041964A (ja) | 画像処理装置 | |
| KR20070047697A (ko) | 정보 처리 장치 및 방법과 프로그램 | |
| JPWO2012073421A1 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
| JP4281402B2 (ja) | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム | |
| JP5289211B2 (ja) | 画像検索システム、画像検索プログラムおよびサーバ装置 | |
| KR101038940B1 (ko) | 촬영영상에서 추출된 촬영객체를 이용한 영상정보 관리 시스템 및 그 방법 | |
| US11645349B2 (en) | Generating location based photo discovery suggestions | |
| JP2020140555A (ja) | 画像処理装置、制御方法、及びプログラム | |
| US20100225952A1 (en) | Image retrieval apparatus and image retrieval program storage medium | |
| JP5262308B2 (ja) | 評価装置、評価方法、評価プログラムおよび評価システム | |
| US8682834B2 (en) | Information processing apparatus and information processing method | |
| KR20100101960A (ko) | 디지털 카메라, 사진 분류 시스템 및 방법 | |
| JP2004326192A (ja) | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム | |
| JP2004326193A (ja) | 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム | |
| Hoashi et al. | Constructing a landmark identification system for geo-tagged photographs based on web data analysis | |
| JP5582453B2 (ja) | 画像管理装置、画像管理方法およびプログラム | |
| JP2018005611A (ja) | 情報処理装置 | |
| JP4958803B2 (ja) | 情報処理装置、その制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060405 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |