JP2004328077A - Picture management system and picture management method, and computer program - Google Patents
Picture management system and picture management method, and computer program Download PDFInfo
- Publication number
- JP2004328077A JP2004328077A JP2003116170A JP2003116170A JP2004328077A JP 2004328077 A JP2004328077 A JP 2004328077A JP 2003116170 A JP2003116170 A JP 2003116170A JP 2003116170 A JP2003116170 A JP 2003116170A JP 2004328077 A JP2004328077 A JP 2004328077A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognition
- photographing
- image
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の被写体が含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、カメラ位置と方向を計測し、地図情報上に記載された認識インデックスを被写体として認識することができる。しかしながら、被写体認識を行なうには、位置と計測を非常に精度よく計測する必要がある。また、あらかじめ用意しておく地図情報は、撮影者が何を認識させたいかに対応していない。
【０００８】
また、撮影場所や撮影対象に関する付加情報を得て、操作性を向上する画像記録装置について提案がなされている（例えば、特許文献１を参照のこと）。この画像記録装置によれば、複数の撮影対象候補が抽出された場合には、その確度の高い順に優先順位を付して推定するようになっている。しかしながら、撮影対象候補の確度を求めるに当たり、撮影画像中に設けられた推定範囲の中心からの距離に基づいて優先順位付けを行なっているので、撮影画像中でどんなに大きく写った物体（例えば巨大な建造物など）であっても、推定範囲の中心から外れると評価されない。また、焦点方向と一致している撮影対象は高い確度が付与されることになるが、この際、被写界深度に関しては一切考慮されていない。
【０００９】
一方、得られた写真画像をアルバムとして編集し保存することは一般的に行なわれている。従来のアルバム作成システムでは、写真を撮影時間順にソートする方式のものや、撮影された時間やＧＰＳログ内の時間と照らし合わせることによって、地図上に写真を配列する方式のものなどがあった。また、写真に何らかの被写体情報を付加してある場合には、これら付加情報を利用して写真検索が行なわれる。
【００１０】
しかしながら、個々の写真に被写体情報が何らかの方法で付加されている場合、これを用いて写真アルバムを作成する方法は皆無である。
【００１１】
また、写真に付けられた被写体情報を対象とした検索方法を応用して、写真を並べて表示するということは技術的には可能であるが、その評価軸は１軸であり、各々の被写体に対するグルーピングを施し、アルバムを編集するということはできない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【００１６】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００１７】
本発明は、各画像に含まれる被写体をその評価値に基づいた優先順位に従って、検索やその他の画像管理を効率的に行なうものである。
【００１８】
本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができる。
【００１９】
さらに、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識単位のそれぞれに優先順位を付けることができる。これによって、認識単位の集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。
【００２０】
また、前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて評価値を計算するようにしてもよい。
【００２１】
例えば、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００２２】
また、本発明に係る画像管理システムは、被写体毎に用意されているイベント表を蓄積するイベント表蓄積手段と、画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段とをさらに備えてもよい。
【００２３】
被写体認識に用いる地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られている。そして、前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返すようになっている。
【００２４】
この地図情報は、各認識単位に地図上で面積を持ち、位置的に重ね合わせて複数の認識単位を定義することができる。そして、認識単位は階層化されており、位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与えることによって、複数の認識単位間でランキングの調整を行なうことができる。また、位置的に重なり合う認識単位が同じ階層に割り付けられている場合、各認識単位の認識インデックス値を重なり合う数で割ることによって均等化するようにする。
【００２５】
また、認識単位に複数のカテゴリを用意してもよい。前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位をカテゴリ毎に分類した認識インデックスのリストを認識結果として返すようにしてもよい。
【００２６】
このような場合、カテゴリ毎に撮影画像をグループ化し、画像グループ毎にアルバムを生成することができる。
【００２７】
例えば、所定の手続で決定されるグループ間順序に従って各画像グループのアルバムを順次生成する。ここで言うグループ間順位は、例えば各画像グループに含まれる撮影画像の平均撮影時間又は評価値の合計に基づいて決定される。
【００２８】
また、所定の手続で決定されるグループ内順序に従って画像グループ内の撮影画像を取捨選択して画像グループのアルバムを生成する。ここで言うグループ内順序は、例えば、画像グループ内の各撮影画像の撮影時間又は評価値に基づいて決定される。
【００２９】
また、本発明の第２の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
Ａ．写真の被写体認識
図１には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号１は撮影に用いるカメラであり、図示の例では被写体３１を撮影している。また、参照番号３はカメラ位置と被写体３１を地図上にマッピングした様子を示している。また、参照番号４は、図示のカメラ位置及びレンズ方向にて被写体３１を含む風景を撮影した写真を示している。
【００３４】
図２には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【００３５】
まず、デジタル・カメラなど撮影装置１０１によって撮影を行なう。また、撮影状態取得部１０２は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【００３６】
被写体認識部１０３は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識する。
【００３７】
ランキング・ポイント付与部１０４は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内で占める割合に基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる（後述）。
【００３８】
画像保存部１０５は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索／編集部１０６は、認識インデックス集合のリスト順位を決め、ユーザ操作による画像の検索や編集作業を支援する。
【００３９】
図３には、上述した画像管理システムにおいて、撮影装置１０１に相当する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が配設されており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００４０】
図４には、図３に示した撮影装置１０１の内部構成を示している。
【００４１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００４２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４３】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００４４】
通信部４０１は、携帯電話網上の基地局との通信処理を行なう。
【００４５】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００４６】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【００４７】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【００４８】
出力部４０７は、画像信号の外部出力や、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４９】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻を出力するようになっている。
【００５０】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００５１】
図４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００５２】
図５には、各ユーザが所持する携帯電話機（図４を参照のこと）と通信を行なう画像管理サーバの構成を模式的に示している。この画像管理サーバは、撮影画像と、その撮影ログ（撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報など）を受信し、被写体認識並びに各被写体に対するランキング・ポイントの付与、並びに画像保存や、画像検索・編集の支援などのサービスを提供する。
【００５３】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００５４】
ＲＡＭ５１３は、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００５５】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００５６】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【００５７】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する（後述）。
【００５８】
被写体リスト取得部５１１は、撮影画像に付随する撮影ログに含まれている撮影状態から算出される撮影空間と地図情報とを照合して、カメラの撮影対象範囲にある物体の集合を被写体リストとして取得する。
【００５９】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００６０】
図６には、携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【００６１】
まず、携帯電話機において撮影した後（Ｔ６１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをサーバ側へ送信する（Ｔ６１２）。
【００６２】
サーバ側では、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（後述）（Ｔ６２１）。
【００６３】
次いで、サーバは、撮影ログに含まれている撮影時のカメラ位置と地図情報とを照合して、この撮影画像の撮影対象範囲にある物体の集合を被写体リストとして作成する。
【００６４】
さらに、サーバは、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合（あるいは面積）に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）（Ｔ６２３）。
【００６５】
そして、サーバは、作成した被写体リストとリスト順位を、携帯電話機に返信する（Ｔ６２４）。
【００６６】
携帯電話機側では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ６１３）。
【００６７】
図７には、携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を示している。
【００６８】
例えば、参照番号７０４に示すような写真が撮影された場合、写真撮影と同時に、時計４１６が出力する撮影時間７５１、位置測定部４０３によって測定された撮影場所７５２、方向取得部４０４によって取得されたレンズ方向７５３が取得され、撮影状態７０５として撮影画像と対応付けて撮影ログ保存部４２３に保存される。
【００６９】
また、図８には、図７に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ（ｅｘｔｅｎｄｅｄ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で撮影状態が記述され、撮影時刻８５１と、撮影場所８５２と、撮影方向８５３が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク８０４が含まれている。
【００７０】
図９には、撮影方向すなわち方向取得部４０４から取得されるカメラのレンズ方向を表現する方法の一例を示している。図示の例では、レンズ方向５３１は、北を０度としたときの、時計回りの方向の角度５３２として記述される。
【００７１】
図１０には、サーバにおいて蓄積される地図情報を編集するための処理手順をフローチャートの形式で示している。本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【００７２】
まず、編集用の地図情報を読み込む（ステップＳ１）。編集用の地図情報がない場合には新規作成する。
【００７３】
次いで、認識単位を領域として選択、設定する（ステップＳ２）。そして、これに相当するインデックスを設定し（ステップＳ３）、重なり設定を行ない（ステップＳ４）、情報を記録する（ステップＳ５）。
【００７４】
ここで、領域設定が終了していない場合には（ステップＳ６）、ステップＳ２に戻る。また、領域設定が終了している場合で、地図データへの書き出しを行なわない場合（ステップＳ７）、編集用地図を書き出して（ステップＳ８）、本処理ルーチン全体を終了する。
【００７５】
一方、地図データの書き出しを行なう場合には、セルへ分割し（ステップＳ９）、それぞれのセル毎にインデックスのランキングを計算した後（ステップＳ１０）、地図データとして出力し（ステップＳ１１）、本処理ルーチン全体を終了する。
【００７６】
図１１には、図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示している。
【００７７】
ＣＰＵ１１１５がオペレーティング・システムの制御下で、地図情報を編集するためのプログラムを実行することによって、この装置全体の動作が統括的にコントロールされる。ＣＰＵ１１１５は、バス１１１７を介して各部に相互接続されている。
【００７８】
ＲＡＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ１１１３は、ＣＰＵ１１１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００７９】
入力部１１０８は、マウスやキーボードなどのユーザからのコマンドやデータを入力するためのユーザ入力装置や、外部記憶装置やネットワーク上のホスト装置などからの伝送データを受信するための入力ポートなどで構成される。
【００８０】
出力部１１０７は、ディスプレイやプリンタなどのＣＰＵ１１１５による演算処理結果を画面出力又は印刷出力する装置、あるいは外部記憶装置やネットワーク上のホスト装置へデータを送信するための出力ポートなどで構成される。
【００８１】
ランキング計算部１１４１は、重なっている認識単位領域がある場合に、各々のインデックスに対するランキング値の計算を行なう。
【００８２】
領域分割部１１４２は、同じレベルの認識単位が地図上で干渉する場合に、ランキング地を干渉しているインデックス数で等分する計算を行なう。
【００８３】
セル化部１１４３は、地図データを出力する際に、地図をセル毎に分割し、各々のセルにおいてインデックス毎のランキングを計算し、所定の出力形式に変換する処理を行なう。
【００８４】
図１２には、地図１２０３上に設定されている各認識単位の領域を示している。同図に示す例では、認識単位としての平安神宮３１、二条通り３２、東大路通り３３、東山駅３４、三条通り３５、地下鉄東西線３６、神宮通り３７が地図上に配設されている。各認識単位は、カメラ１で撮影したときに被写体となり得る。各認識単位には認識インデックスが割り振られている。
【００８５】
それぞれの認識単位は、地図上で面積を持っているが、位置的に重ね合わせて定義することができる。また、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。
【００８６】
例えば、図１２に示す例では、三条通り３５、地下鉄東西線３６、東山駅３４が位置的に重なり合って定義されているが、東山駅３４、地下鉄東西線３６、三条通り３５の順で大きなランキング・ポイントが与えられている。したがって、東山駅３４を写した撮影画像内には、地下鉄東西線３６（あるいは写されない）、三条通り３５がともに写されているが、より大きなランキング・ポイントが与えられている東山駅３４が被写体リストのより上位にリストアップされることになる。
【００８７】
また、元の地図情報にない認識単位をユーザ操作などによって作成・編集して追加することも可能である。図１２に示す例では、地図編集装置を操作するユーザが、地図表示画面上で、参照番号４１及び４２で示すようなマウス操作を印加することによって、認識単位としての東山駅３４が描画される。
【００８８】
図１３には、認識単位の分類を指定する様子を示している。地図編集装置のディスプレイ画面上では、図１２に示した地図表示ウィンドウで、東山駅３４あるいはその他の認識単位をユーザが手付け入力したことに応答して、図１３に示す認識単位の分類指定ウィンドウがポップアップ表示される。ここで、図１３に示すように分類名「駅」をマウスでクリックすることにより、新規に作成された認識単位が駅であることが登録される。
【００８９】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができる。このような場合、認識インデックスが階層化される。図１４には、認識インデックスの階層を指定する様子を示している。同図に示す例では、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。図１４では、図１２に示すように東山駅３４を新規作成したときに東山駅３４をインデックスとして登録しているところを表している。
【００９０】
図１５には、このような編集用の地図情報のデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ形式で地図情報が記述されている。同図に示すように、それぞれの認識単位は、図１４に示したインデックスと階層に従ってタグ情報として記述されている。また、個々のタグ情報の中には対応する認識単位に付与された認識の分類（図１３を参照のこと）が記述されている。さらに、タグ情報には、各認識単位についての地図上の位置データを記述した含まれている。
【００９１】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができ、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。図１６には、階層化されている認識インデックスの重み付けを調整する様子を示している。
【００９２】
図１４を参照しながら既に説明したように、まず京都３０があり、その上に三条通り３５、平安神宮３１、二条通り３２、東大路通り３３、神宮通り３７が割り付けられている。また、三条通り３５の上には地下鉄東西線３６が、さらにその上には東山駅３４が割り付けられている。京都３０、三条通り３５、地下鉄東西線３６、東山駅３４の各インデックスが階層化されている様子が図１６には示されている。本実施形態では、上に重なる認識単位のポイントを、一定値αだけ逐次加算するようにしている。例えば、α＝１とした場合、京都３０のポイントを１とすると、三条通り３５のポイントは２、地下鉄東西線３６のポイントは３、東山駅３４のポイントは４となる。
【００９３】
また、二条通り３２と神宮通り３７は、図１４に示したように同一階層の認識単位であるが、図１６中の参照番号３８で示す領域で干渉している。このことから、領域３８では、各々の認識単位のポイント値を半分にしている。このように、同一階層にある認識単位が地図上で干渉している場合、干渉している各認識単位のポイント値を干渉数で割ることによって均等化している。
【００９４】
図１７には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【００９５】
図１５に示した編集用地図データに対して、地図をセル毎に分割し、セル内にある認識インデックスの階層に基づいて、インデックス毎のランキング値を計算し、規格化を行なっておく。なお、図示のフォーマットは、セル情報部７００１と、認識単位定義部７００２で構成される。
【００９６】
セル情報部７００１において、参照番号７１１１は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は０となる。また、同図中の参照番号７１１２、７１１３は、地図をセルに分割したときの横位置及び縦位置のセル数を示している。また、参照番号７１２１〜７１２３は、セル内の認識単位数を示しており、この値が０だと、これに続く認識単位指示７１２３−１が省略される。
【００９７】
参照番号７１２３−５で示されるセル（ｉ，ｊ）内の認識単位数は５であり、認識単位支持７１２３−１が存在している。この中には、認識単位番号７１２３−３とポイント７１２３−２が対となって定義されている。また、ポイントは足して１になるように規格化されている。
【００９８】
次に、認識単位定義部７００２において、参照番号７０２１は認識単位数を表しており、その１番目から順になるように記述されている。ここで、例えば３４番目の情報の場合、認識単位番号３４の情報を示しており、この中には認識単位カテゴリ７２２１と認識単位名７２２２がある。
【００９９】
図１８には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０１００】
参照番号１は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り３２と神宮通り３７の交差する付近に立ち、平安神宮３１を向いて撮影しているところを表している。
【０１０１】
図１９には、セル内に存在する認識単位を登録している様子を示している。例えば、参照番号５０は、図１８に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、認識単位インデックスである東山駅３４、三条通り３５、地下鉄東西線３６が当該セルに含まれていることが判る。図１９に示すような認識単位の登録方式を採用することにより、認識単位を早見することができる。
【０１０２】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影空間と地図情報とを照合して、撮影空間にある建造物などの認識単位を抽出して、認識単位インデックスをポイント値に従ってリストアップして被写体リストを作成する。撮影空間内の認識単位を探索する際の、計算上の便宜から、図１９に示したようなセル内認識単位早見表を利用する。
【０１０３】
図２０には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０１０４】
次いで、選択されたセルに含まれる認識単位を取得する。図２１には、図１９に示したセル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示している。同図に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択され、さらにこれらセルに登録されている認識単位インデックスである平安神宮３１、二条通り３２、並びに神宮通り３７が選択されたセルに含まれるものとして取得される。
【０１０５】
次いで、認識された各認識単位についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての認識単位が撮影空間内で占める割合に基づいて評価値を計算する。さらに、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、地図情報に記載されている認識単位の面積を用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０１０６】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確度という観点で順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０１０７】
図２２には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【０１０８】
既に述べたように、カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図２２に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。
【０１０９】
ここで、カメラ１が、図２２中の参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０１１０】
また、図２２には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。また、この撮影空間２２１４内にある認識単位２２０２は、参照番号２２２２で示されるようにセル単位に分割されており、中心角２２２２−１とピント面からの距離２２２２−２に応じた重み付けが与えられている。
【０１１１】
認識単位ｓについてのランキング・ポイントｒｓの計算式を以下に示している。
【０１１２】
【数１】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｓｋｓは他の認識単位ｋとの重なりによる重みをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｓｋｓはそれぞれ値が規格化されているものとする。
【０１１４】
本実施形態では、地図情報上の各認識単位が持つイベントに関する情報を時間軸上で管理し、撮影時間とイベント表との照合により、被写体としてのイベントを取得し、これにもランキング・ポイントが与えられ、画像検索やアルバム作成などの画像管理に利用される。イベントの管理は、例えば、サーバ内の催し物カレンダ５２５にて行なわれる。
【０１１５】
図２３には、イベントを記載するデータ・フォーマットの構成例を示している。イベントは認識単位毎に定義される。同図に示す例では、京都３０に対するイベント７１と、平安神宮３１に対するイベント７２がこれに相当し、それぞれ効用７１１と時代祭７２１が定義されている。勿論、イベントを持たない認識単位もある。
【０１１６】
図２３の右側に示すように、イベント・データは例えばｘｍｌ形式で記述され、認識対象毎にイベントがその開催日時とともにタグ情報として記載されている。このようなデータ・フォーマットを認識単位と撮影時間で走査することによって、撮影画像に該当するイベントを取り出すことができる。
【０１１７】
図２４には、イベントとそのランキング・ポイントを計算するための処理手順をフローチャートの形式で示している。
【０１１８】
まず、撮影画像に付加されている撮影ログから撮影状態を取り出し、撮影空間を算出し、この撮影空間に含まれる認識単位を取り出す（ステップＳ２１）。
【０１１９】
そして、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、認識単位が持つ面積を用いてランキング・ポイント値が算出される。
【０１２０】
次いで、図２３に示したようなイベント・データを走査して、取り出された各認識単位及び撮影時間と照合するイベントを取り出す（ステップＳ２２）。
【０１２１】
そして、各イベントのポイント値を認識単位が持つポイント値に設定する（ステップＳ２３）。
【０１２２】
図２５には、撮影画像の中から認識単位インデックスが取得された様子を示している。図７を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号５７は認識単位インデックスを示している。認識単位インデックスが取得された場合、撮影ログに加えて、認識種類として、場所５２０とイベント５３０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０１２３】
図２６には、認識単位インデックスを記述するデータ・フォーマットの構成例を示している。
【０１２４】
図８を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図８に示す例では、ｘｍｌ形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【０１２５】
図２６では、さらに、撮影画像に含まれる認識単位インデックスとそのポイント値が記載されるとともに、撮影時間と認識単位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値０．６３、０．２８、０．１９とともにタグ情報５２１、５２２、５２３として記載されている。また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値０．６３，０．１９とともにタグ情報として記載されている。
【０１２６】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これらの付加情報に基づいて写真の管理を好適に行なうことができる。
【０１２７】
図２７には、ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【０１２８】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【０１２９】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【０１３０】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【０１３１】
【数２】
図２７画像管理用ユーザ・インターフェースには、選択された写真に対して特定の処理を適用するコマンド・ボタンが用意されている。図２８には、コマンドの設定を行なうコマンド設定画面の構成例を示している。
【０１３３】
例えば、図２７に示した画像管理用ユーザ・インターフェース画面上で、「設定」コマンド・ボタン２７６３を選択すると、図２８に示すような、「メール」６３１、「画像編集」６３２、「インデックス編集」６３３からなるサブメニュー・ウィンドウがポップアップ表示される。個々のサブメニュー項目にはさらにサブメニュー項目が用意されている。図示の例では、「ポイント編集」６３３１、と「リスト順位編集」６３３２がインデックス編集６３３のサブメニュー項目として用意されている。図示の状態では、リスト順位編集がデフォルトとして指定されており、編集コマンドをクリックすると、認識インデックス編集としてリスト順位編集モードが選択実行される。
【０１３４】
図２９には、ポイント調整により認識インデックスを変更する様子を示している。参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドを示している。参照番号５２０２〜５２０４で示すように、現在の認識単位インデックスのリスト５２００は、ポイント０．６３で平安神宮、ポイント０．２８で神宮通り、ポイント０．１９で京都がリストアップされている。
【０１３５】
ここで、参照番号５２０７で示すように、「神宮通り」を削り、「竜宮城」を追加し、「竜宮城」のポイントを入力するという手付け入力操作を行なうと、認識単位の名前が切り替わるとともに、リスト順位が変更されて、参照番号５２１２〜５２１４で示すように、ポイント０．６３で平安神宮、ポイント０．１９で京都、ポイント０．１で竜宮城がリストアップされる。
【０１３６】
図３０には、認識単位インデックスを変更するための処理手順をフローチャートの形式で示している。
【０１３７】
まず、認識インデックス・リストの編集モードへ入る（ステップＳ３１）。そして、編集モードが終了するまで（ステップＳ３２）、ユーザによってリスト編集が行なわれる（ステップＳ３３）。ここで言うリスト編集には、認識インデックスの追加、順位変更、名称変更などが挙げられる。
【０１３８】
ここで、認識インデックスの削除が行なわれた場合には（ステップＳ３４）、これを削除し（ステップＳ３７）、そうでない場合には、編集履歴が保存される（ステップＳ３５）。
【０１３９】
そして、編集が終了したならば、ポイント修正を行なってから（ステップＳ３６）、本処理ルーチン全体を終了する。
【０１４０】
図３１には、認識単位インデックスを挿入する様子を示している。図示の例では、参照番号３１０１、３１０２で示す場所に既存の認識単位インデックスがあり、参照番号３１１０で示される範囲にＡ１〜Ａ３、参照番号３１２０で示される範囲にＢ１、参照番号３１３０で示される範囲にＣ１〜Ｃ２を挿入している。ここで、ポイントの最小値は０、最大値は１となっており、この範囲に収まるように各インデックスのポイント値が調整される。
【０１４１】
そして、図３２には、認識単位インデックスを挿入した結果を示している。参照番号３２３１並びに３２３２は、ポイント値が最小値０から０．０６の間に２つ追加されていることから、認識単位インデックスＣ２、Ｃ１はそれぞれ０．０２，０．０４となる。同様に、参照番号３２２１は、ポイント値が０．０６〜０．４６の間に入り、Ｂ１は０．２６となる。また、参照番号３２１１〜３２１３は、ポイント値が最大値１〜０．４６の間に入り、Ａ１は０．８６５、Ａ２は０．７３、Ａ３は０．５９５となる。
【０１４２】
図３３には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０１４３】
参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号５２０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５２０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【０１４４】
図示の例では、現在の認識単位のインデックス・リスト５２００は、平安神宮５２０２、神宮通り５２０３、京都５２０４からなる。これに対し、参照番号５２０７で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮５２１２、京都５２１４、竜宮城５２１８というリスト順位になる。
【０１４５】
図３４には、認識対象の変更によって変化したデータの様子を示している。
【０１４６】
図２６に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールド５２０が設けられ、認識種類「場所（ｌｏｃａｔｉｏｎ）」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都からなるリストが記載され、また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」からなるリストが記載されている。
【０１４７】
これに対し、図３３に示したような認識単位インデックスの変更を行なった結果、認識種類「場所」のリスト５２１０内が、平安神宮５２１２、京都５２１４、竜宮城５２１８に変わっている。
【０１４８】
上述した実施形態では、被写体認識において、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体が占める面積すなわち建造物の床面積を用いてランキング・ポイント値を算出するものであった。実際には、建造物は平屋建て、数階建て、あるいは高層ビルの場合もあり、これに応じて（撮影空間ではなく）撮影画像内で占める割合も相違するので、単に床面積だけで撮影画像内での優先順位を推定するだけでは不十分なこともある。そこで、認識単位が持つ床面積だけではなく、その建造物が持つ表面積と併せてランキング・ポイント値を求めるという被写体の評価方法も考えられる。
【０１４９】
図３５には、図１２に示したような地図情報が３次元的に表現されている。但し、認識単位としての各建造物は、建造物を囲む最小限の立方体すなわちＢｏｕｎｄａｒｙＢｏｘ（境界立方体）の形で表されている。また、図３７には、このような地図上で、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影した画像を示している。
【０１５０】
図３６には、図３５に示した地図上に存在する認識単位インデックスの階層を指定する様子を示している。例えば図３５に示したような３次元地図表示上で、認識対象３２０をユーザが手付け入力したことに応答して、図３６に示す認識単位の階層指定ウィンドウがポップアップ表示され、該当する認識単位の上の階層に割り付けることができる。
【０１５１】
図３８には、参照番号１で示すカメラ位置及びレンズ方向を持つカメラによって撮影したときの撮影空間を作成する様子を示している。また、図３９には、撮影空間内の認識単位に対するランキング・ポイント値を計算する様子を示している。
【０１５２】
カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置１１を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向３９１３で画角に相当する部分が撮影空間として抽出される。
【０１５３】
図３９には、カメラ１が図３７に示した画像を撮影したときの撮影空間３９１４を示している。撮影空間３９１４は、撮影状態に基づいて、ピント面３９１５と被写界深度によって算出される。この撮影空間には、例えば、二条通り３４１や、○○公園３１１、噴水３１２などの認識単位が含まれている。○○公園３１１と噴水３１２は同じ位置に重なり合っているが、インデックス階層の上にある噴水３１２のほうにより大きなポイントが与えられる。また、二条通り３４１や○○公園３１１が平面的であり、床面積しか持たないのに対し、噴水３１２は立体的であり、さらにＢｏｕｎｄａｒｙＢｏｘの表面積を考慮してランキング・ポイント値が計算される。
【０１５４】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と地図情報を照合し、撮影空間内の建造物などの認識単位を被写体として認識する。さらに、撮影空間内の認識単位についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【０１５５】
被写体すなわち写真に現れている認識単位に対するランキング・ポイント値の計算方法については、図２２を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【０１５６】
図４０には撮影領域を示している。 個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【０１５７】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図４１には、撮影空間における重み傾斜の様子を示している。 参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１）と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。
【０１５８】
図４２には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ４１）。次いで、被写体の位置を入力する（ステップＳ４２）。そして、カリングを行なった結果（ステップＳ４３）、カリングされた場合には０を返し（ステップＳ４５）、そうでない場合にはランキング・ポイント値が計算される（ステップＳ４６）。
【０１５９】
図４３には、図４２に示したフローチャート中のステップＳ４３に相当するカリング処理の詳細な手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する（ステップＳ５１）。次いで、被写体の位置を入力し（ステップＳ５２）、対象物を含む最小半径の円を境界円として作成する（ステップＳ５３）。次いで、図４４で述べる距離条件を満たし（ステップＳ５４）、図４５で述べる角度条件１を満たし（ステップＳ５５）、図４６で述べる角度条件２を満たす（ステップＳ５６）場合、ＴＲＵＥを返し（ステップＳ５７）、そうでない場合にはＦＡＬＳＥを返す（ステップＳ５８）。
【０１６０】
図４４には、カリングの距離条件を判定する様子を示している。参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３２は撮影領域を、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、それぞれ示している。また、参照番号４４３７は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【０１６１】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号４４３７に示すベクトルの大きさが、参照番号４４３６で示されるピント距離を中心として、前方被写界深度４４３５と後方被写界深度４４３４の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６２】
【数３】
図４５には、カリングの角度条件１を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２にカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３８はレンズ方向に向かって右にある画角限界ベクトルを示しており、 これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１６４】
下式には、カリングの角度条件１の判定を行なう式である。 図４５において求めた符号付距離が、ピント距離４４３６を中心として前方被写界深度４４３４と後方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円半径分４４２２の余裕を持って入っていることが条件となる。
【０１６５】
【数４】
図４６には、カリングの角度条件２を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。参照番号４４３８は、レンズ方向に向かって左にある画角限界ベクトルを示しており、 これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付き距離を表すことになる。
【０１６７】
下式には、カリングの角度条件２の判定を行なう式を示している。図４６において求めた符号付距離が、ピント距離４４３６を中心として前方被写界深度４４３４と後方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１６８】
【数５】
図４７には、被写体領域をセル分割する様子を示している。同図において、参照番号４７０３は被写体領域を示している。まず、被写体領域をｘ軸とｙ軸に沿って、最大値と最小値を求めることによって、境界長方形４７０１を求める。次いで、参照番号４７４１で示されるｘ軸方向の刻み幅ｄｘと、参照番号４７４２で示されるｙ軸方向刻み幅のｄｙを用いて、境界長方形４７０１をメッシュ４７２１に分解する。各メッシュ内の中心点４７２２が被写体領域４７０３に含まれているとき、ランキング・ポイント値の計算を行なう。参照番号４７３１はランキング・ポイント値の計算を行なうメッシュ・セルを示している。
【０１７０】
図４８には、被写体に対するランキング・ポイント値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体領域の積分を行なう。
【０１７１】
まず、ｘ軸とｙ軸に沿って最大値と最小値をとる頂点を求めることにより、被写体領域を覆う長方形を取得する（ステップＳ６１）。
【０１７２】
次いで、被写体領域面積Ｓと、ランク値Ｓｕｍを０で初期化し（ステップＳ６２）。ｘ軸方向変数ｘに先行ステップＳ６１で取得したｘ軸最小値Ｘｍｉｎを代入する（ステップＳ６３）。また、ｙ軸方向変数ｙに先行ステップＳ６１で取得したｙ軸最小値Ｙｍｉｎを代入する（ステップＳ６４）。
【０１７３】
次いで、現在注目しているメッシュ・セルの中心点Ｐが被写体領域内にあれば（ステップＳ６５）、 面積Ｓを１だけ増やし（ステップＳ６６）、ランキング・ポイント値Ｓｕｍにカメラ側から点Ｐを見たときのランキング・ポイント値を加える（ステップＳ６７）。
【０１７４】
次いで、ｙに刻み幅ｄｙを加える（ステップＳ６８）。そして、ｙがｙ軸最大値Ｙｍａｘより小さければ（ステップＳ６９）、ステップＳ６５へ戻る。
【０１７５】
次いで、ｘに刻み幅ｄｘを加え（ステップＳ７０）、ｘがｘ軸最大値Ｘｍａｘより小さければ（ステップＳ７１）、ステップＳ６５へ戻る。
【０１７６】
最後に、ｓｕｍをＳで割って規格化した後（ステップＳ７２）、これを出力して（ステップＳ７３）、本処理ルーチン全体を終了する。
【０１７７】
図４９には、被写体のある点に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラの誤差円部分の積分を行なう。
【０１７８】
まず、被写***置Ｏを入力する（ステップＳ８１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ８２）、半径変数ｒを０に初期化する（ステップＳ８３）。
【０１７９】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ８４）、角度変数θを０に初期化する（ステップＳ８５）。
【０１８０】
次いで、カメラ誤差円内の点座標Ｐを求め（ステップＳ８６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ８７）。
【０１８１】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ８８）、θが２πを越えなければ（ステップＳ８９）、ステップＳ８６へ移動する。
【０１８２】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ９０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ９１）、ステップＳ８４へ移動する。
【０１８３】
そして、誤差半径面積Ｓを計算し（ステップＳ９２）、ｓｕｍをＳで規格化して出力し（ステップＳ９３）、本処理ルーチン全体を終了する。
【０１８４】
図５０には、距離条件を判定する様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１８５】
下式には、距離条件の判定を行なう式を示している。ベクトル４４３７の長さが、ピント距離４４３６を中心として、前方被写界深度４４３５と後方被写界深度４４３４の範囲内に含まれていることを条件とする。
【０１８６】
【数６】
図５１には、角度条件を判定する様子を示している。 同図において、参照番号４４３１は北からのレンズ方向までの角度を、参照番号４４３２は画角を、参照番号４４３８はレンズ方向ベクトルを、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。また、参照番号４４３９は、このベクトル４４３７とレンズ方向ベクトル４４３８のなす角度を示している。
【０１８８】
下式には、角度条件の判定を行なう式を示している。図５１で求めた角度４４３９が画角４４３３未満となることを条件とする。
【０１８９】
【数７】
図５２には、前後方被写界を分ける様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２−１は前方被写界深度内撮影空間を、 参照番号４４３２−２は後方被写界深度内撮影空間を、それぞれ示している。 また、参照番号４４３７は、カメラ位置４４１１から被写***置４４２１に向かうベクトルを示している。
【０１９１】
下式により前後方被写界におけるランク値を計算する。 図５２に示すように、被写体が前方被写界深度内撮影空間内４４３２−１にあるときと、後方被写界深度内撮影空間内４４３２−２にあるときでその計算式が異なっている。
【０１９２】
【数８】
Ｂ．移動体からなる被写体の認識
上述した実施形態では、撮影画像中の認識対象は、建造物など地図上での位置が静的・固定的であり、基本的には撮影空間と地図上の各認識対象の位置との照合により被写体認識を行なうものである。この場合、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。そこで、以下では、移動体が被写体として含まれる写真画像において、写真と被写体とを結合させることによって写真の管理を行なう画像管理システムについて説明する。
【０１９４】
図５３には、図２に示した画像管理システムにおいて、人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【０１９５】
撮影装置５３３１は、撮影時に装置５３３１内で取得される撮影情報をセンター５３３３へ転送する。また、被写体５３３２としての人は、ＧＰＳなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター５３３３へ転送する。この後、センター５３３３では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【０１９６】
撮影側の装置５３３１は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。この撮影側装置５３３１の内部構成を図５４に示している。
【０１９７】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１９８】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１９９】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【０２００】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２０１】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、方向測定部４０４は、固定値である方向誤差を出力する。
【０２０２】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【０２０３】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【０２０４】
出力部４０７は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０２０５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２０６】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０２０７】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２０８】
図５４に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮影部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【０２０９】
勿論、被写体となる人物も、自ら写真撮影を行なう場合には、図５４に示した機器構成の装置を携帯して、自身の移動ログを取得してもよい。あるいは、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持する。この場合の移動ログ記録装置の外観構成を図５５に、その内部構成を図５６に示している。
【０２１０】
図５５に示すように、移動ログ記録装置は、携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１を備えている。
【０２１１】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能を実現するための各プログラムを実行することによって、この移動ログ記録装置の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０２１２】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１３は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０２１３】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【０２１４】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ４３４に記録する。
【０２１５】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、位置測定部４０３による位置測定時刻を出力するようになっている。
【０２１６】
図示の機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０２１７】
図５７には、図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示している。このサーバ５３３３は、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【０２１８】
同図に示すサーバ５３３３は、図５に示したサーバ構成に対し、さらに端末位置情報蓄積部５２１と、ＩＤ公開情報蓄積部５２２を備えている。
【０２１９】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【０２２０】
本実施形態では、図５３や図５５に示した機器を携帯する人々から得られる被写***置情報を利用して、これら移動体の位置と撮影空間とを照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写***置情報の利用を、各機器ユーザが許可していることが前提となる。図５８には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【０２２１】
まず、撮影側の機器５３３１が、センター・サーバ５３３３に対して名簿登録申請を行なう（Ｔ９１１）。次いで、センター・サーバ５３３３が、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２２】
被写体側の機器５３３２から許可が返ってきたら（Ｔ９３１）、センター・サーバ５３３３は、ＩＤ公開情報を更新し、名簿登録変更通知を撮影側の機器５３３１へ送る（Ｔ９１４）。
【０２２３】
また、図５９には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２２４】
撮影側の機器５３３１がセンター・サーバ５３３３に対して名簿登録申請を行ない（Ｔ９１１）、センター・サーバ５３３３は、被写体側の機器５３３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【０２２５】
これに対し、被写体側の機器５３３２から拒否が返ってきたら（Ｔ９３２）、センター・サーバ５３３３は、名簿登録拒否通知を撮影側の機器５３３１へ送る（Ｔ９１３）。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体認識の処理対象外となる。
【０２２６】
図６０には、撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイント値を付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイント値に基づいたユーザの編集操作を行なうための処理手順を示している。
【０２２７】
まず、撮影側機器５３３１において撮影した後（Ｔ１１１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ５３３３側へ送信する（Ｔ１１１２）。
【０２２８】
センター・サーバ５３３３側では、ＩＤ公開情報５２２から被写体となり得る対象者リストを取得する（Ｔ１１２１）。このとき、ＩＤ公開情報５２２への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ５３３３は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（Ｔ１１２２）。
【０２２９】
撮影範囲内に名簿登録された（すなわち位置取得を許可した）被写体側機器がいた場合、センター・サーバ５３３３は、これら各機器５３３２に対して、位置確認を行なう（Ｔ１１２３）。そして、各機器５３３２から位置報告を受け（Ｔ１１３１）、撮影空間に入っているものを抽出して、被写体リストを作成する（Ｔ１１２４）。
【０２３０】
この後、センター・サーバ５３３３は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する（Ｔ１１２５）。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【０２３１】
そして、センター・サーバ５３３３は、作成した被写体リストとリスト順位を、撮影側機器５３３１に返信する（Ｔ１１２６）。
【０２３２】
撮影側機器５３３１では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ１１１３）。
【０２３３】
本実施形態では、地図情報５２４は２つのフォーマットがあり、１つは地図情報編集データであり、１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる（同上）。
【０２３４】
図６１には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【０２３５】
図示の地図上には、被写体としての人２１〜２６が散在している。各被写体は、図５３又は図５５に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ５３３３から位置情報を取得することができる。同図では、撮影側の機器１が２人の被写体２５、２６を撮影したところを示している。
【０２３６】
図６２には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ１は、機器ユーザ２２，２５，２６から被写体としての認証を得ており、センター・サーバ５３３３では機器ユーザ１からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ２５は、機器ユーザ１、２６から被写体としての認証を得ており、機器ユーザ２６は、機器ユーザ１、２４から被写体としての認証を得ている。
【０２３７】
図６３には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号５０は、図６１に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器２４が当該セルに含まれていることが判る。図６３に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【０２３８】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図１７に示したようなセル内認識対象早見表を利用する。
【０２３９】
図６４には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【０２４０】
次いで、選択されたセルに含まれる認識対象を取得する。図６５には、図６２に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図６６には、図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【０２４１】
まず、図６５に示すように、被写体リストから、機器１を認証している被写体が機器２２、２５、２６であることを検知し、これらの機器の位置情報を取得する。
【０２４２】
次いで、図６６に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器１、機器２５、機器２６が選択されたセルに含まれるものとして取得される。
【０２４３】
次いで、認識された各認識対象についての評価値としてのランキング・ポイント値を計算する。本実施形態では、被写体としての人（又はその他の移動体）が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写***置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【０２４４】
図６７には、撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する様子を示している。
【０２４５】
カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている（前述）。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図６７に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号２で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【０２４６】
ここで、カメラ１が、参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０２４７】
また、図６７には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。
【０２４８】
この撮影空間２２１４内にある認識対象は、位置測定により得られた被写***置２２０２を中心とした誤差範囲２２２１を持ち、これを参照番号２２２２で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル２２２２は、測定値２２０２からの距離２２２２−３に応じた重み付けがなされ、さらに中心角２２２２−１とピント面からの距離２２２２２−４に応じた重み付けがなされている。
【０２４９】
認識単位ｐについてのランキング・ポイントｒｐの計算式を以下に示している。
【０２５０】
【数９】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｏｋｓは被写体の確からしさをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｏｋｓはそれぞれ値が規格化されているものとする。
【０２５２】
図６８には、撮影画像の中から人物に関する認識対象インデックスが取得された様子を示している。図２５に示した認識対象点デックスに対し、認識種類として人物５１０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【０２５３】
図６９には、人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示している。同図に示す例では、図２６に示したデータ・フォーマットに対し、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０が追加され、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２とともにタグ情報５１１、５１２として記載されている。
【０２５４】
本実施形態に係る画像管理システムによれば、撮影画像に含まれる被写体の認識、並びに被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示され、これに基づいて写真の管理を好適に行なうことができる。
【０２５５】
人物などの移動体も被写体として認識する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。
【０２５６】
図７０には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０２５７】
参照番号５１０１は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号５１０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５１０６は該当する認識単位のリスト順位を一つずつ下げるボタンを、それぞれ示している。
【０２５８】
図示の例では、現在の認識単位のインデックス・リスト５１００は、なっち５１０２、ひかり５１０３からなる。これに対し、参照番号５１０７で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち５１１２、なおみ５２１８というリスト順位になる。
【０２５９】
図７１には、認識対象の変更によって変化したデータの様子を示している。
【０２６０】
図６９に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。これに対し、図７０に示したような認識単位インデックスの変更を行なった結果、図７１に示すように、認識種類「人物」のリスト５１１０内が、なっち５１１２、おなみ５２１８に変わっている。
【０２６１】
本実施形態では、被写体から得られた位置情報とカメラ位置などの撮影状態から得られた撮影空間との照合により、撮影画像中の被写体の認識を行なう。図７２には、被写体とカメラ間における位置関係を移動ログから取得する様子を示している。
【０２６２】
参照番号３１０１は撮影側の機器の移動ログを示している。また、参照番号３１１１は、この移動ログ３１０１上で写真撮影が行なわれた地点であり、そのときの時刻３１１３は１２時３５分である。
【０２６３】
一方、被写***置は被写体が携帯していた移動ログ記録装置の移動ログ３０３４から取り出される。参照番号３１２１は、撮影位置３１１１にて撮影側装置で写真撮影が行なわれたときの被写***置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間３１１３に対応するように、サンプリング値から逆算して求める。
【０２６４】
撮影位置３１１１と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間３１１２が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写***置３１２１が求められる。そして、撮影空間３１１２と被写***置３１２１とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができ、図６７を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【０２６５】
図７３には、本実施形態における、人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順をフローチャートの形式で示している。
【０２６６】
まず、撮影データをキューに入れる（ステップＳ１０１）。そして、このキューから１つずつ撮影データを取り出す（ステップＳ１０２）。このとき、未処理データがなくなれば（ステップＳ１０３）、本処理ルーチン全体を終了する。
【０２６７】
次いで、登録メンバー表から１人分の移動ログを取り出す（ステップＳ１０４）。ここで、未処理メンバーがいなくった時点で（ステップＳ１０５）、ステップＳ１０２に戻り、次のキューを取り出す。
【０２６８】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする（ステップＳ１０７）。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し（ステップＳ１０８）、そのメンバーＩＤとランキング・ポイント値を保存する（ステップＳ１０９）。
【０２６９】
その後、ステップＳ１４に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【０２７０】
Ｃ．地図情報の追加
本発明では、被写体の撮影状態から算出される撮影空間と地図情報との照合により、撮影空間に含まれる建造物などを被写体として認識し、写真の認識対象リストに登録していく。
【０２７１】
ここで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。
【０２７２】
そこで、本実施形態では、認識インデックスを追加していく地図追加情報をさらに用意し、地図追加情報の利用を許可し合ったユーザ・グループ内では、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２７３】
本実施形態によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図７４には、本実施形態に係る写真画像の管理方法の仕組みを図解している。
【０２７４】
図示の例では、地図３上のあるカメラ位置１１にて建造物３１に向かって撮影を行ない、参照番号４１で示される写真が撮影されている。また、地図３上の別のカメラ位置１２にて建造物３１に向かって撮影を行ない、参照番号４２で示される写真が撮影されている。そして、写真４１、４２について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【０２７５】
ここで、写真４１を撮影したユーザが、認識対象リスト中の被写体３１に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体３１を「竜宮城」として記述するとともに、既に被写体３１を撮影した別の写真５２に付いた認識対象リスト上にも被写体３１の認識インデックスを併せて更新する。
【０２７６】
本実施形態では、撮影装置は、例えば、カメラ機能付きの携帯電話機で構成され、図３に示したような外観構成を持つ。また、この撮影装置の内部構成は図５４に示したものと同様である。
【０２７７】
図７５には、各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの内部構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、さらには被写体側ユーザの機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物や移動体の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【０２７８】
同図に示すサーバは、図５７に示したサーバ構成に対し、さらに地図追加情報格納部５２３を備えている。この地図追加情報格納部５２３は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【０２７９】
本実施形態では、ユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【０２８０】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図７６には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【０２８１】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８２】
他のユーザの機器５３３２から地図利用の許可が返ってきたら（Ｔ５３１）、センター・サーバ５３３３は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器５３３１へ送る（Ｔ５１４）。
【０２８３】
また、図７７には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【０２８４】
まず、あるユーザの機器５３３１が、センター・サーバ５３３３に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ５３３３が、他のユーザの機器５３３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【０２８５】
これに対し、他のユーザの機器５３３２から地図利用に対する拒否が返ってきたら（Ｔ５３２）、センター・サーバ５３３３は、地図利用登録拒否通知を要求元ユーザの機器５３３１へ送る（Ｔ５１３）。
【０２８６】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【０２８７】
ユーザ間で新規の認識インデックスに関する地図情報を共有する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図２７に示したものと同様である。また、図２９や図７０を参照しながら説明した場合と同様、上下ボタンの操作により認識対象インデックスを変更することができる。
【０２８８】
図７８には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【０２８９】
まず、撮影側の機器５３３１において、ＧＵＩ操作により、撮影した写真に対して新しい認識インデックスの追加を行ない（Ｔ９１１）、これを当該写真の撮影状態とともにセンター・サーバ５３３３へ送信して、地図追加情報への登録申請を行なう（Ｔ９１２）。
【０２９０】
センター・サーバ５３３３側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し（Ｔ９２１）、認識単位として地図追加情報５２３に追加登録する（Ｔ９２２）。そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後（Ｔ９２３）、認識インデックスの追加を行なった機器５３３１にＡＣＣを返す（Ｔ９２４）。
【０２９１】
次いで、機器５３３１側では、他の写真についても、各々の撮影状態をセンター・サーバ５３３３へ送り（Ｔ９１３）、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。
【０２９２】
センター・サーバ５３３３では、これらの写真について被写体認識処理を改めて行ない（Ｔ９２５）、各写真毎の認識された被写体についてのランキング・ポイント値を機器５３３１へ返す（Ｔ９２６）。
【０２９３】
そして、機器５３３１側では、追加された認識インデックスのポイント値が０より大きくなる場合（Ｔ９１４）、その写真の認識インデックスに新規の認識インデックスを追加登録する（Ｔ９１５）。
【０２９４】
なお、Ｔ９２３において通知を受けた登録ユーザの機器側では、Ｔ９１３〜Ｔ９１５の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【０２９５】
図７９には、図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【０２９６】
まず、Ｔ１２で機器３１側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する（ステップＳ１１１）。
【０２９７】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する（ステップＳ１１２）。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【０２９８】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する（ステップＳ１１３）。本実施形態では、重なっている数で等分している。
【０２９９】
そして、地図追加情報データベース４２３へ認識対象インデックスを追加登録して（ステップＳ１１４）、本処理ルーチン全体を終了する。
【０３００】
図４１を参照しながら既に説明したように、個々の写真データにおける撮影空間４００２は、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値からなる撮影状態のパラメータ値を用いて計算され、ピント面を構成する円弧４０１２、４０２２、４０３２と、前方被写界深度４０１３、４０２３、４０３３と、後方被写界深度４０１１、４０２１、４０３１で表される。
【０３０１】
また、図４２を参照しながら説明したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。すなわち、撮影空間は、カメラ方向並びにピント面の左右方向における重み傾斜を持ち、上下方向（点４０２３並びに点４０２１）と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で（後述）、撮影空間の積分が１になるように規格化しておく。
【０３０２】
図８０には、異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示している。同図に示す例では、２つの撮影領域１３２１、１３２２が参照番号１３２３で示した領域で交差している。
【０３０３】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う（同上）。
【０３０４】
図８１には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【０３０５】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には（ステップＳ１２１）、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【０３０６】
まず、追加領域を１つ取り出す（ステップＳ１２２）。追加領域がない場合（ステップＳ１２３）、セル内のポイント値を１に規格化し（ステップＳ１２４）、セル情報として書き込み、次のセルの処理を行なう。
【０３０７】
追加情報がある場合（ステップＳ１２３）、セルにインデックスを加え（ステップＳ１２６）、ステップＳ１２２に戻る。
【０３０８】
Ｄ．写真アルバムの自動作成
前項Ａでは、本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができることを説明した。
【０３０９】
また、前項Ｂでは、人物などの移動体からなる被写体にも移動ログを取得する装置を携帯させ、撮影時点での位置情報を得ることにより、撮影空間との照合が可能となり、地図上にある建造物などの静物と同様に移動体も被写体認識の対象とすることができることを説明した。
【０３１０】
また、前項Ｃでは、地図情報に既存の認識対象を利用するだけでなく、ユーザが新たな認識対象を地図情報に追加し、同じユーザが過去に撮った写真や、他のユーザが撮った写真、これ以後に撮る写真に対しても新たな認識対象を作用させることができることを説明した。
【０３１１】
そして、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、これら被写体の面積あるいは撮影空間に存在する確度を用いて各被写体のランキング・ポイント値を計算し、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。ユーザは、優先順位が付された認識インデックスのリストを参照することにより、写真画像の管理を効率的に行なうことができる。
【０３１２】
本項では、ランキング付き被写体情報が付加されている複数の写真に対して、被写体の種類に応じてグループ化を行ない、また、ランキング・ポイント値を用いて写真の取捨選択を行なうことで、アルバムを自動生成する方法について説明する。
【０３１３】
図８２には、アルバムの自動生成処理の手順をフローチャートの形式で示している。
【０３１４】
まず、写真を入力し（ステップＳ１３１）、これらに被写体情報を付加する（ステップＳ１３２）。被写体情報を付加する処理については、前項Ａ〜Ｃにおいて既に記載しているので、ここでは説明を省略する。また、旅程付きの旅行写真の場合、写真に付いている時間と旅程に基づいて、各写真に対して旅程項目を被写体項目として付加することができる。
【０３１５】
次いで、ユーザが認識種類（人物、建物・場所、イベント、旅程など）の中から所望のカテゴリを選択し、指定されたカテゴリに対するグルーピングを行なう（ステップＳ１３３）。そして、グループ間で順序を決める。（ステップＳ１３４）。この順序決めとしては、グループ内に登録されている写真撮影時間の平均値を比較し、若いものから順番に配置する方法や、グループ内に登録されている写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１６】
次いで、グループ内で順序を決める（ステップＳ１３５）。この順序決定方法として、各々の写真撮影時間の若いものから順番に配置する方法や、個々の写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【０３１７】
そして、最後に写真をグループ毎に配置して、アルバムを作成・出力する（ステップＳ１３６）。
【０３１８】
図８３には、写真ファイル内に記述されている情報構造を図解している。ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットなどでは、写真ファイル８３０１に対して、イメージ・フィールド８３１１と、Ｅｘｉｆと呼ばれる情報フィールドが設けられている。また、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットでも、イメージ・データ部分８３１１と、メタデータ記述部分が設けられている。
【０３１９】
図示の例では、イメージ・ファイル内に存在する情報フィールドに対して、図８４に示すようなカテゴリ要素を記述するためのタグ構造を導入して、人物８３１２−１、建物・場所８３１２−２、イベント８３１２−３、旅程８３１２−４などのカテゴリを記述している。
【０３２０】
図８４には、イメージ・ファイル内の情報フィールドに記述する情報を示している。この情報は、カテゴリ・タグ８４００によって囲まれている。また、人物８４１１〜８４１３、建物・場所８４２２、イベント８４２３、旅程８４２４のカテゴリを記述するためのタグがそれぞれ用意され、各タグにはランキング・ポイント値を記述することができる。
【０３２１】
図８５には、グルーピング処理の手順をフローチャートの形式で示している。
【０３２２】
まず、所定の閾値以上となるキーを持つ写真を取得する（ステップＳ１４１）。次いで、出現したキーワード名をグループ名としてリストに保存する（ステップＳ１４２）。このとき、既に取得したカテゴリ名と重複するものについては、登録を行なわない（ステップＳ１４３）。
【０３２３】
そして、リスト内に登録したグループ毎に写真の振り分けを行なう（ステップＳ１４４）。なお、本実施形態では、複数のグループに属する写真がある場合、各々のキーワード・ランキングの大きさを比較し、この値が大きい方のキーワード・グループへ登録する。
【０３２４】
図８６には、カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８６０１に示すフィールドには、旅程情報８６１１〜８６１３が記載される。また、参照番号８６０２に示すフィールドには、写真イメージ８６２１と、写真に付けたコメント８６２２が記載される。なお、各々の写真はグループ単位でまとめられて出力される。
【０３２５】
また、図８７には、カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号８７０１で示すフィールドには、人物情報８７１１〜８７１３が記載される。また、参照番号８７０２で示すフィールドには、写真イメージ８７２１と、写真に付けたコメント８７２２が記載される。なお、各々の写真は、グループ単位でまとめられて出力される。
【０３２６】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０３２７】
【発明の効果】
以上詳記したように、本発明によれば、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２８】
また、本発明によれば、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３２９】
また、本発明によれば、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０３３０】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差は場に応じて重み付けされた領域に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【０３３１】
また、本発明によれば、複数のカテゴリがある被写体情報が付加されている写真の集合に対して、ユーザが指定したカテゴリ内の認識結果に対して、被写体のランキング地を用いてグルーピングを行ない、グループ毎に写真を配置するといったアルバムの自動生成を実現することができる。また、グループ単位の表示順位や、グループ内での写真表示順位など、被写体認識の評価値を用いて決定することができる。したがって、写真グルーピングを行なうことによって、整理されたアルバムを自動生成することができる。
【図面の簡単な説明】
【図１】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図２】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図３】撮影装置１０１に相当する機器の外観構成を示した図である。
【図４】撮影装置１０１の内部構成を示した図である。
【図５】各ユーザが所持する携帯電話機と通信を行なう画像管理サーバの構成を模式的に示した図である。
【図６】携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図７】携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を説明するための図である。
【図８】写真撮影時に取得される撮影状態を記録するデータ・フォーマットの構成例を示した図である。
【図９】方向取得部４０４から取得されるカメラのレンズ方向の表現方法の一例を示した図である。
【図１０】サーバにおいて蓄積される地図情報を編集するための処理手順を示したフローチャートである。
【図１１】図１０に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示した図である。
【図１２】地図上に認識単位の領域を設定する方法を説明するための図である。
【図１３】認識単位の分類を指定する様子を示した図である。
【図１４】認識インデックスの階層を指定する様子を示した図である。
【図１５】編集用の地図情報のデータ・フォーマットの構成例を示した図である。
【図１６】階層化されている認識インデックスの重み付けを調整する様子を示した図である。
【図１７】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図１８】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【図１９】セル内に存在する認識単位を登録している様子を示した図である。
【図２０】撮影空間を含むセルを選択する様子を示した図である。
【図２１】セル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示した図である。
【図２２】撮影空間内の認識単位に対するランキング・ポイントを計算する処理手順を説明するための図である。
【図２３】イベントを記載するデータ・フォーマットの構成例を示した図である。
【図２４】イベントとそのランキング・ポイントを計算するための処理手順を示したフローチャートである。
【図２５】撮影画像の中から認識単位インデックスが取得された様子を示した図である。
【図２６】認識単位インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図２７】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図２８】コマンド設定画面の構成例を示した図である。
【図２９】ポイント調整により認識インデックスを変更する様子を示した図である。
【図３０】認識単位インデックスを変更するための処理手順を示したフローチャートである。
【図３１】認識単位インデックスを挿入する様子を示した図である。
【図３２】認識単位インデックスを挿入した結果を示した図である。
【図３３】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図３４】認識対象の変更によって変化したデータの様子を示した図である。
【図３５】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３６】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３７】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３８】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図３９】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図４０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４３】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４４】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４７】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４８】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４９】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図５３】人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図５４】撮影側装置５３３１の内部構成を示した図である。
【図５５】移動ログ記録装置の外観構成を示した図である。
【図５６】移動ログ記録装置の内部構成を示した図である。
【図５７】図５３に示した被写体認識サービスにおいてセンター・サーバ５３３３として動作する装置の内部構成を模式的に示した図である。
【図５８】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図５９】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図６０】撮影側機器５３３１上で撮影された画像に含まれる被写体をセンター・サーバ５３３３で認識して各被写体にランキング・ポイントを付与して機器５３３１に提供し、撮影側機器５３３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図６１】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図６２】機器が認証を受けている被写体リストの構成例を示した図である。
【図６３】セル内に存在する認識対象を登録している様子を示した図である。
【図６４】撮影空間を含むセルを選択する様子を示した図である。
【図６５】図６２に示した各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図６６】図６３に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図６７】撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する方法を説明するための図である。
【図６８】撮影画像の中から人物に関する認識対象インデックスが取得された様子を示した図である。
【図６９】人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図７０】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図７１】認識対象の変更によって変化したデータの様子を示した図である。
【図７２】被写体とカメラとの位置関係を移動ログから取得する様子を示した図である。
【図７３】人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順を示したフローチャートである。
【図７４】新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される写真画像の管理方法の仕組みを説明するための図である。
【図７５】各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図７６】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図７７】あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図７８】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図７９】図７８中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図８０】異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示した図である。
【図８１】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図８２】アルバムの自動生成処理の手順を示したフローチャートである。
【図８３】写真ファイル内に記述されている情報構造を示した図である。
【図８４】イメージ・ファイル内の情報フィールドに記述する情報を示した図である。
【図８５】グルーピング処理の手順を示したフローチャートである。
【図８６】カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【図８７】カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【符号の説明】
１０１…撮像装置
１０２…撮影状態取得部
１０３…被写体認識部
１０４…ランキング・ポイント付与部
１０５…画像保存部
１０６…画像検索／編集部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image management system, an image management method, and a computer program for managing a large number of photographic images, and more particularly to an image management system, an image management method, and a computer for managing a photographic image including one or more subjects.・ Regarding the program.
[0002]
More specifically, the present invention relates to an image management system, an image management method, and a computer program for recognizing a subject in a photographed photograph and for facilitating the management of the photograph by combining the photograph and the subject. More particularly, the present invention relates to an image management system, an image management method, and a computer program for prioritizing a plurality of photographing targets and performing practical object recognition.
[0003]
[Prior art]
In recent years, devices for outputting and reproducing captured images as digital contents, such as digital cameras, have become widespread. This type of photograph is stored on a magnetic tape, a magnetic disk, a semiconductor memory, or the like. The simple operation of the device and the easy output of the photos, combined with the simplicity of photographing, increase the number of photos. In such a case, from the viewpoint of effective use of the content, a suitable management method of the photograph is important.
[0004]
For example, a technique has been adopted in which predetermined meta information is added to an image, and the image is managed and searched based on the meta information. In this case, events and other situations at the time of photographing the photograph, episodes related to the photographing, information and impressions on the subject, and these keywords are managed together with the image as meta information. However, depending on the user's manual input of the meta information, the work load is excessive and troublesome.
[0005]
In addition, there have been proposed some methods of automatically adding a shooting time, a shooting location detected using a GPS (Global Positioning System) or the like as meta information to an image body, and the like.
[0006]
Here, the present inventors think that it is possible to facilitate a photo search by combining what is in the photograph (object) with the photographed photograph.
[0007]
For example, the camera position and the direction are measured, and the recognition index described on the map information can be recognized as the subject. However, in order to perform subject recognition, it is necessary to measure the position and the measurement with extremely high accuracy. The map information prepared in advance does not correspond to what the photographer wants to recognize.
[0008]
Further, there has been proposed an image recording apparatus that obtains additional information regarding a shooting place and a shooting target to improve operability (for example, refer to Patent Document 1). According to this image recording apparatus, when a plurality of imaging target candidates are extracted, the estimation is performed by assigning priorities in descending order of the likelihood. However, priorities are determined based on the distance from the center of the estimation range provided in the photographed image to obtain the accuracy of the photographing object candidate. Building) is not evaluated as being out of the center of the estimated range. In addition, a high accuracy is given to a shooting target that coincides with the focal direction, but at this time, no consideration is given to the depth of field.
[0009]
On the other hand, it is common practice to edit and save the obtained photographic image as an album. In a conventional album creation system, there are a system in which photos are sorted in order of photographing time, and a system in which photos are arranged on a map by comparing the photographed time with the time in a GPS log. When some subject information is added to a photograph, a photograph search is performed using the additional information.
[0010]
However, when subject information is added to each photograph in any way, there is no method for creating a photo album using the information.
[0011]
In addition, it is technically possible to display the pictures side by side by applying a search method for the subject information attached to the pictures, but the evaluation axis is one axis. You can't group and edit an album.
[0012]
[Problems to be solved by the invention]
An object of the present invention is to provide an excellent image management system, an excellent image management method, and a computer program that can easily manage a photograph by combining a photographed photograph with a subject in the photograph. It is in.
[0013]
It is a further object of the present invention to provide an excellent image management system, an excellent image management method, and a computer program capable of prioritizing a plurality of photographing targets and performing practical object recognition.
[0014]
A further object of the present invention is to provide an excellent image management that can appropriately manage, group, and perform other editing processes on a large number of captured images based on subject information or other additional information attached to each captured image. It is to provide a system, an image management method, and a computer program.
[0015]
Means and Action for Solving the Problems
The present invention has been made in consideration of the above problems, and a first aspect of the present invention is an image management system that manages an image in combination with a subject included in a captured image,
Shooting state obtaining means for obtaining a shooting state at the time of image shooting,
A photographing space estimating means for calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition unit that compares the shooting space calculated by the shooting space estimation unit with predetermined map information and recognizes an object existing in the shooting space on the map as a subject;
Subject evaluation value calculation means for calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management system comprising:
[0016]
However, the term “system” as used herein refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter in particular.
[0017]
According to the present invention, retrieval and other image management are efficiently performed for a subject included in each image in accordance with a priority order based on the evaluation value.
[0018]
According to the present invention, in object recognition of a photographic image, a shooting space including a focus plane and a depth of field is calculated based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of shooting. Then, by comparing the photographing space with predetermined map information, an object existing in the photographing space on the map can be recognized as a subject.
[0019]
Further, the photographing space estimating means calculates a photographing space composed of a focus plane and a depth of field based on the indicated values of the photographing states, a distance from the focus plane of the photographing space, a distance from the central axis, and a camera position. For the imaging space weighted according to the measured value and the error radius, the direction measured value and the error width, using the area of the subject as the recognition unit described in the map information, each of the plurality of existing recognition units Can be prioritized. As a result, the list order of the set of recognition units can be determined and used for photo search and other photo management / editing.
[0020]
The subject evaluation value calculation means may calculate an evaluation value by giving a weight based on a shooting position error and a line-of-sight direction error to a ratio of a subject occupying in a shooting space.
[0021]
For example, in a situation where the measurement accuracy is not high enough, by retrieving many recognition candidates according to the accuracy of the information and presenting them to the user in a ranked form, changing the list ranking or deleting items, etc. At the time of editing, the user is less burdened than the labor of adding items by manual input.
[0022]
In addition, the image management system according to the present invention includes an event table storage unit that stores an event table prepared for each subject, and an event that obtains an event as a subject by comparing a shooting time of an image with the event table. Acquisition means may be further provided.
[0023]
Map information used for object recognition is configured by arranging recognition units composed of buildings and other objects on a map, and a recognition index is assigned to each recognition unit. The subject recognizing means returns a list of recognition indices of recognition units recognized as subjects in the photographing space as a recognition result.
[0024]
In this map information, each recognition unit has an area on the map, and a plurality of recognition units can be defined by being overlapped in position. The recognition units are hierarchized, and among the recognition units that overlap in position, the ranking can be adjusted among a plurality of recognition units by giving a larger weight to the recognition unit that overlaps the recognition unit. Further, when recognition units that overlap in position are assigned to the same layer, the recognition index value of each recognition unit is divided by the number of overlaps to equalize.
[0025]
Also, a plurality of categories may be prepared for the recognition unit. The subject recognizing means may return a list of recognition indexes in which recognition units recognized as subjects in the photographing space are classified for each category as a recognition result.
[0026]
In such a case, the captured images can be grouped for each category, and an album can be generated for each image group.
[0027]
For example, albums of each image group are sequentially generated according to an inter-group order determined by a predetermined procedure. The order between groups referred to here is determined, for example, based on the average photographing time of the photographed images included in each image group or the total of the evaluation values.
[0028]
In addition, an album of the image group is generated by selecting photographed images in the image group according to the order within the group determined by a predetermined procedure. The order within the group referred to here is determined based on, for example, the photographing time or the evaluation value of each photographed image in the image group.
[0029]
According to a second aspect of the present invention, there is provided a computer program described in a computer-readable format so as to execute a process for managing an image in combination with a subject included in a captured image on a computer system. So,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
A computer program characterized by comprising:
[0030]
The computer program according to the second aspect of the present invention defines a computer program described in a computer-readable format so as to realize a predetermined process on a computer system. In other words, by installing the computer program according to the second aspect of the present invention in a computer system, a cooperative action is exerted on the computer system, and the image management according to the first aspect of the present invention is performed. The same operation and effect as those of the system can be obtained.
[0031]
Further objects, features, and advantages of the present invention will become apparent from more detailed descriptions based on embodiments of the present invention described below and the accompanying drawings.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0033]
A. Photo subject recognition
FIG. 1 shows how a subject is recognized using a camera position, a lens direction, and map information. In the figure,
[0034]
FIG. 2 schematically shows a system configuration of the image management system according to the embodiment of the present invention. The illustrated image management system manages a photograph by combining a photographed photograph with a subject shown in the photograph.
[0035]
First, photographing is performed by the photographing
[0036]
The
[0037]
The ranking
[0038]
The
[0039]
FIG. 3 shows an external configuration of a device corresponding to the
[0040]
FIG. 4 shows an internal configuration of the photographing
[0041]
A CPU (Central Processing Unit) 415 executes each program for realizing the mobile phone function and the camera function under the control of the operating system, so that the operation of the photographing
[0042]
A RAM (Random Access Memory) 413 is configured by a readable / writable semiconductor memory, and loads an execution program code of the
[0043]
The
[0044]
The
[0045]
The
[0046]
The
[0047]
The
[0048]
The
[0049]
The
[0050]
The
[0051]
When a photograph is taken on the mobile phone shown in FIG. 4, the photographing
[0052]
FIG. 5 schematically shows the configuration of an image management server that communicates with a mobile phone (see FIG. 4) owned by each user. The image management server receives the photographed image and its photographing log (such as photographing time, photographing state, error information included in position measurement and direction acquisition at the time of photographing), and performs object recognition and ranking points for each object. It provides services such as adding, saving images, and supporting image search and editing.
[0053]
The
[0054]
The
[0055]
The
[0056]
The map
[0057]
The shooting target
[0058]
The subject
[0059]
The ranking
[0060]
FIG. 6 shows a processing procedure for recognizing a subject included in an image photographed on a mobile phone, assigning a ranking point to each subject, and performing a user editing operation based on the ranking point. I have.
[0061]
First, after photographing with a mobile phone (T611), a photographing log such as a device ID and a focal length, an angle of view, and an aperture is transmitted to the server side (T612).
[0062]
On the server side, the camera position, lens direction, focal length, angle of view, and aperture value are acquired from the shooting log, and the shooting space consisting of the focus plane and the depth of field is obtained based on the indication values of these shooting conditions. Is calculated as a range to be photographed (described later) (T621).
[0063]
Next, the server collates the camera position at the time of shooting included in the shooting log with the map information, and creates a set of objects in the shooting target range of the shot image as a subject list.
[0064]
Further, the server calculates an evaluation value according to the estimated situation in the image of the subject as a ranking point. The evaluation value here is calculated based on the ratio (or area) of the subject in the photographing space. However, since the captured image includes uncertain components such as an error in the camera position and an error in the lens direction, weighting based on the imaging position error and the gaze direction error is applied to the ratio of the subject in the imaging space. Then, a ranking point based on the accuracy of the information is given (described later) (T623).
[0065]
Then, the server returns the created subject list and the list order to the mobile phone (T624).
[0066]
The mobile phone uses the received subject list and the list order to add or correct the subjects included in the photograph and their order as appropriate (T613).
[0067]
FIG. 7 shows information acquired at the time of taking a picture on a mobile phone or other user equipment having a camera function.
[0068]
For example, when a photograph as indicated by
[0069]
FIG. 8 shows a configuration example of a data format for recording a photographing state acquired at the time of photographing, as shown in FIG. In the illustrated example, the shooting state is described in an xml (extended markup language) format, and includes a
[0070]
FIG. 9 shows an example of a method for expressing the shooting direction, that is, the lens direction of the camera acquired from the
[0071]
FIG. 10 is a flowchart showing a processing procedure for editing map information stored in the server. In the present embodiment, the
[0072]
First, map information for editing is read (step S1). If there is no map information for editing, create a new one.
[0073]
Next, a recognition unit is selected and set as an area (step S2). Then, an index corresponding to this is set (step S3), overlap setting is performed (step S4), and information is recorded (step S5).
[0074]
If the area setting has not been completed (step S6), the process returns to step S2. If the area setting has been completed and writing to map data is not to be performed (step S7), an editing map is written (step S8), and the entire processing routine ends.
[0075]
On the other hand, when writing map data, the data is divided into cells (step S9), the index ranking is calculated for each cell (step S10), and the data is output as map data (step S11). End the entire routine.
[0076]
FIG. 11 schematically shows a functional configuration of a map information editing apparatus that performs the map information editing process as shown in FIG.
[0077]
When the
[0078]
The
[0079]
The
[0080]
The
[0081]
When there are overlapping recognition unit areas, the ranking calculation unit 1141 calculates a ranking value for each index.
[0082]
When the recognition units at the same level interfere with each other on the map, the area dividing unit 1142 performs a calculation for equally dividing the ranking place by the number of indices interfering.
[0083]
When outputting the map data, the cellifying unit 1143 performs a process of dividing the map into cells, calculating a ranking for each index in each cell, and converting the ranking into a predetermined output format.
[0084]
FIG. 12 shows regions of each recognition unit set on the map 1203. In the example shown in the figure,
[0085]
Although each recognition unit has an area on the map, it can be defined by being overlapped in position. In addition, by giving a larger ranking point to the recognition unit overlapping thereover, the ranking is adjusted among a plurality of positionally overlapping recognition units.
[0086]
For example, in the example shown in FIG. 12, the Sanjo-
[0087]
It is also possible to create and edit a recognition unit not included in the original map information by a user operation or the like and add it. In the example shown in FIG. 12, the user operating the map editing device applies a mouse operation as indicated by
[0088]
FIG. 13 shows a state in which the classification of the recognition unit is specified. On the display screen of the map editing device, in response to the user manually inputting the
[0089]
As described above, in the map information according to the present embodiment, a plurality of recognition units can be defined by being overlapped in position. In such a case, the recognition index is hierarchized. FIG. 14 shows a state where the hierarchy of the recognition index is specified. In the example shown in the figure, there is
[0090]
FIG. 15 shows a configuration example of the data format of such map information for editing. In the illustrated example, the map information is described in the xml format. As shown in the figure, each recognition unit is described as tag information according to the index and hierarchy shown in FIG. In each piece of tag information, a classification of recognition (see FIG. 13) assigned to the corresponding recognition unit is described. Further, the tag information includes description of position data on the map for each recognition unit.
[0091]
As described above, in the map information according to the present embodiment, a plurality of recognition units can be defined by being superimposed on the position, and by giving a larger ranking point to the recognition unit that is superimposed on the map, the position of the recognition unit can be overlapped. The ranking is adjusted among a plurality of recognition units. FIG. 16 shows how to adjust the weight of the hierarchical recognition index.
[0092]
As already described with reference to FIG. 14, first, there is
[0093]
Further, Nijo-
[0094]
FIG. 17 shows a configuration example of a map information format used for operation of the subject list providing service.
[0095]
The map is divided into cells for the editing map data shown in FIG. 15, and a ranking value for each index is calculated based on the hierarchy of the recognition index in the cell and standardized. The illustrated format includes a
[0096]
In the
[0097]
The number of recognition units in the cell (i, j) indicated by reference numeral 7123-5 is 5, and the recognition unit support 7123-1 exists. In this, a recognition unit number 7123-3 and a point 7123-2 are defined as a pair. The points are standardized so that they add to one.
[0098]
Next, in the recognition
[0099]
FIG. 18 shows the relationship between the cell-divided map, the camera position, and the lens direction. In the example shown in the figure, the map is divided into six in the vertical direction and eight in the horizontal direction. In practice, some measures such as layering the cell division are performed, but are omitted in this specification for simplification of the description.
[0100]
[0101]
FIG. 19 shows a state in which recognition units existing in a cell are registered. For example,
[0102]
In the present embodiment, a camera position, a lens direction, a focal length, an angle of view, an imaging value such as an aperture value are acquired, and an imaging space including a focus plane and a depth of field based on an instruction value of the imaging state is obtained. It is calculated as an allowable range for the camera to shoot. Then, the photographing space and the map information are collated, a recognition unit such as a building in the photographing space is extracted, and a recognition unit index is listed up according to the point value to create a subject list. For the sake of computational convenience when searching for a recognition unit in the shooting space, an intra-cell recognition unit quick reference table as shown in FIG. 19 is used.
[0103]
FIG. 20 shows a state where a cell including a shooting space is selected. As shown in the figure, first, a shooting state including position information of a camera, a lens direction, a focal length, an angle of view, an aperture value, and the like is acquired, and a
[0104]
Next, a recognition unit included in the selected cell is obtained. FIG. 21 shows a state in which a recognition unit is obtained from a selected cell using the in-cell recognition unit quick reference table shown in FIG. As shown in the figure, three cells, fifth in the horizontal direction and second to fourth in the vertical direction, and two cells, sixth in the horizontal direction and third to fourth in the vertical direction, overlap the shooting space.
[0105]
Next, a ranking point is calculated as an evaluation value for each recognized recognition unit. In the present embodiment, the evaluation value is calculated based on the ratio of the recognition unit as the subject in the imaging space. Further, the ratio is calculated by giving a weight based on the photographing position error and the line-of-sight direction error to the ratio of the subject in the photographing space. That is, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value of the camera position and the error radius, and the area weighted according to the direction measured value and the error width are described in the map information. Using the area of the recognition unit, a ranking point indicating a priority is given to each of the recognition targets.
[0106]
For example, in a situation where the measurement accuracy is not sufficiently high, by acquiring many recognition candidates and presenting them to the user in a form ranked in terms of the accuracy of the information, the list order can be changed or items can be deleted. At the time of editing, the user is less burdened than the labor of adding items by manual input.
[0107]
FIG. 22 shows how to calculate ranking points for recognition units in the shooting space.
[0108]
As described above, the camera-based photographing
[0109]
Here, the certainty when the
[0110]
FIG. 22 shows a
[0111]
Ranking point r for recognition unit ssIs shown below.
[0112]
(Equation 1)
However, AijIs the weight of the imaging space of the cell in the i-th row and the j-th column, CiIs the weight of the camera position, DjIs the weight in the lens direction, SksRepresents a weight due to overlap with another recognition unit k. These weights Aij, Ci, Dj, SksAre assumed to have their values normalized.
[0114]
In the present embodiment, information on the event of each recognition unit on the map information is managed on the time axis, and the event as the subject is acquired by comparing the shooting time with the event table. This is used for image management such as image search and album creation. The management of the event is performed by, for example, an
[0115]
FIG. 23 shows a configuration example of a data format for describing an event. An event is defined for each recognition unit. In the example shown in the figure, an
[0116]
As shown on the right side of FIG. 23, the event data is described in, for example, an xml format, and the event is described as tag information together with the date and time of the event for each recognition target. By scanning such a data format using the recognition unit and the shooting time, an event corresponding to the shot image can be extracted.
[0117]
FIG. 24 shows, in the form of a flowchart, a processing procedure for calculating an event and its ranking point.
[0118]
First, a photographing state is extracted from a photographing log added to a photographed image, a photographing space is calculated, and a recognition unit included in the photographing space is extracted (step S21).
[0119]
Then, the area of the recognition unit is used for the area weighted according to the distance from the focus plane of the shooting space, the distance from the central axis, the measured value of the camera position and the error radius, the direction measured value and the error width. To calculate the ranking point value.
[0120]
Next, the event data as shown in FIG. 23 is scanned, and an event to be collated with each of the extracted recognition units and shooting time is extracted (step S22).
[0121]
Then, the point value of each event is set to the point value of the recognition unit (step S23).
[0122]
FIG. 25 illustrates a state in which the recognition unit index has been acquired from the captured image. With reference to FIG. 7, it has already been described that the shooting state is acquired together with the shot image at the time of shooting a photo.
[0123]
FIG. 26 shows a configuration example of a data format describing the recognition unit index.
[0124]
The configuration of the data format for describing the shooting state has already been described with reference to FIG. In the example shown in FIG. 8, the shooting state is described in the xml format, and includes a link to a shot image, a shooting time, a shooting location, and a shooting direction.
[0125]
In FIG. 26, the recognition unit index included in the captured image and its point value are further described, and the shooting time and the event extracted from the recognition unit index and its point value are also described. In the illustrated example, a
[0126]
According to the image management system according to the present embodiment, based on the photographing time, photographing state, error information included in position measurement and direction acquisition at the time of photographing, the subject included in the photographed image is recognized, and Assignment of a ranking point to a subject and provision of a ranking point in an acquisition sequence of events related to the subject are performed. Then, on the user side, a list of subjects is presented in a priority order based on the ranking points, so that it is possible to appropriately manage the photograph based on the additional information.
[0127]
FIG. 27 shows a screen configuration example of the image management user interface based on the ranking points. A photographed image (image) is displayed in an area indicated by
[0128]
[0129]
In an area indicated by
[0130]
The calculation formula for calculating the image points is, for example, as follows. That is, it is expressed as a total sum of products obtained by multiplying the ranking point value of each subject recognized in the image by the priority for the type of recognition.
[0131]
(Equation 2)
FIG. 27 The image management user interface is provided with command buttons for applying a specific process to the selected photograph. FIG. 28 shows a configuration example of a command setting screen for setting a command.
[0133]
For example, when the "setting"
[0134]
FIG. 29 shows how the recognition index is changed by the point adjustment.
[0135]
Here, as shown by
[0136]
FIG. 30 shows a processing procedure for changing the recognition unit index in the form of a flowchart.
[0137]
First, the process enters the recognition index list edit mode (step S31). Until the editing mode ends (step S32), the user edits the list (step S33). Here, the list editing includes addition of a recognition index, change of rank, change of name, and the like.
[0138]
Here, if the recognition index has been deleted (step S34), it is deleted (step S37); otherwise, the editing history is stored (step S35).
[0139]
When the editing is completed, the point is corrected (step S36), and the entire processing routine ends.
[0140]
FIG. 31 shows how a recognition unit index is inserted. In the illustrated example, there is an existing recognition unit index at a location indicated by
[0141]
FIG. 32 shows the result of inserting the recognition unit index. Regarding the
[0142]
FIG. 33 shows how the recognition target index is changed by operating the up and down buttons.
[0143]
[0144]
In the illustrated example, the
[0145]
FIG. 34 shows the state of the data changed by the change of the recognition target.
[0146]
In the example of the data format for describing the recognition unit index shown in FIG. 26, a
[0147]
On the other hand, as a result of changing the recognition unit index as shown in FIG. 33, the
[0148]
In the above-described embodiment, in the object recognition, the distance from the focus plane, the distance from the central axis, the measured value of the camera position and the error radius, the photographing space weighted according to the direction measured value and the error width, the map The ranking point value is calculated using the area occupied by the subject as the recognition unit described in the information, that is, the floor area of the building. Actually, the building may be a one-story building, a multi-storey building, or a high-rise building, and the proportion occupied in the photographed image (and not in the photographing space) varies accordingly. It may not be enough to estimate the priority within Therefore, an evaluation method of a subject may be considered in which a ranking point value is obtained in addition to the floor area of the recognition unit as well as the surface area of the building.
[0149]
In FIG. 35, the map information as shown in FIG. 12 is three-dimensionally represented. However, each building as a recognition unit is represented in the form of a minimum cube surrounding the building, that is, a Boundary Box (boundary cube). FIG. 37 shows an image captured by a camera having a camera position and a lens direction indicated by
[0150]
FIG. 36 shows how a hierarchy of the recognition unit index existing on the map shown in FIG. 35 is specified. For example, in response to the user manually inputting the
[0151]
FIG. 38 shows how to create a shooting space when shooting is performed by a camera having a camera position and a lens direction indicated by
[0152]
The camera position information and the lens direction, as well as the shooting state including the focal length, the angle of view, the aperture value, etc., are acquired, and the
[0153]
FIG. 39 shows a photographing
[0154]
As described above, in the present embodiment, the camera state information and the lens direction, and the shooting state including the focal length, the angle of view, the aperture value, and the like are acquired, and the camera position is centered, and the focus plane and the depth of field are obtained. A portion corresponding to the angle of view in the lens direction in a region of a radius range determined based on the calculated value is calculated as a shooting space. Then, the photographing space is compared with the map information, and a recognition unit such as a building in the photographing space is recognized as a subject. Furthermore, when calculating the ranking point value for the recognition unit in the shooting space, the weight of the shooting space, that is, the weight according to the center angle and the distance from the focus plane is weighted, and the camera position is determined by the camera position error. Is weighted in accordance with.
[0155]
The method of calculating the ranking point value for the recognition unit appearing in the subject, that is, the photograph has been schematically described with reference to FIG. 22, but the detailed processing will be described below.
[0156]
FIG. 40 shows a photographing area. Each piece of photograph data includes a photographing position of the
[0157]
As described above, the imaging space is weighted according to the central angle and the distance from the focus plane. FIG. 41 shows a state of the weight inclination in the photographing space. A graph indicated by
[0158]
FIG. 42 shows, in the form of a flowchart, a processing procedure for calculating the ranking point value of the subject. First, a camera position and a lens direction are input (step S41). Next, the position of the subject is input (step S42). Then, as a result of the culling (step S43), if the culling is performed, 0 is returned (step S45), otherwise, the ranking point value is calculated (step S46).
[0159]
FIG. 43 shows, in the form of a flowchart, a detailed procedure of a culling process corresponding to step S43 in the flowchart shown in FIG. First, a camera position and a lens direction are input (step S51). Next, the position of the subject is input (step S52), and a circle having the minimum radius including the object is created as a boundary circle (step S53). Next, when the distance condition described in FIG. 44 is satisfied (step S54), the
[0160]
FIG. 44 shows how the culling distance condition is determined.
[0161]
The culling distance condition is determined according to the following equation. According to this equation, the magnitude of the vector indicated by
[0162]
(Equation 3)
FIG. 45 shows how the
[0164]
The following equation is an equation for determining the
[0165]
(Equation 4)
FIG. 46 shows how the
[0167]
The following equation shows an equation for determining the
[0168]
(Equation 5)
FIG. 47 shows how the subject area is divided into cells. In the figure,
[0170]
FIG. 48 shows, in the form of a flowchart, a processing procedure for calculating a ranking point value for a subject. Here, the integration of the subject area is performed.
[0171]
First, a rectangle covering the subject area is obtained by obtaining vertices having the maximum value and the minimum value along the x-axis and the y-axis (step S61).
[0172]
Next, the object area S and the rank value Sum are initialized to 0 (step S62). The x axis minimum value X obtained in the preceding step S61 is added to the x axis direction variable xminIs substituted (step S63). Further, the y-axis direction variable y is set to the y-axis minimum value Y obtained in the preceding step S61.minIs substituted (step S64).
[0173]
Next, if the center point P of the currently focused mesh cell is within the subject area (step S65), the area S is increased by 1 (step S66), and the point P is viewed from the camera side to the ranking point value Sum. The ranking / point value at the time of occurrence is added (step S67).
[0174]
Next, a step width dy is added to y (step S68). Then, y is the y-axis maximum value YmaxIf smaller (step S69), the process returns to step S65.
[0175]
Next, a step width dx is added to x (step S70), and x is the x-axis maximum value X.maxIf smaller (step S71), the process returns to step S65.
[0176]
Finally, after sum is divided by S and normalized (step S72), this is output (step S73), and the entire processing routine ends.
[0177]
FIG. 49 shows, in the form of a flowchart, a processing procedure for calculating a rank value for a certain point of a subject. Here, the error circle portion of the camera is integrated.
[0178]
First, the subject position O is input (step S81). Then, the rank sum Sum is initialized to 0 (step S82), and the radius variable r is initialized to 0 (step S83).
[0179]
Next, a weight parameter w that decreases as the distance of the camera position increases is calculated (step S84), and the angle variable θ is initialized to 0 (step S85).
[0180]
Next, a point coordinate P within the camera error circle is obtained (step S86), and a ranking point value when the camera is assumed to be at the position P is calculated and added to sum (step S87).
[0181]
Next, the angle increment dθ is added to θ (step S88). If θ does not exceed 2π (step S89), the process moves to step S86.
[0182]
Next, the distance increment dr is added to r (step S90). If r does not exceed the error radius Cr (step S91), the process moves to step S84.
[0183]
Then, the error radius area S is calculated (step S92), sum is normalized by S and output (step S93), and the entire processing routine ends.
[0184]
FIG. 50 shows how the distance condition is determined. In the figure,
[0185]
The following equation shows an equation for determining the distance condition. The condition is that the length of the
[0186]
(Equation 6)
FIG. 51 shows how the angle condition is determined. In the figure,
[0188]
The following equation shows an equation for determining the angle condition. The condition is that the
[0189]
(Equation 7)
FIG. 52 shows how the front and rear object fields are divided. In the figure,
[0191]
The rank value in the front and rear scenes is calculated by the following equation. As shown in FIG. 52, the calculation formula is different when the subject is in the front-depth-of-field imaging space 4432-1 and when the subject is in the rear-depth-of-field imaging space 4432-2.
[0192]
(Equation 8)
B. Recognition of objects composed of moving objects
In the above-described embodiment, the recognition target in the captured image has a static / fixed position on a map such as a building, and is basically obtained by comparing the imaging space with the position of each recognition target on the map. The object is recognized. In this case, it is not possible to perform subject recognition on a moving object such as a person or a car. Therefore, hereinafter, an image management system that manages a photograph by combining a photograph and a subject in a photographic image including a moving object as a subject will be described.
[0194]
FIG. 53 illustrates a mechanism in which the subject recognition processing is performed based on the positional information of the subject such as a person and the shooting space of the shot image in the image management system illustrated in FIG.
[0195]
The photographing
[0196]
The photographing-
[0197]
The
[0198]
The
[0199]
The
[0200]
The
[0201]
The
[0202]
The
[0203]
The
[0204]
The
[0205]
The
[0206]
The
[0207]
The device includes an
[0208]
When taking a photograph on the mobile phone shown in FIG. 54, the photographing
[0209]
Of course, in the case of taking a picture by himself, the subject may also carry his or her own movement log by carrying the device having the device configuration shown in FIG. Alternatively, a person who does not take a picture himself carries a portable device having a position measuring function without a camera function. FIG. 55 shows the external configuration of the movement log recording apparatus in this case, and FIG. 56 shows the internal configuration thereof.
[0210]
As shown in FIG. 55, the movement log recording device includes an
[0211]
When the
[0212]
The
[0213]
The
[0214]
The
[0215]
The
[0216]
The illustrated device includes an
[0217]
FIG. 57 schematically illustrates the internal configuration of a device that operates as the
[0218]
The
[0219]
The terminal position
[0220]
In the present embodiment, by using the subject position information obtained from the people carrying the devices shown in FIG. 53 and FIG. Estimate if there is. In order to perform the subject recognition, it is assumed that each device user permits use of subject position information that is deeply related to privacy. FIG. 58 illustrates a processing procedure for applying for a use permission of positional information to a subject.
[0221]
First, the photographing-
[0222]
When the permission is returned from the
[0223]
FIG. 59 shows a processing procedure in a case where an application for rejecting use of positional information to a subject is made and the application is rejected.
[0224]
The
[0225]
On the other hand, when the rejection is returned from the
[0226]
60, the
[0227]
First, after photographing is performed by the photographing side device 5331 (T1111), a photographing log such as a device ID and a focal length, an angle of view, and an aperture is transmitted to the
[0228]
On the side of the
[0229]
When there is a subject-side device registered in the list (that is, position acquisition permitted) in the shooting range, the
[0230]
Thereafter, the
[0231]
Then, the
[0232]
The photographing-
[0233]
In the present embodiment, the
[0234]
FIG. 61 shows the relationship between the camera position, the lens direction, and the subject on the cell-divided map. In the example shown in the figure, the map is divided into six in the vertical direction and eight in the horizontal direction. In practice, some measures such as layering the cell division are performed, but are omitted in this specification for simplification of the description.
[0235]
[0236]
FIG. 62 illustrates a configuration example of a subject list for which the device has been authenticated. In the example shown in the figure, the
[0237]
FIG. 63 shows a state where the recognition target existing in the cell is registered. For example,
[0238]
In the present embodiment, a camera position, a lens direction, a focal length, an angle of view, an imaging value such as an aperture value are acquired, and an imaging space including a focus plane and a depth of field based on an instruction value of the imaging state is obtained. It is calculated as an allowable range for the camera to shoot. Then, the photographing space of the camera used for photographing is collated with the position information of the subject who has been authenticated, and a subject in the photographing space is extracted as a recognition target, and a subject list is created. For the sake of computational convenience when searching for a recognition target in the shooting space, an intra-cell recognition target quick reference table as shown in FIG. 17 is used.
[0239]
FIG. 64 shows a state where a cell including a shooting space is selected. As shown in the figure, first, a shooting state including position information of a camera, a lens direction, a focal length, an angle of view, an aperture value, and the like is acquired, and a
[0240]
Next, a recognition target included in the selected cell is obtained. FIG. 65 illustrates a state where a recognition target is acquired from the subject list for each device illustrated in FIG. 62. FIG. 66 illustrates a state in which the recognition target is acquired from the selected cell using the in-cell recognition target quick reference table illustrated in FIG. 63.
[0241]
First, as shown in FIG. 65, it is detected from the subject list that the subjects authenticating the
[0242]
Next, as shown in FIG. 66, three cells in the horizontal direction and the second to fourth cells in the vertical direction, and two cells in the horizontal direction and the third and fourth cells in the vertical direction are included in the shooting space. Is selected as a cell overlapping with. Then, the imaging space is collated with the position information sent from each device, and the
[0243]
Next, a ranking point value as an evaluation value for each recognized recognition target is calculated. In the present embodiment, an evaluation value is calculated based on the likelihood that a person (or another moving object) as a subject exists in the imaging space. Further, the calculation is performed by giving a weight based on the imaging position error and the line-of-sight direction error to the likelihood that the subject exists in the imaging space. That is, the likelihood of the subject position is used for a region weighted according to the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measured value and the error width. Then, a ranking point indicating a priority is attached to each of the recognition targets.
[0244]
FIG. 67 shows how a ranking point is calculated for a recognition unit composed of a moving object such as a person existing in the shooting space.
[0245]
The photographing
[0246]
Here, the certainty when the
[0247]
FIG. 67 shows the
[0248]
The recognition target in the photographing
[0249]
Ranking point r for recognition unit ppIs shown below.
[0250]
(Equation 9)
However, AijIs the weight of the imaging space of the cell in the i-th row and the j-th column, CiIs the weight of the camera position, DjIs the weight in the lens direction, OksRepresents the certainty of the subject. These weights Aij, Ci, Dj, OksAre assumed to have their values normalized.
[0252]
FIG. 68 illustrates a state in which a recognition target index relating to a person has been acquired from a captured image. A
[0253]
FIG. 69 illustrates a configuration example of a data format that describes a recognition target index including a person as a recognition target. In the example shown in FIG. 26, a
[0254]
According to the image management system according to the present embodiment, recognition of a subject included in a captured image and provision of ranking points in the acquisition sequence of events related to the subject are performed. Then, on the user side, a list of the subjects is presented in a priority order based on the ranking points, and the management of the photograph can be appropriately performed based on the list.
[0255]
Also in the present embodiment in which a moving object such as a person is recognized as a subject, the screen configuration example of the image management user interface is the same as that shown in FIG.
[0256]
FIG. 70 shows how the recognition target index is changed by operating the up and down buttons.
[0257]
[0258]
In the illustrated example, the
[0259]
FIG. 71 shows a state of the data changed by the change of the recognition target.
[0260]
In the example of the data format describing the recognition unit index shown in FIG. 69, a tag field describing the recognition unit for each recognition type is provided, and the
[0261]
In the present embodiment, recognition of a subject in a captured image is performed by collating positional information obtained from the subject with a shooting space obtained from a shooting state such as a camera position. FIG. 72 shows a state in which the positional relationship between the subject and the camera is obtained from the movement log.
[0262]
[0263]
On the other hand, the subject position is extracted from the movement log 3034 of the movement log recording device carried by the subject.
[0264]
The photographing
[0265]
FIG. 73 illustrates, in the form of a flowchart, a subject recognition processing procedure for a captured image including a moving object such as a person as a subject in the present embodiment.
[0266]
First, photographing data is put in a queue (step S101). Then, the photographing data is taken out one by one from this queue (step S102). At this time, if there is no unprocessed data (step S103), the entire processing routine ends.
[0267]
Next, the movement log for one person is extracted from the registered member table (step S104). Here, when there is no unprocessed member (step S105), the process returns to step S102, and the next queue is taken out.
[0268]
Then, the position at the photographing time is acquired from the extracted movement log, and it is checked whether the position is in the photographing space (step S107). Then, when a movement log in the shooting space is found, a ranking point value for the subject is calculated (step S108), and the member ID and the ranking point value are stored (step S109).
[0269]
Thereafter, the process returns to step S14, and the process of recognizing the subject and calculating the ranking point value is repeatedly performed for the next registered member.
[0270]
C. Add map information
In the present invention, a building or the like included in the shooting space is recognized as a subject by collating the shooting space calculated from the shooting state of the subject with the map information, and registered in the photograph recognition target list.
[0271]
Here, the map information is generally universal and is created for everyone. Here, when describing the map information on which the recognition unit is described, if it is set for everybody, the recognition unit necessary only for the individual user or the limited user group is omitted.
[0272]
Therefore, in the present embodiment, map additional information for adding a recognition index is further prepared, and in a user group that has permitted use of the map additional information, a certain user adds a new recognition index to the recognition result. Then, the recognition index is also inserted into the recognition target list of the photos of the other users whose shooting space overlaps. In addition, by additionally registering a new recognition index in the map additional information of the user group, the recognition index is applied to a photograph of an area where the photographing space overlaps.
[0273]
According to the present embodiment, by adding a new index using a photo taken at a certain shooting location, the new index is also added to a photo previously taken at the same shooting location. FIG. 74 illustrates the mechanism of the photographic image management method according to the present embodiment.
[0274]
In the illustrated example, an image is taken toward the
[0275]
Here, it is assumed that the user who has taken the
[0276]
In the present embodiment, the imaging device is, for example, a mobile phone with a camera function, and has an external configuration as shown in FIG. The internal configuration of this photographing apparatus is the same as that shown in FIG.
[0277]
FIG. 75 schematically illustrates the internal configuration of a server that communicates with each imaging device and performs a subject recognition and recognition target list providing service. The server receives information on the shooting state and the shooting time from the device on the shooting side, and further receives information on the subject position and the position measurement time from the device on the subject side, and obtains the shooting position on the predetermined map information. Then, a process of recognizing a building or a person in the photographing space as a subject is performed by collating with the position information of each building or moving object.
[0278]
The server shown in the figure is further provided with a map additional
[0279]
In the present embodiment, by recognizing the photographing space of the photograph taken by the user with the map information, it is possible to recognize what the subject is on the photographed image. Further, when a certain user adds a new recognition index to the recognition result in the same user group, the recognition index is also inserted into a recognition target list of a photograph of another user whose shooting space overlaps. In addition, by additionally registering a new recognition index in the map additional information of the user group, the recognition index is applied to a photograph of an area where the photographing space overlaps.
[0280]
As described above, in order to use an added recognition index not included in general map information for subject recognition within a specific user group, a server that provides a service for providing a subject recognition for a captured image and a recognition target list is provided. It is assumed that registration of map use is performed between users. FIG. 76 illustrates a processing procedure for making a registration application for map use to the server.
[0281]
First, a
[0282]
When the permission to use the map is returned from the
[0283]
FIG. 77 shows a processing procedure when an application is rejected when a user makes an application for permitting use of a map by another user.
[0284]
First, a
[0285]
On the other hand, if a refusal to use the map is returned from the
[0286]
Since the use of the map information has different policies for each user and is related to the privacy of the user, the map addition information including the added recognition index is not shared thereafter for the devices that have refused the map use registration.
[0287]
Also in this embodiment in which map information relating to a new recognition index is shared between users, an example of the screen configuration of the image management user interface is the same as that shown in FIG. Further, similarly to the case described with reference to FIGS. 29 and 70, the recognition target index can be changed by operating the up and down buttons.
[0288]
FIG. 78 illustrates a processing procedure for updating a recognition index for a photograph that has already been taken.
[0289]
First, the photographing
[0290]
The
[0291]
Next, the
[0292]
The
[0293]
If the point value of the added recognition index is larger than 0 (T914), the
[0294]
Note that the device of the registered user who has received the notification in T923 performs the processes of T913 to T915 in the same manner, and performs the process of additionally registering a new recognition index in the recognition target list of already photographed photos.
[0295]
FIG. 79 shows, in the form of a flowchart, a processing procedure for updating the map information by adding a recognition index performed at T922 in FIG. 78.
[0296]
First, based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, an aperture value, and the like at the time of shooting transmitted from the
[0297]
Next, a weight distribution is calculated for the photographing space in accordance with the central angle and the distance from the focus plane (step S112). The reason why weighting is applied to the imaging space is to acquire a large number of recognition candidates according to the accuracy of the information and to present them to the user in a ranked form in a situation where the measurement accuracy is not sufficiently high.
[0298]
Next, when the added recognition target index overlaps with the photographing space, the overlapping amount is calculated (step S113). In the present embodiment, the number is equally divided by the number of overlaps.
[0299]
Then, the recognition target index is additionally registered in the map additional information database 423 (step S114), and the entire processing routine ends.
[0300]
As already described with reference to FIG. 41, the
[0301]
As described with reference to FIG. 42, the imaging space is weighted according to the central angle and the distance from the focus plane. That is, the imaging space has a weight gradient in the camera direction and in the horizontal direction of the focus plane, and the weight is reduced in the vertical direction (
[0302]
FIG. 80 shows a state in which shooting spaces owned by different users (or held by different photographs) intersect. In the example shown in the figure, two photographing regions 1321 and 1322 intersect at a region indicated by reference numeral 1323.
[0303]
In the present embodiment, for convenience of calculation processing such as collation between the imaging space and the recognition target and collation between the imaging spaces, the image is divided into mesh cells and handled in cell units (the same as above).
[0304]
FIG. 81 shows, in the form of a flowchart, a processing procedure for dividing a plurality of imaging spaces in units of cells. Here, a process of adding a shooting space as a recognition unit to data that has already been divided into cells is shown.
[0305]
Processing is performed in each cell. If there is no additional area (step S121), the next cell is processed. If there are no unprocessed cells, the entire processing routine ends.
[0306]
First, one additional area is taken out (step S122). If there is no additional area (step S123), the point value in the cell is normalized to 1 (step S124), written as cell information, and the next cell is processed.
[0307]
If there is additional information (step S123), an index is added to the cell (step S126), and the process returns to step S122.
[0308]
D. Automatic photo album creation
In the preceding section A, according to the present invention, in object recognition of a photographic image, a focus plane and a depth of field are formed based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of shooting. It has been described that an imaging space is calculated, this imaging space is collated with predetermined map information, and an object existing in the imaging space on the map can be recognized as a subject.
[0309]
Further, in the preceding section B, by carrying a device for acquiring a movement log even for a subject composed of a moving object such as a person, and obtaining positional information at the time of photographing, it is possible to collate with a photographing space. It has been described that a moving object can be a target of subject recognition as well as a still life such as a building.
[0310]
In the preceding section C, in addition to using an existing recognition target for the map information, the user adds a new recognition target to the map information, and a photograph taken by the same user in the past or a photograph taken by another user is used. However, it has been described that a new object to be recognized can be applied to a photograph taken thereafter.
[0311]
The distance from the focus plane, the distance from the central axis, the measured value and error radius of the camera position, the measured direction weighted according to the measured value and the error width, and the area The ranking point value of each subject is calculated using the accuracy of the recognition index, and a priority order can be assigned to each of the plurality of recognition indexes. The user can efficiently manage the photographic images by referring to the list of the recognition indexes to which the priorities are assigned.
[0312]
In this section, by grouping a plurality of photos to which the subject information with ranking is added according to the type of the subject, and by selecting the photos using the ranking point value, the album can be selected. A method for automatically generating a is described.
[0313]
FIG. 82 shows the procedure of the automatic album generation process in the form of a flowchart.
[0314]
First, a photograph is input (step S131), and subject information is added to these (step S132). Since the processing for adding the subject information has already been described in the preceding sections A to C, the description will be omitted here. In the case of a travel photograph with an itinerary, an itinerary item can be added as a subject item to each photograph based on the time and the itinerary attached to the photograph.
[0315]
Next, the user selects a desired category from recognition types (person, building / place, event, itinerary, etc.), and performs grouping on the specified category (step S133). Then, the order is determined between the groups. (Step S134). The order is determined by comparing the average values of the photographing times registered in the group and arranging them in order from the youngest one, or by summing the ranking values of the subject information of the photos registered in the group. There is a method of comparing values and arranging the values in descending order.
[0316]
Next, the order is determined within the group (step S135). As a method of determining the order, a method of arranging the images in order from the youngest photographing time or a method of comparing the total values of the ranking values of the subject information possessed by individual photographs and arranging the images in order from the one having the largest value And the like.
[0317]
Finally, the albums are created and output by arranging the photos for each group (step S136).
[0318]
FIG. 83 illustrates the information structure described in the photo file. In a JPEG (Joint Picture Experts Group) format or the like, a
[0319]
In the example shown in the figure, a tag structure for describing a category element as shown in FIG. 84 is introduced into the information field existing in the image file, and a person 8312-1, a building / place 8312-2, Categories such as an event 8312-3 and an itinerary 8312-4 are described.
[0320]
FIG. 84 shows information described in the information field in the image file. This information is surrounded by category tags 8400. Also, tags for describing categories of
[0321]
FIG. 85 shows the procedure of the grouping process in the form of a flowchart.
[0322]
First, a photograph having a key that is equal to or larger than a predetermined threshold is obtained (step S141). Next, the appearing keyword name is stored in a list as a group name (step S142). At this time, registration is not performed for a category name that has already been acquired (step S143).
[0323]
Then, photos are sorted for each group registered in the list (step S144). In this embodiment, when there are photographs belonging to a plurality of groups, the magnitudes of the respective keyword rankings are compared and registered in the keyword group having the larger value.
[0324]
FIG. 86 shows an example of the configuration of an album automatically generated by grouping by category “journey”.
[0325]
FIG. 87 shows a configuration example of an album automatically generated by grouping by category “person”. In the field indicated by
[0326]
[Supplement]
The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the scope of the present invention. That is, the present invention has been disclosed by way of example, and the contents described in this specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
[0327]
【The invention's effect】
As described above in detail, according to the present invention, an excellent image management system and an excellent image management method capable of facilitating management of a photograph by combining a photographed photograph and a subject in the photograph, And a computer program.
[0328]
Further, according to the present invention, it is possible to provide an excellent image management system, an excellent image management method, and a computer program which can prioritize a plurality of photographing targets and perform practical object recognition. .
[0329]
Further, according to the present invention, an excellent image capable of appropriately managing, grouping, and other editing processes of a large number of captured images based on subject information or other additional information attached to each captured image, A management system, an image management method, and a computer program can be provided.
[0330]
According to the present invention, in subject recognition, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measured value and the error are calculated for a region weighted according to the field. By using the area of the subject as a recognition unit described in the map information, a priority can be assigned to each of the plurality of recognition indexes. As a result, the list order of the recognition index set can be determined and used for photo search and other management / editing of photos. For example, in a situation where the measurement accuracy is not sufficiently high, a large number of recognition candidates are acquired, and presented to the user in a ranked form, so that the user can change the list rank or delete items when editing. Is less burdensome than the effort of adding items by manual input.
[0331]
Further, according to the present invention, for a set of photos to which subject information having a plurality of categories is added, grouping is performed using the ranking of the subject with respect to the recognition result in the category specified by the user. The automatic generation of an album in which photos are arranged for each group can be realized. Further, it can be determined using the evaluation value of the subject recognition, such as the display order in the group unit or the photograph display order in the group. Therefore, an organized album can be automatically generated by performing photo grouping.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a state in which a subject is recognized using a camera position, a lens direction, and map information.
FIG. 2 is a diagram schematically showing a system configuration of an image management system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an external configuration of a device corresponding to the
FIG. 4 is a diagram showing an internal configuration of the photographing
FIG. 5 is a diagram schematically illustrating a configuration of an image management server that communicates with a mobile phone possessed by each user.
FIG. 6 is an operation showing a processing procedure for recognizing a subject included in an image photographed on a mobile phone, assigning a ranking point to each subject, and performing a user editing operation based on the ranking point. It is a sequence diagram.
FIG. 7 is a diagram for explaining information obtained at the time of taking a picture on a mobile phone or other user equipment having a camera function.
FIG. 8 is a diagram showing a configuration example of a data format for recording a photographing state acquired at the time of photographing.
FIG. 9 is a diagram illustrating an example of a method of expressing a camera lens direction acquired from a
FIG. 10 is a flowchart showing a processing procedure for editing map information stored in a server.
11 is a diagram schematically showing a functional configuration of a map information editing device that performs a map information editing process as shown in FIG. 10;
FIG. 12 is a diagram for explaining a method of setting an area of a recognition unit on a map.
FIG. 13 is a diagram illustrating a state of specifying a classification of a recognition unit.
FIG. 14 is a diagram showing a state of specifying a hierarchy of a recognition index.
FIG. 15 is a diagram illustrating a configuration example of a data format of map information for editing.
FIG. 16 is a diagram illustrating a state in which the weighting of a hierarchical recognition index is adjusted.
FIG. 17 is a diagram illustrating a configuration example of a map information format used for operation of a subject list providing service.
FIG. 18 is a diagram showing a relationship between a cell-divided map, a camera position, and a lens direction.
FIG. 19 is a diagram showing a state in which recognition units existing in a cell are registered.
FIG. 20 is a diagram illustrating a state in which a cell including a shooting space is selected.
FIG. 21 is a diagram illustrating a state in which a recognition unit is obtained from a selected cell by using an in-cell recognition unit reference table.
FIG. 22 is a diagram for explaining a processing procedure for calculating a ranking point for a recognition unit in a shooting space.
FIG. 23 is a diagram illustrating a configuration example of a data format for describing an event.
FIG. 24 is a flowchart showing a processing procedure for calculating an event and its ranking point.
FIG. 25 is a diagram illustrating a state in which a recognition unit index is obtained from a captured image.
FIG. 26 is a diagram showing a configuration example of a data format describing a recognition unit index.
FIG. 27 is a diagram illustrating a screen configuration example of an image management user interface based on ranking points.
FIG. 28 is a diagram illustrating a configuration example of a command setting screen.
FIG. 29 is a diagram showing a state where a recognition index is changed by point adjustment.
FIG. 30 is a flowchart showing a processing procedure for changing a recognition unit index.
FIG. 31 is a diagram showing a manner of inserting a recognition unit index.
FIG. 32 is a diagram showing a result of inserting a recognition unit index.
FIG. 33 is a diagram illustrating a state in which a recognition target index is changed by operating an up / down button.
FIG. 34 is a diagram illustrating a state of data changed by a change of a recognition target.
FIG. 35 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 36 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 37 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 38 is a diagram for explaining a method of calculating a ranking point value based on both the floor area and the surface area of the recognition unit in the imaging space.
FIG. 39 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 40 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 41 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 42 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 43 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 44 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 45 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 46 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 47 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 48 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 49 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 50 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 51 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 52 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 53 is a diagram for explaining a mechanism in which subject recognition processing is performed based on position information of a subject such as a person and a shooting space of a shot image.
FIG. 54 is a diagram showing an internal configuration of a photographing
FIG. 55 is a diagram showing an external configuration of a movement log recording device.
FIG. 56 is a diagram showing an internal configuration of a movement log recording device.
FIG. 57 is a diagram schematically showing an internal configuration of a device that operates as a
FIG. 58 is an operation sequence diagram showing a processing procedure for making a use permission application of position information to a subject.
FIG. 59 is an operation sequence diagram showing a processing procedure when an application for rejecting use of positional information for a subject is rejected.
60. A
FIG. 61 is a diagram showing a relationship between a camera position, a lens direction, and a subject on a cell-divided map.
FIG. 62 is a diagram showing a configuration example of a subject list for which the device has been authenticated.
FIG. 63 is a diagram showing a state where a recognition target existing in a cell is registered.
FIG. 64 is a diagram showing a state of selecting a cell including a shooting space.
FIG. 65 is a diagram illustrating a state in which a recognition target is acquired from a subject list for each device illustrated in FIG. 62;
FIG. 66 is a diagram illustrating a state in which a recognition target is acquired from a selected cell using the in-cell recognition target quick reference table illustrated in FIG. 63;
FIG. 67 is a diagram for explaining a method of calculating a ranking point for a recognition unit composed of a moving object such as a person existing in an imaging space.
FIG. 68 is a diagram showing a state in which a recognition target index relating to a person has been acquired from a captured image.
FIG. 69 is a diagram illustrating a configuration example of a data format describing a recognition target index including a person as a recognition target.
FIG. 70 is a diagram showing a state in which the recognition target index is changed by operating the up and down buttons.
FIG. 71 is a diagram showing a state of data changed by changing a recognition target.
FIG. 72 is a diagram illustrating a state in which a positional relationship between a subject and a camera is obtained from a movement log.
FIG. 73 is a flowchart illustrating a procedure of subject recognition for a captured image including a moving object such as a person as a subject;
FIG. 74 is a diagram for explaining a mechanism of a method of managing a photographic image in which a new index is added to a previously shot photo at the same shooting location by adding a new index.
FIG. 75 is a diagram schematically illustrating a configuration of a server that communicates with each imaging device and performs a subject recognition and recognition target list providing service.
FIG. 76 is an operation sequence diagram showing a processing procedure for making a registration application for map use to a server.
FIG. 77 is an operation sequence diagram showing a processing procedure when an application is rejected when a certain user has applied for permission to use a map by another user.
FIG. 78 is an operation sequence diagram showing a processing procedure for updating a recognition index for a photograph that has already been taken.
FIG. 79 is a flowchart showing a processing procedure for updating a map information by adding a recognition index performed at T922 in FIG. 78;
FIG. 80 is a diagram showing a state where shooting spaces owned by different users (or held by different photographs) intersect.
FIG. 81 is a flowchart showing a processing procedure for dividing a plurality of imaging spaces in units of cells.
FIG. 82 is a flowchart showing the procedure of an automatic album generation process.
FIG. 83 is a diagram showing an information structure described in a photo file.
FIG. 84 is a diagram showing information described in an information field in an image file.
FIG. 85 is a flowchart showing a procedure of a grouping process.
FIG. 86 is a diagram showing a configuration example of an album automatically generated by grouping by category “journey”.
Fig. 87 is a diagram illustrating a configuration example of an album automatically generated by grouping by category "person".
[Explanation of symbols]
101 ... Imaging device
102: shooting state acquisition unit
103 ... Subject recognition unit
104: Ranking / point giving unit
105 ... Image storage unit
106 image search / editing unit
Claims (15)
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システム。An image management system that manages an image by combining with a subject included in a captured image,
Shooting state obtaining means for obtaining a shooting state at the time of image shooting,
A photographing space estimating means for calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition unit that compares the shooting space calculated by the shooting space estimation unit with predetermined map information and recognizes an object existing in the shooting space on the map as a subject;
Subject evaluation value calculation means for calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management system comprising:
優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
をさらに備えることを特徴とする請求項１に記載の画像管理システム。Subject management means for managing subjects included in each image according to a priority order based on the evaluation value;
Image search means for searching for an image including the subject according to the priority order;
The image management system according to claim 1, further comprising:
前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
ことを特徴とする請求項１に記載の画像管理システム。The photographing state acquiring means acquires a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of photographing as a photographing state,
The photographing space estimating means calculates a photographing space including a focus plane and a depth of field based on the instruction values of these photographing states.
The image management system according to claim 1, wherein:
ことを特徴とする請求項１に記載の画像管理システム。The subject evaluation value calculation means calculates an evaluation value based on a ratio of a subject occupying in a shooting space,
The image management system according to claim 1, wherein:
ことを特徴とする請求項４に記載の画像管理システム。The subject evaluation value calculation means calculates an evaluation value by giving a weight based on a shooting position error and a gaze direction error to a ratio of a subject occupying in a shooting space,
The image management system according to claim 4, wherein:
画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段と、
をさらに備えることを特徴とする請求項２に記載の画像管理システム。An event table storage means for storing an event table prepared for each subject;
Event acquisition means for comparing the shooting time of an image with the event table and acquiring an event as a subject,
The image management system according to claim 2, further comprising:
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項１に記載の画像管理システム。The map information is configured by arranging recognition units composed of buildings and other objects on a map, and a recognition index is assigned to each recognition unit,
The subject recognizing means returns a list of recognition indices of recognition units recognized as subjects in the shooting space as a recognition result.
The image management system according to claim 1, wherein:
ことを特徴とする請求項７に記載の画像管理システム。In the map information, each recognition unit has an area on a map, and a plurality of recognition units can be defined by being overlapped in position.
The image management system according to claim 7, wherein:
位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与える、
ことを特徴とする請求項８に記載の画像管理システム。Recognition units are hierarchized,
Between the recognition units that overlap in position, the recognition units that overlap are given greater weight,
The image management system according to claim 8, wherein:
ことを特徴とする請求項８に記載の画像管理システム。If recognition units that overlap in position are assigned to the same level, equalize by dividing the recognition index value of each recognition unit by the number of overlaps,
The image management system according to claim 8, wherein:
前記被写体認識手段は、移動体の位置情報と撮影空間とを照合して被写体認識を行なう、
ことを特徴とする請求項１に記載の画像管理システム。A moving body position information acquisition unit that acquires position information of the moving body,
The subject recognizing means performs subject recognition by comparing positional information of a moving object with a shooting space,
The image management system according to claim 1, wherein:
前記被写体認識手段は、撮影空間内にある追加登録された認識対象を被写体として認識する、
ことを特徴とする請求項１に記載の画像管理システム。The apparatus further comprises a recognition target registration unit for additionally registering the recognition target in the map information by the user,
The subject recognizing means recognizes a additionally registered recognition target in the shooting space as a subject.
The image management system according to claim 1, wherein:
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位を認識の種類毎に分類した認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項１に記載の画像管理システム。Recognition units can be classified for each type of recognition.
The subject recognizing unit returns a list of recognition indexes in which recognition units recognized as subjects in the shooting space are classified for each type of recognition as a recognition result.
The image management system according to claim 1, wherein:
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とする画像管理方法。An image management method for managing an image in combination with a subject included in a captured image,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management method, comprising:
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラム。A computer program written in a computer-readable format to execute a process for managing an image in combination with a subject included in a captured image on a computer system,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
A computer program comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116170A JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116170A JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004328077A true JP2004328077A (en) | 2004-11-18 |
| JP2004328077A5 JP2004328077A5 (en) | 2006-06-22 |
| JP4281402B2 JP4281402B2 (en) | 2009-06-17 |
Family
ID=33496506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003116170A Expired - Fee Related JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4281402B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006103744A1 (en) * | 2005-03-29 | 2008-09-04 | 富士通株式会社 | Video search device |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2009535878A (en) * | 2006-04-28 | 2009-10-01 | ノキア コーポレイション | calibration |
| US20120069233A1 (en) * | 2010-09-17 | 2012-03-22 | Osamu Nonaka | Photographing apparatus and photographing method |
| JP2013515317A (en) * | 2009-12-24 | 2013-05-02 | インテル・コーポレーション | Method, system, and computer-readable recording medium for adaptively performing image matching according to circumstances |
| JP2013153329A (en) * | 2012-01-25 | 2013-08-08 | Nikon Corp | Electronic apparatus |
| JP2014135085A (en) * | 2008-03-07 | 2014-07-24 | Intelligent Spatial Technologies Inc | Mobile device and geographic information system |
| JP2015092780A (en) * | 2015-02-12 | 2015-05-14 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
| CN113343008A (en) * | 2021-06-29 | 2021-09-03 | 维沃软件技术有限公司 | Image sorting method, image sorting device, electronic device and readable storage medium |
| CN115331174A (en) * | 2022-08-19 | 2022-11-11 | 中国安全生产科学研究院 | Enterprise safety production standardization intelligent supervision system and method |
-
2003
- 2003-04-21 JP JP2003116170A patent/JP4281402B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006103744A1 (en) * | 2005-03-29 | 2008-09-04 | 富士通株式会社 | Video search device |
| JP4601666B2 (en) * | 2005-03-29 | 2010-12-22 | 富士通株式会社 | Video search device |
| US8201436B2 (en) | 2006-04-28 | 2012-06-19 | Nokia Corporation | Calibration |
| JP2009535878A (en) * | 2006-04-28 | 2009-10-01 | ノキア コーポレイション | calibration |
| US8264584B2 (en) | 2007-05-31 | 2012-09-11 | Panasonic Corporation | Image capturing apparatus, additional information providing server, and additional information filtering system |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2014135085A (en) * | 2008-03-07 | 2014-07-24 | Intelligent Spatial Technologies Inc | Mobile device and geographic information system |
| JP2013515317A (en) * | 2009-12-24 | 2013-05-02 | インテル・コーポレーション | Method, system, and computer-readable recording medium for adaptively performing image matching according to circumstances |
| US20120069233A1 (en) * | 2010-09-17 | 2012-03-22 | Osamu Nonaka | Photographing apparatus and photographing method |
| US8564710B2 (en) * | 2010-09-17 | 2013-10-22 | Olympus Imaging Corp. | Photographing apparatus and photographing method for displaying information related to a subject |
| JP2013153329A (en) * | 2012-01-25 | 2013-08-08 | Nikon Corp | Electronic apparatus |
| JP2015092780A (en) * | 2015-02-12 | 2015-05-14 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
| CN113343008A (en) * | 2021-06-29 | 2021-09-03 | 维沃软件技术有限公司 | Image sorting method, image sorting device, electronic device and readable storage medium |
| CN115331174A (en) * | 2022-08-19 | 2022-11-11 | 中国安全生产科学研究院 | Enterprise safety production standardization intelligent supervision system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4281402B2 (en) | 2009-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7730036B2 (en) | Event-based digital content record organization | |
| US8774520B2 (en) | Geo-relevance for images | |
| JP5869054B2 (en) | Method and apparatus for incorporating automatic face recognition in a digital image collection | |
| JP4902270B2 (en) | How to assemble a collection of digital images | |
| JP5006195B2 (en) | Image data management apparatus and image data management method | |
| JP2007041964A (en) | Image processor | |
| US20120321131A1 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
| US9277089B2 (en) | Method to control image processing apparatus, image processing apparatus, and image file | |
| US20230244736A1 (en) | Generating Location Based Photo Discovery Suggestions | |
| JP4281402B2 (en) | Image management system, image management method, and computer program | |
| JP5289211B2 (en) | Image search system, image search program, and server device | |
| JP4542013B2 (en) | Print order system, program, program storage medium, and print order server | |
| JP5262308B2 (en) | Evaluation apparatus, evaluation method, evaluation program, and evaluation system | |
| JP2004326192A (en) | Image management system, image management method, and computer program | |
| KR100827845B1 (en) | Apparatus and method for providing person tag | |
| JP2004326193A (en) | Image management system, image management method, and computer program | |
| Hoashi et al. | Constructing a landmark identification system for geo-tagged photographs based on web data analysis | |
| JP5582453B2 (en) | Image management apparatus, image management method, and program | |
| JP2018005611A (en) | Information processing equipment | |
| JP4958803B2 (en) | Information processing apparatus, control method thereof, and program | |
| KR20230108210A (en) | Method and apparatus for providng photo print service based user trends |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060405 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |