JP2004328077A - Picture management system and picture management method, and computer program - Google Patents
Picture management system and picture management method, and computer program Download PDFInfo
- Publication number
- JP2004328077A JP2004328077A JP2003116170A JP2003116170A JP2004328077A JP 2004328077 A JP2004328077 A JP 2004328077A JP 2003116170 A JP2003116170 A JP 2003116170A JP 2003116170 A JP2003116170 A JP 2003116170A JP 2004328077 A JP2004328077 A JP 2004328077A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognition
- photographing
- image
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、1以上の被写体が含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【0002】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【0003】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【0004】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【0005】
また、撮影時刻や、GPS(Global Positioning System)などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【0006】
ここで、本発明者らは、写真に写っているもの(被写体)が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【0007】
例えば、カメラ位置と方向を計測し、地図情報上に記載された認識インデックスを被写体として認識することができる。しかしながら、被写体認識を行なうには、位置と計測を非常に精度よく計測する必要がある。また、あらかじめ用意しておく地図情報は、撮影者が何を認識させたいかに対応していない。
【0008】
また、撮影場所や撮影対象に関する付加情報を得て、操作性を向上する画像記録装置について提案がなされている(例えば、特許文献1を参照のこと)。この画像記録装置によれば、複数の撮影対象候補が抽出された場合には、その確度の高い順に優先順位を付して推定するようになっている。しかしながら、撮影対象候補の確度を求めるに当たり、撮影画像中に設けられた推定範囲の中心からの距離に基づいて優先順位付けを行なっているので、撮影画像中でどんなに大きく写った物体(例えば巨大な建造物など)であっても、推定範囲の中心から外れると評価されない。また、焦点方向と一致している撮影対象は高い確度が付与されることになるが、この際、被写界深度に関しては一切考慮されていない。
【0009】
一方、得られた写真画像をアルバムとして編集し保存することは一般的に行なわれている。従来のアルバム作成システムでは、写真を撮影時間順にソートする方式のものや、撮影された時間やGPSログ内の時間と照らし合わせることによって、地図上に写真を配列する方式のものなどがあった。また、写真に何らかの被写体情報を付加してある場合には、これら付加情報を利用して写真検索が行なわれる。
【0010】
しかしながら、個々の写真に被写体情報が何らかの方法で付加されている場合、これを用いて写真アルバムを作成する方法は皆無である。
【0011】
また、写真に付けられた被写体情報を対象とした検索方法を応用して、写真を並べて表示するということは技術的には可能であるが、その評価軸は1軸であり、各々の被写体に対するグルーピングを施し、アルバムを編集するということはできない。
【0012】
【発明が解決しようとする課題】
本発明の目的は、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【0013】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【0014】
本発明のさらなる目的は、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【0015】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【0016】
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0017】
本発明は、各画像に含まれる被写体をその評価値に基づいた優先順位に従って、検索やその他の画像管理を効率的に行なうものである。
【0018】
本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができる。
【0019】
さらに、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識単位のそれぞれに優先順位を付けることができる。これによって、認識単位の集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。
【0020】
また、前記被写体評価値算出手段は、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて評価値を計算するようにしてもよい。
【0021】
例えば、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【0022】
また、本発明に係る画像管理システムは、被写体毎に用意されているイベント表を蓄積するイベント表蓄積手段と、画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段とをさらに備えてもよい。
【0023】
被写体認識に用いる地図情報は、建造物やその他の物体からなる認識単位を地図上に配置して構成され、各認識単位には認識インデックスが割り振られている。そして、前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返すようになっている。
【0024】
この地図情報は、各認識単位に地図上で面積を持ち、位置的に重ね合わせて複数の認識単位を定義することができる。そして、認識単位は階層化されており、位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与えることによって、複数の認識単位間でランキングの調整を行なうことができる。また、位置的に重なり合う認識単位が同じ階層に割り付けられている場合、各認識単位の認識インデックス値を重なり合う数で割ることによって均等化するようにする。
【0025】
また、認識単位に複数のカテゴリを用意してもよい。前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位をカテゴリ毎に分類した認識インデックスのリストを認識結果として返すようにしてもよい。
【0026】
このような場合、カテゴリ毎に撮影画像をグループ化し、画像グループ毎にアルバムを生成することができる。
【0027】
例えば、所定の手続で決定されるグループ間順序に従って各画像グループのアルバムを順次生成する。ここで言うグループ間順位は、例えば各画像グループに含まれる撮影画像の平均撮影時間又は評価値の合計に基づいて決定される。
【0028】
また、所定の手続で決定されるグループ内順序に従って画像グループ内の撮影画像を取捨選択して画像グループのアルバムを生成する。ここで言うグループ内順序は、例えば、画像グループ内の各撮影画像の撮影時間又は評価値に基づいて決定される。
【0029】
また、本発明の第2の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【0030】
本発明の第2の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第2の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第1の側面に係る画像管理システムと同様の作用効果を得ることができる。
【0031】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【0032】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【0033】
A.写真の被写体認識
図1には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号1は撮影に用いるカメラであり、図示の例では被写体31を撮影している。また、参照番号3はカメラ位置と被写体31を地図上にマッピングした様子を示している。また、参照番号4は、図示のカメラ位置及びレンズ方向にて被写体31を含む風景を撮影した写真を示している。
【0034】
図2には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【0035】
まず、デジタル・カメラなど撮影装置101によって撮影を行なう。また、撮影状態取得部102は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【0036】
被写体認識部103は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識する。
【0037】
ランキング・ポイント付与部104は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内で占める割合に基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる(後述)。
【0038】
画像保存部105は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索/編集部106は、認識インデックス集合のリスト順位を決め、ユーザ操作による画像の検索や編集作業を支援する。
【0039】
図3には、上述した画像管理システムにおいて、撮影装置101に相当する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ112とGPS信号受信用のアンテナ121が配設され、また、その表側12には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面11には、カメラ・レンズ111が配設されており、本体上面のシャッター機能に割り当てられたボタン1241を押下操作することにより画像捕捉処理が起動し、レンズ111越しの被写体が撮影される。
【0040】
図4には、図3に示した撮影装置101の内部構成を示している。
【0041】
CPU(Central Processing Unit)415がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置101の動作が統括的にコントロールされる。CPU415は、バス417を介して各部に相互接続されている。
【0042】
RAM(Random Access Memory)413は、読み書き可能な半導体メモリによって構成され、CPU415の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ROM(Read Only Memory)413は、読み出し専用の半導体メモリによって構成され、CPU415の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【0043】
入力部408は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの1つはカメラ機能起動時におけるシャッター409に割り当てられている。
【0044】
通信部401は、携帯電話網上の基地局との通信処理を行なう。
【0045】
位置測定部403は、アンテナ121によって受信されるGPS信号に基づいて当該機器の現在位置を測定する。また、方向取得部404は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはGPS信号の信号強度とGPS衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部403は位置誤差を推定し、これを出力するようになっている。また、方向測定部404は、固定値である方向誤差を出力する。
【0046】
撮像部405は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部405は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【0047】
表示部406は、CPU415による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【0048】
出力部407は、画像信号の外部出力や、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【0049】
時計416は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計416は、撮像部405による撮像時刻を出力するようになっている。
【0050】
写真保存部431は、撮像部405による撮影画像を保存する。また、撮影ログ保存部432は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【0051】
図4に示した携帯電話機上で写真を撮影する場合、入力部408にあるシャッター409からの入力に連動して撮影部405が動作して写真を撮影し、この撮影画像を画像保存部431に保存する。また、写真の撮影並びに画像保存に伴って、時計416により撮影時間と、撮影部405から出力される撮影状態、位置測定部403より得られるカメラ位置とその誤差範囲、方向取得部404より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部432に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計416により計時された時間とともにログとして記録する。
【0052】
図5には、各ユーザが所持する携帯電話機(図4を参照のこと)と通信を行なう画像管理サーバの構成を模式的に示している。この画像管理サーバは、撮影画像と、その撮影ログ(撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報など)を受信し、被写体認識並びに各被写体に対するランキング・ポイントの付与、並びに画像保存や、画像検索・編集の支援などのサービスを提供する。
【0053】
CPU515がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。CPU515は、バス517を介して各部に相互接続されている。
【0054】
RAM513は、CPU515の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ROM513は、CPU515の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【0055】
通信部501は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【0056】
地図情報蓄積部524は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ525は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【0057】
撮影対象範囲計算部510は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する(後述)。
【0058】
被写体リスト取得部511は、撮影画像に付随する撮影ログに含まれている撮影状態から算出される撮影空間と地図情報とを照合して、カメラの撮影対象範囲にある物体の集合を被写体リストとして取得する。
【0059】
ランキング・ポイント計算部512は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合(あるいは面積)に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する(後述)。
【0060】
図6には、携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【0061】
まず、携帯電話機において撮影した後(T611)、機器IDと、焦点距離、画角、絞りなどの撮影ログをサーバ側へ送信する(T612)。
【0062】
サーバ側では、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する(後述)(T621)。
【0063】
次いで、サーバは、撮影ログに含まれている撮影時のカメラ位置と地図情報とを照合して、この撮影画像の撮影対象範囲にある物体の集合を被写体リストとして作成する。
【0064】
さらに、サーバは、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内で占める割合(あるいは面積)に基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する(後述)(T623)。
【0065】
そして、サーバは、作成した被写体リストとリスト順位を、携帯電話機に返信する(T624)。
【0066】
携帯電話機側では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する(T613)。
【0067】
図7には、携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を示している。
【0068】
例えば、参照番号704に示すような写真が撮影された場合、写真撮影と同時に、時計416が出力する撮影時間751、位置測定部403によって測定された撮影場所752、方向取得部404によって取得されたレンズ方向753が取得され、撮影状態705として撮影画像と対応付けて撮影ログ保存部423に保存される。
【0069】
また、図8には、図7に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、xml(extended markup language)形式で撮影状態が記述され、撮影時刻851と、撮影場所852と、撮影方向853が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク804が含まれている。
【0070】
図9には、撮影方向すなわち方向取得部404から取得されるカメラのレンズ方向を表現する方法の一例を示している。図示の例では、レンズ方向531は、北を0度としたときの、時計回りの方向の角度532として記述される。
【0071】
図10には、サーバにおいて蓄積される地図情報を編集するための処理手順をフローチャートの形式で示している。本実施形態では、地図情報524は2つのフォーマットがあり、1つは地図情報編集データであり、1つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【0072】
まず、編集用の地図情報を読み込む(ステップS1)。編集用の地図情報がない場合には新規作成する。
【0073】
次いで、認識単位を領域として選択、設定する(ステップS2)。そして、これに相当するインデックスを設定し(ステップS3)、重なり設定を行ない(ステップS4)、情報を記録する(ステップS5)。
【0074】
ここで、領域設定が終了していない場合には(ステップS6)、ステップS2に戻る。また、領域設定が終了している場合で、地図データへの書き出しを行なわない場合(ステップS7)、編集用地図を書き出して(ステップS8)、本処理ルーチン全体を終了する。
【0075】
一方、地図データの書き出しを行なう場合には、セルへ分割し(ステップS9)、それぞれのセル毎にインデックスのランキングを計算した後(ステップS10)、地図データとして出力し(ステップS11)、本処理ルーチン全体を終了する。
【0076】
図11には、図10に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示している。
【0077】
CPU1115がオペレーティング・システムの制御下で、地図情報を編集するためのプログラムを実行することによって、この装置全体の動作が統括的にコントロールされる。CPU1115は、バス1117を介して各部に相互接続されている。
【0078】
RAM1113は、CPU1115の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ROM1113は、CPU1115の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【0079】
入力部1108は、マウスやキーボードなどのユーザからのコマンドやデータを入力するためのユーザ入力装置や、外部記憶装置やネットワーク上のホスト装置などからの伝送データを受信するための入力ポートなどで構成される。
【0080】
出力部1107は、ディスプレイやプリンタなどのCPU1115による演算処理結果を画面出力又は印刷出力する装置、あるいは外部記憶装置やネットワーク上のホスト装置へデータを送信するための出力ポートなどで構成される。
【0081】
ランキング計算部1141は、重なっている認識単位領域がある場合に、各々のインデックスに対するランキング値の計算を行なう。
【0082】
領域分割部1142は、同じレベルの認識単位が地図上で干渉する場合に、ランキング地を干渉しているインデックス数で等分する計算を行なう。
【0083】
セル化部1143は、地図データを出力する際に、地図をセル毎に分割し、各々のセルにおいてインデックス毎のランキングを計算し、所定の出力形式に変換する処理を行なう。
【0084】
図12には、地図1203上に設定されている各認識単位の領域を示している。同図に示す例では、認識単位としての平安神宮31、二条通り32、東大路通り33、東山駅34、三条通り35、地下鉄東西線36、神宮通り37が地図上に配設されている。各認識単位は、カメラ1で撮影したときに被写体となり得る。各認識単位には認識インデックスが割り振られている。
【0085】
それぞれの認識単位は、地図上で面積を持っているが、位置的に重ね合わせて定義することができる。また、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。
【0086】
例えば、図12に示す例では、三条通り35、地下鉄東西線36、東山駅34が位置的に重なり合って定義されているが、東山駅34、地下鉄東西線36、三条通り35の順で大きなランキング・ポイントが与えられている。したがって、東山駅34を写した撮影画像内には、地下鉄東西線36(あるいは写されない)、三条通り35がともに写されているが、より大きなランキング・ポイントが与えられている東山駅34が被写体リストのより上位にリストアップされることになる。
【0087】
また、元の地図情報にない認識単位をユーザ操作などによって作成・編集して追加することも可能である。図12に示す例では、地図編集装置を操作するユーザが、地図表示画面上で、参照番号41及び42で示すようなマウス操作を印加することによって、認識単位としての東山駅34が描画される。
【0088】
図13には、認識単位の分類を指定する様子を示している。地図編集装置のディスプレイ画面上では、図12に示した地図表示ウィンドウで、東山駅34あるいはその他の認識単位をユーザが手付け入力したことに応答して、図13に示す認識単位の分類指定ウィンドウがポップアップ表示される。ここで、図13に示すように分類名「駅」をマウスでクリックすることにより、新規に作成された認識単位が駅であることが登録される。
【0089】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができる。このような場合、認識インデックスが階層化される。図14には、認識インデックスの階層を指定する様子を示している。同図に示す例では、まず京都30があり、その上に三条通り35、平安神宮31、二条通り32、東大路通り33、神宮通り37が割り付けられている。また、三条通り35の上には地下鉄東西線36が、さらにその上には東山駅34が割り付けられている。図14では、図12に示すように東山駅34を新規作成したときに東山駅34をインデックスとして登録しているところを表している。
【0090】
図15には、このような編集用の地図情報のデータ・フォーマットの構成例を示している。図示の例では、xml形式で地図情報が記述されている。同図に示すように、それぞれの認識単位は、図14に示したインデックスと階層に従ってタグ情報として記述されている。また、個々のタグ情報の中には対応する認識単位に付与された認識の分類(図13を参照のこと)が記述されている。さらに、タグ情報には、各認識単位についての地図上の位置データを記述した含まれている。
【0091】
上述したように、本実施形態に係る地図情報では、位置的に重ね合わせて複数の認識単位を定義することができ、上に重なる認識単位により大きなランキング・ポイントを与えることによって、位置的に重なり合った複数の認識単位の間でランキングの調整を行なうようになっている。図16には、階層化されている認識インデックスの重み付けを調整する様子を示している。
【0092】
図14を参照しながら既に説明したように、まず京都30があり、その上に三条通り35、平安神宮31、二条通り32、東大路通り33、神宮通り37が割り付けられている。また、三条通り35の上には地下鉄東西線36が、さらにその上には東山駅34が割り付けられている。京都30、三条通り35、地下鉄東西線36、東山駅34の各インデックスが階層化されている様子が図16には示されている。本実施形態では、上に重なる認識単位のポイントを、一定値αだけ逐次加算するようにしている。例えば、α=1とした場合、京都30のポイントを1とすると、三条通り35のポイントは2、地下鉄東西線36のポイントは3、東山駅34のポイントは4となる。
【0093】
また、二条通り32と神宮通り37は、図14に示したように同一階層の認識単位であるが、図16中の参照番号38で示す領域で干渉している。このことから、領域38では、各々の認識単位のポイント値を半分にしている。このように、同一階層にある認識単位が地図上で干渉している場合、干渉している各認識単位のポイント値を干渉数で割ることによって均等化している。
【0094】
図17には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【0095】
図15に示した編集用地図データに対して、地図をセル毎に分割し、セル内にある認識インデックスの階層に基づいて、インデックス毎のランキング値を計算し、規格化を行なっておく。なお、図示のフォーマットは、セル情報部7001と、認識単位定義部7002で構成される。
【0096】
セル情報部7001において、参照番号7111は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は0となる。また、同図中の参照番号7112、7113は、地図をセルに分割したときの横位置及び縦位置のセル数を示している。また、参照番号7121〜7123は、セル内の認識単位数を示しており、この値が0だと、これに続く認識単位指示7123−1が省略される。
【0097】
参照番号7123−5で示されるセル(i,j)内の認識単位数は5であり、認識単位支持7123−1が存在している。この中には、認識単位番号7123−3とポイント7123−2が対となって定義されている。また、ポイントは足して1になるように規格化されている。
【0098】
次に、認識単位定義部7002において、参照番号7021は認識単位数を表しており、その1番目から順になるように記述されている。ここで、例えば34番目の情報の場合、認識単位番号34の情報を示しており、この中には認識単位カテゴリ7221と認識単位名7222がある。
【0099】
図18には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に6分割、横方向に8分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【0100】
参照番号1は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り32と神宮通り37の交差する付近に立ち、平安神宮31を向いて撮影しているところを表している。
【0101】
図19には、セル内に存在する認識単位を登録している様子を示している。例えば、参照番号50は、図18に示すようなセル分割された地図上で、横方向に5個目、縦方向に0個目に位置するセル内の情報を記述しており、認識単位インデックスである東山駅34、三条通り35、地下鉄東西線36が当該セルに含まれていることが判る。図19に示すような認識単位の登録方式を採用することにより、認識単位を早見することができる。
【0102】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影空間と地図情報とを照合して、撮影空間にある建造物などの認識単位を抽出して、認識単位インデックスをポイント値に従ってリストアップして被写体リストを作成する。撮影空間内の認識単位を探索する際の、計算上の便宜から、図19に示したようなセル内認識単位早見表を利用する。
【0103】
図20には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間11を作成する。そして、この領域と重なるセルの塊41を選択する。
【0104】
次いで、選択されたセルに含まれる認識単位を取得する。図21には、図19に示したセル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示している。同図に示すように、横方向に5番目で縦方向に2〜4番目の3個のセルと、横方向に6番目で縦方向に3〜4番目の2個のセルが撮影空間に重なるセルとして選択され、さらにこれらセルに登録されている認識単位インデックスである平安神宮31、二条通り32、並びに神宮通り37が選択されたセルに含まれるものとして取得される。
【0105】
次いで、認識された各認識単位についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての認識単位が撮影空間内で占める割合に基づいて評価値を計算する。さらに、被写体が撮影空間内で占める割合に対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、地図情報に記載されている認識単位の面積を用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【0106】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確度という観点で順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【0107】
図22には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【0108】
既に述べたように、カメラによる撮影装置1は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるGPS信号の信号強度とGPS衛星の空間的な広がりに起因し、位置測定部403より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部404より出力される。図22に示す例では、位置誤差は参照番号2211で示される誤差円に相当する。また、レンズ方向誤差は参照番号2217で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。
【0109】
ここで、カメラ1が、図22中の参照番号2212で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離2121に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル2212の確からしさの合計が1になるように規格化している。
【0110】
また、図22には、カメラ1が参照番号2212で示されるセル位置にある場合のレンズ方向2213、画角2216、ピント面2215、撮影空間2214をそれぞれ示している。また、この撮影空間2214内にある認識単位2202は、参照番号2222で示されるようにセル単位に分割されており、中心角2222−1とピント面からの距離2222−2に応じた重み付けが与えられている。
【0111】
認識単位sについてのランキング・ポイントrsの計算式を以下に示している。
【0112】
【数1】
【0113】
但し、Aijはi行j列目のセルが持つ撮影空間の重み、Ciはカメラ位置の重み、Djはレンズ方向の重み、Sksは他の認識単位kとの重なりによる重みをそれぞれ表している。これら重みAij、Ci、Dj、Sksはそれぞれ値が規格化されているものとする。
【0114】
本実施形態では、地図情報上の各認識単位が持つイベントに関する情報を時間軸上で管理し、撮影時間とイベント表との照合により、被写体としてのイベントを取得し、これにもランキング・ポイントが与えられ、画像検索やアルバム作成などの画像管理に利用される。イベントの管理は、例えば、サーバ内の催し物カレンダ525にて行なわれる。
【0115】
図23には、イベントを記載するデータ・フォーマットの構成例を示している。イベントは認識単位毎に定義される。同図に示す例では、京都30に対するイベント71と、平安神宮31に対するイベント72がこれに相当し、それぞれ効用711と時代祭721が定義されている。勿論、イベントを持たない認識単位もある。
【0116】
図23の右側に示すように、イベント・データは例えばxml形式で記述され、認識対象毎にイベントがその開催日時とともにタグ情報として記載されている。このようなデータ・フォーマットを認識単位と撮影時間で走査することによって、撮影画像に該当するイベントを取り出すことができる。
【0117】
図24には、イベントとそのランキング・ポイントを計算するための処理手順をフローチャートの形式で示している。
【0118】
まず、撮影画像に付加されている撮影ログから撮影状態を取り出し、撮影空間を算出し、この撮影空間に含まれる認識単位を取り出す(ステップS21)。
【0119】
そして、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、認識単位が持つ面積を用いてランキング・ポイント値が算出される。
【0120】
次いで、図23に示したようなイベント・データを走査して、取り出された各認識単位及び撮影時間と照合するイベントを取り出す(ステップS22)。
【0121】
そして、各イベントのポイント値を認識単位が持つポイント値に設定する(ステップS23)。
【0122】
図25には、撮影画像の中から認識単位インデックスが取得された様子を示している。図7を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号57は認識単位インデックスを示している。認識単位インデックスが取得された場合、撮影ログに加えて、認識種類として、場所520とイベント530が追加される。また、参照番号56は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【0123】
図26には、認識単位インデックスを記述するデータ・フォーマットの構成例を示している。
【0124】
図8を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図8に示す例では、xml形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【0125】
図26では、さらに、撮影画像に含まれる認識単位インデックスとそのポイント値が記載されるとともに、撮影時間と認識単位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識単位を認識種類毎に記述するタグ・フィールド520が設けられ、認識種類「場所(location)」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値0.63、0.28、0.19とともにタグ情報521、522、523として記載されている。また、認識種類「イベント(event)」のタグ・フィールド530には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値0.63,0.19とともにタグ情報として記載されている。
【0126】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これらの付加情報に基づいて写真の管理を好適に行なうことができる。
【0127】
図27には、ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号2704で示される領域には撮影した写真(画像)が表示される。また、参照番号2751で示される領域には、撮影時間が、参照番号2754で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【0128】
参照番号2761〜2763は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【0129】
参照番号2764で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト2764上で選択された写真が、表示領域2704に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【0130】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【0131】
【数2】
【0132】
図27画像管理用ユーザ・インターフェースには、選択された写真に対して特定の処理を適用するコマンド・ボタンが用意されている。図28には、コマンドの設定を行なうコマンド設定画面の構成例を示している。
【0133】
例えば、図27に示した画像管理用ユーザ・インターフェース画面上で、「設定」コマンド・ボタン2763を選択すると、図28に示すような、「メール」631、「画像編集」632、「インデックス編集」633からなるサブメニュー・ウィンドウがポップアップ表示される。個々のサブメニュー項目にはさらにサブメニュー項目が用意されている。図示の例では、「ポイント編集」6331、と「リスト順位編集」6332がインデックス編集633のサブメニュー項目として用意されている。図示の状態では、リスト順位編集がデフォルトとして指定されており、編集コマンドをクリックすると、認識インデックス編集としてリスト順位編集モードが選択実行される。
【0134】
図29には、ポイント調整により認識インデックスを変更する様子を示している。参照番号5201は、ユーザ指定の認識単位インデックスを書き込むフィールドを示している。参照番号5202〜5204で示すように、現在の認識単位インデックスのリスト5200は、ポイント0.63で平安神宮、ポイント0.28で神宮通り、ポイント0.19で京都がリストアップされている。
【0135】
ここで、参照番号5207で示すように、「神宮通り」を削り、「竜宮城」を追加し、「竜宮城」のポイントを入力するという手付け入力操作を行なうと、認識単位の名前が切り替わるとともに、リスト順位が変更されて、参照番号5212〜5214で示すように、ポイント0.63で平安神宮、ポイント0.19で京都、ポイント0.1で竜宮城がリストアップされる。
【0136】
図30には、認識単位インデックスを変更するための処理手順をフローチャートの形式で示している。
【0137】
まず、認識インデックス・リストの編集モードへ入る(ステップS31)。そして、編集モードが終了するまで(ステップS32)、ユーザによってリスト編集が行なわれる(ステップS33)。ここで言うリスト編集には、認識インデックスの追加、順位変更、名称変更などが挙げられる。
【0138】
ここで、認識インデックスの削除が行なわれた場合には(ステップS34)、これを削除し(ステップS37)、そうでない場合には、編集履歴が保存される(ステップS35)。
【0139】
そして、編集が終了したならば、ポイント修正を行なってから(ステップS36)、本処理ルーチン全体を終了する。
【0140】
図31には、認識単位インデックスを挿入する様子を示している。図示の例では、参照番号3101、3102で示す場所に既存の認識単位インデックスがあり、参照番号3110で示される範囲にA1〜A3、参照番号3120で示される範囲にB1、参照番号3130で示される範囲にC1〜C2を挿入している。ここで、ポイントの最小値は0、最大値は1となっており、この範囲に収まるように各インデックスのポイント値が調整される。
【0141】
そして、図32には、認識単位インデックスを挿入した結果を示している。参照番号3231並びに3232は、ポイント値が最小値0から0.06の間に2つ追加されていることから、認識単位インデックスC2、C1はそれぞれ0.02,0.04となる。同様に、参照番号3221は、ポイント値が0.06〜0.46の間に入り、B1は0.26となる。また、参照番号3211〜3213は、ポイント値が最大値1〜0.46の間に入り、A1は0.865、A2は0.73、A3は0.595となる。
【0142】
図33には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【0143】
参照番号5201は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号5205は該当する認識単位のリスト順位を1つずつ上げるボタン、参照番号5206は該当する認識単位のリスト順位を1つずつ下げるボタンを、それぞれ示している。
【0144】
図示の例では、現在の認識単位のインデックス・リスト5200は、平安神宮5202、神宮通り5203、京都5204からなる。これに対し、参照番号5207で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮5212、京都5214、竜宮城5218というリスト順位になる。
【0145】
図34には、認識対象の変更によって変化したデータの様子を示している。
【0146】
図26に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールド520が設けられ、認識種類「場所(location)」のタグ・フィールドには、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都からなるリストが記載され、また、認識種類「イベント(event)」のタグ・フィールド530には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」からなるリストが記載されている。
【0147】
これに対し、図33に示したような認識単位インデックスの変更を行なった結果、認識種類「場所」のリスト5210内が、平安神宮5212、京都5214、竜宮城5218に変わっている。
【0148】
上述した実施形態では、被写体認識において、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、地図情報に記載されている認識単位としての被写体が占める面積すなわち建造物の床面積を用いてランキング・ポイント値を算出するものであった。実際には、建造物は平屋建て、数階建て、あるいは高層ビルの場合もあり、これに応じて(撮影空間ではなく)撮影画像内で占める割合も相違するので、単に床面積だけで撮影画像内での優先順位を推定するだけでは不十分なこともある。そこで、認識単位が持つ床面積だけではなく、その建造物が持つ表面積と併せてランキング・ポイント値を求めるという被写体の評価方法も考えられる。
【0149】
図35には、図12に示したような地図情報が3次元的に表現されている。但し、認識単位としての各建造物は、建造物を囲む最小限の立方体すなわちBoundaryBox(境界立方体)の形で表されている。また、図37には、このような地図上で、参照番号1で示すカメラ位置及びレンズ方向を持つカメラによって撮影した画像を示している。
【0150】
図36には、図35に示した地図上に存在する認識単位インデックスの階層を指定する様子を示している。例えば図35に示したような3次元地図表示上で、認識対象320をユーザが手付け入力したことに応答して、図36に示す認識単位の階層指定ウィンドウがポップアップ表示され、該当する認識単位の上の階層に割り付けることができる。
【0151】
図38には、参照番号1で示すカメラ位置及びレンズ方向を持つカメラによって撮影したときの撮影空間を作成する様子を示している。また、図39には、撮影空間内の認識単位に対するランキング・ポイント値を計算する様子を示している。
【0152】
カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置11を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向3913で画角に相当する部分が撮影空間として抽出される。
【0153】
図39には、カメラ1が図37に示した画像を撮影したときの撮影空間3914を示している。撮影空間3914は、撮影状態に基づいて、ピント面3915と被写界深度によって算出される。この撮影空間には、例えば、二条通り341や、○○公園311、噴水312などの認識単位が含まれている。○○公園311と噴水312は同じ位置に重なり合っているが、インデックス階層の上にある噴水312のほうにより大きなポイントが与えられる。また、二条通り341や○○公園311が平面的であり、床面積しか持たないのに対し、噴水312は立体的であり、さらにBoundaryBoxの表面積を考慮してランキング・ポイント値が計算される。
【0154】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と地図情報を照合し、撮影空間内の建造物などの認識単位を被写体として認識する。さらに、撮影空間内の認識単位についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【0155】
被写体すなわち写真に現れている認識単位に対するランキング・ポイント値の計算方法については、図22を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【0156】
図40には撮影領域を示している。 個々の写真データにおいて、カメラ1の撮影位置、レンズ方向4001、 画角4003、ピント距離4022、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域4002を計算する。ここで、参照番号4012、4022、4032で表される各点を通る弧はピント面を表している。また、参照番号4013、4023、4033で表される各点を通る弧は前方被写界深度を表している。また、参照番号4011、4021、4031で表される各点を通る弧は後方被写界深度を表している。
【0157】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図41には、撮影空間における重み傾斜の様子を示している。 参照番号4101で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号4102で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点4022を中心として、上下方向(点4023並びに点4021)と左右方向(点4012並びに点4032)へ向けて、重みを減少させている。
【0158】
図42には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する(ステップS41)。次いで、被写体の位置を入力する(ステップS42)。そして、カリングを行なった結果(ステップS43)、カリングされた場合には0を返し(ステップS45)、そうでない場合にはランキング・ポイント値が計算される(ステップS46)。
【0159】
図43には、図42に示したフローチャート中のステップS43に相当するカリング処理の詳細な手順をフローチャートの形式で示している。 まず、カメラ位置とレンズ方向を入力する(ステップS51)。次いで、被写体の位置を入力し(ステップS52)、対象物を含む最小半径の円を境界円として作成する(ステップS53)。次いで、図44で述べる距離条件を満たし(ステップS54)、図45で述べる角度条件1を満たし(ステップS55)、図46で述べる角度条件2を満たす(ステップS56)場合、TRUEを返し(ステップS57)、そうでない場合にはFALSEを返す(ステップS58)。
【0160】
図44には、カリングの距離条件を判定する様子を示している。参照番号4411はカメラ位置を、参照番号4412はカメラ位置の誤差半径を、参照番号4421は被写体境界円の中心位置を、参照番号4422は被写体境界円の半径を、参照番号4432は撮影領域を、参照番号4436はピント距離を、参照番号4434は後方被写界深度を、参照番号4435は前方被写界深度を、それぞれ示している。また、参照番号4437は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【0161】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号4437に示すベクトルの大きさが、参照番号4436で示されるピント距離を中心として、前方被写界深度4435と後方被写界深度4434の幅に、カメラ位置の誤差半径4412と被写体境界円の半径分4422の余裕を持って入っていることが条件となる。
【0162】
【数3】
【0163】
図45には、カリングの角度条件1を判定する様子を示している。同図において、参照番号4411はカメラ位置を、参照番号4412にカメラ位置の誤差半径を、参照番号4421は被写体境界円の中心位置を、参照番号4422は被写体境界円の半径を、参照番号4431はレンズ方向を、参照番号4433は画角を、参照番号4432は撮影空間を、それぞれ示している。また、参照番号4438はレンズ方向に向かって右にある画角限界ベクトルを示しており、 これに直行するベクトル4439と、カメラ位置4411から被写体境界円の中心位置4422へ向かうベクトル4437の内積を計算する。この内積の値は、ベクトル4438から被写体境界円の中心位置4422までの符号付距離を表すことになる。
【0164】
下式には、カリングの角度条件1の判定を行なう式である。 図45において求めた符号付距離が、ピント距離4436を中心として前方被写界深度4434と後方被写界深度4435の幅に、カメラ位置の誤差半径4412と被写体境界円半径分4422の余裕を持って入っていることが条件となる。
【0165】
【数4】
【0166】
図46には、カリングの角度条件2を判定する様子を示している。同図において、参照番号4411はカメラ位置を、参照番号4412はカメラ位置の誤差半径を、参照番号4421は被写体境界円の中心位置を、参照番号4422は被写体境界円の半径を、参照番号4431はレンズ方向を、参照番号4433は画角を、参照番号4432は撮影空間を、それぞれ示している。参照番号4438は、レンズ方向に向かって左にある画角限界ベクトルを示しており、 これに直行するベクトル4439と、カメラ位置4411から被写体境界円の中心位置4422へ向かうベクトル4437の内積を計算する。この内積の値は、ベクトル4438から被写体境界円の中心位置4422までの符号付き距離を表すことになる。
【0167】
下式には、カリングの角度条件2の判定を行なう式を示している。図46において求めた符号付距離が、ピント距離4436を中心として前方被写界深度4434と後方被写界深度4435の幅に、カメラ位置の誤差半径4412と被写体境界円の半径分4422の余裕を持って入っていることが条件となる。
【0168】
【数5】
【0169】
図47には、被写体領域をセル分割する様子を示している。同図において、参照番号4703は被写体領域を示している。まず、被写体領域をx軸とy軸に沿って、最大値と最小値を求めることによって、境界長方形4701を求める。次いで、参照番号4741で示されるx軸方向の刻み幅dxと、参照番号4742で示されるy軸方向刻み幅のdyを用いて、境界長方形4701をメッシュ4721に分解する。各メッシュ内の中心点4722が被写体領域4703に含まれているとき、ランキング・ポイント値の計算を行なう。参照番号4731はランキング・ポイント値の計算を行なうメッシュ・セルを示している。
【0170】
図48には、被写体に対するランキング・ポイント値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体領域の積分を行なう。
【0171】
まず、x軸とy軸に沿って最大値と最小値をとる頂点を求めることにより、被写体領域を覆う長方形を取得する(ステップS61)。
【0172】
次いで、被写体領域面積Sと、ランク値Sumを0で初期化し(ステップS62)。x軸方向変数xに先行ステップS61で取得したx軸最小値Xminを代入する(ステップS63)。また、y軸方向変数yに先行ステップS61で取得したy軸最小値Yminを代入する(ステップS64)。
【0173】
次いで、現在注目しているメッシュ・セルの中心点Pが被写体領域内にあれば(ステップS65)、 面積Sを1だけ増やし(ステップS66)、ランキング・ポイント値Sumにカメラ側から点Pを見たときのランキング・ポイント値を加える(ステップS67)。
【0174】
次いで、yに刻み幅dyを加える(ステップS68)。そして、yがy軸最大値Ymaxより小さければ(ステップS69)、ステップS65へ戻る。
【0175】
次いで、xに刻み幅dxを加え(ステップS70)、xがx軸最大値Xmaxより小さければ(ステップS71)、ステップS65へ戻る。
【0176】
最後に、sumをSで割って規格化した後(ステップS72)、これを出力して(ステップS73)、本処理ルーチン全体を終了する。
【0177】
図49には、被写体のある点に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラの誤差円部分の積分を行なう。
【0178】
まず、被写***置Oを入力する(ステップS81)。そして、ランク値合計Sumを0に初期化するとともに(ステップS82)、半径変数rを0に初期化する(ステップS83)。
【0179】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータwを計算し(ステップS84)、角度変数θを0に初期化する(ステップS85)。
【0180】
次いで、カメラ誤差円内の点座標Pを求め(ステップS86)、カメラが位置Pにあると仮定したときのランキング・ポイント値を計算して、sumに加える(ステップS87)。
【0181】
次いで、θに角度刻み幅dθを加えて(ステップS88)、θが2πを越えなければ(ステップS89)、ステップS86へ移動する。
【0182】
次いで、rに距離刻み幅drを加えて(ステップS90)、rが誤差半径Crを越えなければ(ステップS91)、ステップS84へ移動する。
【0183】
そして、誤差半径面積Sを計算し(ステップS92)、sumをSで規格化して出力し(ステップS93)、本処理ルーチン全体を終了する。
【0184】
図50には、距離条件を判定する様子を示している。同図において、参照番号4436はピント距離を、参照番号4434は後方被写界深度を、参照番号4435は前方被写界深度を、参照番号4432は撮影空間を、それぞれ示している。また、参照番号4437は、カメラ位置4411から被写***置4421に向かうベクトルを示している。
【0185】
下式には、距離条件の判定を行なう式を示している。ベクトル4437の長さが、ピント距離4436を中心として、前方被写界深度4435と後方被写界深度4434の範囲内に含まれていることを条件とする。
【0186】
【数6】
【0187】
図51には、角度条件を判定する様子を示している。 同図において、参照番号4431は北からのレンズ方向までの角度を、参照番号4432は画角を、参照番号4438はレンズ方向ベクトルを、それぞれ示している。また、参照番号4437は、カメラ位置4411から被写***置4421に向かうベクトルを示している。また、参照番号4439は、このベクトル4437とレンズ方向ベクトル4438のなす角度を示している。
【0188】
下式には、角度条件の判定を行なう式を示している。図51で求めた角度4439が画角4433未満となることを条件とする。
【0189】
【数7】
【0190】
図52には、前後方被写界を分ける様子を示している。同図において、参照番号4436はピント距離を、参照番号4434は後方被写界深度を、参照番号4435は前方被写界深度を、参照番号4432−1は前方被写界深度内撮影空間を、 参照番号4432−2は後方被写界深度内撮影空間を、それぞれ示している。 また、参照番号4437は、カメラ位置4411から被写***置4421に向かうベクトルを示している。
【0191】
下式により前後方被写界におけるランク値を計算する。 図52に示すように、被写体が前方被写界深度内撮影空間内4432−1にあるときと、後方被写界深度内撮影空間内4432−2にあるときでその計算式が異なっている。
【0192】
【数8】
【0193】
B.移動体からなる被写体の認識
上述した実施形態では、撮影画像中の認識対象は、建造物など地図上での位置が静的・固定的であり、基本的には撮影空間と地図上の各認識対象の位置との照合により被写体認識を行なうものである。この場合、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。そこで、以下では、移動体が被写体として含まれる写真画像において、写真と被写体とを結合させることによって写真の管理を行なう画像管理システムについて説明する。
【0194】
図53には、図2に示した画像管理システムにおいて、人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【0195】
撮影装置5331は、撮影時に装置5331内で取得される撮影情報をセンター5333へ転送する。また、被写体5332としての人は、GPSなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター5333へ転送する。この後、センター5333では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【0196】
撮影側の装置5331は、例えば、カメラ機能付きの携帯電話機で構成され、図3に示したような外観構成を持つ。この撮影側装置5331の内部構成を図54に示している。
【0197】
CPU415がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置101の動作が統括的にコントロールされる。CPU415は、バス417を介して各部に相互接続されている。
【0198】
RAM413は、CPU415の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ROM414は、CPU415の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【0199】
入力部408は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの1つはカメラ機能起動時におけるシャッター409に割り当てられている。
【0200】
通信部401は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ(後述)と通信を行なう。
【0201】
位置測定部403は、アンテナ121によって受信されるGPS信号に基づいて当該機器の現在位置を測定する。また、方向取得部404は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはGPS信号の信号強度とGPS衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部403は位置誤差を推定し、これを出力する。また、方向測定部404は、固定値である方向誤差を出力する。
【0202】
撮像部405は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部405は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【0203】
表示部406は、CPU415による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【0204】
出力部407は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【0205】
時計416は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計416は、撮像部405による撮像時刻や、位置測定部403による位置測定時刻を出力するようになっている。
【0206】
写真保存部431は、撮像部405による撮影画像を保存する。また、撮影ログ保存部432は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【0207】
また、機器は機器同定のための機器識別情報を格納したID保持部402を備えており、位置測定部403で取得された位置情報とともに通信部401からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器IDをID名簿433に保持している。
【0208】
図54に示した携帯電話機上で写真を撮影する場合、入力部408にあるシャッター409からの入力に連動して撮影部405が動作して写真を撮影し、この撮影画像を画像保存部431に保存する。また、写真の撮影並びに画像保存に伴って、時計416により撮影時間と、撮影部405から出力される撮影状態、位置測定部403より得られるカメラ位置とその誤差範囲、方向取得部404より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部432に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計416により計時された時間とともにログとして記録する。
【0209】
勿論、被写体となる人物も、自ら写真撮影を行なう場合には、図54に示した機器構成の装置を携帯して、自身の移動ログを取得してもよい。あるいは、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持する。この場合の移動ログ記録装置の外観構成を図55に、その内部構成を図56に示している。
【0210】
図55に示すように、移動ログ記録装置は、携帯電話通信用のアンテナ112とGPS信号受信用のアンテナ121を備えている。
【0211】
CPU415がオペレーティング・システムの制御下で、携帯電話機能を実現するための各プログラムを実行することによって、この移動ログ記録装置の動作が統括的にコントロールされる。CPU415は、バス417を介して各部に相互接続されている。
【0212】
RAM413は、CPU415の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ROM413は、CPU415の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【0213】
通信部401は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ(後述)と通信を行なう。
【0214】
位置測定部403は、アンテナ121によって受信されるGPS信号に基づいて当該機器の現在位置を測定する。位置測定にはGPS信号の信号強度とGPS衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部403は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ434に記録する。
【0215】
時計416は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計416は、位置測定部403による位置測定時刻を出力するようになっている。
【0216】
図示の機器は機器同定のための機器識別情報を格納したID保持部402を備えており、位置測定部403で取得された位置情報とともに通信部401からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器IDをID名簿433に保持している。
【0217】
図57には、図53に示した被写体認識サービスにおいてセンター・サーバ5333として動作する装置の内部構成を模式的に示している。このサーバ5333は、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【0218】
同図に示すサーバ5333は、図5に示したサーバ構成に対し、さらに端末位置情報蓄積部521と、ID公開情報蓄積部522を備えている。
【0219】
端末位置情報蓄積部521は、各自が携帯する機器から送信される端末位置情報を格納する。ID公開情報蓄積部522は、自らの機器位置の公開を許可している機器の機器IDを格納している。
【0220】
本実施形態では、図53や図55に示した機器を携帯する人々から得られる被写***置情報を利用して、これら移動体の位置と撮影空間とを照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写***置情報の利用を、各機器ユーザが許可していることが前提となる。図58には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【0221】
まず、撮影側の機器5331が、センター・サーバ5333に対して名簿登録申請を行なう(T911)。次いで、センター・サーバ5333が、被写体側の機器5332に対して、被名簿登録確認を行なう(T921)。
【0222】
被写体側の機器5332から許可が返ってきたら(T931)、センター・サーバ5333は、ID公開情報を更新し、名簿登録変更通知を撮影側の機器5331へ送る(T914)。
【0223】
また、図59には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【0224】
撮影側の機器5331がセンター・サーバ5333に対して名簿登録申請を行ない(T911)、センター・サーバ5333は、被写体側の機器5332に対して、被名簿登録確認を行なう(T921)。
【0225】
これに対し、被写体側の機器5332から拒否が返ってきたら(T932)、センター・サーバ5333は、名簿登録拒否通知を撮影側の機器5331へ送る(T913)。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体認識の処理対象外となる。
【0226】
図60には、撮影側機器5331上で撮影された画像に含まれる被写体をセンター・サーバ5333で認識して各被写体にランキング・ポイント値を付与して機器5331に提供し、撮影側機器5331上でランキング・ポイント値に基づいたユーザの編集操作を行なうための処理手順を示している。
【0227】
まず、撮影側機器5331において撮影した後(T1111)、機器IDと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ5333側へ送信する(T1112)。
【0228】
センター・サーバ5333側では、ID公開情報522から被写体となり得る対象者リストを取得する(T1121)。このとき、ID公開情報522への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ5333は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する(T1122)。
【0229】
撮影範囲内に名簿登録された(すなわち位置取得を許可した)被写体側機器がいた場合、センター・サーバ5333は、これら各機器5332に対して、位置確認を行なう(T1123)。そして、各機器5332から位置報告を受け(T1131)、撮影空間に入っているものを抽出して、被写体リストを作成する(T1124)。
【0230】
この後、センター・サーバ5333は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する(T1125)。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【0231】
そして、センター・サーバ5333は、作成した被写体リストとリスト順位を、撮影側機器5331に返信する(T1126)。
【0232】
撮影側機器5331では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する(T1113)。
【0233】
本実施形態では、地図情報524は2つのフォーマットがあり、1つは地図情報編集データであり、1つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる(同上)。
【0234】
図61には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に6分割、横方向に8分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【0235】
図示の地図上には、被写体としての人21〜26が散在している。各被写体は、図53又は図55に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ5333から位置情報を取得することができる。同図では、撮影側の機器1が2人の被写体25、26を撮影したところを示している。
【0236】
図62には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ1は、機器ユーザ22,25,26から被写体としての認証を得ており、センター・サーバ5333では機器ユーザ1からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ25は、機器ユーザ1、26から被写体としての認証を得ており、機器ユーザ26は、機器ユーザ1、24から被写体としての認証を得ている。
【0237】
図63には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号50は、図61に示すようなセル分割された地図上で、横方向に5個目、縦方向に0個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器24が当該セルに含まれていることが判る。図63に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【0238】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図17に示したようなセル内認識対象早見表を利用する。
【0239】
図64には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間11を作成する。そして、この領域と重なるセルの塊41を選択する。
【0240】
次いで、選択されたセルに含まれる認識対象を取得する。図65には、図62に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図66には、図63に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【0241】
まず、図65に示すように、被写体リストから、機器1を認証している被写体が機器22、25、26であることを検知し、これらの機器の位置情報を取得する。
【0242】
次いで、図66に示すように、横方向に5番目で縦方向に2〜4番目の3個のセルと、横方向に6番目で縦方向に3〜4番目の2個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器1、機器25、機器26が選択されたセルに含まれるものとして取得される。
【0243】
次いで、認識された各認識対象についての評価値としてのランキング・ポイント値を計算する。本実施形態では、被写体としての人(又はその他の移動体)が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写***置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【0244】
図67には、撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する様子を示している。
【0245】
カメラによる撮影装置1は、カメラ位置誤差と、レンズ方向誤差を持っている(前述)。位置誤差は、位置測定時におけるGPS信号の信号強度とGPS衛星の空間的な広がりに起因し、位置測定部403より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部404より出力される。図67に示す例では、位置誤差は参照番号2211で示される誤差円に相当する。また、レンズ方向誤差は参照番号2217で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号2で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【0246】
ここで、カメラ1が、参照番号2212で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離2121に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル2212の確からしさの合計が1になるように規格化している。
【0247】
また、図67には、カメラ1が参照番号2212で示されるセル位置にある場合のレンズ方向2213、画角2216、ピント面2215、撮影空間2214をそれぞれ示している。
【0248】
この撮影空間2214内にある認識対象は、位置測定により得られた被写***置2202を中心とした誤差範囲2221を持ち、これを参照番号2222で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル2222は、測定値2202からの距離2222−3に応じた重み付けがなされ、さらに中心角2222−1とピント面からの距離22222−4に応じた重み付けがなされている。
【0249】
認識単位pについてのランキング・ポイントrpの計算式を以下に示している。
【0250】
【数9】
【0251】
但し、Aijはi行j列目のセルが持つ撮影空間の重み、Ciはカメラ位置の重み、Djはレンズ方向の重み、Oksは被写体の確からしさをそれぞれ表している。これら重みAij、Ci、Dj、Oksはそれぞれ値が規格化されているものとする。
【0252】
図68には、撮影画像の中から人物に関する認識対象インデックスが取得された様子を示している。図25に示した認識対象点デックスに対し、認識種類として人物510が追加される。また、参照番号56は、個々の認識単位インデックスに対して設定されたポイント値を示している。
【0253】
図69には、人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示している。同図に示す例では、図26に示したデータ・フォーマットに対し、認識種類「人物(person)」のタグ・フィールド510が追加され、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値0.72、0.32とともにタグ情報511、512として記載されている。
【0254】
本実施形態に係る画像管理システムによれば、撮影画像に含まれる被写体の認識、並びに被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示され、これに基づいて写真の管理を好適に行なうことができる。
【0255】
人物などの移動体も被写体として認識する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図27に示したものと同様である。
【0256】
図70には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【0257】
参照番号5101は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号5105は該当する認識単位のリスト順位を1つずつ上げるボタン、参照番号5106は該当する認識単位のリスト順位を一つずつ下げるボタンを、それぞれ示している。
【0258】
図示の例では、現在の認識単位のインデックス・リスト5100は、なっち5102、ひかり5103からなる。これに対し、参照番号5107で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち5112、なおみ5218というリスト順位になる。
【0259】
図71には、認識対象の変更によって変化したデータの様子を示している。
【0260】
図69に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物(person)」のタグ・フィールド510には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値0.72、0.32ともにタグ情報511、512として記載されている。これに対し、図70に示したような認識単位インデックスの変更を行なった結果、図71に示すように、認識種類「人物」のリスト5110内が、なっち5112、おなみ5218に変わっている。
【0261】
本実施形態では、被写体から得られた位置情報とカメラ位置などの撮影状態から得られた撮影空間との照合により、撮影画像中の被写体の認識を行なう。図72には、被写体とカメラ間における位置関係を移動ログから取得する様子を示している。
【0262】
参照番号3101は撮影側の機器の移動ログを示している。また、参照番号3111は、この移動ログ3101上で写真撮影が行なわれた地点であり、そのときの時刻3113は12時35分である。
【0263】
一方、被写***置は被写体が携帯していた移動ログ記録装置の移動ログ3034から取り出される。参照番号3121は、撮影位置3111にて撮影側装置で写真撮影が行なわれたときの被写***置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間3113に対応するように、サンプリング値から逆算して求める。
【0264】
撮影位置3111と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間3112が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写***置3121が求められる。そして、撮影空間3112と被写***置3121とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができ、図67を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【0265】
図73には、本実施形態における、人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順をフローチャートの形式で示している。
【0266】
まず、撮影データをキューに入れる(ステップS101)。そして、このキューから1つずつ撮影データを取り出す(ステップS102)。このとき、未処理データがなくなれば(ステップS103)、本処理ルーチン全体を終了する。
【0267】
次いで、登録メンバー表から1人分の移動ログを取り出す(ステップS104)。ここで、未処理メンバーがいなくった時点で(ステップS105)、ステップS102に戻り、次のキューを取り出す。
【0268】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする(ステップS107)。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し(ステップS108)、そのメンバーIDとランキング・ポイント値を保存する(ステップS109)。
【0269】
その後、ステップS14に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【0270】
C.地図情報の追加
本発明では、被写体の撮影状態から算出される撮影空間と地図情報との照合により、撮影空間に含まれる建造物などを被写体として認識し、写真の認識対象リストに登録していく。
【0271】
ここで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。
【0272】
そこで、本実施形態では、認識インデックスを追加していく地図追加情報をさらに用意し、地図追加情報の利用を許可し合ったユーザ・グループ内では、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【0273】
本実施形態によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図74には、本実施形態に係る写真画像の管理方法の仕組みを図解している。
【0274】
図示の例では、地図3上のあるカメラ位置11にて建造物31に向かって撮影を行ない、参照番号41で示される写真が撮影されている。また、地図3上の別のカメラ位置12にて建造物31に向かって撮影を行ない、参照番号42で示される写真が撮影されている。そして、写真41、42について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【0275】
ここで、写真41を撮影したユーザが、認識対象リスト中の被写体31に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体31を「竜宮城」として記述するとともに、既に被写体31を撮影した別の写真52に付いた認識対象リスト上にも被写体31の認識インデックスを併せて更新する。
【0276】
本実施形態では、撮影装置は、例えば、カメラ機能付きの携帯電話機で構成され、図3に示したような外観構成を持つ。また、この撮影装置の内部構成は図54に示したものと同様である。
【0277】
図75には、各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの内部構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、さらには被写体側ユーザの機器からは被写***置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物や移動体の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【0278】
同図に示すサーバは、図57に示したサーバ構成に対し、さらに地図追加情報格納部523を備えている。この地図追加情報格納部523は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【0279】
本実施形態では、ユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【0280】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図76には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【0281】
まず、あるユーザの機器5331が、センター・サーバ5333に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう(T511)。次いで、センター・サーバ5333が、他のユーザの機器5332に対して、地図利用登録確認を行なう(T521)。
【0282】
他のユーザの機器5332から地図利用の許可が返ってきたら(T531)、センター・サーバ5333は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器5331へ送る(T514)。
【0283】
また、図77には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【0284】
まず、あるユーザの機器5331が、センター・サーバ5333に対して、他のユーザの地図の利用許可を申請する地図利用登録申請を行なう(T511)。次いで、センター・サーバ5333が、他のユーザの機器5332に対して、地図利用登録確認を行なう(T521)。
【0285】
これに対し、他のユーザの機器5332から地図利用に対する拒否が返ってきたら(T532)、センター・サーバ5333は、地図利用登録拒否通知を要求元ユーザの機器5331へ送る(T513)。
【0286】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【0287】
ユーザ間で新規の認識インデックスに関する地図情報を共有する本実施形態においても、画像管理用ユーザ・インターフェースの画面構成例は図27に示したものと同様である。また、図29や図70を参照しながら説明した場合と同様、上下ボタンの操作により認識対象インデックスを変更することができる。
【0288】
図78には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【0289】
まず、撮影側の機器5331において、GUI操作により、撮影した写真に対して新しい認識インデックスの追加を行ない(T911)、これを当該写真の撮影状態とともにセンター・サーバ5333へ送信して、地図追加情報への登録申請を行なう(T912)。
【0290】
センター・サーバ5333側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し(T921)、認識単位として地図追加情報523に追加登録する(T922)。そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後(T923)、認識インデックスの追加を行なった機器5331にACCを返す(T924)。
【0291】
次いで、機器5331側では、他の写真についても、各々の撮影状態をセンター・サーバ5333へ送り(T913)、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。
【0292】
センター・サーバ5333では、これらの写真について被写体認識処理を改めて行ない(T925)、各写真毎の認識された被写体についてのランキング・ポイント値を機器5331へ返す(T926)。
【0293】
そして、機器5331側では、追加された認識インデックスのポイント値が0より大きくなる場合(T914)、その写真の認識インデックスに新規の認識インデックスを追加登録する(T915)。
【0294】
なお、T923において通知を受けた登録ユーザの機器側では、T913〜T915の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【0295】
図79には、図78中のT922で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【0296】
まず、T12で機器31側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する(ステップS111)。
【0297】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する(ステップS112)。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【0298】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する(ステップS113)。本実施形態では、重なっている数で等分している。
【0299】
そして、地図追加情報データベース423へ認識対象インデックスを追加登録して(ステップS114)、本処理ルーチン全体を終了する。
【0300】
図41を参照しながら既に説明したように、個々の写真データにおける撮影空間4002は、カメラ1の撮影位置、レンズ方向4001、 画角4003、ピント距離4022、焦点距離情報、絞り値からなる撮影状態のパラメータ値を用いて計算され、ピント面を構成する円弧4012、4022、4032と、前方被写界深度4013、4023、4033と、後方被写界深度4011、4021、4031で表される。
【0301】
また、図42を参照しながら説明したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。すなわち、撮影空間は、カメラ方向並びにピント面の左右方向における重み傾斜を持ち、上下方向(点4023並びに点4021)と左右方向(点4012並びに点4032)へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で(後述)、撮影空間の積分が1になるように規格化しておく。
【0302】
図80には、異なるユーザが持つ(あるいは異なる写真が持つ)撮影空間が交差している様子を示している。同図に示す例では、2つの撮影領域1321、1322が参照番号1323で示した領域で交差している。
【0303】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う(同上)。
【0304】
図81には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【0305】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には(ステップS121)、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【0306】
まず、追加領域を1つ取り出す(ステップS122)。追加領域がない場合(ステップS123)、セル内のポイント値を1に規格化し(ステップS124)、セル情報として書き込み、次のセルの処理を行なう。
【0307】
追加情報がある場合(ステップS123)、セルにインデックスを加え(ステップS126)、ステップS122に戻る。
【0308】
D.写真アルバムの自動作成
前項Aでは、本発明によれば、写真画像の被写体認識において、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値からなる撮影状態に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と所定の地図情報を照合し、地図上で前記撮影空間内に存在する物体を被写体として認識することができることを説明した。
【0309】
また、前項Bでは、人物などの移動体からなる被写体にも移動ログを取得する装置を携帯させ、撮影時点での位置情報を得ることにより、撮影空間との照合が可能となり、地図上にある建造物などの静物と同様に移動体も被写体認識の対象とすることができることを説明した。
【0310】
また、前項Cでは、地図情報に既存の認識対象を利用するだけでなく、ユーザが新たな認識対象を地図情報に追加し、同じユーザが過去に撮った写真や、他のユーザが撮った写真、これ以後に撮る写真に対しても新たな認識対象を作用させることができることを説明した。
【0311】
そして、ピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、これら被写体の面積あるいは撮影空間に存在する確度を用いて各被写体のランキング・ポイント値を計算し、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。ユーザは、優先順位が付された認識インデックスのリストを参照することにより、写真画像の管理を効率的に行なうことができる。
【0312】
本項では、ランキング付き被写体情報が付加されている複数の写真に対して、被写体の種類に応じてグループ化を行ない、また、ランキング・ポイント値を用いて写真の取捨選択を行なうことで、アルバムを自動生成する方法について説明する。
【0313】
図82には、アルバムの自動生成処理の手順をフローチャートの形式で示している。
【0314】
まず、写真を入力し(ステップS131)、これらに被写体情報を付加する(ステップS132)。被写体情報を付加する処理については、前項A〜Cにおいて既に記載しているので、ここでは説明を省略する。また、旅程付きの旅行写真の場合、写真に付いている時間と旅程に基づいて、各写真に対して旅程項目を被写体項目として付加することができる。
【0315】
次いで、ユーザが認識種類(人物、建物・場所、イベント、旅程など)の中から所望のカテゴリを選択し、指定されたカテゴリに対するグルーピングを行なう(ステップS133)。そして、グループ間で順序を決める。(ステップS134)。この順序決めとしては、グループ内に登録されている写真撮影時間の平均値を比較し、若いものから順番に配置する方法や、グループ内に登録されている写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【0316】
次いで、グループ内で順序を決める(ステップS135)。この順序決定方法として、各々の写真撮影時間の若いものから順番に配置する方法や、個々の写真が持つ被写体情報のランキング値の合計値を比較し、この値が大きいものから順番に配置する方法などが挙げられる。
【0317】
そして、最後に写真をグループ毎に配置して、アルバムを作成・出力する(ステップS136)。
【0318】
図83には、写真ファイル内に記述されている情報構造を図解している。JPEG(Joint Picture Experts Group)フォーマットなどでは、写真ファイル8301に対して、イメージ・フィールド8311と、Exifと呼ばれる情報フィールドが設けられている。また、MPEG(Moving Picture Experts Group)フォーマットでも、イメージ・データ部分8311と、メタデータ記述部分が設けられている。
【0319】
図示の例では、イメージ・ファイル内に存在する情報フィールドに対して、図84に示すようなカテゴリ要素を記述するためのタグ構造を導入して、人物8312−1、建物・場所8312−2、イベント8312−3、旅程8312−4などのカテゴリを記述している。
【0320】
図84には、イメージ・ファイル内の情報フィールドに記述する情報を示している。この情報は、カテゴリ・タグ8400によって囲まれている。また、人物8411〜8413、建物・場所8422、イベント8423、旅程8424のカテゴリを記述するためのタグがそれぞれ用意され、各タグにはランキング・ポイント値を記述することができる。
【0321】
図85には、グルーピング処理の手順をフローチャートの形式で示している。
【0322】
まず、所定の閾値以上となるキーを持つ写真を取得する(ステップS141)。次いで、出現したキーワード名をグループ名としてリストに保存する(ステップS142)。このとき、既に取得したカテゴリ名と重複するものについては、登録を行なわない(ステップS143)。
【0323】
そして、リスト内に登録したグループ毎に写真の振り分けを行なう(ステップS144)。なお、本実施形態では、複数のグループに属する写真がある場合、各々のキーワード・ランキングの大きさを比較し、この値が大きい方のキーワード・グループへ登録する。
【0324】
図86には、カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号8601に示すフィールドには、旅程情報8611〜8613が記載される。また、参照番号8602に示すフィールドには、写真イメージ8621と、写真に付けたコメント8622が記載される。なお、各々の写真はグループ単位でまとめられて出力される。
【0325】
また、図87には、カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示している。参照番号8701で示すフィールドには、人物情報8711〜8713が記載される。また、参照番号8702で示すフィールドには、写真イメージ8721と、写真に付けたコメント8722が記載される。なお、各々の写真は、グループ単位でまとめられて出力される。
【0326】
[追補]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0327】
【発明の効果】
以上詳記したように、本発明によれば、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【0328】
また、本発明によれば、複数存在する撮影対象間の優先順位付けし実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【0329】
また、本発明によれば、各撮影画像に付けられている被写体情報又はその他の付加情報に基づいて多数の撮影画像を管理、グルーピング、その他の編集処理を好適に行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【0330】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差は場に応じて重み付けされた領域に対して、地図情報に記載されている認識単位としての被写体の面積を用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【0331】
また、本発明によれば、複数のカテゴリがある被写体情報が付加されている写真の集合に対して、ユーザが指定したカテゴリ内の認識結果に対して、被写体のランキング地を用いてグルーピングを行ない、グループ毎に写真を配置するといったアルバムの自動生成を実現することができる。また、グループ単位の表示順位や、グループ内での写真表示順位など、被写体認識の評価値を用いて決定することができる。したがって、写真グルーピングを行なうことによって、整理されたアルバムを自動生成することができる。
【図面の簡単な説明】
【図1】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図2】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図3】撮影装置101に相当する機器の外観構成を示した図である。
【図4】撮影装置101の内部構成を示した図である。
【図5】各ユーザが所持する携帯電話機と通信を行なう画像管理サーバの構成を模式的に示した図である。
【図6】携帯電話機上で撮影された画像に含まれる被写体を認識し、各被写体にランキング・ポイントを付与し、ランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図7】携帯電話機その他のカメラ機能を持つユーザ機器上において、写真撮影時に取得する情報を説明するための図である。
【図8】写真撮影時に取得される撮影状態を記録するデータ・フォーマットの構成例を示した図である。
【図9】方向取得部404から取得されるカメラのレンズ方向の表現方法の一例を示した図である。
【図10】サーバにおいて蓄積される地図情報を編集するための処理手順を示したフローチャートである。
【図11】図10に示したような地図情報の編集処理を行なう地図情報編集装置の機能構成を模式的に示した図である。
【図12】地図上に認識単位の領域を設定する方法を説明するための図である。
【図13】認識単位の分類を指定する様子を示した図である。
【図14】認識インデックスの階層を指定する様子を示した図である。
【図15】編集用の地図情報のデータ・フォーマットの構成例を示した図である。
【図16】階層化されている認識インデックスの重み付けを調整する様子を示した図である。
【図17】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図18】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【図19】セル内に存在する認識単位を登録している様子を示した図である。
【図20】撮影空間を含むセルを選択する様子を示した図である。
【図21】セル内認識単位早見表を利用して、選択されたセルから認識単位を取得する様子を示した図である。
【図22】撮影空間内の認識単位に対するランキング・ポイントを計算する処理手順を説明するための図である。
【図23】イベントを記載するデータ・フォーマットの構成例を示した図である。
【図24】イベントとそのランキング・ポイントを計算するための処理手順を示したフローチャートである。
【図25】撮影画像の中から認識単位インデックスが取得された様子を示した図である。
【図26】認識単位インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図27】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図28】コマンド設定画面の構成例を示した図である。
【図29】ポイント調整により認識インデックスを変更する様子を示した図である。
【図30】認識単位インデックスを変更するための処理手順を示したフローチャートである。
【図31】認識単位インデックスを挿入する様子を示した図である。
【図32】認識単位インデックスを挿入した結果を示した図である。
【図33】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図34】認識対象の変更によって変化したデータの様子を示した図である。
【図35】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図36】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図37】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図38】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図39】認識単位が撮影空間内に持つ床面積と表面積の双方に基づいてランキング・ポイント値を計算する方法を説明するための図である。
【図40】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図41】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図42】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図43】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図44】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図45】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図46】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図47】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図48】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図49】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図50】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図51】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図52】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図53】人物などの被写体の位置情報と撮影画像の撮影空間に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図54】撮影側装置5331の内部構成を示した図である。
【図55】移動ログ記録装置の外観構成を示した図である。
【図56】移動ログ記録装置の内部構成を示した図である。
【図57】図53に示した被写体認識サービスにおいてセンター・サーバ5333として動作する装置の内部構成を模式的に示した図である。
【図58】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図59】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図60】撮影側機器5331上で撮影された画像に含まれる被写体をセンター・サーバ5333で認識して各被写体にランキング・ポイントを付与して機器5331に提供し、撮影側機器5331上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図61】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図62】機器が認証を受けている被写体リストの構成例を示した図である。
【図63】セル内に存在する認識対象を登録している様子を示した図である。
【図64】撮影空間を含むセルを選択する様子を示した図である。
【図65】図62に示した各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図66】図63に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図67】撮影空間内に存在する人物など移動体からなる認識単位に対するランキング・ポイントを計算する方法を説明するための図である。
【図68】撮影画像の中から人物に関する認識対象インデックスが取得された様子を示した図である。
【図69】人物を認識対象として含んだ認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図70】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図71】認識対象の変更によって変化したデータの様子を示した図である。
【図72】被写体とカメラとの位置関係を移動ログから取得する様子を示した図である。
【図73】人物などの移動体を被写体に含む撮影画像についての被写体認識の処理手順を示したフローチャートである。
【図74】新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される写真画像の管理方法の仕組みを説明するための図である。
【図75】各撮影装置と通信を行ない被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図76】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図77】あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図78】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図79】図78中のT922で行なわれる認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図80】異なるユーザが持つ(あるいは異なる写真が持つ)撮影空間が交差している様子を示した図である。
【図81】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図82】アルバムの自動生成処理の手順を示したフローチャートである。
【図83】写真ファイル内に記述されている情報構造を示した図である。
【図84】イメージ・ファイル内の情報フィールドに記述する情報を示した図である。
【図85】グルーピング処理の手順を示したフローチャートである。
【図86】カテゴリ「旅程」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【図87】カテゴリ「人物」でグルーピングして自動生成されたアルバムの構成例を示した図である。
【符号の説明】
101…撮像装置
102…撮影状態取得部
103…被写体認識部
104…ランキング・ポイント付与部
105…画像保存部
106…画像検索/編集部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image management system, an image management method, and a computer program for managing a large number of photographic images, and more particularly to an image management system, an image management method, and a computer for managing a photographic image including one or more subjects.・ Regarding the program.
[0002]
More specifically, the present invention relates to an image management system, an image management method, and a computer program for recognizing a subject in a photographed photograph and for facilitating the management of the photograph by combining the photograph and the subject. More particularly, the present invention relates to an image management system, an image management method, and a computer program for prioritizing a plurality of photographing targets and performing practical object recognition.
[0003]
[Prior art]
In recent years, devices for outputting and reproducing captured images as digital contents, such as digital cameras, have become widespread. This type of photograph is stored on a magnetic tape, a magnetic disk, a semiconductor memory, or the like. The simple operation of the device and the easy output of the photos, combined with the simplicity of photographing, increase the number of photos. In such a case, from the viewpoint of effective use of the content, a suitable management method of the photograph is important.
[0004]
For example, a technique has been adopted in which predetermined meta information is added to an image, and the image is managed and searched based on the meta information. In this case, events and other situations at the time of photographing the photograph, episodes related to the photographing, information and impressions on the subject, and these keywords are managed together with the image as meta information. However, depending on the user's manual input of the meta information, the work load is excessive and troublesome.
[0005]
In addition, there have been proposed some methods of automatically adding a shooting time, a shooting location detected using a GPS (Global Positioning System) or the like as meta information to an image body, and the like.
[0006]
Here, the present inventors think that it is possible to facilitate a photo search by combining what is in the photograph (object) with the photographed photograph.
[0007]
For example, the camera position and the direction are measured, and the recognition index described on the map information can be recognized as the subject. However, in order to perform subject recognition, it is necessary to measure the position and the measurement with extremely high accuracy. The map information prepared in advance does not correspond to what the photographer wants to recognize.
[0008]
Further, there has been proposed an image recording apparatus that obtains additional information regarding a shooting place and a shooting target to improve operability (for example, refer to Patent Document 1). According to this image recording apparatus, when a plurality of imaging target candidates are extracted, the estimation is performed by assigning priorities in descending order of the likelihood. However, priorities are determined based on the distance from the center of the estimation range provided in the photographed image to obtain the accuracy of the photographing object candidate. Building) is not evaluated as being out of the center of the estimated range. In addition, a high accuracy is given to a shooting target that coincides with the focal direction, but at this time, no consideration is given to the depth of field.
[0009]
On the other hand, it is common practice to edit and save the obtained photographic image as an album. In a conventional album creation system, there are a system in which photos are sorted in order of photographing time, and a system in which photos are arranged on a map by comparing the photographed time with the time in a GPS log. When some subject information is added to a photograph, a photograph search is performed using the additional information.
[0010]
However, when subject information is added to each photograph in any way, there is no method for creating a photo album using the information.
[0011]
In addition, it is technically possible to display the pictures side by side by applying a search method for the subject information attached to the pictures, but the evaluation axis is one axis. You can't group and edit an album.
[0012]
[Problems to be solved by the invention]
An object of the present invention is to provide an excellent image management system, an excellent image management method, and a computer program that can easily manage a photograph by combining a photographed photograph with a subject in the photograph. It is in.
[0013]
It is a further object of the present invention to provide an excellent image management system, an excellent image management method, and a computer program capable of prioritizing a plurality of photographing targets and performing practical object recognition.
[0014]
A further object of the present invention is to provide an excellent image management that can appropriately manage, group, and perform other editing processes on a large number of captured images based on subject information or other additional information attached to each captured image. It is to provide a system, an image management method, and a computer program.
[0015]
Means and Action for Solving the Problems
The present invention has been made in consideration of the above problems, and a first aspect of the present invention is an image management system that manages an image in combination with a subject included in a captured image,
Shooting state obtaining means for obtaining a shooting state at the time of image shooting,
A photographing space estimating means for calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition unit that compares the shooting space calculated by the shooting space estimation unit with predetermined map information and recognizes an object existing in the shooting space on the map as a subject;
Subject evaluation value calculation means for calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management system comprising:
[0016]
However, the term “system” as used herein refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter in particular.
[0017]
According to the present invention, retrieval and other image management are efficiently performed for a subject included in each image in accordance with a priority order based on the evaluation value.
[0018]
According to the present invention, in object recognition of a photographic image, a shooting space including a focus plane and a depth of field is calculated based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of shooting. Then, by comparing the photographing space with predetermined map information, an object existing in the photographing space on the map can be recognized as a subject.
[0019]
Further, the photographing space estimating means calculates a photographing space composed of a focus plane and a depth of field based on the indicated values of the photographing states, a distance from the focus plane of the photographing space, a distance from the central axis, and a camera position. For the imaging space weighted according to the measured value and the error radius, the direction measured value and the error width, using the area of the subject as the recognition unit described in the map information, each of the plurality of existing recognition units Can be prioritized. As a result, the list order of the set of recognition units can be determined and used for photo search and other photo management / editing.
[0020]
The subject evaluation value calculation means may calculate an evaluation value by giving a weight based on a shooting position error and a line-of-sight direction error to a ratio of a subject occupying in a shooting space.
[0021]
For example, in a situation where the measurement accuracy is not high enough, by retrieving many recognition candidates according to the accuracy of the information and presenting them to the user in a ranked form, changing the list ranking or deleting items, etc. At the time of editing, the user is less burdened than the labor of adding items by manual input.
[0022]
In addition, the image management system according to the present invention includes an event table storage unit that stores an event table prepared for each subject, and an event that obtains an event as a subject by comparing a shooting time of an image with the event table. Acquisition means may be further provided.
[0023]
Map information used for object recognition is configured by arranging recognition units composed of buildings and other objects on a map, and a recognition index is assigned to each recognition unit. The subject recognizing means returns a list of recognition indices of recognition units recognized as subjects in the photographing space as a recognition result.
[0024]
In this map information, each recognition unit has an area on the map, and a plurality of recognition units can be defined by being overlapped in position. The recognition units are hierarchized, and among the recognition units that overlap in position, the ranking can be adjusted among a plurality of recognition units by giving a larger weight to the recognition unit that overlaps the recognition unit. Further, when recognition units that overlap in position are assigned to the same layer, the recognition index value of each recognition unit is divided by the number of overlaps to equalize.
[0025]
Also, a plurality of categories may be prepared for the recognition unit. The subject recognizing means may return a list of recognition indexes in which recognition units recognized as subjects in the photographing space are classified for each category as a recognition result.
[0026]
In such a case, the captured images can be grouped for each category, and an album can be generated for each image group.
[0027]
For example, albums of each image group are sequentially generated according to an inter-group order determined by a predetermined procedure. The order between groups referred to here is determined, for example, based on the average photographing time of the photographed images included in each image group or the total of the evaluation values.
[0028]
In addition, an album of the image group is generated by selecting photographed images in the image group according to the order within the group determined by a predetermined procedure. The order within the group referred to here is determined based on, for example, the photographing time or the evaluation value of each photographed image in the image group.
[0029]
According to a second aspect of the present invention, there is provided a computer program described in a computer-readable format so as to execute a process for managing an image in combination with a subject included in a captured image on a computer system. So,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
A computer program characterized by comprising:
[0030]
The computer program according to the second aspect of the present invention defines a computer program described in a computer-readable format so as to realize a predetermined process on a computer system. In other words, by installing the computer program according to the second aspect of the present invention in a computer system, a cooperative action is exerted on the computer system, and the image management according to the first aspect of the present invention is performed. The same operation and effect as those of the system can be obtained.
[0031]
Further objects, features, and advantages of the present invention will become apparent from more detailed descriptions based on embodiments of the present invention described below and the accompanying drawings.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0033]
A. Photo subject recognition
FIG. 1 shows how a subject is recognized using a camera position, a lens direction, and map information. In the figure,
[0034]
FIG. 2 schematically shows a system configuration of the image management system according to the embodiment of the present invention. The illustrated image management system manages a photograph by combining a photographed photograph with a subject shown in the photograph.
[0035]
First, photographing is performed by the photographing
[0036]
The
[0037]
The ranking
[0038]
The
[0039]
FIG. 3 shows an external configuration of a device corresponding to the
[0040]
FIG. 4 shows an internal configuration of the photographing
[0041]
A CPU (Central Processing Unit) 415 executes each program for realizing the mobile phone function and the camera function under the control of the operating system, so that the operation of the photographing
[0042]
A RAM (Random Access Memory) 413 is configured by a readable / writable semiconductor memory, and loads an execution program code of the
[0043]
The
[0044]
The
[0045]
The
[0046]
The
[0047]
The
[0048]
The
[0049]
The
[0050]
The
[0051]
When a photograph is taken on the mobile phone shown in FIG. 4, the photographing
[0052]
FIG. 5 schematically shows the configuration of an image management server that communicates with a mobile phone (see FIG. 4) owned by each user. The image management server receives the photographed image and its photographing log (such as photographing time, photographing state, error information included in position measurement and direction acquisition at the time of photographing), and performs object recognition and ranking points for each object. It provides services such as adding, saving images, and supporting image search and editing.
[0053]
The
[0054]
The
[0055]
The
[0056]
The map
[0057]
The shooting target
[0058]
The subject
[0059]
The ranking
[0060]
FIG. 6 shows a processing procedure for recognizing a subject included in an image photographed on a mobile phone, assigning a ranking point to each subject, and performing a user editing operation based on the ranking point. I have.
[0061]
First, after photographing with a mobile phone (T611), a photographing log such as a device ID and a focal length, an angle of view, and an aperture is transmitted to the server side (T612).
[0062]
On the server side, the camera position, lens direction, focal length, angle of view, and aperture value are acquired from the shooting log, and the shooting space consisting of the focus plane and the depth of field is obtained based on the indication values of these shooting conditions. Is calculated as a range to be photographed (described later) (T621).
[0063]
Next, the server collates the camera position at the time of shooting included in the shooting log with the map information, and creates a set of objects in the shooting target range of the shot image as a subject list.
[0064]
Further, the server calculates an evaluation value according to the estimated situation in the image of the subject as a ranking point. The evaluation value here is calculated based on the ratio (or area) of the subject in the photographing space. However, since the captured image includes uncertain components such as an error in the camera position and an error in the lens direction, weighting based on the imaging position error and the gaze direction error is applied to the ratio of the subject in the imaging space. Then, a ranking point based on the accuracy of the information is given (described later) (T623).
[0065]
Then, the server returns the created subject list and the list order to the mobile phone (T624).
[0066]
The mobile phone uses the received subject list and the list order to add or correct the subjects included in the photograph and their order as appropriate (T613).
[0067]
FIG. 7 shows information acquired at the time of taking a picture on a mobile phone or other user equipment having a camera function.
[0068]
For example, when a photograph as indicated by
[0069]
FIG. 8 shows a configuration example of a data format for recording a photographing state acquired at the time of photographing, as shown in FIG. In the illustrated example, the shooting state is described in an xml (extended markup language) format, and includes a
[0070]
FIG. 9 shows an example of a method for expressing the shooting direction, that is, the lens direction of the camera acquired from the
[0071]
FIG. 10 is a flowchart showing a processing procedure for editing map information stored in the server. In the present embodiment, the
[0072]
First, map information for editing is read (step S1). If there is no map information for editing, create a new one.
[0073]
Next, a recognition unit is selected and set as an area (step S2). Then, an index corresponding to this is set (step S3), overlap setting is performed (step S4), and information is recorded (step S5).
[0074]
If the area setting has not been completed (step S6), the process returns to step S2. If the area setting has been completed and writing to map data is not to be performed (step S7), an editing map is written (step S8), and the entire processing routine ends.
[0075]
On the other hand, when writing map data, the data is divided into cells (step S9), the index ranking is calculated for each cell (step S10), and the data is output as map data (step S11). End the entire routine.
[0076]
FIG. 11 schematically shows a functional configuration of a map information editing apparatus that performs the map information editing process as shown in FIG.
[0077]
When the
[0078]
The
[0079]
The
[0080]
The
[0081]
When there are overlapping recognition unit areas, the ranking calculation unit 1141 calculates a ranking value for each index.
[0082]
When the recognition units at the same level interfere with each other on the map, the area dividing unit 1142 performs a calculation for equally dividing the ranking place by the number of indices interfering.
[0083]
When outputting the map data, the cellifying unit 1143 performs a process of dividing the map into cells, calculating a ranking for each index in each cell, and converting the ranking into a predetermined output format.
[0084]
FIG. 12 shows regions of each recognition unit set on the map 1203. In the example shown in the figure,
[0085]
Although each recognition unit has an area on the map, it can be defined by being overlapped in position. In addition, by giving a larger ranking point to the recognition unit overlapping thereover, the ranking is adjusted among a plurality of positionally overlapping recognition units.
[0086]
For example, in the example shown in FIG. 12, the Sanjo-
[0087]
It is also possible to create and edit a recognition unit not included in the original map information by a user operation or the like and add it. In the example shown in FIG. 12, the user operating the map editing device applies a mouse operation as indicated by
[0088]
FIG. 13 shows a state in which the classification of the recognition unit is specified. On the display screen of the map editing device, in response to the user manually inputting the
[0089]
As described above, in the map information according to the present embodiment, a plurality of recognition units can be defined by being overlapped in position. In such a case, the recognition index is hierarchized. FIG. 14 shows a state where the hierarchy of the recognition index is specified. In the example shown in the figure, there is
[0090]
FIG. 15 shows a configuration example of the data format of such map information for editing. In the illustrated example, the map information is described in the xml format. As shown in the figure, each recognition unit is described as tag information according to the index and hierarchy shown in FIG. In each piece of tag information, a classification of recognition (see FIG. 13) assigned to the corresponding recognition unit is described. Further, the tag information includes description of position data on the map for each recognition unit.
[0091]
As described above, in the map information according to the present embodiment, a plurality of recognition units can be defined by being superimposed on the position, and by giving a larger ranking point to the recognition unit that is superimposed on the map, the position of the recognition unit can be overlapped. The ranking is adjusted among a plurality of recognition units. FIG. 16 shows how to adjust the weight of the hierarchical recognition index.
[0092]
As already described with reference to FIG. 14, first, there is
[0093]
Further, Nijo-
[0094]
FIG. 17 shows a configuration example of a map information format used for operation of the subject list providing service.
[0095]
The map is divided into cells for the editing map data shown in FIG. 15, and a ranking value for each index is calculated based on the hierarchy of the recognition index in the cell and standardized. The illustrated format includes a
[0096]
In the
[0097]
The number of recognition units in the cell (i, j) indicated by reference numeral 7123-5 is 5, and the recognition unit support 7123-1 exists. In this, a recognition unit number 7123-3 and a point 7123-2 are defined as a pair. The points are standardized so that they add to one.
[0098]
Next, in the recognition
[0099]
FIG. 18 shows the relationship between the cell-divided map, the camera position, and the lens direction. In the example shown in the figure, the map is divided into six in the vertical direction and eight in the horizontal direction. In practice, some measures such as layering the cell division are performed, but are omitted in this specification for simplification of the description.
[0100]
[0101]
FIG. 19 shows a state in which recognition units existing in a cell are registered. For example,
[0102]
In the present embodiment, a camera position, a lens direction, a focal length, an angle of view, an imaging value such as an aperture value are acquired, and an imaging space including a focus plane and a depth of field based on an instruction value of the imaging state is obtained. It is calculated as an allowable range for the camera to shoot. Then, the photographing space and the map information are collated, a recognition unit such as a building in the photographing space is extracted, and a recognition unit index is listed up according to the point value to create a subject list. For the sake of computational convenience when searching for a recognition unit in the shooting space, an intra-cell recognition unit quick reference table as shown in FIG. 19 is used.
[0103]
FIG. 20 shows a state where a cell including a shooting space is selected. As shown in the figure, first, a shooting state including position information of a camera, a lens direction, a focal length, an angle of view, an aperture value, and the like is acquired, and a
[0104]
Next, a recognition unit included in the selected cell is obtained. FIG. 21 shows a state in which a recognition unit is obtained from a selected cell using the in-cell recognition unit quick reference table shown in FIG. As shown in the figure, three cells, fifth in the horizontal direction and second to fourth in the vertical direction, and two cells, sixth in the horizontal direction and third to fourth in the vertical direction, overlap the shooting space.
[0105]
Next, a ranking point is calculated as an evaluation value for each recognized recognition unit. In the present embodiment, the evaluation value is calculated based on the ratio of the recognition unit as the subject in the imaging space. Further, the ratio is calculated by giving a weight based on the photographing position error and the line-of-sight direction error to the ratio of the subject in the photographing space. That is, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value of the camera position and the error radius, and the area weighted according to the direction measured value and the error width are described in the map information. Using the area of the recognition unit, a ranking point indicating a priority is given to each of the recognition targets.
[0106]
For example, in a situation where the measurement accuracy is not sufficiently high, by acquiring many recognition candidates and presenting them to the user in a form ranked in terms of the accuracy of the information, the list order can be changed or items can be deleted. At the time of editing, the user is less burdened than the labor of adding items by manual input.
[0107]
FIG. 22 shows how to calculate ranking points for recognition units in the shooting space.
[0108]
As described above, the camera-based photographing
[0109]
Here, the certainty when the
[0110]
FIG. 22 shows a
[0111]
Ranking point r for recognition unit ssIs shown below.
[0112]
(Equation 1)
[0113]
However, AijIs the weight of the imaging space of the cell in the i-th row and the j-th column, CiIs the weight of the camera position, DjIs the weight in the lens direction, SksRepresents a weight due to overlap with another recognition unit k. These weights Aij, Ci, Dj, SksAre assumed to have their values normalized.
[0114]
In the present embodiment, information on the event of each recognition unit on the map information is managed on the time axis, and the event as the subject is acquired by comparing the shooting time with the event table. This is used for image management such as image search and album creation. The management of the event is performed by, for example, an
[0115]
FIG. 23 shows a configuration example of a data format for describing an event. An event is defined for each recognition unit. In the example shown in the figure, an
[0116]
As shown on the right side of FIG. 23, the event data is described in, for example, an xml format, and the event is described as tag information together with the date and time of the event for each recognition target. By scanning such a data format using the recognition unit and the shooting time, an event corresponding to the shot image can be extracted.
[0117]
FIG. 24 shows, in the form of a flowchart, a processing procedure for calculating an event and its ranking point.
[0118]
First, a photographing state is extracted from a photographing log added to a photographed image, a photographing space is calculated, and a recognition unit included in the photographing space is extracted (step S21).
[0119]
Then, the area of the recognition unit is used for the area weighted according to the distance from the focus plane of the shooting space, the distance from the central axis, the measured value of the camera position and the error radius, the direction measured value and the error width. To calculate the ranking point value.
[0120]
Next, the event data as shown in FIG. 23 is scanned, and an event to be collated with each of the extracted recognition units and shooting time is extracted (step S22).
[0121]
Then, the point value of each event is set to the point value of the recognition unit (step S23).
[0122]
FIG. 25 illustrates a state in which the recognition unit index has been acquired from the captured image. With reference to FIG. 7, it has already been described that the shooting state is acquired together with the shot image at the time of shooting a photo.
[0123]
FIG. 26 shows a configuration example of a data format describing the recognition unit index.
[0124]
The configuration of the data format for describing the shooting state has already been described with reference to FIG. In the example shown in FIG. 8, the shooting state is described in the xml format, and includes a link to a shot image, a shooting time, a shooting location, and a shooting direction.
[0125]
In FIG. 26, the recognition unit index included in the captured image and its point value are further described, and the shooting time and the event extracted from the recognition unit index and its point value are also described. In the illustrated example, a
[0126]
According to the image management system according to the present embodiment, based on the photographing time, photographing state, error information included in position measurement and direction acquisition at the time of photographing, the subject included in the photographed image is recognized, and Assignment of a ranking point to a subject and provision of a ranking point in an acquisition sequence of events related to the subject are performed. Then, on the user side, a list of subjects is presented in a priority order based on the ranking points, so that it is possible to appropriately manage the photograph based on the additional information.
[0127]
FIG. 27 shows a screen configuration example of the image management user interface based on the ranking points. A photographed image (image) is displayed in an area indicated by
[0128]
[0129]
In an area indicated by
[0130]
The calculation formula for calculating the image points is, for example, as follows. That is, it is expressed as a total sum of products obtained by multiplying the ranking point value of each subject recognized in the image by the priority for the type of recognition.
[0131]
(Equation 2)
[0132]
FIG. 27 The image management user interface is provided with command buttons for applying a specific process to the selected photograph. FIG. 28 shows a configuration example of a command setting screen for setting a command.
[0133]
For example, when the "setting"
[0134]
FIG. 29 shows how the recognition index is changed by the point adjustment.
[0135]
Here, as shown by
[0136]
FIG. 30 shows a processing procedure for changing the recognition unit index in the form of a flowchart.
[0137]
First, the process enters the recognition index list edit mode (step S31). Until the editing mode ends (step S32), the user edits the list (step S33). Here, the list editing includes addition of a recognition index, change of rank, change of name, and the like.
[0138]
Here, if the recognition index has been deleted (step S34), it is deleted (step S37); otherwise, the editing history is stored (step S35).
[0139]
When the editing is completed, the point is corrected (step S36), and the entire processing routine ends.
[0140]
FIG. 31 shows how a recognition unit index is inserted. In the illustrated example, there is an existing recognition unit index at a location indicated by
[0141]
FIG. 32 shows the result of inserting the recognition unit index. Regarding the
[0142]
FIG. 33 shows how the recognition target index is changed by operating the up and down buttons.
[0143]
[0144]
In the illustrated example, the
[0145]
FIG. 34 shows the state of the data changed by the change of the recognition target.
[0146]
In the example of the data format for describing the recognition unit index shown in FIG. 26, a
[0147]
On the other hand, as a result of changing the recognition unit index as shown in FIG. 33, the
[0148]
In the above-described embodiment, in the object recognition, the distance from the focus plane, the distance from the central axis, the measured value of the camera position and the error radius, the photographing space weighted according to the direction measured value and the error width, the map The ranking point value is calculated using the area occupied by the subject as the recognition unit described in the information, that is, the floor area of the building. Actually, the building may be a one-story building, a multi-storey building, or a high-rise building, and the proportion occupied in the photographed image (and not in the photographing space) varies accordingly. It may not be enough to estimate the priority within Therefore, an evaluation method of a subject may be considered in which a ranking point value is obtained in addition to the floor area of the recognition unit as well as the surface area of the building.
[0149]
In FIG. 35, the map information as shown in FIG. 12 is three-dimensionally represented. However, each building as a recognition unit is represented in the form of a minimum cube surrounding the building, that is, a Boundary Box (boundary cube). FIG. 37 shows an image captured by a camera having a camera position and a lens direction indicated by
[0150]
FIG. 36 shows how a hierarchy of the recognition unit index existing on the map shown in FIG. 35 is specified. For example, in response to the user manually inputting the
[0151]
FIG. 38 shows how to create a shooting space when shooting is performed by a camera having a camera position and a lens direction indicated by
[0152]
The camera position information and the lens direction, as well as the shooting state including the focal length, the angle of view, the aperture value, etc., are acquired, and the
[0153]
FIG. 39 shows a photographing
[0154]
As described above, in the present embodiment, the camera state information and the lens direction, and the shooting state including the focal length, the angle of view, the aperture value, and the like are acquired, and the camera position is centered, and the focus plane and the depth of field are obtained. A portion corresponding to the angle of view in the lens direction in a region of a radius range determined based on the calculated value is calculated as a shooting space. Then, the photographing space is compared with the map information, and a recognition unit such as a building in the photographing space is recognized as a subject. Furthermore, when calculating the ranking point value for the recognition unit in the shooting space, the weight of the shooting space, that is, the weight according to the center angle and the distance from the focus plane is weighted, and the camera position is determined by the camera position error. Is weighted in accordance with.
[0155]
The method of calculating the ranking point value for the recognition unit appearing in the subject, that is, the photograph has been schematically described with reference to FIG. 22, but the detailed processing will be described below.
[0156]
FIG. 40 shows a photographing area. Each piece of photograph data includes a photographing position of the
[0157]
As described above, the imaging space is weighted according to the central angle and the distance from the focus plane. FIG. 41 shows a state of the weight inclination in the photographing space. A graph indicated by
[0158]
FIG. 42 shows, in the form of a flowchart, a processing procedure for calculating the ranking point value of the subject. First, a camera position and a lens direction are input (step S41). Next, the position of the subject is input (step S42). Then, as a result of the culling (step S43), if the culling is performed, 0 is returned (step S45), otherwise, the ranking point value is calculated (step S46).
[0159]
FIG. 43 shows, in the form of a flowchart, a detailed procedure of a culling process corresponding to step S43 in the flowchart shown in FIG. First, a camera position and a lens direction are input (step S51). Next, the position of the subject is input (step S52), and a circle having the minimum radius including the object is created as a boundary circle (step S53). Next, when the distance condition described in FIG. 44 is satisfied (step S54), the
[0160]
FIG. 44 shows how the culling distance condition is determined.
[0161]
The culling distance condition is determined according to the following equation. According to this equation, the magnitude of the vector indicated by
[0162]
(Equation 3)
[0163]
FIG. 45 shows how the
[0164]
The following equation is an equation for determining the
[0165]
(Equation 4)
[0166]
FIG. 46 shows how the
[0167]
The following equation shows an equation for determining the
[0168]
(Equation 5)
[0169]
FIG. 47 shows how the subject area is divided into cells. In the figure,
[0170]
FIG. 48 shows, in the form of a flowchart, a processing procedure for calculating a ranking point value for a subject. Here, the integration of the subject area is performed.
[0171]
First, a rectangle covering the subject area is obtained by obtaining vertices having the maximum value and the minimum value along the x-axis and the y-axis (step S61).
[0172]
Next, the object area S and the rank value Sum are initialized to 0 (step S62). The x axis minimum value X obtained in the preceding step S61 is added to the x axis direction variable xminIs substituted (step S63). Further, the y-axis direction variable y is set to the y-axis minimum value Y obtained in the preceding step S61.minIs substituted (step S64).
[0173]
Next, if the center point P of the currently focused mesh cell is within the subject area (step S65), the area S is increased by 1 (step S66), and the point P is viewed from the camera side to the ranking point value Sum. The ranking / point value at the time of occurrence is added (step S67).
[0174]
Next, a step width dy is added to y (step S68). Then, y is the y-axis maximum value YmaxIf smaller (step S69), the process returns to step S65.
[0175]
Next, a step width dx is added to x (step S70), and x is the x-axis maximum value X.maxIf smaller (step S71), the process returns to step S65.
[0176]
Finally, after sum is divided by S and normalized (step S72), this is output (step S73), and the entire processing routine ends.
[0177]
FIG. 49 shows, in the form of a flowchart, a processing procedure for calculating a rank value for a certain point of a subject. Here, the error circle portion of the camera is integrated.
[0178]
First, the subject position O is input (step S81). Then, the rank sum Sum is initialized to 0 (step S82), and the radius variable r is initialized to 0 (step S83).
[0179]
Next, a weight parameter w that decreases as the distance of the camera position increases is calculated (step S84), and the angle variable θ is initialized to 0 (step S85).
[0180]
Next, a point coordinate P within the camera error circle is obtained (step S86), and a ranking point value when the camera is assumed to be at the position P is calculated and added to sum (step S87).
[0181]
Next, the angle increment dθ is added to θ (step S88). If θ does not exceed 2π (step S89), the process moves to step S86.
[0182]
Next, the distance increment dr is added to r (step S90). If r does not exceed the error radius Cr (step S91), the process moves to step S84.
[0183]
Then, the error radius area S is calculated (step S92), sum is normalized by S and output (step S93), and the entire processing routine ends.
[0184]
FIG. 50 shows how the distance condition is determined. In the figure,
[0185]
The following equation shows an equation for determining the distance condition. The condition is that the length of the
[0186]
(Equation 6)
[0187]
FIG. 51 shows how the angle condition is determined. In the figure,
[0188]
The following equation shows an equation for determining the angle condition. The condition is that the
[0189]
(Equation 7)
[0190]
FIG. 52 shows how the front and rear object fields are divided. In the figure,
[0191]
The rank value in the front and rear scenes is calculated by the following equation. As shown in FIG. 52, the calculation formula is different when the subject is in the front-depth-of-field imaging space 4432-1 and when the subject is in the rear-depth-of-field imaging space 4432-2.
[0192]
(Equation 8)
[0193]
B. Recognition of objects composed of moving objects
In the above-described embodiment, the recognition target in the captured image has a static / fixed position on a map such as a building, and is basically obtained by comparing the imaging space with the position of each recognition target on the map. The object is recognized. In this case, it is not possible to perform subject recognition on a moving object such as a person or a car. Therefore, hereinafter, an image management system that manages a photograph by combining a photograph and a subject in a photographic image including a moving object as a subject will be described.
[0194]
FIG. 53 illustrates a mechanism in which the subject recognition processing is performed based on the positional information of the subject such as a person and the shooting space of the shot image in the image management system illustrated in FIG.
[0195]
The photographing
[0196]
The photographing-
[0197]
The
[0198]
The
[0199]
The
[0200]
The
[0201]
The
[0202]
The
[0203]
The
[0204]
The
[0205]
The
[0206]
The
[0207]
The device includes an
[0208]
When taking a photograph on the mobile phone shown in FIG. 54, the photographing
[0209]
Of course, in the case of taking a picture by himself, the subject may also carry his or her own movement log by carrying the device having the device configuration shown in FIG. Alternatively, a person who does not take a picture himself carries a portable device having a position measuring function without a camera function. FIG. 55 shows the external configuration of the movement log recording apparatus in this case, and FIG. 56 shows the internal configuration thereof.
[0210]
As shown in FIG. 55, the movement log recording device includes an
[0211]
When the
[0212]
The
[0213]
The
[0214]
The
[0215]
The
[0216]
The illustrated device includes an
[0217]
FIG. 57 schematically illustrates the internal configuration of a device that operates as the
[0218]
The
[0219]
The terminal position
[0220]
In the present embodiment, by using the subject position information obtained from the people carrying the devices shown in FIG. 53 and FIG. Estimate if there is. In order to perform the subject recognition, it is assumed that each device user permits use of subject position information that is deeply related to privacy. FIG. 58 illustrates a processing procedure for applying for a use permission of positional information to a subject.
[0221]
First, the photographing-
[0222]
When the permission is returned from the
[0223]
FIG. 59 shows a processing procedure in a case where an application for rejecting use of positional information to a subject is made and the application is rejected.
[0224]
The
[0225]
On the other hand, when the rejection is returned from the
[0226]
60, the
[0227]
First, after photographing is performed by the photographing side device 5331 (T1111), a photographing log such as a device ID and a focal length, an angle of view, and an aperture is transmitted to the
[0228]
On the side of the
[0229]
When there is a subject-side device registered in the list (that is, position acquisition permitted) in the shooting range, the
[0230]
Thereafter, the
[0231]
Then, the
[0232]
The photographing-
[0233]
In the present embodiment, the
[0234]
FIG. 61 shows the relationship between the camera position, the lens direction, and the subject on the cell-divided map. In the example shown in the figure, the map is divided into six in the vertical direction and eight in the horizontal direction. In practice, some measures such as layering the cell division are performed, but are omitted in this specification for simplification of the description.
[0235]
[0236]
FIG. 62 illustrates a configuration example of a subject list for which the device has been authenticated. In the example shown in the figure, the
[0237]
FIG. 63 shows a state where the recognition target existing in the cell is registered. For example,
[0238]
In the present embodiment, a camera position, a lens direction, a focal length, an angle of view, an imaging value such as an aperture value are acquired, and an imaging space including a focus plane and a depth of field based on an instruction value of the imaging state is obtained. It is calculated as an allowable range for the camera to shoot. Then, the photographing space of the camera used for photographing is collated with the position information of the subject who has been authenticated, and a subject in the photographing space is extracted as a recognition target, and a subject list is created. For the sake of computational convenience when searching for a recognition target in the shooting space, an intra-cell recognition target quick reference table as shown in FIG. 17 is used.
[0239]
FIG. 64 shows a state where a cell including a shooting space is selected. As shown in the figure, first, a shooting state including position information of a camera, a lens direction, a focal length, an angle of view, an aperture value, and the like is acquired, and a
[0240]
Next, a recognition target included in the selected cell is obtained. FIG. 65 illustrates a state where a recognition target is acquired from the subject list for each device illustrated in FIG. 62. FIG. 66 illustrates a state in which the recognition target is acquired from the selected cell using the in-cell recognition target quick reference table illustrated in FIG. 63.
[0241]
First, as shown in FIG. 65, it is detected from the subject list that the subjects authenticating the
[0242]
Next, as shown in FIG. 66, three cells in the horizontal direction and the second to fourth cells in the vertical direction, and two cells in the horizontal direction and the third and fourth cells in the vertical direction are included in the shooting space. Is selected as a cell overlapping with. Then, the imaging space is collated with the position information sent from each device, and the
[0243]
Next, a ranking point value as an evaluation value for each recognized recognition target is calculated. In the present embodiment, an evaluation value is calculated based on the likelihood that a person (or another moving object) as a subject exists in the imaging space. Further, the calculation is performed by giving a weight based on the imaging position error and the line-of-sight direction error to the likelihood that the subject exists in the imaging space. That is, the likelihood of the subject position is used for a region weighted according to the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measured value and the error width. Then, a ranking point indicating a priority is attached to each of the recognition targets.
[0244]
FIG. 67 shows how a ranking point is calculated for a recognition unit composed of a moving object such as a person existing in the shooting space.
[0245]
The photographing
[0246]
Here, the certainty when the
[0247]
FIG. 67 shows the
[0248]
The recognition target in the photographing
[0249]
Ranking point r for recognition unit ppIs shown below.
[0250]
(Equation 9)
[0251]
However, AijIs the weight of the imaging space of the cell in the i-th row and the j-th column, CiIs the weight of the camera position, DjIs the weight in the lens direction, OksRepresents the certainty of the subject. These weights Aij, Ci, Dj, OksAre assumed to have their values normalized.
[0252]
FIG. 68 illustrates a state in which a recognition target index relating to a person has been acquired from a captured image. A
[0253]
FIG. 69 illustrates a configuration example of a data format that describes a recognition target index including a person as a recognition target. In the example shown in FIG. 26, a
[0254]
According to the image management system according to the present embodiment, recognition of a subject included in a captured image and provision of ranking points in the acquisition sequence of events related to the subject are performed. Then, on the user side, a list of the subjects is presented in a priority order based on the ranking points, and the management of the photograph can be appropriately performed based on the list.
[0255]
Also in the present embodiment in which a moving object such as a person is recognized as a subject, the screen configuration example of the image management user interface is the same as that shown in FIG.
[0256]
FIG. 70 shows how the recognition target index is changed by operating the up and down buttons.
[0257]
[0258]
In the illustrated example, the
[0259]
FIG. 71 shows a state of the data changed by the change of the recognition target.
[0260]
In the example of the data format describing the recognition unit index shown in FIG. 69, a tag field describing the recognition unit for each recognition type is provided, and the
[0261]
In the present embodiment, recognition of a subject in a captured image is performed by collating positional information obtained from the subject with a shooting space obtained from a shooting state such as a camera position. FIG. 72 shows a state in which the positional relationship between the subject and the camera is obtained from the movement log.
[0262]
[0263]
On the other hand, the subject position is extracted from the movement log 3034 of the movement log recording device carried by the subject.
[0264]
The photographing
[0265]
FIG. 73 illustrates, in the form of a flowchart, a subject recognition processing procedure for a captured image including a moving object such as a person as a subject in the present embodiment.
[0266]
First, photographing data is put in a queue (step S101). Then, the photographing data is taken out one by one from this queue (step S102). At this time, if there is no unprocessed data (step S103), the entire processing routine ends.
[0267]
Next, the movement log for one person is extracted from the registered member table (step S104). Here, when there is no unprocessed member (step S105), the process returns to step S102, and the next queue is taken out.
[0268]
Then, the position at the photographing time is acquired from the extracted movement log, and it is checked whether the position is in the photographing space (step S107). Then, when a movement log in the shooting space is found, a ranking point value for the subject is calculated (step S108), and the member ID and the ranking point value are stored (step S109).
[0269]
Thereafter, the process returns to step S14, and the process of recognizing the subject and calculating the ranking point value is repeatedly performed for the next registered member.
[0270]
C. Add map information
In the present invention, a building or the like included in the shooting space is recognized as a subject by collating the shooting space calculated from the shooting state of the subject with the map information, and registered in the photograph recognition target list.
[0271]
Here, the map information is generally universal and is created for everyone. Here, when describing the map information on which the recognition unit is described, if it is set for everybody, the recognition unit necessary only for the individual user or the limited user group is omitted.
[0272]
Therefore, in the present embodiment, map additional information for adding a recognition index is further prepared, and in a user group that has permitted use of the map additional information, a certain user adds a new recognition index to the recognition result. Then, the recognition index is also inserted into the recognition target list of the photos of the other users whose shooting space overlaps. In addition, by additionally registering a new recognition index in the map additional information of the user group, the recognition index is applied to a photograph of an area where the photographing space overlaps.
[0273]
According to the present embodiment, by adding a new index using a photo taken at a certain shooting location, the new index is also added to a photo previously taken at the same shooting location. FIG. 74 illustrates the mechanism of the photographic image management method according to the present embodiment.
[0274]
In the illustrated example, an image is taken toward the
[0275]
Here, it is assumed that the user who has taken the
[0276]
In the present embodiment, the imaging device is, for example, a mobile phone with a camera function, and has an external configuration as shown in FIG. The internal configuration of this photographing apparatus is the same as that shown in FIG.
[0277]
FIG. 75 schematically illustrates the internal configuration of a server that communicates with each imaging device and performs a subject recognition and recognition target list providing service. The server receives information on the shooting state and the shooting time from the device on the shooting side, and further receives information on the subject position and the position measurement time from the device on the subject side, and obtains the shooting position on the predetermined map information. Then, a process of recognizing a building or a person in the photographing space as a subject is performed by collating with the position information of each building or moving object.
[0278]
The server shown in the figure is further provided with a map additional
[0279]
In the present embodiment, by recognizing the photographing space of the photograph taken by the user with the map information, it is possible to recognize what the subject is on the photographed image. Further, when a certain user adds a new recognition index to the recognition result in the same user group, the recognition index is also inserted into a recognition target list of a photograph of another user whose shooting space overlaps. In addition, by additionally registering a new recognition index in the map additional information of the user group, the recognition index is applied to a photograph of an area where the photographing space overlaps.
[0280]
As described above, in order to use an added recognition index not included in general map information for subject recognition within a specific user group, a server that provides a service for providing a subject recognition for a captured image and a recognition target list is provided. It is assumed that registration of map use is performed between users. FIG. 76 illustrates a processing procedure for making a registration application for map use to the server.
[0281]
First, a
[0282]
When the permission to use the map is returned from the
[0283]
FIG. 77 shows a processing procedure when an application is rejected when a user makes an application for permitting use of a map by another user.
[0284]
First, a
[0285]
On the other hand, if a refusal to use the map is returned from the
[0286]
Since the use of the map information has different policies for each user and is related to the privacy of the user, the map addition information including the added recognition index is not shared thereafter for the devices that have refused the map use registration.
[0287]
Also in this embodiment in which map information relating to a new recognition index is shared between users, an example of the screen configuration of the image management user interface is the same as that shown in FIG. Further, similarly to the case described with reference to FIGS. 29 and 70, the recognition target index can be changed by operating the up and down buttons.
[0288]
FIG. 78 illustrates a processing procedure for updating a recognition index for a photograph that has already been taken.
[0289]
First, the photographing
[0290]
The
[0291]
Next, the
[0292]
The
[0293]
If the point value of the added recognition index is larger than 0 (T914), the
[0294]
Note that the device of the registered user who has received the notification in T923 performs the processes of T913 to T915 in the same manner, and performs the process of additionally registering a new recognition index in the recognition target list of already photographed photos.
[0295]
FIG. 79 shows, in the form of a flowchart, a processing procedure for updating the map information by adding a recognition index performed at T922 in FIG. 78.
[0296]
First, based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, an aperture value, and the like at the time of shooting transmitted from the
[0297]
Next, a weight distribution is calculated for the photographing space in accordance with the central angle and the distance from the focus plane (step S112). The reason why weighting is applied to the imaging space is to acquire a large number of recognition candidates according to the accuracy of the information and to present them to the user in a ranked form in a situation where the measurement accuracy is not sufficiently high.
[0298]
Next, when the added recognition target index overlaps with the photographing space, the overlapping amount is calculated (step S113). In the present embodiment, the number is equally divided by the number of overlaps.
[0299]
Then, the recognition target index is additionally registered in the map additional information database 423 (step S114), and the entire processing routine ends.
[0300]
As already described with reference to FIG. 41, the
[0301]
As described with reference to FIG. 42, the imaging space is weighted according to the central angle and the distance from the focus plane. That is, the imaging space has a weight gradient in the camera direction and in the horizontal direction of the focus plane, and the weight is reduced in the vertical direction (
[0302]
FIG. 80 shows a state in which shooting spaces owned by different users (or held by different photographs) intersect. In the example shown in the figure, two photographing regions 1321 and 1322 intersect at a region indicated by reference numeral 1323.
[0303]
In the present embodiment, for convenience of calculation processing such as collation between the imaging space and the recognition target and collation between the imaging spaces, the image is divided into mesh cells and handled in cell units (the same as above).
[0304]
FIG. 81 shows, in the form of a flowchart, a processing procedure for dividing a plurality of imaging spaces in units of cells. Here, a process of adding a shooting space as a recognition unit to data that has already been divided into cells is shown.
[0305]
Processing is performed in each cell. If there is no additional area (step S121), the next cell is processed. If there are no unprocessed cells, the entire processing routine ends.
[0306]
First, one additional area is taken out (step S122). If there is no additional area (step S123), the point value in the cell is normalized to 1 (step S124), written as cell information, and the next cell is processed.
[0307]
If there is additional information (step S123), an index is added to the cell (step S126), and the process returns to step S122.
[0308]
D. Automatic photo album creation
In the preceding section A, according to the present invention, in object recognition of a photographic image, a focus plane and a depth of field are formed based on a shooting state including a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of shooting. It has been described that an imaging space is calculated, this imaging space is collated with predetermined map information, and an object existing in the imaging space on the map can be recognized as a subject.
[0309]
Further, in the preceding section B, by carrying a device for acquiring a movement log even for a subject composed of a moving object such as a person, and obtaining positional information at the time of photographing, it is possible to collate with a photographing space. It has been described that a moving object can be a target of subject recognition as well as a still life such as a building.
[0310]
In the preceding section C, in addition to using an existing recognition target for the map information, the user adds a new recognition target to the map information, and a photograph taken by the same user in the past or a photograph taken by another user is used. However, it has been described that a new object to be recognized can be applied to a photograph taken thereafter.
[0311]
The distance from the focus plane, the distance from the central axis, the measured value and error radius of the camera position, the measured direction weighted according to the measured value and the error width, and the area The ranking point value of each subject is calculated using the accuracy of the recognition index, and a priority order can be assigned to each of the plurality of recognition indexes. The user can efficiently manage the photographic images by referring to the list of the recognition indexes to which the priorities are assigned.
[0312]
In this section, by grouping a plurality of photos to which the subject information with ranking is added according to the type of the subject, and by selecting the photos using the ranking point value, the album can be selected. A method for automatically generating a is described.
[0313]
FIG. 82 shows the procedure of the automatic album generation process in the form of a flowchart.
[0314]
First, a photograph is input (step S131), and subject information is added to these (step S132). Since the processing for adding the subject information has already been described in the preceding sections A to C, the description will be omitted here. In the case of a travel photograph with an itinerary, an itinerary item can be added as a subject item to each photograph based on the time and the itinerary attached to the photograph.
[0315]
Next, the user selects a desired category from recognition types (person, building / place, event, itinerary, etc.), and performs grouping on the specified category (step S133). Then, the order is determined between the groups. (Step S134). The order is determined by comparing the average values of the photographing times registered in the group and arranging them in order from the youngest one, or by summing the ranking values of the subject information of the photos registered in the group. There is a method of comparing values and arranging the values in descending order.
[0316]
Next, the order is determined within the group (step S135). As a method of determining the order, a method of arranging the images in order from the youngest photographing time or a method of comparing the total values of the ranking values of the subject information possessed by individual photographs and arranging the images in order from the one having the largest value And the like.
[0317]
Finally, the albums are created and output by arranging the photos for each group (step S136).
[0318]
FIG. 83 illustrates the information structure described in the photo file. In a JPEG (Joint Picture Experts Group) format or the like, a
[0319]
In the example shown in the figure, a tag structure for describing a category element as shown in FIG. 84 is introduced into the information field existing in the image file, and a person 8312-1, a building / place 8312-2, Categories such as an event 8312-3 and an itinerary 8312-4 are described.
[0320]
FIG. 84 shows information described in the information field in the image file. This information is surrounded by category tags 8400. Also, tags for describing categories of
[0321]
FIG. 85 shows the procedure of the grouping process in the form of a flowchart.
[0322]
First, a photograph having a key that is equal to or larger than a predetermined threshold is obtained (step S141). Next, the appearing keyword name is stored in a list as a group name (step S142). At this time, registration is not performed for a category name that has already been acquired (step S143).
[0323]
Then, photos are sorted for each group registered in the list (step S144). In this embodiment, when there are photographs belonging to a plurality of groups, the magnitudes of the respective keyword rankings are compared and registered in the keyword group having the larger value.
[0324]
FIG. 86 shows an example of the configuration of an album automatically generated by grouping by category “journey”.
[0325]
FIG. 87 shows a configuration example of an album automatically generated by grouping by category “person”. In the field indicated by
[0326]
[Supplement]
The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the scope of the present invention. That is, the present invention has been disclosed by way of example, and the contents described in this specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
[0327]
【The invention's effect】
As described above in detail, according to the present invention, an excellent image management system and an excellent image management method capable of facilitating management of a photograph by combining a photographed photograph and a subject in the photograph, And a computer program.
[0328]
Further, according to the present invention, it is possible to provide an excellent image management system, an excellent image management method, and a computer program which can prioritize a plurality of photographing targets and perform practical object recognition. .
[0329]
Further, according to the present invention, an excellent image capable of appropriately managing, grouping, and other editing processes of a large number of captured images based on subject information or other additional information attached to each captured image, A management system, an image management method, and a computer program can be provided.
[0330]
According to the present invention, in subject recognition, the distance from the focus plane of the shooting space, the distance from the central axis, the measured value and error radius of the camera position, the direction measured value and the error are calculated for a region weighted according to the field. By using the area of the subject as a recognition unit described in the map information, a priority can be assigned to each of the plurality of recognition indexes. As a result, the list order of the recognition index set can be determined and used for photo search and other management / editing of photos. For example, in a situation where the measurement accuracy is not sufficiently high, a large number of recognition candidates are acquired, and presented to the user in a ranked form, so that the user can change the list rank or delete items when editing. Is less burdensome than the effort of adding items by manual input.
[0331]
Further, according to the present invention, for a set of photos to which subject information having a plurality of categories is added, grouping is performed using the ranking of the subject with respect to the recognition result in the category specified by the user. The automatic generation of an album in which photos are arranged for each group can be realized. Further, it can be determined using the evaluation value of the subject recognition, such as the display order in the group unit or the photograph display order in the group. Therefore, an organized album can be automatically generated by performing photo grouping.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a state in which a subject is recognized using a camera position, a lens direction, and map information.
FIG. 2 is a diagram schematically showing a system configuration of an image management system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an external configuration of a device corresponding to the
FIG. 4 is a diagram showing an internal configuration of the photographing
FIG. 5 is a diagram schematically illustrating a configuration of an image management server that communicates with a mobile phone possessed by each user.
FIG. 6 is an operation showing a processing procedure for recognizing a subject included in an image photographed on a mobile phone, assigning a ranking point to each subject, and performing a user editing operation based on the ranking point. It is a sequence diagram.
FIG. 7 is a diagram for explaining information obtained at the time of taking a picture on a mobile phone or other user equipment having a camera function.
FIG. 8 is a diagram showing a configuration example of a data format for recording a photographing state acquired at the time of photographing.
FIG. 9 is a diagram illustrating an example of a method of expressing a camera lens direction acquired from a
FIG. 10 is a flowchart showing a processing procedure for editing map information stored in a server.
11 is a diagram schematically showing a functional configuration of a map information editing device that performs a map information editing process as shown in FIG. 10;
FIG. 12 is a diagram for explaining a method of setting an area of a recognition unit on a map.
FIG. 13 is a diagram illustrating a state of specifying a classification of a recognition unit.
FIG. 14 is a diagram showing a state of specifying a hierarchy of a recognition index.
FIG. 15 is a diagram illustrating a configuration example of a data format of map information for editing.
FIG. 16 is a diagram illustrating a state in which the weighting of a hierarchical recognition index is adjusted.
FIG. 17 is a diagram illustrating a configuration example of a map information format used for operation of a subject list providing service.
FIG. 18 is a diagram showing a relationship between a cell-divided map, a camera position, and a lens direction.
FIG. 19 is a diagram showing a state in which recognition units existing in a cell are registered.
FIG. 20 is a diagram illustrating a state in which a cell including a shooting space is selected.
FIG. 21 is a diagram illustrating a state in which a recognition unit is obtained from a selected cell by using an in-cell recognition unit reference table.
FIG. 22 is a diagram for explaining a processing procedure for calculating a ranking point for a recognition unit in a shooting space.
FIG. 23 is a diagram illustrating a configuration example of a data format for describing an event.
FIG. 24 is a flowchart showing a processing procedure for calculating an event and its ranking point.
FIG. 25 is a diagram illustrating a state in which a recognition unit index is obtained from a captured image.
FIG. 26 is a diagram showing a configuration example of a data format describing a recognition unit index.
FIG. 27 is a diagram illustrating a screen configuration example of an image management user interface based on ranking points.
FIG. 28 is a diagram illustrating a configuration example of a command setting screen.
FIG. 29 is a diagram showing a state where a recognition index is changed by point adjustment.
FIG. 30 is a flowchart showing a processing procedure for changing a recognition unit index.
FIG. 31 is a diagram showing a manner of inserting a recognition unit index.
FIG. 32 is a diagram showing a result of inserting a recognition unit index.
FIG. 33 is a diagram illustrating a state in which a recognition target index is changed by operating an up / down button.
FIG. 34 is a diagram illustrating a state of data changed by a change of a recognition target.
FIG. 35 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 36 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 37 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 38 is a diagram for explaining a method of calculating a ranking point value based on both the floor area and the surface area of the recognition unit in the imaging space.
FIG. 39 is a diagram for explaining a method of calculating a ranking point value based on both a floor area and a surface area of a recognition unit in an imaging space.
FIG. 40 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 41 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 42 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 43 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 44 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 45 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 46 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 47 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 48 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 49 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 50 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 51 is a diagram illustrating a method of calculating a ranking point value for a subject.
FIG. 52 is a diagram for explaining a method of calculating a ranking point value for a subject.
FIG. 53 is a diagram for explaining a mechanism in which subject recognition processing is performed based on position information of a subject such as a person and a shooting space of a shot image.
FIG. 54 is a diagram showing an internal configuration of a photographing
FIG. 55 is a diagram showing an external configuration of a movement log recording device.
FIG. 56 is a diagram showing an internal configuration of a movement log recording device.
FIG. 57 is a diagram schematically showing an internal configuration of a device that operates as a
FIG. 58 is an operation sequence diagram showing a processing procedure for making a use permission application of position information to a subject.
FIG. 59 is an operation sequence diagram showing a processing procedure when an application for rejecting use of positional information for a subject is rejected.
60. A
FIG. 61 is a diagram showing a relationship between a camera position, a lens direction, and a subject on a cell-divided map.
FIG. 62 is a diagram showing a configuration example of a subject list for which the device has been authenticated.
FIG. 63 is a diagram showing a state where a recognition target existing in a cell is registered.
FIG. 64 is a diagram showing a state of selecting a cell including a shooting space.
FIG. 65 is a diagram illustrating a state in which a recognition target is acquired from a subject list for each device illustrated in FIG. 62;
FIG. 66 is a diagram illustrating a state in which a recognition target is acquired from a selected cell using the in-cell recognition target quick reference table illustrated in FIG. 63;
FIG. 67 is a diagram for explaining a method of calculating a ranking point for a recognition unit composed of a moving object such as a person existing in an imaging space.
FIG. 68 is a diagram showing a state in which a recognition target index relating to a person has been acquired from a captured image.
FIG. 69 is a diagram illustrating a configuration example of a data format describing a recognition target index including a person as a recognition target.
FIG. 70 is a diagram showing a state in which the recognition target index is changed by operating the up and down buttons.
FIG. 71 is a diagram showing a state of data changed by changing a recognition target.
FIG. 72 is a diagram illustrating a state in which a positional relationship between a subject and a camera is obtained from a movement log.
FIG. 73 is a flowchart illustrating a procedure of subject recognition for a captured image including a moving object such as a person as a subject;
FIG. 74 is a diagram for explaining a mechanism of a method of managing a photographic image in which a new index is added to a previously shot photo at the same shooting location by adding a new index.
FIG. 75 is a diagram schematically illustrating a configuration of a server that communicates with each imaging device and performs a subject recognition and recognition target list providing service.
FIG. 76 is an operation sequence diagram showing a processing procedure for making a registration application for map use to a server.
FIG. 77 is an operation sequence diagram showing a processing procedure when an application is rejected when a certain user has applied for permission to use a map by another user.
FIG. 78 is an operation sequence diagram showing a processing procedure for updating a recognition index for a photograph that has already been taken.
FIG. 79 is a flowchart showing a processing procedure for updating a map information by adding a recognition index performed at T922 in FIG. 78;
FIG. 80 is a diagram showing a state where shooting spaces owned by different users (or held by different photographs) intersect.
FIG. 81 is a flowchart showing a processing procedure for dividing a plurality of imaging spaces in units of cells.
FIG. 82 is a flowchart showing the procedure of an automatic album generation process.
FIG. 83 is a diagram showing an information structure described in a photo file.
FIG. 84 is a diagram showing information described in an information field in an image file.
FIG. 85 is a flowchart showing a procedure of a grouping process.
FIG. 86 is a diagram showing a configuration example of an album automatically generated by grouping by category “journey”.
Fig. 87 is a diagram illustrating a configuration example of an album automatically generated by grouping by category "person".
[Explanation of symbols]
101 ... Imaging device
102: shooting state acquisition unit
103 ... Subject recognition unit
104: Ranking / point giving unit
105 ... Image storage unit
106 image search / editing unit
Claims (15)
画像撮影時の撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識手段と、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システム。An image management system that manages an image by combining with a subject included in a captured image,
Shooting state obtaining means for obtaining a shooting state at the time of image shooting,
A photographing space estimating means for calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition unit that compares the shooting space calculated by the shooting space estimation unit with predetermined map information and recognizes an object existing in the shooting space on the map as a subject;
Subject evaluation value calculation means for calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management system comprising:
優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
をさらに備えることを特徴とする請求項1に記載の画像管理システム。Subject management means for managing subjects included in each image according to a priority order based on the evaluation value;
Image search means for searching for an image including the subject according to the priority order;
The image management system according to claim 1, further comprising:
前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
ことを特徴とする請求項1に記載の画像管理システム。The photographing state acquiring means acquires a camera position, a lens direction, a focal length, an angle of view, and an aperture value at the time of photographing as a photographing state,
The photographing space estimating means calculates a photographing space including a focus plane and a depth of field based on the instruction values of these photographing states.
The image management system according to claim 1, wherein:
ことを特徴とする請求項1に記載の画像管理システム。The subject evaluation value calculation means calculates an evaluation value based on a ratio of a subject occupying in a shooting space,
The image management system according to claim 1, wherein:
ことを特徴とする請求項4に記載の画像管理システム。The subject evaluation value calculation means calculates an evaluation value by giving a weight based on a shooting position error and a gaze direction error to a ratio of a subject occupying in a shooting space,
The image management system according to claim 4, wherein:
画像の撮影時間と前記イベント表を照合して、被写体としてのイベントを取得するイベント取得手段と、
をさらに備えることを特徴とする請求項2に記載の画像管理システム。An event table storage means for storing an event table prepared for each subject;
Event acquisition means for comparing the shooting time of an image with the event table and acquiring an event as a subject,
The image management system according to claim 2, further comprising:
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位の認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項1に記載の画像管理システム。The map information is configured by arranging recognition units composed of buildings and other objects on a map, and a recognition index is assigned to each recognition unit,
The subject recognizing means returns a list of recognition indices of recognition units recognized as subjects in the shooting space as a recognition result.
The image management system according to claim 1, wherein:
ことを特徴とする請求項7に記載の画像管理システム。In the map information, each recognition unit has an area on a map, and a plurality of recognition units can be defined by being overlapped in position.
The image management system according to claim 7, wherein:
位置的に重なり合った認識単位の間では、上に重なる認識単位により大きな重みを与える、
ことを特徴とする請求項8に記載の画像管理システム。Recognition units are hierarchized,
Between the recognition units that overlap in position, the recognition units that overlap are given greater weight,
The image management system according to claim 8, wherein:
ことを特徴とする請求項8に記載の画像管理システム。If recognition units that overlap in position are assigned to the same level, equalize by dividing the recognition index value of each recognition unit by the number of overlaps,
The image management system according to claim 8, wherein:
前記被写体認識手段は、移動体の位置情報と撮影空間とを照合して被写体認識を行なう、
ことを特徴とする請求項1に記載の画像管理システム。A moving body position information acquisition unit that acquires position information of the moving body,
The subject recognizing means performs subject recognition by comparing positional information of a moving object with a shooting space,
The image management system according to claim 1, wherein:
前記被写体認識手段は、撮影空間内にある追加登録された認識対象を被写体として認識する、
ことを特徴とする請求項1に記載の画像管理システム。The apparatus further comprises a recognition target registration unit for additionally registering the recognition target in the map information by the user,
The subject recognizing means recognizes a additionally registered recognition target in the shooting space as a subject.
The image management system according to claim 1, wherein:
前記被写体認識手段は、前記撮影空間内で被写体として認識された認識単位を認識の種類毎に分類した認識インデックスのリストを認識結果として返す、
ことを特徴とする請求項1に記載の画像管理システム。Recognition units can be classified for each type of recognition.
The subject recognizing unit returns a list of recognition indexes in which recognition units recognized as subjects in the shooting space are classified for each type of recognition as a recognition result.
The image management system according to claim 1, wherein:
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とする画像管理方法。An image management method for managing an image in combination with a subject included in a captured image,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
An image management method, comprising:
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間と所定の地図情報を照合し、該地図上で前記撮影空間内に存在する物体を被写体として認識する被写体認識ステップと、
認識された各被写体の撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラム。A computer program written in a computer-readable format to execute a process for managing an image in combination with a subject included in a captured image on a computer system,
A photographing state acquiring step for acquiring a photographing state at the time of photographing an image,
A photographing space estimation step of calculating a photographing space to be photographed in a photographed image based on the photographing state;
A subject recognition step of comparing the shooting space calculated in the shooting space estimation step with predetermined map information, and recognizing an object existing in the shooting space on the map as a subject;
A subject evaluation value calculation step of calculating an evaluation value according to a situation in a captured image of each recognized subject;
A computer program comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116170A JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116170A JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004328077A true JP2004328077A (en) | 2004-11-18 |
JP2004328077A5 JP2004328077A5 (en) | 2006-06-22 |
JP4281402B2 JP4281402B2 (en) | 2009-06-17 |
Family
ID=33496506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003116170A Expired - Fee Related JP4281402B2 (en) | 2003-04-21 | 2003-04-21 | Image management system, image management method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4281402B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006103744A1 (en) * | 2005-03-29 | 2008-09-04 | 富士通株式会社 | Video search device |
JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
JP2009535878A (en) * | 2006-04-28 | 2009-10-01 | ノキア コーポレイション | calibration |
US20120069233A1 (en) * | 2010-09-17 | 2012-03-22 | Osamu Nonaka | Photographing apparatus and photographing method |
JP2013515317A (en) * | 2009-12-24 | 2013-05-02 | インテル・コーポレーション | Method, system, and computer-readable recording medium for adaptively performing image matching according to circumstances |
JP2013153329A (en) * | 2012-01-25 | 2013-08-08 | Nikon Corp | Electronic apparatus |
JP2014135085A (en) * | 2008-03-07 | 2014-07-24 | Intelligent Spatial Technologies Inc | Mobile device and geographic information system |
JP2015092780A (en) * | 2015-02-12 | 2015-05-14 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
CN113343008A (en) * | 2021-06-29 | 2021-09-03 | 维沃软件技术有限公司 | Image sorting method, image sorting device, electronic device and readable storage medium |
CN115331174A (en) * | 2022-08-19 | 2022-11-11 | 中国安全生产科学研究院 | Enterprise safety production standardization intelligent supervision system and method |
-
2003
- 2003-04-21 JP JP2003116170A patent/JP4281402B2/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006103744A1 (en) * | 2005-03-29 | 2008-09-04 | 富士通株式会社 | Video search device |
JP4601666B2 (en) * | 2005-03-29 | 2010-12-22 | 富士通株式会社 | Video search device |
US8201436B2 (en) | 2006-04-28 | 2012-06-19 | Nokia Corporation | Calibration |
JP2009535878A (en) * | 2006-04-28 | 2009-10-01 | ノキア コーポレイション | calibration |
US8264584B2 (en) | 2007-05-31 | 2012-09-11 | Panasonic Corporation | Image capturing apparatus, additional information providing server, and additional information filtering system |
JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
JP2014135085A (en) * | 2008-03-07 | 2014-07-24 | Intelligent Spatial Technologies Inc | Mobile device and geographic information system |
JP2013515317A (en) * | 2009-12-24 | 2013-05-02 | インテル・コーポレーション | Method, system, and computer-readable recording medium for adaptively performing image matching according to circumstances |
US20120069233A1 (en) * | 2010-09-17 | 2012-03-22 | Osamu Nonaka | Photographing apparatus and photographing method |
US8564710B2 (en) * | 2010-09-17 | 2013-10-22 | Olympus Imaging Corp. | Photographing apparatus and photographing method for displaying information related to a subject |
JP2013153329A (en) * | 2012-01-25 | 2013-08-08 | Nikon Corp | Electronic apparatus |
JP2015092780A (en) * | 2015-02-12 | 2015-05-14 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
CN113343008A (en) * | 2021-06-29 | 2021-09-03 | 维沃软件技术有限公司 | Image sorting method, image sorting device, electronic device and readable storage medium |
CN115331174A (en) * | 2022-08-19 | 2022-11-11 | 中国安全生产科学研究院 | Enterprise safety production standardization intelligent supervision system and method |
Also Published As
Publication number | Publication date |
---|---|
JP4281402B2 (en) | 2009-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7730036B2 (en) | Event-based digital content record organization | |
US8774520B2 (en) | Geo-relevance for images | |
JP5869054B2 (en) | Method and apparatus for incorporating automatic face recognition in a digital image collection | |
JP4902270B2 (en) | How to assemble a collection of digital images | |
JP5006195B2 (en) | Image data management apparatus and image data management method | |
JP2007041964A (en) | Image processor | |
US20120321131A1 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
US9277089B2 (en) | Method to control image processing apparatus, image processing apparatus, and image file | |
US20230244736A1 (en) | Generating Location Based Photo Discovery Suggestions | |
JP4281402B2 (en) | Image management system, image management method, and computer program | |
JP5289211B2 (en) | Image search system, image search program, and server device | |
JP4542013B2 (en) | Print order system, program, program storage medium, and print order server | |
JP5262308B2 (en) | Evaluation apparatus, evaluation method, evaluation program, and evaluation system | |
JP2004326192A (en) | Image management system, image management method, and computer program | |
KR100827845B1 (en) | Apparatus and method for providing person tag | |
JP2004326193A (en) | Image management system, image management method, and computer program | |
Hoashi et al. | Constructing a landmark identification system for geo-tagged photographs based on web data analysis | |
JP5582453B2 (en) | Image management apparatus, image management method, and program | |
JP2018005611A (en) | Information processing equipment | |
JP4958803B2 (en) | Information processing apparatus, control method thereof, and program | |
KR20230108210A (en) | Method and apparatus for providng photo print service based user trends |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060405 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |