JP2008099268A - 物理的な相対位置に基づく写真上のidタギング装置および方法 - Google Patents

物理的な相対位置に基づく写真上のidタギング装置および方法 Download PDF

Info

Publication number
JP2008099268A
JP2008099268A JP2007242530A JP2007242530A JP2008099268A JP 2008099268 A JP2008099268 A JP 2008099268A JP 2007242530 A JP2007242530 A JP 2007242530A JP 2007242530 A JP2007242530 A JP 2007242530A JP 2008099268 A JP2008099268 A JP 2008099268A
Authority
JP
Japan
Prior art keywords
subject
tagging
identification information
relative position
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007242530A
Other languages
English (en)
Inventor
Sung-Jung Cho
誠 貞 趙
Young-Hoon Sung
映 勳 成
Shokei Sai
昌 圭 崔
Kwang-Hyeon Lee
▲ぐぁん▼ ▲ひょん▼ 李
Yeun-Bae Kim
淵 培 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2008099268A publication Critical patent/JP2008099268A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/90Identifying an image sensor based on its output data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3254Orientation, e.g. landscape or portrait; Location or order of the image data, e.g. in memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】物理的な相対位置に基づく写真上のIDタギング装置および方法を提供する。
【解決手段】被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算モジュールと、前記計算された姿勢情報および前記カメラの情報を用いて前記被写体が撮影される角度を計算する撮影角度計算モジュールと、前記計算された撮影角度と前記被写体の所定識別情報とを獲得して、前記被写体間の相対的距離および座標を計算する座標計算モジュールと、前記計算された距離および座標を用いて前記撮影角度内に存在する被写体を識別する有効被写体選定モジュールと、前記識別された被写体に関する識別情報を撮影されたイメージに含めるイメージタギングモジュールとを含む。
【選択図】図1

Description

本発明は、物理的な相対位置に基づく写真上のIDタギング(または保存)装置および方法に関し、より詳しくは、カメラで撮影したイメージに含まれる人物または事物の識別情報を抽出し、これをイメージと共に格納することによって、IDを利用して迅速かつ便利に撮影したイメージを検索できる物理的な相対位置に基づく写真上のIDタギング装置および方法に関するものである。
近年に入り、デジタルカメラに格納された写真を効果的に検索する必要性が増大している。
日常生活で記憶したい瞬間や卒業式、誕生日パーティのような行事を記録として残す人達が増加しながら、多量の写真撮影をする場合が多くなった。
また、日常生活で合う人々の大部分が携帯電話を所持しており、このうち、カメラ付き携帯電話(カメラフォン)が多数占めている。
一方、ブローグ、サイワールドなどのようなミニホームページの人気によって、デジタルカメラとカメラフォンを用いて、多量の写真を撮影し、撮影した写真を互いに共有するトレンドが増加している。
これにより、個人当たり、少なくは数百枚から多くは数千枚の写真が存在し得、このように膨大な写真の中から本人が希望する写真(例えば、特定人物と取った写真)を探すためには、すべてのイメージファイルを1つずつ開いてみたり、写真格納時に後で内容が分かるようにユーザが該当内容を記録して格納しなければならない不便さがあった。
上述した不便さを改善しようと検索を自動化する方法として、映像処理技法を用いて写真を処理し、該当写真に含まれる人物の顔を認識して、所望する人物を自動検索する方法が提示されたが、信頼性のある顔検索結果を得ることができず、特許文献1は、予め指定された電話番号へ撮影されたイメージを伝送するだけで、上述した問題は未だ解決されずにいる。
大韓民国公開特許第2005−064823号公報
本発明は、物理的な相対位置に基づく写真上のIDタギング装置および方法によって、写真撮影時点にカメラで撮影したイメージに含まれる人物または事物の識別情報を自動で抽出し、これをメタデータとしてイメージと共に格納することによって、IDを利用してユーザが迅速かつ便利にイメージを検索できるようにすることにその目的がある。
本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。
前記目的を達成するために、本発明の一態様に係る物理的な相対位置に基づく写真上のIDタギング装置は、被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算モジュールと、前記計算された姿勢情報および前記カメラの情報を用いて前記被写体が撮影される角度を計算する撮影角度計算モジュールと、前記計算された撮影角度と前記被写体の所定識別情報とを獲得して、前記被写体間の相対的距離および座標を計算する座標計算モジュールと、前記計算された距離および座標を用いて前記撮影角度内に存在する被写体を識別する有効被写体選定モジュールと、前記識別された被写体に関する識別情報を撮影されたイメージに含めるイメージタギングモジュールとを含む。
前記目的を達成するために、本発明の他の態様に係る物理的な相対位置に基づく写真上のIDタギング方法は、被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算ステップと、前記計算された姿勢情報および前記カメラの情報を用いて前記被写体が撮影される角度を計算する撮影角度計算ステップと、前記計算された撮影角度と前記被写体の所定識別情報とを獲得して、前記被写体間の相対的距離および座標を計算する座標計算ステップと、前記計算された距離および座標を用いて前記撮影角度内に存在する被写体を識別する有効被写体選定ステップと、前記識別された被写体に関する識別情報を撮影されたイメージに含めるイメージタギングステップとを含む。
本発明の物理的な相対位置に基づく写真上のIDタギング装置および方法によれば、次のような効果が1つあるいはそれ以上ある。
カメラで撮影したイメージに含まれる人物または事物の識別情報を自動で抽出し、これをメタデータとしてイメージと共に格納することによって、ユーザが迅速かつ便利にイメージの検索ができる長所がある。
その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。
以下、本発明の実施形態による物理的な相対位置に基づく写真上のIDタギング装置および方法を説明するためのブロック図または処理フローチャートに対する図面を参考にしながら、本発明について説明することにする。
この時、処理フローチャートの各ブロックとフローチャートの組合せは、コンピュータプログラムインストラクションによって行われ得ることが理解できる。
これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のプロセッサに搭載されるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備のプロセッサによって行われる、そのインストラクションがフローチャートブロックで説明された機能を行う手段を生成するようになる。
これらコンピュータプログラムインストラクションは、特定方式で機能を具現するために、コンピュータまたはその他のプログラム可能なデータプロセシング装備が備えられるコンピュータによって利用可能または読取可能なメモリに格納されることも可能であるため、そのコンピュータによって利用可能または読取可能なメモリに格納されたインストラクションは、フローチャートブロックで説明する機能を行うインストラクション手段を含む製造品目の生産に用いることも可能である。
コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載することも可能であるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成して、コンピュータまたはその他のプログラム可能なデータプロセシング装備の機能を行うインストラクションはフローチャートブロックで説明する各ステップの機能を実行することも可能である。
また、各ブロックは、特定された論理的機能を実行するための1つ以上の実行可能なインストラクションを含むモジュール、セグメント、またはコードの一部を示すことができる。
また、複数の代替実行例ではブロックで言及された機能が順序から外れて行われることも可能であることに注目しなければならない。
例えば、連続して図示されている2つのブロックは、実質的に同時に行われることも可能で、またはそのブロックが時々該当機能により逆順で行われることも可能である。
以下、添付した図面を参照して、本発明の好ましい実施形態を詳細に説明することにする。
図1は、本発明の実施形態に係る物理的な相対位置に基づく写真上のIDタギング装置の構成を示したブロック図である。
物理的な相対位置に基づく写真上のIDタギング装置100は、被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算モジュール101と、計算された姿勢情報およびカメラの情報を用いて被写体が撮影される角度を計算する撮影角度計算モジュール102と、計算された撮影角度と被写体の所定識別情報とを獲得して、被写体間の相対的距離および座標を計算する座標計算モジュール103と、計算された距離および座標を用いて撮影角度内に存在する被写体を選定する有効被写体選定モジュール104と、選定された被写体に関する識別情報を撮影されたイメージに含めるイメージタギングモジュール105と、イメージ検索のためにユーザによって識別情報が入力されるユーザ入力モジュール106と、入力された被写体の識別情報とマッピングされるメタデータを格納して該当識別情報が含まれたイメージを検索するイメージ検索モジュール107と、カメラ移動時に発生する加速度を測定して磁力線を検出するセンサモジュール108とを含む。
この時、本実施形態で用いられる「モジュール」という用語は、ソフトウェアまたはFPGAまたはASICのようなハードウェア構成要素を意味し、モジュールはある役割を行う。ところが、モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、1つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結合したり、追加的な構成要素とモジュールにさらに分離したりすることができる。
参考に、本発明における被写体は、識別情報を含む様々な対象であることができるが、説明の便宜上、人を実施形態で説明するようにする。
撮影者と被撮影者とは皆携帯電話を所持しており、撮影者の携帯電話には姿勢検出のための加速度、地磁気センサが含まれており、撮影者と被撮影者の携帯電話の間には近距離通信が可能であり、互いに相対的な座標計算のための距離計算プロトコルが搭載されていると仮定する。
姿勢計算モジュール101は、被写体を撮影するカメラの空間上の姿勢を計算する。
ここで、カメラの空間上の姿勢は、カメラが3次元空間上で有するロール(roll)、ピッチ(pitch)、ヨー(yaw)角度のうち少なくとも1つ以上の角度を含み、図2にロール、ピッチ、ヨー角度に対する簡単な内容が示されている。
カメラのロール角201は正面を基準にカメラが左右に回転した角度であり、ピッチ角202はカメラのレンズが正面を基準として上下に回転した角度であり、ヨー角203はカメラが真北の方向を基準として東西南北の方向に回転した角度である。
上述した3次元空間上におけるカメラの姿勢は、センサモジュール108に含まれた加速度センサ108−1と地磁気センサ108−2とを用いて知ることができる。
参考に、センサモジュール108は、3軸加速度センサ108−1と地磁気センサ108−2とで構成され、加速度センサ108−1は物体が運動時に発生する加速度の値を測定し、地磁気センサ108−2は地球の北から南へ向かう磁力線を検出する。
センサモジュール108によって、姿勢計算モジュール101は慣性信号によってロール角201とピッチ角202とを計算し、地磁気信号によってヨー角203を計算することができる。
一般的に、カメラ撮影時にはぶれないように写真を撮るために、できるだけ動きを最小化するため、動きによる加速度が非常に小さい。
したがって、センサで検出した加速度には重力による加速度だけが存在する可能性が多いため、加速度センサによる姿勢検出の正確度が高い長所がある。
センサによって検出した3軸加速度の値を各々
とする時、ロール角φとピッチ角θとの計算は次の一般式(1)のようになる。
撮影角度計算モジュール102は、姿勢計算モジュール101で計算された姿勢情報およびカメラの情報を用いて被写体が撮影される角度を計算する。
ここで、カメラの情報は、カメラの焦点距離イメージセンサ領域の大きさを含み、被写体が撮影される角度はカメラの空間上の姿勢とカメラの焦点距離とを用いて計算することができる。
すなわち、撮影角度計算モジュール102は、現在のカメラのイメージセンサに到達して映像内に含まれる外部領域の角度を計算する。
図3は、撮影角度計算モジュール102で用いる水平方向および垂直方向撮影角度に対する図面である。
撮影角度は、
2種類によって定義され、この2方向のすべてのレンズの焦点距離fとイメージセンサの
によって、次の一般式(2)のように決定される。
座標計算モジュール103は、撮影角度計算モジュール102で計算された撮影角度と被写体の所定識別情報とを獲得して、被写体間の相対的距離および座標を計算する。
ここで、被写体の所定識別情報は、RFID、ブルートゥース、およびUWBで用いられる固有番号、移動端末機の電話番号、ネットワーク端末機のIPのうち1つを含む。
一方、一般的に座標を抽出する方法としては、大きく2種類の他の方法が存在する。
第一に、位置を提供する外部装置が存在する場合である。例えば、室内の天井に超音波発信機を一定の間隔や一定の位置に配置して機器の位置を獲得する方法があり、位置に関する情報を格納しているRFIDを読取って位置を獲得する方法がある。
この場合、位置を提供する外部装置は、携帯機器と通信して、各機器の座標を受信することによって、平面上で携帯機器の座標を獲得することができる。
第二に、位置を提供する外部装置が存在しない場合である。
この場合には、携帯機器間の相互距離を計算して統合することによって座標を獲得することができる。
携帯機器間の距離を獲得する方法には、RF信号の距離にともなう減衰を用いる方法、RFと超音波との間の伝達の速度差を用いた方法、携帯電話のCell IDを用いる方法などが存在し、本発明では説明の便宜上最も代表的なRF信号の距離にともなう減衰を用いる方法、RFと超音波との間の伝達の速度差を用いた方法を説明する。
図4A〜4Bは、座標計算モジュール103の距離測定の実施形態を示す図面である。
先ず、RF信号の距離にともなう減衰を用いる方法(図4A)は、RF信号の特性に応じて距離にともなう減衰に対するテーブルを格納し、現在受信されたRF信号の大きさを格納したテーブルと比較して、該当距離を得る方式である。
RFと超音波との間の伝達速度の差を用いる方法(図4B)には、RFが秒速300,000kmの移動速度を有するが、超音波は秒当たり0.33kmの移動速度を有することを用いる。
この方法は、RFと超音波を同時に送信し、受信する側でRFを検出した後に超音波が到達するまでの時間差を用いて距離を推定する方式である。
上述した方法によって各携帯機器間の距離を獲得した後に距離を合わせて、携帯機器の座標を計算する。
一方、距離情報を基盤に座標を計算する方式は、大きく3つの携帯電話間の距離に基づいて座標に変換する過程と、変換された座標を合わせて全体座標を計算する方法とで構成される。
図5は、座標計算モジュール103で携帯電話間の距離によって座標を計算する方法を示す図面である。
前記図1に示す装置に関する詳細説明の部分において、本発明は撮影者と被撮影者とは皆携帯電話を所持しており、撮影者の携帯電話には姿勢検出のための加速度、地磁気センサが含まれており、撮影者と被撮影者の携帯電話の間には近距離通信が可能で、互いに相対的な座標計算のための距離計算プロトコルが搭載されていると仮定したため、各携帯電話間の距離計算が可能である(S501)。
S501後、各携帯電話間の位置を三角形に分割し(S502)、分割された三角形別の座標を計算する(S503)。
計算方法は、先ず2つの携帯電話の座標を水平方向に正規化させ、これを基準として携帯電話の座標を計算する。
2つの携帯電話の座標を水平方向に正規化させれば、基準となる携帯電話の座標は(0,0)になり、他の座標はS501で計算された距離が自身の水平方向座標になる(3つの座標中の2つの座標計算)。
三角形において三辺の長さが分かっている時、三角形の広さを計算できる「ヘロンの公式」を用いて分割された三角形の広さを計算することができ、三角形の広さと各辺の長さが分かれば、三角形をなす角が分かるために残りの他の1つの座標を計算することができる。
S503において水平方向に正規化され、計算された携帯電話の座標を地磁気センサによって測定した真北方向に回転させる(S504)。
S504を介して、真北方向を基準とする物理的な座標を獲得することができ(S505)、3つの携帯電話の間の座標を合わせて全体携帯電話の座標を計算する(S506)。
この他にも、対象の間の物理的な位置抽出のためには、携帯機器間の近距離通信によって相対的な距離を抽出し、この距離を合わせて座標を計算することができる。
今後4G通信環境が到来するようになれば、携帯機器間の近距離通信が可能になるため、このような通信信号の特性を用いて距離計算が可能である。
有効被写体選定モジュール104は、座標計算モジュール103で計算された距離および座標を用いて撮影角度内に存在する有効な被写体を選定する。
カメラの撮影角度内に存在しないが、カメラの周囲に位置して、カメラが被写体の所定識別情報を認識したり、撮影角度内に含まれているが、非常に遠くに離れているため映像には含まれないか、背景として認識されたりする場合がある。
この場合には、写真上のIDに含まれる必要がないため、フィルタリングする過程が必要である。
図6は、本発明の実施形態に係る撮影角度を外れた被写体をフィルタリングする方法を示す図面である。
カメラの撮影角度内に存在する被写体601aと、カメラの撮影角度内に存在しないが、カメラの周囲に位置し、カメラが所定識別情報を認識した被写体601b,601c,601dとの区別は、「不等式の領域」を用いることができる。
座標平面において、不等式を満足する点全体の集合を不等式の領域というが、不等式y>f(x)の領域は曲線y=f(x)の上の部分であり、不等式y<f(x)の領域は曲線y=f(x)の下の部分になる。
この時、曲線y=f(x)に位置しない任意の点Pを上述した不等式に代入し、不等式が満足または不満足となる結果に応じて、任意の点Pの位置が曲線y=f(x)を基準として、どの領域に位置するかを知ることができる。
これを用いて、図6Aに示されたカメラの撮影角をなす仮想の線を
として(この時a1>a2と仮定する)、2つの仮想の線602a,602bによって生成される領域を各々第1領域603a、第2領域603b、第3領域603c、第4領域603dとすれば、各領域603a〜603dは次の条件を満足する。
したがって、カメラの撮影角度から外れた被写体をフィルタリングするためには、カメラが認識した所定識別情報を有する被写体の座標をカメラの撮影角度内に該当する第1領域603aの条件に代入する。
その結果、条件を満足する座標の被写体は、カメラの撮影角度内に存在するもので、条件を満足しない座標の被写体はカメラの撮影角度から外れたものとみなすことができる。
その他の方法として、抽出されたオブジェクトの座標の平均と分散を計算した後、この平均から2シグマ(Sigma)以上の距離にあるオブジェクトは識別情報のIDを記録しないため、撮影角度と距離とを同時に考慮してオブジェクトをフィルタリングできる方法もある。
イメージタギングモジュール105は、有効被写体選定モジュール104で選定された被写体に関する識別情報を撮影されたイメージに含める。
イメージタギングモジュール105では、抽出した携帯電話IDをJPEGなどの標準写真形態(Format)にメタデータ形式で記録する。
図7は、本発明の実施形態に係る被撮影者の識別情報が含まれた写真を示す図面である。
ユーザが撮影した写真に含まれる、すなわち、被写体の撮影角度内に含まれる被撮影者の携帯電話ID701がイメージタギングモジュール105によって該当イメージに含まれている。
参考に、JPEGの場合には、EXIFという拡張フィールドが存在し、ユーザが任意の情報を記録できるように支援する。
ここで、被撮影者の情報を格納して、後で検索に用いることができる。
また、被撮影者情報には、被撮影者のIDだけでなくGPSによる座標も共に記録して、後で特定IDを有する人やオブジェクトがイメージ内にどこに位置するかを示し、ユーザの検索および鑑賞に対する便宜性を向上させることができる。
ユーザ入力モジュール106では、イメージ検索のためにユーザによって識別情報が入力される。
例えば、ユーザが特定人物の含まれた写真を検索する場合、ユーザ入力モジュール106に特定人物の携帯電話番号などの識別情報を入力すれば、後に説明するイメージ検索モジュール107は、ユーザ入力モジュール106に入力された識別情報が含まれたイメージを検索する。
また、ユーザ入力モジュール106は、ユーザが入力することを希望する識別情報を各々のイメージに直接メタデータとして入力することができる。
例えば、新婚旅行で撮影した写真は、新婚旅行という主題を有するようにメタデータで入力すれば、後で主題別に写真を検索することができる。
イメージ検索モジュール107は、ユーザ入力モジュール106で入力された被写体の識別情報が含まれたイメージを検索し、被写体の識別情報とマッピングされたデータを格納モジュールに109格納できる。
イメージ検索モジュール107とユーザ入力モジュール106との被写体を撮影するカメラおよび外部機器のうち少なくとも1つに含まれ、ユーザが識別情報によって所望するイメージを迅速かつ便利に検索することができるようにする。
図8は、本発明の実施形態に係る物理的な相対位置に基づく写真上のIDタギング方法を示すフローチャートである。
センサモジュール108と姿勢計算モジュール101を介して、カメラの空間上の姿勢を計算する(S801)。
S801後、撮影角度計算モジュール102は、カメラの空間上の姿勢情報とカメラの情報を用いて被写体が撮影される角度を計算する(S802)。
座標計算モジュール103は、被写体から所定識別情報を獲得して(S803)、S802で計算された撮影角度とS803で獲得した被写体の所定識別情報によって被写体間の相対的距離および座標を計算する(S804)。
S804後、有効被写体選定モジュール104は、S804で計算された距離および座標を用いて撮影角度内に存在する有効被写体を選定する(S805)
S805後、イメージタギングモジュール105は、選定された被写体に関する識別情報を撮影されたイメージにメタデータとして含める(S806)。
S806後、ユーザ入力モジュール106では、イメージ検索のためにユーザによって識別情報が入力され(S807)、イメージ検索モジュール107は入力された識別情報が含まれたイメージを検索する。
検索されたイメージは、ディスプレイ装置を介してユーザに表示される(S808)。
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。
本発明の実施形態に係る物理的な相対位置に基づく写真上のIDタギング装置の構成を示すブロック図である。 ロール、ピッチ、ヨー角度に対する図である。 撮影角度計算モジュール102で用いる水平方向および垂直方向撮影角度に対する図である。 座標計算モジュール103の距離測定実施形態を示す図である。 座標計算モジュール103の距離測定実施形態を示す図である。 座標計算モジュール103で携帯電話間の距離によって座標を計算する方法を示す図である。 本発明の実施形態に係る被撮影者識別情報が含まれた写真を示す図である。 本発明の実施形態に係る物理的な相対位置に基づく写真上のIDタギング方法を示すフローチャートである。 本発明の実施形態に係る物理的な相対位置に基づく写真上のIDタギング方法を示すフローチャートである
符号の説明
101 姿勢計算モジュール
102 撮影角度計算モジュール
103 座標計算モジュール
104 有効被写体選定モジュール
105 イメージタギングモジュール
106 ユーザ入力モジュール
107 イメージ検索モジュール
108 センサモジュール
109 格納モジュール

Claims (25)

  1. 被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算モジュールと、
    前記計算された姿勢情報および前記カメラの情報を用いて前記被写体が撮影される角度を計算する撮影角度計算モジュールと、
    前記計算された撮影角度と前記被写体の所定識別情報とを獲得して、前記被写体間の相対的距離および座標を計算する座標計算モジュール、および
    前記被写体に関する識別情報を撮影されたイメージに含めるイメージタギングモジュールとを含む物理的な相対位置に基づく写真上のIDタギング装置。
  2. イメージ検索のためにユーザによって前記識別情報が入力されるユーザ入力モジュールをさらに含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  3. 前記入力された被写体の識別情報とマッピングされるメタデータを格納して該当識別情報が含まれたイメージを検索するイメージ検索モジュールをさらに含む請求項2に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  4. 前記イメージ検索モジュールは、被写体を撮影するカメラおよび外部機器のうち少なくとも1つに含まれて、前記識別情報によって所望するイメージを検索する請求項3に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  5. 前記カメラの空間上の姿勢は、ロール、ピッチおよびヨー角のうち少なくとも1つ以上を含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  6. 前記姿勢計算モジュールは、慣性信号によってロール角とピッチ角とを計算し、地磁気信号によってヨー角を計算する請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  7. 前記カメラの情報は、カメラの焦点距離、イメージセンサ領域の大きさを含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  8. 前記被写体の所定識別情報は、RFID、ブルートゥース、およびUWBで用いられる固有番号、移動端末機の電話番号、ネットワーク端末機のIPのうち1つを含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  9. 前記計算された距離および座標を利用して前記撮影角度内に存在する被写体を識別する有効被写体選定モジュールをさらに含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  10. 前記被写体の加速度を測定し、地球の北から南に向かう磁力線を検出するセンサモジュールをさらに含む請求項1に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  11. 前記センサモジュールは加速度および地磁気センサを含む請求項10に記載の物理的な相対位置に基づく写真上のIDタギング装置。
  12. 被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算ステップと、
    前記計算された姿勢情報および前記カメラの情報を用いて前記被写体が撮影される角度を計算する撮影角度計算ステップと、
    前記計算された撮影角度と前記被写体の所定識別情報とを獲得して、前記被写体間の相対的距離および座標を計算する座標計算ステップと、
    前記計算された距離および座標を用いて前記撮影角度内に存在する被写体を識別する有効被写体選定ステップと、
    前記識別された被写体に関する識別情報を撮影されたイメージに含めるイメージタギングステップとを含む物理的な相対位置に基づく写真上のIDタギング方法。
  13. イメージ検索のためにユーザによって前記識別情報が入力されるユーザの入力ステップをさらに含む請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  14. 前記入力された被写体の識別情報とマッピングされるメタデータを格納して該当識別情報が含まれたイメージを検索するイメージ検索ステップをさらに含む請求項13に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  15. 前記イメージ検索ステップは、被写体を撮影するカメラおよび外部機器のうち少なくとも1つに含まれて、前記識別情報によって所望するイメージを検索する請求項14に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  16. 前記カメラの空間上の姿勢は、ロール、ピッチおよびヨー角のうち少なくとも1つ以上を含む請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  17. 前記姿勢計算ステップは、慣性信号によってロール角とピッチ角とを計算し、地磁気信号によってヨー角を計算する請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  18. 前記カメラの情報は、カメラの焦点距離、イメージセンサ領域の大きさを含む請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  19. 前記被写体の所定識別情報は、RFID、ブルートゥース、およびUWBで用いられる固有番号、移動端末機の電話番号、ネットワーク端末機のIPのうち1つを含む請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  20. 前記有効被写体選定ステップは前記撮影角度内に存在する被写体をフィルタリングする請求項12に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  21. 被写体を撮影するカメラの空間上の姿勢を計算する姿勢計算ステップと、
    前記計算された姿勢情報および前記カメラ情報を利用して前記被写体が撮影された角度を計算する角度計算ステップと、
    前記計算された撮影角度と前記被写体の所定識別情報を獲得し、前記被写体間の相対的距離および座標を計算する座標計算ステップと、
    前記計算された座標計算ステップを利用して前記被写体の識別情報を生成するステップ、および
    前記生成された情報と撮影されたイメージを格納するステップを含む
    物理的な相対位置に基づく写真上のIDタギング方法。
  22. 前記計算された被写体間の相対的距離および座標を使用して撮影角度内の被写体を識別するステップをさらに含む請求項21に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  23. 前記識別情報を利用して撮影されたイメージを検索する請求項21に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  24. 前記識別情報を利用して撮影されたイメージを複製する請求項21に記載の物理的な相対位置に基づく写真上のIDタギング方法。
  25. 被写体の所定識別情報を獲得するステップ、および
    前記獲得された所定識別情報を前記被写体の写真と共に格納するステップを含む物理的な相対位置に基づく写真上のIDタギング方法。
JP2007242530A 2006-09-19 2007-09-19 物理的な相対位置に基づく写真上のidタギング装置および方法 Pending JP2008099268A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060090890A KR20080026003A (ko) 2006-09-19 2006-09-19 물리적인 상대 위치에 기반한 사진상의 ⅰd 태깅 장치 및방법

Publications (1)

Publication Number Publication Date
JP2008099268A true JP2008099268A (ja) 2008-04-24

Family

ID=38904592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007242530A Pending JP2008099268A (ja) 2006-09-19 2007-09-19 物理的な相対位置に基づく写真上のidタギング装置および方法

Country Status (5)

Country Link
US (1) US20080069449A1 (ja)
EP (1) EP1903769A1 (ja)
JP (1) JP2008099268A (ja)
KR (1) KR20080026003A (ja)
CN (1) CN101150649A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013045302A (ja) * 2011-08-24 2013-03-04 Dainippon Printing Co Ltd 通信端末装置、サーバ装置及びプログラム
US10911666B2 (en) 2018-09-12 2021-02-02 Kabushiki Kaisha Toshiba Imaging device, imaging system, and imaging method

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945653B2 (en) * 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US8428341B2 (en) 2008-12-08 2013-04-23 Electronics And Telecommunications Research Institute Apparatus for calculating 3D spatial coordinates of digital images and method thereof
KR101532294B1 (ko) * 2008-12-18 2015-07-01 삼성전자주식회사 자동 태깅 장치 및 방법
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8321395B2 (en) 2009-08-26 2012-11-27 Apple Inc. Associating digital images with waypoints
US8433707B2 (en) 2009-08-26 2013-04-30 Apple Inc. Reverse geo-coding for track path
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
JP5378181B2 (ja) * 2009-12-07 2013-12-25 株式会社日立製作所 システム、システム構築方法、管理端末、プログラム
US20110196888A1 (en) * 2010-02-10 2011-08-11 Apple Inc. Correlating Digital Media with Complementary Content
KR101719982B1 (ko) * 2010-07-19 2017-03-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9336240B2 (en) 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
US8768975B2 (en) 2011-08-25 2014-07-01 International Business Machines Corporation Presenting intelligent tagging suggestions for a photograph
CN102611849A (zh) * 2012-03-20 2012-07-25 深圳市金立通信设备有限公司 一种手机拍照防抖***及方法
KR101476800B1 (ko) * 2013-03-12 2014-12-26 한국과학기술연구원 파노라마 영상 기반 오브젝트 관리 장치 및 그 방법
US20140301645A1 (en) * 2013-04-03 2014-10-09 Nokia Corporation Method and apparatus for mapping a point of interest based on user-captured images
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
KR20150133597A (ko) * 2014-05-20 2015-11-30 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR102386893B1 (ko) 2014-11-13 2022-04-15 삼성전자 주식회사 이미지 데이터의 보안 방법 및 이를 지원하는 전자 장치
CN105007300A (zh) * 2015-06-02 2015-10-28 武汉诺诗网络科技有限公司 一种基于地域性的集体相册共享装置及方法
TWI581631B (zh) * 2015-11-12 2017-05-01 群邁通訊股份有限公司 拍照輔助方法及電子裝置
CN106060398A (zh) * 2016-06-30 2016-10-26 维沃移动通信有限公司 一种自动调整摄像头的方法及移动终端
US10750083B2 (en) 2018-04-06 2020-08-18 Motorola Solutions, Inc. Systems and methods for processing digital image data representing multiple views of an object of interest
KR102112721B1 (ko) * 2019-12-17 2020-05-19 주식회사 가치소프트 이동 대상체의 영상 처리 시스템 및 방법
CN111536947B (zh) * 2020-04-30 2022-05-24 南昌伦宇科技有限公司 一种自动检测倾斜摄影丢片及快速补拍的方法及***
KR20220137314A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 Uwb 통신에 기반한 컨텐츠 운용 방법 및 장치
KR102402949B1 (ko) 2021-07-28 2022-05-30 주식회사 네스앤텍 정밀도가 향상된 영상 정보의 획득 방법
CN115272446B (zh) * 2022-09-27 2023-01-24 南京掌控网络科技有限公司 一种堆头占地面积计算的方法和***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987136A (en) * 1997-08-04 1999-11-16 Trimble Navigation Ltd. Image authentication patterning
JP4076057B2 (ja) * 2001-09-26 2008-04-16 富士フイルム株式会社 画像データ送信方法、デジタルカメラおよびプログラム
US6959109B2 (en) * 2002-06-20 2005-10-25 Identix Incorporated System and method for pose-angle estimation
US20040109059A1 (en) * 2002-11-12 2004-06-10 Kevin Kawakita Hybrid joint photographer's experts group (JPEG) /moving picture experts group (MPEG) specialized security video camera
JP2004260304A (ja) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd 画像管理システム
JP4765280B2 (ja) * 2004-08-18 2011-09-07 富士ゼロックス株式会社 撮像装置、被写体id付加方法及びプログラム
US7716157B1 (en) * 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013045302A (ja) * 2011-08-24 2013-03-04 Dainippon Printing Co Ltd 通信端末装置、サーバ装置及びプログラム
US10911666B2 (en) 2018-09-12 2021-02-02 Kabushiki Kaisha Toshiba Imaging device, imaging system, and imaging method

Also Published As

Publication number Publication date
EP1903769A1 (en) 2008-03-26
US20080069449A1 (en) 2008-03-20
KR20080026003A (ko) 2008-03-24
CN101150649A (zh) 2008-03-26

Similar Documents

Publication Publication Date Title
JP2008099268A (ja) 物理的な相対位置に基づく写真上のidタギング装置および方法
KR101972374B1 (ko) 컨텐츠 공유 시스템에서 관심점을 식별하기 위한 장치 및 방법
JP5229791B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
US20090278949A1 (en) Camera system and method for providing information on subjects displayed in a camera viewfinder
JP2016521892A (ja) データベース作成のための対話型および自動的3dオブジェクト走査方法
KR20090019184A (ko) 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체.
CN108702445A (zh) 一种图像显示方法及电子设备
JP2007129407A (ja) カメラシステム、地図情報表示システム
JP2008154027A (ja) 撮影装置、撮影方法、およびプログラム
JP6323548B2 (ja) 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
JP2010129032A (ja) 画像検索装置および画像検索プログラム
JP2018207496A (ja) 撮像装置、画像再生方法及びプログラム
JP6115113B2 (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
JP2017005395A (ja) 撮像装置、撮像制御方法及びプログラム
JP2013149034A (ja) 画像表示装置、画像表示方法及びプログラム
CN106231198A (zh) 拍摄图像的方法及装置
JP2007020054A (ja) 画像管理方法及び装置
CN103269419B (zh) 视频记录***
JP2017184021A (ja) コンテンツ提供装置及びコンテンツ提供プログラム
JP2009177611A (ja) デジタルカメラ
CN110913126B (zh) 一种拍摄范围计算的方法、装置及相关设备
JP2006178804A (ja) 被写体オブジェクト情報提供方法および被写体オブジェクト情報提供サーバ
JP6070559B2 (ja) 画像表示装置及び方法、並びにプログラム
WO2024001849A1 (zh) 视觉定位的位姿确定方法、装置以及电子设备