JP7192764B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7192764B2
JP7192764B2 JP2019501060A JP2019501060A JP7192764B2 JP 7192764 B2 JP7192764 B2 JP 7192764B2 JP 2019501060 A JP2019501060 A JP 2019501060A JP 2019501060 A JP2019501060 A JP 2019501060A JP 7192764 B2 JP7192764 B2 JP 7192764B2
Authority
JP
Japan
Prior art keywords
information
target
image
terminal device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501060A
Other languages
English (en)
Other versions
JPWO2018154902A1 (ja
Inventor
能宏 脇田
厚 岡森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018154902A1 publication Critical patent/JPWO2018154902A1/ja
Application granted granted Critical
Publication of JP7192764B2 publication Critical patent/JP7192764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
デジタルスチルカメラやデジタルビデオカメラ(以下、これらを総じて「デジタルカメラ」とも称する)等の撮像装置が広く普及してきている。また、当該撮像装置としては、個々人が所有するものに限らず、例えば、所謂監視カメラや環境カメラ等のような所定の位置に定常的に設置されるものもあり、街中等の公的なスペースに設置されるものも多数存在する。
また、近年では、撮像装置の用途も多様化してきており、例えば、画像解析技術や各種認識技術の発展に伴い、単に画像を撮像するのみに限らず、撮像された画像に基づき、人や物などのような所定の対象を認識する各種認識システムへの応用も検討されている。
また、近年では、通信技術の発展に伴い、所謂通信機器のみに限らず、世の中に存在する様々な装置を、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)等のようなネットワークに接続させることが可能となってきている。そのため、ネットワークに接続された各種装置を互いに連携させることで、各種サービスの提供を可能とするシステムも多数検討されている。例えば、特許文献1には、ネットワークを介して接続された監視カメラ等の撮像装置を利用した監視システムの一例が開示されている。
特開2009-49518号公報
ところで、デジタルカメラ等の撮像装置の普及に伴い、ある特定の対象(被写体)が、互いに異なる位置に設置された複数の撮像装置により撮像されるような状況が近年増加している。このような背景から、多様な場所に設置された複数の撮像装置それぞれにより撮像された画像から、所望の対象が撮像された画像を特定することにより、当該特定結果を各種サービスの提供に利用可能とするための仕組みの実現が求められている。
そこで、本開示では、複数の撮像装置により撮像された画像を利用することで、当該画像に撮像された所定の対象に関する情報をより好適な態様で利用可能とする、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得する取得部と、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定する特定部と、前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示する制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータが、所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得することと、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得することと、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、複数の撮像装置により撮像された画像を利用することで、当該画像に撮像された所定の対象に関する情報をより好適な態様で利用可能とする、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例を示した図である。 本開示の第1の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システムの一態様について概要を説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 本開示の第2の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 各撮像装置からの発信信号の受信結果に応じて提示される所定の対象の位置に関する情報の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 本開示の第3の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理システムの一実施例について説明するための説明図である。 同実施形態に係る情報処理システムの他の実施例について説明するための説明図である。 同実施形態に係る情報処理システムの他の実施例について説明するための説明図である。 本開示の第4の実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理システムの一実施例について説明するための説明図である。 同実施形態に係る情報処理システムの一実施例について説明するための説明図である。 応用例1に係る情報処理システムの概要について説明するための説明図である。 応用例2に係る情報処理システムの概要について説明するための説明図である。 応用例4に係る情報処理システムのシステム構成の一例について説明するための説明図である。 本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概略構成
2.第1の実施形態
2.1.概要
2.2.機能構成
2.3.処理
2.4.評価
3.第2の実施形態
3.1.概要
3.2.機能構成
3.3.処理
3.4.評価
4.第3の実施形態
4.1.概要
4.2.処理
4.3.実施例
4.4.評価
5.第4の実施形態
5.1.概要
5.2.機能構成
5.3.処理
5.4.実施例
5.5.評価
6.その他の応用例
6.1.応用例1:ネットワークサービスとの連携
6.2.応用例2:音声データの記録結果の抽出
6.3.応用例3:ユーザの動線の特定
6.4.応用例4:システム構成の一例
7.ハードウェア構成
8.むすび
<<1.概略構成>>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明する。図1は、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例を示した図である。
図1に示すように、本実施形態に情報処理システム1は、マッチングサーバ100と、複数の撮像装置200と、端末装置300と、画像収集サーバ400とを含む。マッチングサーバ100と、複数の撮像装置200と、端末装置300と、画像収集サーバ400とは、所定のネットワークN11を介して互いに情報を送受信可能に接続されている。
なお、情報処理システム1が複数の撮像装置200を含めば、当該撮像装置200の数は特に限定されない。例えば、図1に示す例では、情報処理システム1は、複数の撮像装置200として、撮像装置200a~200cを含んでいる。
また、ネットワークN11の種別は特に限定されない。具体的な一例として、ネットワークN11は、Wi-Fi(登録商標)規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、ネットワークN11は、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)等により構成されていてもよい。また、ネットワークN11は、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
また、情報処理システム1は、1以上の出力装置500を含んでもよい。例えば、図1に示す例では、情報処理システム1は、1以上の出力装置500として、出力装置500a及び500bを含んでいる。なお、端末装置300が、出力装置500の役割を兼ねてもよい。
撮像装置200は、静止画像や動画像等の画像を撮像可能に構成されている。本実施形態に係る情報処理システム1では、複数の撮像装置200のうち少なくとも一部の撮像装置200が、例えば、所謂環境カメラ等のように、所定の位置に定常的に設置され所定の領域の画像を撮像する撮像装置として構成されていてもよい。また、本実施形態に係る情報処理システム1では、複数の撮像装置200のうち少なくとも一部の撮像装置200が、個人が所有するデジタルスチルカメラやデジタルビデオカメラとして構成されていてもよい。なお、以降の説明においては、撮像装置200により画像として撮像される現実世界の空間上の領域を「撮像領域」とも称する。なお、以降の説明では、現実世界の空間を「実空間」とも称する。
また、撮像装置200は、有線または無線の通信経路(例えば、ネットワークN11の少なくとも一部)を介して他の装置と通信可能に構成されている。以上のような構成に基づき、撮像装置200は、撮像した画像を、ネットワークN11を介して画像収集サーバ400に送信する。これにより、例えば、複数の撮像装置200a~200cそれぞれにより撮像された画像が、画像収集サーバ400に逐次送信され、当該画像収集サーバ400の記憶領域に記憶される。
画像収集サーバ400は、ネットワークN11を介して接続された複数の撮像装置200のそれぞれから、当該撮像装置200により撮像された画像を取得する。画像収集サーバ400は、各種データを一時的または恒久的に記憶する記憶領域を備え、各撮像装置200から取得した画像を当該記憶領域に記憶させる。また、画像収集サーバ400は、マッチングサーバ100からの指示に基づき、記憶領域に記憶された各画像のうち少なくとも一部の画像を、ネットワークN11を介して当該マッチングサーバ100に送信する。
端末装置300は、所謂スマートフォンやタブレット端末等のように、携行可能に構成された情報処理装置であり、無線の通信経路(例えば、ネットワークN11の少なくとも一部)を介して他の装置と通信可能に構成されている。また、端末装置300は、所謂ウェアラブル端末のように、ユーザの身体の部位(例えば、腕等)に装着可能に構成されていてもよい。なお、本開示では、端末装置300を「保持する」と記載した場合には、ユーザが、当該端末装置300を一部の部位に装着する場合、当該端末装置300を携行する場合、及び当該端末装置300を把持する場合等を含み得るものとする。
本実施形態に係る情報処理システム1では、上記端末装置300を保持するユーザを対象として、後述するマッチングサーバ100が、複数の撮像装置200それぞれにより撮像された画像の中から、被写体として撮像された当該対象を特定する。
具体的には、端末装置300は、マッチングサーバ100が当該端末装置300を特定するために利用する、所定の特徴量を示す情報を発信する。なお、当該特徴量を示す情報の一例については別途後述する。また、端末装置300は、GNSS(Global Navigation Satellite System)等により当該端末装置300(ひいては、当該端末装置300を保持するユーザ)の位置情報を取得し、取得した当該位置情報をマッチングサーバ100に通知してもよい。また、端末装置300は、計時部を備えてもよく、取得した位置情報をマッチングサーバ100に通知する際に、当該位置情報に対して計時部により取得された時間情報を関連付けてもよい。このような構成に基づき、例えば、端末装置300は、GNSS等により取得した位置情報に対して、当該位置情報が取得された時間情報を関連付けてもよい。これにより、マッチングサーバ100は、例えば、端末装置300の時間ごとの位置(即ち、「いつ」、「どこに」位置していたか)を認識することが可能となる。
マッチングサーバ100は、端末装置300から発信される所定の特徴量を示す情報に基づき、画像収集サーバ400に蓄積された画像(即ち、複数の撮像装置200それぞれにより撮像された画像)の中から、被写体として撮像された当該端末装置300を保持する対象の特定を試みる。
具体的な一例として、端末装置300は、加速度センサや角速度センサ等のような当該端末装置300を保持するユーザの身体の動きを検出する検出部を備え、当該身体の動きの検出結果に応じた情報を、特徴量を示す情報としてマッチングサーバ100に送信してもよい。この場合には、マッチングサーバ100は、各画像に対して画像解析を施すことで、当該画像中に撮像された被写体の中から、少なくとも一部の動きが、端末装置300から送信される情報が示すユーザの身体の動きと略一致する被写体を、当該端末装置300を保持する対象として特定する。
また、他の一例として、端末装置300は、発光部を所定の発光パターンで発光させることにより、当該発光パターンに応じた光信号を、特徴量を示す情報として外部に発信してもよい。この場合には、マッチングサーバ100は、各画像に対して画像解析を施すことで、当該画像中から、所定の発光パターンで発光する発光体を特定する。なお、この場合には、所定の発光パターンで発光する発光体が、端末装置300の発光部に相当し得るため、画像中からの当該発光体の特定結果に基づき、当該端末装置300を保持する対象を特定することが可能となる。また、上記光信号を画像中から特定することが可能であれば、当該光信号の種別は特に限定されない。具体的な一例として、上記光信号は、可視光波長帯域の光信号であってもよいし、赤外線信号であってもよい。
また、マッチングサーバ100は、端末装置300を保持する対象の位置を認識することで、画像収集サーバ400に蓄積された画像の中から、当該対象が被写体として撮像されている可能性のある画像を抽出(限定)してもよい。具体的な一例として、マッチングサーバ100は、端末装置300から通知される位置情報に基づき、当該端末装置300を保持する対象を画角内に収めている可能性のある撮像装置200を特定することで、当該撮像装置200により撮像された画像を抽出してもよい。なお、この場合において、各撮像装置200の設置位置や画角を認識することが可能であれば、その方法は特に限定されない。具体的な一例として、マッチングサーバ100は、各撮像装置200の設置位置や画角等のような当該撮像装置200に関する情報をあらかじめ保持していてもよい。また、他の一例として、各撮像装置200に関する情報を所定のサーバ等がデータベース等により管理していてもよい。この場合には、マッチングサーバ100は、端末装置300から通知される位置情報を検索条件として、当該サーバから該当する撮像装置200に関する情報を取得すればよい。これにより、マッチングサーバ100は、画像中からの所定の対象の特定に係る処理の対象となる画像を、画像収集サーバ400に蓄積された画像のうち、当該撮像装置200により撮像された画像に限定することが可能となる。
また、マッチングサーバ100は、端末装置300を保持する対象の位置を時間ごとに認識ことで、当該対象が被写体として撮像されている可能性のある画像を、画像収集サーバ400に蓄積された画像の中からさらに絞り込んでもよい。具体的な一例として、マッチングサーバ100は、端末装置300から通知される位置情報に関連付けられた時間情報に基づき、当該位置情報に応じた撮像装置200の画角内に対象が収められている可能性のある時間帯を特定してもよい。この場合には、マッチングサーバ100は、画像収集サーバ400に蓄積された画像の中から、当該撮像装置200により当該時間帯に撮像された画像を抽出すればよい。これにより、マッチングサーバ100は、画像中からの所定の対象の特定に係る処理の対象となる画像を、画像収集サーバ400に蓄積された画像のうち、当該撮像装置200により当該時間帯に撮像された画像に限定することが可能となる。
以上のようにして、マッチングサーバ100は、画像収集サーバ400に蓄積された画像のうち少なくとも一部の画像から、当該画像に被写体として撮像された端末装置300を保持する対象を特定する。そして、マッチングサーバ100は、当該対象の特定結果を利用することで、当該対象に関する情報を所定の出力先に提示する。
具体的な一例として、所定の対象の特定結果に応じて、画像収集サーバ400に蓄積された画像の中から、当該対象が撮像された画像が抽出されることとなる。そのため、例えば、マッチングサーバ100は、抽出された当該画像(即ち、所定の対象が撮像された画像)を、所定の対象に関する情報として、ネットワークN11を介して所定の出力装置500に送信してもよい。また、マッチングサーバ100は、抽出された当該画像を、所定の対象に関する情報として、ディスプレイ等の所定の出力装置に出力させてもよい。また、抽出された画像の送信や出力を直接実行する主体は、画像収集サーバ400であってもよい。この場合には、マッチングサーバ100は、抽出された画像の送信や出力を画像収集サーバ400に指示してもよい。
なお、マッチングサーバ100が、上記対象の特定結果を利用することで、当該対象に関する情報の提示に係る処理の態様については、具体例とあわせて詳細を別途後述する。
また、以降の説明において、情報を「提示する」と記載した場合には、上述の通り、所定の出力装置に当該情報を出力させることや、所定の送信先に当該情報を送信することを含み得るものとする。なお、情報を送信する場合においては、当該情報の送信先は、サーバ等のような情報処理装置のみに限らず、例えば、ソーシャルメディア等のようなネットワークサービスも情報の送信先(即ち、情報の提示先)に含まれ得るものとする。
出力装置500は、ユーザに対して各種情報を提示するための装置に相当し、例えば、スマートフォン、タブレット端末、PC(Personal Computer)等により構成され得る。なお、前述の通り、端末措置300が出力装置500を兼ねてもよい。この場合には、当該端末装置300に対して、ディスプレイ等のような情報を出力するための出力部を設ければよい。
なお、上述した本実施形態に係る情報処理システム1のシステム構成はあくまで一例であり、図1を参照して上述した例には限定されない。具体的な一例として、マッチングサーバ100と画像収集サーバ400とが一体的に構成されていてもよい。また、マッチングサーバ100の一部の構成が、他の装置に設けられていてもよい。具体的な一例として、解析処理部103に相当する構成が、画像収集サーバ400側に設けられていてもよい。また、マッチングサーバ100や画像収集サーバ400が、互いに連携して動作する複数の装置により構成されていてもよい。
以上、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明した。なお、以降では、本開示に係る情報処理システムの構成や処理のより具体的な一例について、実施形態を分けてそれぞれ説明する。
<<2.第1の実施形態>>
<2.1.概要>
まず、本開示の第1の実施形態について説明する。例えば、図2は、本実施形態に係る情報処理システム1の概要について説明するための説明図である。本実施形態では、所謂環境カメラ等のような所定の位置に定常的に設置された撮像装置により無作為に撮像された画像の中から、所定の対象が撮像された画像を特定して提供するサービスを実現するための仕組みの一例について説明する。
例えば、図2は、スポーツイベントの状況が、各所に設置された撮像装置200a~200c(例えば、環境カメラ)により撮像されている場合の一例を示している。この場合には、撮像装置200a~200cのそれぞれは、所定の領域の画像(例えば、動画像)を時系列に沿って無作為に逐次撮像し、撮像した当該画像を所定の記憶領域(例えば、画像収集サーバ400)に記録する。このような構成により、例えば、端末装置300を保持するユーザUaが、撮像装置200a~200cそれぞれの画角内(即ち、撮像領域)に進入すると、そのタイミングで撮像された画像には、当該ユーザUaが被写体として映り込むこととなる。
そこで、本実施形態に係る情報処理システム1は、撮像装置200a~200cそれぞれにより撮像された画像の中から、当該端末装置300を保持するユーザUaが映りこんだ画像を特定し、特定した当該画像を所定の出力先に提示する。また、このとき情報処理システム1は、特定した画像から、ユーザUaが映りこんでいる領域を部分画像として切り出し、当該部分画像を提供してもよい。
以上のような構成により、各所に設置された撮像装置200(例えば、環境カメラ等)により逐次撮像された画像の中から、特定の対象が撮像された画像を切り出し、切り出した当該画像をライブ画像として提供することも可能となる。
以上、図2を参照して本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムの構成や処理の一例についてより詳しく説明する。
<2.2.機能構成>
続いて、図3を参照して、本実施形態に係る情報処理システム1の機能構成の一例に説明する。図3は、本実施形態に係る情報処理システム1の機能構成の一例を示したブロック図である。
図3に示すように、本実施形態に係る情報処理システム1は、マッチングサーバ100と、複数の撮像装置200(例えば、撮像装置200a~200c)と、端末装置300と、画像収集サーバ400と、出力装置500とを含む。なお、マッチングサーバ100と、複数の撮像装置200a~200cと、端末装置300と、画像収集サーバ400と、出力装置500とは、図1における、マッチングサーバ100と、複数の撮像装置200a~200cと、端末装置300と、画像収集サーバ400と、出力装置500aまたは500bと、のそれぞれに対応している。また、図3に示す例では、情報処理システム1の機能構成をわかりやすくするために、各装置間で情報を送受信するための通信部に相当する構成の図示を省略している。そのため、例えば、異なる装置間で各種情報が送受信される場合には、特に説明が無い限りは、当該通信部に相当する構成を介して情報の送受信が行われるものとする。
まず、端末装置300の構成について説明する。図3に示すように、端末装置300は、特徴情報発信部301と、位置情報取得部303とを含む。
特徴情報発信部301は、所定の特徴量を示す情報を外部に発信する。なお、前述したように、当該特徴量に関する情報は、マッチングサーバ100により、撮像装置200a~200cそれぞれにより撮像された画像から、端末装置300を保持する所定の対象(例えば、図2に示すユーザUa)を特定するために利用される。また、上記特徴量を示す情報としては、撮像装置200により撮像される画像中に映像として直接的または間接的に顕在化する情報であることが望ましい。
具体的な一例として、特徴情報発信部301は、前述したように、加速度センサや角速度センサ等の検知部(図示を省略する)により検知された端末装置300の動き(ひいては、当該端末装置300を保持する対象の動き)の検出結果を、上記特徴量を示す情報としてマッチングサーバ100に送信してもよい。一般的には、行進やマスゲーム等のように複数の対象が同じ動作を行うような特殊な状況を除けば、個々人の動作は異なっている。そのため、例えば、撮像装置200により撮像された画像中の被写体の中から、少なくとも一部の動きが検知部により検知された端末装置300の動きと略一致する被写体を特定することで、当該端末装置300を保持する対象を特定することが可能である。
また、他の一例として、特徴情報発信部301は、前述したように、発光部(図示を省略する)等を所定の発光パターンで発光させることで、当該発光パターンに応じた光信号を、上記特徴量を示す情報として外部に発信してもよい。
例えば、図4は、本実施形態に係る情報処理システム1の一態様について概要を説明するための説明図であり、所定の発光パターンに応じた光信号が、上記特徴量を示す情報として発信される場合の一例を示している。具体的には、図4に示す例は、所謂行進の場面のように、群衆が同じような動きをしている場合の一例を示している。このような場合には、ユーザUbと同様の動作を行う他の人物が多数存在するため、例えば、加速度センサ等の検知部によりユーザUbの動きを検知したとしても、当該検知結果に基づき、撮像装置200により撮像された画像から当該当該ユーザUbを特定することが困難である。
これに対して、図4に示すように、端末装置300が発光部を所定の発光パターンで発光させることで(即ち、光信号を外部に発信することで)、撮像装置200により撮像された画像中には、当該発光部が、当該発光パターンで発光する発光体として映り込むこととなる。この光信号の発光パターンは、ユーザの動きの影響を受けずに独立して発信される。そのため、図4に示すように、画像中に映り込んだ群衆が同じような動きをしているような場合においても、所定の発光パターンで発光する発光体を当該画像中から検出することで、端末装置300を保持するユーザUbを当該画像中から特定することが可能となる。なお、この場合には、特徴情報発信部301は、マッチングサーバ100が上記発光パターンを認識するための情報を、当該マッチングサーバ100に別途通知してもよい。
なお、上述した例はあくまで一例であり、撮像装置200により撮像される画像中に映像として直接的または間接的に顕在化する情報であれば、上記特徴量を示す情報の種別は特に限定されない。具体的な一例として、ディスプレイ等の出力部の画面上に、特定の図柄や模様等のパターンが視認可能に提示されてもよい。このような場合には、当該パターンを画像中から検出することで、当該画像中に撮像された所定の対象を特定することが可能となる。また、上記特徴量を示す情報の種別は、当該情報が特定される画像の種別(例えば、動画像及び静止画像のいずれか)に応じて、適宜変更されてもよい。具体的には、静止画像から所定の対象を特定する場合には、上記特徴量を示す情報としては、静止画像中から特定可能な情報(例えば、図柄や模様等のパターン)であることが望ましい。
位置情報取得部303は、端末装置300の位置(ひいては、当該端末装置300を保持する対象の位置)に関する情報を取得する。具体的な一例として、位置情報取得部303は、GNSS等を利用することで、端末装置300の位置を特定してもよい。なお、端末装置300の位置を特定することが可能であれば、その方法は特に限定されない。具体的な一例として、位置情報取得部303は、基地局装置やアクセスポイント等のような所定のポイントに設置された通信装置との間の通信の結果に基づき、端末装置300の位置を特定してもよい。
そして、位置情報取得部303は、端末装置300の位置の特定結果に応じて、当該位置に関する情報(例えば、端末装置300の位置を示す位置情報)をマッチングサーバ100に送信する。なお、このとき位置情報取得部303は、当該位置に関する情報に対して、当該位置が特定された時間を示す時間情報を関連付けてもよい。これにより、端末装置300の位置が逐次変化するような状況においても、時間ごとの当該端末装置300の位置を特定することが可能となる。
次いで、撮像装置200及び画像収集サーバ400について説明する。図3に示すように、画像収集サーバ400は、記憶部401を含む。記憶部401は、各種データを一時的または恒常的に記憶するための記憶領域である。
撮像装置200a~200cにより撮像された画像は、画像収集サーバ400に逐次送信され、記憶部401に記憶される。このとき、記憶部401に記憶される画像には、当該画像の撮像元である撮像装置200を特定するための情報(例えば、識別情報、設置位置、及び画角を示す情報等)が関連付けられてもよい。また、記憶部401に記憶される画像には、当該画像が撮像された時間(例えば、日時等)を示す情報が関連付けられてもよい。なお、各画像に対してこれらの情報を関連付ける主体は特に限定されない。具体的な一例として、画像の撮像元である撮像装置200が、当該画像に対して、自身を特定するための情報や、当該画像を撮像した時間を示す情報等を関連付けてもよい。また、他の一例として、画像収集サーバ400が、各撮像装置200から逐次送信される画像に対して、当該撮像装置200を特定するための情報等を関連付けてもよい。以上のようにして、撮像装置200a~200cにより逐次撮像された画像が、記憶部401に蓄積される。
なお、記憶部401に蓄積された画像は、例えば、マッチングサーバ100からの指示に基づき、ネットワークN11を介して当該マッチングサーバ100に送信されてもよい。また、このとき、マッチングサーバ100から指定された条件に応じて、記憶部401に記憶された画像のうち、当該条件に合致する画像のみが抽出され、当該マッチングサーバ100に送信されてもよい。例えば、マッチングサーバ100から、画像の撮像元となる撮像装置200に関する条件や、画像が撮像された時間帯に関する条件が指定された場合には、当該条件に該当する画像が当該マッチングサーバ100に送信されることとなる。
次いで、マッチングサーバ100の構成について説明する。図3に示すように、マッチングサーバ100は、端末情報収集部101と、解析処理部103と、出力制御部105とを含む。
端末情報収集部101は、所定の端末装置300から送信される情報を収集する。例えば、所定の特徴量を示す情報が、端末装置300からマッチングサーバ100に直接送信される場合には、端末情報収集部101が、当該特徴量を示す情報を当該端末装置300から取得する。また、端末情報収集部101は、端末装置300から、当該端末装置300の位置に関する情報を取得してもよい。また、このとき端末情報収集部101は、端末装置300の位置に関する情報に関連付けられた情報として、当該位置に関する情報が取得された時間を示す時間情報を取得してもよい。そして、端末情報収集部101は、端末装置300から収集した情報を解析処理部103に出力する。
解析処理部103は、端末装置300から発信される特徴量を示す情報に応じて、画像収集サーバ400の記憶部401に蓄積された画像のうち少なくとも一部の画像中から、当該端末装置300を保持する対象(例えば、端末装置300のユーザ)を特定する。
具体的には、解析処理部103は、端末情報収集部101から端末装置300の位置に関する情報を取得し、当該情報に応じて、端末装置300を保持する対象の画像を撮像した可能性のある撮像装置200を特定する。より具体的には、解析処理部103は、例えば、複数の撮像装置200それぞれの設置位置を示す情報を取得することで、当該撮像装置200が画角内に収める位置や範囲を認識しておく。なお、各撮像装置200の設置位置や画角等のような当該撮像装置200に関する情報の取得方法について特に限定されないことは前述した通りである。そして、解析処理部103は、各撮像装置200が画角内に収める位置や範囲と、端末装置300の位置とを照合することで、当該端末装置300を保持する対象の画像を撮像した可能性のある撮像装置200を特定すればよい。また、このとき解析処理部103は、端末装置300の位置に関する情報に対して時間情報が関連付けられている場合には、当該時間情報に応じて、上記対象の画像が撮像された可能性のある時間帯を特定してもよい。
そして、解析処理部103は、上記対象が撮像されている可能性のある画像を、画像収集サーバ400から取得する。例えば、解析処理部103は、端末装置300の位置に関する情報に基づく撮像装置200の特定結果に応じて、当該撮像装置200により撮像された画像を画像収集サーバ400から取得してもよい。また、このとき解析処理部103は、端末装置300の位置に関する情報に関連付けられた時間情報に応じて、上記撮像装置200により当該時間情報が示す時間に撮像された画像を画像収集サーバ400から取得してもよい。
次いで、解析処理部103は、端末装置300から発信された特徴量を示す情報に応じて、画像収集サーバ400から取得した画像から、当該画像中に撮像された当該端末装置300を保持する対象を特定する。なお、当該画像中からの当該対象の特定方法については前述したとおりである。
以上のようにして、解析処理部103は、画像収集サーバ400の記憶部401に記憶された画像(即ち、複数の撮像装置200それぞれにより撮像された画像)のうち、端末装置300を保持する対象が撮像された画像を特定することが可能となる。また、上記処理に伴い、解析処理部103が、当該画像中に撮像された当該対象を特定できていることは言うまでもない。なお、解析処理部103が、「特定部」の一例に相当する。
そして、解析処理部103は、画像収集サーバ400から取得した画像中からの上記対象の特定結果に応じた情報を、当該対象に関する情報として出力制御部105に出力する。具体的な一例として、解析処理部103は、画像収集サーバ400から取得した画像のうち、上記対象が撮像された画像を、当該対象に関する情報として出力制御部105に出力してもよい。また、他の一例として、解析処理部103は、所定の対象が撮像された画像に対して画像解析を施すことで、当該画像中から当該対象に関する情報(例えば、当該対象の状態、当該対象の外観等の情報)を抽出し、抽出結果を出力制御部105に出力してもよい。
出力制御部105は、解析処理部103から所定の対象(即ち、端末装置300を保持する対象)に関する情報を取得し、取得した当該情報を所定の出力先に提示する。具体的な一例として、出力制御部105は、所定の対象が撮像された画像を当該対象に関する情報として取得し、当該画像を所定の出力装置500に送信してもよい。これにより、当該出力装置500のユーザ(例えば、上記対象の関係者)は、複数の撮像装置200a~200cそれぞれにより撮像された画像の中から抽出された、上記対象が撮像された画像を、当該出力装置500を介して参照することが可能となる。
なお、前述の通り、出力制御部105が、所定の対象に関する情報を提示する相手は、必ずしも出力装置500のみには限定されない。例えば、出力制御部105は、動画像や静止画像等の画像を配信するサーバ(例えば、ソーシャルメディア、動画・写真共有サイト等のサーバ)に、当該対象に関する情報(例えば、当該対象が撮像された画像)を送信してもよい。また、他の一例として、出力制御部105は、当該対象に関する情報を、ディスプレイ等のような所定の出力装置に出力させてもよい。
以上、図3及び図4を参照して、本実施形態に係る情報処理システム1の機能構成の一例に説明した。
<2.3.処理>
続いて、図5を参照して、本実施形態に係る情報処理システム1の一連の処理の流れの一例について、特に、マッチングサーバ100の動作に着目して説明する。図5は、本実施形態に係る情報処理システム1の一連の処理の流れの一例を示したフローチャートである。
図5に示すように、マッチングサーバ100(端末情報収集部101)は、所定の端末装置300から、当該端末装置300の位置に関する情報を取得する。また、このときマッチングサーバ100は、端末装置300の位置に関する情報に関連付けられた情報として、当該位置に関する情報が取得された時間を示す時間情報を取得してもよい。これにより、マッチングサーバ100は、当該端末装置300の位置(ひいては、当該端末装置300を保持する対象の位置)を認識することが可能となる(S101)。
次いで、マッチングサーバ100(解析処理部103)は、端末装置300から取得した情報に応じて、端末装置300を保持する対象の画像を撮像した可能性のある撮像装置200を特定する。そして、マッチングサーバ100は、上記対象が撮像されている可能性のある画像、即ち、特定した上記撮像装置200により撮像された画像を、画像収集サーバ400から取得する。また、このときマッチングサーバ100は、あわせて取得した時間情報に応じて、当該撮像装置200により、上記対象の画像が撮像された可能性のある時間帯を特定してもよい。この場合には、マッチングサーバ100は、画像収集サーバ400から取得する画像を、特定した上記時間帯に撮像された画像に限定してもよい(S103)。
また、マッチングサーバ100(解析処理部103)は、上記端末装置300から発信された所定の特徴量に関する情報を取得する。例えば、マッチングサーバ100は、加速度センサや角速度センサ等の検知部による端末装置300の動き(ひいては、当該端末装置300を保持する対象の動き)の検出結果を示す情報を、上記特徴量に関する情報として当該端末装置300から取得してもよい(S105)。
次いで、マッチングサーバ100(解析処理部103)は、取得した上記特徴量に関する情報に基づき、画像収集サーバ400から取得した画像のうち少なくとも一部の画像に撮像された被写体の中から上記対象の特定を試みる。具体的な一例として、マッチングサーバ100は、各画像に対して画像解析を施すことで、当該画像中に撮像された被写体の中から、少なくとも一部の動きが、端末装置300から取得した情報が示す対象の動きと略一致する被写体を、当該端末装置300を保持する対象として特定してもよい(S107)。
そして、マッチングサーバ100(出力制御部105)は、取得した画像からの上記対象の特定結果に基づき、当該対象に関する情報を所定の出力先に提示する。例えば、マッチングサーバ100は、画像収集サーバ400から取得した画像のうち、上記対象が撮像された画像を、当該対象に関する情報として、所定の出力装置500に送信してもよい(S109)。
以上、図5を参照して、本実施形態に係る情報処理システム1の一連の処理の流れの一例について、特に、マッチングサーバ100の動作に着目して説明した。
<2.4.評価>
以上説明したように、本実施形態に係る情報処理システム1において、マッチングサーバ100は、端末装置300の位置(ひいては、当該端末装置300を保持する対象の位置)に関する情報に応じて、複数の撮像装置200それぞれにより撮像された画像のうち、当該端末装置300を保持する対象が撮像された可能性のある画像を取得する。また、マッチングサーバ100は、上記端末装置300から発信される所定の特徴量を示す情報に基づき、取得した上記画像のうち少なくとも一部の画像から、当該端末装置300を保持する対象の特定を試みる。そして、マッチングサーバ100は、当該画像からの上記対象の特定結果に基づき、当該対象に関する情報を所定の出力先に提示する。
以上のような構成により、環境カメラ等のような所定の位置に定常的に設置された撮像装置200により無作為に撮像された画像の中から、所定の対象(即ち、端末装置300を保持する対象)が撮像された画像を特定して提供するようなサービスを実現することも可能となる。
また、本実施形態に係る情報処理システム1に依れば、所定の対象が撮像された画像中の位置を特定することも可能であるため、例えば、当該対象が撮像された部分を部分画像として切り出して、所定の出力先に提示することも可能である。特に、環境カメラ等は、複数の場所に設置されている場合が多い。そのため、本実施形態に係る情報処理システム1に依れば、例えば、複数の撮像装置200それぞれにより撮像された画像に基づき、所定の対象を複数の方向から撮像したマルチアングル画像を自動で生成することも可能である。
また、本実施形態に係る情報処理システム1に依れば、各撮像装置200により上記対象が撮像された時間を特定することも可能である。そのため、例えば、移動する対象が、互いに異なる場所に設置された複数の撮像装置200それぞれの画角内に進入するタイミングで撮像された当該対象の画像を、時系列に沿って自動で抽出することも可能となる。
また、マッチングサーバ100は、例えば、端末装置300の位置に関する情報をリアルタイムで取得することで、当該端末装置300を保持する対象の位置を逐次監視してもよい。このような構成とすることで、例えば、マッチングサーバ100は、各撮像装置200により逐次撮像される画像の中から、所定の対象が撮像された画像をリアルタイムで特定し、当該画像を所定の出力先にライブ画像として提示することも可能となる。
なお、本実施形態に係る情報処理システム1に依れば、加速度センサ等のような消費電力の比較的少ない受動的なセンサを用いて、所定の特徴量に関する情報を上記端末装置300に取得させることが可能となる。そのため、本実施形態に係る情報処理システム1を実現するにあたり、当該端末装置300の消費電力の増加をより低く抑えることも可能となる。
また、端末装置300が、所定の発光パターンの光信号として、所定の特徴量に関する情報を発信する場合においても、当該光信号の発信契機を限定することで、端末装置300の消費電力をより低く抑えることも可能である。なお、光信号の発信契機については、端末装置300を保持する対象(ユーザ)による所定の操作により選択的に切り替えられてもよい。また、他の一例として、端末装置300が所定の状態や状況の検出結果に応じて、光信号の発信の有無を選択的に切り替えてもよい。例えば、端末装置300は、各撮像装置200の撮像領域に進入したことを検知した場合に、光信号を発信してもよい。また、他の一例として、端末装置300は、マッチングサーバ100からの指示に基づき光信号を発信してもよい。具体的な一例として、端末装置300は、マッチングサーバ100から、所定の特徴量に基づく対象の特定が困難である旨の通知を受けた場合に、光信号を発信してもよい。
<<3.第2の実施形態>>
<3.1.概要>
続いて、本開示の第2の実施形態について説明する。前述した第1の実施形態では、マッチングサーバ100は、GNSS等により特定された端末装置300の位置に関する情報に応じて、当該端末装置300を保持する対象の画像を撮像した可能性のある撮像装置200(ひいては、当該対象が撮像された可能性のある画像)を特定していた。これに対して、本実施形態では、端末装置300が自身の位置を特定する機能を有していない場合において、複数の撮像装置200それぞれにより撮像された画像の中から、当該端末装置300を保持する対象が撮像された画像を特定するための構成の一例について説明する。
例えば、図6は、本実施形態に係る情報処理システムの概要について説明するための説明図である。なお、本説明では、本実施形態に係る情報処理システムを、前述した他の実施形態に係る情報処理システムと区別するために、「情報処理システム2」と称する場合がある。同様に、本実施形態に係る端末装置及びマッチングサーバについては、「端末装置320」及び「マッチングサーバ120」と称する場合がある。
具体的には、図6は、ランニングを行うユーザUcの画像を、各所に設置された撮像装置200a~200c(例えば、環境カメラ)により撮像された画像の中から特定する場合の一例を示している。この場合には、撮像装置200a~200cのそれぞれは、所定の領域の画像(例えば、動画像)を時系列に沿って無作為に逐次撮像し、撮像した当該画像を所定の記憶領域(例えば、画像収集サーバ400)に記録する。即ち、端末装置320を保持するユーザUcが、撮像装置200a~200cそれぞれの画角内(即ち、撮像領域)に進入すると、そのタイミングで撮像された画像には、当該ユーザUcが被写体として映り込むこととなる。
また、本実施形態に係る情報処理システム2では、各撮像装置200は、自身の周囲(特に、自身の撮像領域)に自身を特定するための情報に応じた所定の信号(例えば、赤外線信号等)を発信する。また、端末装置320には、各撮像装置200から発信される当該信号を受信する受信部が設けられている。このような構成の基で、例えば、端末装置320を保持したユーザUcが撮像装置200の撮像領域に進入すると、当該撮像装置200から発信された信号が端末装置320に受信され、当該端末装置320により当該信号の受信結果が記録される。なお、このとき端末装置320は、撮像装置200から発信された信号の受信結果を、当該信号を受信した時間を示す時間情報(例えば、タイムスタンプ)と関連付けて記憶してもよい。
例えば、図6に示すように、端末装置320を保持したユーザUcが、撮像装置200a、200b、及び200cそれぞれの撮像範囲に順次進入すると、各撮像装置200a~200cそれぞれから発信された信号が、当該端末装置320により順次記録される。
以上のような構成に基づき、本実施形態に係る情報処理システム2では、端末装置320により記録された情報(即ち、各撮像装置200から発信された信号の受信結果)を利用することで、複数の撮像装置200a~200cにより撮像された画像の中から、当該端末装置320を保持する対象が撮像された画像を特定する。このような構成により、本実施形態に係る情報処理システム2に依れば、端末装置320が、GNSS等のような当該端末装置320の位置を検出する機能を有していない場合においても、当該端末装置320を保持する対象が撮像された画像を特定することが可能となる。
なお、本実施形態に係る情報処理システム2においては、各撮像装置200の撮像領域に端末装置320を保持する対象が進入した場合に、当該撮像装置200から発信される信号を受信しやすい位置に端末装置320が保持されていることが望ましい。換言すると、各撮像装置200から発信される信号の種類や、想定される各撮像装置200の設置位置等に応じて、端末装置320の形態が適宜変更されてもよい。例えば、高所に設置された撮像装置200から赤外線信号が発信されるような状況を想定する場合には、当該赤外線信号をより受信しやすいように、端末装置320が、ユーザの頭部に装着可能なウェアラブル端末として構成されていてもよい。
以上、図6を参照して本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムの構成や処理の一例についてより詳しく説明する。
<3.2.機能構成>
続いて、図7を参照して、本実施形態に係る情報処理システム2の機能構成の一例に説明する。図7は、本実施形態に係る情報処理システム2の機能構成の一例を示したブロック図である。
図7に示すように、本実施形態に係る情報処理システム2は、マッチングサーバ120と、複数の撮像装置200(例えば、撮像装置200a~200c)と、端末装置320と、画像収集サーバ400と、出力装置500とを含む。なお、マッチングサーバ120と、複数の撮像装置200a~200cと、端末装置320と、画像収集サーバ400と、出力装置500とは、図1における、マッチングサーバ100と、複数の撮像装置200a~200cと、端末装置300と、画像収集サーバ400と、出力装置500aまたは500bと、のそれぞれに対応している。また、本実施形態に係る情報処理システム2は、主に、撮像装置200の一部の構成と、端末装置320及びマッチングサーバ120の構成とが、前述した第1の実施形態に係る情報処理システム1(図3参照)と異なる。そこで、以降では、本実施形態に係る情報処理システム2の構成について、図3を参照して前述した情報処理システム1と異なる部分に着目して説明し、当該情報処理システム1と実質的に同様の部分については詳細な説明は省略する。
前述したように、本実施形態に係る情報処理システム2においては、撮像装置200は、自身の周囲(特に、自身の撮像範囲)に向けて、自身を特定するための情報(例えば、識別情報、設置位置等)に応じた信号を発信する。なお、図7では図示を省略しているが、当該撮像装置200は、当該信号を発信するための構成を含んでもよい。また、撮像装置200は、自身を特定するための情報に加えて、他の情報もあわせて発信してもよい。具体的な一例として、画像を撮像した時間を示す時間(即ち、絶対時間)や、フレーム番号等のように撮像された一連の画像中における相対的な時間を示す時間情報を、上記他の情報として発信してもよい。また、撮像装置200は、上記時間情報に限らず、撮像した各画像を特定するための情報(例えば、通し番号等)等を、上記他の情報として発信してもよい。換言すると、撮像装置200は、自身を特定するための情報に対して、上記他の情報(時間情報や各画像を特定するための情報等)を関連付けてもよい。なお、以降では、撮像装置200から発信される信号を「発信信号」とも称する。
また、端末装置320は、特徴情報発信部321と、信号受信部325とを含む。なお、特徴情報発信部321は、図3を参照して説明した端末装置300における特徴情報発信部301と実質的に同様であるため詳細な説明は省略する。
信号受信部325は、各撮像装置200からの発信信号を受信し、当該発信信号の受信結果を記録する。そのため、信号受信部325は、撮像装置200から発信される発信信号を受信するための受信デバイスを含んでもよい。より具体的な一例として、各撮像装置200から赤外線信号が発信される場合には、信号受信部325は、当該赤外線信号の受光部を含んでもよい。
また、信号受信部325は、各撮像装置200からの発信信号の受信結果に対して、他の情報を関連付けてもよい。具体的な一例として、信号受信部325は、上記発信信号の受信結果に対して、当該発信信号が受信された時間(タイミング)に関する時間情報を関連付けてもよい。なお、前述のように、発信信号自体に時間情報や画像を特定するための情報等のような他の情報が含まれていてもよい。
また、信号受信部325は、例えば、上記発信信号の受信結果に対して、当該信号が受信された時間(タイミング)に取得された所定の特徴量に関する情報(例えば、加速度センサや角速度センサ等の検知部による端末装置320の動きの検出結果)を関連付けてもよい。
そして、信号受信部325は、所望のタイミングで、各撮像装置200からの発信信号の受信結果を示す情報をマッチングサーバ120に直接的または間接的に送信する。具体的な一例として、信号受信部325は、所定の入力部(図示を省略する)を介したユーザからの指示に基づき、所定のネットワーク(例えば、図1に示すネットワークN11)を介して、上記発信信号の受信結果を示す情報をマッチングサーバ120に送信してもよい。また、他の一例として、信号受信部325は、端末装置320が通信ケーブル等を介してPC等のような情報処理装置に接続された場合に、当該通信ケーブルを介して上記発信信号の受信結果を示す情報を当該情報処理装置に転送してもよい。この場合には、例えば、当該情報処理装置が、端末装置320から転送された上記発信信号の受信結果を示す情報をマッチングサーバ120に送信してもよい。換言すると、端末装置320は、上記発信信号の受信結果を示す情報を、PC等の情報処理装置を介して間接的にマッチングサーバ120に送信してもよい。
次いで、マッチングサーバ120について説明する。図7に示すように、マッチングサーバ120は、端末情報収集部121と、解析処理部123と、出力制御部125とを含む。なお、端末情報収集部121、解析処理部123、及び出力制御部125は、前述した第1の実施形態に係るマッチングサーバ100における、端末情報収集部101、解析処理部103、及び出力制御部105にそれぞれ対応している。
端末情報収集部121は、端末装置320により記録された、各撮像装置200からの発信信号の受信結果を示す情報を取得する。このとき、端末情報収集部121は、当該発信信号の受信結果を示す情報を、当該端末装置320から直接取得してもよいし、PC等のような他の情報処理装置を介して間接的に取得してもよい。また、端末情報収集部121は、当該発信信号の受信結果に関連付けられた情報として、所定の特徴量を示す情報を取得してもよい。そして、端末情報収集部121は、端末装置320から取得した情報(例えば、上記発信信号の受信結果を示す情報)を解析処理部123に出力する。
解析処理部123は、端末装置320により記録された各撮像装置200からの発信信号の受信結果を示す情報を、端末情報収集部121から取得する。解析処理部123は、各撮像装置200からの発信信号の受信結果に基づき、端末装置320を保持する対象の画像を撮像した可能性のある撮像装置200を特定する。具体的な一例として、解析処理部123は、受信結果として記録された発信信号が示す識別情報に基づき、当該識別情報に対応する撮像装置200を特定すればよい。また、他の一例として、受信結果として記録された発信信号が示す位置情報に基づき、当該位置情報が示す位置に設置された撮像装置200を特定してもよい。また、このとき解析処理部123は、各撮像装置200からの発信信号の受信結果に関連付けられた時間情報に基づき、当該撮像装置200により上記対象の画像が撮像された可能性のある時間帯を特定してもよい。
そして、解析処理部123は、上記対象が撮像されている可能性のある画像を、画像収集サーバ400から取得する。
なお、以降の処理については、前述した第1の実施形態に係る情報処理システム1と同様である。即ち、解析処理部123は、端末装置320から発信された特徴量を示す情報に応じて、画像収集サーバ400から取得した画像から、当該画像中に撮像された当該端末装置320を保持する対象を特定する。例えば、解析処理部123は、上記発信信号の受信結果に関連付けられた、端末装置320の動きの検出結果を示す情報に基づき、画像収集サーバ400から取得した画像中に撮像された被写体の中から、当該端末装置320を保持する対象を特定してもよい。そして、解析処理部123は、画像収集サーバ400から取得した画像中からの上記対象の特定結果に応じた情報を、当該対象に関する情報として出力制御部125に出力すればよい。また、出力制御部125は、解析処理部123から所定の対象(即ち、端末装置320を保持する対象)に関する情報を取得し、取得した当該情報を所定の出力先に提示すればよい。
なお、解析処理部123は、上述の通り、端末装置320により記録された、各撮像装置200からの発信信号の受信結果を示す情報に基づき、当該端末装置320を保持する対象の時間ごとの位置(即ち、当該対象が、いつ、どこに居たか)を間接的に認識することが可能である。そのため、解析処理部123は、各撮像装置200からの発信信号の受信結果を示す情報に基づき認識した上記対象の位置に関する情報を、出力制御部125に出力してもよい。また、この場合には、出力制御部125は、当該対象の位置に関する情報を、所定の出力先に提示してもよい。
例えば、図8は、各撮像装置200からの発信信号の受信結果に応じて提示される所定の対象の位置に関する情報の一例について説明するための説明図である。例えば、時系列に沿って逐次記録された各撮像装置200からの発信信号の受信結果を当該撮像装置200の設置位置と関連付けることで、端末装置320を保持する対象の位置を示す位置情報の時系列に沿った変化を特定することが可能である。即ち、図8に示す例では、このようにして特定された上記対象の位置を示す位置情報の時系列に沿った変化に基づき、当該対象の移動経路を特定し、当該移動経路を示す表示情報V13を、地図情報V11上に重畳表示している。なお、上述の通り、撮像装置からの発信信号の受信結果に基づき対象の位置を特定する場合には、GNSS等により位置を検出する場合に比べて、より精度良く当該対象の位置を特定することが可能な場合がある。このような特性から、例えば、当該発信信号の受信結果に基づく対象の位置の特定結果を利用することで、GNSS等により当該対象の位置の特定結果を補正することも可能である。
なお、上記はあくまで一例であり、各撮像装置200からの発信信号の受信結果を示す情報に基づき認識される上記対象の位置に関する情報の提示方法は、必ずしも図8に示す例には限定されない。
また、本実施形態に係る情報処理システム2においては、端末装置320は、少なくとも一部の機能について、各撮像装置200の撮像領域に進入した場合にのみ有効化してもよい。前述したように、本実施形態に係る端末装置320は、撮像装置200から発信される発信信号の受信結果を記録するため、当該発信信号の受信タイミング(換言すると、検知タイミング)を契機として、各種制御を実行することが可能である。このような特性を利用することで、例えば、端末装置320は、撮像装置200からの発信信号を受信した場合にのみ、所定の特徴量に関する情報(例えば、所定の発光パターンの光信号)を発信してもよい。このような構成により、本実施形態に係る情報処理システム2を実現するにあたり、端末装置320の消費電力の増加をより低く抑えることが可能となる。
以上、図7及び図8を参照して、本実施形態に係る情報処理システム2の機能構成の一例に説明した。
<3.3.処理>
続いて、図9を参照して、本実施形態に係る情報処理システム2の一連の処理の流れの一例について、特に、マッチングサーバ120の動作に着目して説明する。図9は、本実施形態に係る情報処理システム2の一連の処理の流れの一例を示したフローチャートである。
前述したように、本実施形態に係る情報処理システム2において、端末装置320を保持する対象が各撮像装置200の撮像領域に進入すると、当該撮像装置200からの発信信号が当該端末装置320に記録される。また、マッチングサーバ120(端末情報収集部121)は、所望のタイミングで、端末装置320に記録された上記発信信号の受信結果を示す情報を、当該端末装置320から直接的または間接的に取得する(S201)。
次いで、マッチングサーバ120(解析処理部123)は、上記発信信号の受信結果を示す情報に基づき、端末装置320を保持する対象の画像を撮像した可能性のある撮像装置200を特定する。そして、マッチングサーバ120は、上記対象が撮像されている可能性のある画像、即ち、特定した上記撮像装置200により撮像された画像を、画像収集サーバ400から取得する。また、このときマッチングサーバ120は、各撮像装置200からの発信信号の受信結果に関連付けられた時間情報に基づき、当該撮像装置200により上記対象の画像が撮像された可能性のある時間帯を特定してもよい。この場合には、マッチングサーバ120は、画像収集サーバ400から取得する画像を、特定した上記時間帯に撮像された画像に限定してもよい(S203)。
また、マッチングサーバ120(解析処理部123)は、上記端末装置320から発信された所定の特徴量に関する情報を取得する。例えば、マッチングサーバ120は、上記発信信号の受信結果に関連付けられた、加速度センサや角速度センサ等の検知部による端末装置320の動き(ひいては、当該端末装置320を保持する対象の動き)の検出結果を示す情報を、上記特徴量に関する情報として取得してもよい(S205)。
なお、以降の処理については、前述した第1の実施形態に係る情報処理システム1(図5参照)と同様である。即ち、マッチングサーバ120(解析処理部123)は、取得した上記特徴量に関する情報に基づき、画像収集サーバ400から取得した画像のうち少なくとも一部の画像に撮像された被写体の中から上記対象の特定を試みる(S207)。そして、マッチングサーバ120(出力制御部125)は、取得した画像からの上記対象の特定結果に基づき、当該対象に関する情報を所定の出力先に提示する(S209)。
以上、図9を参照して、本実施形態に係る情報処理システム2の一連の処理の流れの一例について、特に、マッチングサーバ100の動作に着目して説明した。
<3.4.評価>
以上説明したように、本実施形態に係る情報処理システム2において、端末装置320は、各撮像装置200から周囲に発信される発信信号を受信した場合に、当該発信信号の受信結果を記録する。また、マッチングサーバ100は、端末装置320から当該発信信号の受信結果を示す情報を取得し、当該受信結果に基づき、当該端末装置320を保持する対象の画像を撮像した可能性のある撮像装置200を特定する。また、端末装置320は、上記発信信号の受信結果に対して、当該発信信号が受信された時間(タイミング)に関する時間情報を関連付けてもよい。これにより、マッチングサーバ100は、端末装置320を保持する対象の画像を撮像した可能性のある撮像装置200と、当該撮像装置200により当該対象の画像が撮像された可能性のある時間とを特定することも可能となる。
以上のような構成により、端末装置320が自身の位置を特定する機能を有していない場合においても、複数の撮像装置200それぞれにより撮像された画像の中から、当該端末装置320を保持する対象が撮像された画像を特定することが可能となる。
また、前述した第1の実施形態と同様に、マッチングサーバ120は、上記撮像装置200の特定結果に応じて、端末装置320を保持する対象が撮像された可能性のある画像を取得し、当該画像から当該対象の特定を試みる。そして、マッチングサーバ120は、当該画像からの上記対象の特定結果に基づき、当該対象に関する情報を所定の出力先に提示する。
以上のような構成により、前述した第1の実施形態に係る情報処理システム1と同様に、環境カメラ等のような所定の位置に定常的に設置された撮像装置200により無作為に撮像された画像の中から、所定の対象(即ち、端末装置320を保持する対象)が撮像された画像を特定することが可能となる。そのため、例えば、環境カメラ等のような所定の位置に定常的に設置された撮像装置200により無作為に撮像された画像の中から、所定の対象が撮像された画像を特定して提供するようなサービスを実現することも可能となる。また、複数の撮像装置200それぞれにより撮像された画像に基づき、所定の対象を複数の方向から撮像したマルチアングル画像を自動で生成することも可能となる。
<<4.第3の実施形態>>
<4.1.概要>
続いて、本開示の第3の実施形態について説明する。本実施形態では、画像中からの所定の対象の特定結果に基づき出力される、当該対象に関する情報に対してアクセス制限をかけるための仕組みの一例について説明する。
例えば、図10は、本実施形態に係る情報処理システムの概要について説明するための説明図である。具体的には、図10は、スポーツイベントの状況が、各ユーザが保持する撮像装置200(例えば、デジタルビデオカメラ)により各所から撮像されている場合の一例を示している。例えば、図10において、参照符号200d~200fは、互いに異なるユーザが保持する撮像装置200をそれぞれ示している。また、図10に示す例では、ユーザUd~Ufのそれぞれが、端末装置300を保持しているものとする。即ち、図10に示す例では、スポーツイベントの会場(例えば、トラック等のような競技スペース等)が、ユーザUd~Ufそれぞれの関係者が保持する撮像装置200d~200fにより、異なる位置から撮像されている状況を模式的に示している。
このような構成の基で、本実施形態に係るマッチングサーバ100は、各撮像装置200d~200fそれぞれにより撮像された画像中から所定の対象(例えば、ユーザUd~Uf)を特定し、当該特定結果に応じて、当該対象に関する情報へのアクセスを制御する。
例えば、マッチングサーバ100は、撮像装置200d~200fそれぞれにより撮像された画像中からのユーザUd~Ufの特定結果に応じて、当該画像にアクセス可能なユーザを制限してもよい。より具体的な状況の一例として、撮像装置200dにより撮像された画像中からユーザUeが特定されたものとする。この場合には、例えば、マッチングサーバ100は、当該画像に対するアクセスを、撮像装置200dのユーザ及び当該ユーザの関係者であるユーザUdに加えて、ユーザUeや、当該ユーザUeの関係者である撮像装置200eのユーザに許可し、その他のユーザからのアクセスを制限してもよい。また、このときマッチングサーバ100は、撮像装置200d及び200eにより撮像された各画像へのアクセスを、当該撮像装置200dのユーザ及び当該ユーザの関係者と、当該撮像装置200eのユーザ及び当該ユーザの関係者と、の間で相互に許可してもよい。
また、マッチングサーバ100によるアクセス制御の対象となる情報は、各撮像装置200から特定される所定の対象(即ち、端末装置300を保持する対象)に関する情報であれば、上述した例のような、当該対象が撮像された画像のみには限定されない。例えば、画像中に撮像された所定の対象の外観(例えば、服装等)に関する情報が、当該対象に関する情報として所定の出力先に出力されてもよく、当該情報へのアクセスが当該対象の特定結果に応じて制限されてもよい。
なお、本実施形態に係る情報処理システムの構成としては、例えば、前述した第1の実施形態に係る情報処理システム1(図3参照)や、第2の実施形態に係る情報処理システム2(図7参照)と同様の構成を適用することが可能である。また、この場合には、上記アクセス制御については、例えば、前述した第1の実施形態に係るマッチングサーバ100における出力制御部105や、第2の実施形態に係るマッチングサーバ120における出力制御部125が実行すればよい。
以上のような構成により、本実施形態に係る情報処理システムは、例えば、画像中からの所定の対象の特定結果に基づき出力される、当該対象に関する情報へのアクセスを、一部のユーザ(例えば、端末装置300を保持する対象や当該対象の関係者)に制限することが可能となる。これにより、例えば、一部のユーザ間における上記情報の共有を実現するとともに、上記対象とは関係の無い他のユーザにより、特定された当該対象に関する情報(例えば、当該対象が撮像された画像)が悪用される事態の発生を防止することが可能となる。また、特定された上記対象に関する情報へのアクセスが制限されるため、当該情報が、本来の利用目的とは異なる目的のために使用されるといった事態の発生を防止することも可能となる。
以上、図10を参照して、本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムの処理の一例についてより詳しく説明する。
<4.2.処理>
続いて、図11を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、マッチングサーバ100の動作に着目して説明する。図11は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。なお、本説明では、便宜上、本実施形態に係る情報処理システムの構成として、前述した第1の実施形態に係る情報処理システム1(図3参照)と同様の構成が適用されているものとして説明する。
図11に示すように、マッチングサーバ100(解析処理部103)は、あらかじめ登録された撮像装置200により撮像された画像を、画像収集サーバ400から取得する。また、このときマッチングサーバ100は、前述した他の実施形態と同様に、端末装置300の位置に関する情報に応じて、当該端末装置300を保持する対象が撮像した可能性のある撮像装置200を特定してもよい。この場合には、マッチングサーバ100は、画像収集サーバ400から取得する画像を、特定した当該撮像装置200により撮像された画像に限定してもよい。また、マッチングサーバ100は、前述した他の実施形態と同様に、上記対象の画像が撮像された可能性のある時間帯を特定することで、画像収集サーバ400から取得する画像を、特定した上記時間帯に撮像された画像に限定してもよい(S301)
また、マッチングサーバ100(解析処理部103)は、上記端末装置300から発信された所定の特徴量に関する情報を取得する。例えば、マッチングサーバ100は、上記端末装置300から送信される、加速度センサや角速度センサ等の検知部による当該端末装置300の動き(ひいては、当該端末装置300を保持する対象の動き)の検出結果を示す情報を、上記特徴量に関する情報として取得してもよい(S303)。
次いで、マッチングサーバ100(解析処理部103)は、取得した上記特徴量に関する情報に基づき、画像収集サーバ400から取得した画像のうち少なくとも一部の画像に撮像された被写体の中から上記対象の特定を試みる(S305)。
次いで、マッチングサーバ100(出力制御部105)は、取得した画像からの上記対象の特定結果に基づき、当該対象に関する情報を所定の出力先に提示する。このとき、マッチングサーバ100は、上記対象の特定結果に基づき、当該対象に関する情報に対するアクセスを制御(例えば、制限)してもよい。具体的な一例として、マッチングサーバ100は、上記対象に関する情報へのアクセスを、当該対象や、当該対象の関係者のみに許可し、他のユーザからのアクセスを制限してもよい。なお、当該アクセス制御については、マッチングサーバ100が行わずに、情報の出力先となる他の装置が実行してもよい。この場合には、マッチングサーバ100は、情報の出力先となる他の装置がアクセス制御を行うための情報(例えば、対象の特定結果を示す情報等)を、当該他の装置に送信してもよい(S307)。
以上、図11を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、マッチングサーバ100の動作に着目して説明した。
<4.3.実施例>
続いて、本実施形態に係る情報処理システムの実施例として、マッチングサーバ100による、所定の対象の特定結果に基づく、当該対象に関する情報の出力に係る制御の一例について説明する。
例えば、図12は、本実施形態に係る情報処理システムの一実施例について説明するための説明図である。図12に示す例では、マッチングサーバ100は、一部の撮像装置200により撮像された画像V211中からユーザUdの特定結果に基づき、当該画像中における当該ユーザUdが撮像された部分を部分画像V213として切り出している。このような制御により、マッチングサーバ100は、例えば、部分画像V213に撮像されている被写体をユーザUdに制限する(即ち、他のユーザが撮像された部分を除外する)とともに、当該部分画像V213へのアクセスを、当該ユーザUdと、当該ユーザUdの関係者とにのみ制限してもよい。
また、前述したように、本実施形態に係る情報処理システムに依れば、画像中からの所定の対象の特定結果に基づき出力される、当該対象に関する情報へのアクセスを、一部のユーザ間のみに制限することが可能である。そのため、例えば、マッチングサーバ100は、特定の対象となるユーザUd~Ufそれぞれの関係者が保持する撮像装置200d~200fにより撮像された、当該ユーザUd~Ufの画像を合成することで、マルチアングル画像を生成してもよい。
例えば、図13は、本実施形態に係る情報処理システムの他の実施例について説明するための説明図であり、上記マルチアングル画像の一例を示している。図13において、画像V221は、ユーザUdの関係者が保持する撮像装置200dにより撮像された画像を示している。また、画像V223は、ユーザUeの関係者が保持する撮像装置200eにより撮像された画像を示している。
即ち、図13に示す例では、撮像装置200dにより撮像された画像にユーザUeが映り込んでおり、撮像装置200eにより撮像された画像にユーザUdが映り込んでいる。このような場合には、例えば、マッチングサーバ100は、画像V221と画像V223とを合成することでマルチアングル画像を生成するとともに、当該マルチアングル画像へのアクセスを、ユーザUd及びUeと、当該ユーザUd及びUeそれぞれの関係者とにのみ許可し、他のユーザへのアクセスを制限してもよい。
また、図14は、本実施形態に係る情報処理システムの他の実施例について説明するための説明図である。図14に示す例では、端末装置300を保持するユーザUfが、環境カメラ等のような撮像装置200により意図せずに撮像された状況を示している。このような場合には、当該ユーザUfの映像が他のユーザに参照される事態の発生を防止するために、マッチングサーバ100は、例えば、ユーザUfが撮像された画像に対して所定の画像処理を施してもよい。具体的な一例として、図14に示す例では、マッチングサーバ100は、ユーザUfが撮像された画像V231に対して、当該ユーザUfが撮像された部分に、参照符号V233として示すようなマスク処理を施している。なお、このような場合には、ユーザUfが保持する端末装置300から発信される所定の特徴量に関する情報に基づき、当該ユーザUfが特定される事態の発生を防止するために、当該特徴量に関する情報として、一時的に生成される情報が使用されてもよい。これにより、画像V231中に提示されたユーザUfに関する情報を他のユーザが参照する事態(即ち、当該ユーザUfに関する情報に対して他のユーザがアクセスする事態)の発生を防止することが可能となる。
以上、本実施形態に係る情報処理システムの実施例として、図12~図13を参照して、マッチングサーバ100による、所定の対象の特定結果に基づく、当該対象に関する情報の出力に係る制御の一例について説明した。
<4.4.評価>
以上説明したように、本実施形態に係る情報処理システムは、例えば、画像中からの所定の対象の特定結果に基づき出力される、当該対象に関する情報へのアクセスを、一部のユーザに制限する。これにより、例えば、上記対象とは関係の無い他のユーザにより、特定された当該対象に関する情報が悪用される事態の発生や、当該情報が、本来の利用目的とは異なる目的のために使用されるといった事態の発生を防止することが可能となる。
<<5.第4の実施形態>>
<5.1.概要>
続いて、本開示の第4の実施形態について説明する。例えば、図15~図17は、本実施形態に係る情報処理システムの概要について説明するための説明図である。なお、本説明では、本実施形態に係る情報処理システムを、前述した他の実施形態に係る情報処理システムと区別するために、「情報処理システム4」と称する場合がある。同様に、本実施形態に係る端末装置及びマッチングサーバについては、「端末装置340」及び「マッチングサーバ140」と称する場合がある。
本実施形態に係る情報処理システムは、例えば、地下街等のようにGNSS等を利用することが困難な状況下においても、環境カメラ等のような撮像装置200により撮像された画像中からの所定の対象の特定結果を利用することで、当該対象の位置を特定する。
例えば、図15は、端末装置340を保持するユーザUgが、環境カメラとして構成された撮像装置200の画角内(即ち、撮像領域中)に位置している状況を模式的に示している。このような状況下で、例えば、端末装置340が発光部を所定の発光パターンで発光させると(即ち、光信号を外部に発信すると)、撮像装置200により撮像された画像中には、当該発光部が、当該発光パターンで発光する発光体として映り込むこととなる。
以上のような特性を利用し、本実施形態に係る情報処理システム4では、マッチングサーバ140は、複数の撮像装置200のうち、上記発光体を撮像した撮像装置200を特定することで、当該撮像装置200の設置位置に応じて所定の対象(例えば、ユーザUg)の位置を特定する。
例えば、図16は、互いに異なる位置に設置された複数の撮像装置200それぞれにより撮像された画像の一例を示している。図16に示す画像V41a~V41dのそれぞれは、互いに異なる位置に設置された撮像装置200それぞれにより撮像された画像を示している。なお、本説明では、便宜上、画像V41a~V41dを撮像した各撮像装置200を、撮像装置200a~200dとそれぞれ称する場合がある。ここで、図16に示す例では、画像V41bに、端末装置340を保持するユーザUfが映り込んでいる。このような状態で、端末装置340が、所定の発光パターンの光信号を発信すると、当該発光パターンで発光する発光体が画像V41b中に映り込むこととなる。
また、図17は、図16に示した画像V41a~V41dそれぞれを撮像する撮像装置200(即ち、撮像装置200a~200d)の位置を模式的に示している。図17において、参照符号P41a~P41dで示された地図上の位置は、画像V41a~V41dを撮像した各撮像装置200a~200dのそれぞれの位置を模式的に示している。
即ち、マッチングサーバ140は、図16及び図17に示す例の場合には、端末装置340から発信される光信号に基づき、画像V41a~V41dそれぞれに対して画像処理を施すことで、画像V41bから当該端末装置340を保持する対象(即ち、ユーザUf)を特定する。次いで、マッチングサーバ140は、上記対象の特定結果に基づき、当該対象が、当該画像V41bを撮像した撮像装置200bの撮像領域内に位置することを認識する。そして、マッチングサーバ140は、当該撮像装置200bの設置位置と、画像V41b中における上記対象の位置とに応じて、実空間上における当該対象の位置を特定する。例えば、図16及び図17に示す例の場合には、図17において参照符号P43で示された位置が、画像V41b中に撮像された対象(即ち、ユーザUf)の位置となる。
以上のような構成により、GNSS等のような所定の対象の位置を特定する機能を利用することが困難な状況下においても、環境カメラ等により撮像された画像中からの所定の対象の特定結果を利用することで、当該対象の位置を特定することが可能となる。
以上、図15~図17を参照して本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムの構成や処理の一例についてより詳しく説明する。
<5.2.機能構成>
続いて、図18を参照して、本実施形態に係る情報処理システム4の機能構成の一例について説明する。図18は、本実施形態に係る情報処理システム4の機能構成の一例を示したブロック図である。
図18に示すように、本実施形態に係る情報処理システム4は、マッチングサーバ140と、複数の撮像装置200(例えば、撮像装置200a~200c)と、端末装置340と、画像収集サーバ400と、出力装置500とを含む。なお、マッチングサーバ140と、複数の撮像装置200a~200cと、端末装置340と、画像収集サーバ400と、出力装置500とは、図1における、マッチングサーバ100と、複数の撮像装置200a~200cと、端末装置300と、画像収集サーバ400と、出力装置500aまたは500bと、のそれぞれに対応している。また、本実施形態に係る情報処理システム4は、主に、端末装置340及びマッチングサーバ140の構成が、前述した第1の実施形態に係る情報処理システム1(図3参照)と異なる。そこで、以降では、本実施形態に係る情報処理システム4の構成について、図3を参照して前述した情報処理システム1と異なる部分に着目して説明し、当該情報処理システム1と実質的に同様の部分については詳細な説明は省略する。
まず、端末装置340の構成について説明する。図18に示すように、端末装置340は、特徴情報発信部341を含む。
特徴情報発信部341は、所定の入力部(図示を省略する)を介したユーザからの指示等のような所定のトリガに基づき、撮像装置200により撮像された画像中に映像として顕在化する所定の特徴量を示す第1の情報を外部に発信する。具体的な一例として、図15~図17を参照して説明したように、特徴情報発信部341は、発光部を所定の発光パターンで発光させることで、当該発光パターンの光信号を外部に発信してもよい。
また、特徴情報発信部341は、上記第1の情報を外部に発信したことをマッチングサーバ140に通知し、当該マッチングサーバ140に端末装置340(ひいては、当該端末装置340を保持する対象)の位置の特定を依頼する。また、このとき特徴情報発信部341は、上記第1の情報を各撮像装置200により撮像された画像から特定するための、所定の特徴量を示す第2の情報をマッチングサーバ140に通知してもよい。具体的な一例として、特徴情報発信部341は、外部に発信した光信号の発光パターンを特定するための情報を、上記第2の情報としてマッチングサーバ140に通知してもよい。
次いで、マッチングサーバ140の構成について説明する。図18に示すように、マッチングサーバ140は、依頼受付部141と、解析処理部143と、出力制御部145とを含む。
依頼受付部141は、端末装置340から位置の特定に関する依頼を受け付ける。また、このとき依頼受付部141は、端末装置340が外部に発信した上記第1の情報を特定するための上記第2の情報を、当該端末装置340から取得してもよい。そして、依頼受付部141は、端末装置340から上記依頼を受け付けると、解析処理部143に対して、当該端末装置340の位置の特定を指示する。また、このとき依頼受付部141は、端末装置340から上記第2の情報を取得している場合には、当該第2の情報を解析処理部143に通知する。
解析処理部143は、依頼受付部141からの指示に応じて、依頼の送信元である端末装置340から発信される上記第1の情報に基づき、当該端末装置340の位置を特定する。
具体的には、まず解析処理部143は、複数の撮像装置200それぞれにより撮像された画像を画像収集サーバ400から取得する。このとき解析処理部143は、画像収集サーバ400から取得する画像を、端末装置340から上記依頼が送信された時間に撮像された画像に限定してもよい。また、解析処理部143は、端末装置340が位置する大まかなエリアがわかる場合には、画像収集サーバ400から取得する画像を、当該エリアに含まれる撮像装置200により撮像された画像に限定してもよい。
次いで、解析処理部143は、端末装置340から発信された上記第1の情報に基づき、画像収集サーバ400から取得した画像のうち少なくとも一部の画像に撮像された被写体の中から、当該端末装置340を保持する対象の特定を試みる。また、このとき解析処理部143は、依頼受付部141から通知された上記第2の情報に基づき、上記第1の情報が示す特徴量を認識してもよい。具体的な一例として、解析処理部143は、所定の発光パターンの光信号が上記第1の情報として発信される場合には、上記第2の情報に基づき当該発光パターンを認識してもよい。
解析処理部143は、取得した画像のうち少なくとも一部の画像から上記対象を特定した場合に、当該対象が特定された画像の撮像元となる撮像装置200の設置位置と、当該画像中の対象の位置とに応じて、当該対象の実空間上における位置を特定する。そして、解析処理部143は、上記対象の実空間上における位置の特定結果を示す情報を、当該対象に関する情報として出力制御部145に出力する。
出力制御部145は、解析処理部143から上記対象の位置の特定結果を示す情報を取得し、当該情報を所定の出力態様で所定の出力先に提示する。具体的な一例として、出力制御部145は、地図上に上記対象の位置が示された地図情報を、所定の出力装置500に送信してもよい。また、この場合には、上記端末装置340が、当該出力装置500を兼ねていてもよい。なお、端末装置340が出力装置500を兼ねる場合のユースケースの一例については、実施例として別途後述する。
以上、図18を参照して、本実施形態に係る情報処理システム4の機能構成の一例について説明した。
<5.3.処理>
続いて、図19を参照して、本実施形態に係る情報処理システム4の一連の処理の流れの一例について、特に、マッチングサーバ140の動作に着目して説明する。図19は、本実施形態に係る情報処理システム4の一連の処理の流れの一例を示したフローチャートである。
前述したように、端末装置340は、所定のトリガに基づき、所定の特徴量を示す第1の情報を外部に発信するとともに、自身(ひいては、当該端末装置340を保持する対象)の位置の特定をマッチングサーバ140に依頼する。即ち、マッチングサーバ140(依頼受付部141)は、端末装置340から位置の特定に関する依頼を受け付けることとなる。また、このときマッチングサーバ140は、端末装置340が外部に発信した上記第1の情報を特定するための上記第2の情報を、当該端末装置340から取得してもよい(S401)。
次いで、マッチングサーバ140(解析処理部143)は、複数の撮像装置200それぞれにより撮像された画像を画像収集サーバ400から取得する。なお、このときマッチングサーバ140は、上記依頼が送信された時間や、依頼元の端末装置340が位置するエリア等に応じて、画像収集サーバ400から取得する画像を限定してもよい。また、マッチングサーバ140は、端末装置340から発信された上記第1の情報に基づき、画像収集サーバ400から取得した画像のうち少なくとも一部の画像に撮像された被写体の中から、当該端末装置340を保持する対象の特定を試みる(S403)。
マッチングサーバ140(解析処理部143)は、取得した画像のうち少なくとも一部の画像から上記対象を特定した場合に、当該対象が特定された画像の撮像元となる撮像装置200の設置位置と、当該画像中の対象の位置とに応じて、当該対象の実空間上における位置を特定する(S405)。
そして、マッチングサーバ140(出力制御部145)は、上記対象の位置の特定結果を示す情報を、所定の出力態様で所定の出力先に提示する。具体的な一例として、マッチングサーバ140は、地図上に上記対象の位置が示された地図情報を、当該対象が保持する端末装置340に送信してもよい。これにより、上記対象は、端末装置340の出力部(例えば、ディスプレイ)等に表示される当該地図情報に基づき、自身の位置を認識することが可能となる。
以上、図19を参照して、本実施形態に係る情報処理システム4の一連の処理の流れの一例について、特に、マッチングサーバ140の動作に着目して説明した。
<5.4.実施例>
続いて、図20及び図21を参照して、本実施形態に係る情報処理システムの一実施例について説明する。図20及び図21は、本実施形態に係る情報処理システムの一実施例について説明するための説明図である。なお、本実施例では、所謂スマートフォンやタブレット端末等のような携行可能な情報処理装置を、上述した端末装置340及び出力装置500として利用する場合のユースケースの一例について説明する。
まず、図20を参照して、ユーザUgが、端末装置340を介してマッチングサーバ140に位置の特定を依頼する場合の操作イメージの一例について説明する。例えば、図20の左側の図は、ユーザUgが、端末装置340を介してマッチングサーバ140に位置の特定を依頼するためのUI(User Interface)の一例を示している。具体的には、端末装置340は、GNSS等による検出された位置情報に基づき、出力部345(例えば、ディスプレイ等)に現在地を示す地図情報V421を提示している。このような状況下で、例えば、端末装置340は、GNSSの電波を受信することが困難となった場合に、マッチングサーバ140に対して現在地の特定を依頼するためのUIを提示する。具体的な一例として、図20の左側の図に示す例では、端末装置340は、当該UIとして、検索ボタンV423をユーザUgに対して提示している。
次いで、検索ボタンV423が操作されると、端末装置340は、所定のネットワークを介してマッチングサーバ140に現在地の特定を依頼するとともに、所定の特徴量を示す第1の情報を外部に発信する。例えば、図20の右側の図は、端末装置340が、当該第1の情報を発信している状態の一例を示している。具体的には、端末装置340は、出力部345を発光部として利用し、当該出力部345を所定の発光パターンで発光させることで、当該発光パターンの光信号を第1の情報として発信している。より具体的な一例として参照符号V425として示すように、端末装置340は、出力部345全体を発光させるような均一のパターンを、当該発光の輝度を切り替える等により、当該所定の発光パターンの光信号を発信してもよい。これにより、例えば、図15に示すように、端末装置340を保持するユーザUgが、環境カメラ等のような一部の撮像装置200の撮像領域中に位置していると、当該撮像装置200により撮像された画像中に所定の発光パターンで発光する出力部345が映り込む。
また、マッチングサーバ140は、前述したように、各所に設置された撮像装置200により撮像された画像の中から、所定の発光パターンで発光する発光体を特定することで、当該発光体(即ち、上記端末装置340の出力部345)を撮像した撮像装置200を特定する。次いで、マッチングサーバ140は、特定した撮像装置200の設置位置と、当該撮像装置200により撮像された画像中の上記発光体の位置とに応じて、端末装置340の位置(即ち、実空間上の位置)を特定する。
そして、マッチングサーバ140は、端末装置340の位置(換言すると、当該端末装置340を保持するユーザUfの位置)の特定結果が所定の出力態様で提示された情報を、当該端末装置340の出力部435を介してユーザUfに提示する。例えば、図21は、端末装置340の位置の特定結果が提示された情報の一例を示している。具体的には、図21に示す例では、端末装置340は、マッチングサーバ140から送信される自身の位置(即ち、現在地)の特定結果を示す情報に基づき、現在地を示す地図情報V431を出力部345に提示している。また、このとき端末装置340は、ユーザUfの現在地(即ち、図17において参照符号P43で示された位置)を示すマーカを、地図情報V431に重畳して提示してもよい。
以上、図20及び図21を参照して、本実施形態に係る情報処理システムの一実施例について説明した。なお、図20及び図21を参照して上述した例はあくまで一例であり、マッチングサーバ140への現在地の特定の依頼方法や、端末装置340を介した現在地の特定結果の提示方法は、必ずしも上述した例のみには限定されない。
<5.5.評価>
以上説明したように、本実施形態に係る情報処理システム4では、マッチングサーバ140は、端末装置340から発信される所定の特徴量を示す第1の情報に基づき、各所に設置された撮像装置200の中から、当該端末装置340を撮像した撮像装置200を特定する。そして、マッチングサーバ140は、端末装置340を撮像した撮像装置200の設置位置と、当該撮像装置200により撮像された画像中の当該端末装置340の位置とに基づき、当該端末装置340の実空間上における位置を特定する。
以上のような構成により、例えば、地下街等のようなGNSS等に利用して現在地を特定することが困難な場所においても、各所に設置された環境カメラを利用することで、端末装置340を保持する所定の対象の位置を特定するサービスを提供することが可能となる。
なお、上記では、端末装置340が光信号を発信することで、マッチングサーバ140が、当該端末装置340を保持する対象を画像中から特定する例について説明した。一方で、マッチングサーバ140が、上記端末装置340を保持する対象を画像中から特定することが可能であれば、その方法は特に限定されない。例えば、端末装置340が、自身を装着するユーザに対して手を振る等の所定のジェスチャの実行を促すことで、当該ユーザに当該ジェスチャを実行させてもよい。この場合には、マッチングサーバ140は、各撮像装置200により撮像された画像中から、上記ジェスチャを実行する被写体を、上記端末装置340を保持する対象として特定してもよい。
<<6.その他の応用例>>
続いて、本開示の一実施形態に係る情報処理システムの応用例について説明する。
<6.1.応用例1:ネットワークサービスとの連携>
まず、応用例1として、本開示の一実施形態に係る情報処理システムを、動画像や静止画像等の画像データを配信または販売するネットワークサービスと連携させる場合の一例について説明する。例えば、図22は、応用例1に係る情報処理システムの概要について説明するための説明図である。
図22に示すように、あるユーザ(ここでは、ユーザUjとする)が自身のカメラで撮影した画像V511の背景に、他のユーザ(ここで、ユーザUkとする)が映り込むような場合がある。このような画像を対象として画像データを配信または販売するようなネットワークサービスと、本開示の一実施形態に係る情報処理システムとを連携させることで、所定の対象が撮像された画像を検索して提示するサービスを提供することが可能となる。
具体的な一例として、マッチングサーバ100は、ユーザUkが保持していた端末装置300から発信された情報(即ち、所定の特徴量を示す情報)を検索条件として、当該ユーザUkが被写体として撮像された画像を、所定のサーバに保持された画像の中から特定することが可能である。また、このときマッチングサーバ100は、ユーザUkの行動に関する情報(例えば、いつ、どこに居たか等)に基づき、検索対象となる画像の範囲を限定することも可能である。
このような構成により、例えば、ユーザUkは、画像データを販売するネットワークサービス上で、面識のないユーザUjにより撮影された画像の中から、自身が被写体として映り込んだ画像を検索し、当該画像を購入することも可能となる。
以上、応用例1として、図22を参照して、本開示の一実施形態に係る情報処理システムを、動画像や静止画像等の画像データを配信または販売するネットワークサービスと連携させる場合の一例について説明した。
<6.2.応用例2:音声データの記録結果の抽出>
続いて、応用例2として、本開示の一実施形態に係る情報処理システムを、音声データの記録結果の抽出に利用する場合の一例について説明する。例えば、図23は、応用例2に係る情報処理システムの概要について説明するための説明図である。
図23は、部屋の中等の所定の空間を鉛直上方から見た場合の概略図である。即ち、図23に示す例では、所定の空間の各所に、環境カメラ等のような撮像装置200が設置されており、当該空間内の各所の画像が各撮像装置200により撮像されている。また、当該空間内の各所には、マイクロフォン等のような集音装置250が設置されており、音声や環境音等のような周囲の音響を集音している。
このような構成の基で、本応用例では、マッチングサーバ100は、端末装置300を保持する所定の対象の位置を特定することで、当該対象が発話した音声を、各集音装置250により集音された音響データの中から抽出する。
具体的には、まずマッチングサーバ100は、第4の実施形態として前述した方法に基づき、所定の空間内における所定の対象(即ち、端末装置300を保持した対象)の位置を特定する。例えば、図23に示す例の場合には、マッチングサーバ100は、ユーザUnが保持する端末装置300から発信される所定の特徴量を示す情報に基づき、撮像装置200m及び200nにより、当該ユーザUnが撮像されていることを認識する。これにより、マッチングサーバ100は、当該空間内におけるユーザUnの位置を特定することが可能となる。また、画像解析により、ユーザUnと会話をしている他のユーザの位置を特定することも可能である。
次いで、マッチングサーバ100は、ユーザUnの位置の特定結果に応じて、当該ユーザUnの周囲に位置する集音装置250a~250dを特定し、当該集音装置250a~250dによる音響の集音結果に基づき、ユーザUnが発話した音声を抽出する。具体的には、マッチングサーバ100は、集音装置250a~250dをマイクアレイとして利用した音響解析(例えば、ビームフォーミング等)に基づき、集音装置250a~250dによる音響の集音結果に含まれる雑音成分を抑制することで、ユーザUnの音声を抽出すればよい。また、同様の手法により、ユーザUnと会話をしている他のユーザの音声を抽出することも可能である。これにより、例えば、多くの音源や話者が混在するような空間内(例えば、室内)での会話を、より明瞭に聴取可能な態様で抽出することが可能となる。
なお、音声や音響を集音する複数の集音装置250のうち、少なくとも一部の集音装置250は、所定の位置に定常的に設置されたものでなくてもよい。具体的な一例として、複数の集音装置250のうち少なくとも一部の集音装置250として、各ユーザが装着したウェアラブル端末に設けられた集音装置が利用されてもよい。この場合には、各ウェアラブル端末に設けられた集音装置の位置は、当該ウェアラブル端末を装着したユーザの位置の特定結果に基づき、特定することが可能である。
また、各ユーザが保持する端末装置300それぞれから発信される特徴量に関する情報に応じて、所定の空間内に各所に位置するユーザを個別に認識することも可能である。そのため、例えば、各ユーザが装着しているウェアラブル端末を個別に識別し、当該ウェアラブル端末の集音装置により集音された音声を個別に抽出することも可能となる。また、各ユーザを個別に認識することが可能なため、当該ユーザが装着しているウェアラブル端末の集音装置による集音結果に基づく音声データへのアクセスを、当該ユーザが許可するか否かに応じて制御することも可能となる。
以上、応用例2として、図23を参照して、本開示の一実施形態に係る情報処理システムを、音声データの記録結果の抽出に利用する場合の一例について説明する。
<6.3.応用例3:ユーザの動線の特定>
続いて、応用例3として、本実施形態に係る情報処理システムを、ユーザの動線の特定に利用する場合の一例ついて説明する。
前述したように、本開示の一実施形態に係る情報処理システムに依れば、例えば、地下街やショッピングモール内のように、GNSS等により位置を特定することが困難な状況においても、端末装置300を保持するユーザの位置を特定することが可能である。また、各端末装置300から発信される所定の特徴量に関する情報に基づき、当該端末装置300を保持する対象(例えば、ユーザ)を個々に識別することが可能である。そのため、各撮像装置200により撮像された画像から、例えば、画像認識等の認識技術を利用してユーザの顔や服装等に基づき当該ユーザを特定する場合に比べて、各ユーザをより正確に特定することが可能である。
このような特性を利用することで、例えば、端末装置300を保持するユーザの位置の変化を追尾し、当該ユーザの動線を特定することも可能となる。特に、本開示の一実施形態に係る情報処理システムに依れば、群衆の中に対象となるユーザが存在するような状況においても、当該ユーザを特定することが可能である。そのため、例えば、地下街やショッピングモールのように通行量の多い空間においても、所定のユーザの動線をより正確に特定することが可能となる。
なお、本応用例においては、個々のユーザを識別することが可能であれば、必ずしもユーザ個人が特定されなくてもよい。また、各ユーザの動線の特定結果を、当該ユーザに関する他の情報と関連付けてもよい。例えば、各ユーザの動線の特定結果に対して当該ユーザが発話した音声が関連付けられることで、複数のユーザの動線が交わるタイミングで当該複数のユーザそれぞれが発話した音声を、当該複数のユーザ間の会話の内容として抽出することも可能となる。
以上、応用例3として、本実施形態に係る情報処理システムを、ユーザの動線の特定に利用する場合の一例ついて説明した。
<6.4.応用例4:システム構成の一例>
続いて、応用例4として、本開示の一実施形態に係る情報処理システムのシステム構成の他の一例について説明する。
上述した各実施形態に係る情報処理システムは、複数の撮像装置200それぞれにより撮像された画像中から、端末装置300を保持する対象を特定することが可能であれば、当該特定に係る処理の主体は特に限定されず、システム構成も図1に示す例には限定されない。
例えば、図24は、応用例4に係る情報処理システムのシステム構成の一例について説明するための説明図である。図24に示す例では、複数の撮像装置200(例えば、撮像装置200a~200e)に対して、マッチングサーバ100に相当する構成(例えば、処理ユニット)を設けた場合の一例を示している。図24において、参照符号100a~100eは、撮像装置200a~200eそれぞれに設けられたマッチングサーバ100に相当する構成を模式的に示している。
図24に示すような構成の基で、例えば、撮像装置200a~200eそれぞれが、自身が撮像した画像から端末装置300を保持する対象の特定を個々に実行し、特定結果を当該撮像装置200a~200e間で共有してもよい。また、他の一例として、撮像装置200a~200e間による分散処理により、上述したマッチングサーバ100に相当する機能が実現されてもよい。
また、撮像装置200a~200e間を接続するネットワークの種別についても特に限定されない。具体的な一例として、撮像装置200a~200eのそれぞれが、サーバ等を介さずに他の撮像装置200と間で個別にネットワークを構築してもよい。より具体的な一例として、撮像装置200a~200eが、所謂アドホックネットワークを構築している場合の例が挙げられる。また、他の一例として、撮像装置200a~200eが、インターネット、LAN、WAN等のような所定のネットワークを介して接続されていてもよい。
もちろん、上述した例はあくまで一例であり、前述した各実施形態に係る情報処理システムの各機能を実現することが可能であれば、当該情報処理システムの構成は特に限定されない。具体的な一例として、マッチングサーバ100に含まれる各構成のうち一部の構成(例えば、図3に示す、解析処理部103、出力制御部105等)を、画像収集サーバ400側に設けてもよい。また、画像収集サーバ400と一部の撮像装置200とが一体的に構成されていてもよい。
以上、応用例4として、図24を参照して、本開示の一実施形態に係る情報処理システムのシステム構成の他の一例について説明した。
<<7.ハードウェア構成>>
続いて、図25を参照しながら、前述したマッチングサーバ100、端末装置300、及び画像収集サーバ400のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図25は、本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る通信システムを構成する情報処理装置900は、主に、CPU901と、ROM902と、RAM903と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM902、RAM903、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。例えば、図3に示す端末情報収集部101、解析処理部103、及び出力制御部105は、CPU901により構成され得る。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インターフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図3に示す出力装置500の出力部(例えば、ディスプレイ等)は、出力装置917により構成され得る。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。例えば、図3に示す記憶部401は、ストレージ装置919により構成され得る。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM903に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア又はBlu-ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る通信システムを構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図25では図示しないが、情報処理システムを構成する情報処理装置900に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。
<<8.むすび>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記では、端末装置300を保持するユーザ(即ち、人物)を対象として、複数の撮像装置200により撮像された画像中から、当該対象を特定する場合の例に着目して説明した。一方で、端末装置300から発信される所定の特徴量に関する情報に基づき、当該端末装置300を保持する対象を特定することが可能であれば、当該対象は必ずしも人物には限定されない。具体的な一例として、移動体(例えば、車両等)、動物(例えば、ペットや家畜等)のようなに、移動を伴う様々な固体を、画像中から特定する対象として扱うことも可能である。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得する取得部と、
互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定する特定部と、
前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示する制御部と、
を備える、情報処理装置。
(2)
前記取得部は、前記対象の位置に関する情報を取得し、
前記特定部は、前記対象の位置に関する情報に応じて、前記複数の撮像装置のうち少なくとも一部の撮像装置を特定し、特定した当該撮像装置により撮像された前記画像中から前記対象を特定する、
前記(1)に記載の情報処理装置。
(3)
前記特定部は、時間ごとの前記対象の位置に関する情報に応じて、特定した前記撮像装置により当該時間に撮像された前記画像中から前記対象を特定する、前記(2)に記載の情報処理装置。
(4)
前記取得部は、前記特徴量に関する情報として、前記端末装置の動きの検出結果に応じた情報を、前記端末装置から取得し、
前記特定部は、前記端末装置の動きの検出結果と、前記画像の解析結果と、に基づき、当該画像中から前記対象を特定する、
前記(2)または(3)に記載の情報処理装置。
(5)
前記取得部は、前記特徴量に関する情報として、前記端末装置から発信される所定の信号のパターンに応じた情報を取得し、
前記特定部は、前記信号のパターンに応じた情報に基づき、当該画像中から前記対象を特定する、
前記(2)または(3)に記載の情報処理装置。
(6)
前記信号は、光信号であり、
前記取得部は、前記画像中から前記光信号を検出することで、当該光信号の発光パターンに応じた情報を、前記特徴量に関する情報として取得し、
前記特定部は、前記発光パターンに応じた情報に基づき、前記画像中から前記前記対象を特定する、
前記(5)に記載の情報処理装置。
(7)
前記取得部は、前記複数の撮像装置のうち少なくとも一部の撮像装置から発信される情報の記録結果を前記端末装置から取得し、
前記特定部は、取得された前記記録結果に基づき、前記少なくとも一部の撮像装置により撮像された前記画像中から前記対象を特定する、
前記(1)に記載の情報処理装置。
(8)
前記取得部は、所定の情報が関連付けられた前記記録結果を前記端末装置から取得し、
前記特定部は、前記記録結果と、前記所定の情報と、に基づき前記対象を撮像した前記撮像装置を特定し、特定した前記撮像装置により撮像された前記画像中から前記対象を特定する、
前記(7)に記載の情報処理装置。
(9)
前記所定の情報は、時間情報を含み
前記特定部は、前記時間情報と前記記録結果とに基づき、当該時間情報が示す時間に前記対象を撮像した前記撮像装置を特定し、特定した前記撮像装置により撮像された前記画像中から前記対象を特定する、
前記(8)に記載の情報処理装置。
(10)
前記少なくとも一部の撮像装置から発信される情報は、当該撮像装置を識別するための情報である、前記(7)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記取得部は、前記複数の撮像装置のうち、少なくとも一部の撮像装置により撮像された画像の解析結果に基づき、前記特徴量に関する情報を取得し、
前記特定部は、取得された前記特徴量に関する情報に基づく前記画像中からの前記対象の特定結果と、当該画像を撮像した前記撮像装置の位置に関する情報と、に基づき、前記対象の位置に関する情報を取得する、
前記(1)に記載の情報処理装置。
(12)
前記制御部は、取得された前記対象の位置に関する情報を、前記対象に関する情報として所定の出力先に提示する、前記(11)に記載の情報処理装置。
(13)
前記制御部は、取得された前記対象の位置に関する情報に応じて、当該位置に対応する他の装置により取得された当該対象に関する情報を所定の出力先に提示する、前記(11)または(12)に記載の情報処理装置。
(14)
前記他の装置は、音声を集音する集音装置であり、
前記制御部は、取得された前記対象の位置に関する情報に応じて、当該位置に対応する1以上の前記集音装置による当該対象の音声の集音結果を、当該対象に関する情報として所定の出力先に提示する、前記(13)に記載の情報処理装置。
(15)
前記制御部は、前記画像中からの前記対象の特定結果に応じて、当該画像に対するアクセスを制限する、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
前記制御部は、前記複数の撮像装置のうち少なくとも一部の撮像装置により撮像された少なくとも1以上の画像に対するアクセスを、当該1以上の画像のうち少なくとも一部の画像中から特定された1以上の前記対象に関連するユーザに制限する、前記(15)に記載の情報処理装置。
(17)
前記制御部は、前記画像中からの前記対象の特定結果に応じて、当該画像に対して画像処理を施す、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記複数の撮像装置のうち少なくとも一部の撮像装置は、所定の位置に定常的に設置されている、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
コンピュータが、
所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得することと、
互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、
前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、
を含む、情報処理方法。
(20)
コンピュータに、
所定の対象が保持する端末装置から発信される当該対象を特定するための特徴量に関する情報を取得することと、
互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、
前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、
を実行させる、プログラム。
1、2、4 情報処理システム
100、120、140 マッチングサーバ
101、121 端末情報収集部
103、123、143 解析処理部
105、125、145 出力制御部
141 依頼受付部
200 撮像装置
250 集音装置
300、320、340 端末装置
301、321、341 特徴情報発信部
303 位置情報取得部
325 信号受信部
345 出力部
400 画像収集サーバ
401 記憶部
435 出力部
500 出力装置

Claims (7)

  1. 所定の対象が保持する端末装置から発信される所定の信号のパターンを持つ光信号を検出することで、所定の信号のパターンに応じた情報を、当該対象を特定するための特徴量に関する情報として取得し、且つ、前記対象の位置に関する情報を取得する取得部と、
    前記対象の位置に関する情報に応じて、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置を特定し、特定した当該撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定する特定部と、
    前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示する制御部と、
    を備え、
    前記光信号は、前記端末装置が前記撮像装置の撮像領域に侵入したことを検知した場合に、発信される、
    情報処理装置。
  2. 前記制御部は、前記画像中からの前記対象の特定結果に応じて、当該画像に対するアクセスを制限する、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記複数の撮像装置のうち少なくとも一部の撮像装置により撮像された少なくとも1以上の画像に対するアクセスを、当該1以上の画像のうち少なくとも一部の画像中から特定された1以上の前記対象に関連するユーザに制限する、請求項2に記載の情報処理装置。
  4. 前記制御部は、前記画像中からの前記対象の特定結果に応じて、当該画像に対して画像処理を施す、請求項1に記載の情報処理装置。
  5. 前記複数の撮像装置のうち少なくとも一部の撮像装置は、所定の位置に定常的に設置されている、請求項1~4のいずれか1つに記載の情報処理装置。
  6. コンピュータが、
    所定の対象が保持する端末装置から発信される所定の信号のパターンを持つ光信号を検出することで、所定の信号のパターンに応じた情報を、当該対象を特定するための特徴量に関する情報として取得し、且つ、前記対象の位置に関する情報を取得することと、
    前記対象の位置に関する情報に応じて、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置を特定し、特定した当該撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、
    前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、
    を含み、
    前記光信号は、前記端末装置が前記撮像装置の撮像領域に侵入したことを検知した場合に、発信される、
    情報処理方法。
  7. コンピュータに、
    所定の対象が保持する端末装置から発信される所定の信号のパターンを持つ光信号を検出することで、所定の信号のパターンに応じた情報を、当該対象を特定するための特徴量に関する情報として取得し、且つ、前記対象の位置に関する情報を取得することと、
    前記対象の位置に関する情報に応じて、互いに異なる位置に設置された複数の撮像装置のうち少なくとも一部の撮像装置を特定し、特定した当該撮像装置により撮像された画像中から、前記特徴量に関する情報に基づき前記対象を特定することと、
    前記画像中からの前記対象の特定結果に応じて、当該対象に関する情報を所定の出力先に提示することと、
    を実行させる、プログラムであって、
    前記光信号は、前記端末装置が前記撮像装置の撮像領域に侵入したことを検知した場合に、発信される、
    プログラム。
JP2019501060A 2017-02-22 2017-11-30 情報処理装置、情報処理方法、及びプログラム Active JP7192764B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017030858 2017-02-22
JP2017030858 2017-02-22
PCT/JP2017/043011 WO2018154902A1 (ja) 2017-02-22 2017-11-30 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018154902A1 JPWO2018154902A1 (ja) 2019-12-26
JP7192764B2 true JP7192764B2 (ja) 2022-12-20

Family

ID=63253197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501060A Active JP7192764B2 (ja) 2017-02-22 2017-11-30 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11514600B2 (ja)
JP (1) JP7192764B2 (ja)
CN (1) CN110291516A (ja)
WO (1) WO2018154902A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7000401B2 (ja) * 2019-11-21 2022-01-19 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP7521198B2 (ja) 2020-02-10 2024-07-24 カシオ計算機株式会社 画像再生装置、画像再生システム、画像再生方法及びプログラム
WO2021193053A1 (ja) * 2020-03-24 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7335205B2 (ja) * 2020-06-16 2023-08-29 Kddi株式会社 位置推定システム、方法及びプログラム並びに位置照合サーバ
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Jvcケンウッド 撮像装置および撮像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112074A (ja) 2000-09-29 2002-04-12 Casio Comput Co Ltd 撮影画像管理システムおよび記録媒体
JP2010238196A (ja) 2009-03-31 2010-10-21 Fujitsu Ltd 画像処理プログラム、画像処理装置および画像処理方法
WO2014054342A1 (ja) 2012-10-05 2014-04-10 ソニー株式会社 コンテンツ取得装置、携帯装置、サーバ、情報処理装置及び記憶媒体
JP2015041194A (ja) 2013-08-21 2015-03-02 株式会社Nttドコモ ユーザ観察システム
WO2015186447A1 (ja) 2014-06-03 2015-12-10 ソニー株式会社 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0474285A (ja) 1990-07-17 1992-03-09 Medama Kikaku:Kk 特定人又は物の位置検出表示装置
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP2009049518A (ja) 2007-08-14 2009-03-05 Sony Corp 監視装置、監視システム及び映像検索方法
WO2011161307A1 (en) * 2010-06-23 2011-12-29 Nokia Corporation Method, apparatus and computer program product for tracking face portion
JP5780569B1 (ja) * 2014-03-19 2015-09-16 株式会社 テクノミライ デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
CN106164994A (zh) * 2014-04-09 2016-11-23 株式会社技术未来 数字损失/事故防御***、方法和程序
EP3239947A4 (en) * 2014-12-22 2018-08-29 Technomirai Co., Ltd Digital find security system, method, and program
JP2016218766A (ja) * 2015-05-21 2016-12-22 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US9609197B1 (en) * 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112074A (ja) 2000-09-29 2002-04-12 Casio Comput Co Ltd 撮影画像管理システムおよび記録媒体
JP2010238196A (ja) 2009-03-31 2010-10-21 Fujitsu Ltd 画像処理プログラム、画像処理装置および画像処理方法
WO2014054342A1 (ja) 2012-10-05 2014-04-10 ソニー株式会社 コンテンツ取得装置、携帯装置、サーバ、情報処理装置及び記憶媒体
JP2015041194A (ja) 2013-08-21 2015-03-02 株式会社Nttドコモ ユーザ観察システム
WO2015186447A1 (ja) 2014-06-03 2015-12-10 ソニー株式会社 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム

Also Published As

Publication number Publication date
WO2018154902A1 (ja) 2018-08-30
US20210295550A1 (en) 2021-09-23
JPWO2018154902A1 (ja) 2019-12-26
US11514600B2 (en) 2022-11-29
CN110291516A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10460587B2 (en) Information processing apparatus, information processing method, and program
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
US9436875B2 (en) Method and apparatus for semantic extraction and video remix creation
JP5898378B2 (ja) 情報処理装置およびアプリケーション実行方法
US20070228159A1 (en) Inquiry system, imaging device, inquiry device, information processing method, and program thereof
BR102014026563A2 (pt) sistema para rastrear um ou mais objetos, e, método para rastrear uma pluralidade de objetos por um dispositivo controlador
JPWO2018198373A1 (ja) 映像監視システム
JPWO2015186447A1 (ja) 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム
JP6799779B2 (ja) 監視映像解析システム及び監視映像解析方法
CN102708120A (zh) 生活流式传输
EP2892222A1 (en) Control device and storage medium
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
JP2018132803A (ja) 人物検出システム
JP3835771B2 (ja) コミュニケーション装置及びコミュニケーション方法
WO2016088611A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Kim et al. Beginning of a new standard: Internet of Media Things
CN106564059B (zh) 一种家庭机器人***
US10719543B2 (en) Information processing apparatus, information processing method, and program
JP2014154129A (ja) 装備認識システム
JP7124281B2 (ja) プログラム、情報処理装置、画像処理システム
JP2015138534A (ja) 電子機器
JP2010114544A (ja) インターホンシステム、来訪者受付プログラムおよび来訪者受付方法
US20190373224A1 (en) Collection system, program for terminal, and collection method
US20230245456A1 (en) Information processing terminal and remote control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R151 Written notification of patent or utility model registration

Ref document number: 7192764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151