JP6773037B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6773037B2
JP6773037B2 JP2017534116A JP2017534116A JP6773037B2 JP 6773037 B2 JP6773037 B2 JP 6773037B2 JP 2017534116 A JP2017534116 A JP 2017534116A JP 2017534116 A JP2017534116 A JP 2017534116A JP 6773037 B2 JP6773037 B2 JP 6773037B2
Authority
JP
Japan
Prior art keywords
radio wave
wave information
information
suspicious person
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017534116A
Other languages
English (en)
Other versions
JPWO2017026155A1 (ja
Inventor
井原 圭吾
圭吾 井原
宮島 靖
靖 宮島
敦 塩野崎
敦 塩野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017026155A1 publication Critical patent/JPWO2017026155A1/ja
Application granted granted Critical
Publication of JP6773037B2 publication Critical patent/JP6773037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19669Event triggers storage or change of storage policy
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673Addition of time stamp, i.e. time metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008Alarm setting and unsetting, i.e. arming or disarming of the security system

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Emergency Alarm Devices (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
情報通信技術の発達に伴い、周囲に無数の電波が存在する状況となっている。このような無数の電波のうち、携帯電話端末用の無線基地局から送信される基地局の識別情報(ID情報)を利用して、使用者の移動経路を学習する携帯電話端末が提案されている(例えば以下の特許文献1を参照。)。
特開2000−224643号公報
しかしながら、上記特許文献1に開示されている技術では、携帯電話端末用の無線基地局という特定の位置に設置された電波発信源から発信されるID情報を利用しているのみであり、周囲に無数に存在する電波のうち限られた一部の電波を利用しているのみであって、無線基地局が存在しない場所では利用することができない。
そのため、周囲に無数に存在する電波を効果的に利用して、ユーザの利便性を更に向上させることが可能な技術が希求されているという現状にある。
そこで、本開示では、上記事情に鑑みて、周囲に存在する電波を利用して、ユーザの利便性を更に向上させることが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える情報処理装置が提供される。
また、本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御することを含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する機能を実現させるためのプログラムが提供される。
本開示によれば、所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とが対応づけて記録され、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理が制御される。
以上説明したように本開示によれば、周囲に存在する電波を利用して、ユーザの利便性を更に向上させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示の各実施形態に係る情報処理装置について説明するための説明図である。 本開示の各実施形態に係る情報処理装置の構成の一例を示したブロック図である。 本開示の各実施形態に係る情報処理装置の構成の一例を示したブロック図である。 本開示の第1の実施形態に係る情報処理装置で用いられる行動範囲電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる不審者電波情報候補データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる不審者電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第2の実施形態に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置で用いられる対応付けデータベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる電波情報データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる撮像画像データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第3の実施形態に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置が制御する住宅管理システムについて説明するための説明図である。 同実施形態に係る情報処理装置で用いられる家庭内端末データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で用いられる家庭内端末候補データベースのデータ構造の一例を示した説明図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の各実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置について
1.1.情報処理装置と他の機器との関係について
1.2.情報処理装置の構成について
2.第1の実施形態(電波情報を用いた不審者特定処理)
2.1.電波情報による不審者の特定処理について
2.2.電波情報の解析処理について
2.3.情報処理方法の流れについて
3.第2の実施形態(電波情報を用いた監視カメラ撮像画像の抽出処理)
3.1.電波情報による監視カメラ撮像画像の抽出処理について
3.2.電波情報の解析処理について
3.3.情報処理方法の流れについて
4.第3の実施形態(電波情報を用いた住居管理処理)
4.1.電波情報による住居管理処理について
4.2.電波情報の解析処理について
4.3.情報処理方法の流れについて
(情報処理装置について)
以下では、本開示の各実施形態に係る情報処理装置について、詳細に説明する。
<情報処理装置と他の機器との関係について>
まず、図1を参照しながら、本開示の各実施形態に係る情報処理装置と他の機器との関係について、簡単に説明する。図1は、本開示の各実施形態に係る情報処理装置について説明するための説明図である。
本開示の各実施形態に係る情報処理装置10は、情報処理装置10の周囲に存在している電波に関する電波情報を取得し、得られた電波情報を解析する。これにより、本開示の各実施形態に係る情報処理装置10は、情報処理装置10の周囲に存在している電波について、学習することができる。その後、本開示の各実施形態に係る情報処理装置10は、解析(学習)の結果、所定の条件を満足した電波情報に特に着目し、かかる所定の電波情報に基づいて、ユーザに対して所定の機能を提供する機能提供処理を制御する。
このような機能を有する情報処理装置10は、ある場所に据え置かれた固定型の機器であってもよいし、例えばユーザ等が所持して持ち運ぶことが可能な携帯型の機器であってもよい。
この情報処理装置10が取得する電波情報の発信源としては、例えば図1に示したように、監視カメラ1A及び電波モニタノード1Bから構成される撮像システム1や、デスクトップ型やノートブック型等の各種のパーソナルコンピュータ2や、各種の携帯電話やスマートフォン3や、各種のタブレット端末4や、各種のウェアラブル端末5等を挙げることができる。また、これらの機器以外にも、携帯型音楽プレーヤー等を含む各種のAV機器や、携帯型ゲーム機等といった、公知の電化製品を挙げることができる。これらの電波情報の発信源となる電化製品は、所定の電波を発信する端末として捉えることができる。
ここで、情報処理装置10が上記のような各種の端末から取得する電波情報は、情報処理装置10又は情報処理装置10に接続された電波モニタノード等が観測した、様々な電波(例えば、Wi−FiやBluetooth(登録商標)等といった無線LAN通信などの、各種の無線通信に用いられる電波)に関する各種の情報を含む。このような電波情報には、例えば、検出された電波を特徴づける各種の特徴量(例えば、検出される電波に固有の情報であるMACアドレスのような識別情報や、電界強度等)が記載されている。
また、情報処理装置10は、上記のような電波情報以外にも、上記のような各種の端末が取得したり、生成したりする各種の情報を適宜利用することが可能である。
更に、情報処理装置10は、インターネット等の各種のネットワークを介して相互に接続された各種サーバ20と連携して、電波情報の解析処理を行ったり、所定の機能提供処理を実現したりすることが可能である。例えば、情報処理装置10は、各種サーバ20が実現しているソーシャルネットワーク等に含まれる各種のユーザ情報等を利用したり、各種サーバ20が保持している各種の情報を利用したり、これら各種の情報を利用して各種の演算処理を行って、二次的に各種のデータを生成したりすることが可能である。
なお、図1では、情報処理装置10が、図1に示した各種の端末と異なる機器であるかのように図示しているが、図1に示した各種の端末に本実施形態に係る情報処理装置10の機能が実現されていてもよいことは言うまでもない。
<情報処理装置の構成について>
次に、図2A及び図2Bを参照しながら、本開示の実施形態に係る情報処理装置10の構成について、詳細に説明する。図2A及び図2Bは、本開示の実施形態に係る情報処理装置10の構成の一例を模式的に示したブロック図である。
本開示の各実施形態に係る情報処理装置10は、図2Aに示したように、データ取得部101と、データ記録部103と、記憶部105と、解析部107と、統括制御部109と、表示制御部111と、を主に備える。
なお、以下では、本開示の各実施形態に係る情報処理装置10が、電波情報のデータ(電波情報データ)や、その他のデータを格納する記憶装置を内部に有している場合を例に挙げて説明を行うが、これらデータを格納する記憶装置が情報処理装置10の外部に設けられていてもよいことは言うまでもない。また、以下で詳細に説明するデータ取得部101と、データ記録部103と、記憶部105と、解析部107と、統括制御部109と、表示制御部111と、は、インターネット等の各種ネットワーク上に存在している複数の情報処理装置に分散して設けられており、複数の情報処理装置が互いに連携することで、本実施形態に係る情報処理装置10の機能を実現してもよい。
データ取得部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。データ取得部101は、図1に示したような各種の端末から送信された電波情報及びタイムスタンプを取得する。また、データ取得部101は、図1に示したような各種の端末から、例えば位置情報や撮像画像に関するデータ等といったその他のデータと、タイムスタンプと、を取得する。すなわち、データ取得部101は、情報処理装置10と、図1に示したような各種の端末と、の間の通信をそれぞれ実現する通信部として機能する。また、取得した電波情報データ及びタイムスタンプ、並びに、その他のデータ及びタイムスタンプは、後述するデータ記録部103に伝送される。
データ記録部103は、例えば、CPU、ROM、RAM等により実現される。データ記録部103は、データ取得部101から伝送された電波情報データ及びタイムスタンプを互いに関連付けた上で、後述する記憶部105の所定の場所に格納する。また、データ記録部103は、データ取得部101から伝送されたその他のデータ及びタイムスタンプを互いに関連付けた上で、後述する記憶部105の所定の場所に格納する。これにより、後述する記憶部105には、各種の端末から随時出力された電波情報データやその他のデータが、蓄積されていく。
記憶部105は、例えば本実施形態に係る情報処理装置10が備えるRAMやストレージ装置等により実現される。記憶部105には、本実施形態に係る情報処理装置10が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。特に、この記憶部105には、所定の環境で観測される電波に関する情報である電波情報が、当該電波情報に関連する関連情報と対応付けられて、データベースとして記録されている。このような各種の情報が格納されている記憶部105は、データ取得部101、データ記録部103、解析部107、統括制御部109、表示制御部111等が、データのリード/ライト処理を自由に行うことが可能である。
解析部107は、例えば、CPU、ROM、RAM等により実現される。解析部107は、情報処理装置10のデータ取得部101によって新たに取得された電波情報を解析し、所定の条件を満足した、新たに取得された電波情報を、当該電波情報に関連する関連情報と対応付けて、上記のデータベースに対して新たに追加する。
なお、かかる解析部107で実施される具体的な処理については、以下の各実施形態に係る情報処理装置10で提供される具体的なサービス(機能)の内容に応じて、改めて詳細に説明する。
統括制御部109は、例えば、CPU、ROM、RAM等により実現される。統括制御部109は、記憶部105等に格納されたデータベースに記録されている電波情報に基づいて、ユーザに対して所定の機能を提供する機能提供処理を制御する。
なお、かかる統括制御部109で実施される具体的な処理については、以下の各実施形態に係る情報処理装置10で提供される具体的なサービス(機能)の内容に応じて、改めて詳細に説明する。
表示制御部111は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部111は、解析部107や統括制御部109が機能することによって生成された各種の情報を、情報処理装置10が備えるディスプレイ等の出力装置や情報処理装置10の外部に設けられた出力装置等に表示する際の表示制御を行う。また、表示制御部111は、ユーザが情報処理装置10に対して各種の入力操作を行う際に用いられる各種の表示画面を、所定の出力装置等に表示する際の表示制御についても実施する。これにより、情報処理装置10のユーザは、所望の情報をその場で閲覧することが可能となる。
なお、図2Aに示した情報処理装置10の構成では、情報処理装置10は、その外部に設けられた各種端末や、未図示の電波モニタノード(電波を検出可能な端末)により検出された電波情報を利用する。しかしながら、本開示の各実施形態に係る情報処理装置10は、例えば、図2Bに示したように、図2Aに示した各処理部に加えて、電波検出部113を更に有していても良い。
電波検出部113は、例えば、CPU、ROM、RAM、通信装置、電波センサ等により実現される。また、電波検出部113は、情報処理装置10に内蔵又は接続された、電波モニタノード等の機器であってもよい。かかる電波検出部113は、図1に示したような各種の端末から発信される各種の電波を検出し、検出した電波を特徴づける各種の特徴量が記載された電波情報を生成する。電波検出部113は、上記のような電波情報を生成すると、生成した電波情報をデータ記録部103に出力する。また、電波検出部113は、検出した各種端末の電波情報を、タイムスタンプと対応付けてデータ記録部103に出力する。
本開示の各実施形態に係る情報処理装置10は、このような電波検出部113を更に有することで、情報処理装置10自体が各種の電波情報を取得することが可能となる。
以上、本開示の各実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本開示の各実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本開示の各実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(第1の実施形態)
以下では、図3〜図9Bを参照しながら、本開示の第1の実施形態に係る情報処理装置について、詳細に説明する。
図3は、本開示の第1の実施形態に係る情報処理装置で用いられる行動範囲電波情報データベースのデータ構造の一例を示した説明図である。図4は、本実施形態に係る情報処理装置で用いられる不審者電波情報候補データベースのデータ構造の一例を示した説明図である。図5は、本実施形態に係る情報処理装置で用いられる不審者電波情報データベースのデータ構造の一例を示した説明図である。図6は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。図7〜図9Bは、本実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。
<電波情報による不審者の特定処理について>
本実施形態に係る情報処理装置10は、図2A又は図2Bに示したような構成を有しており、ユーザが所持してユーザ自身とともに持ち運ぶことが可能な携帯型の装置として実現される。この際に、本実施形態に係る情報処理装置10の一部の機能(例えば、データ取得部101、データ記録部103、表示制御部111、電波検出部113の機能等)は、携帯型の装置として実現し、残りの機能(例えば、記憶部105、解析部107、統括制御部109の機能等)は、携帯型の装置との間で相互の通信が可能なサーバ等に実現してもよい。また、本実施形態に係る情報処理装置10は、例えば、携帯電話、スマートフォン、ノートパソコン、タブレット端末、ウェアラブル端末といった、携帯型の端末の一機能として実現されていてもよい。
本実施形態に係る情報処理装置10では、ユーザが所持する電子機器又は通信機器の周囲で発信される電波に着目する。その上で、本実施形態に係る情報処理装置10は、ユーザによって所持されることで、情報処理装置10の周囲(すなわち、ユーザの周囲)に存在している各種の電波を、電波の検出された位置に関する位置情報や、電波の検出された時間に関するタイムスタンプと関連付けた上で学習していく。特に、本実施形態に係る情報処理装置10は、ユーザの周囲に日常的に存在する各種の電波について学習して、ユーザの周囲に日常的に存在する各種の電波情報(以下、単に「日常電波情報」という。)に関するデータベースを構築する。これにより、本実施形態に係る情報処理装置10は、ユーザの日常的な行動範囲を、電波情報に基づいて特定することができる。本実施形態に係る情報処理装置10は、このデータベースを利用することで、ユーザにとって好ましくない状況をもたらす電波情報(例えば、ストーカー等といったユーザにとっての不審者(以下、単に「不審者」という。)が所持している端末からの電波情報等)を特定する。
すなわち、不審者は、「ユーザを追跡して、ユーザの周囲に存在する」という行動をとることが多い。そこで、本実施形態に係る情報処理装置10は、ユーザの周囲で検出される各種の電波情報のうち、日常電波情報に関するデータベースに登録されていない電波情報を、不審者の候補が所持している端末からの電波情報(以下、単に「不審者電波情報候補」ともいう。)として取り扱う。その上で、本実施形態に係る情報処理装置10は、不審者電波情報候補として登録されている電波情報が、所定の条件を満たすように検出された場合に、該当する不審者電波情報候補を、不審者電波情報に格上げして管理する。これにより、本実施形態に係る情報処理装置10は、不審者の個人情報を利用することなく、電波情報に基づきユーザにとっての不審者を特定することが可能となる。
<電波情報の解析処理について>
以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
まず、図3〜図5を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
図3に、本実施形態に係る記憶部105に格納される、日常電波情報データベース(DB)のデータ構造の一例を模式的に示した。この日常電波情報DBは、ユーザが通勤・通学等の日常的な生活を行うことで取得される電波情報に関して、構築されているデータベースである。この日常電波情報DBには、図3に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データの検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。
ここで、電波情報データが検出された位置に関する位置情報は、情報処理装置10がGPS等の衛星測位システムや各種の無線通信基地局等と連携することで、容易に特定することが可能である。なお、位置情報の記載方法は、図3に示した例に限定されるものではなく、電波情報データの検出された位置が一意に特定可能となる記載方法であれば、任意の記載方法を利用することが可能である。また、タイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
また、日常電波情報DBには、これらの情報以外にも、電波情報そのものを特徴づけることが可能な様々な情報(例えば、位置情報にタグ付けられた、位置の名称に関する情報等)が関連付けられていても良い。
図4に、本実施形態に係る記憶部105に格納される、不審者電波情報候補DBのデータ構造の一例を模式的に示した。この不審者電波情報候補DBは、不審者の候補と考えられる人物が所持している電子機器又は通信機器から発信される電波情報に関して、構築されているデータベースである。この不審者電波情報候補DBには、図4に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データが初めて検出された日時を示すタイムスタンプ、かかる電波情報が検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。また、不審者電波情報候補DBには、上記の情報に加えて、対応する電波情報が検出された回数や、電波情報に関する評価値(不審者らしさの程度を表わす評価値)が関連付けられている。
図5に、本実施形態に係る記憶部105に格納される、不審者電波情報DBのデータ構造の一例を模式的に示した。この不審者電波情報DBは、不審者と考えられる人物が所持している電子機器又は通信機器から発信される電波情報に関して、構築されているデータベースである。この不審者電波情報DBには、図5に模式的に示したように、検出された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データが初めて検出された日時を示すタイムスタンプ、かかる電波情報が検出された日時を示すタイムスタンプ、及び、かかる電波情報データが検出された位置に関する位置情報とそれぞれ互いに関連付けられて、記録されている。また、不審者電波情報DBには、上記の情報に加えて、対応する電波情報が検出された回数や、かかる電波情報に対応する不審者の危険度(すなわち、不審者のランク付け)が関連付けられている。
本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図3〜図5に示したようなデータ構造を有するデータベースを随時参照することで、不審者の候補や不審者に関する情報を取得することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
続いて、図6〜図9Bを参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
本実施形態に係る情報処理装置10の解析部107は、新たな電波情報が取得されると、得られた電波情報を日常電波情報DBに登録するか否か(すなわち、日常電波情報として学習するか否か)を随時判断する。これにより、解析部107は、日常電波情報DBを随時更新して、新しいものを構築していく。
具体的には、解析部107は、新たに取得された電波情報が、図3に示したような、その時点における最新の日常電波情報DBに登録されている電波情報であるか否かを解析する。このような解析は、日常電波情報DBに記録されている電波情報と、新たに取得された電波情報とを比較していくことで、実現することが可能である。
新たに取得された電波情報が、日常電波情報DBに登録されている場合には、解析部107は、日常電波情報DBの更新は行わない。一方、新たに取得された電波情報が、日常電波情報DBに登録されていない場合には、解析部107は、新たに取得された電波情報を、図5に示したような、その時点における最新の不審者電波情報DBに記録されている電波情報であるか否かを解析する。
新たに取得された電波情報が、不審者電波情報DBに登録されている場合には、解析部107は、不審者電波情報DBに登録されている電波が検出された旨を統括制御部109に出力する。一方で、新たに取得された電波情報が、不審者電波情報DBに登録されていない場合には、解析部107は、新たに取得された電波情報が、所定の条件を満足するか否かを判断する。
すなわち、解析部107は、新たに取得された電波情報が、所定の期間遡って検出履歴が存在する電波であるのかを判断する。新たに取得された電波情報が、所定の期間遡って検出履歴がある電波であり、かつ、対応付けられている位置情報から、毎回同じ場所で検出される電波である場合に、解析部107は、新たに取得された電波情報を、日常電波情報DBに登録する。
このような処理を随時実施することで、本実施形態に係る情報処理装置10の解析部107は、図3に示したような日常電波情報DBを更新していくことが可能となる。
以上説明したような処理により、日常電波情報DBが更新されている上で、解析部107及び統括制御部109は、図6に示したような電波情報の解析処理を随時実施する。以下、図6を参照しながら、本実施形態に係る解析部107及び統括制御部109で実施される電波情報の解析処理について、詳細に説明する。
本実施形態に係る解析部107及び統括制御部109では、新たに取得される電波情報を、(1)日常電波情報、(2)不審者電波情報の候補、(3)不審者電波情報、という3つの段階に区分して取り扱う。すなわち、本実施形態に係る解析部107及び統括制御部109では、「日常電波情報に含まれない」という条件を満たす電波情報を、不審者電波情報の候補として取り扱い、「不審者電波情報の候補に含まれる電波情報のうち、所定の条件を満足するもの」を、不審者電波情報として取り扱う。
本実施形態に係る解析部107では、新たに電波情報が取得されると、日常電波情報DBを参照しながら、新たに取得された電波が日常的に検出される電波であるか否かを判断する(判断1)。新たに取得された電波が日常的に検出される電波である場合には、解析部107及び統括制御部109は、新たな電波情報の取得を待ち受ける。
一方、新たに取得された電波が日常的に検出される電波ではない場合、解析部107は、不審者電波情報DBを参照して、新たに取得された電波が不審者電波情報DBに登録されているか否かを判断する(判断2)。着目している電波が、不審者電波情報DBに登録されている場合には、不審者がユーザ(情報処理装置10の所持者)の近傍に存在していると判断できる(処理1)。そこで、解析部107は、新たに取得された電波が不審者電波情報DBに登録されている旨を統括制御部109に出力する。統括制御部109は、かかる情報を受けて、不審者が近傍に存在している旨をユーザに警告する。
この際、解析部107は、上記処理1を実施するに際して、不審者電波情報DBの登録内容(例えば、タイムスタンプ、位置情報、検出回数)を更新する。また、新たに検出された不審者電波情報の検出回数や検出時間等が所定の条件を満足する場合、又は、ユーザによって該当する不審者の危険度レベルが指定された場合等には、解析部107は、不審者電波情報DBの危険度レベルを更新する。
ここで、不審者の危険度レベルの更新方法については、特に限定されるものではなく、任意の方法を採用すればよい。例えば、解析部107は、検出回数が増加する毎に危険度レベルを1つずつ増加させていっても良いし、所定の回数閾値を超える毎に危険度レベルを1つ増加させても良い。また、電波がいつ、どこで検出されたかに応じて重み付け係数を変更して、1回の検出回数が複数回の検出に相当するように調整してもよい。
また、統括制御部109によるユーザへの警告処理の詳細については、特に限定されるものではない。例えば、統括制御部109は、ユーザへの警告処理として、情報処理装置10に実装されたバイブレータを起動させる、所定の警告音を発生させる、予め登録された特定の連絡先(例えば、警察などの公共機関や、両親、親友等)に自動的に電話発振する、等の処理を行えばよい。この際に、統括制御部109は、表示制御部111と連携しながら、図7に示したような表示画面を、情報処理装置10のディスプレイ等に表示させてもよい。
更に、統括制御部109は、不審者電波情報DBに記録されている不審者の危険度レベルに応じて、ユーザに対する警告のタイミングや警告方法を調整してもよい。すなわち、統括制御部109は、危険度レベルが低い不審者については、電波が検出された位置からある程度離れた場所で、バイブレータによる警告を行う一方で、危険度レベルが高い不審者については、電波が検出された時点で、音量が大きく設定された警告音を発生させる、等のように、ユーザに対する警告のタイミングや警告方法を調整してもよい。
一方、新たに取得された電波が不審者電波情報DBに登録されていない場合、解析部107は、不審者電波情報候補DBを参照して、新たに取得された電波が不審者電波情報候補DBに登録されているか否かを判断する(判断3)。着目している電波が、不審者電波情報候補DBに登録されていない場合には、新たに取得された電波は、毎回同じ場所で検出される電波を除いて、不審者電波情報の候補として、不審者電波情報候補DBに登録される(処理2)。
一方、新たに取得された電波が不審者電波情報DBに登録されている場合、解析部107は、不審者電波情報候補DBに登録されている登録内容の更新を行う(処理3)。具体的には、解析部107は、不審者電波情報候補DBの登録内容(例えば、タイムスタンプ、位置情報、検出回数)を更新する。また、解析部107は、検出回数に応じて、不審者電波情報の候補の評価値を更新する。
不審者電波情報の候補の評価値の更新方法は、特に限定されるものではなく、任意の方法を採用すればよい。例えば、解析部107は、検出回数が増加する毎に評価値を1つずつ増加させていっても良いし、所定の回数閾値を超える毎に評価値を1つ増加させても良い。また、電波がいつ、どこで検出されたかに応じて重み付け係数を変更して、1回の検出回数が複数回の検出に相当するように調整してもよい。
解析部107は、登録内容の更新が終了すると、更新後の電波情報が所定の条件を満足するか否かを判断する(判断4)。
このような判断を行うためのパラメータとして、解析部107は、例えば、不審者特定期間、評価値閾値、検出回数閾値等のようなパラメータを有している。ここで、不審者特定期間は、どのくらいの期間を遡って不審者の電波を評価すべきかの期間を表わすパラメータである。また、評価値閾値は、この閾値以上の評価値となった場合に、不審者電波情報の候補を、不審者電波情報として取り扱う旨を指定するパラメータであり、検出回数閾値は、この閾値以上の検出回数となった場合に、不審者電波情報の候補を、不審者電波情報として取り扱う旨を指定するパラメータである。
このようなパラメータを適宜組み合わせることで、例えば、「不審者特定期間(例えば3日)中に、検出回数閾値(例えば、5回)以上検出された電波を、不審者電波情報とする」等のような、判断条件を設定することができる。このような判断条件以外にも、「不審者特定期間中に、評価値閾値以上となった電波」や、「不審者特定期間中に、通勤・通学時間帯等のような特定の時間帯に検出された電波」等のような判断条件を設定することも可能である。
所定の条件を満足する不審者電波情報の候補が存在しない場合、解析部107及び統括制御部109は、新たな電波情報の取得を待ち受ける。一方、所定の条件を満足する不審者情報の候補が存在する場合、解析部107は、該当する電波情報を、不審者電波情報候補DBから削除した上で、不審者電波情報DBに登録する(処理4)。
解析部107及び統括制御部109は、このような処理を随時実施することで、不審な電波情報を登録・更新していくことが可能となる。なお、以上のような処理が実施される場合、単なる通りすがりの人々が所持している機器からの電波は、一度、不審者電波情報の候補として、不審者電波情報候補DBに登録される。しかしながら、不審者特定期間が経過した際に、評価値が閾値未満であれば、該当する電波情報を、不審者電波情報候補DBから削除すればよい。これにより、単なる通りすがりの人々が不審者として登録されてしまう可能性を排除することができる。
また、解析部107は、構築された日常電波情報DBに基づいて、公知の機械学習技術等を更に利用して更なる学習処理を行うことで、ユーザの日常的な行動範囲を推定することも可能である。このような行動範囲に関する知見を更に利用することで、解析部107は、以下のような不審者の検出処理を行うことも可能である。すなわち、情報処理装置10のユーザにとってのストーカーのような不審者は、ユーザに付きまとっていると考えられる。そこで、解析部107は、ユーザの存在位置が日常的な行動範囲に含まれず、かつ、不審者電波情報候補DBに登録されている電波情報が検出された場合には、ユーザの日常的な行動範囲外にも付きまとっている電波が存在するとして、該当する不審者電波情報の候補を不審者電波情報として取り扱ったり、評価値や危険度のレベルを上げたりしてもよい。
上記のような電波情報の解析処理が実施された場合に、例えばユーザが、バス、電車、飛行機等といった公共交通機関を利用したとすると、これら公共交通機関において単に乗り合わせただけの人々が、不審者として登録されてしまう可能性がある。そこで、解析部107は、情報処理装置10に設けられた加速度センサ等の各種センサからの出力や、GPS等の衛星測位システムからの出力を利用して、ユーザが用いている移動手段や移動速度を特定し、移動手段や移動速度に応じて、不審者電波情報の登録機能のオン/オフを制御することが好ましい。すなわち、解析部107は、ユーザが所定の閾値以上の速さで移動していると判断される場合には、ユーザは乗り物で移動していると判断し、不審者電波情報の登録機能をオフにすることが好ましい。
なお、以上のような処理を行うことで、不審者に該当する電波情報が自動的に特定されていくが、本実施形態に係る解析部107は、各種サーバ20等と連携して、構築された不審者電波情報候補DBや不審者電波情報DBの内容を更に解析してもよい。例えば、特定した電波情報を、ネットワーク上に登録されている各種のユーザ情報と公知の方法により対応付けした上で、ネットワーク上に登録されている各種のユーザ評価(例えば、不審者と判断された個人の信頼度)等に応じて更に修正するようにしてもよい。
また、解析部107は、上記のようにして構築した各種のDBを、ネットワーク上の機器と共有するようにしてもよい。
ここで、新たに不審者電波情報の候補として取り扱うべき電波が検出された場合に、状況によっては、該当する電波情報をはじめから不審者電波情報として取り扱いたい場合も考えうる。そこで、統括制御部109は、表示制御部111と連携しながら、図8Aに示すような表示画面を情報処理装置10のディスプレイ等に表示させて、本来であれば不審者電波情報の候補として取り扱うべき電波情報を、不審者電波情報の候補というレベルを飛び越して、不審者電波情報として取り扱うかどうかをユーザに確認してもよい。
また、上記のような処理方法では、ユーザと一緒にいる機会の多い友人等も、不審者の候補又は不審者として取り扱われてしまう可能性がある。そこで、統括制御部109は、表示制御部111と連携しながら、図8B及び図8Cに示すような表示画面を情報処理装置10のディスプレイ等に表示させて、着目している電波情報の取り扱いレベルを、ユーザに確認してもよい。
本実施形態に係る情報処理装置10のユーザが、不審者電波情報の候補や不審者電波情報の検出状況を、改めて確認する、という状況も考えうる。そこで、統括制御部109は、不審者電波情報候補DBや、不審者電波情報DBに登録されているタイムスタンプや位置情報を利用して、不審者電波情報の候補や不審者電波情報の検出状況を、タイムライン上、又は、地図上に表示してもよい。
図9Aに模式的に示したように、不審者電波情報の候補や不審者電波情報の検出状況をタイムライン上に表示する場合には、統括制御部109は、各DBに登録されているタイムスタンプを参照した上で、表示制御部111と連携して、該当する電波情報の検出時刻に対応する位置に、検出時刻を示唆するオブジェクトobjを表示させればよい。
また、図9Bに模式的に示したように、不審者電波情報の候補や不審者電波情報の検出状況を地図上に表示する場合には、統括制御部109は、各DBに登録されている位置情報を参照した上で、表示制御部111と連携して、該当する電波情報の検出位置に、検出位置を示唆するオブジェクトobjを表示させればよい。また、検出状況を地図上に表示する場合には、検出位置を示唆するオブジェクトobjに対して更に時刻情報を添付したり、時刻に応じてオブジェクトの例えば色や形を変更したりするなどして、検出時刻に関する情報を更に付加してもよい。
以上、図3〜図9Bを参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
次に、図10を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図10は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理方法では、新たな電波情報が検出されると、図1に示したような各種端末、又は、電波検出部113から、電波情報、位置情報及びタイムスタンプが送信される。情報処理装置10のデータ記録部103に伝送されたこれらの情報は、記憶部105等に格納された各DBに登録される(ステップS101)。
その後、情報処理装置10の解析部107は、ユーザの移動状態が適切であるか(すなわち、ユーザが乗り物で移動しているか)を判断する(ステップS103)。ユーザが乗り物で移動していると判断される場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、ユーザが乗り物で移動していないと判断される場合には、解析部107は、記憶部105等に格納されている日常電波情報DBを参照して、着目している電波情報が日常電波情報DBに既に登録されているかを判断する(ステップS105)。
着目している電波情報が、日常電波情報DBに既に登録されている場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、日常電波情報DBに登録されていない場合には、解析部107は、記憶部105等に格納されている不審者電波情報DBを参照して、着目している電波情報が不審者電波情報DBに既に登録されているかを判断する(ステップS107)。
着目している電波情報が、不審者電波情報DBに既に登録されている場合には、解析部107は、着目している電波情報が不審者電波情報DBに登録されている旨を統括制御部109に通知する。通知を受けた統括制御部109は、ステップS127に移動して、不審者警告機能を起動させる。一方、着目している電波情報が不審者電波情報DBに登録されていない場合には、解析部107は、記憶部105等に格納されている不審者電波情報候補DBを参照して、着目している電波情報が不審者電波情報候補DBに既に登録されているかを判断する(ステップS109)。
着目している電波情報が、不審者電波情報候補DBに登録されていない場合には、解析部107は、着目している電波情報を、不審者電波情報候補DBに登録する(ステップS111)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、不審者電波情報候補DBに登録されている場合には、解析部107は、不審者電波情報候補DBの位置情報を参照し、着目している電波情報が以前と同じ場所で検出されているかを判断する(ステップS113)。
着目している電波情報が、以前と同じ場所で検出されている場合には、解析部107は、着目している電波情報を、不審者電波情報候補DBから削除するとともに、該当する電波情報を、日常電波情報DBに登録する(ステップS115)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。一方、着目している電波情報が、以前と同じ場所で検出されていない場合には、解析部107は、着目している電波情報の登録内容を更新する(ステップS117)。
その後、解析部107は、着目している電波情報が、所定の条件を満足するか否かを判断する(ステップS119)。着目している電波情報が所定の条件を満足していない場合には、解析部107は、不審者電波情報候補DBの全体を参照して、所定期間検出履歴のない電波情報が存在するか否かを判断する(ステップS121)。該当する電波情報が存在しない場合には、情報処理装置10は、ステップS101に戻って処理を継続する。一方、該当する電波情報が存在する場合には、解析部107は、該当する電波情報を不審者電波情報候補DBから削除する(ステップS123)。その後、情報処理装置10は、ステップS101に戻って処理を継続する。
また、ステップS119において、所定の条件を満足する電波情報が存在した場合には、該当する電波情報を不審者電波情報候補DBから削除するとともに、該当する電波情報を、不審者電波情報DBに登録する(ステップS125)。その後、解析部107は、着目している電波情報が不審者電波情報DBに登録されている旨を統括制御部109に通知する。通知を受けた統括制御部109は、ステップS127に移動して、不審者警告機能を起動させる。
不審者電波情報DBに登録されている電波情報が検出された旨が通知されると、統括制御部109は、不審者警告機能を起動させる(ステップS127)。また、必要に応じて、解析部107は、該当する不審者電波情報DBの登録内容を更新する。
以上のような流れで処理が行われることで、本実施形態に係る情報処理方法では、不審者の個人情報を利用することなく、電波情報に基づきユーザにとっての不審者を特定することが可能となる。
以上、本開示の第1の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(第2の実施形態)
以下では、図11〜図18を参照しながら、本開示の第2の実施形態に係る情報処理装置について、詳細に説明する。
図11は、本開示の第2の実施形態に係る情報処理装置について説明するための説明図である。図12は、本実施形態に係る情報処理装置で用いられる対応付けデータベースのデータ構造の一例を示した説明図であり、図13は、本実施形態に係る情報処理装置で用いられる電波情報データベースのデータ構造の一例を示した説明図であり、図14は、本実施形態に係る情報処理装置で用いられる撮像画像データベースのデータ構造の一例を示した説明図である。図15は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。図16〜図18は、本実施形態に係る情報処理装置の表示画面の一例を模式的に示した説明図である。
<電波情報による監視カメラ撮像画像の抽出処理について>
本実施形態に係る情報処理装置10は、図2Aに示したような構成を有しており、図1に示したような監視カメラ1A及び電波モニタノード1Bを有する撮像システム1と連携しながら機能する装置である。
具体的には、本実施形態に係る情報処理装置10は、1又は複数の地点に設置された撮像システム1で生成された撮像画像データ及び電波情報データ(より詳細には、監視カメラ1Aにより生成された撮像画像データと、電波モニタノード1Bにより生成された電波情報データ)を取得する。その上で、本実施形態に係る情報処理装置10は、取得した電波情報データが所定の条件を満足するか否かを判断し、所定の条件を満足する電波情報データと、かかる電波情報データに対応する撮像画像データと、を、記憶部105に随時蓄積していく。
ここで、図11に模式的に示したように、任意の地点に設けられる監視カメラ1Aは、撮像視野内に位置している様々な被撮像体を撮像する撮像装置の一例であり、被撮像体に関する静止画像や動画像を生成することができる機器である。かかる監視カメラ1Aについては、特に限定されるものではなく、各種の撮像装置を適宜利用することが可能である。また、任意の地点に設けられる電波モニタノード1Bは、電波モニタノード1Bの周囲に存在している各種の電波を観測して、観測した電波に関する電波情報を生成する装置である。この電波モニタノード1Bについても、特に限定されるものではなく、無線LANモニタノードなどの各種の撮像装置を適宜利用することが可能である。
ここで、ある地点に設けられている監視カメラ1Aと電波モニタノード1Bとは、予め互いに対応付けられており、どの地点に存在している監視カメラ1Aがどの電波モニタノード1Bと対応しているかという情報は、情報処理装置10に予め格納されているものとする。また、ある地点に設けられている監視カメラ1A及び電波モニタノード1Bは、予め時間が互いに同期するように設定されているものとする。
監視カメラ1Aは、撮像視野内に位置する被撮像体を撮像して、静止画又は動画からなる撮像画像を生成すると、かかる撮像画像の画像データ(撮像画像データ)と、撮像画像データの生成時間を表わすタイムスタンプと、を、情報処理装置10へと随時出力する。また、電波モニタノード1Bは、電波モニタノード1Bの周囲に存在する電波を検出すると、かかる電波を特徴づける各種の特徴量(例えば、電波に固有な識別情報や、電界強度等)を観測して電波情報とし、かかる電波情報のデータ(電波情報データ)と、電波情報の生成時間を表わすタイムスタンプと、を、情報処理装置10へと随時出力する。
なお、監視カメラ1Aにより生成される撮像画像データには、撮像画像データを生成した監視カメラ1に固有の識別情報(ID情報)が関連付けられていることが好ましく、電波モニタノード1Bにより生成される電波情報データには、電波情報データを生成した電波モニタノード1Bに固有の識別情報(ID情報)が関連付けられていることが好ましい。これにより、これらのデータを取得した情報処理装置10は、取得したデータが、どの地点に設けられた監視カメラ1Aや電波モニタノード1Bから送信されたものであるのかを、容易に把握することが可能となる。
近年の情報通信技術の発達に伴い、人は、携帯電話、スマートフォン、携帯用ゲーム機、タブレット端末、ウェアラブル端末等といった、無線通信機能を有する電子機器や通信機器を所持していることが多い。また、携帯電話、スマートフォン、携帯用ゲーム機、タブレット端末、ウェアラブル端末、カーナビゲーションシステム等といった機器を内蔵/内包している物体(例えば、上記のような機器を所持している人が乗っている、又は、上記のような機器が搭載されている、車などの各種移動手段)も多く存在する。そのため、電波モニタノード1Bによって観測される電波の中には、上記のような無線通信機能を有する電子機器や通信機器を所持又は内蔵しており、監視カメラ1Aによって撮像された被撮像体からの電波も含まれている可能性が極めて高いと言える。
本実施形態に係る情報処理装置10は、各地の監視カメラ1Aから送信された撮像画像データを、あわせて送信されたタイムスタンプと関連付けて記録するとともに、各地の電波モニタノード1Bから送信された電波情報データを、あわせて送信されたタイムスタンプと関連付けて記録する。ここで、先述のように、監視カメラ1Aと電波モニタノード1Bとは、予め互いに対応付けられており、かつ、時間が同期するように設定されているため、情報処理装置10は、タイムスタンプを仲介として、監視カメラ1Aにより撮像された撮像画像データと、電波モニタノード1Bにより生成された電波情報と、を互いに対応付けることが可能となる。
本実施形態に係る情報処理装置10は、以上のような関係にある電波情報データ及び撮像画像データに着目し、既に検出されている電波情報に関する電波情報データベースの検索を行う。その後、かかる電波情報データベースに登録されていない電波情報データが得られた場合に、該当する電波情報データ及び撮像画像データを、記憶部105等に蓄積していく。その上で、情報処理装置10のユーザによって、所定の期間中に新たに登録された撮像画像データの検索操作が入力された場合に、かかる電波情報データベースを利用して、該当する撮像画像データの検索・抽出を行う。
<電波情報の解析処理について>
以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
まず、図12〜図14を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
図12に、情報処理装置10が撮像画像データを取得する1又は複数の監視カメラ1Aと、かかる監視カメラ1Aに対応付けられた電波モニタノード1Bと、の対応関係を示すデータベースのデータ構造の一例を示した。図12に模式的に示したように、かかる対応関係を示すデータベース(以下、単に「対応付けDB」ともいう。)には、監視カメラ1Aに固有のID情報と、この監視カメラ1Aに対応付けられている電波モニタノード1Bに固有のID情報と、が関係づけられて記録されている。情報処理装置10の各処理部(特に、解析部107及び統括制御部109)は、この対応付けDBを参照することで、どの監視カメラ1Aとどの電波モニタノード1Bとが対応付けられているのかを、容易に把握することができる。
なお、上記のような対応付けDBに記録されるID情報の種類や、ID情報の記載方法については、特に限定されるものではなく、公知の任意のものを適宜利用することが可能である。
図13に、電波各電波モニタノード1Bにより生成された電波情報データに関するデータベース(以下、単に、「電波情報DB」ともいう。)のデータ構成の一例を示し、図14に、各監視カメラ1Aにより生成された撮像画像データに関するデータベース(以下、単に、「撮像画像DB」ともいう。)のデータ構成の一例を示した。
図13に模式的に示したように、電波情報DBには、ある電波モニタノード1Bにより生成された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報データの生成された日時を示すタイムスタンプと互いに関連付けられて、記録されている。かかる電波情報DBには、電波情報データを生成した電波モニタノード1BのID情報が更に関連付けられていることが好ましい。また、図14に模式的に示したように、撮像画像DBには、ある監視カメラ1Aにより撮像された撮像画像データ(又は、かかる撮像画像データの保存場所を示す情報)が、かかる撮像画像データの生成された日時を示すタイムスタンプと互いに関連付けられて、記録されている。かかる撮像画像DBについても、撮像画像データを生成した監視カメラ1AのID情報が更に関連付けられていることが好ましい。
なお、図13に示した電波情報DBや図14に示した撮像画像DBに記録される情報は、図13や図14に示したものに限定されるものではなく、電波情報データや撮像画像データに関する任意の情報を、これらのDBに追記することが可能である。また、図13や図14に示したタイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
なお、記憶部105に格納される電波情報データは、観測された電波に固有のID情報や電界強度等といった、観測された電波を特徴づける特徴量が記載されていれば、任意のデータ構成を有していてもよい。電波モニタノード1Bによって生成され、記憶部105に格納される電波情報には、観測される個々の電波に固有の情報であるMACアドレス、ESSID、UUIDといった識別情報や、電波の電界強度等が記載されている。また、これらの特徴量以外にも、観測された電波を特徴づける任意の特徴量が記載されていてもよい。また、ある電波モニタノード1Bにおいて、一度に複数の電波が観測された場合には、電波情報には、観測されたそれぞれの電波について上記のような情報が記録されている。
本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図12〜図14に示したようなデータ構造を有するデータベースを随時参照することで、電波情報データや撮像画像データに関する各種の情報を取得することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
続いて、図15〜図18を参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
図15に模式的に示したように、本実施形態に係る情報処理装置10の解析部107は、新たな電波情報が取得されると、データ記録部103と連携しながら、以下のような処理を実施する。すなわち、本実施形態に係る情報処理装置10が、新たな電波情報を取得すると、解析部107は、記憶部105等に格納されている電波情報DBを参照して、着目している電波情報が既に電波情報DBに登録されているかを判断する(判断1)。解析部107は、着目している電波情報が電波情報DBに既に登録されている場合には、着目している電波情報に対応付けられている撮像画像データは記録させずに(処理1)、新たな電波情報の取得を待ち受ける。一方、着目している電波情報が電波情報DBに登録されていない場合には、解析部107は、データ記録部103と連携して、電波情報データ及び撮像画像データの記録を行う。すなわち、解析部107は、データ記録部103に対し、着目している電波情報と、かかる電波情報に対応付けられている撮像画像データと、をそれぞれデータベースに記録させた後(処理2)、新たな電波情報の取得を待ち受ける。この際、データ記録部103は、各データをデータベースに記録する際に、タイムスタンプを対応づけて記録するようにする。
本実施形態に係る解析部107は、データ記録部103と連携しながら、電波情報に基づく上記のような処理を行うことで、新たに検出された電波情報に対応する撮像画像を蓄積していくことが可能となる。
なお、着目している電波情報が電波情報DBに登録されているか否かは、着目している電波情報が示す電波パターン(電波情報に含まれる各電波の電界強度の大きさを模式的に示したもの)を利用し、記録されている電波情報が示す電波パターンと、着目している電波情報が示す電波パターンとのパターンマッチングを行うことで、判断することができる。ここで、パターンマッチングに利用される類似度合いについては、特に限定されるものではなく、例えば相互相関係数などのような公知の類似度合いを利用することが可能である。
以上のようにして蓄積された撮像画像データをユーザに対して提供する際には、以下のような処理が統括制御部109において実施される。
統括制御部109は、ユーザ操作に応じて、蓄積された撮像画像データの検索・閲覧処理を開始すると、表示制御部111と連携しながら、図16に示したような表示画面を情報処理装置10のディスプレイ等に表示させる。この表示画面には、図16に示したように、撮像画像データの検索期間を指定する検索期間指定欄が設けられている。
ユーザ操作により図16に示した検索期間指定欄にデータが入力され、その後検索ボタンが選択されると、統括制御部109は、指定された検索期間に基づいて、記憶部105等に記録されている電波情報DBのタイムスタンプ欄を参照する。統括制御部109は、タイムスタンプ欄を検索して、指定された検索期間の範囲内にタイムスタンプが含まれる電波情報が存在すると、該当する電波情報データを抽出していく。
電波情報DBには、図13に模式的に示したように、それぞれの電波情報に対して、該当する電波情報を検出した電波モニタノード1BのID情報が関連付けられている。統括制御部109は、上記の処理により抽出した電波情報データのそれぞれに対して、対応する電波モニタノード1BのID情報を特定した後、図12に模式的に示した対応付けDBを参照して、着目する電波モニタノード1Bに対応付けられている監視カメラ1AのID情報をそれぞれ特定する。その後、統括制御部109は、図14に示したような撮像画像DBを参照して、抽出した電波情報データに関連付けられているタイムスタンプと同じ時刻のタイムスタンプを有し、かつ、特定した監視カメラ1AのID情報を有している撮像画像データを抽出していく。かかる処理により、統括制御部109は、ユーザにより指定された検索期間内に初めて検出された電波に対応する撮像画像を、複数の撮像画像の中から抽出することが可能となる。
統括制御部109は、以上のようにして撮像画像データを抽出すると、表示制御部111と連携しながら、図17に示したような表示画面を、情報処理装置10のディスプレイ等に表示させる。この表示画面には、検索条件が提示される検索条件提示領域の他に、撮像画像の検索結果を表示させる検索結果表示領域201と、検索結果のうち、ユーザ操作により指定された撮像画像を表示させる撮像画像表示領域203と、が設けられる。この検索結果表示領域201は、特定結果表示領域の一例である。検索結果表示領域201には、例えば図17に模式的に示したように、抽出された撮像画像のサムネイル画像が一覧表示され、位置指定オブジェクトobjによって選択されたサムネイル画像に対応する撮像画像が、撮像画像表示領域203に詳細表示される。
なお、図17では、検索結果表示領域201において、抽出された撮像画像が一覧表示される場合を示したが、検索結果は、図18に示したように、タイムライン表示によりユーザに提供されてもよい。この場合には、抽出された各撮像画像に関連付けられているタイムスタンプに応じて、撮像画像のサムネイル画像がタイムライン上に配置される。また、かかるタイムラインには、サムネイル画像とあわせて、電波情報が検出された時間的な位置を表わす表示オブジェクト205が配置される。また、ユーザ操作により撮像画像表示領域201に表示されている撮像画像については、撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクト207が配置される。
以上、図11〜図18を参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
次に、図19及び図20を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図19及び図20は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理方法では、図19に示したように、情報処理装置10のデータ取得部101が、監視カメラ1Aから撮像画像とタイムスタンプを取得するとともに(ステップS201)、電波モニタノード1Bから電波情報とタイムスタンプを取得する(ステップS203)。
データ取得部101によって新たな電波情報が取得されると、解析部107は、新たに取得した電波情報に基づき、記憶部105等に格納されている電波情報DBを検索する(ステップS205)。
新たに取得した電波情報が電波情報DBに登録済みである場合には、情報処理装置10は、取得した電波情報及び撮像画像を各DBに登録せずに、ステップS201及びステップS203に戻って処理を継続する。一方、新たに取得した電波情報が電波情報DBに登録されていない場合には、解析部107は、データ記録部103に対して、新たに取得した電波情報及び撮像画像を、各DBに登録させる(ステップS209)。その後、情報処理装置10は、ステップS201及びステップS203に戻って処理を継続する。
このような処理が継続されることで、初めて検出された電波に対応する撮像画像が、電波情報とともに情報処理装置10に蓄積されていく。
ユーザ操作により、蓄積されている撮像画像の検索が指示された場合には、情報処理装置10の統括制御部109は、ユーザ操作に応じて、撮像画像を検索する期間を設定する(ステップS251)。その後、統括制御部109は、先だって説明したような方法により、設定した期間内に含まれるタイムスタンプの電波情報を検索する(ステップS253)。
その後、統括制御部109は、抽出したタイムスタンプに基づき、先だって説明したような方法により、電波情報に対応する撮像画像を抽出する(ステップS255)。続いて、統括制御部109は、抽出した撮像画像のサムネイル画像を生成し(ステップS257)、表示制御部111と連携しながら、生成したサムネイル画像を利用して、検索結果を表示画面に表示させる(ステップS259)。
このような処理が実施されることで、情報処理装置10のユーザは、ある特定の期間に初めて検出された電波に対応する撮像画像を、複数の撮像画像の中から容易に抽出することが可能となる。
以上、本開示の第2の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(第3の実施形態)
以下では、図21〜図26を参照しながら、本開示の第3の実施形態に係る情報処理装置について、詳細に説明する。
図21は、本実施形態に係る情報処理装置について説明するための説明図である。図22は、本実施形態に係る情報処理装置が制御する住宅管理システムについて説明するための説明図である。図23は、本実施形態に係る情報処理装置で用いられる家庭内端末データベースのデータ構造の一例を示した説明図であり、図24は、本実施形態に係る情報処理装置で用いられる家庭内端末候補データベースのデータ構造の一例を示した説明図である。図25及び図26は、本実施形態に係る情報処理装置で実施される電波情報の解析処理を説明するための流れ図である。
<電波情報による住居管理処理について>
本実施形態に係る情報処理装置10は、図2A又は図2Bに示したような構成を有しており、ユーザの住居内に設置される。本実施形態に係る情報処理装置10は、図21に模式的に示したように、ユーザの住居に設置された電子機器又は通信機器や、ユーザが所持する電子機器又は通信機器から発信される電波を検出し、かかる電波の検出状況に応じて、ユーザの住居に設置されている住居管理システム30の稼働状態を制御する。
ユーザの住居に存在しうる電子機器や通信機器は、テレビ6Aやデジタルレコーダ6Bのように、住居に据え置かれる機器と、携帯電話や、スマートフォン/タブレット端末7Aや、ノートパソコン7B等のように、ユーザが所持することで住居外に持ち出される機器と、に大別できる。本実施形態に係る情報処理装置10は、このようなユーザの住居に存在しうる電子機器又は通信機器(以下、「家庭内端末」ともいう。)から発信される家庭内電波に着目する。このような家庭内電波は、ユーザの住居内で日常的に存在しうる電波である。
本実施形態に係る情報処理装置10は、図21に示したような家庭内端末からの家庭内電波に関する電波情報を、タイムスタンプと対応付けた上でデータベース化しておく。その上で、本実施形態に係る情報処理装置10は、ユーザが所持することで住居外に持ち出される家庭内端末からの電波に着目する。住居内に存在するユーザが外出する場合、近年では、携帯電話やスマートフォンやタブレット端末等といった特定の電子機器又は通信機器を携帯することが多い。そこで、本実施形態に係る情報処理装置10では、ユーザが所持することで住居外に持ち出される家庭内端末のうち、所定の端末(例えば、携帯電話やスマートフォンやタブレット端末等)の電波の検出状況を常に監視しておき、これら特定の端末の電波が所定期間検出されなかった場合に、住居は留守状態にあると判断する。本実施形態に係る情報処理装置10は、ユーザが留守であるか否かを電波情報に基づいて自動的に判断した後、ユーザの在宅状況に応じて、住居管理システム30の稼働状態を制御する。
このような住居管理システム30としては、例えば図22に示したように、住居内への侵入者を監視する各種のセキュリティシステム31や、住居内の電気エネルギー等の供給/利用を管理する、スマートグリッド等のエネルギー管理システム33などを挙げることができる。これらのシステム以外にも、ユーザの住居を何らかの観点から管理するシステムであれば、本実施形態に係る情報処理装置10が稼働状態を管理する住居管理システムとなりうる。本実施形態において、これらの住居管理システム30は、インターネットやLAN等の各種のネットワークを介して、情報処理装置10との間で相互に通信を行うことが可能となっている。
本実施形態に係る情報処理装置10は、特定の家庭内端末からの電波の検出状況に基づき、ユーザが不在であると判断すると、例えば、住居管理システム30のうちセキュリティシステム31をよりセキュリティの高い稼働状態である留守モードへと移行させることができる。また、本実施形態に係る情報処理装置10は、ユーザが不在であると判断すると、例えば、住居管理システム30のうちエネルギー管理システム33に対して、特定の電気機器の電源をオフにするための制御信号を出力することができる。
また、本実施形態に係る情報処理装置10は、ユーザによって持ち運ばれる特定の家庭内端末の電波の検出状況を学習することで、ユーザが住居を不在にする時間帯や、ユーザが在宅している時間帯を推定することが可能となる。本実施形態に係る情報処理装置10は、このようなユーザの生活パターンの学習結果に基づいて、住居管理システム30の所定の機能を稼働させることが可能である。例えば、本実施形態に係る情報処理装置10は、ユーザの生活パターンの学習結果に基づいて、住居管理システム30のうちエネルギー管理システム33を制御して、ユーザが帰宅すると思われる時間にあわせて照明機器や空調機器をオンにする、等といった制御を行うことが可能となる。
このように、本実施形態に係る情報処理装置10は、特定の機器からの電波情報に基づいて、ユーザの住居の管理を行うことが可能となる。
<電波情報の解析処理について>
以下では、記憶部105に格納される各種データベースのデータ構造と、本実施形態に係る解析部107及び統括制御部109の詳細な機能に着目して、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明する。
[各種データベースのデータ構造について]
まず、図23及び図24を参照しながら、本実施形態に係る記憶部105に格納されている各種データベースのデータ構造の一例について、具体的に説明する。
図23に、ユーザの住居内に存在する家庭内端末に関するDB(以下、単に、「家庭内端末DB」ともいう。)のデータ構造の一例を示した。図23に模式的に示したように、家庭内端末DBには、ある家庭内端末から発信された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報を発信した家庭内端末に固有の識別情報(ID情報)と関連付けられて、記録されている。また、かかる家庭内端末DBには、記録されている各電波情報について、初めて登録されたときを示すタイムスタンプや、該当する電波情報が前回検出されたときを示すタイムスタンプや、家庭内端末の稼働状況(稼働しているか否か)等が対応付けられている。
ここで、登録されている電波情報データは、観測された電波に固有のID情報や電界強度等といった、観測された電波を特徴づける特徴量が記載されていれば、任意のデータ構成を有していてもよい。かかる電波情報には、例えば、観測される個々の電波に固有の情報であるMACアドレスのような識別情報や、電波の電界強度等が記載されている。また、これらの特徴量以外にも、観測された電波を特徴づける任意の特徴量が記載されていてもよい。かかる電波情報データのデータ構成については、特に限定されるものではなく、任意のデータ構成を有していても良い。
上記のような家庭内端末DBに記録されるID情報の種類や、ID情報の記載方法については、特に限定されるものではなく、公知の任意のものを適宜利用することが可能である。また、タイムスタンプの記載方法についても特に限定されるものではなく、任意の記載方法を適宜利用してタイムスタンプを表記すればよい。
なお、上記のような各種の情報に加えて、家庭内端末から発信された電波に関連する各種の情報が、かかる家庭内端末DBに記録されていてもよい。
また、住居内には、電子機器等を所持した来客がある、又は、新たに電子機器等が購入される、といったことにより、家庭内端末DBに登録のない端末が持ち込まれることが生じうる。このような家庭内端末DBに登録されていない電波情報を発信している電子機器等は、新たな家庭内端末の候補として捉えることができる。そこで、本実施形態に係る情報処理装置10では、図24に模式的に示したように、家庭内端末の候補として登録されている機器からの電波情報に関するデータベース(以下、単に、「家庭内端末候補DB」ともいう。)を構築していく。
記憶部105等に格納されている家庭内端末候補DBのデータ構造の一例を、図24に示した。図24に模式的に示したように、家庭内端末候補DBには、住居内に存在する、家庭内端末として登録されていない電子機器や通信機器等から発信された電波情報データ(又は、かかる電波情報データの保存場所を示す情報)が、かかる電波情報を発信した機器に固有の識別情報(ID情報)と関連付けられて、記録されている。また、各電波情報には、該当する電波情報が初めて検出されたときを示すタイムスタンプや、前回検出されたときを示すタイムスタンプ等が対応付けられており、検出された回数を表わす情報等も対応付けられている。なお、上記のような各種の情報に加えて、住居内に存在する、家庭内端末として登録されていない電子機器や通信機器等から発信された電波に関連する各種の情報が、かかる家庭内端末候補DBに記録されていてもよい。
本実施形態に係る情報処理装置10の解析部107及び統括制御部109は、図23及び図24に示したようなデータ構造を有するデータベースを随時参照することで、家庭内端末からの電波に関する各種の情報を容易に把握することが可能となる。
[解析部107及び統括制御部109の具体的な機能について]
続いて、図25及び図26を参照しながら、本実施形態に係る情報処理装置10が有する解析部107及び統括制御部109の具体的な機能について、詳細に説明する。
本実施形態に係る解析部107及び統括制御部109では、新たに取得される電波情報を、(1)家庭内端末の候補からの電波情報、(2)家庭内端末からの電波情報、という2つの段階に区分して取り扱う。すなわち、本実施形態に係る解析部107及び統括制御部109では、既知の家庭内端末の電波情報ではない電波情報を、家庭内端末の候補からの電波情報として取り扱い、家庭内端末の候補に含まれる電波情報のうち、所定の条件を満足したものを、新たに家庭内端末からの電波情報として取り扱う。
図25に模式的に示したように、本実施形態に係る情報処理装置10の解析部107は、新たに電波情報が取得されると、記憶部105等に格納されている家庭内端末DBを参照して、着目している電波情報が、家庭内端末DBに既に登録済みであるかを判断する(判断1)。着目している電波情報が既に家庭内端末DBに登録されている場合には、解析部107は、家庭内端末DBの該当する電波情報の登録内容(例えば、タイムスタンプ等)を更新した上で、新たな電波情報の取得を待ち受ける。
一方、着目している電波情報が家庭内端末DBに登録されていない場合には、解析部107は、記憶部105等に格納されている家庭内端末候補DBを参照して、着目している電波情報が家庭内端末候補DBに登録済みであるかを判断する(判断2)。着目している電波情報が家庭内端末候補DBに登録されていない場合には、解析部107は、データ記録部103と連携しながら、着目している電波情報を、家庭内端末候補DBに登録させる(処理1)。
一方、着目している電波情報が既に家庭内端末候補DBに登録されている場合には、解析部107は、例えばタイムスタンプや検出回数等の登録内容の更新を行う(処理2)。その後、解析部107は、家庭内端末候補DBに既に登録されていた、着目している電波情報について、所定の条件を満足したか否かを判断する(判断3)。所定の条件を満足していない場合には、解析部107は、新たな電波情報の取得を待ち受ける。
一方、所定の条件を満足している場合には、解析部107は、表示制御部111等と連携しながら、ユーザに対し、着目している電波情報に対応する端末を新たに家庭内端末として登録するか否かの判断を求める。解析部107は、新たに家庭内端末として登録する旨のユーザ操作が行われた場合には、該当する電波情報を家庭内端末候補DBから削除した上で、家庭内端末DBに登録する(処理3)。一方、新たに家庭内端末として登録しない旨のユーザ操作が行われた場合には、解析部107は、該当する電波情報の登録を家庭内端末候補DBから削除する(処理4)。その後、解析部107は、新たな電波情報の取得を待ち受ける。
ここで、上記のような所定の条件については、特に限定されるものではなく、例えば、「所定期間の間に所定回数以上該当する電波が検出される」等のように、適宜設定すればよい。解析部107は、家庭内端末候補DBの登録内容を参照して、登録内容から上記のような条件が満たされているか否かを判断すればよい。
解析部107により以上のような処理が行われることで、ユーザの住居内に存在する家庭内端末に関するデータベースが自動的に更新されていく。
このようにして構築される家庭内端末DBを利用して、解析部107及び統括制御部109は、図26に示したような処理を行うことが可能となる。
まず、解析部107は、家庭内端末DBを利用して、予め定められた特定の家庭内端末の電波が所定時間検出されなかったか否かを判断することで、ユーザの在宅状況を判断することができる(処理11)。前述のように、近年では、携帯電話やスマートフォン等といった通信機器は、ユーザとともに住居外へと持ち出される可能性が極めて高い。そこで、このような通信機器からの電波の検出状況を監視することで、ユーザの在宅状況を判断できる。ユーザとともに住居外へと持ち出される家庭内端末を、監視対象端末として予め設定しておき、全ての監視対象端末からの電波が、所定期間(例えば、10分や20分等のように、ユーザが予め設定可能である。)検出されなかった場合、解析部107は、全てのユーザが在宅しておらず、留守状態であると判断することができる。
解析部107により住居が留守状態にあると判断されると、統括制御部109は、かかる判断結果に基づき、住居管理システム30の稼働状態を制御することができる(処理12)。具体的には、統括制御部109は、住居管理システム30のうちセキュリティシステム31を留守モードへと移行させたり、エネルギー管理システム33を制御して、特定の電化製品(例えば、電化調理機器や空調機器等)の電源をオフにさせたりすることができる。
また、解析部107は、構築された家庭内端末DBを利用して、公知の機械学習処理等を行うことで、ユーザの生活パターンを学習することができる(処理13)。これにより、普段ユーザが在宅している時間を推定することが可能となる。
このような生活パターンの学習結果を利用して、統括制御部109は、住宅管理システム30の稼働状態を制御することができる(処理14)。具体的には、統括制御部109は、学習の結果得られたユーザの生活パターンに基づき、ユーザが帰宅すると思われる時間帯にエネルギー管理システム33を制御して、特定の電化製品(例えば、照明機器や空調機器等)の電源をオンにする、といった制御を行うことが可能となる。
以上、図21〜図26を参照しながら、記憶部105に格納される各種データベースのデータ構造や、本実施形態に係る情報処理装置10における電波情報の解析処理について、詳細に説明した。
<情報処理方法の流れについて>
次に、図27を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れの一例を、簡単に説明する。図27は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理方法では、データ取得部101により、随時電波情報及びタイムスタンプが取得される(ステップS301)。
データ取得部101によって新たな電波情報が取得されると、解析部107は、新たに取得された電波情報が、記憶部105等に格納されている家庭内端末DBに既に登録されているかを判断する(ステップS303)。新たに取得された電波情報が家庭内端末DBに登録されている場合には、解析部107及び統括制御部109は、家庭内端末DBに基づいて、住居管理システム30の稼働状態を制御する(ステップS305)。
一方、新たに取得された電波情報が家庭内端末DBに登録されていない場合、解析部107は、記憶部105等に格納されている家庭内端末候補DBを参照して、新たに取得された電波情報が家庭内端末候補DBに既に登録されているかを判断する(ステップS307)。新たに取得された電波情報が家庭内端末候補DBに登録されていない場合には、解析部107は、データ記録部103に、新たに取得された電波情報を家庭内端末候補DBに記録させる(ステップS309)。
一方、新たに取得された電波情報が家庭内端末候補DBに登録されていた場合には、解析部107は、家庭内端末候補DBの登録内容を更新する(ステップS311)。
その後、解析部107は、家庭内端末候補DBに登録されている各電波情報について、所定の条件を満足しているか否かを判断する(ステップS313)。所定の条件を満足している電波情報が存在している場合、解析部107は、表示制御部111等と連携しながら、家庭内端末として登録するか否かをユーザに問い合わせ、行われるユーザ操作の判断を行う(ステップS315)。家庭内端末として登録する旨のユーザ操作が行われた場合、解析部107は、該当する電波情報を家庭内端末候補DBから削除した上で、家庭内端末DBに登録する(ステップS317)。また、家庭内端末として登録しない旨のユーザ操作が行われた場合には、解析部107は、該当する電波情報を家庭内端末候補DBから削除する(ステップS319)。
このような処理が実施されることで、情報処理装置10は、電波情報に基づいて、住居を管理するシステムの稼働状態を自動的に制御することが可能となる。
以上、本開示の第3の実施形態に係る情報処理装置及び情報処理方法について、詳細に説明した。
(ハードウェア構成について)
次に、図28を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図28は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907、ブリッジ909、外部バス911、インターフェース913、センサ914、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925を備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
センサ914は、各種の電波センサやアンテナ等といった、各種の電波の検出手段である。また、センサ914は、上述のもの以外にも、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段を有していてもよい。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む3軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む3軸ジャイロセンサ等のモーションセンサや、GPSセンサ等を挙げることができる。更に、センサ914は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。ここで、以下の記載における制御部は、先だって説明した解析部及び統括制御部に対応している。
(1)
所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する制御部を備える、情報処理装置。
(2)
前記電波は、ユーザが所持する電子機器又は通信機器の周囲で発信される電波であり、
前記記録された電波情報は、ユーザの日常的な行動範囲から取得される前記電波情報が、前記関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかと対応付けられたものであり、
前記制御部は、
前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する、(1)に記載の情報処理装置。
(3)
前記制御部は、
前記不審者電波情報の候補に対応する前記電波情報が検出される毎に、当該不審者電波情報の候補の評価値を増加させ、
前記不審者電波情報の候補に対応する前記電波情報が、所定期間の間に所定回数以上検出され、かつ、前記不審者電波情報の候補の評価値が所定の閾値以上となった場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)に記載の情報処理装置。
(4)
前記制御部は、前記不審者電波情報の候補が記録された場合に、ユーザに対して、記録された前記不審者電波情報の候補を新たな前記不審者電波情報として取り扱うかの問い合わせを提示し、新たな前記不審者電波情報として取り扱う旨を示す入力がユーザにより行われた場合に、前記記録した不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)又は(3)に記載の情報処理装置。
(5)
前記制御部は、
前記新たに取得した電波情報に基づき、ユーザの日常的な行動範囲を学習し、
前記ユーザの存在位置が前記ユーザの日常的な行動範囲に含まれず、かつ、前記不審者電波情報の候補に対応する前記電波情報が検出された場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、(2)〜(4)の何れか1つに記載の情報処理装置。
(6)
前記制御部は、前記ユーザの存在位置が所定の閾値以上の速さで変化している場合は前記ユーザが乗り物で移動していると判断し、前記不審者電波情報の記録を停止する、(2)〜(5)の何れか1つに記載の情報処理装置。
(7)
前記制御部は、
前記不審者電波情報の検出状況、又は、ユーザによる前記不審者電波情報の評価結果の少なくとも何れかに応じて、前記不審者電波情報のランク付けを行い、
前記不審者電波情報のランク付けに応じて、前記警告のタイミングを制御する、(2)〜(6)の何れか1つに記載の情報処理装置。
(8)
前記制御部は、ネットワーク上に登録されている情報を更に利用して、前記不審者電波情報の候補、及び、前記不審者電波情報の解析を行う、(2)〜(7)の何れか1つに記載の情報処理装置。
(9)
前記制御部は、前記不審者電波情報の候補、又は、前記不審者電波情報の少なくとも何れかの検出状況を、当該情報に対応付けられている前記関連情報を利用して、タイムライン上、又は、地図上に表示する、(2)〜(8)の何れか1つに記載の情報処理装置。
(10)
前記電波は、所定箇所に設置された撮像装置、又は、当該撮像装置と予め対応付けられた通信機器から発信された、当該撮像装置又は通信機器が検出した電波であり、
前記所定箇所に設置された撮像装置により生成された撮像画像に関するデータが、当該撮像画像に関するタイムスタンプと対応付けられて、所定の格納場所に格納されており、
前記制御部は、
前記新たに取得した電波情報と、前記記録された電波情報と、を比較して、前記新たに取得した電波情報が既に記録されているかを解析し、前記新たに取得した電波情報が記録されていなかった場合に、前記新たに取得した電波情報を、前記関連情報として当該電波情報のタイムスタンプに関する情報と対応付けて記録し、
新たに記録した前記電波情報に対応付けられた前記タイムスタンプに関する情報を参照して、前記所定の格納場所に格納された前記撮像画像に関するデータの中から、指定されたタイムスタンプに対応する前記撮像画像に関するデータを特定し、特定した前記撮像画像に関する情報をユーザに提供する、(1)に記載の情報処理装置。
(11)
前記制御部は、前記撮像画像に関する情報として、当該撮像画像に対応する前記新たに記録した電波情報のタイムスタンプと、前記撮像画像に関するサムネイル画像と、を表示画面に表示させる、(10)に記載の情報処理装置。
(12)
前記制御部は、
前記表示画面として、前記撮像画像の特定結果を表示させる特定結果表示領域と、特定された前記撮像画像のうち、ユーザ操作により指定された前記撮像画像を表示させる撮像画像表示領域と、を生成し、
前記特定結果表示領域に、前記新たに追加された電波情報のタイムスタンプの時間的な位置を表わす表示オブジェクトと、前記新たに追加された電波情報のタイムスタンプに対応する前記撮像画像のサムネイル画像と、前記撮像画像表示領域に表示される前記撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクトと、を表示させる、(11)に記載の情報処理装置。
(13)
前記電波は、ユーザの住居に設置された電子機器もしくは通信機器、又は、ユーザが所持する電子機器もしくは通信機器から発信される家庭内電波であり、
前記記録された電波情報は、前記家庭内電波に関する家庭内電波情報が、前記関連情報として当該家庭内電波情報が取得されたタイムスタンプに関する情報と対応付けられたものであり、
前記制御部は、
前記新たに取得した電波情報と前記家庭内電波情報との対応付けを行い、前記新たに取得した電波情報が前記家庭内電波情報であるかを解析し、
所定の前記家庭内電波情報の全てが所定期間検出されなかった場合に、前記住居を管理するシステムを稼働させる、(1)に記載の情報処理装置。
(14)
前記制御部は、前記新たに取得した電波情報が前記家庭内電波情報ではなかった場合に、当該新たに取得された電波情報を、追加すべき前記家庭内電波情報の候補として選択し、
前記家庭内電波情報の候補に対応する前記電波情報が、所定期間内に所定の条件を満足した場合に、前記家庭内電波情報の候補に対応する電波情報を、新たな前記家庭内電波情報として記録する、(13)に記載の情報処理装置。
(15)
前記制御部は、
検出された前記家庭内電波情報に基づき、ユーザの生活パターンを機械学習し、
前記ユーザの生活パターンの学習結果に基づいて、前記住居を管理するシステムの所定機能を稼働させる、(13)又は(14)に記載の情報処理装置。
(16)
前記住居を管理するシステムは、前記住居のセキュリティシステム、又は、前記住居のエネルギー管理システムの少なくとも何れかである、(13)〜(15)の何れか1つに記載の情報処理装置。
(17)
前記電波は、無線通信に利用される電波である、(1)〜(16)の何れか1つに記載の情報処理装置。
(18)
前記電波情報を取得する電波検出部を更に備える、(1)〜(17)の何れか1つに記載の情報処理装置。
(19)
所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御することを含む、情報処理方法。
(20)
コンピュータに、
所定の環境で観測される電波に関する電波情報と、前記電波情報に関連する関連情報とを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、比較の結果が所定の条件を満たした場合に、前記新たに取得した電波情報に関連する関連情報に基づいて、ユーザに対して所定の機能を提供する処理を制御する機能を実現させるためのプログラム。
10 情報処理装置
101 データ取得部
103 データ記録部
105 記憶部
107 解析部
109 統括制御部
111 表示制御部
113 電波検出部

Claims (19)

  1. ユーザが所持する電子機器又は通信機器の周囲で発信され、および所定の環境で観測される電波に関する、ユーザの日常的な行動範囲から取得される電波情報と、前記電波情報に関連する関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかとを対応づけて記録し、
    新たに取得した前記電波情報と記録された前記電波情報とを比較し、
    前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
    前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する
    処理を制御する制御部を備える、情報処理装置。
  2. 前記制御部は、
    前記不審者電波情報の候補に対応する前記電波情報が検出される毎に、当該不審者電波情報の候補の評価値を増加させ、
    前記不審者電波情報の候補に対応する前記電波情報が、所定期間の間に所定回数以上検出され、かつ、前記不審者電波情報の候補の評価値が所定の閾値以上となった場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項に記載の情報処理装置。
  3. 前記制御部は、前記不審者電波情報の候補が記録された場合に、ユーザに対して、記録された前記不審者電波情報の候補を新たな前記不審者電波情報として取り扱うかの問い合わせを提示し、新たな前記不審者電波情報として取り扱う旨を示す入力がユーザにより行われた場合に、前記記録した不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項に記載の情報処理装置。
  4. 前記制御部は、
    前記新たに取得した電波情報に基づき、ユーザの日常的な行動範囲を学習し、
    前記ユーザの存在位置が前記ユーザの日常的な行動範囲に含まれず、かつ、前記不審者電波情報の候補に対応する前記電波情報が検出された場合に、該当する前記不審者電波情報の候補を、新たな前記不審者電波情報として記録する、請求項に記載の情報処理装置。
  5. 前記制御部は、前記ユーザの存在位置が所定の閾値以上の速さで変化している場合は前記ユーザが乗り物で移動していると判断し、前記不審者電波情報の記録を停止する、請求項に記載の情報処理装置。
  6. 前記制御部は、
    前記不審者電波情報の検出状況、又は、ユーザによる前記不審者電波情報の評価結果の少なくとも何れかに応じて、前記不審者電波情報のランク付けを行い、
    前記不審者電波情報のランク付けに応じて、前記警告のタイミングを制御する、請求項に記載の情報処理装置。
  7. 前記制御部は、ネットワーク上に登録されている情報を更に利用して、前記不審者電波情報の候補、及び、前記不審者電波情報の解析を行う、請求項に記載の情報処理装置。
  8. 前記制御部は、前記不審者電波情報の候補、又は、前記不審者電波情報の少なくとも何れかの検出状況を、当該情報に対応付けられている前記関連情報を利用して、タイムライン上、又は、地図上に表示する、請求項に記載の情報処理装置。
  9. 前記電波は、所定箇所に設置された撮像装置、又は、当該撮像装置と予め対応付けられた通信機器から発信された、当該撮像装置又は通信機器が検出した電波であり、
    前記所定箇所に設置された撮像装置により生成された撮像画像に関するデータが、当該撮像画像に関するタイムスタンプと対応付けられて、所定の格納場所に格納されており、
    前記制御部は、
    前記新たに取得した電波情報と、前記記録された電波情報と、を比較して、前記新たに取得した電波情報が既に記録されているかを解析し、前記新たに取得した電波情報が記録されていなかった場合に、前記新たに取得した電波情報を、前記関連情報として当該電波情報のタイムスタンプに関する情報と対応付けて記録し、
    新たに記録した前記電波情報に対応付けられた前記タイムスタンプに関する情報を参照して、前記所定の格納場所に格納された前記撮像画像に関するデータの中から、指定されたタイムスタンプに対応する前記撮像画像に関するデータを特定し、特定した前記撮像画像に関する情報をユーザに提供する、請求項1に記載の情報処理装置。
  10. 前記制御部は、前記撮像画像に関する情報として、当該撮像画像に対応する前記新たに記録した電波情報のタイムスタンプと、前記撮像画像に関するサムネイル画像と、を表示画面に表示させる、請求項に記載の情報処理装置。
  11. 前記制御部は、
    前記表示画面として、前記撮像画像の特定結果を表示させる特定結果表示領域と、特定された前記撮像画像のうち、ユーザ操作により指定された前記撮像画像を表示させる撮像画像表示領域と、を生成し、
    前記特定結果表示領域に、前記新たに追加された電波情報のタイムスタンプの時間的な位置を表わす表示オブジェクトと、前記新たに追加された電波情報のタイムスタンプに対応する前記撮像画像のサムネイル画像と、前記撮像画像表示領域に表示される前記撮像画像のタイムスタンプの時間的な位置を表わす表示オブジェクトと、を表示させる、請求項10に記載の情報処理装置。
  12. 前記電波は、ユーザの住居に設置された電子機器もしくは通信機器、又は、ユーザが所持する電子機器もしくは通信機器から発信される家庭内電波であり、
    前記記録された電波情報は、前記家庭内電波に関する家庭内電波情報が、前記関連情報として当該家庭内電波情報が取得されたタイムスタンプに関する情報と対応付けられたものであり、
    前記制御部は、
    前記新たに取得した電波情報と前記家庭内電波情報との対応付けを行い、前記新たに取得した電波情報が前記家庭内電波情報であるかを解析し、
    所定の前記家庭内電波情報の全てが所定期間検出されなかった場合に、前記住居を管理するシステムを稼働させる、請求項1に記載の情報処理装置。
  13. 前記制御部は、前記新たに取得した電波情報が前記家庭内電波情報ではなかった場合に、当該新たに取得された電波情報を、追加すべき前記家庭内電波情報の候補として選択し、
    前記家庭内電波情報の候補に対応する前記電波情報が、所定期間内に所定の条件を満足した場合に、前記家庭内電波情報の候補に対応する電波情報を、新たな前記家庭内電波情報として記録する、請求項12に記載の情報処理装置。
  14. 前記制御部は、
    検出された前記家庭内電波情報に基づき、ユーザの生活パターンを機械学習し、
    前記ユーザの生活パターンの学習結果に基づいて、前記住居を管理するシステムの所定機能を稼働させる、請求項12に記載の情報処理装置。
  15. 前記住居を管理するシステムは、前記住居のセキュリティシステム、又は、前記住居のエネルギー管理システムの少なくとも何れかである、請求項12に記載の情報処理装置。
  16. 前記電波は、無線通信に利用される電波である、請求項1に記載の情報処理装置。
  17. 前記電波情報を取得する電波検出部を更に備える、請求項1に記載の情報処理装置。
  18. ユーザが所持する電子機器又は通信機器の周囲で発信され、および所定の環境で観測される電波に関する、ユーザの日常的な行動範囲から取得される電波情報と、前記電波情報に関連する関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかとを対応づけて記録し、新たに取得した前記電波情報と記録された前記電波情報とを比較し、
    前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
    前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する
    処理を制御することを含む、情報処理方法。
  19. コンピュータに、
    ユーザが所持する電子機器又は通信機器の周囲で発信され、および所定の環境で観測される電波に関する、ユーザの日常的な行動範囲から取得される電波情報と、前記電波情報に関連する関連情報として当該電波情報が取得された位置を示した位置情報、又は、当該電波情報が取得されたタイムスタンプに関する情報の少なくとも何れかとを対応づけて記録し、
    新たに取得した前記電波情報と記録された前記電波情報とを比較し、
    前記新たに取得した電波情報が、前記記録された電波情報ではない場合に、不審者が所持している電子機器又は通信機器から発信される前記電波情報である不審者電波情報の候補として記録し、記録されている前記不審者電波情報の候補が所定の条件を満たすように検出された場合に、所定の条件を満たす不審者電波情報の候補を、新たな前記不審者電波情報として記録し、
    前記新たに取得した電波情報が、前記不審者電波情報に対応する電波情報であった場合に、ユーザに対して警告を発する
    処理を制御する機能を実現させるためのプログラム。
JP2017534116A 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム Active JP6773037B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015158705 2015-08-11
JP2015158705 2015-08-11
PCT/JP2016/064744 WO2017026155A1 (ja) 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017026155A1 JPWO2017026155A1 (ja) 2018-05-24
JP6773037B2 true JP6773037B2 (ja) 2020-10-21

Family

ID=57984141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017534116A Active JP6773037B2 (ja) 2015-08-11 2016-05-18 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10460587B2 (ja)
JP (1) JP6773037B2 (ja)
WO (1) WO2017026155A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851369B (zh) * 2015-08-11 2020-04-07 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
JP6961363B2 (ja) * 2017-03-06 2021-11-05 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US20180293367A1 (en) * 2017-04-05 2018-10-11 Google Llc Multi-Factor Authentication via Network-Connected Devices
JP6326604B1 (ja) * 2017-05-17 2018-05-23 ジョージ・アンド・ショーン合同会社 不正利用検知システム及び不正利用検知プログラム
JP6799028B2 (ja) * 2018-05-15 2020-12-09 株式会社エイビット 不審者推定システム
JP7330059B2 (ja) * 2019-02-28 2023-08-21 株式会社エステック 無線電波調査システム
US20220270460A1 (en) * 2019-07-12 2022-08-25 Nec Corporation Wireless terminal detection system, wireless terminal detection device, wireless terminal detection method, and storage medium having program stored therein
JP7302661B2 (ja) * 2019-07-12 2023-07-04 日本電気株式会社 無線端末検出システム、無線端末検出方法およびプログラムを記憶する記憶媒体
CN112347151B (zh) * 2019-08-08 2023-03-14 浙江宇视科技有限公司 嫌疑程度确定方法及数据分析设备
JP2021039778A (ja) * 2020-11-19 2021-03-11 株式会社エイビット 不審者推定システム
JP2022175287A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム
JP7302088B1 (ja) 2022-12-28 2023-07-03 セーフィー株式会社 システムおよびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224643A (ja) 1999-01-28 2000-08-11 Kyocera Corp 携帯電話端末
JP4095429B2 (ja) * 2002-12-25 2008-06-04 シャープ株式会社 セキュリティシステム
JP4439462B2 (ja) 2005-11-29 2010-03-24 株式会社東芝 情報提示方法、情報提示装置及び情報提示プログラム
WO2007105295A1 (ja) * 2006-03-13 2007-09-20 Fujitsu Limited 携帯端末監視装置および携帯端末監視方法
JP4891145B2 (ja) * 2006-05-16 2012-03-07 パナソニック株式会社 ロボット、電波検知装置、電波検知方法及び電波検知処理プログラム
US20070276540A1 (en) * 2006-05-16 2007-11-29 Akinobu Okuda Robot, radio detection system, radio detection method and recording medium storing radio detection processing program
JP4809805B2 (ja) * 2007-04-24 2011-11-09 トヨタホーム株式会社 機器制御システム
JP2009282888A (ja) * 2008-05-26 2009-12-03 Seiko Epson Corp 監視システム、監視システムのサービス提供方法およびそのプログラム
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2012038165A (ja) * 2010-08-09 2012-02-23 Daiwa House Industry Co Ltd 自宅における家族の在・不在通知システム
JP2013015916A (ja) * 2011-06-30 2013-01-24 Dainippon Printing Co Ltd 画像管理装置、画像管理方法、画像管理プログラム及び記録媒体
JP5925013B2 (ja) * 2012-03-30 2016-05-25 セコム株式会社 警備装置
JP6088381B2 (ja) * 2013-08-02 2017-03-01 株式会社日立国際電気 物体検索システム

Also Published As

Publication number Publication date
WO2017026155A1 (ja) 2017-02-16
US20180211507A1 (en) 2018-07-26
US10460587B2 (en) 2019-10-29
JPWO2017026155A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6773037B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN104077095B (zh) 信息处理设备
CN110710190B (zh) 一种生成用户画像的方法、终端、电子设备以及计算机可读存储介质
JP6254577B2 (ja) 情報処理装置、システム、情報処理方法およびプログラム
CN105704204A (zh) 电子设备和控制群组操作的方法
US9843899B2 (en) Information processing apparatus and method to organize devices
JP2013200793A (ja) 情報処理装置、情報処理方法およびプログラム
US20160198001A1 (en) Method and device for controlling home device
KR20170004225A (ko) 알림 장치 및 알림 장치가 물건의 위치를 알려주는 방법
WO2018154901A1 (ja) 制御装置及び方法
JP6245254B2 (ja) 位置推定装置、位置推定方法、対象端末、通信方法、通信端末、記録媒体および位置推定システム
WO2018154902A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6724919B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2014115842A (ja) コンテンツ管理サーバ、コンテンツ提供システム及びコンテンツ管理プログラム
JP6665860B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2019114272A (ja) 端末装置、システム、情報提示方法およびプログラム
WO2017154354A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106663105B (zh) 信息处理装置、信息处理方法和程序
US12019941B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190509

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R151 Written notification of patent or utility model registration

Ref document number: 6773037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151