JP2018025855A - 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム - Google Patents

情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018025855A
JP2018025855A JP2016155518A JP2016155518A JP2018025855A JP 2018025855 A JP2018025855 A JP 2018025855A JP 2016155518 A JP2016155518 A JP 2016155518A JP 2016155518 A JP2016155518 A JP 2016155518A JP 2018025855 A JP2018025855 A JP 2018025855A
Authority
JP
Japan
Prior art keywords
information
user
information processing
individual
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016155518A
Other languages
English (en)
Inventor
和由 堀江
Kazuyoshi Horie
和由 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Priority to JP2016155518A priority Critical patent/JP2018025855A/ja
Priority to US15/662,520 priority patent/US10430896B2/en
Publication of JP2018025855A publication Critical patent/JP2018025855A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】個人のプライバシーを考慮しつつ、現実世界で出会った個人を特定することを可能にする。【解決手段】近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、を備える、情報処理サーバ。【選択図】図１

Description

本開示は、情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラムに関する。
近年、ソーシャルネットワーキングサービス等を利用したネットワーク上でのユーザ同士の交流が盛んになっている。ソーシャルネットワーキングサービス等のネットワーク上での交流は、実際の現実世界での交流が起点となることが多い。
ここで、現実世界で出会った個人と、ソーシャルネットワーキングサービス等のネットワーク上の個人情報とを対応付けるには、氏名などの個人を特定する情報を得る必要がある。ただし、現実世界の短時間の交流の間に、相手の氏名等を聞き出すことは、容易にできることではない。
例えば、下記の特許文献１には、顔認識技術などを用いて、ユーザの周囲に存在する個人を識別し、識別された個人に関する情報をユーザに提示することが開示されている。
特表２０１６−５０６５４９号公報
しかし、プライバシー保護の観点から、個人識別に個人の顔を含む画像を用いることは避けることが望ましい。
そこで、本開示では、上記事情に鑑みつつ、現実世界で出会った個人を特定し、ネットワーク上での交流の機会を提供することが可能な、新規かつ改良された情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラムを提案する。
本開示によれば、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、を備える、情報処理サーバが提供される。
また、本開示によれば、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、を備える、情報処理装置が提供される。
また、本開示によれば、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、前記特定部によって特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、を備える、情報処理システムが提供される。
また、本開示によれば、演算処理装置を用いて、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、として機能させるプログラムが提供される。
本開示によれば、他のウェアラブル端末から受信した識別情報と、他のユーザが発話した音声情報とに基づいて、所定のデータベースに登録された個人を特定することが可能である。
以上説明したように本開示によれば、プライバシーの保護に留意しつつ、現実世界で出会った個人を特定し、ネットワーク上での交流の機会を提供することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略構成を示す説明図である。 同実施形態に係る情報処理システムの内部構成を示すブロック図である。 音源と、マイクロフォンアレイ装置における複数のマイクロフォンとの位置関係を示す説明図である。 複数のマイクロフォンにおける音波の到達時間差を示す説明図である。 複数のマイクロフォンにおける音波の到達時間差を検出する回路構成を示すブロック図である。 受信信号強度を表すＲＳＳＩ値と、近距離通信を行った２つのウェアラブル端末の距離との関係を示すグラフ図である。 ユーザの音声から声紋情報を抽出する際の流れを説明するフローチャート図である。 声紋情報を用いて、音声情報に対応する個人を特定する際の流れを説明するフローチャート図である。 音声情報から特徴量を抽出するメル周波数ケプストラム係数方式を説明する説明図である。 表示装置である通知部に表示される第１の表示例を示す説明図である。 表示装置である通知部に表示される第１の表示例を示す説明図である。 表示装置である通知部に表示される第２の表示例を示す説明図である。 表示装置である通知部に表示される第２の表示例を示す説明図である。 表示装置である通知部に表示される第３の表示例を示す説明図である。 ユーザの発話を収音する前までの情報処理システムの動作を説明するシークエンス図である。 音声情報の声紋解析を情報処理サーバで行う場合のシークエンス図である。 音声情報の声紋解析を情報処理装置で行う場合のシークエンス図である。 本変形例におけるウェアラブル端末の内部構成を示すブロック図である。 ユーザの発話を収音した後の本変形例に係る情報処理システムの動作を説明するシークエンス図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概略
２．情報処理システムの構成例
３．ユーザに対する表示例
３．１．第１の表示例
３．２．第２の表示例
３．３．第３の表示例
４．情報処理システムの動作例
５．変形例
６．まとめ
＜１．情報処理システムの概略＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略について説明する。図１は、本実施形態に係る情報処理システムの概略構成を示す説明図である。
図１に示すように、本実施形態に係る情報処理システムは、複数のユーザが所持するウェアラブル端末１０Ａ、１０Ｂ、１０Ｃと、該複数のユーザがそれぞれ所持する情報処理装置２０Ａ、２０Ｂ、２０Ｃと、ネットワーク４０を介して情報処理装置２０Ａ、２０Ｂ、２０Ｃと接続する情報処理サーバ３０とを備える。
なお、ウェアラブル端末１０Ａは、情報処理装置２０Ａと同じユーザ（例えば、ユーザＡとする）に所持されており、ウェアラブル端末１０Ｂは、情報処理装置２０Ｂと同じユーザ（例えば、ユーザＢとする）に所持されており、ウェアラブル端末１０Ｃは、情報処理装置２０Ｃと同じユーザ（例えば、ユーザＣとする）に所持されている。また、以下では、ウェアラブル端末１０Ａ、１０Ｂ、１０Ｃをまとめてウェアラブル端末１０とも称し、情報処理装置２０Ａ、２０Ｂ、２０Ｃをまとめて情報処理装置２０とも称する。
ウェアラブル端末１０は、ユーザの身体のいずれかに装着される情報処理装置であり、近距離通信機能、および音声収音機能を備える。ウェアラブル端末１０の形態は、いかなる形態であってもよいが、例えば、ユーザの顔面に装着されるメガネ型、ユーザの胸などに装着されるバッジ型、またはユーザの手首等に装着される腕時計型などであってもよい。
具体的には、ウェアラブル端末１０は、ウェアラブル端末１０の間で、互いの識別情報を近距離通信機能によって送受信する。例えば、近距離通信機能は、数ｍ〜１００ｍ程度の距離で情報を無線通信するＢｌｕｅｔｏｏｔｈ（登録商標）などに対応したアンテナおよび通信回路にて構成されてもよい。Ｂｌｕｅｔｏｏｔｈなどの近距離通信は、通信可能範囲が数ｍ〜１００ｍ程度に限られている。そのため、例えば、ウェアラブル端末１０Ｂの識別情報がウェアラブル端末１０Ａにて受信された場合、情報処理システムは、ウェアラブル端末１０Ａの近傍にウェアラブル端末１０Ｂが存在すると判断することができる。
また、ウェアラブル端末１０は、ウェアラブル端末１０の周囲の音声を音声収音機能によって取得する。例えば、音声収音機能は、周囲の音声を収音するマイクロフォンおよび信号処理回路にて構成されてもよい。これによれば、情報処理システムは、ウェアラブル端末１０によって、ユーザが現実世界で交流した他のユーザの音声を収音することができるため、ユーザが他のユーザと会話などの交流を行ったことを把握することができる。
ウェアラブル端末１０が取得したこれらの識別情報および音声情報は、近距離通信によって情報処理装置２０に送信され、情報処理装置２０を介して情報処理サーバ３０に送信される。
情報処理装置２０は、ユーザによって携帯可能な通信装置であり、近距離通信機能、およびネットワーク４０への接続機能を備える。情報処理装置２０は、例えば、スマートフォン、携帯電話、タブレット端末、またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｄｉｔａｌ Ａｓｓｉｓｔａｎｔ）などであってもよい。
具体的には、情報処理装置２０は、ウェアラブル端末１０にて取得された識別情報および音声情報を近距離通信機能によって受信する。例えば、近距離通信機能は、数ｍ〜１００ｍ程度の距離で情報を無線通信するアンテナおよび通信回路にて構成されてもよい。
また、情報処理装置２０は、ウェアラブル端末１０から受信した識別情報および音声情報をネットワーク４０への接続機能によって情報処理サーバ３０に送信する。例えば、ネットワーク４０への接続機能は、無線ＬＡＮ、公衆回線網、移動体通信網、またはインターネットへの接続に対応したアンテナおよび通信回路にて構成されてもよい。
情報処理サーバ３０は、各ユーザの個人情報等が登録された所定のデータベースを記憶し、ネットワーク４０を介して受信したウェアラブル端末１０の識別情報と、音声情報とに基づいて、所定のデータベースからユーザが出会った他のユーザを特定する。所定のデータベースとは、例えば、ユーザのプロフィール情報、およびユーザと他のユーザとの交流の履歴に関する情報などが登録されたソーシャルネットワーキングサービスなどのデータベースであってもよい。
具体的には、情報処理サーバ３０は、ユーザＡが現実世界で出会ったユーザＢのウェアラブル端末１０Ｂの識別情報と、ユーザＢの音声を含む音声情報とに基づいて、所定のデータベースに登録されたユーザのいずれがユーザＢであるのかを特定する。なお、ユーザＢを特定するために用いられたウェアラブル端末１０Ｂの識別情報、およびユーザＢの音声を含む音声情報は、他のウェアラブル端末１０から近距離通信によってウェアラブル端末１０が受信した情報である。これらの情報は、ウェアラブル端末１０から情報処理装置２０およびネットワーク４０を介して情報処理サーバ３０に送信される。
情報処理サーバ３０では、各ウェアラブル端末１０の識別情報と、所定のデータベースに登録されたユーザとが関連付けられているため、各ウェアラブル端末１０の識別情報から所定のデータベースに登録されたユーザを特定することができる。
ただし、ユーザＡの周囲に複数のユーザＢおよびユーザＣが存在した場合、ウェアラブル端末１０Ａは、同時に、複数のウェアラブル端末１０Ｂ、１０Ｃの識別情報を受信することになる。このような場合、情報処理システムは、ウェアラブル端末１０Ｂ、１０Ｃの識別情報だけでは、ユーザＡの周囲に存在する複数のユーザのいずれがユーザＢまたはユーザＣであるのかを判別することは難しい。
そこで、本実施形態に係る情報処理サーバ３０では、さらに、各ユーザの音声を識別するための情報を記憶する。これにより、情報処理システムは、ウェアラブル端末１０で収音された他のユーザの音声を含む音声情報を解析することで、該他のユーザを識別することができる。これによれば、情報処理システムは、音声情報に含まれる発話のタイミング、または音声が収音された方向等の情報から、ユーザＡの周囲に存在する複数のユーザのいずれがユーザＢまたはユーザＣであるのかを判別することを可能とする。なお、ユーザの音声を識別するための情報とは、例えば、ユーザの声紋情報などであってもよい。
ネットワーク４０は、情報の送受信が行われる通信網である。ネットワーク４０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、衛星通信網、電話回線網、移動体通信網（例えば、３Ｇ回線網など）、またはＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などであってもよい。
以上にて概略を説明したように、本実施形態に係る情報処理システムは、ウェアラブル端末１０の識別情報と、音声情報とを用いることで、ユーザが現実世界で交流した他のユーザを所定のデータベースに登録された個人に特定することが可能である。
ここで、例えば、個人の特定にウェアラブル端末１０の識別情報のみを用いた場合、情報処理システムは、同時に複数のウェアラブル端末１０から識別情報を受信した際に、それぞれのユーザを互いに判別することが困難となる。また、個人の特定に音声情報のみを用いた場合、ユーザが他のユーザと現実世界で交流しておらず、放送または通信などで他のユーザの音声のみが収音された際にも、ユーザと該他のユーザとが交流したと判断してしまう可能性がある。
本実施形態に係る情報処理システムは、ウェアラブル端末１０の識別情報と、ユーザが現実世界で交流した他のユーザの音声情報との両方を用いることで、該他のユーザの顔画像等を用いずとも、該他のユーザを特定することが可能である。
また、特定された他のユーザに関する情報は、ウェアラブル端末１０または情報処理装置２０において、画像または音声の形態でユーザに提示されてもよい。これによれば、ユーザは、現実世界で交流した他のユーザの情報を即時的に確認することが可能である。
なお、図１では、ウェアラブル端末１０および情報処理装置２０が、別々の装置として構成される例を示したが、本実施形態に係る情報処理システムは、かかる例示に限定されない。例えば、ウェアラブル端末１０、および情報処理装置２０は、一つの通信装置であってもよい。このような場合、ウェアラブル端末１０、および情報処理装置２０を構成する通信装置は、近距離通信機能、音声収音機能、およびネットワーク４０への接続機能を備え、ユーザの身体に装着可能な通信機器として構成される。
＜２．情報処理システムの構成例＞
続いて、図２を参照して、本実施形態に係る情報処理システムの具体的な構成について説明する。図２は、本実施形態に係る情報処理システムの内部構成を示すブロック図である。
図２に示すように、ウェアラブル端末１０は、マイク部１１０と、姿勢センサ部１２０と、制御部１３０と、近距離通信部１４０とを備える。また、情報処理装置２０は、入力部２２０と、近距離通信部２１０と、制御部２３０と、通知生成部２４０と、通知部２５０と、接続部２６０とを備える。さらに、情報処理サーバ３０は、接続部３１０と、特定部３２０と、交流情報生成部３３０と、データベース記憶部３４０とを備える。
（ウェアラブル端末１０）
マイク部１１０は、例えば、マイクロフォン等の収音装置、およびＤＳＰ（Ｄｉｄｉｔａｌ Ｓｉｇｎａｌｉｎｇ Ｐｒｏｃｅｓｓｏｒ）などの信号処理回路で構成され、ウェアラブル端末１０の周囲の音声を収音する。
マイク部１１０は、ウェアラブル端末１０の周囲の音声を常時、収音してもよいが、ユーザが現実世界で他のユーザと交流を持ったと判断される場合のみ、ウェアラブル端末１０の周囲の音声を収音してもよい。
具体的には、マイク部１１０は、近距離通信部１４０にて、他のウェアラブル端末１０の識別情報を受信した時点から一定期間の間、周囲の音声を収音してもよい。この時、マイク部１１０は、他のウェアラブル端末１０の識別情報を受信した時点から、所定のタイミングで一定時間の音声の収音を繰り返してもよい。また、マイク部１１０は、閾値以上の大きさの音を検知した場合に、閾値以上の大きさの音をユーザと他のユーザとの会話の音声であると判断して、検知した音を収音してもよい。なお、マイク部１１０は、長い時間、音声を収音しなくともよい。マイク部１１０は、ユーザと会話する他のユーザの音声を収音できれば、３秒程度で収音を止めてもよい。
また、マイク部１１０は、ウェアラブル端末１０を装着したユーザ自身の音声が含まれないように、周囲の音声を収音してもよい。ウェアラブル端末１０を装着したユーザ自身の音声は、音声の発せられた方向がウェアラブル端末１０と極めて近いため、マイク部１１０にて識別可能である。そのため、マイク部１１０は、ウェアラブル端末１０を装着したユーザが交流した他のユーザの音声を選択的に収音し、ウェアラブル端末１０を装着したユーザ自身の音声は収音しなくともよい。
マイク部１１０が備える収音装置は、複数のマイクロフォンを配列したマイクロフォンアレイ装置であってもよい。このような場合、マイク部１１０は、収音した音声がいずれの方位から発せられたかを推定することができる。音声が発せられた方位を推定することによって、情報処理システムは、特定された個人の位置をより具体的に把握することができる。
ここで、マイクロフォンアレイ装置において、音声が発せられた方位を推定する方法について、図３〜図５を参照して説明する。図３は、音源（すなわち、話者）と、マイクロフォンアレイ装置における複数のマイクロフォンとの位置関係を示す説明図である。
図３に示すように、音源５０（すなわち、話者）が存在し、マイクロフォンアレイ装置には、複数のマイクロフォン１１１、１１２が備えられているとする。また、複数のマイクロフォン１１１、１１２は、互いに距離ｄだけ離れて配置されている。
なお、図３では、マイクロフォンアレイ装置に２つのマイクロフォン１１１、１１２が備えられる場合を示したが、マクロフォンの数は、２つに限定されず、複数であればよい。マイクロフォンアレイ装置が備えるマイクロフォンの数が多いほど、より詳細に音源の方位を推定することができる。また、マイクロフォンの各々の間の距離ｄは、より広いほど、より詳細に音源５０の方位を推定することができる。
また、マイクロフォンアレイ装置において、より詳細に音源の方位を推定するためには、マイクロフォンアレイ装置に備えられる複数のマイクロフォンは、水平に並べて配列されることが望ましい。そのため、マイク部１１０がマイクロフォンアレイ装置を含んで構成される場合、ウェアラブル端末１０の形態は、向きおよび位置が比較的変動しにくいメガネ型またはバッジ型であることが望ましい。
ここで、複数のマイクロフォン１１１および１１２を結ぶ線分と、音源５０の位置とがなす音波の入射角α（すなわち、音源の方位）は、下記の数式１によって求められる。なお、数式１において、ｃは、音速であり、τは、複数のマイクロフォン１１１、１１２で検出された音波の到達時間差である。
また、複数のマイクロフォン１１１、１１２での音波の到達時間差の検出方法について、図４および図５を参照して説明する。図４は、複数のマイクロフォンにおける音波の到達時間差を示す説明図であり、図５は、複数のマイクロフォンにおける音波の到達時間差を検出する回路構成を示すブロック図である。
マイクロフォンアレイ装置に備えられる複数のマイクロフォン１１１、１１２は、音源５０との距離が異なるため、図４に示すように、音源５０から発せられた音声は、時間差τにてマイクロフォン１１１、１１２に到達する。
マイクロフォン１１１にて取得された音声信号をＳｊとし、マイクロフォン１１２にて取得された音声信号をＳｉとすると、到達時間差τは、図５で示す到達時間差検出器によって音声信号ＳｉおよびＳｊを解析処理することで算出することができる。
具体的には、到達時間差検出器は、マイクロフォン１１１および１１２のそれぞれで取得された音声信号ＳｉおよびＳｊの相互相関を検出する相互相関器１１５と、音声信号ＳｉおよびＳｊの相互相関が最大となるピークを検出するピーク検出器１１７とから構成される。例えば、相互相関器１１５は、音声信号ＳｉおよびＳｊから以下の数式２で示す相互相関係数を算出する。なお、数式２において、ｎは、アナログ信号である音声信号をアナログ−デジタル変換した際に得られるデジタル信号の音声サンプルに対応し、ｔは、相互相関の時間軸に対応する。また、アナログ−デジタル変換のサンプリング周波数は、データ容量または処理の負荷と、推定する音源５０の方位の分解能とのバランスを考慮して、適宜選択することができる。
また、ピーク検出器１１７は、以下の数式３で示すように、相互相関係数ＸＣＯＲＲの値が最大となる変数ｔの値を算出する。この時の変数ｔが求める到達時間差τである。これにより、到達時間差検出器によって算出されたτを上記の数式１に代入することで、複数のマイクロフォン１１１および１１２を備えるマイクロフォンアレイ装置と、音源５０とがなす角度（すなわち、音源の方位）を算出することができる。
姿勢センサ部１２０は、例えば、加速度センサおよび信号処理回路によって構成され、ウェアラブル端末１０に加えられる加速度を検出することで、ウェアラブル端末１０を装着するユーザの姿勢を推定する。加速度センサは、例えば、機械的変位測定式、光学式、静電容量式、ピエゾ抵抗式などの多様な方式の加速度センサであってもよい。
これによれば、情報処理システムは、ウェアラブル端末１０同士での近距離通信にて、識別情報に加えて、ウェアラブル端末１０を装着したユーザの姿勢に関する情報を送受信することができる。したがって、情報処理システムは、ユーザが現実世界で交流している他のユーザの姿勢に関する情報をユーザに通知することができる。これにより、ユーザは、自分の周囲に存在する他の複数のユーザの各々が所定のデータベースに登録された個人のいずれであるのかをより正確に把握することが可能となる。
なお、姿勢センサ部１２０が備えるセンサは、ウェアラブル端末１０を装着するユーザの姿勢に関する情報を取得することができれば、加速度センサでなくともよい。例えば、姿勢センサ部１２０が備えるセンサは、ジャイロセンサまたは振動センサであってもよい。このような場合でも、姿勢センサ部１２０は、ウェアラブル端末１０を装着するユーザの姿勢に関する情報を取得することが可能である。
制御部１３０は、例えば、演算処理装置であるＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、制御プログラムおよび制御パラメータ等を記憶するメモリとから構成され、ウェアラブル端末１０の各構成を制御する。具体的には、制御部１３０は、他のウェアラブル端末１０との間で、自身の識別情報、および姿勢センサ部１２０によって推定されたユーザの姿勢に関する情報を送受信するように各構成を制御する。また、制御部１３０は、マイク部１１０で収音した音声情報、ならびに他のウェアラブル端末１０から受信したユーザの姿勢に関する情報および識別情報を情報処理装置２０に送信するように各構成を制御する。
近距離通信部１４０は、例えば、アンテナおよび通信回路にて構成され、他のウェアラブル端末１０との間、および情報処理装置２０との間で、近距離通信を行う。具体的には、近距離通信部１４０は、他のウェアラブル端末１０との間で、自身の識別情報、および姿勢センサ部１２０によって推定されたユーザの姿勢に関する情報を送受信する。近距離通信部１４０が他のウェアラブル端末１０に送信する識別情報は、例えば、近距離通信においてペアリングを行うための識別情報であってもよい。また、近距離通信部１４０は、マイク部１１０で収音した音声情報、ならびに他のウェアラブル端末１０から受信したユーザの姿勢に関する情報および識別情報を情報処理装置２０に送信する。
近距離通信部１４０が行う通信の方式は、数ｍ〜１００ｍ程度の半径の通信可能範囲を有する通信方式であればよく、例えば、Ｗｉ−Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）、ＡＮＴ（登録商標）、またはＡＮＴ＋（登録商標）などであってもよい。具体的には、近距離通信部１４０は、Ｂｌｕｅｔｏｏｔｈ、またはＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙを用いて、近距離通信を行ってもよい。このとき、近距離通信部１４０が他のウェアラブル端末１０に送信する識別情報は、Ｂｌｕｅｔｏｏｔｈ−ＩＤであってもよい。
また、近距離通信部１４０は、他のウェアラブル端末１０から識別情報を含む各種情報を受信した際の電波強度に基づいて、ウェアラブル端末１０と、他のウェアラブル端末１０との距離を算出してもよい。例えば、近距離通信部１４０がＢｌｕｅｔｏｏｔｈで近距離通信を行う場合、Ｂｌｕｅｔｏｏｔｈには、受信信号強度を表すＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）値が存在する。ＲＳＳＩ値を用いることで、近距離通信を行った２つのウェアラブル端末１０の間の距離を推定することができる。この変換式を下記の数式４に示す。また、数式４をグラフで表したグラフ図を図６に示す。なお、数式４において、ｄは、２つのウェアラブル端末１０の間の距離を示し、ＲＳＳＩは、受信信号強度を表し、ｄ０は、ＲＳＳＩの値が所定のＲＳＳＩ０となる場合の距離を表し、αは、伝搬損失指数を表す。
数式４および図６に示すように、ＲＳＳＩ値は、２つのウェアラブル端末１０の間の距離に反比例するため、ＲＳＳＩ値を利用することで、２つのウェアラブル端末１０の間の距離を推定することが可能となる。これによれば、情報処理システムは、ユーザが現実世界で交流している他のユーザとの距離に関する情報をユーザに通知することができる。これにより、ユーザは、自分の周囲に存在する他の複数のユーザの各々が所定のデータベースに登録された個人のいずれであるのかをより正確に把握することが可能となる。
（情報処理装置２０）
近距離通信部２１０は、例えば、上述した近距離通信部１４０と同じ通信方式のアンテナおよび通信回路にて構成され、ウェアラブル端末１０との間で、近距離通信を行う。具体的には、近距離通信部２１０は、マイク部１１０で収音した音声情報、ならびに他のウェアラブル端末１０から受信したユーザの姿勢に関する情報および識別情報を受信する。ここで、ユーザの姿勢に関する情報および識別情報とは、ウェアラブル端末１０が他のウェアラブル端末１０から受信した情報であり、ウェアラブル端末１０自身の識別情報、およびウェアラブル端末１０自身が検出したユーザの姿勢に関する情報は含まない。
近距離通信部２１０の通信方式は、上述した近距離通信部１４０と同じであり、例えば、Ｗｉ−Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）、ＡＮＴ（登録商標）、またはＡＮＴ＋（登録商標）などであってもよい。
入力部２２０は、タッチパネル、キーボード、ボタン、マイクロフォン、スイッチおよびレバーなどの情報が入力される入力装置と、ユーザの入力に基づいて入力信号を生成し、制御部２３０に出力するための入力制御回路などから構成される。入力部２２０によれば、ユーザは、情報処理装置２０に各種入力を行うことができる。
制御部２３０は、演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、制御プログラムおよび制御パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、動作時に使用するプログラムおよび適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とから構成され、情報処理装置２０の各構成を制御する。具体的には、制御部２３０は、近距離通信部２１０によってウェアラブル端末１０から受信した各種情報を、接続部２６０によって情報処理サーバ３０に送信する。また、制御部２３０は、近距離通信部２１０によってウェアラブル端末１０から受信した各種情報、または情報処理サーバ３０から受信した各種情報を用いて、ユーザへの通知を生成するように通知生成部２４０を制御する。
通知生成部２４０は、近距離通信部２１０によってウェアラブル端末１０から受信した各種情報、または情報処理サーバ３０から受信した各種情報を用いて、ユーザへの通知を生成する。具体的には、通知生成部２４０は、情報処理サーバ３０にて特定された個人との交流を示す交流情報を含む通知を生成する。
交流情報は、例えば、特定された個人の所定のデータベースにおける個人情報、特定された個人とユーザとの交流の履歴に関する情報、または特定された個人に対するユーザからの評価を示す評価情報などを含んでもよい。これらの情報は、例えば、情報処理サーバ３０の所定のデータベースに記憶される。また、交流情報は、特定された個人の姿勢に関する情報、特定された個人の音声情報、または特定された個人とユーザとの距離に関する情報などを含んでもよい。これらの情報は、例えば、ウェアラブル端末１０にて収音または受信した情報である。
通知生成部２４０が生成する通知の様態は、通知部２５０の形態に応じて、適宜変更され得る。例えば、通知部２５０が表示装置である場合、通知生成部２４０は、通知部２５０が表示する画像を生成してもよく、通知部２５０が音声出力装置である場合、通知生成部２４０は、通知部２５０で再生される音声信号を生成してもよい。なお、通知部２５０が表示装置である場合に、通知生成部２４０が生成する画像については、＜３．ユーザに対する表示例＞にて後述する。
通知部２５０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）装置もしくはランプなどの表示装置、またはスピーカもしくはヘッドホンなどの音声出力装置を含む。例えば、通知部２５０が表示装置等である場合、通知部２５０は、通知生成部２４０によって生成された信号に基づいて、点灯または画像表示を行う。また、通知部２５０が音声出力装置である場合、通知部２５０は、通知生成部２４０によって生成された信号に基づいて、音声を出力する。
また、通知部２５０は、ユーザの感覚器官に対してなんらかの刺激を与えることができるものであれば、特に限定されない。通知部２５０は、上記以外に、例えば、振動装置などであってもよい。
接続部２６０は、例えば、ネットワーク４０に接続するためのインターフェースおよび通信回路にて構成され、ネットワーク４０を介して、情報処理サーバ３０と情報の送受信を行う。例えば、接続部２６０は、ＬＡＮ、ＷＡＮ、インターネット、衛星通信網、電話回線網、移動体通信網、またはＩＰ−ＶＰＮ等に接続可能なインターフェースおよび通信回路にて構成されてもよい。ただし、情報処理装置２０は、多くの場合、ユーザに携帯されるため、接続部２６０は、無線通信が可能なインターフェースであることが好ましい。
具体的には、接続部２６０は、ウェアラブル端末１０の周囲の音声情報、およびウェアラブル端末１０で受信した他のウェアラブル端末１０の識別情報等を情報処理サーバ３０に送信する。また、接続部２６０は、ウェアラブル端末１０の周囲の音声情報、およびウェアラブル端末１０で受信した他のウェアラブル端末１０の識別情報によって特定された個人に関する情報を情報処理サーバ３０から受信する。
（情報処理サーバ３０）
接続部３１０は、例えば、ネットワーク４０に接続するためのインターフェースおよび通信回路にて構成され、ネットワーク４０を介して、情報処理装置２０と情報の送受信を行う。例えば、接続部３１０は、接続部２６０と同様に、ＬＡＮ、ＷＡＮ、インターネット、衛星通信網、電話回線網、移動体通信網、またはＩＰ−ＶＰＮ等に接続可能なインターフェースおよび通信回路にて構成されてもよい。
具体的には、接続部３１０は、ウェアラブル端末１０の周囲の音声情報、およびウェアラブル端末１０で受信した他のウェアラブル端末１０の識別情報等を情報処理装置２０から受信する。また、接続部３１０は、特定部３２０によって所定のデータベースから特定された個人に関する情報を情報処理装置２０に送信する。
特定部３２０は、ウェアラブル端末１０にて受信された他のウェアラブル端末１０の識別情報、およびウェアラブル端末１０にて収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する。なお、特定部３２０と、交流情報生成部３３０とは、演算処理装置であるＣＰＵと、制御プログラムおよび制御パラメータ等を記憶するＲＯＭと、動作時に使用するプログラムおよび適宜変化するパラメータ等を一時記憶するＲＡＭとから構成される。
具体的には、特定部３２０は、受信されたウェアラブル端末１０の識別情報に関連付けられた個人を所定のデータベースから特定する。また、特定部３２０は、収音された音声情報に含まれる発話音声を声紋解析することで、発話音声を発している個人を特定する。なお、声紋解析に用いる各ユーザの音声を識別するための声紋情報は、例えば、あらかじめ所定のデータベース等に登録されていればよい。
なお、音声からの声紋情報等の抽出は、図７で示すフローチャートを用いて行うことができる。また、声紋情報を用いた音声の識別は、図８で示すフローチャートを用いて行うことができる。図７は、ユーザの音声から声紋情報を抽出する際の流れを説明するフローチャート図であり、図８は、声紋情報を用いて、音声情報に対応する個人を特定する際の流れを説明するフローチャート図である。また、図９は、音声情報から特徴量を抽出するメル周波数ケプストラム係数方式を説明する説明図である。
ユーザの音声から声紋情報を抽出する場合、図７に示すように、例えば、ソーシャルネットワーキングサービスの入会時等に、あらかじめ定型文を発話することで、ユーザの音声情報が取得される（Ｓ１０１）。次に、ユーザの音声情報から特徴量の抽出が行われる（Ｓ１０３）。音声情報からの抽出される特徴量には、例えば、メル周波数ケプストラム係数が用いられる。ここで、図９に、音声波形と、該音声波形から抽出したメル周波数ケプストラム係数との対応関係を示す。図９では、音声波形をメル尺度にて変換し、１２個のメル周波数ケプストラム係数にて表現した例を示した。続いて、抽出したメル周波数ケプストラム係数などの特徴量は、音声情報のユーザと関連付けられた（Ｓ１０５）後、所定のデータベース等に登録される（Ｓ１０７）。なお、音声情報から抽出されたメル周波数ケプストラム係数などの特徴量がいわゆる声紋情報に相当する。
また、所定のデータベースに登録されたメル周波数ケプストラム係数などの声紋情報は、機械学習等によって精度を向上させてもよい。具体的には、情報処理サーバ３０は、各ウェアラブル端末１０および情報処理装置２０から、日常的な使用の際にユーザの音声情報を取得させ、取得したユーザの音声情報から特徴量を抽出することで、所定のデータベースに登録された声紋情報の精度を向上させてもよい。
例えば、ウェアラブル端末１０は、音声の発せられた方向がウェアラブル端末１０と極めて近いため、ウェアラブル端末１０を装着しているユーザの音声を識別することができる。そのため、ウェアラブル端末１０は、ユーザの音声を選択的に収音し、所定のデータベースに登録された声紋情報の機械学習に用いることができる。また、情報処理装置２０がスマートフォンである場合、情報処理装置２０は、スマートフォンでのユーザの通話音声を収音することで、ユーザの音声を選択的に収音し、所定のデータベースに登録された声紋情報の機械学習に用いることができる。
一方、声紋情報を用いて、音声情報に対応する個人を特定する場合、図８に示すように、まず、接続部３１０を介して、識別する音声情報が取得される（Ｓ１１１）。続いて、音声情報から特徴量の抽出が行われる（Ｓ１１３）。具体的には、音声情報から特徴量として、メル周波数ケプストラム係数が抽出される。次に、音声情報から抽出されたメル周波数ケプストラム係数と、所定のデータベースに登録された各メル周波数ケプストラム係数との比較が行われ（Ｓ１１５）、メル周波数ケプストラム係数が一致したと判断された個人が所定のデータベースから特定される（Ｓ１１７）。
この時のメル周波数ケプストラム係数の比較には、例えば、最短距離分類法を用いることができる。ここで、最短距離分類法について説明する。音声情報から抽出したメル周波数ケプストラム係数をＣｔとし、所定のデータベースに登録された声紋情報のメル周波数ケプストラム係数をＣｇとすると、ＣｔとＣｇとの平均二乗差ＭＳＤは、以下の数式５にて表すことができる。なお、Ｃｔは時間領域において平均化された値であり、Ｒは、メル周波数ケプストラム係数の数である。
数式５で算出した平均二乗差ＭＳＤが閾値よりも小さい場合、特定部３２０は、声紋情報が一致したと判断し、音声情報に含まれる音声を発した個人を特定することができる。なお、声紋情報が一致したと判断する最適な閾値は、例えば、実験等を行うことで適宜設定することが可能である。
これによれば、特定部３２０は、複数のウェアラブル端末１０の識別情報が受信された場合でも、収音された音声情報に含まれる音声の声紋情報等を照合することで、ユーザが現実世界で交流している個人を所定のデータベースから特定することが可能である。
なお、図２で示した構成例では、特定部３２０が情報処理サーバ３０に備えられる場合を示したが、本開示に係る技術は、上記例示に限定されない。例えば、特定部３２０は、情報処理装置２０に備えられていてもよい。このような場合、収音された他のユーザの音声情報が情報処理サーバ３０に送信されないため、ユーザのプライバシーにより配慮して個人を特定することができる。一方、特定部３２０が情報処理サーバ３０に備えられる場合、情報処理サーバ３０の方が高い処理能力を有するため、音声情報の声紋解析の処理速度を向上させることができる。
データベース記憶部３４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）装置、またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）装置等の記憶装置にて構成され、各ユーザの個人情報等が登録された所定のデータベースを記憶する。具体的には、データベース記憶部３４０は、少なくともユーザの氏名、経歴、所属、および自己紹介などを含むプロフィール情報、ならびにユーザと他のユーザとの交流の日時、場所、および時間などを含む交流履歴に関する情報などが登録されたデータベースを記憶してもよい。このようなデータベースは、例えば、ネットワーク上でのユーザ同士の交流を支援するソーシャルネットワーキングサービスなどに用いられてもよい。
交流情報生成部３３０は、データベース記憶部３４０に記憶された情報に基づいて、特定部３２０にて特定された個人に関する交流情報を生成する。また、生成された交流情報は、例えば、情報処理装置２０の通知部２５０等を介して、ユーザに対して提示される。なお、交流情報生成部３３０は、演算処理装置であるＣＰＵと、制御プログラムおよび制御パラメータ等を記憶するＲＯＭと、動作時に使用するプログラムおよび適宜変化するパラメータ等を一時記憶するＲＡＭとから構成される。
ここで、交流情報とは、現実世界でユーザが交流している他のユーザに関する情報であり、具体的には、特定部３２０にて特定された個人に関する情報を少なくとも含む。また、交流情報は、ウェアラブル端末１０が受信した他のユーザの姿勢に関する情報、ウェアラブル端末１０が受信した近距離通信の電波強度から推定した他のユーザまでの距離に関する情報、またはウェアラブル端末１０にて収音された音声情報、ウェアラブル端末１０にて収音された音声が発せられた方位に関する情報を含んでもよい。交流情報が上記の情報を含む場合、ユーザは、現実世界において、特定部３２０にて特定された他のユーザをより確実に識別することができる。また、ユーザは、特定部３２０にて特定された他のユーザの人物像をより詳しく知ることができる。
また、交流情報は、ユーザと他のユーザとの交流履歴に関する情報を含んでもよい。交流履歴は、例えば、ユーザと他のユーザとが現実世界で出会った日時、場所、交流した時間、交流した際の音声情報、または交流した際の他のユーザの姿勢、方向および距離に関する情報を含んでもよい。交流情報がユーザと他のユーザとの交流履歴に関する情報を含む場合、ユーザは、過去の交流を参照することで、他のユーザとの交流を深めることができる。
さらに、交流情報は、ユーザが他のユーザに対して付与した評価を示す評価情報を含んでもよい。評価情報とは、例えば、所定または外部のソーシャルネットワーキングサービス内で、ユーザに対して他のユーザから付与されるポイント等であり、ユーザに対する好感、好意または称賛を示す情報であってもよい。交流情報がこのような評価情報を含む場合、ユーザは、評価情報から、他のユーザに対するソーシャルネットワーキングサービス内での評判または評価などを判断することができる。また、評価情報は、他のユーザに対する注意、および反対などのネガティブな評価を含んでいてもよい。
＜３．ユーザに対する表示例＞
次に、図１０〜図１４を参照して、本実施形態に係る情報処理装置２０の通知部２５０が表示装置である場合に通知部２５０にて表示される表示例について、第１〜第３の表示例に分けて説明する。
［３．１．第１の表示例］
まず、図１０および図１１を参照して、第１の表示例について説明する。図１０および図１１は、表示装置である通知部２５０に表示される第１の表示例を示す説明図である。
図１０および図１１に示すように、第１の表示例では、例えば、ウェアラブル端末１０でユーザＢおよびユーザＣと対応するウェアラブル端末１０の識別情報が受信された場合、ユーザＢおよびユーザＣとの交流情報が表示される。
具体的には、図１０および図１１で示す表示例には、該ユーザと前回交流した日時を示す「交流履歴」、該ユーザの音声が発せられた方向を示す「声の方向」、該ユーザの姿勢を示す「姿勢」、ウェアラブル端末１０にて収音した該ユーザの音声情報を再生するための「再生ボタン」、該ユーザに対する評価を付与する「評価ボタン」、該ユーザとの交流履歴を削除する「削除ボタン」が表示される。
図１０で示す表示例では、ユーザは、ユーザＢとは以前に交流したことはないものの、ユーザＣとは交流したことがあるため、ユーザＣの「交流履歴」に前回の交流の日時が表示されている。なお、ユーザＣとの交流履歴を削除したい場合、ユーザは、「削除ボタン」を押下することで、該ユーザＣとの交流履歴を削除することができる。
また、図１０で示す表示例では、ユーザＢおよびユーザＣが装着するウェアラブル端末１０の姿勢センサ部１２０にて検出されたユーザＢおよびユーザＣの姿勢を示す情報が「姿勢」に表示されている。これによれば、ユーザは、現実世界におけるユーザＢおよびユーザＣの姿勢と、表示例に示される各ユーザの姿勢とを照らし合わせて確認することができるため、現実世界における各ユーザが表示例に示される各ユーザのいずれであるのかを判別することが容易になる。
なお、図１０で示す表示例では、ユーザＢおよびユーザＣのいずれも音声を発していないため、ウェアラブル端末１０にて音声情報は収音されておらず、「声の方向」および「再生ボタン」は表示されていない。
ここで、ユーザＢとの交流が発生し、ユーザＢが発話した音声がウェアラブル端末１０にて収音された場合、図１０で示した表示例は、図１１で示す表示例に遷移する。
図１１で示す表示例では、音声情報が収音されたことによって、ユーザＢとの「交流履歴」、「声の方向」、「再生ボタン」、「評価ボタン」、および「削除ボタン」が新たに表示されている。なお、ユーザＢとの「交流履歴」に表示された日時は、ユーザＢの音声を含む音声情報が収音された日時であってもよい。
また、ユーザは、「再生ボタン」を押下することで、収音されたユーザＢの音声を再生することができる。仮に、「再生ボタン」の押下で再生された音声がユーザＢの音声ではない場合、ユーザは、「削除ボタン」を押下することで、収音された音声情報、および交流履歴を削除することができる。これにより、音声情報による個人特定の精度を向上させることができる。
さらに、ユーザは、交流したユーザＢに対して好意的な評価を付与したい場合、「評価ボタン」を押下することで、ユーザＢに好意的な評価を付与することができる。ユーザが付与した評価は、例えば、情報処理サーバ３０に記憶される所定のデータベースに記憶され、ユーザＢに対する評価情報が更新されることになる。
交流したユーザＢに対するユーザからの評価の付与は、「評価ボタン」の押下などの入力部２２０を介した入力以外にも、例えば、音声認識技術を用いて「いいですね」、「ありがとうございます」、「すごいですね」などの特定のキーワードの発話を認識することで行われてもよい。また、交流したユーザＢに対するユーザからの評価の付与は、ウェアラブル端末１０を装着した身体を用いた特定のジェスチャ動作を認識することで行われてもよい。このような場合、ユーザは、交流した他のユーザに気づかれることなく、自然な発話または動作によって、交流した他のユーザに対して評価の付与を行うことが可能である。
なお、図１０および図１１で示した表示例は、ウェアラブル端末１０が他のウェアラブル端末１０の識別情報を受信している間だけでなく、現実世界でのユーザ同士の交流が終了した後にも、履歴として見返すことができるようにしてもよい。これによれば、ユーザは、現実世界での交流中には、気づかなかった情報の誤り等を修正することができる。
［３．２．第２の表示例］
続いて、図１２および図１３を参照して、第２の表示例について説明する。図１２および図１３は、表示装置である通知部２５０に表示される第２の表示例を示す説明図である。
図１２および図１３に示すように、第２の表示例では、例えば、ウェアラブル端末１０でユーザＢおよびユーザＣと対応するウェアラブル端末１０の識別情報が受信された場合、ユーザＢおよびユーザＣとの交流情報が表示される。第２の表示例では、第１の表示例とは異なり、交流情報を文字等ではなく、イラストまたは記号等を用いて表示している。これによれば、ユーザは、より直感的に他のユーザの様子を認識することができる。
具体的には、図１２および図１３で示す表示例では、ユーザＢおよびユーザＣを示す画像は、各ユーザの姿勢、および声の方向を反映した配置で表示されている。また、ユーザＢおよびユーザＣを示す画像の周囲には、該ユーザと前回交流した日時を示す交流履歴を表示させるための「交流履歴ボタン」、ウェアラブル端末１０にて収音した該ユーザの音声情報を再生するための「再生ボタン」、該ユーザに対する評価を付与する「評価ボタン」、該ユーザとの交流履歴を削除する「削除ボタン」が表示される。
また、図１３で示す表示例では、図１２で示す表示例に対して、ユーザ（すなわち、あなた）と、他のユーザ（すなわち、ユーザＢおよびユーザＣ）との距離を示す画像がさらに表示されている。ここで、ユーザと他のユーザとの距離は、ウェアラブル端末１０が受信した近距離通信の電波強度から推定した他のユーザまでの距離である。
図１２および図１３で示す表示例は、ユーザＢとの交流が発生し、ユーザＢが発話した音声がウェアラブル端末１０にて収音された場合（すなわち、図１１の状態に対応する場合）の表示例である。
そのため、図１２および図１３で示す表示例では、ユーザは、ユーザＢの周囲の「再生ボタン」を押下することで、収音されたユーザＢの音声を再生することができる。仮に、「再生ボタン」の押下で再生された音声がユーザＢの音声ではない場合、ユーザは、「削除ボタン」を押下することで、収音された音声情報、および交流履歴を削除することができる。これにより、音声情報による個人特定の精度を向上させることができる。また、ユーザは、交流したユーザＢに対して好意的な評価を付与したい場合、「評価ボタン」を押下することで、ユーザＢに好意的な評価を付与することができる。
一方、図１２および図１３で示す表示例では、ユーザＣから発話された音声がウェアラブル端末１０にて収音されていないため、ユーザＣの画像の周囲には、「再生ボタン」および「評価ボタン」の画像が表示されていない。また、ユーザＣから発話された音声が収音されておらず、音声が発せられた方位が不明であるため、ユーザＣの画像は、ユーザ（すなわち、あなた）に対する現実世界での位置関係を反映しないように、枠等で囲まれて表示されている。このような場合、ユーザＣの画像は、ユーザ（すなわち、あなた）の周囲のどこか近くにいることのみを表している。
また、図１２および図１３で示す表示例では、ユーザＢの画像は、装着するウェアラブル端末１０の姿勢センサ部１２０にて検出されたユーザＢの姿勢を反映して、「座った」状態の画像となっている。一方、ユーザＣの画像は、装着するウェアラブル端末１０の姿勢センサ部１２０にて検出されたユーザＣの姿勢を反映して、「起立した」状態の画像となっている。これによれば、ユーザは、現実世界におけるユーザＢおよびユーザＣの姿勢と、表示例に示される各ユーザの姿勢とを照らし合わせて確認することができるため、現実世界における各ユーザが表示例に示される各ユーザのいずれであるのかを判別することが容易になる。
なお、図１２および図１３で示した表示例は、ウェアラブル端末１０が他のウェアラブル端末１０の識別情報を受信している間だけでなく、現実世界でのユーザ同士の交流が終了した後にも、履歴として見返すことができるようにしてもよい。これによれば、ユーザは、現実世界での交流中には、気づかなかった情報の誤り等を修正することができる。
［３．３．第３の表示例］
次に、図１４を参照して、第３の表示例について説明する。図１４は、表示装置である通知部２５０に表示される第３の表示例を示す説明図である。
図１４に示すように、第３の表示例では、例えば、ウェアラブル端末１０でユーザＢ〜Ｈの各々と対応するウェアラブル端末１０の識別情報が受信された場合、ユーザ（すなわち、あなた）と、ユーザＢ〜Ｈの各々との位置関係が表示される。これによれば、ユーザは、現実世界でのユーザＢ〜Ｈの各々の位置関係を直感的に把握することができるため、現実世界における各ユーザが表示例に示される各ユーザのいずれであるのかを判別することがより容易になる。
具体的には、対応するウェアラブル端末１０の識別情報、および発話した音声情報が取得されたユーザＢ〜Ｅは、識別情報を含む信号の電波強度から算出された距離と、音声が発せられた方位とを用いることにより、ユーザ（すなわち、あなた）からの位置が定まる。そこで、第３の表示例では、ユーザ（すなわち、あなた）を中心とし、現実世界の各ユーザの位置関係を反映した円形の画像で、特定された個人の情報を提示することができる。なお、対応するウェアラブル端末１０の識別情報のみが受信されたユーザＦ〜Ｈは、現実世界での位置関係を反映しないように、枠等で囲まれて表示されている。
また、これらの現実世界での各ユーザの位置関係を反映した表示は、時間経過に伴う履歴を並べて表示することで、ある時間の間に、所定の空間（例えば、一つの部屋など）の内部で、各ユーザがどのように移動し、誰と交流したのかを視覚的に提示することも可能である。すなわち、本開示に係る技術によれば、ユーザを中心として、現実世界における他のユーザの各々の位置座標を取得することができる。したがって、他のユーザの各々の位置座標を、部屋等を基準とした座標に変換することで、所定の空間（例えば、一つの部屋など）の内部での各ユーザの動きを把握することも可能である。なお、これらの表示の履歴は、例えば、情報処理サーバ３０のデータベース記憶部３４０などに記憶されてもよい。
＜４．情報処理システムの動作例＞
次に、図１５Ａ〜図１６を参照して、本実施形態に係る情報処理システムの動作例について説明する。図１５Ａは、ユーザの発話を収音する前までの情報処理システムの動作を説明するシークエンス図である。また、図１５Ｂおよび図１６は、ユーザの発話を収音した後の情報処理システムの動作を説明するシークエンス図である。なお、図１５Ｂは、音声情報の声紋解析を情報処理サーバ３０で行う場合のシークエンス図であり、図１６は、音声情報の声紋解析を情報処理装置２０で行う場合のシークエンス図である。
例えば、ある電車内に、ユーザＡ、ユーザＢ、ユーザＣ、およびその他の人々が存在する状況を考える。ユーザＡ、ユーザＢ、ユーザＣは、本実施形態に係る技術を用いたソーシャルネットワーキングサービスに加入しているが、それぞれお互いの顔等は知らない。このような状況において、座席に座っていたユーザＢがユーザＡに席を譲った時に、ユーザＡがユーザＢにお礼を述べ、ソーシャルネットワーキングサービス上でユーザＢに評価を付与したとする。このような場合、本実施形態に係る情報処理システムでは、以下のように動作が実行される。
具体的には、図１５Ａに示すように、まず、ユーザＡのウェアラブル端末１０Ａは、周囲に同じソーシャルネットワーキングサービスを受けているウェアラブル端末がいるか否かを確認するために、識別情報の問い合わせを行う（Ｓ２０１）。この問い合わせは、所定のタイミングで繰り返し行われ、問い合わせと同時にウェアラブル端末１０Ａの識別情報も送信される。これにウェアラブル端末１０Ｂは応答し、ウェアラブル端末１０Ｂの識別情報を送信する（Ｓ２０３）。なお、ウェアラブル端末１０Ａおよび１０Ｂの識別情報の各々には、ユーザＡおよびＢの各々の姿勢に関する情報が含まれる。
他のウェアラブル端末１０を見つけたウェアラブル端末１０Ａおよび１０Ｂの各々は、情報処理装置２０Ａおよび２０Ｂの各々に、受信した識別情報およびユーザの姿勢に関する情報を送信する（Ｓ２０５）。情報を受信した情報処理装置２０Ａおよび２０Ｂの各々は、受信した情報をメモリ等に記憶し（Ｓ２０７）、受信したウェアラブル端末の識別情報、およびユーザの姿勢に関する情報を情報処理サーバ３０に送信する（Ｓ２０９）。情報処理サーバ３０は、受信したウェアラブル端末１０の識別情報に対応するユーザ情報をソーシャルネットワーキングサービスのデータベースから検索し、検索したユーザ情報を情報処理装置２０に送信する（Ｓ２１１）。情報処理装置２０は、受信したユーザ情報を第１〜第３の表示例等にて表示してもよい（Ｓ２１３）。このとき、ユーザ情報には、ユーザの音声を特定するための情報（すなわち、声紋情報）ユーザＡと、ユーザＢとの交流の履歴情報などが含まれてもよい。
ここで、ユーザＢがユーザＡに対して席を譲り、ユーザＢは、ユーザＡに対して「どうぞ」と声をかけ、ユーザＡは、ユーザＢに対して「ありがとう」と発話したとする。
情報処理装置２０Ａおよび２０Ｂの各々で声紋解析が行われる場合、図１５Ｂに示すように、ユーザＡおよびＢの発話は、ウェアラブル端末１０Ａおよび１０Ｂのマイク部１１０にて収音される（Ｓ２１５）。収音された音声情報は、それぞれ情報処理装置２０Ａおよび２０Ｂに送信され（Ｓ２１７）、情報処理装置２０Ａおよび２０Ｂは、受信した音声情報を声紋解析する（Ｓ２１９）。この時使用される声紋情報は、例えば、ステップＳ２１１にて送信されたユーザ情報に含まれていてもよい。
情報処理装置２０Ａおよび２０Ｂは、それぞれ音声情報の解析結果を情報処理サーバ３０に送信し（Ｓ２２１）、情報処理サーバ３０は、受信した音声情報の解析結果をイベントとしてデータベース記憶部３４０のソーシャルネットワーキングサービスのデータベースに登録する（Ｓ２２３）。登録を終えた情報処理サーバ３０は、それぞれ登録した交流情報を情報処理装置２０Ａおよび２０Ｂに送信し（Ｓ２２５）、情報処理装置２０Ａおよび２０Ｂの各々は、受信した交流情報を第１〜第３の表示例等にて表示する（Ｓ２２７）。
ここで、ユーザＡが席を譲ったユーザＢに対して、評価を付与した場合（Ｓ２２９）、評価が付与されたという情報が、情報処理サーバ３０に送信される。また、情報処理サーバ３０は、付与された評価をソーシャルネットワーキングサービスのデータベースに反映し、ユーザＢの評価情報を更新する（Ｓ２３１）。評価情報を更新した後、情報処理サーバ３０は、更新された評価情報を情報処理装置２０Ａおよび２０Ｂの各々に送信する（Ｓ２３３）。
なお、評価の付与は、第１〜第２の表示例で示したように、情報処理装置２０に表示された「評価ボタン」を押下することで行われてもよく、「ありがとう」または「また、会いましょう」などのコメントを登録することで行われてもよい。
一方、情報処理サーバ３０で声紋解析が行われる場合、図１６に示すように、ユーザＡおよびＢの発話は、ウェアラブル端末１０Ａおよび１０Ｂのマイク部１１０にて収音され（Ｓ２１５）、収音された音声情報は、それぞれ情報処理装置２０Ａおよび２０Ｂに送信される（Ｓ２１７）。情報処理装置２０Ａおよび２０Ｂは、受信した音声情報を情報処理サーバ３０に送信し（Ｓ２４１）、情報処理サーバ３０は、受信した音声情報を声紋解析する（Ｓ２４３）。
声紋解析後、情報処理サーバ３０は、音声情報の解析結果をイベントとしてデータベース記憶部３４０のソーシャルネットワーキングサービスのデータベースに登録する（Ｓ２４５）。登録を終えた情報処理サーバ３０は、それぞれ登録した交流情報を情報処理装置２０Ａおよび２０Ｂに送信する（Ｓ２４７）。情報処理装置２０Ａおよび２０Ｂの各々は、受信した交流情報を第１〜第３の表示例等にて表示する（Ｓ２４９）。
ここで、ユーザＡが席を譲ったユーザＢに対して、評価を付与した場合の動作（すなわち、ステップＳ２２９〜ステップ２３３の動作）は、図１５Ｂで示した動作と同様であるため、ここでの説明は省略する。
以上の動作によって、本実施形態に係る情報処理システムの一連の処理が完了する。
＜５．変形例＞
続いて、図１７および図１８を参照して、本実施形態に係る情報処理システムの変形例について説明する。本実施形態の変形例は、ウェアラブル端末１０が各種センサおよび信号処理回路から構成されるセンサ部を備え、センサ部にて測定された情報に基づいて、ユーザへの通知またはユーザからの入力を行うものである。
まず、図１７を参照して、本実施形態に係る情報処理システムの変形例の構成について説明する。図１７は、本変形例におけるウェアラブル端末の内部構成を示すブロック図である。なお、本変形例では、情報処理装置２０および情報処理サーバ３０の構成については、図２で説明したとおりであるため、ここでの説明は省略する。
図１７に示すように、ウェアラブル端末１０は、マイク部１１０と、姿勢センサ部１２０と、制御部１３０と、近距離通信部１４０と、センサ部１６０と、通知部１５０とを備える。なお、マイク部１１０、姿勢センサ部１２０、制御部１３０、および近距離通信部１４０については、図２を参照して説明したとおりであるため、ここでの説明は省略する。
センサ部１６０は、例えば、各種センサおよび信号処理回路から構成され、ウェアラブル端末１０の周囲の環境に関する情報を測定する。センサ部１６０が備える各種センサは、地磁気センサ、気圧センサ、温度センサ、照度センサ、脈波センサ、またはＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサなどであってもよい。
例えば、ウェアラブル端末１０は、周囲の音声を収音するため、外部に表出していることが好ましいが、ウェアラブル端末１０の形態によっては、上着または鞄等の中に覆われている場合がある。そこで、センサ部１６０は、ウェアラブル端末１０が外部に表出した状態であるのか、または上着または鞄等の中に覆われた状態であるのかを判断するために、フォトダイオードなどの照度センサを備えていてもよい。これによれば、ウェアラブル端末１０が機能を発揮するために適切な環境に存在するか否かをセンサ部１６０によって判断することができる。また、ウェアラブル端末１０が機能を発揮するために適切な環境に存在しない場合、ウェアラブル端末１０は、後述する通知部１５０によってユーザに注意喚起の通知を行ってもよい。
通知部１５０は、ＬＣＤ装置、ＯＬＥＤ装置もしくはランプなどの表示装置、スピーカもしくはブザーなどの音声出力装置、または振動装置などを含む。通知部１５０は、例えば、近距離通信部１４０にて他のウェアラブル端末１０の識別情報を受信した場合、音声情報の声紋解析が完了した場合、他のユーザへの評価の付与が完了した場合、または収音などのウェアラブル端末１０の機能を発揮するために適切な環境にない場合などに、ユーザに対して、適宜、注意喚起の通知等を行ってもよい。なお、注意喚起の通知は、通知の種類によって刺激のパターンおよび強度等が変更されていてもよい。
次に、図１８を参照して、本変形例に係る情報処理システムの動作例について説明する。図１８は、ユーザの発話を収音した後の本変形例に係る情報処理システムの動作を説明するシークエンス図である。なお、本変形例では、ユーザの発話を収音する前の動作については、図１５Ａで説明したとおりであるため、ここでの説明は省略する。
例えば、現実世界で他のユーザと交流する場合、情報処理装置２０を注視することが適切ではないことがある。そこで、情報処理装置２０の通知部２５０を用いず、ウェアラブル端末１０の通知部１５０を用いてユーザに情報を通知する場合、本変形例に係る情報処理システムでは、以下のように動作が実行される。
例えば、受信したウェアラブル端末１０の識別情報に対応するユーザ情報が情報処理サーバ３０から送信された後、図１８に示すように、ユーザＡおよびＢの発話は、ウェアラブル端末１０Ａおよび１０Ｂのマイク部１１０にて収音される（Ｓ２１５）。収音された音声情報は、それぞれ情報処理装置２０Ａおよび２０Ｂに送信され（Ｓ２１７）、情報処理装置２０Ａおよび２０Ｂは、受信した音声情報を声紋解析する（Ｓ２１９）。音声情報の声紋解析が終了した場合、情報処理装置２０Ａおよび２０Ｂは、声紋解析の終了を振動等によって通知するようにウェアラブル端末１０Ａおよび１０Ｂに指示する（Ｓ３０１）。振動指示を受信したウェアラブル端末１０Ａおよび１０Ｂは振動することで（Ｓ３０３）、ユーザＢにその旨を通知する。
また、ユーザＡがウェアラブル端末１０Ａを介して、特定のキーワードの発話または特定のジェスチャの実行によって、ユーザＢに対して評価を付与した場合（Ｓ３０５）、ユーザＢに評価が付与されたという情報は、まず、情報処理装置２０に送信され（Ｓ３０７）、その後、交流情報と共に情報処理サーバ３０に送信される（Ｓ３０９）。また、情報処理サーバ３０は、交流情報、および付与された評価をソーシャルネットワーキングサービスのデータベースに登録し（Ｓ３１１）、登録された交流情報および評価情報を情報処理装置２０Ａおよび２０Ｂの各々に送信する（Ｓ３１３）。交流情報および評価情報を受信した場合、情報処理装置２０Ａおよび２０Ｂは、データベースが更新されたことを振動等によって通知するようにウェアラブル端末１０Ａおよび１０Ｂに指示する（Ｓ３１５）。振動指示を受信したウェアラブル端末１０Ａおよび１０Ｂは振動することで（Ｓ３１７）、ユーザＡおよびＢにその旨を通知する。
なお、ステップＳ３０３の振動と、ステップＳ３１７の振動とは、パターンまたは強度の少なくともいずれかが異なっていることが好ましい。これによれば、ウェアラブル端末１０Ａおよび１０Ｂから振動を受けたユーザＡおよびＢは、振動のパターンまたは強度によって、通知された内容の概要を知覚することができる。例えば、Ｓ３０３の振動によれば、ユーザＡおよびＢは、交流している相手の音声の声紋解析が終了したことを知覚することができる。また、例えば、Ｓ３１７の振動によれば、ユーザＡは、ユーザＢへの評価が完了したことを知覚することができ、ユーザＢは、自分が評価されたことを知覚することができる。
なお、情報処理装置２０Ａおよび２０Ｂは、ユーザＡおよびＢへの通知が行われるたびに、ウェアラブル端末１０Ａおよび１０Ｂに振動することを指示しなくともよい。例えば、情報処理装置２０Ａおよび２０Ｂが交流情報および評価情報を受信した（Ｓ３１３）場合、情報処理装置２０Ａおよび２０Ｂのいずれか一方または両方は、ウェアラブル端末１０Ａおよび１０Ｂへの振動指示（Ｓ３１５）を行わなくともよい。この場合、振動指示を受信しないウェアラブル端末１０Ａおよび１０Ｂは、振動（Ｓ３１７）を行わない。
＜６．まとめ＞
以上にて説明したように、本開示の一実施形態に係る情報処理システムによれば、ウェアラブル端末１０の識別情報と、音声情報とを用いることで、ユーザが現実世界で交流した他のユーザを所定のデータベースに登録された個人に特定することが可能である。
また、本実施形態に係る情報処理システムは、情報処理サーバ３０に記憶された所定のデータベースから、現実世界で交流したユーザに関する情報を取得し、ユーザに対して提示することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、ＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに対して、本開示の一実施形態に係る情報処理システムの構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
を備える、情報処理サーバ。
（２）
前記特定部は、ユーザの周囲に存在する前記近距離無線通信機器をそれぞれ所持する複数の個人のうちから、前記音声情報に基づいて、前記データベースに登録された個人を特定する、前記（１）に記載の情報処理サーバ。
（３）
前記特定部は、前記音声情報を解析し、前記個人の声紋情報と照合することで、前記個人を特定する、前記（２）に記載の情報処理サーバ。
（４）
前記ユーザと、特定された前記個人との交流を示す交流情報を生成する交流情報生成部をさらに備える、前記（２）または（３）に記載の情報処理サーバ。
（５）
前記交流情報は、前記ユーザと、前記個人との交流の履歴に関する情報を含む、前記（４）に記載の情報処理サーバ。
（６）
前記交流情報は、前記ユーザから前記個人に対する評価を示す評価情報を含む、前記（４）または（５）に記載の情報処理サーバ。
（７）
前記交流情報は、前記音声情報を含み、前記音声情報の収音時に音声を検出した方向に関する情報をさらに含む、前記（４）〜（６）のいずれか一項に記載の情報処理サーバ。
（８）
前記交流情報は、前記個人の姿勢に関する情報を含む、前記（４）〜（７）のいずれか一項に記載の情報処理サーバ。
（９）
前記交流情報は、前記識別情報を含む信号の電波強度に基づいて算出された前記ユーザと前記近距離無線通信機器との距離に関する情報を含む、前記（４）〜（８）のいずれか一項に記載の情報処理サーバ。
（１０）
前記識別情報および前記音声情報は、ユーザが装着したウェアラブル機器にて取得される、前記（１）〜（９）のいずれか一項に記載の情報処理サーバ。
（１１）
近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、
を備える、情報処理装置。
（１２）
前記交流情報は、前記音声情報を含み、
前記音声情報は、前記ユーザからの入力によって再生可能である、前記（１１）に記載の情報処理装置。
（１３）
前記交流情報は、前記個人との交流の履歴に関する情報を含み、
前記交流の履歴は、前記ユーザからの入力によって変更可能である、前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記交流情報は、前記ユーザからの入力によって、前記個人に対する評価を示す評価情報が付与される、前記（１１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記交流通知は、実空間における前記個人の位置に応じて、前記交流情報を空間的に配置した画像表示である、前記（１１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記画像表示では、前記交流情報は、前記近距離無線通信機器によって取得された前記個人の姿勢に応じた画像にて表示される、前記（１５）に記載の情報処理装置。
（１７）
外部環境に関する情報を検出するセンサ部をさらに備え、
前記通知生成部は、前記センサ部によって検出された情報に基づいて、前記ユーザへのアラート通知を生成する、前記（１１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
前記特定部によって特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、
を備える、情報処理システム。
（１９）
演算処理装置を用いて、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定することと、
を含む、情報処理方法。
（２０）
コンピュータを
近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
として機能させるプログラム。
１０、１０Ａ、１０Ｂ、１０Ｃ ウェアラブル端末
２０、２０Ａ、２０Ｂ、２０Ｃ 情報処理装置
３０ 情報処理サーバ
４０ ネットワーク
１１０ マイク部
１２０ 姿勢センサ部
１３０、２３０ 制御部
１４０ 近距離通信部
２２０ 入力部
２１０ 近距離通信部
２４０ 通知生成部
２５０ 通知部
２６０、３１０ 接続部
３２０ 特定部
３３０ 交流情報生成部
３４０ データベース記憶部

Claims (20)

  1. 近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
    を備える、情報処理サーバ。
  2. 前記特定部は、ユーザの周囲に存在する前記近距離無線通信機器をそれぞれ所持する複数の個人のうちから、前記音声情報に基づいて、前記データベースに登録された個人を特定する、請求項１に記載の情報処理サーバ。
  3. 前記特定部は、前記音声情報を解析し、前記個人の声紋情報と照合することで、前記個人を特定する、請求項２に記載の情報処理サーバ。
  4. 前記ユーザと、特定された前記個人との交流を示す交流情報を生成する交流情報生成部をさらに備える、請求項２に記載の情報処理サーバ。
  5. 前記交流情報は、前記ユーザと、前記個人との交流の履歴に関する情報を含む、請求項４に記載の情報処理サーバ。
  6. 前記交流情報は、前記ユーザから前記個人に対する評価を示す評価情報を含む、請求項４に記載の情報処理サーバ。
  7. 前記交流情報は、前記音声情報を含み、前記音声情報の収音時に音声を検出した方向に関する情報をさらに含む、請求項４に記載の情報処理サーバ。
  8. 前記交流情報は、前記個人の姿勢に関する情報を含む、請求項４に記載の情報処理サーバ。
  9. 前記交流情報は、前記識別情報を含む信号の電波強度に基づいて算出された前記ユーザと前記近距離無線通信機器との距離に関する情報を含む、請求項４に記載の情報処理サーバ。
  10. 前記識別情報および前記音声情報は、ユーザが装着したウェアラブル機器にて取得される、請求項１に記載の情報処理サーバ。
  11. 近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、
    を備える、情報処理装置。
  12. 前記交流情報は、前記音声情報を含み、
    前記音声情報は、前記ユーザからの入力によって再生可能である、請求項１１に記載の情報処理装置。
  13. 前記交流情報は、前記個人との交流の履歴に関する情報を含み、
    前記交流の履歴は、前記ユーザからの入力によって変更可能である、請求項１１に記載の情報処理装置。
  14. 前記交流情報は、前記ユーザからの入力によって、前記個人に対する評価を示す評価情報が付与される、請求項１１に記載の情報処理装置。
  15. 前記交流通知は、実空間における前記個人の位置に応じて、前記交流情報を空間的に配置した画像表示である、請求項１１に記載の情報処理装置。
  16. 前記画像表示では、前記交流情報は、前記近距離無線通信機器によって取得された前記個人の姿勢に応じた画像にて表示される、請求項１５に記載の情報処理装置。
  17. 外部環境に関する情報を検出するセンサ部をさらに備え、
    前記通知生成部は、前記センサ部によって検出された情報に基づいて、前記ユーザへのアラート通知を生成する、請求項１１に記載の情報処理装置。
  18. 近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
    前記特定部によって特定される個人との交流を示す交流情報をユーザに提示する交流通知を生成する通知生成部と、
    を備える、情報処理システム。
  19. 演算処理装置を用いて、近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定することと、
    を含む、情報処理方法。
  20. コンピュータを
    近距離無線通信機器から発信された識別情報、および収音された音声情報に基づいて、所定のデータベースに登録された個人を特定する特定部と、
    として機能させるプログラム。
JP2016155518A 2016-08-08 2016-08-08 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム Pending JP2018025855A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016155518A JP2018025855A (ja) 2016-08-08 2016-08-08 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム
US15/662,520 US10430896B2 (en) 2016-08-08 2017-07-28 Information processing apparatus and method that receives identification and interaction information via near-field communication link

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016155518A JP2018025855A (ja) 2016-08-08 2016-08-08 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018025855A true JP2018025855A (ja) 2018-02-15

Family

ID=61069355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016155518A Pending JP2018025855A (ja) 2016-08-08 2016-08-08 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US10430896B2 (ja)
JP (1) JP2018025855A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200220869A1 (en) * 2019-01-08 2020-07-09 Fidelity Information Services, Llc Systems and methods for contactless authentication using voice recognition
JP2021170154A (ja) * 2020-04-14 2021-10-28 コニカミノルタ株式会社 制御装置及びプログラム
US12014740B2 (en) 2019-01-08 2024-06-18 Fidelity Information Services, Llc Systems and methods for contactless authentication using voice recognition

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210256979A1 (en) * 2018-06-29 2021-08-19 Huawei Technologies Co., Ltd. Voice Control Method, Wearable Device, and Terminal
CN109036421A (zh) * 2018-08-10 2018-12-18 珠海格力电器股份有限公司 信息推送方法及家电设备
CN111880855A (zh) * 2020-07-31 2020-11-03 宁波奥克斯电气股份有限公司 设备控制方法和分布式语音***
EP4017037A1 (en) * 2020-12-21 2022-06-22 Sony Group Corporation Electronic device and method for contact tracing

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19846982C2 (de) * 1998-10-12 2001-05-17 Siemens Ag Verfahren und System zum Überwachen der Haltung eines Benutzers an einem Trainingsgerät
IL154733A0 (en) * 2003-03-04 2003-10-31 Financial transaction authorization apparatus and method
JP2005122128A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 音声認識システム及びプログラム
US20070273583A1 (en) * 2005-09-17 2007-11-29 Outland Research, Llc Pointing interface for person-to-person interaction through ad-hoc networks
US20070239457A1 (en) * 2006-04-10 2007-10-11 Nokia Corporation Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management
EP2125050B1 (en) * 2007-02-01 2014-07-30 Technion Research & Development Foundation Ltd. Albumin fibers and fabrics and methods of generating and using same
US8903847B2 (en) * 2010-03-05 2014-12-02 International Business Machines Corporation Digital media voice tags in social networks
US20120150960A1 (en) * 2010-12-13 2012-06-14 Gargi Nalawade Social Networking
US20130110565A1 (en) * 2011-04-25 2013-05-02 Transparency Sciences, Llc System, Method and Computer Program Product for Distributed User Activity Management
US9495773B2 (en) * 2011-10-24 2016-11-15 Nokia Technologies Oy Location map submission framework
US8538333B2 (en) * 2011-12-16 2013-09-17 Arbitron Inc. Media exposure linking utilizing bluetooth signal characteristics
US20130156274A1 (en) * 2011-12-19 2013-06-20 Microsoft Corporation Using photograph to initiate and perform action
US20140121540A1 (en) * 2012-05-09 2014-05-01 Aliphcom System and method for monitoring the health of a user
US20140108501A1 (en) 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Presence Granularity with Augmented Reality
US9294616B2 (en) * 2013-06-30 2016-03-22 International Business Machines Corporation Identifying a contact based on a voice communication session
US10235509B2 (en) * 2013-08-22 2019-03-19 Staton Techiya, Llc Methods and systems for a voice ID verification database and service in social networking and commercial business transactions
US20160005050A1 (en) * 2014-07-03 2016-01-07 Ari Teman Method and system for authenticating user identity and detecting fraudulent content associated with online activities
US9406211B2 (en) * 2014-11-19 2016-08-02 Medical Wearable Solutions Ltd. Wearable posture regulation system and method to regulate posture
US20170026470A1 (en) * 2015-07-22 2017-01-26 Cisco Technology, Inc. Intercloud audience and content analytics
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200220869A1 (en) * 2019-01-08 2020-07-09 Fidelity Information Services, Llc Systems and methods for contactless authentication using voice recognition
US12014740B2 (en) 2019-01-08 2024-06-18 Fidelity Information Services, Llc Systems and methods for contactless authentication using voice recognition
US12021864B2 (en) * 2019-01-08 2024-06-25 Fidelity Information Services, Llc. Systems and methods for contactless authentication using voice recognition
JP2021170154A (ja) * 2020-04-14 2021-10-28 コニカミノルタ株式会社 制御装置及びプログラム

Also Published As

Publication number Publication date
US20180040076A1 (en) 2018-02-08
US10430896B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
JP2018025855A (ja) 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム
US12009007B2 (en) Voice trigger for a digital assistant
CN108538320B (zh) 录音控制方法和装置、可读存储介质、终端
EP3593958B1 (en) Data processing method and nursing robot device
US9143603B2 (en) Methods and arrangements employing sensor-equipped smart phones
WO2017034736A2 (en) Personal translator
CN108540660B (zh) 语音信号处理方法和装置、可读存储介质、终端
CN108762494A (zh) 显示信息的方法、装置及存储介质
CN106686223A (zh) 聋哑人与正常人的辅助对话***、方法及智能手机
KR20160072489A (ko) 사용자 단말 장치 및 그의 대상 인식 방법
KR20160015142A (ko) 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램
Diaconita et al. Do you hear what i hear? using acoustic probing to detect smartphone locations
JP6007487B2 (ja) 情報処理装置、情報処理システムおよびプログラム
KR20160024140A (ko) 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 매장정보 제공서비스 시스템 및 방법
EP4170522A1 (en) Lifelog device utilizing audio recognition, and method therefor
KR101598466B1 (ko) 청각장애인용 안전보조시스템
García-Navas et al. A new system to detect coronavirus social distance violation
KR20160023226A (ko) 글라스형 웨어러블 디바이스를 이용한 글라스형 웨어러블 디바이스와 연동된 외부단말기 위치 탐색 시스템 및 탐색 방법
KR20160053472A (ko) 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
KR20160025150A (ko) 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템 및 방법
KR20070112911A (ko) 음성인식을 통한 청각장애인 대화 시스템
CN113380275B (zh) 语音处理方法、装置、智能设备及存储介质
JP6018133B2 (ja) 情報検索装置、情報検索プログラム、および情報検索システム
KR20160014822A (ko) 글라스형 웨어러블 디바이스를 이용한 택시승차정보 확인시스템 및 확인방법
KR20160017439A (ko) 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190507