JP2024039193A - 情報処理装置、プログラム、および情報処理方法 - Google Patents

情報処理装置、プログラム、および情報処理方法 Download PDF

Info

Publication number
JP2024039193A
JP2024039193A JP2022143559A JP2022143559A JP2024039193A JP 2024039193 A JP2024039193 A JP 2024039193A JP 2022143559 A JP2022143559 A JP 2022143559A JP 2022143559 A JP2022143559 A JP 2022143559A JP 2024039193 A JP2024039193 A JP 2024039193A
Authority
JP
Japan
Prior art keywords
unit
information processing
processing device
sound
sensor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022143559A
Other languages
English (en)
Inventor
彬任 桑原
Akito Kuwabara
真一 吉村
Shinichi Yoshimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2022143559A priority Critical patent/JP2024039193A/ja
Priority to PCT/JP2023/027195 priority patent/WO2024053271A1/ja
Publication of JP2024039193A publication Critical patent/JP2024039193A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させる。【解決手段】センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、を備える、情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、プログラム、および情報処理方法に関する。
ユーザがヘッドホン等の音再生装置を用いて音楽等のコンテンツを楽しむ際に、センシングデータに基づいて、センサ部またはセンサ部を含み構成された音再生装置を装着しているユーザの周辺状況の変化を検出し、検出結果に応じてコンテンツの出力を制御する技術が知られている。例えば、特許文献１には、ユーザがヘッドホンで音楽を聴いている際に、マイクロフォンで当該ユーザの発話が検出されると、再生音の音像定位を任意の位置に移動させる技術が開示されている。
特開２０１１－０９７２６８号公報
上記技術のように、センシングデータに基づき周辺環境の変化を検出する技術において、ユーザの利便性のさらなる向上が望まれる。
そこで、本開示では、センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させることが可能な、新規かつ改良された技術を提案する。
上記課題を解決するために、本開示のある観点によれば、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータを、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、として機能させるための、プログラムが提供される。
また、本開示によれば、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、を含む、コンピュータにより実行される情報処理方法が提供される。
本開示の一実施形態による情報処理システムの概要を説明するための説明図である。 第一の実施形態による情報処理装置１０の構成例を説明するためのブロック図である。 イメージセンサ部１１０の機能構成例を説明するブロック図である。 音差分処理部１５０１による、情報処理装置１０の周辺環境の音の変化の判断結果取得処理を説明するための流れ図である。 音差分処理部１５０１による差分の算出について説明するための概念図である。 第一の実施形態による情報処理装置１０の動作例を説明するためのフローチャートである。 第一の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。 第二の実施形態による情報処理装置１１の構成例を説明するためのブロック図である。 第二の実施形態によるイメージセンサ部１１１の構成例を説明するためのブロック図である。 第二の実施形態による情報処理装置１１の動作例を説明するためのフローチャートである。 第二の実施形態によるイメージセンサ部１１１の動作例を説明するためのフローチャートである。 第三の実施形態による情報処理装置１２の構成例を説明するためのブロック図である。 第三の実施形態によるイメージセンサ部１１２の構成例を説明するためのブロック図である。 第三の実施形態による情報処理装置１２の動作例を説明するためのフローチャートである。 第三の実施形態によるイメージセンサ部１２２の動作例を説明するためのフローチャートである。 第四の実施形態の概要を説明するための説明図である。 第四の実施形態による情報処理装置１３の構成例を説明するためのブロック図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の一例を説明するための説明図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。 第四の実施形態による情報処理装置１３の動作例を説明するためのフローチャートである。 第四の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。 ハードウェア構成９０の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
１．概要
２．第一の実施形態
２－１．構成例
２－２．動作
３．第二の実施形態
３－１．構成例
３－２．動作
４．第三の実施形態
４－１．構成例
４－２．動作
５．第四の実施形態
５－１．構成例
５－２．動作
６．ハードウェア構成
７．補足
＜１．概要＞
本開示は、センシングデータに基づきユーザの周辺環境の変化を検出する技術に関する。以下では、本開示の好適な適用先として、ヘッドホンまたはＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、ユーザが装着して音楽等のコンテンツを聴取することが可能な音再生装置を利用しているユーザの周辺環境の変化を、センシングデータに基づいて検出する例を主に説明する。
（課題の整理）
ヘッドホンまたはＨＭＤ等の頭部装着型の情報処理装置を装着しているユーザは、当該情報処理装置で音楽等のコンテンツ音を聴取していると、ユーザの周辺で発生した音に気付きにくい。また、ヘッドホンを装着して音楽等のコンテンツ再生音を聴いているユーザが他のユーザに話しかけようとすると、コンテンツ再生音が再生されたままでは、自身の音声と他のユーザの音声が聞こえづらい。そのため、ユーザには、音楽等のコンテンツの一時停止操作、または、ヘッドホンを外す等の動作を行う手間が生じる。そこで、このような不都合を解消するための様々な技術が検討されている。
例えば、上記で説明したように、特許文献１には、マイクロフォンで検出された音に基づき、周辺環境の音の変化を検出し、コンテンツ再生音の音像定位を任意の位置に移動させる技術が開示されている。
また、他の一例として、イヤホンの左右のそれぞれが有する人感センサによって、他のユーザの接近を検知し、ユーザへ通知する技術も行われている。または、他の一例として、超音波センサを用いて、イヤホンから所定の距離内に入った動体を検知し、動体が検知されるとコンテンツ再生音の消音等の方法でユーザに報知する技術も行われている。
しかし、上述のように、人感センサまたは超音波センサを用いて周辺環境の変化を検出する方法では、検出された物体または動体が、ユーザに話しかけるために接近してきた他のユーザであるのか、または、単にユーザの側を通り過ぎただけの物体または他のユーザであるのかが区別されない。
また、上述のように、周辺環境の音の変化に基づいてコンテンツ再生音の出力を制御する方法では、ユーザＵが咳をした音、または、ユーザＵの独り言の音等の、他のユーザへの話しかけまたは会話ではない音が発生した場合にも、コンテンツ再生音の音像定位の移動の処理が行われる場合があった。
そこで、本開示による情報処理システムは、センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させることが可能な技術を提供することを目的とする。より具体的に、情報処理装置１０は、情報処理装置１０の周辺の音および周辺の画像の２種類のセンシングデータを用いて、情報処理装置１０の周辺に位置するユーザと、他のユーザとの間での話しかけまたは会話の有無を認識する。
図１は、本開示の一実施形態による情報処理システムの概要を説明するための説明図である。図１に示したように、本開示による情報処理システムは、情報処理装置１０を含む。
情報処理装置１０は、音を再生することが可能な情報処理装置である。図１に示した例では、情報処理装置１０はヘッドホンである。情報処理装置１０は、イメージセンサ部１１０およびマイクロフォン１２０を備える。
情報処理装置１０は、音楽等のユーザの所望のコンテンツを出力する機能を有する。図１に示した例では、情報処理装置１０は、音楽等の音コンテンツを出力する。情報処理装置１０は、図１に図示しない、スマートフォン、タブレット型端末、またはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の任意のユーザ利用端末と有線または無線接続により通信を行い、コンテンツの再生、停止、または早送り等の操作指示を受信してもよい。
イメージセンサ部１１０は、情報処理装置１０の周辺環境の画像を取得する機能を有する。例えば、イメージセンサ部１１０は、情報処理装置１０に接近している他のユーザＵ２の画像を取得する。情報処理装置１０は、当該画像を解析することにより、例えば情報処理装置１０に接近している他のユーザＵ２を検出することが出来る。
マイクロフォン１２０は、情報処理装置１０の周辺の音を検出する機能を有する。例えば、マイクロフォン１２０は、ユーザＵに話しかけている、または、ユーザＵと会話している他のユーザＵ２の音声を取得する。または、マイクロフォン１２０は、他のユーザＵ２に話かけている、または、他のユーザＵ２と会話しているユーザＵの音声を取得することが出来る。
情報処理装置１０は、マイクロフォン１２０により取得される周辺の音に基づいて、情報処理装置１０の周辺環境の変化を検出する。さらに、情報処理装置１０は、検出された周辺環境の変化が、所定の条件を満たすか否かの判断結果を取得する。所定の条件は、例えば、情報処理装置１０の周辺の音が、所定の時間前と比較して、所定の閾値が示す差分以上に変化したことであってもよい。
より具体的には、例えば、他のユーザＵ２がユーザＵ１に話しかけたとする。情報処理装置１０は、他のユーザＵ２がユーザＵ１に話しかけている音声をマイクロフォン１２０により取得する。情報処理装置１０は、当該音声と、他のユーザＵ２がユーザＵ１に話しかける前の周辺の音との差分をとることにより、周辺の音が所定の閾値が示す差分以上に変化したことを検出する。すると、情報処理装置１０は、周辺環境の変化が所定の条件を満たすと判断する。
また、情報処理装置１０は、周辺環境の変化が所定の条件を満たす場合に、イメージセンサ部１１０により取得される情報処理装置１０の周辺環境の画像、および、マイクロフォン１２０により取得される情報処理装置１０の周辺の音を解析して、情報処理装置１０の周辺環境の状況を認識する認識処理を行う。
例えば、情報処理装置１０は、情報処理装置１０の周辺環境の画像および情報処理装置１０の周辺の音に基づいて、ユーザＵと他のユーザとの間での話しかけ、または、会話の有無を認識してもよい。さらに、情報処理装置１０は、認識結果に応じて、コンテンツの出力を制御してもよい。
例えば、情報処理装置１０は、ユーザＵと他のユーザとの間での話しかけが有ると認識すると、情報処理装置１０が有するスピーカにおいて出力されるコンテンツ再生音を一時停止させてもよい。さらに、情報処理装置１０は、話しかけが有ると認識すると、マイクロフォン１２０により取得される情報処理装置１０の周辺の音（以下、外部音と称する）を、上記スピーカから出力させてもよい。
これにより、ユーザＵが情報処理装置１０を装着して音楽等のコンテンツを聞いている間に、ユーザＵ１または他のユーザＵ２がどちらかに話しかけたり、会話を継続したりしていることを認識することが出来る。さらに、ユーザＵと他のユーザとの間での話しかけまたは会話が有ると認識されると、情報処理装置１０から出力されるコンテンツ再生音が一時停止されるとともに、外部音が再生される。従って、ユーザＵが、他のユーザから話しかけられていることに気付きやすくなる。また、ユーザＵが、情報処理装置１０を装着したままでも、他のユーザに話しかけたり、会話を行ったりしやすくなる。従って、ユーザの利便性が向上する。
また、情報処理装置１０は、情報処理装置１０の周辺の音が示す周辺環境の変化が、所定の条件を満たす場合にのみ、周辺環境の状況の認識処理を行う。これにより、情報処理装置１０が、常に認識処理を行うような構成と比較して、消費電力を低減することが出来る。
以上、図１を参照して、本開示の一実施形態による情報処理システムの概要を説明した。続いて、図２～図７を参照して、本開示の情報処理システムの第一の実施形態を説明する。
＜２．第一の実施形態＞
＜２－１．構成例＞
まず、図２を参照して、第一の実施形態による情報処理装置１０の構成例を説明する。図２は、第一の実施形態による情報処理装置１０の構成例を説明するためのブロック図である。図２に示したように、情報処理装置１０は、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５０を有する。
（イメージセンサ部１１０）
イメージセンサ部１１０は、情報処理装置１０の周辺環境を撮像する機能を有する。情報処理装置１０は、複数のイメージセンサ部１１０を有していてもよい。ここで、図３は、イメージセンサ部１１０の機能構成例を説明するブロック図である。図３に示したように、イメージセンサ部１１０は、画素アレイ２１０およびイメージセンサ制御部２２０を有する。
画素アレイ２１０は、フォトダイオード等の受光素子によって構成され、光を検出すると電気信号を生成する機能を有する。画素アレイ２１０は、アレイ状に配置された複数の受光素子によって構成される。画素アレイ２１０は、情報処理装置１０の周辺環境において反射した光を検出し、電気信号に変換することにより、情報処理装置１０の周辺環境の画像を撮像する。
イメージセンサ制御部２２０は、イメージセンサ部１１０の動作全般を制御する機能を有する。このようなイメージセンサ制御部２２０は、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。
画像縮小処理部２２０１は、画素アレイ２１０から出力された電気信号に信号処理を行うことにより、画素アレイ２１０により取得された情報処理装置１０の周辺環境の画像データの縮小処理を行う機能を有する。画像縮小処理部２２０１は、後述する情報処理装置１０の認識部１５０３により行われる認識処理の入力データとして設定された画像サイズにあわせて、上記画像の縮小処理を行う。これにより、認識部１５０３の処理能力に応じて、認識部１５０３の認識処理の負荷を調整することが出来る。
なお、認識部１５０３により行われる認識処理の入力データとして設定された画像サイズに応じて、画素アレイ２１０により取得された画像データの縮小が不要である場合には、画像縮小処理部２２０１は上記画像の縮小処理を行わなくてもよい。この場合、イメージセンサ制御部２２０は、画像縮小処理部２２０１としての機能を有していなくてもよい。
画像出力部２２０２は、画像縮小処理部２２０１による縮小処理後の周辺環境の画像データを制御部１５０に出力する。または、画像出力部２２０２は、画像縮小処理部２２０１による縮小処理が行われない場合には、画素アレイ２１０により取得された周辺環境の画像データを、制御部１５０へ出力する。
以上、図３を参照して、イメージセンサ部１１０の構成例を説明した。
（マイクロフォン１２０）
マイクロフォン１２０は、情報処理装置１０の周辺の音を取得する機能を有する。例えば、マイクロフォン１２０は、ユーザＵ１および他のユーザＵ２の音声の音データを取得する。情報処理装置１０は、取得した周辺の音データを、制御部１５０へ出力する。
また、マイクロフォン１２０は、制御部１５０の制御に従い、所定時間長（例えば、数秒間）を有する時間区間において取得した音を、記憶部１４０の音メモリに記憶させる機能を有する。例えば、マイクロフォン１２０は、過去数秒分の周辺の音のデータを、音メモリに記憶させる。
（スピーカ１３０）
スピーカ１３０は、音を出力する機能を有する。スピーカ１３０は、骨伝導スピーカとして構成されてもよい。
（記憶部１４０）
記憶部１４０は制御部１５０の処理に用いられるプログラムおよび演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により実現される。
（制御部１５０）
制御部１５０は、情報処理装置１０の動作全般を制御する。このような制御部１５０は、音差分処理部１５０１、認識部１５０３、および、出力制御部１５０５としての機能を有する。
音差分処理部１５０１は、マイクロフォン１２０により所定時間長を有する第一の時間区間において取得された第一の音データと、マイクロフォン１２０により第一の時間区間と異なり上記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、情報処理装置１０の周辺の音の変化が所定の条件を満たすか否かの判断結果を取得する。より詳細には、音差分処理部１５０１は、上記第一の音データと、第二の音データの差分が、所定の閾値を超えるかどうかを判断する。
ここで、図４および図５を参照して、音差分処理部１５０１による、音の変化が所定の条件を満たすか否かの判断結果取得の処理についてより具体的に説明する。
図４は、音差分処理部１５０１による、情報処理装置１０の周辺環境の音の変化の判断結果取得処理を説明するための流れ図である。
図４に示したように、まず、マイクロフォン１２０により、情報処理装置１０の周辺の音データが取得される。マイクロフォン１２０は、制御部１５０の制御に従って、現時点より過去に取得された、所定の時間長（例えば、数秒分）の情報処理装置１０の周辺の音を、過去の音データとして記憶部１４０の音メモリに記憶させる。過去の音データは、第二の音データの一例である。
また、マイクロフォン１２０は、上記過去の音データと同じ所定の時間長分の、現在の情報処理装置１０の周辺の音データ（例えば、現時点から過去数秒分の音データ）を、現在の音データとして音差分処理部１５０１に出力する。
音差分処理部１５０１は、マイクロフォン１２０および記憶部１４０のそれぞれから、過去の音データおよび現在の音データを取得して、過去の音データと現在の音データの差分を算出する。
図５は、音差分処理部１５０１による差分の算出について説明するための概念図である。図５に示した波形Ｗは、各音データの波形のイメージ図である。
波形Ｗ１は、過去の音データを表す。また、波形Ｗ２は、現在の音データを表す。音差分処理部１５０１は、波形Ｗ１と波形Ｗ２の音データの差分を算出する。波形Ｗ３は、音データの差分を表す。
また、音差分処理部１５０１は、波形Ｗ３が示す差分の絶対値を算出する。波形Ｗ４は、算出された差分の絶対値を表す。
さらに、音差分処理部１５０１は、差分の絶対値を積分し、積分値を算出する。算出された積分値は、前記差分を示す差分値の一例である。
音差分処理部１５０１は、算出された上記差分値が、所定の閾値を越えた場合に、情報処理装置１０の周辺環境の変化が所定の条件を満たすと判断する。音差分処理部１５０１は、判断結果を制御部１５０に出力する。このような音差分処理部１５０１は、情報処理装置１０の判断結果取得部の一例である。
または、音差分処理部１５０１は、算出された差分値を、制御部１５０に出力してもよい。この場合、制御部１５０が、当該差分値が所定の閾値を超えているかどうかを判断してもよい。
図４に戻って説明を続ける。制御部１５０は、音差分処理部１５０１から取得した判断結果に基づき、後述する認識部１５０３の認識処理を開始させる指示を出力するか否かを判定する。
図２に戻って情報処理装置１０の構成例の説明を続ける。認識部１５０３は、音差分処理部１５０１または制御部１５０により、情報処理装置１０の周辺環境の変化が所定の条件を満たすことを示す判断結果が取得されると、情報処理装置１０の周辺環境の状況を認識する認識処理を開始する。
より具体的に、認識部１５０３は、マイクロフォン１２０により取得される情報処理装置１０の周辺の音データと、イメージセンサ部１１０により取得される情報処理装置１０の周辺環境の画像データを解析する。また、認識部１５０３は、解析結果に基づき、情報処理装置１０の周辺環境の状況として、情報処理装置１０の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する。
認識部１５０３は、例えば、情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データと、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無の正解データと、を入力データとするニューラルネットワークを用いて、情報処理装置１０の周辺の音データおよび周辺環境の画像データと、上記ユーザと他のユーザとの間での話しかけまたは会話の有無の関係を学習してもよい。また、認識部１５０３は、学習の結果得られたモデルを用いて、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識してもよい。
または、認識部１５０３は、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけが無い状態での、情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データのみを入力データとするニューラルネットワークを用いて、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけが無い状態の情報処理装置１０の周辺の音データおよび周辺環境の画像データを学習してもよい。この場合、認識部１５０３は、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話が有る状態の情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データが入力された場合に、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話を検出してもよい。
このとき、認識部１５０３は、上記入力データとして、画像縮小処理が行われた状態の周辺環境の画像データを用いてもよい。これにより、認識部１５０３による認識処理の負荷を低減することが可能である。
出力制御部１５０５は、認識部１５０３により情報処理装置１０の周辺のユーザと他のユーザとの間での話しかけまたは会話が有ると認識されると、スピーカ１３０により出力されるコンテンツの出力を制御する機能を有する。
例えば、出力制御部１５０５は、認識部１５０３により話しかけまたは会話が有ると認識されると、スピーカ１３０により出力されていたコンテンツ再生音を一時停止させる処理を行ってもよい。または、コンテンツの出力の制御の他の一例として、出力制御部１５０５は、情報処理装置１０の外部音をスピーカ１３０に出力させてもよい。または、コンテンツの出力の制御の他の一例として、出力制御部１５０５は、スピーカ１３０により出力されるコンテンツ再生音の音量を低減させる処理、または、コンテンツ音の音像定位を変化させる処理を行ってもよい。
さらに、情報処理装置１０は、図２に図示しない、連続または断続した振動を発生させることが可能なバイブレータ（振動機）を備えていてもよい。この場合、出力制御部１５０５は、コンテンツの出力の制御の他の一例として、当該バイブレータに振動を発生させる制御を行ってもよい。または、情報処理装置１０が任意のユーザ利用端末と通信接続されており、かつ、当該ユーザ利用端末にバイブレータ機能が有る場合には、出力制御部１５０５は、コンテンツの出力の制御の他の一例として、当該ユーザ利用端末を振動させる制御を行ってもよい。
このように、認識部１５０３によりユーザ間での話しかけまたは会話が有ると認識された場合に出力制御部１５０５がコンテンツの出力の制御を行うことで、ユーザＵ１は、情報処理装置１０でコンテンツ再生音を聞いている場合でも、周囲から話しかけられていることに気付きやすくなる。また、ユーザＵ１が周囲に話しかける、または、他のユーザと会話を行う間に、コンテンツ再生音の停止操作または情報処理装置１０を頭部から外す動作を行う手間が省略される。従って、ユーザの利便性が向上する。
以上、図２～図６を参照して、第一の実施形態による情報処理装置１０の構成例を説明した。続いて、図６を参照して、第一の実施形態による情報処理装置１０の動作例を説明する。
＜２－２．動作＞
図６は、第一の実施形態による情報処理装置１０の動作例を説明するためのフローチャートである。まず、情報処理装置１０の音差分処理部１５０１が、マイクロフォン１２０および記憶部１４０のそれぞれから、過去の音データおよび現在の音データを取得する（Ｓ１０１）。
次いで、音差分処理部１５０１が、過去の音データと現在の音データの差分値を算出する（Ｓ１０３）。
算出された差分値が所定の閾値を越えていない場合（Ｓ１０５／ＮＯ）、情報処理装置１０は、Ｓ１０１に戻って一連の処理を繰り返す。
算出された差分値が所定の閾値を越えている場合（Ｓ１０５／ＹＥＳ）、制御部１５０は、認識部１５０３に、情報処理装置１０の周辺環境の状況の認識処理を開始する指示を出力する（Ｓ１０５）。認識部１５０３は、認識処理を行う（Ｓ１１１）。
認識部１５０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識されなかった場合（Ｓ１１３／ＮＯ）、出力制御部１５０５は、スピーカ１３０に外部音を出力させる処理である、外部音取り込み機能をＯＦＦにし（Ｓ１１９）、Ｓ１０１に戻って一連の処理を繰り返す。
認識部１５０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識された場合（Ｓ１１３／ＹＥＳ）、出力制御部１５０５は、外部音取り込み機能をＯＮにする（Ｓ１１５）。
情報処理装置１０の一連の処理を終了する終了操作が行われた場合（Ｓ１１７／ＹＥＳ）、情報処理装置１０は処理を終了する。情報処理装置１０は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ１１９の処理を繰り返す（Ｓ１１７／ＮＯ）。
以上、図６を参照して、第一の実施形態による情報処理装置１０の動作例を説明した。続いて、図７を参照して、第一の実施形態によるイメージセンサ部１１０の動作例を説明する。
図７は、第一の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。図７のフローチャートに示した動作は、図６のフローチャートに示した動作の開始と同時に開始され、並列して実行される。
まず、イメージセンサ部１１０の画素アレイ２１０は、情報処理装置１０の周辺環境の画像データの取得を開始する（Ｓ２０１）。画素アレイ２１０は、制御部１５０から、認識部１５０３による周辺環境の状況の認識処理を開始する指示が出力されるまで、周辺環境の画像データの取得を継続する（Ｓ２０３／ＮＯ）。
制御部１５０から、認識部１５０３による周辺環境の状況の認識処理を開始する指示が出力されると（Ｓ２０３／ＹＥＳ）、イメージセンサ部１１０の画像縮小処理部２２０１は、画素アレイ２１０により取得された周辺環境の画像データを、所定の解像度に縮小する処理を行う（Ｓ２０５）。
画像出力部２２０２は、画像縮小処理部２２０１により縮小処理が行われた周辺環境の画像データを、認識部１５０３に出力する（Ｓ２０７）。
イメージセンサ部１１０の一連の処理を終了する終了操作が行われた場合（Ｓ２０９／ＹＥＳ）、イメージセンサ部１１０は処理を終了する。イメージセンサ部１１０は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ２０９の処理を繰り返す（Ｓ２０９／ＮＯ）。
以上、図７を参照して、第一の実施形態によるイメージセンサ部１１０の動作例を説明した。続いて、図８～図１１を参照して、本開示の第二の実施形態による情報処理システムについて説明する。
＜３．第二の実施形態＞
第二の実施形態では、イメージセンサ部１１１のイメージセンサ制御部２２１が、情報処理装置１１の周辺環境の状況を認識する認識処理を行う。まず、図８および図９を参照して、第二の実施形態による情報処理装置１１の構成例を説明する。
＜３－１．構成例＞
図８は、第二の実施形態による情報処理装置１１の構成例を説明するためのブロック図である。図８に示したように、情報処理装置１１は、イメージセンサ部１１１、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５１を有する。なお、マイクロフォン１２０、スピーカ１３０、および、記憶部１４０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
イメージセンサ部１１１は、第一の実施形態によるイメージセンサ部１１０と同様に、情報処理装置１０の周辺環境の画像を取得する機能を有する。さらに、イメージセンサ部１１１は、第一の実施形態における認識部１５０３、および、出力制御部１５０５に相当する機能を有する。
図９は、第二の実施形態によるイメージセンサ部１１１の構成例を説明するためのブロック図である。図９に示したように、イメージセンサ部１１１は、画素アレイ２１０およびイメージセンサ制御部２２１を有する。
画素アレイ２１０は、第一の実施形態による画素アレイ２１０に相当する機能を有する。
イメージセンサ制御部２２１は、第一の実施形態によるイメージセンサ制御部２２０と同様に、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。さらに、第二の実施形態によるイメージセンサ制御部２２１は、認識部２２０３および出力制御部２２０４としての機能を有する。
認識部２２０３は、第一の実施形態による認識部１５０３に相当する機能を有する。画像出力部２２０２は、情報処理装置１０の音差分処理部１５０１により、認識処理を開始する指示が出力されると、画像出力部２２０２から出力される情報処理装置１０の周辺環境の画像データと、情報処理装置１１の１２０により取得される情報処理装置１０の周辺の音データに基づいて、情報処理装置１０の周辺環境の状況を認識する認識処理を行う。認識部２２０３は、認識処理の結果を出力制御部２２０４に出力する。
出力制御部２２０４は、第一の実施形態による出力制御部１５０５に相当する機能を有する。出力制御部２２０４は、認識部２２０３による周辺環境の状況の認識結果に応じて、スピーカ１３０から出力されるコンテンツを制御する。
（制御部１５１）
図８に戻って、情報処理装置１１の構成例の説明を続ける。制御部１５１は、情報処理装置１１の動作全般を制御する機能を有する。このような情報処理装置１１は、音差分処理部１５０１としての機能を有する。音差分処理部１５０１は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
以上、図８および図９を参照して、第二の実施形態による情報処理装置１１の構成例を説明した。
＜３－２．動作＞
図１０は、第二の実施形態による情報処理装置１１の動作例を説明するためのフローチャートである。なお、図１０において、Ｓ１０１、Ｓ１０３、Ｓ１０７、およびＳ１１７は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
Ｓ１０１～Ｓ１０３の処理が行われたのち、情報処理装置１１の音差分処理部１５０１は、算出された差分値が所定の閾値を超えているか否かを判定する。差分値が所定の閾値を超えていない場合（Ｓ３０１／ＮＯ）、情報処理装置１１は、Ｓ１０１～Ｓ３０１の処理を繰り返す。
差分値が所定の閾値を超えている場合（Ｓ３０１／ＹＥＳ）、制御部１５１は、イメージセンサ部１１１へ、認識処理を開始する指示を出力する（Ｓ１０７）。次いで、Ｓ１１７の処理が行われる（Ｓ１１７）。
以上、図１０を参照して、第二の実施形態による情報処理装置１１の動作例を説明した。続いて、図１１を参照して、第二の実施形態によるイメージセンサ部１１１の動作例を説明する。
図１１は、第二の実施形態によるイメージセンサ部１１１の動作例を説明するためのフローチャートである。なお、図１１において、Ｓ２０１、Ｓ２０５、Ｓ２０７、およびＳ２０９は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
Ｓ２０１の処理に次いで、イメージセンサ部１１１の画像縮小処理部２２０１は、情報処理装置１０の制御部１５１により、認識処理を開始する指示が出力されたか否かを判定する。認識処理を開始する指示が出力されていない場合（Ｓ４０３／ＮＯ）、Ｓ２０１～Ｓ４０３の処理を繰り返す。
認識処理を開始する指示が出力された場合（Ｓ４０３／ＹＥＳ）、Ｓ２０５～Ｓ２０７の処理が行われる。次いで、イメージセンサ部１１１の認識部２２０３が、周辺環境の状況を認識する認識処理を行う（Ｓ４０９）。
認識部２２０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識されなかった場合（Ｓ４１３／ＮＯ）、出力制御部２２０４は、外部音取り込み機能をＯＦＦにするための制御信号を出力し（Ｓ４１７）、Ｓ２０１に戻って一連の処理を繰り返す。
認識部２２０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識された場合（Ｓ４１３／ＹＥＳ）、出力制御部２２０４は、外部音取り込み機能をＯＮにするための制御信号を出力する（Ｓ４１５）。次いで、Ｓ２０９の処理が行われる。
以上、図１１を参照して、第二の実施形態によるイメージセンサ部１１１の動作例を説明した。続いて、図１２～図１５を参照して、本開示の第三の実施形態による情報処理システムについて説明する。
＜４．第三の実施形態＞
第三の実施形態では、第一の実施形態において認識部１５０３が行っていた、情報処理装置１０の周辺環境の状況の認識処理が、後述する情報処理装置１２の制御部１５２と、イメージセンサ部１１２のイメージセンサ制御部１２２とに分担して実施される。
＜４－１．構成例＞
図１２は、第三の実施形態による情報処理装置１２の構成例を説明するためのブロック図である。図１２に示したように、情報処理装置１２は、イメージセンサ部１１２、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５２を有する。なお、マイクロフォン１２０、スピーカ１３０、および、記憶部１４０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
イメージセンサ部１１２は、第一の実施形態によるイメージセンサ部１１０と同様に、情報処理装置１２の周辺環境の画像を取得する機能を有する。さらに、イメージセンサ部１１２は、情報処理装置１２の周辺環境の画像を解析して画像認識を行う機能を有する。
また、イメージセンサ部１１２は、後述する音認識処理部１５０６により出力される情報処理装置１２の周辺の音の解析結果と、イメージセンサ部１１２による周辺環境の画像の解析結果に基づいて、情報処理装置１２の周辺環境の状況を推定する機能を有する。情報処理装置１２は、例えば、情報処理装置１２に障害物が接近していることを推定し、スピーカ１３０に、ユーザへの通知等を出力させる。
図１３は、第三の実施形態によるイメージセンサ部１１２の構成例を説明するためのブロック図である。図１３に示したように、イメージセンサ部１１２は、画素アレイ２１０およびイメージセンサ制御部２２２を有する。
画素アレイ２１０は、第一の実施形態による画素アレイ２１０に相当する機能を有する。
イメージセンサ制御部２２２は、第一の実施形態によるイメージセンサ制御部２２０と同様に、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。さらに、第三の実施形態によるイメージセンサ制御部２２２は、画像認識処理部２２０５としての機能を新たに有する。
画像認識処理部２２０５は、情報処理装置１２の音認識処理部１５０６により認識処理を開始する指示が出力されると、画像出力部２２０２から出力される情報処理装置１２の周辺環境の画像データを解析することにより、画像認識を行う機能を有する。例えば、画像出力部２２０２は、機械学習により予め学習済みのモデルを用いて、情報処理装置１２に接近する障害物と推定される移動体を認識してもよい。画像認識処理部２２０５は、画像の解析結果（画像認識処理の結果）を後述する周辺環境推定部１５０７に出力する。
（制御部１５２）
図１２に戻って、情報処理装置１２の構成例の説明を続ける。制御部１５２は、情報処理装置１２の動作全般を制御する機能を有する。このような情報処理装置１２は、音差分処理部１５０１、および、音認識処理部１５０６としての機能を有する。音差分処理部１５０１は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
音認識処理部１５０６は、情報処理装置１２の周辺の音を解析することにより、音認識を行う機能を有する。例えば、音認識処理部１５０６は、機械学習により予め学習済みのモデルを用いて、情報処理装置１２の周辺の音から、情報処理装置１２に接近する障害物と推定される移動体を認識してもよい。音認識処理部１５０６は、音の解析結果（音認識処理の結果）を周辺環境推定部１５０７に出力する。
周辺環境推定部１５０７は、画像出力部２２０２による情報処理装置１２の周辺環境の画像データの解析結果と、音認識処理部１５０６による情報処理装置１２の周辺の音データの解析結果に基づいて、情報処理装置１２の周辺環境の状況を推定する、周辺環境推定処理を行う機能を有する。より詳細には、周辺環境推定部１５０７は、情報処理装置１２に障害物と推定される移動物体が接近していることを推定してもよい。このような周辺環境推定部１５０７は、情報処理装置１２の認識部の一例である。
例えば、周辺環境推定部１５０７は、人または車などの、音を発する移動物体が情報処理装置１２に接近していることを推定してもよい。
周辺環境推定部１５０７は、音認識処理部１５０６による音の解析結果と、画像認識処理部２２０５による画像解析結果を入力データとするニューラルネットワークを用いて、上記音の解析結果、上記画像解析結果、および、周辺環境の状況を示す正解データの関係を学習してもよい。周辺環境推定部１５０７は、学習済みのモデルを用いて、周辺環境の状況を推定してもよい。
または、周辺環境の状況の推定処理として、周辺環境推定部１５０７は、音認識処理部１５０６による音の解析結果と、画像認識処理部２２０５による画像解析結果に応じて、ルールベースの推定処理を行ってもよい。例えば、周辺環境推定部１５０７は、音の解析結果および画像解析結果のいずれもが同一の周辺環境の状況を示す認識結果である場合に、当該認識結果を情報処理装置１２の周辺環境の状況の推定結果としてもよい。
また、周辺環境推定部１５０７は、周辺環境推定処理の結果に応じて、スピーカ１３０から出力されるコンテンツを制御する機能を有する。例えば、周辺環境推定部１５０７は、スピーカ１３０から、障害物の接近をユーザに知らせる通知メッセージを出力する制御を行ってもよい。または、周辺環境推定部１５０７は、スピーカ１３０から出力されるコンテンツ再生音の一時停止、コンテンツ再生音の音量の低減、または、コンテンツ再生音の音像定位の変化の、いずれか一つ以上の制御を行ってもよい。
以上、図１２および図１３を参照して、第三の実施形態による情報処理装置１２の構成例を説明した。
＜４－２．動作＞
図１４は、第三の実施形態による情報処理装置１２の動作例を説明するためのフローチャートである。なお、図１４において、Ｓ１０１、Ｓ１０３、Ｓ１０５、およびＳ１０７は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
Ｓ１０１～Ｓ１０５の処理が行われたのち、情報処理装置１２の音差分処理部１５０１により、算出された差分値が、所定の閾値を超えている場合（Ｓ５０７／ＹＥＳ）、制御部１５１は、画像認識処理部２２０５および音認識処理部１５０６へ、認識処理を開始する指示を出力する（Ｓ５０７）。次いで、音認識処理部１５０６が、音認識処理を行う（Ｓ５１１）。
次いで、周辺環境推定部１５０７は、イメージセンサ部１１２の画像認識処理部２２０５による画像認識処理結果を取得する（Ｓ５１３）。周辺環境推定部１５０７は、周辺環境推定処理を行う（Ｓ５１５）。
周辺環境推定部１５０７は、推定した周辺環境の状況から、外部音取り込み機能を起動するか否かを決定する（Ｓ５１７）。周辺環境推定部１５０７は、外部音取り込み機能を起動すると決定しなかった場合（Ｓ５１７／ＮＯ）、周辺環境推定部１５０７は、外部音取り込み機能をＯＦＦにするための制御信号を生成する（Ｓ５２５）。また、周辺環境推定部１５０７は、スピーカ１３０に、音楽等のコンテンツを再生させる（Ｓ５２７）。
周辺環境推定部１５０７は、外部音取り込み機能を起動すると決定した場合（Ｓ５１７／ＹＥＳ）、周辺環境推定部１５０７は、外部音取り込み機能をＯＮにする（Ｓ５１９）。また、周辺環境推定部１５０７は、ユーザに対する音声メッセージをスピーカ１３０に再生させる（Ｓ５２１）。
次いで、情報処理装置１２の一連の処理を終了する終了操作が行われた場合（Ｓ５２３／ＹＥＳ）、情報処理装置１２は処理を終了する。１２は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ５２３の処理を繰り返す（Ｓ５２３／ＮＯ）。
以上、図１４を参照して、第三の実施形態による情報処理装置１２の動作例を説明した。続いて、図１５を参照して、第三の実施形態によるイメージセンサ部１２２の動作例を説明する。
図１５は、第三の実施形態によるイメージセンサ部１２２の動作例を説明するためのフローチャートである。なお、図１５において、Ｓ２０１～Ｓ２０７は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
Ｓ２０７の処理に次いで、イメージセンサ部１２２の画像認識処理部２２０５は、画像認識処理を行う（Ｓ６０９）。画像認識処理部２２０５は、画像認識処理結果を、周辺環境推定部１５０７に出力する（Ｓ６１１）。
次いで、イメージセンサ部１１２の一連の処理を終了する終了操作が行われた場合（Ｓ６１３／ＹＥＳ）、イメージセンサ部１１２は処理を終了する。情報処理装置１２は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ６１３の処理を繰り返す（Ｓ６１３／ＮＯ）。
以上、図１５を参照して、第三の実施形態によるイメージセンサ部１２２の動作例を説明した。続いて、図１６～図２２を参照して、本開示の第四の実施形態による情報処理システムについて説明する。
＜５．第四の実施形態＞
第四の実施形態では、本開示の適用先が、ＨＭＤである例を説明する。図１６は、第四の実施形態の概要を説明するための説明図である。
図１６に示した情報処理装置１３は、ユーザＵ１の頭部に装着されているＨＭＤである。画面Ｄは、情報処理装置１３のディスプレイに表示される画面例を示す。第四の実施形態による情報処理装置１３は、ユーザＵ１の周辺環境の状況の認識結果に応じて、情報処理装置１３のコンテンツ再生音およびコンテンツ画像の表示を一時停止する。このとき、情報処理装置１３は、情報処理装置１３の周辺の音を出力する。また、情報処理装置１３は、情報処理装置１３の周辺の画像データをディスプレイに表示させる。
図１６の左側に示したように、情報処理装置１３は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術、またはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用した、3次元の仮想空間の画像である画面Ｄ１を表示することが出来る。また、情報処理装置１３は、画面Ｄ１の表示と同期されたコンテンツ音を出力する。
ユーザＵ１は、情報処理装置１３を装着してＶＲまたはＡＲのコンテンツを体験している間、目と耳がふさがれているような状態になるため、ユーザＵ１の周囲の状況を把握しづらい。情報処理装置１３を実現するＨＭＤによっては、ユーザの操作に基づき、ＨＭＤの周囲を撮像する外向きカメラで取得された周囲の映像を表示する機能を備えている場合があるが、周囲の映像が表示されるためにはユーザによる能動的な動作が求められる。このため、情報処理装置１３を装着してＶＲまたはＡＲのコンテンツを体験している間、ユーザＵ１は、他のユーザからの自身への話しかけ、または、他のユーザまたはペット等の接近などの周囲の状況を察知し難い。そのため、ユーザＵ１が、他のユーザおよびペット等に衝突してしまうなどの状況が発生し得る。
そこで、本開示の第四の実施形態による情報処理装置１３によれば、情報処理装置１３の周辺環境の状況として、ユーザＵ１と他のユーザとの間での話しかけまたは会話の有無、および、ユーザＵ１の周囲の人またはペット等の接近が認識される。情報処理装置１３は、認識結果に応じて、情報処理装置１３に出力されるコンテンツを制御する。これにより、情報処理装置１３を装着しているユーザＵ１の利便性が向上する。
＜５－１．構成例＞
図１７は、第四の実施形態による情報処理装置１３の構成例を説明するためのブロック図である。図１７に示したように、情報処理装置１３は、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、制御部１５０、および、映像出力部１６２を有する。なお、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および制御部１５０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
（映像出力部１６２）
映像出力部１６２は、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する機能を有する。映像出力部１６２の画面は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、映像出力部１６２は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
映像出力部１６２は、制御部１５０の制御に従って、イメージセンサ部１１０により取得される情報処理装置１３の周辺環境の画像データを表示する。
なお、第四の実施形態によるイメージセンサ部１１０は、情報処理装置１３の周囲３６０度方向の画像を取得できる位置に配置される。また、情報処理装置１３は、複数のイメージセンサ部１１０を備えていてよい。
図１８は、第四の実施形態によるイメージセンサ部１１０の設置位置の一例を説明するための説明図である。図１８の外観図Ｖ１は、情報処理装置１３を斜め後方からみた斜視図である。イメージセンサ部１１０は、例えば、情報処理装置１３Ａの後方部分の位置P１に設置されてもよい。この場合、イメージセンサ部１１０は、魚眼レンズを備え、情報処理装置１３Ａを装着するユーザＵ１の後方全体を撮像してもよい。
また、図１９は、第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。図１９の外観図Ｖ２は、情報処理装置１３Ａを前方からみた正面図である。イメージセンサ部１１０は、位置P１に加え、位置Ｐ２の位置に設置されてもよい。この場合、イメージセンサ部１１０は、魚眼レンズを含んで構成され、情報処理装置１３Ａを装着するユーザＵ１の前方全体を撮像してもよい。
また、図２０は、第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。図２０の外観図Ｖ３は、情報処理装置１３Ｂ前方からみた正面図である。図２０に示した例では、情報処理装置１３Ｂは、情報処理装置１３Ｂの前面の四方の位置Ｐ４～位置Ｐ６の各々に１ずつ設置されてもよい。この場合、情報処理装置１３Ｂは、計４つのイメージセンサ部１１０を備えていてもよい。これにより、情報処理装置１３Ａを装着するユーザＵ１の前方全体が撮像され得る。
以上、図１７～図２０を参照して、第四の実施形態による情報処理装置１３の構成例を説明した。続いて、図２１および図２２を参照して、第四の実施形態による情報処理装置１３の動作例を説明する。
＜５－２．動作＞
図２１は、第四の実施形態による情報処理装置１３の動作例を説明するためのフローチャートである。なお、図２１において、Ｓ１０１～Ｓ１０７の処理は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
まず、Ｓ１０１～Ｓ１０７の処理が行われる。Ｓ１０７において、情報処理装置１３の制御部１５０により認識処理の開始指示が出力されると、情報処理装置１３の認識部１５０３は、周辺環境の状況の認識処理を行う（Ｓ７１１）。例えば、認識部１５０３は、周辺環境の状況として、他のユーザまたはペット等が情報処理装置１３に接近していることを認識してもよい。さらに、認識部１５０３は、認識結果に基づいて、情報処理装置１３のスピーカ１３０および映像出力部１６２のそれぞれに、外部音取り込みとコンテンツ音声の停止、および、周辺映像の表示を行わせる制御が必要か否かを推定してもよい（Ｓ７１３）。
Ｓ７１３において、上記制御が必要と判定されなかった場合（Ｓ７１３／ＮＯ）、出力制御部１５０５は、外部音取り込み機能をＯＦＦにするための制御信号を生成する（Ｓ７２３）。また、出力制御部１５０５は、映像出力部１６２に、仮想空間の画像等のコンテンツ映像を表示させる（Ｓ７２５）。さらに、出力制御部１５０５は、スピーカ１３０に、コンテンツ音声を再生させる（Ｓ７２７）。次いで、情報処理装置１３は、Ｓ１０１に戻って、Ｓ１０１～Ｓ７２７の処理を繰り返す。
Ｓ７１３において、上記制御が必要と判定された場合（Ｓ７１３／ＹＥＳ）、出力制御部１５０５は、外部音取り込み機能をＯＮにするための制御信号を生成する（Ｓ７１５）。また、出力制御部１５０５は、映像出力部１６２に、情報処理装置１３の周辺環境の映像を表示させる（Ｓ７１７）。さらに、出力制御部１５０５は、スピーカ１３０に、コンテンツ音声の再生を停止させる（Ｓ７１９）。
次いで、情報処理装置１３の一連の処理を終了する終了操作が行われた場合（Ｓ７２１／ＹＥＳ）、情報処理装置１３は処理を終了する。情報処理装置１３は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ７２７の処理を繰り返す（Ｓ７２１／ＮＯ）。
以上、図２１を参照して、第四の実施形態による情報処理装置１３の動作例を説明した。続いて、図２２を参照して、第四の実施形態によるイメージセンサ部１１０の動作例を説明する。
図２２は、第四の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。なお、図１５において、Ｓ２０１～Ｓ２０７は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
Ｓ２０７の処理に次いで、イメージセンサ部１１０のイメージセンサ制御部２２１は、情報処理装置１３の認識部１５０３により、周辺映像の表示が必要と推定されたか否かの判定を行う（Ｓ８０８）。周辺映像の表示が必要と推定されなかった場合（Ｓ８０８／ＮＯ）、情報処理装置１３は、Ｓ２０１～Ｓ８０８の処理を繰り返す。
周辺映像の表示が必要と推定された場合（Ｓ８０８／ＹＥＳ）、画像出力部２２０２は、イメージセンサ制御部２２１の制御に従って、画素アレイ２１０により取得された情報処理装置１３の周辺環境の画像データを映像出力部１６２に出力する（Ｓ８０９）。
次いで、イメージセンサ部１１１の一連の処理を終了する終了操作が行われた場合（Ｓ８１１／ＹＥＳ）、イメージセンサ部１１１は処理を終了する。イメージセンサ部１１１は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ８１１の処理を繰り返す（Ｓ８１１／ＮＯ）。
以上、図２２を参照して、第四の実施形態によるイメージセンサ部１１０の動作例を説明した。
＜６．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した、情報処理装置１０の周辺環境の変化が所定の条件を満たすか否かの判断結果の取得、情報処理装置１０の周辺の音および周辺環境の画像データに基づく周辺環境の状況の認識処理、認識結果に基づくコンテンツ出力の制御、などの情報処理は、ソフトウェアと、ハードウェアとの協働により実現される。以下、情報処理装置１０に適用され得るハードウェア構成例を説明する。
図２３は、ハードウェア構成９０の一例を示したブロック図である。なお、以下に説明するハードウェア構成９０のハードウェア構成例は、情報処理装置１０のハードウェア構成の一例に過ぎない。したがって、情報処理装置１０は、それぞれ、必ずしも図２３に示したハードウェア構成の全部を有している必要はない。また、情報処理装置１０の中に、図２３に示したハードウェア構成の一部が存在しなくてもよい。さらに、情報処理装置１１、情報処理装置１２、および情報処理装置１３についても、以下に説明するハードウェア構成９０が適用され得る。
図２３に示すように、ハードウェア構成９０は、ＣＰＵ９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ９０５を含む。また、ハードウェア構成９０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。ハードウェア構成９０は、ＣＰＵ９０１に代えて、またはこれとともに、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、ハードウェア構成９０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムおよび演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムまたは／および、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
ＣＰＵ９０１がＲＯＭ９０３、ＲＡＭ９０５、およびソフトウェアと協働することにより、例えば、制御部１５０、および、イメージセンサ制御部２２０の機能が実現され得る。
入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線またはその他の電波を利用したリモートコントロール装置であってもよいし、ハードウェア構成９０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、ハードウェア構成９０に対して各種のデータを入力したり処理動作を指示したりする。
また、入力装置９１５は、撮像装置、およびセンサを含んでもよい。撮像装置は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサは、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサは、例えばハードウェア構成９０の筐体の姿勢など、ハードウェア構成９０自体の状態に関する情報、または、ハードウェア構成９０の周辺の明るさまたは騒音など、ハードウェア構成９０の周辺環境に関する情報を取得する。また、センサは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、ハードウェア構成９０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくする照明装置などを含んでもよい。
ストレージ装置９１９は、ハードウェア構成９０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムまたは各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、ハードウェア構成９０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
接続ポート９２３は、機器をハードウェア構成９０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、ハードウェア構成９０と外部接続機器９２９との間で各種のデータが交換され得る。
通信装置９２５は、例えば、ローカルネットワーク、または、無線通信の基地局との通信ネットワークに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットまたは他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるローカルネットワークまたは基地局との通信ネットワークは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
＜７．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、判断結果取得部の一例としての音差分処理部１５０１が、判断結果取得処理として、周辺の音の変化が所定の閾値が示す差分以上に変化したことを検出した場合に、情報処理装置１０の周辺環境の変化が所定の条件を満たすと判断するとした。より具体的には、音差分処理部１５０１が、現在の音データと過去の音データとの差分を算出し、算出された差分を示す差分値が所定の閾値を超える場合に、所定の条件が満たされたと判断するとした。しかし、本技術は係る例に限定されない。例えば、情報処理装置１０の制御部１５０が、イメージセンサ部１１０により取得された情報処理装置１０の周辺環境の画像データを用いて、周辺環境の変化が所定の条件を満たすか否かの判断結果を取得してもよい。
例えば、制御部１５０は、現在の周辺環境の画像データと、過去の周辺環境の画像データの差分を検出してもよい。制御部１５０は、画像データ上で差分が検出された領域が、所定の閾値が示す範囲を超える場合に、周辺環境の状況が所定の条件を満たすと判断してもよい。これにより、例えば情報処理装置１０に他のユーザが接近している場合等の周辺環境の変化が検出され得る。
なお、上記のように、制御部１５０が周辺環境の画像データを用いて判断結果取得処理を行う場合には、情報処理装置１０を装着しているユーザの頭部の動きによる周辺環境の画像データの変化を考慮することが望ましい。例えば、情報処理装置１０は、情報処理装置１０の加速度および角速度を検出することが可能な加速度センサおよび加速度センサ、またはＩＭＵを備えていてもよい。制御部１５０は、情報処理装置１０の加速度および角速度に基づきユーザの頭部の位置および姿勢を算出するヘッドトラッキングを行ってもよい。制御部１５０は、ヘッドトラッキングの結果に基づいて、判断結果取得処理によって検出される周辺環境の画像データの変化がユーザの頭部の動きによって生じたものである場合には、周辺環境の変化が所定の条件を満たさないと判断してもよい。これにより、イメージセンサ部１１０により取得される周辺環境の画像データによっても、情報処理装置１０の周辺環境の変化が所定の条件を満たすか否かの判断が行われ得る。
また、上記のように制御部１５０が周辺環境の画像データを用いて判断結果取得処理を行う場合には、画像縮小処理部２２０１および認識部１５０３は次のような処理を行ってもよい。具体的には、画像縮小処理部２２０１は、制御部１５０から認識処理を開始する指示が出力された場合、画素アレイ２１０により取得される周辺環境の画像データから、制御部１５０により上記差分が検出された領域を切り出す処理を行ってもよい。さらに、画像縮小処理部２２０１は、切り出された領域の画像データを所定の解像度に縮小する処理を行ってもよい。認識部１５０３は、縮小処理が行われた、切り出された領域の画像データを入力データとして、認識処理を行ってもよい。これにより、認識部１５０３の認識処理において、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけまたは会話の有無の検出精度が向上し得る。
また、上記実施形態では、イメージセンサ部１１０およびマイクロフォン１２０が、情報処理装置１０と同一体として構成される例を説明した。しかし、本技術は係る例に限定されない。例えば、イメージセンサ部１１０およびマイクロフォン１２０は、情報処理装置１０と別体として構成されてもよい。この場合、イメージセンサ部１１０は、ユーザの周辺環境を俯瞰的に撮像可能な位置に設置されることが望ましい。
また、上記ではユーザと他のユーザが同一空間に存在することが想定されたが、ユーザと他のユーザは別空間に存在していてもよい。例えば、ユーザが存在する空間には、他のユーザの映像および音声を出力する出力装置が配置されており、情報処理装置１０は、当該出力装置を介する話しかけ、および会話の有無を認識してもよい。当該出力装置は、据え置き式の装置であってもよいし、他のユーザによる遠隔操作に従って移動可能な装置であってもよい。
また、本実施形態による情報処理装置１０、およびイメージセンサ部１１１の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０およびイメージセンサ部１１１の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
また、上述した情報処理装置１０およびイメージセンサ部１１１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムを記憶させた、コンピュータが読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
を備える、情報処理装置。
（２）
前記センサ部は、当該センサ部の周辺の音を検出し、
前記判断結果取得部は、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
前記（１）に記載の情報処理装置。
（３）
前記判断結果取得部は、前記センサ部により所定時間長を有する第一の時間区間において取得された第一の音データと、前記センサ部により前記第一の時間区間と異なり前記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
前記（２）に記載の情報処理装置。
（４）
前記判断結果取得部は、前記第一の音データと、前記第二の音データとの差分を算出し、
前記所定の条件は、算出された前記差分を示す差分値が、所定の閾値を超えることである、
前記（３）に記載の情報処理装置。
（５）
前記認識部は、前記センシングデータとして、前記センサ部から前記音データを取得し、
前記音データを解析して前記周辺環境の状況を認識する処理を行う、
前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
前記センサ部は、前記センシングデータとして、当該センサ部の周辺環境の画像データを取得し、
前記認識部は、前記音データおよび前記画像データを解析して前記周辺環境の状況を認識する処理を行う、
前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
前記認識部は、前記音データおよび前記画像データの各々の解析結果に基づき、前記周辺環境の状況として、前記センサ部の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する、
前記（６）に記載の情報処理装置。
（８）
前記認識部は、前記センサ部により取得される前記音データまたは前記センサ部により取得される前記画像データの少なくともいずれかまたは両方と、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけの有無の正解データと、を入力データとするニューラルネットワークを用いて、前記音データまたは前記画像データの少なくともいずれかまたは両方および前記ユーザと前記他のユーザとの間での話しかけまたは会話の有無の関係を学習し、
学習の結果得られたモデルを用いて、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識する、
前記（６）または（７）に記載の情報処理装置。
（９）
前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させる処理を行う、出力制御部をさらに備える、前記（７）または（８）に記載の情報処理装置。
（１０）
前記出力制御部は、前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
前記（７）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音の音量を低減させる処理、または、前記コンテンツ再生音の音像定位を変化させる処理、のいずれかまたは両方を行う、出力制御部をさらに備える、前記（７）または（８）に記載の情報処理装置。
（１２）
前記認識部は、前記周辺環境の状況として、前記センサ部に接近する障害物の有無を認識する、
前記（６）に記載の情報処理装置。
（１３）
前記認識部により前記センサ部に接近する障害物が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させるとともに、前記音出力部にユーザへの通知音を出力させる制御を行う出力制御部をさらに備える、
前記（１２）に記載の情報処理装置。
（１４）
前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
前記（１３）に記載の情報処理装置。
（１５）
前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、画像出力部により出力されるコンテンツ画像の表示を一時停止させるとともに、前記センサ部により取得される当該センサ部の周辺の画像データを前記画像出力部に表示させる、
前記（１４）に記載の情報処理装置。
（１６）
前記センサ部により取得された前記第二の音データを記憶する記憶部をさらに備える、前記（３）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
コンピュータを、
センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
として機能させるための、プログラム。
（１８）
センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、
前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、
を含む、コンピュータにより実行される情報処理方法。
１０ 情報処理装置
１１０ イメージセンサ部
１２０ マイクロフォン
１３０ スピーカ
１４０ 記憶部
１５０ 制御部
１５０１ 音差分処理部
１５０３ 認識部
１５０５ 出力制御部
１５０６ 音認識処理部
１５０７ 周辺環境推定部
２１０ 画素アレイ
２２０ イメージセンサ制御部
２２０１ 画像縮小処理部
２２０２ 画像出力部
２２０３ 認識部
２２０４ 出力制御部
２２０５ 画像認識処理部

Claims (18)

  1. センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
    前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
    を備える、情報処理装置。
  2. 前記センサ部は、当該センサ部の周辺の音を検出し、
    前記判断結果取得部は、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
    請求項１に記載の情報処理装置。
  3. 前記判断結果取得部は、前記センサ部により所定時間長を有する第一の時間区間において取得された第一の音データと、前記センサ部により前記第一の時間区間と異なり前記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
    請求項２に記載の情報処理装置。
  4. 前記判断結果取得部は、前記第一の音データと、前記第二の音データとの差分を算出し、
    前記所定の条件は、算出された前記差分を示す差分値が、所定の閾値を超えることである、
    請求項３に記載の情報処理装置。
  5. 前記認識部は、前記センシングデータとして、前記センサ部から前記音データを取得し、
    前記音データを解析して前記周辺環境の状況を認識する処理を行う、
    請求項４に記載の情報処理装置。
  6. 前記センサ部は、前記センシングデータとして、当該センサ部の周辺環境の画像データを取得し、
    前記認識部は、前記音データおよび前記画像データを解析して前記周辺環境の状況を認識する処理を行う、
    請求項５に記載の情報処理装置。
  7. 前記認識部は、前記音データおよび前記画像データの各々の解析結果に基づき、前記周辺環境の状況として、前記センサ部の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する、
    請求項６に記載の情報処理装置。
  8. 前記認識部は、前記センサ部により取得される前記音データまたは前記センサ部により取得される前記画像データの少なくともいずれかまたは両方と、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけの有無の正解データと、を入力データとするニューラルネットワークを用いて、前記音データまたは前記画像データの少なくともいずれかまたは両方および前記ユーザと前記他のユーザとの間での話しかけまたは会話の有無の関係を学習し、
    学習の結果得られたモデルを用いて、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識する、
    請求項７に記載の情報処理装置。
  9. 前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させる処理を行う、出力制御部をさらに備える、請求項７に記載の情報処理装置。
  10. 前記出力制御部は、前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
    請求項９に記載の情報処理装置。
  11. 前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音の音量を低減させる処理、または、前記コンテンツ再生音の音像定位を変化させる処理、のいずれかまたは両方を行う、出力制御部をさらに備える、請求項７に記載の情報処理装置。
  12. 前記認識部は、前記周辺環境の状況として、前記センサ部に接近する障害物の有無を認識する、
    請求項６に記載の情報処理装置。
  13. 前記認識部により前記センサ部に接近する障害物が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させるとともに、前記音出力部にユーザへの通知音を出力させる制御を行う出力制御部をさらに備える、
    請求項１２に記載の情報処理装置。
  14. 前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
    請求項１３に記載の情報処理装置。
  15. 前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、画像出力部により出力されるコンテンツ画像の表示を一時停止させるとともに、前記センサ部により取得される当該センサ部の周辺の画像データを前記画像出力部に表示させる、
    請求項１４に記載の情報処理装置。
  16. 前記センサ部により取得された前記第二の音データを記憶する記憶部をさらに備える、請求項３に記載の情報処理装置。
  17. コンピュータを、
    センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
    前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
    として機能させるための、プログラム。
  18. センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、
    前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、
    を含む、コンピュータにより実行される情報処理方法。
JP2022143559A 2022-09-09 2022-09-09 情報処理装置、プログラム、および情報処理方法 Pending JP2024039193A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022143559A JP2024039193A (ja) 2022-09-09 2022-09-09 情報処理装置、プログラム、および情報処理方法
PCT/JP2023/027195 WO2024053271A1 (ja) 2022-09-09 2023-07-25 情報処理装置、プログラム、および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022143559A JP2024039193A (ja) 2022-09-09 2022-09-09 情報処理装置、プログラム、および情報処理方法

Publications (1)

Publication Number Publication Date
JP2024039193A true JP2024039193A (ja) 2024-03-22

Family

ID=90192383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022143559A Pending JP2024039193A (ja) 2022-09-09 2022-09-09 情報処理装置、プログラム、および情報処理方法

Country Status (2)

Country Link
JP (1) JP2024039193A (ja)
WO (1) WO2024053271A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4050693B2 (ja) * 2003-12-22 2008-02-20 株式会社エネルギア・コミュニケーションズ 告知放送システム、告知放送方法、および、この方法に用いられる情報端末
JP6094027B2 (ja) * 2011-12-20 2017-03-15 株式会社ニコン 電子機器
JP6373653B2 (ja) * 2013-06-25 2018-08-15 東芝ライフスタイル株式会社 冷蔵庫
JP5851544B2 (ja) * 2014-03-28 2016-02-03 ソフトバンク株式会社 非透過型ヘッドマウントディスプレイ及びプログラム
JP2017026661A (ja) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 コマンド管理装置および画像形成装置
JP2019197497A (ja) * 2018-05-11 2019-11-14 Ｎｅｃパーソナルコンピュータ株式会社 ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
JP2022105941A (ja) * 2021-01-05 2022-07-15 菱洋エレクトロ株式会社 触覚刺激を与える身体装着具

Also Published As

Publication number Publication date
WO2024053271A1 (ja) 2024-03-14

Similar Documents

Publication Publication Date Title
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
EP2981070B1 (en) Information processing device, notification state control method, and program
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP4512830B2 (ja) コミュニケーションロボット
US20230305530A1 (en) Information processing apparatus, information processing method and program
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
US20200269421A1 (en) Information processing device, information processing method, and program
WO2022228068A1 (zh) 电子设备的图像获取方法、装置、***及电子设备
JP2012175136A (ja) カメラシステムおよびその制御方法
CN108683790B (zh) 语音处理方法及相关产品
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019040005A (ja) 読み上げシステム及び読み上げ方法
JP6969577B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114432565A (zh) 空想意识信息恢复***
WO2021149441A1 (ja) 情報処理装置および情報処理方法
WO2024053271A1 (ja) 情報処理装置、プログラム、および情報処理方法
KR20200031098A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US11037519B2 (en) Display device having display based on detection value, program, and method of controlling device
JP2023111925A (ja) ヘッドマウント情報処理装置およびヘッドマウント情報処理装置の制御方法
US20200241656A1 (en) Information processing apparatus, information processing method, and program
CN109361727A (zh) 信息共享方法、装置、存储介质及穿戴式设备
US11372473B2 (en) Information processing apparatus and information processing method
JPWO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
WO2019187593A1 (ja) 情報処理装置、情報処理方法およびプログラム