JP2021074202A - 自律移動体、情報処理方法、プログラム、及び、情報処理装置 - Google Patents

自律移動体、情報処理方法、プログラム、及び、情報処理装置 Download PDF

Info

Publication number
JP2021074202A
JP2021074202A JP2019202083A JP2019202083A JP2021074202A JP 2021074202 A JP2021074202 A JP 2021074202A JP 2019202083 A JP2019202083 A JP 2019202083A JP 2019202083 A JP2019202083 A JP 2019202083A JP 2021074202 A JP2021074202 A JP 2021074202A
Authority
JP
Japan
Prior art keywords
sound
output
mobile body
autonomous mobile
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019202083A
Other languages
English (en)
Inventor
高橋 慧
Kei Takahashi
高橋  慧
潤一 永原
Junichi Nagahara
潤一 永原
吉秀 藤本
Yoshihide Fujimoto
吉秀 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019202083A priority Critical patent/JP2021074202A/ja
Priority to EP20886041.1A priority patent/EP4056245A4/en
Priority to US17/755,423 priority patent/US20220413795A1/en
Priority to PCT/JP2020/039845 priority patent/WO2021090704A1/ja
Publication of JP2021074202A publication Critical patent/JP2021074202A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00Other toys
    • A63H33/005Motorised rolling toys
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00Musical or noise- producing devices for additional toy effects other than acoustical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0356Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for synchronising with other signals, e.g. video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】自律移動体の出力音によるユーザ体験を向上させることができる自律移動体を提供する。【解決手段】自律移動体は、自装置の動きを認識する認識部251と、前記自装置から出力する出力音の制御を行う音制御部254とを備え、前記音制御部は、前記自装置の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる。本技術は、例えば、ロボットに適用することができる。【選択図】図11

Description

本技術は、自律移動体、情報処理方法、プログラム、及び、情報処理装置に関し、特に、自律移動体の出力音によるユーザ体験を向上させるようにした自律移動体、情報処理方法、プログラム、及び、情報処理装置に関する。
従来、複数の動きに対応して、それぞれ異なる種類の出力音を出力するロボットが普及している。
また、従来、音楽的分析に基づいて設定された優先順位情報に従って、ゲーム進行中の各時点における音データの優先順位を決定し、空きチャンネルがない場合、優先順位の最も低い音データに対応するチャンネルを開放するゲーム装置が提案されている(例えば、特許文献1参照)。
さらに、従来、出力する音楽の音量を調整することにより、ユーザの発話音量が所望のレベルになるように誘導する音声対話装置が提案されている(例えば、特許文献2参照)。
特開2003−311019号公報 特開2006−317556号公報
ところで、ロボットの複数の動きに対応して、それぞれ異なる種類の出力音を出力する場合、複数の動きが同時に検出されたとき、各動きに対応する出力音が同時に出力される。これにより、ユーザが個々の出力音を認識できなくなり、ユーザ体験が低下する場合がある。
本技術は、このような状況に鑑みてなされたものであり、ロボット等の自律移動体の出力音によるユーザ体験を向上させるようにするものである。
本技術の一側面の自律移動体は、自装置の動きを認識する認識部と、前記自装置から出力する出力音の制御を行う音制御部とを備え、前記音制御部は、前記自装置の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる。
本技術の一側面の情報処理方法は、自律移動体の動きを認識し、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる。
本技術の一側面のプログラムは、自律移動体の動きを認識し、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる処理をコンピュータに実行させる。
本技術の一側面の情報処理装置は、自律移動体の動きを認識する認識部と、前記自律移動体から出力する出力音の制御を行う音制御部とを備え、前記音制御部は、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる。
本技術の一側面によれば、自律移動体の動きが認識され、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音が出力されるとともに、複数の動きが認識された場合、前記動作音が変化する。
本技術を適用した情報処理システムの一実施の形態を示すブロック図である。 自律移動体の正面図である。 自律移動体の背面図である。 自律移動体の斜視図である。 自律移動体の側面図である。 自律移動体の上面図である。 自律移動体の底面図である。 自律移動体の内部構造について説明するための概略図である。 自律移動体の内部構造について説明するための概略図である。 自律移動体の機能構成例を示すブロック図である。 自律移動体の制御部により実現される機能構成例を示すブロック図である。 合成音に係るパラメータについて説明するための図である。 ピッチとスピードの制御により表現され得る感情の一例を示す図である。 情報処理サーバの機能構成例を示すブロック図である。 自律移動体により実行される動作音出力制御処理の基本例を説明するためのフローチャートである。 センサデータから動作音を生成する方法の具体例を示す図である。 自律移動体により実行される動作音出力制御処理の変形例を説明するためのフローチャートである。 自律移動体により実行される出力音変更処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
<<1.実施の形態>>
まず、図1乃至図18を参照して、本技術の実施の形態について説明する。
<情報処理システム1の構成例>
図1は、本技術を適用した情報処理システム1の一実施の形態を示している。
情報処理システム1は、自律移動体11、情報処理サーバ12、及び、***作装置13を備える。自律移動体11、情報処理サーバ12、及び、***作装置13は、ネットワーク14を介して接続されている。
自律移動体11は、情報処理サーバ12の制御によらずに、又は、情報処理サーバ12の制御により、自律動作を行う情報処理装置である。例えば、自律移動体11は、走行型、歩行型、飛行型、遊泳型などの種々のロボットにより構成される。
また、自律移動体11は、ユーザとのコミュニケーションをより自然かつ効果的に実現することを可能とするエージェント装置である。自律移動体11は、ユーザとのコミュニケーションを誘因する種々の動作(以下、誘因動作とも称する)を能動的に実行することを特徴の一つとする。
例えば、自律移動体11は、環境認識に基づいて、ユーザに対し能動的な情報提示を行うことが可能である。また、例えば、自律移動体11は、ユーザに所定の行動を促す種々の誘因動作を能動的に実行する。
また、自律移動体11による誘因動作は、物理空間に対する能動的かつ積極的な干渉であるといえる。自律移動体11は、物理空間において移動を行い、ユーザや生物、物品などに対して種々の物理的動作を実行することが可能である。自律移動体11が有する上記の特徴によれば、ユーザは視覚、聴覚、及び、触覚を通じて自律移動体の動作を包括的に認知することができ、単に音声を用いてユーザとの対話を行う場合などと比べ、高度なコミュニケーションを実現することができる。
さらに、自律移動体11は、出力音を出力することにより、自身の状態を表現したり、ユーザや他の自律移動体とコミュニケーションをとったりすることが可能である。自律移動体11の出力音は、自律移動体11の動きに対応して出力される動作音、及び、ユーザや他の自律移動体等とコミュニケーションをとるための発話音を含む。発話音は、必ずしも人間が理解できる言語を表す音声である必要はなく、動物の鳴き声等を模した非言語を表す音声であってもよい。
情報処理サーバ12は、自律移動体11の動作を制御する情報処理装置である。例えば、情報処理サーバ12は、自律移動体11に、ユーザとのコミュニケーションを誘因する種々の誘因動作を実行させる機能を備える。
***作装置13は、自律移動体11及び情報処理サーバ12により操作される種々の装置である。自律移動体11は、情報処理サーバ12の制御によらずに、又は、情報処理サーバ12の制御により、種々の***作装置13を操作することが可能である。***作装置13は、例えば、照明装置、ゲーム機器、テレビジョン装置等の家電機器により構成される。
ネットワーク14は、情報処理システム1が備える各構成を接続する機能を備える。例えば、ネットワーク14は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。例えば、ネットワーク14は、IP−VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。例えば、ネットワーク14は、Wi−Fi(登録商標)、Bluetooth(登録商標)等の無線通信網を含んでもよい。
<自律移動体11の構成例>
次に、図2乃至図13を参照して、自律移動体11の構成例について説明する。自律移動体11は、環境認識に基づく自律動作を行う種々の装置であり得る。以下においては、自律移動体11が車輪による自律走行を行う長楕円体のエージェント型のロボット装置である場合を例に説明する。自律移動体11は、例えば、ユーザ、周囲、及び、自身の状況に応じた自律動作を行うことで、情報提示を含む種々のコミュニケーションを実現する。自律移動体11は、例えば、ユーザが片手で容易に持ち上げられる程度の大きさ及び重量を有する小型ロボットとされる。
<自律移動体11の外装の例>
まず、図2乃至図7を参照して、自律移動体11の外装の例について説明する。
図2は、自律移動体11の正面図であり、図3は、自律移動体11の背面図である。図4のA及びBは、自律移動体11の斜視図である。図5は、自律移動体11の側面図である。図6は、自律移動体11の上面図である。図7は、自律移動体11の底面図である。
図2乃至図6に示されるように、自律移動体11は、本体上部に左眼及び右眼に相当する眼部101L及び眼部101Rを備える。眼部101L及び眼部101Rは、例えば、LEDなどにより実現され、視線や瞬きなどを表現することができる。なお、眼部101L及び眼部101Rは、上記の例に限定されず、例えば、単一または独立した2つのOLED(Organic Light Emitting Diode)などにより実現されてもよい。
また、自律移動体11は、眼部101L及び眼部101Rの上方にカメラ102L及びカメラ102Rを備える。カメラ102L及びカメラ102Rは、ユーザや周囲環境を撮像する機能を有する。その際、自律移動体11は、カメラ102L及びカメラ102Rにより撮像された画像に基づいて、SLAM(Simultaneous Localization and Mapping)を実現してもよい。
なお、眼部101L、眼部101R、カメラ102L、及び、カメラ102Rは、外装表面の内部に配置される基板(不図示)上に配置される。また、自律移動体11の外装表面は、基本的に不透明な素材を用いて形成されるが、眼部101L、眼部101R、カメラ102L、及び、カメラ102Rが配置される基板に対応する部分には、透明又は半透明素材を用いた頭部カバー104が設けられる。これにより、ユーザは、自律移動体11の眼部101L及び眼部101Rを認識することができ、自律移動体11は、外界を撮像することができる。
また、図2、図4、及び、図7に示すように、自律移動体11は、正面下部にToF(Time of Flight)センサ103を備える。ToFセンサ103は、前方に存在する物体との距離を検出する機能を備える。自律移動体11は、ToFセンサ103により、例えば、種々の物体との距離を精度高く検出したり、段差等を検出して、落下や転倒を防止したりすることができる。
また、図3、図5などに示すように、自律移動体11は、背面に外部装置の接続端子105及び電源スイッチ106を備える。自律移動体11は、例えば、接続端子105を介して外部装置と接続し、情報通信を行うことができる。
また、図7に示すように、自律移動体11は、底面に車輪107L及び車輪107Rを備える。車輪107L及び車輪107Rは、それぞれ異なるモータ(不図示)により駆動される。これにより、自律移動体11は、前進、後退、旋回、回転などの移動動作を実現することができる。
また、車輪107L及び車輪107Rは、本体内部への格納、及び、外部への突出が可能である。例えば、自律移動体11は、車輪107L及び車輪107Rを勢いよく外部へと突出させることでジャンプ動作を行うことが可能である。なお、図7には、車輪107L及び車輪107Rが本体内部へ格納された状態が示されている。
なお、以下、眼部101L及び眼部101Rを個々に区別する必要がない場合、単に眼部101と称する。以下、カメラ102L及びカメラ102Rを個々に区別する必要がない場合、単にカメラ102と称する。以下、車輪107L及び車輪107Rを個々に区別する必要がない場合、単に車輪107と称する。
<自律移動体11の内部構造の例>
図8及び図9は、自律移動体11の内部構造を示す模式図である。
図8に示されるように、自律移動体11は、電子基板上に配置される慣性センサ121及び通信装置122を備える。慣性センサ121は、自律移動体11の加速度や角速度を検出する。また、通信装置122は、外部との無線通信を実現するための構成であり、例えば、Bluetooth(登録商標)やWi−Fi(登録商標)アンテナ等を含む。
また、自律移動体11は、例えば、本体側面の内部にスピーカ123を備える。自律移動体11は、スピーカ123により、種々の音を出力することができる。
また、図9に示されるように、自律移動体11は、本体上部の内側にマイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rを備える。マイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rは、ユーザの発話や、周囲の環境音を収集する。また、自律移動体11は、複数のマイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rを備えることで、周囲で発生する音を感度高く収集するとともに、音源の位置を検出することができる。
また、自律移動体11は、図8及び図9に示されるように、モータ125A乃至モータ125E(ただし、モータ125Eは不図示)を備える。モータ125A及びモータ125Bは、例えば、眼部101及びカメラ102が配置される基板を垂直方向および水平方向に駆動する。モータ125Cは、自律移動体11の前傾姿勢を実現する。モータ125Dは、車輪107Lを駆動する。モータ125Eは、車輪107Rを駆動する。自律移動体11は、モータ125A乃至モータ125Eにより、豊かな動作を表現することができる。
なお、以下、マイクロフォン124L乃至マイクロフォン124Rを個々に区別する必要がない場合、単にマイクロフォン124と称する。以下、モータ125A乃至モータ125Eを個々に区別する必要がない場合、単にモータ125と称する。
<自律移動体11の機能の構成例>
図10は、自律移動体11の機能の構成例を示している。自律移動体11は、制御部201、センサ部202、入力部203、光源204、音出力部205、駆動部206、及び、通信部207を備える。
制御部201は、自律移動体11が備える各構成を制御する機能を備える。制御部201は、例えば、各構成の起動や停止を制御する。また、制御部201は、情報処理サーバ12から受信した制御信号等を、光源204、音出力部205、及び、駆動部206に供給する。
センサ部202は、ユーザや周囲の状況に関する種々のデータを収集する機能を備える。例えば、センサ部202は、上述したカメラ102、ToFセンサ103、慣性センサ121、マイクロフォン124等を備える。また、センサ部202は、上記のセンサの他に、例えば、地磁気センサ、タッチセンサ、IR(赤外線)センサ等を含む種々の光センサ、温度センサ、湿度センサ等の様々なセンサを備えていてもよい。センサ部202は、各センサから出力されるセンサデータを制御部201に供給する。
入力部203は、例えば、上述した電源スイッチ106等のボタンやスイッチ等を備え、ユーザによる物理的な入力操作を検出する。
光源204は、例えば、上述した眼部101等を備え、自律移動体11の眼球動作を表現する。
音出力部205は、例えば、上述したスピーカ123及びアンプ等を備え、制御部201から供給される出力音データに基づいて、出力音を出力する。
駆動部206は、例えば、上述した車輪107及びモータ125等を備え、自律移動体11の身体動作の表現に用いられる。
通信部207は、例えば、上述した接続端子105及び通信装置122等を備え、情報処理サーバ12、***作装置13、及び、その他の外部装置との通信を行う。例えば、通信部207は、センサ部202から供給されるセンサデータを情報処理サーバ12に送信し、自律移動体11の動作を制御するための制御信号、及び、自律移動体11から出力音を出力させるための出力音データを情報処理サーバ12から受信する。
<情報処理部241の構成例>
図11は、自律移動体11の制御部201が所定の制御プログラムを実行することにより実現される情報処理部241の構成例を示している。
情報処理部241は、認識部251、行動計画部252、動作制御部253、及び、音制御部254を備える。
認識部251は、センサ部202から供給されるセンサデータに基づいて、自律移動体11の周囲のユーザや環境、及び、自律移動体11に関する種々の情報の認識を行う機能を備える。
例えば、認識部251は、ユーザ識別、ユーザの表情や視線の認識、物体認識、色認識、形認識、マーカ認識、障害物認識、段差認識、明るさ認識等を行う。例えば、認識部251は、ユーザの声に係る感情認識、単語理解、音源の位置の認識等を行う。例えば、認識部251は、周囲の温度、動物体の存在、自律移動体11の姿勢や動き等を認識する
また、認識部251は、認識した情報に基づいて、自律移動体11が置かれた環境や状況を推定し、理解する機能を備える。この際、認識部251は、事前に記憶される環境知識を用いて総合的に状況推定を行ってもよい。
認識部251は、認識結果を示すデータを行動計画部252、動作制御部253、及び、音制御部254に供給する。
行動計画部252は、認識部251による認識結果、及び、学習知識に基づいて、自律移動体11が行う行動を計画する機能を備える。行動計画部252は、例えば、ディープラーニング等の機械学習アルゴリズムを用いて行動計画を実行する。行動計画部252は、行動計画を示す情報を動作制御部253及び音制御部254に供給する。
動作制御部253は、認識部251による認識結果、及び、行動計画部252による行動計画に基づいて、光源204及び駆動部206を制御することにより、自律移動体11の動作制御を行う。動作制御部253は、例えば、自律移動体11を前傾姿勢のまま移動させたり、前後運動、旋回運動、回転運動等をさせたりする。また、動作制御部253は、ユーザと自律移動体11とのコミュニケーションを誘因する誘因動作を自律移動体11に能動的に実行させる。また、動作制御部253は、自律移動体11が行っている動作に関する情報を音制御部254に供給する。
音制御部254は、認識部251による認識結果、及び、行動計画部252による行動計画に基づいて、音出力部205を制御することにより、出力音の出力制御を行う。例えば、音制御部254は、認識部251による認識結果、及び、行動計画部252による行動計画に基づいて、自律移動体11から出力する出力音を決定する。また、音制御部254は、決定した出力音を出力するための出力音データを生成し、音出力部205に供給する。また、音制御部254は、自律移動体11が出力している出力音に関する情報を動作制御部253に供給する。
<合成音の生成方法>
次に、音制御部254における合成音の生成方法について説明する。
音制御部254は、例えば、FM音源を用いて、合成音からなる出力音を生成する。この際、音制御部254は、FM音源の合成に係る各種のパラメータを動的かつ連続的に変化させることで、合成音の印象や感情的な意味合いを多様に表現することが可能である。
図12は、合成音に係るパラメータについて説明するための図である。図12には、FM音源の合成を行うシンセサイザが備える構成と、各構成に係るパラメータの変化により合成音により表現される出力態様との関係が示されている。
音制御部254は、例えば、オシレータに係るパラメータを変化させることで、音の基本的な質感を変化させることができる。一例としては、音制御部254は、音の波形をサイン波とすることで柔らかい印象を表現することができ、鋸歯形状とすることで鋭い印象を表現することができる。
また、音制御部254は、例えば、ピッチコントローラのパラメータ、すなわちピッチを制御することで、性別の差、イントネーション、感情の上下などを表現することができる。
図13は、音のピッチとスピードの制御により表現され得る感情の一例を示す図である。なお、図13におけるハッチング領域の大きさ(面積)は、音量を示している。音のピッチやスピードは、音が表す感情の想起に強く影響することが知られている。音制御部254は、例えば、ピッチとスピードを比較的高く設定することで、喜びや怒りの度合いなどを表現することが可能である。反対に、音制御部254は、ピッチとスピードを比較的低く設定することで、悲哀を表現することもできる。このように、音制御部254は、音のピッチやスピードを制御することで、種々の感情や、その度合いを表現することが可能である。
図12に戻り、音制御部254は、フィルタのパラメータを制御することで、音の明瞭さ(口の開け方)を表現することが可能である。音制御部254は、例えば、ハイカットフィルタの周波数を上下させることで、こもったような音や開いたような音を表現することができる。
また、音制御部254は、アンプの時間的な変化により、声量のアクセントや、立ち上がり方また終わり方の印象を変化させることが可能である。
また、音制御部254は、モジュレータのパラメータを制御することで、声の震えや滑らかさを表現することが可能である。
このように、音制御部254は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、又は、アンプなどに係る各パラメータを変化させることで、印象や感情的な意味合いを多様に表現することが可能である。
<情報処理サーバ12の機能構成例>
図14は、情報処理サーバ12の機能構成例を示している。
情報処理サーバ12は、通信部301、認識部302、行動計画部303、動作制御部304、及び、音制御部305を備える。
通信部301は、ネットワーク14を介して、自律移動体11及び***作装置13と通信を行う。例えば、通信部301は、自律移動体11からセンサデータを受信し、自律移動体11の動作を制御するための制御信号、及び、自律移動体11から出力音を出力させるための出力音データを自律移動体11に送信する。
認識部302、行動計画部303、動作制御部304、及び、音制御部305は、自律移動体11の認識部251、行動計画部252、動作制御部253、及び、音制御部254と同様の機能を備える。すなわち、認識部302、行動計画部303、動作制御部304、及び、音制御部305は、自律移動体11の認識部251、行動計画部252、動作制御部253、及び、音制御部254の代わりに、各種の処理を行うことができる。
これにより、情報処理サーバ12は、自律移動体11を遠隔制御することができ、自律移動体11は、情報処理サーバ12の制御の下に、各種の動作を行ったり、各種の出力音を出力したりすることが可能になる。
<自律移動体11の処理>
次に、図15乃至図18を参照して、自律移動体11の処理について説明する。
なお、以下、自律移動体11が、情報処理サーバ12の制御によらずに、独立して各種の動作を行ったり、各種の出力音を出力したりする場合の例について説明する。
<動作音出力制御処理の基本例>
まず、図15のフローチャートを参照して、自律移動体11により実行される動作音出力制御処理の基本例について説明する。
ステップS1において、認識部251は、センサデータを中間パラメータに変換する。
例えば、慣性センサ121に含まれる加速度センサのセンサデータには、重力加速度の成分が含まれる。従って、加速度センサのセンサデータをそのまま用いて動作音を出力した場合、自律移動体11が動いていなくても動作音が常時出力されるようになる。
また、加速度センサのセンサデータは、x軸、y軸、z軸の3軸方向の加速度を含むため、自律移動体11の移動に対応する成分以外に、振動やノイズに対応する成分も含まれる。従って、加速度センサのセンサデータをそのまま用いて動作音を出力した場合、自律移動体11の移動以外に、振動やノイズに反応して動作音が出力されるようになる。
これに対して、認識部251は、センサ部202に含まれる各センサのセンサデータを、動作音の出力対象となる自律移動体11の動きに対応し、人間が理解できる中間パラメータに変換する。
具体的には、認識部251は、センサ部202に含まれる各センサからセンサデータを取得し、各センサデータに対してフィルタ処理や閾値処理等の算術及び論理演算を行うことにより、各センサデータを所定の種類の中間パラメータに変換する。
図16は、センサデータから中間パラメータへの変換方法の具体例を示している。
例えば、認識部251は、センサ部202に含まれる回転センサ401から、自律移動体11のモータ125D又はモータ125Eの回転数を示すセンサデータを取得する。認識部251は、モータ125D又はモータ125Eの回転数に基づいて、オドメトリを計算することにより、自律移動体11の移動量を計算する。また、認識部251は、自律移動体11の移動量に基づいて、自律移動体11の並進方向(前後左右方向)の速度を計算する。これにより、センサデータが中間パラメータである速度に変換される。
例えば、認識部251は、センサ部202に含まれ、自律移動体11の底面に設けられているIRセンサ402(図2乃至図9で不図示)から、底面に物体(例えば、床面)が近接しているか否かを示すセンサデータを取得する。また、認識部251は、慣性センサ121に含まれる加速度センサ121Aから自律移動体11の加速度を示すセンサデータを取得する。認識部251は、自律移動体11の底面に物体が近接しているか否か、及び、自律移動体11の加速度に基づいて、自律移動体11が持ち上げられているか否かを検出する。これにより、センサデータが中間パラメータである持ち上げの有無に変換される。
例えば、認識部251は、加速度センサ121Aから自律移動体11の加速度を示すセンサデータを取得する。また、認識部251は、慣性センサ121に含まれる角速度センサ121Bから自律移動体11の角速度を示すセンサデータを取得する。認識部251は、自律移動体11の加速度及び角速度に基づいて、自律移動体11が持ち上げられた後の動き量を検出する。この動き量は、例えば、自律移動体11が持ち上げられた後に揺り動かされた量を示す。これにより、センサデータが中間パラメータである自律移動体11が持ち上げられた後の動き量に変換される。
例えば、認識部251は、角速度センサ121Bから自律移動体11の角速度を示すセンサデータを取得する。認識部251は、自律移動体11の角速度に基づいて、自律移動体の上下方向の軸を中心とするヨー方向の回転(横回転)を検出する。これにより、センサデータが中間パラメータである自律移動体11が横回転に変換される。
ステップS2において、音制御部254は、中間パラメータに基づいて、動作音を生成する。
例えば、音制御部254は、自律移動体11の速度が所定の閾値以上の場合、自律移動体11の並進に対応する動作音である並進音を生成する。このとき、音制御部254は、例えば、自律移動体11の速度の変化量に基づいて、並進音の周波数、音量、変調度合い等のパラメータのうちのいくつかを変化させる。
例えば、音制御部254は、自律移動体11が持ち上げられている場合、自律移動体11の持ち上げに対応する動作音である持ち上げ音を生成する。このとき、音制御部254は、例えば、自律移動体11が持ち上げられた後の動き量の変化に基づいて、持ち上げ音の周波数、音量、変調度合い等のパラメータのうちのいくつかを変化させる。
例えば、音制御部254は、自律移動体11の横回転の回転速度が所定の閾値以上の場合、自律移動体11の横回転に対応する動作音である回転音を生成する。このとき、音制御部254は、例えば、自律移動体11の横方向の回転速度の変化に基づいて、回転音の周波数、音量、変調度合い等のパラメータのうちのいくつかを変化させる。
ステップS3において、自律移動体11は、動作音を出力する。具体的には、音制御部254は、生成した動作音を出力するための出力音データを生成し、音出力部205に供給する。音出力部205は、取得した出力音データに基づいて、動作音を出力する。
以上のようにして、自律移動体11の動きに合わせて動作音が出力される。
<動作音出力制御処理の変形例>
上述したように、自律移動体11が複数の動きに対してそれぞれ異なる動作音を出力する場合、複数の動きが同時に認識されたとき、複数の動作音が同時に出力される。この場合、複数の動作音が同時に出力されることにより、ユーザが個々の動作音を認識することができず、ユーザ体験が低下するおそれがある。
また、例えば、ユーザが認識する自律移動体11の動きと、自律移動体11の認識部251が認識する自律移動体11の動きが異なる場合がある。
例えば、ユーザからは自律移動体11がまっすぐ進んでいるように見えても、自律移動体11の認識部251が、角速度センサ121Bのセンサデータに基づいて、自律移動体11の横回転を検出する場合がある。この場合、自律移動体11から回転音が出力されると、ユーザに違和感を与えるおそれがある。
また、例えば、ユーザが自律移動体11を持ち上げて揺り動かした場合、自律移動体11の認識部251が、角速度センサ121Bのセンサデータに基づいて、自律移動体11の横回転を検出するときがある。この場合、自律移動体11から回転音が出力されると、ユーザに違和感を与えるおそれがある。
これらに対して、自律移動体11は、以下のように、優先順位に基づいて動作音の出力を制御することにより、ユーザに違和感を与えず自然な動作音を出力する。
ここで、図17のフローチャートを参照して、自律移動体11により実行される動作音出力制御処理の変形例について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS51において、認識部251は、自律移動体11の動きを認識したか否かを判定する。この判定処理は、認識部251が、センサ部202からのセンサデータに基づいて、動作音を出力する対象となる自律移動体11の動きを認識したと判定されるまで繰り返し実行される。そして、動作音を出力する対象となる自律移動体11の動きを認識したと判定された場合、処理はステップS52に進む。
ステップS52において、認識部251は、センサ部202からのセンサデータに基づいて、周囲の状況を認識する。
例えば、認識部251は、自律移動体11の周囲のユーザの有無、ユーザの識別、ユーザの状態等を認識する。このとき、例えば、対象となるユーザは、自律移動体11のオーナ等の特定の人物に限定されてもよいし、特定の人物に限定せずに、自律移動体11の周囲の全ての人がユーザとみなされるようにしてもよい。
また、例えば、認識部251は、自律移動体11の周囲の物体の有無、種類、位置、距離、特徴、状態等を認識する。自律移動体11の周囲の物体には、例えば、他の自律移動体も含まれる。
なお、自律移動体11と周囲の物体の間の距離は、例えば、カメラ102及びToFセンサ103のうち少なくとも1つからのセンサデータに基づいて検出される。
或いは、例えば、自律移動体11の通信部207が、周囲の物体と近距離無線通信を行うことにより、周囲の物体との間の距離を検出するようにしてもよい。
或いは、例えば、自律移動体11の通信部207が、周囲の物体の現在位置を示す情報を情報処理サーバ12等から受信し、認識部251が、自律移動体11の現在位置と周囲の物体の現在位置とに基づいて、周囲の物体との間の距離を検出するようにしてもよい。
さらに、例えば、認識部251は、マイクロフォン124からのセンサデータに基づいて、自律移動体11の周囲の音の音量、特徴、内容、音源の位置等を認識する。
認識部251は、自律移動体11の動き及び周囲の状況の認識結果を示す情報を音制御部254に供給する。
ステップS53において、音制御部254は、周囲がにぎやかであるか否かを判定する。例えば、音制御部254は、認識された周囲の音のレベルが所定の閾値以上である場合、周囲がにぎやかであると判定し、処理はステップS51に戻り、ステップS51以降の処理が実行される。
すなわち、周囲がにぎやかである場合、動作音が聞こえにくい上に、周囲の音の妨げになるおそれがあるため、動作音は出力されない。
一方、ステップS53において、音制御部254は、認識された周囲の音のレベルが所定の閾値未満である場合、周囲がにぎやかでないと判定し、処理はステップS54に進む。
ステップS54において、音制御部254は、ユーザの発話が認識されたか否かを判定する。ユーザの発話が認識されていないと判定された場合、処理はステップS55に進む。
ステップS55において、音制御部254は、ユーザの顔が検出されたか否かを判定する。ユーザの顔が検出されていないと判定された場合、処理はステップS55に進む。
ステップS56において、音制御部254は、ユーザの発話開始のトリガが認識されたか否かを判定する。ユーザの発話開始のトリガとしては、例えば、ユーザが自律移動体11に話しかけようとするジェスチャ、ユーザが自律移動体11を押したり、自律移動体11に触れたりする動作等が想定される。ユーザの発話開始のトリガが認識されたと判定された場合、処理はステップS57に進む。
一方、ステップS55において、ユーザの顔が検出されたと判定された場合、ステップS56の処理はスキップされ、処理はステップS57に進む。
また、ステップS54において、ユーザの発話が認識されたと判定された場合、ステップS55及びステップS56の処理はスキップされ、処理はステップS57に進む。
すなわち、ユーザが自律移動体11に話しかけたり、話しかけようとしたりしている場合、処理はステップS57に進む。
ステップS57において、音制御部254は、ユーザの発話より優先順位の高い動作音が出力対象であるか否かを判定する。
例えば、自律移動体11において、動作音等の各出力音に対して予め優先順位が設定されている。例えば、自律移動体11の出力音に対して、持ち上げ音>(自律移動体11の)発話音>並進音>回転音のように優先順位が設定されている。なお、不等号の左側の出力音の方が右側の出力音より優先順位が高い。そして、より優先順位の高い出力音が優先的に出力される。
また、例えば、ユーザの発話に対して、各出力音の優先順位は、持ち上げ音>ユーザの発話>(自律移動体11の)発話音>並進音>回転音のように優先順位が設定されている。すなわち、持ち上げ音は、ユーザの発話より優先順位が高く、発話音、並進音、及び、回転音は、ユーザの発話より優先順位が低い。
従って、上記の優先順位の場合、音制御部254は、自律移動体11の持ち上げが認識されていない場合、ユーザの発話より優先順位の高い動作音(持ち上げ音)が出力対象でないと判定し、処理はステップS51に戻り、ステップS51以降の処理が実行される。すなわち、この場合、ユーザの発話が優先され、動作音は出力されない。
一方、ステップS57において、音制御部254は、例えば、自律移動体11の持ち上げが検出されている場合、ユーザの発話より優先順位の高い動作音が出力対象であると判定し、処理はステップS58に進む。
また、ステップS56において、ユーザの発話開始のトリガが認識されていないと判定された場合、ステップS57の処理はスキップされ、処理はステップS58に進む。すなわち、ユーザが自律移動体11に話しかけたり、話しかけようとしたりしていない場合、ステップS57の処理はスキップされ、処理はステップS58に進む。
ステップS58において、音制御部254は、自律移動体11が発話中であるか否かを判定する。音制御部254は、自律移動体11が発話音を出力中である場合、自律移動体11が発話中であると判定し、処理はステップS59に進む。
ステップS59において、音制御部254は、自律移動体11の発話より優先順位が高い動作音が出力対象であるか否かを判定する。例えば、上述した優先順位が設定されている場合、音制御部254は、自律移動体11の持ち上げが検出されていない場合、自律移動体11の発話より優先順位の高い動作音(持ち上げ音)が出力対象でないと判定し、処理はステップS51に戻り、ステップS51以降の処理が実行される。すなわち、この場合、自律移動体11の発話が優先され、動作音は出力されない。
一方、ステップS59において、音制御部254は、例えば、自律移動体11の持ち上げが検出されている場合、自律移動体11の発話より優先順位の高い動作音が出力対象であると判定し、処理はステップS60に進む。
また、ステップS58において、自律移動体11が発話中でないと判定された場合、処理はステップS60に進む。
ステップS60において、音制御部254は、出力対象となる動作音が複数あるか否かを判定する。音制御部254は、動作音を出力する対象となる自律移動体11の動きが複数検出されている場合、出力対象となる動作音が複数あると判定し、処理はステップS61に進む。
ステップS61において、音制御部254は、出力する動作音を選択する。例えば、音制御部254は、出力対象となる動作音のうち最も優先順位の高い動作音を選択する。
その後、処理はステップS62に進む。
一方、ステップS60において、音制御部254は、動作音を出力する対象となる自律移動体11の動きが1つのみ検出されている場合、出力対象となる動作音が1つであると判定し、ステップS61の処理はスキップされ、処理はステップS62に進む。
ステップS62において、自律移動体11は、動作音を出力する。具体的には、音制御部254は、出力対象となる動作音が複数ある場合、ステップS60の処理で選択した動作音を出力するための出力音データを生成する。一方、音制御部254は、出力対象となる動作音が1つのみの場合、当該動作音を出力するための出力音データを生成する。音制御部254は、生成した出力音データを音出力部205に供給する。
音出力部205は、取得した出力音データに基づいて、動作音を出力する。
その後、処理はステップS51に戻り、ステップS51以降の処理が実行される。
以上のようにして、優先順位が高い動作音が優先して出力されるようになり、ユーザ体験が向上する。
例えば、自律移動体11が持ち上げられた後は、持ち上げ音以外の動作音が出力されなくなる。例えば、自律移動体11が、前後左右のいずれかの方向に移動している場合、回転音が出力されなくなる。その結果、ユーザが認識する自律移動体11の動きに対応し、ユーザにとって自然で違和感のない動作音が出力されるようになる。
また、ユーザが発話していたり、発話しようとしていたりする場合、持ち上げ音以外の動作音、及び、発話音が出力されなくなる。これにより、自律移動体11が、ユーザの発話を遮ることなく、ユーザの発話内容を聞いているような印象をユーザに与えることができる。
一方、ユーザが発話中の場合でも、持ち上げ音は変化せずにそのまま出力される。これにより、例えば、ユーザが話しかけながら自律移動体11を持ち上げたり、自律移動体11を持ち上げた後に話しかけたりした場合に、自律移動体11は、ユーザに持ち上げられたことによる驚きを持ち上げ音により表現することができる。
なお、以上の説明では、複数の動きが検出された場合、最も優先順位の高い動作音のみ出力する例を示したが、例えば、他の優先順位の低い動作音の音量を下げることにより、他の動作音の出力を抑制するようにしてもよい。
また、最も優先順位が高い動作音を、最も優先順位が高い動作音に対応する動き以外の他の動きに基づいて変化させるようにしてもよい。
例えば、最も優先順位が高い動作音を、他の動きの大きさや速度等に基づいて変調した動作音を生成し、出力するようにしてもよい。例えば、自律移動体11の並進及び横回転が検出された場合、横回転の大きさや速度等に基づいて、並進音の周波数を変更したり、並進音の倍音成分を増やすことにより濁った音にしたりするようにしてもよい。
さらに、例えば、最も優先順位が高い動作音を生成するアルゴリズムを、他の動きの大きさや速度等に基づいて変更したアルゴリズムに基づいて動作音を生成し、出力するようにしてもよい。
また、例えば、自律移動体11が持ち上げられている場合と持ち上げられていない場合とで、動作音を生成するアルゴリズムを変えるようにしてもよい。
<出力音変更処理>
次に、自律移動体11が、ユーザの発話や他の自律移動体に合わせて出力音を変更する処理について説明する。
なお、他の自律移動体は、自律移動体11と同様に自律的に動作し、ユーザや他の自律移動体とコミュニケーションをとるために発話音を出力することが可能な移動体であれば、その種類は問わない。例えば、他の自律移動体は、自律移動体11と同種の移動体であってもよいし、異なる種類の移動体であってもよい。
ここで、図18のフローチャートを参照して、自律移動体11により実行される出力音変更処理について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS101において、図17のステップS52の処理と同様に、周囲の状況が認識される。
ステップS102において、図17のステップS54の処理と同様に、ユーザの発話が認識されたか否かが判定される。ユーザの発話が認識されていないと判定された場合、処理はステップS103に進む。
ステップS103において、図17のステップS55の処理と同様に、ユーザの顔が検出されたか否かが判定される。ユーザの顔が検出されていないと判定された場合、処理はステップS104に進む。
ステップS104において、図17のステップS56の処理と同様に、ユーザの発話開始のトリガが認識されたか否かが判定される。ユーザの発話開始のトリガが認識されたと判定された場合、処理はステップS105に進む。
一方、ステップS103において、ユーザの顔が検出されたと判定された場合、ステップS104の処理はスキップされ、処理はステップS105に進む。
また、ステップS102において、ユーザの発話が認識されたと判定された場合、ステップS103及びステップS104の処理はスキップされ、処理はステップS105に進む。
ステップS105において、音制御部254は、ユーザの発話に合わせて出力音を変化させる。
例えば、音制御部254は、ユーザの発話を邪魔するのを防止したり、ユーザの発話を自律移動体11が聞いている印象をユーザに与えたりするために、出力音(動作音や発話音)の音量、強さ、周波数、音色、音質等を変化させる。
例えば、音制御部254は、出力音の音量を小さくしたり、出力音を停止したりする。
例えば、音制御部254は、出力音の周波数成分のうち、人の声の周波数帯域(例えば、200Hz〜2kHz)の成分を低減させる。具体的には、例えば、音制御部254は、出力音の周波数帯域を人の声の周波数帯域を含まない帯域にシフトしたり、出力音の周波数成分のうち、人の声の周波数帯域に含まれる成分を低減させたりする。
その後、処理はステップS105に進む。
一方、ステップS104において、ユーザの発話開始のトリガが認識されていないと判定された場合、ステップS105の処理はスキップされ、処理はステップS106に進む。
ステップS106において、音制御部254は、他の自律移動体が検出されたか否かを判定する。他の自律移動体が検出されたと判定された場合、処理はステップS107に進む。
ステップS107において、音制御部254は、他の自律移動体に合わせて、出力音を変化させる。
例えば、音制御部254は、自律移動体11が他の自律移動体を意識している印象をユーザに与えることができるように、自律移動体11が出力する出力音(動作音及び発話音)を変化させる。
例えば、音制御部254は、自律移動体11が他の自律移動体と会話している(音によるコミュニケーションを行っている)ような印象を与えるように出力音を出力させる。例えば、音制御部254は、他の自律移動体が発話音を出力しているとき、出力音を抑制する。すなわち、音制御部254は、発話音や動作音の音量を下げたり、発話音や動作音を停止したりする。一方、例えば、音制御部254は、他の自律移動体が発話音を出力していないとき、発話音や動作音を抑制せずに出力する。これにより、例えば、自律移動体11と他の自律移動体が交互に発話音を出力するようになり、ユーザに両者が会話しているような印象を与えることができる。
例えば、音制御部254は、他の自律移動体と同期して、出力音を出力するように制御する。例えば、音制御部254は、他の自律移動体の出力音とリズムやテンポを合わせた出力音、又は、他の自律移動体の出力音と調和する音を含む出力音を出力するように制御する。
例えば、音制御部254は、他の自律移動体の発話音に近づけることにより、他の自律移動体の発話音に類似する発話音を出力するように制御する。例えば、音制御部254は、他の自律移動体が出力する発話音を真似た発話音を出力するように制御する。具体的には、例えば、音制御部254は、他の自律移動体が犬型のロボットの場合、犬の鳴き声に近い発話音を出力するように制御する。また、例えば、音制御部254は、発話音を出力するアルゴリズムを他の移動体が発話音を出力するアルゴリズムに近づける。さらに、例えば、音制御部254は、他の自律移動体の発話音のピッチを認識し、認識したピッチと同様に変化する発話音を出力するように制御する。
なお、他の自律移動体のアルゴリズムに関する情報は、例えば、自律移動体11の通信部207が、他の自律移動体と直接通信を行うことにより取得される。或いは、通信部207が、情報処理サーバ12等から取得するようにしてもよい。
その後、処理はステップS101に戻り、ステップS101以降の処理が実行される。
一方、ステップS106において、他の自律移動体が検出されていないと判定された場合、処理はステップS101に戻り、ステップS101以降の処理が実行される。
以上のように、ユーザの発話及び他の自律移動体に合わせて出力音を変更することにより、ユーザ体験が向上する。例えば、ユーザと自律移動体11とのコミュニケーションが円滑になる。また、例えば、自律移動体11と他の自律移動体とがコミュニケーションが実現され、ユーザを楽しませることができる。
<<2.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
上述した動作音の種類及び優先順位は、その一例であり、変更することが可能である。例えば、動作音の種類を増減することが可能である。
また、上述した以外の条件を用いて、出力音を変化させるようにしてもよい。
例えば、自律移動体11の音制御部254は、周囲の人の有無若しくは距離、又は、周囲の物体の有無、距離、若しくは、種類等に基づいて、出力音を変化させるようにしてもよい。
例えば、音制御部254は、人との間の距離が近づくにつれて、出力音を変化させるようにしてもよい。
例えば、音制御部254は、人との距離が、人が移動して縮まる場合、人が移動して離れる場合、自律移動体11が移動して縮まる場合、及び、自律移動体11が移動して離れる場合で、それぞれ異なる方法により出力音を変化させるようにしてもよい。
例えば、音制御部254は、周囲に物体や他の自律移動体を認識した場合に、出力音を変化させるようにしてもよい。
例えば、音制御部254に、過去に認識したことがない人(例えば、不審者)を認識した場合、出力音を変化させるようにしてもよい。例えば、音制御部254は、並進音や回転音の音量を上げるようにしてもよい。例えば、音制御部254は、並進音や回転音の倍音成分を増やしたり、並進音や回転音を構成する合成音の変調の強さを増大させたりすることにより、とげとげしい音にするようにしてもよい。
例えば、音制御部254は、壁等の移動できない場所に近づいた場合に、出力音を変化させるようにしてもよい。
例えば、音制御部254は、特定の物体に接近したときに、出力音を変化させるようにしてもよい。特定の物体としては、例えば、同種の自律移動体、異種の自律移動体、及び、特定の機器等が想定される。この場合、音制御部254は、接近した物体が、同種の自律移動体、異種の自律移動体、又は、特定の機器のいずれであるかにより、異なる方法により出力音を変化させるようにしてもよい。
また、上述したように、情報処理サーバ12が、自律移動体11からセンサデータを受信し、受信したセンサデータに基づいて、自律移動体11の動作及び出力音を制御することが可能である。
さらに、情報処理サーバ12が自律移動体11の出力音の制御を行う場合、情報処理サーバ12が出力音を生成するようにしてもよいし、自律移動体11が、情報処理サーバ12の制御の下に、出力音を生成するようにしてもよい。
<<3.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記録部1008に記録されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
自装置の動きを認識する認識部と、
前記自装置から出力する出力音の制御を行う音制御部と
を備え、
前記音制御部は、前記自装置の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
自律移動体。
(2)
前記音制御部は、複数の動きが認識された場合、優先順位が高い前記動作音を優先して出力するように制御する
前記(1)に記載の自律移動体。
(3)
前記音制御部は、複数の動きが認識された場合、最も優先順位が高い前記動作音以外の前記動作音を抑制する
前記(2)に記載の自律移動体。
(4)
前記音制御部は、複数の動きが認識された場合、最も優先順位が高い前記動作音を、他の優先順位が低い前記動作音に対応する動きに基づいて変化させる
前記(2)又は(3)に記載の自律移動体。
(5)
前記認識部は、周囲の人の認識を行い、
前記音制御部は、前記周囲の人の認識結果に基づいて、前記出力音の制御を行う
前記(1)乃至(4)のいずれかに記載の自律移動体。
(6)
前記音制御部は、前記人との距離に基づいて、前記出力音の制御を行う
前記(5)に記載の自律移動体。
(7)
前記音制御部は、前記人の発話を優先するように前記出力音の制御を行う
前記(5)又は(6)に記載の自律移動体。
(8)
前記音制御部は、前記人の発話中に前記出力音を抑制する
前記(7)に記載の自律移動体。
(9)
前記音制御部は、人の声の周波数成分を低減するように前記出力音を変化させる
前記(7)又は(8)に記載の自律移動体。
(10)
前記音制御部は、前記人の発話より優先順位の高い前記動作音を変化させずに出力するように制御する
前記(7)乃至(9)のいずれかに記載の自律移動体。
(11)
前記認識部は、周囲の物体の認識を行い、
前記音制御部は、前記周囲の物体の認識結果に基づいて、前記出力音の制御を行う
前記(1)乃至(10)のいずれかに記載の自律移動体。
(12)
前記音制御部は、前記周囲の物体の種類に基づいて、前記出力音の制御を行う
前記(11)に記載の自律移動体。
(13)
前記音制御部は、前記周囲の物体との距離に基づいて、前記出力音の制御を行う
前記(11)又は(12)に記載の自律移動体。
(14)
前記認識部は、他の自律移動体の認識を行い、
前記音制御部は、前記他の自律移動体の認識結果に基づいて、前記出力音の制御を行う
前記(1)乃至(12)のいずれかに記載の自律移動体。
(15)
前記音制御部は、前記他の自律移動体が発話音を出力している場合、前記出力音を抑制する
前記(14)に記載の自律移動体。
(16)
前記音制御部は、前記他の自律移動体の出力音と同期した前記出力音、又は、前記他の自律移動体の出力音と類似する前記出力音を出力するように制御する
前記(14)又は(15)に記載の自律移動体。
(17)
前記音制御部は、前記他の自律移動体に接近するのに応じて、前記出力音を変化させる
前記(14)乃至(16)のいずれかに記載の自律移動体。
(18)
自律移動体の動きを認識し、
前記自律移動体の複数の動きにそれぞれ対応する出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
情報処理方法。
(19)
自律移動体の動きを認識し、
前記自律移動体の複数の動きにそれぞれ対応する出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
処理をコンピュータに実行させるためのプログラム。
(20)
自律移動体の動きを認識する認識部と、
前記自律移動体から出力する出力音の制御を行う音制御部と
を備え、
前記音制御部は、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
情報処理装置。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
1 情報処理システム, 11 自律移動体, 12 情報処理サーバ, 201 制御部, 202 センサ部, 205 音出力部, 241 情報処理部, 251 認識部, 252 行動計画部, 253 動作制御部, 254 音制御部, 302 認識部, 303 行動計画部, 304 動作制御部, 305 音制御部

Claims (20)

  1. 自装置の動きを認識する認識部と、
    前記自装置から出力する出力音の制御を行う音制御部と
    を備え、
    前記音制御部は、前記自装置の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
    自律移動体。
  2. 前記音制御部は、複数の動きが認識された場合、優先順位が高い前記動作音を優先して出力するように制御する
    請求項1に記載の自律移動体。
  3. 前記音制御部は、複数の動きが認識された場合、最も優先順位が高い前記動作音以外の前記動作音を抑制する
    請求項2に記載の自律移動体。
  4. 前記音制御部は、複数の動きが認識された場合、最も優先順位が高い前記動作音を、他の優先順位が低い前記動作音に対応する動きに基づいて変化させる
    請求項2に記載の自律移動体。
  5. 前記認識部は、周囲の人の認識を行い、
    前記音制御部は、前記周囲の人の認識結果に基づいて、前記出力音の制御を行う
    請求項1に記載の自律移動体。
  6. 前記音制御部は、前記人の発話を優先するように前記出力音の制御を行う
    請求項5に記載の自律移動体。
  7. 前記音制御部は、前記人の発話中に前記出力音を抑制する
    請求項6に記載の自律移動体。
  8. 前記音制御部は、人の声の周波数成分を低減するように前記出力音を変化させる
    請求項6に記載の自律移動体。
  9. 前記音制御部は、前記人の発話より優先順位の高い前記動作音を変化させずに出力するように制御する
    請求項6に記載の自律移動体。
  10. 前記音制御部は、前記人との距離に基づいて、前記出力音の制御を行う
    請求項5に記載の自律移動体。
  11. 前記認識部は、周囲の物体の認識を行い、
    前記音制御部は、前記周囲の物体の認識結果に基づいて、前記出力音の制御を行う
    請求項1に記載の自律移動体。
  12. 前記周囲の物体は、他の自律移動体を含む
    請求項11に記載の自律移動体。
  13. 前記音制御部は、前記他の自律移動体が発話音を出力している場合、前記出力音を抑制する
    請求項12に記載の自律移動体。
  14. 前記音制御部は、前記他の自律移動体の出力音と同期した前記出力音、又は、前記他の自律移動体の出力音と類似する前記出力音を出力するように制御する
    請求項12に記載の自律移動体。
  15. 前記音制御部は、前記他の自律移動体に接近するのに応じて、前記出力音を変化させる
    請求項12に記載の自律移動体。
  16. 前記音制御部は、前記周囲の物体の種類に基づいて、前記出力音の制御を行う
    請求項11に記載の自律移動体。
  17. 前記音制御部は、前記周囲の物体との距離に基づいて、前記出力音の制御を行う
    請求項11に記載の自律移動体。
  18. 自律移動体の動きを認識し、
    前記自律移動体の複数の動きにそれぞれ対応する出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
    情報処理方法。
  19. 自律移動体の動きを認識し、
    前記自律移動体の複数の動きにそれぞれ対応する出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
    処理をコンピュータに実行させるためのプログラム。
  20. 自律移動体の動きを認識する認識部と、
    前記自律移動体から出力する出力音の制御を行う音制御部と
    を備え、
    前記音制御部は、前記自律移動体の複数の動きにそれぞれ対応する前記出力音である複数の動作音の出力を制御するとともに、複数の動きが認識された場合、前記動作音を変化させる
    情報処理装置。
JP2019202083A 2019-11-07 2019-11-07 自律移動体、情報処理方法、プログラム、及び、情報処理装置 Pending JP2021074202A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019202083A JP2021074202A (ja) 2019-11-07 2019-11-07 自律移動体、情報処理方法、プログラム、及び、情報処理装置
EP20886041.1A EP4056245A4 (en) 2019-11-07 2020-10-23 AUTONOMOUS MOBILE BODY, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING DEVICE
US17/755,423 US20220413795A1 (en) 2019-11-07 2020-10-23 Autonomous mobile body, information processing method, program, and information processing apparatus
PCT/JP2020/039845 WO2021090704A1 (ja) 2019-11-07 2020-10-23 自律移動体、情報処理方法、プログラム、及び、情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019202083A JP2021074202A (ja) 2019-11-07 2019-11-07 自律移動体、情報処理方法、プログラム、及び、情報処理装置

Publications (1)

Publication Number Publication Date
JP2021074202A true JP2021074202A (ja) 2021-05-20

Family

ID=75848387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202083A Pending JP2021074202A (ja) 2019-11-07 2019-11-07 自律移動体、情報処理方法、プログラム、及び、情報処理装置

Country Status (4)

Country Link
US (1) US20220413795A1 (ja)
EP (1) EP4056245A4 (ja)
JP (1) JP2021074202A (ja)
WO (1) WO2021090704A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264466A (ja) * 2000-03-15 2001-09-26 Junji Kuwabara 音声処理装置
SE0004466D0 (sv) * 2000-12-04 2000-12-04 Abb Ab Mobile Robot
JP4016316B2 (ja) * 2001-09-04 2007-12-05 ソニー株式会社 ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2003305677A (ja) * 2002-04-11 2003-10-28 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP3667714B2 (ja) 2002-04-23 2005-07-06 コナミ株式会社 ゲーム装置及びプログラム
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP4765394B2 (ja) 2005-05-10 2011-09-07 トヨタ自動車株式会社 音声対話装置
JP5910249B2 (ja) * 2012-03-30 2016-04-27 富士通株式会社 インタラクション装置およびインタラクション制御プログラム
JP6653446B2 (ja) * 2016-05-06 2020-02-26 パナソニックIpマネジメント株式会社 ロボット
DE112017004363T5 (de) * 2016-08-29 2019-06-19 Groove X, Inc. Autonom agierender roboter, der die richtung einer geräuschquelle erkennt
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
JP7363764B2 (ja) * 2018-02-26 2023-10-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7200492B2 (ja) * 2018-03-26 2023-01-10 カシオ計算機株式会社 機器の制御装置、機器の制御方法及びプログラム
US11633863B2 (en) * 2018-04-06 2023-04-25 Digital Dream Labs, Llc Condition-based robot audio techniques
CN110534110B (zh) * 2018-05-25 2022-04-15 深圳市优必选科技有限公司 一种机器人及提高其语音交互识别率的方法、装置和电路
KR20210009209A (ko) * 2019-07-16 2021-01-26 엘지전자 주식회사 다른 로봇과 대화가 가능한 로봇 및 이의 제어 방법

Also Published As

Publication number Publication date
EP4056245A4 (en) 2022-12-07
US20220413795A1 (en) 2022-12-29
EP4056245A1 (en) 2022-09-14
WO2021090704A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
JP7119896B2 (ja) コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
KR20190100090A (ko) 로봇 및 그를 이용한 무드 인식 방법
CN111002303B (zh) 识别装置、机器人、识别方法和存储介质
CN210155626U (zh) 信息处理装置
JP7502520B2 (ja) ロボット、ロボットの制御方法及びプログラム
JP7259843B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20210020312A (ko) 로봇 및 그의 제어 방법
US20200269421A1 (en) Information processing device, information processing method, and program
US20200001469A1 (en) Robot
JPWO2019138619A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021149516A1 (ja) 自律移動体、情報処理方法、プログラム、及び、情報処理装置
WO2021090704A1 (ja) 自律移動体、情報処理方法、プログラム、及び、情報処理装置
JP7428141B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102314385B1 (ko) 로봇 및 그의 제어 방법
WO2021117441A1 (ja) 情報処理装置、その制御方法及びプログラム
WO2020166373A1 (ja) 情報処理装置および情報処理方法
JP7459791B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114867540B (zh) 信息处理装置、信息处理方法和信息处理程序
WO2023037608A1 (ja) 自律移動体、情報処理方法、及び、プログラム
WO2023037609A1 (ja) 自律移動体、情報処理方法、及び、プログラム
KR20210097346A (ko) 끝점 검출을 위한 인공 지능 장치
KR20210009991A (ko) 액션 로봇 및 그의 동작 방법