JP6989395B2 - 相互作用装置、相互作用方法、相互作用プログラム及びロボット - Google Patents

相互作用装置、相互作用方法、相互作用プログラム及びロボット Download PDF

Info

Publication number
JP6989395B2
JP6989395B2 JP2018001815A JP2018001815A JP6989395B2 JP 6989395 B2 JP6989395 B2 JP 6989395B2 JP 2018001815 A JP2018001815 A JP 2018001815A JP 2018001815 A JP2018001815 A JP 2018001815A JP 6989395 B2 JP6989395 B2 JP 6989395B2
Authority
JP
Japan
Prior art keywords
voice
blind spot
speaker
user
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018001815A
Other languages
English (en)
Other versions
JP2019118698A (ja
Inventor
康平 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2018001815A priority Critical patent/JP6989395B2/ja
Priority to US16/170,011 priority patent/US11036218B2/en
Priority to EP18211087.4A priority patent/EP3511058A1/en
Priority to CN201811508590.3A priority patent/CN110014432A/zh
Publication of JP2019118698A publication Critical patent/JP2019118698A/ja
Application granted granted Critical
Publication of JP6989395B2 publication Critical patent/JP6989395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00Toy figures with self-moving parts, with or without movement of the toy as a whole
    • A63H13/005Toy figures with self-moving parts, with or without movement of the toy as a whole with self-moving head or facial features
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00Other toys
    • A63H33/005Motorised rolling toys
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/243Detail of input, input devices with other kinds of input
    • A63F2009/2432Detail of input, input devices with other kinds of input actuated by a sound, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/243Detail of input, input devices with other kinds of input
    • A63F2009/2435Detail of input, input devices with other kinds of input using a video camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2436Characteristics of the input
    • A63F2009/2442Sensors or detectors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448Output devices
    • A63F2009/247Output devices audible, e.g. using a loudspeaker
    • A63F2009/2476Speech or voice synthesisers, e.g. using a speech chip
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、所定の空間を二次元的に移動しながらユーザと相互作用する装置、方法、プログラム及びロボットに関するものである。
ロボットと人間、特に、幼児とがコミュニケーションを取ることを考えた際に、様々な状況が考えられる。例えば、ロボットと幼児とが言葉を用いて対話を行う状況、ロボットが幼児に対して問いかけを行い、幼児が答えるようなクイズを行う状況、ロボットと幼児とがそれぞれに役割を決め、動きを伴う遊びを行う状況などが考えられる。
ロボットと幼児とがいわゆるかくれんぼ又は鬼ごっこなどの遊びを行う場合、ロボットは、幼児に勝利することが可能な能力を有している必要がある。一例として、ロボットを捜索役とし、幼児を隠れる役としてかくれんぼが行われる場合、住宅の部屋内において、幼児が隠れることが可能であり、且つロボットからは死角となる場所は数多く存在する。ロボットから死角となる幼児が身を隠すことができる場所としては、例えば、開いたドアと壁との間の空間、幼児がカーテンにくるまることで形成される空間、ソファの上で毛布にくるまることで形成される空間などがある。
ロボットが、上記のような死角となる空間に隠れた幼児を発見するためには、幼児が隠れている空間を、死角として認識するとともに、幼児が隠れている空間を絞り込む必要がある。例えば、特許文献1には、空間内に死角がどのように存在しているかを確認する技術が開示されている。
特許第5407898号明細書
しかしながら、上記従来の技術では、空間内の死角の位置を特定することは可能であるが、ユーザが隠れている死角の位置を特定することは困難であり、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができる装置、方法、プログラム及びロボットを提供することを目的とするものである。
本開示の一態様に係る装置は、所定の空間を二次元的に移動しながらユーザと相互作用する装置であって、移動機構と、物体に反射された電磁波もしくは音波を検知するセンサと、前記装置の周辺の音声を取得するマイクと、スピーカーと、プロセッサと、メモリと、を備え、前記プロセッサは、前記取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、前記メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、前記移動機構を制御して前記装置を前記第1領域に移動させ、前記スピーカーに、第1音声を出力させ、所定の数をカウントし、前記所定の数をカウントしている時に、前記センサに前記ユーザの移動軌跡を追跡させ、前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、前記取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、前記装置がかくれんぼにおいて意図的に負けるか否か決定し、前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、前記スピーカーに、第2音声を出力させ、前記取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、前記取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる。
本開示によれば、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができる。
ロボットと幼児とが遊びを行う部屋の間取りの一例を示す図である。 本開示の実施の形態に係るロボットの外観斜視図である。 本開示の実施の形態に係るロボットの内部斜視図である。 本開示の実施の形態におけるロボットの構成の一例を示すブロック図である。 本実施の形態における物***置情報テーブルの一例を示す図である。 本実施の形態における死角対象物体テーブルの一例を示す図である。 本実施の形態における死角マップテーブルの一例を示す図である。 本実施の形態におけるロボットの視野を説明するための図である。 本実施の形態において、死角数に応じて分割された複数の領域の一例を示す図である。 本実施の形態における死角数テーブルの一例を示す図である。 本実施の形態における意図解釈テーブルの一例を示す図である。 本実施の形態において、物体認識センサのデータに基づいて物***置情報テーブルを作成する処理の一例を示すフローチャートである。 本実施の形態において、物***置情報テーブルのデータに基づいて、死角マップテーブルを作成する処理の一例を示すフローチャートである。 本実施の形態において、死角マップテーブルのデータに基づいて、死角数テーブルを作成及び更新する処理の一例を示すフローチャートである。 本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第1のフローチャートである。 本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第2のフローチャートである。 本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第3のフローチャートである。 本実施の形態において、スピーカーから出力される発言テキストパターンの一例を示す図である。 本実施の形態において、ディスプレイに表示される表情パターンの一例を示す図である。
(本開示の基礎となった知見)
移動機構を備えているロボットと、人間、特に6歳未満の幼児とがコミュニケーションを取る場合、様々な遊びを行うことが考えられる。遊びの一例として、ロボットが住宅内のどこかに隠れている幼児を探し出す遊びがある。幼児の遊び開始の合図に合わせて、幼児とロボットとの間で遊びが開始される。幼児は、住宅の部屋の中で見つかりにくい場所に隠れる。30秒又は1分などの指定された時間が経過した後に、ロボットは、隠れている幼児の捜索を開始する。ロボットが幼児の隠れている場所を特定して幼児を発見できた場合、ロボットが勝利者となる。また、ロボットが幼児の隠れている場所を特定できなかった場合又はロボットが幼児の隠れている場所を誤って特定した場合、隠れている幼児が勝利者となる。
図1は、ロボットと幼児とが遊びを行う部屋の間取りの一例を示す図である。上記の遊びが複数回行われた際に、ロボットが幼児に100%敗北する場合が考えられる。図1に例示するように、住宅の部屋には、開いたドアと壁との間にできる隙間1001、毛布を被ることで隠れることが可能なソファ1002、扉を閉めることで隠れることが可能なクローゼット1003、及び形状を変化させることで隠れることが可能なカーテン1004などの、幼児の体をロボットの視界から見えなくすることが可能な場所が存在する。
上記のようなロボットの死角になる場所に幼児が隠れた場合、ロボットが勝利するためには、ロボットが部屋内を捜索しても視界に入らない死角領域を事前に把握しておくことが必要である。部屋内の死角は、特許文献1の技術を用いることで、特定することができる。
しかし、特許文献1の技術を用いて、ロボットが、現在位置から見たときに死角となる部屋内における複数の死角領域を特定できたとしても、幼児が複数の死角領域のどこに隠れているかを絞り込むことは困難である。ロボットが、移動機構を備えており、部屋の障害物以外の場所をくまなく移動できたとしても、上記のような、開いたドアと壁との間に形成された空間、幼児がカーテンにくるまることで形成された空間、及びソファの上で幼児が毛布にくるまることで形成された空間のうち、幼児が隠れている空間を特定するためには、ロボットがドアを開閉する機構、カーテンを開閉する機構又は毛布をめくる機構を備える必要がある。
しかしながら、ドアを開閉する機構、カーテンを開閉する機構又は毛布をめくる機構を備えていないロボットでは、開いたドアと壁との間に形成された空間、幼児がカーテンにくるまることで形成された空間、又はソファの上で幼児が毛布にくるまることで形成された空間に到達することができないという課題が存在する。
また、遊びを開始する時点で、複数の死角が存在する場合、ロボットは、複数の死角の中から、幼児の隠れている死角を特定することができない。ロボットは、複数の死角の中から一の死角をランダムに選択することは可能であるが、ランダムに選択された死角に幼児が隠れているとは限らず、複数の死角から幼児が隠れている死角を特定する技術は、従来検討されていない。
以上の課題を解決するために、本開示の一態様に係る装置は、所定の空間を二次元的に移動しながらユーザと相互作用する装置であって、移動機構と、物体に反射された電磁波もしくは音波を検知するセンサと、前記装置の周辺の音声を取得するマイクと、スピーカーと、プロセッサと、メモリと、を備え、前記プロセッサは、前記取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、前記メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、前記移動機構を制御して前記装置を前記第1領域に移動させ、前記スピーカーに、第1音声を出力させ、所定の数をカウントし、前記所定の数をカウントしている時に、前記センサに前記ユーザの移動軌跡を追跡させ、前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、前記取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、前記装置がかくれんぼにおいて意図的に負けるか否か決定し、前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、前記スピーカーに、第2音声を出力させ、前記取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、前記取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる。
この構成によれば、取得された音声に、ユーザが装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルが参照されて、空間において死角数が最小となる第1領域が選択される。第1テーブルは空間に含まれる複数の領域と複数の領域における死角数とを対応付けている。移動機構が制御されて装置が第1領域に移動され、スピーカーから、第1音声が出力され、所定の数がカウンされる。所定の数がカウントされている時に、センサによってユーザの移動軌跡が追跡される。所定の数がカウントし終わった場合は、スピーカーから、所定の数をカウントし終わったことを示す音声が出力される。取得された音声に、ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、移動機構が制御されて装置が空間における装置が移動可能な全領域を移動する。装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、メモリに記憶された第2テーブルが参照されて、移動軌跡の終端から所定範囲にある第1死角が選択される。第2テーブルは、空間における死角と死角の位置とを対応付けている。装置がかくれんぼにおいて意図的に負けるか否かが決定される。装置が意図的に負けないと決定された場合は、移動機構が制御されて装置が第1死角へ移動され、スピーカーから、第2音声が出力される。取得された音声に、ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、スピーカーから、第3音声が出力される。取得された音声に、第3発話が含まれていないと判断された場合は、スピーカーから、第4音声が出力される。
したがって、空間において死角数が最小となる第1領域において、所定の数がカウントされておりユーザが隠れている時に、センサによってユーザの移動軌跡が追跡された後、装置が移動可能な全領域への移動が開始され、装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、ユーザの移動軌跡の終端から所定範囲にある第1死角が選択され、装置が第1死角へ移動される。ここで、第1死角は、ユーザの移動軌跡の終端から所定範囲にあるので、ユーザが隠れた可能性が高い死角といえる。そのため、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができる。
また、上記の装置において、前記プロセッサは、前記装置が意図的に負けると決定された場合は、前記第2テーブルを参照して、前記所定範囲外の第2死角を選択し、前記移動機構を制御して前記装置を前記第2死角へ移動させ、前記スピーカーに、前記第2音声を出力させ、前記取得された音声に、前記第3発話が含まれていると判断された場合は、前記スピーカーに、前記第3音声を出力させ、前記取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、前記第4音声を出力させてもよい。
この構成によれば、装置が意図的に負けると決定された場合は、第2テーブルが参照されて、所定範囲外の第2死角が選択される。移動機構が制御されて装置が第2死角へ移動され、スピーカーから、第2音声が出力される。取得された音声に、第3発話が含まれていると判断された場合は、スピーカーから、第3音声が出力される。取得された音声に、第3発話が含まれていないと判断された場合は、スピーカーから、第4音声が出力される。
したがって、装置が意図的に負けると決定された場合は、ユーザの移動軌跡の終端から所定範囲外の第2死角が選択されるので、装置が常にかくれんぼでユーザに勝ち続けることを防止することができる。
また、上記の装置において、前記センサは、カメラ、赤外線センサ、超音波センサ及びレーザーセンサの少なくとも1つを含んでもよい。
この構成によれば、センサは、カメラ、赤外線センサ、超音波センサ及びレーザーセンサの少なくとも1つを含むので、所定の空間内の死角となる物体の位置を正確に認識することができる。
また、上記の装置において、前記プロセッサは、前記取得された音声に、前記第3発話が含まれていないと判断された場合であって、前記センサが、前記ユーザが前記第2テーブルに含まれていない第3死角に隠れていたことを検知した場合は、前記第3死角と前記第3死角の位置とを対応づけて前記第2テーブルに記憶させてもよい。
この構成によれば、取得された音声に、第3発話が含まれていないと判断された場合であって、センサが、ユーザが第2テーブルに含まれていない第3死角に隠れていたことを検知した場合は、第3死角と第3死角の位置とを対応づけて第2テーブルに記憶される。
したがって、ユーザが隠れていた位置が、第2テーブルに記憶されていない場合、ユーザが隠れていた第3死角と第3死角の位置とが対応づけられて第2テーブルに記憶されるので、ユーザが隠れている死角を特定する精度を向上させることができる。
また、上記の装置において、前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知した場合は、前記スピーカーに、前記第3音声を出力させてもよい。
この構成によれば、装置が全領域を移動し終えるまでにセンサがユーザを検知した場合は、スピーカーから、第3音声が出力されるので、死角にならない場所にユーザがいた場合にユーザを検知することができる。
また、上記の装置において、ディスプレイをさらに備え、前記プロセッサは、前記第1音声を出力させる際に、前記ディスプレイに、前記第1音声に対応する第1表示を表示させ、前記第2音声を出力させる際に、前記ディスプレイに、前記第2音声に対応する第2表示を表示させ、前記第3音声を出力させる際に、前記ディスプレイに、前記第3音声に対応する第3表示を表示させ、前記第4音声を出力させる際に、前記ディスプレイに、前記第4音声に対応する第4表示を表示させてもよい。
この構成によれば、第1音声が出力される際に、ディスプレイに、前記第1音声に対応する第1表示が表示される。また、第2音声が出力される際に、ディスプレイに、第2音声に対応する第2表示が表示される。また、第3音声が出力される際に、ディスプレイに、第3音声に対応する第3表示が表示される。また、第4音声が出力される際に、ディスプレイに、第4音声に対応する第4表示が表示される。
したがって、音声だけでなく、音声に対応する表示がディスプレイに表示されるので、ユーザは聴覚だけでなく視覚により、現在の状況を把握することができる。
また、上記の装置において、前記ディスプレイは、前記装置の表情を両目と口とによって表示し、前記第1音声は、かくれんぼの開始を示し、前記第1表示は、笑顔を示してもよい。
この構成によれば、装置が第1領域に移動した後、かくれんぼの開始を示す第1音声が出力されるとともに、両目と口とによって笑顔を示す第1表示が表示されるので、ユーザに対してかくれんぼを開始することを通知することができる。
また、上記の装置において、前記ディスプレイは、前記装置の表情を両目と口とによって表示し、前記第2音声は、前記ユーザを発見したことを示し、前記第2表示は、笑顔を示してもよい。
この構成によれば、装置が第1死角へ移動した後、ユーザを発見したことを示す第2音声が出力されるとともに、両目と口とによって笑顔を示す第2表示が表示されるので、死角に隠れているユーザに対して、死角から出てくるように促し、かくれんぼの勝敗を決めることができる。
また、上記の装置において、前記ディスプレイは、前記装置の表情を両目と口とによって表示し、前記第3音声は、かくれんぼで前記ユーザに勝ったことを示し、前記第3表示は、笑顔を示してもよい。
この構成によれば、取得された音声に、ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合、かくれんぼでユーザに勝ったことを示す第3音声が出力されるとともに、両目と口とによって笑顔を示す第3表示が表示されるので、装置がかくれんぼでユーザに勝ったことをユーザに通知することができる。
また、上記の装置において、前記ディスプレイは、前記装置の表情を両目と口とによって表示し、前記第4音声は、かくれんぼで前記ユーザに負けたことを示し、前記第4表示は、悲しみの表情を示してもよい。
この構成によれば、取得された音声に、ユーザがかくれんぼで負けたことを認める第3発話が含まれていないと判断された場合、かくれんぼでユーザに負けたことを示す第4音声が出力されるとともに、両目と口とによって悲しみの表情を示す第4表示が表示されるので、装置がかくれんぼでユーザに負けたことをユーザに通知することができる。
本開示の他の態様に係るロボットは、球体の第1側部と前記第1側部に対向する第2側部とをカットしたメイン筐体と、前記第1側部に対応する第1球冠部と、前記第2側部に対応する第2球冠部と、を備え、上記の装置はロボットである。この構成によれば、上記の装置をロボットに適用することができる。
本開示の他の態様に係る方法は、所定の空間を二次元的に移動しながらユーザと相互作用する装置における方法であって、前記装置が、マイクによって取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、移動機構を制御して前記装置を前記第1領域に移動させ、スピーカーに、第1音声を出力させ、所定の数をカウントし、前記所定の数をカウントしている時に、物体に反射された電磁波もしくは音波を検知するセンサに前記ユーザの移動軌跡を追跡させ、前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、前記マイクによって取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、前記装置がかくれんぼにおいて意図的に負けるか否か決定し、前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、前記スピーカーに、第2音声を出力させ、前記マイクによって取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、前記マイクによって取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる。
この構成によれば、マイクによって取得された音声に、ユーザが装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルが参照されて、空間において死角数が最小となる第1領域が選択される。第1テーブルは空間に含まれる複数の領域と複数の領域における死角数とを対応付けている。移動機構が制御されて装置が第1領域に移動され、スピーカーから、第1音声が出力され、所定の数がカウントされる。所定の数がカウントされている時に、物体に反射された電磁波もしくは音波を検知するセンサによってユーザの移動軌跡が追跡される。所定の数がカウントし終わった場合は、スピーカーから、所定の数をカウントし終わったことを示す音声が出力される。マイクによって取得された音声に、ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、移動機構が制御されて装置が空間における装置が移動可能な全領域を移動する。装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、メモリに記憶された第2テーブルが参照されて、移動軌跡の終端から所定範囲にある第1死角が選択される。第2テーブルは、空間における死角と死角の位置とを対応付けている。装置がかくれんぼにおいて意図的に負けるか否かが決定される。装置が意図的に負けないと決定された場合は、移動機構が制御されて装置が第1死角へ移動され、スピーカーから、第2音声が出力される。マイクによって取得された音声に、ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、スピーカーから、第3音声が出力される。マイクによって取得された音声に、第3発話が含まれていないと判断された場合は、スピーカーから、第4音声が出力される。
したがって、空間において死角数が最小となる第1領域において、所定の数がカウントされておりユーザが隠れている時に、センサによってユーザの移動軌跡が追跡された後、装置が移動可能な全領域への移動が開始され、装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、ユーザの移動軌跡の終端から所定範囲にある第1死角が選択され、装置が第1死角へ移動される。ここで、第1死角は、ユーザの移動軌跡の終端から所定範囲にあるので、ユーザが隠れた可能性が高い死角といえる。そのため、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができる。
本開示の他の態様に係るプログラムは、所定の空間を二次元的に移動しながらユーザと相互作用するためのプログラムであって、前記ユーザと相互作用する装置が備えるプロセッサに、マイクによって取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、移動機構を制御して前記装置を前記第1領域に移動させ、スピーカーに、第1音声を出力させ、所定の数をカウントし、前記所定の数をカウントしている時に、物体に反射された電磁波もしくは音波を検知するセンサに前記ユーザの移動軌跡を追跡させ、前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、前記マイクによって取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、前記装置がかくれんぼにおいて意図的に負けるか否か決定し、前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、前記スピーカーに、第2音声を出力させ、前記マイクによって取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、前記マイクによって取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる。
この構成によれば、マイクによって取得された音声に、ユーザが装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルが参照されて、空間において死角数が最小となる第1領域が選択される。第1テーブルは空間に含まれる複数の領域と複数の領域における死角数とを対応付けている。移動機構が制御されて装置が第1領域に移動され、スピーカーから、第1音声が出力され、所定の数がカウントされる。所定の数がカウントされている時に、物体に反射された電磁波もしくは音波を検知するセンサによってユーザの移動軌跡が追跡される。所定の数がカウントし終わった場合は、スピーカーから、所定の数をカウントし終わったことを示す音声が出力される。マイクによって取得された音声に、ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、移動機構が制御されて装置が空間における装置が移動可能な全領域を移動する。装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、メモリに記憶された第2テーブルが参照されて、移動軌跡の終端から所定範囲にある第1死角が選択される。第2テーブルは、空間における死角と死角の位置とを対応付けている。装置がかくれんぼにおいて意図的に負けるか否かが決定される。装置が意図的に負けないと決定された場合は、移動機構が制御されて装置が第1死角へ移動され、スピーカーから、第2音声が出力される。マイクによって取得された音声に、ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、スピーカーから、第3音声が出力される。マイクによって取得された音声に、第3発話が含まれていないと判断された場合は、スピーカーから、第4音声が出力される。
したがって、空間において死角数が最小となる第1領域において、所定の数がカウントされておりユーザが隠れている時に、センサによってユーザの移動軌跡が追跡された後、装置が移動可能な全領域への移動が開始され、装置が全領域を移動し終えるまでにセンサがユーザを検知しなかった場合は、ユーザの移動軌跡の終端から所定範囲にある第1死角が選択され、装置が第1死角へ移動される。ここで、第1死角は、ユーザの移動軌跡の終端から所定範囲にあるので、ユーザが隠れた可能性が高い死角といえる。そのため、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができる。
本開示を実施するための形態を、以下に図面に従って説明する。以下の図のすべてを通じて、特に断らないかぎり、同一の符号は同一の対象を指す。また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
(実施の形態)
図2は、本開示の実施の形態に係る相互作用装置の一例であるロボットの外観斜視図であり、図3は、本開示の実施の形態に係る相互作用装置の一例であるロボットの内部斜視図である。
ロボット100(相互作用装置200)は、図2に示すように、球体状のメイン筐体201と、第1球冠部202及び第2球冠部203と、を備える。メイン筐体201、第1球冠部202及び第2球冠部203は全体として球体を構成する。即ち、ロボット100は、球体形状を有する。ロボット100は、所定の空間を二次元的に移動しながらユーザと相互作用する。第1球冠部202及び第2球冠部203はメイン筐体201に設けられたシャフト(図示せず)によって連結されている。一方、シャフトとメイン筐体201とは固定されていない。従って、シャフトを回転させることによって、第1球冠部202及び第2球冠部203が回転し、ロボット100が前進・後進する。
また、ロボット100は、図2に示すように、メイン筐体201にスピーカー118を備え、第1球冠部202にカメラ204とマイク109とを備える。スピーカー118は、ロボット100の音声を出力する。カメラ204は、ロボット100の周辺環境の映像を取得する。マイク109は、ロボット100の周辺環境の音声を取得する。なお、本態様では、ロボット100は、メイン筐体201にスピーカー118を備えるが、これに限らず、メイン筐体201、第1球冠部202及び第2球冠部203のいずれかにスピーカー118を備えればよい。本態様では、ロボット100は、第1球冠部202にカメラ204を備えるが、これに限らず、第1球冠部202及び第2球冠部203の少なくともいずれか一方にカメラ204を備えればよいが、カメラ204の配置場所・個数を調整することにより、ロボット100周囲360度の映像を取得することが可能になる。本態様では、ロボット100は、第1球冠部202にマイク109を備えるが、これに限らず、メイン筐体201、第1球冠部202及び第2球冠部203のいずれかにマイク109を備えればよい。
図3に示すように、ロボット100は、メイン筐体201の内部に、第1表示部116a、第2表示部116b及び第3表示部116cを備える。第1表示部116a、第2表示部116b及び第3表示部116cは、固定板金205に備え付けられている。固定板金205は、アーム206を介してシャフトに取り付けられている。第1表示部116a、第2表示部116b及び第3表示部116cは、例えば、複数の発光ダイオードにより構成される。第1表示部116a、第2表示部116b及び第3表示部116cは、ロボット100の表情を表示する。具体的には、第1表示部116a、第2表示部116b及び第3表示部116cは、複数の発光ダイオードの点灯を個別に制御することにより、図2に示すようにロボット100の顔の一部、例えば、目や口を表示する。図2及び図3の例では、第1表示部116aが右目の画像を表示し、第2表示部116bが左目の画像を表示し、第3表示部116cが口の画像を表示している。そして、右目、左目及び口の画像は、透明又は半透明の部材からなるメイン筐体201を通過し、外部に放射されている。
図3に示すように、ロボット100は、メイン筐体201の内部の下方に重り207を備える。このため、ロボット100の重心は、メイン筐体201の中心から下方に位置する。これにより、ロボット100の動作を安定させることができる。
図4は、本開示の実施の形態におけるロボットの構成の一例を示すブロック図である。
ロボット100は、プロセッサ11、メモリ12、1つ又は複数の物体認識センサ101、1つ又は複数のマイク109、1つ又は複数のディスプレイ116、1つ又は複数のスピーカー118及び移動機構121を備える。
移動機構121は、ロボット100を移動させる。移動機構121は、図3に示す第1駆動輪210、第2駆動輪211、第1モータ212及び第2モータ213を含む。
プロセッサ11は、輪郭検出部102、物体認識部103、死角判定部105、死角カウント部107、音声認識部110、意図解釈部111、アクション実行部112、初期位置決定部113、主制御部114、表示情報出力制御部115及び音声情報出力制御部117を備える。メモリ12は、例えば不揮発性の半導体メモリであり、物***置情報テーブル104、死角マップテーブル106、死角数テーブル108、死角対象物体テーブル119及び意図解釈テーブル120を備える。プロセッサ11及びメモリ12は、図3に示す制御回路209に配置される。
物体認識センサ101は、ロボット100に取り付けられ、物体の形状を認識することが可能なセンサである。物体認識センサ101は、例えば、カメラ、赤外線センサ、超音波センサ及びレーザーセンサの少なくとも1つを含む。物体認識センサ101は、物体に反射された電磁波もしくは音波を検知する。物体認識センサ101で取得されるセンサ値は、輪郭検出部102および物体認識部103に出力される。物体認識センサ101は、図3に示すカメラ208を含む。
輪郭検出部102は、物体認識センサ101からセンサ値を受け取り、部屋内の物体の形状を判定し、物体の輪郭を検出する。輪郭検出部102は、検出した物体の輪郭を示す情報を物***置情報テーブル104に記憶する。
物体認識部103は、物体認識センサ101からセンサ値を受け取り、部屋内の物体の種別を認識する。判定時に物体認識部103は、部屋内に設置されている物体が何であるかを認識する。物体認識部103が認識する物体は部屋内に設置されているテーブル、テレビ又はカーテンなどの設置物に限らず、部屋自体も部屋として認識される。物体認識部103は、認識した物体の種別を示す情報を物***置情報テーブル104に記憶する。また、物体認識部103は、認識結果を主制御部114にも出力する。
物***置情報テーブル104は、輪郭検出部102によって検出された物体の輪郭と、物体認識部103によって認識された物体の種別とを受け取り、物体を識別するための物体IDと、物体の輪郭を示す位置範囲と、物体種別とを対応付けて記憶する。
図5は、本実施の形態における物***置情報テーブルの一例を示す図である。物体ID301は、位置範囲及び物体種別が記憶される際に物体を識別する情報として付与される。位置範囲302は、物体の輪郭を示し、輪郭検出部102によって検出される。物***置情報テーブル104における位置範囲302は、2次元平面内における部屋及び物体の領域を表す。位置範囲302は、例えば、部屋及び物体の領域を表す多角形の頂点座標の集合で表現される。物体種別303は、物体の種別を示し、物体認識部103によって認識される。
死角対象物体テーブル119は、ロボット100が幼児と遊ぶ際にロボット100の死角となりうる物体の一覧を記憶する。なお、幼児は、ユーザの一例であり、ロボット100が相互作用する対象は幼児に限定されない。
図6は、本実施の形態における死角対象物体テーブルの一例を示す図である。図6に示すように、死角対象物体テーブル119は、ロボットが幼児と遊ぶ際にロボットの死角となりうる物体を示す死角対象物体501を記憶する。死角対象物体501は、例えば、ソファ、カーテン、布団、毛布及びクローゼットである。
死角判定部105は、物***置情報テーブル104と死角対象物体テーブル119とを参照し、物***置情報テーブル104の物体種別と死角対象物体テーブル119の死角対象物体とを比較し、死角マップテーブル106を作成する。死角判定部105は、物***置情報テーブル104の物体種別が死角対象物体テーブル119に含まれる場合、物体種別を死角対象と判定する。
図7は、本実施の形態における死角マップテーブルの一例を示す図である。
死角判定部105は、図7に例示するように、死角であるか否かを判定した物体毎に、死角領域ID401、位置範囲402、領域種別403及び死角対象404を対応付けた死角マップテーブル106を作成する。死角判定部105は、物***置情報テーブル104の値の変更を常に監視し、物***置情報テーブル104の値が変更された場合、物***置情報テーブル104の物体種別と死角対象物体テーブル119の死角対象物体と比較し、死角マップテーブル106を更新する。
死角マップテーブル106は、部屋内の物体を示す個々の領域が死角となるか否かを示すテーブルである。図7に例示するように、死角マップテーブル106は、死角領域ID401、位置範囲402、領域種別403及び死角対象404の組で表され、領域ごとに死角対象となるか否かを記憶する。
死角カウント部107は、部屋内でロボット100が移動可能な領域を分割し、分割された複数の領域に対して、死角マップテーブル106の死角対象の物体のうち、各領域のロボット100の視野範囲に含まれない死角対象の物体の数をカウントし、死角数テーブル108に記憶する。
図8は、本実施の形態におけるロボットの視野を説明するための図である。図9は、本実施の形態において、死角数に応じて分割された複数の領域の一例を示す図である。
ロボット100が図8に示す位置にいる場合、ロボット100からの視野範囲602は斜線で示す範囲になる。なお、ロボット100が備えるカメラは、水平方向に360度撮影可能な視野を有している。死角カウント部107は、ロボット100の視野範囲602と重ならない死角マップテーブル106の死角対象の物体の位置範囲の個数を死角数として算出する。図8では、死角対象の物体であるクローゼットの位置範囲のみが視野範囲602に重なっていないため、死角数は1となる。死角カウント部107は、ロボット100が移動可能な図8に示す部屋内の全ての位置に対して死角数をカウントすると、部屋は、図9に示す複数の領域701〜708に分割される。図9において、領域701,703,705の死角数は0個であり、領域702,704,706の死角数は1個であり、領域707,708の死角数は2個である。
死角カウント部107は、ロボット100の視野範囲と死角対象となる物体の位置とに基づいて部屋内の複数の位置における死角数を算出し、死角数に応じて部屋を複数の領域に分割する。死角カウント部107は、複数の領域を識別するために付与した死角数領域IDと、複数の領域のそれぞれの範囲を示す位置範囲と、複数の領域のそれぞれの死角数と、複数の領域のそれぞれの死角領域を識別するための死角領域IDとを対応付けて死角数テーブル108に記憶する。
図10は、本実施の形態における死角数テーブルの一例を示す図である。図9に示すように領域が分割された場合、死角数テーブル108は、図10に例示する形式で情報を記憶する。死角数テーブル108(第1テーブル)は、部屋(所定の空間)に含まれる複数の領域と複数の領域における死角数とを対応付ける。
死角数テーブル108は、死角カウント部107によって作成及び更新される。図10に示すように、死角数テーブル108は、死角数領域ID801、位置範囲802、死角数803及び死角領域ID804の組で表され、部屋内における領域ごとの死角数を記憶する。死角数領域ID801は、分割された複数の領域のそれぞれを識別するための識別情報である。死角数テーブル108における位置範囲802は、2次元平面内における分割された複数の領域を表す。位置範囲802は、例えば、複数の領域のそれぞれを表す多角形の頂点座標の集合で表現される。死角領域ID804は、死角マップテーブル106の死角領域ID401と対応している。
マイク109は、ロボット100の周辺の音声を取得する。マイク109は、幼児がロボット100に対して発した音声を集音し、音声認識部110に音声データを出力する。
音声認識部110は、マイク109から受け取った音声を幼児の発話テキストに変換する。音声認識部110は、音声の変換が完了すると、変換した発話テキストを意図解釈部111に出力する。
意図解釈部111は、音声認識部110から発話テキストを受け取り、意図解釈テーブル120に受け取った発話テキストが含まれるか否かを判定する。意図解釈部111は、意図解釈テーブル120に発話テキストが含まれると判定した場合、ロボット100が実行すべきアクション内容を決定する。意図解釈部111は、決定したロボット100が実行すべきアクション内容を示す情報を、アクション実行部112及び主制御部114に出力する。
図11は、本実施の形態における意図解釈テーブルの一例を示す図である。
意図解釈テーブル120は、図11に例示する形式で情報を記憶している。意図解釈テーブル120は、発話テキストを識別するためのテキストID901、発話テキストを示すテキスト902及び発話テキストに対応するロボット100の動作を示すアクション内容903の組で示される。意図解釈部111は、音声認識部110から受け取った発話テキストが完全に一致する又は部分的に一致するテキスト902を検索し、発話テキストに該当するテキスト902が存在する場合、テキスト902に対応するアクション内容903を抽出する。
アクション実行部112は、意図解釈部111からアクション内容903を示す情報を受け取り、ロボット100に対して決定されたアクション内容に応じた動作を実行する。本開示で想定するロボット100が部屋内に隠れている幼児を捜索して発見する遊びを行う場合、アクション実行部112は、遊びを開始する際の部屋内におけるロボット100の初期位置を決定するよう初期位置決定部113に指示する。
初期位置決定部113は、取得された音声に、ユーザがロボット100とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリ12に記憶された死角数テーブル108(第1テーブル)を参照して、部屋(所定の空間)において死角数が最小となる領域(第1領域)を選択する。
初期位置決定部113は、アクション実行部112から呼び出され、死角数テーブル108を参照し、死角数803が最小となる領域を選択する。死角数803が最小となる複数の領域が存在する場合、初期位置決定部113は、複数の領域から一つの領域を選択する。その際、一つの領域が選択されるのであれば、領域の選択方法は特に限定されない。例えば、初期位置決定部113は、死角数803が最小となる複数の領域の中から、ランダムに一つの領域を選択してもよいし、位置範囲802から領域ごとの面積を算出し、面積が最大となる領域を選択してもよい。初期位置決定部113は、選択した領域にロボット100を移動させるように主制御部114に指示する。
主制御部114は、ロボット100の初期位置を示す領域を初期位置決定部113から受け取る。主制御部114は、領域が指定された段階で、本開示で想定するロボット100が部屋内に隠れている幼児を捜索して発見する遊びのシーケンスを実行する。なお、本実施の形態における遊びは、かくれんぼである。また、かくれんぼでは、幼児が隠れ、ロボット100が幼児を捜索する。また、通常のかくれんぼでは、ロボット100が幼児を発見(検出)することにより勝敗が決まる。しかしながら、本実施の形態のかくれんぼでは、さらに、ロボット100が幼児が隠れている死角に移動し、幼児を発見したことを示す音声を出力し、かくれんぼで負けたか否かを示す幼児の発話音声を取得することにより、勝敗が決まる。
まず、主制御部114は、かくれんぼの準備の際に表示する表情データを表示情報出力制御部115に送信するとともに、かくれんぼの準備の際に出力する音声データを音声情報出力制御部117に送信する。表示情報出力制御部115は、表情データに基づき、ロボット100の表情を生成する。音声情報出力制御部117は、音声データに基づき、ロボット100の音声を生成する。
その後、主制御部114は、初期位置決定部113によって決定された初期位置となる領域に移動するよう移動機構121に指示し、ロボット100の移動完了を監視する。主制御部114は、移動機構121を制御してロボット100を、初期位置決定部113によって選択された領域(第1領域)に移動させる。移動機構121は、主制御部114からの指示に基づき、ロボット100を初期位置に移動させる。なお、初期位置は、例えば、選択された領域の中心(重心)位置である。
ロボット100の移動が完了すると、主制御部114は、かくれんぼを開始する。主制御部114は、かくれんぼを開始する際に表示する表情データを表示情報出力制御部115に送信するとともに、かくれんぼを開始する際に出力する音声データを音声情報出力制御部117に送信する。音声情報出力制御部117は、音声データに基づき、かくれんぼの開始を示す第1音声を生成し、スピーカー118に第1音声を出力させる。表示情報出力制御部115は、表情データに基づき、ロボット100の表情を生成し、第1音声を出力させる際に、ディスプレイ116に第1音声に対応する第1表示を表示させる。ディスプレイ116は、ロボット100の表情を両目と口とによって表示する。第1表示は、笑顔を示す。
続いて、主制御部114は、所定の数をカウントする。主制御部114は、幼児が隠れている間の時間のカウントを開始し、所定時間経過後に幼児に対して隠れ終わったか否かを確認する。所定の数をカウントしている時に、主制御部114は、物体認識センサ101にユーザの移動軌跡を追跡させる。カウント中に、主制御部114は、幼児の動きを物体認識部103から受け取るデータによって追跡する。主制御部114が所定の数をカウントし終わった場合は、音声情報出力制御部117は、スピーカー118に、所定の数をカウントし終わったことを示す音声を出力させる。主制御部114は、捜索開始又は捜索開始延長のアクションを意図解釈部111から受け取ることにより、幼児が隠れ終わったか否かを確認する。主制御部114は、かくれんぼの捜索開始延長のアクションを受け取った場合、幼児が隠れている間の時間を再度カウントする。
主制御部114は、マイク109によって取得された音声に、ユーザが隠れ終わったことを示す発話(第2発話)が含まれていると判断した場合は、移動機構121を制御してロボット100を部屋(所定の空間)におけるロボット100が移動可能な全領域を移動させる。主制御部114は、捜索開始のアクションを意図解釈部111から受け取った場合、隠れた幼児を捜索するため、部屋内をくまなく移動するように移動機構121に指示する。この指示により、ロボット100は部屋内の移動を開始する。
ロボット100の移動中に主制御部114は、物体認識部103からロボット100の視野内にどのような物体が写っているかを受け取る。ロボット100が全領域を移動し終えるまでに物体認識センサ101が幼児を検知した場合は、音声情報出力制御部117は、スピーカー118に、かくれんぼで幼児に勝ったことを示す音声(第3音声)を出力させる。すなわち、ロボット100の移動中に捜索対象の幼児が写った場合、主制御部114は、ロボット100を幼児の位置に移動させ、発見を示す表情データを表示情報出力制御部115に送信するとともに、発見を示す音声データを音声情報出力制御部117に送信する。
ロボット100が全領域を移動し終えるまでに物体認識センサ101が幼児を検知しなかった場合は、メモリ12に記憶された死角マップテーブル106(第2テーブル)を参照して、幼児の移動軌跡の終端から所定範囲にある死角(第1死角)を選択する。すなわち、ロボット100の移動中に捜索対象の幼児が写らなかった場合、主制御部114は、死角マップテーブル106を参照し、カウント中に追跡していた幼児の軌跡の終端の先にある死角領域を抽出する。
また、ロボット100は、幼児の移動軌跡を記憶しているため、移動軌跡の終端に最も近い死角を選択することで、高い確率で幼児を発見することが可能であり、ロボット100がかくれんぼで幼児に常に勝つおそれがある。そこで、ロボット100は、所定の確率で幼児が隠れている位置を意図的に間違え、かくれんぼで幼児に負けるようにする。主制御部114は、ロボット100がかくれんぼにおいて意図的に負けるか否か決定する。ロボット100が意図的に負けないと決定した場合は、主制御部114は、移動機構121を制御してロボット100を、抽出した死角領域(第1死角)へ移動させる。なお、複数の死角領域が抽出された場合、主制御部114は、移動先として1つの死角領域を選択する。
また、ロボット100が意図的に負けると決定した場合は、主制御部114は、死角マップテーブル106(第2テーブル)を参照して、幼児の移動軌跡の終端から所定範囲外の死角(第2死角)を選択する。そして、主制御部114は、移動機構121を制御してロボット100を、選択した死角(第2死角)へ移動させる。
幼児の移動軌跡の終端から所定範囲内の死角(第1死角)、又は幼児の移動軌跡の終端から所定範囲外の死角(第2死角)への移動が完了した後に、音声情報出力制御部117は、スピーカー118に、幼児を発見したことを示す第2音声を出力させる。表示情報出力制御部115は、第2音声を出力させる際に、ディスプレイ116に、第2音声に対応する第2表示を表示させる。第2表示は、笑顔を示す。すなわち、主制御部114は、幼児を発見したことを示す表情データを表示情報出力制御部115に送信するとともに、幼児を発見したことを示す音声データを音声情報出力制御部117に送信する。
主制御部114は、マイク109によって取得された音声に、幼児がかくれんぼで負けたことを認める発話(第3発話)が含まれているか否かを判断する。マイク109によって取得された音声に、幼児がかくれんぼで負けたことを認める発話(第3発話)が含まれていると判断された場合は、音声情報出力制御部117は、スピーカー118に、かくれんぼで幼児に勝ったことを示す音声(第3音声)を出力させる。表示情報出力制御部115は、第3音声を出力させる際に、ディスプレイ116に、第3音声に対応する第3表示を表示させる。第3表示は、笑顔を示す。主制御部114は、幼児がロボット100に発見されたことを示す発話を行ったことを意図解釈部111から受け取った場合、ロボット100が勝利したことを示す表情データを表示情報出力制御部115に送信するとともに、ロボット100が勝利したことを示す音声データを音声情報出力制御部117に送信する。音声情報出力制御部117は、音声データに基づき、ロボット100が勝利したことを示す第3音声を生成し、スピーカー118に第3音声を出力させる。表示情報出力制御部115は、表情データに基づき、ロボット100が勝利したことを示す第3表示を生成し、ディスプレイ116に第3表示を表示させる。
一方、マイク109によって取得された音声に、幼児がかくれんぼで負けたことを認める発話(第3発話)が含まれていないと判断された場合は、音声情報出力制御部117は、スピーカー118に、かくれんぼで幼児に負けたことを示す音声(第4音声)を出力させる。表示情報出力制御部115は、第4音声を出力させる際に、ディスプレイ116に、第4音声に対応する第4表示を表示させる。第4表示は、悲しみの表情を示す。主制御部114は、幼児がロボット100の誤発見を示す発話を行ったことを意図解釈部111から受け取った場合、ロボット100が敗北したことを示す表情データを表示情報出力制御部115に送信するとともに、ロボット100が敗北したことを示す音声データを音声情報出力制御部117に送信する。音声情報出力制御部117は、音声データに基づき、ロボット100が敗北したことを示す第4音声を生成し、スピーカー118に第4音声を出力させる。表示情報出力制御部115は、表情データに基づき、ロボット100が敗北したことを示す第4表示を生成し、ディスプレイ116に第4表示を表示させる。
なお、マイク109によって取得された音声に、幼児がかくれんぼで負けたことを認める発話(第3発話)が含まれていないと判断された場合であって、物体認識センサ101が、幼児が死角マップテーブル106(第2テーブル)に含まれていない死角(第3死角)に隠れていたことを検知した場合は、主制御部114は、第3死角と第3死角の位置とを対応づけて死角マップテーブル106(第2テーブル)に記憶させてもよい。すなわち、ロボット100が敗北したとき、幼児が隠れていた場所が死角マップテーブル106に死角対象として含まれていない場合、主制御部114は、幼児が隠れていた場所にある物体を死角マップテーブル106に死角対象として追加してもよい。
表示情報出力制御部115は、主制御部114からロボット100の表情データを受け取り、ディスプレイ116の表示を制御する。
ディスプレイ116は、表示情報出力制御部115から表情データを受け取り、ロボット100の表情を表示する。ディスプレイ116は、例えば、LED(Light Emitting Diode)、LCD(Liquid Crystal Display)又は有機EL(Electro Luminescence)で構成される。ディスプレイ116は、単一又は複数のディスプレイで構成されてもよく、ロボット100の表情を表現可能であれば、どのような構成であってもよい。なお、本実施の形態では、ディスプレイ116は、図3に示す第1表示部116a、第2表示部116b及び第3表示部116cを含む。
音声情報出力制御部117は、主制御部114からロボット100の音声データを受け取り、スピーカー118の音声出力を制御する。
スピーカー118は、音声情報出力制御部117から音声データを受け取り、受け取った音声データを再生する。
なお、相互作用装置200は、プロセッサ11、メモリ12、物体認識センサ101、マイク109、ディスプレイ116、スピーカー118及び移動機構121を備える。相互作用装置200は、ディスプレイ116を備えていなくてもよい。
また、プロセッサ11及びメモリ12の構成の一部又は全部は、ロボット100とネットワークを介して通信可能に接続されたサーバに設けられていてもよい。
続いて、図12、図13及び図14を用いて、物体認識センサ101のデータから物***置情報テーブル104、死角マップテーブル106及び死角数テーブル108を作成及び更新する処理を説明する。
図12は、本実施の形態において、物体認識センサのデータに基づいて物***置情報テーブルを作成する処理の一例を示すフローチャートである。
まず、ステップS1において、主制御部114は、物***置情報テーブル104を作成するためにロボット100が部屋内の移動可能領域をランダムに移動するように移動機構121に指示する。主制御部114は、自律的に又はユーザからの指示により、物***置情報テーブル104を作成するための移動を開始する。なお、自律的に物***置情報テーブルを作成する場合、主制御部114は、例えば、1日毎又は1週間毎に、物***置情報テーブルを作成するための移動を開始してもよい。ステップS1では、ロボット100がランダムに移動するとしているが、部屋内の移動可能領域をくまなく移動することができれば、ランダムに移動しなくてもよい。移動機構121は、主制御部114からの指示に従い、ロボット100をランダムに移動させる。
次に、ステップS2において、主制御部114は、ロボット100の移動中に、部屋内を撮影するように物体認識センサ101に指示する。物体認識センサ101は、部屋内を撮影し、撮影データを輪郭検出部102及び物体認識部103へ出力する。
次に、ステップS3において、輪郭検出部102は、物体認識センサ101からの撮影データを用いて、部屋及び部屋内の物体の輪郭を検出する。
次に、ステップS4において、物体認識部103は、物体認識センサ101からの撮影データを用いて、部屋及び部屋内の物体の種別を認識する。
次に、ステップS5において、輪郭検出部102は、部屋及び部屋内の物体の輪郭を位置範囲として物***置情報テーブル104に記憶するとともに、物体認識部103は、部屋及び部屋内の物体の種別を物体種別として物***置情報テーブル104に記憶する。なお、輪郭検出部102のみが物***置情報テーブル104に位置範囲を記憶した場合、物体ID301及び位置範囲302のみが記憶される。
次に、ステップS6において、主制御部114は、移動可能な領域を全て移動したか否かを判断する。ここで、移動可能な領域を全て移動したと判断された場合(ステップS6でYES)、処理が終了される。
一方、移動可能な領域を全て移動していないと判断された場合(ステップS6でNO)、ステップS1に処理が戻る。
図13は、本実施の形態において、物***置情報テーブルのデータに基づいて、死角マップテーブルを作成する処理の一例を示すフローチャートである。
まず、ステップS11において、死角判定部105は、物***置情報テーブル104の変更を監視する。
次に、ステップS12において、死角判定部105は、物***置情報テーブル104が変更されたか否かを判断する。ここで、物***置情報テーブル104が変更されていないと判断された場合(ステップS12でNO)、ステップS11に処理が戻る。
一方、物***置情報テーブル104が変更されたと判断された場合(ステップS12でYES)、ステップS13において、死角判定部105は、死角対象物体テーブル119を参照し、ロボット100が死角対象として判定する物体の一覧を取得する。
次に、ステップS14において、死角判定部105は、物***置情報テーブル104と死角対象物体テーブル119とを比較し、物***置情報テーブル104に記憶されている物体種別のうち、ロボット100の死角対象となる物体種別を特定する。図1の間取りでは、死角判定部105は、ソファ1002、クローゼット1003及びカーテン1004を死角対象となる物体種別として特定する。
次に、ステップS15において、死角判定部105は、死角対象であるか否かを示す情報を各領域種別に対応付けて死角マップテーブル106に記憶する。死角判定部105は、物***置情報テーブル104に記憶されている位置範囲及び物体種別を、位置範囲及び領域種別として死角マップテーブル106に記憶する。
図14は、本実施の形態において、死角マップテーブルのデータに基づいて、死角数テーブルを作成及び更新する処理の一例を示すフローチャートである。
まず、ステップS21において、死角カウント部107は、死角マップテーブル106の変更を監視する。
次に、ステップS22において、死角カウント部107は、死角マップテーブル106が変更されたか否かを判断する。ここで、死角マップテーブル106が変更されていないと判断された場合(ステップS22でNO)、ステップS21に処理が戻る。
一方、死角マップテーブル106が変更されたと判断された場合(ステップS22でYES)、ステップS23において、死角カウント部107は、部屋内にある複数の死角領域のうち、部屋内のロボット100が移動可能な領域の各座標においてロボット100の視点から見える視野範囲外にある死角領域がいくつ存在するかをカウントするために、部屋内のロボット100が移動可能な領域からランダムに1の座標を選択する。例えば、死角カウント部107は、図8に示すロボット100の位置に対応する座標を選択する。
次に、ステップS24において、死角カウント部107は、選択した座標におけるロボット100の視野範囲を算出し、視野範囲外に死角対象の領域がいくつ存在するかをカウントする。図8の例では、ロボット100の視野範囲602の外にある死角対象はクローゼットのみであるので、死角数は1となる。その際、死角カウント部107は、死角数をカウントした座標を中心とする所定半径の円内の全ての座標の死角数を、カウントした死角数と同一にすることが好ましい。例えば、死角カウント部107は、半径10cmの円内の座標の死角数を、中心の座標の死角数と同一としてもよい。ここでは、死角数をカウントした座標を中心とした所定半径の円内の座標の死角数を、カウントした死角数と同一としているが、円に限る必要はない。これにより、死角数をカウントする処理を削減することができる。
次に、ステップS25において、死角カウント部107は、部屋内のロボット100が移動可能な領域の全ての座標の死角数をカウントしたか否かを判断する。
ここで、全ての座標の死角数をカウントしていないと判断された場合(ステップS25でNO)、ステップS26において、死角カウント部107は、部屋内のロボット100が移動可能な領域のうち、死角数がカウントされていない他の座標を選択し、ステップS24の処理に戻る。
一方、全ての座標の死角数をカウントしたと判断された場合(ステップS25でYES)、ステップS27において、死角カウント部107は、部屋内のロボット100が移動可能な領域を、カウントされた死角数に応じて複数の領域に分割し、分割した領域毎に死角数を対応付けて死角数テーブル108に記憶する。すなわち、死角カウント部107は、分割した各領域を識別する死角数領域IDと、分割した各領域の範囲を示す位置範囲と、分割した各領域の死角数と、分割した各領域の死角領域を識別するための死角領域IDとを対応付けて死角数テーブル108に記憶する。死角カウント部107は、部屋内のロボット100が移動可能な領域を、カウントされた死角数が同じ座標で構成される領域に分割する。
なお、本実施の形態において、死角カウント部107は、視野範囲外に死角対象の領域が存在しない座標が発見された場合、すなわち、カウントした死角数が0である座標が発見された場合、その時点で他の座標を選択せずに、ステップS27の処理を行ってもよい。
続いて、図15、図16及び図17を用いて、ロボット100が部屋内に隠れた幼児を発見する遊びを行う処理について説明する。
図15は、本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第1のフローチャートであり、図16は、本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第2のフローチャートであり、図17は、本実施の形態において、ロボットと幼児とがかくれんぼを行う処理の一例を説明するための第3のフローチャートである。
まず、ステップS31において、意図解釈部111は、マイク109によって取得された音声に、かくれんぼを開始する旨の第1発話が含まれるか否かを判断する。かくれんぼを開始する際、幼児は、かくれんぼを行いたいという意志を声で伝える。意図解釈部111は、幼児によって発話された内容が、かくれんぼを開始することを示す発話であるか否かを判断する。
ここで、取得された音声に、かくれんぼを開始する旨の第1発話が含まれていないと判断された場合(ステップS31でNO)、ステップS31の判断処理が繰り返し実行される。
一方、取得された音声に、かくれんぼを開始する旨の第1発話が含まれていると判断された場合(ステップS31でYES)、アクション実行部112は、かくれんぼを開始するため、部屋内におけるロボット100の初期位置を決定するよう初期位置決定部113に指示する。
次に、ステップS33において、初期位置決定部113は、死角数テーブル108から死角数が最小である領域を選択し、選択した領域をロボット100の初期位置に決定する。なお、初期位置決定部113は、死角数が最小である複数の領域が存在する場合、複数の領域の中から1つの領域を選択する。初期位置決定部113は、複数の領域の中からランダムに1つの領域を選択してもよいし、複数の領域の中から面積が最大である領域を選択してもよく、死角数が最小である複数の領域の中から1つの領域を選択する方法については特に限定されない。
このように、死角数が最小である領域がロボット100の初期位置に決定されるので、当該初期位置からは、最も多くの死角領域をカメラの視野内に納めることができ、死角領域に隠れる幼児の移動の軌跡をより正確に追跡することができる。
次に、ステップS34において、音声情報出力制御部117は、幼児からのかくれんぼ開始の発話に対して応答するために、かくれんぼを開始する旨の第1発話に対する応答を示す音声を出力する。
図18は、本実施の形態において、スピーカーから出力される発言テキストパターンの一例を示す図である。ロボット100が備えるメモリ12は、図18に示す発言テキストパターンテーブルを記憶する。発言テキストパターンテーブルは、ロボット100が発言するテキストを場面に応じて識別するための発言ID1601と、種々の場面でロボット100が発言する発言テキスト1602とを対応付けたテーブルである。かくれんぼを開始する旨の第1発話に対して応答する場合、音声情報出力制御部117は、例えば、図18に示す“1”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS35において、表示情報出力制御部115は、幼児からのかくれんぼ開始の発話に対して応答するために、かくれんぼを開始する旨の第1発話に対する応答を示す表情を表示する。
図19は、本実施の形態において、ディスプレイに表示される表情パターンの一例を示す図である。ロボット100が備えるメモリ12は、図19に示す表情パターンテーブルを記憶する。表情パターンテーブルは、ロボット100が表示する表情を場面に応じて識別するための表情ID1701と、種々の場面でロボット100が表示する表情パターン1702とを対応付けたテーブルである。かくれんぼを開始する旨の第1発話に対して応答する場合、表示情報出力制御部115は、例えば、図19に示す“1”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
次に、ステップS36において、主制御部114は、移動機構121を制御してロボット100を選択された領域に移動させる。主制御部114は、選択された領域へのロボット100の移動を移動機構121に指示する。移動機構121は、主制御部114からの指示に応じてロボット100を選択された領域に移動させる。なお、主制御部114は、例えば、選択された領域の重心位置にロボット100を移動させる。
次に、ステップS37において、音声情報出力制御部117は、かくれんぼの開始を示す音声(第1音声)をスピーカー118から出力する。かくれんぼの開始を示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“2”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS38において、表示情報出力制御部115は、かくれんぼの開始を示す表情(第1表示)をディスプレイ116に表示する。かくれんぼの開始を示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“2”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
ステップS38の処理の後、幼児は、かくれんぼを開始し、隠れるために部屋内を移動する。
次に、ステップS39において、表示情報出力制御部115は、ロボット100が幼児を見ていないことを示す表情をディスプレイ116に表示する。ロボット100が幼児を見ていないことを示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“4”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
次に、ステップS40において、主制御部114は、幼児が部屋内で隠れるための時間のカウントを開始する。カウントを終了するまでの時間は予め設定されている。例えば、30秒又は1分という時間が予め設定されている。
次に、ステップS41において、主制御部114は、時間をカウントしている間、物体認識センサ101及び物体認識部103を用いて、幼児の移動軌跡を追跡する。主制御部114は、カウントを開始する時点の部屋内における幼児の位置を始点とし、当該始点からの幼児の移動軌跡を追跡する。主制御部114は、追跡した幼児の移動軌跡をメモリ12に記憶する。
次に、ステップS42において、音声情報出力制御部117は、カウント終了を示す音声をスピーカー118から出力する。カウント終了を示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“3”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS43において、意図解釈部111は、マイク109によって取得された音声に、幼児が隠れ終わったことを示す第2発話が含まれるか否かを判断する。
ここで、取得された音声に、幼児が隠れ終わったことを示す第2発話が含まれていないと判断された場合(ステップS43でNO)、ステップS40に処理が戻る。なお、取得された音声に、幼児が隠れ終わったことを示す第2発話が含まれていない場合、意図解釈部111は、取得された音声に、捜索開始の延期を示す発話が含まれているか否かを判断してもよい。取得された音声に、捜索開始の延期を示す発話が含まれていると判断された場合、ステップS40に処理が戻ってもよい。また、取得された音声に、捜索開始の延期を示す発話が含まれていないと判断された場合、幼児が隠れ終わったと推定されるので、ステップS44に処理が移行してもよい。
一方、取得された音声に、幼児が隠れ終わったことを示す第2発話が含まれていると判断された場合(ステップS43でYES)、ステップS44において、アクション実行部112は、幼児の捜索開始を主制御部114に指示する。
次に、ステップS45において、音声情報出力制御部117は、幼児の捜索開始を示す音声をスピーカー118から出力する。幼児の捜索開始を示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“4”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS46において、表示情報出力制御部115は、幼児の捜索開始を示す表情をディスプレイ116に表示する。幼児の捜索開始を示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“1”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
次に、ステップS47において、主制御部114は、幼児の捜索開始の指示を受けて、移動機構121を制御してロボット100の移動を開始させる。このとき、主制御部114は、移動機構121を制御してロボット100を部屋内におけるロボット100が移動可能な領域全体を移動させる。その際、主制御部114は、ロボット100をランダムに移動させることによって、部屋全体をくまなく捜索してもよいし、ロボット100の移動軌跡を記憶しながら移動し、移動していない領域が少なくなるように移動してもよく、どのように移動するかについては特に限定されない。また、主制御部114は、移動中に、幼児を捜索する。このとき、主制御部114は、物体認識センサ101及び物体認識部103を用いて、予め記憶している幼児の顔を検出するように、幼児を捜索する。幼児の顔は、例えばステップS39の処理とステップS40の処理との間などのかくれんぼの開始時に記憶してもよいし、予めユーザ登録されていてもよい。
次に、ステップS48において、主制御部114は、ロボット100の移動中に、物体認識センサ101および物体認識部103によって捜索対象の幼児が検出されたか否かを判断する。移動中に捜索対象の幼児が検出されたと判断された場合(ステップS48でYES)、ステップS55に処理が移行する。
一方、移動中に捜索対象の幼児が検出されていないと判断された場合(ステップS48でNO)、ステップS49において、主制御部114は、部屋内におけるロボット100が移動可能な領域全体の移動が完了したか否かを判断する。ここで、部屋内におけるロボット100が移動可能な領域全体の移動が完了していないと判断された場合(ステップS49でNO)、ステップS48に処理が戻る。
一方、部屋内におけるロボット100が移動可能な領域全体の移動が完了したと判断された場合(ステップS49でYES)、ステップS50において、主制御部114は、追跡していた幼児の移動軌跡を利用して、幼児の移動軌跡の終端から所定範囲内に存在する第1死角領域を死角マップテーブル106から選択する。なお、移動軌跡の終端から所定範囲内に複数の死角領域が存在する場合、主制御部114は、所定範囲内の複数の死角領域の中から1つの死角領域を選択する。このとき、主制御部114は、所定範囲内の複数の死角領域の中からランダムに1つの死角領域を選択してもよいし、所定範囲内の複数の死角領域の中から終端に最も近い1つの死角領域を選択してもよい。
次に、ステップS51において、主制御部114は、ロボット100が意図的に負けるか否かを判断する。このとき、主制御部114は、ロボット100が意図的に負けるか否かをランダムに決定する。意図的に負ける確率は予めロボット100に指定されている。
ここで、ロボット100が意図的に負けないと判断された場合(ステップS51でNO)、ステップS52において、主制御部114は、移動機構121を制御して選択された第1死角領域にロボット100を移動させる。
一方、ロボット100が意図的に負けると判断された場合(ステップS51でYES)、ステップS53において、主制御部114は、追跡していた幼児の移動軌跡を利用して、幼児の移動軌跡の終端から所定範囲外に存在する第2死角領域を死角マップテーブル106から選択する。幼児の移動軌跡の終端から所定範囲外に複数の死角領域が存在する場合、主制御部114は、所定範囲外の複数の死角領域の中から1つの死角領域を選択する。このとき、主制御部114は、所定範囲外の複数の死角領域の中からランダムに1つの死角領域を選択してもよいし、所定範囲外の複数の死角領域の中から終端に最も近い1つの死角領域を選択してもよいし、所定範囲外の複数の死角領域の中から終端から最も遠い1つの死角領域を選択してもよい。
次に、ステップS54において、主制御部114は、移動機構121を制御して選択された第2死角領域にロボット100を移動させる。
次に、ステップS55において、音声情報出力制御部117は、幼児を発見したことを示す音声(第2音声)をスピーカー118から出力する。幼児を発見したことを示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“5”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS56において、表示情報出力制御部115は、幼児を発見したことを示す表情(第2表示)をディスプレイ116に表示する。幼児を発見したことを示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“2”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
なお、ステップS48においてロボット100の移動中に捜索対象の幼児が検出されたと判断された後、ステップS55及びステップS56の処理が行われた場合、ロボット100の勝利は明らかなので、かくれんぼ処理が終了されてもよい。
次に、ステップS57において、意図解釈部111は、マイク109によって取得された音声に、捜索対象の幼児がかくれんぼで負けたことを認める第3発話が含まれるか否かを判断する。
ここで、取得された音声に、捜索対象の幼児がかくれんぼで負けたことを認める第3発話が含まれていると判断された場合(ステップS57でYES)、ステップS58において、音声情報出力制御部117は、ロボット100がかくれんぼで幼児に勝利したことを示す音声(第3音声)をスピーカー118から出力する。ロボット100がかくれんぼで幼児に勝利したことを示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“6”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS59において、表示情報出力制御部115は、ロボット100がかくれんぼで幼児に勝利したことを示す表情(第3表示)をディスプレイ116に表示する。ロボット100がかくれんぼで幼児に勝利したことを示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“2”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
一方、取得された音声に、捜索対象の幼児がかくれんぼで負けたことを認める第3発話が含まれていないと判断された場合(ステップS57でNO)、ステップS60において、音声情報出力制御部117は、ロボット100がかくれんぼで幼児に敗北したことを示す音声(第4音声)をスピーカー118から出力する。ロボット100がかくれんぼで幼児に敗北したことを示す音声を出力する場合、音声情報出力制御部117は、例えば、図18に示す“7”の発言ID1601に対応する発言テキスト1602を選択し、選択した発言テキスト1602を音声に変換してスピーカー118から出力する。なお、本実施の形態において、1つの発言IDに複数の発言テキストが対応付けられている場合、音声情報出力制御部117は、複数の発言テキストの中からランダムに1つの発言テキストを選択する。
次に、ステップS61において、表示情報出力制御部115は、ロボット100がかくれんぼで幼児に敗北したことを示す表情(第4表示)をディスプレイ116に表示する。ロボット100がかくれんぼで幼児に敗北したことを示す表情を表示する場合、表示情報出力制御部115は、例えば、図19に示す“3”の表情ID1701に対応する表情パターン1702を選択し、選択した表情パターン1702をディスプレイ116に表示する。なお、本実施の形態において、1つの表情IDに複数の表情パターンが対応付けられている場合、表示情報出力制御部115は、複数の表情パターンの中からランダムに1つの表情パターンを選択する。
このように、空間において死角数が最小となる第1領域において、所定の数がカウントされており幼児が隠れている時に、物体認識センサ101によって幼児の移動軌跡が追跡された後、ロボット100が移動可能な全領域への移動が開始され、ロボット100が領域全体を移動し終えるまでに物体認識センサ101が幼児を検知しなかった場合は、幼児の移動軌跡の終端から所定範囲にある第1死角領域が選択され、ロボット100が第1死角領域へ移動される。ここで、第1死角は、幼児の移動軌跡の終端から所定範囲にあるので、幼児が隠れた可能性が高い死角といえる。そのため、幼児が隠れている可能性が高くロボット100からは見えない死角を特定することができる。
次に、ステップS62において、主制御部114は、物体認識センサ101及び物体認識部103を用いて、捜索対象の幼児を検出する。
次に、ステップS63において、主制御部114は、検出された捜索対象の幼児の位置に対応する領域が、死角マップテーブル106に死角対象として登録されているか否かを判断する。ここで、捜索対象の幼児の位置に対応する領域が、死角マップテーブル106に死角対象として登録されていると判断された場合(ステップS63でYES)、かくれんぼ処理が終了される。
一方、捜索対象の幼児の位置に対応する領域が、死角マップテーブル106に死角対象として登録されていないと判断された場合(ステップS63でNO)場合、ステップS64において、主制御部114は、幼児が検出された位置に対応する領域を死角対象として死角マップテーブル106に登録し、死角マップテーブル106を更新する。
例えば、図7の死角マップテーブル106において、ドアは死角対象として登録されていないため、図1のドアと壁との間の隙間1001に幼児が隠れていた場合、ロボット100は、幼児が隠れている位置を特定することはできない。しかしながら、ロボット100が負けた後、幼児がドアと壁との間の隙間1001で検出されると、主制御部114は、幼児が検出されたドアの位置に対応する領域を死角対象として死角マップテーブル106に登録し、死角マップテーブル106を更新する。これにより、次回、かくれんぼが行われる際に、ロボット100は、ドアを死角領域として選択することができ、ドアと壁との間の隙間1001を、幼児が隠れている位置として特定することができる。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(Large Scale Integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、若しくはULSI(Ultra Large Scale Integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるReconfigurable Logic Deviceも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(Processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(Processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(Processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
本開示に係る装置、方法、プログラム及びロボットは、ユーザが隠れている可能性が高く装置からは見えない死角を特定することができ、所定の空間を二次元的に移動しながらユーザと相互作用する装置、方法、プログラム及びロボットとして有用である。
11 プロセッサ
12 メモリ
100 ロボット
101 物体認識センサ
102 輪郭検出部
103 物体認識部
104 物***置情報テーブル
105 死角判定部
106 死角マップテーブル
107 部屋内死角カウント部
108 死角数テーブル
109 マイク
110 音声認識部
111 意図解釈部
112 アクション実行部
113 初期位置決定部
114 主制御部
115 表示情報出力制御部
116 ディスプレイ
116a 第1表示部
116b 第2表示部
116c 第3表示部
117 音声情報出力制御部
118 スピーカー
119 死角対象物体テーブル
120 意図解釈テーブル
121 移動機構
201 メイン筐体
202 第1球冠部
203 第2球冠部
204 カメラ
205 固定板金
206 アーム
207 重り
1001 隙間
1002 ソファ
1003 クローゼット
1004 カーテン

Claims (13)

  1. 所定の空間を二次元的に移動しながらユーザと相互作用する装置であって、
    移動機構と、
    物体に反射された電磁波もしくは音波を検知するセンサと、
    前記装置の周辺の音声を取得するマイクと、
    スピーカーと、
    プロセッサと、
    メモリと、を備え、
    前記プロセッサは、
    前記取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、前記メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、
    前記移動機構を制御して前記装置を前記第1領域に移動させ、
    前記スピーカーに、第1音声を出力させ、
    所定の数をカウントし、
    前記所定の数をカウントしている時に、前記センサに前記ユーザの移動軌跡を追跡させ、
    前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、
    前記取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、
    前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、
    前記装置がかくれんぼにおいて意図的に負けるか否か決定し、
    前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、
    前記スピーカーに、第2音声を出力させ、
    前記取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、
    前記取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる、
    装置。
  2. 前記プロセッサは、
    前記装置が意図的に負けると決定された場合は、前記第2テーブルを参照して、前記所定範囲外の第2死角を選択し、
    前記移動機構を制御して前記装置を前記第2死角へ移動させ、
    前記スピーカーに、前記第2音声を出力させ、
    前記取得された音声に、前記第3発話が含まれていると判断された場合は、前記スピーカーに、前記第3音声を出力させ、
    前記取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、前記第4音声を出力させる、
    請求項1記載の装置。
  3. 前記センサは、カメラ、赤外線センサ、超音波センサ及びレーザーセンサの少なくとも1つを含む、
    請求項1記載の装置。
  4. 前記プロセッサは、
    前記取得された音声に、前記第3発話が含まれていないと判断された場合であって、前記センサが、前記ユーザが前記第2テーブルに含まれていない第3死角に隠れていたことを検知した場合は、前記第3死角と前記第3死角の位置とを対応づけて前記第2テーブルに記憶させる、
    請求項1記載の装置。
  5. 前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知した場合は、前記スピーカーに、前記第3音声を出力させる、
    請求項1記載の装置。
  6. ディスプレイをさらに備え、
    前記プロセッサは、
    前記第1音声を出力させる際に、前記ディスプレイに、前記第1音声に対応する第1表示を表示させ、
    前記第2音声を出力させる際に、前記ディスプレイに、前記第2音声に対応する第2表示を表示させ、
    前記第3音声を出力させる際に、前記ディスプレイに、前記第3音声に対応する第3表示を表示させ、
    前記第4音声を出力させる際に、前記ディスプレイに、前記第4音声に対応する第4表示を表示させる、
    請求項1記載の装置。
  7. 前記ディスプレイは、前記装置の表情を両目と口とによって表示し、
    前記第1音声は、かくれんぼの開始を示し、
    前記第1表示は、笑顔を示す、
    請求項6記載の装置。
  8. 前記ディスプレイは、前記装置の表情を両目と口とによって表示し、
    前記第2音声は、前記ユーザを発見したことを示し、
    前記第2表示は、笑顔を示す、
    請求項6記載の装置。
  9. 前記ディスプレイは、前記装置の表情を両目と口とによって表示し、
    前記第3音声は、かくれんぼで前記ユーザに勝ったことを示し、
    前記第3表示は、笑顔を示す、
    請求項6記載の装置。
  10. 前記ディスプレイは、前記装置の表情を両目と口とによって表示し、
    前記第4音声は、かくれんぼで前記ユーザに負けたことを示し、
    前記第4表示は、悲しみの表情を示す、
    請求項6記載の装置。
  11. 請求項1記載の装置はロボットであり、
    球体の第1側部と前記第1側部に対向する第2側部とをカットしたメイン筐体と、
    前記第1側部に対応する第1球冠部と、
    前記第2側部に対応する第2球冠部と、
    を備えるロボット。
  12. 所定の空間を二次元的に移動しながらユーザと相互作用する装置における方法であって、
    前記装置が、
    マイクによって取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、
    移動機構を制御して前記装置を前記第1領域に移動させ、
    スピーカーに、第1音声を出力させ、
    所定の数をカウントし、
    前記所定の数をカウントしている時に、物体に反射された電磁波もしくは音波を検知するセンサに前記ユーザの移動軌跡を追跡させ、
    前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、
    前記マイクによって取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、
    前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、
    前記装置がかくれんぼにおいて意図的に負けるか否か決定し、
    前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、
    前記スピーカーに、第2音声を出力させ、
    前記マイクによって取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、
    前記マイクによって取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる、
    方法。
  13. 所定の空間を二次元的に移動しながらユーザと相互作用するためのプログラムであって、
    前記ユーザと相互作用する装置が備えるプロセッサに、
    マイクによって取得された音声に、前記ユーザが前記装置とかくれんぼを開始する旨の第1発話が含まれていると判断された場合は、メモリに記憶された第1テーブルを参照して、前記空間において死角数が最小となる第1領域を選択し、前記第1テーブルは前記空間に含まれる複数の領域と前記複数の領域における死角数とを対応付け、
    移動機構を制御して前記装置を前記第1領域に移動させ、
    スピーカーに、第1音声を出力させ、
    所定の数をカウントし、
    前記所定の数をカウントしている時に、物体に反射された電磁波もしくは音波を検知するセンサに前記ユーザの移動軌跡を追跡させ、
    前記所定の数をカウントし終わった場合は、前記スピーカーに、前記所定の数をカウントし終わったことを示す音声を出力させ、
    前記マイクによって取得された音声に、前記ユーザが隠れ終わったことを示す第2発話が含まれていると判断された場合は、前記移動機構を制御して前記装置を前記空間における前記装置が移動可能な全領域を移動させ、
    前記装置が前記全領域を移動し終えるまでに前記センサが前記ユーザを検知しなかった場合は、前記メモリに記憶された第2テーブルを参照して、前記移動軌跡の終端から所定範囲にある第1死角を選択し、前記第2テーブルは、前記空間における死角と前記死角の位置とを対応付け、
    前記装置がかくれんぼにおいて意図的に負けるか否か決定し、
    前記装置が意図的に負けないと決定された場合は、前記移動機構を制御して前記装置を前記第1死角へ移動させ、
    前記スピーカーに、第2音声を出力させ、
    前記マイクによって取得された音声に、前記ユーザがかくれんぼで負けたことを認める第3発話が含まれていると判断された場合は、前記スピーカーに、第3音声を出力させ、
    前記マイクによって取得された音声に、前記第3発話が含まれていないと判断された場合は、前記スピーカーに、第4音声を出力させる、
    処理を実行させるプログラム。
JP2018001815A 2018-01-10 2018-01-10 相互作用装置、相互作用方法、相互作用プログラム及びロボット Active JP6989395B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018001815A JP6989395B2 (ja) 2018-01-10 2018-01-10 相互作用装置、相互作用方法、相互作用プログラム及びロボット
US16/170,011 US11036218B2 (en) 2018-01-10 2018-10-24 Interaction apparatus, interaction method, recording medium storing interaction program, and robot
EP18211087.4A EP3511058A1 (en) 2018-01-10 2018-12-07 Interaction apparatus, interaction method, recording medium storing interaction program, and robot
CN201811508590.3A CN110014432A (zh) 2018-01-10 2018-12-11 交互装置、交互方法、交互程序以及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018001815A JP6989395B2 (ja) 2018-01-10 2018-01-10 相互作用装置、相互作用方法、相互作用プログラム及びロボット

Publications (2)

Publication Number Publication Date
JP2019118698A JP2019118698A (ja) 2019-07-22
JP6989395B2 true JP6989395B2 (ja) 2022-01-05

Family

ID=64661201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018001815A Active JP6989395B2 (ja) 2018-01-10 2018-01-10 相互作用装置、相互作用方法、相互作用プログラム及びロボット

Country Status (4)

Country Link
US (1) US11036218B2 (ja)
EP (1) EP3511058A1 (ja)
JP (1) JP6989395B2 (ja)
CN (1) CN110014432A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7102169B2 (ja) * 2018-02-28 2022-07-19 パナソニックホールディングス株式会社 装置、ロボット、方法、及びプログラム
US11531343B1 (en) * 2019-04-22 2022-12-20 Amazon Technologies, Inc. System for user interactions with an autonomous mobile device
WO2021171855A1 (ja) * 2020-02-27 2021-09-02 パナソニックIpマネジメント株式会社 情報提示方法、情報提示装置、及び、プログラム
CN115427126B (zh) * 2020-12-10 2023-12-26 松下知识产权经营株式会社 机器人控制方法以及信息提供方法
CN115440206A (zh) * 2022-03-16 2022-12-06 北京罗克维尔斯科技有限公司 多音区语音识别方法、装置、车辆及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CS150358B1 (ja) 1969-09-16 1973-09-04
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6494457B2 (en) * 2000-07-26 2002-12-17 Shelly Conte Enhanced hide and seek game and method of playing game
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
JP2006068489A (ja) * 2004-08-02 2006-03-16 Tomy Co Ltd 対話型ペットロボット
JP4976903B2 (ja) * 2007-04-05 2012-07-18 本田技研工業株式会社 ロボット
US8092271B2 (en) * 2007-12-20 2012-01-10 Hallmark Cards, Incorporated Interactive toy with positional sensor
JP5418072B2 (ja) * 2009-08-28 2014-02-19 富士通株式会社 監視制御装置及び監視システム
JP2011087833A (ja) * 2009-10-26 2011-05-06 Universal Entertainment Corp ベースゲームの実行数に応じて共通ゲームを実行可能とするゲーミングマシン及びそのゲーム制御方法
KR101019655B1 (ko) * 2009-12-04 2011-03-07 (주) 퓨처로봇 사용 유도 장치 및 방법
JP5407898B2 (ja) 2010-01-25 2014-02-05 株式会社豊田中央研究所 対象物検出装置及びプログラム
US9087386B2 (en) * 2012-11-30 2015-07-21 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
WO2016147704A1 (ja) * 2015-03-18 2016-09-22 日本電気株式会社 監視装置、監視システム、監視方法、及びコンピュータ読み取り可能な記録媒体
FR3046034B1 (fr) * 2015-12-23 2020-10-09 Oreal Appareil de traitement de la chevelure
JP6402320B2 (ja) * 2016-04-08 2018-10-10 Groove X株式会社 人見知りする自律行動型ロボット
JP6653446B2 (ja) * 2016-05-06 2020-02-26 パナソニックIpマネジメント株式会社 ロボット
JP6735013B2 (ja) * 2016-05-31 2020-08-05 パナソニック株式会社 ロボット
CN106345129B (zh) * 2016-10-19 2019-01-18 广州智惟高教育科技有限公司 一种智能玩具机器人的控制***
CN107174828A (zh) * 2017-05-25 2017-09-19 合肥矽智科技有限公司 一种基于arm的智能感应儿童玩具机器人

Also Published As

Publication number Publication date
US11036218B2 (en) 2021-06-15
EP3511058A1 (en) 2019-07-17
JP2019118698A (ja) 2019-07-22
CN110014432A (zh) 2019-07-16
US20190212728A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6989395B2 (ja) 相互作用装置、相互作用方法、相互作用プログラム及びロボット
US9195305B2 (en) Recognizing user intent in motion capture system
CN102129343B (zh) 运动捕捉***中的受指导的表演
CN102622774B (zh) 起居室电影创建
KR102463806B1 (ko) 이동이 가능한 전자 장치 및 그 동작 방법
US10702768B1 (en) Advanced gameplay system
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
JP2010257461A (ja) ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム
US20160008718A1 (en) Infrared reflective device interactive projection effect system
US20240012471A1 (en) Variable effects activation in an interactive environment
US20230218984A1 (en) Methods and systems for interactive gaming platform scene generation utilizing captured visual data and artificial intelligence-generated environment
JP6845121B2 (ja) ロボットおよびロボット制御方法
US11991437B2 (en) Robot, control processing method, and non-transitory computer readable recording medium storing control processing program
JP2021190100A (ja) 方法、プログラム、情報処理装置
JP7317322B2 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11797079B2 (en) Variable effects activation in an interactive environment
JP2022152443A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
KR20240007564A (ko) 복수의 사용자들에게 당구 게임 서비스를 제공하는 장치 및 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200605

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R151 Written notification of patent or utility model registration

Ref document number: 6989395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151