JPH08318052A - 不特定多数の観客の反応に対応するロボットシステム - Google Patents
不特定多数の観客の反応に対応するロボットシステムInfo
- Publication number
- JPH08318052A JPH08318052A JP7150912A JP15091295A JPH08318052A JP H08318052 A JPH08318052 A JP H08318052A JP 7150912 A JP7150912 A JP 7150912A JP 15091295 A JP15091295 A JP 15091295A JP H08318052 A JPH08318052 A JP H08318052A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- spectators
- audience
- data
- spectator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Toys (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
(57)【要約】
【目的】 不特定多数の観客ときめ細かいやり取りがで
き、これまでにない斬新なアピール効果に優れたロボッ
トシステムを提供する。 【構成】 ロボットシステム100は、観客に対して所
定の動作を行うロボット101と、ロボット101の動
作データを記憶する動作データ記憶部166と、観客数
検出手段108と、検出された観客数に応じて動作デー
タの所定のものを選択するデータ選択手段と、その選択
された動作データに基づいてロボットを制御するロボッ
ト制御部102とを含む。
き、これまでにない斬新なアピール効果に優れたロボッ
トシステムを提供する。 【構成】 ロボットシステム100は、観客に対して所
定の動作を行うロボット101と、ロボット101の動
作データを記憶する動作データ記憶部166と、観客数
検出手段108と、検出された観客数に応じて動作デー
タの所定のものを選択するデータ選択手段と、その選択
された動作データに基づいてロボットを制御するロボッ
ト制御部102とを含む。
Description
【0001】
【産業上の利用分野】本発明はロボットシステムに関
し、特に不特定多数の観客の反応に対応するロボットシ
ステムに関する。
し、特に不特定多数の観客の反応に対応するロボットシ
ステムに関する。
【0002】
【従来の技術】従来、各種イベント等に使用されるロボ
ットで、観客と双方向のコミュニケーションを行うこと
ができるロボットとしては、文字情報の視覚的なやり取
りや、音声認識機能等に基づく対話を、特定の個人との
間で可能としたものが各種提案されている。
ットで、観客と双方向のコミュニケーションを行うこと
ができるロボットとしては、文字情報の視覚的なやり取
りや、音声認識機能等に基づく対話を、特定の個人との
間で可能としたものが各種提案されている。
【0003】
【発明が解決しようとする課題】上記従来のロボット
は、個人との間のコミュニケーションについては比較的
高度な内容をやり取りすることが可能であるが、不特定
多数の観客とのコミュニケーションにおいては、観客の
集団としての反応にきめ細かく対応することが困難で、
ロボットの動作や反応が画一的となってしまう欠点があ
った。
は、個人との間のコミュニケーションについては比較的
高度な内容をやり取りすることが可能であるが、不特定
多数の観客とのコミュニケーションにおいては、観客の
集団としての反応にきめ細かく対応することが困難で、
ロボットの動作や反応が画一的となってしまう欠点があ
った。
【0004】本発明の課題は、不特定多数の観客ときめ
細かいやり取りができ、これまでにない斬新なアピール
効果に優れたロボットシステムを提供することにある。
細かいやり取りができ、これまでにない斬新なアピール
効果に優れたロボットシステムを提供することにある。
【0005】
【課題を解決するための手段、作用及び効果】本発明は
観客情報から多様な対応をするロボットに係り、上述の
課題を解決するために、観客に対して所定の動作を行う
ロボットと、そのロボットに行わせるべき複数の動作に
対応する動作データを記憶する動作データ記憶部と、観
客数を検出する観客数検出手段と、その観客数検出手段
により検出された観客数に応じて動作データの所定のも
のを選択するデータ選択手段と、その選択された動作デ
ータに基づいてロボットを制御するロボット制御部とを
含むことを特徴とする。このように構成されたロボット
システムにおいては、観客の数が観客数検出手段により
検出され、ロボットがその観客数に応じた動作を行うの
で、観客の集団としての反応にもきめ細かく的確に対応
することができる。
観客情報から多様な対応をするロボットに係り、上述の
課題を解決するために、観客に対して所定の動作を行う
ロボットと、そのロボットに行わせるべき複数の動作に
対応する動作データを記憶する動作データ記憶部と、観
客数を検出する観客数検出手段と、その観客数検出手段
により検出された観客数に応じて動作データの所定のも
のを選択するデータ選択手段と、その選択された動作デ
ータに基づいてロボットを制御するロボット制御部とを
含むことを特徴とする。このように構成されたロボット
システムにおいては、観客の数が観客数検出手段により
検出され、ロボットがその観客数に応じた動作を行うの
で、観客の集団としての反応にもきめ細かく的確に対応
することができる。
【0006】観客数検出手段は、ロボットの周囲に配置
されてそれぞれ観客を検出する複数の光学式センサを含
むものとして構成することができる。この場合、観客を
検出している光学式センサの個数から観客数を検出する
ことができる。光学式センサとしては、反射式あるいは
透過式の赤外線センサが使用できる。また赤外線に代え
て可視光や紫外線を利用するものを用いることができ
る。また、観客を検出することができるものであれば、
光学式センサ以外のセンサ、例えば超音波センサ等を使
用することもできる。また、それらセンサを観客の周囲
に配置する代わりに、CCDセンサ等の画像センサによ
り観客の集団の像を検出し、その画像データから観客数
を検出するように構成することもできる。
されてそれぞれ観客を検出する複数の光学式センサを含
むものとして構成することができる。この場合、観客を
検出している光学式センサの個数から観客数を検出する
ことができる。光学式センサとしては、反射式あるいは
透過式の赤外線センサが使用できる。また赤外線に代え
て可視光や紫外線を利用するものを用いることができ
る。また、観客を検出することができるものであれば、
光学式センサ以外のセンサ、例えば超音波センサ等を使
用することもできる。また、それらセンサを観客の周囲
に配置する代わりに、CCDセンサ等の画像センサによ
り観客の集団の像を検出し、その画像データから観客数
を検出するように構成することもできる。
【0007】一方、観客数検出手段を、観客の反応音を
検出する反応音検出手段とし、その検出された反応音の
音量及び波形の少なくともいずれかに基づいて観客数を
検出するように構成することができる。観客の反応音と
しては、観客の拍手、どよめき音あるいはざわめき音、
笑い声、ブーイング等を使用することができる。このよ
うな反応音検出手段による観客数の検出は、光学式セン
サによる検出と併用することができる。その場合、光学
式センサにより全体の観客の数を検出する一方、反応音
検出手段により特定の反応(例えば拍手等)を行った観
客の数を全体とは区別して検出することができる。そし
て、その反応を行った観客の数に応じて、データ選択手
段によりロボットの動作データを選択するように構成す
ることができる。このようにすれば、観客の特定の反応
の大小に応じてロボットに多様な動作を行わせることが
でき、ひいてはロボットと観客集団との間のコミュニケ
ーション内容をより高度なものとすることが可能とな
る。
検出する反応音検出手段とし、その検出された反応音の
音量及び波形の少なくともいずれかに基づいて観客数を
検出するように構成することができる。観客の反応音と
しては、観客の拍手、どよめき音あるいはざわめき音、
笑い声、ブーイング等を使用することができる。このよ
うな反応音検出手段による観客数の検出は、光学式セン
サによる検出と併用することができる。その場合、光学
式センサにより全体の観客の数を検出する一方、反応音
検出手段により特定の反応(例えば拍手等)を行った観
客の数を全体とは区別して検出することができる。そし
て、その反応を行った観客の数に応じて、データ選択手
段によりロボットの動作データを選択するように構成す
ることができる。このようにすれば、観客の特定の反応
の大小に応じてロボットに多様な動作を行わせることが
でき、ひいてはロボットと観客集団との間のコミュニケ
ーション内容をより高度なものとすることが可能とな
る。
【0008】次に、データ選択手段は、観客数が予め定
められた値を越えて検出された場合には、喜びの動作に
対応する動作データを選択するように構成することがで
きる。また逆に、観客数が予め定められた値を下回って
検出された場合には、落胆、悲しみ又は怒りの動作に対
応する動作データを選択するように構成することもでき
る。これにより、多数の観客とのやり取りにおいて、ロ
ボットに的確な感情表現を行わせることができる。
められた値を越えて検出された場合には、喜びの動作に
対応する動作データを選択するように構成することがで
きる。また逆に、観客数が予め定められた値を下回って
検出された場合には、落胆、悲しみ又は怒りの動作に対
応する動作データを選択するように構成することもでき
る。これにより、多数の観客とのやり取りにおいて、ロ
ボットに的確な感情表現を行わせることができる。
【0009】
【実施例】以下、本発明のいくつかの実施例を図面を用
いて説明する。図1は、本発明のロボットシステムの一
構成例を示すものである。ロボットシステム100は、
ロボット101とロボット制御部102を備える。
いて説明する。図1は、本発明のロボットシステムの一
構成例を示すものである。ロボットシステム100は、
ロボット101とロボット制御部102を備える。
【0010】ロボット101は、図2に示すように、関
節機構31〜37で互いに接続された下記の骨格単位を
有する骨格19を備える。 ・頭部20:それぞれ駆動可能な目部20aと口部20
cを備え、目部20aには明滅可能なランプ20bが配
置される。また、口部20cは開閉駆動可能とされてい
る。ここで、図1に示すように、口部20cの開閉駆動
は口部開閉制御部111により、ランプ20bの明滅は
ランプ点灯制御部112によりそれぞれ制御される。ま
た、口部20cに対応して、ロボット102がメッセー
ジ等を音声出力するためのスピーカ115が設けられ、
これにアンプ114及び音声合成部113が接続されて
いる。また、口部20cの開閉は、スピーカ115から
の音声出力と同期して制御されるようになっている。な
お、スピーカ115はロボット101と一体に設けて
も、ロボット101と分離して設けても、いずれでもよ
い。 ・肩21、背骨22、腰骨23:これらは、互いに結合
されて胴体部を形成している。 ・左右の腕部:それぞれ上腕骨24、下腕骨25、手首
29を備える。 ・左右の脚部:それぞれ上肢骨26、下肢骨27、足首
30を備える。 ここで、各骨格単位は、関節機構31〜37に設けられ
たパルスモータ、サーボモータ、ピストンシリンダ等の
骨格駆動アクチュエータ110(図1)により駆動さ
れ、その駆動制御は図1の骨格駆動制御部109が行
う。
節機構31〜37で互いに接続された下記の骨格単位を
有する骨格19を備える。 ・頭部20:それぞれ駆動可能な目部20aと口部20
cを備え、目部20aには明滅可能なランプ20bが配
置される。また、口部20cは開閉駆動可能とされてい
る。ここで、図1に示すように、口部20cの開閉駆動
は口部開閉制御部111により、ランプ20bの明滅は
ランプ点灯制御部112によりそれぞれ制御される。ま
た、口部20cに対応して、ロボット102がメッセー
ジ等を音声出力するためのスピーカ115が設けられ、
これにアンプ114及び音声合成部113が接続されて
いる。また、口部20cの開閉は、スピーカ115から
の音声出力と同期して制御されるようになっている。な
お、スピーカ115はロボット101と一体に設けて
も、ロボット101と分離して設けても、いずれでもよ
い。 ・肩21、背骨22、腰骨23:これらは、互いに結合
されて胴体部を形成している。 ・左右の腕部:それぞれ上腕骨24、下腕骨25、手首
29を備える。 ・左右の脚部:それぞれ上肢骨26、下肢骨27、足首
30を備える。 ここで、各骨格単位は、関節機構31〜37に設けられ
たパルスモータ、サーボモータ、ピストンシリンダ等の
骨格駆動アクチュエータ110(図1)により駆動さ
れ、その駆動制御は図1の骨格駆動制御部109が行
う。
【0011】次に、図1に戻って、ロボット制御部10
2は、I/Oポート150と、これに接続されるCPU
151、RAM152、ROM153等を備える。I/
Oポート150には、マイク105がアンプ104及び
A/D変換器103を介して接続されている。このマイ
ク105は、例えば図3に示すように、ホールやイベン
ト会場等において、ロボット101の動作の場となる舞
台250の上方に設置され、観客席251に収容された
観客252からの反応音253を検出する。
2は、I/Oポート150と、これに接続されるCPU
151、RAM152、ROM153等を備える。I/
Oポート150には、マイク105がアンプ104及び
A/D変換器103を介して接続されている。このマイ
ク105は、例えば図3に示すように、ホールやイベン
ト会場等において、ロボット101の動作の場となる舞
台250の上方に設置され、観客席251に収容された
観客252からの反応音253を検出する。
【0012】図1に戻り、I/Oポート150には、光
学式センサとしての赤外線センサ108と、それに接続
されたアンプ107及びA/D変換器106の組とが複
数接続されている。そして図4に示すように、それら赤
外線センサ108が、舞台250あるいは観客席251
に適宜分散して配置され、それぞれその検出範囲内に観
客252が存在するか否かを検出する。ここで、各赤外
線センサ108は、センサ1つにつき5ないし10人の
観客252が対応するように、その配置間隔及び感度が
調整される。
学式センサとしての赤外線センサ108と、それに接続
されたアンプ107及びA/D変換器106の組とが複
数接続されている。そして図4に示すように、それら赤
外線センサ108が、舞台250あるいは観客席251
に適宜分散して配置され、それぞれその検出範囲内に観
客252が存在するか否かを検出する。ここで、各赤外
線センサ108は、センサ1つにつき5ないし10人の
観客252が対応するように、その配置間隔及び感度が
調整される。
【0013】図1に戻り、I/Oポート150には、前
述の骨格駆動制御部109、口部開閉制御部111、ラ
ンプ点灯制御部112、音声合成部113が接続され
る。
述の骨格駆動制御部109、口部開閉制御部111、ラ
ンプ点灯制御部112、音声合成部113が接続され
る。
【0014】また、ROM153には、以下の各プログ
ラムとデータが格納されている。 (1)人数判定プログラム(I)160:赤外線センサ108
(図4)の検出結果に基づいて観客数Nを算出する。 (2)人数判定プログラム(II)161:マイク105(図
3)が検出する観客の反応音に基づいて、その反応音を
発する観客の数Mを算出する。 (3)ロボット駆動制御プログラム162:人数判定プロ
グラム(I)及び(II)が算出した観客数N及びMに応じ
て、図2に示す骨格19及び口部20cの駆動、ランプ
20bの明滅、さらにスピーカ115からの音声出力を
制御し、ロボット101に所定の動作を行わせる。
ラムとデータが格納されている。 (1)人数判定プログラム(I)160:赤外線センサ108
(図4)の検出結果に基づいて観客数Nを算出する。 (2)人数判定プログラム(II)161:マイク105(図
3)が検出する観客の反応音に基づいて、その反応音を
発する観客の数Mを算出する。 (3)ロボット駆動制御プログラム162:人数判定プロ
グラム(I)及び(II)が算出した観客数N及びMに応じ
て、図2に示す骨格19及び口部20cの駆動、ランプ
20bの明滅、さらにスピーカ115からの音声出力を
制御し、ロボット101に所定の動作を行わせる。
【0015】(4)「拍手」標準波形データ163、「笑
い」標準波形データ164、「ブーイング」標準波形デ
ータ165:各種観客人数における、観客の「拍手」
音、「笑い」音、「ブーイング」音の標準波形データを
それぞれ与える。マイク105が検出する観客の反応音
の種類とその人数を判定するための、参照用データとし
ての役割を果たす(なお、以下の説明では、反応音を拍
手音で代表させる)。図5に、「拍手」標準波形データ
163の構成例を示しており、5〜200人の各種人数
の観客による拍手音の波形データが含まれている。
い」標準波形データ164、「ブーイング」標準波形デ
ータ165:各種観客人数における、観客の「拍手」
音、「笑い」音、「ブーイング」音の標準波形データを
それぞれ与える。マイク105が検出する観客の反応音
の種類とその人数を判定するための、参照用データとし
ての役割を果たす(なお、以下の説明では、反応音を拍
手音で代表させる)。図5に、「拍手」標準波形データ
163の構成例を示しており、5〜200人の各種人数
の観客による拍手音の波形データが含まれている。
【0016】(5)ロボット駆動データ166:ロボット
101に定められた動作を実行させるための、各骨格駆
動アクチュエータ110の駆動データを与える。その動
作の種類に応じて複数のデータが用意されており、例え
ば「喜び」動作データ166a、「落胆」動作データ1
66b、「怒り」動作データ166c、さらには「自
慢」動作データ、「悲しみ」動作データ等のロボットの
感情表現に関連した動作データの他、それ以外の動作デ
ータ、例えば音楽に合わせて踊る動作のデータ等を含
む。
101に定められた動作を実行させるための、各骨格駆
動アクチュエータ110の駆動データを与える。その動
作の種類に応じて複数のデータが用意されており、例え
ば「喜び」動作データ166a、「落胆」動作データ1
66b、「怒り」動作データ166c、さらには「自
慢」動作データ、「悲しみ」動作データ等のロボットの
感情表現に関連した動作データの他、それ以外の動作デ
ータ、例えば音楽に合わせて踊る動作のデータ等を含
む。
【0017】ここで、上記動作データにより実現される
ロボットの動作は、具体的に次のようなものを例示する
ことができる。 ・「喜び」動作:両腕を広げる、万歳をする、マイクを
勢いよく取って歌いだす、マイクを持った腕を振り上げ
る等。 ・「落胆」動作:うつむいて落胆するポーズをとる、手
を後に組んでとぼとぼ歩く、マイクをゆっくり取ってし
ぶしぶ歌いだす等。 ・「怒り」動作:地団駄を踏む、頭をかきむしる、そば
にある物を蹴り上げる等。 ・「悲しみ」動作:両手で顔を覆いうずくまる、肩をし
ゃくり上げて泣く等。 ・「自慢」動作:両手を腰に当てて胸をそらせる等。
ロボットの動作は、具体的に次のようなものを例示する
ことができる。 ・「喜び」動作:両腕を広げる、万歳をする、マイクを
勢いよく取って歌いだす、マイクを持った腕を振り上げ
る等。 ・「落胆」動作:うつむいて落胆するポーズをとる、手
を後に組んでとぼとぼ歩く、マイクをゆっくり取ってし
ぶしぶ歌いだす等。 ・「怒り」動作:地団駄を踏む、頭をかきむしる、そば
にある物を蹴り上げる等。 ・「悲しみ」動作:両手で顔を覆いうずくまる、肩をし
ゃくり上げて泣く等。 ・「自慢」動作:両手を腰に当てて胸をそらせる等。
【0018】(6)音声データ167:上述のロボットの
動作に合わせて、スピーカ115から出力するロボット
音声のデータを与え、メッセージデータ167a、歌声
データ167b、その歌声の伴奏音を作るためのカラオ
ケデータ167c等を含む。図6にメッセージデータ1
67aの内容を示す。
動作に合わせて、スピーカ115から出力するロボット
音声のデータを与え、メッセージデータ167a、歌声
データ167b、その歌声の伴奏音を作るためのカラオ
ケデータ167c等を含む。図6にメッセージデータ1
67aの内容を示す。
【0019】また、RAM152には、以下の各記憶部
が形成されている。 (1)観客数格納部152a:赤外線センサ108の検出
結果に基づいて算出された観客数Nを格納する。 (2)拍手観客数格納部152b:マイク105の検出結
果に基づいて算出された、拍手した観客の人数(拍手観
客数)Mを格納する。 (3)赤外線センサ出力格納部152c:人数判定プログ
ラム(I)160による観客数Nの算出に当り、各赤外線
センサ108からの出力データを一時格納する。 (4)波形データ格納部152d:人数判定プログラム(I
I)161による拍手観客数Mの算出に当り、マイク10
5が検出する音声波形データを一時格納する。
が形成されている。 (1)観客数格納部152a:赤外線センサ108の検出
結果に基づいて算出された観客数Nを格納する。 (2)拍手観客数格納部152b:マイク105の検出結
果に基づいて算出された、拍手した観客の人数(拍手観
客数)Mを格納する。 (3)赤外線センサ出力格納部152c:人数判定プログ
ラム(I)160による観客数Nの算出に当り、各赤外線
センサ108からの出力データを一時格納する。 (4)波形データ格納部152d:人数判定プログラム(I
I)161による拍手観客数Mの算出に当り、マイク10
5が検出する音声波形データを一時格納する。
【0020】以下、ロボットシステム1の作動とその処
理の流れをフローチャートを用いて説明する。まず、ロ
ボット駆動制御プログラム(以下、駆動制御プログラム
という)162(図1)の起動に伴い、図7のS1におい
て、舞台250に登場する動作をロボット101に行わ
せる。次に、S2で人数判定プログラム(I)160により
算出された人数データNを読み込む。
理の流れをフローチャートを用いて説明する。まず、ロ
ボット駆動制御プログラム(以下、駆動制御プログラム
という)162(図1)の起動に伴い、図7のS1におい
て、舞台250に登場する動作をロボット101に行わ
せる。次に、S2で人数判定プログラム(I)160により
算出された人数データNを読み込む。
【0021】図10は、人数判定プログラム(I)160
により、観客数Nを算出する処理の流れを示しており、
R1で各赤外線センサ108(図4等)の出力データを読
み込む。そして、出力が所定の値Q以上のセンサは観客
を検出しているとみなして、その条件を満たすセンサの
個数Pを算出する(R2)。そして、センサ1つにつきS
人の観客を検出しているものとして、観客数N=P×S
を算出し、その値をRAM152の観客数格納部152
aに格納する。
により、観客数Nを算出する処理の流れを示しており、
R1で各赤外線センサ108(図4等)の出力データを読
み込む。そして、出力が所定の値Q以上のセンサは観客
を検出しているとみなして、その条件を満たすセンサの
個数Pを算出する(R2)。そして、センサ1つにつきS
人の観客を検出しているものとして、観客数N=P×S
を算出し、その値をRAM152の観客数格納部152
aに格納する。
【0022】駆動制御プログラム162では図7のS3に
進み、観客数Nが100を越えているかどうかによって
以下の処理が決定される。Nが100を越えている場合
は、ロボット101に「喜び」動作を行わせる。すなわ
ち、S4でロボット101に両腕を広げさせ、S5でメッセ
ージ209(図6)をスピーカ115(図1)から出力
させる。すなわち、ロボット101は両腕を広げながら
「うわあ。すごいお客さんだ。ようし、今日はがんばる
ぞ。」という音声を発することとなる。そして、S6、S7
において、ロボット101がマイクを勢いよく取り上
げ、「それでは今週の第1きょくー。」という音声を発
する処理が行われ、さらに図8のS12、S13に進み、ロボ
ット101がマイクを持って踊りながらカラオケ音楽に
合わせて歌う処理が行われる。
進み、観客数Nが100を越えているかどうかによって
以下の処理が決定される。Nが100を越えている場合
は、ロボット101に「喜び」動作を行わせる。すなわ
ち、S4でロボット101に両腕を広げさせ、S5でメッセ
ージ209(図6)をスピーカ115(図1)から出力
させる。すなわち、ロボット101は両腕を広げながら
「うわあ。すごいお客さんだ。ようし、今日はがんばる
ぞ。」という音声を発することとなる。そして、S6、S7
において、ロボット101がマイクを勢いよく取り上
げ、「それでは今週の第1きょくー。」という音声を発
する処理が行われ、さらに図8のS12、S13に進み、ロボ
ット101がマイクを持って踊りながらカラオケ音楽に
合わせて歌う処理が行われる。
【0023】一方、S3においてNが100以下であった
場合は、S8〜S11の「落胆」動作の処理となる。これに
よりロボット101は、うつむいて落胆のポーズを取
り、「なあんだ。今日はこれだけか。お客さんいないと
淋しいなあ。」と発声し、さらに「しょうがない、今日
は1曲だけにしよ。」と発声しながらゆっくりとマイク
を取り上げ、しぶしぶ歌い始める動作を経て図8のS12
に進む。
場合は、S8〜S11の「落胆」動作の処理となる。これに
よりロボット101は、うつむいて落胆のポーズを取
り、「なあんだ。今日はこれだけか。お客さんいないと
淋しいなあ。」と発声し、さらに「しょうがない、今日
は1曲だけにしよ。」と発声しながらゆっくりとマイク
を取り上げ、しぶしぶ歌い始める動作を経て図8のS12
に進む。
【0024】次に、S14で曲が終了すると、人数判定プ
ログラム(II)161により算出された拍手人数データM
が読み込まれる(S15)。図11は人数判定プログラム(I
I)161より、拍手観客数Mを算出する処理の流れを示
しており、マイク105による拍手音の測定波形出力を
読み込み、これを図5の「拍手」標準波形データ163
と照合する(T1、T2)。そして、測定波形に最も近い標
準波形がどれであるかを判定し、その標準波形に対応す
る観客人数から拍手観客数Mを決定して、RAM152
の拍手観客数格納部152bに格納する(T3、T4)。な
お、人数別の標準波形データを使用する代わりに、拍手
音の音量に基づいて、拍手観客数Mを算出するようにし
てもよい。
ログラム(II)161により算出された拍手人数データM
が読み込まれる(S15)。図11は人数判定プログラム(I
I)161より、拍手観客数Mを算出する処理の流れを示
しており、マイク105による拍手音の測定波形出力を
読み込み、これを図5の「拍手」標準波形データ163
と照合する(T1、T2)。そして、測定波形に最も近い標
準波形がどれであるかを判定し、その標準波形に対応す
る観客人数から拍手観客数Mを決定して、RAM152
の拍手観客数格納部152bに格納する(T3、T4)。な
お、人数別の標準波形データを使用する代わりに、拍手
音の音量に基づいて、拍手観客数Mを算出するようにし
てもよい。
【0025】そして図8に戻り、駆動制御プログラム1
62側では、読み込んだ拍手観客数Mが100を越えて
いる場合には「喜び」動作処理となり(S17、S18)、ロ
ボット101はマイクを持った腕を振り上げて「すごい
や。オレってプロかもしれない」と発声し、処理を終了
する。一方、Mが100以下の場合は「悲しみ」動作処
理となり(S19、S20)、ロボット101は両手で顔を覆
ってうずくまり、「一生懸命歌ったのに。あんまりだ。
エーン。」という泣き声を発することとなる。
62側では、読み込んだ拍手観客数Mが100を越えて
いる場合には「喜び」動作処理となり(S17、S18)、ロ
ボット101はマイクを持った腕を振り上げて「すごい
や。オレってプロかもしれない」と発声し、処理を終了
する。一方、Mが100以下の場合は「悲しみ」動作処
理となり(S19、S20)、ロボット101は両手で顔を覆
ってうずくまり、「一生懸命歌ったのに。あんまりだ。
エーン。」という泣き声を発することとなる。
【0026】ここで拍手観客数Mに複数の範囲を設定
し、その範囲に応じてロボット101に異なる動作を行
わせるようにすることもできる。例えば、図8のS16〜S
20を図9のS112〜S120に差し替えることにより、次のよ
うな処理が可能となる。すなわち、拍手観客数Mは、5
0未満、50〜100、及び100以上の3範囲に分割
され(S112、S115、S118)、それぞれ、地団駄を踏んで
「拍手が小さい」と発声する「怒り」動作(S113、S11
4)、頭をかきむしりながら地団駄を踏んで「まだまだ
拍手が小さい」と発声する別の「怒り」動作(S116、S1
17)、及び両手を腰に当てて胸をそらせ、「えっへん。
どんなもんだ。このくらい拍手がなくっちゃな。」と発
声する「自慢」動作(S119、S120)が行われるようにな
っている。そして、観客252からの拍手が段階的に大
きくなる場合は、その段階的に大きくなる拍手を間に挟
んで上記3動作及び発声が連続して行われるように処理
が行われ、ロボット101と観客252との間でのユー
モラスなやり取りが実現する。
し、その範囲に応じてロボット101に異なる動作を行
わせるようにすることもできる。例えば、図8のS16〜S
20を図9のS112〜S120に差し替えることにより、次のよ
うな処理が可能となる。すなわち、拍手観客数Mは、5
0未満、50〜100、及び100以上の3範囲に分割
され(S112、S115、S118)、それぞれ、地団駄を踏んで
「拍手が小さい」と発声する「怒り」動作(S113、S11
4)、頭をかきむしりながら地団駄を踏んで「まだまだ
拍手が小さい」と発声する別の「怒り」動作(S116、S1
17)、及び両手を腰に当てて胸をそらせ、「えっへん。
どんなもんだ。このくらい拍手がなくっちゃな。」と発
声する「自慢」動作(S119、S120)が行われるようにな
っている。そして、観客252からの拍手が段階的に大
きくなる場合は、その段階的に大きくなる拍手を間に挟
んで上記3動作及び発声が連続して行われるように処理
が行われ、ロボット101と観客252との間でのユー
モラスなやり取りが実現する。
【0027】一方、拍手音に代えて他の反応音、例えば
「ブーイング」音を使用する場合、ブーイングを発した
観客数が一定の値を超えたときに、ロボット101に
「怒り」動作を行わせるなど、拍手音を使用する場合と
は逆の処理を行うようにすることができる。
「ブーイング」音を使用する場合、ブーイングを発した
観客数が一定の値を超えたときに、ロボット101に
「怒り」動作を行わせるなど、拍手音を使用する場合と
は逆の処理を行うようにすることができる。
【0028】次に、図1に示すように、観客数検出手段
として、赤外線センサ108に代えて、あるいは赤外線
センサ108とともに、画像センサとしての2次元CC
Dセンサ(以下、単にCCDセンサという)120(あ
るいはCCDカメラ)を設けることができる。CCDセ
ンサ120は、シーケンサ121、アンプ122、A/
D変換器123、及びセンサ出力を2値化するための比
較器124を備えたセンサコントローラ119を介して
I/Oポート150に接続される。このようなCCDセ
ンサ120が、例えば図12に示すように、舞台250
上方の、観客席251を見込む位置に据え付けられ、図
13に示すように、観客席251に着席した観客252
の集団の画像を検出する。ここで、観客席251は、全
体を黒ないし白等の明暗のはっきりした色彩で均一に着
色しておくことが望ましい。例えば、図13に示すよう
に、観客席251を黒で着色しておけば、CCDセンサ
120による観客252の像は、背景の観客席251よ
りも明るく表れるので、像検出視野120aの面積に対
する観客252の像の合計面積の比率から観客数Nを検
出することができる。
として、赤外線センサ108に代えて、あるいは赤外線
センサ108とともに、画像センサとしての2次元CC
Dセンサ(以下、単にCCDセンサという)120(あ
るいはCCDカメラ)を設けることができる。CCDセ
ンサ120は、シーケンサ121、アンプ122、A/
D変換器123、及びセンサ出力を2値化するための比
較器124を備えたセンサコントローラ119を介して
I/Oポート150に接続される。このようなCCDセ
ンサ120が、例えば図12に示すように、舞台250
上方の、観客席251を見込む位置に据え付けられ、図
13に示すように、観客席251に着席した観客252
の集団の画像を検出する。ここで、観客席251は、全
体を黒ないし白等の明暗のはっきりした色彩で均一に着
色しておくことが望ましい。例えば、図13に示すよう
に、観客席251を黒で着色しておけば、CCDセンサ
120による観客252の像は、背景の観客席251よ
りも明るく表れるので、像検出視野120aの面積に対
する観客252の像の合計面積の比率から観客数Nを検
出することができる。
【0029】なお、以上説明した実施例においては、観
客数Nあるいは拍手観客数Mを、観客の絶対数を示すも
のとして、ロボットの動作決定の処理に使用している
が、これらは必ずしも観客の絶対数を示すものとする必
要はなく、観客数の大小を相対的に示すものであっても
よい。例えば、観客を検出している赤外線センサ108
の個数Pそのものを、ロボットの動作決定処理に使用し
てもよい。
客数Nあるいは拍手観客数Mを、観客の絶対数を示すも
のとして、ロボットの動作決定の処理に使用している
が、これらは必ずしも観客の絶対数を示すものとする必
要はなく、観客数の大小を相対的に示すものであっても
よい。例えば、観客を検出している赤外線センサ108
の個数Pそのものを、ロボットの動作決定処理に使用し
てもよい。
【図1】本発明のロボットシステムの全体構成を示すブ
ロック図。
ロック図。
【図2】ロボット骨格の模式図。
【図3】マイクの配置状態を示す側面模式図。
【図4】赤外線センサの配置状態を示す平面模式図。
【図5】「拍手」標準波形データの構成説明図。
【図6】メッセージデータの構成説明図。
【図7】ロボット駆動制御プログラムの流れを示すフロ
ーチャート。
ーチャート。
【図8】図7のAに続くフローチャート。
【図9】図8の一部を置き換えるためのフローチャー
ト。
ト。
【図10】人数判定プログラム(I)による処理の流れを
示すフローチャート。
示すフローチャート。
【図11】人数判定プログラム(II)による処理の流れを
示すフローチャート。
示すフローチャート。
【図12】画像センサの配置状態を示す側面模式図。
【図13】画像センサによる観客の像を示す模式図。
100 ロボットシステム 101 ロボット 102 ロボット制御部 105 マイク(反応音検出手段) 108 赤外線センサ(観客数検出手段、光学式セン
サ) 120 2次元CCDセンサ(観客数検出手段) 153 ROM(動作データ記憶部) 252 観客
サ) 120 2次元CCDセンサ(観客数検出手段) 153 ROM(動作データ記憶部) 252 観客
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G10L 3/00 551 G06F 15/62 380
Claims (5)
- 【請求項1】 観客に対して所定の動作を行うロボット
と、 そのロボットに行わせるべき複数の動作に対応する動作
データを記憶する動作データ記憶部と、 観客数を検出する観客数検出手段と、 その観客数検出手段により検出された観客数に応じて、
前記動作データの所定のものを選択するデータ選択手段
と、 その選択された動作データに基づいて前記ロボットを制
御するロボット制御部と、 を含むことを特徴とする不特定多数の観客の反応に対応
するロボットシステム。 - 【請求項2】 前記観客数検出手段は、ロボットの周囲
に配置されてそれぞれ観客を検出する複数の光学式セン
サを含むものである請求項1記載のロボットシステム。 - 【請求項3】 前記観客数検出手段は、観客の反応音を
検出する反応音検出手段を備え、その検出された反応音
の音量及び波形の少なくともいずれかに基づいて前記観
客数を検出するものである請求項1又は2に記載のロボ
ットシステム。 - 【請求項4】 前記データ選択手段は、前記観客数が予
め定められた値を越えて検出された場合には、喜びの動
作に対応する動作データを選択するものである請求項1
ないし3のいずれかに記載のロボットシステム。 - 【請求項5】 前記データ選択手段は、前記観客数が予
め定められた値を下回って検出された場合には、落胆、
悲しみ又は怒りの動作に対応する動作データを選択する
ものである請求項1ないし4のいずれかに記載のロボッ
トシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7150912A JPH08318052A (ja) | 1995-05-24 | 1995-05-24 | 不特定多数の観客の反応に対応するロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7150912A JPH08318052A (ja) | 1995-05-24 | 1995-05-24 | 不特定多数の観客の反応に対応するロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08318052A true JPH08318052A (ja) | 1996-12-03 |
Family
ID=15507114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7150912A Pending JPH08318052A (ja) | 1995-05-24 | 1995-05-24 | 不特定多数の観客の反応に対応するロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08318052A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002166378A (ja) * | 2000-11-30 | 2002-06-11 | Sony Corp | ロボット装置 |
JP2007118129A (ja) * | 2005-10-27 | 2007-05-17 | Advanced Telecommunication Research Institute International | コミュニケーションロボットおよびそれを用いた注意制御システム |
US7693514B2 (en) | 2003-08-18 | 2010-04-06 | Honda Motor Co., Ltd. | Information gathering robot |
KR101348611B1 (ko) * | 2012-04-25 | 2014-01-15 | (주)디지엔터테인먼트 | 로봇제어장치 및 방법 |
WO2014147989A1 (ja) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | コミュニケーションシステム及びロボット |
WO2018135276A1 (ja) * | 2017-01-19 | 2018-07-26 | シャープ株式会社 | 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法 |
-
1995
- 1995-05-24 JP JP7150912A patent/JPH08318052A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002166378A (ja) * | 2000-11-30 | 2002-06-11 | Sony Corp | ロボット装置 |
US7693514B2 (en) | 2003-08-18 | 2010-04-06 | Honda Motor Co., Ltd. | Information gathering robot |
JP2007118129A (ja) * | 2005-10-27 | 2007-05-17 | Advanced Telecommunication Research Institute International | コミュニケーションロボットおよびそれを用いた注意制御システム |
KR101348611B1 (ko) * | 2012-04-25 | 2014-01-15 | (주)디지엔터테인먼트 | 로봇제어장치 및 방법 |
CN105027542A (zh) * | 2013-03-22 | 2015-11-04 | 丰田自动车株式会社 | 通讯***以及机器人 |
JP2014186421A (ja) * | 2013-03-22 | 2014-10-02 | Toyota Motor Corp | コミュニケーションシステム及びロボット |
WO2014147989A1 (ja) * | 2013-03-22 | 2014-09-25 | トヨタ自動車株式会社 | コミュニケーションシステム及びロボット |
US10277185B2 (en) | 2013-03-22 | 2019-04-30 | Toyota Jidosha Kabushiki Kaisha | Communication system and robot |
WO2018135276A1 (ja) * | 2017-01-19 | 2018-07-26 | シャープ株式会社 | 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法 |
CN110177660A (zh) * | 2017-01-19 | 2019-08-27 | 夏普株式会社 | 言行控制装置、机器人、控制程序及言行控制装置的控制方法 |
JPWO2018135276A1 (ja) * | 2017-01-19 | 2019-11-07 | シャープ株式会社 | 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法 |
CN110177660B (zh) * | 2017-01-19 | 2022-06-14 | 夏普株式会社 | 言行控制装置、机器人、存储介质及控制方法 |
US11400601B2 (en) | 2017-01-19 | 2022-08-02 | Sharp Kabushiki Kaisha | Speech and behavior control device, robot, storage medium storing control program, and control method for speech and behavior control device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Marrin | Toward an understanding of musical gesture: Mapping expressive intention with the digital baton | |
US7366664B2 (en) | Interactive book | |
TW581959B (en) | Robotic (animal) device and motion control method for robotic (animal) device | |
US7750223B2 (en) | Musical interaction assisting apparatus | |
Fels | Designing for intimacy: Creating new interfaces for musical expression | |
JPH10289006A (ja) | 疑似感情を用いた制御対象の制御方法 | |
WO2018093806A1 (en) | Embodied dialog and embodied speech authoring tools for use with an expressive social robot | |
JP2005506003A (ja) | 自動写真撮影 | |
EP3525199A1 (en) | Communication apparatus and control program thereof | |
Pressing | Some perspectives on performed sound and music in virtual environments | |
JP2002049385A (ja) | 音声合成装置、疑似感情表現装置及び音声合成方法 | |
JPH11212582A (ja) | 振り付け採点機能を有するカラオケ装置 | |
JP2002278575A (ja) | 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体 | |
Hahn et al. | Pikapika–the collaborative composition of an interactive sonic character | |
Fels et al. | Musikalscope: A graphical musical instrument | |
JPH08318052A (ja) | 不特定多数の観客の反応に対応するロボットシステム | |
US20020072293A1 (en) | Personal computer system having and operating an external animated doll device | |
WO2006011342A1 (ja) | 楽音生成装置および楽音生成システム | |
WO2015008756A1 (ja) | 投影装置、制御装置、制御プログラム、および投影制御方法 | |
JPH08318053A (ja) | 観客情報から多様な対応をするロボットシステム | |
JP7495125B2 (ja) | ロボット、音声合成プログラム、及び音声出力方法 | |
TWI402784B (zh) | Music detection system based on motion detection, its control method, computer program products and computer readable recording media | |
Cosentino et al. | Human–robot musical interaction | |
JPH09160575A (ja) | カラオケ表示装置 | |
JP6972526B2 (ja) | コンテンツ提供装置、コンテンツ提供方法、及びプログラム |