JP2002261966A - コミュニケーション支援システムおよび撮影装置 - Google Patents

Abstract

(57)【要約】 【課題】人との対話を模擬することによって人の孤独感
の精神的なケアを可能とするとともに、プライバシを侵
害しない範囲で対話者の画像を携帯端末に転送して対話
者の異常の有無を看視可能とする。 【解決手段】ロボット１は、マイクロホン１１とスピー
カ１２とが接続され自然言語を用いた音声による対話を
対話者との間で行う対話処理手段２１と、対話者を撮像
するＴＶカメラ１３が接続されＴＶカメラ１３で撮像さ
れた映像をデジタル化した映像データを出力する映像処
理手段２２と、映像データをネットワークに送出する通
信手段２３とを備える。映像データは通信回線３を通し
て映像サーバ４に転送され、閲覧が許可された携帯端末
２から映像サーバ４をアクセスすることによって、映像
データを携帯端末２に表示することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コミュニケーショ
ン支援システムおよび撮影装置に関するものである。

【０００２】

【従来の技術】一般に、高齢者は外出の機会が少なく他
者との会話が少ないから、家族が会話の相手になってい
ることが多い。また、高齢者では体力の衰えから家庭内
での事故も多く、事故を未然に防止したり事故があれば
迅速に対処するために、家族が常に見守っていることも
必要である。このような事情から、高齢者とともに生活
している家族は高齢者を家に残して外出することが難し
く、旅行など言うに及ばず、買い物や習い事すらままな
らないことが多い。

【０００３】一方、最近では、あたかも意思を持つかの
ように行動するペットロボットと称する種類のロボット
が製品化されており、この種のロボットとしては、たと
えば犬型のペットロボットが「ＡＩＢＯ」（ソニー社の
商品名）という名称で製品化されている。このロボット
は、人の声の調子や表情や触れ方などを監視して学習す
ることによって、従来の機械装置のように刺激に対する
応答が定式化せず刺激に対する応答が状況に応じて変化
することになり、成長しているかのように振る舞った
り、人とコミュニケーションをしているかのように錯覚
させることが可能になり、一種の癒し機能を有するもの
になっている。ただし、このペットロボットは、犬の動
きを模倣してエンターテインメントを指向するものであ
り、高齢者とのコミュニケーションの支援を目的とする
ものではない。

【０００４】一方、高齢者とのコミュニケーションを主
たる目的としたペットロボットとしては、松下電器産業
株式会社から猫型あるいは熊型のロボットが提案されて
おり、このペットロボットは高齢者の快適な生活に貢献
するために、簡単な日常会話とペットのような振る舞い
が行えるほか、遠隔地からペットロボットの使用状況を
間接的に把握する機能も備えている。したがって、この
ペットロボットは高齢者の話し相手となって高齢者の精
神的なケアを行い、また高齢者の独居生活の安全の確認
を遠隔地から行うことが可能になっている。このペット
ロボットは、通信回線（双方向ＣＡＴＶ施設にデジタル
通信システム技術およびモバイル通信技術を複合した通
信回線）を介して福祉サービス支援センタに設置された
センタ設備と接続されるものであって、独居している高
齢者の安全を確認する際には、ペットロボットに発話さ
せるメッセージをセンタ設備から通信回線を通してペッ
トロボットに伝送し、ペットロボットから高齢者に向か
ってメッセージを音声によって伝える。このときの高齢
者の応答をセンタ設備に返送し、センタ設備に設けた推
論装置によって生活の状況を推論することによって、高
齢者の安全の確認を行う。推論装置では、たとえばペッ
トロボットの発話に対して高齢者の応答がないときに、
異常が生じている可能性があるなどと推論するのであ
る。

【０００５】

【発明が解決しようとする課題】上述したペットロボッ
トには、生き物のように反応する機能があり、前者のペ
ットロボットには対話機能がないものの、後者のペット
ロボットは対話機能を備えているから、高齢者の孤独感
を軽減することが可能と考えられる。しかしながら、後
者のペットロボットは、公共施設である福祉サービス支
援センタに通信回線を介して接続されるものであるか
ら、高齢者の生活のプライバシが侵害されることのない
ように、高齢者の生活の様子を撮影した映像を転送する
機能は備えていない。したがって、異常が生じていると
推論したときにも、現場に赴かなければどのような異常
が生じているかを確認することができず、病気やけがの
ように迅速な対処が要求される事態に対しての処置に遅
れが生じる可能性がある。

【０００６】家族が外出したり旅行したりする際に家に
残した高齢者の様子を確認するのであれば、テレビ電話
に代表されるように画像の転送が可能な機器を用いるこ
とが考えられるが、この種の機器は通話時において映像
の転送も可能としているに過ぎず、通話時以外に高齢者
の会話の相手になる機能はなく、通話時以外に高齢者の
精神的なケアを行う機能はない。このような事情は高齢
者を抱える家庭だけではなく、病人を抱える家庭におい
ても同様である。

【０００７】本発明は上記事由に鑑みて為されたもので
あり、その目的は、人との対話を模擬することによって
人の孤独感の精神的なケアを可能とするとともに、プラ
イバシを侵害しない範囲で対話者の画像を携帯端末に転
送して対話者の異常の有無を看視可能としたコミュニケ
ーション支援システムおよび撮影装置を提供することに
ある。

【０００８】

【課題を解決するための手段】請求項１の発明は、音声
入力装置と音声出力装置とが接続され自然言語を用いた
音声による対話を対話者との間で行う対話処理手段と、
対話者を撮像する映像入力装置が接続され映像入力装置
で撮像された映像をデジタル化した映像データを出力す
る映像処理手段と、映像データをネットワークに送出す
る通信手段と、ネットワークを通して対話者の映像デー
タの閲覧が許可されている携帯端末と、映像データを携
帯端末に表示可能なフォーマットに変換する変換手段と
を備えるものである。この構成によれば、対話処理手段
を用いて人との対話を模擬するから対話者は孤独感に対
する精神的なケアがなされる。また、対話者の映像デー
タの閲覧は許可されている携帯端末のみで可能であるか
ら、携帯端末を対話者の家族のみが携帯できるようにす
るように使用することによって、他人のプライバシを侵
害しない範囲で対話者の画像を携帯端末に転送して対話
者の異常の有無を看視可能とすることができる。その結
果、高齢者や病人を抱える家庭においても高齢者や病人
の様子を携帯端末により遠方から看視することができ、
安心して外出することができるようになる。

【０００９】請求項２の発明は、請求項１の発明におい
て、前記変換手段がネットワークを介して転送された映
像データを蓄積する映像サーバに設けられ、映像サーバ
では携帯端末の所持者に許容される映像データのみを選
別して携帯端末に転送するものである。この構成によれ
ば、対話者の映像データを蓄積する映像サーバを設けた
ことによって、過去に遡って映像データを閲覧すること
が可能になる。

【００１０】請求項３の発明は、請求項１の発明におい
て、前記変換手段が映像処理手段と通信手段との一方に
設けられているものである。この構成によれば、映像サ
ーバを設けることなく対話者の映像データを携帯端末か
ら閲覧することができ、システム構成が簡単である。

【００１１】請求項４の発明は、請求項１ないし請求項
３の発明において、前記映像処理手段が前記携帯端末か
らの指示により対話者の映像データを通信手段を通して
ネットワークに送出させるものである。この構成によれ
ば、携帯端末から映像データの送出を指示するから、携
帯端末の所持者が要求したときの映像を見ることができ
る。

【００１２】請求項５の発明は、請求項１ないし請求項
４の発明において、前記映像処理手段が前記対話処理手
段を通して対話者が指示した命令に応答して動作するも
のである。この構成によれば、対話者が自身の意思で映
像を撮影させるから、たとえば対話者が異常を感じたと
きに映像データを送って携帯端末の所持者に知らせるこ
とが可能になる。

【００１３】請求項６の発明は、請求項１ないし請求項
５の発明において、前記映像処理手段が対話者からの指
示により動作しているか前記携帯端末からの指示によっ
て動作しているかを被指示側に報知する報知手段を備え
るものである。この構成によれば、対話者からと携帯端
末からとのどちらからも映像処理手段の制御を可能とし
ながらも、両者の指示が混乱することがない。

【００１４】請求項７の発明は、請求項１ないし請求項
６の発明において、対話者の接触を検出する接触センサ
が付加され、接触センサにより対話者の接触が検出され
ると前記対話処理手段が起動するものである。この構成
によれば、対話者が対話しようとするときに接触センサ
に接触することによって対話処理手段が起動されるか
ら、周囲の雑音や対話者以外の他人の音声によって対話
処理手段が誤動作するのを防止することができる。

【００１５】請求項８の発明は、請求項１ないし請求項
７の発明において、前記映像入力手段によって対話者の
映像が撮影されていることを対話者に示す手段を備える
ものである。この構成によれば、対話者がいつ撮影され
ているかを知ることができるから、プライバシの都合で
撮影されたくないときには撮影されない場所に移動する
などの対処が可能になる。

【００１６】請求項９の発明は、請求項１ないし請求項
８の発明において、前記対話処理手段が、対話者による
音声入力を確認するように対話者に質問する機能を有
し、対話者による肯定の応答を受けると対話者による音
声入力を確定するものである。この構成によれば、復唱
によって対話者の音声入力を確認するから、対話者の発
生した音声を確実に理解することが可能になる。

【００１７】請求項１０の発明は、請求項９の発明にお
いて、前記対話処理手段が、対話者による肯定の応答を
教師信号として対話者の発生する音声を学習するもので
ある。この構成によれば、対話者との対話によって対話
者の発生する音声を学習することで認識率が高くなる。

【００１８】請求項１１の発明は、請求項１ないし請求
項１０の発明において、前記携帯端末で閲覧した映像デ
ータを前記ネットワーク上の他の端末に転送する手段を
設けたものである。この構成によれば、映像データを他
の端末に転送することにより、たとえば携帯端末の所持
者が対話者の異常に気づいたときに映像データを医者に
送ることで対処のアドバイスを受けるなどの使用が可能
になる。

【００１９】請求項１２の発明は、請求項１ないし請求
項１１の発明において、前記携帯端末から映像データの
閲覧が要求されたことを前記対話者に通知する通知手段
を備えるものである。この構成によれば、対話者である
高齢者や病人を抱える家庭においても家族が携帯端末を
用いて外出先から高齢者や病人の様子を看視したとき
に、高齢者や病人に対しては通知手段によって家族が確
認したことが通知されるから、高齢者や病人にとっては
家族が確認してくれたことを知ることができ安心感が得
られる。

【００２０】請求項１３の発明は、請求項１２の発明に
おいて、前記通知手段が前記携帯端末の識別情報を用い
て映像データの閲覧者を通知する機能を備えるものであ
る。この構成によれば、映像データを誰が確認したかを
知ることができるから、より安心することができる。

【００２１】請求項１４の発明は、請求項１３の発明に
おいて、前記通知手段が映像データの閲覧者ごとに割り
当てた報知部を備えるものである。この構成によれば、
文字データなどによらずに報知部を視認すれば閲覧者を
識別することができるから、閲覧者が映像データを確認
したことを知るだけでなく誰が閲覧したかも直感的に知
ることができる。

【００２２】請求項１５の発明は、音声入力装置と音声
出力装置とが接続され自然言語を用いた音声による対話
を対話者との間で行う対話処理手段と、対話者を撮像す
る映像入力装置が接続され映像入力装置で撮像された映
像をデジタル化した映像データを出力する映像処理手段
と、映像データをネットワークに送出する通信手段と、
ネットワークを通して対話者の映像データの閲覧が許可
されている携帯端末に表示可能なフォーマットとなるよ
うに映像データを変換する変換手段とを備えるものであ
る。この構成によれば、対話処理手段を用いて人との対
話を模擬するから対話者は孤独感に対する精神的なケア
がなされる。また、対話者の映像データの閲覧は許可さ
れている携帯端末のみで可能であるから、携帯端末を対
話者の家族のみが携帯できるようにするように使用する
ことによって、他人のプライバシを侵害しない範囲で対
話者の画像を携帯端末に転送して対話者の異常の有無を
看視可能とすることができる。その結果、高齢者や病人
を抱える家庭においても高齢者や病人の様子を携帯端末
により遠方から看視することができ、安心して外出する
ことができるようになる。

【００２３】請求項１６の発明は、請求項１５の発明に
おいて、現在日時を計時する時計手段と、対話者が撮像
されたときに時計手段で計時されている日時を文字とし
て映像データに合成して通信手段から送出させるスーパ
インポーズ処理手段とが付加されたものである。この構
成によれば、各映像データに映像の撮像された日時が添
付されているから、映像が撮像された日時と映像データ
を携帯端末によって閲覧する日時とに大きな時間差があ
るようなときに、閲覧者は映像データに添付されている
日時を確認することによって、最新の映像を求めるなど
の対処が可能になる。

【００２４】請求項１７の発明は、請求項１６の発明に
おいて、前記通信手段を通してネットワークに送出され
る映像データおよび通信の成功・失敗の結果を前記時計
手段で計時されている日時に対応付けて順次記録して蓄
積するとともに無給電で記録内容を保持する記憶手段が
付加されているものである。この構成によれば、通信手
段から映像データが送出されず携帯端末によって映像デ
ータを確認することができないような場合にも、記憶手
段に蓄積された映像データによって対話者の健康状態な
どを後日確認することができ、また通信の成功・失敗の
結果を送信履歴として記憶手段に格納しているから、メ
ンテナンス時に通信手段の異常の有無などを容易に知る
ことができる。

【００２５】請求項１８の発明は、請求項１５ないし請
求項１７の発明において、前記映像入力装置の傾きを検
出する姿勢センサが付加され、前記映像処理手段では映
像入力装置により撮像された映像を正立させるように姿
勢センサにより検出された傾きに基づいて映像を補正す
るものである。この構成によれば、姿勢センサにより得
られている情報に基づいて映像の傾きを除去するように
補正するから、映像入力装置が傾いているような場合、
たとえば水平ではない場所に撮影装置が配置されている
場合や対話者が撮影装置を持ち上げているような場合に
おいても、撮影装置が水平面上に配置されている状態と
同様の映像を得ることができる。

【００２６】請求項１９の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向を変更可能とする首振り駆動手段と、前記映像入力装
置の中央付近に対話者を撮像するように規定したテンプ
レートが登録可能であって、映像入力装置で撮像された
映像とテンプレートとを照合して類似度が大きくなるよ
うに首振り駆動手段を制御するパターン処理手段とが付
加されているものである。この構成によれば、映像入力
装置により撮像された映像とテンプレートとの類似度が
大きくなるように映像入力装置の視野の向きが制御され
るから、適切なテンプレートが設定されていれば対話者
を映像入力装置の視野の中央付近に捕捉するように映像
入力装置の向きを調節することが可能になる。

【００２７】請求項２０の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向を指向性を有する方向に一致させた第２の音声入力装
置と、前記映像入力装置の視野の方向と第２の音声入力
装置が指向性を有する方向とを同時に変更可能とする首
振り駆動手段と、前記第２の音声入力装置の出力の音レ
ベルが大きくなる向きに首振り駆動手段を制御する音レ
ベル処理手段とが付加されているものである。この構成
によれば、音レベルによって対話者の存在する方向を推
定することができるから、映像入力装置の視野を音レベ
ルの大きくなる向きに調節することによって、映像入力
装置の視野内に対話者を捕捉できる可能性が高くなる。

【００２８】請求項２１の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向に存在する音源に対して出力の位相差がゼロになるよ
うに配置した複数個の第３の音声入力装置と、第３の音
声入力装置の位相差を小さくする向きに首振り駆動手段
を制御する位相差検出手段とを付加したものである。こ
の構成によれば、複数個の音声入力装置の位相差を小さ
くするように映像入力装置の視野を調節することによっ
て、映像入力装置の視野内に対話者を捕捉することが可
能になる。

【００２９】請求項２２の発明は、請求項１５ないし請
求項２１の発明において、前記映像入力装置の前方に前
記映像入力装置の光軸方向に直交させた形で配置したハ
ーフミラーが付加されているものである。この構成によ
れば、対話者がハーフミラーに自身の姿を映した状態で
は映像入力装置の正面に対話者が存在することになるか
ら、対話者の意思によって対話者を映像入力装置で確実
に撮像することが可能になる。

【００３０】請求項２３の発明は、請求項１５ないし請
求項２１の発明において、外部のディスプレイ装置が接
続可能であって前記映像入力装置により撮像された映像
データをディスプレイ装置に表示可能とする映像出力手
段が付加されているものである。この構成によれば、対
話者は、映像入力装置により撮像されている映像を映像
出力手段に接続したディスプレイ装置によってその場で
確認できるから、対話者は自身の映り具合を確認するこ
とができるだけでなく周囲の様子も確認して適切な映像
が撮像されているか否かを確認することができる。

【００３１】請求項２４の発明は、請求項１５ないし請
求項２３の発明において、前記対話者が抱えることを可
能とする外殻を有し、前記対話者が抱えたときに対話者
の心拍音を検出可能な心拍センサと、心拍センサにより
検出された心拍音を記録する心拍記録装置とが付加され
ているものである。この構成によれば、映像によって対
話者の健康状態を知るだけではなく、心拍音によっても
対話者の健康状態を確認することが可能になり、対話者
に関して得られる情報を複合することによって対話者の
健康状態をより正確に知ることが可能になる。しかも、
心拍センサとして対話者が抱えたときに心拍音を集音す
る構成を採用しているから、手間をかけることなく心拍
音の集音が可能になる。

【００３２】請求項２５の発明は、請求項１５ないし請
求項２４の発明において、前記携帯端末から映像データ
の閲覧が要求されたことを前記対話者に通知する通知手
段を備えるものである。この構成によれば、対話者であ
る高齢者や病人を抱える家庭においても家族が携帯端末
を用いて外出先から高齢者や病人の様子を看視したとき
に、高齢者や病人に対しては通知手段によって家族が確
認したことが通知されるから、高齢者や病人にとっては
家族が確認してくれたことを知ることができ安心感が得
られる。

【００３３】請求項２６の発明は、請求項２５の発明に
おいて、前記通知手段が前記携帯端末の識別情報を用い
て映像データの閲覧者を通知する機能を備えるものであ
る。この構成によれば、映像データを誰が確認したかを
知ることができるから、より安心することができる。

【００３４】請求項２７の発明は、請求項２６の発明に
おいて、前記通知手段が映像データの閲覧者ごとに割り
当てた報知部を備えるものである。この構成によれば、
文字データなどによらずに報知部を視認すれば閲覧者を
識別することができるから、閲覧者が映像データを確認
したことを知るだけでなく誰が閲覧したかも直感的に知
ることができる。

【００３５】

【発明の実施の形態】（第１の実施の形態）まず、本発
明に用いるシステムの全体構成について説明する。本実
施形態は、図１に示すように、高齢者や病人（以下で
は、ロボット１と対話する者という意味で単に「対話
者」と呼ぶ）がいる宅内に配置されるロボット１と、こ
のロボット１にインタネットのようなネットワークを含
む通信回線３を介して接続される携帯端末２とを用い
る。ロボット１は、音声による対話の機能と、周囲を撮
像する機能と、映像を含むデータの通信機能とを備えて
いる。本実施形態においては、ロボット１が犬型の外観
を呈するものとして説明するが、動物などの動きを模擬
することは必須要件ではなく、上述した機能を備えてい
るものであれば、外観形状や動きについてはとくに問題
にする必要はない。本実施形態では、携帯端末２として
画像表示機能を有する携帯電話を想定する。また、通信
回線３には、ロボット１により撮像した映像を一時的に
蓄積する映像サーバ４が接続される。

【００３６】ロボット１は、音声による対話を行うため
に、耳としてのマイクロホン１１（音声入力装置）と口
としてのスピーカ１２（音声出力装置）とを備え、また
ロボット１の周囲の撮像のために、目としての小型のＴ
Ｖカメラ１３（映像入力装置）を備える。マイクロホン
１１およびスピーカ１２は対話処理手段２１に接続され
ており、対話処理手段２１ではマイクロホン１１および
スピーカ１２を通して自然言語による対話処理が可能に
なっている。一方、ＴＶカメラ１３は映像処理手段２２
に接続され、映像処理手段２２ではＴＶカメラ１３によ
り撮像された映像の輝度やコントラストを調整したり、
映像信号をデジタル化したりする。対話処理手段２１お
よび映像処理手段２２は、マイコンを主構成要素とする
信号処理部２０を構成する。

【００３７】映像処理手段２２の後段には通信手段２３
が接続され、通信手段２３では映像信号を通信回線３に
送出することができるデータフォーマットに圧縮して通
信回線３に送出する。圧縮された映像信号（以下では、
映像データという）は通信回線３に接続されている映像
サーバ４に一時的に蓄積される。ここで、映像サーバ４
は、映像データのサイズや色調を携帯端末２の画面に表
示可能なフォーマットに変換する変換手段としての機能
を有する。したがって、携帯端末２から専用のインター
ネット接続サービス（携帯電話において提供されている
インターネット接続サービス等）を通して映像サーバ４
にアクセスすれば、映像サーバ４に蓄積された画像を携
帯端末２の画面に表示させることができる。映像データ
は映像サーバ４によって携帯端末２の画面に表示可能な
フォーマットに変換されているから、ロボット１で撮像
された映像を携帯端末２によって確認することができ
る。なお、映像データは静止画でもよいが動画が望まし
い。ただし、携帯端末２では一般に映像の記憶に用いる
メモリ容量に制限があるから、映像データを携帯端末２
に取り込んだ後に再生することは難しく、現状での通信
回線３における通信速度および映像の圧縮技術を考慮す
るとテレビ電話程度の動画になる。

【００３８】ところで、通信手段２３には通知手段２８
が接続されており、当該ロボット１により撮像され映像
サーバ４に蓄積された画像が携帯端末２によって閲覧さ
れたときに、通知手段２８は聴覚的手段（スピーカ）な
いし視覚的手段（ランプ）を用いて対話者に画像が閲覧
された旨を通知する。すなわち、対話者の家族などが携
帯端末２を用いて映像サーバ４に蓄積されている画像を
閲覧すれば、映像サーバ４の画像の閲覧がロボット１に
通知され通知手段２８により対話者に通知されることに
なる。このことによって、対話者は家族などが自身の状
況を確認してくれたという安心感を持つことができ、不
安感を解消することができる。

【００３９】映像サーバ４に映像データを蓄積するタイ
ミングは、携帯端末２からの指示によって決定する。つ
まり、携帯端末２からの指示により映像サーバ４を通し
てロボット１に映像データの蓄積を要求し、映像サーバ
４に蓄積された画像を携帯端末２に転送させる。ただ
し、携帯端末２から映像データの転送を要求したときに
ロボット１と対話する対話者がロボット１の近くにいな
い場合があり、また映像データの転送を要求した時点よ
りも過去の映像データを閲覧したい場合もあるから、Ｔ
Ｖカメラ１３による撮像をあらかじめ指定した間に定期
的に行って映像データを映像サーバ４に蓄積しておいて
もよい。このように、ＴＶカメラ１３で撮像した映像デ
ータを映像サーバ４に蓄積するタイミングと、携帯端末
２によって映像サーバ４から映像データを読み出すタイ
ミングとをずらせば、携帯端末２から映像サーバ４に指
示を与えた後に、映像サーバ４から携帯端末２に映像デ
ータを転送する時間だけ待てば映像データを見ることが
できるから、映像を見るまでの応答時間を短縮すること
ができる。なお、この場合には各映像データに撮像時刻
を添付しておくのが望ましい。

【００４０】また、映像サーバ４に蓄積された画像が他
人によって閲覧されることがないように、映像サーバ４
に蓄積された各映像データへのアクセスは、各携帯端末
２からの識別情報に応じて制限される。たとえば、携帯
端末２として携帯電話を用いる場合には、携帯電話の電
話番号を識別情報に用い、映像サーバ４では当該電話番
号に対応付けられている映像データのみを携帯電話に転
送する。識別情報は電話番号に限定されるものではな
く、映像サーバ４にアクセスした後に暗証番号を識別情
報に用いたり、複数の情報の組み合わせを識別情報に用
いたりすることもできる。

【００４１】上述のように、映像サーバ４に蓄積された
映像データにアクセスする際には、携帯端末２からの識
別情報を確認するために、映像サーバ４には識別情報と
名前のような個人データとを対応付けたデータベースを
設けてある。データベースは携帯端末２からの識別情報
が入力されたときに、個人データをロボット１に転送
し、対話者に対して通知手段２８を通して個人データを
通知するようにしてある。この目的のために通知手段２
８は音声によって個人データを通知するか、あるいは別
途に小型のディスプレイ装置を設けて個人データを表示
する。この構成により、対話者は映像サーバ４にアクセ
スした人の確認ができ、対話者に対して安心感を与える
ことができる。

【００４２】ところで、本実施形態では、携帯端末２を
通して得られた映像のうちから必要なものを選択し電子
メールに添付して適宜の送付先に転送可能としてある。
つまり、映像サーバ４では携帯端末２によって指定され
た映像データにインデクスを付与し、この映像データを
携帯端末２で入力された電子メールの添付書類として扱
うことができるようにしてある。したがって、携帯端末
２を通して得た映像により撮像された対話者に何らかの
異常が認められるような場合には、かかりつけの医者に
映像データを添付した電子メールを送信することが可能
になり、医者のアドバイスを受けるなどの適切な処置が
可能になる。

【００４３】上述のように、映像サーバ４を通して携帯
端末２で再生することができる映像をＴＶカメラ１３で
撮像するから、ＴＶカメラ１３によって撮像するタイミ
ングがロボット１と対話する対話者にとっては不都合な
ときもある。たとえば、身内といえども着替え中に撮像
されるのはプライバシ上で好ましくない。そこで、ロボ
ット１と対話する対話者にＴＶカメラ１３での撮像中で
あることを報知するために、ロボット１には表示手段２
７を設けてある。表示手段２７は発光ダイオードでよ
く、ＴＶカメラ１３での撮像中に点灯させることによっ
て対話者に報知することができる。

【００４４】ところで、対話処理手段２１は、図２に示
す構成を有し、音声による簡単な対話が可能になってい
る。マイクロホン１１を通して入力された音声は音声認
識部３１に入力される。ロボット１の使用環境に鑑みれ
ば周囲雑音もマイクロホン１１を通して入力されている
ことが多いから、音声認識部３１では、マイクロホン１
１から入力された音声の特徴パラメータを抽出し、音声
の継続性や周波数分布に基づいて音声と雑音とを分離す
るとともに話者認識を行う。話者認識を行うのは、テレ
ビジョンやラジオからの音声と対話者の音声との誤認を
避けるためである。話者認識や雑音の分離に要する情報
をここでは音響モデルＭ１と呼ぶことにする。また、音
声認識部３１においは、標準パターンとの照合によって
単語認識を行い、音声をテキストデータＴＸＴ１に変換
して出力する。ここに、単語認識を行う標準パターンの
情報をここでは言語モデルＭ２と呼ぶことにする。

【００４５】テキストデータＴＸＴ１は対話管理部３２
に入力される。対話管理部３２は、一種の推論エンジン
であって、テキストデータＴＸＴ１を知識ベースＩＢに
格納された知識と照合する自然言語処理技術を用いて、
テキストデータＴＸＴ１の構文解析やキーワードの抽出
を行い、その結果に基づいて意味解析や文脈解析を行
う。すなわち、対話者による発話の意味や対話者の意図
を分析して所定の形式で表し、発話の意味や対話者の意
図の分析結果に応じて応答内容を生成して所定の形式で
発話内容生成部３３に引き渡す。ここで、所定の形式と
は意味表現の形式のことである。発話内容生成部３３で
は、対話管理部３２から渡された応答内容に応じてテキ
ストデータＴＸＴ２を生成する。このテキストデータＴ
ＸＴ２は、音声発生部３４に引き渡され、テキストから
の音声合成を行ったり、予め登録されている音声をテキ
ストに従って編集することによって、スピーカ１２を通
して音声として出力させる。ただし、スピーカ１２から
出力する音声をできるだけ自然な音声に近付けることが
望ましい。

【００４６】対話管理部３２においては、以下に説明す
るように、「しり取り」、「スケジュール管理」に対応
した応答内容を生成することができる。どの応答内容を
生成するかは、対話者がマイクロホン１１を通して音声
によってロボット１に伝達する。

【００４７】「しり取り」を行うには、対話者が「しり
取りがしたい」という命令を音声によってロボット１に
与える。ここで、先攻と後攻とを取り決めた後、しり取
りが開始される。しり取りでは、対話者の発話は原則と
して単語のみであるから、構文解析や文脈解析を行うこ
となく単語認識のみを行えばよいことになる。しり取り
の際の処理手順は、図３のようになる。いま、対話者が
先攻であるものとすると、対話管理部３２においては、
音声認識部３１からのテキストデータＴＸＴ１（単語）
が入力されると（Ｓ１）、入力された単語がしり取りの
開始後にすでに入力された単語か否かを判断する（Ｓ
２）。しり取りの開始から未入力の単語であれば、適宜
の記憶装置に記憶し、語尾の音節を抽出する（Ｓ３）。
次に、抽出した語尾の音節と同じ音節の語頭を持つ単語
を知識ベースＩＢの中の辞書から検索して抽出する（Ｓ
４）。ここで、抽出した単語を上述した記憶装置に照合
して、しり取りの開始後にすでに用いられた単語か否か
を判定し（Ｓ５）、すでに用いられた単語であれば、ス
テップＳ４，Ｓ５を繰り返すことにより別の単語を検索
して抽出する。ここに、辞書内での単語の並びに変化が
なければ、毎回同じ順序で単語が抽出されることになっ
て興味が失われるから、検索時には単語をランダムに検
索するような検索方法が望ましい。こうして、適宜の単
語が抽出されると、抽出した単語を上述した記憶装置に
記憶するとともに、発話内容生成部３３に対して抽出し
た単語の発話を指示し、次に音声認識部３１から単語が
入力されるのを待機する（Ｓ６）。ところで、ステップ
Ｓ２において音声認識部３１から入力されたテキストデ
ータＴＸＴ１を上述した記憶装置に照合し、しり取りの
開始後にすでに用いられた単語と判断したときには、対
話管理部３２から発話内容生成部３３に対して「前に言
いましたよ」というテキストデータＴＸＴ２を生成する
ように指示を与える（Ｓ７）。この処理によって、対話
者に別の単語の発話を促すことになる。しり取りの終了
は、対話者が「もう止める」という命令を音声によって
ロボット１に与えればよい。また、しり取りを止めた時
点で、上述した記憶装置の内容は消去される。

【００４８】なお、上述の例は簡単な手順を示すもので
あり、語尾が「ん」の単語を言うと負けというルール
や、応答が遅いと負けというルールをを含んだ処理にな
っていないが、これらのルールを実現する処理を含めて
おくのが望ましい。たとえば、対話者とロボット１との
用いた単語の語尾を確認する処理を含めるのが望まし
い。この場合、ロボット１側も辞書から抽出した単語の
採用後に語尾の確認を行うようにする。また、上述の処
理ではロボット１は辞書に登録されている単語をすべて
用いることができ、ロボット１が対話者に負ける可能性
が少ないから、ロボット１の応答時間をランダムに制御
して適宜に負けさせるなどの処理を行うのが望ましい。

【００４９】以下に、「しり取り」の進行例を説明す
る。ここでは、対話者が「リンゴ」と言い、ロボット１
が「ゴリラ」と応答する場合を例にして説明する。対話
者の音声は音声認識部３１において認識され「リンゴ」
というテキストデータＴＸＴ１が生成されて対話管理部
３２に渡される。ここで、対話管理部３２では、テキス
トデータＴＸＴ１の内容確認を行うように発話内容生成
部３３に指示する。つまり、発話内容生成部３３には、
「（テキストデータＴＸＴ１）ですね」という確認用の
文言が定型文として登録してあり、対話管理部３２では
この定型文を用いるように発話内容生成部３３に指示を
与える。この例では（テキストデータＴＸＴ１）＝（リ
ンゴ）であるから、発話内容生成部３３では「リンゴで
すね」というテキストデータＴＸＴ２を生成し、音声発
生部３４およびスピーカ１２を通して対話者に応答す
る。ロボット１がスピーカ１２から「リンゴですね」と
発話したことに対して対話者が肯定の応答をすると（た
とえば、「はい」「イエス」「うん」などと答える
と）、対話者の発話内容が「リンゴ」であったと確認す
ることができる。つまり、対話者の発話に対してロボッ
ト１が復唱して単語を確認するのである。ここに、音声
認識部３１において学習機能を持たせておけば、単語毎
に復唱を繰り返すことで音声認識部３１に対話者の発音
の特徴パラメータを学習させることが可能になり、話者
認識および単語認識の認識率を高めることができる。

【００５０】対話者から肯定の応答があったときには、
図３に示した手順の処理を行うことにより、対話管理部
３２では対話者が発話した単語の語尾から「ゴ」を抽出
し、「ゴ」を語頭に持つ単語を知識ベースＩＢの辞書か
ら抽出する。本例では「ゴリラ」が抽出されるものとし
ており、これによって対話管理部３２は発話内容生成部
３３に対して「ゴリラ」のテキストデータＴＸＴ２を生
成するように指示する。ここにおいて、上述した記憶装
置には「リンゴ」と「ゴリラ」との単語が登録される。
こうして、ロボット１はスピーカ１２から「ゴリラ」と
いう単語の音声を出力する。以下同様にして、対話者と
ロボット１との一方が負けるか、対話者が終了を指示す
るまで上述の処理が繰り返される。

【００５１】次に、「スケジュール管理」について説明
する。「スケジュール管理」においては、音声認識部３
１から対話管理部３２に与えられたテキストデータＴＸ
Ｔ１に、スケジュールに関するキーワードが含まれてい
るか否かを判定することによって起動する。たとえば、
「起きる」、「薬を飲む」などの概念を含むテキストデ
ータＴＸＴ１が対話管理部３２に入力されると、対話管
理部３２ではスケジュールに関する情報と認識する。こ
こでは、目覚ましの機能について例示する。この機能を
実現するために、図１に図示していないが、ロボット１
には現在日時を計時する時計手段５１（図６参照）が設
けられている。いま、対話者がロボット１に向かって
「５時に起こして」と言ったとすると、対話管理部３２
では知識ベースＩＢを用いて構文解析や文脈解析を行う
ことによって、「５時に」を時刻と理解し、「起こし
て」を目覚ましのセットの指示と理解する。つまり、知
識ベースＩＢには、「（数字）時に」の「（数字）」は
時刻を表すという知識が設定されており、このような知
識を参照して目覚ましのセットを行うのである。

【００５２】ところで、音声認識部３１における単語認
識は複数の単語の候補が抽出されたときには類似度の高
いものを抽出しており、構文や文脈による解析を行って
いないから単語を誤認識することもある。たとえば、
「５時に」を「工事に」と誤認識する場合もある。この
場合、対話管理部３２に入力されるテキストデータＴＸ
Ｔ１は、「工事に起こして」になる。対話管理部３２に
おいては入力されたテキストデータＴＸＴ１に対して構
文や文脈から意味を解析しているから、知識ベースＩＢ
に照合することによって、「工事に」の次に「起こし
て」は結合できず意味の解析ができないと判断する。こ
のような場合には、音声認識部３１での誤認識と判断
し、「起こして」の前に結合可能で「工事に」と音韻の
類似している候補と、「工事に」の後に結合可能で「起
こして」と音韻の類似している候補とを抽出し、意味が
成立する候補を仮のテキストデータを生成する。いま、
「工事に」を「５時に」に置き換えて「５時に起こし
て」という仮のテキストデータを生成したとする。この
ようにして生成したテキストデータは仮のものであるか
ら、対話者に対して確認することによって検証する。つ
まり、「しり取り」の場合と同様にして、仮のテキスト
データを確認するための質問文のテキストデータＴＸＴ
２を生成するように発話内容生成部３３に指示する。た
とえば、仮のテキストデータが「５時に起こして」であ
るから、「５時に目覚ましをセットしますよ」という質
問文を発話内容生成部３３で生成し、このテキストデー
タＴＸＴ２を用いて対話者に音声での確認を行う。この
質問に対して対話者から肯定の応答があれば、仮のテキ
ストデータが正しかったものとして目覚ましを５時にセ
ットする。また、仮のテキストデータに対して否定の応
答であれば、「もう一度ゆっくり言って下さい」などの
音声をロボット１から出力する。このような対話によっ
て対話者が音声によって簡単なスケジュール管理の指示
をロボット１に与えることができる。

【００５３】ここにおいて、対話管理部３２での構文解
析や意味解析で結合できない単語が結合されているとき
に、単語認識の際に誤認識した可能性があるものとし
て、仮のテキストデータを生成するとともに質問文を生
成し音声によって確認する処理は、スケジュール管理だ
けではなく、通常の対話の際にも行われる。つまり、一
種の復唱の処理がなされることになる。また、復唱して
確認することにより、対話者の応答を教師信号に用いて
ロボット１を学習させることができ、対話者の音声に対
する認識率を高めることができる。

【００５４】本実施形態において、映像データを携帯端
末２に表示可能なフォーマットに変換する変換手段とし
ての機能を映像サーバ４に設けた例を示したが、ロボッ
ト１の映像処理手段２２と通信手段２３とのいずれか
に、映像データを携帯端末２に表示可能なフォーマット
に変換する変換手段としての機能を設けるようにしても
よい。また、通信手段２３は必ずしもロボット１に内蔵
していなくてもよく、通信回線２３に接続される通信手
段２３とロボット１との間は宅内に無線通信路を形成す
ることによって接続してもよい。

【００５５】（第２の実施の形態）第１の実施の形態に
おいては、ロボット１が犬型ではあっても犬様の動きを
行うものではなかったが、本実施形態では、ロボット１
が適宜の関節を持ち、図４に示すように、複数個のアク
チュエータからなるロボット駆動部２４を制御して関節
を屈伸ないし回転させることによって犬様の動作が可能
になっている例について説明する。ロボット駆動部２４
はロボット制御手段２５を通して信号処理部２０に接続
され、信号処理部２０からの指示に応じてロボット駆動
部２４が制御される。ロボット制御手段２５は、信号処
理部２０からの指示をロボット駆動部２４の動作に変換
する。すなわち、対話処理手段２１の音声認識部３１で
はロボットに対する命令の語彙（単語）を抽出可能とし
ておき、対話管理部３２においてロボット１に対する命
令であることを認識すると、命令内容の分析結果をロボ
ット制御手段２５に引き渡す。ロボット制御手段２５で
は命令内容の分析結果に応じてロボット駆動部２４の各
アクチュエータの操作量をそれぞれ決定する。たとえ
ば、ロボット１の移動について、「回れ右」、「回れ
左」、「少し右」、「少し左」などの命令を認識可能と
してあり、「少し」というような曖昧語に対しても対応
可能としてある。

【００５６】さらに、本実施形態では、ロボット１を移
動させることなくＴＶカメラ１３の光軸の向きや焦点距
離を変化させることが可能にしてある。つまり、ＴＶカ
メラ１３を左右に振る機能とＴＶカメラ１３に設けたズ
ームレンズを駆動する機能とを有したカメラ制御手段２
６が設けられている。カメラ制御手段２６に対する指示
は信号処理部２０を通して行われる。信号処理部２０で
は、対話者の音声による指示を、カメラ制御手段２６に
与えることによって、ＴＶカメラ１３の視野を制御す
る。たとえば、対話者の音声によってＴＶカメラ１３の
視野を制御する場合には、ロボット１の移動を指示する
場合と同様に、対話処理手段２１において、「ズームイ
ン」、「ズームアウト」、「少し右」、「少し左」など
の命令を認識可能としておき、これらの命令に応じてＴ
Ｖカメラ１３の焦点距離や向きを制御するのである。な
お、本発明におけるＴＶカメラ１３は主として対話者を
撮像することを目的としているから、映像処理手段２２
においてはＴＶカメラ１３からの映像信号に基づいて人
の顔の位置を認識し、ズームインにおいては人の胸から
上が視野内に入る程度を最大とし、ズームアウトにおい
ては人の全身が視野内に入る程度を最小とするのが望ま
しい。また、「少し右」、「少し左」という命令に対し
ては、人の左右が視野内に入る程度が望ましい。

【００５７】ロボット１の移動に関する命令およびＴＶ
カメラ１の制御に関する命令は、対話者の音声によって
指示する以外にも、携帯端末２から通信回線３を通して
与えることもできる。ただし、通信回線３を通して外部
からロボット１に命令を与えるから、識別情報による認
証作業が必要であって、たとえば暗証番号を用いること
によって特定の人以外がロボット１に命令を与えられな
いようにしてある。携帯端末２からロボット１に対して
は、番号の組み合わせによって命令を与えるようにする
ことが可能であるが、対話処理手段２１を用いて携帯端
末２からの音声を受け付けるようにすれば、マイクロホ
ン１１を用いて命令を与える技術をそのまま利用するこ
とができる。

【００５８】ところで、ロボット１に対してマイクロホ
ン１１から命令を与える構成と携帯端末２から命令を与
える構成とを併用すると、ロボット１が互いに矛盾する
命令をほぼ同時に受けることがある。この場合、ロボッ
ト１が命令を順に処理したとしても、後に処理された命
令に対応した動作を行うことになるから、先に処理され
た命令を与えた側から言えば、ロボット１が意図に反し
た動作をしたことになる。そこで、ロボット１に命令を
与えるに際して、一方の命令が実行されると当面（命令
に対する一通りの動作が完了する程度の時間）は他方の
命令を受け付けないようにし、他方の命令を受け付けな
い期間においては当該他方に対して上記一方の命令の実
行中であることを報知するようにしてある。たとえば、
ロボット１と対話する対話者が音声による命令を与えよ
うとするときに携帯端末２からの命令を実行中であれ
ば、「携帯端末からの操作中」である旨の音声メッセー
ジをスピーカ１２を通して出力する。逆に、携帯端末２
を操作する対話者が命令を与えようとするときにロボッ
ト１と対話する対話者が音声によって与えた命令を実行
中であれば、「対話による操作中」である旨のメッセー
ジを携帯端末２の画面に表示する。携帯端末２からロボ
ット１に対して音声による命令を与える場合であれば、
「対話による操作中」である旨の音声メッセージを携帯
端末２を通して出力してもよい。このように、対話者と
携帯端末２とのうちの一方からの指示によってロボット
１が動作しているときに、命令の被指示側である他方に
対して命令が受け付けられない旨の報知を行うように、
信号処理部２０には図示しない報知手段が設けられる。

【００５９】ところで、本実施形態では、対話者からの
情報を得るインタフェースとしてマイクロホン１１とＴ
Ｖカメラ１３とのほかに接触センサ１４を備えている。
接触センサ１４はロボット１の表面付近の適宜箇所に配
置され、接触センサ１４の出力はマイクロホン１１やＴ
Ｖカメラ１３の出力と同様に信号処理部２０に入力され
る。しかして、接触センサ１４により対話者がロボット
１に触れたことが検出されると、対話処理手段２１を起
動するようにしてある。つまり、対話処理手段２１を常
時動作させていると、周囲の雑音に応答してロボット１
が動作することがあるから、対話処理手段２１は対話者
が発話している期間にのみ起動するのが望ましいのであ
るが、対話者がいつ発話するかは予測できない。周囲の
雑音よりも大きい音声がマイクロホン１１に入力される
と対話処理手段２１を起動する技術も考えられるが、こ
のような技術を採用すると語頭が切断され、発話内容を
誤認識する可能性が高くなる。また、対話処理手段２１
において話者認識の技術を用いても、音声のみで話者を
完全に特定することは現状の技術では難しいものである
から、周囲の雑音を話者と誤認する可能性もある。

【００６０】そこで、本実施形態においては、対話者が
ロボット１に触れたことが接触センサ１４に検出される
と対話処理手段２１を起動するのであって、対話者以外
の音声にロボット１が反応する可能性をほぼ回避できる
ことになる。

【００６１】本実施形態では、第１の実施の形態と同様
に、携帯端末２から映像サーバ４に蓄積された映像が閲
覧されたときに個人データが転送される。ただし、通話
手段２８には個人データにロボット１の動きを対応付け
るテーブルが設けてあり、ロボット１が図５のような犬
型であるとすれば、頭部１ａや尾部１ｂに各個人データ
を対応付ける。つまり、個人データに応じて、頭部１ａ
を振る動作や尾部１ｂを振る動作に対応付けてある。こ
のことによって、対話者は映像サーバ４にアクセスした
のが誰かを直感的に知ることが可能になる。なお、個人
データを識別するための報知部として、上述のようにロ
ボット１の各部の動作を用いるほか、個人データに色を
対応付けた表示灯を報知部として用いることも可能であ
る。

【００６２】ところで、本実施形態におけるロボット１
は、インタネットへの接続が前提とされており、通信手
段２３が、電子メール処理部４１とインタネット検索処
理部４２とを備えている。インターネットを通して電子
メールを交換したり情報を検索したりする処理は、「し
り取り」や「スケジュール管理」と同様に、対話者がマ
イクロホン１１を通して音声によってロボット１に指示
することができる。

【００６３】いま、携帯端末２との間で電子メールを交
換する場合について例示する。ここに、送信先のメール
アドレスは電子メール処理部４１に設定されているもの
とする。ロボット１と対話する対話者から携帯端末２に
電子メールを送信する場合は、対話者がロボット１に対
して「電子メールを××に送信したい」と音声によって
伝えることで、電子メール処理部４１が起動し、電子メ
ールの本文を入力できるようになる。ここで、対話者が
音声によって電子メールの本文を作成し、「電子メール
を送信して」というように音声によってロボット１に命
令を与えると、ロボット１が本文を読み上げて内容の確
認を行い、対話者が承諾すると、作成された電子メール
がインタネットプロバイダのメールサーバに蓄積され
る。メールサーバに蓄積された電子メールは、通常の電
子メールと同様であるから、携帯端末２によって読み出
すことができる。

【００６４】また、ロボット１と対話する対話者に宛て
た電子メールをメールサーバから読み出すためにロボッ
ト１はメールサーバに定期的にアクセスしており、また
対話者が音声によって電子メールの読み出しをロボット
１に指示した場合にも電子メールの読み出しが可能にな
る。電子メール処理部４１においてメールサーバから電
子メールが読み出されると、電子メールの本文はテキス
トデータＴＸＴ２として音声発生部３４に入力される。
したがって、電子メールの本文が読み上げられ、音声に
よって対話者に伝えられることになる。

【００６５】インタネット検索処理部４２はキーワード
検索に用いられる。インタネット検索処理部４２は、あ
らかじめ設定された検索用のホームページに接続する機
能を有し、そのホームページは検索エンジンを持ち、検
索結果をテキストデータとして転送できるようにしてあ
る。つまり、ロボット１に専用の検索用ホームページが
設けてある。この検索用ホームページは、基本的には電
話帳の機能を有するものであり、対話者が希望する地区
で希望する業種の業者を検索する機能を有している。た
とえば、対話者が「宅配業者を探して」と音声によって
ロボット１に伝えると、対話管理部３２においてインタ
ネットでの検索が要求されていると認識して、インタネ
ット検索処理部４２を通して宅配業者を検索する。検索
結果はテキストデータＴＸＴ２として音声発生部３４に
与えられ、検索された宅配業者名が音声によって順に読
み上げられる。ここで、検索結果の数が多いときにはイ
ンタネット検索処理部４２が絞り込みを促すように発話
内容生成部３３に指示し、検索結果が適当数になれば、
検索結果が音声によって対話者に伝達される。さらに、
対話者が希望する宅配業者を選んで音声によってロボッ
ト１に伝えると、その宅配業者の電話番号がホームペー
ジから読み出されて音声により対話者に伝達される。

【００６６】上述した各実施形態においては、対話者が
ロボット１に指示を与えることによってロボット１が動
作するようにしているが、従来構成として説明したペッ
トロボットでは、自律エージェントによってロボット１
が自動的に起動して対話者に話しかける機能を持ち、ま
た対話者の表情や身振りなどの情報も用いて音声認識を
行うマルチモーダル対話の機能も備えているものであっ
て、本発明においてもこれらの機能を付加することによ
って、対話者とロボット１との間でよりスムーズな対話
が可能になる。他の構成および動作は第１の実施の形態
と同様である。

【００６７】（第３の実施の形態）本実施形態は、第１
の実施の形態において、より利便性を高めるように機能
を付加したものである。本実施形態において付加する機
能は第２の実施の形態においても適用可能である。

【００６８】本実施形態では、図６に示すように、ＴＶ
カメラ１３により撮像された映像に撮像された日時を付
加するために、現在の日時を計時する時計手段５１と、
時計手段５１により計時された日時をＴＶカメラ１３で
撮像された映像に文字としてスーパインポーズ表示する
ためのスーパインポーズ処理手段５２とを備える。すな
わち、ＴＶカメラ１３により図７（ａ）のような映像が
撮像され、時計手段５１により計時されている撮像日時
が２０００年１１月１５日の１５時２３分であったとす
ると、図７（ｂ）のように、ＴＶカメラ１３で撮像され
た映像の上部あるいは下部に、「２０００／１１／１５
１５：２３」などの形式で映像の撮像日時を示す文字
が合成される。このような日時付きの映像が映像サーバ
４に転送されることによって、携帯端末２の画面にもＴ
Ｖカメラ１３で映像が撮像された日時が表示されること
になる。つまり、対話者がＴＶカメラ１３で撮像された
時点から携帯端末２の画面に映像が表示されて対話者の
様子が確認されるまでには時間差があるから、携帯端末
２の画面に映像の撮像された日時を表示することによっ
て、少なくともその日時での対話者の様子を保証するこ
とが可能になる。なお、スーパインポーズ処理手段５２
は、マイコンよりなる映像処理手段２２に適宜プログラ
ムを与えて実現してもよいが、専用の集積回路によって
構成すれば映像処理手段２２における負荷が低減され
る。

【００６９】ところで、映像サーバ４における記憶容量
は非常に大きいものではあるが、ロボット１の台数が多
くなれば映像データのデータ量が膨大になるから、映像
サーバ４ではＴＶカメラ１３で撮像されたすべての映像
データを蓄積するのではなく、携帯端末２で閲覧された
映像データは原則として消去することになる。一方、対
話者に何らかの異常が生じた場合であって異常の発生時
点から携帯端末２で映像が閲覧されるまでの間に大きな
時間差があったような場合には、異常の発生前から発生
後に跨る期間の映像データの履歴が要求されることがあ
る。上述のように映像サーバ４に蓄積された映像データ
は逐次消去されるから、このような要求に十分に対応す
ることができない場合がある。また、通信手段２３を通
してロボット１から映像サーバ４に映像を転送するもの
であるから、通信回線３の状態や映像サーバ４の状態に
よっては、映像サーバ４に映像データが蓄積されない場
合も考えられる。

【００７０】そこで、本実施形態では通信手段２３を通
して映像サーバ４に転送する映像データを蓄積するため
の記憶手段５３をロボット１に付加してある。記憶手段
５３は電源が遮断された状態でも記憶内容を保持するこ
とができるものを用いている。この種の記憶手段５３と
しては、フレキシブルディスク、ハードディスク、ＣＤ
−Ｒ、不揮発性メモリなどの各種のものを用いることが
できる。記憶手段５３に格納される情報は、各通信手段
２３から送出される映像データと、各映像データの送信
の日時および送信の成功・失敗のデータとが含まれる。
たとえば、送信する映像データ毎に個別の名称を付し、
「送信日時、映像データの名称、送信の成功・失敗」と
いうような形式のデータを映像データとともに蓄積すれ
ばよい。また、映像データに付ける個別の名称は送信日
時を利用して設定すればよい。たとえば、送信日時が２
０００年１１月１３日８時１３分であるとすれば、映像
データの名称を「２０００１１１３０８１１ａ」などと
すればよい。このように、通信手段２３から送出する映
像データと送信の履歴とをロボット１に蓄積することに
よって、必要に応じて映像データを過去に遡って閲覧す
ることが可能になる。ここに、記憶手段５３に蓄積され
た映像データおよび送信履歴については、記憶手段５３
から記録媒体を外すことによって別のパーソナルコンピ
ュータなどによって読み出すことが可能である。

【００７１】上述の説明は対話者がＴＶカメラ１３で確
実に撮像されていることを前提にしているが、実際には
ロボット１が傾いている場合や、対話者がＴＶカメラ１
３の視野の中心付近に存在しない場合もある。そこで、
以下では対話者をＴＶカメラ１３で適正に撮像する技術
について説明する。

【００７２】ロボット１が傾いて設置されている場合や
対話者がロボット１を抱いているとすると、ＴＶカメラ
１３により撮像された映像が傾くことがある。そこで、
本実施形態においては、ロボット１の傾きを検出するた
めの姿勢センサ５４を付加してある。姿勢センサ５４と
してはジャイロセンサを用いることができる。姿勢セン
サ５４によって検出されたロボット１の傾きは映像処理
手段２２に与えられ、映像処理手段２２において映像が
正立するように映像の傾きが補正される。ここに、映像
が正立するとは重力方向に直交する面が映像の下縁に平
行になる状態を意味する。また、映像の左右の傾きを補
正すればよく、上下の傾きについては必ずしも補正しな
くてもよいが、上下左右の傾きをともに補正すればＴＶ
カメラ１３を水平面上に設置している状態と同様の映像
を得ることが可能になる。たとえば、姿勢センサ５４に
より検出されたロボット１の傾きによって映像が左回り
に３０度回転していると判断されると、映像処理手段２
２においては映像を画面の中心を中心として右回りに３
０度回転させる補正を行い、補正後の映像を用いて以後
の処理を行うのである。

【００７３】また、ＴＶカメラ１３の視野内に対話者を
捕捉するために、ＴＶカメラ１３の向きを可変とする首
振り駆動手段５５と、ＴＶカメラ１３により撮像すべき
所要の映像をあらかじめテンプレートとして登録してお
きＴＶカメラ１３により撮像している映像をテンプレー
トと照合したときの類似度が大きくなるように首振り駆
動手段５５を制御するパターン処理手段５６とを設けて
ある。首振り駆動手段５５はＴＶカメラ１３の光軸の向
きを変化させるように設けられ、たとえばＴＶカメラ１
３をロボット１の頭部に配置しているとすれば首振り駆
動手段５５によりロボット１の頭部の位置ないし向きを
移動可能とすればよい。また、ロボット１はとくに移動
させずにロボット１の本体に対してＴＶカメラ１３のみ
が移動可能となるように首振り駆動手段５６を構成して
もよい。

【００７４】一方、パターン処理手段５６はＴＶカメラ
１３により撮像された映像をテンプレートとして登録さ
れている映像と照合し、得られている画像の範囲で類似
度が最大になる方向に首振り駆動手段５５を駆動してＴ
Ｖカメラ１３の光軸の向きを変更する。たとえば、テン
プレートとして図８（ａ）のような映像を登録している
ときには、図８（ｂ）や図８（ｄ）のような映像よりも
図８（ｃ）の映像のほうが類似度が大きいから、首振り
駆動手段５５では図８（ｃ）のような映像が得られるよ
うにＴＶカメラ１３の向きを変更する。このようにパタ
ーン処理手段５６に、対話者の適切なテンプレートを登
録しておけば、首振り駆動手段５５を適正に制御して対
話者をＴＶカメラ１３でつねに捕捉することが可能にな
る。なお、対話者は同じ姿勢を保つわけではないから、
形状や移動速度などに関する特徴抽出を行い、人か否か
を判断する知識をテンプレートと併せて用いることによ
って首振り駆動手段５５を制御するようにしてもよい。

【００７５】上述したパターン処理手段５６ではＴＶカ
メラ１３により撮像した映像内に対話者が存在しなけれ
ば、首振り駆動手段５５をどのように駆動すべきか判断
することができない。そこで、マイクロホン１１として
指向性の強いものを用いて音レベルによっても対話者の
存在する方向を知ることを可能としてある。つまり、本
実施形態ではマイクロホン１１が第２の音声入力装置と
して機能する。また、マイクロホン１１における指向性
が最大になる向きはＴＶカメラ１３の光軸の向きと平行
に設定され、首振り駆動手段５５はマイクロホン１１と
ＴＶカメラ１３との位置関係を固定したままでマイクロ
ホン１１およびＴＶカメラ１３の向きを変更するように
構成してある。マイクロホン１１から入力された音声の
音レベルは音レベル処理手段５７により検出され、パタ
ーン処理手段５６において類似度が所定値以下であると
きには、音レベル処理手段５７で検出した音レベルが大
きくなる向きに首振り駆動手段５５を駆動するように構
成されている。要するに、首振り駆動手段５５によって
マイクロホン１１の向きを変更している間に、図９
（ａ）（ｃ）に示すような音レベルの比較的小さい状態
から図９（ｂ）のように音レベルが比較的大きい状態に
変化したとすれば、図９（ｂ）の状態でマイクロホン１
１の指向性が最大になる向きに対話者が存在していると
みなすことができる。

【００７６】たとえば、対話者の音声がマイクロホン１
１を通して入力されると、対話者の音声が入力されてい
る間に首振り駆動手段５５によってマイクロホン１１の
向きが変更され、マイクロホン１１に入力される音声の
音レベルがほぼ最大になる向きにマイクロホン１１が向
けられる。このとき、ＴＶカメラ１３の光軸も同じ向き
を向いており、マイクロホン１１に入力される音声の音
レベルが大きくなる向きは対話者が存在する向きである
可能性が高いから、結果的にＴＶカメラ１３の視野内に
対話者を捕捉できる可能性が高くなるのである。なお、
マイクロホン１１の指向性を利用して対話者を捕捉する
技術を用いる場合に、パターン処理手段５６を省略する
ことも可能である。また、対話者を捕捉するために用い
る指向性の強いマイクロホンは、対話者との対話に用い
るマイクロホン１１とは別に設けることも可能である。

【００７７】さらに、図１０に示すように、ＴＶカメラ
１３の前方においてＴＶカメラ１３の光軸Ａｘに直交さ
せた形でハーフミラー５８を配置してもよい。このよう
にＴＶカメラ１３の前方にハーフミラー５８を配置して
おけば、ハーフミラー５８に対話者自身の姿を映した状
態とすることによって、ＴＶカメラ１３の視野内に対話
者が確実に入ることになり、ＴＶカメラ１３の視野内に
対話者が捕捉されていることを保証することができる。
要するに、対話者の姿はハーフミラー５８に反射されて
ハーフミラー５８に映り、ハーフミラー５８を透過した
光によってＴＶカメラ１３で対話者を撮像することがで
きるのである。

【００７８】対話者がＴＶカメラ１３の視野内に存在す
ることを対話者自身で確認するために、映像処理手段２
２で扱う映像信号を通常のテレビ受像機に出力可能とす
る映像出力手段５９を付加してもよい。この場合には、
映像出力手段５９にテレビ受像機を接続しておけば、対
話者がＴＶカメラ１３により撮像されていることを対話
者自身がテレビ受像機の画面によって確認することがで
きる。また、対話者は自身の姿のみではなく、室内の様
子など周辺の様子もテレビ受像機の画面によってその場
で認識することが可能になる。つまり、テレビ受像機を
映像確認用のディスプレイ装置として用いることが可能
になる。また、映像出力手段５９は必ずしもテレビ受像
機の画面に映像の表示を可能とするものでなくてもよ
く、ＴＶカメラ１３で撮像している映像が表示可能なデ
ィスプレイ装置を備えるものであれば、パーソナルコン
ピュータのディスプレイ装置などに映像を出力するよう
にすることも可能である。ディスプレイ装置に出力され
た映像が対話者にとって不満である場合に備えて対話者
によって当該映像を消去可能とする機能をロボット１に
設けておくことが望ましい。この機能については音声で
ロボット１に命令できるようにしておくのが望ましい。

【００７９】上述したように、ロボット１は犬型の外観
を呈するものであり、いわゆるペットロボットとして用
いることができる。そこで、対話者がロボット１を抱け
るように、ぬいぐるみのような外殻としかつ軽量に形成
しておくことによって、必要に応じて対話者にロボット
１を抱かせることが可能になる。対話者にロボット１を
抱かせれば、ロボット１が対話者に接触することによ
り、音声や映像だけではなく接触感覚によっても対話者
に関する情報を得ることが可能になる。そこで、本実施
形態では心拍音を検出可能とする心拍センサとしての心
拍用マイクロホン６０をロボット１の胸部ないし腹部に
配置してあり、対話者がロボット１を抱いたときに心拍
用マイクロホン６０により心拍音を集音するようにして
ある。

【００８０】心拍用マイクロホン６０の出力は、たとえ
ば図１１のような波形になるから、心拍用マイクロホン
６０の出力についてサンプリングを行い、波形に関する
特徴抽出を行うことによって心拍数や心拍波形の異常の
有無などを検出することが可能になる。ただし、心拍用
マイクロホン６０は、必ずしも心拍音のみを検出するわ
けではなく、心拍用マイクロホン６０の出力には雑音成
分が多く含まれるから、適宜のフィルタリングが必要に
なる。

【００８１】心拍用マイクロホン６０の出力に基づいて
得られた情報は、たとえば心拍数を表す文字を映像内に
スーパーインポーズ表示して映像サーバ４に転送され
る。あるいはまた、心拍用マイクロホン６０で集音した
心拍音を圧縮し、映像データに添付して映像サーバ４に
転送したり記憶手段５３に記憶させるようにしてもよ
い。これによって、対話者の健康状態の目安を得ること
が可能になる。記憶手段５３に心拍音を記録させる場合
には記憶手段５３が心拍記録装置として兼用されること
になる。また、記憶手段５３とは別に心拍音を記録する
心拍記録装置を設けてもよい。なお、対話者がロボット
１を抱かなければ心拍音を集音することができないか
ら、ロボット１からの音声メッセージによってロボット
１を抱くように指示させるのが望ましい。このような音
声メッセージは所定時刻毎に発生させるのが望ましく、
たとえば起床時刻の直後において日々の心拍音を検出す
るようにすれば健康状態の管理に役立つことになる。

【００８２】（第４の実施の形態）第３の実施の形態に
おいては、対話者をＴＶカメラ１３の視野内に捕捉する
ためにマイクロホン１１として指向性を有するものを用
い、１個のマイクロホン１１で検出される音声の音レベ
ルが大きくなる向きに首振り駆動手段５５を制御してい
たが、本実施形態では図１２に示すように、２個のマイ
クロホン１１ａ，１１ｂを用い両マイクロホン１１ａ，
１１ｂで検出される位相差に基づいて首振り駆動手段５
５を制御するように構成してある。つまり、マイクロホ
ン１１ａ，１１ｂは第３の音声入力装置として機能す
る。２個のマイクロホン１１ａ，１１ｂはロボット１の
左右の耳に対応させて配置してあり、音源である対話者
と各マイクロホン１１ａ，１１ｂとの距離が等しいとき
に、図１３（ｂ）のように両マイクロホン１１ａ，１１
ｂの出力の位相差がゼロになるようにしてある。また、
両マイクロホン１１ａ，１１ｂの出力の位相差がゼロに
なる位置に対話者が存在するときにＴＶカメラ１３の視
野の中央に対話者が位置するように、両マイクロホン１
１ａ，１１ｂとＴＶカメラ１３との位置関係を設定して
ある。

【００８３】したがって、対話者がＴＶカメラ１３の視
野に対して左側に位置するときには、図１３（ａ）のよ
うに左側のマイクロホン１１ａの出力の位相が右側のマ
イクロホン１１ｂの出力の位相よりも進むことになり、
逆に対話者がＴＶカメラ１３の視野に対して右側に存在
するときには、図１３（ｃ）のように右側のマイクロホ
ン１１ａの出力の位相が左側のマイクロホン１１ｂの出
力の位相よりも進むことになる。そこで、両マイクロホ
ン１１ａ，１１ｂの出力の位相差を検出する位相差検出
手段６１を設け、位相差が小さくなる向きに首振り駆動
手段５５を制御することによって、対話者がＴＶカメラ
１３の視野の中央付近に位置するようにＴＶカメラ１３
の向きを調節することが可能になるのである。

【００８４】さらに、本実施形態では２個のマイクロホ
ン１１ａ，１１ｂの出力の位相差から音源が存在する向
きを求めているが、３個以上のマイクロホンの位相差を
用いると音源の存在位置をさらに正確に把握することが
可能になる。本実施形態の他の構成および動作は上述し
た他の実施の形態と同様である。

【００８５】

【発明の効果】請求項１の発明は、音声入力装置と音声
出力装置とが接続され自然言語を用いた音声による対話
を対話者との間で行う対話処理手段と、対話者を撮像す
る映像入力装置が接続され映像入力装置で撮像された映
像をデジタル化した映像データを出力する映像処理手段
と、映像データをネットワークに送出する通信手段と、
ネットワークを通して対話者の映像データの閲覧が許可
されている携帯端末と、映像データを携帯端末に表示可
能なフォーマットに変換する変換手段とを備えるもので
あり、対話処理手段を用いて人との対話を模擬するから
対話者は孤独感に対する精神的なケアがなされる。ま
た、対話者の映像データの閲覧は許可されている携帯端
末のみで可能であるから、携帯端末を対話者の家族のみ
が携帯できるようにするように使用することによって、
他人のプライバシを侵害しない範囲で対話者の画像を携
帯端末に転送して対話者の異常の有無を看視可能とする
ことができる。その結果、高齢者や病人を抱える家庭に
おいても高齢者や病人の様子を携帯端末により遠方から
看視することができ、安心して外出することができるよ
うになる。

【００８６】請求項２の発明は、請求項１の発明におい
て、前記変換手段がネットワークを介して転送された映
像データを蓄積する映像サーバに設けられ、映像サーバ
では携帯端末の所持者に許容される映像データのみを選
別して携帯端末に転送するものであり、対話者の映像デ
ータを蓄積する映像サーバを設けたことによって、過去
に遡って映像データを閲覧することが可能になる。

【００８７】請求項３の発明は、請求項１の発明におい
て、前記変換手段が映像処理手段と通信手段との一方に
設けられているものであり、映像サーバを設けることな
く対話者の映像データを携帯端末から閲覧することがで
き、システム構成が簡単である。

【００８８】請求項４の発明は、請求項１ないし請求項
３の発明において、前記映像処理手段が前記携帯端末か
らの指示により対話者の映像データを通信手段を通して
ネットワークに送出させるものであり、携帯端末から映
像データの送出を指示するから、携帯端末の所持者が要
求したときの映像を見ることができる。

【００８９】請求項５の発明は、請求項１ないし請求項
４の発明において、前記映像処理手段が前記対話処理手
段を通して対話者が指示した命令に応答して動作するも
のであり、対話者が自身の意思で映像を撮影させるか
ら、たとえば対話者が異常を感じたときに映像データを
送って携帯端末の所持者に知らせることが可能になる。

【００９０】請求項６の発明は、請求項１ないし請求項
５の発明において、前記映像処理手段が対話者からの指
示により動作しているか前記携帯端末からの指示によっ
て動作しているかを被指示側に報知する報知手段を備え
るものであり、対話者からと携帯端末からとのどちらか
らも映像処理手段の制御を可能としながらも、両者の指
示が混乱することがない。

【００９１】請求項７の発明は、請求項１ないし請求項
６の発明において、対話者の接触を検出する接触センサ
が付加され、接触センサにより対話者の接触が検出され
ると前記対話処理手段が起動するものであり、対話者が
対話しようとするときに接触センサに接触することによ
って対話処理手段が起動されるから、周囲の雑音や対話
者以外の他人の音声によって対話処理手段が誤動作する
のを防止することができる。

【００９２】請求項８の発明は、請求項１ないし請求項
７の発明において、前記映像入力手段によって対話者の
映像が撮影されていることを対話者に示す手段を備える
ものであり、対話者がいつ撮影されているかを知ること
ができるから、プライバシの都合で撮影されたくないと
きには撮影されない場所に移動するなどの対処が可能に
なる。

【００９３】請求項９の発明は、請求項１ないし請求項
８の発明において、前記対話処理手段が、対話者による
音声入力を確認するように対話者に質問する機能を有
し、対話者による肯定の応答を受けると対話者による音
声入力を確定するものであり、復唱によって対話者の音
声入力を確認するから、対話者の発生した音声を確実に
理解することが可能になる。

【００９４】請求項１０の発明は、請求項９の発明にお
いて、前記対話処理手段が、対話者による肯定の応答を
教師信号として対話者の発生する音声を学習するもので
あり、対話者との対話によって対話者の発生する音声を
学習することで認識率が高くなる。

【００９５】請求項１１の発明は、請求項１ないし請求
項１０の発明において、前記携帯端末で閲覧した映像デ
ータを前記ネットワーク上の他の端末に転送する手段を
設けたものであり、映像データを他の端末に転送するこ
とにより、たとえば携帯端末の所持者が対話者の異常に
気づいたときに映像データを医者に送ることで対処のア
ドバイスを受けるなどの使用が可能になる。

【００９６】請求項１２の発明は、請求項１ないし請求
項１１の発明において、前記携帯端末から映像データの
閲覧が要求されたことを前記対話者に通知する通知手段
を備えるので、対話者である高齢者や病人を抱える家庭
においても家族が携帯端末を用いて外出先から高齢者や
病人の様子を看視したときに、高齢者や病人に対しては
通知手段によって家族が確認したことが通知されるか
ら、高齢者や病人にとっては家族が確認してくれたこと
を知ることができ安心感が得られる。

【００９７】請求項１３の発明は、請求項１２の発明に
おいて、前記通知手段が前記携帯端末の識別情報を用い
て映像データの閲覧者を通知する機能を備えるので、映
像データを誰が確認したかを知ることができるから、よ
り安心することができる。

【００９８】請求項１４の発明は、請求項１３の発明に
おいて、前記通知手段が映像データの閲覧者ごとに割り
当てた報知部を備えるので、文字データなどによらずに
報知部を視認すれば閲覧者を識別することができるか
ら、閲覧者が映像データを確認したことを知るだけでな
く誰が閲覧したかも直感的に知ることができる。

【００９９】請求項１５の発明は、音声入力装置と音声
出力装置とが接続され自然言語を用いた音声による対話
を対話者との間で行う対話処理手段と、対話者を撮像す
る映像入力装置が接続され映像入力装置で撮像された映
像をデジタル化した映像データを出力する映像処理手段
と、映像データをネットワークに送出する通信手段と、
ネットワークを通して対話者の映像データの閲覧が許可
されている携帯端末に表示可能なフォーマットとなるよ
うに映像データを変換する変換手段とを備えるものであ
り、対話処理手段を用いて人との対話を模擬するから対
話者は孤独感に対する精神的なケアがなされる。また、
対話者の映像データの閲覧は許可されている携帯端末の
みで可能であるから、携帯端末を対話者の家族のみが携
帯できるようにするように使用することによって、他人
のプライバシを侵害しない範囲で対話者の画像を携帯端
末に転送して対話者の異常の有無を看視可能とすること
ができる。その結果、高齢者や病人を抱える家庭におい
ても高齢者や病人の様子を携帯端末により遠方から看視
することができ、安心して外出することができるように
なる。

【０１００】請求項１６の発明は、請求項１５の発明に
おいて、現在日時を計時する時計手段と、対話者が撮像
されたときに時計手段で計時されている日時を文字とし
て映像データに合成して通信手段から送出させるスーパ
インポーズ処理手段とが付加されたものであり、各映像
データに映像の撮像された日時が添付されているから、
映像が撮像された日時と映像データを携帯端末によって
閲覧する日時とに大きな時間差があるようなときに、閲
覧者は映像データに添付されている日時を確認すること
によって、最新の映像を求めるなどの対処が可能にな
る。

【０１０１】請求項１７の発明は、請求項１６の発明に
おいて、前記通信手段を通してネットワークに送出され
る映像データおよび通信の成功・失敗の結果を前記時計
手段で計時されている日時に対応付けて順次記録して蓄
積するとともに無給電で記録内容を保持する記憶手段が
付加されているものであり、通信手段から映像データが
送出されず携帯端末によって映像データを確認すること
ができないような場合にも、記憶手段に蓄積された映像
データによって対話者の健康状態などを後日確認するこ
とができ、また通信の成功・失敗の結果を送信履歴とし
て記憶手段に格納しているから、メンテナンス時に通信
手段の異常の有無などを容易に知ることができる。

【０１０２】請求項１８の発明は、請求項１５ないし請
求項１７の発明において、前記映像入力装置の傾きを検
出する姿勢センサが付加され、前記映像処理手段では映
像入力装置により撮像された映像を正立させるように姿
勢センサにより検出された傾きに基づいて映像を補正す
るものであり、姿勢センサにより得られている情報に基
づいて映像の傾きを除去するように補正するから、映像
入力装置が傾いているような場合、たとえば水平ではな
い場所に撮影装置が配置されている場合や対話者が撮影
装置を持ち上げているような場合においても、撮影装置
が水平面上に配置されている状態と同様の映像を得るこ
とができる。

【０１０３】請求項１９の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向を変更可能とする首振り駆動手段と、前記映像入力装
置の中央付近に対話者を撮像するように規定したテンプ
レートが登録可能であって、映像入力装置で撮像された
映像とテンプレートとを照合して類似度が大きくなるよ
うに首振り駆動手段を制御するパターン処理手段とが付
加されているものであり、映像入力装置により撮像され
た映像とテンプレートとの類似度が大きくなるように映
像入力装置の視野の向きが制御されるから、適切なテン
プレートが設定されていれば対話者を映像入力装置の視
野の中央付近に捕捉するように映像入力装置の向きを調
節することが可能になる。

【０１０４】請求項２０の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向を指向性を有する方向に一致させた第２の音声入力装
置と、前記映像入力装置の視野の方向と第２の音声入力
装置が指向性を有する方向とを同時に変更可能とする首
振り駆動手段と、前記第２の音声入力装置の出力の音レ
ベルが大きくなる向きに首振り駆動手段を制御する音レ
ベル処理手段とが付加されているものであり、音レベル
によって対話者の存在する方向を推定することができる
から、映像入力装置の視野を音レベルの大きくなる向き
に調節することによって、映像入力装置の視野内に対話
者を捕捉できる可能性が高くなる。

【０１０５】請求項２１の発明は、請求項１５ないし請
求項１８の発明において、前記映像入力装置の視野の方
向に存在する音源に対して出力の位相差がゼロになるよ
うに配置した複数個の第３の音声入力装置と、第３の音
声入力装置の位相差を小さくする向きに首振り駆動手段
を制御する位相差検出手段とを付加したものであり、複
数個の音声入力装置の位相差を小さくするように映像入
力装置の視野を調節することによって、映像入力装置の
視野内に対話者を捕捉することが可能になる。

【０１０６】請求項２２の発明は、請求項１５ないし請
求項２１の発明において、前記映像入力装置の前方に前
記映像入力装置の光軸方向に直交させた形で配置したハ
ーフミラーが付加されているものであり、対話者がハー
フミラーに自身の姿を映した状態では映像入力装置の正
面に対話者が存在することになるから、対話者の意思に
よって対話者を映像入力装置で確実に撮像することが可
能になる。

【０１０７】請求項２３の発明は、請求項１５ないし請
求項２１の発明において、外部のディスプレイ装置が接
続可能であって前記映像入力装置により撮像された映像
データをディスプレイ装置に表示可能とする映像出力手
段が付加されているものであり、対話者は、映像入力装
置により撮像されている映像を映像出力手段に接続した
ディスプレイ装置によってその場で確認できるから、対
話者は自身の映り具合を確認することができるだけでな
く周囲の様子も確認して適切な映像が撮像されているか
否かを確認することができる。

【０１０８】請求項２４の発明は、請求項１５ないし請
求項２３の発明において、前記対話者が抱えることを可
能とする外殻を有し、前記対話者が抱えたときに対話者
の心拍音を検出可能な心拍センサと、心拍センサにより
検出された心拍音を記録する心拍記録装置とが付加され
ているものであり、映像によって対話者の健康状態を知
るだけではなく、心拍音によっても対話者の健康状態を
確認することが可能になり、対話者に関して得られる情
報を複合することによって対話者の健康状態をより正確
に知ることが可能になる。しかも、心拍センサとして対
話者が抱えたときに心拍音を集音する構成を採用してい
るから、手間をかけることなく心拍音の集音が可能にな
る。

【０１０９】請求項２５の発明は、請求項１５ないし請
求項２４の発明において、前記携帯端末から映像データ
の閲覧が要求されたことを前記対話者に通知する通知手
段を備えるので、話者である高齢者や病人を抱える家庭
においても家族が携帯端末を用いて外出先から高齢者や
病人の様子を看視したときに、高齢者や病人に対しては
通知手段によって家族が確認したことが通知されるか
ら、高齢者や病人にとっては家族が確認してくれたこと
を知ることができ安心感が得られる。

【０１１０】請求項２６の発明は、請求項２５の発明に
おいて、前記通知手段が前記携帯端末の識別情報を用い
て映像データの閲覧者を通知する機能を備えるので、映
像データを誰が確認したかを知ることができるから、よ
り安心することができる。

【０１１１】請求項２７の発明は、請求項２６の発明に
おいて、前記通知手段が映像データの閲覧者ごとに割り
当てた報知部を備えるので、文字データなどによらずに
報知部を視認すれば閲覧者を識別することができるか
ら、閲覧者が映像データを確認したことを知るだけでな
く誰が閲覧したかも直感的に知ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】同上に用いる対話処理手段を示すブロック図で
ある。

【図３】同上の対話処理手段の動作例を示す動作説明図
である。

【図４】本発明の第２の実施の形態を示すブロック図で
ある。

【図５】同上に用いるロボットの外観を示す斜視図であ
る。

【図６】本発明の第３の実施の形態を示すブロック図で
ある。

【図７】同上の動作説明図である。

【図８】同上の動作説明図である。

【図９】同上の動作説明図である。

【図１０】同上の動作説明図である。

【図１１】同上の要部構成図である。

【図１２】本発明の第４の実施の形態を示すブロック図
である。

【図１３】同上の動作説明図である。

【符号の説明】

１ ロボット ２ 携帯端末 ３ 映像サーバ ４ 通信回線 １１ マイクロホン １１ａ，１１ｂ マイクロホン １２ スピーカ １３ ＴＶカメラ １４ 接触センサ ２０ 信号処理部 ２１ 対話処理手段 ２２ 映像処理手段 ２３ 通信手段 ２７ 表示手段 ２８ 通知手段 ５１ 時計手段 ５２ スーパインポーズ処理手段 ５３ 記憶手段 ５４ 姿勢センサ ５５ 首振り駆動手段 ５６ パターン処理手段 ５７ 音レベル処理手段 ５８ ハーフミラー ５９ 映像出力手段 ６０ 心拍用マイクロホン ６１ 位相差検出手段

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/22 Ｇ１０Ｌ 3/00 ５５１Ｈ ５Ｄ０４５ Ｈ０４Ｎ 7/15 ５７１Ｕ ５Ｋ１０１ 7/18 Ｒ (72)発明者 西山 高史 大阪府門真市大字門真1048番地松下電工株 式会社内 Ｆターム(参考） 5C054 AA02 CC02 CD03 CE04 CG01 CH01 CH05 DA01 DA07 EA01 EA03 EA05 EA07 EH01 FA04 FC12 FF02 GA04 GB04 GD03 HA00 HA04 5C064 AA06 AB04 AC02 AC06 AC12 AC16 AC22 AD08 5C086 AA22 BA01 CA09 CA28 CB26 CB36 DA08 DA14 DA33 EA45 FA06 FA18 5C087 AA02 AA08 AA10 AA24 AA25 AA37 AA44 BB12 BB20 BB46 BB65 BB74 DD03 DD24 EE05 FF01 FF02 FF04 FF16 FF19 FF23 GG02 GG20 GG67 5D015 KK01 KK02 KK04 LL00 5D045 AB11 5K101 KK11 KK13 KK19 LL12 MM07 NN06 NN08 NN13 NN18 NN21 RR12

Claims (27)

【特許請求の範囲】
1. 【請求項１】 音声入力装置と音声出力装置とが接続さ
   れ自然言語を用いた音声による対話を対話者との間で行
   う対話処理手段と、対話者を撮像する映像入力装置が接
   続され映像入力装置で撮像された映像をデジタル化した
   映像データを出力する映像処理手段と、映像データをネ
   ットワークに送出する通信手段と、ネットワークを通し
   て対話者の映像データの閲覧が許可されている携帯端末
   と、映像データを携帯端末に表示可能なフォーマットに
   変換する変換手段とを備えることを特徴とするコミュニ
   ケーション支援システム。
2. 【請求項２】 前記変換手段がネットワークを介して転
   送された映像データを蓄積する映像サーバに設けられ、
   映像サーバでは携帯端末の所持者に許容される映像デー
   タのみを選別して携帯端末に転送することを特徴とする
   請求項１記載のコミュニケーション支援システム。
3. 【請求項３】 前記変換手段が映像処理手段と通信手段
   との一方に設けられていることを特徴とする請求項１記
   載のコミュニケーション支援システム。
4. 【請求項４】 前記映像処理手段が前記携帯端末からの
   指示により対話者の映像データを通信手段を通してネッ
   トワークに送出させることを特徴とする請求項１ないし
   請求項３のいずれか１項に記載のコミュニケーション支
   援システム。
5. 【請求項５】 前記映像処理手段が前記対話処理手段を
   通して対話者が指示した命令に応答して動作することを
   特徴とする請求項１ないし請求項４のいずれか１項に記
   載のコミュニケーション支援システム。
6. 【請求項６】 前記映像処理手段が対話者からの指示に
   より動作しているか前記携帯端末からの指示によって動
   作しているかを被指示側に報知する報知手段を備えるこ
   とを特徴とする請求項１ないし請求項５のいずれか１項
   に記載のコミュニケーション支援システム。
7. 【請求項７】 対話者の接触を検出する接触センサが付
   加され、接触センサにより対話者の接触が検出されると
   前記対話処理手段が起動することを特徴とする請求項１
   ないし請求項６のいずれか１項に記載のコミュニケーシ
   ョン支援システム。
8. 【請求項８】 前記映像入力手段によって対話者の映像
   が撮影されていることを対話者に示す手段を備えること
   を特徴とする請求項１ないし請求項７のいずれか１項に
   記載のコミュニケーション支援システム。
9. 【請求項９】 前記対話処理手段が、対話者による音声
   入力を確認するように対話者に質問する機能を有し、対
   話者による肯定の応答を受けると対話者による音声入力
   を確定することを特徴とする請求項１ないし請求項８の
   いずれか１項に記載のコミュニケーション支援システ
   ム。
10. 【請求項１０】 前記対話処理手段が、対話者による肯
    定の応答を教師信号として対話者の発生する音声を学習
    することを特徴とする請求項９記載のコミュニケーショ
    ン支援システム。
11. 【請求項１１】 前記携帯端末で閲覧した映像データを
    前記ネットワーク上の他の端末に転送する手段を設けた
    ことを特徴とする請求項１ないし請求項１０のいずれか
    １項に記載のコミュニケーション支援システム。
12. 【請求項１２】 前記携帯端末から映像データの閲覧が
    要求されたことを前記対話者に通知する通知手段を備え
    ることを特徴とする請求項１ないし請求項１１のいずれ
    か１項に記載のコミュニケーション支援システム。
13. 【請求項１３】 前記通知手段が前記携帯端末の識別情
    報を用いて映像データの閲覧者を通知する機能を備える
    ことを特徴とする請求項１２記載のコミュニケーション
    支援システム。
14. 【請求項１４】 前記通知手段が映像データの閲覧者ご
    とに割り当てた報知部を備えることを特徴とする請求項
    １３記載のコミュニケーション支援システム。
15. 【請求項１５】 音声入力装置と音声出力装置とが接続
    され自然言語を用いた音声による対話を対話者との間で
    行う対話処理手段と、対話者を撮像する映像入力装置が
    接続され映像入力装置で撮像された映像をデジタル化し
    た映像データを出力する映像処理手段と、映像データを
    ネットワークに送出する通信手段と、ネットワークを通
    して対話者の映像データの閲覧が許可されている携帯端
    末に表示可能なフォーマットとなるように映像データを
    変換する変換手段とを備えることを特徴とする撮影装
    置。
16. 【請求項１６】 現在日時を計時する時計手段と、対話
    者が撮像されたときに時計手段で計時されている日時を
    文字として映像データに合成して通信手段から送出させ
    るスーパインポーズ処理手段とが付加されたことを特徴
    とする請求項１５記載の撮影装置。
17. 【請求項１７】 前記通信手段を通してネットワークに
    送出される映像データおよび通信の成功・失敗の結果を
    前記時計手段で計時されている日時に対応付けて順次記
    録して蓄積するとともに無給電で記録内容を保持する記
    憶手段が付加されていることを特徴とする請求項１６記
    載の撮影装置。
18. 【請求項１８】 前記映像入力装置の傾きを検出する姿
    勢センサが付加され、前記映像処理手段では映像入力装
    置により撮像された映像を正立させるように姿勢センサ
    により検出された傾きに基づいて映像を補正することを
    特徴とする請求項１５ないし請求項１７のいずれか１項
    に記載の撮影装置。
19. 【請求項１９】 前記映像入力装置の視野の方向を変更
    可能とする首振り駆動手段と、前記映像入力装置の中央
    付近に対話者を撮像するように規定したテンプレートが
    登録可能であって、映像入力装置で撮像された映像とテ
    ンプレートとを照合して類似度が大きくなるように首振
    り駆動手段を制御するパターン処理手段とが付加されて
    いることを特徴とする請求項１５ないし請求項１８のい
    ずれか１項に記載の撮影装置。
20. 【請求項２０】 前記映像入力装置の視野の方向を指向
    性を有する方向に一致させた第２の音声入力装置と、前
    記映像入力装置の視野の方向と第２の音声入力装置が指
    向性を有する方向とを同時に変更可能とする首振り駆動
    手段と、前記第２の音声入力装置の出力の音レベルが大
    きくなる向きに首振り駆動手段を制御する音レベル処理
    手段とが付加されていることを特徴とする請求項１５な
    いし請求項１８のいずれか１項に記載の撮影装置。
21. 【請求項２１】 前記映像入力装置の視野の方向に存在
    する音源に対して出力の位相差がゼロになるように配置
    した複数個の第３の音声入力装置と、第３の音声入力装
    置の位相差を小さくする向きに首振り駆動手段を制御す
    る位相差検出手段とを付加したことを特徴とする請求項
    １５ないし請求項１８のいずれか１項に記載の撮影装
    置。
22. 【請求項２２】 前記映像入力装置の前方に前記映像入
    力装置の光軸方向に直交させた形で配置したハーフミラ
    ーが付加されていることを特徴とする請求項１５ないし
    請求項２１のいずれか１項に記載の撮影装置。
23. 【請求項２３】 外部のディスプレイ装置が接続可能で
    あって前記映像入力装置により撮像された映像データを
    ディスプレイ装置に表示可能とする映像出力手段が付加
    されていることを特徴とする請求項１５ないし請求項２
    １のいずれか１項に記載の撮影装置。
24. 【請求項２４】 前記対話者が抱えることを可能とする
    外殻を有し、前記対話者が抱えたときに対話者の心拍音
    を検出可能な心拍センサと、心拍センサにより検出され
    た心拍音を記録する心拍記録装置とが付加されているこ
    とを特徴とする請求項１５ないし請求項２３のいずれか
    １項に記載の撮影装置。
25. 【請求項２５】 前記携帯端末から映像データの閲覧が
    要求されたことを前記対話者に通知する通知手段を備え
    ることを特徴とする請求項１５ないし請求項２４のいず
    れか１項に記載の撮影装置。
26. 【請求項２６】 前記通知手段が前記携帯端末の識別情
    報を用いて映像データの閲覧者を通知する機能を備える
    ことを特徴とする請求項２５記載の撮影装置。
27. 【請求項２７】 前記通知手段が映像データの閲覧者ご
    とに割り当てた報知部を備えることを特徴とする請求項
    ２６記載の撮影装置。