JPH1137766A - エージェント装置 - Google Patents
エージェント装置Info
- Publication number
- JPH1137766A JPH1137766A JP9212491A JP21249197A JPH1137766A JP H1137766 A JPH1137766 A JP H1137766A JP 9212491 A JP9212491 A JP 9212491A JP 21249197 A JP21249197 A JP 21249197A JP H1137766 A JPH1137766 A JP H1137766A
- Authority
- JP
- Japan
- Prior art keywords
- agent
- action
- learning
- vehicle
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
の学習結果から擬人化したエージェントが状況に合わせ
た行為(行動と音声)をし、運転者とのコミュニケーシ
ョンをはかる。 【解決手段】 車両の現在状況を各センサから把握し、
過去の学習内容をチェックする(A)。その結果に対応
するコミュニケーションプログラム0004を選択し、
表示装置27に擬人化したエージェントを出現させ「か
しこまってお辞儀」を画像表示しながら、音声出力装置
25から挨拶音声を出力する(B)。その後IGON回
数の更新を行う(C)。通算起動回数が31回に学習さ
れた結果、以後エージェントは「かしこまってお辞儀」
を行わず、300回になるまでの間、冷却水温が高けれ
ば通常の「お辞儀」、低ければ「眠そうにお辞儀」をす
る。その際の音声は、起動場所やその日のIGON回数
等により変化する。
Description
に係り、例えば、擬人化されたエージェントを相手に車
両内での会話等が可能なコミュニケーション機能を備え
たエージェント装置に関する。
環境を向上させるようにしたものとして、ラジオやカセ
ットテーププレーヤが搭載されている。また、車両に搭
載したアマチュア無線機や携帯電話等の無線通信機器を
使用して、車両外の知人等との会話を楽しむことで、走
行環境を向上させるようにした車両もある。
におけるラジオ等では運転者に対して一方向の情報提示
にすぎず、双方向の会話等をすることができなかった。
一方、携帯電話等による場合には会話をすることができ
るが、コール待ち、ダイヤル等によって通話相手を捜さ
なければならなかった。たとえ、通話相手が見つかった
としても、車両の状況といった運転者の一方的な都合に
あわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの
履歴・運転者の状態に応じて、擬人化されたエージェン
トが存在しないため、車両が愛着のわかないただの乗り
物としての道具でしか役割を持たない場合もあった。
の表情や動作などにより行うようにした技術が特開平9
−102098号公報において提示されている。しか
し、この公報に記載された技術は、過去の運転者の応答
等の履歴によって表示が変わるわけではなく、同一の状
況が生じた場合には常に同一の表示がされるものであ
る。すなわち、限られたセンサ出力に対して常に同一の
表示を行うものであり、視認性が向上された従来の計器
類の範疇に入るべきものである。
でなく、過去の履歴等に基づく学習結果から擬人化され
たエージェントが状況に合わせた行為をし、運転者との
コミュニケーションをはかることができる車両を提供す
ることを目的とする。
では、擬人化されたエージェントを車両内に出現させる
エージェント出現手段と、車両の状況を判断する状況判
断手段と、この状況判断手段による所定状況を記憶する
ことで学習する学習手段と、この学習手段による学習結
果と前記状況判断手段により判断された状況とから、エ
ージェントの行為を決定する行為決定手段と、この行為
決定手段で決定された行為を前記エージェント出現手段
により出現されるエージェントに行わせるエージェント
制御手段と、エージェント装置に具備させて前記目的を
達成する。請求項2に記載した発明では、請求項1に記
載したエージェント装置において、前記状況判断手段
は、現在または過去の状況を判断する。請求項3に記載
した発明では、請求項に記載したエージェント装置にお
いて、前記状況判断手段は、車両の現在位置を検出する
現在位置現在検出手段である。請求項4に記載した発明
では、請求項1に記載したエージェント装置において、
前記状況判断手段は、車両各部の状況を検出する車載セ
ンサである。請求項5に記載した発明では、請求項1に
記載したエージェント装置において、前記状況判断手段
は、車両外部の環境を検出するセンサである。請求項6
に記載した発明では、請求項1に記載したエージェント
装置において、前記学習手段は、前記状況手段が同一の
状況を検出する回数により予め定められた学習結果を出
力する。請求項7に記載した発明では、請求項1に記載
したエージェント装置において、前記エージェント出現
手段は、画像表示手段と、画像表示手段に対し、特定の
エージェントを画像表示するエージェント表示手段を含
む。請求項8に記載した発明では、請求項6に記載した
エージェント装置において、前記特定のエージェント
は、複数のエージェントの中から選択される。請求項9
に記載した発明では、請求項1に記載したエージェント
装置において、前記エージェント出現手段は、音声出力
装置と、該音声主力装置に対し、特定のエージェントの
音声を出力するエージェント音声出力手段を含む。請求
項10に記載した発明では、請求項8に記載したエージ
ェント装置において、前記音声出力手段は、複数のエー
ジェント音声の中から選択された音声を出力する。請求
項11に記載した発明では、請求項1に記載したエージ
ェント装置において、前記エージェント制御手段は、前
記行為決定手段で決定された行為に対応して、エージェ
ントの行動を画像表示手段に画像表示する。請求項12
に記載した発明では、請求項1に記載したエージェント
装置において、前記エージェント制御手段は、前記行為
決定手段で決定された行為に対応して、音声出力手段か
ら出力される音声の音色を制御する。請求項13に記載
した発明では、請求項1に記載したエージェント装置に
おいて、前記学習手段は、さらに、運転者の指示内容及
び応答内容の少なくとも一方を学習対象として記憶する
記憶手段を備える。請求項14に記載した発明では、請
求項5に記載したエージェント装置において、さらに運
転者の操作を入力するスイッチを備え、前記記憶手段は
該スイッチ入力の時間及び場所を記憶する。請求項15
に記載した発明では、請求項1に記載したエージェント
装置において、前記学習手段は、前記エージェント制御
手段により実行された行為に対応した運転者の操作があ
ったか否かを判別する判別手段を備える。
における好適な実施の形態について、図1から図11を
参照して詳細に説明する。 (1)実施形態の概要 本実施形態のエージェント装置では、擬人化されたエー
ジェントを画像(平面的画像、ホログラフィ等の立体的
画像等)により車両内に出現させる。そして、車両自
体、運転者、同乗者、対向車等を含む車両の状況の判断
と学習(状況の学習だけでなく運転者の応答や反応等も
含む)をし、各時点での車両状況とそれまでの学習結果
に基づいて、エージェントが運転者や車両に対して様々
なバリエーションをもった対応(行為=行動と音声)を
する。これにより運転者は、自分固有のエージェントを
車両内でつき合う(コミュニケーションする)ことが可
能になり、車両内での環境を快適にすることができる。
ここで、車両内に出現させるエージェントは、人間と同
様に判断し学習する疑似人格化(仮想人格化)された主
体である。従って、同一の車両状況であっても過去の学
習内容等に応じてエージェントのコミュニケーションの
内容は異なる。ときには、車両の走行には関係ない範囲
での判断ミスも有り、この判断ミスによる不要な(ドジ
な)応答をすることもある。そして運転者の応答によ
り、判断ミスか否かを判定し、学習する。エージェント
として画像表示される容姿としては、人間的な容姿であ
る必要はなく、例えば、ひよこや犬、猫、カエル、ネズ
ミ等の動物自体の容姿や人間的に図案化(イラスト化)
した動物の容姿であってもよく、更にロボット的な容姿
であってもよい。またエージェントの年齢としても一定
である必要がなく、エージェントの学習機能として、最
初は子供の容姿とし、時間の経過と共に成長していき容
姿が変化していく(大人の容姿に変化し、更に老人の容
姿に変化していく)ようにしてもよい。エージェントの
容姿や音声については、複数の容姿、複数の音声の中か
ら選択することが可能である。
示すブロック図である。本実施形態では、ミュニケーシ
ョン機能全体を制御する全体処理部1を備えている。こ
の全体処理部は、設定した目的地までの経路を探索して
音声や画像表示により案内するナビゲーション処理部1
0、車両の状況や運転者による過去の応対等を学習して
適切な会話や制御を行うエージェント処理部11、ナビ
ゲーション処理部10とエージェント処理部11に対す
るI/F部12、エージェント画像や地図画像等の画像
出力や入力画像を処理する画像処理部13、エージェン
ト音声や経路案内音声等の音声出力や入力される音声を
制御する音声制御部14、及び車両や運転者に関する各
種状況の検出データを処理する状況情報処理部15を有
している。
処理部11は、データ処理及び各部の動作の制御を行う
CPU(中央処理装置)と、このCPUにデータバスや
制御バス等のバスラインで接続されたROM、RAM、
タイマ等を備えている。両処理部10、11はネットワ
ーク接続されており、互いの処理データを取得すること
ができるようになっている。ROMはCPUで制御を行
うための各種データやプログラムが予め格納されたリー
ドオンリーメモリであり、RAMはCPUがワーキング
メモリとして使用するランダムアクセスメモリである。
エージェント処理部11は、CPUがROMに格納され
た各種プログラムを読み込んで各種処理を実行するよう
になっている。なお、CPUは、記録媒体駆動装置23
にセットされた外部の記録媒体からコンピュータプログ
ラムを読み込んで、エージェント記憶装置29やナビゲ
ーションデータ記憶装置、図示しないハードディスク等
のその他の記憶装置に格納(インストール)し、この記
憶装置から必要なプログラム等をRAMに読み込んで
(ロードして)実行するようにしてもよい。また、必要
なプログラム等を記録媒体駆動装置23からRAMに直
接読み込んで実行するようにしてもよい。
検出装置21とナビゲーションデータ記憶装置30が接
続され、エージェント処理部11にはエージェントデー
タ記憶装置29が接続され、I/F部12には入力装置
22と記憶媒体駆動装置23と通信制御装置24が接続
され、画像処理部13には表示装置27と撮像装置28
が接続され、音声制御部14には音声処理装置25とマ
イク26が接続され、状況情報処理部15には状況セン
サ部40が接続されている。
(緯度、経度による)を検出するためのものであり、人
工衛星を利用して車両の位置を測定するGPS(Global
Positioning System)受信装置211と、方位センサ2
12と、舵角センサ213と、距離センサ214と、路
上に配置されたビーコンからの位置情報を受信するビー
コン受信装置215等が使用される。GPS受信装置2
11とビーコン受信装置215は単独で位置測定が可能
であるが、GPS受信装置211やビーコン受信装置2
15による受信が不可能な場所では、方位センサ212
と距離センサ214の双方を用いた推測航法によって現
在位置を検出するようになっている。方位センサ212
は、例えば、地磁気を検出して車両の方位を求める地磁
気センサ、車両の回転角速度を検出しその角速度を積分
して車両の方位を求めるガスレートジャイロや光ファイ
バジャイロ等のジャイロ、左右の車輪センサを配置しそ
の出力パルス差(移動距離の差)により車両の旋回を検
出することで方位の変位量を算出するようにした車輪セ
ンサ、等が使用される。舵角センサ213は、ステアリ
ングの回転部に取り付けた光学的な回転センサや回転抵
抗ボリューム等を用いてステアリングの角度αを検出す
る。距離センサ214は、例えば、車輪の回転数を検出
して計数し、または加速度を検出して2回積分するもの
等の各種の方法が使用される。
ける走行開始時の現在地(出発地点)や目的地(到達地
点)、情報提供局へ渋滞情報等の情報の請求を発信した
い車両の所定の走行環境(発信条件)、携帯電話6のタ
イプ(型式)などを入力するためのものである。また、
入力装置22は、本実施形態によるエージェントの問い
合わせ等に対して運転者が応答するための1つの手段で
もある。入力装置22には、タッチパネル(スイッチと
して機能)、キーボード、マウス、ライトペン、ジョイ
スティック、赤外線等によるリモコン、音声認識装置な
どの各種の装置が使用可能である。また、赤外線等を利
用したリモコンと、リモコンから送信される各種信号を
受信する受信部を備えてもよい。リモコンには、画面上
に表示されたカーソルの移動操作等を行うジョイスティ
ックの他、メニュー指定キー(ボタン)、テンキー等の
各種キーが配置される。
処理部10やエージェント処理部11が各種処理を行う
ためのコンピュータプログラムを外部の記録媒体から読
み込むのに使用される駆動装置である。記録媒体に記録
されているコンピュータプログラムには、各種のプログ
ラムやデータ等が含まれる。ここで、記録媒体とは、コ
ンピュータプログラムが記録される記録媒体をいい、具
体的には、フロッピーディスク、ハードディスク、磁気
テープ等の磁気記録媒体、メモリチップやICカード等
の半導体記録媒体、CD−ROMやMO、PD(相変化
書換型光ディスク)等の光学的に情報が読み取られる記
録媒体、紙カードや紙テープ、文字認識装置を使用して
プログラムを読み込むための印刷物等の用紙(および、
紙に相当する機能を持った媒体)を用いた記録媒体、そ
の他各種方法でコンピュータプログラムが記録される記
録媒体が含まれる。
録媒体からコンピュータプログラムを読み込む他に、記
録媒体がフロッピーディスクやICカード等のように書
き込み可能な記録媒体である場合には、ナビゲーション
処理部10やエージェント処理部11のRAMや記憶装
置29、30のデータ等をその記録媒体に書き込むこと
が可能である。例えば、ICカードにエージェント機能
に関する学習内容(学習項目データ、応答データ)を記
憶させる、他の車両を運転する場合でもこの記憶させた
ICカードを使用することで、自分の好みに合わせて
(過去の応対の状況に応じて)学習されたエージェント
とコミュニケーションすることが可能になる。これによ
り、車両毎のエージェントではなく、運転者に固有のエ
ージェントを車両内に出現させることが可能になる。
らなる携帯電話が接続されるようになっている。通信制
御部24は、電話回線による通話の他、道路の混雑状況
や交通規制等の交通情報に関するデータなどを提供する
情報提供局との通信や、車内での通信カラオケのために
使用するカラオケデータを提供する情報提供局との通信
を行うことができるようになっている。また、通信制御
装置24を介して、エージェント機能に関する学習デー
タを送受信することも可能である。
数のスピーカで構成され、音声制御部14で制御された
音声、例えば、音声による経路案内を行う場合の案内音
声や、エージェントの行動にあわせた音声や音が出力さ
れるようになっている。この音声出力装置25は、オー
ディオ用のスピーカと兼用するようにしてもよい。な
お、音声制御装置14は、運転者のチューニング指示の
入力に応じて、出力装置25から出力する音声の音色や
アクセント等を制御することが可能である。マイク26
は、音声制御部14における音声認識の対象となる音
声、例えば、ナビゲーション処理における目的地等の入
力音声や、エージェントとの運転者の会話(応答等)等
を入出力する音声入力手段として機能する。このマイク
26は、通信カラオケ等のカラオケを行う際のマイクと
兼用するようにしてもよく、また、運転者の音声を的確
に収集するために指向性のある専用のマイクを使用する
ようにしてもよい。音声出力装置25とマイク26とで
ハンズフリーユニットを形成させて、携帯電話を介さず
に、電話通信における通話を行えるようにしてもよい。
10の処理による経路案内用の道路地図や各種画像情報
が表示されたり、エージェント処理部11によるエージ
ェントの各種行動(動画)が表示されたりするようにな
っている。また、撮像装置28で撮像された車両内外の
画像も画像処理部13で処理された後に表示されるよう
になっている。表示装置27は、液晶表示装置、CRT
等の各種表示装置が使用される。なお、この表示装置5
は、例えばタッチパネル等の、前記入力装置2としての
機能を兼ね備えたものとすることができる。
CD(電荷結合素子)を備えたカメラで構成されてお
り、運転者を撮像する車内カメラの他、車両前方、後
方、右側方、左側方を撮像する各車外カメラが配置され
ている。撮像装置28の各カメラにより撮像された画像
は、画像処理部13に供給され、画像認識等の処理が行
われ、各認識結果をエージェント処理部11によるプロ
グラム番号の決定に使用するようになっている。
施形態によるエージェント機能を実現するために必要な
各種データ(プログラムを含む)が格納される記憶装置
である。このエージェントデータ記憶装置29には、例
えば、フロッピーディスク、ハードディスク、CD−R
OM、光ディスク、磁気テープ、ICカード、光カード
等の各種記録媒体と、その駆動装置が使用される。この
場合、例えば、学習項目データ292と応答データを持
ち運びが容易なICカードやフロッピーディスクで構成
し、その他のデータをハードディスクで構成するという
ように、複数種類の異なる記録媒体と駆動装置で構成
し、駆動装置としてそれらの駆動装置を用いるようにし
てもよい。
ージェントプログラム290、プログラム選択テーブル
291、学習項目データ292、応答データ、図4に例
示したエージェントの容姿や行動を画像表示するための
画像データ294、その他のデータが格納されている。
学習項目データ292及び応答データ293は、運転者
の運転操作や応答によってエージェントが学習した結果
を格納するデータである。従って、学習項目データ29
2と応答データ293は、各運転者毎にそのデータが格
納・更新(学習)されるようになっている。画像データ
294に格納される容姿としては、人間(男性、女性)
的な容姿である必要はなく、例えば、ひよこや犬、猫、
カエル、ネズミ等の動物自体の容姿や人間的に図案化
(イラスト化)した動物の容姿であってもよく、更にロ
ボット的な容姿や、特定のキャラクタの容姿等であって
もよい。またエージェントの年齢としても一定である必
要がなく、エージェントの学習機能として、最初は子供
の容姿とし、時間の経過と共に成長していき容姿が変化
していく(大人の容姿に変化し、更に老人の容姿に変化
していく)ようにしてもよい。画像データ294には、
これらの各種エージェントの容姿の画像が格納されてお
り、運転者の好みによって入力装置22等から選択する
ことができるようになっている。
ジェント機能を実現するためのエージェント処理プログ
ラムや、エージェントと運転者とがコミュニケーション
する場合の細かな行動を表示装置27に画像表示すると
共にその行動に対応した会話を音声出力装置25から出
力するためのコミュニケーションプログラムがプログラ
ム番号順に格納されている。このエージェントプログラ
ム290には、各プログラム番号の音声に対して復習種
類の音声データが格納されており、運転者は前記エージ
ェントの容姿の選択と併せて音声を入力装置22等から
選択することがができるようになっている。エージェン
トの音声としては、男性の音声、女性の音声、子供の音
声、機械的な音声、動物的な音声、特定の声優や俳優の
音声、特定のキャラクタの音声等があり、これらの中か
ら適宜運転者が選択する。なお、この音声と前記容姿の
選択は、適時変更することが可能である。
ェントプログラム290に格納されているコミュニケー
ションプログラムを選択するためのテーブルである。図
2はプログラム選択テーブル291を表したものであ
り、図3はプログラム選択テーブル291で選択される
各プログラム番号に対応した、エージェントの行為(行
動と発声)内容を表したものである。この図2、図3で
示されているプログラム番号は、エージェントプログラ
ム290に格納されている各コミュニケーションプログ
ラムの番号と一致している。
001〜00002により表示装置27に表示されるエ
ージェントの「かしこまってお辞儀」行動についての数
画面を表したものである。この図4に示されるように、
エージェントEは、口元を引き締めると共に手を膝に当
てながら、お辞儀をすることでかしこまったお辞儀であ
ることが表現されている。この行動と共にエージェント
Eが話す言葉(発声)は、車両状況や学習状況等によっ
て変えられる。
ンジンの調子に合わせて行動「眠そうに…」が選択され
る。眠そうな表現として、瞼が下がった表情にしたり、
あくびや伸びをした後に所定の行動(お辞儀等)をした
り、最初に目をこすったり、動きや発声を通常よりもゆ
っくりさせたりすることで表すことができる。これらの
眠そうな表現は、常に同一にするのではなく、行動回数
等を学習することで適宜表現を変更する。例えば、3回
に1回は目をこすり(A行動)、10回に1回はあくび
をするようにし(B行動)、それ以外では瞼を下がった
表情(C行動)にする。これらの変化は、行動Bや行動
Cの付加プログラムを行動Aの基本プログラムに組み合
わせることで実現される。そして、どの行動を組み合わ
せるかについては、基本となる行動Aのプログラム実行
回数を学習項目として計数しておき、回数に応じて付加
プログラムを組み合わせるようにする。また、行動「元
気よく」を表現する場合には、音声の抑揚を大きくした
り、エージェントEを走りながら画面に登場させたりす
ることで表現する。
番号を選択するための選択条件を表したもので、状態セ
ンサ40により検出される車両や運転者の各種状況から
決定される項目(時間、起動場所、冷却水温等)と、学
習項目データ292や応答データ293に格納されてい
る学習内容から決定される項目(今日のIG ON回
数、前回終了時からの経過時間、通算起動回数等)があ
る。プログラム選択テーブル中で、これら全項目を満足
するプログラムは必ず一義的に決定するようになってい
る。なお、テーブル中で「○」印は、そのプログラム番
号が選択されるために満たす必要がある項目を示し、
「ー」印はそのプログラムの選択には考慮されない項目
を示している。
した場合のコミュニケーション(挨拶)に関連する行為
と選択条件について記載しているが、その他各種行為
(行動と発声)を規定するプログラムを選択するための
プログラム番号と選択条件も種々規定されている。例え
ば、急ブレーキが踏まれたことを条件として、エージェ
ントが「しりもち」をついたり、「たたら」を踏んだり
する行動とったり、驚き声をだすようなプログラムも規
定されている。エージェントによる各行動の選択は急ブ
レーキに対する学習によって変化するようにし、例え
ば、最初の急ブレーキから3回目までは「しりもち」を
つき、4回目から10回目までは「たたら」を踏み、1
0回目以降は「片足を一歩前にだすだけで踏ん張る」行
動を取るようにし、エージェントが急ブレーキに対して
段階的に慣れるようにする。そして、最後の急ブレーキ
から1週間の間隔があいた場合には、1段階後退するよ
うにする。
答データ293は共にエージェントの学習により格納、
更新されるデータであり、その内容がそれぞれ図5、図
6に概念的に示されている。学習項目データ292に
は、図5に示されるように、プログラム選択テーブル2
91(図2)の選択条件を決定する通算起動回数、前回
終了日時、今日のイグニッションON回数、前5回の給
油時残量等が格納され、選択条件により選択されたプロ
グラムを起動するか否か(お休みするか否か)を決定す
るためのお休み回数/日時、デフォルト値、その他のデ
ータが格納される。
した通算回数が格納され、イグニッションがONされる
毎にカウントアップされる。前回終了日時には、イグニ
ッションをOFFにする毎にその日時が格納される。今
日のイグニッションON回数には、その日におけるイグ
ニッションONの回数と、1日の終了時間が格納され
る。イグニッションがONされる毎にカウントアップさ
れるが、1日が終了するとデータが”0”に初期化され
る。1日の終了時間はデフォルト値として24:00が
格納されている、この時間はユーザ(運転者)の生活パ
ターンによって変更することが可能である。時間が変更
された場合には、変更後の時間が格納される。
を給油する直前に検出された燃料の残量が格納され、新
たに給油される毎に各データが左側にシフトされ(最も
古い最左のデータが削除される)今回給油直前の残量が
一番右側に格納される。このデータは、後述する燃料検
出センサ415の検出値G1が、全5回分の給油残量の
平均値G2以下(G1≦G2)になった場合に、エージ
ェントEが表示装置27に現れて給油を促す行動が表示
装置27に表示され、「おなかが減ったなあ!ガソリン
がほしいな!」等の音声が音声出力装置25から出力さ
れる。
ケーションプログラムが選択されたとしても実行せずに
お休みした回数等が各プログラム番号毎に格納される。
このお休み回数/日時は、例えば後述するエアコンの停
止を提案するエージェントの行為(プログラム番号00
123)のように、学習項目としてお休み項目が設定さ
れているエージェント行為について格納される。エージ
ェントの提案や会話に対する運転者の応答が、拒否(拒
絶)であった場合や無視(又は無応答)であった場合、
コミュニケーションプログラムに応じて選択的に「お休
み」が設定される。
速、日時等の各項目に対する初期設定値が格納されてお
り、前記した1日の終了時間のように学習項目の中で変
更された値を初期値に戻す場合に使用される。学習項目
データ292に格納されるその他のデータとしては、例
えば、運転者やその関係者の誕生日(これはユーザ入力
項目である)、祭日とその言われ、クリスマス、バレン
タインデー、ホワイトデー等のイベント日などが格納さ
れる。各イベント日に応じた特別メニューのコミュニケ
ーションプログラムも用意されており、例えば、クリス
マスイブにはサンタクロースに変装したエージェントが
現れる。
トの行為に対するユーザの応答の履歴が、ユーザ応答を
学習項目とする各コミュニケーションプログラム番号毎
に格納される。ユーザ応答データは、図6(A)のコミ
ュニケーションプログラム番号00123、125のよ
うに最新の応答日時と応答内容が所定回分(プログラム
番号00123は2回分)格納されるものと、プログラ
ム番号00124のように最新の応答内容のみが1回分
格納される(従って応答がある毎に更新される。)もの
と、最新の応答内容のみが所定回分格納されるものと、
最新の日時と応答内容が一回分格納されるものと、最新
の日時だけが1回分または所定回分格納されるもの等が
ある。図6(A)中に表示された記号A、B、Cは応答
内容を表すもので、同図(B)に示すように、記号Aが
無視された場合、記号Bが拒絶された場合、記号Cが受
容された場合を表す。運転者の応答内容については、マ
イク26から入力される運転者の音声に対する音声認識
の結果や、入力装置による入力結果から判断される。な
お、本実施形態では運転者の応答を無視、拒絶、受容の
3パターに分類しているが、「強く拒絶」、「怒られ
た」、「喜ばれてた」を新たに加えるようにしてもよ
い。この場合、新たに加えた応答により、学習項目デー
タ292(例えば、お休み回数等)や応答データ293
のを追加変更する。
0(図1)に格納されるデータファイルの内容を表した
ものである。図7に示されるように、ナビゲーションデ
ータ記憶装置30には経路案内等で使用される各種デー
タファイルとして、通信地域データファイル301、描
画地図データファイル302、交差点データファイル3
03、ノードデータファイル304、道路データファイ
ル305、探索データファイル306、写真データファ
イル307が格納されるようになっている。このナビゲ
ーションデータ記憶装置4は、例えば、フロッピーディ
スク、ハードディスク、CD−ROM、光ディスク、磁
気テープ、ICカード、光カード等の各種記録媒体と、
その駆動装置が使用される。なお、ナビゲーションデー
タ記憶装置4は、複数種類の異なる記録媒体と駆動装置
で構成するようにしてもよい。例えば、検索データファ
イル46を読み書き可能な記録媒体(例えば、フラッシ
ュメモリ等)で、その他のファイルをCD−ROMで構
成し、駆動装置としてそれらの駆動装置を用いるように
する。
制御装置24に接続され又は無接続で車内において使用
される携帯電話が、車内から通信できる地域を表示装置
5に表示したり、その通信できる地域を経路探索の際に
使用するための通信地域データが、携帯電話のタイプ別
に格納されている。この携帯電話のタイプ別の各通信地
域データには、検索しやすいように番号が付されて管理
され、その通信可能な地域は、閉曲線で囲まれる内側に
より表現できるので、その閉曲線を短い線分に分割して
その屈曲点の位置データによって特定する。なお、通信
地域データは、通信可能地を大小各種の四角形エリアに
分割し、対角関係にある2点の座標データによりデータ
化するようにしてもよい。通信地域データファイル30
1に格納される内容は、携帯電話の使用可能な地域の拡
大や縮小に伴って、更新できるのが望ましく、このため
に、携帯電話と通信制御装置24を使用することによ
り、情報提供局との間で通信を行なって、通信地域デー
タファイル301の内容を最新のデータと更新できるよ
うに構成されている。なお、通信地域データファイル3
01をフロッピーディスク、ICカード等で構成し、最
新のデータと書換えを行うようにしても良い。描画地図
データファイル302には、表示装置27に描画される
描画地図データが格納されている。この描画地図データ
は、階層化された地図、例えば最上位層から日本、関東
地方、東京、神田といった階層ごとの地図データが格納
されている。各階層の地図データは、それぞれ地図コー
ドが付されている。
点を特定する交差点番号、交差点名、交差点の座標(緯
度と経度)、その交差点が始点や終点になっている道路
の番号、および信号の有無などが交差点データとして格
納されている。ノードデータファイル304には、各道
路における各地点の座標を指定する緯度、経度などの情
報からなるノードデータが格納されている。すなわち、
このノードデータは、道路上の一地点に関するデータで
あり、ノード間を接続するものをアークと呼ぶと、複数
のノード列のそれぞれの間をアークで接続することによ
って表現される。道路データファイル305には、各道
路を特定する道路番号、始点や終点となる交差点番号、
同じ始点や終点を持つ道路の番号、道路の太さ、進入禁
止等の禁止情報、後述の写真データの写真番号などが格
納されている。交差点データファイル303、ノードデ
ータファイル304、道路データファイル305にそれ
ぞれ格納された交差点データ、ノードデータ、道路デー
タからなる道路網データは、経路探索に使用される。
により生成された経路を構成する交差点列データ、ノー
ド列データなどが格納されている。交差点列データは、
交差点名、交差点番号、その交差点の特徴的風景を写し
た写真番号、曲がる角、距離等の情報からなる。また、
ノード列データは、そのノードの位置を表す東経、北緯
などの情報からなる。写真データファイル307には、
各交差点や直進中に見える特徴的な風景等を撮影した写
真が、その写真番号と対応してディジタル、アナログ、
またはネガフィルムの形式で格納されている。
センサを表したものである。図8に示すように状況セン
サ部40は、イグニッションセンサ401、車速センサ
402、アクセルセンサ403、ブレーキセンサ40
4、サイドブレーキ検出センサ405、シフト位置検出
センサ406、ウィンカー検出センサ407、ワイパー
検出センサ408、ライト検出センサ409、シートベ
ルト検出センサ410、ドア開閉検出センサ411、同
乗者検出センサ412、室内温度検出センサ413、室
外温度検出センサ414、燃料検出センサ415、水温
検出センサ416、ABS検出センサ417、エアコン
センサ418、体重センサ419、前車間距離センサ4
20、後車間距離センサ421、体温センサ422、心
拍数センサ423、発汗センサ424、脳波センサ42
5、アイトレーサー426、赤外線センサ427、その
他のセンサ(タイヤの空気圧低下検出センサ、ベルト類
のゆるみ検出センサ、窓の開閉状態センサ、クラクショ
ンセンサ、室内湿度センサ、室外湿度センサ、油温検出
センサ、油圧検出センサ等)428等の車両状況や運転
者状況、車内状況等を検出する各種センサを備えてい
る。これら各種センサは、それぞれのセンシング目的に
応じた所定の位置に配置されている。なお、これらの各
センサは独立したセンサとして存在しない場合には、他
のセンサ検出信号から間接的にセンシングする場合を含
む。例えば、タイヤの空気圧低下検出センサは、車輪速
センサの信号の変動により間接的に空気圧の低下を検出
する。
ションのONとOFFを検出する。車速センサ402
は、例えば、スピードメータケーブルの回転角速度又は
回転数を検出して車速を算出するもの等、従来より公知
の車速センサを特に制限なく用いることができる。アク
セルセンサ403は、アクセルペダルの踏み込み量を検
出する。ブレーキセンサ404は、ブレーキの踏み込み
量を検出したり、踏み込み力や踏む込む速度等から急ブ
レーキがかけられたか否かを検出する。サイドブレーキ
検出センサ405は、サイドブレーキがかけられている
か否かを検出する。シフト位置検出センサ406は、シ
フトレバー位置を検出する。ウィンカー検出センサ40
7は、ウィンカの点滅させている方向を検出する。ワイ
パー検出センサ408は、ワイパーの駆動状態(速度
等)を検出する。ライト検出センサ409は、ヘッドラ
ンプ、テールランプ、フォグランプ、ルームランプ等の
各ランプの点灯状態を検出する。シートベルト検出セン
サ410は、運転者、及び同乗者(補助席、後部座席)
がシートベルトを着用しているか否かを検出する。着用
していない場合には適宜(嫌われない程度に)エージェ
ントが現れ、警告、注意、コメント等(学習により程度
を変更する)を行う。
状態を検出し、いわゆる半ドアの場合には、エージェン
トがその旨を知らせる。ドア開閉検出センサ411は、
運転席ドア、助手席ドア、後部運転席側ドア、後部助手
席側ドア等の、車種に応じた各ドア毎の開閉を検出でき
るようになっている。同乗者検出センサ412は、助手
席や後部座席に同乗者が乗っているか否かを検出するセ
ンサで、撮像装置28で撮像された車内の画像から検出
し、または、補助席等に配置された圧力センサや、体重
計により検出する。室内温度検出センサ413は室内の
気温を検出し、室外温度検出センサ414は車両外の気
温を検出する。燃料検出センサ415は、ガソリン、軽
油等の燃料の残量を検出する。給油時直前における過去
5回分の検出値が学習項目データ292に格納され、そ
の平均値になった場合にエージェントが給油時期である
ことを知らせる。
検出する。イグニッションON直後において、この検出
温度が低い場合には、エージェントが眠そうな行為をす
る場合が多い。逆に水温が高すぎる場合にはオーバーヒ
ートする前に、エージェントが「だるそう」な行動と共
にその旨を知らせる。ABS検出センサ417は、急ブ
レーキによるタイヤのロックを防止し操縦性と車両安定
性を確保するABSが作動したか否かを検出する。エア
コンセンサ418は、エアコンの操作状態を検出する。
例えば、エアコンのON・OFF、設定温度、風量等が
検出される。体重センサ419は、運転者の体重を検出
するセンサである。この体重から、または、体重と撮像
装置28の画像から運転者を特定し、その運転者との関
係で学習したエージェントを出現させるようにする。す
なわち、特定した運転者に対してエージェントが学習し
た、学習項目データ292と応答データ293を使用す
ることで、その運転者専用のエージェントを出現させる
ようにする。前車間距離センサ420は車両前方の他車
両や障害物との距離を検出し、後車間距離センサ421
は後方の他車両や障害物との距離を検出する。
3、発汗センサ424は、それぞれ運転者の体温、心拍
数、発汗状態を検出するセンサで、例えば、ハンドル表
面に各センサを配置し運転者の手の状態から検出する。
または、体温センサ422として、赤外線検出素子を使
用したサーモグラフィーにより運転者の各部の温度分布
を検出するようにしても良い。脳波センサ425は、運
転者の脳波を検出するセンサで、例えばα波やβ波等を
検出して運転者の覚醒状態等を調べる。アイトレーサー
426は、ユーザの視線の動きを検出し、通常運転中、
車外の目的物を捜している、車内目的物をさがしてい
る、覚醒状態等を判断する。赤外線センサ427は、ユ
ーザの手の動きや顔の動きを検出する。
の動作について説明する。図9は本実施形態によるエー
ジェント処理のメイン動作を表したフローチャートであ
る。エージェント処理部11は、イグニッションがON
されたことがイグニッションセンサ401で検出される
と、まず最初に初期設定を行う(ステップ11)。初期
設定としては、RAMのクリア、各処理用のワークエリ
アをRAMに設定、プログラム選択テーブル291(図
2)のRAMへのロード、フラグの0設定、等の処理が
行われる。なお、本実施形態のエージェント処理では、
その処理の開始をイグニッションONとしたが、例えば
ドア開閉検出センサ411によりいずれかのドアの開閉
が検出された場合に処理を開始するようにしてもよい。
処理部15に状況センサ部40の各センサから供給され
る検出値や、撮像装置28で撮像した画像の処理結果
や、現在位置検出装置21で検出した車両の現在位置等
のデータを取得して、RAMの所定エリアに格納し、格
納したデータから現在状況の把握を行う(ステップ1
2)。例えば、水温検出センサ416で検出された冷却
水の温度がt1である場合、エージェント処理部11
は、この温度t1をRAMに格納すると共に、t1が所
定の閾値t2以下であれば、車両の現在の状態として冷
却水温(図2参照)は低い状態であると把握する。現在
の状況としては、他にマイク26からの入力に基づいて
音声認識した運転者の要求、例えば、「○○○番に電話
をしてくれ。」や「この辺のレストランを表示してく
れ」や「CDをかけてくれ」等の要求も現在の状況とし
て把握される。この場合、認識した音声に含まれるワー
ド「CD」「かけて」等がプログラム選択テーブル29
1(図2)の選択条件(横軸項目)になる。
ェントデータ記憶装置29の学習項目データ292と応
答データ293をチェックすることで、エージェントが
これまでに学習してきた状態(学習データ)を把握する
(ステップ13)。
状態とチェックした学習データとから、図2に示したプ
ログラム選択テーブル291から、現在の状態で起動可
能なコミュニケーションプログラム(の番号)があるか
否かを判断し、該当プログラムが無ければ(ステップ1
4;N)、ステップ12に戻って新たな状態を把握す
る。一方、起動可能なコミュニケーションプログラムが
ある場合(ステップ14;Y)、そのプログラム番号を
決定する。そして、決定したプログラム番号に対する運
転者の応答履歴を応答データ293から確認し、当該プ
ログラム番号のコミュニケーションプログラムの起動
を、お休みすべき状態か否かを確認する(ステップ1
5)。
N)、エージェント処理部11は、決定したプログラム
番号に対応するコミュニケーションプログラムを起動す
ることで、図4に示された各エージェントの行為(行動
と音声)に従った画像を表示装置27に表示すると共
に、音声出力装置25から音声出力する(ステップ1
6)。これによって、現在の車両や運転者等の状況から
だけでなく、過去の状況や応答にたいする学習結果を反
映させたエージェントとのコミュニケーションが可能に
なる。
ニケーションプログラムの起動によるエージェント行為
に対する運転者の応答を、マイク26からの入力に基づ
く音声認識結果や、入力装置22からの入力結果から取
得する(ステップ17)。次にエージェント処理部11
は、ステップ16で起動したコミュニケーションプログ
ラムが制御対象プログラムか否かを判断する(ステップ
18)。ここで制御対象プログラムか否かは各プログラ
ム毎に規定されており、例として、「ラジオの電源を入
れましょうか?」や、お昼時にお腹が鳴る音を検出した
場合に「食堂の案内をしましょうか?」といったよう
に、エージェントが処理可能な行為の提案をする場合の
コミュニケーションプログラム等が制御対象プログラム
として規定されている。
18;N)にはステップ20に移行し、制御対象プログ
ラムである場合(ステップ18;Y)、ステップ17で
取得した運転者の応答に応じた制御を行う(ステップ1
9)。例えば、上記ラジオの電源を入れる提案コミュニ
ケーションに対して、「入れて」「OK」「はい」等の
提案を受容する応答が認識された場合であれば、エージ
ェント処理部11は応答に応じた制御として、エージェ
ントに返事をする行為(行為と音声)をさせると共にラ
ジオの電源をONにする。
のコミュニケーションプログラムに関するデータを蓄積
することで、エージェントに学習をさせる(ステップ2
0)。データの蓄積としては、例えば、コミュニケーシ
ョンプログラムの起動がお休みである場合には(ステッ
プ15;Y)、学習項目データ292の該当プログラム
番号の回数欄をカウントアップさせる。ただし、学習項
目データ292のお休み回数/日時欄に格納されている
回数をKa回とし、当該プログラム番号に対する前回ま
での応答データ293の履歴から決まるお休み回数をK
b回とした場合、Ka=Kb−1であれば、今回のお休
みで規定回数休んだことになるの。そこで、学習項目デ
ータ292及び応答データ293の当該プログラム番号
欄の(該当する位置に格納されている)データをクリア
する。その他の場合(ステップ18;Nの場合、ステッ
プ19の後)には、ステップ12で把握した現在状況の
中に学習項目があれば学習項目データ292の値を更新
し、応答内容を履歴として格納すべきプログラム番号で
あればステップ17で取得した応答内容を応答データ2
93(図7)に格納する。この応答の履歴も各プログラ
ム番号毎に規定された所定回数分のデータが既に格納さ
れている場合には、最も古いデータを廃棄して新しいデ
ータを格納する。
ン・学習の各処理が終了すると、エージェント処理部1
1は、ステップ11でRAMに初期設定したフラグ領域
にフラグ1が立っているか否かを確認する(ステップ2
1)。フラグが立っていない場合には(ステップ21;
N)、イグニッションセンサ401によりイグニッショ
ンOFFが検出されたか否かを判断し(ステップ2
2)、検出されていない場合(ステップ22;N)には
ステップ12に戻って新たな状態を把握する。一方、イ
グニッションOFFが検出された場合(ステップ22;
Y)、RAMのフラグ領域にフラグ1を立て(ステップ
23)た後にステップ12に戻り、後処理を行う。すな
わち、フラグ1を現在状況や学習データに応じたお別れ
の行為(行動と音声)をエージェントにさせると共に、
消し忘れのライト類の消灯等の制御、及び当該後処理に
対する学習(ステップ20)の後、フラグが1なので
(ステップ21;Y)、エージェント処理を終了する。
る、具体的な行為例について説明する。図10は、イグ
ニッションON後における具体的なエージェント処理の
内容を概念的に表したものである。この図10(A)に
示すように、エージェント処理部11は、現在状況とし
て、イグニッションセンサ401で検出された状態が
「ON」、現在位置検出装置21で検出された現在位置
(緯度、経度)から求めた現在位置が「その他」(自
宅、休憩場所以外)、等の状況を把握(ステップ12)
したものとする。また、学習項目データ292と応答デ
ータ293についてチェックした学習データとしては、
今日のイグニッションON回数が「2日目」前回終了日
時が「1997.7.12 10:05」、通算起動回
数が「30回」であるとチェック(ステップ13)した
ものとする。
は、プログラム選択テーブル291からプログラム番号
00004のコミュニケーションプログラムを選択し
(ステップ14)、お休み対象で無いことを確認(ステ
ップ15;N)したうえで、当該番号のコミュニケーシ
ョンプログラムを起動する(ステップ16)。プログラ
ム番号00004のコミュニケーションプログラムの起
動により、図3に示すエージェント行為(行動と発声)
が、図10(B)に示すように、行われる。すなわち、
表示装置27にはエージェントが図4に示すように「か
しこまってお辞儀」をする連続行動の画像が複数枚表示
(または動画が表示)されると共に、音声出力装置25
からは「また私、リサが御供いたします。よろしくお願
いします。」といった音声が出力される。
グラムではないので(ステップ18;N)、ステップ1
9をとばし、エージェントの学習として図10(C)に
示すように、学習項目データ292の今日のイグニッシ
ョンON回数を2回から3回に変更すると共に、通算起
動回数を30回から31回に変更する(ステップ2
0)。その後フラグ=1でなく(イグニッションONし
たのちなので通常はフラグ=0)、イグニッションOF
Fでもなければ(ステップ21;N、22;N)、ステ
ップ12に戻りその後のコミュニケーションを継続す
る。
に格納されている通算起動回数が31回以上になる。従
ってそれ以後は、全学習データ(学習項目データ292
と応答データ293)を初期化しない限り、コミュニケ
ーションプログラム00001〜00006が選択され
ることはない。以後イグニッションONの通算回数が3
00回になるまで、プログラム番号00007〜000
19のいずれかのコミュニケーションプログラムが選択
される。すなわち、エージェントは「かしこまってお辞
儀」を行わず、冷却水温が高ければ通常の「お辞儀」、
低ければ「眠そうにお辞儀」をする。その際の音声は、
起動場所やその日のIGON回数等により選択されるプ
ログラム番号によって変化する
ージェント処理の内容を概念的に表したものである。こ
の図11(A)に示すように、エージェント処理部11
は、現在状況として、エアコンセンサ418で検出され
た状態が「ON」、室内温度検出センサ413と室外温
度検出センサ414で検出された室温T1と室外温T2
を取得する。また、各プログラム番号の応答データ29
3をチェックすることで、プログラム番号0123に対
する前2回の運転者応答がC(受容)なので、閾値T
3、T4の値としてデフォルト値(T3=2度、T4=
24度)が学習項目データ292から読み出される。こ
の閾値T3とT4とから、室温と室外温の関係、(T1
−T2)≦T3が「Yes」、室外温T2と閾値T4と
の関係T2≦T4が「Yes」、等の状況が最終的に把
握される(図11(A))。
は、プログラム選択テーブル291からプログラム番号
00123のコミュニケーションプログラムを最終的に
選択し(ステップ14)、お休み対象で無いことを確認
(ステップ15;N)したうえで、当該番号のコミュニ
ケーションプログラムを起動する(ステップ16)。プ
ログラム番号00123のコミュニケーションプログラ
ムの起動により、図11(B)に示すような行為をエー
ジェントがする。すなわち、表示装置27にはエージェ
ントが現れてほほえむ連続動作の画像が複数枚表示(ま
たは動画が表示)されると共に、音声出力装置25から
は「外は涼しくなりましたよ。外気を入れてみませんか
?」といった音声が出力される。
対する運転者の応答を取得する(ステップ17)。そし
て、プログラム番号00123は制御対象プログラムな
ので(ステップ18;Y)、受容であれば応答に応じた
制御としてエアコンの電源をOFFにすると共に、運転
席側と助手席側の窓を1/2だけ開ける制御を行う(ス
テップ19)。応答に応じた制御の後、エージェント処
理部11は、エージェントの学習として、図11(C)
に示すように、運転者の応答が無視であればA、拒絶で
あればB、受容であればCを、応答日時と共にプログラ
ム番号0123に対応する応答データ293に格納す
る。この場合、前々回の応答データが削除され、前回の
応答と今回の応答が応答データ293の格納内容にな
る。そして、格納した応答内容が無視Aであれば、次回
の閾値T3、T4は1度づつ下げた値(T3−1=1
度、T4−1=23度)が使用され、1回休むことにな
る。格納した応答内容が拒絶Bであれば、次回の閾値T
3、T4は1度づつ下げた値(T3−1=1度、T4−
1=23度)が使用され、5回休むことになる。なお、
1回休む場合の閾値としては下げた後の温度T3=T3
−1、T4=T4−1が使用される。格納した応答内容
が受容Cであれば、前回使用した閾値T3、T4と同一
の値が使用される。
ョンに対する受容応答により、運転席側と助手席側の窓
を1/2だけ開ける制御について説明したが、この窓を
開ける位置と量についてもエージェントの学習対象と
し、次回の窓開閉制御に対する学習とするようにしても
よい。例えば、運転者の「開けすぎだよ」、「もう少し
締めて」、「後ろも開けてよ」等の応答を、図11
(A)の状況に対する固有のデータではなく、窓開閉に
関して運転者の好みを表す一般的なデータとして応答デ
ータ293に格納しておく。この場合のデフォルト値と
しては、例えば、開対象窓と開放量;運転席側窓1/
2、助手席側窓1/2とする。なお、運転者の応答が
「後ろもあ開けてよ」であった場合、この応答(音声認
識結果)が現在の状況として把握(ステップ12)さ
れ、コミュニケーションプログラムの起動(ステップ1
6)によりエージェントの行為と共に、後ろの窓も開放
する。
過去の種々の状況を学習し、この学習内容に応じて現在
の車両や運転者に関する状況に適したコミュニケーショ
ン行為をエージェントが行うので、運転者は車内で飽き
ることなく運転することができる。また運転者は、エー
ジェントに対して怒ったり、笑ったり、相談したりで
き、またエージェントから積極的になされる提案に対し
てもその時々の気分で応答することができる。そして、
これらの運転者の行為を適切に判断、学習してエージェ
ントがコミュニケーションをとるので、エージェントに
対して親しみを感じ、その車両に対する愛着を増すこと
ができる。
た車両によれば、学習手段による学習結果と状況判断手
段により判断された現在の状況とから擬人化されたエー
ジェントの行為を決定し、エージェント出現手段により
出現されるエージェントに行わせるようにしたので、擬
人化されたエージェントが状況に合わせて適切に行為
し、運転者とのコミュニケーションをはかることができ
る。従って、運転者はエージェントとの会話をしたり、
エージェントに窓の開閉、CDやラジオの制御、走行道
路や施設の詳細な案内といった各種の制御をしてもらう
ことができ、車内での運転環境を快適にすることができ
る。
ン機能を実現するための構成を示すブロック図である。
の内容を概念的にあらわした説明図である。
対応するエージェントの行為(行動と音声)を表した説
明図である。
01〜00002の起動により表示装置に表示されるエ
ージェントの「かしこまってお辞儀」行動についての数
画面を表した説明図である。
を概念的に表した説明図である。
念的に表した説明図である。
記憶装置に格納されるデータファイルの内容を概念的に
表した説明図である。
る各種センサを表した説明図である。
ン動作を表したフローチャートである。
N後における具体的なエージェント処理の内容を概念的
に表した説明図である。
る具体的なエージェント処理の内容を概念的に表したも
のである。
Claims (15)
- 【請求項1】 擬人化されたエージェントを車両内に出
現させるエージェント出現手段と、車両の状況を判断す
る状況判断手段と、 この状況判断手段による所定状況を記憶することで学習
する学習手段と、 この学習手段による学習結果と前記状況判断手段により
判断された状況とから、エージェントの行為を決定する
行為決定手段と、 この行為決定手段で決定された行為を前記エージェント
出現手段により出現されるエージェントに行わせるエー
ジェント制御手段と、を具備することを特徴とするエー
ジェント装置。 - 【請求項2】 前記状況判断手段は、現在または過去の
状況を判断する手段であることを特徴とする請求項1項
記載のエージェント装置。 - 【請求項3】 前記状況判断手段は、車両の現在位置を
検出する現在位置現在検出手段であることを特徴とする
請求項1項記載のエージェント装置。 - 【請求項4】 前記状況判断手段は、車両各部の状況を
検出する車載センサであることを特徴とする請求項1項
記載のエージェント装置。 - 【請求項5】 前記状況判断手段は、車両外部の環境を
検出するセンサであることを特徴とする請求項1項記載
のエージェント装置。 - 【請求項6】 前記学習手段は、前記状況手段が同一の
状況を検出する回数により予め定められた学習結果を出
力することを特徴とする請求項1項記載のエージェント
装置。 - 【請求項7】 前記エージェント出現手段は、画像表示
手段と、画像表示手段に対し、特定のエージェントを画
像表示するエージェント表示手段を含むことを特徴とす
る請求項1項記載のエージェント装置。 - 【請求項8】 前記特定のエージェントは、複数のエー
ジェントの中から選択されることを特徴とする請求項6
項記載のエージェント装置。 - 【請求項9】 前記エージェント出現手段は、音声出力
装置と、該音声主力装置に対し、特定のエージェントの
音声を出力するエージェント音声出力手段を含むことを
特徴とする請求項1項記載のエージェント装置 - 【請求項10】 前記音声出力手段は、複数のエージェ
ント音声の中から選択された音声を出力することを特徴
とする請求項8項記載のエージェント装置。 - 【請求項11】 前記エージェント制御手段は、前記行
為決定手段で決定された行為に対応して、エージェント
の行動を画像表示手段に画像表示する請求項1項記載の
エージェント装置。 - 【請求項12】 前記エージェント制御手段は、前記行
為決定手段で決定された行為に対応して、音声出力手段
から出力される音声の音色を制御する請求項1項記載の
エージェント装置。 - 【請求項13】 前記学習手段は、さらに、運転者の指
示内容及び応答内容の少なくとも一方を学習対象として
記憶する記憶手段を備えたことを特徴とする請求項1項
記載のエージェント装置。 - 【請求項14】 さらに運転者の操作を入力するスイッ
チを備え、前記記憶手段は該スイッチ入力の時間及び場
所を記憶することを特徴とする請求項5項記載のエージ
ェント装置。 - 【請求項15】 前記学習手段は、前記エージェント制
御手段により実行された行為に対応した運転者の操作が
あったか否かを判別する判別手段を備えることを特徴と
する請求項1項記載のエージェント装置。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21249197A JP3873386B2 (ja) | 1997-07-22 | 1997-07-22 | エージェント装置 |
US09/119,238 US6249720B1 (en) | 1997-07-22 | 1998-07-21 | Device mounted in vehicle |
DE69836846T DE69836846T2 (de) | 1997-07-22 | 1998-07-22 | Im Kraftfahrzeug eingebautes Gerät |
EP98113679A EP0893308B1 (en) | 1997-07-22 | 1998-07-22 | Device mounted in vehicle |
JP2005098224A JP3918850B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098226A JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098225A JP3891202B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098223A JP2005313885A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098227A JP2005313886A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2008156559A JP4353310B2 (ja) | 1997-07-22 | 2008-06-16 | 車載装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21249197A JP3873386B2 (ja) | 1997-07-22 | 1997-07-22 | エージェント装置 |
Related Child Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005098225A Division JP3891202B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098226A Division JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098223A Division JP2005313885A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098227A Division JP2005313886A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098224A Division JP3918850B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1137766A true JPH1137766A (ja) | 1999-02-12 |
JP3873386B2 JP3873386B2 (ja) | 2007-01-24 |
Family
ID=16623542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21249197A Expired - Fee Related JP3873386B2 (ja) | 1997-07-22 | 1997-07-22 | エージェント装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3873386B2 (ja) |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000249567A (ja) * | 1999-03-02 | 2000-09-14 | Aisin Aw Co Ltd | ナビゲーション装置および記憶媒体 |
JP2000267039A (ja) * | 1999-03-15 | 2000-09-29 | Shimadzu Corp | ヘッドアップディスプレイ |
JP2000318544A (ja) * | 1999-05-11 | 2000-11-21 | Nec Corp | 車載機器制御装置 |
JP2001009169A (ja) * | 1999-06-30 | 2001-01-16 | Interrobot Inc | 身体的音声反応玩具 |
JP2001079262A (ja) * | 1999-09-10 | 2001-03-27 | Sony Computer Entertainment Inc | 情報処理装置、エンタテインメント装置、起動画像表示方法および情報記録媒体 |
JP2001227962A (ja) * | 2000-02-15 | 2001-08-24 | Fujitsu Ten Ltd | ナビゲーション装置 |
JP2002181552A (ja) * | 2000-12-11 | 2002-06-26 | Nippon Telegr & Teleph Corp <Ntt> | サーバ型ナビゲーションシステム |
JP2003029775A (ja) * | 2001-07-10 | 2003-01-31 | E-Lead Electronic Co Ltd | 音声応答する自動車音響操作装置 |
JP2003507241A (ja) * | 1999-08-18 | 2003-02-25 | フオルクスワーゲン・アクチエンゲゼルシヤフト | メニューによりサポートされた操作を行うための方法および装置 |
JP2003512969A (ja) * | 1999-11-03 | 2003-04-08 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両内のアシスタント装置 |
JP2003104136A (ja) * | 2001-09-28 | 2003-04-09 | Equos Research Co Ltd | 運転者情報収集装置 |
WO2003042002A1 (fr) * | 2001-11-13 | 2003-05-22 | Kabushiki Kaisha Equos Research | Appareil de creation de donnees |
JP2003526120A (ja) * | 2000-03-09 | 2003-09-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 民生電子機器システムとの対話処理方法 |
JP2003280688A (ja) * | 2002-03-25 | 2003-10-02 | Nissan Diesel Motor Co Ltd | 情報交換システム |
JP2004037953A (ja) * | 2002-07-04 | 2004-02-05 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
JP2004045616A (ja) * | 2002-07-10 | 2004-02-12 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
JP2005249802A (ja) * | 1997-07-22 | 2005-09-15 | Equos Research Co Ltd | エージェント装置 |
JP2006184092A (ja) * | 2004-12-27 | 2006-07-13 | Xanavi Informatics Corp | ナビゲーション装置 |
JP2006194633A (ja) * | 2005-01-11 | 2006-07-27 | Toyota Motor Corp | 車両用音声情報提供装置 |
JP2006300428A (ja) * | 2005-04-21 | 2006-11-02 | Sekisui House Ltd | 住宅内環境ナビゲーションシステム |
JP2007241535A (ja) * | 2006-03-07 | 2007-09-20 | Kenwood Corp | エージェント装置 |
US7502152B2 (en) | 2002-11-16 | 2009-03-10 | Robert Bosch Gmbh | Device for projecting an object in a space inside a vehicle |
WO2009044797A1 (ja) * | 2007-10-04 | 2009-04-09 | Nissan Motor Co., Ltd. | 情報提示システム |
JP2009514734A (ja) * | 2005-11-11 | 2009-04-09 | フオルクスヴアーゲン アクチエンゲゼルシヤフト | 有利には自動車内に設けられる情報装置と、車両データを通知するための方法、とりわけ車両機能および該車両機能の操作に関する情報を通知するための方法 |
JP2009120181A (ja) * | 2007-10-04 | 2009-06-04 | Nissan Motor Co Ltd | 情報提示システム |
JP2010127779A (ja) * | 2008-11-27 | 2010-06-10 | Denso It Laboratory Inc | 情報提供装置、情報提供方法およびプログラム |
JP2010531478A (ja) * | 2007-04-26 | 2010-09-24 | フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー | 感情に訴える助言システム及び方法 |
JP2011113385A (ja) * | 2009-11-27 | 2011-06-09 | Denso Corp | 情報提示装置 |
WO2014203495A1 (ja) * | 2013-06-19 | 2014-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声対話方法、及び機器 |
US9195290B2 (en) | 2009-10-28 | 2015-11-24 | Google Inc. | Navigation images |
WO2017126221A1 (ja) * | 2016-01-19 | 2017-07-27 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
CN109426988A (zh) * | 2017-09-01 | 2019-03-05 | 本田技研工业株式会社 | 补充推荐***和补充推荐方法 |
JP2019064583A (ja) * | 2017-08-22 | 2019-04-25 | 株式会社ユピテル | システム及びプログラム |
JP2019086805A (ja) * | 2017-11-01 | 2019-06-06 | トヨタ自動車株式会社 | 車内システム |
JP2019145134A (ja) * | 2019-04-02 | 2019-08-29 | 株式会社ユピテル | システム及びプログラム |
CN110770818A (zh) * | 2017-06-16 | 2020-02-07 | 本田技研工业株式会社 | 体验提供***、体验提供方法及体验提供程序 |
JP2020056607A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社Subaru | 車両用エージェント装置 |
JP2020057080A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社Subaru | 車両用エージェント装置 |
JP2022033135A (ja) * | 2016-10-07 | 2022-02-28 | ソニーグループ株式会社 | サーバ、クライアント端末、制御方法、およびプログラム |
WO2023276037A1 (ja) * | 2021-06-30 | 2023-01-05 | パイオニア株式会社 | コンテンツ出力装置、コンテンツ出力方法、プログラム及び記憶媒体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7379462B2 (ja) | 2019-03-15 | 2023-11-14 | 本田技研工業株式会社 | 車両用コミュニケーション装置及びプログラム |
JP7379463B2 (ja) | 2019-03-15 | 2023-11-14 | 本田技研工業株式会社 | 車両用コミュニケーション装置及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07270174A (ja) * | 1994-03-31 | 1995-10-20 | Fujitsu Ten Ltd | 車両位置表示方法 |
JPH0973382A (ja) * | 1995-09-04 | 1997-03-18 | Fujitsu Ltd | コンピュータシステム |
JPH09102098A (ja) * | 1995-10-03 | 1997-04-15 | Honda Motor Co Ltd | 車両用情報表示装置 |
-
1997
- 1997-07-22 JP JP21249197A patent/JP3873386B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07270174A (ja) * | 1994-03-31 | 1995-10-20 | Fujitsu Ten Ltd | 車両位置表示方法 |
JPH0973382A (ja) * | 1995-09-04 | 1997-03-18 | Fujitsu Ltd | コンピュータシステム |
JPH09102098A (ja) * | 1995-10-03 | 1997-04-15 | Honda Motor Co Ltd | 車両用情報表示装置 |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005249802A (ja) * | 1997-07-22 | 2005-09-15 | Equos Research Co Ltd | エージェント装置 |
JP2000249567A (ja) * | 1999-03-02 | 2000-09-14 | Aisin Aw Co Ltd | ナビゲーション装置および記憶媒体 |
JP2000267039A (ja) * | 1999-03-15 | 2000-09-29 | Shimadzu Corp | ヘッドアップディスプレイ |
JP2000318544A (ja) * | 1999-05-11 | 2000-11-21 | Nec Corp | 車載機器制御装置 |
JP2001009169A (ja) * | 1999-06-30 | 2001-01-16 | Interrobot Inc | 身体的音声反応玩具 |
JP2003507241A (ja) * | 1999-08-18 | 2003-02-25 | フオルクスワーゲン・アクチエンゲゼルシヤフト | メニューによりサポートされた操作を行うための方法および装置 |
JP2001079262A (ja) * | 1999-09-10 | 2001-03-27 | Sony Computer Entertainment Inc | 情報処理装置、エンタテインメント装置、起動画像表示方法および情報記録媒体 |
JP2003512969A (ja) * | 1999-11-03 | 2003-04-08 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両内のアシスタント装置 |
JP2001227962A (ja) * | 2000-02-15 | 2001-08-24 | Fujitsu Ten Ltd | ナビゲーション装置 |
JP2003526120A (ja) * | 2000-03-09 | 2003-09-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 民生電子機器システムとの対話処理方法 |
JP2002181552A (ja) * | 2000-12-11 | 2002-06-26 | Nippon Telegr & Teleph Corp <Ntt> | サーバ型ナビゲーションシステム |
JP2003029775A (ja) * | 2001-07-10 | 2003-01-31 | E-Lead Electronic Co Ltd | 音声応答する自動車音響操作装置 |
JP2003104136A (ja) * | 2001-09-28 | 2003-04-09 | Equos Research Co Ltd | 運転者情報収集装置 |
WO2003029053A1 (fr) * | 2001-09-28 | 2003-04-10 | Kabushiki Kaisha Equos Research | Appareil agent |
US7079925B2 (en) | 2001-09-28 | 2006-07-18 | Kabushikikaisha Equos Research | Agent apparatus |
WO2003042002A1 (fr) * | 2001-11-13 | 2003-05-22 | Kabushiki Kaisha Equos Research | Appareil de creation de donnees |
JP2003280688A (ja) * | 2002-03-25 | 2003-10-02 | Nissan Diesel Motor Co Ltd | 情報交換システム |
JP2004037953A (ja) * | 2002-07-04 | 2004-02-05 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
JP2004045616A (ja) * | 2002-07-10 | 2004-02-12 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
US7502152B2 (en) | 2002-11-16 | 2009-03-10 | Robert Bosch Gmbh | Device for projecting an object in a space inside a vehicle |
JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
JP4533705B2 (ja) * | 2003-09-01 | 2010-09-01 | パナソニック株式会社 | 車載対話装置 |
JP4580230B2 (ja) * | 2004-12-27 | 2010-11-10 | クラリオン株式会社 | ナビゲーション装置 |
JP2006184092A (ja) * | 2004-12-27 | 2006-07-13 | Xanavi Informatics Corp | ナビゲーション装置 |
JP2006194633A (ja) * | 2005-01-11 | 2006-07-27 | Toyota Motor Corp | 車両用音声情報提供装置 |
JP2006300428A (ja) * | 2005-04-21 | 2006-11-02 | Sekisui House Ltd | 住宅内環境ナビゲーションシステム |
JP2009514734A (ja) * | 2005-11-11 | 2009-04-09 | フオルクスヴアーゲン アクチエンゲゼルシヤフト | 有利には自動車内に設けられる情報装置と、車両データを通知するための方法、とりわけ車両機能および該車両機能の操作に関する情報を通知するための方法 |
JP2007241535A (ja) * | 2006-03-07 | 2007-09-20 | Kenwood Corp | エージェント装置 |
US8812171B2 (en) | 2007-04-26 | 2014-08-19 | Ford Global Technologies, Llc | Emotive engine and method for generating a simulated emotion for an information system |
US9811935B2 (en) | 2007-04-26 | 2017-11-07 | Ford Global Technologies, Llc | Emotive advisory system and method |
US9495787B2 (en) | 2007-04-26 | 2016-11-15 | Ford Global Technologies, Llc | Emotive text-to-speech system and method |
JP2010531478A (ja) * | 2007-04-26 | 2010-09-24 | フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー | 感情に訴える助言システム及び方法 |
US9292952B2 (en) | 2007-04-26 | 2016-03-22 | Ford Global Technologies, Llc | Task manager and method for managing tasks of an information system |
US9189879B2 (en) | 2007-04-26 | 2015-11-17 | Ford Global Technologies, Llc | Emotive engine and method for generating a simulated emotion for an information system |
US8461971B2 (en) | 2007-10-04 | 2013-06-11 | Nissan Motor Co., Ltd. | Information presentation system |
JP2009120181A (ja) * | 2007-10-04 | 2009-06-04 | Nissan Motor Co Ltd | 情報提示システム |
WO2009044797A1 (ja) * | 2007-10-04 | 2009-04-09 | Nissan Motor Co., Ltd. | 情報提示システム |
JP2010127779A (ja) * | 2008-11-27 | 2010-06-10 | Denso It Laboratory Inc | 情報提供装置、情報提供方法およびプログラム |
US9195290B2 (en) | 2009-10-28 | 2015-11-24 | Google Inc. | Navigation images |
US11768081B2 (en) | 2009-10-28 | 2023-09-26 | Google Llc | Social messaging user interface |
JP2011113385A (ja) * | 2009-11-27 | 2011-06-09 | Denso Corp | 情報提示装置 |
WO2014203495A1 (ja) * | 2013-06-19 | 2014-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声対話方法、及び機器 |
USRE49014E1 (en) | 2013-06-19 | 2022-04-05 | Panasonic Intellectual Property Corporation Of America | Voice interaction method, and device |
US9564129B2 (en) | 2013-06-19 | 2017-02-07 | Panasonic Intellectual Property Corporation Of America | Voice interaction method, and device |
WO2017126221A1 (ja) * | 2016-01-19 | 2017-07-27 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
JPWO2017126221A1 (ja) * | 2016-01-19 | 2018-12-06 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
US10522041B2 (en) | 2016-01-19 | 2019-12-31 | Nissan Motor Co., Ltd. | Display device control method and display device |
JP2022033135A (ja) * | 2016-10-07 | 2022-02-28 | ソニーグループ株式会社 | サーバ、クライアント端末、制御方法、およびプログラム |
JP2020075720A (ja) * | 2017-06-16 | 2020-05-21 | 本田技研工業株式会社 | エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム |
US11494950B2 (en) | 2017-06-16 | 2022-11-08 | Honda Motor Co., Ltd. | Experience providing system, experience providing method, and experience providing program |
CN110770818A (zh) * | 2017-06-16 | 2020-02-07 | 本田技研工业株式会社 | 体验提供***、体验提供方法及体验提供程序 |
JP2019064583A (ja) * | 2017-08-22 | 2019-04-25 | 株式会社ユピテル | システム及びプログラム |
US10655976B2 (en) | 2017-09-01 | 2020-05-19 | Honda Motor Co., Ltd. | System and method for making replenishment recommendation |
JP2019045318A (ja) * | 2017-09-01 | 2019-03-22 | 本田技研工業株式会社 | 補給レコメンドシステム及び方法 |
CN109426988B (zh) * | 2017-09-01 | 2022-01-28 | 本田技研工业株式会社 | 补充推荐***和补充推荐方法 |
CN109426988A (zh) * | 2017-09-01 | 2019-03-05 | 本田技研工业株式会社 | 补充推荐***和补充推荐方法 |
JP2019086805A (ja) * | 2017-11-01 | 2019-06-06 | トヨタ自動車株式会社 | 車内システム |
JP2020057080A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社Subaru | 車両用エージェント装置 |
JP2020056607A (ja) * | 2018-09-28 | 2020-04-09 | 株式会社Subaru | 車両用エージェント装置 |
JP2019145134A (ja) * | 2019-04-02 | 2019-08-29 | 株式会社ユピテル | システム及びプログラム |
WO2023276037A1 (ja) * | 2021-06-30 | 2023-01-05 | パイオニア株式会社 | コンテンツ出力装置、コンテンツ出力方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3873386B2 (ja) | 2007-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3918850B2 (ja) | エージェント装置 | |
JP3873386B2 (ja) | エージェント装置 | |
JP4193300B2 (ja) | エージェント装置 | |
JPH11259446A (ja) | エージェント装置 | |
JPH11259271A (ja) | エージェント装置 | |
JP3965538B2 (ja) | エージェント装置 | |
JP4085500B2 (ja) | 車両状況把握装置、エージェント装置、および、車両制御装置 | |
JP5019145B2 (ja) | 運転者情報収集装置 | |
JP2000020888A (ja) | エージェント装置 | |
JP4380541B2 (ja) | 車両用エージェント装置 | |
JP4258585B2 (ja) | 目的地設定装置 | |
JP4441939B2 (ja) | 目的地設定装置 | |
JP4936094B2 (ja) | エージェント装置 | |
JP2000181500A (ja) | 音声認識装置及びエ―ジェント装置 | |
JPH11272640A (ja) | エージェント装置 | |
JP4253918B2 (ja) | エージェント装置 | |
JP4207350B2 (ja) | 情報出力装置 | |
JP2000186942A (ja) | エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置 | |
JP4284733B2 (ja) | エージェント装置 | |
JP4032492B2 (ja) | エージェント装置 | |
JP2004045616A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2000203465A (ja) | 情報記録装置 | |
JP2004037953A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2003106846A (ja) | エージェント装置 | |
JP2004053251A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |