JP3963698B2 - 音声対話システム - Google Patents

音声対話システム Download PDF

Info

Publication number
JP3963698B2
JP3963698B2 JP2001325122A JP2001325122A JP3963698B2 JP 3963698 B2 JP3963698 B2 JP 3963698B2 JP 2001325122 A JP2001325122 A JP 2001325122A JP 2001325122 A JP2001325122 A JP 2001325122A JP 3963698 B2 JP3963698 B2 JP 3963698B2
Authority
JP
Japan
Prior art keywords
voice
dialogue
user
vehicle
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001325122A
Other languages
English (en)
Other versions
JP2003131691A (ja
Inventor
英樹 北尾
英樹 中村
一義 荒井
佳子 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2001325122A priority Critical patent/JP3963698B2/ja
Publication of JP2003131691A publication Critical patent/JP2003131691A/ja
Application granted granted Critical
Publication of JP3963698B2 publication Critical patent/JP3963698B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両電装品、例えばエアコン、パワーウインド、さらにはカーナビゲーションシステム、オーディオ機器、PDAなどの車載機器の制御を、ユーザとの対話に基づいて自動的に遂行する音声対話システムに関する。
【0002】
【従来の技術】
カーナビゲーションシステム、オーディオ機器など操作が複雑な機器では、音声対話システムを利用することによって機器の操作を簡単化している。この音声対話システムでは、予め決められたステップに基づいて作成される質問をシステムが発話し、それに対するユーザの回答を音声認識し、認識結果に基づいて新たな発話を作成すると言う手順によって、機器の操作に必要な情報をユーザより得るものである。
【0003】
【発明が解決しようとする課題】
しかしながら、このような従来の音声対話システムでは、音声認識装置を起動させるためにユーザ側で音声認識のタイミングを取る必要があった。実際、従来の装置では、ユーザが「認識開始」あるいは「発声中」を示すスイッチあるいはボタンをあらかじめ押す、もしくは、押しつづけて、音声認識装置を起動する構成である。このような構成は、操作が煩雑であるばかりではなく、運転動作以外にもユーザに負担を与えることとなり、運転ミスを誘発する危険がある。
【0004】
本発明は、従来装置の上記ような欠点を解決する目的でなされたもので、ユーザ側から対話システムに認識開始のための働きかけをするのではなく、機器が対話システムの開始を自動的に認識することが可能な音声対話システムを提供することを課題とする。
【0005】
【課題を解決するための手段】
本発明は、上記課題を解決するために、音声対話によりナビゲーションシステムの制御を行うための、車両における音声対話システムであって、パーキングブレーキがオンとなったことを検出するセンサと、前記センサからの出力信号を受信しかつ前記ナビゲーションシステムから車両が駐車場に入場したことを示す信号を受信すると、駐車場の課金情報の登録を促す言葉を出力する音声出力装置と、を備える車両における音声対話システムを提供する。
【0006】
前記センサは、パーキングブレーキがオンとなったことを検出するセンサであっても良い。
【0007】
これらのセンサからの出力信号が本システムに入力されると、音声認識装置が自動的に起動され、さらに入力された信号に対応して予め決められた言葉が音声出力装置より出力される。この言葉は、ユーザに対してシステム側から音声対話のきっかけを与える言葉であり、例えば、センサがエンジンのオン状態を検出するものである場合、「何をしますか」と言うような言葉である。したがってユーザがこの言葉に対して、例えば「エアコンをつけたい。」と答えると、音声認識装置がこの発声を認識し、音声出力装置はこの認識に基づいて所定の対話ルーチンを開始することができる。
【0008】
また、センサがエンジンのオン状態を検出し、さらに運転者が乗車したことを検出すると、音声認識装置が起動され、さらに音声出力装置は「何処へ行きますか」と言うような対話のきっかけとなる言葉を出力する。この問いかけにユーザが例えば、「***に行きたい」と答えると、音声認識装置がこれを認識し、音声出力装置はこの認識に基づいて所定の対話ルーチンを開始することができる。
【0009】
このように、本発明では、車両に設けた種々のセンサからの出力信号によって音声認識装置を起動すると共に、対話システム側から対話のきっかけとなる言葉を自動的に出力するようにしている。したがって、ユーザはスタートボタン等を操作して自ら音声認識装置を起動する必要はない。そのため、音声対話をスムースに開始する事ができる。
【0010】
また、音声出力装置から出力する言葉の先頭に、「○×さん」、「もしもし」等の特に意味をなさない言葉を付加する事によって、ユーザはシステムからの質問をより聞き取りやすくなる。
【0011】
【発明の実施の形態】
以下に、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態にかかる音声対話システムの構造を示すブロック図である。図において1は音声認識装置、2は音声出力装置、3は車両の各部に設けたセンサ、4は本対話システムによって制御すべき車両電装品を示す。音声認識装置1は、ユーザの発声を言葉として認識するための装置であって、一般に音声認識エンジンと認識辞書で構成されている。音声出力装置2は音声認識エンジンと、対話用データベースおよび音声合成エンジンを備えており、音声認識装置1で言葉として認識されたユーザの発声に基づいて予め決められたプログラムにしたがってユーザへの質問を作成し、これを合成音声として出力することで、所定の対話ルーチンを実行する。
【0012】
音声認識装置1によって以上のようにして獲得された情報は、車両電装品4に送られ、該機器をユーザの意向に沿うように操作する。車両電装品4は、例えば、エアコン、パワーウインドウ、ナビゲーションシステム、オーディオ・ビデオ機器、情報端末機器などである。
【0013】
本装置では、車両の各部に設けたセンサ3から、車両の種々の状態を示す信号が音声認識装置1および音声出力装置2に対して出力される。このセンサ3は、例えば、エンジンがオンとなったことを検出するセンサ、エンジンがオンとなりかつ運転者が乗車したことを検出するセンサ、燃料が一定量以下となったことを検出するセンサ、VICSの渋滞情報を検出するセンサ、メールの着信を検出するセンサ、パーキングブレーキがオンとなったことを検出するセンサなどである。
【0014】
センサ3からの出力信号は、同時に音声出力装置2に入力される。この入力によって音声出力装置2は、入力信号に対応して予め決められた言葉を合成音声として出力する。
【0015】
図2は、センサ3から出力される情報の種類と、それに対応して予め決められている音声出力との関係を示している。図2の(a)では、センサ3からエンジンがオン状態となったことを示す信号が出力されると、音声出力装置2から「何をしますか?」と言う質問が出力されることを示している。これに対してユーザが、例えば「エアコンをつけたい」と答えると、この発声を音声認識装置1が認識して、音声出力装置2においてエアコンの制御のための対話ルーチンを起動する。
【0016】
もし、ユーザが「必要ない」等の言葉を発声すると音声認識装置1がこれを認識して対話を自動的に終了する。あるいは、音声認識装置1で一定時間音声の入力が無いことを検出すると、対話を自動終了するようにしておいても良い。また、音声出力装置2で「必要ありませんね」、「案内を終了します」等の言葉を発声して対話を自動終了するようにしておいても良い。
【0017】
図2の(b)に示す例では、車載機器としてカーナビゲーションシステムが組み込まれており、センサ3からエンジンがオン状態となったことおよび運転者が乗車したことを示す情報が出力される例を示している。この場合は、運転者がどこかへ移動する確率が非常に高いので、音声出力装置2から「どちらまで案内しましょうか?」等の問いかけを行う。ユーザがこれに対して、「***まで行きたい」などと答えると、音声認識装置1がこれを認識して、自動的にナビゲーションシステムの目的地設定の対話を開始する。
【0018】
なお、音声案内の必要が無い場合は、(a)の事例と同様に、ユーザの音声が一定時間入力されないこと、あるいはユーザの「必要ない」と言うような発声によって、対話を自動的に終了する。
【0019】
これによって、ユーザが乗車時にルーチンワーク的に目的地を設定できる様になり、ユーザが目的地設定のコマンドを覚える必要は無くなる。
【0020】
図2の(c)に示す例では、図(b)と同様に車載機器としてカーナビゲーションシステムが組み込まれており、センサ3でガソリンの残量を検出している。この場合、ガソリン残量が一定値以下となると、音声出力装置2から「ガソリンが少なくなっています。近くのガソリンスタンドまで案内しましょうか」と言うような問いかけを行うことで、ナビゲーションシステムのための対話を開始する。これにより、ユーザは、燃料の残量を気にしながら運転する必要が無くなる。
【0021】
図2の(d)に示す例は、(c)の変形であって、センサ3でガソリン残量を検出すると共に、目的地までの距離と燃費を考慮して目的地までの距離+数十km以内になった時に、「現在の燃料では目的地にたどり着けません。次のスタンドで必ず給油して下さい。」等の警告を発し、さらに「スタンドまで案内しましょうか?」と言うような問いかけを行うことで、ナビゲーションのための対話を開始する。
【0022】
これにより、ユーザは長距離ドライブであっても燃料および燃料の補給先を気にしながら運転する必要がなくなる。
【0023】
図2の(e)に示す例では、VICS(道路交通情報通信システム)の情報を入手可能なナビゲーションシステムを搭載している車両において、VICSからの渋滞情報を対話のきっかけとする。即ち、VICSから渋滞情報が入力されると、渋滞が発生している道に差し掛かる前にシステム側で「この先渋滞が発生しています。迂回しますか?」と言うような問いかけを行って、ナビゲーションのための対話を開始する。
【0024】
これにより、ユーザは一々渋滞の状況を確認しながら運転する必要がなくなるので、運転に専念することができる。
【0025】
図2の(f)に示す例では、例えばメールの受信を検出する機能を有する情報端末を搭載している車両において、メールを受信するとシステム側から「メールが到着しています。読み上げますか?」と言うような問いかけを行うことで、メールの読み上げのための対話システムを開始する。
【0026】
図3は、電子メールの着信を対話のきっかけとし、対話を進める場合のフローを示す図面である。まず、センサがメールの着信情報を受信すると、対話システム側から「メールが△件届いています。読み上げますか?」と言うような問いかけを行い、メール読み上げの対話の開始タイミングを形成する(ステップS10)。
【0027】
この場合、例えばユーザの反応「はい」、「あとで」、「題名は」、「誰から?」に応じて図示するようなメールの読み上げ機能が実行される。例えば、ユーザが「はい」と返事すれば、メール処理のための対話ルーチンに入り、合成された音声によってメールの内容を読み上げる(ステップS11)。ユーザが「あとで」と返事をすれば、システム側では音声対話を一旦終了する(ステップS12)。ユーザが「題名は?」と返事をすれば、合成された音声によってメールの題名を読み上げる(ステップS13)。ユーザが「誰から?」と返事をすれば、合成された音声によって差出人の名前を読み上げる(ステップS14)。なお、メールの差出人に対し、予めニックネーム等が登録できるようにされていることが好ましい。
【0028】
ステップS13において、システムがメールの題名を読み上げた場合、ユーザがさらに「読んで」と答えれば、システムは合成された音声によりメールの内容を読み上げる(ステップS15)。ステップS13に対するユーザの応答が、「次のは?」である場合、ステップS16で次の題名を合成された音声によって読み上げる。ステップS13に対するユーザの応答が、「あとでいいや」であると、ステップS17において一旦、対話システムを終了する。
【0029】
ステップS14においてメールの差出人が読み上げられ、ユーザがそれに対して「読んで」と応答すると、ステップS18でシステムはそのメールの内容を合成された音声にて読み上げる。ユーザの応答が、「次は?」である場合は、ステップS19において、システムは次の差出人の名前を合成された音声にて読み上げる。ユーザの応答が、「あとでいいや」である場合には、ステップS20においてシステムは音声対話を一旦終了する。
【0030】
以上によって、ユーザはメールの着信を自動的に知ることが出来るだけではなく、題名や送信者などで読み上げるべきメールを選択できるので、非常に便利である。
【0031】
図4は、本発明のさらに他の実施形態を示す図であって、駐車場の課金情報の登録が可能な機能とナビゲーション機能を備えた車両のための音声対話のフローを示す。課金情報を登録する機能としては、予め課金情報を登録しておくことも出来るが、図示する実施形態では、車両が入庫しパーキングブレーキが設定されたことを検出すると、課金情報の登録を促す問いかけをシステム側から発する構成を有している。
【0032】
まず、ステップS30で車両が駐車場に入庫したことをナビゲーションシステムが認識すると、そのときの時間、即ち入庫時間がシステムにおいて保存される。次にステップS31でパーキングブレーキがオンとされると、システム側から「駐車場の料金システムを登録しますか?」と言うような問いかけを行って、課金情報登録案内のための対話をユーザに促す。
【0033】
音声対話システムの案内に従って駐車場の料金システムを登録し、エンジンをオフし(ステップS32)、その後エンジンを再びオンとする(ステップS33)と、システムはこの状態を出庫であると判断し、その時間を基に計算された駐車時間と料金案内を出力する。この出力は、例えば、「駐車時間は***分ですので、○○○円になります。」等の合成音声による案内である。
【0034】
これによってユーザは、駐車料金を出庫前に予め知ることが出来るので、非常に便利である。
【0035】
図5は、本発明のさらに他の実施形態を示す図であって、有料道路の料金情報を備えるナビゲーションシステム、あるいは有料道路の料金情報を登録可能なナビゲーションシステムに本発明の音声対話システムを適用した場合の実施形態を示す。
【0036】
本システムでは、走行中の車両が有料道路の入り口を通過した場合、ステップS40に示す様にその入り口情報を保存しておき、ステップS41に示す様に料金所が近づいてくるとシステム側から「***円になります。」等の案内の言葉を出力し、これを音声認識開始のタイミングとする。これによってユーザは、音声認識開始のボタンを押すことなく「次の料金所は?」、「次はいくら?」と言うような質問をシステムに対して行う事ができる。
【0037】
車両の走行スピードが0となった時点でシステムは料金が支払われたことを認識し(ステップS42)、音声認識を停止する。車両が走行を再開すると、システムは料金支払いが終了したことを認識し(ステップS43)、音声認識を開始する。
【0038】
これによって、ユーザは、有料道路の料金所手前で予め通行料金を知ることが出来るので、支払いの準備がスムースに行え、料金所を通過する時間が短縮できる。
【0039】
以上、図1から図5を参照して本発明の種々の実施形態を説明したが、上記各実施形態は種々の変更が可能である。例えば、上記全ての機能を備えている音声対話システムにおいて、複数の条件が重なった場合の優先度や、要、不要を任意に設定できるようにしても良い。例えば、メールの着信と料金案内が同時に発生する場合には、料金案内を優先し、一連の対話が終了した時点で、メールの案内を行うように設定したり、料金案内は行わずにメールだけを読ませるように設定したりすることも可能である。
【0040】
さらに、上記全ての機能を備えている音声対話システムおいて、案内や問いかけを行う機能を選択できるようにすることもできる。例えば料金案内の要否や、燃料警告の要否などを選択できるようにする。
【0041】
また、音声対話システムの欠点として、ユーザがシステム側からの案内のはじめの部分を聞き逃す確率が高いことがある。そこで、対話のきっかけとして、「○○さん」、「もしもし」、「ちょっと失礼します」等の、対話の中身とは無意味な言葉を文頭に発するようにしても良い。発する無意味語は、毎回同じ言葉でも良いし、複数のバリエーションを設けておいても良い。
【0042】
さらに、案内する情報に応じて、対話のきっかけとなる言葉を変化させることも可能である。例えば、VICS渋滞情報などで渋滞状況が変化したときに、「速報です」等の言葉を文頭につけることも可能である。
【0043】
さらに、情報の緊急度に応じて、対話のきっかけとなる文章を変化させても良い。例えば、有料道路の料金案内において、ゆっくり走っている時には、走行区間や料金の案内を詳細に行い、高速で走っている場合には、料金の案内のみで済ますこともできる。一例として、渋滞や低速走行時には、システム側から「まもなく料金所です。○○インターチェンジから××インターチェンジまでの料金は△△円です」と発話し、高速走行時には「料金所です。料金は△△円です」と発話する。
【0044】
さらに、上記無意味な呼びかけの直後に、ユーザが「ちょっと待って」、「待って」などと応答すると、これをシステム側で認識し、認識状態を維持したままシステムを待機状態へ移行させ、対話を保留することも可能である。この場合、ユーザの次の発声、「はい」、「何?」を認識して対話を継続する。あるいは、対話を保留した状態で一定時間経過した後、例えば「案内してよろしいでしょうか」、「まだでしょうか」などの言葉を再度問いかけることも有効である。また、一定時間経過後に、例えば「案内を終了します。○○情報でした」などと、何の情報を提供しようとしたかを示すことも有効である。またさらに、対話の保留中に情報が不要となったと判断した場合に、対話の保留状態を解除することも可能である。例えば、駐車料金案内を保留したまま駐車場を出てしまった場合などでは、料金案内は不要であるため、「保留された料金案内を解除します」などの通知を行ってその場の案内を中止するようにしても良い。
【0045】
【発明の効果】
以上、種々の実施形態を示して説明したように、本発明の音声対話システムでは、車両の各部に設けたセンサからの出力信号に応じて、音声出力装置によって対話のきっかけの言葉を出力することが出来る。したがって、ユーザは音声対話システムに対して対話のきっかけを自身から作る必要がないため、運転に専念することができる。また、必要な音声案内のタイミングを逃すことがない。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる音声対話システムを示すブロック図。
【図2】図1に示すシステムの動作説明に供する図。
【図3】本発明の一実施形態のシステムによってメール読み上げの機能を実行する場合のフローを示す図。
【図4】本発明の一実施形態のシステムによって駐車場の料金案内の機能を実行する場合のフローを示す図。
【図5】本発明の一実施形態のシステムによって有料道路の料金案内を実行する場合のフローを示す図。
【符号の説明】
1…音声対話システム
2…車載機器
11…音声認識装置
12…音声出力装置
13…車両各部のセンサ

Claims (1)

  1. 音声対話によりナビゲーションシステムの制御を行うための、車両における音声対話システムであって、
    パーキングブレーキがオンとなったことを検出するセンサと、
    前記センサからの出力信号を受信しかつ前記ナビゲーションシステムから車両が駐車場に入場したことを示す信号を受信すると、駐車場の課金情報の登録を促す言葉を出力する音声出力装置と、
    を備える車両における音声対話システム。
JP2001325122A 2001-10-23 2001-10-23 音声対話システム Expired - Fee Related JP3963698B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001325122A JP3963698B2 (ja) 2001-10-23 2001-10-23 音声対話システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001325122A JP3963698B2 (ja) 2001-10-23 2001-10-23 音声対話システム

Publications (2)

Publication Number Publication Date
JP2003131691A JP2003131691A (ja) 2003-05-09
JP3963698B2 true JP3963698B2 (ja) 2007-08-22

Family

ID=19141741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001325122A Expired - Fee Related JP3963698B2 (ja) 2001-10-23 2001-10-23 音声対話システム

Country Status (1)

Country Link
JP (1) JP3963698B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533705B2 (ja) * 2003-09-01 2010-09-01 パナソニック株式会社 車載対話装置
DE602004017955D1 (de) * 2004-01-29 2009-01-08 Daimler Ag Verfahren und System zur Sprachdialogschnittstelle
JP2005268975A (ja) * 2004-03-17 2005-09-29 Nec Corp 携帯電話機及びそれに用いるメール自動読み上げ方法並びにそのプログラム
JP4556528B2 (ja) * 2004-07-26 2010-10-06 マツダ株式会社 車両用情報表示装置
JP4802522B2 (ja) * 2005-03-10 2011-10-26 日産自動車株式会社 音声入力装置および音声入力方法
JP2007322309A (ja) * 2006-06-02 2007-12-13 Xanavi Informatics Corp 車載情報装置
KR100849672B1 (ko) * 2007-12-04 2008-08-01 주식회사 아이파워 유기성 폐기물 처리장치
WO2013069172A1 (ja) 2011-11-10 2013-05-16 三菱電機株式会社 ナビゲーション装置および方法
CN102609091A (zh) * 2012-02-10 2012-07-25 北京百纳信息技术有限公司 一种移动终端以及启动移动终端语音操作的方法
JP6411017B2 (ja) 2013-09-27 2018-10-24 クラリオン株式会社 サーバ、及び、情報処理方法
JP6125445B2 (ja) * 2014-02-10 2017-05-10 日本電信電話株式会社 ライフログ記録システム及びそのプログラム
JP6011584B2 (ja) * 2014-07-08 2016-10-19 トヨタ自動車株式会社 音声認識装置及び音声認識システム
WO2016054230A1 (en) 2014-10-01 2016-04-07 XBrain, Inc. Voice and connection platform
JP6846617B2 (ja) * 2015-02-12 2021-03-24 パナソニックIpマネジメント株式会社 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
JP6725933B2 (ja) * 2016-05-14 2020-07-22 株式会社ユピテル システム及びプログラム
JP2019015837A (ja) * 2017-07-06 2019-01-31 一般社団法人It&診断支援センター・北九州 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム
WO2019182083A1 (ja) * 2018-03-23 2019-09-26 パイオニア株式会社 データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
CN111089603B (zh) * 2018-10-23 2023-07-25 博泰车联网科技(上海)股份有限公司 基于社交应用沟通内容的导航信息提示方法及车辆
CN112397062A (zh) * 2019-08-15 2021-02-23 华为技术有限公司 语音交互方法、装置、终端及存储介质
WO2023062817A1 (ja) * 2021-10-15 2023-04-20 パイオニア株式会社 音声認識装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2003131691A (ja) 2003-05-09

Similar Documents

Publication Publication Date Title
JP3963698B2 (ja) 音声対話システム
JP2004506971A (ja) 音声入出力の制御方法
EP1901282B1 (en) Speech communications system for a vehicle
JP5626362B2 (ja) エレベータの呼び登録装置
JPH06161489A (ja) 音声認識方法およびそのシステム
JP2004037998A (ja) 音声制御装置
JP2006317573A (ja) 情報端末
JP2016090681A (ja) 車両用音声対話装置
JP5181533B2 (ja) 音声対話装置
JP6996632B2 (ja) 音声対話装置、音声対話システム、及び音声対話装置の制御方法
US11333518B2 (en) Vehicle virtual assistant systems and methods for storing and utilizing data associated with vehicle stops
JP3505982B2 (ja) 音声対話装置
US11501767B2 (en) Method for operating a motor vehicle having an operating device
JP3818352B2 (ja) ナビゲーション装置及び記憶媒体
JP2004301875A (ja) 音声認識装置
WO2021024678A1 (ja) 自動車の加速制御システム、方法、プログラム
JP7509266B2 (ja) 音声対話装置、音声対話システム、及び音声対話装置の制御方法
JP2004354722A (ja) 音声認識装置
JP2021033929A (ja) 制御システム、及び制御方法
JP2005025100A (ja) 車載機器制御装置
WO2023062817A1 (ja) 音声認識装置、制御方法、プログラム及び記憶媒体
JPH07219582A (ja) 車載用音声認識装置
JPH11327590A (ja) 音声入力装置
JP4412102B2 (ja) ナビゲーション装置
WO2023163196A1 (ja) コンテンツ出力装置、コンテンツ出力方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140601

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees