JP2008014818A - 作動制御装置、プログラム - Google Patents
作動制御装置、プログラム Download PDFInfo
- Publication number
- JP2008014818A JP2008014818A JP2006186796A JP2006186796A JP2008014818A JP 2008014818 A JP2008014818 A JP 2008014818A JP 2006186796 A JP2006186796 A JP 2006186796A JP 2006186796 A JP2006186796 A JP 2006186796A JP 2008014818 A JP2008014818 A JP 2008014818A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- function
- attribute
- voice
- shortcut button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012986 modification Methods 0.000 claims description 36
- 230000004048 modification Effects 0.000 claims description 36
- 238000013461 design Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000003607 modifier Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】音声認識関連ユニット60の音声認識部62が、音声入力部61を介して入力された「話者の発した音声」を分析し、認識辞書66を用いて認識した結果を認識結果として出力する。属性決定部63は、その認識結果に対応する機能属性及び機能修飾属性を、属性情報データベースの対応関係を用いて決定する。操作受付画面決定部64は、その属性決定部63において決定された機能属性及び機能修飾属に対応する操作受付画面を、機器操作情報データベースの対応関係を用いて決定する。そしてショートカットボタン作成部65は、操作受付画面決定部64によって決定された操作受付画面に対応するショートカットボタンを作成する。このショートカットボタンは、制御部59によって表示部56に表示される。
【選択図】 図2
Description
特許文献1に記載のナビゲーション装置においては、車室内で発話された会話を録音しておき、ボタン押下された時点で録音音声を認識し、その認識した会話内容に基づいて地点名称を抽出し、その地点名称を用いて目的地設定を行っている。
ユーザA:「おいしいものでも食べに行こうか?」
ユーザB:「そうだね、この前行ったラーメン屋なんてどう?」
ユーザA:「いいね」
この会話においては、地点名称そのものが登場していないため、従来技術の「地点名称を抽出する」という手法では対応できない。
[構成の説明]
図1は、実施形態の車載システムの概略構成を示すブロック図である。
(1)車載システム50の説明
この車載システム50は、車両の現在位置を検出する位置検出器51と、ユーザからの各種指示を入力するための操作スイッチ群52と、操作スイッチ群52と同様に各種指示を入力可能であって車載システム50とは別体となったリモートコントロール端末(以下、リモコンと称す)53aと、リモコン53aからの信号を入力するリモコンセンサ53bと、通信装置54と、地図データや各種の情報を記録した地図記憶媒体から地図データ等を入力する地図データ入力器55と、地図や各種情報の表示を行うための表示部56と、各種のガイド音声等を出力するための音声出力部57と、音声を入力して音声情報を出力するマイクロフォン58と、音声認識関連の処理を行う音声認識関連ユニット60と、上述した位置検出器51,操作スイッチ群52,リモコンセンサ53b,通信装置54,地図データ入力器55,マイクロフォン58,音声認識関連ユニット60からの入力に応じて各種処理を実行し、通信装置54,表示部56,音声出力部57,音声認識関連ユニット60を制御する制御部59とを備えている。
波をGPSアンテナを介して受信し、車両の位置,方位,速度等を検出するGPS受信機51aと、車両に加えられる回転運動の大きさを検出するジャイロスコープ51bと、車両の前後方向の加速度等から走行した距離を検出するための距離センサ51cとを備えている。そして、これら各センサ等51a〜51cは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。
地図データ入力器55は、図示しない地図データ記憶媒体(例えばハードディスクやDVD−ROM等)に記憶された各種データを入力するための装置である。地図データ記憶媒体には、地図データ(ノードデータ、リンクデータ、コストデータ、背景データ、道路データ、名称データ、マークデータ、交差点データ、施設のデータ等)、案内用の音声データ、音声認識データ等が記憶されている。なお、地図データ記憶媒体からこれらのデータを入力する代わりに、通信ネットワークを介してこれらのデータを入力するようになっていてもよい。
マイクロフォン58は、使用者が音声を入力(発話)するとその入力した音声に基づく電気信号(音声信号)を制御部59に出力するものである。この入力された音声は、音声認識ユニット60にて所定される。
制御部59は、CPU,ROM,RAM,I/O及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ROM及びRAMに記憶されたプログラムに基づいて各種処理を実行する。例えば、位置検出器51からの各検出信号に基づき座標及び進行方向の組として車両の現在位置を算出し、地図データ入力器55を介して読み込んだ現在位置付近の地図等を表示部56に表示する表示処理や、地図データ入力器55に格納された地点データと、操作スイッチ群52やリモコン53a等の操作に従って設定された目的地とに基づいて、現在位置から目的地までの最適な経路を算出し、その算出した経路を案内する経路案内処理を行う。
図2に示すように、音声認識関連ユニット60は、音声入力部61と、音声認識部62と、属性決定部63と、操作受付画面決定部64と、ショートカットボタン作成部65と、認識辞書66と、属性情報データベース67と、機器操作情報データベース68とを備えている。
操作受付画面決定部64は、その属性決定部63において決定された機能属性及び機能修飾属に対応する操作受付画面を、機器操作情報データベース68の対応関係を用いて決定する。
(2a)属性情報データベース67について
属性情報データベース67の一例を図3に示す。ここでは、単語として、ラーメン・ラーメン屋??店・電話・予約・この前・いつもの・近くの・迂回を例示している。なお、「ラーメン屋??店」とは、特定の店舗名を指す。
機能属性とは、例えば「検索する」「電話する」「ルート変更」など、単語から想定される制御対象機器の作動すべき機能を示す属性である。車載システム50のナビゲーション機能を前提とした場合には、上述した「検索する」や「ルート変更」などが「作動すべき機能を示す属性」として考えられ、また、電話を含む外部との情報入出力機能を前提とした場合には、「電話する」が「作動すべき機能を示す属性」として考えられる。
機器操作情報データベース68の一例を図4に示す。機能属性と機能修飾属性の組み合わせに対応して、操作受付画面が設定されている。操作受付画面とは、例えばナビゲーション機能における検索画面であったり、電話機能における電話をかけるための操作を受け付ける画面である。具体的に説明する。
次に、車載システム50の作動のうち、車両の乗員同士の会話あるいは独り言を音声認識した結果に基づいてショートカットボタンを表示部56へ表示させる制御処理について図5を参照して説明する。この制御処理は、制御部59及び音声認識関連ユニット60が実行する。
続くS40では、S30で抽出した属性情報の中に機能属性があるか否か判断する。この判断は、図3に示す属性情報データベース67に基づいて行う。機能属性がなければ(S40:NO)、S10へ戻り、機能属性があれば(S40:YES)、S50へ移行する。
S10〜S90までは音声認識関連ユニット60において実行される処理である。S90で作成されたショートカットボタンに関するデータは制御部59へ出力され、制御部59では、対応する操作受付画面をショートカットボタンにリンクさせる(S100)。そして、表示部56へショートカットボタンを表示する(S110)。例えば、図6(a)に示すようにショートカットボタンを表示する。
本実施形態の車載システム50においては、音声認識関連ユニット60の音声認識部62が、音声入力部61を介して入力された「話者の発した音声」を分析し、認識辞書66を用いて認識した結果を認識結果として出力する。属性決定部63は、その認識結果に対応する機能属性及び機能修飾属性を、属性情報データベース67の対応関係を用いて決定する。操作受付画面決定部64は、その属性決定部63において決定された機能属性及び機能修飾属に対応する操作受付画面を、機器操作情報データベース68の対応関係を用いて決定する。そしてショートカットボタン作成部65は、操作受付画面決定部64によって決定された操作受付画面に対応するショートカットボタンを作成する。このショートカットボタンは、制御部59によって表示部56に表示される。
この点に関して、図6〜図8を参照してさらに説明する。
ユーザA:「おいしいものでも食べに行こうか?」
ユーザB:「そうだね、ラーメン屋なんてどう?」
ユーザA:「いいね」
このような会話中には「ラーメン屋」という機能属性を持った単語が含まれている。したがって、図3に示す属性情報データベース67に基づき、「ラーメン屋」に対して「検索する」という機能属性と「ジャンル=ラーメン」という機能修飾属性を決定する。これらの機能属性と機能修飾属性を元に、図4に示す機器操作情報データベース68に基づいて操作受付画面を決定すると、操作受付画面は「ジャンル=ラーメンと指定した検索画面」となる。
例えば「デパートへ行こうか?」という基本的な発話に対して、「近くのデパートへ行こうか?」「いつものデパートへ行こうか?」「○○(地名)のデパートへ行こうか?」といった3つの応用形の発話が考えられる。図7は、それら4つの発話に対する属性と、対応する操作受付画面を示している。機能属性は何れも「検索する」であるが、機能修飾属性がそれぞれの場合で異なる。
例えば上述した「○○のデパートへ行こうか?」という場合に対応する「エリアを○○として指定した施設検索の操作受付画面」について説明する。通常操作であれば、「目的地設定」→「施設」→「その他」→「デパート」→「○○(←エリア指定操作)」という5回の操作が必要となる。
[別実施形態]
(1)上記実施形態では、図2に示すように、認識辞書66と属性情報データベース67を別個に構成するように説明したが、図9に示すように、それらを合体させた認識辞書+属性情報データベース66aとして構成してもよい。
Claims (6)
- 話者の発した音声を入力する音声入力部と、
音声認識に用いる比較対象パターンを記憶している認識辞書と、
前記音声入力部を介して入力された音声を分析し、前記認識辞書を用いて認識した結果を認識結果として出力する音声認識部と、
前記音声認識部における前記認識結果に基づいて、通常複数の操作を行って指示する内容を一度の操作で指示するためのボタンであるショートカットボタンを作成するショートカットボタン作成部と、
前記ショートカットボタン作成部によって作成されたショートカットボタンを画面表示する表示制御部と、
各種操作の入力を受け付ける受付部と、
その受付部を介して前記画面表示されたショートカットボタンに対する操作を含む各種操作を受け付けた場合、受け付けた操作に応じて制御対象機器の作動を制御する作動制御部と、
機能属性及び機能修飾属性と単語との対応関係を記憶しておく記憶手段であり、前記機能属性とは、前記単語から想定される前記制御対象機器の作動すべき機能を示す属性であり、前記機能修飾属性とは当該作動すべき機能を実現する際に利用される相対的に下位の機能を示す属性である、第1の対応関係記憶手段と、
前記機能属性及び機能修飾属性と操作受付画面との対応関係を記憶しておく記憶手段である第2の対応関係記憶手段と、
前記音声認識部における前記認識結果に対応する機能属性及び機能修飾属性を、前記第1の対応関係記憶手段の対応関係を用いて決定する属性決定部と、
その属性決定部において決定された機能属性及び機能修飾属に対応する操作受付画面を、前記第2の対応関係記憶手段の対応関係を用いて決定する操作受付画面決定部と、
を備え、
前記ショートカットボタン作成部は、前記操作受付画面決定部によって決定された操作受付画面に対応するショートカットボタンを作成することを特徴とする作動制御装置。 - 請求項1に記載の作動制御装置において、
前記受付部は、前記音声認識部における音声認識を実行させるか否かの指示を受付可能であり、
前記受付部を介して前記音声認識を実行させる指示がなされている場合に限って、前記音声入力部から前記音声認識部へ音声が入力されるよう構成されていること
を特徴とする作動制御装置。 - 請求項1または2に記載の作動制御装置において、
前記ショートカットボタン作成部は、ボタンの意匠に機能名称または関連した絵や写真を付与してショートカットボタンを作成すること
を特徴とする作動制御装置。 - 請求項1〜3の何れか一項に記載の作動制御装置において、
前記ショートカットボタン作成部は、作成したショートカットボタンを、ボタン作成時からの経過時間に従ってボタンのサイズ・位置・色の少なくとも1つを変更すること
を特徴とする作動制御装置。 - 請求項1〜4の何れかに記載の作動制御装置であって、
前記制御対象機器はカーナビゲーション装置を含む車載機器であることを特徴とする作動制御装置。 - コンピュータを、請求項1〜5の何れかに記載の作動制御装置における音声認識部、ショートカットボタン作成部、属性決定部、操作受付画面決定部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186796A JP4736982B2 (ja) | 2006-07-06 | 2006-07-06 | 作動制御装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186796A JP4736982B2 (ja) | 2006-07-06 | 2006-07-06 | 作動制御装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008014818A true JP2008014818A (ja) | 2008-01-24 |
JP4736982B2 JP4736982B2 (ja) | 2011-07-27 |
Family
ID=39071970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006186796A Expired - Fee Related JP4736982B2 (ja) | 2006-07-06 | 2006-07-06 | 作動制御装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4736982B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176423A (ja) * | 2009-01-29 | 2010-08-12 | Pioneer Electronic Corp | 施設検索装置、施設検索方法、施設検索プログラムおよび記録媒体 |
JP2010205130A (ja) * | 2009-03-05 | 2010-09-16 | Denso Corp | 制御装置 |
JP2011070267A (ja) * | 2009-09-24 | 2011-04-07 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
US8478601B2 (en) | 2009-02-03 | 2013-07-02 | Denso Corporation | Voice recognition apparatus, method for recognizing voice, and navigation apparatus having the same |
WO2014188512A1 (ja) * | 2013-05-21 | 2014-11-27 | 三菱電機株式会社 | 音声認識装置、認識結果表示装置および表示方法 |
JP5705312B2 (ja) * | 2011-05-20 | 2015-04-22 | 三菱電機株式会社 | 情報機器 |
US9269351B2 (en) | 2012-07-03 | 2016-02-23 | Mitsubishi Electric Corporation | Voice recognition device |
JP5921722B2 (ja) * | 2013-01-09 | 2016-05-24 | 三菱電機株式会社 | 音声認識装置および表示方法 |
US9864577B2 (en) | 2014-02-18 | 2018-01-09 | Mitsubishi Electric Corporation | Voice recognition device and display method |
WO2019124142A1 (ja) * | 2017-12-18 | 2019-06-27 | 株式会社Jvcケンウッド | ナビゲーション装置およびナビゲーション方法、ならびにコンピュータプログラム |
JP2019139701A (ja) * | 2018-02-15 | 2019-08-22 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
US10446155B2 (en) | 2016-02-26 | 2019-10-15 | Mitsubishi Electric Corporation | Voice recognition device |
US10475448B2 (en) | 2014-09-30 | 2019-11-12 | Mitsubishi Electric Corporation | Speech recognition system |
CN111857636A (zh) * | 2019-04-24 | 2020-10-30 | 本田技研工业株式会社 | 声音操作***及装置、声音操作控制方法和记录介质 |
JP2021076604A (ja) * | 2019-11-08 | 2021-05-20 | モビリティー、アジア、スマート、テクノロジー、カンパニー、リミテッドMobility Asia Smart Technology Co. Ltd. | ナビゲーションに用いられる方法、装置、デバイス、及びコンピュータが読み取り可能な記憶媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311626A (ja) * | 1996-05-21 | 1997-12-02 | Alpine Electron Inc | 画像表示方法 |
JP2001216129A (ja) * | 2000-02-02 | 2001-08-10 | Denso Corp | コマンド入力装置 |
JP2002318597A (ja) * | 2001-02-15 | 2002-10-31 | Alpine Electronics Inc | 音声入力案内方法及び装置 |
JP2003167600A (ja) * | 2001-12-04 | 2003-06-13 | Canon Inc | 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム |
JP2005316022A (ja) * | 2004-04-27 | 2005-11-10 | Aisin Aw Co Ltd | ナビゲーション装置及びプログラム |
-
2006
- 2006-07-06 JP JP2006186796A patent/JP4736982B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311626A (ja) * | 1996-05-21 | 1997-12-02 | Alpine Electron Inc | 画像表示方法 |
JP2001216129A (ja) * | 2000-02-02 | 2001-08-10 | Denso Corp | コマンド入力装置 |
JP2002318597A (ja) * | 2001-02-15 | 2002-10-31 | Alpine Electronics Inc | 音声入力案内方法及び装置 |
JP2003167600A (ja) * | 2001-12-04 | 2003-06-13 | Canon Inc | 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム |
JP2005316022A (ja) * | 2004-04-27 | 2005-11-10 | Aisin Aw Co Ltd | ナビゲーション装置及びプログラム |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176423A (ja) * | 2009-01-29 | 2010-08-12 | Pioneer Electronic Corp | 施設検索装置、施設検索方法、施設検索プログラムおよび記録媒体 |
US8478601B2 (en) | 2009-02-03 | 2013-07-02 | Denso Corporation | Voice recognition apparatus, method for recognizing voice, and navigation apparatus having the same |
JP2010205130A (ja) * | 2009-03-05 | 2010-09-16 | Denso Corp | 制御装置 |
JP2011070267A (ja) * | 2009-09-24 | 2011-04-07 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
US8793129B2 (en) | 2009-09-24 | 2014-07-29 | Casio Computer Co., Ltd. | Image display device for identifying keywords from a voice of a viewer and displaying image and keyword |
JP5705312B2 (ja) * | 2011-05-20 | 2015-04-22 | 三菱電機株式会社 | 情報機器 |
US9269351B2 (en) | 2012-07-03 | 2016-02-23 | Mitsubishi Electric Corporation | Voice recognition device |
US9639322B2 (en) | 2013-01-09 | 2017-05-02 | Mitsubishi Electric Corporation | Voice recognition device and display method |
JP5921722B2 (ja) * | 2013-01-09 | 2016-05-24 | 三菱電機株式会社 | 音声認識装置および表示方法 |
WO2014188512A1 (ja) * | 2013-05-21 | 2014-11-27 | 三菱電機株式会社 | 音声認識装置、認識結果表示装置および表示方法 |
CN105246743B (zh) * | 2013-05-21 | 2017-03-29 | 三菱电机株式会社 | 语音识别装置、识别结果显示装置及显示方法 |
JP5762660B2 (ja) * | 2013-05-21 | 2015-08-12 | 三菱電機株式会社 | 音声認識装置、認識結果表示装置および表示方法 |
US9767799B2 (en) | 2013-05-21 | 2017-09-19 | Mitsubishi Electric Corporation | Voice recognition system and recognition result display apparatus |
CN105246743A (zh) * | 2013-05-21 | 2016-01-13 | 三菱电机株式会社 | 语音识别装置、识别结果显示装置及显示方法 |
US9864577B2 (en) | 2014-02-18 | 2018-01-09 | Mitsubishi Electric Corporation | Voice recognition device and display method |
US10475448B2 (en) | 2014-09-30 | 2019-11-12 | Mitsubishi Electric Corporation | Speech recognition system |
US10446155B2 (en) | 2016-02-26 | 2019-10-15 | Mitsubishi Electric Corporation | Voice recognition device |
WO2019124142A1 (ja) * | 2017-12-18 | 2019-06-27 | 株式会社Jvcケンウッド | ナビゲーション装置およびナビゲーション方法、ならびにコンピュータプログラム |
JP2019139701A (ja) * | 2018-02-15 | 2019-08-22 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
JP7069795B2 (ja) | 2018-02-15 | 2022-05-18 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
CN111857636A (zh) * | 2019-04-24 | 2020-10-30 | 本田技研工业株式会社 | 声音操作***及装置、声音操作控制方法和记录介质 |
JP2021076604A (ja) * | 2019-11-08 | 2021-05-20 | モビリティー、アジア、スマート、テクノロジー、カンパニー、リミテッドMobility Asia Smart Technology Co. Ltd. | ナビゲーションに用いられる方法、装置、デバイス、及びコンピュータが読み取り可能な記憶媒体 |
JP7142074B2 (ja) | 2019-11-08 | 2022-09-26 | モビリティー、アジア、スマート、テクノロジー、カンパニー、リミテッド | ナビゲーションに用いられる方法、装置、デバイス、及びコンピュータが読み取り可能な記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP4736982B2 (ja) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4736982B2 (ja) | 作動制御装置、プログラム | |
JP5463922B2 (ja) | 車載機 | |
US8200429B2 (en) | Vehicle navigation apparatus | |
US20130080056A1 (en) | Information Terminal, Server Device, Searching System, and Searching Method Thereof | |
JP2007052397A (ja) | 操作装置 | |
JP2007017731A (ja) | 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法 | |
JP4466379B2 (ja) | 車載音声認識装置 | |
US20100229116A1 (en) | Control aparatus | |
JP5007064B2 (ja) | ナビゲーション装置 | |
JP2013101535A (ja) | 情報検索装置および情報検索方法 | |
JP4933196B2 (ja) | 車載情報端末 | |
JP2010039099A (ja) | 音声認識および車載装置 | |
JP4237026B2 (ja) | 車載用ナビゲーション装置およびその装置への入力方法 | |
JP2000338993A (ja) | 音声認識装置、その装置を用いたナビゲーションシステム | |
JP2009270960A (ja) | ナビゲーション装置 | |
JP3705220B2 (ja) | ナビゲーション装置、画像表示方法及び画像表示プログラム | |
JP2007065206A (ja) | 施設検索装置 | |
JP2000122685A (ja) | ナビゲーションシステム | |
US20150192425A1 (en) | Facility search apparatus and facility search method | |
JP4085326B2 (ja) | 車両用ナビゲーション装置 | |
JP3679033B2 (ja) | ナビゲーション装置 | |
JP3770083B2 (ja) | コマンド入力装置 | |
JPH11231889A (ja) | 音声認識装置 | |
JP2011080824A (ja) | ナビゲーション装置 | |
JP2005128791A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4736982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |