JP4156639B2 - 音声インターフェースの設計を支援するための装置、方法、プログラム - Google Patents
音声インターフェースの設計を支援するための装置、方法、プログラム Download PDFInfo
- Publication number
- JP4156639B2 JP4156639B2 JP2006221322A JP2006221322A JP4156639B2 JP 4156639 B2 JP4156639 B2 JP 4156639B2 JP 2006221322 A JP2006221322 A JP 2006221322A JP 2006221322 A JP2006221322 A JP 2006221322A JP 4156639 B2 JP4156639 B2 JP 4156639B2
- Authority
- JP
- Japan
- Prior art keywords
- sets
- similarity
- perplexity
- voice control
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000013461 design Methods 0.000 title claims description 21
- 239000013598 vector Substances 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000002790 cross-validation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000755666 Neato Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Description
特開2000−267694号公報は、階層構造を有する音声コマンド群であって、各階層に最終的な機器動作指令のための最終音声コマンドと、機器動作のためには下層に存在する最終的音声コマンドを選択することが必要な中間指令のための中間音声コマンドとを含む音声コマンド群とを有し、該音声コマンド群の各階層には、入力された音声コマンドを取り消す音声コマンド又は音声認識処理を終了させる音声コマンドを備える音声認識装置を開示する。
特開2001−63489号公報は、操作指示をキャンセルする戻り指示がなされた時、キャンセルされた操作指示により画面切り替えを行ったか調べ、行っている場合には、それ以前に画面切り替えをした最新の操作指示を求め、画面を表示するよう指示し、画面遷移履歴を参照し、キャンセルされた操作指示が実行される前の画面を表示する車載用機器の集中管理システムを開示する。
特開平11−311522号公報は、上下左方向に選択領域が位置し、右方向に合成領域が位置するときに、右方向が操作指示されると、機能「その他」、「VICS」、「FM多重」の3つの分離領域を生成しかつ近傍に分散表示し、選択領域を一定距離だけ移動して表示する車載機器の操作装置を開示する。
特開平11−334483号公報は、運転上必要な機能を有する前座席搭乗者用フロント制御ユニットと、エンターテインメント的な機能を有する後座席搭乗者用リア制御ユニットを設けることによって機能分散をした車載機器制御システムを開示する。
特開平11−119792号公報は、類似タイプコマンドが認識されたとき、現在の走行条件を基に、コマンド実行の許可または禁止が決定され、禁止の場合、言換コマンドを使った再発声を促すトークバックが行われ、許可の場合、次の機会から言換コマンドを使うことを促すトークバックが行われる、類似タイプコマンドが入力されたときに好適な対応ができる音声認識機能付きの機器制御装置を開示する。
2.PowerOff:電源を切る
3.Auto:オートエアコンにする
4.TempUp:室内温度を上げる
5.TempDown:室内温度を下げる
6.TempValue:特定の室内温度を設定する
7.Floor:風向きを足元方向にする
8.Dash:風向きを上方向にする
9.FloorWindow:風向きを足元方向および窓方向にする
10.DashFloor:風向きを足元方向および上方向にする
11.FanSpeedUp:風量を上げる
12.FanSpeedDown:風量を下げる
(2)現在の4種類の風向きの音声制御のそれぞれは、ユーザによる発話の表現が多岐にわたると予想されるので、音声認識の精度を十分なものとするためにはより多くのサンプルの収集が必要である。
(3)現在の4種類の風向き制御の採用を一部やめれば、他の風向きの音声制御を生かすことができる。例えば、”FloorWindow”と”DashFloor”をやめれば、“Floor”、“Dash”を生かすことができる。
(4)現在の4種類の風向きの音声制御を、例えば、「風向きの制御」という1種類に集約すると良好な音声制御を実現することができる。
(5)そして、「風向きの制御」モードに入ったあとに、どのように変更するか対話を通じて決定するようにするとよい。
Claims (16)
- 複数の種類の音声制御を受ける音声インターフェースの設計を支援するための装置であって、
前記複数の種類の音声制御のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースと、
第1の音声制御に関連付けられた前記発話サンプルの第1の集合と、第2の音声制御に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成する単語ベクトル生成部と、
前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算する類似度計算部と、
前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成する言語モデル生成部と、
前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するパープレキシティ計算部と、
前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示する表示部と、
を備える、前記装置。 - 前記類似度計算部は、前記第1および第2の集合の単語ベクトル間の余弦を計算することによって、前記類似度を計算する、請求項1に記載の装置。
- 前記パープレキシティ計算部は、前記第1および第2の集合に含まれる前記発話サンプルに基づいて、前記パープレキシティを計算する、請求項1に記載の装置。
- 前記パープレキシティ計算部は、前記第1および第2の集合に関する言語モデルの生成において使用されなかった前記第1および第2の集合に含まれる前記発話サンプルに基づいて、前記パープレキシティを計算する、請求項3に記載の装置。
- 前記表示部は、前記類似度が表現されるように前記複数の種類の音声制御のそれぞれに対応する点をプロットしたグラフを表示する、請求項1に記載の装置。
- 前記表示部は、ばねモデルを使用して、前記グラフ上に前記複数の種類の音声制御のそれぞれに対応する点をプロットする、請求項5に記載の装置。
- 前記表示部は、前記点を中心とし、当該点に対応する前記音声制御のパープレキシティの大きさを半径とする円を描画する、請求項6に記載の装置。
- アナログ音声を受け、受けたアナログ音声から前記発話サンプルを生成する音声入力部をさらに備える、請求項1に記載の装置。
- 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースと、
第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成する単語ベクトル生成部と、
前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算する類似度計算部と、
前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成する言語モデル生成部と、
前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するパープレキシティ計算部と、
前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示する表示部と、
を備える、前記装置。 - 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータに、
第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
を実行させる、プログラム。 - 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータにおける方法であって、
第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
を含む、方法。 - 顧客が設計するシステムに対する複数の種類の音声制御のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータにおいて、顧客の前記システムの音声インターフェースの設計を支援するための方法であって、
第1の音声制御に関連付けられた前記発話サンプルの第1集合と、第2の音声制御に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
前記表示された類似度およびパープレキシティの分析結果の入力を受け、分析結果の電子的レポートを生成するステップと、
を含む、前記方法。 - 前記コンピュータが接続されたネットワークを通じて、前記分析結果の電子的レポートを顧客のコンピュータに送信するステップをさらに含む、請求項12に記載の方法。
- 前記類似度を表示するステップは、前記類似度が表現されるように前記複数の種類の音声制御のそれぞれに対応する点がプロットされ、前記点を中心とし、当該点に対応する前記音声制御のパープレキシティの大きさを半径とする円が描画されたグラフを表示するステップを含む、請求項12に記載の方法。
- 前記電子的レポートを生成するステップは、前記電子的レポートに前記グラフのイメージを含めるステップを含む、請求項14に記載の方法。
- 前記複数の種類の音声制御に関する前記発話サンプルを採取するステップと、
採取された前記発話サンプルを前記複数の種類の音声制御のうちの1つと関連付けて前記データベースに記録するステップと、
をさらに含む、請求項12に記載の方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006221322A JP4156639B2 (ja) | 2006-08-14 | 2006-08-14 | 音声インターフェースの設計を支援するための装置、方法、プログラム |
US11/773,256 US7747443B2 (en) | 2006-08-14 | 2007-07-03 | Apparatus, method, and program for supporting speech interface design |
US12/184,182 US7729921B2 (en) | 2006-08-14 | 2008-07-31 | Apparatus, method, and program for supporting speech interface design |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006221322A JP4156639B2 (ja) | 2006-08-14 | 2006-08-14 | 音声インターフェースの設計を支援するための装置、方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008046318A JP2008046318A (ja) | 2008-02-28 |
JP4156639B2 true JP4156639B2 (ja) | 2008-09-24 |
Family
ID=39051924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006221322A Expired - Fee Related JP4156639B2 (ja) | 2006-08-14 | 2006-08-14 | 音声インターフェースの設計を支援するための装置、方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US7747443B2 (ja) |
JP (1) | JP4156639B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712779B2 (en) * | 2007-03-19 | 2014-04-29 | Nec Corporation | Information retrieval system, information retrieval method, and information retrieval program |
WO2009081861A1 (ja) * | 2007-12-21 | 2009-07-02 | Nec Corporation | 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体 |
CN103322652A (zh) * | 2013-07-05 | 2013-09-25 | 无锡商业职业技术学院 | 一种空调控制器 |
GB2544070B (en) * | 2015-11-04 | 2021-12-29 | The Chancellor Masters And Scholars Of The Univ Of Cambridge | Speech processing system and method |
KR102441067B1 (ko) * | 2017-10-12 | 2022-09-06 | 현대자동차주식회사 | 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법 |
US11170774B2 (en) * | 2019-05-21 | 2021-11-09 | Qualcomm Incorproated | Virtual assistant device |
KR102271068B1 (ko) * | 2019-05-29 | 2021-06-30 | 주식회사 카카오 | 입력 발화의 의도를 추정하는 모델의 학습을 제어하는 방법 및 장치 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59154500A (ja) | 1983-02-21 | 1984-09-03 | 松下電器産業株式会社 | 音声認識装置 |
JPS62206595A (ja) | 1986-03-07 | 1987-09-11 | 沖電気工業株式会社 | 音声標準パタン作成方法 |
US5619709A (en) * | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
JP3114468B2 (ja) | 1993-11-25 | 2000-12-04 | 松下電器産業株式会社 | 音声認識方法 |
JPH11119792A (ja) | 1997-10-20 | 1999-04-30 | Toyota Motor Corp | 音声認識機能付き機器制御装置および音声認識装置 |
JP3460575B2 (ja) | 1998-04-27 | 2003-10-27 | トヨタ自動車株式会社 | 車載機器の操作装置 |
JP3889510B2 (ja) | 1998-05-21 | 2007-03-07 | アルパイン株式会社 | 車載機器制御システム |
US6374217B1 (en) * | 1999-03-12 | 2002-04-16 | Apple Computer, Inc. | Fast update implementation for efficient latent semantic language modeling |
JP2000267694A (ja) | 1999-03-18 | 2000-09-29 | Kojima Press Co Ltd | 音声認識装置 |
US20020032564A1 (en) * | 2000-04-19 | 2002-03-14 | Farzad Ehsani | Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface |
US6904405B2 (en) * | 1999-07-17 | 2005-06-07 | Edwin A. Suominen | Message recognition using shared language model |
JP3839623B2 (ja) | 1999-08-30 | 2006-11-01 | アルパイン株式会社 | 車載機器の集中管理システム |
US7275029B1 (en) * | 1999-11-05 | 2007-09-25 | Microsoft Corporation | System and method for joint optimization of language model performance and size |
JP3779519B2 (ja) | 2000-03-07 | 2006-05-31 | 株式会社山武 | データ領域の解析方法及び表現方法 |
US7219056B2 (en) * | 2000-04-20 | 2007-05-15 | International Business Machines Corporation | Determining and using acoustic confusability, acoustic perplexity and synthetic acoustic word error rate |
JP2001312297A (ja) | 2000-04-28 | 2001-11-09 | Nippon Seiki Co Ltd | 音声認識装置 |
US7774196B2 (en) * | 2003-10-01 | 2010-08-10 | Dictaphone Corporation | System and method for modifying a language model and post-processor information |
JP2005234236A (ja) | 2004-02-19 | 2005-09-02 | Canon Inc | 音声認識装置、音声認識方法、記憶媒体およびプログラム |
CN100530171C (zh) * | 2005-01-31 | 2009-08-19 | 日电(中国)有限公司 | 字典学习方法和字典学习装置 |
-
2006
- 2006-08-14 JP JP2006221322A patent/JP4156639B2/ja not_active Expired - Fee Related
-
2007
- 2007-07-03 US US11/773,256 patent/US7747443B2/en active Active
-
2008
- 2008-07-31 US US12/184,182 patent/US7729921B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US7747443B2 (en) | 2010-06-29 |
US7729921B2 (en) | 2010-06-01 |
JP2008046318A (ja) | 2008-02-28 |
US20080306742A1 (en) | 2008-12-11 |
US20080040119A1 (en) | 2008-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4156639B2 (ja) | 音声インターフェースの設計を支援するための装置、方法、プログラム | |
CN105283914B (zh) | 用于识别语音的***和方法 | |
EP2956931B1 (en) | Facilitating development of a spoken natural language interface | |
JP4412504B2 (ja) | 音声認識装置、音声認識方法、及び音声認識用プログラム | |
US8447607B2 (en) | Mobile systems and methods of supporting natural language human-machine interactions | |
US9263037B2 (en) | Interactive manual, system and method for vehicles and other complex equipment | |
EP3091535A2 (en) | Multi-modal input on an electronic device | |
JP2011503638A (ja) | カーナビゲーションシステムのための自由会話命令分類の改良 | |
US20080177541A1 (en) | Voice recognition device, voice recognition method, and voice recognition program | |
JP7213943B2 (ja) | 車載機器の音声処理方法、装置、機器及び記憶媒体 | |
CN104704556A (zh) | 使用分类器将音频话语映射至动作 | |
US10586528B2 (en) | Domain-specific speech recognizers in a digital medium environment | |
WO2008113063A1 (en) | Speech-centric multimodal user interface design in mobile technology | |
CN106782607A (zh) | 确定热词适合度 | |
JP2004310748A (ja) | ユーザ入力に基づくデータの提示 | |
US20200219487A1 (en) | Information processing apparatus and information processing method | |
JP6391887B2 (ja) | 応答生成装置、対話制御システムおよび応答生成方法 | |
JP2005321730A (ja) | 対話システム、対話システム実行方法、及びコンピュータプログラム | |
CN110503947B (zh) | 对话***、包括其的车辆和对话处理方法 | |
KR20200098079A (ko) | 대화 시스템 및 대화 처리 방법 | |
US20190295532A1 (en) | Remote Generation of Executable Code for a Client Application Based on Natural Language Commands Captured at a Client Device | |
JP2009277071A (ja) | 情報検索装置及びプログラム | |
CN115689603A (zh) | 用户反馈信息收集方法、装置及用户反馈*** | |
Seltzer et al. | In-car media search | |
Mittal et al. | Speaker-independent automatic speech recognition system for mobile phone applications in Punjabi |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080125 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20080131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20080225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4156639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |