JP3525855B2 - 音声認識方法及び音声認識装置 - Google Patents
音声認識方法及び音声認識装置Info
- Publication number
- JP3525855B2 JP3525855B2 JP2000097336A JP2000097336A JP3525855B2 JP 3525855 B2 JP3525855 B2 JP 3525855B2 JP 2000097336 A JP2000097336 A JP 2000097336A JP 2000097336 A JP2000097336 A JP 2000097336A JP 3525855 B2 JP3525855 B2 JP 3525855B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- user
- preference
- information
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、認識対象語彙の選
択にユーザーの嗜好を反映させる音声認識方法及び音声
認識装置、並びにそれを用いた番組指定装置に関わる。
択にユーザーの嗜好を反映させる音声認識方法及び音声
認識装置、並びにそれを用いた番組指定装置に関わる。
【０００２】
【従来の技術】認識対象語彙を動的に作成する従来技術
としては、例えば特開平７−３１９４９４号公報に音声
認識の対象となる複数の単語を予め定義された複数のジ
ャンルに分けて記憶し、予め認識させるジャンルの辞書
ファイルを辞書メモリに展開しておくというものであ
る。
としては、例えば特開平７−３１９４９４号公報に音声
認識の対象となる複数の単語を予め定義された複数のジ
ャンルに分けて記憶し、予め認識させるジャンルの辞書
ファイルを辞書メモリに展開しておくというものであ
る。
【０００３】図５に従来の音声認識装置の構成図を示
し、以下に説明する。音声認識を開始する前に、音声認
識の対象となる複数の単語を予め定義された複数のジャ
ンルに分けて単語セット５０として記憶し、辞書生成部
５１により複数の単語セット５０の音声特徴を抽出して
辞書ファイル５２に記憶させ、音声入力の前に辞書ロー
ド部５３は辞書ロード指示部５４の指示された辞書ファ
イル５２を辞書メモリ５５にロードする。
し、以下に説明する。音声認識を開始する前に、音声認
識の対象となる複数の単語を予め定義された複数のジャ
ンルに分けて単語セット５０として記憶し、辞書生成部
５１により複数の単語セット５０の音声特徴を抽出して
辞書ファイル５２に記憶させ、音声入力の前に辞書ロー
ド部５３は辞書ロード指示部５４の指示された辞書ファ
イル５２を辞書メモリ５５にロードする。
【０００４】マイクロホン５６から入力された音声は、
音声特徴抽出部５７により音声特徴が抽出され、比較照
合部５８は入力音声された音声特徴と辞書メモリ５５か
らの音声特徴とを比較照合して入力音声に対する単語を
認識結果として出力するものである。
音声特徴抽出部５７により音声特徴が抽出され、比較照
合部５８は入力音声された音声特徴と辞書メモリ５５か
らの音声特徴とを比較照合して入力音声に対する単語を
認識結果として出力するものである。
【０００５】
【発明が解決しようとする課題】しかしながら、これら
の従来技術を用いても認識対象語彙は、予め定めたジャ
ンルに従って作成されるためにユーザーの意図としたも
のとは限らず、さらに定められたジャンルが変わるたび
に辞書ファイルのロードを繰り返すことが必要となり、
ユーザーの意図に合った音声認識結果を得るためにはユ
ーザー操作が増えるなどの課題があった。
の従来技術を用いても認識対象語彙は、予め定めたジャ
ンルに従って作成されるためにユーザーの意図としたも
のとは限らず、さらに定められたジャンルが変わるたび
に辞書ファイルのロードを繰り返すことが必要となり、
ユーザーの意図に合った音声認識結果を得るためにはユ
ーザー操作が増えるなどの課題があった。
【０００６】本発明は、ユーザーの嗜好に合わせて認識
対象語彙を少ないユーザー操作で絞り込むことにより、
音声認識性能の向上を図ることを目的とする。
対象語彙を少ないユーザー操作で絞り込むことにより、
音声認識性能の向上を図ることを目的とする。
【０００７】
【課題を解決するための手段】この課題を解決するため
に本発明は、音声認識の対象とすべき全単語を格納した
認識対象候補語彙から予め取得したユーザーの嗜好情報
に基づいた認識対象語彙を予め作成し、入力される音声
と認識対象語彙とから単語を認識することを特徴とする
方法を取るものである。
に本発明は、音声認識の対象とすべき全単語を格納した
認識対象候補語彙から予め取得したユーザーの嗜好情報
に基づいた認識対象語彙を予め作成し、入力される音声
と認識対象語彙とから単語を認識することを特徴とする
方法を取るものである。
【０００８】また、本発明は、ユーザーの発声する音声
を装置に入力するための音声入力部と、ユーザーの嗜好
情報を選択するための情報を入力するための嗜好選択情
報入力部と、ユーザーの嗜好情報を示す嗜好番号を決定
する番号決定部と、一つまたは複数の嗜好情報を保持す
る嗜好情報記憶部と、音声認識の対象とすべき全単語を
格納する認識対象候補語彙記憶部と、前記嗜好情報記憶
部に格納されている嗜好情報を嗜好番号に応じて参照
し、前記認識対象候補語彙記憶部に記憶される認識対象
候補語彙から、参照する嗜好情報に基づいて認識対象語
彙を作成する認識対象語彙作成部と、前記音声入力部か
ら入力される音声と前記認識対象語彙作成部において作
成された認識対象語彙との音声認識スコアの計算を行う
認識部と、前記認識部において計算されたスコアに基づ
いて認識結果を決定する認識結果決定部とを備えるもの
である。
を装置に入力するための音声入力部と、ユーザーの嗜好
情報を選択するための情報を入力するための嗜好選択情
報入力部と、ユーザーの嗜好情報を示す嗜好番号を決定
する番号決定部と、一つまたは複数の嗜好情報を保持す
る嗜好情報記憶部と、音声認識の対象とすべき全単語を
格納する認識対象候補語彙記憶部と、前記嗜好情報記憶
部に格納されている嗜好情報を嗜好番号に応じて参照
し、前記認識対象候補語彙記憶部に記憶される認識対象
候補語彙から、参照する嗜好情報に基づいて認識対象語
彙を作成する認識対象語彙作成部と、前記音声入力部か
ら入力される音声と前記認識対象語彙作成部において作
成された認識対象語彙との音声認識スコアの計算を行う
認識部と、前記認識部において計算されたスコアに基づ
いて認識結果を決定する認識結果決定部とを備えるもの
である。
【０００９】これにより、ユーザーの意図する語を含む
認識対象語彙が選ばれ、従来例よりも誤りが少なく、よ
り多くの場合にユーザーの意図する結果を出力すること
ができる音声認識方法及び音声認識装置を提供すること
ができる。
認識対象語彙が選ばれ、従来例よりも誤りが少なく、よ
り多くの場合にユーザーの意図する結果を出力すること
ができる音声認識方法及び音声認識装置を提供すること
ができる。
【００１０】
【発明の実施の形態】本発明の請求項１に記載の発明
は、音声認識の対象とすべき全単語を格納した認識対象
候補語彙から、ユーザーを識別する情報を用いて選択さ
れたユーザーの嗜好情報に基づいた認識対象語彙を予め
作成し、入力される音声と前記ユーザーの嗜好情報に基
づいた認識対象語彙とから単語を認識することを特徴と
するもので、ユーザーの嗜好に合わせて認識対象語彙を
絞り込むことにより音声認識性能を向上させるという作
用を有する。また、認識対象候補となりうる全語彙を対
象に音声認識を行うよりも処理が簡便で早くなる方法で
ある。請求項２に記載の発明は、入力された音声と音声
認識の対象の単語である認識対象語彙とから前記単語を
認識する音声認識によって得られる認識得点と、ユーザ
ーを識別する情報を用いて選択されたユーザーの嗜好情
報に基づいた前記認識対象語彙の嗜好得点とを使用し
て、認識結果を決定することを特徴とする音声認識方法
とするものであり、認識得点に嗜好得点も加味すること
により、ユーザーがより発声しそうな内容に重みをつけ
て結果を出力して、ユーザーの全く意図しない結果を出
現させるケースを大幅に低減すると同時に、意図する結
果を高い確率で出現させるという作用を有する。
は、音声認識の対象とすべき全単語を格納した認識対象
候補語彙から、ユーザーを識別する情報を用いて選択さ
れたユーザーの嗜好情報に基づいた認識対象語彙を予め
作成し、入力される音声と前記ユーザーの嗜好情報に基
づいた認識対象語彙とから単語を認識することを特徴と
するもので、ユーザーの嗜好に合わせて認識対象語彙を
絞り込むことにより音声認識性能を向上させるという作
用を有する。また、認識対象候補となりうる全語彙を対
象に音声認識を行うよりも処理が簡便で早くなる方法で
ある。請求項２に記載の発明は、入力された音声と音声
認識の対象の単語である認識対象語彙とから前記単語を
認識する音声認識によって得られる認識得点と、ユーザ
ーを識別する情報を用いて選択されたユーザーの嗜好情
報に基づいた前記認識対象語彙の嗜好得点とを使用し
て、認識結果を決定することを特徴とする音声認識方法
とするものであり、認識得点に嗜好得点も加味すること
により、ユーザーがより発声しそうな内容に重みをつけ
て結果を出力して、ユーザーの全く意図しない結果を出
現させるケースを大幅に低減すると同時に、意図する結
果を高い確率で出現させるという作用を有する。
【００１１】請求項３に記載の発明は、請求項１又は２
記載の音声認識方法において、ユーザーを識別する情報
は、ユーザーが入力するユーザー識別記号、ユーザーの
発声、ユーザーを識別する画像又は前記音声認識を実施
する時刻の少なくとも一つの情報である音声認識方法と
するもので、音声認識を行うユーザーの嗜好情報の選択
が容易になり、また、音声認識を実施する時刻を用いて
ユーザー嗜好情報を選択することで、時刻を加味して、
ユーザーの嗜好情報を選択することができる。
記載の音声認識方法において、ユーザーを識別する情報
は、ユーザーが入力するユーザー識別記号、ユーザーの
発声、ユーザーを識別する画像又は前記音声認識を実施
する時刻の少なくとも一つの情報である音声認識方法と
するもので、音声認識を行うユーザーの嗜好情報の選択
が容易になり、また、音声認識を実施する時刻を用いて
ユーザー嗜好情報を選択することで、時刻を加味して、
ユーザーの嗜好情報を選択することができる。
【００１２】請求項４に記載の発明は、一つまたは複数
のユーザーの嗜好情報を保持する嗜好情報記憶部と、音
声認識の対象とすべき全単語を格納した認識対象候補語
彙から、ユーザーを識別する情報を用いて選択されたユ
ーザーの嗜好情報に基づいた認識対象語彙を予め作成す
る認識対象語彙作成部と、ユーザーの発声する音声と前
記ユーザーの嗜好情報に基づいた認識対象語彙とから単
語を認識する認識部とを含む音声認識装置としたもので
あり、ユーザーの嗜好に合わせて認識対象語彙を絞り込
むことにより音声認識性能を向上させるという作用を有
する。
のユーザーの嗜好情報を保持する嗜好情報記憶部と、音
声認識の対象とすべき全単語を格納した認識対象候補語
彙から、ユーザーを識別する情報を用いて選択されたユ
ーザーの嗜好情報に基づいた認識対象語彙を予め作成す
る認識対象語彙作成部と、ユーザーの発声する音声と前
記ユーザーの嗜好情報に基づいた認識対象語彙とから単
語を認識する認識部とを含む音声認識装置としたもので
あり、ユーザーの嗜好に合わせて認識対象語彙を絞り込
むことにより音声認識性能を向上させるという作用を有
する。
【００１３】請求項５記載の発明は、一つまたは複数の
ユーザーの嗜好情報を保持する嗜好情報記憶部と、音声
認識の対象とすべき全単語を格納した認識対象候補語彙
から、ユーザーを識別する情報を用いて選択されるユー
ザーの嗜好情報に基づいて認識対象語彙を予め作成する
認識対象語彙作成部と、前記ユーザーの嗜好情報に基づ
いた前記認識対象語彙の嗜好得点を算出する嗜好得点計
算部と、ユーザーの発声する音声と前記ユーザーの嗜好
情報に基づいた認識対象語彙とから単語の認識得点を計
算する認識部と、前記嗜好得点と前記認識得点とを使用
して、認識結果を決定し出力する認識結果決定部とを含
む音声認識装置としたものであり、ユーザーの嗜好に合
わせて認識対象語彙を絞り込むことにより音声認識性能
を向上させるという作用を有する。
ユーザーの嗜好情報を保持する嗜好情報記憶部と、音声
認識の対象とすべき全単語を格納した認識対象候補語彙
から、ユーザーを識別する情報を用いて選択されるユー
ザーの嗜好情報に基づいて認識対象語彙を予め作成する
認識対象語彙作成部と、前記ユーザーの嗜好情報に基づ
いた前記認識対象語彙の嗜好得点を算出する嗜好得点計
算部と、ユーザーの発声する音声と前記ユーザーの嗜好
情報に基づいた認識対象語彙とから単語の認識得点を計
算する認識部と、前記嗜好得点と前記認識得点とを使用
して、認識結果を決定し出力する認識結果決定部とを含
む音声認識装置としたものであり、ユーザーの嗜好に合
わせて認識対象語彙を絞り込むことにより音声認識性能
を向上させるという作用を有する。
【００１４】請求項６記載の発明は、ユーザーを識別す
る情報は、ユーザーが入力するユーザー識別記号、ユー
ザーの発声、ユーザーを識別する画像又は前記音声認識
を実施する時刻の少なくとも１つによって選択される情
報である請求項４又は５記載の音声認識装置とするもの
であり、１つまたは複数の嗜好情報から認識対象語彙選
択に使用する嗜好情報を選択することにより、ユーザー
の嗜好に合わせて認識対象語彙を絞り込むことにより音
声認識性能を向上させるという作用を有する。
る情報は、ユーザーが入力するユーザー識別記号、ユー
ザーの発声、ユーザーを識別する画像又は前記音声認識
を実施する時刻の少なくとも１つによって選択される情
報である請求項４又は５記載の音声認識装置とするもの
であり、１つまたは複数の嗜好情報から認識対象語彙選
択に使用する嗜好情報を選択することにより、ユーザー
の嗜好に合わせて認識対象語彙を絞り込むことにより音
声認識性能を向上させるという作用を有する。
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【００２３】以下に、本発明の実施の形態について図を
用いて説明する。
用いて説明する。
【００２４】（実施の形態１）図１に本発明の実施の形
態１における番組指定装置のブロック構成図を示す。
態１における番組指定装置のブロック構成図を示す。
【００２５】図１において、１はユーザーの音声を入力
する音声入力部、２は嗜好情報を作成する嗜好情報作成
部、３は嗜好情報作成部２で作成された嗜好情報を保持
する嗜好情報記憶部、４は音声認識の対象語彙となりう
る全ての語彙を記憶している認識対象候補語彙記憶部、
５は認識対象候補語彙記憶部４に記憶されている認識対
象語彙の中から嗜好にあった語彙を選択してユーザーの
嗜好に合わせた認識対象語彙辞書を作成する認識対象語
彙作成部、６は音声入力部１から入力された音声と認識
対象語彙作成部５から認識対象語彙との音声認識スコア
を計算する認識部、７は認識部６で得られた認識得点は
最終的に出力する認識結果決定部、８は認識結果決定部
７で決まった信号を受けて、次の受信要求項目を決定す
るセットトップボックス、９はテレビ放送や電子番組ガ
イドを送信するデジタルテレビ放送、１０は映画やカラ
オケ等の配信サービスを行うでオン・デ・マンド映画／
カラオケ配信サービス、１１はビデオ、１２はディスプ
レイモニタ、１５は嗜好情報記憶部３に記憶される嗜好
情報が複数の場合にその中から嗜好情報を選択するため
の情報を入力する嗜好選択情報入力部、１６は嗜好選択
情報入力部１５からの入力を受けて嗜好番号を出力する
番号決定部である。
する音声入力部、２は嗜好情報を作成する嗜好情報作成
部、３は嗜好情報作成部２で作成された嗜好情報を保持
する嗜好情報記憶部、４は音声認識の対象語彙となりう
る全ての語彙を記憶している認識対象候補語彙記憶部、
５は認識対象候補語彙記憶部４に記憶されている認識対
象語彙の中から嗜好にあった語彙を選択してユーザーの
嗜好に合わせた認識対象語彙辞書を作成する認識対象語
彙作成部、６は音声入力部１から入力された音声と認識
対象語彙作成部５から認識対象語彙との音声認識スコア
を計算する認識部、７は認識部６で得られた認識得点は
最終的に出力する認識結果決定部、８は認識結果決定部
７で決まった信号を受けて、次の受信要求項目を決定す
るセットトップボックス、９はテレビ放送や電子番組ガ
イドを送信するデジタルテレビ放送、１０は映画やカラ
オケ等の配信サービスを行うでオン・デ・マンド映画／
カラオケ配信サービス、１１はビデオ、１２はディスプ
レイモニタ、１５は嗜好情報記憶部３に記憶される嗜好
情報が複数の場合にその中から嗜好情報を選択するため
の情報を入力する嗜好選択情報入力部、１６は嗜好選択
情報入力部１５からの入力を受けて嗜好番号を出力する
番号決定部である。
【００２６】上記のように構成された番組選択装置の動
作について、以下に説明する。まず最初に、セットトッ
プボックス８は常時電源が投入されており、１日に１
度、オン・デ・マンド映画／カラオケ配信サービス１０
から受信可能な番組名及び番組に関する情報を受信し
て、前記セットトップボックス８の内部に記憶すると同
時に、番組名については認識対象候補語彙記憶部４に送
るものとします。
作について、以下に説明する。まず最初に、セットトッ
プボックス８は常時電源が投入されており、１日に１
度、オン・デ・マンド映画／カラオケ配信サービス１０
から受信可能な番組名及び番組に関する情報を受信し
て、前記セットトップボックス８の内部に記憶すると同
時に、番組名については認識対象候補語彙記憶部４に送
るものとします。
【００２７】嗜好選択情報入力部１５へ入力される嗜好
選択情報は、ユーザーが装置に付随するリモコンのボタ
ンで入力するユーザー番号、もしくは内蔵の時計から出
力される時刻情報であって、嗜好情報記憶部３に複数記
憶される嗜好情報を選択するための情報である。
選択情報は、ユーザーが装置に付随するリモコンのボタ
ンで入力するユーザー番号、もしくは内蔵の時計から出
力される時刻情報であって、嗜好情報記憶部３に複数記
憶される嗜好情報を選択するための情報である。
【００２８】番号決定部１６は、前記嗜好選択情報入力
部１５へ入力される嗜好選択情報を基に、（表１）、
（表２）に示した表に沿って、前記嗜好選択情報入力部
１５からの入力を受けて嗜好番号を出力する。
部１５へ入力される嗜好選択情報を基に、（表１）、
（表２）に示した表に沿って、前記嗜好選択情報入力部
１５からの入力を受けて嗜好番号を出力する。
【００２９】
【表１】
【００３０】
【表２】
【００３１】なお、前記嗜好情報記憶部３に記憶されて
いる嗜好情報が１つの場合でも実施の形態の効果に変わ
りはなく、前記嗜好情報記憶部３に記憶されている嗜好
情報が１つの場合には前記嗜好選択情報入力部１５は入
力にかかわらず常に同一信号を出しつづけている。
いる嗜好情報が１つの場合でも実施の形態の効果に変わ
りはなく、前記嗜好情報記憶部３に記憶されている嗜好
情報が１つの場合には前記嗜好選択情報入力部１５は入
力にかかわらず常に同一信号を出しつづけている。
【００３２】認識対象語彙作成部５は、前記番号決定部
１６からの嗜好番号を基に嗜好情報記憶部３から嗜好情
報を引き出し、認識対象候補語彙記憶部４に記憶されて
いる認識対象語彙の中から嗜好にあった語彙を選択して
ユーザーの嗜好に合わせた認識対象語彙辞書を作成す
る。認識対象語彙作成部５では、嗜好情報記憶部３に格
納される嗜好情報から語に対して点数付けを行い、点数
閾値を用いて閾値よりも点数が高い語を選択する。
１６からの嗜好番号を基に嗜好情報記憶部３から嗜好情
報を引き出し、認識対象候補語彙記憶部４に記憶されて
いる認識対象語彙の中から嗜好にあった語彙を選択して
ユーザーの嗜好に合わせた認識対象語彙辞書を作成す
る。認識対象語彙作成部５では、嗜好情報記憶部３に格
納される嗜好情報から語に対して点数付けを行い、点数
閾値を用いて閾値よりも点数が高い語を選択する。
【００３３】なお、語数を予め決めておいて、上位の方
から決まった語数を選ぶ場合でも同様の効果が得られ
る。
から決まった語数を選ぶ場合でも同様の効果が得られ
る。
【００３４】こうして準備されている装置に対して、ユ
ーザーはオン・デ・マンド映画／カラオケ配信サービス
１０から選択したい番組名を音声で音声入力部１より指
定する。
ーザーはオン・デ・マンド映画／カラオケ配信サービス
１０から選択したい番組名を音声で音声入力部１より指
定する。
【００３５】認識部６は、音声入力部１から入力された
音声に対して、選択作成されたユーザーの嗜好に合わせ
た認識対象語彙辞書に対して音声認識を実施し、音声認
識スコアを計算する。認識結果決定部７は、認識部６で
得られた認識得点を受け、最終的に出力する信号が決め
る。
音声に対して、選択作成されたユーザーの嗜好に合わせ
た認識対象語彙辞書に対して音声認識を実施し、音声認
識スコアを計算する。認識結果決定部７は、認識部６で
得られた認識得点を受け、最終的に出力する信号が決め
る。
【００３６】セットトップボックス８は、認識結果決定
部７で決まった信号を受けて、次の受信要求項目を決定
する。ここでは、セットトップボックス８はオン・デ・
マンド映画／カラオケ配信サービス１０に対して受信要
求を出す、もしくは受信した画像や音声をディスプレイ
モニタ１２に送る役割を果たしている。
部７で決まった信号を受けて、次の受信要求項目を決定
する。ここでは、セットトップボックス８はオン・デ・
マンド映画／カラオケ配信サービス１０に対して受信要
求を出す、もしくは受信した画像や音声をディスプレイ
モニタ１２に送る役割を果たしている。
【００３７】この構成により、オン・デ・マンド映画／
カラオケ配信サービス１０の配信可能なメニューが例え
数百万番組あった場合でも、ユーザーの嗜好に合わせて
音声認識対象語彙を絞り込んだ音声認識装置を使用し
て、受信要求する番組を音声選択することにより、対象
語彙を絞り込まない番組選択システムと比較して、短時
間のうちに、言い直しなく受信要求番組を選択すること
ができる。
カラオケ配信サービス１０の配信可能なメニューが例え
数百万番組あった場合でも、ユーザーの嗜好に合わせて
音声認識対象語彙を絞り込んだ音声認識装置を使用し
て、受信要求する番組を音声選択することにより、対象
語彙を絞り込まない番組選択システムと比較して、短時
間のうちに、言い直しなく受信要求番組を選択すること
ができる。
【００３８】なお、認識対象候補語彙記憶部４に記憶さ
れる認識対象語彙がデジタルテレビ放送９から送信され
る電子番組ガイドであって、セットトップボックス８が
外部から受信する番組情報が、デジタルテレビ放送９で
放送される電子番組ガイドであって、要求を出す対象が
ビデオ１１で、出す要求内容が録画予約であっても同様
の効果が得られる。
れる認識対象語彙がデジタルテレビ放送９から送信され
る電子番組ガイドであって、セットトップボックス８が
外部から受信する番組情報が、デジタルテレビ放送９で
放送される電子番組ガイドであって、要求を出す対象が
ビデオ１１で、出す要求内容が録画予約であっても同様
の効果が得られる。
【００３９】嗜好情報作成部２での学習方法は、ユーザ
ーの好き・嫌いの入力を用いた情報フィルタを使用する
もので、例えば特開平９−２８８６８３号公報の学習方
法が知られている。以下に嗜好情報作成部２での学習方
法について、嗜好学習の流れ図を図２に示し以下に説明
する。
ーの好き・嫌いの入力を用いた情報フィルタを使用する
もので、例えば特開平９−２８８６８３号公報の学習方
法が知られている。以下に嗜好情報作成部２での学習方
法について、嗜好学習の流れ図を図２に示し以下に説明
する。
【００４０】S01はユーザーの音声入力ステップ、S02は
ユーザー音声の認識スコア計算を行う認識ステップ、S0
3はスコア比較を行う認識結果決定ステップ、S04は決ま
った認識結果に沿って番組を視聴する番組視聴ステッ
プ、S05は視聴している番組について、ユーザーからの
嗜好反応を判断する嗜好判定ステップ、S06は判定され
た内容に沿って嗜好を学習する嗜好学習ステップであ
る。
ユーザー音声の認識スコア計算を行う認識ステップ、S0
3はスコア比較を行う認識結果決定ステップ、S04は決ま
った認識結果に沿って番組を視聴する番組視聴ステッ
プ、S05は視聴している番組について、ユーザーからの
嗜好反応を判断する嗜好判定ステップ、S06は判定され
た内容に沿って嗜好を学習する嗜好学習ステップであ
る。
【００４１】S01でユーザーによる音声入力が行われ、S
02で音声認識が行われる。S03で音声認識の結果が決定
され、S04ではS03で決定された番組を視聴する。S05で
は番組を視聴しているユーザーの行動に応じた嗜好の判
定を行う。すなわち、10分が経過する前にチャンネルを
変えたら、当該番組はユーザーが気に入らなかったもの
と判断して、当該番組の(表３)の電子番組ガイドに付与
された語に「嫌い」の符号をつけて嗜好学習ステップS0
6に渡す。
02で音声認識が行われる。S03で音声認識の結果が決定
され、S04ではS03で決定された番組を視聴する。S05で
は番組を視聴しているユーザーの行動に応じた嗜好の判
定を行う。すなわち、10分が経過する前にチャンネルを
変えたら、当該番組はユーザーが気に入らなかったもの
と判断して、当該番組の(表３)の電子番組ガイドに付与
された語に「嫌い」の符号をつけて嗜好学習ステップS0
6に渡す。
【００４２】
【表３】
【００４３】例えば、10分を経過しても視聴しつづけて
いるようならば、当該番組はユーザーが気に入ったと判
断して、当該番組の(表３)の電子番組ガイドに付与され
た語に「好き」の符号をつけて嗜好学習ステップS06に
渡す。嗜好学習ステップS06では嗜好判断ステップS05で
判断された内容に沿って、嗜好を学習する。
いるようならば、当該番組はユーザーが気に入ったと判
断して、当該番組の(表３)の電子番組ガイドに付与され
た語に「好き」の符号をつけて嗜好学習ステップS06に
渡す。嗜好学習ステップS06では嗜好判断ステップS05で
判断された内容に沿って、嗜好を学習する。
【００４４】なお、番組の中のコマーシャルやニュース
などの割り込み別放送など最初の中断時もしくは、チャ
ンネルを変更する、番組が終るなどの視聴終了時に、セ
ットトップボックス側から「ただいまの番組は如何でし
たか？好き、嫌いのどちらかでお答えください。」と問
い掛けて、（表３）の電子番組ガイドに付与された語に
ついて得られた回答情報「好き」もしくは「嫌い」１件
として嗜好情報作成部２に送る方法でも同様の効果が得
られる。
などの割り込み別放送など最初の中断時もしくは、チャ
ンネルを変更する、番組が終るなどの視聴終了時に、セ
ットトップボックス側から「ただいまの番組は如何でし
たか？好き、嫌いのどちらかでお答えください。」と問
い掛けて、（表３）の電子番組ガイドに付与された語に
ついて得られた回答情報「好き」もしくは「嫌い」１件
として嗜好情報作成部２に送る方法でも同様の効果が得
られる。
【００４５】（実施の形態２）図３に本発明の実施の形
態２における番組指定装置のブロック構成図を示す。実
施の形態２で説明する番組指定装置は、実施の形態１の
番組指定装置を部分的に変更したものであり、実施の形
態１の構成と異なる部分について説明する。
態２における番組指定装置のブロック構成図を示す。実
施の形態２で説明する番組指定装置は、実施の形態１の
番組指定装置を部分的に変更したものであり、実施の形
態１の構成と異なる部分について説明する。
【００４６】嗜好情報記憶部３には、複数の嗜好情報が
記憶されている。嗜好情報記憶部３に記憶されている嗜
好情報が複数であるために、どの嗜好情報を選択するか
を決めるために、音響テンプレート記憶部１３に記憶さ
れている複数の音響テンプレートから、音声入力部１か
ら入力されるユーザーの発声に近いものを音響テンプレ
ート選択部１４で選択する。
記憶されている。嗜好情報記憶部３に記憶されている嗜
好情報が複数であるために、どの嗜好情報を選択するか
を決めるために、音響テンプレート記憶部１３に記憶さ
れている複数の音響テンプレートから、音声入力部１か
ら入力されるユーザーの発声に近いものを音響テンプレ
ート選択部１４で選択する。
【００４７】実施の形態２の装置の場合、音響テンプレ
ートを選択するための発声は、「番組」という言葉にな
っている。音響テンプレート選択部１４は「番組」とい
う決まった言葉を待ち受けていて、正確に発声されたと
いう前提の基でユーザーの発声と一番近い音響テンプレ
ートを選択する。音響テンプレート選択部１４では、一
単語認識処理を全ての音響テンプレートに対して行い、
一番スコアが高かったものを選択する。こうして選択さ
れた音響テンプレート番号は、番号決定部１６におい
て、（表４）で関連付けられた嗜好情報の番号決定に使
われる。
ートを選択するための発声は、「番組」という言葉にな
っている。音響テンプレート選択部１４は「番組」とい
う決まった言葉を待ち受けていて、正確に発声されたと
いう前提の基でユーザーの発声と一番近い音響テンプレ
ートを選択する。音響テンプレート選択部１４では、一
単語認識処理を全ての音響テンプレートに対して行い、
一番スコアが高かったものを選択する。こうして選択さ
れた音響テンプレート番号は、番号決定部１６におい
て、（表４）で関連付けられた嗜好情報の番号決定に使
われる。
【００４８】
【表４】
【００４９】番号決定部１６で決まった嗜好情報番号
は、認識対象語彙作成部５に送られて、嗜好情報記憶部
３に記憶されている複数の嗜好情報から引き出す嗜好情
報を指定する。
は、認識対象語彙作成部５に送られて、嗜好情報記憶部
３に記憶されている複数の嗜好情報から引き出す嗜好情
報を指定する。
【００５０】なお、番号決定部１６において嗜好番号を
決定するための情報は、音響テンプレート選択部１４で
決められる音響テンプレート番号ではなくて、嗜好選択
情報入力部１５から入力される構成とし、嗜好情報入力
部１５でユーザーの顔画像を用いてユーザー番号を判定
して番号決定部１６へ送り、（表２）に基づいて嗜好番
号を決定しても同様の効果が得られる。
決定するための情報は、音響テンプレート選択部１４で
決められる音響テンプレート番号ではなくて、嗜好選択
情報入力部１５から入力される構成とし、嗜好情報入力
部１５でユーザーの顔画像を用いてユーザー番号を判定
して番号決定部１６へ送り、（表２）に基づいて嗜好番
号を決定しても同様の効果が得られる。
【００５１】また、番号決定部１６において嗜好番号を
決定するための情報は、音響テンプレート選択部１４で
決められる音響テンプレート番号ではなくて、嗜好選択
情報入力部１５から入力される構成とし、嗜好選択情報
入力部１５への入力を内蔵の時計から得られる時刻とし
て、前記嗜好選択情報入力部１５において時間帯番号を
判定、判定された時間帯番号を番号決定部１６に送り
（表２）に基づいて嗜好番号を決定しても同様の効果が
得られる。
決定するための情報は、音響テンプレート選択部１４で
決められる音響テンプレート番号ではなくて、嗜好選択
情報入力部１５から入力される構成とし、嗜好選択情報
入力部１５への入力を内蔵の時計から得られる時刻とし
て、前記嗜好選択情報入力部１５において時間帯番号を
判定、判定された時間帯番号を番号決定部１６に送り
（表２）に基づいて嗜好番号を決定しても同様の効果が
得られる。
【００５２】（実施の形態３）図３に本発明の実施の形
態３における番組指定装置のブロック構成図を示す。実
施の形態３で説明する番組指定装置は、実施の形態１の
番組指定装置を部分的に変更したものであり、実施の形
態１と異なる部分について説明する。
態３における番組指定装置のブロック構成図を示す。実
施の形態３で説明する番組指定装置は、実施の形態１の
番組指定装置を部分的に変更したものであり、実施の形
態１と異なる部分について説明する。
【００５３】ユーザーの発声は、音声入力部１から装置
に入力され、認識部６で音声認識処理を行って、認識得
点が認識結果決定部７に送られる。実施の形態１と異な
るのは、ここで認識結果を決定するための材料が音声認
識による認識得点だけではなくて、ユーザーの嗜好情報
から決定される嗜好得点も加味して決められることであ
る。
に入力され、認識部６で音声認識処理を行って、認識得
点が認識結果決定部７に送られる。実施の形態１と異な
るのは、ここで認識結果を決定するための材料が音声認
識による認識得点だけではなくて、ユーザーの嗜好情報
から決定される嗜好得点も加味して決められることであ
る。
【００５４】認識部６で音声認識に使われる語彙は、認
識対象語彙作成部５において、認識対象候補語彙記憶部
４に記憶される全ての語の中から、嗜好情報記憶部３に
記憶されている嗜好情報に基づいて語に得点をつけて点
数閾値よりも上位の語が選択される。選択時に付与した
嗜好情報に基づく得点のうち、認識対象語彙に選ばれた
語の得点については嗜好得点計算部１７において、各語
の点数からあらかじめ点数閾値としていた数値を引き去
って、最低嗜好得点が０となるように計算しなおし、認
識結果決定部７へ送る。
識対象語彙作成部５において、認識対象候補語彙記憶部
４に記憶される全ての語の中から、嗜好情報記憶部３に
記憶されている嗜好情報に基づいて語に得点をつけて点
数閾値よりも上位の語が選択される。選択時に付与した
嗜好情報に基づく得点のうち、認識対象語彙に選ばれた
語の得点については嗜好得点計算部１７において、各語
の点数からあらかじめ点数閾値としていた数値を引き去
って、最低嗜好得点が０となるように計算しなおし、認
識結果決定部７へ送る。
【００５５】認識結果決定部７では、認識部６から受け
取った音声認識の認識得点と、嗜好得点計算部１８から
受け取った嗜好得点とを合算した上で、一番得点が高い
ものを最終結果としてセットトップボックス８へ出力す
る。
取った音声認識の認識得点と、嗜好得点計算部１８から
受け取った嗜好得点とを合算した上で、一番得点が高い
ものを最終結果としてセットトップボックス８へ出力す
る。
【００５６】なお、嗜好得点計算部１８において、嗜好
得点から一定値を引き去る処理を行う代わりに、正規化
処理を行っても、同様の効果が得られる。
得点から一定値を引き去る処理を行う代わりに、正規化
処理を行っても、同様の効果が得られる。
【００５７】
【発明の効果】本発明によれば、声認識の対象とすべき
全単語を格納した認識対象候補語彙から予め取得したユ
ーザーの嗜好情報に基づいた認識対象語彙を予め作成
し、入力される音声と認識対象語彙とから単語を認識す
ることを特徴とするもので、ユーザーの嗜好に合わせて
認識対象語彙を少ないユーザ操作で絞り込むことによ
り、音声認識性能を向上させるという有利な効果が得ら
れる。
全単語を格納した認識対象候補語彙から予め取得したユ
ーザーの嗜好情報に基づいた認識対象語彙を予め作成
し、入力される音声と認識対象語彙とから単語を認識す
ることを特徴とするもので、ユーザーの嗜好に合わせて
認識対象語彙を少ないユーザ操作で絞り込むことによ
り、音声認識性能を向上させるという有利な効果が得ら
れる。
【００５８】また、番組指定装置に適用した場合は、ユ
ーザの嗜好にあった番組選択ができるという有利な効果
が得られる。
ーザの嗜好にあった番組選択ができるという有利な効果
が得られる。
【図１】本発明の実施の形態１における番組選択装置の
ブロック構成図
ブロック構成図
【図２】実施の形態１の嗜好学習の流れ図
【図３】本発明の実施の形態２における番組選択装置の
ブロック構成図
ブロック構成図
【図４】本発明の実施の形態３における番組選択装置の
ブロック構成図
ブロック構成図
【図５】従来の音声認識装置のブロック構成図
１ 音声入力部
２ 嗜好情報作成部
３ 嗜好情報記憶部
４ 認識対象候補語彙記憶部
５ 認識対象語彙作成部
６ 認識部
７ 認識結果決定部
８ セットトップボックス
９ デジタルテレビ放送
１０ オン・デ・マンド映画／カラオケ配信サービス
１１ ビデオ
１２ ディスプレイモニタ
１３ 音響テンプレート記憶部
１４ 音響テンプレート選択部
１５ 嗜好選択情報入力部
１６ 番号決定部
１７ 嗜好得点計算部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｈ０４Ｎ 5/44 Ｇ１０Ｌ 3/00 ５５１Ｇ
５４５Ｆ
(56)参考文献 特開 昭62−262898（ＪＰ，Ａ)
特開 平９−292896（ＪＰ，Ａ)
特開 平11−305790（ＪＰ，Ａ)
特開2001−169269（ＪＰ，Ａ)
特開2001−142481（ＪＰ，Ａ)
特開 平７−319494（ＪＰ，Ａ)
特開 平９−288683（ＪＰ，Ａ)
国際公開00／011571（ＷＯ，Ａ１)
国際公開00／049599（ＷＯ，Ａ１)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/00 - 15/28
H04N 5/44
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (6)
- 【請求項１】 音声認識の対象とすべき全単語を格納し
た認識対象候補語彙から、ユーザーを識別する情報を用
いて選択されたユーザーの嗜好情報に基づいた認識対象
語彙を予め作成し、入力される音声と前記ユーザーの嗜
好情報に基づいた認識対象語彙とから単語を認識する音
声認識方法。 - 【請求項２】 入力された音声と音声認識の対象の単語
である認識対象語彙とから前記単語を認識する音声認識
によって得られる認識得点と、ユーザーを識別する情報
を用いて選択されたユーザーの嗜好情報に基づいた前記
認識対象語彙の嗜好得点とを使用して、認識結果を決定
する音声認識方法。 - 【請求項３】 ユーザーを識別する情報は、ユーザーが
入力するユーザー識別記号、ユーザーの発声、ユーザー
を識別する画像又は前記音声認識を実施する時刻の少な
くとも一つの情報である請求項１又は２記載の音声認識
方法。 - 【請求項４】 一つまたは複数のユーザーの嗜好情報を
保持する嗜好情報記憶部と、音声認識の対象とすべき全
単語を格納した認識対象候補語彙から、ユーザーを識別
する情報を用いて選択されたユーザーの嗜好情報に基づ
いた認識対象語彙を予め作成する認識対象語彙作成部
と、ユーザーの発声する音声と前記ユーザーの嗜好情報
に基づいた認識対象語彙とから単語を認識する認識部と
を含む音声認識装置。 - 【請求項５】 一つまたは複数のユーザーの嗜好情報を
保持する嗜好情報記憶部と、音声認識の対象とすべき全
単語を格納した認識対象候補語彙から、ユーザーを識別
する情報を用いて選択されるユーザーの嗜好情報に基づ
いた認識対象語彙を予め作成する認識対象語彙作成部
と、前記ユーザーの嗜好情報に基づいた前記認識対象語
彙の嗜好得点を算出する嗜好得点計算部と、ユーザーの
発声する音声と前記ユーザーの嗜好情報に基づいた認識
対象語彙とから単語の認識得点を計算する認識部と、前
記嗜好得点と前記認識得点とを使用して、認識結果を決
定し出力する認識結果決定部とを含む音声認識装置。 - 【請求項６】 ユーザーを識別する情報は、ユーザーが
入力するユーザー識別記号、ユーザーの発声、ユーザー
を識別する画像又は前記音声認識を実施する時刻の少な
くとも情報である請求項４又５は記載の音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000097336A JP3525855B2 (ja) | 2000-03-31 | 2000-03-31 | 音声認識方法及び音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000097336A JP3525855B2 (ja) | 2000-03-31 | 2000-03-31 | 音声認識方法及び音声認識装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003337213A Division JP2004120767A (ja) | 2003-09-29 | 2003-09-29 | 番組指定方法及び番組指定装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001282285A JP2001282285A (ja) | 2001-10-12 |
| JP3525855B2 true JP3525855B2 (ja) | 2004-05-10 |
| JP2001282285A5 JP2001282285A5 (ja) | 2004-08-19 |
Family
ID=18611970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000097336A Expired - Lifetime JP3525855B2 (ja) | 2000-03-31 | 2000-03-31 | 音声認識方法及び音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3525855B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023272502A1 (zh) * | 2021-06-29 | 2023-01-05 | 华为技术有限公司 | 一种人机交互方法及装置、设备及车辆 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004194108A (ja) * | 2002-12-12 | 2004-07-08 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びにプログラム |
| JP4986301B2 (ja) * | 2008-09-30 | 2012-07-25 | Ｋｄｄｉ株式会社 | 音声認識処理機能を用いたコンテンツ検索装置、プログラム及び方法 |
| US20110320464A1 (en) * | 2009-04-06 | 2011-12-29 | Mitsubishi Electric Corporation | Retrieval device |
| JP5694102B2 (ja) | 2011-09-22 | 2015-04-01 | 株式会社東芝 | 音声認識装置、音声認識方法およびプログラム |
| ES2606678T3 (es) | 2012-08-31 | 2017-03-27 | Dolby Laboratories Licensing Corporation | Presentación de sonido reflejado para audio con base de objeto |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62262898A (ja) * | 1986-05-09 | 1987-11-14 | 株式会社リコー | 音声認識装置 |
| JP2833995B2 (ja) * | 1994-05-23 | 1998-12-09 | 日本電気ロボットエンジニアリング株式会社 | 大語彙音声認識装置 |
| JP3244005B2 (ja) * | 1995-09-04 | 2002-01-07 | 松下電器産業株式会社 | 情報フィルタ装置及び情報フィルタリング方法 |
| JPH09292896A (ja) * | 1996-04-24 | 1997-11-11 | Denso Corp | 車両用ナビゲーション装置 |
| JPH11305790A (ja) * | 1998-04-23 | 1999-11-05 | Denso Corp | 音声認識装置 |
| CN1313972A (zh) * | 1998-08-24 | 2001-09-19 | Bcl计算机有限公司 | 自适应的自然语言接口 |
| US6615178B1 (en) * | 1999-02-19 | 2003-09-02 | Sony Corporation | Speech translator, speech translating method, and recorded medium on which speech translation control program is recorded |
| EP1079615A3 (en) * | 1999-08-26 | 2002-09-25 | Matsushita Electric Industrial Co., Ltd. | System for identifying and adapting a TV-user profile by means of speech technology |
| US6901366B1 (en) * | 1999-08-26 | 2005-05-31 | Matsushita Electric Industrial Co., Ltd. | System and method for assessing TV-related information over the internet |
-
2000
- 2000-03-31 JP JP2000097336A patent/JP3525855B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023272502A1 (zh) * | 2021-06-29 | 2023-01-05 | 华为技术有限公司 | 一种人机交互方法及装置、设备及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001282285A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8069041B2 (en) | Display of channel candidates from voice recognition results for a plurality of receiving units | |
| US20190333515A1 (en) | Display apparatus, method for controlling the display apparatus, server and method for controlling the server | |
| US7519534B2 (en) | Speech controlled access to content on a presentation medium | |
| US6925197B2 (en) | Method and system for name-face/voice-role association | |
| JP4024678B2 (ja) | トランスクリプト情報のシンタックスに基づく番組分類方法および装置 | |
| US6324512B1 (en) | System and method for allowing family members to access TV contents and program media recorder over telephone or internet | |
| US8340974B2 (en) | Device, system and method for providing targeted advertisements and content based on user speech data | |
| US6581207B1 (en) | Information filtering system and method | |
| KR20050023941A (ko) | 음성 인식 및 화자 인식을 통한 개별화된 서비스를제공하는 ａ/ｖ 장치 및 그 방법 | |
| EP2680596A1 (en) | Display apparatus, method for controlling display apparatus, and interactive system | |
| JP2002320159A (ja) | 番組推薦システムおよび番組推薦方法 | |
| EP1843262A2 (en) | Recording and reproduction apparatus and recording and reproduction method | |
| JP2002112186A (ja) | 電子番組ガイド受信装置 | |
| US20080235031A1 (en) | Interface apparatus, interface processing method, and interface processing program | |
| JP2001142481A (ja) | 音声／ビデオ装置用の制御システム及び音声／ビデオ構成を制御するための統合アクセスシステム | |
| JP2003255992A (ja) | 対話システムおよびその制御方法 | |
| JP3525855B2 (ja) | 音声認識方法及び音声認識装置 | |
| JP3801878B2 (ja) | 放送受信機及び番組情報提供方法 | |
| JP4601306B2 (ja) | 情報検索装置、情報検索方法、およびプログラム | |
| JP6772916B2 (ja) | 対話装置および対話方法 | |
| US7177806B2 (en) | Sound signal recognition system and sound signal recognition method, and dialog control system and dialog control method using sound signal recognition system | |
| JP7131077B2 (ja) | 会話装置、ロボット、会話装置制御方法及びプログラム | |
| JP2006526207A (ja) | メディアオブジェクト検索方法 | |
| JP2001282285A5 (ja) | ||
| JP2004120767A (ja) | 番組指定方法及び番組指定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040209 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3525855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090227 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100227 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100227 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110227 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |