JP2007194926A - 音声応答システム - Google Patents

音声応答システム Download PDF

Info

Publication number
JP2007194926A
JP2007194926A JP2006011342A JP2006011342A JP2007194926A JP 2007194926 A JP2007194926 A JP 2007194926A JP 2006011342 A JP2006011342 A JP 2006011342A JP 2006011342 A JP2006011342 A JP 2006011342A JP 2007194926 A JP2007194926 A JP 2007194926A
Authority
JP
Japan
Prior art keywords
voice response
voice
communication terminal
monaural
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006011342A
Other languages
English (en)
Other versions
JP4539570B2 (ja
Inventor
Hiroshi Hashizume
洋 橋爪
Shinji Usuha
伸司 薄葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2006011342A priority Critical patent/JP4539570B2/ja
Priority to CN2006101451901A priority patent/CN101005538B/zh
Priority to EP06127308A priority patent/EP1811755A1/en
Priority to US11/646,345 priority patent/US8189796B2/en
Publication of JP2007194926A publication Critical patent/JP2007194926A/ja
Application granted granted Critical
Publication of JP4539570B2 publication Critical patent/JP4539570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/03Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003Digital PA systems using, e.g. LAN or internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)

Abstract

【課題】 聴取者に対するアピール力を従来より高めることができる音声応答システムを提供する。
【解決手段】 本発明は、音声応答装置が通信端末からの要求信号に応じたモノラル音声信号を上記通信端末に送信する音声応答システムに関する。そして、通信端末が、音声応答装置からのモノラル音声信号をステレオ音声信号に変換するモノラル/ステレオ変換手段と、変換されたステレオ音声信号を発音出力するステレオ音声出力手段とを有することを特徴とする。
【選択図】 図1

Description

本発明は音声応答システムに関し、例えば、電話端末からの操作信号などに応じて音声応答装置が自動応答するシステムに適用し得るものである。
予約システム、教育システム、コールセンター、プロモーションシステムなどにおいては音声応答装置が利用される。このような従来の音声応答装置を利用した音声応答システムにおいて、音声応答装置は、遠隔の固定アナログ電話機、携帯電話機、IP電話機などの電話端末から送信されたPB信号による要求、又は、音声信号による要求(音声認識により要求を把握する)に応じて、所定又は該当する音声信号を再生して、上述の電話端末に送信し、発音出力させるものであった(例えば、特許文献1参照)。
特開2002―344632号公報
しかしながら、従来の音声応答システムにおいては、電話端末は、音声応答装置が送信した音声信号(例えば、3.4kHz以下のモノラル音声信号)を単に発音出力するに過ぎないものであった。
例えば、音声応答システムが販売促進用メッセージを提供するものである場合において、電話端末で受信した音声信号を単に発音出力しても、アピール力が弱いことも多い。また例えば、音声応答システムが教育システムに利用されている場合において、電話端末で受信した音声信号を単に発音出力しても、興味を持たせることができず、教育効果が小さくなったり、対話の継続時間が短くなったりすることもあり得る。
そのため、聴取者に対するアピール力を従来より高めることができる音声応答システムが望まれている。
かかる課題を解決するため、音声応答装置が通信端末からの要求信号に応じたモノラル音声信号を上記通信端末に送信する音声応答システムにおいて、上記通信端末が、上記音声応答装置からのモノラル音声信号をステレオ音声信号に変換するモノラル/ステレオ変換手段と、変換されたステレオ音声信号を発音出力するステレオ音声出力手段とを有することを特徴とする。
本発明の音声応答システムによれば、通信端末側の処理により得たステレオ音声信号で、音声応答装置からの応答音声を発音出力させるようにしたので、通信構成に殆ど負担をかけることなく、聴取者にとって魅力ある音声応答による対話を可能とし、システムの利用頻度の向上や、対話の継続性の向上などを期待できる。
(A)第1の実施形態
以下、本発明による音声応答システムの第1の実施形態を、図面を参照しながら説明する。
図1は、第1の実施形態の音声応答システムの全体構成を示すブロック図である。図1は、通信リンクが確立状態で機能する音声応答機能面の構成を取り出して示しており、言い換えると、呼制御機能に係る構成を省略して示している。
図1において、第1の実施形態の音声応答システム1は、ネットワーク2を介して接続される音声応答装置10と電話端末20とを有する。音声応答装置10は、音声認識部11、対話管理部12及び音声再生部13を有する。電話端末20は、マイクロフォン21、一対のスピーカ22R、22L、音声通信部23及び定位位置指示部24を有し、音声通信部23は、受信音声のモノラル/ステレオ変換部25を内蔵している。
ネットワーク2は、例えば、一般的なアナログ電話公衆網であっても良くIP網であっても良く、リンクの確立、切断機能を有するものであればどのようなものであっても良い。音声応答装置10及び電話端末20間の通信方法として、例えば、VoIPを用いたIPネットワーク通信を適用できる。また、網ではなく専用回線などであっても良い。さらに、ネットワーク2が複数のネットワークの融合ネットワークになっていても良く、その一部又は全てが携帯電話網のような無線通信に係るものであっても良い。図1では省略しているが、音声応答装置10及び電話端末20間がデジタル通信に供するようなものである場合には、音声応答装置10及び電話端末20のネットワーク2側とのインタフェース構成に、アナログ信号及びデジタル信号間の変換回路や、パケットの組立、分解構成などが設けられることになる。
音声応答装置10は、1個の電話端末20に対してのみ対応できるものであっても良く、また、複数の電話端末20に対して並列処理により対応できるものであっても良い。後者の場合であれば、例えば、音声認識部11及び対話管理部12を複数設けて対応したり(音声再生部13も複数設けても良い)、音声認識部11及び対話管理部12として機能するソフトウェア(タスク)をリンク毎に並列に処理させることで対応する。いずれにせよ、リンクが確立された状態においては、あたかも、各電話端末20毎に、音声認識部11、対話管理部12及び音声再生部13が設けられていると同様な状態になる。
音声応答装置10は、教育用、サービス用などのいずれの用途のものであっても良い。すなわち、第1の実施形態の場合、音声応答装置10の用途は問われないものである。
音声応答装置10において、音声認識部11は、電話端末20から与えられた音声信号を音声認識し、認識結果(例えば、テキストデータ列)を対話管理部12に与えるものである。なお、電話端末20側の話者(ユーザ)が、プッシュボタンやファンクションキーの操作によって、自己の意思などを表す音声応答システムであれば、音声認識部11に代え、又は、音声認識部11に加え、PB信号やファンクションキー信号の認識部が適用される。ファンクションキーを利用する場合において、ファンクションキーが押下された際に、電話端末20側が該当するPB信号又はPB信号列に変換して音声応答装置10に送出するものであっても良い。
対話管理部12は、例えば、対話のフェーズを管理しており、現在のフェーズと、音声認識部11から与えられた認識結果とから、当該音声応答装置10からの発話内容を規定する発話コードP1を選択又は決定し、発話コードP1を音声再生部13に与える。
音声再生部13は、各発話コードに対応付けて、発話内容の音声信号を記憶しているものであり、対話管理部12から与えられた発話コードP1に応じた音声信号を再生して出力するものである。なお、発話コードP1には、合成用の文字列と、その文字列を一部に合成してメッセージを完成させる被合成用の音声信号の種類を指示するコードでなっていても良く、すなわち、再生信号が、対話管理部12から与えられた一部文字列を挿入したものであっても良い。
ここで、音声信号の記憶方法は問われないものである。圧縮して記憶しているものであっても良く、音素片と、音素片の組み合わせとを別個に格納しており、音声合成によって、音声信号を再生するものであっても良い。音声再生部13による再生音声信号が電話端末20に送出される。なお、電話端末20へは、再生音声信号に加え、背景音信号をも送信するものであっても良い。
電話端末20は、アナログ電話機、携帯電話機、IP電話機(ソフトフォンを含む)、電話対応のPDAなどのいずれの電話端末であっても良く、第1の実施形態の特徴との関係からは、図1に示す構成を少なくとも備えていれば良い。
電話端末20において、マイクロフォン21は、話者の発声音声を捕捉し、電気的な音声信号に変換して音声通信部23に与えるものである。この第1の実施形態での発声音声は、例えば、上述した音声応答装置10へ自己の意図を伝達するものである。音声応答装置10側へ意図の伝達を音声ではなく、PB信号で行うシステムである場合には、電話端末20に設けられている図示しないプッシュボタンが、意図の伝達のために操作される。
一対のスピーカ22R、22Lは、音声通信部23から与えられたステレオ音声信号を発音出力するものである。一対のスピーカ22R、22Lは、ヘッドフォンタイプのものであっても良く(図1はこの場合を示している)、また、ステレオスピーカタイプのものであっても良い。マイクロフォン21と一対のスピーカ22R、22Lとがヘッドフォンタイプで構成されている場合において、電話端末本体とヘッドフォンとは、有線で接続されていても良く、また、無線で接続されていても良い。
音声通信部23は、マイクロフォン21からの音声信号を音声応答装置10に向けて送信処理したり、音声応答装置10から与えられた音声信号を受信処理してスピーカ22R、22Lに与えたりするものである。音声通信部23は、上述したように、モノラル/ステレオ変換部25を内蔵している。
モノラル/ステレオ変換部25は、音声応答装置10から与えられた音声信号(モノラル音声信号)S0を既存のモノラル/ステレオ変換技術(例えば、特開2003−102099号公報参照)によって、方向性及び距離感が付加されたステレオ音声信号ST0に変換するものであり、変換されたステレオ音声信号ST0がスピーカ22R、22Lに与えられる。第1の実施形態のモノラル/ステレオ変換部25は、ステレオ音声信号ST0の音源位置(定位位置)を、指定された位置としたステレオ音声信号ST0に変換するものである。音声応答装置10から音声信号と背景音信号とが与えられる場合には(例えば、信号によってパケットを代えたり、同一パケットでありながら信号によってフィールドを代えたりして伝送する)、音声通信部23は、モノラル/ステレオ変換部25に音声信号だけを与え、音声信号だけをステレオ信号に変換する。
定位位置指示部24は、話者の操作に応じて、モノラル/ステレオ変換部25に対し、定位位置を指示するものである。定位位置指示部24として、例えば、マウスを利用したものを適用することができる(例えば、電話端末20がソフトフォンの場合)。また、テンキー(タッチパネルによって実現されているようなものを含む)を有する電話端末20であれば、テンキーを定位位置指示部24に利用できる。例えば、テンキーが図2に示すような配列の場合、「5」の周囲のキーの1回の操作が、「5」とそのキーとを結ぶ方向への単位量の位置変化を指示するものとすることができる。例えば、「4」が操作された場合であれば、左方向へ単位分だけ定位位置を変化させる指示と捉える。
図1において、話者と音声応答装置10との対話の進行状況に合わせて、対話管理部12より、音声再生部13に発話コードP1が入力され、音声再生部13によって再生されたモノラル音声信号S0が電話端末20に与えられる。電話端末20において、そのモノラル音声信号S0は、モノラル/ステレオ変換部25に入力され、モノラル/ステレオ変換部25によって、モノラル音声信号S0は、既存のモノラル/ステレオ変換技術に従い、定位位置指示部24からの定位位置を音源として方向性が付加されたステレオ音声信号ST0に変換される。このステレオ音声信号ST0が一対のスピーカ22R、22Lから発音出力される。
上記第1の実施形態によれば、話者の意思で、定位を変動させることができ、話者の好きな方向性、距離感を持ったステレオ音声で、音声応答装置からの音声を受聴することができる。話者は、音声を耳元で受聴したり、少し遠くから受聴したり、方向性を連続的に動かすことができるため、より高臨場感の対話をすることができる。その結果、話者にとって魅力ある対話を可能とし、音声応答システムの利用頻度が高まり、また、音声応答システムが意図した終了時点まで会話が継続することが期待できるようになる。
すなわち、遠隔で接続される音声応答装置と電話端末の機能によって、話者(聞き手)に再生される音声、効果音、環境音に方向性又は立体感をもたせることにより、従来より魅力ある音声応答システムの対話を可能とすることができる。
ここで、音声応答装置から話者(電話端末)に送信される音声信号は、モノラル音声信号であるので、上記効果を奏するためにネットワークにかかる負荷はほとんど存在しない。また、モノラル/ステレオ変換部が話者側にあるため、音声応答装置の処理を少なくすることができる。
(B)第2の実施形態
次に、本発明による音声応答システムの第2の実施形態を、図面を参照しながら、第1の実施形態との相違点を中心に説明する。
図3は、第2の実施形態の音声応答システムの全体構成を示すブロック図であり、第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
図3において、第2の実施形態の音声応答システム1Aは、第1の実施形態に比較すると、電話端末20Aにおいて定位位置指示部24が省略されている点、音声応答装置10Aの対話管理部12Aが発話コードP1を音声再生部13に与えるだけでなく定位位置パラメータP2を電話端末20Aに送信する点、電話端末20Aのモノラル/ステレオ変換部25Aが必要な定位位置パラメータとして音声応答装置10Aの対話管理部12Aが送信したものを取り込む点が異なっている。
例えば、対話管理部12Aが管理している各発話コードには定位位置パラメータが対応付けられており、対話の進行状態に応じて、対話管理部12Aが音声再生部13に与える発話コードP1を決定した際には、その発話コードP1に対応付けられている定位位置パラメータP2を電話端末20Aに送出する。
また、対話管理部12Aには、対話のフェーズに応じて、発話コードP1と定位位置パラメータP2とが格納されているが、発話コードP1と定位位置パラメータP2とが同期出力するものでなくても良い。例えば、1個の発話コードP1を出力する際に、複数の定位位置パラメータP2を順次出力するようなものであっても良く、定位位置パラメータP2の送信する時間的間隔は、変換後のステレオ音声信号ST0を話者が聞いたときに、方向性、距離感が連続的に変動しているように感じる程度に細かい間隔が好ましい。
これにより、電話端末20Aには、音声応答装置10Aから、発話コードP1に応じたモノラル音声信号S1及び定位位置パラメータP2が与えられる。ここで、モノラル音声信号S1及び定位位置パラメータP2を別個のチャネルで伝送する(例えば、異なるIPパケットで伝送する)ようにしても良く、同じチャネルで多重伝送する(例えば、同一のIPパケットの異なるフィールドに挿入して伝送する)ようにしても良い。
電話端末20Aのモノラル/ステレオ変換部25Aは、与えられたモノラル音声信号S1をステレオ音声信号ST0に変換する際に、その音源位置を規定する定位位置情報として、音声応答装置10Aが送信した定位位置パラメータP2を用いる。
以上の点を除けば、第2の実施形態の音声応答システム1Aの動作は、第1の実施形態と同様である。
第2の実施形態の音声応答システム1Aの利用例として教育システムを説明する。ここで、音声応答装置10Aが該当する教師として、教師Aと教師Bとがおり、これら二人の教師が、話者が該当する生徒に教えるとする。教育対話の進行に応じて、一方の教師Aの音声信号を出力する際には、定位位置パラメータP2として左側の位置を指示するものを出力し、他方の教師Bの音声信号を出力する際には、定位位置パラメータP2として右側の位置を指示するものを出力する。これにより、生徒(話者)には、教師Aの音声が左側方向から与えられ、教師Bの音声が右側方向から与えられる。
上記では、対話管理部12Aが定位位置パラメータP2を電話端末20Aに送出する場合を示したが、各音声信号にそれぞれ定位位置パラメータを対応付けて音声再生部13に格納しておき、音声再生部13が、発話コードP1が与えられたときに、その発話コードP1に対応する音声信号S1及び定位位置パラメータP2を送出するようにしても良い。
第2の実施形態によれば、第1の実施形態とほぼ同様な効果に加え、以下のような効果を奏することができる。すなわち、話者が操作することなく、音声応答装置からの音声の定位が変動し、高臨場感な対話をすることができる。例えば、予めコンテンツ(対話のストーリー)の企画、製作者の意思で決めた、定位変動を自動で再現し、話者に高臨場感な対話を体験させることができる。
(C)第3の実施形態
次に、本発明による音声応答システムの第3の実施形態を、図面を参照しながら、第1の実施形態との相違点を中心に説明する。
図4は、第3の実施形態の音声応答システムの全体構成を示すブロック図であり、第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
図4において、第3の実施形態の音声応答システム1Bは、第1の実施形態に比較すると、電話端末20Bにおいて定位位置指示部24が省略されている点、音声応答装置10Bの対話管理部12Bが発話コードP1を音声再生部13に与えるだけでなく定位位置パターンコードPP0を電話端末20Bに送信する点、定位位置パラメータの時系列でなる定位位置パターンを複数格納し与えられた定位位置パターンコードPP0が規定する定位位置パターンの定位位置パラメータを順次出力する定位位置供給部26が電話端末20Bの音声通信部23B内に設けられている点、モノラル/ステレオ変換部25Aが必要な定位位置パラメータとして定位位置供給部26が供給したものを取り込む点などが異なっている。
定位位置供給部26には、定位位置パラメータの変動の仕方(パターン)が予め複数定義されている。定位位置パターンとしては、例えば、音源位置(定位位置)が右回りに回転移動しているようなパターン、音源位置が遠ざかっていくようなパターン、音源位置が近づいてくるようなパターンなど多様なものを用意しておく。
対話管理部12Bが管理している各発話コードには定位位置パターンコードが対応付けられており、対話の進行状態に応じて、対話管理部12Bが音声再生部13に与える発話コードP1を決定した際には、その発話コードP1に対応付けられている定位位置パターンコードPP0を電話端末20Bに送出する。
これにより、電話端末20Bには、音声応答装置10Bから、発話コードP1に応じたモノラル音声信号S1及び定位位置パターンコードPP0が与えられる。ここで、モノラル音声信号S1及び定位位置パターンコードPP0を別個のチャネルで伝送する(例えば、異なるIPパケットで伝送する)ようにしても良く、同じチャネルで多重伝送する(例えば、同一のIPパケットの異なるフィールドに挿入して伝送する)ようにしても良い。
電話端末20Bの定位位置供給部26は、定位位置パターンコードPP0が与えられると、そのコードにより定まる定位位置パターンの定位位置パラメータP2をモノラル/ステレオ変換部25Bに順次出力する。ここで、定位位置パラメータを図示しないクロック信号に基づいて、所定周期で変化させるようにしても良く、定位位置パターンに各定位位置パラメータの出力タイミング(例えば、起動時からのクロック数で記述する)も含め、その出力タイミングに応じて各定位位置パラメータを出力させるようにしても良い。
モノラル/ステレオ変換部25Bは、音声応答装置10Bから与えられたモノラル音声信号S1をステレオ音声信号ST0に変換する際に、その音源位置を規定する定位位置パラメータとして、定位位置供給部26が供給した定位位置パラメータP2を用いる。
以上の点を除けば、第3の実施形態の音声応答システム1Bの動作は、第1の実施形態と同様である。
第3の実施形態によれば、第2の実施形態と同様な効果を奏することができる。第2の実施形態と比較すると、定位位置パターンコードの伝送であるので、対話管理部の処理やネットワークの付加を軽減した上で、定位変動を実現できるというメリットがある。
(D)第4の実施形態
次に、本発明による音声応答システムの第4の実施形態を、図面を参照しながら説明する。
図5は、第4の実施形態の音声応答システムの全体構成を示すブロック図であり、第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。また、図6は、第4の実施形態の電話端末の外観例を示す斜視図である。
図5において、第4の実施形態の音声応答システム1Cは、複数の音声応答装置10C−1〜10C−N、通信端末20C、位置情報サーバ30及びPBXサーバ40を有する。
各音声応答装置10C(10C−1〜10C−N)は、第1の実施形態のものと同様に、音声認識部11、対話管理部12C及び音声再生部13を有する。音声認識部11及び音声再生部13は、第1の実施形態のものと同様である。
第4の実施形態の対話管理部12Cは、直前の対話のフェーズと認識結果などに応じて、発話コードP1を定めて、音声再生部13に発話コードP1などを与える点は第1の実施形態と同様である。また、対話管理部12Cは、認識結果に応じて、位置質問コードQ1を位置情報サーバ30に与えるものである。
例えば、通信端末20Cからの音声信号が「商品Aはどこ?」という問い合わせの場合において、対話管理部12Cは、音声再生部13に「こちらです」という内容の音声信号を指示する発話コードP1を与え、又は、合成用の文字列「商品A」と被合成用の「…こちらです」という内容の音声信号を指示する発話コードP1を与えると共に、位置情報サーバ30に対しては、商品Aの位置を問い合わせる位置質問コードQ1を与える。
なお、音声応答装置10C及び位置情報サーバ30間の通信は、ネットワーク2を介して行うものであっても良く、専用回線を介して行うものであっても良い。
位置情報サーバ30は、通信部(図示せず)及び位置情報データベース(位置情報DB)31を備える。位置情報データベース31は、位置質問コードQ1の受信に対し、その問い合わせに応じた位置情報POSを返信するものである。この位置情報POSは、最終的には通信端末20Cに与えられるものである。例えば、位置質問コードQ1に通信端末20Cの特定情報をも付加し、位置情報サーバ30が、その付加特定情報に基づいて通信端末20Cに直接位置情報POSを送出するものであっても良い。また例えば、位置情報サーバ30は、位置質問コードQ1の送信元の音声応答装置10Cに位置情報POSを返信し、音声応答装置10Cが通信端末20Cに位置情報POSを送出するものであっても良い。さらに例えば、音声応答装置10C及び通信端末20C間のリンク確立時に、位置情報サーバ30をも含めた3者通話的なリンク確立状態を形成させ、位置情報サーバ30が、通信端末20Cに位置情報POSを送出するものであっても良い。
第4の実施形態の通信端末20Cは、外観上は、例えば、図5に示すようなPDAやハンディターミナル端末のような構成を有している。第4の実施形態の通信端末20Cは、第1の実施形態と同様な、マイクロフォン21、一対のスピーカ22R、22L及び音声通信部23Cを有し、さらに、自端末位置検出部27、自端末方位検出部28、N個のワンタッチ発信ボタン200−1〜200−N及び回線制御部202を有する。音声通信部23Cは、モノラル/ステレオ変換部25C及び定位位置パラメータ形成部29を有する。なお、詳細な説明は省略するが、図5に示すように、その他、ディスプレイ201、各種入力キー202、ステレオ対応のヘッドフォンを着脱し得るヘッドフォンジャック受部203などを有する。
マイクロフォン21、一対のスピーカ22R、22Lは、第1の実施形態のものと同様なものである。なお、一対のスピーカ22R、22Lは、ヘッドフォンジャック受部203に図示しないヘッドフォンが装着された際には動作し得ない状態に移行する。
自端末位置検出部27は、当該通信端末20Cの位置を検出するものであり、検出した自端末位置情報SPOSを定位位置パラメータ形成部29に与えるものである。自端末位置検出部27としては、例えば、GPS処理装置を適用し得る。
自端末方位検出部28は、当該通信端末20Cが向いている方位を検出するものであり、検出した自端末方位情報SDIRを定位位置パラメータ形成部29に与えるものである。自端末方位検出部28としては、例えば、ジャイロを利用した方位検出装置を適用し得る。
第4の実施形態のモノラル/ステレオ変換部25Cは、音声応答装置10Cから与えられたモノラル音声信号S1をステレオ音声信号ST0に変換する際に、その音源位置を規定する定位位置パラメータとして、定位位置パラメータ形成部29が形成した定位位置パラメータP3を用いる。
定位位置パラメータ形成部29には、位置情報サーバ30が出力した位置情報POS、自端末位置検出部27が出力した自端末位置情報SPOS、及び、自端末方位検出部28が出力した自端末方位情報SDIRが与えられる。定位位置パラメータ形成部29は、入力情報に基づいて、当該通信端末20Cを基準とした、位置情報POSが示す位置との距離及び方位を割り出し、これに応じて、ステレオ音声信号ST0の音源位置の位置及び方位がその割り出したものに合致するようにできる定位位置パラメータP3を形成してモノラル/ステレオ変換部25Cに与える。
なお、定位位置パラメータ形成部29(又は、自端末位置検出部27及び自端末方位検出部28)は、検出された当該通信端末20Cの位置及び方位の情報を話者の位置及び方位の情報に変換して用いるようにしても良い。例えば、話者が、当該通信端末20Cを胸元中央で話者に向けて把持して操作していると仮定して、検出位置及び検出方位を修正して、話者の位置及び方位を得て利用するようにしても良い。
各ワンタッチ発信ボタン200−1〜200−Nはそれぞれ、いずれかの音声応答装置10C−1〜10C−Nに1対1で対応付けられたものであり、当該ボタン200−1〜200−Nの押下は、対応付けられている音声応答装置10C−1〜10C−Nのリンク確立を供給するものとして回線制御部202に与えられるものである。この第4の実施形態の場合、各ワンタッチ発信ボタン200−1〜200−NはLED素子内蔵のものであり、回線状態などを報知し得るものである。内蔵するLED素子の点灯、点滅、消灯制御は、回線制御部202によって制御されるものである。
回線制御部202は、音声応答装置10Cとの通信リンクの確立や切断などを制御するものであり、また、現在の回線状態などに応じて、又は、上位のPBXサーバ40からの指令により、ワンタッチ発信ボタン200−1〜200−Nに内蔵されているLED素子の点灯、点滅、消灯を制御するものである。
回線制御部202は、いずれかのワンタッチ発信ボタン200−1〜200−Nが押下された際には、対応する音声応答装置10C−1〜10C−Nとのリンクの確立動作を行う。また、回線制御部202は、上位のPBXサーバ40から、コンテンツの更新を指示するLED制御情報が与えられた際には、該当するLED素子を、コンテンツの更新を報知する更新報知態様で表示させる。例えば、点滅させたり、通常の回線状態の報知では用いない色のLED素子を点灯させたりする。
PBXサーバ40は、音声応答装置10C−1〜10C−Nや通信端末20Cを内線端末として扱うものである。PBXサーバ40は、例えば、IP−PBXサーバとして機能するものである。この第4の実施形態の場合、PBXサーバ40は、接続された保守端末(図示せず)などから音声応答装置10C−1〜10C−Nの対話情報(例えば、広告報知用の音声応答装置であれば広告メッセージ)が更新された旨が入力されると、その時点から、所定時間(例えば1時間)だけ更新報知態様で報知することを通信端末20Cに指示するキー点灯制御部41を有する。キー点灯制御部41は、一般的なPBX装置が有するマルチファンクションキーの点灯制御構成とほぼ同様なものである。例えば、SIPのSUBSCRIBEメッセージを利用して点灯などを指示し得る。
以上の構成を有する第4の実施形態の音声応答システム1Cに関し、何らかの情報の取得などを希望するユーザ(話者)は、通信端末20Cの、該当する音声応答装置10Cに係るワンタッチ発信ボタン200(200−1〜200−N)を押下する。この押下により、通信端末20Cと音声応答装置10Cとの通信リンクが確立される。
ここで、コンテンツが変更された音声応答装置10Cに対応するワンタッチ発信ボタン200は、更新からさほど時間が経過していない状態では、更新報知態様で表示されているので、その表示により興味を持ち、ワンタッチ発信ボタン200を押下するユーザが多いと考えられる。
通信端末20Cと音声応答装置10Cとの通信リンクが確立された状態では、話者(通信端末20C)と音声応答装置10Cとで対話が実行される。このような対話状態において、音声応答装置10Cから、通信端末10Cに音声信号(モノラル音声信号)S0が与えられる際には、位置情報サーバ30が送出した音声信号S0に係る音源の位置情報POSも与えられる。
通信端末10Cの定位位置パラメータ形成部29は、位置情報サーバ30が出力した位置情報POS、自端末位置検出部27が出力した自端末位置情報SPOS、及び、自端末方位検出部28が出力した自端末方位情報SDIRに基づいて、当該通信端末20Cを基準とした、位置情報POSが示す位置との距離及び方位を割り出し、定位位置パラメータP3を形成してモノラル/ステレオ変換部25Cに与える。モノラル/ステレオ変換部25Cは、音声応答装置10Cからの音声信号(モノラル音声信号)S0を、この定位位置パラメータP3に従って、ステレオ音声信号ST0に変換してスピーカ22L、22Rに与えて発音させる。
この発音されたステレオ音声信号ST0の音源の位置(音源までの距離及び方位)は、当該通信端末20Cを基準としてみて、位置情報POSが指示している位置となる。
例えば、話者が「商品Aはどこ」と質問した場合において、商品Aが存在する位置の方から発音されたと聴取し得るステレオ音声信号ST0が発音出力される。
第4の実施形態によっても、臨場感ある音声を話者(ユーザ)に提供し得る音声応答システムを実現することができる。
また、第4の実施形態によれば、ワンタッチボタンにより、所望する音声応答装置とのリンクの確立を起動できるので、操作性を良好なものとすることができる。
さらに、第4の実施形態によれば、定位位置パラメータとして予め定まっているものを用いるのではなく、通信端末の位置や方位を考慮して決定した定位位置パラメータを用いるようにしたので、話者が音源位置を検索するような音声応答システムの用途の場合にも適切に対応することができる。
(E)他の実施形態
上記各実施形態の説明においても種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
上記各実施形態の電話端末(又は通信端末)は、定位位置パラメータの供給方法などが異なるものであったが、複数の定位位置パラメータの供給方法に対応できる電話端末であっても良い。例えば、電話端末及び音声応答装置のリンク確立時のネゴシエーションなどによって、利用する定位位置パラメータの供給方法を決定する。
また、上記各実施形態においては、モノラル音声信号を2チャンネルのステレオ音声信号に変換するものを示したが、2チャンネルより多いチャンネル数のステレオ音声信号に変換するようにしても良い。
さらに、上記各実施形態においては、音声認識部を音声応答装置が備えるものを示したが、閉じた音声応答システムであれば、電話端末(又は通信端末)に音声認識部を設けて認識結果を音声応答装置側に送出するようにしても良い。
さらにまた、上記第1〜第3の実施形態においては、端末が電話端末であるものを示したが、端末は、音声の通信機能を備えているものであれば、電話機能を備えていないものであっても良い。例えば、音声応答装置も通信端末も同一のLANの要素である場合、端末は電話機能を備えて射なくても良い。
第3の実施形態においては、定位位置パターンを電話端末が固定的に備えているものを示したが、音声応答装置及び電話端末間の通信リンクを確立した直後などに、音声応答装置から電話端末に定位位置パターンをダウンロードして電話端末が定位位置パターンを保持するようにしても良い。ダウンロードのタイミングは上記以外のタイミングであっても良く、また、ダウンロード元が音声応答装置以外の装置であっても良い。
第2の実施形態においては、音声応答装置から電話端末に定位位置パラメータを順次切り替えて与えるものを示したが、第3の実施形態で説明したような1個の定位位置パターンを電話端末に与え、電話端末側において、定位位置パラメータを順次変化させるようにしても良い。
第4の実施形態においては、音声応答装置と位置情報サーバとが別個のものを示したが、同一装置内に、上述した音声応答装置と位置情報サーバとの機能を搭載したものであっても良い。
また、上記第4の実施形態においては、通信端末がPBXサーバの内線端末となってワンタッチボタンのLED素子の制御を受け入れるものを示したが、PBXシステム以外であっても、通信端末のワンタッチボタンのLED素子の発光などの制御を、外部装置が制御するという技術思想を適用するようにしても良い。例えば、IP電話システムにおけるプロキシサーバや登録サーバが上述したPBXサーバと同様な制御機能を担うようにしても良い。また、上述したPBXサーバの機能を、音声応答装置が担当するようにしても良い。例えば、コンテンツが変更された際に、そのコンテンツに係る音声応答装置が、自己をアクセス可能な通信端末のワンタッチボタンのLED素子を制御する。
さらに、第4の実施形態の変形例としては、通信端末は、アプリケーションの実行状態から、音声応答モードに移行するようなものであっても良い。
なお、上記各実施形態の説明では言及しなかったが、変換後のステレオ音声信号によって、受聴者により高い定位感を与えることを考慮した場合、音声応答装置からのモノラル音声信号の帯域は7kHz程度あることが好ましい。そのため、一般的なアナログ電話回線を利用する場合より、広帯域音声符号化を用いたIP電話回線を適用するシステムに本発明は好適なものである。
第1の実施形態の音声応答システムの全体構成を示すブロック図である。 第1の実施形態の電話端末の定位位置指示部の説明図である。 第2の実施形態の音声応答システムの全体構成を示すブロック図である。 第3の実施形態の音声応答システムの全体構成を示すブロック図である。 第4の実施形態の音声応答システムの全体構成を示すブロック図である。 第4の実施形態の電話端末の外観例を示す斜視図である。
符号の説明
1、1A、1B、1C…音声応答システム、2…ネットワーク、10、10A、10B、10C…音声応答装置、11…音声認識部、12、12A、12B、12C…対話管理部、13…音声再生部、20、20A、20B…電話端末、20C…通信端末、21…マイクロフォン、22R、22L…スピーカ、23、23A、23B、23C…音声通信部、24…定位位置指示部、25、25A、25B、25C…モノラル/ステレオ変換部、26…定位位置供給部、27…自端末位置検出部、28…自端末方位検出部、29…定位位置パラメータ形成部、200−1〜200−N…ワンタッチ発信ボタン、202…回線制御部、30…位置情報サーバ、31…位置情報データベース、40…PBXサーバ、41…キー点灯制御部。

Claims (7)

  1. 音声応答装置が通信端末からの要求信号に応じたモノラル音声信号を上記通信端末に送信する音声応答システムにおいて、
    上記通信端末が、
    上記音声応答装置からのモノラル音声信号をステレオ音声信号に変換するモノラル/ステレオ変換手段と、
    変換されたステレオ音声信号を発音出力するステレオ音声出力手段とを有する
    ことを特徴とする音声応答システム。
  2. 上記通信端末が、ユーザの操作に応じて、変換後のステレオ音声信号における音源位置を規定する定位位置パラメータを、上記モノラル/ステレオ変換手段に与える定位位置指示手段をさらに有することを特徴とする請求項1に記載の音声応答システム。
  3. 上記音声応答装置は、上記通信端末に送信するモノラル音声信号に応じて定まる、変換後のステレオ音声信号における音源位置を規定する定位位置パラメータを、上記通信端末の上記モノラル/ステレオ変換手段に供給する定位位置パラメータ送出手段を有することを特徴とする請求項1に記載の音声応答システム。
  4. 上記音声応答装置は、上記通信端末に送信するモノラル音声信号に応じて定まる定位位置パターンの種類情報を、上記通信端末に送出するパターン種類送出手段を有すると共に、
    上記通信端末は、変換後のステレオ音声信号における音源位置を規定する定位位置パラメータの時系列でなる複数の定位位置パターンを保持しており、上記音声応答装置から与えられた種類情報で定まる定位位置パターンの定位位置パラメータを上記モノラル/ステレオ変換手段に順次供給する定位位置供給手段を有する
    ことを特徴とする請求項1に記載の音声応答システム。
  5. 上記音声応答装置は、上記通信端末に送信するモノラル音声信号に応じて定まる音源位置情報を、上記通信端末に送出する、又は、上記音源位置情報を外部装置から上記通信端末に送出させる位置情報送出手段を有すると共に、
    上記通信端末は、
    当該通信端末の位置を検出する端末位置検出手段と、
    当該通信端末の方位を検出する端末方位検出手段と、
    上記音声応答装置から与えられた音源位置情報、上記端末位置検出手段から出力された端末位置情報、及び、上記端末方位検出手段から出力された端末方位情報とに基づいて、変換後のステレオ音声信号における音源位置を規定する定位位置パラメータを形成して、上記モノラル/ステレオ変換手段に供給する定位位置パラメータ形成手段とを有する
    ことを特徴とする請求項1に記載の音声応答システム。
  6. 複数の上記音声応答装置を備えると共に、
    上記通信端末が、ワンタッチで上記各音声応答装置との通信リンクの確立動作を起動させる、上記各音声応答装置に対応した複数のワンタッチ発信ボタンを有する
    ことを特徴とする請求項1〜5のいずれかに記載の音声応答システム。
  7. 上記各ワンタッチ発信ボタンは発光素子を内蔵したものであると共に、
    再生されるモノラル音声信号群が更新された上記音声応答装置に対応するワンタッチ発信ボタンの発光素子を、他のワンタッチ発信ボタンの発光素子と異なる態様で表示させる発光素子制御サーバを有する
    ことを特徴とする請求項6に記載の音声応答システム。
JP2006011342A 2006-01-19 2006-01-19 音声応答システム Active JP4539570B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006011342A JP4539570B2 (ja) 2006-01-19 2006-01-19 音声応答システム
CN2006101451901A CN101005538B (zh) 2006-01-19 2006-11-17 声音应答***
EP06127308A EP1811755A1 (en) 2006-01-19 2006-12-28 Voice response system
US11/646,345 US8189796B2 (en) 2006-01-19 2006-12-28 Voice response system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006011342A JP4539570B2 (ja) 2006-01-19 2006-01-19 音声応答システム

Publications (2)

Publication Number Publication Date
JP2007194926A true JP2007194926A (ja) 2007-08-02
JP4539570B2 JP4539570B2 (ja) 2010-09-08

Family

ID=38009509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006011342A Active JP4539570B2 (ja) 2006-01-19 2006-01-19 音声応答システム

Country Status (4)

Country Link
US (1) US8189796B2 (ja)
EP (1) EP1811755A1 (ja)
JP (1) JP4539570B2 (ja)
CN (1) CN101005538B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080362A (ja) * 2011-10-04 2013-05-02 Nippon Telegr & Teleph Corp <Ntt> 対話型情報発信装置、対話型情報発信方法、及びプログラム
JP2020086203A (ja) * 2018-11-28 2020-06-04 トヨタ自動車株式会社 質問応答装置、質問応答方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016344A1 (en) * 2005-07-15 2007-01-18 Arinc, Incorporated Systems and methods for voice communications and control using adapted portable data storage and display devices
JP7388061B2 (ja) 2019-09-03 2023-11-29 ヤマハ株式会社 音信号処理方法、音信号処理システム、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184017A (ja) * 1998-12-15 2000-06-30 Mitsubishi Electric Corp 通話装置
JP2001290841A (ja) * 2000-04-10 2001-10-19 Sharp Corp 情報提示装置、情報提示方法および情報提示プログラムを記録したコンピュータで読取可能な記録媒体
JP2005101738A (ja) * 2003-09-22 2005-04-14 Yamaha Corp 音像定位設定装置及びそのプログラム
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW274671B (ja) * 1994-06-24 1996-04-21 At & T Corp
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
US6590983B1 (en) * 1998-10-13 2003-07-08 Srs Labs, Inc. Apparatus and method for synthesizing pseudo-stereophonic outputs from a monophonic input
JP2002200343A (ja) * 2000-10-30 2002-07-16 Sony Computer Entertainment Inc 記録媒体、プログラム、方法、プログラム実行システムおよびプログラム実行装置
JP2002344632A (ja) 2001-05-22 2002-11-29 Toshiba Corp 道路状況案内システム
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US6996777B2 (en) 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
AU2003245868A1 (en) * 2002-07-25 2004-02-16 Sonion Horsens A/S Mobile handset and assembly having multi-loudspeaker system
GB2405767A (en) * 2003-09-03 2005-03-09 Sendo Int Ltd Mobile phone multi-directional sound porting mechanism
GB2407937B (en) 2003-11-07 2007-08-22 Excuse Me Invest Ltd Position locating system
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184017A (ja) * 1998-12-15 2000-06-30 Mitsubishi Electric Corp 通話装置
JP2001290841A (ja) * 2000-04-10 2001-10-19 Sharp Corp 情報提示装置、情報提示方法および情報提示プログラムを記録したコンピュータで読取可能な記録媒体
JP2005101738A (ja) * 2003-09-22 2005-04-14 Yamaha Corp 音像定位設定装置及びそのプログラム
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080362A (ja) * 2011-10-04 2013-05-02 Nippon Telegr & Teleph Corp <Ntt> 対話型情報発信装置、対話型情報発信方法、及びプログラム
JP2020086203A (ja) * 2018-11-28 2020-06-04 トヨタ自動車株式会社 質問応答装置、質問応答方法及びプログラム
JP7044040B2 (ja) 2018-11-28 2022-03-30 トヨタ自動車株式会社 質問応答装置、質問応答方法及びプログラム

Also Published As

Publication number Publication date
EP1811755A1 (en) 2007-07-25
CN101005538B (zh) 2011-10-05
JP4539570B2 (ja) 2010-09-08
US20070165867A1 (en) 2007-07-19
CN101005538A (zh) 2007-07-25
US8189796B2 (en) 2012-05-29

Similar Documents

Publication Publication Date Title
EP2314077B1 (en) Wearable headset with self-contained vocal feedback and vocal command
US7904188B2 (en) Information outputting device, information output controlling method, and information output controlling program
US20130129123A1 (en) Plurality of Mobile Communication Devices for Performing Locally Collaborative Operations
JP4539570B2 (ja) 音声応答システム
JP4201791B2 (ja) 携帯電話内蔵形音声変換システム
JP2009021752A (ja) 緊急放送システムおよびその端末装置
JP4434788B2 (ja) 通話制御システム、通話管理システムおよび通話制御方法
JP5590691B1 (ja) コードレス電話装置及び制御方法
JP3165585U (ja) 音声合成装置
JP2002182664A (ja) カラオケシステム
JP5085431B2 (ja) 無線通信装置
US10257338B2 (en) Method and apparatus to control a state of music reproducing device through wireless communicator
JP7390691B2 (ja) 防災システムおよび防災器具
JP5810330B2 (ja) コードレス電話装置及び制御方法
JP5681962B1 (ja) コードレス電話装置、コードレス電話装置の親機及びコードレス電話装置の制御方法
JP5962932B2 (ja) 電話装置、電話システム、及び制御方法
JP6170738B2 (ja) 通信デュエット時の通信方式に特徴を有する通信カラオケシステム
JP2006106286A (ja) 携帯式情報端末を用いたカラオケシステム
TWM551301U (zh) 無線語音導覽裝置
JP2001036615A (ja) 携帯音響機器携帯電話システム
KR20060012186A (ko) 다수의 무선통신 단말기를 이용한 서라운드 음향 구현 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100614

R150 Certificate of patent or registration of utility model

Ref document number: 4539570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350