JP2009086207A - Minute information generation system, minute information generation method, and minute information generation program - Google Patents
Minute information generation system, minute information generation method, and minute information generation program Download PDFInfo
- Publication number
- JP2009086207A JP2009086207A JP2007254717A JP2007254717A JP2009086207A JP 2009086207 A JP2009086207 A JP 2009086207A JP 2007254717 A JP2007254717 A JP 2007254717A JP 2007254717 A JP2007254717 A JP 2007254717A JP 2009086207 A JP2009086207 A JP 2009086207A
- Authority
- JP
- Japan
- Prior art keywords
- information
- voice
- user
- minutes
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、音声情報をテキスト情報にテキスト変換する音声認識手段を用いて議事録情報を生成する議事録情報生成システムに関する。 The present invention relates to a minutes information generating system for generating minutes information using a voice recognition means for converting voice information into text information.
従来、コンピュータ端末によって形成されるネットワークを利用して、会議の映像や音声を遠隔地間で送受信して会議を行う電子会議システムが利用されている。
また、一方で、近年では、入力される音声情報をテキスト情報に変換する音声認識技術が発展しており(例えば、特許文献1参照)、様々な場面に応用されるようになってきた(例えば、特許文献2参照)。
そこで、このような電子会議システムと音声認識技術とを用いて、電子会議システムにおいて交わされる会議内容としての音声情報を、音声認識技術によってテキスト情報に変換し、保存することで、議事録情報を生成する電子会議システムが提案されている(例えば、特許文献3参照)。
On the other hand, in recent years, a speech recognition technique for converting input speech information into text information has been developed (see, for example, Patent Document 1), and has been applied to various scenes (for example, , See Patent Document 2).
Therefore, by using such an electronic conference system and voice recognition technology, the voice information as the contents of the meeting exchanged in the electronic conference system is converted into text information by the voice recognition technology and saved, so that the minutes information can be stored. An electronic conference system to be generated has been proposed (see, for example, Patent Document 3).
しかしながら、このような議事録情報生成システムでは、会議中にどのような発言があったかを記憶することはできるが、誰がどの発言を行ったかを記憶できるものではない。
また、複数の会議参加ユーザが同時に発言した場合、重なった音声情報が音声情報として入力されるために音声認識エラーとなり、その間の発言は議事録が生成されないこととなる。
However, in such a minutes information generation system, it is possible to memorize what kind of remarks were made during the meeting, but it is not possible to memorize who made what remarks.
In addition, when a plurality of conference participation users speak at the same time, since the overlapped voice information is input as voice information, a voice recognition error occurs, and the minutes during that time are not generated.
また、このような音声認識を精度良く行うために、個々のユーザが発するそれぞれの特徴を予め記憶する音声プロファイルと呼ばれる情報を予め作成しておき、音声情報が入力される場合には、このような音声プロファイル情報を指標として用い、音声情報のキャリブレーションを行ってテキスト情報に変換する音声認識処理が一般的に行われている。
しかしながら、そのような音声プロファイル情報を生成するためには、ユーザが定型文などをマイクに向かって発声しながら、入力された音声情報を解析して特徴を抽出する処理が必要である。会議の都度このような音声情報の特徴抽出処理を行うのは、ユーザにとって面倒であり、負担となっている。
In addition, in order to perform such voice recognition with high accuracy, information called a voice profile that stores in advance each feature emitted by each user is created in advance, and this is the case when voice information is input. A speech recognition process is generally performed in which speech information is calibrated and converted into text information by using simple speech profile information as an index.
However, in order to generate such audio profile information, it is necessary for the user to analyze the input audio information and extract features while uttering a standard sentence or the like toward the microphone. It is troublesome and burdensome for the user to perform such voice information feature extraction processing at each meeting.
また、このような音声情報をテキスト情報に変換する音声認識処理は、複雑な計算処理を必要とするため、コンピュータへの処理負荷が高いことが一般的である。このため、リアルタイムでの音声認識処理では、音声認識の計算処理が会議の進行に追いつかずに、計算処理が中断されてしまったり、エラーとなったりする場合がある。
また、このような議事録情報には、会議の発言内容に加えて、会議時間や会議参加者などの会議情報が記録されることが望ましい。
In addition, since the speech recognition processing for converting such speech information into text information requires a complicated calculation process, the processing load on the computer is generally high. For this reason, in real-time voice recognition processing, the calculation processing of voice recognition may not catch up with the progress of the conference, and the calculation processing may be interrupted or an error may occur.
In addition to the content of the conference statement, conference information such as conference time and conference participants is preferably recorded in such minutes information.
本発明は、このような状況に鑑みてなされたもので、情報の精度が高く、かつ手間をかけずに効率良く議事録情報を生成する議事録情報生成システムを提供する。 The present invention has been made in view of such a situation, and provides a minutes information generation system that generates minute information efficiently without taking time and effort.
上述の課題を解決するために、本発明は、音声情報をテキスト情報にテキスト変換する音声認識手段を用いて議事録情報を生成する議事録情報生成システムであって、ユーザから入力される音声を音声情報に変換する音声入力手段と、ユーザを識別する情報を含むユーザ情報を予め記憶するユーザ情報記憶手段と、ユーザが利用する音声入力手段と、ユーザ情報記憶手段に記憶されたユーザのユーザ情報とを対応付けて記憶する対応情報記憶手段と、対応情報記憶手段から、音声が入力された音声入力手段に対応するユーザ情報を検出する対応情報検出手段と、音声情報が入力された音声入力手段に対応するユーザ情報を対応情報検出手段によって検出し、検出したユーザ情報と、音声情報が音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成する議事録情報生成手段と、を備えることを特徴とする議事録情報生成システムである。 In order to solve the above-described problems, the present invention provides a minutes information generation system for generating minutes information using a voice recognition means for converting voice information into text information, and the voice input from a user is received. Voice input means for converting into voice information, user information storage means for storing user information including information for identifying the user in advance, voice input means used by the user, and user information of the user stored in the user information storage means Correspondence information storage means for storing information in association with each other, correspondence information detection means for detecting user information corresponding to the voice input means to which voice is input from the correspondence information storage means, and voice input means for which voice information is input User information corresponding to the user information is detected by the corresponding information detection means, and the detected user information and the voice information is converted into text by the voice recognition means. And minutes information generating means for generating the minutes information as information and text information associating that a minutes information generating system comprising: a.
本発明は、上述のユーザ情報記憶手段は、可搬記憶媒体が有しており、可搬記憶媒体がユーザによって接続されると、可搬記憶媒体に記憶されたユーザ情報を読み出すユーザ情報読出手段と、ユーザ情報読出手段が読み出したユーザ情報と、音声入力手段とを対応付けた情報を、対応情報記憶手段に記憶させる対応情報制御手段と、をさらに備えることを特徴とする。 In the present invention, the above-described user information storage means is provided in a portable storage medium, and when the portable storage medium is connected by a user, the user information reading means for reading out the user information stored in the portable storage medium. And correspondence information control means for storing information in which the user information read by the user information reading means is associated with the voice input means in the correspondence information storage means.
本発明は、上述のユーザ情報記憶手段が記憶するユーザ情報は、ユーザ情報が示すユーザが発する音声の特徴を示す音声特徴情報を含み、音声認識手段は、音声情報が入力された音声入力手段に対応付けられた音声特徴情報に基づいて音声情報をテキスト情報に変換することを特徴とする。 According to the present invention, the user information stored in the user information storage unit includes voice feature information indicating a feature of a voice uttered by the user indicated by the user information, and the voice recognition unit is connected to the voice input unit to which the voice information is input. Voice information is converted into text information based on the voice characteristic information associated with the voice characteristic information.
本発明は、上述の対応情報記憶手段は、複数の音声入力手段のうちいずれかの音声入力手段と、複数のユーザ情報のうちいずれかのユーザ情報とを一対一で対応付ける情報を記憶することを特徴とする。 According to the present invention, the correspondence information storage unit stores information that associates one of the plurality of voice input units with one of the plurality of user information on a one-to-one basis. Features.
本発明は、上述の音声入力手段に入力される音声情報を記憶する音声情報記憶手段をさらに備え、上述の議事録情報生成手段は、音声情報記憶手段から読み出した音声情報に基づいて、議事録情報を生成することを特徴とする。 The present invention further includes voice information storage means for storing voice information input to the voice input means, and the minutes information generation means is based on the voice information read from the voice information storage means. It is characterized by generating information.
本発明は、会議参加ユーザ、会議場所、及び会議時間を示す情報である会議情報の入力を受け付ける会議情報入力手段をさらに備え、議事録情報生成手段が生成する議事録情報に、会議情報を付加することを特徴とする。 The present invention further includes conference information input means for receiving input of conference information, which is information indicating a conference participation user, a conference location, and a conference time, and adds conference information to the minutes information generated by the minutes information generation means It is characterized by doing.
本発明は、音声情報をテキスト情報にテキスト変換する音声認識手段を用いて議事録情報を生成する議事録情報生成方法であって、ユーザ情報記憶手段が、ユーザを識別する情報を含むユーザ情報を予め記憶するステップと、音声入力手段が、ユーザから入力される音声を音声情報に変換するステップと、対応情報記憶手段が、ユーザが利用する音声入力手段と、ユーザ情報記憶手段に記憶されたユーザのユーザ情報とを対応付けて記憶するステップと、対応情報検出手段が、対応情報記憶手段から、音声が入力された音声入力手段に対応するユーザ情報を検出するステップと、議事録情報生成手段が、音声情報が入力された音声入力手段に対応するユーザ情報を対応情報検出手段によって検出し、検出されたユーザ情報と、音声情報が音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成するステップと、を備えることを特徴とする議事録情報生成方法である。 The present invention relates to a minutes information generating method for generating minutes information using a voice recognition means for converting voice information into text information, wherein the user information storage means stores user information including information for identifying a user. A step of storing in advance, a step in which the voice input means converts voice inputted from the user into voice information, a correspondence information storage means in which the user uses voice input means, and a user stored in the user information storage means Storing the user information in association with each other, the correspondence information detecting means detecting from the correspondence information storing means the user information corresponding to the voice input means to which the voice is inputted, and the minutes information generating means The user information corresponding to the voice input means to which the voice information is input is detected by the corresponding information detection means, and the detected user information and the voice information are voiced. Is minutes information generating method characterized by comprising the steps of: generating the minutes information is information that associates the text information is information that is text converted by the identification means.
本発明は、ユーザから入力される音声を音声情報に変換する音声入力手段を備え、音声情報をテキスト情報にテキスト変換する音声認識手段を用いて議事録情報を生成する議事録情報生成装置としてのコンピュータに、ユーザ情報記憶手段が、ユーザを識別する情報を含むユーザ情報を予め記憶するステップと、対応情報記憶手段が、ユーザが利用する音声入力手段と、ユーザ情報記憶手段に記憶されたユーザのユーザ情報とを対応付けて記憶するステップと、対応情報検出手段が、対応情報記憶手段から、音声が入力された音声入力手段に対応するユーザ情報を検出するステップと、議事録情報生成手段が、音声情報が入力された音声入力手段に対応するユーザ情報を対応情報検出手段によって検出し、検出されたユーザ情報と、音声情報が音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成するステップと、を実行させるための議事録情報生成プログラムである。 The present invention includes a voice input unit that converts voice input from a user into voice information, and serves as a minutes information generation device that generates minutes information using a voice recognition unit that converts voice information into text information. In the computer, the user information storage means stores user information including information for identifying the user in advance, the correspondence information storage means is the voice input means used by the user, and the user information stored in the user information storage means. A step of storing user information in association with each other, a step of detecting correspondence information from the correspondence information storage unit, and a step of detecting user information corresponding to the voice input unit to which the voice is input, and a minutes information generating unit, User information corresponding to the voice input means to which voice information is input is detected by the corresponding information detection means, and the detected user information and voice information are detected. Is minutes information generation program for executing the steps of: generating the minutes information is information that associates the text information is information that is text converted by the speech recognition means.
以上説明したように、本発明によれば、ユーザの識別情報を含むユーザ情報を予め記憶し、音声入力手段にユーザ情報を対応付けておき、音声入力手段に入力される音声情報が音声認識手段によってテキスト変換された情報であるテキスト情報と、その音声情報が入力された音声入力手段に対応するユーザ情報とを対応付けた議事録情報を生成するようにしたので、ユーザを識別する情報と音声認識手段により生成されたテキスト情報とが対応付けられた議事録情報を生成することが可能となり、また、ユーザは予め自身のユーザ情報をユーザ情報記憶手段に記憶させておくことで、会議の都度、自身の情報を入力する必要がないので、詳細な議事録情報を効率よく生成することができる。 As described above, according to the present invention, user information including user identification information is stored in advance, user information is associated with voice input means, and voice information input to the voice input means is voice recognition means. Since the minutes information is generated by associating the text information, which is the information converted into the text by the user, and the user information corresponding to the voice input means to which the voice information is input, the information for identifying the user and the voice It is possible to generate minutes information associated with the text information generated by the recognition means, and the user stores his / her user information in the user information storage means in advance so that each meeting can be performed. Since it is not necessary to input own information, detailed minutes information can be generated efficiently.
さらに、本発明によれば、ユーザ情報を可搬記憶媒体に記憶させることとしたので、ユーザは、予め自身のユーザ情報を記憶させた可般記憶媒体を携帯して持ち歩くことができ、その可搬記憶媒体の情報を議事録情報生成システムに読みこませることで、会議の都度ユーザ情報を入力する手間を省くことができる。 Furthermore, according to the present invention, since the user information is stored in the portable storage medium, the user can carry the portable storage medium in which the user information is stored in advance and carry it. By having the minutes information generation system read the information in the portable storage medium, it is possible to save the trouble of inputting user information at each meeting.
さらに、本発明によれば、ユーザ情報として、ユーザの音声特徴情報を記憶するようにしたので、音声認識手段は、音声特徴情報に基づいて音声情報をテキスト情報に変換することができ、より精度の高い音声認識が可能となる。 Further, according to the present invention, since the voice feature information of the user is stored as the user information, the voice recognition means can convert the voice information to text information based on the voice feature information, and more accurately. High voice recognition is possible.
さらに、本発明によれば、複数の音声入力手段のうちいずれかの音声入力手段と、複数のユーザ情報のうちいずれかのユーザ情報とを一対一で対応付けるようにしたので、複数ユーザによる会議を行う場合にも、それぞれのユーザの発言を個別に取得することができ、同時に発言が行われた場合にも、それぞれの発言をテキスト情報に変換する精度を高くすることができる。 Furthermore, according to the present invention, since any one of the plurality of voice input means and one of the plurality of user information are associated one-to-one, a conference by a plurality of users can be performed. Even in the case of performing, it is possible to individually acquire the utterances of the respective users, and even when the utterances are performed at the same time, the accuracy of converting the respective utterances into text information can be increased.
さらに、本発明によれば、音声入力手段に入力される音声情報を記憶する音声情報記憶手段を設け、音声情報記憶手段に記憶された音声情報に基づいた議事録情報の生成を行うことができるようにしたので、負荷の高い音声認識処理をリアルタイムに行うことが困難である場合でも、音声情報を記憶しておき、事後的に議事録情報を生成することができる。 Further, according to the present invention, the voice information storage means for storing the voice information input to the voice input means is provided, and the minutes information can be generated based on the voice information stored in the voice information storage means. As described above, even when it is difficult to perform high-load voice recognition processing in real time, voice information can be stored and minutes information can be generated later.
さらに、本発明によれば、会議参加ユーザ、会議場所、及び会議時間を示す情報である会議情報の入力を受け付けて議事録情報に付加するようにしたので、議事録情報への情報追加や修正を行わなくても、議事録として必要な情報項目を含んだ議事録情報を生成することができる。 Furthermore, according to the present invention, since the input of the meeting information, which is information indicating the meeting participation user, the meeting place, and the meeting time, is received and added to the minutes information, information addition or correction to the minutes information is performed. Even if not performed, it is possible to generate minutes information including necessary information items as minutes.
以下、本発明の一実施形態について、図面を参照して説明する。
<第1の実施形態>
図1は、本実施形態による議事録情報生成システム10の構成を示すブロック図である。
本実施形態による議事録情報生成システム10は、ユーザの個人情報を記憶するIC(集積回路)カード100と、会議に出席するユーザごとに用意され設置される会議端末200と、会議端末200から受信する情報に基づいて議事録情報を生成する300とを備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing the configuration of a minutes
The minutes
なお、図1には、一枚のICカード100を図示して本実施形態を説明するが、ICカード100は、複数のユーザがそれぞれ自身のユーザ情報を記憶するICカード100を所持して良い。また、図1には、一台の会議端末200を図示して本実施形態を説明するが、会議端末200は、ICカード100と一対一になるように複数台を設置する。本実施形態では、電子会議室の席ごとに、会議端末200が設置されることを想定する。複数台の会議端末200を利用する場合には、複数の会議端末200が、一台の議事録生成サーバ300にネットワークを介して接続されるようにしても良い。
FIG. 1 illustrates the present embodiment with one
ICカード100は、情報の記憶と演算が可能なICチップを備える可搬記憶媒体であり、ユーザ情報記憶部101を備えている。ユーザ情報記憶部101は、ユーザ番号、氏名、音声プロファイルなどの情報を記憶する。ユーザ番号とは、本システムにおいてユーザを一意に特定するための識別情報であり、数値や、数値と文字とを組み合わせた情報である。氏名とは、ユーザの氏名を示す情報である。この他に、組織内におけるユーザの所属部署名などをさらに記憶させることとしても良い。
The
音声プロファイルとは、ユーザが発する音声の特徴を表す情報であり、その音声の周波数、速度、アクセント、イントネーションなどの特徴が数値化された情報である。ここで、ICカード100は、ICカードリーダ201と接触して情報の読み書きを行う接触型でも良いし、無線通信で情報の読み書きを行う非接触型でも良い。また、ICカード100は、上述のようなユーザ情報記憶部101を備えるものであれば、ICカード、SIM(Subscriber Identity Module)、SD(Secure Digital)メモリ、RFID(Radio Frequency IDentification)などの携帯媒体でも良い。このような携帯媒体は、対タンパ性のあるセキュアなICを搭載した携帯媒体であることが望ましい。
The voice profile is information representing the characteristics of the voice uttered by the user, and is information in which characteristics such as the frequency, speed, accent, and intonation of the voice are digitized. Here, the
会議端末200は、本システムを利用して開催される会議に出席するユーザに利用される情報端末である。会議端末200は、ICカードリーダ201と、マイク202とを備えている。ICカードリーダ201は、上述のICカード100に接続し、記憶された情報を読みだす。本実施形態の会議端末200には、ICカードリーダ201として、ICカード100の挿入口(スロット)が設けられていることとする。マイク202は、ユーザが発する音声を電気信号に変換し、音声情報を生成する。ここで、ユーザの数(ICカード100の数)と同数の会議端末200が用意され、複数のユーザはそれぞれ1台の会議端末200を利用することとする。会議端末200は、少なくともこのような機能を備えていれば、PCのような装置でも良いし、このようなICカードリーダ201とマイク202とのみを備えた簡単な機器でも良い。
The conference terminal 200 is an information terminal used by a user who attends a conference held using this system. The conference terminal 200 includes an
議事録生成サーバ300は、会議端末200とネットワークを介して情報通信を行い、会議端末200から受信する情報に基づいて、議事録情報を生成する。ここで、会議端末200と議事録生成サーバ300とを接続するネットワークは、情報通信が可能であれば良く、いわゆるインターネットでも良いし、LAN(Local Area Network)内のネットワークでも良いし、その他の情報通信ネットワークでも良い。会議端末200と議事録生成サーバ300とのインターフェイスは、USB等によるシリアル通信、赤外線等の無線通信のインターフェイスでも良い。議事録生成サーバ300は、対応情報記憶部301と、対応情報制御部302と、音声認識部303と、議事録情報生成部304と、議事録情報記憶部305とを備えている。
The minutes generation server 300 performs information communication with the conference terminal 200 via the network, and generates minutes information based on information received from the conference terminal 200. Here, the network that connects the conference terminal 200 and the minutes generation server 300 only needs to be capable of information communication, and may be a so-called Internet, a network within a LAN (Local Area Network), or other information. It may be a communication network. The interface between the conference terminal 200 and the minutes generation server 300 may be a serial communication interface such as USB or a wireless communication interface such as infrared. The minutes generation server 300 includes a correspondence
対応情報記憶部301は、マイク202と、ICカードリーダ201とを対応付ける情報を記憶する。対応情報記憶部301は、会議端末200から、ICカード100のユーザ情報記憶部101に記憶されたユーザ情報と、その会議端末200が備えるマイク202の識別情報とを受信し、対応させて記憶する。
対応情報制御部302は、対応情報記憶部301から、音声が入力されたマイク202に対応するユーザ情報を検出する。
The correspondence
The correspondence
音声認識部303は、入力される音声情報の周波数、速度、アクセント、イントネーションなどの音声特徴情報を解析した上で、予め記憶された単語辞書情報を参照して音声情報に対応するテキスト情報を生成する音声認識処理を行う。ここで、ユーザが発する音声情報には、個人によって傾向が異なり、ある程度の音声パターンがある。そこで、音声認識部303は、予めそのユーザの音声特徴情報を取得しておき、予め記憶された音声特徴情報と、入力される解析対象の音声情報を比較することで、より精度の高い音声認識処理を行うことができるものである。
The
議事録情報生成部304は、音声が入力されたマイク202に対応するユーザ情報を、対応情報制御部302を介して検出し、ユーザ情報と、音声情報が音声認識部303によってテキスト変換されたテキスト情報とを対応づけた議事録情報を生成する。議事録情報記憶部305は、議事録情報生成部304に生成された議事録情報を記憶する。
The minutes
次に、本発明による議事録情報生成システムの動作例を説明する。
図2は、本実施形態による議事録情報生成システム10の動作例を示すフローチャートである。
各ユーザは、会議端末200が設置された会議室に集合し、予め自身のユーザ情報が記憶されたICカード100を、ICカードリーダ201のスロットに挿入する。議事録情報生成システム10は、音響モデル設定処理を開始する(ステップS10)。ここで、音響モデル設定処理とは、解析対象の音声、音素がそれぞれどのような周波数特性を持っているか等を予め定める処理である。一般的には、音響モデルは、混合正規分布を出力確率とした隠れマルコフモデルなどによって表される。
Next, an operation example of the minutes information generation system according to the present invention will be described.
FIG. 2 is a flowchart showing an operation example of the minutes
Each user gathers in the conference room in which the conference terminal 200 is installed, and inserts the
図3は、音響モデル設定処理を詳細に示すフローチャートである。会議端末200のICカードリーダ201は、ICカード100のユーザ情報記憶部101に記憶されたユーザ情報から、音声プロファイルを読み出す(ステップS11)。また、ICカードリーダ201は、ICカード100のユーザ情報記憶部101に記憶されたユーザ情報から、氏名情報を読み出す(ステップS12)。そして、会議端末200は、ICカードリーダ201が読み出したユーザ情報を、議事録生成サーバ300に送信する(ステップS13)。議事録生成サーバ300は、受信する音声プロファイルと、氏名情報と、これらのユーザを送信してきた会議端末200が備えるマイク202の識別情報とを対応付けて、対応情報記憶部301に記憶させる。
FIG. 3 is a flowchart showing in detail the acoustic model setting process. The
図2に戻り、議事録情報生成システム10は、音声入力設定確認処理を行う(ステップS20)。図4は、音声入力設定確認処理を詳細に示すフローチャートである。音声入力設定確認処理は、音声認識のために、議事録情報生成システム10が予め行うキャリブレーションの処理である。例えば、会議端末200は、ディスプレイを備えることとして、ユーザに、予め定められた文章を読み上げる音声入力を促すメッセージを表示する。
Returning to FIG. 2, the minutes
そして、ユーザが、マイク202に予め定められた音声を入力する(ステップS21)。音声認識部303は、マイク202によって出力される音声情報の周波数や強弱等の音声特徴情報を解析し、マイク202に対応付けて対応情報記憶部301に記憶された対応情報に基づいて音声確認処理を行う(ステップS22)。また、入力された文章に対応する単語を、予め記憶された単語辞書情報から検出する確認処理を行う(ステップS23)。議事録情報生成システム10は、このようにして行うステップS22またはステップS23の処理で、予め定められた異常を検知した場合は、以降の処理を行わないこととしても良いし、音響モデルの補正処理や、予め定められた単語辞書情報の補正処理などを行ってから、処理を継続することとしても良い。
Then, the user inputs a predetermined voice to the microphone 202 (step S21). The
そして、会議の主催者が、議事録情報生成システム10に会議を開始する命令を入力すると、議事録情報生成システム10は、音声情報の取得を開始する(ステップS30)。また、ここで、議事録情報生成部304は、議事録情報を生成して、議事録情報生成部304に記憶させる。ここで、議事録情報には、例えば、会議開始時刻や会議場所等の情報を記憶させる。
Then, when the meeting organizer inputs a command to start the meeting to the minutes
マイク202に、音声が入力される(ステップS40)と、会議端末200は、マイク202が出力する音声情報を議事録生成サーバ300に送信する。議事録生成サーバ300は、会議端末200から送信される音声情報を受信すると、音声認識部303が、受信する音声情報の音声分析を行う(ステップS50)。
When voice is input to the microphone 202 (step S40), the conference terminal 200 transmits the voice information output from the
そして、音声認識部303は、対応情報制御部302を介して、入力された音声情報に対応するユーザ情報のうち、音声プロファイルを対応情報記憶部301から読み出し、読み出した音声プロファイルに基づいた音声情報の補正処理を行う(ステップS60)。例えば、入力される音声情報の周波数特性から、ユーザの発声位置からマイク202までの距離を予測し、予測値に基づいて音声プロファイルの補正を行うようにしても良い。
Then, the
音声認識部303は、音声情報から認識したそれぞれの単語について、予め記憶された単語辞書情報から最適な単語を検出する(ステップS70)
そして、音声認識部303は、ステップS70で検出された単語を結合し、テキスト情報を生成して、ユーザの氏名を示すテキスト情報ともに、議事録情報記憶部305に記憶された議事録情報に情報を追加して記憶させる(ステップS80)。
The
Then, the
議事録情報生成システム10は、会議終了の命令が入力されるまで、ステップS40からステップS80までの処理を続ける。
議事録情報生成システム10は、会議の主催者等から会議終了の指示情報が入力されると(ステップS90:YES)、議事録情報記憶部305に記憶された議事録情報に、会議終了時間を記憶させ(ステップS100)、議事録生成処理を終了する。
The minutes
When the meeting information is input from the meeting organizer or the like (step S90: YES), the minutes
このように、本発明によれば、ユーザが、予め自身の氏名や音声プロファイルなどを記憶させたICカード100を用いることで、音声認識会議システムを利用して会議を行う際に、その都度、音声プロファイル情報や氏名などの情報入力を行わなくても、精度の高い音声認識による議事録情報を取得することができるものである。
Thus, according to the present invention, each time a user performs a conference using the voice recognition conference system by using the
さらに、複数ユーザの人数分のマイク202を設置し、それぞれを利用するユーザのユーザ情報とマイク202とを対応付けておくことで、複数ユーザが参加する会議でも、複数ユーザの発する音声が混じることを防ぐことができ、精度の高い音声認識を行うことができる。
Furthermore, by installing
このようにすれば、海外などの遠隔地から会議に参加するようなユーザでも、予め音声プロファイルを生成し、自身の氏名などの情報とともにユーザ情報としてICカード100に記憶させておき、会議参加時には、そのユーザ情報記憶部101に記憶された情報をシステムに読み込ませることで、自身のユーザ情報と音声プロファイルとを会議開始時に速やかに設定することが可能となる。
In this way, even a user who participates in a conference from a remote location such as abroad, a voice profile is generated in advance and stored in the
また、会議室の各個人の席に、マイクなどの音声入力装置と、音声プロファイル等のユーザ情報を読み取り可能な装置とを設置しておけば、複数のユーザの音声を識別し、同時に話した内容も、各個人の席ごとに認識できるため、認識エラーを削減することができる。また、会議端末が設置された会議室で行われる会議で、各ユーザの識別や音声の認識の精度を高め、会議をしながら会議議事録を生成し、議事録生成の時間を削減することができる。このように、信頼性の高い議事録生成システムを提供することができる。 If a voice input device such as a microphone and a device capable of reading user information such as a voice profile are installed at each individual seat in the conference room, the voices of multiple users can be identified and spoke simultaneously. Since the contents can also be recognized for each individual seat, recognition errors can be reduced. Also, in meetings held in conference rooms where conference terminals are installed, it is possible to improve the accuracy of user identification and voice recognition, generate meeting minutes while holding meetings, and reduce the time for generating minutes it can. Thus, a highly reliable minutes generation system can be provided.
また、上述のような音声認識処理は、隠れマルコフモデルなどによる複雑な計算処理が必要となることから、コンピュータへの処理負荷が高いことが一般的である。このため、リアルタイムでの音声認識処理は、処理が音声入力に追いつかない場合が考えられる。そこで、議事録生成サーバ300は、マイク202から入力される音声情報を、そのまま記憶しておき、休憩時間や、会議終了後などに、音声認識部303が音声認識処理を行って、議事録情報生成部304が議事録情報を生成するようにしても良い。
In addition, since the speech recognition process as described above requires a complicated calculation process such as a hidden Markov model, the processing load on the computer is generally high. For this reason, the case where the process cannot catch up with the voice input in the real-time voice recognition process can be considered. Therefore, the minutes generation server 300 stores the voice information input from the
また、近年では、ICカード等を利用して組織内での会議室の利用予約などを行う会議予約システムが一般に利用されている。このようなICカードによれば、会議室を予約する際にユーザから入力された会議場所、会議時間、会議参加ユーザなどの会議情報を参照することが可能である。そこで、議事録情報生成部304は、このようなICカードから会議情報を読み込んで議事録情報記憶部305に追加して議事録情報を記憶させるようにしても良い。また、ICカードリーダ201に挿入されたICカード100が記憶するユーザ情報を、実際に会議に出席したユーザであるとして会議出席者名簿を生成することも可能である。
In recent years, a conference reservation system that uses an IC card or the like to make a reservation for use of a conference room in an organization is generally used. According to such an IC card, it is possible to refer to conference information such as a conference location, a conference time, and a conference participating user input by the user when reserving a conference room. Therefore, the minutes
また、ユーザの音声を取得する音声入力手段は、その周りの雑音をも取得してしまう。そこで、各個人の席に設ける音声入力手段とは別に、外部の雑音を主に取得するための音声入力手段を1台または複数台設置して、ユーザの音声を取得する音声入力手段が取得する音声から、外部の雑音を取得するための音声入力手段が取得する音声を差し引き、フィルタリングすることで、ユーザの音声をより正確に集音するようにしても良い。 Moreover, the voice input means for acquiring the user's voice also acquires the surrounding noise. Therefore, apart from the voice input means provided at each individual seat, one or a plurality of voice input means for mainly acquiring external noise are installed, and the voice input means for acquiring the user's voice is acquired. The user's voice may be collected more accurately by subtracting and filtering the voice acquired by the voice input means for acquiring external noise from the voice.
なお、本実施形態では、複数のユーザがそれぞれ異なる会議端末200を利用することとしたが、一台の会議端末200を複数ユーザで利用した場合も、予め取得された音声プロファイルによるフィルタリングを行うことで、精度の高い音声認識が可能となる。
また、本実施形態では、対応情報記憶部、対応情報制御部、音声認識部などの機能部は、議事録生成サーバ300が備えることとしたが、このような機能部は、会議端末200が備えることとしても良い。本システムの管理者、実施者は、会議端末200として用意するコンピュータ端末、ネットワーク、議事録生成サーバ300としてのコンピュータ端末などの性能や特性、または本システムを利用する人数などによって、最適な端末構成を設計して良い。
In the present embodiment, a plurality of users use different conference terminals 200. However, even when a single conference terminal 200 is used by a plurality of users, filtering by a previously acquired voice profile is performed. Thus, highly accurate speech recognition is possible.
In the present embodiment, the function generation unit such as the correspondence information storage unit, the correspondence information control unit, and the voice recognition unit is provided in the minutes generation server 300. However, such a function unit is provided in the conference terminal 200. It's also good. The administrator and practitioner of this system can determine the optimum terminal configuration according to the performance and characteristics of the computer terminal, network, and computer terminal as the minutes generation server 300 prepared as the conference terminal 200, or the number of people who use this system. Can be designed.
また、本実施形態では、議事録生成サーバ300の対応情報記憶部301には、ユーザ情報記憶部101に記憶されたユーザ情報を全て記憶することとしたが、例えば、識別情報としてのユーザ番号のみを記憶し、その他の情報はICカード100から都度読み出すようにしても良い。
また、本実施形態では、日本語による音声認識を前提として説明したが、英語、フランス語等による音声情報に対しても、同様の構成で同様の効果を得ることができる。
In the present embodiment, the correspondence
Further, although the present embodiment has been described on the premise of voice recognition in Japanese, the same effect can be obtained with the same configuration for voice information in English, French, and the like.
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより議事録情報の生成を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Note that the program for realizing the function of the processing unit in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed, whereby the minutes information is recorded. Generation may be performed. The “computer system” here includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
10 議事録情報生成システム
100 ICカード
101 ユーザ情報記憶部
200 会議端末
201 ICカードリーダ
202 マイク
300 議事録生成サーバ
301 対応情報記憶部
302 対応情報制御部
303 音声認識部
304 議事録情報生成部
305 議事録情報記憶部
DESCRIPTION OF
Claims (8)
ユーザから入力される音声を音声情報に変換する音声入力手段と、
前記ユーザを識別する情報を含むユーザ情報を予め記憶するユーザ情報記憶手段と、
前記ユーザが利用する前記音声入力手段と、前記ユーザ情報記憶手段に記憶された前記ユーザのユーザ情報とを対応付けて記憶する対応情報記憶手段と、
前記対応情報記憶手段から、前記音声が入力された前記音声入力手段に対応する前記ユーザ情報を検出する対応情報検出手段と、
前記音声情報が入力された前記音声入力手段に対応するユーザ情報を前記対応情報検出手段によって検出し、検出した当該ユーザ情報と、当該音声情報が前記音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成する議事録情報生成手段と、
を備えることを特徴とする議事録情報生成システム。 A minutes information generation system for generating minutes information using a voice recognition means for converting voice information into text information,
Voice input means for converting voice input from the user into voice information;
User information storage means for storing in advance user information including information for identifying the user;
Correspondence information storage means for storing the voice input means used by the user and the user information of the user stored in the user information storage means in association with each other;
Correspondence information detecting means for detecting the user information corresponding to the voice input means to which the voice is input from the correspondence information storage means;
User information corresponding to the voice input means to which the voice information has been input is detected by the correspondence information detection means, and the detected user information and text that is information obtained by converting the voice information into text by the voice recognition means Minutes information generating means for generating minutes information that is information associated with information;
The minutes information generation system characterized by comprising.
前記可搬記憶媒体がユーザによって接続されると、当該可搬記憶媒体に記憶されたユーザ情報を読み出すユーザ情報読出手段と、
前記ユーザ情報読出手段が読み出したユーザ情報と、前記音声入力手段とを対応付けた情報を、前記対応情報記憶手段に記憶させる対応情報制御手段と、
をさらに備えることを特徴とする請求項1に記載の議事録情報生成システム。 The user information storage means has a portable storage medium,
User information reading means for reading user information stored in the portable storage medium when the portable storage medium is connected by a user;
Correspondence information control means for storing, in the correspondence information storage means, information in which the user information read by the user information reading means is associated with the voice input means;
The minutes information generation system according to claim 1, further comprising:
前記音声認識手段は、音声情報が入力された前記音声入力手段に対応付けられた前記音声特徴情報に基づいて前記音声情報をテキスト情報に変換する
ことを特徴とする請求項1または請求項2のいずれか1項に記載の議事録情報生成システム。 The user information stored by the user information storage means includes audio feature information indicating the characteristics of the audio emitted by the user indicated by the user information,
The voice recognition means converts the voice information into text information based on the voice feature information associated with the voice input means to which voice information has been input. Minutes information generation system given in any 1 paragraph.
ことを特徴とする請求項1から請求項3のうちいずれか1項に記載の議事録情報生成システム。 The correspondence information storage means stores one-to-one correspondence between any one of the plurality of voice input means and one of the plurality of user information. The minutes information generation system according to any one of claims 1 to 3.
前記議事録情報生成手段は、前記音声情報記憶手段から読み出した音声情報に基づいて、前記議事録情報を生成する
ことを特徴とする請求項1から請求項4までのいずれか1項に記載の議事録情報生成システム。 Voice information storage means for storing voice information input to the voice input means;
The said minutes information production | generation means produces | generates the said minutes information based on the audio | voice information read from the said audio | voice information storage means. The any one of Claim 1 to 4 characterized by the above-mentioned. Minutes information generation system.
前記議事録情報生成手段が生成する議事録情報に、前記会議情報を付加する
ことを特徴とする請求項1から請求項5までのいずれか1項に記載の議事録情報生成システム。 A conference information input means for receiving input of conference information that is information indicating a conference participant, a conference location, and a conference time;
The minutes information generation system according to any one of claims 1 to 5, wherein the meeting information is added to the minutes information generated by the minutes information generation means.
ユーザ情報記憶手段が、前記ユーザを識別する情報を含むユーザ情報を予め記憶するステップと、
音声入力手段が、ユーザから入力される音声を音声情報に変換するステップと、
対応情報記憶手段が、前記ユーザが利用する前記音声入力手段と、前記ユーザ情報記憶手段に記憶された前記ユーザのユーザ情報とを対応付けて記憶するステップと、
対応情報検出手段が、前記対応情報記憶手段から、前記音声が入力された前記音声入力手段に対応する前記ユーザ情報を検出するステップと、
議事録情報生成手段が、前記音声情報が入力された前記音声入力手段に対応するユーザ情報を前記対応情報検出手段によって検出し、検出された当該ユーザ情報と、当該音声情報が前記音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成するステップと、
を備えることを特徴とする議事録情報生成方法。 A minutes information generating method for generating minutes information using a voice recognition means for converting voice information into text information,
A user information storage means for storing user information including information for identifying the user in advance;
Voice input means for converting voice input from the user into voice information;
A correspondence information storage means that stores the voice input means used by the user in association with the user information of the user stored in the user information storage means;
Corresponding information detecting means detects the user information corresponding to the voice input means to which the voice is input from the correspondence information storage means;
Minutes information generation means detects user information corresponding to the voice input means to which the voice information is input by the correspondence information detection means, and the detected user information and the voice information are detected by the voice recognition means. Generating minutes information that is information that is associated with text information that is text-converted information;
The minutes information generation method characterized by comprising.
ユーザ情報記憶手段が、前記ユーザを識別する情報を含むユーザ情報を予め記憶するステップと、
対応情報記憶手段が、前記ユーザが利用する前記音声入力手段と、前記ユーザ情報記憶手段に記憶された前記ユーザのユーザ情報とを対応付けて記憶するステップと、
対応情報検出手段が、前記対応情報記憶手段から、前記音声が入力された前記音声入力手段に対応する前記ユーザ情報を検出するステップと、
議事録情報生成手段が、前記音声情報が入力された前記音声入力手段に対応するユーザ情報を前記対応情報検出手段によって検出し、検出された当該ユーザ情報と、当該音声情報が前記音声認識手段によってテキスト変換された情報であるテキスト情報とを対応づけた情報である議事録情報を生成するステップと、
を実行させるための議事録情報生成プログラム。 A computer as a minutes information generating device that includes voice input means for converting voice input from a user into voice information, and generates minutes information using voice recognition means for converting voice information into text information,
A user information storage means for storing user information including information for identifying the user in advance;
A correspondence information storage means that stores the voice input means used by the user in association with the user information of the user stored in the user information storage means;
Corresponding information detecting means detects the user information corresponding to the voice input means to which the voice is input from the correspondence information storage means;
Minutes information generation means detects user information corresponding to the voice input means to which the voice information is input by the correspondence information detection means, and the detected user information and the voice information are detected by the voice recognition means. Generating minutes information that is information that is associated with text information that is text-converted information;
Minutes information generation program to execute
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007254717A JP2009086207A (en) | 2007-09-28 | 2007-09-28 | Minute information generation system, minute information generation method, and minute information generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007254717A JP2009086207A (en) | 2007-09-28 | 2007-09-28 | Minute information generation system, minute information generation method, and minute information generation program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009086207A true JP2009086207A (en) | 2009-04-23 |
Family
ID=40659729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007254717A Pending JP2009086207A (en) | 2007-09-28 | 2007-09-28 | Minute information generation system, minute information generation method, and minute information generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009086207A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018193717A1 (en) | 2017-04-17 | 2018-10-25 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2019185171A (en) * | 2018-04-03 | 2019-10-24 | フェアユース株式会社 | Room reservation program and room reservation system |
US10936873B2 (en) | 2018-06-25 | 2021-03-02 | Panasonic I-Pro Sensing Solutions Co., Ltd. | Information processing apparatus and method for generating video picture data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352995A (en) * | 1999-06-14 | 2000-12-19 | Canon Inc | Conference voice processing method, recording device, and information storage medium |
JP2004020739A (en) * | 2002-06-13 | 2004-01-22 | Kojima Co Ltd | Device, method and program for preparing minutes |
-
2007
- 2007-09-28 JP JP2007254717A patent/JP2009086207A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352995A (en) * | 1999-06-14 | 2000-12-19 | Canon Inc | Conference voice processing method, recording device, and information storage medium |
JP2004020739A (en) * | 2002-06-13 | 2004-01-22 | Kojima Co Ltd | Device, method and program for preparing minutes |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018193717A1 (en) | 2017-04-17 | 2018-10-25 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2019185171A (en) * | 2018-04-03 | 2019-10-24 | フェアユース株式会社 | Room reservation program and room reservation system |
US10936873B2 (en) | 2018-06-25 | 2021-03-02 | Panasonic I-Pro Sensing Solutions Co., Ltd. | Information processing apparatus and method for generating video picture data |
US11042744B2 (en) | 2018-06-25 | 2021-06-22 | Panasonic I-Pro Sensing Solutions Co., Ltd. | Information processing apparatus and method for conversion of video picture into text |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6465077B2 (en) | Voice dialogue apparatus and voice dialogue method | |
CN108766441B (en) | Voice control method and device based on offline voiceprint recognition and voice recognition | |
US8527263B2 (en) | Method and system for automatically generating reminders in response to detecting key terms within a communication | |
CN108665895B (en) | Method, device and system for processing information | |
KR101213835B1 (en) | Verb error recovery in speech recognition | |
KR102097710B1 (en) | Apparatus and method for separating of dialogue | |
JP5332798B2 (en) | COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL METHOD, AND COMMUNICATION CONTROL PROGRAM | |
JP2023022150A (en) | Bidirectional speech translation system, bidirectional speech translation method and program | |
JP2007052496A (en) | User authentication system and user authentication method | |
US20130253932A1 (en) | Conversation supporting device, conversation supporting method and conversation supporting program | |
JP7259307B2 (en) | Minutes output device and control program for the minutes output device | |
JP2019090942A (en) | Information processing unit, information processing system, information processing method and information processing program | |
US11699043B2 (en) | Determination of transcription accuracy | |
JP2009086207A (en) | Minute information generation system, minute information generation method, and minute information generation program | |
CN114239610A (en) | Multi-language speech recognition and translation method and related system | |
CN112908336A (en) | Role separation method for voice processing device and voice processing device thereof | |
JP2016109784A (en) | Information processing device, information processing method, interactive system and control program | |
JP2009288567A (en) | Device, method, program and system for preparing minutes | |
JP7287006B2 (en) | Speaker Determining Device, Speaker Determining Method, and Control Program for Speaker Determining Device | |
JP2021076715A (en) | Voice acquisition device, voice recognition system, information processing method, and information processing program | |
WO2018135302A1 (en) | Information processing device, information processing method, and program | |
CN111128127A (en) | Voice recognition processing method and device | |
JP2019139280A (en) | Text analyzer, text analysis method and text analysis program | |
JP2016156993A (en) | Information processing unit, control method of information processing unit, control program and storage medium | |
CN111179943A (en) | Conversation auxiliary equipment and method for acquiring information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120416 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121113 |