JP3827704B1 - オペレータ業務支援システム - Google Patents
オペレータ業務支援システム Download PDFInfo
- Publication number
- JP3827704B1 JP3827704B1 JP2005099439A JP2005099439A JP3827704B1 JP 3827704 B1 JP3827704 B1 JP 3827704B1 JP 2005099439 A JP2005099439 A JP 2005099439A JP 2005099439 A JP2005099439 A JP 2005099439A JP 3827704 B1 JP3827704 B1 JP 3827704B1
- Authority
- JP
- Japan
- Prior art keywords
- operator
- voice
- unit
- call
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
【解決手段】オペレータ業務支援システム100は、通話内容をオペレータ音声とユーザ音声とに分離して記録するとともに音声認識してテキストデータに変換し、画面に表示する。テキストを表示する際、あらかじめ指定されたキーワードを強調表示する。テキストが表示されたセルをクリックすることにより、対応する音声が再生され、聞き起こし作業を行うことができる。
【選択図】図1
Description
キーワードがあらかじめ指定された不要語である場合、出力部は、不要語の表示形式を変更するか、または、不要語の表示を削除してもよい。
前記オペレータの操作を受け付ける入力部をさらに備え、第一辞書または第二辞書は、あらかじめ指定された直後参照用キーワードをさらに含み、応対ログ処理部は、テキストデータに含まれる、直後参照用キーワードにマーキングを施し、出力部は、マーキングされた直後参照用キーワードを強調表示し、出力部は、直後参照用キーワードに関して入力部が受け付けた操作に応じて、直後参照用キーワードを含む文に付加された終了時間を参照し、終了時間の直後のオペレータ音声またはユーザ音声を、音声記憶部から取得して出力してもよい。
出力部は、入力部からオペレータの操作を受け付けると、音声認識結果表示領域において、ユーザまたはオペレータのセルの表示幅を拡大、縮小、または消去してもよい。
前記出力部は、テキストデータとは異なる領域に、マーキングされたキーワードを、まとめてリスト表示してもよい。
また、スピーカを、コンピュータの音声出力または外部の電話機のスピーカに選択的に接続する切り替え部をさらに含んでもよい。
本ソフトウェア及びシステムは、オペレータ席に配置された個々のPCに実装されても、全オペレータの音声をサーバで一括集中処理する方式でも、どちらでもよい。
実施の形態1.
図1は、本発明の実施の形態1に係る音声認識エンジンおよびオペレータ業務支援ツールを含む、オペレータ業務支援システム100を含む構成を示す図である。
公衆交換電話網(Public Switched Telephone Network, PSTN)2に、コールセンター用の構内交換機(Private Branch eXchange, PBX)4が接続されている。この構内交換機4は、たとえばAVAYA社のDefinityである。
この電話機12は、構内交換機4からの信号を受信して、プラグアダプタ19を介してスイッチボックス14に送信するスピーカ出力端子12aと、スイッチボックス14からの信号を受信して構内交換機4に送信するマイク出力端子12bとを備えており、たとえばAVAYA社のCallmaster IVが使用される。なお、電話機の種類によってはプラグアダプタの機能を包含している場合や、通常のモジュラジャックの場合もある。
なお、PC16は、ライン入力端子を通して、2つの音声入力、たとえばステレオ音声のLチャネルとRチャネルのような独立した音声データである信号を同時に受け付け、単一のファイルとして記憶装置に格納することが可能である。ただし、このファイル中において、LチャネルおよびRチャネルはそれぞれ独立に記録され、後に独立してスピーカ出力端子を通して再生できる形式となっている。
また、PC16の記憶装置は、音声認識処理を行う際に必要となる音声認識辞書を業務に応じて格納および提供する業務向け辞書記憶部40を含む。
業務向け辞書記憶部40は、たとえばオペレータが担当する業務ごとの複数の音声認識辞書を有し、通話内容に適した言語モデルが登録されており、さらに各業務において状況に応じて必要となる社名、製品名等の単語が追加登録されており、強調表示用キーワード、不要語キーワードが追加登録されており、またさらに強調表示用キーワードに係る説明文が登録されていてもよい。これらの、単語、強調表示用キーワード、不要語キーワード、および説明文は、オペレータ業務支援ツール39に含まれないシステムまたはプログラムを使用し、簡単に登録、変更、および削除できる。
強調表示用キーワードは、音声認識結果の該当キーワードを強調表示するために用いられる。
不要語キーワードは、そのキーワードの表示形式を変更するか、または、不要語の表示を削除するために用いられる。
直後参照用キーワードは、そのキーワードの後に続く音声を再生するために用いられる。
説明文は、強調表示用キーワードの説明に用いられる。
また、PC16の記憶装置は、図示しない音響辞書を含む。音響辞書は、例えば男性、女性、男女共用などの複数の音響辞書を有し、音素レベルの認識に用いられる。
なお、音声認識エンジン30は、エコーキャンセル部31を含まない構成でもよい。例えばオペレータ音声認識部33のみで、ユーザ音声認識部34を含まない構成の場合や、電話機12またはスイッチボックス14からの音声出力において、ユーザ音声とオペレータ音声が音声認識可能な程度に分離できている場合は、エコーキャンセル部31は不要である。
オペレータ業務支援ツール39は、応対ログ処理部35、通話管理部38、出力部36、および入力部37を含む。
出力部36は、オペレータ20に対する出力、たとえばディスプレイへの表示、およびスイッチボックス14を経由してスピーカ18aへの音声再生等を行う。
入力部37は、オペレータ20からたとえばキーボード、またはマウスを用いた入力を受け付ける。
通話管理部38は、図11で後述する設定画面を出力部36により表示し、入力部37を通してユーザの指示を受け付け、通話ログ管理情報記憶部44に格納されたオペレータに係る情報を管理する。また、通話管理部38は、図12で後述する辞書設定画面を出力部36により表示し、入力部37を通してユーザの指示を受け付け、通話ログ管理情報記憶部44に格納された応対ログと音声認識辞書との関係を管理する。また、通話管理部38は、図13で後述する応対ログ一覧画面を出力部36により表示し、入力部37を通してユーザの指示を受け付け、通話ログ管理情報記憶部44に格納された各応対ログの属性情報を管理する。
エコーキャンセル部31を介して、リアルタイムで入力されるオペレータとユーザの音声は、録音部32により音声記憶部41に格納されると共に、並行してオペレータ音声認識部33およびユーザ音声認識部34に送信される。オペレータ音声認識部33、およびユーザ音声認識部34は、送信された音声を直ちに認識して、結果をリアルタイムで応対ログ処理部35に送信すると共に、並行してオペレータ音声認識結果記憶部42、およびユーザ音声認識結果記憶部43に送信する。これにより、応対ログ処理部35では、通話中に音声認識結果をリアルタイムで参照することができる。なお、図3では、オペレータ音声認識部33およびユーザ音声認識部34から、オペレータ音声認識結果記憶部42およびユーザ音声認識結果記憶部43に、直接認識結果を送信しているが、オペレータ音声認識部33およびユーザ音声認識部34から、応対ログ処理部35を介して、オペレータ音声認識結果記憶部42、およびユーザ音声認識結果記憶部43に送信してもよい。
このように、録音部32、オペレータ音声認識部33、およびユーザ音声認識部34は、通話を並行して受信する。
なお、オペレータ音声認識部33、およびユーザ音声認識部34は、いずれかひとつのみの構成でもよい。一般的には、オペレータ音声はマイク音声のため明瞭であり、認識しやすいように訓練された発声であるので、認識率が高く、ユーザ音声は電話音声のため不明瞭であり発声も個人差が多く、認識率が低い。このような場合には、ユーザ音声認識部34は設けず、オペレータ音声認識部33のみの構成としてもよい。
音声記憶部41は、たとえば.wavという拡張子をファイル名の末尾に含む、WAVE形式の音声ファイルを格納する。この音声ファイルは、オペレータ20とユーザとの通話の音声データを含み、一回の通話について一つ作成される。また、一つのファイルの中に、ユーザ音声はLチャネルのデータとして、またオペレータ音声はRチャネルのデータとして、独立して取り出せる形式で記憶される。
ユーザ音声認識結果記憶部43は、オペレータ音声認識結果記憶部42と同様に、通話におけるユーザ音声に対応するテキストデータを格納する。また同様に、たとえば音声記憶部41のファイル「通話1.wav」に含まれるユーザ音声のデータは、ユーザ音声認識結果記憶部43のファイル「通話ログ1ユーザ.dct」に含まれるテキストに対応する。
通話ログ管理情報は、一回の通話に関連するデータを一行とする表形式で格納される。各行は、該当の通話について、開始および終了した時刻と、対応したオペレータ20のオペレータ名と、オペレータ20によって指定される通話のカテゴリと、音声認識に使用された辞書名と、音声データが記憶されている音声ファイル名と、オペレータ音声およびユーザ音声の音声認識結果がそれぞれ記憶されるファイル名とを含む。
図7に、オペレータ音声認識結果記憶部42に格納される通話ログデータのデータ形式を示す。各行は、開始時間、終了時間、認識結果のテキストを含み、その他の情報を含んでいても良い。開始時間、および終了時間は、音声記憶部41に格納された音声データの始まりからの相対時間である。なお、開始時間、および終了時間は、必ずしも時間である必要はなく、画面に表示する開始時間および終了時間を算出可能であり、かつ、音声データへのポインタとなり得る値であればよい。これらの情報は、CSV形式のテキストで保管されていてもよいし、データベース形式に保管されていてもよい。
以下、本明細書において、スイッチ14aが通話側に設定されている状態を「通話時」、聞き起こし側に設定されている状態を「聞き起こし時」と称する。
スイッチボックス14は、ヘッドセット18、電話機12、およびPC16の接続を切り替えるための連動リレー14bを備える。この連動リレー14bは、ヘッドセットのスピーカ18aおよびマイク18bを、スイッチ14aの状態に応じて、通話側および聞き起こし側のどちらかに切り替える。スピーカ18aおよびマイク18bの切り替えは連動しており、通話時すなわちスピーカ18aが通話側に接続されているときは、マイク18bも通話側に接続され、聞き起こし時すなわちスピーカ18aが聞き起こし側に接続されているときは、マイク18bも聞き起こし側に接続される。
さらに、スイッチボックス14は、その回路の各所において音声信号を増幅するための複数の増幅器14cを備える。
スイッチボックス14にPC16の音声出力のLチャネルおよびRチャネルからそれぞれ入力される信号は、まずそれぞれ増幅器14cで増幅され、合成された後、さらに別の増幅器14cによって増幅される。最終的に増幅された信号は、聞き起こし時にはヘッドセット18のスピーカ18aに出力されるが、通話時にはスピーカ18aには出力されない。
スイッチボックス14にヘッドセット18のマイク18bから入力される信号は、増幅器14cによって増幅された後、PC16の音声入力のRチャネルに出力される。また、この信号は、通話時には電話機12のマイクに出力されるが、聞き起こし時には電話機12のマイクには出力されない。
図8は、通話中でない場合の応対ログ画面50を示す。応対ログ画面50は、オペレータ20が操作する(たとえばクリックする)ことによってPC16に指示を伝えるためのボタンである、通話開始ボタン52、確定ボタン60、再生ボタン62、ポーズボタン64、停止ボタン66、拡大ボタン68、縮小ボタン70、フルボタン72、一覧表示ボタン74、および設定ボタン76が含まれる。画面左上には、聞き起こし対象の応対ログに係る通話開始時間、通話終了時間、応対オペレータが表示される。
このように、応対ログ画面50では、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域である応対ログ表示部92と、オペレータ音声に係る波形を表示するオペレータ音声領域およびユーザ音声に係る波形を表示するユーザ音声領域を含む波形表示部94とが同一画面上に表示される。
また、応対ログ画面50は、オペレータ名および音声認識辞書をそれぞれ選択する、オペレータ入力ボックス77および音声認識辞書選択ボックス78を含む。 さらに、応対ログ画面50は、応対ログおよび、通話のカテゴリを、オペレータ音声認識結果記憶部42、ユーザ音声認識結果記憶部43、および通話ログ管理情報記憶部44に格納するための保存ボタン81と、オペレータ業務支援ツール39の実行を終了させるための終了ボタン98とを含む。
図10は、通話中かつ音声認識中断中である場合の応対ログ画面50を示す。図8と比較して、通話開始ボタン52、確定ボタン60、および終了ボタン98は表示されず、通話終了ボタン58および再開ボタン56が表示される。
図14のフローチャートは、外部のユーザからの通話にオペレータ20が応対する際の、オペレータ業務支援ツール39の処理の流れを示す。
電話機12は通話中ではなく、PC16のディスプレイには図8に示す応対ログ画面50が表示されている(ステップS11)。スイッチ14aは通話側に設定されている。
オペレータ20は、ヘッドセット18によって通話を受けるとともに、通話開始ボタン52をクリックする(ステップS13)。この入力を受けて、出力部36は、それまで応対ログ表示部92および波形表示部94に表示されていた通話内容および波形があればそれらを消去する(ステップS14)。
このように、PC16は、通話中に、通話の進行に伴ってリアルタイムで、オペレータ20の発話内容を記憶し、かつディスプレイに表示する。
音声データ入力が一定間隔以上空くと、変換されたテキストデータもその時点で区切られ、時系列的に並んだ複数のテキストデータ列として管理されていく。
このとき、オペレータ音声のテキストとユーザ音声のテキストとは、1行おきに交互に表示されてもよいし、出力部36が通話の状況に応じて表示行の制御を行ってもよい。さらに、上述のステップS17〜19と、後述のステップS20とは、オペレータ音声に対応する処理と、ユーザ音声に対応する処理、二つの処理がそれぞれ独立して同時に実行されることになる。
また、表示される行は、応対ログ表示部92の上から下へと進み、最下行に到達するとそれ以降は最新のテキストが常に最下行に表示され、それ以前の表示内容が順次上にスクロールして表示される。
強調表示は、単にキーワードを目立つように強調表示するだけでもよいが、強調表示された文字列が選択されると、説明文が表示されてもよい。また、詳しくは、聞き起こし支援処理において説明するが、強調表示された文字列が選択されると、直後の音声が再生できてもよい。
強調表示は、たとえば図8に示すように、キーワードを墨付きカッコで囲むことによってなされるが、これはキーワードの色、フォントの種類、大きさ等を変更したり、下線を付したり、太字や斜体にすることによってなされてもよい。前述の強調表示の種類に応じて、異なる形式で表示されてもよい。
登録されるキーワードの例としては以下のようなものがある。
・社名
・「DVD−RAM」等の、製品の一般名称
・製品名
・製品の型番
・「フォーマットできない」等の、現象を表す表現
・「お電話番号を頂戴したいのですが」「型番をお願いします」「お名前をお願いします」「お名前を復唱いたします」等の、その直後にユーザの個人情報や製品名等、重要な情報が現れることを示す文字列
また、オペレータ20は、上述のステップS17〜ステップS20の過程において、通話終了ボタン58をクリックすることにより、PC16内の各部に通話が終了したことを指示することができる。
さらに、オペレータ20は、上述のステップS17〜ステップS20の過程において、カテゴリ選択ボックス80を操作することにより、応対ログに関連して図3の通話ログ管理情報記憶部44に記録されるカテゴリを指定することができる。指定されたカテゴリは後述するステップS22の終了時に、通話ログ管理情報記憶部44に格納する。カテゴリは、通常は、通話を開始する前には分からないので、運用の形態としては、通話の終了直前、および、聞き起こし時に入力する場合が多い。特に指定がなければデフォルトのカテゴリを格納する。
オペレータ20は、応対ログ表示部92を確認しながら、オペレータ業務支援ツール39に含まれないシステムまたはプログラムを使用し、通話に関する業務ログの入力を行う。この業務ログは、通話相手であるユーザの個人情報、ユーザからの問い合わせ内容、それに対するオペレータ20の回答内容等が含まれる。この際、聞き起こし、すなわち通話時の音声の確認が必要となる場合があるが、この作業に伴って実行されるのがステップS24の聞き起こし支援処理である。これは、応対ログ処理部35、出力部36、入力部37が協働して行う。
なお、応対ログ画面50において、任意のタイミングで通話カテゴリを選択し、保存ボタンにより、保存することができる。
まず、オペレータ20は、スイッチ14aを聞き起こし側に切り替える。
オペレータ20自身の発話内容を実音声で確認したい場合は、オペレータ20は、まずスクロールバー92dを操作して、応対ログの所望の部分を表示させる。次に、応対ログ表示部92内の対応するセル(該当のテキストが表示されている行の、オペレータ欄92c)をクリックする。出力部36は、図8に示すように、応対ログ表示部92内のクリックされたセルの背景に着色表示をするとともに、音声ログ編集用ウィンドウ93に対応するテキストを表示し、波形表示部94においてそのテキストに対応する部分の音声波形の背景も着色表示する。なお、この着色表示がなされている部分は、図8においては斜線によって示す。この状態で再生ボタン62がクリックされると、出力部36は該当部分の音声を再生してオペレータ20に提供する。これによってオペレータ20は、オペレータ音声を簡単に聞き起こすことができる。
なお、オペレータ20は、連続した複数のセルを指定することもできる。オペレータ20が、応対ログ表示部92のオペレータ欄92cの連続した複数のセルを選択すると、出力部36は、波形表示部94のオペレータ欄94bの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ93に、最初のセルに対応するテキストを表示する。オペレータ20が、応対ログ表示部92のユーザ欄92bの連続した複数のセルを選択すると、出力部36は、波形表示部94のユーザ欄94aの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ93に、最初のセルに対応するテキストを表示する。オペレータ20が、応対ログ表示部92のユーザ欄92bおよびオペレータ欄92cの連続した複数のセルを選択すると、出力部36は、波形表示部94のユーザ欄94aおよびオペレータ欄94bの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ93に、最初のセルに対応するテキストを表示する。この状態で再生ボタン62がクリックされると、出力部36は該当部分の音声を再生してオペレータ20に提供する。
同様に、オペレータ20は、応対ログ表示部92のユーザ欄92bおよびオペレータ欄92cの右端あるいは左端をマウスポインタで指示し、ドラッグアンドドロップ操作によって移動させることにより、それぞれの表示幅を変更したり、一方を非表示にしたりできる。
この音声ログ編集用ウィンドウ93では、応対ログ表示部92において背景が着色されていたセルのテキストが編集可能である。オペレータ20はキーボード等の入力装置を介してテキストの修正等の編集を行い、終了後に確定ボタンをクリックする。確定ボタンがクリックされると、編集されたテキストの内容を、応対ログ表示部92の該当セルおよびオペレータ音声認識結果記憶部42に反映する。
図3の構成図において、ユーザ音声認識部34を含まない場合についても、ユーザの発話内容を実音声で確認できる。この場合、応対ログ表示部92のユーザ欄92bは空白のまま表示されるが、波形表示部94のユーザ欄94bには、前述と同様にユーザ音声の波形が表示される。
また、このステップS24の聞き起こし支援処理において、オペレータ20は、聞き起こした問合せの内容が、現状設定されているカテゴリと合致しない場合には、カテゴリ選択ボックス80によりカテゴリを変更することができる。
過去に記録された通話の聞き起こしを行う場合、オペレータ20は、上記の聞き起こし時と同様にしてスイッチ14aを聞き起こし側に設定した後に、応対ログ画面50の一覧表示ボタン74をクリックする。
もしくは、オペレータ20は、キャンセルボタンをクリックすることにより、選択を中止して応対ログ画面50に戻ることができる。
設定ボタン76がクリックされると、出力部36は、図11に示す設定画面をディスプレイに表示する。この設定画面には、通話ログ管理情報記憶部44に格納されたオペレータ情報、すなわち、オペレータ業務支援ツール39に対するオペレータの識別名であるオペレータ名、オペレータの性別が表示される。
設定変更を終了すると、オペレータ20は、図11に示す設定画面のOKボタンをクリックする。これによって、通話管理部38は、入力された変更内容を反映させ、それ以降のオペレータ業務支援ツール39の実行を変更された内容を用いて行う。
もしくは、オペレータ20は、キャンセルボタンをクリックすることにより、選択を中止して応対ログ画面50に戻ることができる。
この設定画面において、辞書の編集ボタンをクリックすると、図12に示す辞書設定画面が新たに表示される。この辞書設定画面において、所望の辞書を選択してOKボタンをクリックすることにより、音声認識に使用すべき業務向け辞書記憶部40に格納された音声認識辞書を選択することができる。また、音声認識辞書を選択して編集ボタンをクリックすることにより、該当の辞書の登録内容等の編集を行うことができる。
もしくは、オペレータ20は、キャンセルボタンをクリックすることにより、選択を中止して図11の設定画面に戻ることができる。
ユーザ音声認識部34は、男女共用の音響辞書を使用し、かつ設定された音声認識辞書を使用して、音声認識を行う。終了ボタン98をクリックし終了する際には、設定されたオペレータと音声認識辞書は、通話ログ管理情報記憶部44の通話ログ管理情報に格納する。
リアルタイムで音声認識して、同時に強調表示するキーワードを抽出した後に、音声認識結果に対して、さらに別のキーワードについて強調表示することができる。また、音声認識時には、認識単位の単語についてキーワードを検出できなくとも、音声認識後に、認識単位とは無関係の文章についてもキーワード検出をすることができる。
不要語を目立たなくしたり、削除できるので、限られた画面の中で、効率よく、音声認識結果を確認できる。
ステレオ録音にオペレータ音声とユーザ音声を割り当てることにより、音声データと認識結果との時間整合性をとることができる。
音声データと認識結果の時間整合性が取れているために、あらかじめ定められたキーワードの直後の音声を再生することができる。
音声データと認識結果の時間整合性が取れているために、音声認識結果と音声の波形とを同期をとって、画面で表示することができる。ユーザの音声を認識していなくても、オペレータの音声認識結果と、オペレータ音声とユーザ音声との時間整合性が取れているため、オペレータ音声の間に存在するユーザ音声を再生することができ、音声認識結果を修正することができる。
オペレータ認識結果、またはユーザ認識結果の表示幅を変更したり、削除したりできるので、限られた画面の中で、見やすい表示を行うことができる。
さらに、この中断ボタン54および再開ボタン56によって、通話中にリアルタイムで発話の区切りを強制的に認識させ設定させることができるので、正確な音声認識結果を記録させることができ、聞き起こし作業の効率を向上させることができる。
また、通話ログ管理情報記憶部44は、オペレータ名と性別との対応を記憶しているので、音声認識時に、オペレータ名が指定されていれば、対応する性別に合致する音響辞書を用いて音声認識を行うことができる。
たとえば、出力部36は、聞き起こしにおいて重要でない文字列を不要語として認識し、不要語を表示から自動削除する機能を有してもよい。この不要語は業務向け辞書記憶部40、またはキーワード辞書記憶部45に登録され、ステップS18、またはステップS19と同様にして、音声認識されたテキストと照合されることにより判定される。この照合は、出力部36によって、応対ログ処理部35、オペレータ音声認識部33、またはユーザ音声認識部34のいずれかを経由して行われる。不要語の例としては、「はい」、「さようでございますか」等が挙げられる。また、不要語の自動削除を行うかどうかを、オペレータ20が随時変更可能であってもよい。さらに、不要語を削除するのではなく、他のテキストとは異なる表示形式、たとえば薄い色で表示されるようにしてもよい。
これにより、聞き起こしにおいて重要でないキーワードが画面に表示されなくなるか、または瞬間的に判別しやすくなるので、オペレータ20が重要な部分を認識および理解するのが容易になり、作業効率を向上することができる。
なお、オペレータ音声のテキスト表示およびキーワードの強調表示は、上述のようにリアルタイムで行われる。このため、オペレータ20は、たとえば、通話で製品名を発声し、その直後にキーワードとして強調表示される該当製品名をクリックすることにより、マニュアルを表示させ、通話しながらそのマニュアルを参照することができる。
こうすることにより、オペレータ20は、見つけやすく強調表示された、決まった文字列をもとに、重要な情報を含むユーザ音声を確認できるので、応対ログ表示部92を全文にわたって読みなおす必要がなく、作業効率を向上することができる。さらに、変換されたテキストデータが曖昧な場合でも、その前後を簡単に聞き起こすことが可能なため、応対内容を正確に把握することができる。
こうすることにより、オペレータが必要とする情報を含む部分を瞬時に確認できるので、オペレータは応対ログ表示部92を全文にわたって読みなおす必要がなく、作業効率を向上することができる。
Claims (14)
- 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
前記通話の音声データをテキストデータに変換する音声認識部と、
第一辞書であって、音声認識辞書と、あらかじめ音声認識に使用する単語単位に指定されたキーワードとを含む、第一辞書と、
あらかじめ指定されたキーワードを含む第二辞書と、
前記テキストデータに加工を施す応対ログ処理部と、
加工を施された前記テキストデータを表示する出力部と
を備え、
前記第二辞書に含まれる前記キーワードは変更可能であり、
前記音声認識部は、前記音声データを前記テキストデータに変換し、
前記音声認識部は、前記音声データを前記テキストデータに変換する際に、前記第一辞書に含まれるキーワードについては、マーキングを施し、
前記応対ログ処理部は、前記マーキングを施したテキストデータにおいて、前記第二辞書に含まれるキーワードについては、さらにマーキングを施し、
前記出力部は、前記マーキングされたキーワードを強調表示する
オペレータ業務支援システム。 - 前記オペレータの操作を受け付ける入力部をさらに備え、
前記出力部は、前記キーワードに関して前記入力部が受け付けた前記操作に応じて、あらかじめ前記キーワードに関連付けられた情報を表示する、請求項1に記載のオペレータ業務支援システム。 - 前記キーワードがあらかじめ指定された不要語である場合、前記出力部は、前記不要語の表示形式を変更するか、または、前記不要語の表示を削除する、請求項1に記載のオペレータ業務支援システム。
- 音声データをステレオ形式で格納する音声記憶部と、
前記通話のオペレータの音声であるオペレータ音声をステレオの一方のチャネルに割り当て、前記オペレータの通話相手の音声であるユーザ音声をステレオの他方のチャネルに割り当てて録音する録音部と、
をさらに備え、
前記音声認識部は、前記オペレータ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了時間を付加するオペレータ音声認識部を備えた
請求項1に記載のオペレータ業務支援システム。 - 前記音声認識部は、
前記ユーザ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了情報を付加するユーザ音声認識部
をさらに備えた請求項4に記載のオペレータ業務支援システム。 - 前記オペレータの操作を受け付ける入力部をさらに備え、
前記第一辞書または第二辞書は、あらかじめ指定された直後参照用キーワードをさらに含み、
前記応対ログ処理部は、前記テキストデータに含まれる、前記直後参照用キーワードにマーキングを施し、
前記出力部は、前記マーキングされた直後参照用キーワードを強調表示し、
前記出力部は、前記直後参照用キーワードに関して前記入力部が受け付けた前記操作に応じて、前記直後参照用キーワードを含む文に付加された前記終了時間を参照し、前記終了時間の直後の前記オペレータ音声または前記ユーザ音声を、前記音声記憶部から取得して出力する、
請求項4または5に記載のオペレータ業務支援システム。 - 前記オペレータの操作を受け付ける入力部をさらに備え、
前記出力部は、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、前記オペレータ音声に係る波形を表示するオペレータ音声領域と、前記ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、前記音声認識結果表示領域には、前記文単位に、前記オペレータの前記開始時間及び対応する前記テキストデータと、前記オペレータの前記終了時間及びその直後の前記ユーザ音声に対応する空のテキストデータとを繰り返して表示し、
前記入力部は、前記音声認識結果表示領域において、前記時間と、前記ユーザまたは前記オペレータいずれかの組み合わせであるセル、または複数の前記セルの指定を受け付けると、前記セルに対応する前記オペレータ音声領域、及び前記ユーザ音声領域の一部の指定も受け付けたと判断する
請求項4に記載のオペレータ業務支援システム。 - 前記オペレータの操作を受け付ける入力部をさらに備え、
前記出力部は、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、前記オペレータ音声に係る波形を表示するオペレータ音声領域と、前記ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、前記音声認識結果表示領域には、前記文単位に、前記オペレータの前記開始時間及び対応する前記テキストデータと、前記ユーザの前記開始時間及び対応する前記テキストデータとを繰り返して表示し、
前記入力部は、前記音声認識結果表示領域において、前記時間と、前記ユーザまたは前記オペレータいずれかの組み合わせであるセル、または複数の前記セルの指定を受け付けると、前記セルに対応する前記オペレータ音声領域、及び前記ユーザ音声領域の一部の指定も受け付けたと判断する
請求項5に記載のオペレータ業務支援システム。 - 前記出力部は、前記入力部からオペレータの操作を受け付けると、前記音声認識結果表示領域において、ユーザまたはオペレータのセルの表示幅を拡大、縮小、または消去する
請求項7または8に記載のオペレータ業務支援システム。 - 前記通話の音声データを録音する録音部をさらに備え、
前記録音部と前記音声認識部とは、前記通話を並行して受信し、
前記音声認識部は、認識において区切られた文単位に、前記テキストデータを変換後、直ちに前記出力部に送信し、
前記出力部は、前記テキストデータを直ちに出力する
請求項1に記載のオペレータ業務支援システム。 - 前記オペレータの操作を受け付ける入力部をさらに備え、
前記入力部が中断の指示を受付けてから、再開の指示を受付けるまでの間、
前記録音部は、録音を一時中断し、
前記音声認識部は、音声データからテキストデータへの変換を一時中断する請求項10に記載のオペレータ業務支援システム。 - オペレータを特定するオペレータ名と、オペレータの性別とを関連付けて格納する通話ログ管理情報記憶部と、
前記オペレータの操作を受け付ける入力部と
をさらに備え、
前記入力部が前記オペレータ名の指定を受け付けると、
前記音声認識部は、前記通話ログ管理情報記憶部に格納された前記オペレータ名に関連付けられた性別を取得し、前記性別に合致する前記第一辞書を用いて音声認識を行う
請求項1に記載のオペレータ業務支援システム。 - 前記オペレータが使用する、スピーカおよびマイクを有するヘッドセットと、
前記ヘッドセットのスピーカと、前記ヘッドセットのマイクと、前記電話のスピーカと、前記電話のマイクと、前記ステレオの一方のチャネルと、前記ステレオの他方のチャネルとを接続する切り替え部と
をさらに備え、
前記切り替え部は、
前記切り替え部の連動リレーが通話側に設定時、前記ヘッドセットのマイクから前記ステレオの一方のチャネルへと音声データを流し、前記電話のスピーカから前記ステレオの他方のチャネルと前記ヘッドセットのスピーカへと音声データを流し、
前記切り替え部の連動リレーが聞き起こし側に設定時、前記音声記憶部に記憶された音声の一方のチャネルと他方のチャネルとから、前記ヘッドセットのスピーカへと音声データを流す
請求項4または5に記載のオペレータ業務支援システム。 - 前記出力部は、前記テキストデータとは異なる領域に、前記マーキングされたキーワードを、まとめてリスト表示する
請求項1に記載のオペレータ業務支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005099439A JP3827704B1 (ja) | 2005-03-30 | 2005-03-30 | オペレータ業務支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005099439A JP3827704B1 (ja) | 2005-03-30 | 2005-03-30 | オペレータ業務支援システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006036852A Division JP4272658B2 (ja) | 2006-02-14 | 2006-02-14 | オペレータ業務支援システムとしてコンピュータを機能させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3827704B1 true JP3827704B1 (ja) | 2006-09-27 |
JP2006276754A JP2006276754A (ja) | 2006-10-12 |
Family
ID=37101323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005099439A Expired - Fee Related JP3827704B1 (ja) | 2005-03-30 | 2005-03-30 | オペレータ業務支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3827704B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043566A1 (ja) * | 2005-10-13 | 2007-04-19 | Nec Corporation | 音声認識システムと音声認識方法およびプログラム |
JP2007212532A (ja) * | 2006-02-07 | 2007-08-23 | Nec Corp | モニタリング装置、評価データ選別装置、応対者評価装置、応対者評価システムおよびプログラム |
CN110832831A (zh) * | 2017-06-29 | 2020-02-21 | 株式会社OPTiM | 呼叫中心会话内容显示***、方法以及程序 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4690999B2 (ja) * | 2006-11-15 | 2011-06-01 | 三菱電機インフォメーションシステムズ株式会社 | オペレータ業務支援システム |
JP4827721B2 (ja) | 2006-12-26 | 2011-11-30 | ニュアンス コミュニケーションズ,インコーポレイテッド | 発話分割方法、装置およびプログラム |
JP5239600B2 (ja) * | 2008-08-04 | 2013-07-17 | 富士通株式会社 | 話者判別プログラム、話者判別装置、および話者判別方法 |
JP5532598B2 (ja) * | 2008-12-15 | 2014-06-25 | 富士通株式会社 | オペレータ管理システム、その方法、及びプログラム |
JP5333175B2 (ja) * | 2009-11-26 | 2013-11-06 | 富士通株式会社 | オペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法 |
JP2011253389A (ja) * | 2010-06-02 | 2011-12-15 | Fujitsu Ltd | 端末および擬似会話用返答情報作成プログラム |
JP5369055B2 (ja) * | 2010-06-08 | 2013-12-18 | 日本電信電話株式会社 | 通話単位検出装置、方法及びプログラム |
JP6217003B2 (ja) * | 2013-05-31 | 2017-10-25 | 株式会社北電子 | 端末装置、睡眠言動記録方法及び睡眠言動記録プログラム |
WO2015037073A1 (ja) * | 2013-09-11 | 2015-03-19 | 株式会社日立製作所 | 音声検索システム、音声検索方法、及びコンピュータ読み取り可能な記憶媒体 |
JP2016057986A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社東芝 | 音声翻訳装置、方法およびプログラム |
JP6524242B2 (ja) * | 2015-08-31 | 2019-06-05 | 株式会社東芝 | 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム |
JP6677614B2 (ja) * | 2016-09-16 | 2020-04-08 | 株式会社東芝 | 会議支援システム、会議支援方法及びプログラム |
JP6923795B2 (ja) * | 2017-08-07 | 2021-08-25 | 富士通株式会社 | 表示制御プログラム、表示制御装置及び表示制御方法 |
JP2020008690A (ja) * | 2018-07-06 | 2020-01-16 | 日本電気株式会社 | 抽出装置、抽出方法、およびプログラム |
JP7430126B2 (ja) * | 2020-09-01 | 2024-02-09 | シャープ株式会社 | 情報処理装置、印刷システム、制御方法及びプログラム |
JP7341111B2 (ja) * | 2020-09-30 | 2023-09-08 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
WO2023144897A1 (ja) * | 2022-01-25 | 2023-08-03 | Nttテクノクロス株式会社 | 検出装置、検出方法及びプログラム |
JPWO2024018598A1 (ja) * | 2022-07-21 | 2024-01-25 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0798708A (ja) * | 1992-09-30 | 1995-04-11 | Hitachi Ltd | 文書処理システムおよびその方法 |
JP3526101B2 (ja) * | 1995-03-14 | 2004-05-10 | 株式会社リコー | 音声認識装置 |
JP3213737B2 (ja) * | 1996-09-30 | 2001-10-02 | 富士通株式会社 | チャットシステムの端末装置、チャットシステムの表示方法及び記録媒体 |
JPH10301927A (ja) * | 1997-04-23 | 1998-11-13 | Nec Software Ltd | 電子会議発言整理装置 |
JP3437755B2 (ja) * | 1998-01-29 | 2003-08-18 | 富士通株式会社 | 入力支援システムおよび入力支援システムのプログラムを記憶した記憶媒体 |
JPH11338494A (ja) * | 1998-05-22 | 1999-12-10 | Toshiba Corp | 音声認識システム及び方法 |
JP2003173342A (ja) * | 2001-06-22 | 2003-06-20 | Toyo Eng Corp | データベースに対するデータの登録および検索を支援する装置、方法 |
JP3861702B2 (ja) * | 2002-01-29 | 2006-12-20 | セイコーエプソン株式会社 | 電子情報提供方法及びシステム、コンピュータプログラム |
JP2004287201A (ja) * | 2003-03-24 | 2004-10-14 | Seiko Epson Corp | 議事録作成装置及び方法、ならびに、コンピュータプログラム |
JP2004326216A (ja) * | 2003-04-22 | 2004-11-18 | Ricoh Co Ltd | 文書検索装置、方法、プログラム、及び記録媒体 |
-
2005
- 2005-03-30 JP JP2005099439A patent/JP3827704B1/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043566A1 (ja) * | 2005-10-13 | 2007-04-19 | Nec Corporation | 音声認識システムと音声認識方法およびプログラム |
JP2007212532A (ja) * | 2006-02-07 | 2007-08-23 | Nec Corp | モニタリング装置、評価データ選別装置、応対者評価装置、応対者評価システムおよびプログラム |
JP4662861B2 (ja) * | 2006-02-07 | 2011-03-30 | 日本電気株式会社 | モニタリング装置、評価データ選別装置、応対者評価装置、応対者評価システムおよびプログラム |
US8494149B2 (en) | 2006-02-07 | 2013-07-23 | Nec Corporation | Monitoring device, evaluation data selecting device, agent evaluation device, agent evaluation system, and program |
CN110832831A (zh) * | 2017-06-29 | 2020-02-21 | 株式会社OPTiM | 呼叫中心会话内容显示***、方法以及程序 |
CN110832831B (zh) * | 2017-06-29 | 2022-09-02 | 株式会社OPTiM | 呼叫中心会话内容显示***、方法以及计算机可读记录介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2006276754A (ja) | 2006-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3827704B1 (ja) | オペレータ業務支援システム | |
JP4272658B2 (ja) | オペレータ業務支援システムとしてコンピュータを機能させるためのプログラム | |
JP4283333B2 (ja) | オペレータ業務支援システム | |
JP4690999B2 (ja) | オペレータ業務支援システム | |
US6321198B1 (en) | Apparatus for design and simulation of dialogue | |
US6895257B2 (en) | Personalized agent for portable devices and cellular phone | |
US7440894B2 (en) | Method and system for creation of voice training profiles with multiple methods with uniform server mechanism using heterogeneous devices | |
JP2927891B2 (ja) | 音声ダイヤル装置 | |
KR101143034B1 (ko) | 음성 명령을 명확하게 해주는 중앙집중식 방법 및 시스템 | |
JP5685702B2 (ja) | 音声認識結果管理装置および音声認識結果表示方法 | |
US20040064322A1 (en) | Automatic consolidation of voice enabled multi-user meeting minutes | |
JP2006301223A (ja) | 音声認識システム及び音声認識プログラム | |
CN112188017A (zh) | 信息交互方法及信息交互***、处理设备、存储介质 | |
US20130253932A1 (en) | Conversation supporting device, conversation supporting method and conversation supporting program | |
EP2682931B1 (en) | Method and apparatus for recording and playing user voice in mobile terminal | |
US8005202B2 (en) | Automatic generation of a callflow statistics application for speech systems | |
JP3279684B2 (ja) | 音声インタフェース・ビルダ・システム | |
JP2002099530A (ja) | 議事録作成装置及び方法並びにこれを用いた記憶媒体 | |
US5943401A (en) | Electronic forms voice messaging apparatus and method | |
US6658386B2 (en) | Dynamically adjusting speech menu presentation style | |
US20080167879A1 (en) | Speech delimiting processing system and method | |
JP2001272990A (ja) | 対話記録編集装置 | |
JP5627109B2 (ja) | 音声信号処理装置 | |
JP2000067063A (ja) | 対話内容利用システム | |
JP2004020739A (ja) | 議事録作成装置、議事録作成方法、議事録作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060704 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3827704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140714 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |