JP4567606B2

JP4567606B2 - 音声データの聞き出し部分特定処理プログラムおよび処理装置

Info

Publication number: JP4567606B2
Application number: JP2006000559A
Authority: JP
Inventors: 佐知子小野寺; 功難波
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-01-05
Filing date: 2006-01-05
Publication date: 2010-10-20
Anticipated expiration: 2026-01-05
Also published as: US7940915B2; US20070154006A1; JP2007184699A

Description

本発明は，コンピュータに，オペレータと顧客との対話内容が録音された音声データから，所定の内容を聞き出すために必要な部分（以下，“聞き出し部分”という）を効率的に聞くために，音声データから“聞き出し部分”を特定する処理を実行させるためのプログラムに関する。また，本発明は，前記音声データの聞き出し部分特定処理を実行する処理装置に関する。

多くのコールセンタでは，数量や金額などの数値やトラブル内容などを後から聞いて確認できるように，オペレータと顧客との全通話内容を録音した音声データを保存している。コールセンタに蓄積された大量の音声データは，単に対話内容を確認するための資料として利用されるだけではなく，オペレータの対話スキルを評価するための資料，顧客がオペレータに話した情報を製品修理作業者や再受付担当者が聞いて確認や参考にするための資料などにも利用されている。

音声データを利用する場合に，その利用目的に応じて必要な部分のみを聞くことができれば十分であり，開始から終了まで全ての対話を聞くことは，多くの時間を要するので効率的ではない。

顧客とオペレータとの全通話内容が録音された音声データのうち，オペレータが顧客からの問い合わせ，質問，通告の内容などを聞き出している部分が，いわば応答の核心的部分であるから，このような部分だけを“聞き出し部分”として特定し，再生できるような仕組みが要求されている。

このような要求に対し，従来の技術では，音声認識などによって抽出したキーワードやオペレータの端末画面の操作情報などを音声データにインデックスとして付与しておき，音声データ再生時に再生開始位置をみつけるために利用する方法がある（例えば，特許文献１参照）。
特開平１１−２５１１２号公報

しかし，音声データに対話内容を示すキーワードや操作情報がインデックスとして付与されていても，付与されたキーワードや操作情報がどのような対話の流れの中で採用され付与されたのかを特定することはできない。そのため，“聞きたい部分”をみつけるためには，関連すると考えられるインデックスの位置から音声データを実際に聞いて，その内容を確認する必要があった。

また，インデックスをもとに“聞きたい部分”の開始位置が特定できたとしても，終了位置が特定されていないため，聞くべき範囲を特定することができず，予め“聞きたい部分”を聞くための所要時間を知ることができなかった。

本発明の目的は，顧客とオペレータとの対話内容が録音された対話音声データの中から必要な“聞き出し部分”を取り出す場合に，顧客とオペレータとの発話の長さにもとづく対話構成の特徴に関する情報とオペレータが顧客対応時に行った操作情報とを利用して，音声データから“聞き出し部分”の開始および終了を示す時間軸上の位置を特定することができる音声データの聞き出し部分特定処理をコンピュータに実行させるためのプログラムを提供することである。また，上記処理方法を実現する処理装置を提供することである。

本発明は，コンピュータに，１）顧客とオペレータとの対話内容が録音された対話音声データを取得する対話音声データ取得処理と，２）オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を取得する操作ログ情報取得処理と，３）前記対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出処理と，４）前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定処理と，５）前記操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定処理とを，実行させるための音声データの聞き出し部分特定処理プログラムである。

本発明の作用を，本発明をコールセンタにおいて実施した場合を例に説明する。

コールセンタにおける顧客とオペレータとのやりとりは，オペレータ側の観点から，概ね以下のような流れになる。
「フェーズＡ：顧客から情報を聞きだす，
フェーズＢ：顧客から聞き出した情報に対して，その情報の確認や回答の取得を行う，
フェーズＣ：顧客へ確認結果や回答を返す。」
例えば，製品の修理受付を行うコールセンタでは，オペレータの処理は，
「フェーズＡ：顧客の製品の障害内容を聞き出す，
フェーズＢ：聞き出した障害に対する対応を事例データベースを検索して得たり，オペレータの知識をもとに回答を考える，
フェーズＣ：検索結果で得た対応方法あるいは障害修理を行うかどうかの回答を行う。」
という流れになる。

また，商品の購入受付を行うコールセンタでは，オペレータの処理は，
「フェーズＡ：顧客の購入したい製品を聞き出す，
フェーズＢ：その製品の在庫情報を検索する，
フェーズＣ：その製品の購入可否を回答する。」
という流れになる。または，
「フェーズＡ：顧客の登録ＩＤあるいは新規情報（住所，氏名など）を聞き出す，
フェーズＢ：顧客情報を検索する，あるいは新規登録を行う，
フェーズＣ：顧客登録の確認，あるいは新規登録完了を伝える。」
という流れになる。

顧客とオペレータとの応対において，実際に対話が行われるのは主にフェーズＡおよびフェーズＣの部分である。フェーズＢは，オペレータは，主に事例検索や在庫検索などの操作を行っているので，音声対話データに対話として表れにくい区間である。

本発明は，顧客とオペレータとの発話の発話長とオペレータの操作に関する情報にもとづいてフェーズＢでのオペレータの操作を基点にフェーズＡの“情報聞き出し部分”を特定する。

本発明を実施するコンピュータは，まず，対話音声データ取得処理として，顧客とオペレータとの対話内容が録音された対話音声データを取得し，操作ログ情報取得処理として，オペレータが顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を取得する。

対話中の話者間の発話長は，ある内容について主導権を持って話す話者の発話長が長くなる傾向がある。一方，顧客情報（氏名，ＩＤ）の確認などのように，情報を伝達したり，伝達された内容を確認したりするときは，同じような言葉を互いに繰り返すことから，双方の発話長が均衡する傾向がある。このような傾向を利用して，顧客とオペレータとの対話の流れが変化する位置を特定することができる。

そこで，まず,発話長算出処理として，対話音声データから，対話音声データ中の顧客およびオペレータ各々の発話長を算出する。さらに，発話長特徴変化時点特定処理として，発話長をもとに顧客とオペレータとの対話構造を推定し，対話構造が変化した時刻を示す発話長特徴変化時点を特定する。

また，オペレータの情報検索処理は，検索条件となる検索キー（数字列，文字列など）が確定して初めて実行される。そのため，検索キーを入力するための情報を得るための顧客との対話が終了した時点は情報検索処理の開始時（時刻）の直前となる。検索キーの入力終了時点以前において，発話長の特徴が変化した時点は，検索キー入力のための情報を得る対話が開始した時点とみなすことができる。

したがって，聞き出し部分特定処理として，操作ログ情報から，オペレータが実行した情報検索処理に関する検索実行情報を取得し，検索処理を行った時刻を示す情報検索時点を抽出して，この情報検索時点を対話音声データの聞き出し部分の終了時点として決定する。さらに，情報検索時点の直前の発話長特徴変化時点を聞き出し部分の開始時点として決定する。

また，本発明は，上記構成をとる場合に，前記聞き出し部分特定処理では，前記操作ログ情報から複数の情報検索処理を抽出した場合に，前記抽出した情報検索処理が関連するか否かを判定し，前記複数の情報検索処理が相互に関連する処理であるときは，最後の情報検索時点を前記終了時点として決定する処理を，前記コンピュータに実行させるためのものである。

または，本発明は，前記複数の情報検索処理が検索条件の入力操作および前記検索条件による検索処理の実行であるときは，前記検索条件の入力操作を開始した時点を前記終了時点として決定する処理を，前記コンピュータに実行させるためのものである。

または，本発明は，前記聞き出し部分特定処理では，前記複数の情報検索処理とともに当該情報検索処理の検索対象とは異なる情報検索処理を抽出したときは，前記複数の情報検索時点の直前の発話長特徴変化時点以降であって，かつ前記異なる情報検索処理が行われた時点以降で最初に顧客の発話が開始された時点を前記開始時点として決定する処理を，前記コンピュータに実行させるためのものである。

また，本発明は，顧客とオペレータとの対話内容が録音された対話音声データの中から取り出す聞き出し部分を特定する処理装置であって，１）顧客とオペレータとの対話内容が録音された対話音声データを記憶する対話音声データ記憶手段と，２）オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を記憶する操作ログ情報記憶手段と，３）前記対話音声データ記憶手段に記憶された対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出手段と，４）前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定手段と，５）前記操作ログ情報記憶手段に記憶された操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定手段とを備える。

本発明によれば，オペレータと顧客との対話が録音された対話音声データから，所定の情報を聞き出すための部分（聞き出し部分）の開始時点と終了時点とを特定することができるため，聞き出すべき情報を含む区間をより正確に特定することができる。

また，対話音声データから聞き出す部分の長さを算出することができるため，情報を聞き出すための所要時間を予め知ることができる。

図１は，本発明の音声データの聞き出し部分特定処理を実現するモジュール構成例を示す図である。

本発明は，発話長算出部１１，発話長特徴変化時点特定部１３，聞き出し部分特定部１５から構成される。

発話長算出部１１は，二人の話者（顧客とオペレータ）各々の発話が録音された対話音声情報２０を取得し，この対話音声情報２０から顧客およびオペレータの発話各々の発話長に関する情報（発話長情報）２４を算出する処理手段である。

具体的には，発話長算出部１１は，対話音声情報２０から，オペレータと顧客の音声が別チャネルで録音されている場合には各チャネルについて有音区間抽出処理を行って発話を抽出し，各発話の発話長を算出する。オペレータと顧客の音声が同じチャネルで録音されている場合には，話者分離を行い分離された各区間を発話として抽出し，発話長を算出する。そして，発話ごとの，開始時刻，終了時刻，発話時間（区間長）などを含む発話長情報２４を生成する。

発話長特徴変化時点特定部１３は，前記発話長算出部１１で生成された発話長情報２４をもとに，対話音声情報２０の対話構造を推定し，この対話構造が変化する位置（時刻）である発話長変化特徴時点を特定する処理手段である。

具体的には，発話長特徴変化時点特定部１３は，所定区間で顧客とオペレータの発話を順に比較し，より長い発話をした話者を抽出する。抽出された話者が交代する位置を発話長特徴変化時点として抽出する。抽出した発話長特徴変化時点を記録した発話長特徴変化時点情報２６を生成する。

図２は，顧客およびオペレータの各発話の発話長と，発話長が長い発話の多かった話者が交代する発話長特徴変化時点の例を示す図である。

ここで，オペレータの１番目（発話０）から２番目（発話１）の区間では，オペレータの発話が顧客の発話より長く，顧客の２番目の発話（発話１）から5番目の発話（発話４）までの区間では，顧客の発話がオペレータの発話より長い。また，オペレータの6番目（発話５）以降の区間では，オペレータの発話が長くなっている。顧客の２番目の発話（発話１）から5番目の発話（発話４）までの区間と，その前後の区間での発話長の特徴が異なっていることがわかる。そこで，発話長の特徴が変化した位置として，顧客の２番目の発話（発話１）の開示時刻，オペレータの6番目の発話（発話５）の開始時刻を，それぞれ，発話長特徴変化時点Ｐｃｈａｎｇｅ０，Ｐｃｈａｎｇｅ１と決定する。

聞き出し部分特定部１５は，発話長特徴変化時点情報２６と操作ログ情報２２から得られる情報検索に関する情報を利用して，対話音声情報２０から“聞き出し部分”の特定を行う処理手段である。

操作ログ情報２２は，オペレータが顧客応対中に実行した顧客情報検索，事例検索などの情報検索に関するログ情報，オペレータの操作に関するログ情報などを含む情報である。

聞き出し部分特定部１５は，操作ログ情報２２を取得し，操作ログ情報２２から，オペレータが行った情報検索について，検索が実行された時刻，検索に使用した数字・文字列などの検索キーなどの検索実行情報を抽出する。なお，検索実行情報に，検索対象となったデータベースに関する情報，または，オペレータの検索キー入力に関する情報などが含まれていてもよい。

また，発話長特徴変化時点特定部１３によって生成された発話長特徴変化時点情報２６そして，この区間の終了を示す発話長特徴変化時点Ｐｃｈａｎｇｅ１以前で情報検索処理が行われた時刻を操作ログ情報２２から取得する。

操作ログ情報２２から，オペレータによる情報検索が行われた時点を示す情報検索時点Ｐｏｐを取得する。

そして，検索実行情報の情報検索が実行された時刻（以下，“情報検索時点”という）を対話音声情報２０の聞き出し部分の終了位置（終了時点）として決定する。また，情報検索時点の直前の発話長特徴変化時点を聞き出し部分の開始位置（開始時点）として決定する。これらの聞き出し部分の開始時点と終了時点を含む聞き出し部分特定情報２８を生成する。

図３〜図７を用いて，聞き出し部分の特定処理をより詳しく説明する。

図３に示すように，オペレータによって実行された情報検索が１回であったとする。

聞き出し部分特定部１５は，操作ログ情報２２から抽出した検索実行情報の情報検索が，発話長特徴変化時点情報２６の１番目の発話長特徴変化時点Ｐｃｈａｎｇｅ０以降に実行されたものであるときは，その情報検索の情報検索時点Ｐｏｐを“聞き出し部分”の終了時点ＥＰｅｘｔとする。

さらに，情報検索時点Ｐｏｐ以前の発話長特徴変化時点Ｐｃｈａｎｇｅ０を“聞き出し部分”の開始時点ＳＰｅｘｔとする。

図４に示すように，オペレータが，顧客との応対中に複数の情報検索処理を行ったとする。

聞き出し部分特定部１５は，操作ログ情報２２から複数の事例検索の検索実行情報を取得する。各検索処理の情報検索時点Ｐｏｐ０，Ｐｏｐ１，Ｐｏｐ２を取得する。各事例検索の検索キーを比較して，検索キー同士に重複があれば，これらの事例検索を一連の情報検索であると判定する。一連の情報検索の最後の検索処理の情報検索時点Ｐｏｐ２を聞き出し部分の終了時点ＥＰｅｘｔとする。

また，操作ログ情報２２から取得した検索実行情報に検索対象が含まれているとし，図５に示すように，操作ログ情報２２から，検索対象が異なる複数の事例検索処理についての検索実行情報を取得したと仮定する。

聞き出し部分特定部１５は，検索対象から，複数の事例検索処理（情報検索時点Ｐｏｐ０，Ｐｏｐ１，Ｐｏｐ２）と，それとは異なる情報検索処理（情報検索時点Ｐｏｐ３）とに区別する。そして，図４の場合と同様に，事例検索処理（情報検索時点Ｐｏｐ０，Ｐｏｐ１，Ｐｏｐ２）の検索キーを用いて，これらの情報検索処理が一連の検索処理であるか否かを判定する。一連の情報検索であれば，最後の検索処理の情報検索時点Ｐｏｐ２を聞き出し部分の終了時点ＥＰｅｘｔとする。

さらに，発話長特徴変化時点Ｐｃｈａｎｇｅ０と，異なる情報検索処理の情報検索時点Ｐｏｐ３とを比較し，情報検索時点Ｐｏｐ３が発話長特徴変化時点Ｐｃｈａｎｇｅ０より後であるときは，情報検索時点Ｐｏｐ３の直後の顧客の発話の開始時点を，聞き出し部分の開始時点ＳＰｅｘｔとする。

また，操作ログ情報２２に，実行された情報検索処理のログ情報とともにオペレータのキーボード操作に関するログ情報が登録されているとし，図６に示すように，検索実行情報として，検索キーの入力操作の開始時刻（情報検索時点Ｐｏｐ０）と，検索処理実行の時刻（情報検索時点Ｐｏｐ１）とを取得したと仮定する。

聞き出し部分特定部１５は，情報検索時点Ｐｏｐ０から情報検索時点Ｐｏｐ１までの区間内が無音である場合，もしくは，顧客の最後の発話のみが情報検索時点Ｐｏｐ０に重なる場合（例えば，オペレータの発話が「では検索します」，顧客の発話が「はい」のような応答があって検索キーの入力が開始されているような場合）に，検索キー入力操作の情報検索時点Ｐｏｐ０を聞き出し部分の終了時点ＥＰｅｘｔとする。

さらに，図７に示すように，特定した“聞き出し部分”内にオペレータの情報検索操作などによる無音区間があるとする。

聞き出し部分特定部１５は，特定した“聞き出し部分”の区間内から，既存の無音区間判別処理などによって無音区間を特定し，無音区間を除去した聞き出し部分を抽出する。

以下に，本発明の具体的な実施例として，本発明をコールセンタシステムにおいて実施した場合の処理例を説明する。

コールセンタでは，顧客からの製品の修理受付を行い，応答時に録音した顧客とオペレータとの対話が別チャネルに録音された音声データから，顧客が障害内容を説明している部分を“聞き出し部分”として抽出する。カスタマエンジニア（ＣＥ）がその音声データから抽出された聞き出し部分のみを聴くことによって，障害情報を効率的に把握することができるようにする。

オペレータは，顧客から障害内容を聞き出すと，その障害に対する対応方法を事例検索データベースの事例を検索（事例検索）して調べたり，顧客に対応方法を伝えたり，または，ＣＥを手配する旨を顧客に知らせたりして応対する。また，オペレータは，顧客から障害内容を聞き出す前後に，顧客データベースの保守契約の情報，登録顧客の情報などを聞き出して，その顧客が登録されているかどうかを検索（顧客情報検索）する。

図８は，コールセンタにおいて実施される本発明の構成例を示す図である。

コールセンタには，障害聞き出し音声提供システム１００と，データ登録システム２００とが備えられる。

データ登録システム２００は，音声データベース２１０および操作ログデータベース２２０を備える。

音声データベース２１０は，対話音声情報２０として，オペレータと顧客との全対話を録音した音声データに識別情報（障害ＩＤ）を付与した音声データ２０１が蓄積される。

操作ログデータベース２２０は，操作ログ情報２２として，オペレータが顧客との対話中に行った事例検索，顧客情報検索などの操作ログデータに識別情報（障害ＩＤ）を付与した操作ログデータ２０２が蓄積される。

障害聞き出し音声提供システム１００は，データ登録通知部１０１，データ取得部１０２，発話長算出部１０３，発話長特徴変化時点特定部１０４，障害聞き出し部分特定部１０５，再生対象音声データ作成部１０６，および再生対象音声データベース１１０を備える。

データ登録通知部１０１は，データ登録システム２００から，音声データ２０１，操作ログデータ２０２が登録された旨のデータ登録情報を受け付ける処理手段である。

データ取得部１０２は，データ登録情報をもとに，データ登録システム２００の音声データベース２１０および操作ログデータベース２２０から，音声データ２０１および操作ログデータ２０２を取得する処理手段である。

発話長算出部１０３は，音声データ２０１から，顧客およびオペレータの発話各々の発話長を算出し，発話長情報２４を生成する処理手段である。

発話長特徴変化時点特定部１０４は，発話長情報２４をもとに，顧客とオペレータとの対話構造を推定して，発話長の長い発話の多かった話者が変化する発話長特徴変化時点を特定し，発話長特徴変化時点情報２６を生成する処理手段である。

障害聞き出し部分特定部１０５は，操作ログデータ２０２から実行された情報検索に関する検索実行情報を抽出し，発話長特徴変化時点情報２６と検索実行情報をもとに，音声データ２０１から“障害聞き出し部分”を特定する処理手段である。

再生対象音声データ作成部１０６は，音声データ２０１から特定された“聞き出し部分”を抽出してＣＥが聴くための再生対象音声データを作成し，再生対象音声データベース１１０に蓄積する処理手段である。

コールセンタにおいて顧客への応答が行われ，データ登録システム２００に音声データ２０１と操作ログデータ２０２がそれぞれ蓄積される。音声データ２０１は，話者（顧客，オペレータ）ごとに音声が別チャネルで録音されているものとする。

障害聞き出し音声提供システム１００のデータ登録通知部１０１は，データ登録システム２００から通知されたデータ登録情報を受け取る。なお，データ登録通知部１０１は，データ登録システム２００の音声データベース２１０および操作ログデータベース２２０の情報更新をポーリングするようにしてもよい。

データ登録通知部１０１は，新たに登録されたデータの障害ＩＤをデータ取得部１０２へ通知する。データ取得部１０２は，データ登録システム２００の音声データベース２１０および操作ログデータベース２２０から，取得した障害ＩＤに対応する音声データ２０１と操作ログデータ２０２を取得する。

発話長算出部１０３は，図９（Ａ）に示すように，音声データ２０１から各チャネルに有音区間抽出処理を行って発話を抽出し，各発話の発話長を算出して，図９（Ｂ）に示すような発話長情報２４を生成する。発話長情報２４には，各発話の，開始時刻，終了時刻，発話時間（区間長）などの情報が記録される。

次に，発話長特徴変化時点特定部１０４は，例えば，図９（Ａ）に示す発話の構成の場合に，図９（Ｂ）の発話長情報２４から，発話を順に所定の区間ずつ比較し，発話長の長い発話の多かった話者（顧客またはオペレータ）を抽出し，抽出された話者が交代する発話長特徴変化時点Ｐｃｈａｎｇｅ０（００：２７），Ｐｃｈａｎｇｅ１（０２：１１）を特定する。そして，図１０に示すように，これらの発話長特徴変化時点Ｐｃｈａｎｇｅを記録した発話長特徴変化時点情報２６を生成する。

次に，障害聞き出し部分特定部１０５は，操作ログデータ２０２から，４つの事例検索のログ情報を取得し，検索実行情報とする。そして，図１１に示すように，検索実行情報には，処理インデックス（ＩＤ），時刻，検索キー，検索対象が記録される。

そして，検索実行情報の検索対象をもとに，顧客情報検索を行った検索時点Ｐｏｐ０（００：２９）と，所定の事例データベースに対して情報検索を行った情報検索時点Ｐｏｐ１（０１：５０），Ｐｏｐ２（０２：０３），Ｐｏｐ３（０２：１６）とを抽出する。

図１２は，発話長特徴変化時点Ｐｃｈａｎｇｅ０，Ｐｃｈａｎｇｅ１と，情報検索時点Ｐｏｐ０〜Ｐｏｐ３との時間軸上の関係の例を示す図である。

障害聞き出し部分特定部１０５は，検索実行情報から，発話長特徴変化時点Ｐｃｈａｎｇｅ０以降の検索処理について，検索対象をもとに３つの事例検索を特定する。さらに，検索実行情報の該当する検索キーをもとに，検索キー（文字列）に重複があるかどうかを調べて，検索処理が相互に関連するものであるかどうかを判定する。これらの３つの事例検索が，例えば絞り込み検索などの一連の検索処理であると判定した場合に，複数の事例検索の最後の情報検索時点Ｐｏｐ３を“障害聞き出し部分”の終了時点ＥＰｅｘｔと決定する。

さらに，情報検索時点Ｐｏｐ０が発話長特徴変化時点Ｐｃｈａｎｇｅ０より後であるかどうかを調べ，情報検索時点Ｐｏｐ０が発話長特徴変化時点Ｐｃｈａｎｇｅ０より後であれば，情報検索時点Ｐｏｐ０を“障害聞き出し部分”の開始時点ＳＰｅｘｔと決定する。この結果，図１３に示すように，“障害聞き出し部分”は，情報検索時点Ｐｏｐ０（００：２９）から情報検索時点Ｐｏｐ３（０２：１６）までの区間となる。

次に，再生対象音声データ作成部１０６は，障害聞き出し部分特定部１０５から“障害聞き出し部分”の開始時点ＳＰｅｘｔと終了時点ＥＰｅｘｔとを取得し，図１４に示すように，音声データ２０１から“障害聞き出し部分”を抽出し，さらに抽出した音声データから不要な無音区間を除去した再生対象音声データを作成し，障害ＩＤを付与して再生対象音声データベース１１０に登録する。

ＣＥは，再生対象音声データベース１１０に蓄積された再生対象音声データを利用することによって，障害ＩＤをもとに特定した障害について聞き出したい部分の音声データのみを抽出して聴くことができる。

このように，本発明によって，顧客とオペレータとのやりとりを録音した音声データから必要な音声データだけを抽出して効率的に利用することが可能となる。

図１５〜図１９は，本発明の処理フロー例を示す図である。

図１５および図１６は，発話長特徴変化時点を特定する処理の処理フローを示す図である。

発話長特徴変化時点特定部１０４は，初期設定として，発話長情報の発話ＩＤ（ｘの値）を０に設定し（ステップＳ１００），ｘが発話数の最大値より小さい間は（ステップＳ１０１のＹＥＳ），ステップＳ１０２以降の処理を行う。

まず，カウンタｉを０に，オペレータの発話数カウンタｏｐｅｒａｔｏｒおよび顧客の発話数カウンタｃｕｓｔｏｍｅｒを０に，それぞれリセットする（ステップＳ１０２）。そして，オペレータ発話長［ｘ］は発話ＩＤがｘのオペレータの発話の発話長，顧客発話長［ｘ］は発話ＩＤがｘの顧客の発話の発話長と定義し，オペレータ発話長［ｘ］が顧客発話長［ｘ］より大きいか否かを判定する（ステップＳ１０３）。

オペレータ発話長［ｘ］が顧客発話長［ｘ］より大きい場合は（ステップＳ１０３のＹＥＳ），オペレータの発話数カウンタｏｐｅｒａｔｏｒを１つ加算し（ステップＳ１０４），オペレータ発話長［ｘ］が顧客発話長［ｘ］より大きくない場合は（ステップＳ１０３のＮＯ），顧客の発話数カウンタｃｕｓｔｏｍｅｒを１つ加算する（ステップＳ１０５）。

そして，カウンタｉを１つ加算し（ステップＳ１０６），カウンタｉが所定の窓数ｎより小さい間は（ステップＳ１０７のＹＥＳ），ステップＳ１０３〜ステップＳ１０６の処理を繰り返す。

カウンタｉが窓数ｎ以上になった場合には（ステップＳ１０７のＮＯ），オペレータの発話数カウンタｏｐｅｒａｔｏｒが顧客の発話数カウンタｃｕｓｔｏｍｅｒより大きいか否かを判定する（ステップＳ１０８）。オペレータの発話数カウンタｏｐｅｒａｔｏｒが顧客の発話数カウンタｃｕｓｔｏｍｅｒより大きければ（ステップＳ１０８のＹＥＳ），発話ＩＤｘからｘ＋ｎ−１までで発話長の長い話者が誰であるかを記録するＬｏｎｇ［ｘ］に“ｏｐｅｒａｔｏｒ”を代入する（ステップＳ１０９）。オペレータの発話数カウンタｏｐｅｒａｔｏｒが顧客の発話数カウンタｃｕｓｔｏｍｅｒより大きくなければ（ステップＳ１０８のＮＯ），発話長の長い話者Ｌｏｎｇ［ｘ］に“ｃｕｓｔｏｍｅｒ”を代入する（ステップＳ１１０）。

そして，発話長の長い発話の多かった話者が前発話までと変化したかどうかを判定する“ｘ＞０＆＆Ｌｏｎｇ［ｘ］≠Ｌｏｎｇ［ｘ−１］”という条件を満たすか否かを判定し（ステップＳ１１１），前記の条件を満たす場合にのみ（ステップＳ１１１のＹＥＳ），Ｌｏｎｇ［ｘ］の発話ＩＤ＝ｘの発話長の開始時刻を発話長特徴変化時点Ｐｃｈａｎｇｅとする（ステップＳ１１２）。

そして，ｘを１つ加算して（ステップＳ１１３），ステップＳ１０１の処理へ戻り，ｘが発話数の最大値より小さい間は（ステップＳ１０１のＹＥＳ），ステップＳ１０２以降の処理を繰り返し，ｘが発話数の最大値を超えたとき（ステップＳ１０１のＮＯ），処理を終了する。

具体的には，カウンタｉ＝０，窓幅ｎ＝３として，発話ＩＤが０のオペレータ発話の発話長［０］と顧客の発話の発話長［０］とを比較すると，オペレータの発話の発話長の方が長いので，オペレータの発話数ｏｐｅｒａｔｏｒをカウントアップする（ｏｐｅｒａｔｏｒ＝１，ｃｕｓｔｏｍｅｒ＝０）。さらに，カウンタｉをカウントアップ（ｉ＝１）して，発話ＩＤが１のオペレータ発話の発話長［１］と顧客の発話の発話長［１］とを比較すると，オペレータの発話の発話長の方が長いので，オペレータの発話数ｏｐｅｒａｔｏｒをカウントアップする（ｏｐｅｒａｔｏｒ＝２，ｃｕｓｔｏｍｅｒ＝０）。さらに，カウンタｉをカウントアップ（ｉ＝２）して，発話ＩＤが２のオペレータ発話の発話長［２］と顧客の発話の発話長［２］とを比較すると，顧客の発話の発話長の方が長いので，顧客の発話数ｃｕｓｔｏｍｅｒをカウントアップする（ｏｐｅｒａｔｏｒ＝２，ｃｕｓｔｏｍｅｒ＝１）。

さらに，カウンタｉをカウントアップ（ｉ＝３）すると，ｉ＜ｎではなくなるので，オペレータの発話数ｏｐｅｒａｔｏｒと顧客の発話数ｃｕｓｔｏｍｅｒとを比較し，この場合には，オペレータの発話数が多いので，発話ＩＤが０〜２における発話長の長い発話の多かった話者Ｌｏｎｇ［０］＝ｏｐｅｒａｔｏｒとなる。

さらに，ｘをカウントアップして（ｘ＝１），発話ＩＤが１〜３における発話長の特徴Ｌｏｎｇ［１］を求める。ここで，Ｌｏｎｇ［１］＝ｃｕｓｔｏｍｅｒとなるので，発話長の特徴変化があったと判定されて，顧客の発話の発話長［１］の発話の開始時刻を，発話長特徴変化時点Ｐｃｈａｎｇｅ０に決定する。

図１７および図１８は，障害聞き出し部分を特定する処理の処理フローを示す図である。

障害聞き出し部分特定部１０５は，操作ログデータ２０２から，検索開始時刻，検索キー，および検索対象を検索実行情報として取得する（ステップＳ２００）。初期設定として，ｎに検索実行情報数を設定し，カウンタｉを０にリセットする（ステップＳ２０１）。ｉ＋１がｎより小さければ（ステップＳ２０２のＹＥＳ），一連検索判定処理を行う（ステップＳ２０３）。ｉ番目とｉ＋１番目の検索が一連検索であると判定されたときは（ステップＳ２０４のＹＥＳ），カウンタｉを１加算して（ステップＳ２０５），ステップＳ２０２の処理へ戻る。

一方，ｉ＋１がｎより小さくない場合（ステップＳ２０２のＮＯ），またはｉ番目とｉ＋１番目の検索が一連検索でないと判定された場合には（ステップＳ２０４のＮＯ），ｉ番目の検索実行情報の検索開始時刻を終了時点に設定する（ステップＳ２０６）。

さらに，検索開始時刻より前の，検索開始時刻に最も近い発話長特徴変化時点Ｐｃｈａｎｇｅを取得する（ステップＳ２０７）。“最初の事例検索より前に顧客検索がある，かつ顧客検索開始時刻が取得した発話長特徴変化時点Ｐｃｈａｎｇｅより後である”という条件を満たすかどうかを判定する（ステップＳ２０８）。この条件を満たす場合には（ステップＳ２０８のＹＥＳ），開始時点に顧客検索開始時刻直後の発話開始時刻を設定する（ステップＳ２０９）。この条件を満たさない場合には（ステップＳ２０８のＮＯ），開始時点に取得した発話長特徴変化時点Ｐｃｈａｎｇｅを設定する（ステップＳ２１０）。

図１９は，一連検索判定処理（ステップＳ２０３）の処理フローを示す図である。

障害聞き出し部分特定部１０５は，比較する検索処理Ａ，Ｂの検索キーを取得し，検索処理Ａの検索キーＡ［０］，Ａ［１］，…，Ａ［Ｎａ］，検索処理Ｂの検索キーＢ［０］，Ｂ［１］，…，Ｂ［Ｎｂ］とする（ステップＳ２５０）。カウンタｉを０にリセットし（ステップＳ２５１），ｉがＮａ以下であるか否かを判定する（ステップＳ２５２）。ｉがＮａ以下であれば（ステップＳ２５２のＹＥＳ），カウンタｊを０にリセットし（ステップＳ２５３），ｊがＮｂ以下であるか否かを判定する（ステップＳ２５４）。

そして，ｊがＮｂ以下であれば（ステップＳ２５４のＹＥＳ），検索キーＡ［ｉ］と検索キーＢ［ｊ］が等しいか否かを判定し（ステップＳ２５５），検索キーＡ［ｉ］と検索キーＢ［ｊ］が等しければ（ステップＳ２５５のＹＥＳ），一連検索と判定する（ステップＳ２５６）。一方，検索キーＡ［ｉ］と検索キーＢ［ｊ］が等しくなければ（ステップＳ２５５のＮＯ），カウンタｊを１加算して（ステップＳ２５７），ステップＳ２５４の処理へ戻る。

そして，ステップＳ２５４の処理で，ｊがＮｂ以下でなければ（ステップＳ２５４のＮＯ），カウンタｉを１加算して（ステップＳ２５８），ステップＳ２５２の処理へ戻る。

また，ステップＳ２５２の処理で，ｉがＮａ以下でなければ（ステップＳ２５２のＮＯ），一連検索ではないと判定する（ステップＳ２５９）。

以上，本発明をその実施の形態により説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。

また，本発明は，コンピュータにより読み取られ実行されるプログラムとして実施するものとして説明したが，本発明を実現するプログラムは，コンピュータが読み取り可能な，可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができ，これらの記録媒体に記録して提供され，または，通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。

本発明の形態および実施例の特徴を列記すると以下のとおりである。

（付記１）コンピュータに，
顧客とオペレータとの対話内容が録音された対話音声データを取得する対話音声データ取得処理と，
オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を取得する操作ログ情報取得処理と，
前記対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出処理と，
前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定処理と，
前記操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定処理とを，
実行させるための音声データの聞き出し部分特定処理プログラム。

（付記２）前記聞き出し部分特定処理では，前記操作ログ情報から複数の情報検索処理を抽出した場合に，前記抽出した情報検索処理が関連するか否かを判定し，前記複数の情報検索処理が相互に関連する処理であるときは，最後の情報検索時点を前記終了時点として決定する処理を，
前記コンピュータに実行させるための前記付記１の音声データの聞き出し部分特定処理プログラム。

（付記３）前記聞き出し部分特定処理では，前記複数の情報検索処理が検索条件の入力操作および前記検索条件による検索処理の実行であるときは，前記検索条件の入力操作を開始した時点を前記終了時点として決定する処理を，
前記コンピュータに実行させるための前記付記１の音声データの聞き出し部分特定処理プログラム。

（付記４）前記聞き出し部分特定処理では，前記複数の情報検索処理とともに当該情報検索処理の検索対象とは異なる情報検索処理を抽出したときは，前記複数の情報検索時点の直前の発話長特徴変化時点以降であって，かつ前記異なる情報検索処理が行われた時点以降で最初に顧客の発話が開始された時点を前記開始時点として決定する処理を，
前記コンピュータに実行させるための前記付記１の音声データの聞き出し部分特定処理プログラム。

（付記５）さらに，前記対話音声データから，前記聞き出し部分特定手段によって特定された聞き出し部分を抽出する聞き出し部分抽出処理を，
前記コンピュータに実行させるための前記付記１記載の音声データの聞き出し部分特定処理プログラム。

（付記６）前記聞き出し部分抽出処理では，前記聞き出し部分特定手段によって特定された聞き出し部分から無音の部分を除去した区間を抽出する処理を，
前記コンピュータに実行させるための前記付記５記載の音声データの聞き出し部分特定処理プログラム。

（付記７）顧客とオペレータとの対話内容が録音された対話音声データの中から取り出す聞き出し部分を特定する処理装置であって，
顧客とオペレータとの対話内容が録音された対話音声データを記憶する対話音声データ記憶手段と，
オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を記憶する操作ログ情報記憶手段と，
前記対話音声データ記憶手段に記憶された対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出手段と，
前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定手段と，
前記操作ログ情報記憶手段に記憶された操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定手段とを備える
音声データの聞き出し部分特定処理装置。

（付記８）コンピュータが，顧客とオペレータとの対話内容が録音された対話音声データの中から取り出す聞き出し部分を特定する処理方法であって，
顧客とオペレータとの対話内容が録音された対話音声データを取得する処理過程と，
オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を取得する処理過程と，
前記対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する処理過程と，
前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する処理過程と，
前記操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する処理過程とを備える
音声データの聞き出し部分特定処理方法。

本発明の音声データの聞き出し部分特定処理を実現するモジュール構成例を示す図である。顧客およびオペレータの発話とその発話長の例を示す図である。聞き出し部分の特定処理を説明するための図である。聞き出し部分の特定処理を説明するための図である。聞き出し部分の特定処理を説明するための図である。聞き出し部分の特定処理を説明するための図である。聞き出し部分の特定処理を説明するための図である。コールセンタにおいて実施される本発明の構成例を示す図である。音声データの顧客とオペレータの各発話の関係および発話長情報の例を示す図である。発話長特徴変化時点情報の例を示す図である。操作ログ情報の例を示す図である。発話長特徴変化時点と情報検索時点との時間軸上の関係の例を示す図である。障害聞き出し部分の特定処理を説明するための図である。再生対象音声データの生成処理を説明するための図である。発話長特徴変化時点を特定する処理の処理フローを示す図である。発話長特徴変化時点を特定する処理の処理フローを示す図である。障害聞き出し部分を特定する処理の処理フローを示す図である。障害聞き出し部分を特定する処理の処理フローを示す図である。一連検索判定処理の処理フローを示す図である。

符号の説明

１１発話長算出部
１３発話長特徴変化時点特定部
１５聞き出し部分特定部
２０対話音声情報
２２操作ログ情報
２４発話長情報
２６発話長特徴変化時点情報
２８聞き出し部分特定情報

Claims

コンピュータに，
顧客とオペレータとの対話内容が録音された対話音声データを取得する対話音声データ取得処理と，
オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を取得する操作ログ情報取得処理と，
前記対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出処理と，
前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定処理と，
前記操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定処理とを，
実行させるための音声データの聞き出し部分特定処理プログラム。
前記聞き出し部分特定処理では，前記操作ログ情報から複数の情報検索処理を抽出した場合に，前記抽出した情報検索処理が関連するか否かを判定し，前記複数の情報検索処理が相互に関連する処理であるときは，最後の情報検索時点を前記終了時点として決定する処理を，
前記コンピュータに実行させるための請求項１記載の音声データの聞き出し部分特定処理プログラム。
前記聞き出し部分特定処理では，前記複数の情報検索処理が検索条件の入力操作および前記検索条件による検索処理の実行であるときは，前記検索条件の入力操作を開始した時点を前記終了時点として決定する処理を，
前記コンピュータに実行させるための請求項１記載の音声データの聞き出し部分特定処理プログラム。
前記聞き出し部分特定処理では，前記複数の情報検索処理とともに当該情報検索処理の検索対象とは異なる情報検索処理を抽出したときは，前記複数の情報検索時点の直前の発話長特徴変化時点以降であって，かつ前記異なる情報検索処理が行われた時点以降で最初に顧客の発話が開始された時点を前記開始時点として決定する処理を，
前記コンピュータに実行させるための請求項１記載の音声データの聞き出し部分特定処理プログラム。
顧客とオペレータとの対話内容が録音された対話音声データの中から取り出す聞き出し部分を特定する処理装置であって，
顧客とオペレータとの対話内容が録音された対話音声データを記憶する対話音声データ記憶手段と，
オペレータが前記顧客との応対中に行った操作に関する情報を時間情報とともに登録した操作ログ情報を記憶する操作ログ情報記憶手段と，
前記対話音声データ記憶手段に記憶された対話音声データから，前記対話音声データ中の前記顧客および前記オペレータ各々の発話長を算出する発話長算出手段と，
前記発話長をもとに前記顧客と前記オペレータとの発話の長さにもとづく対話構造を推定し，前記対話構造が変化した時刻を示す発話長特徴変化時点を特定する発話長特徴変化時点特定手段と，
前記操作ログ情報記憶手段に記憶された操作ログ情報から，前記オペレータが所定の内容についての情報検索処理を行った時刻を示す情報検索時点を抽出し，前記情報検索時点を前記対話音声データの聞き出し部分の終了時点として決定し，前記情報検索時点の直前の発話長特徴変化時点を前記聞き出し部分の開始時点として決定する聞き出し部分特定手段とを備える
音声データの聞き出し部分特定処理装置。