JP2011221683A - 接客支援装置、接客支援方法およびプログラム - Google Patents

Abstract

【課題】店員に、顧客満足度をリアルタイムで認識させることで、店員の接客能力を向上させる。
【解決手段】店員と顧客との会話における音声データを取得する音声取得部１０２と、取得した音声データから顧客の音声データを抽出する音声データ抽出部と、抽出した顧客の音声データに基づいて、顧客満足度を算出する顧客満足度算出部１５６と、顧客満足度算出部１５６により算出された顧客満足度を、店員に通知する音声出力部１０３と、を備えた。
【選択図】図６

Description

本発明は、店員による接客を支援する接客支援装置、接客支援方法およびプログラムに関するものである。

従来、小売店などの店舗では、販売促進を目的として、顧客データや売り上げデータを収集し、マーケティングデータとして利用する試みが行われている。例えば、特許文献１では、ＰＯＳデータの分析から消費者の併売傾向を数量的に的確に把握し、販売促進に反映させることができるマーケティングデータ収集分析技術が提案されている。

特開２００７−９４５９２号公報

ところで、マーケティングの分野では、生産性や効率を多少犠牲にしてでも顧客満足度を高めた方が消費者のリピーター化などを通じて結果的には良いと言われている。すなわち、店員による接客では、顧客満足度を認識することが求められている。販売能力の高い店員は、顧客との会話から、当該顧客の顧客満足度を推測し、その推測に基づいて、会話を継続したり会話内容を変更したりする。これによって、顧客の購買意欲を向上させることができる。また、認識した顧客満足度に基づいて、顧客満足度が向上する接客方法を学習し、これが接客能力の向上の一因となっている。
しかしながら、このような顧客満足度の認識方法では、店員の勘や分析能力に頼らざるを得ず、店員によっては、顧客満足度を認識することができないという問題があった。

本発明は、店員に、顧客満足度をリアルタイムで認識させることで、店員の接客能力を向上させることができる接客支援装置、接客支援方法およびプログラムに関するものである。

本発明の接客支援装置は、店員と顧客との会話における音声データを取得する音声データ取得部と、取得した音声データから顧客の音声データを抽出する音声データ抽出部と、抽出した顧客の音声データに基づいて、顧客満足度を算出する顧客満足度算出部と、顧客満足度算出部により算出された顧客満足度を、店員に通知する満足度通知部と、を備えたことを特徴とする。

本発明の接客支援方法は、店員による接客を支援する接客支援装置の接客支援方法であって、接客支援装置は、店員と顧客との会話における音声データを取得する音声データ取得工程と、取得した音声データから顧客を抽出する音声データ抽出工程と、抽出した顧客の音声データに基づいて、顧客満足度を算出する顧客満足度算出工程と、顧客満足度算出工程により算出された顧客満足度を、店員に通知する満足度通知工程と、を実行することを特徴とする。

これらの構成によれば、店員と顧客との会話における音声データに基づいて、顧客満足度を算出し、算出した顧客満足度を店員に通知することにより、店員に顧客満足度を認識させることができる。ゆえに、店員の接客能力を向上させることができる。

上記の接客支援装置において、満足度通知部は、顧客満足度を示す音声を出力することで、顧客満足度を通知することが好ましい。

この場合、満足度通知部は、顧客満足度算出部により算出された顧客満足度に応じて、複数の音声パターンの中から１の音声パターンを選択的に出力することで、顧客満足度を通知することが好ましい。

この場合、満足度通知部は、顧客満足度を示す文字列を表示することで、顧客満足度を通知することが好ましい。

この場合、満足度通知部は、顧客満足度に応じた振動によって、顧客満足度を通知することが好ましい。

これらの構成によれば、顧客満足度を簡単な構成で且つ容易に通知することができる。

この場合、音声データ取得部および満足度通知部は、店員に装着したウェアラブル装置で構成されていることが好ましい。

この構成によれば、音声データ取得部をウェアラブル装置で構成することにより、店員の音声を効率よく取得できる。また、満足度通知部をウェアラブル装置で構成することで、イヤホン等を介し店員のみに顧客満足度を通知できるため、顧客に不快な思いをさせることがない。なお、ここにいう「ウェアラブル装置」とは、店員の人体や衣服に装着可能な装置の意である。

この場合、顧客満足度算出部は、連続する音声の区間を１発話区間としたとき、当該発話区間ごとに顧客満足度を算出する個別満足度算出部と、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を１話し掛け区間、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を１会話区間としたとき、会話区間ごとの顧客満足度の統計量を、会話区間単位の顧客満足度として算出する区間満足度算出部と、を有し、満足度通知部は、会話区間の終了ごとに、会話区間単位の顧客満足度を通知することが好ましい。

この構成によれば、話し掛け区間が途切れない会話区間の終了ごとに、会話区間単位の顧客満足度を通知するため、会話が途切れた後に、顧客満足度が通知される。そのため、顧客との会話が、顧客満足度の通知によって阻害されることがない。また、話し掛け区間が途切れない区間を１単位として、顧客満足度を算出するため、店員が、どの区間の顧客満足度が通知されたかを認識しやすい。

この場合、所定の音声キーワードに関連する関連キーワードを記憶する関連キーワード記憶部と、音声データに含まれる、連続する音声の区間である発話区間のうち、顧客満足度が、所定の閾値に達した発話区間を特定する区間特定部と、特定した発話区間の音声データを音声認識する音声認識部と、音声認識部の認識結果に基づいて、発話区間の音声データに含まれる音声キーワードを抽出する音声キーワード抽出部と、関連キーワード記憶部から、抽出した音声キーワードに関連する関連キーワードを抽出する関連キーワード抽出部と、抽出した関連キーワードを店員に通知する関連キーワード通知部と、を更に備えたことが好ましい。

この場合、関連キーワード記憶部は、関連キーワードとして、音声キーワードにより推定される商品の商品名称、当該商品の商品種別およびキャッチコピーのいずれか少なくとも１つを記憶していることが好ましい。

これらの構成によれば、どんなキーワードが、顧客にとって好評であるかを容易に認識することができる。また、音声キーワードをそのまま通知せず、それに関連する関連キーワードを通知するため、例えば、同じものを示すキーワードを、関連キーワードに統合して、通知することができる。すなわち、店員からすれば、キーワードを分析して、関連キーワードに統合する思考が省けるため、接客効率を向上することができる。また、関連キーワードとして、商品名称を記憶することで、例えば、商品の略称や、商品種別を音声キーワードとして取得した際、それらが示す商品名称に統合して通知することができる。さらに、関連キーワードとして、商品種別を記憶することで、商品名称を音声キーワードとして取得した際、それが属する商品種別に統合して通知することができる。またさらに、関連キーワードとして、キャッチコピーを記憶することで、類似表現のキャッチコピーを取得した際、それら１のキャッチコピーに統合して通知することができる。

この場合、話題ごとに分類された話題キーワードを記憶する話題キーワード記憶部と、連続する音声の区間を１発話区間としたとき、当該発話区間単位で、音声データを音声認識する音声認識部と、音声認識部の認識結果に基づいて、店員および顧客の音声データに含まれる音声キーワードを抽出する音声キーワード抽出部と、話題キーワード記憶部を参照して、発話区間ごとに抽出した音声キーワードに対応する話題キーワードを特定し、当該話題キーワードが属する分類が変化しない発話区間の集合体を、話題区間として特定する話題区間特定部と、を更に備え、満足度算出部は、発話区間ごとに顧客満足度を算出する個別満足度算出部と、話題区間ごとの顧客満足度の統計量を、話題区間単位の顧客満足度として算出する区間満足度算出部と、を有し、満足度通知部は、話題区間の終了ごとに、話題区間単位の顧客満足度を通知することが好ましい。

この構成によれば、話題区間の終了ごとに、話題区間単位の顧客満足度を通知することにより、どの話題が顧客に好評・不評であったかを容易に認識することができる。

本発明のプログラムは、コンピューターに、上記の接客支援方法における各工程を実行させることを特徴とする。

この構成によれば、コンピューターに本プログラムを搭載するだけで、上記の接客支援方法における各工程を実行させることができる。

第１実施形態に係る接客支援システムのシステム構成図である。 店員用端末の制御ブロック図である。 レシートプリンターの制御ブロック図である。 管理サーバーの制御ブロック図である。 発話区間、話し掛け区間、会話区間および接客区間の説明図である。 第１実施形態に係る接客支援システムの機能ブロック図である。 第１実施形態に係る管理サーバー用データベースの説明図である。 音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。 第１実施形態に係る顧客満足度保存テーブルの一例（ａ）、および第２実施形態に係る顧客満足度保存テーブルの一例（ｂ）を示す図である。 商品キーワード用テーブルの一例を示す図である。 非商品キーワード用テーブルの一例を示す図である。 商品満足キーワード管理テーブル、非商品満足キーワード管理テーブルの一例を示す図である。 第１実施形態に係る音声データ保存処理を示すフローチャートである。 第１実施形態に係る接客区間特定処理を示すフローチャートである。 第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。 第１実施形態に係る満足度通知処理を示すフローチャートである。 第１実施形態に係るキーワード記録処理を示すフローチャートである。 第１実施形態に係る発話区間ごとのキーワード処理を示すフローチャートである。 第１実施形態に係るお勧め商品通知処理を示すフローチャートである。 第１実施形態に係る好印象キーワード通知処理を示すフローチャートである。 第２実施形態に係る接客支援システムの機能ブロック図である。 第２実施形態に係る管理サーバー用データベースの説明図である。 第２実施形態に係る話題区間特定処理を示したフローチャートである。 第２実施形態に係る話題区間満足度通知処理を示したフローチャートである。 音声パターンテーブルの一例を示した図である。

［第１実施形態］
以下、添付の図面を参照し、本発明の接客支援装置、接客支援方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の接客支援装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、顧客の感情認識を行い、その結果を顧客満足度の向上や売り上げ向上に生かすべく構築されたものである。そこで、以下の実施形態では、衣料品店の店舗内において、店員に接客されている顧客の感情認識を行う場合を例示する。

図１は、第１実施形態に係る接客支援システムＳＹのシステム構成図である。同図に示すように、接客支援システムＳＹは、店員に装着された体導音センサー１、音声取得用マイク２、音声指示用イヤホン３、および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point Of Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。

体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員のものであるか顧客のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。

音声指示用イヤホン３は、店員の耳に取り付けられ、音声通知用の音声データに基づく音声を出力する。具体的には、音声通知用の音声データとして、顧客満足度を示すメッセージ、並びにお勧め商品や好印象のキーワードを通知するメッセージを通知する。例えば、顧客満足度を示すメッセージとして、「顧客満足度 ５０」等のメッセージを通知し、お勧め商品や好印象のキーワードを通知するメッセージをとして、「お勧め商品は、ストレッチスリムフィットシャツです。」や「好印象のキーワードは、子供の誕生日会です。」等のメッセージを、音声出力する。

店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２の出力データを取得すると共に、音声指示用イヤホン３に、管理サーバー１５からの音声通知用の音声データを出力する。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。

店内カメラ１１は、店内各所の天井などに設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan Tilt Zoom）カメラを採用可能である。

ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。

レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。

管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データを初めとする各種データに基づいて、音声認識、感情認識および顧客満足度の算出などを行う。また、算出した顧客満足度などに基づいた音声通知用の音声データを生成する。

次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を得るためのアンプ部２８およびＡ／Ｄコンバーター２９と、音声取得用マイク２によって取得された音声データを得るためのアンプ部３２およびＡ／Ｄコンバーター３３と、音声指示用イヤホン３に対し音声通知用の音声データを出力するためのアンプ部３５およびＤ／Ａコンバーター３６と、を有している。また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データを記憶するメモリ２６と、電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバーター２９およびＡ／Ｄコンバーター３３から取得したデータに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、Ａ／Ｄコンバーター３３から取得したデータに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。

続いて、図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力Ｉ／Ｆ部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮＩ／Ｆ部４９と、を有している。

制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮＩ／Ｆ部４９を介して、管理サーバー１５に転送する。

続いて、図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮＩ／Ｆ部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、会話区間（店員と顧客との会話の１単位区間）を特定する会話区間特定機能と、会話区間あたりの顧客満足度を算出する満足度算出機能と、顧客満足度が高い会話区間の音声データに基づいて、顧客満足度が高いキーワード（満足キーワード）を記録する満足キーワード記録機能と、算出した顧客満足度や記録した満足キーワードに基づいて、音声通知用の音声データを生成する音声データ生成機能と、を有している。

次に、図５を参照し、各区間の定義について説明する。上記のとおり、同一人物による連続する音声の区間、つまりブレス（息継ぎ）などが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、いずれも２つの発話区間から成る場合を示している。

また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の発話区間の集合体を言う（但し、ＹはＹ＞Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。

また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。

次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹの機能構成について説明する。図６は、接客支援システムＳＹのブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。

体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、音声取得部（音声データ取得部）１０２を有している。音声取得部１０２は、店員および顧客の音声（音声信号）を取得する。音声指示用イヤホン３は、主な機能構成として、音声出力部（顧客満足度通知部、関連キーワード通知部）１０３を有している。音声出力部１０３は、音声通知用の音声データに基づいて、音声を出力する。店員用端末５は、主な機能構成として、音声データ通信部１０５を有している。音声データ通信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、店員発話区間特定機能により、発話検出部１０１の検出結果および音声取得部１０２の音声取得結果に基づいて店員発話区間を特定し、当該店員発話区間の発生を管理サーバー１５に通知する。さらに、管理サーバー１５から、音声通知用の音声データを受信する。なお、実際には、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。

レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。

管理サーバー１５は、主な機能構成として、映像記録部１５１、顧客識別部１５２、会話録音部１５３、音声認識部１５４、顧客感情認識部１５５、顧客満足度算出部１５６、変換データ受信部１５８、満足キーワード記録部１６１、お勧めレベル算出部１６２、好印象レベル算出部１６３、音声データ生成部１６４、および管理サーバー用データベースＤＢを有している。

映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢに記録する。顧客識別部１５２は、映像データに含まれる顔特徴量に基づいて顧客を識別する。具体的には、予め顧客識別情報と顧客の顔特徴量を管理サーバー用データベースＤＢ内に記憶しておき（図７の顧客情報記憶部８１参照）、撮像された顧客の顔特徴量（店内カメラ１１の撮像結果を解析して顔検出を行い、当該顔部分の画像を正規化して算出された顔特徴量）と、管理サーバー用データベースＤＢに記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、店員が店内に複数存在する場合は、店員と顧客との紐付けが必要となるため、店員についても、映像データに含まれる顔特徴量から識別しても良い。つまり、予め店員識別情報と店員の顔特徴量を管理サーバー用データベースＤＢ内に記憶しておき、撮像された店員の顔特徴量と、管理サーバー用データベースＤＢに記憶されている各店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員が接客を行っていると判定する。

会話録音部１５３は、店員と顧客の会話、すなわち音声データ通信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢに記録する）。音声認識部１５４は、会話録音部１５３により録音された録音データに含まれる店員および顧客の音声を認識する。当該音声認識部１５４には、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部が含まれる（いずれも図示省略）。当該音声認識部１５４は、これらを用いて、取得した音声信号を、テキスト情報に変換し、管理サーバー用データベースＤＢに記録する。

顧客感情認識部１５５は、会話に含まれる顧客の音声に基づいて、顧客の感情を認識する。具体的には、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて感情認識を行う。この場合、顧客感情認識部１５５は、発話検出部１０１の検出結果（音声データ通信部１０５により特定された店員発話区間）に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別する。また、顧客感情認識部１５５は、会話録音部１５３の録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客発話区間と店員発話区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客発話区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない感情認識非対象区間（重複区間）を除いて感情認識を行うことで、誤認識を防止することができる。

顧客満足度算出部１５６は、顧客感情認識部１５５の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１５５が発話区間ごとに感情認識を行うことに伴い顧客満足度算出部１５６も、発話区間ごとに顧客満足度を算出する。

変換データ受信部１５８は、変換データ送信部１１３から送信された変換データを受信し、管理サーバー用データベースＤＢに記録する。なお、変換データは、上記の接客データとして記録する売り上げ実績に関する情報を得るために用いられる。したがって、変換データに含まれる情報の中から、レシート番号や合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ実績として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢに記録しても良い。

満足キーワード記録部１６１は、顧客満足度が所定の閾値に達した会話区間の音声認識結果（テキスト情報）を、管理サーバー用データベースＤＢ内のキーワードテーブル８９と照合し、その照合結果に基づいて、顧客満足度の高いキーワード（満足キーワード）と、その関連情報とを、管理サーバー用データベースＤＢに記録する。なお、満足キーワードは、取扱商品を示す商品キーワードと、それ以外の非商品キーワードに分類されている。

お勧めレベル算出部１６２は、満足キーワード記録部１６１によって記録した各商品キーワードのお勧めレベルを算出して、管理サーバー用データベースＤＢに記録する。好印象レベル算出部１６３は、満足キーワード記録部１６１によって記録した各非商品キーワードの好印象レベルを算出して、管理サーバー用データベースＤＢに記録する。お勧めレベルとは、各商品キーワードが示す各商品のお勧め度合いを示す数値である。一方、好印象レベルとは、各非商品キーワードが顧客に与える好印象の度合いを示す数値である。

音声データ生成部１６４は、管理サーバー用データベースＤＢ内の各種データに基づいて、顧客満足度を通知するための満足度通知用の音声データと、お勧め商品や好印象キーワードを通知するためのキーワード通知用の音声データとを生成し、店員用端末５に送信する。

図７は、第１実施形態に係る管理サーバー用データベースＤＢの説明図である。管理サーバー用データベースＤＢは、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７、顧客満足度保存テーブル９２、テキスト情報記憶部８８、キーワードテーブル（関連キーワード記憶部）８９、商品種別キーワード記憶部９０、満足キーワード管理テーブル（データベース）９１として機能する。なお、管理サーバー用データベースＤＢは、店舗ごとに設けられても良いし、複数店舗のデータを一括管理するものであっても良い。

顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、会話録音部１５３により常時録音された音声データを記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データを記憶する。

また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図８（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図８（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図８（ｃ）参照）。

次に、図８を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図８（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される音声データＮｏ．と、連続発話区間の開始時間に相当する録音開始時間と、連続発話区間の終了時間に相当する録音終了時間と、顧客の発声に基づく音声データか、店員の発生に基づく音声データか、または両方の発声に基づく音声データかを示す重複フラグと、音声データの保存先アドレスと、を関連付けたものである。例えば、音声データＮｏ．２０１の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の音声が重複していることを示している。

図８（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、発話区間ごとに付与される店員発話Ｎｏ．と、発話区間の開始時間である店員発話開始時間と、発話区間の終了時間である店員発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、顧客の発声との重複区間の開始時間である重複開始時間と、顧客の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、店員発話Ｎｏ．１００と店員発話Ｎｏ．１０１の発話区間は、インターバルが所定時間（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、店員発話Ｎｏ．１００の発話区間は、その区間全体が顧客の発生と重複していることを示している。

図８（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、発話区間ごとに付与される顧客発話Ｎｏ．と、発話区間の開始時間である顧客発話開始時間と、発話区間の終了時間である顧客発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、店員の発声との重複区間の開始時間である重複開始時間と、店員の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、顧客発話Ｎｏ．１０１と顧客発話Ｎｏ．１０２の発話区間は、インターバルが所定時間（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付加されている。また、顧客発話Ｎｏ．１００の発話区間は、１３秒の区間長さのうち６秒間が店員の発生と重複していることを示している。

次に、図９ないし図１２を参照して、顧客満足度保存テーブル９２、キーワードテーブル８９および満足キーワード管理テーブル９１について説明する。図９（ａ）は、顧客満足度保存テーブル９２の一例を示した図である。図９（ａ）に示すように、顧客満足度保存テーブル９２は、顧客ごと、且つ会話区間ごとの顧客満足度を記憶するものであり、顧客識別情報と、顧客の氏名と、会話区間の開始時間および終了時間と、顧客満足度と、を関連付けて記憶している。

キーワードテーブル８９は、商品キーワード（商品名称）を記憶する商品キーワード用テーブル８９ａと、非商品キーワードを記憶する非商品キーワード用テーブル８９ｂと、を有している。図１０は、商品キーワード用テーブル８９ａの一例を示した図である。商品キーワード用テーブル８９ａは、取扱商品を示す商品キーワード（商品名称：関連キーワード）と、当該取扱商品が該当する商品種別を示す複数の商品種別キーワード（商品種別：音声キーワード）と、を関連付けて記憶している。各商品キーワードには、「品目」、「サイズ」、「色」、「形状」および「加工方法」といった項目毎に１以上の商品種別キーワードが登録されている。例えば、商品キーワード「ストレッチスリムフィットシャツ」に対し、「品目」として、「ワイシャツ」、「長袖シャツ」、「シャツ」が、「サイズ」として、「Ｓ」、「Ｍ」、「Ｌ」等が、色として、「ＯＦＦ」、「ＷＨＩＴＥ」、「ＬＩＧＨＴ」、「ＧＲＡＹ」等が、「形状」として、「スリム」、「フィット」、「細め」等が、「加工方法」として、「イージーケアー」、「形状記憶」、「ストレッチ」等が、商品種別キーワードとして、関連付けて記憶されている。項目別の各商品種別キーワードには、取扱商品との関連の度合いを示す関連レベルが設定されている。例えば、「ワイシャツ」、「長袖シャツ」には、「レベル３」が設定され、「シャツ」には、「レベル２」が設定されている。また、各項目には、配点が付加されており、各関連レベルには、係数が付加されている。これらは、後述のマッチング度を算出する際に用いられる。

図１１は、非商品キーワード用テーブル８９ｂの一例を示した図である。非商品キーワード用テーブル８９ｂは、カテゴリー別に非商品キーワードを記録したテーブルである。カテゴリーとして、「人間関係」、「勤務先・通学先関連」、「趣味関連」、「イベント関連」、「身分関連」、「地名関連」、「日時関連」といったメインカテゴリーと、その各サブカテゴリーと、を有しており、非商品キーワード用テーブル８９ｂは、メインカテゴリーごとのテーブルによって構成されている。例えば、メインカテゴリー「人間関係」は、「家族」「友人」といった第１サブカテゴリーを有し、さらに、第１サブカテゴリー「家族」は、「父親」「母親」「兄」等といった第２サブカテゴリーを有している。「人間関係」−「家族」−「父親」のカテゴリーには、「父親」「お父さん」「父」「親父」といった非商品キーワードが登録されている。他のカテゴリーにおいても同様に、サブカテゴリーがあり、また、非商品キーワードが複数登録されている。

テキスト情報記憶部８８は、音声認識部１５４による音声認識結果として得られたテキスト情報を記憶する。商品種別キーワード記憶部９０は、後述のキーワード記録処理の際、抽出した商品種別キーワードを記憶する。

満足キーワード管理テーブル９１は、顧客（顧客識別情報）毎に生成されるものであり、商品満足キーワード管理テーブル９１ａと、非商品満足キーワード管理テーブル９１ｂと、を有している。図１２（ａ）は、商品満足キーワード管理テーブル９１ａの一例を示した図である。商品満足キーワード管理テーブル９１ａは、満足キーワード記録部１６１によって記録された商品キーワードと、その関連情報とを関連付けて記憶するテーブルである。厳密には、商品満足キーワード管理テーブル９１ａは、複数回、同じ商品キーワードを記録する場合、統合して記録するものであり、複数の商品キーワードと、当該各商品キーワードの、品目、お勧めレベル、複数回の記録処理に亘るマッチング度の平均値、記録回数、複数の記録処理に亘る顧客満足度の平均値、最終発声年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間を記録する。なお、複数回の記録処理に亘るマッチング度の平均値、複数の記録処理に亘る顧客満足度の平均値、最終発声年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間については、後述する。

図１２（ｂ）は、非商品満足キーワード管理テーブル９１ｂの一例を示した図である。非商品満足キーワード管理テーブル９１ｂは、第１キーワードの非商品キーワードと第２キーワードの非商品キーワードとの組ごとに、その関連情報を記憶し、また複数回、同じ非商品キーワードの組を記録する場合、統合して記録するテーブルである。非商品満足キーワード管理テーブル９１ｂは、第１キーワードの非商品キーワードと、第２キーワードの非商品キーワードと、この非商品キーワードの組に対する、好印象レベル、記録回数、複数回の記録処理に亘る顧客満足度の平均値と、最終発声年月日と、発話済みフラグの有無と、を記憶している。

次に、図１３のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。

店員用端末５は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）（音声データ取得工程）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。

続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。

管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図８（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。

次に、図１４ないし図１７のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１４は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１５ないし図１７は、そのサブルーチンを示すフローチャートである。図１４に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。これらＳ２１〜Ｓ２３の工程により、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。

次に、図１５のフローチャートを参照し、図１４のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話区間開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、音声レベル判定機能のパワーフィルターにより音声レベルを判定し、所定レベル以上の場合、音声発話による検出データであることを確定する（Ｓ３３）。なお、フローチャートには特に図示しないが、検出レベルまたは音声レベルが所定レベル未満の場合は、処理を終了する。音声発話による検出データであることを確定する。また、音声発話による検出データであることを確定すると、音声発話に続く無音声区間から店員発話区間終了時間を確定し、メモリ２６内に記録する。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話区間開始時間および店員発話区間終了時間も送信する。

一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図８（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。

次に、図１６のフローチャートを参照し、図１４のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないと看做して、処理を終了する。

次に、図１７のフローチャートを参照し、図１４のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５（制御部５３）は、顧客話し掛け区間Ｂの特定が終了した後、顧客発話区間管理テーブル８７を参照し、図１５の処理にて特定された店員発話区間の店員発話開始時間から所定時間前までに、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在するか否かを判別する（Ｓ５１）。ここで、顧客発話区間が存在する場合は（Ｓ５１：Ｙｅｓ）、顧客の話し掛け区間特定処理が既に終了しているものと看做し、処理を終了する。また、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在しない場合は（Ｓ５１：Ｎｏ）、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、未処理の音声データが存在するか否かを判別する（Ｓ５２）。ここで、未処理の音声データが存在しない場合は（Ｓ５２：Ｎｏ）、顧客話し掛け区間Ａが存在しないものと看做し、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５２：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５３）。

その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５４）、存在する場合は（Ｓ５４：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５４）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５４：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないと看做して、処理を終了する。

以上、図１３ないし図１７の処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図８（ａ）の重複フラグ欄における「客・店」に相当）。

次に、図１８のフローチャートを参照し、満足度通知処理について説明する。この満足度通知処理は、会話区間を特定する都度、すなわち会話区間の終了ごとに行われるものであり、顧客満足度をリアルタイムで通知するものである。図１８に示すように、まず、管理サーバー１５（制御部５３）は、顧客発話区間管理テーブル８７により、特定した会話区間に含まれる各顧客発話区間を抽出し（Ｓ６１）、音声データ管理テーブル８５により、各顧客発話区間の音声データを抽出する（Ｓ６２）（音声データ抽出部）（音声データ抽出工程）。

各顧客発話区間の音声データを抽出したら、顧客感情認識部１５５により、当該顧客発話区間ごとの音声データに基づいて、当該発話区間ごとに感情認識を行う（Ｓ６３）。その後、顧客満足度算出部１５６により、顧客感情認識部１５５の認識結果に基づいて、各顧客発話区間の顧客満足度を算出する（Ｓ６４）（個別満足度算出部）。各顧客発話区間の顧客満足度を算出したら、これに基づいて、当該会話区間の顧客満足度を算出する（Ｓ６５）（区間満足度算出工程）（顧客満足度算出工程）。具体的には、算出した各顧客発話区間の顧客満足度における平均値を、会話区間の顧客満足度として算出する。

会話区間の顧客満足度を算出したら、算出した顧客満足度を、当該会話区間の情報と共に、顧客満足度保存テーブル９２に記録する（Ｓ６６）。具体的には、算出した顧客満足度を、顧客識別情報と、顧客の氏名と、会話区間の開始時刻および終了時刻と関連付けて記録する。なお、顧客識別情報は、顧客識別部１５２により会話区間において会話する顧客を識別した結果に基づくものであり、顧客の氏名は、当該顧客識別情報に対応する顧客の名称を、顧客情報記憶部８１から抽出する。

算出した会話区間の顧客満足度を記録したら、当該顧客満足度に基づく満足度通知用のテキストデータを生成する（Ｓ６７）。具体的には、満足度通知用のテキストデータとして、会話区間の顧客満足度を通知するメッセージ、例えば、顧客満足度が「５０」である場合、「顧客満足度『５０』」というメッセージのテキストデータを生成する。テキストデータを生成したら、音声データ生成部により、当該テキストデータに基づいて、そのメッセージを発声する満足度通知用の音声データを生成する（Ｓ６８）。満足度通知用の音声データを生成したら、音声データ通信部１０５により、当該音声データを店員用端末５に送信する（Ｓ６９）。

店員用端末５を介して、満足度通知用の音声データを受信した音声指示用イヤホン３は、満足度通知用の音声データを出力して（Ｓ７０）、当該会話区間の顧客満足度を店員に通知する（満足度通知工程）。これにより本処理を終了する。

次に、図１９のフローチャートを参照し、キーワード記録処理について説明する。このキーワード記録処理は、満足キーワード管理テーブル９１を、接客区間ごとにリアルタイムで更新する処理である。すなわち、１接客区間を特定する都度に、接客区間単位でキーワード記録処理を行う。まず、管理サーバー１５（制御部５３）は、顧客満足度保存テーブル９２から、上記接客区間特定処理で特定した接客区間内の各会話区間における顧客満足度を抽出する（Ｓ８１）。各会話区間の顧客満足度を抽出したら、顧客満足度が所定の閾値（例えば、７０）に達した会話区間を抽出する（Ｓ８２）（区間特定部）。当該会話区間が抽出されなかった場合（Ｓ８３：Ｎｏ）には、本処理を終了する。

顧客満足度が所定の閾値に達した会話区間を１以上抽出した場合（Ｓ８３：Ｙｅｓ）には、音声データ管理テーブル８５により、抽出した各会話区間に含まれる全発話区間の音声データ（区間データ）を抽出する（Ｓ８４）。その後、抽出した各発話区間の音声データに対し、音声認識部１５４により音声認識を行い、音声認識結果として得られたテキスト情報をテキスト情報記憶部８８に記憶する（Ｓ８５）。

発話区間ごとのテキスト情報を抽出・記憶したら、当該テキスト情報に基づいて、発話区間ごとのキーワード処理を行う（Ｓ８６）。ここで図２０を参照し、発話区間ごとのキーワード処理（Ｓ８６）について詳しく説明する。

図２０に示すように、管理サーバー１５（制御部５３）は、まず、商品キーワード用テーブル８９ａに登録された商品種別キーワードから、発話区間ごとのテキスト情報に含まれる１以上の商品種別キーワードを抽出する（Ｓ９１）（音声キーワード抽出部）。例えば、「私、ボタンダウンのシャツが好きなんですよ」という発言の音声データに基づき、「ボタンダウン」および「シャツ」という商品種別キーワードを抽出して、商品種別キーワード記憶部９０に記憶する。いずれの商品種別キーワードも抽出されなかった場合（Ｓ９２：Ｎｏ）には、後述の非商品キーワードの抽出処理（Ｓ９９〜Ｓ１０２）に移行する。

一方、１以上の商品種別キーワードが抽出された場合（Ｓ９２：Ｙｅｓ）には、抽出した１以上の商品種別キーワードに基づいて、商品キーワード用テーブル８９ａに記憶された１以上の商品キーワードを抽出する（Ｓ９３）（関連キーワード抽出部）（キーワード抽出工程）。具体的には、商品キーワード用テーブル８９ａにおいて、当該１以上の商品種別キーワードを関連付けて記憶している商品キーワード（特定商品名称）を抽出する。例えば、商品種別キーワードとして、「ボタンダウン」および「シャツ」という商品種別キーワードが抽出された場合には、これを商品種別キーワードとして記憶した商品キーワード「ファインオックスフォードシャツ」を抽出する。なお、同一項目に属する複数の商品種別キーワードが抽出された場合には、関連レベルや抽出数に基づいて、いずれか１の商品種別キーワードを参考キーワードとする。また、上記１以上の商品種別キーワードを関連付けて記憶した商品キーワードが複数存在する場合には、複数の商品キーワードを抽出する。

１以上の商品キーワードを抽出したら、当該各商品キーワードのマッチング度を算出する（Ｓ９４）。マッチング度は、抽出した上記１以上の商品種別キーワードの組が、当該各商品キーワードを示すものであったか否かの度合いを示す数値である。具体的には、抽出した各商品種別キーワードに対し、当該各商品種別キーワードが属する項目の配点と、当該各商品種別キーワードの関連レベルにおける係数とを乗算し、その全商品種別キーワードの乗算値を合計した数値を、マッチング度とする（マッチング度＝Σ｛項目の配点×関連レベルの係数｝）。

抽出した各商品キーワードのマッチング度を算出したら、各商品キーワードのマッチング度が所定の閾値に達しているか否かを判別する（Ｓ９５）。抽出した各商品キーワードのマッチング度が、いずれも所定の閾値に達しなかった場合（Ｓ９６：Ｎｏ）には、後述の非商品キーワード抽出処理（Ｓ９９〜Ｓ１０２）に移行する。一方、いずれかの商品キーワードが所定の閾値に達している場合（Ｓ９６：Ｙｅｓ）には、お勧めレベル算出部１６２により、所定の閾値に達した商品キーワードのお勧めレベルを算出する（Ｓ９７）。具体的には、以下の式に示すように、お勧めレベルを、複数回の記録処理に亘るマッチング度の平均値と、複数回の記録処理に亘る顧客満足度の平均値と、記録回数と、に基づいて算出する（お勧めレベル＝Ａ・（平均マッチング度）×Ｂ・（平均顧客満足度−５０）×Ｃ・（抽出数）（０≦（Ａ，Ｂ，Ｃ）≦１）。ここにいう「複数回の記録処理に亘るマッチング度の平均値」（平均マッチング度）とは、本キーワード処理による当該キーワードに対し算出したマッチング度と、過去のキーワード処理において当該キーワードを記録した際に算出した各マッチング度との平均値を示すものである。また、「複数回の記録処理に亘る顧客満足度の平均値」（平均顧客満足度）とは、本キーワード処理において当該キーワードを抽出した発話区間の顧客満足度と、過去のキーワード処理において当該キーワードを抽出した発話区間の各顧客満足度との平均値を示すものである。なお、過去に一度も当該キーワードを記録していない場合には、本キーワード処理のマッチング度、発話区間の顧客満足度をそのまま、上記各値とする。

その後、満足キーワード記録部１６１により、当該各商品キーワードを満足キーワードとして、その関連情報に関連付けて、商品満足キーワード管理テーブル９１ａに記録する（Ｓ９８）。具体的には、関連情報として、当該各商品キーワードの品目、お勧めレベル、複数回の記録処理に亘るマッチング度の平均値、記録回数、複数回の記録処理に亘る顧客満足度の平均値、最終発話年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間を記録する。購入済みフラグの有無は、当該商品キーワードの商品が購入済みか否かを示すものであり、レシートプリンター１３からの変換データを参照し、これに基づいて記録する。最終発声年月日は、最後に発声した日付を示し、発話済みフラグの有無は、現日付（今日の日付）において当該商品キーワードを店員または顧客が発声したか否かを示し、また発話経過時間とは、現日付において当該商品キーワードを発声した後の経過時間を示すものであり、音声データ記憶部８３の音声データ（厳密には、現日付において特定した全接客区間における音声データを音声認識して得られたテキスト情報）に基づいて、これらを記録する。これにより、本処理を終了する。

次に、非商品キーワード抽出処理（Ｓ９９〜１０２）について説明する。非商品キーワード抽出処理では、まず、管理サーバー１５（制御部５３）は、非商品キーワード用テーブル８９ｂに登録された非商品キーワードから、発話区間ごとのテキスト情報に含まれる非商品キーワードを抽出する（Ｓ９９）。例えば、「先週、札幌のスキー場に行きました。」という発言の音声データに基づき、「先週」、「札幌」および「スキー場」という非商品キーワードを抽出する。いずれの非商品キーワードも抽出されなかった場合（Ｓ１００：Ｎｏ）には、本処理を終了する。

一方、１以上の非商品キーワードが抽出された場合（Ｓ１００：Ｙｅｓ）には、抽出した１以上の非商品キーワードから、第１キーワードと第２キーワードとを決定する（Ｓ１０１）。具体的には、まず、「人間関係」、「勤務先・通学先関連」、「趣味関連」の順に照合し、１の非商品キーワードが各メインカテゴリーに該当すると判定された場合には、判定された時点で、これを第１キーワードとして決定する。

第１キーワードを決定したら、続いて、第２キーワードを決定する。具体的には、第１キーワード以外の非商品キーワードを、「イベント関連」、「日時関連」、「身分関連」、「地名関連」の順に照会し、そのメインカテゴリーに該当するか否かを判別する。該当すると判別された時点で、該当した非商品キーワードを、第２キーワードとして決定する。なお、本フローチャートでは省略するが、第１キーワードもしくは第２キーワードに決定される非商品キーワードがなかった場合には、本処理を終了する。

第１キーワードと第２キーワードが決定したら、好印象レベル算出部１６３により、この非商品キーワードの組（第１キーワードおよび第２キーワードの組）に対する好印象レベルを算出する。具体的には、以下の式に示すように、複数回の記録処理に亘る顧客満足度の平均値と、記録回数とに基づいて算出する（好印象レベル＝Ｂ・（平均顧客満足度―５０）×Ｃ・（抽出数）（０≦（Ｂ，Ｃ）≦１））。その後、当該非商品キーワードの組を満足キーワードとして、その関連情報に関連付けて、非商品満足キーワード管理テーブル９１ｂに記録する（Ｓ１０２）。関連情報として、好印象レベル、記録回数、複数回の記録に亘る顧客満足度の平均値、最終発声年月日および発話済みフラグの有無を記録する。この発話区間ごとの本キーワード処理（Ｓ８６）によって、キーワード記録処理を終了する。

次に図２１のフローチャートを参照し、お奨め商品通知処理について説明する。お奨め商品通知処理は、接客区間の開始時（接客区間終了後の次の音声データを取得した際）に行われる。図１９に示すように、管理サーバー１５（制御部５３）は、音声データ生成部１６４により、商品満足キーワード管理テーブル９１ａを参照し、キーワード通知用のテキストデータを生成する（Ｓ１１１）。具体的には、商品満足キーワード管理テーブル９１ａから、購入フラグおよび発話フラグがなく、且つ現時点でお奨めレベルが最も高い商品キーワードを抽出し、それを付加したメッセージ、例えば、「お奨め商品は、『ストレッチスリムシャツ』です。」というメッセージのテキストデータを作成する。次に、当該テキストデータに基づいて、そのメッセージを発声するキーワード通知用の音声データを生成する（Ｓ１１２）。キーワード通知用の音声データを生成したら、音声データ通信部１０５により、当該音声データを店員用端末５に送信する（Ｓ１１３）。店員用端末５を介して、キーワード通知用の音声データを受信した音声指示用イヤホン３は、当該キーワード通知用の音声データを出力する。これによって、お奨め商品を店員に通知する（Ｓ１１４）。これにより本処理を終了する。

次に図２２のフローチャートを参照し、好印象キーワード通知処理について説明する。好印象キーワード通知処理は、お勧め商品通知処理と同様、接客区間の開始時（接客区間終了後の次の音声データを取得した際）に行われる。図２２に示すように、管理サーバー１５（制御部５３）は、非商品満足キーワード管理テーブル９１ｂを参照し、キーワード通知用のテキストデータを生成する（Ｓ１１６）。具体的には、非商品満足キーワード管理テーブル９１ｂから、発話フラグがなく、且つ現時点で好印象レベルが最も高い非商品キーワードの組を抽出し、これを付加したメッセージ、例えば、「子供」が第１キーワード、「誕生日会」が第２キーワードである場合、「好印象キーワードは、『子供』の『誕生日会』です。」というメッセージのテキストデータを生成する。次に、当該テキストデータに基づいて、そのメッセージを発声するキーワード通知用の音声データを生成する（Ｓ１１７）。音声データ通信部１０５により、音声データを生成したら、当該音声データを店員用端末５に送信する（Ｓ１１８）。店員用端末５を介してキーワード通知用の音声データを受信した音声指示用イヤホン３は、当該キーワード通知用の音声データを出力する（Ｓ１１９）。これによって、好印象キーワードを店員に通知する。これにより本処理を終了する。

［第２実施形態］
次に、図２３ないし図２６を参照して第２実施形態の接客支援システムＳＹについて特に異なる部分のみについて説明する。本実施形態の接客支援システムＳＹでは、管理サーバー１５は、図４の構成に加え、会話区間ごとの話題キーワードを抽出し、当該話題キーワードが変化しない会話区間の集合体を、話題区間として特定する話題区間特定機能と、話題区間単位の顧客満足度を通知する話題区間満足度通知機能と、を備えている。また、図２３に示すように、管理サーバー１５は、図６の構成に加え、話題区間を特定する話題区間特定部２０３を有している。さらに、図２４に示すように、管理サーバー用データベースＤＢは、図７の機能に加え、区間データ記憶部９３として機能する。図９（ｂ）に示すように、顧客満足度保存テーブル９２は、図９（ａ）のデータに加え、話題区間単位の顧客満足度を記憶する。なお、話題キーワードは、１会話区間内で話題となったキーワードであり、話題区間は、当該話題キーワードに変化のない連続する会話区間の集合体とする。

ここで図２５のフローチャートを参照し、話題区間特定処理について説明する。この話題区間特定処理は、会話区間の集合体である話題区間を特定する処理であるため、接客区間特定処理において会話区間を特定する都度、所定のループ処理（Ｓ１２２〜Ｓ１３７）を行って、話題区間を特定するものである。

図２５に示すように、管理サーバー１５（制御部５３）は、会話区間が特定されると（Ｓ１２１：Ｙｅｓ）、特定された会話区間を、対象の会話区間としてループ処理（Ｓ１２２〜Ｓ１３７）を行う。なお、１つ前のループ処理で対象となった会話区間を、以下、前回の会話区間と呼称する。ループ処理では、まず、図２０（Ｓ９１〜Ｓ９８）と同様の方法で、対象の会話区間に含まれる各発話区間の商品キーワードを抽出する（Ｓ１２２）。具体的には、まず、音声データ管理テーブル８５により、会話区間に含まれる各発話区間の音声データを抽出する。各発話区間の音声データを抽出したら、音声認識部１５４により、当該音声データの音声認識を行う。その後、音声認識部１５４の音声認識結果として得られたテキスト情報を、テキスト情報記憶部８８に記憶する。テキスト情報を抽出・記憶したら、商品キーワード用テーブル８９ａから、テキスト情報に含まれる１以上の商品種別キーワード（音声キーワード）を抽出する（音声キーワード抽出部）。その後、抽出した１以上の商品種別キーワード（関連キーワード）に基づいて、商品キーワードを抽出する。

次に、図２０（Ｓ９９〜Ｓ１０２）と同様の方法で、当該会話区間に含まれる各発話区間において、非商品キーワードの組を抽出する（Ｓ１２３）（単位キーワード抽出部）。具体的には、非商品キーワード用テーブル８９ｂにより、上記テキスト情報に含まれる１以上の非商品キーワードを抽出する。その後、抽出した非商品キーワードから、第１キーワードと第２キーワードとを決定することで、非商品キーワードの組を抽出する。

これらによって、会話区間全体として、いずれかのキーワード（商品キーワードもしくは非商品キーワードの組）が抽出された場合（Ｓ１２４：Ｙｅｓ）には、会話区間全体における、商品キーワードと、非商品キーワードの組と、の抽出数を比較する（Ｓ１２５）。非商品キーワードの組の抽出数が多い場合（Ｓ１２６：Ｂ）には、抽出した１以上の非商品キーワードの組のうち、最も抽出数の多い非商品キーワードの組を話題キーワードに決定する（Ｓ１２７）。一方、商品キーワードの抽出数が多い場合（Ｓ１２６：Ａ）には、抽出した１以上の商品キーワードの各マッチング度を算出する（Ｓ１２８）。抽出した１以上の商品キーワードのうち、マッチング度が所定の閾値を超える商品キーワードがある場合（Ｓ１２９：Ｙｅｓ）には、当該商品キーワードを話題キーワードに決定する（Ｓ１３０）。

いずれのキーワード（商品キーワードもしくは非商品キーワードの組）も抽出されなかった場合（Ｓ１２４：Ｎｏ）や、マッチング度が所定の閾値を越える商品キーワードがないと判定された場合（Ｓ１２９：Ｎｏ）には、前回の会話区間における話題キーワードを、当該会話区間の話題キーワードに決定する（Ｓ１３１）。

対象の会話区間の話題キーワードを決定したら、対象の会話区間の話題キーワードと、前回の会話区間の話題キーワードとが同一であるか否かを判別する（Ｓ１３２）。話題キーワードが同一である場合（Ｓ１３３：Ｙｅｓ）には、区間データ記憶部９３に会話区間（厳密には、会話区間の開始時間および終了時間）を記録して（Ｓ１３４）、本ループ処理を終了する（会話区間の特定待ち状態（Ｓ１２１）に戻る）。一方、話題キーワードが同一でない場合には、話題区間特定部２０３により、区間データ記憶部９３に記憶した１以上の会話区間の集合体を、１話題区間として特定する（Ｓ１３５）。その後、区間データ記憶部９３内の全ての会話区間を削除する（Ｓ１３６）と共に、今回対象となった会話区間を区間データ記憶部９３に記録して（Ｓ１３７）、ループ処理を終了する（会話区間の特定待ち状態（Ｓ１２１）に戻る）。このように、区間データ記憶部９３に記憶した会話区間の集合体を、話題区間として順に特定していく。

次に、図２６のフローチャートを参照し、話題区間満足度通知処理について説明する。この話題区間満足度通知処理は、話題区間を特定する都度、すなわち話題区間の終了ごとに行われるものである。図２６に示すように、まず、管理サーバー１５（制御部５３）は、顧客満足度保存テーブル９２により、話題区間に含まれる各会話区間の顧客満足度を抽出する（Ｓ１４１）。次に、抽出した各会話区間の顧客満足度に基づいて、話題区間の顧客満足度を算出する（Ｓ１４２）（区間満足度算出部）。具体的には、抽出した各会話区間の顧客満足度における平均値を、話題区間の顧客満足度として算出する。

話題区間の顧客満足度を算出したら、算出した当該顧客満足度に基づく満足度通知用のテキストデータを生成する（Ｓ１４３）。具体的には、満足度通知用のテキストデータとして、話題区間の顧客満足度を通知するメッセージ、例えば、顧客満足度が「４０」である場合、「話題区間の顧客満足度『４０』」というメッセージのテキストデータを生成する。テキストデータを生成したら、音声データ生成部１６４により、当該テキストデータに基づいて、そのメッセージを発声する満足度通知用の音声データを生成する（Ｓ１４４）。満足度通知用の音声データを生成したら、音声データ通信部１０５により、当該音声データを店員用端末５に送信する（Ｓ１４５）。

店員用端末５を介して、満足度通知用の音声データを受信した音声指示用イヤホン３は、満足度通知用の音声データを出力して（Ｓ１４６）、当該話題区間の顧客満足度を店員に通知する。これにより本処理を終了する。

以上の各実施形態によれば、店員と顧客との会話における音声データに基づいて、顧客満足度を算出し、算出した顧客満足度を店員に通知することにより、店員に顧客満足度を認識させることができる。ゆえに、店員の接客能力を向上させることができる。

また、顧客満足度を示す音声を出力することで、顧客満足度を簡単な構成で且つ容易に通知することができる。

さらに、音声データ取得部をウェアラブル装置である音声取得用マイク２で構成することにより、店員の音声を効率よく取得できる。また、満足度通知部をウェアラブル装置である音声指示用イヤホン３で構成することで、店員のみに顧客満足度を通知できるため、顧客に不快な思いをさせることがない。ここにいう「ウェアラブル装置」とは、店員の人体や衣服に装着可能な装置の意である。

またさらに、所定の閾値に達した発話区間を特定し、特定した発話区間の音声データに含まれる音声キーワード（商品種別キーワード）を抽出すると共に、それに関連する関連キーワード（商品キーワード）を抽出して店員に通知することにより、どんなキーワードが、顧客にとって好評であるかを店員に容易に認識させることができる。また、音声キーワードをそのまま通知せず、それに関連する関連キーワードを通知するため、音声キーワードを関連キーワードに統合して、通知することができる。すなわち、店員からすれば、音声キーワードを分析して、関連キーワードに統合する思考が省けるため、接客効率を向上することができる。なお、商品の略称をキーワードテーブル８９に記憶し、商品の略称を、商品キーワードに統合して通知する構成であっても良い。

また、上記第１実施形態の構成によれば、話し掛け区間が途切れない会話区間の終了ごとに、会話区間単位の顧客満足度を通知するため、会話が途切れた後に、顧客満足度が通知される。そのため、顧客との会話が、顧客満足度の通知によって阻害されることがない。また、話し掛け区間が途切れない区間を１単位として、顧客満足度を算出するため、店員が、どの区間の顧客満足度が通知されたかを認識しやすい。

また、上記第２実施形態の構成によれば、話題区間の終了ごとに、話題区間単位の顧客満足度を通知することにより、どの話題が顧客に好評・不評であったかを容易に認識することができる。

なお、上記各実施形態においては、会話区間終了ごとや話題区間終了ごとに当該区間の顧客満足度を算出して通知する構成であったが、顧客発話区間終了ごと、もしくは顧客話し掛け区間終了ごとに、当該区間の顧客満足度を算出して通知する構成であっても良いし、接客区間終了ごとに、当該区間の顧客満足度を算出し、通知する構成であっても良い。さらに、接客区間の終了ごとに、話題区間ごとの、もしくは会話区間ごとの顧客満足度を通知する構成や、話題区間の終了ごとに、会話区間ごとの顧客満足度を通知する構成であっても良い。

なお、上記各実施形態においては、関連キーワードとして、商品キーワードを記憶する構成であったが、関連キーワードとして、商品種別キーワード（商品種別）を記憶し、音声キーワードとして、商品キーワードを記憶する構成であっても良い。かかる場合、商品キーワードを音声キーワードとして取得した際、それが属する商品種別キーワードに統合して通知することができる。例えば、「ストレッチスリムフィットシャツ」や「ファインオックスフォードシャツ」といった商品キーワードを取得した際、それが属する商品種別の商品種別キーワードである「シャツ」を通知する。またさらに、関連キーワードとして、キャッチコピーを記憶し、音声キーワードとして、類視表現の複数のキャッチコピーを記憶する構成であっても良い。かかる場合、類似表現のキャッチコピーを取得した際、それら１のキャッチコピーに統合して通知することができる。キャッチコピーとは、接客する際の宣伝文句であり、例えば、「似合う」「お似合い」「似合います」といった類似表現のキャッチコピーを取得した際、「似合う」を通知する。

また、上記各実施形態においては、管理サーバー１５で顧客満足度を通知するメッセージの音声データを生成し、音声指示用イヤホン３によって、これを出力することで、店員に顧客満足度を通知する構成であったが、予め複数の音声パターンを記憶しておき、顧客満足度に応じて、複数の音声パターンの中から１の音声パターンを選択的に出力して、顧客満足度を通知する構成であっても良い。例えば、顧客満足度レベルとして、顧客満足度を段階的に区分し、顧客満足度レベルごとのビープ音パターンを記憶する音声パターンテーブル（図２７参照）を有し、算出した顧客満足度に応じたビープ音パターンを出力して、顧客満足度を通知する。なお、図示省略したが、ビープ音パターンとして、顧客レベル１に対し、「ピ」というパターンを、顧客レベル５に対し、「ピ・ピ・ピ・ピ・ピ」というビープ音パターンを対応付けて記憶する。

さらに、上記各実施形態においては、音声指示用イヤホン３による音声出力によって、顧客満足度を店員に通知する構成であったが、顧客満足度を示す満足度通知用のテキストデータ（文字列）を表示して、顧客満足度を店員に通知する構成であっても良い。例えば、店員が装着するヘッドマウントディスプレイによって、テキストデータを表示するものであっても良いし、電子ペーパーを利用したブレスレッド状の表示機器によって、テキストデータを表示する構成であっても良い。また、飲食業のような業態であれば、注文用のハンディターミナルの表示画面に、当該テキストデータを表示する構成であっても良いし、時計・宝石店のようなカウンター越しに接客を行う業態であれば、カウンターの下に小型のディスプレイを設置して、当該テキストデータを表示する構成であっても良い。

また、さらに、顧客満足度に応じた振動によって、顧客満足度を通知する構成であっても良い。例えば、店員用端末５に搭載するバイブレーション機能や別体のバイブレーターにより、その顧客満足度に応じた振動によって、顧客満足度を通知する。

なお、上記各実施形態においては、発話区間の顧客満足度の平均値を、会話区間の顧客満足度としたが、顧客満足度の統計量であればこれに限るものではなく、例えば、発話区間の顧客満足度の最大値、中央値、最小値、標準偏差等を、会話区間の顧客満足度としても良い。話題区間の顧客満足度を算出する場合においても同様である。

３：音声指示用イヤホン、 １５：管理サーバー、 ５３：制御部、 １０２：音声取得部、 １０３：音声出力部、 １５４：音声認識部、 １５６：顧客満足度算出部、 ２０３：話題区間特定部、 ＳＹ：接客支援システム

Claims (12)

1. 店員と顧客との会話における音声データを取得する音声データ取得部と、
   取得した前記音声データから前記顧客の音声データを抽出する音声データ抽出部と、
   抽出した前記顧客の音声データに基づいて、顧客満足度を算出する顧客満足度算出部と、
   前記顧客満足度算出部により算出された顧客満足度を、前記店員に通知する満足度通知部と、を備えたことを特徴とする接客支援装置。
2. 前記満足度通知部は、前記顧客満足度を示す音声を出力することで、前記顧客満足度を通知することを特徴とする請求項１に記載の接客支援装置。
3. 前記満足度通知部は、前記顧客満足度算出部により算出された前記顧客満足度に応じて、複数の音声パターンの中から１の音声パターンを選択的に出力することで、前記顧客満足度を通知することを特徴とする請求項２に記載の接客支援装置。
4. 前記満足度通知部は、前記顧客満足度を示す文字列を表示することで、前記顧客満足度を通知することを特徴とする請求項１に記載の接客支援装置。
5. 前記満足度通知部は、前記顧客満足度に応じた振動によって、前記顧客満足度を通知することを特徴とする請求項１に記載の接客支援装置。
6. 前記音声データ取得部および前記満足度通知部は、前記店員に装着したウェアラブル装置で構成されていることを特徴とする請求項１ないし５のいずれかに記載の接客支援装置。
7. 前記顧客満足度算出部は、
   連続する音声の区間を１発話区間としたとき、当該発話区間ごとに前記顧客満足度を算出する個別満足度算出部と、
   所定時間以上途切れないまま繰り返される前記店員または前記顧客の前記発話区間の集合体を１話し掛け区間、前記店員と前記顧客の前記話し掛け区間が所定時間以上途切れないまま交互に繰り返される前記話し掛け区間の集合体を１会話区間としたとき、前記会話区間ごとの前記顧客満足度の統計量を、前記会話区間単位の顧客満足度として算出する区間満足度算出部と、を有し、
   前記満足度通知部は、前記会話区間の終了ごとに、前記会話区間単位の前記顧客満足度を通知することを特徴とする請求項１ないし６のいずれかに記載の接客支援装置。
8. 所定の音声キーワードに関連する関連キーワードを記憶する関連キーワード記憶部と、
   前記音声データに含まれる、連続する音声の区間である会話区間のうち、前記顧客満足度が、所定の閾値に達した会話区間を特定する区間特定部と、
   特定した前記会話区間の音声データを音声認識する音声認識部と、
   前記音声認識部の認識結果に基づいて、前記会話区間の音声データに含まれる音声キーワードを抽出する音声キーワード抽出部と、
   前記関連キーワード記憶部から、抽出した前記音声キーワードに関連する関連キーワードを抽出する関連キーワード抽出部と、
   抽出した前記関連キーワードを前記店員に通知する関連キーワード通知部と、を更に備えたことを特徴とする請求項７に記載の接客支援装置。
9. 前記関連キーワード記憶部は、前記関連キーワードとして、前記音声キーワードにより推定される商品の商品名称、当該商品の商品種別およびキャッチコピーのいずれか少なくとも１つを記憶していることを特徴とする請求項８に記載の接客支援装置。
10. 話題ごとに分類された話題キーワードを記憶する話題キーワード記憶部と、
    連続する音声の区間を１発話区間としたとき、当該発話区間単位で、前記音声データを音声認識する音声認識部と、
    前記音声認識部の認識結果に基づいて、前記店員および前記顧客の音声データに含まれる音声キーワードを抽出する音声キーワード抽出部と、
    前記話題キーワード記憶部を参照して、前記発話区間ごとに抽出した前記音声キーワードに対応する前記話題キーワードを特定し、当該話題キーワードが属する分類が変化しない前記発話区間の集合体を、話題区間として特定する話題区間特定部と、を更に備え、
    前記満足度算出部は、
    前記発話区間ごとに前記顧客満足度を算出する個別満足度算出部と、
    前記話題区間ごとの前記顧客満足度の統計量を、前記話題区間単位の顧客満足度として算出する区間満足度算出部と、を有し、
    前記満足度通知部は、前記話題区間の終了ごとに、前記話題区間単位の前記顧客満足度を通知することを特徴とする請求項１ないし６のいずれかに記載の接客支援装置。
11. 店員による接客を支援する接客支援装置の接客支援方法であって、
    前記接客支援装置は、店員と顧客との会話における音声データを取得する音声データ取得工程と、
    取得した前記音声データから前記顧客を抽出する音声データ抽出工程と、
    抽出した前記顧客の音声データに基づいて、顧客満足度を算出する顧客満足度算出工程と、
    前記顧客満足度算出工程により算出された顧客満足度を、前記店員に通知する満足度通知工程と、を実行することを特徴とする接客支援方法。
12. コンピューターに、請求項１１に記載の接客支援方法における各工程を実行させるためのプログラム。

Images