JP2021132240A - パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム - Google Patents

パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム Download PDF

Info

Publication number
JP2021132240A
JP2021132240A JP2020024846A JP2020024846A JP2021132240A JP 2021132240 A JP2021132240 A JP 2021132240A JP 2020024846 A JP2020024846 A JP 2020024846A JP 2020024846 A JP2020024846 A JP 2020024846A JP 2021132240 A JP2021132240 A JP 2021132240A
Authority
JP
Japan
Prior art keywords
call
virtual assistant
private
unit
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020024846A
Other languages
English (en)
Other versions
JP7001241B2 (ja
Inventor
慎吾 飯山
Shingo Iiyama
慎吾 飯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2020024846A priority Critical patent/JP7001241B2/ja
Publication of JP2021132240A publication Critical patent/JP2021132240A/ja
Application granted granted Critical
Publication of JP7001241B2 publication Critical patent/JP7001241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Sub-Exchange Stations And Push- Button Telephones (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】バーチャルアシスタントを通話に参加させるための機能をもたない電話機であっても通話中の適切なタイミングでバーチャルアシスタントを通話に参加させる。【解決手段】パケット監視装置1は制御部1a、監視部1bを備える。監視部1bはネットワークにおいて構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する。上記ネットワークは複数の構内電話機とそれら複数の構内電話機を収容する構内交換機とが接続されるものとする。制御部1aは監視部1bで監視された通信パケットデータに対して音声認識処理を実行する。制御部1aはその認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行する。制御部1aはそのバーチャルアシスタントの音声を上記通話にミキシングするミキシング処理を実行する。【選択図】図1

Description

本開示は、パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラムに関する。
官公庁、企業、学校等の構内に設置される構内交換機は、複数の構内電話機を収容し、構内電話機間での通話や外部の電話機との通話を可能にする。
特許文献1には、ユーザ間の音声通信において、ユーザを補助するバーチャルアシスタントを供給するためのシステムが記載されている。特許文献1に記載のシステムでは、バーチャルアシスタントが通話に参加してもよく、通話上のユーザによって呼び出されることで、ユーザに応じて通話から音声指示を識別し、その音声指示に対応するタスクを実行している。
特表2016−533690号公報
しかしながら、特許文献1に記載の技術は、バーチャルアシスタントを呼び出す際に通話者であるユーザがシステム側で意図的に予め定められた音声指示を行う必要があり、またユーザの端末において呼び出しのためのモジュールが必要となる。
よって、バーチャルアシスタントを呼び出すためのモジュールを搭載していない或いは搭載できないような電話機においても、通話中にバーチャルアシスタントを呼び出して参加させるような技術が望まれる。
本開示の目的は、上述した課題を解決することが可能なパケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラムを提供することにある。この課題は、バーチャルアシスタントを通話に参加させるための機能をもたない電話機であっても、通話中の適切なタイミングでバーチャルアシスタントを通話に参加させることを可能にするというものである。
本開示の第1の態様に係るパケット監視装置は、複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、制御部と、を備え、前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、ものである。
本開示の第2の態様に係る構内交換機は、収容する複数の構内電話機を、ネットワークを介して接続する接続部と、前記ネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、制御部と、を備え、前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、ものである。
本開示の第3の態様に係るバーチャルアシスタント呼び出し方法は、パケット監視装置が、複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、前記パケット監視装置が、前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、前記パケット監視装置が、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、前記パケット監視装置が、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、を備えた、ものである。
本開示の第4の態様に係るプログラムは、コンピュータに、複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、を実行させるためのプログラムである。
本開示により、次のような効果を奏するパケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラムを提供することができる。この効果は、バーチャルアシスタントを通話に参加させるための機能をもたない電話機であっても、通話中の適切なタイミングでバーチャルアシスタントを通話に参加させることが可能になるというものである。
実施形態1に係るパケット監視装置の一構成例を示すブロック図である。 図1のパケット監視装置におけるバーチャルアシスタント呼び出し方法の一例を説明するためのフロー図である。 実施形態2に係る構内交換機の一構成例を示すブロック図である。 実施形態3に係るパケット監視装置を含む電話システムの一構成例を示すブロック図である。 図4の電話システムにおけるパケット監視装置を介した通話の一例について概略的に説明するための模式図である。 図4のパケット監視装置において実行される、バーチャルアシスタントを呼び出す前処理の一例を説明するためのフロー図である。 図4のパケット監視装置におけるパケット監視解析部の一例を示すブロック図である。 図4のパケット監視装置におけるパケット監視解析部の一例を示すブロック図である。 実施形態4に係る電話システムにおいてパケット監視装置で実行されるバーチャルアシスタント呼び出し処理の一例を説明するためのブロック図である。 実施形態4に係る電話システムにおいてパケット監視装置で実行されるバーチャルアシスタント呼び出し処理及び音声ミキシング処理の一例を説明するためのブロック図である。 装置のハードウェア構成の一例を示す図である。
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明を省略する場合がある。また、以下に説明する図面には一方向性、双方向性の矢印を描いている図面があるが、いずれの矢印もある信号(データ)の流れの方向を端的に示したものであり、それぞれ双方向性、一方向性を排除するものではない。
<実施形態1>
実施形態1について、まず、図1を参照しながら説明する。図1は、実施形態1に係るパケット監視装置の一構成例を示すブロック図である。
図1に示すように、本実施形態に係るパケット監視装置1は、制御部1a及び監視部1bを備え、図示しないが、複数の構内電話機とそれらの構内電話機を収容する構内交換機とが接続されるネットワークに接続されることができる。
ここで、上記ネットワークは、例えばインターネットやイントラネット等とすることができる。また、構内とは、例えば官公庁、企業、学校等のオフィス内や事業所内などを指すことができる。構内交換機は、パケット通信による通話を中継するものであり、電子構内交換機などと称することができる。構内交換機としては、例えば、IP(Internet Protocol)−PBX(Private Branch eXchanger)が挙げられる。また、構内交換機としては、VoIP(Voice over Internet Protocol)等の外線接続ユニット及びIP電話機等の内線接続ユニットを備えたボタン電話装置なども挙げられる。
構内電話機や構内電話機を用いた通話の通話先となり得る構外電話機はいずれも、パケット通信による通話が可能なものであればよく、例えば固定のIP電話機、携帯電話機(スマートフォンと称されるものも含む)などが挙げられる。構内電話機や構外電話機はいずれも、パケット通信による通話機能が備わっていれば、設置型のPC(Personal Computer)、モバイルPC等の端末装置(端末)などであってもよい。
監視部1bは、上記ネットワークにおいて、構内電話機を少なくとも1つ含む複数の電話機間での通話の通信パケットデータを監視する。つまり、電話機間は、通話時において、パケット監視装置1を経由して接続され、その通話がパケット監視装置1により監視される。よって、監視部1b又はパケット監視装置1の他の部位には、上記ネットワークに接続し通信パケットデータを送受するための通信インタフェース等の通信部を設けておけばよい。
上述のように、監視部1bは、2以上の構内電話機間での通話(内線通話)の通信パケットデータを監視するように構成すること、1以上の構内電話機と1以上の構外電話機との間での通話(外線通話)の通信パケットデータを監視するように構成することができる。無論、監視部1bは、これら双方の構成を採用することができる。なお、3地点以上の通話は、多地点会議と称されることもある。
制御部1aは、監視部1bを制御することができるが、その他の図示しない部位を含め、パケット監視装置1の全体を制御するように構成することができる。制御部1aは、例えば、CPU(Central Processing Unit)、作業用メモリ、及び上述のような制御を行うためのプログラムを記憶した不揮発性の記憶装置などによって実現することができる。また、制御部1aは、例えばIC(Integrated Circuit)によって実現することもできる。制御部1aは、コントローラと称することもできる。
そして、制御部1aは、監視部1bで監視された通信パケットデータに対して音声認識処理を実行する。次いで、制御部1aは、その音声認識処理での認識結果(例えば音声をテキストに変換した結果)に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行する。上記所定のキーワードは予め登録しておくことができる。
ここで、パケット監視装置1は、バーチャルアシスタントを提供するサーバ装置(図示せず)に上記ネットワークを介して接続されることができる。このサーバ装置は、バーチャルアシスタントを提供する装置であり、上記ネットワーク(及び他の外部ネットワーク)を介したパケット監視装置1からの参加要求に応じて、バーチャルアシスタントを提供する。このように、上記呼び出し処理は、上記ネットワークを介してサーバ装置にバーチャルアシスタントを提供させる処理とすることができる。この場合のパケット監視装置1、構内交換機、複数の構内電話機、及びサーバ装置は、電話システムを構成することができる。
また、バーチャルアシスタントは、パケット監視装置1の内部の記憶部(バーチャルアシスタント記憶部と称す)に制御部1aから読み出し可能なように記憶しておくこともできる。この場合の電話システムは、上記のサーバ装置は不要であり、パケット監視装置1、構内交換機、及び複数の構内電話機を含むように構成されることができる。
一方、認識結果に上記所定のキーワードが含まれていなかった場合、制御部1aはこのような呼び出し処理を行わないようにする。無論、制御部1aは、上記所定のキーワードと類似するキーワードが含まれていた場合にも、この呼び出し処理を実行するように構成することができ、このことは認識結果を検索する際に類似検索を適用することでも実現させることができる。
そして、制御部1aは、バーチャルアシスタントの音声を上述の通話にミキシングするミキシング処理を実行する。ミキシング処理の手法は問わない。例えば、制御部1aは、通話にバーチャルアシスタントの音声をミキシングするよう、その通話についての通信パケットデータを変更することができる。
このように、パケット監視装置1は、通信パケットデータを監視し、ユーザにより入力された音声を認識し、所定のキーワードを検出すると、バーチャルアシスタントを呼び出し、その音声を電話機間の通話にミキシングする。
また、制御部1aは、ミキシング処理の後も、監視部1bで監視された通信パケットデータに対して音声認識処理を実行することもできる。その場合、制御部1aは、その音声認識処理での認識結果に他の所定のキーワードが含まれていた場合、バーチャルアシスタントの提供を中止させる中止処理を実行するように構成することができる。
この中止処理は、バーチャルアシスタントの提供先(呼び出し先)に対して行えばよい。例えば、サーバ装置が提供先である場合には、この中止処理は、上記ネットワークを介してサーバ装置に、バーチャルアシスタントを退出(消去)させるよう指示する処理を指すことができる。例えば提供先がバーチャルアシスタント記憶部である場合には、この中止処理は、バーチャルアシスタント記憶部からのバーチャルアシスタント(そのプログラム)の読み出しを中止する処理とすることができる。このような中止処理により、バーチャルアシスタントの音声のミキシングが中止される。
このようなパケット監視装置1におけるバーチャルアシスタント呼び出し方法の一例について、図2を併せて参照しながら説明する。図2は、図1のパケット監視装置におけるバーチャルアシスタント呼び出し方法の一例を説明するためのフロー図である。このバーチャルアシスタント呼び出し方法は、次のような監視ステップ、認識ステップ、呼び出しステップ、及びミキシングステップを含むことができる。
まず、監視ステップとして、パケット監視装置1が、上記ネットワークにおいて、構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する(ステップS1)。認識ステップとして、パケット監視装置1が、監視ステップで監視された通信パケットデータに対して音声認識処理を実行する(ステップS2)。
呼び出しステップとして、パケット監視装置1が、音声認識処理での認識結果に所定のキーワードが含まれているか否かを判定し(ステップS3)、含まれていた場合(YESの場合)、呼び出し処理を実行する(ステップS4)。この呼び出し処理は、パケット監視装置1が、内部のバーチャルアシスタント記憶部からバーチャルアシスタントを呼び出す処理、或いはサーバ装置に上記ネットワークを介してバーチャルアシスタントを提供させる処理とすることができる。
一方、ステップS3でNOの場合、ステップS1に戻り監視を継続する。なお、ステップS2の音声認識結果は、例えば、一定期間保持しておくようにすること、或いは、所定のキーワードに合致しないと判定できる段階まで保持しておくことができる。
ステップS4に次いで、ミキシングステップとして、パケット監視装置1が、呼び出し処理の後、バーチャルアシスタントの音声を通話にミキシングするミキシング処理を実行し(ステップS5)、処理を終了する。
なお、図2の処理は、ミキシング処理後も繰り返し行うことができ、例えば他の実施形態で後述するが他のバーチャルアシスタントを呼び出すこともできる。また、図2の処理後、呼び出したバーチャルアシスタントを消すような処理を行うこともでき、その場合にも同様に他の所定のキーワードが音声認識結果に含まれていた場合に実行することができる。
以上に説明したように、本実施形態に係るパケット監視装置1では、ユーザ間(少なくとも一方が構内電話機を使用するユーザ)の通話をネットワーク上で監視し、その通話中にバーチャルアシスタントの呼び出しを行う。そのため、ユーザは通話中にバーチャルアシスタントを利用することができる。ここで、本実施形態では、2者間の通話中にバーチャルアシスタントを参加させることができるだけではなく、3者以上の通話(電話会議)中にバーチャルアシスタントを参加させるように構成することもできる。
さらに、本実施形態に係るパケット監視装置1によれば、バーチャルアシスタントを通話に参加させるための機能をもたない電話機であっても、バーチャルアシスタントを通話に参加させることが可能になる。
例えば、構内電話機が、スマートフォンのようなアプリケーションソフトウェア(以下、アプリケーション)を追加搭載できるような電話機ではない場合、クライアントモジュールも追加搭載できない。なお、ここでのクライアントモジュールはサーバ装置からバーチャルアシスタントを呼び出すためのクライアントアプリケーションを指す。特に、企業内で一般的に利用される電話システムに収容される多機能電話機は、このようなクライアントモジュールは実装されていないものが多い。しかし、本実施形態では、そのような特別な機能を有する電話機ではなく、単純なIP電話機のような電話機(例えば2者間通話ができる程度の処理能力の電話機)であっても、通話中のバーチャルアシスタントの参加が可能になる。
よって、バーチャルアシスタントの利用を行うに際し、ユーザ用に高性能の電話機やスマートスピーカなどを導入する必要がなく、既存環境を利用することができる。また、スマートフォンのようなアプリケーションを追加搭載できる電話機であっても、バーチャルアシスタントを呼び出すためのクライアントアプリケーション(クライアントモジュール)を追加搭載する必要がない。つまり、本実施形態では、パケット監視装置1を導入することで、パケット監視装置1側でバーチャルアシスタントの呼び出しや音声のミキシングを行うため、構内電話機の処理能力や機能が低くても、通話にバーチャルアシスタントを参加させることができる。
また、本実施形態では、通話中にバーチャルアシスタントをユーザの通話に参加させるに際し、複数のセッションが張られることがなく、それらをミキシングするといった必要がない。例えば、本実施形態では、発信元の電話機において、発信元ユーザ及び発信先ユーザ間のセッションと発信元ユーザ及びバーチャルアシスタント間のセッションとを張る必要がなく、複数のセッションをミキシングする必要もない。なお、このセッションは、例えばSIP(Session Initiation Protocol)セッションを指すことができる。
このように、本実施形態によれば、電話機にバーチャルアシスタントクライアントモジュールを実装する必要がないだけでなく、複数のセッションを張る必要がなく、それらのセッションのミキシングも不要である。
この点からも、本実施形態によれば、特別な機能を有する電話機ではなく、単純なIP電話機のような電話機であっても、通話中のバーチャルアシスタントの参加が可能になると言え、既存環境を利用することができると言える。特に、企業内で一般的に利用される電話システムに収容される多機能電話機は、同時に使用可能なセッション数に制限があることが多く、場合によっては複数のセッションをミキシングして使用することができないことも想定される。しかしながら、本実施形態では、バーチャルアシスタントを参加させる場合に1つのセッションで足りるため、セッションが1つに制限されるような電話機を用いた場合であっても、バーチャルアシスタントの音声をミキシングして使用することができる。
また、ネットワーク帯域はセッション分だけ消費されるが、本実施形態では、セッションは1つで足りるため、ネットワーク帯域の負荷を必要最低限まで低減させることができると言える。
さらに、本実施形態に係るパケット監視装置1によれば、通話中の適切なタイミングでバーチャルアシスタントを通話に参加させることが可能になる。具体的には、本実施形態では、ユーザ間の通話内容を監視して、所定のキーワードが検出された場合にバーチャルアシスタントを参加させることができるため、ユーザが必要となるような場面のみ、バーチャルアシスタントをユーザの通話に参加させることができる。よって、通話中にバーチャルアシスタントを呼び出す場合に、利用するユーザが意図的にバーチャルアシスタントを呼び出す必要がなく、ユーザが意図してアクションを起こす必要がない。
また、本実施形態では、ユーザが必要となるような場面になった時点でバーチャルアシスタントを参加させることができるため、この点からもネットワーク帯域の負荷を抑えることができると言える。また、上述の中止処理も採用することで、ユーザが必要となるような場面のみでバーチャルアシスタントを参加させることができるため、ネットワーク帯域の負荷を必要最低限に抑えることができる。
<実施形態2>
実施形態2について、実施形態1との相違点を中心に図3を参照しながら説明するが、実施形態1で説明した様々な例が適用できる。図3は、実施形態2に係る構内交換機の一構成例を示すブロック図である。
図3に示すように、本実施形態に係る構内交換機2は、制御部2a、監視部2b、及び接続部2cを備える。接続部2cは、収容する複数の構内電話機(図示せず)を、インターネットやイントラネット等のネットワークを介して接続する。接続部2cは、上記ネットワークを介して、呼制御と端末制御(構内電話機の制御)を行い、構外電話機と構内電話機との通話(外線通話)や構内電話機同士の通話(内線通話)を可能にする機能を有することができる。つまり、構内交換機2は、主に接続部2cを有することで、外線を内線に繋ぐ機能、構内電話機を外線に繋ぐ機能、及び構内電話機間を繋ぐ機能を有することができる。
監視部2bは、上記ネットワークにおいて、構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する。監視部2bは、接続部2cで接続された電話機間での通話の通信パケットデータを監視することになる。
構内交換機2としては、実施形態1で説明したように例えばIP−PBX、ボタン電話装置等が挙げられる。また、本実施形態に係る構内交換機2と複数の構内電話機と後述のサーバ装置とを含むシステムは、電話システムと称することができる。本実施形態に係る電話システムは、実施形態1に係る電話システムにおいて、構内交換機の内部にパケット監視装置1を備えたものである。よって、制御部2a、監視部2bは、それぞれ図1の制御部1a、監視部1bの機能を有することになり、本実施形態における構内電話機やサーバ装置の機能も基本的に実施形態1と同様となる。
例えば、制御部2aは、監視部2bで監視された通信パケットデータに対して音声認識処理を実行する。そして、制御部2aは、その音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行する。呼び出し処理がなされた後は、制御部2aは、バーチャルアシスタントの音声を上記通話にミキシングするミキシング処理を実行することになる。
なお、制御部2aは、監視部2b及び接続部2cを制御することができるが、その他の図示しない部位を含め、構内交換機2の全体を制御するように構成することができる。制御部2aは、例えば、CPU、作業用メモリ、及び上述のような制御を行うためのプログラムを記憶した不揮発性の記憶装置などによって実現することができる。また、制御部2aは、例えばICによって実現することもできる。制御部2aは、コントローラと称することもできる。
また、構内交換機2におけるバーチャルアシスタント呼び出し方法は、その主体がパケット監視装置1から構内交換機2(構内交換機2中のパケット監視装置1として機能する部分)に変わる以外、図2を参照して説明したものと同様である。
以上の説明から明らかなように、本実施形態に係る構内交換機2は、実施形態1に係るパケット監視装置1と同様の効果を奏する。
<実施形態3>
実施形態3について、図4〜図10を併せて参照しながら、実施形態1との相違点を中心に説明するが、実施形態1,2で説明した様々な例が適用できる。なお、本実施形態に係るパケット監視装置を実施形態2に適用する場合、実施形態2に係る構内交換機2に本実施形態に係るパケット監視装置の機能を搭載すればよい。図4は、実施形態3に係るパケット監視装置を含む電話システムの一構成例を示すブロック図である。
図4に示すように、本実施形態に係る電話システムは、パケット監視装置10、構内交換機20、構内電話機の例であるユーザ端末30a,30b、及びサーバ装置(以下、単にサーバ)40がネットワークに接続された構成とすることができる。パケット監視装置10、構内交換機20、ユーザ端末30a,30b、サーバ40は、それぞれ実施形態1におけるパケット監視装置1、構内交換機、構内電話機、サーバ装置の例となる。
ユーザ端末30a,30bは、IP電話機等の端末であり、それぞれユーザA,Bが使用する端末として説明する。無論、ユーザ端末30a,30b以外にも構内電話機をネットワーク上に配することができ、また構内電話機は1台であっても外線通話に限ることになるが本実施形態は適用できる。
上述のネットワークは、LAN(Local Area Network)又は無線LANを利用したイントラネット等とすることができ、構外のネットワークとも接続することができる。以下では、本実施形態に係る電話システムが或る企業の社内ネットワークに組み込まれた例を挙げて説明する。なお、この場合、構内交換機20は社内交換機などと称することができる。
本実施形態に係る電話システムは、社内ネットワーク上にIP電話機等のユーザ端末30a,30bを接続し、内線電話網とLANを統合したものとすることができる。ユーザAとユーザBは、構内交換機20の配下に所属しているユーザ端末30aとユーザ端末30bを用い、社内ネットワークを介して通話を行うことができる。
ユーザAのユーザ端末30aとユーザBのユーザ端末30bは構内交換機20の配下に所属しており、社内ネットワークを介して繋がっている。パケット監視装置10は社内ネットワーク内に接続されている。サーバ40は、バーチャルアシスタント41を提供できるように図示しない記憶部に図示しない制御部から呼び出し可能に記憶されることができる。
但し、バーチャルアシスタント41は、パケット監視装置10に内蔵しておくこともでき、その場合、電話システムは、サーバ40を備えない構成、或いはパケット監視装置10にサーバ40が内蔵される構成とすることができる。また、バーチャルアシスタント41は、単体であってもよいが、複数あってもよい。なお、バーチャルアシスタントを複数利用可能にする構成においては、パケット監視装置10内、サーバ40内の双方から呼び出し可能に構成することもできる。
パケット監視装置10は、制御部11及び通信部12を備えることができる。通信部12は、社内ネットワークに接続する通信インタフェースを有することができる。制御部11は、図1の制御部1aの機能と監視部1bの一部の機能を有することができ、本例においては、後述するパケット監視解析部13、バーチャルアシスタント呼び出し部14、及び音声ミキシング部15を有することができる。
制御部11は、通信部12を制御することができるが、その他の図示しない部位を含め、パケット監視装置10の全体を制御するように構成することができる。制御部11は、例えば、CPU、作業用メモリ、及び上述のような制御を行うためのプログラムを記憶した不揮発性の記憶装置などによって実現することができる。また、制御部11は、例えばICによって実現することもできる。制御部11は、コントローラと称することもできる。
次に、パケット監視解析部13、バーチャルアシスタント呼び出し部14、及び音声ミキシング部15について、図5〜図10を参照しながら説明する。
パケット監視解析部13は、ユーザ間の通話の通信パケットデータを監視し、解析する。パケット監視解析部13は、パケットデータ監視解析部と称することもできる。まず、その対象となる通話について、図5を参照しながら説明する。図5は、図4の電話システムにおけるパケット監視装置10を介した通話の一例について概略的に説明するための模式図である。
ユーザ間の通話はパケット通信で行われるが、その際、例えばRTP(Real-time Transport Protocol)等の通信プロトコルを適用することができる。上記の通信パケットデータはRTPパケットのデータとすることができる。また、このパケット通信では、事前に相手との情報のやりとりを行うために、SIPなどの、IPネットワークを介した通話における呼制御処理のための呼制御プロトコルを採用しておくことができる。以下、このパケット通信で送受されるパケットをSIP/RTPパケットと称す。
通話開始からSIP/RTPパケットの監視及び解析までは、次のように実行されることができる。図5の破線矢印で示すように、ユーザAとユーザBは、構内交換機20の配下に所属しているユーザ端末30aとユーザ端末30bで社内ネットワークを介して通話がなされる。このとき、ユーザ端末30aとユーザ端末30bとの通話(通話時のパケット通信)は、SIP/RTPパケットの送受を図5の実線矢印で示すように、パケット監視装置10を必ず仲介して実施される。以下では、この通話は、通信部12を必ず仲介して実行され、通信部12で受信される通信パケットが制御部11のパケット監視解析部13に入力されるものとして説明する。
次に、パケット監視解析部13の詳細について、図6〜図8を参照しながら説明する。図6は、バーチャルアシスタントを呼び出す前処理の一例を説明するためのフロー図である。図7及び図8は、パケット監視解析部13の一例を示すブロック図である。図7はパケット監視解析部13における監視及び解析処理に注目した部分を示す図で、図8はパケット監視解析部13のバーチャルアシスタント呼び出し部14に対する呼び出し前処理に注目した部分を示す図である。
図7に示すように、パケット監視解析部13は、パケット監視部51、SIPヘッダ情報保存部52、及びパケット解析部53を有することができ、ユーザ端末30aとユーザ端末30bの通信パケットデータを監視及び解析する。
パケット監視部51は、SIPヘッダ情報読取部54及びRTPデータ読取部55を有することができる。SIPヘッダ情報読取部54は、通信パケットデータからユーザA及びユーザBのSIPヘッダ情報(発信元/発信先情報)を読み取り、SIPヘッダ情報保存部52に記録し、どのユーザ同士の通話かを通話開始の際に保存しておく。RTPデータ読取部55は、通話開始後、通信パケットデータからRTPデータ(音声データ)を読み取り、その音声データをパケット解析部53に流し込む。
パケット解析部53は、音声データテキスト変換部56、データ比較部57、命令指示部58、及び特定キーワード(KW)登録データベース(DB)59を有することができる。ここで、特定KW登録DB59は、所定のキーワード(以下、特定キーワード)を1又は複数登録しておくことができる。特定KW登録DB59は、パケット監視装置10に搭載された記憶装置に記憶させておけばよい。
音声データテキスト変換部56は、RTPデータ読取部55から流し込まれた音声データを入力し、それをリアルタイムに解析し、テキストへ変換する変換エンジンを有することができる。この変換エンジンは、適切な文節単位で音声データをテキストデータに変換する機能を有することができる。このようにして、音声データテキスト変換部56は音声データをテキスト化する(図6のステップS11)。
データ比較部57は、変換されたテキストデータと特定KW登録DB59に登録済みの特定キーワード(例えば「の説明が必要だ」)を、例えば文節単位で随時比較し、その比較結果を命令指示部58に渡す(ステップS12)。
命令指示部58は、図8に示すように、マッチング判定部58a及びバーチャルアシスタント呼び出し前処理部58bを有することができる。マッチング判定部58aは、データ比較部57での比較の結果、特定KW登録DB59に登録されている特定キーワードとマッチングするワードがテキストデータの中に存在するか否かを判定する(ステップS12)。マッチングするワードが存在した場合(ステップS12でYESの場合)、バーチャルアシスタント呼び出し前処理部58bが次のような前処理を実行する(ステップS13)。一方で、ステップS12でNOの場合、ステップS11に戻り、次以降の文節についてステップS12でYESとなるまで処理を繰り返すことができる。
ステップS13で実行される前処理は、バーチャルアシスタント呼び出し部14にバーチャルアシスタントの呼び出し指示を送る処理である。具体的には、バーチャルアシスタント呼び出し前処理部58b(以下、前処理部58b)が、呼び出し情報をバーチャルアシスタント呼び出し部14に送信する。
この呼び出し情報には、呼び出すことが必要であること(マッチングしたこと)を示す情報又は実際の呼び出し命令を含むことができるが、バーチャルアシスタントにどのような行動(発言を含む)を望むかを示す行動情報も含むことができる。例えば、前処理部58bは、前者の情報としてのmatch_trueと、後者の情報(行動情報)としてのmatch_actionとを、バーチャルアシスタント呼び出し部14に送信することができる。このような行動情報を得るために、特定KW登録DB59には、図8に示すように登録データ59aと行動データ59bとを関連付けて格納しておくことができる。登録データ59aは特定キーワードを登録したデータとし、行動データ59bはその特定キーワードに対して呼び出すバーチャルアシスタントの行動を示すデータとすることができる。なお、特定キーワードと行動とは一対一、一対多もしくは多対一いずれかで対応しているものとする。
一例として、通話中にユーザAが「本件はユーザCさんの説明が必要だ」と発言した場合において、「の説明が必要だ」という特定キーワードが「誰かを呼び出す」という行動データに関連付けられて特定KW登録DB59に登録されていた場合について説明する。この場合、前処理部58bは、テキストデータと「の説明が必要だ」のマッチングにより、マッチングしたことを示す情報(match_true)とそれに対応する行動命令(match_action)とを、バーチャルアシスタント呼び出し部14に送信する。この場合、前処理部58bは、行動命令として、「の説明が必要だ」に関連付けられた行動データ「誰かを呼び出す」を特定KW登録DB59から読み出して得ることができる。
このように、前処理部58bは、マッチングしたことを示す情報とともに、マッチした特定キーワードに対してバーチャルアシスタントが実際に行う行動を示す命令を示す情報を、バーチャルアシスタント呼び出し部14に送信する。バーチャルアシスタント呼び出し部14は、上述のような呼び出し情報を受けて、バーチャルアシスタント呼び出し処理を行うことになる。
次に、図9を参照しながら、このバーチャルアシスタント呼び出し処理の一例について説明する。図9は、パケット監視装置10で実行されるバーチャルアシスタント呼び出し処理の一例を説明するためのブロック図である。
バーチャルアシスタント呼び出し部14は、図9に示すようにバーチャルアシスタント呼び出し処理部14aを有し、パケット解析部53による解析結果から(上記呼び出し情報に基づき)バーチャルアシスタントを呼び出す処理を行う。バーチャルアシスタント呼び出し処理部14aは、マッチングしたことを示す情報match_trueをキーにして(その情報の有無に基づき)、バーチャルアシスタントを呼び出すか否かを決定している。
呼び出すことが決定した場合、バーチャルアシスタント呼び出し処理部14aは、構内交換機20に対し、行動命令(match_action)のパラメータを付与した要求であって、バーチャルアシスタント41と接続する要求を送信する。図9の破線矢印で示すように、構内交換機20は、この要求をサーバ40に伝える。
サーバ40は、構内交換機20から要求を受け、パケット監視装置10と通話セッションを開始する。具体的には、サーバ40のバーチャルアシスタント41は、受信したmatch_actionのデータを読み取り、実行する命令を認識し、サーバ40又はバーチャルアシスタント41がパケット監視装置10とのSIPセッションを確立する。なお、バーチャルアシスタント41は受信したmatch_actionのデータを読み取り、実行する命令を認識する機能を有することができる。
次に、音声ミキシング処理の例について、図10を参照しながら説明する。図10は、パケット監視装置10で実行されるバーチャルアシスタント呼び出し処理及び音声ミキシング処理の一例を説明するためのブロック図である。
図10に示すように、サーバ40とのSIPセッション確立後、バーチャルアシスタント呼び出し処理部14aは、音声ミキシング部15へ、サーバ40とのRTPセッションを接続する。これにより、音声ミキシング部15は、ユーザ端末30aとユーザ端末30bとの間の通話の通信パケットデータにバーチャルアシスタント41の音声をミキシングする音声ミキシング処理を開始する。この時、音声ミキシング部15は、ユーザ端末30aとバーチャルアシスタント41の音声をミキシングしてユーザ端末30bに送信し、ユーザ端末30bとバーチャルアシスタント41の音声をミキシングしてユーザ端末30aに送信する。このようにして、音声ミキシング部15を含むパケット監視装置10は、3者間の通話を成立させる。
音声ミキシング処理の開始後、バーチャルアシスタント41は、受信したmatch_actionの値に基づいたシナリオを実施する。ここでは、ユーザAとユーザBの会話に参加後、例えば、「この会話に誰かを参加させますか?」と発言する。以降の処理については、バーチャルアシスタント41自体の処理(バーチャルアシスタント41のエンジン自体の処理)になるため、その説明を省略する。例えば、ユーザA又はユーザBが「ユーザCさんを参加」と発言するとバーチャルアシスタント41は、ユーザCに電話をかけ、ユーザA及びユーザBの通話に参加させることができる。
また、「本件はユーザCさんの説明が必要だ」と発言した場合について例示した。他の例として、例えば通話中にユーザA又はユーザBが「バーチャルアシスタントの説明が必要だ」と発言した場合には、バーチャルアシスタント41を呼び出し、バーチャルアシスタント41には「何かご用ですか?」などと発言させることができる。
なお、バーチャルアシスタント41の種類/種別、どういった行動をとるエンジンを搭載するのかなどは問わず、どのようなバーチャルアシスタント41であっても本実施形態に適用することができる。
以上のように、本実施形態によれば、実施形態1による効果と同様の効果を奏することができる。
また、特定KW登録DB59で例示したように、パケット監視装置10は、特定キーワードを複数記憶した記憶部を備えることができる。これにより、複数の特定キーワードに対してバーチャルアシスタントの呼び出し処理を行うことができるようになる。
さらに、制御部11は、音声認識結果に含まれる特定キーワードに応じて、呼び出し処理を異ならせることもできる。このような様々な例について、以下に具体的に説明する。
例えば、行動データ59bを読み出して行動命令を指定した例を挙げたように、制御部11は、音声認識結果に含まれる特定キーワードに応じて、出力する音声の内容(行動)及び声質の少なくとも一方を指定して、呼び出し処理を実行することができる。この場合には1つのバーチャルアシスタント41が行動及び声質の少なくとも一方を変更できることを前提としている。なお、バーチャルアシスタントが出力する音声の内容は、バーチャルアシスタントの行動を指すものとすること、或いは行動と対応付けられた内容を指すものとすることができる。
代替処理として、制御部11は、音声認識結果に含まれる特定キーワードを示す情報を指定して、呼び出し処理を実行することもできる。この場合、バーチャルアシスタント41は、指定された情報(によって示される特定キーワード)に応じて、出力する音声の内容(行動)及び声質の少なくとも一方を異ならせるようにすればよい。バーチャルアシスタント41において、特定キーワードを示す情報と採るべき行動及び/又は使用すべき声質とを関連付けておけばよい。
また、制御部11が、音声認識結果に含まれる特定キーワードを示す情報を指定して、呼び出し処理を実行する場合、パケット監視装置10では、指定された情報に応じてバーチャルアシスタントが選択されて提供されるようにすることもできる。但し、この場合、サーバ40及びパケット監視装置10のいずれか一方又は双方によって、バーチャルアシスタントを複数提供可能に構成されることを前提とする。
例えば、サーバ40は、指定された情報に応じてバーチャルアシスタントを選択して提供するようにすることができる。この場合、サーバ40がバーチャルアシスタントを複数提供可能に構成されることを前提とする。或いは、パケット監視装置10は、指定された情報に応じて(換言すれば特定キーワードに応じて)、バーチャルアシスタントを選択して読み出すようにすることができる。この場合、パケット監視装置10のバーチャルアシスタント記憶部がバーチャルアシスタントを複数記憶していることを前提とする。或いは、パケット監視装置10は、指定された情報に応じて、バーチャルアシスタント記憶部及びサーバ40の双方に記憶された複数のバーチャルアシスタントの中から、呼び出すバーチャルアシスタントを選択し、呼び出すこともできる。
また、特定キーワードが通話中のユーザに依らずに共通であることを前提として説明したが、ユーザ毎に適用する特定キーワードを異ならせることもできる。具体的には、制御部11は、まず、通信パケットデータから通話中のユーザ端末(又はそれを利用するユーザ)を特定する。ここで、ユーザ端末の端末情報だけで通話を実施しているユーザ端末を特定することもできるが、ユーザまで特定する場合にもユーザ端末とユーザとを関連付けておけばよい。なお、ユーザの特定をより正確に行うのであれば、例えば、音声認識処理により予め登録したユーザ毎の音声の発話データから実行することもできる。
そして、制御部11は、特定したユーザ端末に応じて、バーチャルアシスタント41を呼び出すトリガ(呼び出し処理のトリガ)とする特定キーワードを異ならせればよい。このトリガとなる特定キーワードは、トリガフレーズ又はウェイクワードなどと称することもでき、後者はバーチャルアシスタント41を呼び起こすためそのように称される。
このようにして、ウェイクワードをユーザ毎に異ならせることができる。なお、1ユーザにつき2つ以上の特定キーワードを使用できるように特定キーワードを登録しておくこともできる。
また、制御部11が1つのユーザ端末(又は1人のユーザ)を特定することを前提として説明した。しかし、制御部11は、少なくとも一方のユーザ端末を特定すればよく、1つのユーザ端末(又は1人のユーザ。以下同様。)でなくても、通話に参加している全て又は一部のユーザ端末の組み合わせを特定してもよい。いずれの場合でも、特定したユーザ端末又はユーザ端末の組み合わせに、バーチャルアシスタント41を呼び出すトリガとする特定キーワードを関連付けて記憶させておけばよい。これにより、特定したユーザ端末又は特定したユーザ端末の組み合わせに応じて、ウェイクワードを異ならせることができる。
また、制御部11は、通信パケットデータから通話中のユーザ端末を特定し、呼び出し処理を実行する場合には、特定したユーザ端末に応じて、バーチャルアシスタントを指定して実行するように構成することもできる。但し、この場合も、サーバ40及びパケット監視装置10のいずれか一方又は双方によって、バーチャルアシスタントを複数提供可能に構成されることを前提とする。
また、制御部11は、監視された通信パケットデータがユーザ端末間の通話の通信パケットデータである場合に、音声認識処理、呼び出し処理、及びミキシング処理を実行するように構成することもできる。つまり、この例では、音声認識処理、呼び出し処理、及びミキシング処理は、内線通話の場合にのみ実行され、外線通話に対しては実行されない。これにより、社外などへの通話が想定される外線通話については、余計なミキシングを行わないようにすることができる。
また、制御部11は、ユーザ端末からの操作に基づき特定キーワードを変更する設定部を有することが好ましい。これにより、ユーザ端末のユーザがバーチャルアシスタントを呼び出すウェイクワードを指定することができるようになり、1つのウェイクワードに固定されることがなくなるため、ユーザ利便性をさらに向上させることができる。
なお、本実施形態で説明した様々な例は、適宜、1又は複数を組み合わせて実装することができる。
<他の実施形態>
上述した各実施形態では、パケット監視装置、構内交換機等の装置の各部について説明したが、各装置としてこれらの機能が実現できればよい。
また、上述した各実施形態では、電話機によるユーザ同士の通話の場面に限って説明した。しかしながら、上述した各実施形態は、テレビ会議やビデオ通話(チャット付きであってもよい)などといった映像を伴う通話に対しても同様に適用することができる。例えば、テレビ会議用の端末側のシステムは構内電話機又は構外電話機を備えると言える。ビデオ通話機能をアプリケーションソフトウェア等により備えるスマートフォン等の端末は、構内電話機又は構外電話機を備えると言える。また、映像を伴う通話に際しては、バーチャルアシスタントとして音声だけではなく映像付きのものを呼び出すようにしておくこともできる。
また、各実施形態に係るパケット監視装置、構内交換機、サーバ装置、電話機等の装置は、次のようなハードウェア構成を有することができる。図11は、各実施形態に係る装置のハードウェア構成の一例を示す図である。
図11に示す装置100は、プロセッサ101、メモリ102、及びインタフェース103を有する。インタフェース103は、図示しない接続対象の装置に接続するためのインタフェースとすることができる。各実施形態で説明した各装置の機能は、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで、必要に応じてインタフェース103と協働しながら実行することにより実現されることができる。このプログラムは、各実施形態で説明したプログラムとすることができる。
上述の例において、上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、この例は、CD−ROM(Read Only Memory)、CD−R、CD−R/Wを含む。さらに、この例は、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、上記プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
さらに、上述した様々な実施形態では、例えば図2を参照するなどしてパケット監視装置におけるバーチャルアシスタント呼び出し方法の手順を説明した。このように、本開示は、パケット監視装置(又はその機能を備えた構内交換機)が実行する監視ステップ、認識ステップ、呼び出しステップ、及びミキシングステップを備えたバーチャルアシスタント呼び出し方法としての形態も採り得る。また、上記プログラムは、パケット監視装置又は構内交換機の内部のコンピュータ(制御コンピュータ)に上述したバーチャルアシスタント呼び出し方法を実行させるためのプログラムであると言える。
なお、本開示は上述した様々な実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
<付記>
(付記1)
複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、
制御部と、
を備え、
前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、
パケット監視装置。
(付記2)
前記所定のキーワードを複数記憶した記憶部を備えた、
付記1に記載のパケット監視装置。
(付記3)
前記制御部は、前記認識結果に含まれる前記所定のキーワードに応じて、前記呼び出し処理を異ならせる、
付記2に記載のパケット監視装置。
(付記4)
前記制御部は、前記認識結果に含まれる前記所定のキーワードに応じて、出力する音声の内容及び声質の少なくとも一方を指定して前記呼び出し処理を実行する、
付記3に記載のパケット監視装置。
(付記5)
前記制御部は、前記認識結果に含まれる前記所定のキーワードを示す情報を指定して前記呼び出し処理を実行し、
前記バーチャルアシスタントは、指定された前記情報に応じて、出力する音声の内容及び声質の少なくとも一方を異ならせる、
付記3に記載のパケット監視装置。
(付記6)
前記バーチャルアシスタントは複数提供可能になっており、
前記制御部は、前記認識結果に含まれる前記所定のキーワードを示す情報を指定して前記呼び出し処理を実行し、
指定された前記情報に応じて前記バーチャルアシスタントが選択されて提供される、
付記3に記載のパケット監視装置。
(付記7)
前記制御部は、前記通信パケットデータから通話中の前記構内電話機を特定し、特定した前記構内電話機に応じて、前記バーチャルアシスタントを呼び出すトリガとする前記所定のキーワードを異ならせる、
付記2〜6のいずれか1項に記載のパケット監視装置。
(付記8)
前記バーチャルアシスタントは複数提供可能になっており、
前記制御部は、前記通信パケットデータから通話中の前記構内電話機を特定し、前記呼び出し処理を実行する場合には、特定した前記構内電話機に応じて、前記バーチャルアシスタントを指定して実行する、
付記1〜7のいずれか1項に記載のパケット監視装置。
(付記9)
前記制御部は、前記監視部で監視された前記通信パケットデータが前記構内電話機間の通話の通信パケットデータである場合に、前記音声認識処理、前記呼び出し処理、及び前記ミキシング処理を実行する、
付記1〜8のいずれか1項に記載のパケット監視装置。
(付記10)
前記制御部は、前記構内電話機からの操作に基づき前記所定のキーワードを変更する設定部を有する、
付記1〜9のいずれか1項に記載のパケット監視装置。
(付記11)
前記制御部は、前記ミキシング処理の後の前記音声認識処理による前記認識結果に他の所定のキーワードが含まれていた場合、前記バーチャルアシスタントの提供を中止させる中止処理を実行する、
付記1〜10のいずれか1項に記載のパケット監視装置。
(付記12)
前記バーチャルアシスタントを提供するサーバ装置に前記ネットワークを介して接続され、
前記呼び出し処理は、前記ネットワークを介して前記サーバ装置に前記バーチャルアシスタントを提供させる処理を含む、
付記1〜11のいずれか1項に記載のパケット監視装置。
(付記13)
前記バーチャルアシスタントを前記制御部から読み出し可能に記憶するバーチャルアシスタント記憶部を備えた、
付記1〜12のいずれか1項に記載のパケット監視装置。
(付記14)
収容する複数の構内電話機を、ネットワークを介して接続する接続部と、
前記ネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、
制御部と、
を備え、
前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、
構内交換機。
(付記15)
パケット監視装置が、複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、
前記パケット監視装置が、前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、
前記パケット監視装置が、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、
前記パケット監視装置が、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、
を備えた、バーチャルアシスタント呼び出し方法。
(付記16)
コンピュータに、
複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、
前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、
前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、
前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、
を実行させるためのプログラム。
1、10 パケット監視装置
1a、11 制御部
1b 監視部
2、20 構内交換機
2a 構内交換機の制御部
2b 構内交換機の監視部
2c 接続部
12 通信部
13 パケット監視解析部
14 バーチャルアシスタント呼び出し部
14a バーチャルアシスタント呼び出し処理部
15 音声ミキシング部
30a、30b ユーザ端末(電話機)
40 サーバ
41 バーチャルアシスタント
51 パケット監視部
52 SIPヘッダ情報保存部
53 パケット解析部
54 SIPヘッダ情報読取部
55 RTPデータ読取部
56 音声データテキスト変換部
57 データ比較部
58 命令指示部
58a マッチング判定部
58b バーチャルアシスタント呼び出し前処理部
59 特定KW登録DB
59a 登録データ
59b 行動データ
100 装置
101 プロセッサ
102 メモリ
103 インタフェース

Claims (10)

  1. 複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、
    制御部と、
    を備え、
    前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、
    パケット監視装置。
  2. 前記所定のキーワードを複数記憶した記憶部を備えた、
    請求項1に記載のパケット監視装置。
  3. 前記制御部は、前記認識結果に含まれる前記所定のキーワードに応じて、前記呼び出し処理を異ならせる、
    請求項2に記載のパケット監視装置。
  4. 前記制御部は、前記通信パケットデータから通話中の前記構内電話機を特定し、特定した前記構内電話機に応じて、前記バーチャルアシスタントを呼び出すトリガとする前記所定のキーワードを異ならせる、
    請求項2又は3に記載のパケット監視装置。
  5. 前記バーチャルアシスタントは複数提供可能になっており、
    前記制御部は、前記通信パケットデータから通話中の前記構内電話機を特定し、前記呼び出し処理を実行する場合には、特定した前記構内電話機に応じて、前記バーチャルアシスタントを指定して実行する、
    請求項1〜4のいずれか1項に記載のパケット監視装置。
  6. 前記制御部は、前記監視部で監視された前記通信パケットデータが前記構内電話機間の通話の通信パケットデータである場合に、前記音声認識処理、前記呼び出し処理、及び前記ミキシング処理を実行する、
    請求項1〜5のいずれか1項に記載のパケット監視装置。
  7. 前記制御部は、前記構内電話機からの操作に基づき前記所定のキーワードを変更する設定部を有する、
    請求項1〜6のいずれか1項に記載のパケット監視装置。
  8. 収容する複数の構内電話機を、ネットワークを介して接続する接続部と、
    前記ネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視部と、
    制御部と、
    を備え、
    前記制御部は、前記監視部で監視された前記通信パケットデータに対して音声認識処理を実行し、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行し、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行する、
    構内交換機。
  9. パケット監視装置が、複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、
    前記パケット監視装置が、前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、
    前記パケット監視装置が、前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、
    前記パケット監視装置が、前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、
    を備えた、バーチャルアシスタント呼び出し方法。
  10. コンピュータに、
    複数の構内電話機と前記複数の構内電話機を収容する構内交換機とが接続されるネットワークにおいて、前記構内電話機を少なくとも1つ含む電話機間での通話の通信パケットデータを監視する監視ステップと、
    前記監視ステップで監視された前記通信パケットデータに対して音声認識処理を実行するステップと、
    前記音声認識処理での認識結果に所定のキーワードが含まれていた場合、バーチャルアシスタントを呼び出す呼び出し処理を実行するステップと、
    前記バーチャルアシスタントの音声を前記通話にミキシングするミキシング処理を実行するステップと、
    を実行させるためのプログラム。
JP2020024846A 2020-02-18 2020-02-18 パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム Active JP7001241B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020024846A JP7001241B2 (ja) 2020-02-18 2020-02-18 パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020024846A JP7001241B2 (ja) 2020-02-18 2020-02-18 パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021132240A true JP2021132240A (ja) 2021-09-09
JP7001241B2 JP7001241B2 (ja) 2022-01-19

Family

ID=77551283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020024846A Active JP7001241B2 (ja) 2020-02-18 2020-02-18 パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7001241B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032388A (ja) * 2001-07-12 2003-01-31 Denso Corp 通信端末装置及び処理システム
JP2016533690A (ja) * 2013-09-25 2016-10-27 アマゾン テクノロジーズ インコーポレイテッド 通話中のバーチャルアシスタント
WO2018068096A1 (en) * 2016-10-13 2018-04-19 Optus Administration Pty Ltd Method and system for offering digital services within a phone call
JP2018525751A (ja) * 2015-09-28 2018-09-06 百度在線網絡技術(北京)有限公司 音声及びビデオ通話のためのインタラクティブ制御方法及び装置
JP2019506659A (ja) * 2015-12-21 2019-03-07 グーグル エルエルシー メッセージング・アプリケーションのための自動提案および他のコンテンツ
US20190189120A1 (en) * 2017-12-08 2019-06-20 Samsung Electronics Co., Ltd. Method for providing artificial intelligence service during phone call and electronic device thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032388A (ja) * 2001-07-12 2003-01-31 Denso Corp 通信端末装置及び処理システム
JP2016533690A (ja) * 2013-09-25 2016-10-27 アマゾン テクノロジーズ インコーポレイテッド 通話中のバーチャルアシスタント
JP2018525751A (ja) * 2015-09-28 2018-09-06 百度在線網絡技術(北京)有限公司 音声及びビデオ通話のためのインタラクティブ制御方法及び装置
JP2019506659A (ja) * 2015-12-21 2019-03-07 グーグル エルエルシー メッセージング・アプリケーションのための自動提案および他のコンテンツ
WO2018068096A1 (en) * 2016-10-13 2018-04-19 Optus Administration Pty Ltd Method and system for offering digital services within a phone call
US20190189120A1 (en) * 2017-12-08 2019-06-20 Samsung Electronics Co., Ltd. Method for providing artificial intelligence service during phone call and electronic device thereof

Also Published As

Publication number Publication date
JP7001241B2 (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
US8380521B1 (en) System, method and computer-readable medium for verbal control of a conference call
US8526587B2 (en) Web guided collaborative audio
US11570217B2 (en) Switch controller for separating multiple portions of call
US20130339455A1 (en) Method and Apparatus for Identifying an Active Participant in a Conferencing Event
JP5079686B2 (ja) 会議参加者を電話呼と関連付ける方法およびシステム
KR20110065345A (ko) N-웨이 선택적 언어 프로세싱을 이용하는 실시간 voip 통신
CA2818776C (en) Method and apparatus for identifying an active participant in a conferencing event
US20200084057A1 (en) Conference session management with mode selection
US11606464B2 (en) System and method for facilitating setup and joining of conference calls
WO2021228005A1 (zh) 会话创建方法、装置及电子设备
US8891411B2 (en) System and method for a conference foyer
US9762632B2 (en) Systems and methods for establishing and controlling conference call bridges
CN107666396B (zh) 一种多终端会议处理方法及装置
CN100493123C (zh) 电话会议***和控制方法
CN101815138B (zh) 一种会议留言方法和设备
JP7001241B2 (ja) パケット監視装置、構内交換機、バーチャルアシスタント呼び出し方法、及びプログラム
KR102056807B1 (ko) 원격 화상 회의 시스템
CN111246156A (zh) 一种基于5g技术的视频会议服务***及其方法
WO2006081728A1 (fr) Procede et systeme de compte rendu par le conferencier actuel au site de la reunion
US20220308825A1 (en) Automatic toggling of a mute setting during a communication session
US20170078339A1 (en) Systems and methods for providing conference calling functions
KR100598351B1 (ko) 이기종 망간의 다자간 회의 장치
JP2006210973A (ja) 通信端末装置およびそのセッション接続方法
CN113727060B (zh) 互联网庭审处理方法、装置及***
US20230261892A1 (en) Audio and video conference implementation method, audio and video conference system, and related apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211216

R150 Certificate of patent or registration of utility model

Ref document number: 7001241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150