JP7484138B2 - 検索用端末装置、検索システム、及び検索方法 - Google Patents
検索用端末装置、検索システム、及び検索方法 Download PDFInfo
- Publication number
- JP7484138B2 JP7484138B2 JP2019209700A JP2019209700A JP7484138B2 JP 7484138 B2 JP7484138 B2 JP 7484138B2 JP 2019209700 A JP2019209700 A JP 2019209700A JP 2019209700 A JP2019209700 A JP 2019209700A JP 7484138 B2 JP7484138 B2 JP 7484138B2
- Authority
- JP
- Japan
- Prior art keywords
- voice data
- candidate
- external device
- personal information
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 66
- 230000008520 organization Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 description 53
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Description
このような要望に対して、例えば特許文献1には、2以上の通信端末により同時に通話可能な電話会議システムに接続可能な通信端末であって、既知の人物の声紋を記憶する記憶手段と、電話会議システムで発言している発言者の音声の声紋を取得する声紋取得手段と、声紋取得手段で取得された声紋と記憶手段に記憶されている声紋とを照合する声紋照合手段と、声紋照合手段による声紋照合の結果を出力する出力手段と、を備えた通信端末が開示されている。
本発明は、上述の事情に鑑みてなされたものであり、相手に対して所定音の発声を促すことなく、相手の検索を可能にすることを目的とする。
本発明の特徴について、以下の図面を用いて詳細に解説する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図1は、本発明の一実施形態に係る検索システムの概要を示したシステム構成図である。
図1に示す検索システムでは、遠隔会議サーバ1と、社員情報サーバ2と、遠隔会議実施端末3(3A乃至3D)と、アプリ実行端末4(4A乃至4D)とが、通信ネットワークNW1、NW2を介して相互にデータを送受信可能に接続された構成を有している。通信ネットワークNW1、NW2は、例えば社内のLAN(Local Area Network、有線又は無線)NW1や移動体通信網NW2が使用される。移動体通信網NW2では、例えば基地局BSを通じて複数の通信端末が通信可能に接続される。
遠隔会議サーバ1と遠隔会議実施端末3は遠隔会議システムを構成しており、複数の遠隔会議実施端末3A乃至3Dが遠隔会議サーバ1に対して通信可能に接続されると、各遠隔会議実施端末3A乃至3Dの間で映像と音声の送受信が可能になる。遠隔会議サーバ1への接続には、遠隔会議実施端末3(3A乃至3D)を使用する社員(使用者)の社員ID(IDentification)とパスワードが使用される。
アプリ実行端末4では、アプリによって検索対象者の音声を録音すると録音データ(対象者音声データ)を生成し、当該録音データを遠隔会議サーバ1に送信する。遠隔会議サーバ1は、受信した録音データの声紋と声情報DB104aに記憶された音声データの声紋とを比較し、録音データと声紋が一致する音声データの有無を判定する。遠隔会議サーバ1は、録音データと声紋が一致した音声データを抽出した時には、当該音声データの社員IDを社員情報サーバ2に送信し、当該社員IDに対応する社員情報を社員情報サーバ2から受信する。遠隔会議サーバ1は受信した社員情報をアプリ実行端末4に送信し、アプリ実行端末4は受信した社員情報を表示する。
次に遠隔会議サーバ1について説明する。図3は、遠隔会議サーバ1のハードウェア構成図である。ここでは、遠隔会議サーバ1のハードウェア構成について説明する。
図3に示されているように、遠隔会議サーバ1は、コンピュータによって構築されており、CPU101、ROM102、RAM103、HD(Hard Disk)104、HDD(Hard Disk Drive)コントローラ105、ディスプレイ106、外部機器接続I/F(Interface)108、ネットワークI/F109、データバス110、キーボード111、ポインティングデバイス112、DVD-RW(Digital Versatile Disk Rewritable)ドライブ114、メディアI/F116を備えている。
これらのうち、CPU101は、遠隔会議サーバ1における全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。HD104は、プログラム等の各種データを記憶する。HDDコントローラ105は、CPU101の制御にしたがってHD104に対する各種データの読み出し又は書き込みを制御する。ディスプレイ106は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F108は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F109は、通信ネットワークNW1、NW2を利用してデータ通信をするためのインターフェースである。データバス110は、CPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
図4(a)に示すように、HD104における一部の領域は、声情報DB104a、及び接続情報DB104bとして使用されている。図4(b)に示すように、声情報DB104aは、遠隔会議中の社員の音声に基づいて遠隔会議実施端末3が生成した音声データA乃至N(声情報)を、社員IDに関連付けて記憶している。なお、声情報DB104aに音声データが登録されている社員は検索時における候補者である。従って、声情報DB104aに登録された音声データは、候補者音声データである。図4(c)に示すように、接続情報DB104bは、遠隔会議実施端末3やアプリ実行端末4が遠隔会議サーバ1に接続した時に、各端末3、4の現在位置を示す現在位置情報を当該各端末3、4から取得し、各端末3、4を使用している使用者(社員)のスケジュール情報を社員情報サーバ2(社員情報DB204a)から取得し、各情報を社員IDに関連付けて記憶している。なお、接続情報DB104bは、遠隔会議サーバ1に接続中の各端末3、4を対象にしており、遠隔会議サーバ1との通信が切断された各端末3、4については情報が消去される。
なお、遠隔会議実施端末3の現在位置情報は、遠隔会議実施端末3の使用者が社員検索時における候補者に対応し、且つ遠隔会議実施端末3の現在位置情報が候補者の現在位置を示すことから、候補者位置情報である。また、アプリ実行端末4の現在位置情報は、アプリ実行端末4が検索対象者を検索するための検索用端末装置であることから、端末位置情報である。
次に社員情報サーバ2について説明する。図5は社員情報サーバ2のハードウェア構成図である。ここでは、社員情報サーバ2のハードウェア構成について説明する。
図5に示されているように、社員情報サーバ2は、コンピュータによって構築されており、CPU201、ROM202、RAM203、HD204、HDDコントローラ205、ディスプレイ206、外部機器接続I/F208、ネットワークI/F209、データバス210、キーボード211、ポインティングデバイス212、DVD-RWドライブ214、メディアI/F216を備えている。
なお、これらの各部は、図3で説明した遠隔会議サーバ1のCPU101、ROM102、RAM103、HD104、HDDコントローラ105、ディスプレイ106、外部機器接続I/F108、ネットワークI/F109、データバス110、キーボード111、ポインティングデバイス112、DVD-RWドライブ114、メディアI/F116と同じ構成であるため、詳細な説明は省略する。
図6(a)に示すように、HDの一部の領域は社員情報DB204aとして使用されている。図6(b)に示すように、社員情報DB204aは、例えば、社員の名前を示す名前情報、社員の所属部署を示す所属部署情報(所属する組織を示す組織情報)、社員のスケジュールを示すスケジュール情報、社員の役職を示す役職情報、社員の顔写真の写真データ等を、社員IDと関連付けて記憶している。なお、社員情報DB204aの各社員情報は、当該社員の入社に伴って登録され、所属や役職等の変更に伴って内容が更新され、当該社員の退職に伴って消去される。
次に、遠隔会議実施端末3について説明する。図7は、遠隔会議実施端末3のハードウェア構成図である。
図7に示されているように、遠隔会議実施端末3は、GPS(Global Positioning System)によって位置検出が可能なコンピュータによって構築されており、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD(Solid State Drive)305、メディアI/F307、操作ボタン308、電源スイッチ309、GPS受信部310、ネットワークI/F311、CMOS(Complementary Metal-Oxide-Semiconductor)312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319a、バスライン321を備えている。
これらのうち、CPU301は、遠隔会議実施端末3の全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDを用いてもよい。
操作ボタン308は、遠隔会議実施端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、遠隔会議実施端末3の電源のON/OFFを切り換えるためのスイッチである。GPS受信部310は、GPS衛星からGPS信号を受信する。
近距離通信回路319は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。また、バスライン321は、CPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
次に、アプリ実行端末4について説明する。図8は、アプリ実行端末4のハードウェア構成図である。図8に示されているように、アプリ実行端末4は、例えばスマートフォンによって構築されており、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS受信部411を備えている。
これらのうち、CPU401は、アプリ実行端末4の全体の動作を制御する。ROM402は、CPU401やIPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、アプリ実行端末4で実行されるアプリ(コンピュータプログラム)や各種データ等の読み出し又は書き込みを行う。CMOSセンサ405は、CPU401の制御に従って被写体(主に使用者側の自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサ405に代えて、CCDセンサ等の撮像手段を用いてもよい。撮像素子I/F406は、CMOSセンサ405の駆動を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。
これらのうち、遠距離通信回路412は、アンテナ412a、及び通信ネットワークNW1、NW2を介して、他の機器と通信する回路である。CMOSセンサ413は、CPU401の制御に従って被写体(使用者とは反対側の画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F414は、CMOSセンサ413の駆動を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御に従ってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。ディスプレイ418は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFCやBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ418を押下することで、アプリ実行端末4を操作する入力手段の一種である。
また、アプリ実行端末4は、バスライン410を備えている。バスライン410は、CPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、アプリ実行端末4は、上述した遠隔会議実施端末3と共通の端末装置としてもよい。例えば、GPSによって位置検出が可能なコンピュータやスマートフォンに対し、アプリ実行端末4用のコンピュータプログラム、及び遠隔会議実施端末3用のコンピュータプログラムの両方をインストールすることにより、1台のコンピュータやスマートフォンをアプリ実行端末4、及び遠隔会議実施端末3として共用できる。
アプリ実行端末4では、CPU401がEEPROM404に記憶されたアプリを読み出して、RAM403に展開して実行することにより、人物の検索に関する各種処理を行う。各種処理の実行に伴って、ディスプレイ418には実行中の処理に応じた画像が表示され、アプリ実行端末4の使用者による入力操作を促したり、使用者に処理の状況を知らせたり、検索結果を表示させたりする。
図9に示すように、アプリ実行端末4においてアプリを実行すると、相手(検索対象者)の声の録音を促す内容の画面がディスプレイ418に表示される。例えば、表示領域441内の上側半部に「相手の声を録音してください」旨のメッセージ442aが表示され、メッセージ442aの下方に「録音する」旨のボタン画像443aが表示されている。さらに、ボタン画像443aの左下方にはホーム画面を表示させる時に操作されるHomeボタン画像444が表示され、ボタン画像443aの右下方には検索履歴を表示させる時に操作される履歴ボタン画像445が表示されている。
図9の表示画面からアプリ実行端末4の使用者(端末使用者)がボタン画像443aを操作すると、タッチパネル421が操作を検知し、相手の声の録音が開始される。
図1、及び図2にて説明したように、複数の遠隔会議実施端末3が遠隔会議サーバ1に通信可能に接続されて遠隔会議が行われると、遠隔会議サーバ1は、遠隔会議に参加した社員について、当該社員の音声データを社員IDに関連付けて声情報DB104aに記憶する。
検索対象者を検索するためにアプリ実行端末4の使用者がアプリを実行し、遠隔会議サーバ1に対して通信可能に接続すると、アプリ実行端末4は検索対象者の音声を録音する。例えば、アプリ実行端末4は、マイク415によって一定期間集音した検索対象者の音声をデジタル変換して録音データ(対象者音声データ)を生成し、RAM403に一時記憶する。また、アプリ実行端末4は、検索対象者と端末間で通話している時には、検索対象者が使用している端末が送信した音声データを録音データとしてRAM403に一時記憶する。
RAM403に一時記憶された録音データは、アプリ実行端末4から遠隔会議サーバ1に送信される。遠隔会議サーバ1は、受信した録音データの声紋を声情報DB104aに登録された音声データの声紋と比較し、声紋が一致する音声データの有無を判定する。遠隔会議サーバ1では、例えば、所定のプログラムを実行することにより、録音データや音声データに対して周波数分析等を行って検索対象者や声情報DB104aに登録された社員(候補者)の音声データの声紋を取得し、声紋同士が一致しているか否かを判定する。
音声データに基づく検索処理において、遠隔会議サーバ1は、検索の効率を高めるため、声情報DB104aに登録された各音声データに対して優先順位を付し、優先順位の高い音声データを優先順位が低い音声データよりも先に比較対象にする。
また、遠隔会議サーバ1は、アプリ実行端末4(検索用端末装置)の使用者の社員IDに基づき、当該使用者の所属部署(使用者組織情報)を社員情報サーバ2の社員情報DB204aから取得し、端末使用者と同じ所属部署(候補者組織情報)の社員について音声データを優先的に比較してもよい。このように、端末使用者と同じ所属部署の社員の音声データを、異なる所属部署の社員の音声データよりも優先して比較すると、端末使用者と関わりが深い社員が優先されるため、検索対象者を効率よく抽出することができる。なお、所属部署に関しては、現在の所属部署の他、過去の所属部署を加えてもよい。
さらに、遠隔会議サーバ1は、社員情報DB204aに記憶された候補者のスケジュールを参照し、候補者のスケジュールに基づいて音声データの検索時における優先順位を定めてもよい。例えば、検索時点におけるスケジュールがアプリ実行端末4の使用者と一致している社員(候補者)の音声データを、一致していない社員の音声データよりも優先的に比較してもよい。このように、候補者のスケジュールに基づいて音声データの検索時における優先順位を定めることにより、検索対象者を効率よく抽出することができる。
次に、遠隔会議サーバ1による音声データの登録処理について説明する。この登録処理は、例えば、CPU101がHD104に記憶されたコンピュータプログラムをRAM103に展開して実行することによって実現される。図15は、遠隔会議サーバ1における音声データの登録処理を示すフローチャートである。
図15に示すように、音声データの登録処理において遠隔会議サーバ1は、遠隔会議実施端末3から社員ID、及びパスワードを受信したか否かを判定する(S1)。遠隔会議サーバ1は、社員ID等を受信するまで待機しており(S1,No)、社員ID等を受信した時には(S1,Yes)、入力された社員ID等によって認証ができたか否かを判定する(S2)。認証ができなかった時には(S2,No)、当該遠隔会議実施端末3による会議への参加を拒否し(S3)、一連の処理を終了する。
認証ができた時には(S2,Yes)、遠隔会議実施端末3から当該遠隔会議実施端末3の位置情報を取得し、且つ社員情報サーバ2(社員情報DB204a)から遠隔会議実施端末3を使用している社員のスケジュールを取得する(S4)。これらの情報(遠隔会議実施端末3の位置情報,スケジュール情報)は接続情報DB104bに登録される。なお、接続情報DB104bに登録された当該各情報は、遠隔会議実施端末3と遠隔会議サーバ1との通信が切断された時に接続情報DB104bから消去される。
遠隔会議サーバ1は、遠隔会議実施端末3から音声データを受信した時には(S5,Yes)、受信した音声データの声紋を分析し、声紋照合に使用できるか否かを判定する(S7)。そして、声紋照合に使用できない時には(S8,No)、S5の処理に戻って音声データを受信したか否かを判定する。
声紋照合に使用できる時には(S8,Yes)、声情報DB104aに登録されていない音声データか否かを判定し(S9)、登録済みの音声データであった時には(S9,No)、S5の処理に戻って音声データを受信したか否かを判定する。一方、未登録の音声データであった時には(S9,Yes)、声情報DB104aに社員IDと音声データを登録し(S10)、一連の処理を終了する。
以上の処理を遠隔会議サーバ1が実行することにより、遠隔会議に新たに参加した社員の音声データが自動的に社員IDに関連付けられた状態で声情報DB104aに登録される。
次に、アプリ実行端末4による検索処理について説明する。この検索処理は、例えば、CPU401がEEPROM404に記憶されたアプリ(コンピュータプログラム)をRAM403に展開して実行することによって実現される。図16は、アプリ実行端末4における検索時の処理を示すフローチャートである。
図16に示すように、検索対象者の検索処理においてアプリ実行端末4は、使用者の操作に伴ってアプリを起動する(S11)。使用者の操作は、例えばディスプレイ418に表示されたアプリ用のアイコンをタップすることである。アプリの起動後、アプリ実行端末4では、使用者によって社員IDとパスワードが入力され(S12)、これらの社員IDとパスワードが遠隔会議サーバ1に送信される(S13)。アプリ実行端末4は、遠隔会議サーバ1から認証結果が送信されるまで待機しており(S14)、認証ができなかった時には(S14、No)、S12に戻って社員IDとパスワードの再入力を促す。
一方、認証ができた時には(S14、Yes)、図9で説明した録音の要求画面を表示し、使用者による録音ボタン(ボタン画像443a)の操作を待つ(S15,No)。使用者がボタン画像443aを操作した時には(S15,Yes)、検索対象者の音声の録音が開始される(S16)。S16の録音は、規定の録音時間が経過するまで行われ(S17)、規定録音時間の経過に伴って(S17,Yes)、録音データとアプリ実行端末4の位置情報(端末位置情報)を、遠隔会議サーバ1に送信する(S18)。
以上の処理をアプリ実行端末4が実行することにより、アプリ実行端末4にて録音した音声データに基づき、遠隔会議サーバ1において検索対象者の検索が行われる。
次に、検索処理時における遠隔会議サーバ1の処理について説明する。この処理は、例えば、CPU101がHD104に記憶されたコンピュータプログラムをRAM103に展開して実行することによって実現される。図17は、遠隔会議サーバ1における検索時の処理を示すフローチャートである。
図17に示すように、検索対象者の検索処理において遠隔会議サーバ1は、アプリ実行端末4が送信した録音データ、及び端末位置情報を受信したか否かを判定する(S31)。遠隔会議サーバ1は、録音データ等を受信するまで待機しており(S31,No)、録音データ等を受信した時には(S31,Yes)、録音データの声紋と声情報DB104aに記憶された音声データの声紋とを照合する(S32)。S32の処理において、遠隔会議サーバ1は、検索の効率を高めるため、声情報DB104aに登録された各音声データに対して優先順位を付し、優先順位の高い音声データを優先順位が低い音声データよりも先に比較対象にする。
遠隔会議サーバ1は、社員IDを社員情報サーバ2に送信した後、社員情報サーバ2からの返信を待つ(S36、S38)。ここで、社員情報サーバ2から社員情報を受信した時には(S36,Yes)、遠隔会議サーバ1は受信した社員情報をアプリ実行端末4に送信し(S37)、その後、S31の処理に移行する。また、規定時間が経過しても社員情報を受信できなかった時(S38、Yes)、及び前述したS33の処理で一致した音声データがないと判定された時(S33,No)には、該当なしの情報をアプリ実行端末4に送信し(S39)、その後、S31の処理に移行する。
以上の処理を遠隔会議サーバ1が実行することにより、録音データと声情報DB104aの音声データの声紋同士が比較され、声紋が一致した時には社員情報サーバ2から受信した社員情報がアプリ実行端末4に送信される。一方、声紋が一致しなかった時には該当なしの情報がアプリ実行端末4に送信される。
次に、検索処理時における社員情報サーバ2の処理について説明する。この処理は、例えば、CPU201がHD204に記憶されたコンピュータプログラムをRAM203に展開して実行することによって実現される。図18は、社員情報サーバ2における検索時の処理を示すフローチャートである。
図18に示すように、検索対象者の検索処理において社員情報サーバ2は、遠隔会議サーバ1が送信した社員IDを受信したか否かを判定する(S51)。社員情報サーバ2は、社員IDを受信するまで待機しており(S51,No)、社員IDを受信した時には(S51,Yes)、社員IDに対応する社員情報を社員情報DB204aから取得し(S52)、取得した社員情報を遠隔会議サーバ1に送信する(S53)。社員情報サーバ2は、社員情報を送信した後、S51の処理に移行する。
以上の処理を社員情報サーバ2が実行することにより、社員IDに対応する社員情報が遠隔会議サーバ1に送信される。
上述した実施形態では、企業内の会議システムを例に挙げて説明したが、本発明は企業内の会議システムに限られない。企業以外で使用される会議システムにおいても同様に適用できる。
また、上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
前述の実施形態に記載された装置群(遠隔会議サーバ1、社員情報サーバ2、遠隔会議実施端末3、アプリ実行端末4)は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの一つを示すものにすぎない。
さらに、上述の装置群は、開示された処理ステップ(例えば、図15乃至図18の処理)を様々な組み合わせで共有するように構成できる。例えば、遠隔会議サーバ1の処理の一部を社員情報サーバ2で行ってもよいし、その逆であってもよい。さらに、遠隔会議サーバ1と社員情報サーバ2とを一つのサーバにまとめてもよいし、3以上のサーバに分散させてもよい。
また、上述の装置群は、通信機能を備えた装置であればよいため、上述の構成に限られない。上述の装置群としては、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ等であってもよい。
なお、遠隔会議サーバ1による声情報DB104aの検索時における優先順位等、所定の処理については機械学習を適用してもよい。
<第一の実施態様>
本態様に係る検索用端末装置(アプリ実行端末4)は、複数の候補者(声情報DB104aに登録された社員)の音声に基づく複数の候補者音声データ(社員の音声データ)を当該各候補者の個人情報(社員情報DB204aに登録された社員情報)と関連付けて記憶した外部装置EX(遠隔会議サーバ1、社員情報サーバ2)に対して通信可能に接続され、複数の候補者の中から検索された一の候補者の個人情報を外部装置EXから受信して表示するものであって、検索対象者の音声に基づく対象者音声データ(録音データ)を取得する取得手段(S16)と、対象者音声データを外部装置EXに送信することにより、複数の候補者音声データの中から対象者音声データと声紋が一致する一の候補者音声データを抽出させ(S32)、且つ当該一の候補者音声データに関連付けられた個人情報(社員情報)を送信(S37)させる要求手段(S18)と、外部装置EXが送信した個人情報を受信する受信手段(S19)と、受信手段が受信した個人情報を表示する表示手段(S20)と、を備えることを特徴とする。
本態様に係る検索用端末装置によれば、外部装置EXに予め記憶された候補者音声データの声紋と、録音によって取得した対象者音声データの声紋とを比較しているので、候補者に対して所定音の発声を促すことなく検索をすることが可能になる。
本態様に係る検索用端末装置において、個人情報(社員情報)は、候補者の名前を示す名前情報と、候補者が所属する組織を示す候補者組織情報(所属部署情報)とを含んでいることを特徴とする。
本態様に係る検索用端末装置によれば、名前情報、及び候補者組織情報に基づいて、検索用端末装置の使用者との関係性を容易に把握できる。
本態様に係る検索用端末装置において、要求手段(S18)は、検索用端末装置の現在位置を示す端末位置情報(アプリ実行端末4の端末位置情報)を外部装置EXに送信し、外部装置EXは、候補者の現在位置を示す候補者位置情報(遠隔会議実施端末3の位置情報)と端末位置情報とに基づいて候補者音声データの照合時における優先順位を定める
ことを特徴とする。
本態様に係る検索用端末装置によれば、検索用端末装置の近くにいる候補者については、遠くにいる候補者よりも早期に候補者音声データの照合がなされるため、検索処理の効率化が図れる。
本態様に係る検索用端末装置において、候補者位置情報は、候補者が使用している候補者端末装置の現在位置を示す情報であることを特徴とする。
本態様に係る検索用端末装置によれば、候補者位置情報を容易に知ることができる。
本態様に係る検索用端末装置において、個人情報は、候補者が所属する組織を示す候補者組織情報(所属部署情報)を含み、外部装置EXは、検索用端末装置の使用者が所属する組織を示す使用者組織情報と候補者組織情報に基づいて候補者音声データの検索時における優先順位を定めることを特徴とする。
本態様に係る検索用端末装置によれば、検索用端末装置の使用者と同じ組織に属する候補者の音声データを、異なる組織に属する候補者の音声データよりも優先して処理することができるため、検索処理の効率化が図れる。
本態様に係る検索用端末装置において、個人情報は、候補者のスケジュールを示す候補者スケジュール情報を含み、外部装置EXは、候補者スケジュール情報に基づいて候補者音声データの検索時における優先順位を定めることを特徴とする。
本態様に係る検索用端末装置によれば、候補者のスケジュールに基づいて音声データの検索時における優先順位を定めることにより、検索処理の効率化が図れる。
本態様に係る検索システムは、上述した各態様の検索用端末装置、及び外部装置EXを備えたことを特徴とする。
本態様に係る検索システムによれば、上述した各態様の検索用端末装置と同様の作用効果を奏する。
本態様に係る検索システムにおいて、外部装置EXは、通信可能に接続された端末装置から当該端末装置の使用者の音声に基づく使用者音声データを受信した時に、使用者音声データの声紋を複数の候補者音声データの声紋と比較し、声紋同士が一致しなかった時に、使用者音声データを使用者の個人情報と関連付けて新たな候補者音声データとして記憶することを特徴とする。
本態様に係る検索システムによれば、候補者音声データを容易に増やすことができる。
本態様に係る検索方法は、検索対象者の音声に基づく対象者音声データを検索用端末装置によって取得させる取得ステップと(S16)、複数の候補者の音声に基づく複数の候補者音声データを当該候補者の個人情報と関連付けて記憶した外部装置EXに対して、検索用端末装置から対象者音声データを送信させる第1送信ステップ(S18)と、外部装置EXに、複数の候補者音声データの中から、対象者音声データと声紋が一致した一の候補者音声データを検索させる検索ステップ(S32)と、一の候補者音声データに関連付けられた個人情報を、検索用端末装置に送信させる第2送信ステップ(S35)と、検索用端末装置に、個人情報を表示させる表示ステップ(S20)と、を備えることを特徴とする。
本態様に係る検索方法によれば、候補者に対して所定音の発声を促すことなく検索をすることが可能になる。
Claims (9)
- 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置であって、
検索対象者の音声に基づく対象者音声データを取得する取得手段と、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求手段と、
前記外部装置が送信した前記個人情報を受信する受信手段と、
前記受信手段が受信した前記個人情報を表示する表示手段と、
を備え、
前記要求手段は、前記検索用端末装置の現在位置を示す端末位置情報を前記外部装置に送信し、
前記外部装置は、前記候補者の現在位置を示す候補者位置情報と前記端末位置情報とに基づいて前記候補者音声データの検索時における優先順位を定める
ことを特徴とする検索用端末装置。 - 前記候補者位置情報は、前記候補者が使用している候補者端末装置の現在位置を示す情報である
ことを特徴とする請求項1に記載の検索用端末装置。 - 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置であって、
検索対象者の音声に基づく対象者音声データを取得する取得手段と、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求手段と、
前記外部装置が送信した前記個人情報を受信する受信手段と、
前記受信手段が受信した前記個人情報を表示する表示手段と、
を備え、
前記個人情報は、前記候補者が所属する組織を示す候補者組織情報を含み、
前記外部装置は、前記検索用端末装置の使用者が所属する組織を示す使用者組織情報と前記候補者組織情報に基づいて前記候補者音声データの検索時における優先順位を定める
ことを特徴とする検索用端末装置。 - 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置であって、
検索対象者の音声に基づく対象者音声データを取得する取得手段と、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求手段と、
前記外部装置が送信した前記個人情報を受信する受信手段と、
前記受信手段が受信した前記個人情報を表示する表示手段と、
を備え、
前記個人情報は、前記候補者のスケジュールを示す候補者スケジュール情報を含み、
前記外部装置は、前記候補者スケジュール情報に基づいて前記候補者音声データの検索時における優先順位を定める
ことを特徴とする検索用端末装置。 - 請求項1乃至4の何れか一項に記載の検索用端末装置、及び外部装置を備えたことを特徴とする検索システム。
- 前記外部装置は、
通信可能に接続された端末装置から当該端末装置の使用者の音声に基づく使用者音声データを受信した時に、前記使用者音声データの声紋を複数の前記候補者音声データの声紋と比較し、
声紋同士が一致しなかった時に、前記使用者音声データを前記使用者の個人情報と関連付けて新たな候補者音声データとして記憶する
ことを特徴とする請求項5に記載の検索システム。 - 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置、及び前記外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置による人物の検索方法であって、
前記検索用端末装置は、
検索対象者の音声に基づく対象者音声データを取得する取得ステップと、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求ステップと、
前記外部装置が送信した前記個人情報を受信する受信ステップと、
前記受信ステップにおいて受信した前記個人情報を表示する表示ステップと、
を行い、且つ
前記要求ステップにおいて、前記検索用端末装置の現在位置を示す端末位置情報を前記外部装置に送信し、
前記外部装置は、
前記候補者の現在位置を示す候補者位置情報と前記端末位置情報とに基づいて前記候補者音声データの検索時における優先順位を定めるステップを行う
ことを特徴とする人物の検索方法。 - 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置、及び前記外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置による人物の検索方法であって、
前記検索用端末装置は、
検索対象者の音声に基づく対象者音声データを取得する取得ステップと、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求ステップと、
前記外部装置が送信した前記個人情報を受信する受信ステップと、
前記受信ステップにおいて受信した前記個人情報を表示する表示ステップと、
を行い、且つ
前記個人情報は、前記候補者が所属する組織を示す候補者組織情報を含み、
前記外部装置は、
前記検索用端末装置の使用者が所属する組織を示す使用者組織情報と前記候補者組織情報に基づいて前記候補者音声データの検索時における優先順位を定めるステップを行う
ことを特徴とする人物の検索方法。 - 複数の候補者の音声に基づく複数の候補者音声データを当該各候補者の個人情報と関連付けて記憶した外部装置、及び前記外部装置に対して通信可能に接続され、複数の前記候補者の中から検索された一の候補者の個人情報を前記外部装置から受信して表示する検索用端末装置による人物の検索方法であって、
前記検索用端末装置は、
検索対象者の音声に基づく対象者音声データを取得する取得ステップと、
前記対象者音声データを前記外部装置に送信することにより、複数の前記候補者音声データの中から前記対象者音声データと声紋が一致する一の候補者音声データを抽出させ、且つ当該一の候補者音声データに関連付けられた前記個人情報を送信させる要求ステップと、
前記外部装置が送信した前記個人情報を受信する受信ステップと、
前記受信ステップにおいて受信した前記個人情報を表示する表示ステップと、
を行い、且つ
前記個人情報は、前記候補者のスケジュールを示す候補者スケジュール情報を含み、
前記外部装置は、
前記候補者スケジュール情報に基づいて前記候補者音声データの検索時における優先順位を定めるステップを行う
ことを特徴とする人物の検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209700A JP7484138B2 (ja) | 2019-11-20 | 2019-11-20 | 検索用端末装置、検索システム、及び検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209700A JP7484138B2 (ja) | 2019-11-20 | 2019-11-20 | 検索用端末装置、検索システム、及び検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081619A JP2021081619A (ja) | 2021-05-27 |
JP7484138B2 true JP7484138B2 (ja) | 2024-05-16 |
Family
ID=75964997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019209700A Active JP7484138B2 (ja) | 2019-11-20 | 2019-11-20 | 検索用端末装置、検索システム、及び検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7484138B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004039044A1 (ja) | 2002-10-23 | 2004-05-06 | Fujitsu Limited | 通信端末、声紋情報検索サーバ、個人情報表示システム、通信端末における個人情報表示方法、個人情報表示プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07107451A (ja) * | 1993-10-05 | 1995-04-21 | Matsushita Electric Ind Co Ltd | 画像通信端末装置 |
JPH11282857A (ja) * | 1998-03-27 | 1999-10-15 | Animo:Kk | 音声検索装置および記録媒体 |
-
2019
- 2019-11-20 JP JP2019209700A patent/JP7484138B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004039044A1 (ja) | 2002-10-23 | 2004-05-06 | Fujitsu Limited | 通信端末、声紋情報検索サーバ、個人情報表示システム、通信端末における個人情報表示方法、個人情報表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021081619A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104105169B (zh) | 自动连接无线局域网的方法及装置 | |
US20140077937A1 (en) | Transmission system | |
CN104468329A (zh) | 基于即时通信的成员添加方法和装置 | |
CN105429856A (zh) | 即时通讯的方法、装置、终端及服务器 | |
CN105847111A (zh) | 添加好友的方法及装置 | |
US20150282233A1 (en) | Communication management system, communication management method, and recording medium storing communication management program | |
CN104539639A (zh) | 用户信息采集方法和装置 | |
CN106356060A (zh) | 语音通信方法及装置 | |
CN105468767A (zh) | 名片信息获取方法及装置 | |
US20150319100A1 (en) | Communication management system, communication management method, and recording medium storing communication management program | |
CN105530165A (zh) | 用于即时聊天的方法及装置 | |
CN105530167A (zh) | 群名片的设置方法及装置 | |
US20170230472A1 (en) | Server apparatus and transmission system | |
CN104767857A (zh) | 基于云名片的电话呼叫方法及装置 | |
CN106096009A (zh) | 消息生成方法及装置 | |
CN105207994A (zh) | 账号绑定方法与装置 | |
CN109039877A (zh) | 一种显示未读消息数量的方法、装置、电子设备及存储介质 | |
CN104166814A (zh) | Wifi网络密码的提示方法、装置及设备 | |
CN104836721A (zh) | 群组会话消息提醒方法及装置 | |
CN112445906A (zh) | 一种生成回复消息的方法及装置 | |
CN105791409A (zh) | 远程连接建立方法及装置 | |
JP7484138B2 (ja) | 検索用端末装置、検索システム、及び検索方法 | |
CN107800617A (zh) | 问题处理方法及装置 | |
US10650832B2 (en) | Information processing device and information processing method | |
CN104113589A (zh) | 获取用户信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7484138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |