JP7235946B2 - サーバ - Google Patents

Description

本発明は、マイクロフォンを有するスピーカと通信するサーバに関する。

マイクロフォンおよび通信機能を備え、音声による操作や情報検索を可能とするスマートスピーカの普及が始まっている（例えば、非特許文献１参照）。

https://www.is.nri.co.jp/report/short-research/2017/000213.html、平成３０年５月９日検索

現在のスマートスピーカを含むシステムは、ユーザから音声で要求を受け、その要求を処理することができる。このような状況において、さらに有益なスマートスピーカシステムを創出することが望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、スマートスピーカを効果的な広告媒体として用いることができる技術の提供、またはスマートスピーカシステムのさらなる改善にある。

本発明のある態様は、サーバに関する。このサーバは、マイクロフォンおよび通信機能を有するスピーカから、ネットワークを介して前記スピーカのマイクロフォンを介して取得された音声情報を受け付ける受付手段と、受け付けた音声情報を保持する音声情報保持手段と、受け付けた音声情報における配信要求に応じて、画像を伴わない音声コンテンツを取得する取得手段と、画像を伴わない音声広告を音声広告保持手段から選択する選択手段と、選択された音声広告の長さを調整するか否かを判定する判定手段と、取得された音声コンテンツと選択された音声広告とを合わせてスピーカに、ネットワークを介して送信する送信手段と、を備え、前記選択手段は、前記音声情報保持手段に保持される音声情報に基づいて音声広告を選択し、選択された音声広告の長さを調整すると判定された場合、前記送信手段は、長さが調整された音声広告を送信する。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、スマートスピーカを効果的な広告媒体として用いることができる技術を提供できる、またはスマートスピーカシステムをさらに改善することができる。

第１の実施の形態に係る音声広告配信システムの構成を示す模式図である。 図１のスマートスピーカの機能および構成を示すブロック図である。 図１の管理サーバのハードウエア構成図である。 図１の管理サーバの機能および構成を示すブロック図である。 図４の音声コンテンツ保持部の一例を示すデータ構造図である。 図４の音声広告保持部の一例を示すデータ構造図である。 図４の音声情報保持部の一例を示すデータ構造図である。 図４のユーザ情報保持部の一例を示すデータ構造図である。 図４のセッション情報保持部の一例を示すデータ構造図である。 図１の管理サーバにおける一連の処理の流れを示すフローチャートである。 ユーザの部屋の模式的な上面図である。 第３の実施の形態に係る音声操作システムの構成を示す模式図である。 第４の実施の形態に係る音声操作システムの構成を示す模式図である。 図１３の管理サーバの機能および構成を示すブロック図である。 図１４のユーザ情報保持部の一例を示すデータ構造図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

（第１の実施の形態）
第１の実施の形態に係る音声広告配信システムでは、ユーザはスマートスピーカを用いて、例えば以下のような作業を行うことができる。
・簡単な調べ物
・天気予報の確認
・ニュースを聞く
・アラームの設定
・スケジュールの確認
・計算をする
・音楽の再生
・スマート家電のコントロール。
音声広告配信システムはスマートスピーカのマイクロフォンを介してユーザの発話を取得し、発話を音声認識することでユーザが音声コンテンツ（例えば、検索結果、天気予報、ニュース、スケジュール、計算結果、音楽など）の配信を要求していることを理解する。システムは、要求されている音声コンテンツを用意してスマートスピーカに配信するのであるが、この際、スマートスピーカでの音声コンテンツ再生前に音声広告が再生されるように、音声広告を配信対象の音声コンテンツに挿入する。

この音声広告は、例えば配信対象の音声コンテンツに合わせた音声広告や、これまでの対話の内容に基づいた音声広告や、音声コンテンツの配信の直前にスマートスピーカが集音したスマートスピーカの周りの音に基づいた音声広告であってもよい。

音声広告の長さは、ユーザとの対話の状況やスマートスピーカの周りの状況に合わせて調整されてもよい。調整の態様としては、例えば配信対象の音声コンテンツの内容に応じて音声広告の長さを調整してもよいし、音声広告の重要部分を抽出してもよい。

音声広告の再生のタイミングについて、ユーザがスマートスピーカの周りにいる場合に広告効果がより高いこと、またユーザがスマートスピーカや他のユーザと会話しているときに音声広告が出力されるとユーザが不快に感じうること、を考慮して決定されてもよい。例えば、音声広告は、スマートスピーカの周りにユーザがいると判定されるときのみ再生されてもよい。また、音声広告は、ユーザが他のユーザと会話していたり、スマートスピーカに対して発話しているときには再生されなくてもよい。後者の場合、ユーザが発話を止めると音声広告の出力を開始または再開してもよい。また、音声広告は他の電子機器、例えばテレビジョン（以下、ＴＶという）と連携して出力されてもよい。例えば、ＴＶで広告を流した後に、続報をスマートスピーカから音声で出力してもよい。この場合、次のＴＶの広告を消音してもよい。あるいはまた、スマートスピーカでの音声広告の再生後に関連する広告をＴＶで流してもよい。

音声広告配信システムはスマートスピーカを介して取得したユーザの発話から声紋を取得し、声紋認証によりユーザ認証を行う機能を有する。また、音声広告配信システムはＷｅｂサービスやＳＮＳなどの他のサービスと連携しており、音声広告配信システムにおける認証ユーザと、他のサービスにおけるユーザのアカウントと、を関連付けることができる。この場合、音声広告配信システムは、認証ユーザに対して、認証ユーザのアカウントに紐付く音声広告を選択してもよい。例えば、音声広告配信システムは、スマートスピーカで収集した情報と、アカウント属性と、に基づく音声広告を選択してもよい。また、音声広告配信システムは、スマートスピーカで収集した情報でアカウント属性を更新してもよい。

図１は、第１の実施の形態に係る音声広告配信システム２の構成を示す模式図である。音声広告配信システム２は、管理サーバ４と、スマートスピーカ１０と、ＴＶ１２と、を備える。管理サーバ４とスマートスピーカ１０とＴＶ１２とはインターネットなどのネットワーク６を介して通信可能に接続されている。スマートスピーカ１０およびＴＶ１２はいずれも、ユーザ８の部屋１４に設置されている。スマートスピーカ１０はマイクロフォンおよび通信機能を有するスピーカであり、上述の通りネットワーク６に接続されると共に、ＴＶ１２ともＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）通信１６が可能に構成される。図１ではスマートスピーカ１０と管理サーバ４とが通信する例を示しているが、スマートスピーカ１０の数に制限はなく、ユーザ８の数にも制限はない。

ユーザ８は、「何か甲村太郎の歌が聴きたい」、「今日のニュースを教えて」、「今夜の天気は？」、「出雲大社について教えて」、等の音声コンテンツの配信要求を表す文をスマートスピーカ１０に向けて発話する。スマートスピーカ１０のマイクロフォンはユーザ８が発話した音声を電気信号に変換し、スマートスピーカ１０は変換の結果得られた電気信号を音声信号として、ネットワーク６を介して管理サーバ４に送信する。管理サーバ４は受信した音声信号に対して音声認識処理を行うことでユーザがどのような音声コンテンツの配信を求めているかを理解する。管理サーバ４は、要求された音声コンテンツに音声広告を添付した配信情報を生成し、ネットワーク６を介してスマートスピーカ１０に送信する。スマートスピーカ１０は、配信情報を受信すると、まず音声広告を出力し、次いで音声コンテンツを出力する。

なお、スマートスピーカ１０はディスプレイを備えても備えなくてもよいが、管理サーバ４から配信されるコンテンツは、静止画や動画などの画像と音声とが一体となったコンテンツではなく、画像を伴わない音声コンテンツ（または、音声のみからなるコンテンツ）である。音声広告も同様に、画像を伴わない音声広告である。

図２は、図１のスマートスピーカ１０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

スマートスピーカ１０は、スピーカ１０２と、マイクロフォン１０４と、通信部１０６と、入力部１０８と、処理部１１０と、を備える。通信部１０６はネットワーク６との通信におけるインタフェースとして機能とし、かつ、Ｐ２Ｐ通信１６におけるインタフェースとしても機能する。入力部１０８は電源ボタン、音量調節ボタン等の物理的な入力機構を含む。処理部１１０は、スピーカ１０２、マイクロフォン１０４、通信部１０６、入力部１０８を制御し、スマートスピーカ１０の各種機能を実現する。

本実施の形態では、ユーザの発話をマイクロフォン１０４が音声信号に変換し、通信部１０６が音声信号を管理サーバ４に送信し、管理サーバ４が音声信号に音声認識処理を施すことを想定している。しかしながら、スマートスピーカにおいて少なくとも一部の音声認識処理が行われる場合や、スマートスピーカにおいて後述の音声コンテンツ取得処理や音声広告選択処理が行われる場合や、スマートスピーカがスタンドアローンである場合にも、本実施の形態の技術的思想を適用可能である。なお、スマートスピーカで行われた音声認識の結果を管理サーバに送ること、および、スマートスピーカから音声信号をそのまま管理サーバに送ること、はいずれも、ユーザの発話に対応する音声情報を管理サーバに送ると言いうるものである。

図３は、図１の管理サーバ４のハードウエア構成図である。管理サーバ４は、メモリ１３０と、プロセッサ１３２と、通信インタフェース１３４と、ディスプレイ１３６と、入力インタフェース１３８と、を含む。これらの要素はそれぞれバス１４０に接続され、バス１４０を介して互いに通信する。

メモリ１３０は、データやプログラムを記憶するための記憶領域である。データやプログラムは、メモリ１３０に恒久的に記憶されてもよいし、一時的に記憶されてもよい。プロセッサ１３２は、メモリ１３０に記憶されているプログラムを実行することにより、管理サーバ４における各種機能を実現する。通信インタフェース１３４は、管理サーバ４の外部との間でデータの送受信を行うためのインタフェースである。例えば、通信インタフェース１３４はネットワーク６にアクセスするためのインタフェースを含む。ディスプレイ１３６は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどである。入力インタフェース１３８は、ユーザからの入力を受け付けるためのデバイスである。入力インタフェース１３８は、例えば、マウスやキーボードやディスプレイ１３８上に設けられたタッチパネルを含む。

図４は、図１の管理サーバ４の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

管理サーバ４は、音声コンテンツ保持部４０２と、音声広告保持部４０４と、音声情報保持部４０６と、ユーザ情報保持部４０８と、セッション情報保持部４１０と、音声信号受付部４１２と、音声認識部４１４と、ユーザ認証部４１６と、セッション管理部４１８と、コンテンツ取得部４２０と、広告選択部４２２と、広告調整部４２４と、送信情報生成部４２６と、送信部４２８と、タイミング制御部４３０と、属性更新部４３２と、を備える。

図５は、図４の音声コンテンツ保持部４０２の一例を示すデータ構造図である。音声コンテンツ保持部４０２は、音声コンテンツを特定するコンテンツＩＤと、音声コンテンツを特徴付けるキーワードと、音声コンテンツのデータと、を対応付けて保持する。キーワードに加えてまたは代えて、タグなどの他のメタデータが用いられてもよい。

音声コンテンツ保持部４０２に保持されるデータは、予めまたは要求に応じて管理サーバ４によって生成され登録されたデータであってもよい。音声コンテンツのデータを作成する際に、公知の音声合成技術が用いられてもよい。あるいはまた、音声コンテンツ保持部４０２に保持されるデータは、予めまたは要求に応じて管理サーバ４が他のサービスのサーバから取得したデータであってもよい。

図６は、図４の音声広告保持部４０４の一例を示すデータ構造図である。音声広告保持部４０４は、音声広告を特定する広告ＩＤと、音声広告を特徴付けるキーワードと、音声広告の属性と、音声広告のデータと、を対応付けて保持する。キーワードに加えてまたは代えて、タグなどの他のメタデータが用いられてもよい。音声広告保持部４０４に保持されるデータは、管理サーバ４を運用する主体が広告主から受領したデータであってもよい。

図７は、図４の音声情報保持部４０６の一例を示すデータ構造図である。音声情報保持部４０６は、スマートスピーカ１０のマイクロフォン１０４を介して取得された音声情報を保持する。音声情報は、後述の音声認識部４１４にて音声信号を音声認識することにより得られるユーザの発話内容を含む。音声情報保持部４０６は、ユーザを特定するユーザＩＤと、スマートスピーカ１０とユーザとの対話セッションのセッションＩＤと、対話セッションにおけるユーザまたはシステムの発話内容と、を対応付けて保持する。なお、音声情報保持部４０６は、システムの発話内容に対応するユーザＩＤとしてシステム固有のＩＤを保持する。

図８は、図４のユーザ情報保持部４０８の一例を示すデータ構造図である。ユーザ情報保持部４０８は、ユーザＩＤと、ユーザの声紋のデータと、他のサービスにおけるユーザのアカウントを特定するアカウントＩＤと、アカウントの属性と、ユーザが不快に感じた広告を特定するＮＧ広告ＩＤと、を対応付けて保持する。声紋のデータは、ユーザの音声広告配信システム２への初回登録時に取得されてもよい。

図９は、図４のセッション情報保持部４１０の一例を示すデータ構造図である。セッション情報保持部４１０は、スマートスピーカ１０とユーザとの現在の対話セッションの状態を保持する。セッション情報保持部４１０は、現在存在しているまたは維持されている対話セッションに係るユーザのユーザＩＤと、該対話セッションのセッションＩＤと、該対話セッションの状態と、を対応付けて保持する。対話セッションの状態は、ユーザが発話中であることを示す「発話中」と、ユーザが他のユーザと会話中であることを示す「会話中」と、ユーザが発話しておらずユーザによる次の発話またはシステムによる次の発話を待っている「発話待ち」と、の三つなかから選択される。対話セッションが終了したと判定された場合、セッション情報保持部４１０からその対話セッションに関するエントリが削除される。すなわち、ある対話セッションのセッションＩＤがセッション情報保持部４１０に登録されていると、その対話セッションは継続中であり、その対話セッションに係るユーザがスマートスピーカ１０の周囲にいると判定される。

図４に戻り、音声信号受付部４１２は、スマートスピーカ１０からネットワーク６を介して、ユーザの発話内容を表す音声信号を受け付ける。上述の通り音声信号は、ユーザの発話音声をマイクロフォン１０４で変換した電気信号であり、特に音声の波形を表す電気信号である。発話内容は、スマートスピーカ１０（または音声広告配信システム２）への問いかけ・応答と、ひとり言と、他のユーザとの会話と、を含む。

音声認識部４１４は、音声信号受付部４１２が受け付けた音声信号に対して所定の音声認識処理を施す。音声認識部４１４は音声認識により音声信号からユーザの発話内容を導出する。音声認識部４１４における音声認識処理は、ｎ－ｇｒａｍや隠れマルコフモデルを用いる公知の音声認識技術を用いて実現されてもよい。

ユーザ認証部４１６は、音声信号受付部４１２が受け付けた音声信号から声紋を抽出または取得する。ユーザ認証部４１６は、抽出された声紋に基づくユーザ認証（すなわち、声紋認証）を行う。ユーザ認証部４１６はユーザ情報保持部４０８を参照し、ユーザ情報保持部４０８に保持されている声紋のなかに抽出された声紋と一致する声紋があるか否かを判定する。ユーザ認証部４１６は、一致する声紋があればその声紋に対応するユーザＩＤを特定し、特定されたユーザＩＤと音声認識部４１４において導出された発話内容とを対応付ける。この場合、音声信号受付部４１２が受け付けた音声信号に対応する発話を行ったユーザは、管理サーバ４によって声紋認証されたこととなる。ユーザ認証部４１６は、一致する声紋がなければ、一致なしまたはユーザ不明を表す出力を生成する。管理サーバ４はこの出力に応じてユーザの新規登録を開始してもよい。

セッション管理部４１８は、スマートスピーカ１０とユーザとの対話セッションを管理する。セッション管理部４１８は、音声情報保持部４０６とセッション情報保持部４１０とを管理する。セッション管理部４１８は、ユーザ認証部４１６によって対応付けられたユーザＩＤおよび発話内容に、スマートスピーカ１０とそのユーザとの対話セッションを特定するセッションＩＤを対応付けて音声情報保持部４０６に登録する。

セッション管理部４１８は、ユーザ認証部４１６によって対応付けられたユーザＩＤおよび発話内容に基づいてスマートスピーカ１０とそのユーザとの現在の対話セッションの状態を決定する。セッション管理部４１８は、決定された状態でセッション情報保持部４１０を更新する。例えば、セッション管理部４１８は、発話内容の解析結果が発言の途中であることを示す場合、現在の対話セッションの状態を「発話中」に決定する。セッション管理部４１８は、発話内容の解析結果が発言の終わりであることを示す場合、現在の対話セッションの状態を「発話待ち」に決定する。セッション管理部４１８は、発話内容の解析結果が対話セッションの終了を示す場合（例えば、発話内容が「またね」や「バイバイ」などの対話セッションの終了を示す語である場合）、該対話セッションのセッションＩＤを有する全てのエントリをセッション情報保持部４１０から削除する。セッション管理部４１８は「発話待ち」状態のまま所定の期間が経過した対話セッションをセッション情報保持部４１０から削除してもよい。ここで、発話内容に基づいて対話セッションの状態を決定したが、発話内容に代えて、又は、発話内容に加えて、別途備えられたカメラからの撮像情報から対話セッションの状態を決定してもよい。ここでのカメラはスマートスピーカ１０自体に配設されていてもよいし、通信機能を有するカメラ単体を別途用いてもよいし、カメラ機能を有するテレビ又はカメラ機能を有するコンピュータを別途用いてもよい。

コンテンツ取得部４２０は、音声認識部４１４において導出された発話内容が音声コンテンツの配信要求を含む場合、要求されている音声コンテンツを音声コンテンツ保持部４０２から取得する。例えば、発話内容が「何か甲村太郎の歌が聴きたい」などの音楽コンテンツの配信要求である場合、コンテンツ取得部４２０は要求されている音楽コンテンツを音声コンテンツ保持部４０２から取得する。あるいはまた、コンテンツ取得部４２０は、音楽配信サービスのサーバにアクセスし、要求されている音楽コンテンツをメタデータと共にそのサーバから取得してもよい。この場合、コンテンツ取得部４２０は取得した音楽コンテンツおよびメタデータを音声コンテンツ保持部４０２に登録してもよい。

発話内容が「今日のニュースを教えて」、「今夜の天気は？」などの情報コンテンツの配信要求である場合、コンテンツ取得部４２０は要求されている情報コンテンツを音声コンテンツ保持部４０２から取得する。あるいはまた、コンテンツ取得部４２０は、情報配信サービスのサーバにアクセスし、要求されている情報コンテンツをテキスト形式でメタデータと共にそのサーバから取得してもよい。この場合、コンテンツ取得部４２０は、所定の音声合成処理を用いることで、取得したテキスト形式の情報コンテンツを音声データに変換してもよい。コンテンツ取得部４２０は、音声データとなった情報コンテンツおよびメタデータを音声コンテンツ保持部４０２に登録してもよい。音声合成処理は、公知の音声合成技術を用いて実現されてもよい。

発話内容が「出雲大社について教えて」などの検索結果の配信要求である場合、コンテンツ取得部４２０は要求されている検索結果を音声コンテンツ保持部４０２から取得する。あるいはまた、コンテンツ取得部４２０は、検索サービスのサーバにアクセスし、要求されている検索結果をテキスト形式でメタデータと共にそのサーバから取得してもよい。この場合、コンテンツ取得部４２０は、所定の音声合成処理を用いることで、取得したテキスト形式の検索結果を音声データに変換してもよい。コンテンツ取得部４２０は、音声データとなった検索結果およびメタデータを音声コンテンツ保持部４０２に登録してもよい。

広告選択部４２２は、コンテンツ取得部４２０によって取得された音声コンテンツに添付すべき音声広告を、音声広告保持部４０４から選択する。広告選択部４２２における音声広告の選択の基準は、（１）コンテンツ取得部４２０によって取得された音声コンテンツの内容との関連性、（２）音声情報保持部４０６に保持される、スマートスピーカ１０とユーザとの現在の対話セッションにおけるユーザの発話内容との関連性、（３）認証されたユーザのアカウントの属性との関連性、のうちのいずれかまたはそれらの任意の組み合わせである。

例えば、（１）について、「出雲大社について教えて」という検索結果の配信要求に対して、コンテンツ取得部４２０によって「出雲大社は、古くは…」という音声コンテンツの音声データが取得される。広告選択部４２２はコンテンツ取得部４２０によって取得された「出雲大社は、古くは…」に対応するキーワード「出雲大社、神、縁結び」を音声コンテンツ保持部４０２から取得する。広告選択部４２２は、音声広告保持部４０４を参照し、取得したキーワード「出雲大社、神、縁結び」に対応するキーワード「出雲大社、縁結び」を有する「出雲大社に旅行に行きたい？それならＡＢＣ旅行者に相談だ」という音声広告の音声データを選択する。このように、音声コンテンツのキーワードと音声広告のキーワードとを比較することにより、コンテンツ取得部４２０によって取得された音声コンテンツの内容に対応する音声広告が広告選択部４２２によって選択される。

例えば、（２）について、スマートスピーカ１０とユーザとの間で
（ユーザ）「駅までタクシーで間に合う？」
（スマートスピーカ１０）「間に合います」
（ユーザ）「今夜の天気は？」
という対話が行われているとする。「今夜の天気は？」という情報コンテンツの配信要求に対して、コンテンツ取得部４２０によって「今夜のＣ地方の天気はにわか雨、気温は…」という音声コンテンツの音声データが取得される。広告選択部４２２は、音声情報保持部４０６を参照し、スマートスピーカ１０とユーザとの現在の対話セッションにおけるユーザの発話内容として「駅までタクシーで間に合う？」を特定する。広告選択部４２２は特定された「駅までタクシーで間に合う？」という発話内容から「駅、タクシー」というキーワードを抽出する。広告選択部４２２は、音声広告保持部４０４を参照し、抽出されたキーワード「駅、タクシー」に対応するキーワード「タクシー、配車」を有する「すぐくるＺＺＺタクシー配車サービス」という音声広告の音声データを選択する。このように、音声情報保持部４０６を参照することにより、広告選択部４２２は、スマートスピーカ１０とユーザとの現在の対話セッションにおけるユーザの発話内容に基づいて音声広告を選択することができる。

なお、上記の例において（２）ではなく（１）の基準が用いられる場合、広告選択部４２２はコンテンツ取得部４２０によって取得された「今夜のＣ地方の天気はにわか雨、気温は…」に対応するキーワード「Ｃ地方、雨、低温」を音声コンテンツ保持部４０２から取得する。広告選択部４２２は、音声広告保持部４０４を参照し、取得したキーワード「Ｃ地方、雨、低温」に対応するキーワード「傘、雨」を有する「ＣＢ社のハイパー傘は１０年壊れません！」という音声広告の音声データを選択する。このように、スマートスピーカ１０とユーザとの対話の内容が同じでも、用いる基準によって選択される音声広告が異なる場合がある。

例えば、（３）について、「今日のニュースを教えて」という情報コンテンツの配信要求に対して、コンテンツ取得部４２０によって「今朝６時頃、Ａ県Ｂ市で火事があり、…」という音声コンテンツの音声データが取得される。併せて、ユーザ認証部４１６における声紋認証により「今日のニュースを教えて」の発話主のユーザが認証され、該ユーザのユーザＩＤ「Ｂ１０２」が特定される。広告選択部４２２は、特定されたユーザＩＤ「Ｂ１０２」に対応するアカウントの属性「子供、男性、独身」をユーザ情報保持部４０８から取得する。広告選択部４２２は、音声広告保持部４０４を参照し、取得した属性「子供、男性、独身」に対応する属性「子供、男性」を有する「Ｆ市に来たら、ＳＬに乗れるよ」という音声広告の音声データを選択する。また、特定されたユーザＩＤ「Ｂ１０２」に対応するアカウントの属性が「大人、女性、独身」であったなら、広告選択部４２２は、音声広告保持部４０４を参照し、その属性に対応する属性「独身、大人」を有する「出雲大社に旅行に行きたい？それならＡＢＣ旅行社に相談だ」という音声広告の音声データを選択する。このように、認証されたユーザのアカウントの属性と音声広告の属性とを比較することにより、認証されたユーザのアカウントの属性に対応する音声広告が広告選択部４２２によって選択される。

あるいはまた、特定されたユーザＩＤ「Ｂ１０２」に対応するアカウントの属性が「大人、男性、既婚」であったなら、広告選択部４２２はまずその属性に対応する「クリスマスプレゼントなら、ＸＸ貴金属の指輪がお勧めです」、「火災保険ならＸＹＺ火災海上保険にお任せを」、「すぐくるＺＺＺタクシー配車サービス」、「出雲大社に旅行に行きたい？それならＡＢＣ旅行社に相談だ」の四つの音声広告を候補として選択する。さらに広告選択部４２２は、コンテンツ取得部４２０によって取得された「今朝６時頃、Ａ県Ｂ市で火事があり、…」に対応するキーワード「Ａ県、Ｂ市、火事」を音声コンテンツ保持部４０２から取得する。広告選択部４２２は、選択した四つの候補のうち、取得したキーワード「Ａ県、Ｂ市、火事」に対応するキーワード「火事、火災、保険」を有する「火災保険ならＸＹＺ火災海上保険にお任せを」という音声広告の音声データを選択する。このように、（３）の基準で候補を選択し、（１）の基準で絞り込む、という形での（１）の基準と（３）の基準との組み合わせも可能である。

例えば、スマートスピーカ１０とユーザとの間で
（ユーザ）「何か甲村太郎の歌が聴きたい」
（スマートスピーカ１０）「クリスマスソングなどいかがでしょうか？」
（ユーザ）「じゃあ、それで」
という対話が行われているとする。「何か甲村太郎の歌が聴きたい」という音楽コンテンツの配信要求に対して、コンテンツ取得部４２０によって甲村太郎のクリスマスソングの音声データが取得される。管理サーバ４は、スマートスピーカ１０を介してユーザに、クリスマスソングでよいか問い合わせる。管理サーバ４は、ユーザの「じゃあ、それで」という肯定の応答を受けると、取得した甲村太郎のクリスマスソングの音声データに音声広告を付してスマートスピーカ１０に送信する。ここで、広告選択部４２２はコンテンツ取得部４２０によって取得された甲村太郎のクリスマスソングに対応するキーワード「甲村太郎（作詞作曲）、乙アニメ（主題歌）、丙映画（挿入歌）、クリスマスソング、指輪」を音声コンテンツ保持部４０２から取得する。広告選択部４２２は、音声広告保持部４０４を参照し、取得したキーワード「甲村太郎（作詞作曲）、乙アニメ（主題歌）、丙映画（挿入歌）、クリスマスソング、指輪」に対応するキーワードを有する「乙アニメ、金曜午後６時から、放送中！」（キーワード：「乙アニメ、金曜、午後６時」）および「クリスマスプレゼントなら、ＸＸ貴金属の指輪がお勧めです」（キーワード：「クリスマス、プレゼント、指輪」）の二つの音声広告を候補として選択する。さらに広告選択部４２２は、声紋認証により認証されたユーザのユーザＩＤ「Ａ１０１」に対応するアカウントの属性「大人、男性、既婚」をユーザ情報保持部４０８から取得する。広告選択部４２２は、選択した二つの候補のうち、取得した属性「大人、男性、既婚」に対応する属性「大人」を有する「クリスマスプレゼントなら、ＸＸ貴金属の指輪がお勧めです」という音声広告の音声データを選択する。また、声紋認証により認証されたユーザのユーザＩＤが「Ａ１０５」であったなら、広告選択部４２２は、選択した二つの候補のうち、取得した属性「子供、女性、独身」に対応する属性「女性、子供」を有する「乙アニメ、金曜午後６時から、放送中！」という音声広告の音声データを選択する。このように、（１）の基準で候補を選択し、（３）の基準で絞り込む、という形での（１）の基準と（３）の基準との組み合わせも可能である。

また、（１）の基準と（２）の基準との組み合わせや（２）の基準と（３）の基準との組み合わせや（１）、（２）、（３）の三つの基準の組み合わせも可能である。
あるいはまた、（１）、（２）、（３）の基準以外にも、スマートスピーカ１０が集音したスマートスピーカ１０の周囲の物音やユーザ同士の会話に基づいて音声広告が選択されてもよい。例えば、ユーザと他のユーザとの間で交わされた「ティッシュペーパーがないね」、「そうだね、ＥＣサイトで頼もうか」という会話をスマートスピーカ１０が拾っていた場合、広告選択部４２２はその会話内容から「ティッシュペーパー」というキーワードを抽出し、抽出された「ティッシュペーパー」を宣伝する音声広告を選択してもよい。また、例えば、犬や猫の鳴き声をスマートスピーカ１０が拾っていた場合、広告選択部４２２はその鳴き声から「犬、猫」というキーワードを特定し、特定された「犬、猫」に関連するドッグフードやキャットフードを宣伝する音声広告を選択してもよい。

広告調整部４２４は、広告選択部４２２によって選択された音声広告の長さを調整するか否かを判定する。広告調整部４２４は、調整すると判定された場合、選択された音声広告に所定の抽出アルゴリズムを適用することにより該音声広告から一部分（例えば、比較的重要な部分）を抽出する。広告調整部４２４は音声広告の長さを調整するか否かを、コンテンツ取得部４２０によって取得された音声コンテンツの内容および／またはスマートスピーカ１０とユーザとの現在の対話セッションの状態に基づいて判定してもよい。

例えば、広告調整部４２４はセッション情報保持部４１０を参照し、選択された音声広告に対応するセッションの状態が「会話中」である場合は調整すると判定し、「発話待ち」であれば調整しないと判定してもよい。あるいはまた、広告調整部４２４は、コンテンツ取得部４２０によって取得された音声コンテンツの内容に基づいて音声広告の長さを決定してもよい。例えば、広告調整部４２４は音声コンテンツの再生時間に合わせて音声広告の長さを決めてもよい。比較的長い音声コンテンツについては音声広告を複数回再生するようにしてもよい。また例えば、広告調整部４２４は音声コンテンツがニュースや天気予報などの情報コンテンツである場合、ユーザはより早く所望の情報を得たいと考えている蓋然性が高いので、調整すると判定してもよい。

音声広告のうち人が話している部分、人が大きな音で話している部分、背景音が段々と大きくなる部分などを重要部分として抽出する技術が知られており、ハードディスク録画機等で用いられている。所定の抽出アルゴリズムは、この公知の技術を用いて構成されてもよい。なお、広告調整部４２４は音声広告の長さに加えてまたは代えて、音声広告の音量を調整してもよい。

送信情報生成部４２６は、コンテンツ取得部４２０によって取得された音声コンテンツと、広告選択部４２２によって選択された音声広告と、を合わせてひとつの送信情報を生成する。広告調整部４２４により音声広告の長さが調整されている場合は、広告選択部４２２によって選択された音声広告の代わりに、広告調整部４２４によって長さが調整された音声広告が用いられる。送信情報生成部４２６は、送信情報がスマートスピーカ１０によって受信され再生されたときに、音声広告の再生が音声コンテンツの再生よりも時間的に前となるように、送信情報を構成する。例えば、送信情報がヘッダと音声コンテンツと音声広告とを含む場合、送信情報生成部４２６はヘッダ、音声広告、音声コンテンツの順に並ぶよう送信情報を生成してもよい。

送信部４２８は、送信情報生成部４２６によって生成された送信情報をスマートスピーカ１０に、ネットワーク６を介して送信する。スマートスピーカ１０は、ネットワーク６を介して送信情報を受信すると、送信情報に含まれる音声広告をまず再生した後に、送信情報に含まれる音声コンテンツを再生する。あるいはまた、後述のタイミング制御部４３０がネットワーク６を介してスマートスピーカ１０からの音声の出力を制御してもよい。この場合、タイミング制御部４３０は、スマートスピーカ１０にまず送信情報に含まれる音声広告を出力させ、次いで送信情報に含まれる音声コンテンツを出力させる。いずれにせよ、音声広告と音声コンテンツとは連続的に再生される。すなわち、音声広告と音声コンテンツとの間に他の音声は存在しない。特に、音声広告は音声コンテンツの直前に再生される。

あるいはまた、音声広告は音声コンテンツの途中に埋め込まれてもよいし、音声コンテンツが出力された後に音声広告が出力されてもよい。

タイミング制御部４３０は、ネットワーク６を介してスマートスピーカ１０と通信し、スマートスピーカ１０からの音声出力のタイミングを制御する。タイミング制御部４３０はセッション情報保持部４１０を参照し、スマートスピーカ１０の周囲にユーザが存在するか否かを判定する。タイミング制御部４３０は、スマートスピーカ１０とユーザとの対話セッションのセッションＩＤがセッション情報保持部４１０に保持されている場合、スマートスピーカ１０の周囲にユーザが存在すると判定する、またはユーザの存在を検知する。タイミング制御部４３０は、そのようなセッションＩＤがセッション情報保持部４１０に保持されていない場合、スマートスピーカ１０の周囲にユーザが存在しないと判定する。

タイミング制御部４３０は、スマートスピーカ１０の周囲においてユーザの存在が検知されない場合、または、セッション情報保持部４１０に保持されているスマートスピーカ１０とユーザとの対話セッションの状態が「発話中」あるいは「会話中」となっている場合、スマートスピーカ１０からの音声広告の出力を制限する。タイミング制御部４３０は、ユーザの存在が検知されると、スマートスピーカ１０からの音声広告の出力を許可する。タイミング制御部４３０は、対話セッションの状態が「発話待ち」に変更されると、スマートスピーカ１０からの音声広告の出力を許可する。

タイミング制御部４３０は、スマートスピーカ１０に関連付けられたＴＶ１２の出力と、スマートスピーカ１０から出力される音声広告とが連携するように、該音声広告の出力のタイミングを制御する。例えば、タイミング制御部４３０は、ＴＶ１２から「続きはスピーカで！」という広告が流れ終わったタイミングで、スマートスピーカ１０から「テレビで紹介したこの商品は…」という音声広告の出力が開始されるよう、スマートスピーカ１０を制御する。この場合、タイミング制御部４３０は、ＴＶ１２からネットワーク６を介して現在放映されているチャネルの番号を取得する。タイミング制御部４３０は予め放映のスケジュールを他のサービスのサーバから取得しておく。タイミング制御部４３０は、取得されたチャネルの番号と、放映のスケジュールと、から、ＴＶ１２で流される広告の内容と、開始タイミングと、終了タイミングとを特定することができる。タイミング制御部４３０は、特定された内容に関連する音声広告を音声広告保持部４０４から選択し、スマートスピーカ１０に送信する（音声コンテンツに付随してもしなくてもよい）。タイミング制御部４３０は、送信した音声広告の出力を、ＴＶ１２で流される広告の終了タイミングで開始するようスマートスピーカ１０を制御する。

属性更新部４３２は、スマートスピーカ１０で収集した音声情報でユーザのアカウントの属性を更新する。例えば図８のユーザ情報保持部４０８に示されるアカウントＩＤが検索サービスのアカウントのものである場合、検索サービスのサイトを訪問したユーザにこのアカウントＩＤが付与される。このユーザがどのようなものを検索しているかという情報からこのユーザのアカウントの属性が導出され、図８のユーザ情報保持部４０８の属性として登録される。

一方、管理サーバ４では、スマートスピーカ１０とユーザとの対話の内容、および、ユーザと他のユーザとの会話の内容を解析することで、ユーザの嗜好を把握することができる。属性更新部４３２は、このようにスマートスピーカ１０を介して把握された嗜好で、ユーザ情報保持部４０８の属性を更新する。属性更新部４３２は、更新内容をアカウントＩＤに関連付けて検索サービスのサーバに提供してもよい。これにより、検索サービスは、これまで検索サービスでは得られなかったユーザの嗜好を得ることができ、このようにして得た嗜好を用いてブラウザの広告出力を最適化することができる。なお、スマートスピーカ１０を介して得られるユーザの嗜好、属性と、検索サービスにより把握される嗜好、属性とは、それぞれを識別可能に保持されてもよい。これにより、片方の嗜好、属性のみを用いて音声広告を選択する場合にも対応できるようになる。

また、属性更新部４３２は、スマートスピーカ１０から音声広告が出力されたとき、ユーザから興味無しの直接又は間接の表現をスマートスピーカ１０を介して受信したか否か判定する。属性更新部４３２は、受信した場合、対応する出力されていた音声広告の広告ＩＤを、ユーザのユーザＩＤに対応付けてＮＧ広告ＩＤとしてユーザ情報保持部４０８に登録する。広告選択部４２２は、音声広告を選択する際、ユーザ情報保持部４０８を参照し、認証されたユーザのユーザＩＤに対応して保持されるＮＧ広告ＩＤで特定される音声広告を選択の対象から除く。広告選択部４２２は、ＮＧ広告ＩＤで特定される音声広告の後継の音声広告を選択の対象から除いてもよい。広告選択部４２２は、ＮＧ広告ＩＤで特定される音声広告の属性やキーワードに対応するまたはそれと同じ属性やキーワードを有する音声広告を選択の対象から除いてもよい。

以上の構成による管理サーバ４の動作を説明する。
図１０は、図１の管理サーバ４における一連の処理の流れを示すフローチャートである。管理サーバ４は、ネットワーク６を介してスマートスピーカ１０から、音声コンテンツの配信要求を表す音声信号を受け付ける（Ｓ３０２）。管理サーバ４は、受け付けた音声信号に対して音声認識処理を行う（Ｓ３０４）ことで、要求されている音声コンテンツを特定する。管理サーバ４は、要求されている音声コンテンツを音声コンテンツ保持部４０２または外部から取得する（Ｓ３０６）。管理サーバ４は、音声広告保持部４０４から音声広告を選択する（Ｓ３０８）。管理サーバ４は、選択された音声広告の長さの調整が必要か否かを判定する（Ｓ３１０）。必要と判定された場合（Ｓ３１０のＹＥＳ）、管理サーバ４は音声広告の長さを調整する（Ｓ３１２）。管理サーバ４は、ステップＳ３０６で取得された音声コンテンツと、ステップＳ３０８で選択された音声広告（ステップＳ３１０でＮＯの場合）またはステップＳ３１２で長さが調整された音声広告（ステップＳ３１０でＹＥＳの場合）と、に基づいて送信情報を生成する（Ｓ３１４）。管理サーバ４は、生成された送信情報をスマートスピーカ１０にネットワーク６を介して送信する（Ｓ３１６）。管理サーバ４は、現在が音声広告を出力するのに適したタイミングであるか否かを判定する（Ｓ３１８）。適したタイミングである場合（Ｓ３１８のＹＥＳ）、管理サーバ４はまずスマートスピーカ１０に音声広告を出力させ（Ｓ３２０）、続いて音声コンテンツを出力させる（Ｓ３２２）。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

本実施の形態に係る管理サーバ４によると、スマートスピーカ１０での音声コンテンツの再生に合わせて音声広告が再生される。これにより、音声コンテンツの配信に合わせた音声広告の提供が可能となる。また、本実施の形態では、音声コンテンツの再生の前に音声広告が再生される。この場合の音声広告をユーザに聞いてもらえる蓋然性は、音声コンテンツの再生の後に音声広告を再生する場合よりも高い。したがって、より効果的な広告の提供が可能となる。

また、本実施の形態に係る管理サーバ４では、音声広告は音声コンテンツの内容やスマートスピーカ１０を介して得られた音声情報や認証ユーザのアカウントの属性に基づいて選択される。このように選択される音声広告は、ユーザの嗜好や要望に沿うものである蓋然性が高い。したがって、ユーザへの訴求力がより高い音声広告を提供することができる。

また、本実施の形態に係る管理サーバ４では、スマートスピーカ１０からの音声広告の出力のタイミングが適宜制御される。したがって、ユーザの会話や発話の邪魔とならないような音声広告の出力が可能となる。または、ＴＶ１２などの他の電子機器と連携した音声広告の提供が可能となる。

本実施の形態において、周囲の物音やユーザ同士の会話をスマートスピーカ１０が取得できることに関連して、管理サーバ４は、音声コンテキストを理解することで児童***が行われているか否かを判定してもよい。管理サーバ４は、自動***に関する音声データを編集し、所定の捜査機関に提供してもよい。捜査機関は全体の音声データを聞くことができる。

本実施の形態において、ユーザ認証部４１６による声紋認証によりユーザＩＤが特定され、ユーザ情報保持部４０８を参照することでこのユーザＩＤに対応する属性が特定される。この場合、管理サーバ４は、ユーザの属性に応じて音声コンテンツまたは音声広告の出力の態様を変更してもよい。例えば、ユーザの属性が子供である場合、管理サーバ４は、音声コンテンツまたは音声広告において、なるべく簡単な言葉を用い、汚い言葉は削除または言い換えてもよい。あるいはまた、ユーザの属性が老人である場合、管理サーバ４は、音声コンテンツまたは音声広告において、音量を大きくし、または発音をより明瞭化してもよい。

本実施の形態では、ユーザ認証部４１６によりユーザが認証される場合について説明したが、これに限られず、ユーザ認証はなくてもよい。この場合、音声広告の選択にユーザの属性は反映されない。ここで、本実施の形態ではＳ３２０で音声広告を出力する動作を説明したが、この音声広告の出力に加え、この出力状況を管理サーバ４で記憶することもできる。出力状況の例としては、「対象広告を最後まで再生した」、「対象広告は途中で停止された」、「対象広告の再生に加え、広告が対象とする製品に関して追加情報を出力した」などである。「対象広告を最後まで再生した」はスマートスピーカ１０が対象の音声データを最後まで出力した場合にその旨を管理サーバ４に報告することで実現することができる。また、途中での停止、追加情報の出力は共に、管理サーバ４が制御するものであるから当然に管理することができる。

本実施の形態に係る技術的思想は以下の項目により表されてもよい。
（項目１）
マイクロフォンおよび通信機能を有するスピーカから、ネットワークを介して配信要求を受け付ける機能と、
受け付けた配信要求に応じて、画像を伴わない音声コンテンツを取得する機能と、
画像を伴わない音声広告を音声広告保持手段から選択する機能と、
取得された音声コンテンツと選択された音声広告とを合わせて前記スピーカに、前記ネットワークを介して送信する機能と、をサーバに実現させるためのコンピュータプログラム。
（項目２）
マイクロフォンおよび通信機能を有するスピーカから、ネットワークを介して配信要求を受け付けることと、
受け付けた配信要求に応じて、画像を伴わない音声コンテンツを取得することと、
画像を伴わない音声広告を音声広告保持手段から選択することと、
取得された音声コンテンツと選択された音声広告とを合わせて前記スピーカに、前記ネットワークを介して送信することと、を含む方法。

（第２の実施の形態）
第２の実施の形態では、ある現実の空間内に複数のスマートスピーカが異なる位置に配置されており、そのそれぞれが第１の実施の形態の管理サーバ４と同様の管理サーバとネットワークを介して接続される。

図１１は、ユーザ２０４の部屋２０２の模式的な上面図である。この部屋２０２の中には固定の第１スマートスピーカ２０８と、固定の第２スマートスピーカ２１０と、固定の第３スマートスピーカ２１２と、固定の第４スマートスピーカ２１４と、可動の第５スマートスピーカ２１６と、ＴＶ２０６と、が配置されている。各スマートスピーカは管理サーバとネットワークを介して通信する。なお、図１１では五つのスマートスピーカが示されているが、スマートスピーカの数に制限はない。各スマートスピーカは部屋２０２の壁や床や天井に設置されてもよい。

（１）スマートスピーカの位置の自動決定
管理サーバは各スマートスピーカの部屋２０２における位置を記録、管理している。この位置は、ユーザ２０４が管理サーバ４に登録してもよい。あるいはまた、管理サーバは、五つのスマートスピーカのマイクロフォンおよびスピーカを用いて、各スマートスピーカの位置を自動的に決定してもよい。

管理サーバは、あるスマートスピーカが出力する音声を他のスマートスピーカ１０が検出することによりスマートスピーカ間の相対位置を決定する。例えば、第２スマートスピーカ２１０、第３スマートスピーカ２１２、第４スマートスピーカ２１４の位置が知られおり、第１スマートスピーカ２０８の位置を決定する場合、管理サーバは、第１スマートスピーカ２０８のスピーカに所定波長の音のパルスを出力させる。管理サーバは、第２スマートスピーカ２１０、第３スマートスピーカ２１２、第４スマートスピーカ２１４それぞれから、所定波長の音のパルスを受けた時刻を取得する。管理サーバは、取得した時刻からパルスの伝搬時間を算出し、算出された伝搬時間と音速とから距離を算出する。管理サーバは、算出された各距離と、第２、第３および第４スマートスピーカ２１０、２１２、２１４の既知の位置と、から第１スマートスピーカ２０８の位置を算出する。

第５スマートスピーカ２１６は、例えばロボットに装着されたスマートスピーカであり、自ら動くことができる。第１、第２、第３および第４スマートスピーカ２０８、２１０、２１２、２１４の位置が既知の場合、管理サーバは、上記の位置算出処理により第５スマートスピーカ２１６の位置を追跡することができる。また、第５スマートスピーカ２１６は、自分の位置を基準にして他のスマートスピーカの位置を決める場合、そのスマートスピーカが発する音を受け易い位置に移動してもよい。

図１１に示されるシステムの構成要素としては、マイクロフォンおよびスピーカの両方が搭載されているスマートスピーカやスマートフォンが望ましいが、一般にスピーカしかないテレビやラジオ、その他の電気機器でも、スピーカはあるため音声再生の支援は行うことができる。また、通信機能を備えた電気機器もある。これにより、複数の位置からのスピーカ出力が可能となる。電気機器を配置する位置はユーザが管理サーバに設定することで通知してもよいし、上述の位置算出処理により、あるいは無線通信の電波により管理サーバが自動的に決定してもよい。

（２）可動スマートスピーカの用途
音声出力において、スピーカの位置によって対象のユーザへの聞こえ方が変わる場合がある。したがって、管理サーバは、より適切に音が聞こえる位置に第５スマートスピーカ２１６を移動させる制御を行ってもよい。

また、ＴＶ２０６などは一般にマイクロフォン機能を備えておらず、したがってこのままでは上記の位置算出処理に参加することはできない。しかしながら、第５スマートスピーカ２１６がＴＶ２０６の位置まで移動し、ＴＶ２０６のマイクロフォン機能を代行することにより、ＴＶ２０６も位置算出処理に参加することができるようになる。

（３）ユーザの位置に応じた音声出力
各スマートスピーカの位置が既知の場合、ユーザ２０４の位置が分かれば、ユーザ２０４に最も近いスマートスピーカを特定することができる。ユーザ２０４が「テレビをつけて」などの音声出力要求を発話すると、五つのスマートスピーカがその発話を音声信号に変換し、管理サーバに送信する。管理サーバは音声信号に音声認識処理を施し、ユーザ２０４の音声出力要求を理解する。管理サーバは、ユーザ２０４の部屋２０２における位置に対応するスマートスピーカを特定する。特に管理サーバは、ユーザ２０４の位置に最も近い第２スマートスピーカ２１０を特定する。このとき管理サーバは、各スマートスピーカのマイクロフォンがユーザの発話を受けたときの音量を比較し、その音量が最も大きい第２スマートスピーカ２１０をユーザ２０４の位置に最も近いスマートスピーカとして特定する。あるいはまた、ユーザ２０４がスマートフォンを用いている場合は、管理サーバはスマートフォンの現在位置を取得することによりユーザ２０４の位置を特定することができる。

管理サーバは、上記のように特定された第２スマートスピーカ２１０に、ＴＶ２０６で流される映像に付随する音声を送信する。このようにすることで、ユーザ２０４は自分に一番近い第２スマートスピーカ２１０からＴＶ２０６の音声出力を受けることができる。

あるいはまた、スマートスピーカのスピーカが指向性を有する場合、管理サーバは指向性を制御してもよい。例えば、第１、第２、第３および第４スマートスピーカ２０８、２１０、２１２、２１４のスピーカが出力の指向性を有する場合、管理サーバは、各スピーカの音声出力がユーザ２０４の位置に向くよう各スマートスピーカを制御する。管理サーバは、各スマートスピーカにＴＶ２０６で流される映像に付随する音声を送信する。この場合、各スマートスピーカは音声をユーザ２０４に向けて出力する。

なお、指向性を有するスマートスピーカは、現在の音声出力の向きを視認可能な態様でユーザに示してもよい。例えば、スマートスピーカの上面に指向性を示す矢印をＬＥＤ等で表示してもよい。

この例によると、例えばスマートスピーカに対してコンテンツ再生を指示したユーザとそれ以外のユーザとが部屋２０２の中にいる場合に、その指示したユーザを対象として音声を出力することができる。ユーザごとにサーバプロセスを割り当てる構成をとることで、第１のユーザの位置に向くよう第１のスマートスピーカを制御し、第２のユーザの位置に向くよう第２のスマートスピーカを制御して、第１のスマートスピーカと第２のスマートスピーカとが同時に音声を出力するようにしてもよい。ひとつのスマートスピーカにおいて音声出力装置を複数備え、サーバにおいてユーザごとにサーバプロセスを割り当てる構成をとることで、ひとつのスマートスピーカを制御して、第１のユーザの位置に向く音声と、第２のユーザの位置に向く音声とを同時に出力するようにしてもよい。

本実施の形態に係る技術的思想は以下の項目により表されてもよい。
（項目３）
それぞれがマイクロフォンおよび通信機能を有する複数のスピーカを備えるシステムであって、
あるスピーカが出力する音声を他のスピーカが検出することによりスピーカ間の相対位置を決定するよう構成されるシステム。
（項目４）
それぞれがマイクロフォンおよび通信機能を有する複数のスピーカとネットワークを介して通信するサーバであって、前記複数のスピーカは同じ現実空間内の異なる位置に配置されており、
前記サーバは、
前記複数のスピーカのうちのいずれかを介して前記現実空間内のユーザから音声出力要求を受け付ける手段と、
前記ユーザの位置に対応するスピーカを特定する手段と、
特定されたスピーカに音声コンテンツを送信する手段と、を備えるサーバ。
（項目５）
それぞれがマイクロフォンおよび通信機能を有する複数のスピーカとネットワークを介して通信するサーバであって、前記複数のスピーカは同じ現実空間内の異なる位置に配置されており、
前記サーバは、
前記複数のスピーカのうちのいずれかを介して前記現実空間内のユーザから音声出力要求を受け付ける手段と、
前記ユーザの位置に向けて音声が出力されるよう、前記複数のスピーカのうちの少なくともひとつの指向性を制御する手段と、を備えるサーバ。

（第３の実施の形態）
図１２は、第３の実施の形態に係る音声操作システム２３２の構成を示す模式図である。音声操作システム２３２は、管理サーバ２３４と、スマートスピーカ２４０と、ＴＶ２４２と、スマートフォン２４８と、を備える。管理サーバ２３４とスマートスピーカ２４０とＴＶ２４２とスマートフォン２４８とはインターネットなどのネットワーク２３６を介して通信可能に接続されている。スマートスピーカ２４０およびＴＶ２４２はいずれも、ユーザ２３８の部屋２４４に設置されている。スマートスピーカ２４０はスマートフォン２４８とＰ２Ｐ通信２４６が可能に構成される。

ＴＶ２４２を音声で操作する場合、ユーザ２３８は、「テレビをつけて」等の操作指示を表す文をスマートスピーカ２４０に向けて発話する。スマートスピーカ２４０のマイクロフォンはユーザ２３８が発話した音声を電気信号に変換し、スマートスピーカ２４０は変換の結果得られた電気信号を音声信号として、ネットワーク２３６を介して管理サーバ２３４に送信する。管理サーバ２３４は受信した音声信号に対して音声認識処理を行うことでユーザ２３８がＴＶ２４２の電源を入れることを要求していると理解する。管理サーバ２３４は、要求された操作を実現するための、すなわちＴＶ２４２の電源を入れるための指示信号を生成し、ネットワーク２３６を介してＴＶ２４２に送信する。ＴＶ２４２はネットワーク２３６を介して指示信号を受信すると、電源オフ状態から電源オン状態に移行する。

このように、スマートスピーカ１０を介した制御、操作は基本的に音声により行われる。しかしながら、部屋２４４にユーザ２３８以外のユーザがいる場合、音声での制御を嫌がるユーザ２３８もいる。また、ユーザ２３８だけが部屋２４４にいる場合でも、制御内容によっては音声での制御を避けたい場合もある。その場合に、音声操作システム２３２は、スマートフォン２４８を介して、スマートスピーカ２４０のシステム側（管理サーバ２３４）に対してテキストでの制御を行うことを可能としている。

スマートフォン２４８での操作を可能とするために、スマートフォン２４８は、管理サーバ２３４専用のアプリケーションをダウンロードしてインストールする。スマートフォン２４８でそのアプリケーションが起動されると、そのアプリケーションは、Ｐ２Ｐ通信２４６やローカルネットワークを介してスマートスピーカ２４０から管理サーバ２３４のＵＲＬを取得する。アプリケーションは、取得したＵＲＬを用いて管理サーバ２３４との接続を確立する。スマートフォン２４８と管理サーバ２３４との間の接続が確立されると、スマートフォン２４８に入力された操作内容がその接続を通じて管理サーバ２３４に送信される。管理サーバ２３４は受信した操作内容を実現するよう指示信号を生成して送信する。

例えば、管理サーバ２３４は、「テレビをつけて」というテキスト文字列をスマートフォン２４８から受信すると、受信したテキスト文字列を解析することでユーザ２３８がＴＶ２４２の電源を入れることを要求していると理解する。管理サーバ２３４は、要求された操作を実現するための、すなわちＴＶ２４２の電源を入れるための指示信号を生成し、ネットワーク２３６を介してＴＶ２４２に送信する。ＴＶ２４２はネットワーク２３６を介して指示信号を受信すると、電源オフ状態から電源オン状態に移行する。

本実施の形態に係る音声操作システム２３２によると、ユーザ２３８は、状況に応じて音声による操作とスマートフォン２４８を介した操作とを使い分けることができる。

本実施の形態では、管理サーバ２３４がスマートスピーカ２４０またはスマートフォン２４８を介してユーザ２３８から操作指示を受け付ける場合を説明したが、これに限られず、例えば第１の実施の形態のように管理サーバ２３４がスマートスピーカ２４０またはスマートフォン２４８を介してユーザ２３８から音声コンテンツの配信要求を受け付けてもよい。

本実施の形態に係る技術的思想は以下の項目により表されてもよい。
（項目６）
マイクロフォンおよび通信機能を有するスピーカとネットワークを介して通信するサーバであって、
前記スピーカのマイクロフォンを介してユーザから受け付けた要求を処理する手段と、
前記スピーカと通信する他の電子機器を介して前記ユーザから受け付けた要求を処理する手段と、を備えるサーバ。

（第４の実施の形態）
第４の実施の形態は、管理サーバにおけるレイヤ分けに関する。本実施の形態では、話者別にサーバプロセス（またはサーバ）を変える。声紋認証により誰が話しているかをサーバは認識することができる。対象のユーザが通常使用しているサーバプロセス（またはサーバ）が処理を行う。

図１３は、第４の実施の形態に係る音声操作システム２５２の構成を示す模式図である。音声操作システム２５２は、管理サーバ２５４と、スマートスピーカ２６０と、ＴＶ２６２と、を備える。管理サーバ２５４とスマートスピーカ２６０とＴＶ２６２とはインターネットなどのネットワーク２５６を介して通信可能に接続されている。スマートスピーカ２６０およびＴＶ２６２はいずれも部屋２６４に設置されており、部屋２６４には三人のユーザ（第１ユーザ２６６、第２ユーザ２６８、第３ユーザ２７０）がいる。

ＴＶ２６２を音声で操作する場合、第１ユーザ２６６は、「テレビをつけて」等の操作指示を表す文をスマートスピーカ２６０に向けて発話する。スマートスピーカ２６０のマイクロフォンは第１ユーザ２６６が発話した音声を電気信号に変換し、スマートスピーカ２６０は変換の結果得られた電気信号を音声信号として、ネットワーク２５６を介して管理サーバ２５４に送信する。管理サーバ２５４は受信した音声信号に対して声紋認証を行い、第１ユーザ２６６を特定する。管理サーバ２５４は、特定された第１ユーザ２６６に対応するサーバプロセスを選択し、選択されたサーバプロセスが以降の要求の処理を行う。ＴＶ２６２は、管理サーバ２５４の選択されたサーバプロセスからネットワーク２３６を介して指示信号を受信すると、電源オフ状態から電源オン状態に移行する。管理サーバ２５４において、第１ユーザ２６６とは異なる第２ユーザ２６８や第３ユーザ２７０の発話に対して、第１ユーザ２６６に対応するサーバプロセスとは異なるサーバプロセスが割り当てられる。

図１４は、図１３の管理サーバ２５４の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

管理サーバ２５４は、ユーザ情報保持部２７２と、音声信号受付部２７４と、ユーザ認証部２７６と、サーバプロセス群２７８と、を備える。サーバプロセス群２７８は、それぞれが特定のユーザに割り当てられた複数のサーバプロセスＳＰ１、ＳＰ２、ＳＰ３、…を含む。以下では、ユーザごとにサーバプロセスが異なる場合を説明するが、他の実施の形態では、ユーザごとにサーバそのものを異ならせてもよい。サーバが異なれば当然サーバプロセスも異なることとなる。

図１５は、図１４のユーザ情報保持部２７２の一例を示すデータ構造図である。ユーザ情報保持部２７２は、ユーザＩＤと、ユーザの声紋のデータと、ユーザに割り当てられたサーバプロセスのＩＤと、を対応付けて保持する。

図１４に戻り、音声信号受付部２７４は、スマートスピーカ２６０からネットワーク２５６を介して、三人のユーザ２６６、２６８、２７０のうちのいずれかの発話内容を表す音声信号を受け付ける。

ユーザ認証部２７６は、音声信号受付部２７４が受け付けた音声信号から声紋を抽出または取得する。ユーザ認証部２７６は、抽出された声紋に基づく声紋認証を行う。ユーザ認証部２７６はユーザ情報保持部２７２を参照し、ユーザ情報保持部２７２に保持されている声紋のなかに抽出された声紋と一致する声紋があるか否かを判定する。ユーザ認証部２７６は、一致する声紋があればその声紋に対応するユーザＩＤおよびサーバプロセスＩＤを特定する。ユーザ認証部２７６は、一致する声紋がなければ、一致なしまたはユーザ不明を表す出力を生成する。

ユーザ認証部２７６でサーバプロセスＩＤが特定されると、サーバプロセス群２７８に含まれるサーバプロセスのうち、特定されたサーバプロセスＩＤを有するサーバプロセスが起動する。起動したサーバプロセスは、音声信号受付部２７４が受け付けた音声信号に対する以降の処理を行う。

サーバプロセス群２７８に含まれる各サーバプロセスは、第３の実施の形態で説明したような電子機器の操作機能を実現する。他の実施の形態では、サーバプロセスは、例えば第１の実施の形態で説明したような音声コンテンツの配信機能を実現してもよい。

例えば、第１ユーザ２６６が部屋２６４に住む住人である場合、第１ユーザ２６６のサーバプロセスにはＴＶ２６２を制御する権限が付与されている。第２ユーザ２６８および第３ユーザ２７０が第１ユーザ２６６の部屋２６４に遊びに来た来訪者である場合、それらのユーザのサーバプロセスには、ＴＶ２６２を制御する権限は付与されない。したがって、第２ユーザ２６８または第３ユーザ２７０がＴＶ２６２を音声操作する場合、第２ユーザ２６８または第３ユーザ２７０のサーバプロセスが第１ユーザ２６６のサーバプロセスに、ＴＶ２６２の操作依頼を送信する。捜査依頼を受けたサーバプロセスは、第１ユーザ２６６に対してその操作を行ってよいかを問い合わせ、第１ユーザ２６６から同意を得ることができれば対象の操作を実行する。

あるいはまた、スマートスピーカ２６０の所有者である第１ユーザ２６６が、ゲスト（来訪者）である第２ユーザ２６８および第３ユーザ２７０に対して権限を設定してもよい。例えば、スマートスピーカ２６０を介した電灯の制御を可能としつつ、スマートスピーカ２６０を介したＥＣサイトでの購入は不可としてもよい。

本実施の形態に係る音声操作システム２５２によると、ユーザごとにサーバプロセスを割り当てることで、ユーザごとに実行可能な操作やアクセス可能な情報や権限などを異ならせることができる。

本実施の形態では、管理サーバ２５４が複数のサーバプロセスを有し、管理サーバ２５４が音声信号を受けて声紋認証し、用いるサーバプロセスを特定する場合について説明したが、これに限られない。例えば、複数のサーバが存在する場合に、スマートスピーカ２６０からの音声信号を全てのサーバに送信し、各サーバで声紋認証を行ってもよい。あるいはまた、いずれか一人のユーザのサーバ若しくはサーバプロセス、又は、いずれか一つのサーバ若しくはサーバプロセスが音声信号を受け、対象のユーザの音声信号のみを抽出し、対象のサーバ若しくはサーバプロセスに転送してもよい。

本実施の形態では、操作指示を出す第１ユーザ２６６と操作対象のＴＶ２６２とが同じ部屋２６４にある場合について説明したが、これに限られず、操作対象の電子機器の遠隔操作を可能としてもよい。例えば、第２ユーザ２６８が第１ユーザ２６６の部屋２６４に遊びに来ているときに、第２ユーザ２６８が自分の部屋（部屋２６４とは異なる）のエアコンを起動したいと思ったとする。第２ユーザ２６８は「私の部屋のエアコンをつけて」という操作指示を表す文をスマートスピーカ２６０に向けて発話する。管理サーバ２５４は声紋認証および音声認識により第２ユーザ２６８の要求を理解する。管理サーバ２５４は、第２ユーザ２６８の部屋のスマートスピーカと接続されている別の管理サーバに、第２ユーザ２６８の要求を転送する。この際、認証データとして音声信号を添付する。

本実施の形態に係る技術的思想は以下の項目により表されてもよい。
（項目７）
マイクロフォンおよび通信機能を有するスピーカとネットワークを介して通信するサーバであって、
前記スピーカのマイクロフォンを介して取得された音声信号を解析することで話者を特定する手段と、
特定された話者に割り当てられたサーバプロセスを用いて、前記音声信号に係る処理を行う手段と、を備えるサーバ。

なお、前記各実施の形態において、スマートスピーカに加え、ネットワークに接続したテレビ又はコンピュータと連携する動作も説明したが、スマートスピーカで音声広告を出力した後に、ユーザの音声制御に応じて追加の情報を前記テレビ又はコンピュータに表示することもできる。この時に管理サーバ４が前記テレビ又はコンピュータに表示すべきＵＲＬを送信することで実現されるが、このＵＲＬのパラメータの中にスマートスピーカ又は管理サーバ４により追加の情報リクエストがなされたことを示す情報を追加することもできる。これにより、リクエスト先のシステム側で管理サーバ４又はスマートスピーカを用いたリクエストであることを把握することができる。ここで、送信方法の一例として、ＵＲＬのパラメータを用いたが、他の方法にて通知してもよい。

以上、実施の形態に係るシステムの構成と動作について説明した。これらの実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。実施の形態同士の組み合わせも可能である。

２ 音声広告配信システム、 ４ 管理サーバ、 ６ ネットワーク、 ８ ユーザ、 １０ スマートスピーカ。

Claims (8)

1. マイクロフォンおよび通信機能を有するスピーカから、ネットワークを介して前記スピーカのマイクロフォンを介して取得された音声情報を受け付ける受付手段と、
   受け付けた音声情報を保持する音声情報保持手段と、
   受け付けた音声情報における配信要求に応じて、画像を伴わない音声コンテンツを取得する取得手段と、
   画像を伴わない音声広告を音声広告保持手段から選択する選択手段と、
   選択された音声広告の長さを調整するか否かを判定する判定手段と、
   取得された音声コンテンツと選択された音声広告とを合わせて前記スピーカに、前記ネットワークを介して送信する送信手段と、を備え、
   前記選択手段は、前記音声情報保持手段に保持される音声情報に基づいて音声広告を選択し、
   選択された音声広告の長さを調整すると判定された場合、前記送信手段は、長さが調整された音声広告を送信するサーバ。
2. 前記スピーカは、取得された音声コンテンツと選択された音声広告とを前記ネットワークを介して受信すると、音声広告を再生した後に音声コンテンツを再生する請求項１に記載のサーバ。
3. 前記選択手段は、前記音声情報保持手段に保持される、前記スピーカとユーザとの現在の対話セッションにおける該ユーザの過去の音声情報に基づいて音声広告を選択する請求項１又は２に記載のサーバ。
4. 長さが調整された音声広告は、選択された音声広告に所定の抽出アルゴリズムを適用することにより該音声広告から抽出された一部分である請求項１に記載のサーバ。
5. 前記ネットワークを介して、前記スピーカからの音声出力のタイミングを制御する制御手段をさらに備え、
   前記制御手段は、ユーザの存在が検知されない場合、または、ユーザの会話が継続していると判定される場合、前記スピーカからの音声広告の出力を制限する請求項１から４のいずれか一項に記載のサーバ。
6. 前記ネットワークを介して、前記スピーカからの音声出力のタイミングを制御する制御手段をさらに備え、
   前記制御手段は、前記スピーカに関連付けられた他の電子機器の出力と前記スピーカから出力される音声広告とが連携するように、該音声広告の出力のタイミングを制御する請求項１から４のいずれか一項に記載のサーバ。
7. 前記スピーカのマイクロフォンを介して取得された音声情報に基づくユーザ認証を行う認証手段をさらに備え、
   前記選択手段は、認証されたユーザのアカウントの属性に対応する音声広告を、前記音声広告保持手段から選択する請求項１から６のいずれか一項に記載のサーバ。
8. マイクロフォンおよび通信機能を有するスピーカから、ネットワークを介して配信要求を受け付ける受付手段と、
   受け付けた配信要求に応じて、画像を伴わない音声コンテンツを取得する取得手段と、
   画像を伴わない音声広告を音声広告保持手段から選択する選択手段と、
   選択された音声広告の長さを当該音声広告の一部分に調整するか否かを判定する判定手段と、
   取得された音声コンテンツと選択された音声広告とを合わせて前記スピーカに、前記ネットワークを介して送信する送信手段と、を備え、
   前記判定手段は、前記スピーカのユーザが他のユーザと会話中の状態である場合に、選択された音声広告の長さを当該音声広告の一部分に調整すると判定し、
   音声広告の長さを当該音声広告の一部分に調整すると判定された場合、前記送信手段は、音声広告の一部分に調整された音声広告を前記スピーカに送信するサーバ。

Images