JP2020010144A - スマートスピーカ、セキュアエレメント、プログラム、情報処理方法及び配信方法 - Google Patents

Abstract

【課題】セキュリティ上及びプライバシー上のリスクを低減しつつ適切に動作することができるスマートスピーカ等を提供する。【解決手段】スマートスピーカ１は、音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を有するスピーカ本体と、該スピーカ本体からのアクセスが制限されたセキュア部とを備え、前記セキュア部は、ユーザの生体情報を記憶する記憶部と、前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、前記生体情報に基づく認証を行う認証部とを備えることを特徴とする。【選択図】図１

Description

本発明は、スマートスピーカ、セキュアエレメント、プログラム、情報処理方法及び配信方法に関する。

通信機能と音声操作のアシスタント機能とを備えた、スマートスピーカと呼ばれる装置が普及しつつある。しかし、現在は利便性主導で普及が進んでおり、セキュリティ上の懸念が指摘されている。例えばスマートスピーカが正当なユーザではない第三者の発話を認識してＥＣサイトへの注文を確定し、商品が発送されてしまうという事例が報告されている。

一方で、特許文献１では、ユーザが入力する音声に従ってアプリケーションを起動するスマートフォン等の電子機器であって、ユーザによるタップ等の所定動作を検知した場合にユーザの顔、虹彩等の生体情報を検出してユーザ認証を行い、認証に成功した場合に音声の入力を受け付けてアプリケーションを起動する電子機器等が開示されている。

特開２０１８−７４３６６号公報

特許文献１に記載の技術をスマートスピーカに応用し、スマートスピーカにユーザの動作、生体情報等を検知させてユーザ認証を行わせることも考えられる。しかし、生体情報のような重要な情報をスマートスピーカ又はクラウド上に配置した場合、クラッキング等によるセキュリティ上のリスク、あるいはプライバシー漏洩のリスクがある。

一つの側面では、セキュリティ上及びプライバシー上のリスクを低減しつつ適切に動作することができるスマートスピーカ等を提供することを目的とする。

一つの側面では、スマートスピーカは、音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を有するスピーカ本体と、該スピーカ本体からのアクセスが制限されたセキュア部とを備え、前記セキュア部は、ユーザの生体情報を記憶する記憶部と、前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、前記生体情報に基づく認証を行う認証部とを備えることを特徴とする。

一つの側面では、セキュリティ上及びプライバシー上のリスクを低減しつつ適切に動作することができる。

スピーカシステムの構成例を示す模式図である。 スマートスピーカの構成例を示すブロック図である。 実施の形態１の概要を説明するための説明図である。 スピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態２の概要を説明するための説明図である。 実施の形態２に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態３の概要を説明するための説明図である。 実施の形態３に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態４の概要を説明するための説明図である。 実施の形態４に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態５の概要を説明するための説明図である。 実施の形態５に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態６の概要を説明するための説明図である。 実施の形態６に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。 実施の形態７に係るスマートスピーカの構成例を示すブロック図である。 上述した形態のスマートスピーカの動作を示す機能ブロック図である。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、スピーカシステムの構成例を示す模式図である。スマートスピーカ１を用いて所定のサービスをユーザに提供するスピーカシステムであって、スマートスピーカ１において音声入力時にユーザの認証を行うスピーカシステムについて説明する。スピーカシステムは、スマートスピーカ１、管理サーバ３、サービスサーバ４（４ａ、４ｂ…）を含む。各装置は、インターネット等のネットワークＮを介して相互に通信接続されている。

スマートスピーカ１は、音声の入出力機能のほかに外部との通信機能を備えたスピーカ装置であり、例えばＧｏｏｇｌｅ（登録商標）社のＧｏｏｇｌｅ Ｈｏｍｅ、Ａｍａｚｏｎ（登録商標）社のＡｍａｚｏｎ Ｅｃｈｏ（登録商標）のようにユーザとの対話を行うスピーカ装置である。スマートスピーカ１はユーザから音声の入力を受け付けて外部に送信し、所定の外部装置において音声認識、自然言語処理等が行われ、入力音声に対して返信された出力音声を再生する。

管理サーバ３は、本システムを管理する管理者の装置であり、後述する機密情報の暗号化をスマートスピーカ１が実行するための鍵情報を管理する管理装置である。鍵情報は、例えば公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などである。詳しくは後述するように、スマートスピーカ１は管理サーバ３から配信された鍵情報を記憶し、当該鍵情報を用いて、外部に送信するデータを暗号化して出力する。

サービスサーバ４は、スマートスピーカ１における入力音声に基づき所定のサービスをユーザに提供するサービス事業者のサーバ装置である。以下の説明では複数のサービス事業者が存在するものとし、各サービス事業者のサービスサーバ４を符号４ａ、４ｂ、…で表す。サービス事業者が提供するサービスはＥＣサービス等が想定されるが、サービス内容は特に限定されない。サービスサーバ４はスマートスピーカ１から入力音声のデータを取得し、ユーザに提供するサービス内容に応じた情報処理（ＥＣサービスであれば商品の発注等に関する処理）を実行する。サービスサーバ４は、ユーザに提供するサービスに関する出力音声用のデータをスマートスピーカ１に返信し、音声を出力させる。

なお、Ｇｏｏｇｌｅ Ｈｏｍｅ等の既存のプラットフォームを利用する場合、実際にはスマートスピーカ１とサービスサーバ４との間に音声認識、自然言語処理等を行う外部サーバが位置してスマートスピーカ１の入出力音声を処理するが、本実施の形態では説明の簡潔のため外部サーバに関する記載を省略する。または、サービスサーバ４が直接的に音声認識、自然言語処理等を行い、入出力音声の解析、生成を行ってもよい。

本実施の形態においてスマートスピーカ１は、ユーザに関連する機密情報であって、サービス事業者が提供するサービスを利用するために必要な機密情報を記憶しており、入力音声と共に機密情報をサービスサーバ４に送信してサービスを利用する。機密情報は、例えばクレジットカード番号、個人番号（マイナンバー）などであるが、機密にすべき情報であればよく、その内容は特に限定されない。例えばユーザがスマートスピーカ１を介してＥＣサービスを利用する場合、スマートスピーカ１は、商品購入に必要な購買情報（例えばクレジットカード番号）を機密情報としてサービスサーバ４に送信する。

本実施の形態でスマートスピーカ１は、悪意ある第三者による不正利用、特に機密情報の悪用、搾取等を防ぐため、ユーザによる音声入力時に生体情報の認証を行う。具体的には、スマートスピーカ１は入力音声からユーザの声紋に係る特徴量、すなわち声紋情報を抽出し、予め記憶してある声紋情報との照合を行ってユーザを認証する。

図２は、スマートスピーカ１の構成例を示すブロック図である。スマートスピーカ１は、制御部１１、主記憶部１２、通信部１３、マイク１４、スピーカ１５、補助記憶部１９、セキュアエレメント２０を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を有し、補助記憶部１９に記憶されたプログラムＰを読み出して実行することにより、スマートスピーカ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＲＡＭ（Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための処理回路等を含み、外部と情報の送受信を行う。なお、通信部１３が行う通信処理は有線通信であってもよく、無線通信であってもよい。マイク１４は、ユーザの指示を音声で入力するためのマイクである。スピーカ１５は、マイク１４に入力された音声によってユーザから指示された操作の結果を音声で出力するためのスピーカである。補助記憶部１９はＲＯＭ（Read-Only Memory）等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。

セキュアエレメント２０は、耐タンパ性を有するハードウェアモジュールであり、例えばＳＩＭ（Subscriber Identity Module）、ＵＩＭ（User Identity Module）、ＴＰＭ（Trusted Platform Module）等のＩＣカードやＩＣチップである。セキュアエレメント２０は、制御部１１、通信部１３、マイク１４、スピーカ１５等を含むスピーカ本体からのアクセスが制限されており、上述の機密情報のように、スマートスピーカ１が行う処理において重要なデータを格納してある。

本実施の形態でセキュアエレメント２０は、スピーカ本体に接続されたセキュリティチップとして構成されており、スピーカ本体から取外し可能に構成されている。セキュアエレメント２０をスピーカ本体から取外し可能とすることで、ユーザのプロファイルの移動を簡便かつ直感的に実施できるようになる。

なお、セキュアエレメント２０を取外し可能な構成とせず、例えばはんだ付け等により、スピーカ本体に取外し不可能に搭載されていてもよいことは勿論である。

セキュアエレメント２０は、認証部２１、暗号化部２２、記憶部２３を備える。認証部２１は、ユーザの生体情報に基づく認証処理を行う。暗号化部２２は、セキュアエレメント２０から出力するデータの暗号化を行う。記憶部２３は、セキュアエレメント２０に搭載されたメモリ領域であり、声紋情報２３１、機密情報２３２、及び鍵情報２３３を記憶している。声紋情報２３１は、入力音声から抽出可能なユーザの生体情報であり、ユーザの声紋を示す音声特徴量である。機密情報２３２は、ユーザに関連する機密情報であって、サービスサーバ４が提供するサービスの利用に必要な機密情報を記憶している。

鍵情報２３３は、セキュアエレメント２０から出力するデータを暗号化するための鍵情報であって、例えば公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などである。なお、例えば鍵情報２３３は電子署名用の暗号鍵であってもよく、暗号化のアルゴリズムは特に限定されない。暗号化部２２は、鍵情報２３３を用いて機密情報２３２を暗号化し、スピーカ本体に出力する。記憶部２３に記憶されている鍵情報２３３（例えば公開鍵）に対応する鍵情報（例えば秘密鍵）はサービスサーバ４が保持している。サービスサーバ４は自らが保持する鍵情報を用いて機密情報２３２を復号、検証し、ユーザにサービスを提供する。本実施の形態でスマートスピーカ１及びサービスサーバ４が使用する鍵情報は管理サーバ３が管理しており、各装置は管理サーバ３から取得した鍵情報を保持し、データの暗号化及び復号を行う。

なお、図２では図示の便宜上、単一の声紋情報２３１及び機密情報２３２が記憶されているものとして図示してあるが、本実施の形態では一台のスマートスピーカ１を複数のユーザが使用するものとし、ユーザ毎に個別の声紋情報２３１及び機密情報２３２が記憶されているものとする。例えば記憶部２３は、ユーザ名と対応付けて各ユーザの声紋情報２３１及び機密情報２３２を記憶する。セキュアエレメント２０は声紋情報２３１に基づいてユーザを識別し、識別したユーザに対応する機密情報２３２を出力する。

また、鍵情報２３３についても同様に、便宜的に単一の鍵情報２３３が記憶されているものとして図示してあるが、本実施の形態ではサービスサーバ４ａ、４ｂ、…毎に個別の鍵情報２３３が記憶されているものとする。セキュアエレメント２０は、ユーザが利用するサービスに応じて鍵情報２３３を選択し、選択した鍵情報２３３を用いて機密情報２３２を暗号化して出力する。

図３は、実施の形態１の概要を説明するための説明図である。図３に基づき、本実施の形態の概要について説明する。
サービスサーバ４が提供するサービスを利用する場合、ユーザはスマートスピーカ１に対し、サービスの利用を要求するための所定の指示音声を入力する。例えばＥＣサービスを利用する場合、ユーザは購入を希望する商品の情報を発話する。スマートスピーカ１のマイク１４は、商品の購入を指示する指示音声の入力を受け付ける。

スマートスピーカ１は、マイク１４に入力された音声から、ユーザの声紋を示す特徴量、すなわち声紋情報を生体情報として抽出する。声紋情報は、例えばサウンドスペクトログラムに係る周波数パターンである。スマートスピーカ１は、抽出した声紋情報をセキュアエレメント２０に入力する。

セキュアエレメント２０の認証部２１は、スピーカ本体から取得した声紋情報に基づきユーザの認証を行う。すなわち認証部２１は、記憶部２３に事前に記憶してある声紋情報２３１を読み出し、スピーカ本体から取得した声紋情報と一致するか否か照合する。具体的には、認証部２１は記憶部２３に記憶されている複数のユーザそれぞれの声紋情報２３１との比較を行い、音声を入力したユーザを特定する。声紋情報が一致した場合、認証部２１は認証に成功したものと判定する。声紋情報が一致しないと判定した場合、認証部２１は認証に失敗したものと判定し、認証結果をスピーカ本体に出力して一連の処理を終了させる。

認証に成功した場合、認証部２１は暗号化部２２にその旨を通知する。通知を受けた場合、暗号化部２２はユーザの機密情報２３２を記憶部２３から読み出す。上述の如く、機密情報２３２はユーザに関連する機密にすべき情報であって、ユーザがサービスを利用する上で必要な情報である。例えばサービスサーバ４が提供するサービスがＥＣサービスである場合、クレジットカード番号のように、商品購入の際に必要な購買情報が記憶部２３に記憶されている。暗号化部２２は、記憶部２３に記憶されている複数のユーザそれぞれの機密情報２３２のうち、認証部２１が声紋情報２３１に基づき特定したユーザに対応する機密情報２３２を読み出す。

また、暗号化部２２は鍵情報２３３を記憶部２３から読み出す。上述の如く、鍵情報２３３は公開鍵暗号方式の公開鍵、共通鍵暗号方式の共通鍵などであり、サービスサーバ４が保持する鍵情報に対応する鍵情報である。本実施の形態では各サービスサーバ４ａ、４ｂ、…が提供するサービス毎に個別の鍵情報２３３が用意されており、記憶部２３は、各サービスに対応する鍵情報２３３を記憶している。スマートスピーカ１（スピーカ本体）は入力音声からユーザが利用するサービスを特定し、暗号化部２２は、特定されたサービスに対応する鍵情報２３３を読み出す。

なお、入力音声からサービスを特定する方法は特に限定されないが、例えば所謂ウェイクワードのような所定のコマンド音声をスマートスピーカ１が入力音声から認識してサービスを特定するようにしてもよい。あるいは、スマートスピーカ１から外部サーバへ音声のみを先に出力し、音声認識を行わせてサービスを特定させ、外部サーバから特定結果を取得するようにしてもよい。

暗号化部２２は、上述の如く、音声を入力したユーザに対応する機密情報２３２と、ユーザが利用するサービスに対応する鍵情報２３３とを読み出す。暗号化部２２は、読み出した機密情報２３２を鍵情報２３３に基づいて暗号化し、スピーカ本体へ出力する。

スピーカ本体の通信部１３は、セキュアエレメント２０から出力された機密情報２３２を、マイク１４に入力された音声のデータと共にサービスサーバ４へ送信する。例えばＥＣサービスを利用する場合、通信部１３は、商品の購入を指示する指示音声のデータと、商品購入に必要な購入情報とをサービスサーバ４に送信する。これにより、スマートスピーカ１はサービスサーバ４に対してサービスの提供を要求する。

サービスサーバ４は、スマートスピーカ１から入力音声及び機密情報２３２に係るデータを受信する。サービスサーバ４は、受信した機密情報２３２を、自らが保持する鍵情報で復号し、検証を行う。上述の如く、スマートスピーカ１が暗号化に用いる鍵情報２３３は、各サービスサーバ４が保持する鍵情報毎に個別となっている。従って、スマートスピーカ１が誤って意図しないサービスサーバ４に機密情報２３２を送信した場合であっても、サービスサーバ４は機密情報２３２を復号することができず、不正使用のリスクを低減することができる。

機密情報２３２の復号に成功した場合、サービスサーバ４は、入力音声に従いユーザにサービスを提供する。例えばＥＣサービスを提供する場合、サービスサーバ４は商品の発注、発送等に関連する処理を行う。サービスサーバ４は、提供されたサービスに関する出力音声用のデータをスマートスピーカ１に送信する。通信部１３は当該データを受信し、スピーカ１５へと受け渡す。スピーカ１５は、サービスサーバ４から送信された出力音声を再生（出力）する。

以上より、スマートスピーカ１は耐タンパ性を有するセキュアエレメント２０を備え、ユーザの生体情報として声紋情報２３１をセキュアエレメント２０に記憶している。スマートスピーカ１は、音声入力によりユーザがサービスを利用する場合、セキュアエレメント２０に声紋情報を入力し、ユーザの認証を行わせる。スマートスピーカ１は、セキュアエレメント２０による認証結果に応じて機密情報２３２を出力し、ユーザにサービスを提供する。これにより、スマートスピーカ１の不正利用、特に機密情報２３２の不正利用を防ぐことができ、スピーカシステムの安全性を高めることができる。

図４は、スピーカシステムが実行する処理手順の一例を示すフローチャートである。図４に基づき、スピーカシステムが実行する処理内容について説明する。
スマートスピーカ１の制御部１１は、マイク１４を介して指示音声の入力を受け付ける（ステップＳ１１）。制御部１１は、入力された音声からユーザの声紋情報を抽出する（ステップＳ１２）。

制御部１１は抽出した声紋情報をセキュアエレメント２０に入力し、セキュアエレメント２０は、記憶部２３に記憶してあるユーザの声紋情報２３１（生体情報）と照合する認証処理を行う（ステップＳ１３）。記憶部２３に複数のユーザの声紋情報２３１が記憶（登録）されている場合、セキュアエレメント２０は、入力音声から抽出された声紋情報を、記憶部２３に記憶されている各ユーザの声紋情報２３１と照合し、音声を入力したユーザを特定する。

ステップＳ１３の認証処理の結果、セキュアエレメント２０は、声紋が一致したか否かを判定する（ステップＳ１４）。声紋が一致しないと判定した場合（Ｓ１４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。

声紋が一致したと判定した場合（Ｓ１４：ＹＥＳ）、セキュアエレメント２０は記憶部２３から機密情報２３２を読み出す（ステップＳ１５）。記憶部２３に複数のユーザの機密情報２３２が記憶されている場合、セキュアエレメント２０は、ステップＳ１３で認証（特定）したユーザに対応する機密情報２３２を読み出す。

セキュアエレメント２０は鍵情報２３３を記憶部２３から読み出す（ステップＳ１６）。例えば記憶部２３にはユーザが音声入力により利用するサービス毎に個別の鍵情報２３３が記憶されており、スピーカ本体の制御部１１が入力音声からサービスを特定した上で、セキュアエレメント２０は特定されたサービスに対応する鍵情報２３３を記憶部２３から読み出す。セキュアエレメント２０は、読み出した鍵情報２３３に基づき機密情報２３２を暗号化する（ステップＳ１７）。セキュアエレメント２０は暗号化した機密情報２３２をスピーカ本体に出力し、制御部１１は、出力された機密情報２３２と共に、ステップＳ１１で入力された音声のデータをサービスサーバ４に送信する（ステップＳ１８）。

サービスサーバ４は、機密情報２３２を含む入力音声のデータをスマートスピーカ１から受信する（ステップＳ１９）。サービスサーバ４は、自らが保持する鍵情報であって、スマートスピーカ１のセキュアエレメント２０に記憶されている鍵情報２３３に対応する鍵情報を用いて、スマートスピーカ１から受信した機密情報２３２を復号する（ステップＳ２０）。サービスサーバ４は、復号した機密情報２３２を用いて、ユーザの入力音声に従い提供するサービスに関する情報処理を実行する（ステップＳ２１）。例えばＥＣサービスを提供する場合、サービスサーバ４は商品購入に必要な購買情報（機密情報２３２）を用いて、商品代金の引き落とし、商品の発送等の関わる情報処理を実行する。サービスサーバ４は、提供されたサービスに関する出力音声のデータをスマートスピーカ１に返信する（ステップＳ２２）。

スマートスピーカ１の制御部１１は、サービスサーバ４から出力音声のデータを受信する（ステップＳ２３）。制御部１１は、受信した音声をスピーカ１５により出力し（ステップＳ２４）、一連の処理を終了する。

以上より、本実施の形態１によれば、スピーカ本体からのアクセスが制限されたセキュアエレメント２０に生体情報（声紋情報２３１）を格納し、音声入力時に音声を入力したユーザの生体認証を行う。これにより、セキュリティ上及びプライバシー上のリスクを低減しつつ、スマートスピーカ１を適切に動作させることができる。

また、本実施の形態１によれば、生体情報の格納する領域を、耐タンパ性を有するセキュアエレメント２０とすることで、外部からの物理的攻撃にも頑健な構成とすることができ、セキュリティ上のリスクをより低減することができる。

また、本実施の形態１によれば、セキュアエレメント２０をスピーカ本体から取外し可能な構成とすることで、ユーザのプロファイルの移動を簡便かつ直感的にできるようになる。

また、本実施の形態１によれば、セキュアエレメント２０に機密情報２３２を格納しておき、生体情報の認証結果に応じて機密情報２３２をスピーカ本体に出力する。これにより、機密情報２３２を安全に取り扱いながらも、ユーザはスマートスピーカ１を活用したサービスを享受することができる。

また、本実施の形態１によれば、複数のユーザそれぞれの生体情報及び機密情報２３２をセキュアエレメント２０に格納しておき、音声を入力したユーザを生体情報から特定して、特定したユーザの機密情報２３２をスピーカ本体に出力する。これにより、複数人がスマートスピーカ１を共有する場合であっても本システムを適切に運用することができる。

また、本実施の形態１によれば、セキュアエレメント２０は鍵情報２３３により機密情報２３２を暗号化した上で出力する。これにより、スマートスピーカ１及びサービスサーバ４の間で機密情報２３２を安全に送受信することができる。

また、本実施の形態１によれば、鍵情報２３３はサービスサーバ４ａ、４ｂ、…が提供するサービス毎に個別化されており、ユーザが利用するサービスに応じた鍵情報２３３を用いて機密情報２３２を暗号化する。従って、意図しないサービスサーバ４に機密情報２３２が送信された場合であっても不正使用のリスクを低減することができる。

（実施の形態２）
本実施の形態では声紋に加え、ユーザの指紋を生体情報として用いて認証を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図５は、実施の形態２の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、指紋センサ１６を備える。指紋センサ１６は、ユーザの指紋を読み取るためのタッチセンサである。なお、指紋センサ１６はスピーカ本体に設けられていてもよく、外付けのデバイスであってもよい。指紋センサ１６は、ユーザの指紋を読み取った画像データを制御部１１に与える。

また、本実施の形態においてセキュアエレメント２０の記憶部２３は、指紋情報２３４を記憶している。指紋情報２３４は、ユーザの指紋の特徴量を示すデータであり、指紋センサ１６を用いてユーザが事前に登録したものである。なお、実施の形態１と同じく、記憶部２３はユーザ毎に指紋情報２３４を記憶している。

実施の形態１と同じく、スマートスピーカ１はマイク１４によりユーザから所定の指示音声の入力を受け付ける。この場合に、スマートスピーカ１は指紋センサ１６により、音声だけでなく指紋の入力を受け付ける。

スマートスピーカ１は、指紋センサ１６により読み取った指紋の画像データからユーザの指紋の特徴量、すなわち指紋情報を抽出する。そしてスマートスピーカ１は、抽出した指紋情報と、指示音声から抽出した声紋情報とをセキュアエレメント２０に入力する。

セキュアエレメント２０の認証部２１は、実施の形態１と同じく声紋認証を行うと共に、本実施の形態では指紋認証を行う。すなわち認証部２１は、スピーカ本体から入力された指紋情報が、記憶部２３に記憶されている指紋情報２３４と一致するか否か照合する。例えば認証部２１は、先に声紋認証を行い、入力音声から抽出した声紋情報を記憶部２３に記憶されている各ユーザの声紋情報２３１と比較し、音声を入力したユーザを特定する。さらに認証部２１は、特定したユーザの指紋情報２３４を記憶部２３から読み出し、指紋センサ１６を介して取得した指紋情報と一致するか否か照合する。なお、先に指紋認証を行い、後に声紋認証を行ってもよいことは勿論である。

声紋又は指紋のいずれかの認証に失敗した場合、認証部２１は認証に失敗した旨の認証結果をスピーカ本体に出力し、処理を終了する。声紋及び指紋の双方の認証に成功した場合、認証部２１はその旨を暗号化部２２に通知する。その後の処理は実施の形態１と同様であり、セキュアエレメント２０は機密情報２３２の暗号化を行ってスピーカ本体に出力する。

図６は、実施の形態２に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
スマートスピーカ１の制御部１１は、マイク１４を介して音声の入力を受け付けると共に、指紋センサ１６を介して指紋の入力を受け付ける（ステップＳ２０１）。制御部１１は、入力された音声から声紋情報を抽出すると共に、入力された指紋の特徴量を示す指紋情報を抽出する（ステップＳ２０２）。制御部１１は、抽出した声紋情報及び指紋情報をセキュアエレメント２０に入力する。

セキュアエレメント２０は、スピーカ本体から入力された声紋情報及び指紋情報をそれぞれ、記憶部２３に記憶されているユーザの声紋情報２３１及び指紋情報２３４と照合する認証処理を行う（ステップＳ２０３）。ステップＳ２０３の認証処理の結果、セキュアエレメント２０は、声紋及び指紋が共に一致したか否かを判定する。声紋及び指紋が一致しないと判定した場合（Ｓ２０４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。声紋及び指紋が一致したと判定した場合（Ｓ２０４：ＹＥＳ）、セキュアエレメント２０は処理をステップＳ１５に移行する。

なお、上記では声紋以外の生体情報として指紋を一例に挙げたが、本実施の形態はこれに限定されるものではなく、例えば顔、虹彩等の情報を生体情報としてもよい。

以上より、本実施の形態２によれば、声紋情報２３１及び指紋情報２３４という複数の生体情報を用いてユーザの認証を行う。これにより、セキュリティをより高めることができる。

（実施の形態３）
本実施の形態では、生体情報と異なるその他の認証情報をユーザに入力させ、認証を行う形態について説明する。
図７は、実施の形態３の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、入力部１７を備える。入力部１７は、ユーザがＰＩＮコードを入力するための入力インターフェイスであり、例えばメカニカルキー、タッチパネル等の入力パッドである。なお、入力部１７はスピーカ本体に設けられていてもよく、外付けのデバイスであってもよい。

また、本実施の形態においてセキュアエレメント２０の記憶部２３は、生体情報以外の手段でユーザの認証を行うための認証情報として、ＰＩＮコード２３５を記憶している。ＰＩＮコード２３５は、ユーザが事前に登録した所定桁数の暗証番号であり、入力部１７等を用いてユーザが事前に登録したものである。なお、実施の形態１と同じく、記憶部２３はユーザ毎にＰＩＮコード２３５を記憶している。

実施の形態１と同じく、スマートスピーカ１はマイク１４によりユーザから所定の指示音声の入力を受け付ける。この場合に、スマートスピーカ１は入力部１７により、音声だけでなくＰＩＮコードの入力を受け付ける。スマートスピーカ１は、指示音声から声紋情報を抽出してセキュアエレメント２０に入力すると共に、入力部１７を介して入力を受け付けたＰＩＮコードをセキュアエレメント２０に入力する。

セキュアエレメント２０の認証部２１は、実施の形態１と同じく声紋認証を行うと共に、本実施の形態ではＰＩＮコードの認証を行う。すなわち認証部２１は、スピーカ本体から入力されたＰＩＮコードが、記憶部２３に記憶されているＰＩＮコード２３５と一致するか否か照合する。例えば認証部２１は、先に声紋認証を行い、入力音声から抽出した声紋情報を記憶部２３に記憶されている各ユーザの声紋情報２３１と比較して、音声を入力したユーザを特定する。さらに認証部２１は、特定したユーザのＰＩＮコード２３５を記憶部２３から読み出し、入力部１７を介して取得したＰＩＮコードと一致するか否か照合する。

声紋又はＰＩＮコードのいずれかの認証に失敗した場合、認証部２１は認証に失敗した旨の認証結果をスピーカ本体に出力し、処理を終了する。声紋及びＰＩＮコードの双方の認証に成功した場合、認証部２１はその旨を暗号化部２２に通知する。その後の処理は実施の形態１と同様であり、セキュアエレメント２０は機密情報２３２の暗号化を行ってスピーカ本体に出力する。

なお、上記では生体情報と異なる認証情報としてＰＩＮコードを用いたが、認証情報はＰＩＮコードに限定されるものではなく、例えば文字及び数字から成るパスワードなどであってもよい。認証情報は生体情報と組み合わせて利用可能なものであればよく、その内容は特に限定されない。

図８は、実施の形態３に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
マイク１４に入力された音声から声紋情報を抽出した後（ステップＳ１２）、スマートスピーカ１の制御部１１は以下の処理を実行する。制御部１１は、入力部１７を介して、生体情報と異なるＰＩＮコード（認証情報）の入力を受け付ける（ステップＳ３０１）。なお、ステップＳ３０１で入力される認証情報は、生体情報と異なる認証用の情報であればよく、ＰＩＮコードに限定されない。制御部１１は、ステップＳ１２に抽出した声紋情報と、ステップＳ３０１で受け付けたＰＩＮコードとをセキュアエレメント２０に入力する。セキュアエレメント２０は、スピーカ本体から取得した声紋情報を記憶部２３に記憶されている声紋情報２３１と照合する認証処理を行う（ステップＳ３０２）。

ステップＳ３０２の認証処理の結果、セキュアエレメント２０は声紋が一致したか否かを判定する（ステップＳ３０３）。声紋が一致したと判定した場合（Ｓ３０３：ＹＥＳ）、制御部１１はさらにＰＩＮコードの認証を行い、スピーカ本体から取得したＰＩＮコードが、記憶部２３に記憶されているＰＩＮコード２３５と一致するか否かを判定する（ステップＳ３０４）。一致すると判定した場合（Ｓ３０４：ＹＥＳ）、セキュアエレメント２０は処理をステップＳ１５に移行する。

声紋が一致しないと判定した場合（Ｓ３０３：ＮＯ）、又はＰＩＮコードが一致しないと判定した場合（Ｓ３０４：ＮＯ）、セキュアエレメント２０は一連の処理を終了する。

以上より、本実施の形態３によれば、ＰＩＮコード等の認証情報をユーザ本人に入力させることで、セキュリティをより高めることができる。

（実施の形態４）
本実施の形態では、生体情報に加えて、スマートスピーカ１の位置情報を認証に用いる形態について説明する。
図９は、実施の形態４の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１は、位置取得部１８を備える。位置取得部１８は、例えばＧＰＳ（Global Positioning System）情報を取得するＧＰＳアンテナであり、スマートスピーカ１の位置情報を取得する。

また、セキュアエレメント２０の記憶部２３は、正規位置情報２３６を記憶している。正規位置情報２３６は、スマートスピーカ１の正規配置座標を示す位置情報であり、スマートスピーカ１を通常使用する適正位置を示す情報である。セキュアエレメント２０には、正規位置情報２３６が予め登録（記憶）されている。

スマートスピーカ１の位置取得部１８は、マイク１４において音声入力を受け付けた場合、スマートスピーカ１の現在位置を示す位置情報を取得する。スマートスピーカ１は、マイク１４に入力された音声から抽出した声紋情報と、位置取得部１８が取得した位置情報とをセキュアエレメント２０に入力する。

セキュアエレメント２０の認証部２１は、声紋認証に先立ち、位置情報に基づく認証を行う。認証部２１は記憶部２３から正規位置情報２３６を読み出し、スピーカ本体から取得した位置情報と照合して、スマートスピーカ１の現在位置が通常使用する適正位置にあるか否かを判定する。例えば認証部２１は、スマートスピーカ１の現在の位置座標が、正規配置座標から所定の許容範囲内にあるか否かを判定する。許容範囲内にあると判定した場合、認証部２１は位置情報について認証に成功したものと判定し、声紋認証に処理を移行する。その後の処理は実施の形態１と同様であり、暗号化部２２が機密情報２３２の暗号化を行ってスピーカ本体に出力する。

図１０は、実施の形態４に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
マイク１４に入力された音声から声紋情報を抽出した後（ステップＳ１２）、スマートスピーカ１の制御部１１は以下の処理を実行する。制御部１１は、スマートスピーカ１の位置情報を取得する（ステップＳ４０１）。制御部１１は、ステップＳ１２で抽出した声紋情報と、ステップＳ４０１で抽出した位置情報とをセキュアエレメント２０に入力する。

セキュアエレメント２０はスマートスピーカ１の位置情報を記憶部２３に記憶している正規位置情報２３６と比較して、スマートスピーカ１が適正位置にあるか否かを判定する（ステップＳ４０２）。例えばセキュアエレメント２０は、スマートスピーカ１の現在の位置座標が、正規配置座標から所定の許容範囲内にあるか否かを判定する。適正位置にあると判定した場合（Ｓ４０２：ＹＥＳ）、セキュアエレメント２０は認証に成功したものと判定する。この場合、セキュアエレメント２０は声紋情報に基づく認証を行い（ステップＳ４０３）、ユーザの声紋と一致するか否かを判定する（ステップＳ４０４）。声紋が一致したと判定した場合（Ｓ４０４：ＹＥＳ）、制御部１１は処理をステップＳ１５に移行する。ステップＳ４０２又はＳ４０４でＮＯの場合、セキュアエレメント２０は認証に失敗したものと判定し、一連の処理を終了する。

以上より、本実施の形態４によれば、スマートスピーカ１が物理的に持ち去られた場合などに対応することができ、セキュリティを強固にすることができる。

（実施の形態５）
本実施の形態では、機密情報２３２を暗号化するための鍵情報２３３を更新する形態について説明する。
本実施の形態では、スマートスピーカ１及びサービスサーバ４が機密情報２３２を送受信する際に用いる鍵情報２３３を、クラウド経由で更新する。具体的には、鍵情報２３３を管理する管理サーバ３が各装置に鍵情報２３３を配信し、更新させる。

図１１は、実施の形態５の概要を説明するための説明図である。本実施の形態に係るスマートスピーカ１のセキュアエレメント２０は、秘匿通信処理部２４を備える。秘匿通信処理部２４は、管理サーバ３との間の秘匿通信に関する処理を行う。また、セキュアエレメント２０の記憶部２３は、秘匿通信を行うための秘匿通信用鍵２３７（第２の鍵情報）を記憶している。秘匿通信用鍵２３７は管理サーバ３との間の通信内容の暗号化及び復号を行うための暗号鍵であり、例えば共通鍵方式の共通鍵である。本実施の形態では、スマートスピーカ１はＴＬＳ（Transport Layer Security）に基づく暗号化通信を行って管理サーバ３との間の通信内容を秘匿化し、更新用の鍵情報２３３を安全に受信する。

以下、本実施の形態の概要について説明する。まず管理サーバ３が、スマートスピーカ１が保持する鍵情報２３３に対応する鍵情報であって、サービスサーバ４が機密情報２３２を復号する際に用いる鍵情報をサービスサーバ４に送信し、更新させる。上述の如く、鍵情報は各サービスサーバ４ａ、４ｂ、…毎に異なり、ユーザが利用するサービス毎に個別化されている。管理サーバ３は、各サービスサーバ４ａ、４ｂ、…に対応する鍵情報を、該当するサービスサーバ４に送信する。

次に管理サーバ３は、スマートスピーカ１に鍵情報２３３を送信し、セキュアエレメント２０に格納してある鍵情報２３３を更新させる。この場合に管理サーバ３は、自身が保持する秘匿通信用鍵２３７を用いて秘匿通信路をスマートスピーカ１との間で確立し、鍵情報２３３を暗号化した上で送信する。

例えば管理サーバ３は、ＴＬＳに基づく秘匿通信を行う。管理サーバ３は、予め公開鍵暗号方式の公開鍵を含む電子証明書をスマートスピーカ１（セキュアエレメント２０）に発行し、当該公開鍵に基づく暗号化通信を行って共通鍵暗号方式の共通鍵を秘匿通信用鍵２３７としてスマートスピーカ１との間で共有する。ここでは説明の簡潔のため、すでに暗号化通信が行われて秘匿通信用鍵２３７が共有されているものとする。管理サーバ３は秘匿通信用鍵２３７を用いてスマートスピーカ１との間の通信を暗号化し、更新用の鍵情報２３３を安全に送信する。

なお、管理サーバ３はスマートスピーカ１との間で共有した秘匿通信用の鍵（第２の鍵情報）を用いて通信内容を暗号化することができればよく、そのアルゴリズムはＴＬＳに限定されない。

スマートスピーカ１は、通信部１３を介して、ユーザが利用するサービスに対応する鍵情報２３３を受信する。なお、セキュアエレメント２０がスピーカ本体から独立して通信手段を有する場合、スピーカ本体（通信部１３）ではなくセキュアエレメント２０が鍵情報２３３を直接受信するようにしてもよい。スマートスピーカ１は、受信した鍵情報２３３をセキュアエレメント２０に入力する。

セキュアエレメント２０の秘匿通信処理部２４は、スピーカ本体から入力された鍵情報２３３を、秘匿通信用鍵２３７を用いて復号する。秘匿通信処理部２４は、復号した鍵情報２３３を記憶部２３に格納し、鍵情報２３３を更新する。以上より、鍵情報２３３の遠隔管理が可能となると共に、鍵情報２３３の陳腐化によるセキュリティの低下を防止することができる。

図１２は、実施の形態５に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
管理サーバ３は、サービスサーバ４ａ、４ｂ、…にそれぞれ、各サービスサーバ４が提供するサービス毎に異なる鍵情報を送信する（ステップＳ５０１）。さらに管理サーバ３は、スマートスピーカ１に送信する鍵情報２３３を、予めスマートスピーカ１と共有してある秘匿通信用鍵２３７で暗号化する（ステップＳ５０２）。秘匿通信用鍵２３７は、例えば共通鍵暗号方式の共通鍵であり、スマートスピーカ１毎に固有の暗号鍵である。管理サーバ３は、暗号化した鍵情報２３３をスマートスピーカ１に送信する（ステップＳ５０３）。

スマートスピーカ１の制御部１１は、通信部１３を介して鍵情報２３３を受信し、セキュアエレメント２０に入力する（ステップＳ５０４）。セキュアエレメント２０は、記憶部２３に記憶している秘匿通信用鍵２３７に基づき、鍵情報２３３を復号する（ステップＳ５０５）。セキュアエレメント２０は、復号した鍵情報２３３を記憶部２３に格納する（ステップＳ５０６）。セキュアエレメント２０は、一連の処理を終了する。

以上より、本実施の形態５によれば、鍵情報２３３の遠隔管理が可能となると共に、鍵情報２３３の陳腐化によるセキュリティの低下を防止することができる。

（実施の形態６）
本実施の形態では、セキュアエレメント２０に格納されている各種情報をスマートスピーカ１のみのローカルで更新する形態について説明する。
ユーザが本システムを利用するに当たり、スマートスピーカ１に新たなユーザを登録する、クレジットカード番号を更新する等、セキュアエレメント２０内の生体情報、機密情報２３２等を更新するケースが発生し得る。一方で、これらのプライベートな情報をクラウド上（例えば管理サーバ３）で管理することはセキュリティ上、あるいはプライバシー上の懸念が存在する。そこで本実施の形態では、スマートスピーカ１単体で各種情報の更新を行う。

図１３は、実施の形態６の概要を説明するための説明図である。本実施の形態に係るセキュアエレメント２０は、更新部２５を備える。更新部２５は、スピーカ本体から入力される声紋情報２３１、機密情報２３２、指紋情報２３４、ＰＩＮコード２３５、正規位置情報２３６といった各種情報を記憶部２３に格納し、更新する処理を行う。

まずスマートスピーカ１のマイク１４が、ユーザから声紋情報２３１等の更新を指示する所定の指示音声の入力を受け付ける。また、併せてスマートスピーカ１の指紋センサ１６がユーザの指紋を読み取る。スマートスピーカ１は、入力された音声から声紋情報を、指紋を読み取った画像から指紋情報（指紋の特徴量）をそれぞれ抽出する。

さらにスマートスピーカ１は、マイク１４、指紋センサ１６等により、ユーザが更新を所望する情報を更新用の情報として取得する。更新用の情報は、声紋情報、機密情報、指紋情報、ＰＩＮコード、及び位置情報の少なくともいずれかであるが、どの情報を更新するかは特に限定されない。また、更新する情報は既にセキュアエレメント２０に声紋情報２３１等が登録（記憶）されている既存ユーザのものであってもよく、新規ユーザのものであってもよい。例えば新規ユーザの登録を行う場合、既存ユーザが上述の如く指示音声を入力した後、続いて新規ユーザが音声を入力する。スマートスピーカ１は、新規ユーザの音声から声紋情報を更新用の情報として抽出する。

スマートスピーカ１は、上記の声紋情報及び指紋情報と、更新用の情報とをセキュアエレメント２０に入力する。

セキュアエレメント２０の更新部２５は、スピーカ本体から入力された声紋情報及び指紋情報を記憶部２３に記憶されているユーザの声紋情報２３１及び指紋情報２３４と照合し、正当なユーザが更新を要求しているか否か、認証を行う。声紋及び指紋が一致した場合、更新部２５は認証に成功したものと判定する。

上記のように、更新部２５は声紋情報及び指紋情報、すなわち生体情報に基づく認証を行う。生体情報の認証に成功した場合、次に更新部２５はＰＩＮコードの検証を行う。更新部２５は、ＰＩＮコードの入力をスピーカ本体に要求する。セキュアエレメント２０から要求を受けた場合、例えばスマートスピーカ１は所定の案内音声をスピーカ１５により出力する等して、ＰＩＮコードを入力するようユーザに促す。

入力部１７は、ユーザからＰＩＮコードの入力を受け付け、セキュアエレメント２０に入力する。セキュアエレメント２０の更新部２５は、入力されたＰＩＮコードを記憶部２３に記憶しているＰＩＮコード２３５と照合し、両者が一致するか否か、認証を行う。ＰＩＮコードが一致したと判定した場合、更新部２５は認証に成功したと判定する。

生体情報及びＰＩＮコードの認証に成功した場合、更新部２５はスピーカ本体から取得した更新用の情報を記憶部２３に記憶（格納）し、各種情報を更新する。

図１４は、実施の形態６に係るスピーカシステムが実行する処理手順の一例を示すフローチャートである。
セキュアエレメント２０の制御部１１は、指紋センサ１６を介して指紋の入力を受け付けると共に、マイク１４を介して、セキュアエレメント２０に格納してある情報の更新を要求する指示音声の入力を受け付ける（ステップＳ６０１）。制御部１１は、入力された音声からユーザの声紋情報を抽出する（ステップＳ６０２）。また、制御部１１は、ステップＳ６０１で入力された指紋（画像）から指紋情報（指紋に関する特徴量）を抽出する（ステップＳ６０３）。

また、制御部１１は、更新用の情報を取得する（ステップＳ６０４）。更新用の情報は、声紋情報、機密情報、指紋情報、ＰＩＮコード、及び位置情報の少なくともいずれかであるが、どの情報であるかは特に限定されない。また、更新する情報は既にセキュアエレメント２０に声紋情報２３１等が登録（記憶）されている既存ユーザのものであってもよく、新規ユーザのものであってもよい。制御部１１は、ステップＳ６０１、Ｓ６０２で抽出した声紋情報及び指紋情報をセキュアエレメント２０に入力すると共に、更新用の情報を併せて入力する。

セキュアエレメント２０は、スピーカ本体から入力された声紋情報及び指紋情報を、記憶部２３に記憶している声紋情報２３１及び指紋情報２３４とそれぞれ照合する認証処理を行う（ステップＳ６０５）。ステップＳ６０５の認証処理の結果、セキュアエレメント２０は、生体情報（声紋情報及び指紋情報）が一致したか否かを判定する（ステップＳ６０６）。生体情報が一致しないと判定した場合（Ｓ６０６：ＮＯ）、セキュアエレメント２０は認証に失敗したものとして情報の更新を行わず、一連の処理を終了する。

生体情報が一致したと判定した場合（Ｓ６０６：ＹＥＳ）、セキュアエレメント２０はＰＩＮコードの入力をスピーカ本体に要求し、スマートスピーカ１の制御部１１は、入力部１７を介してＰＩＮコードの入力を受け付ける（ステップＳ６０７）。制御部１１は、入力されたＰＩＮコードをセキュアエレメント２０に入力する。

セキュアエレメント２０は、スピーカ本体から入力されたＰＩＮコードが、記憶部２３に記憶しているＰＩＮコード２３５と一致したか否かを判定する（ステップＳ６０８）。ＰＩＮコードが一致しないと判定した場合（Ｓ６０８：ＮＯ）、セキュアエレメント２０は認証に失敗したものとして情報の更新を行わず、一連の処理を終了する。

ＰＩＮコードが一致したと判定した場合（Ｓ６０８：ＹＥＳ）、セキュアエレメント２０は、ステップＳ６０４で取得した更新用の情報を記憶部２３に記憶し、情報を更新する（ステップＳ６０９）。セキュアエレメント２０は、一連の処理を終了する。

以上より、本実施の形態６によれば、セキュアエレメント２０に格納されている各種情報をスマートスピーカ１単体で更新することができ、セキュリティ及びプライバシーの観点から適切に更新を行うことができる。

（実施の形態７）
実施の形態１では、耐タンパ性を有するセキュアエレメント２０に各種情報を格納して認証を行う形態について説明した。本実施の形態では、スマートスピーカ１内のソフトウェア上の実行環境を、スマートスピーカ１の一般的な処理を行う通常実行環境２０１（第１の実行環境）と、通常実行環境２０１よりもセキュアなトラステッド実行環境２０２（第２の実行環境）とに仮想的に分離し、トラステッド実行環境２０２において認証処理を行う形態について説明する。

図１５は、実施の形態７に係るスマートスピーカ１の構成例を示すブロック図である。本実施の形態に係るスマートスピーカ１は、例えばＴｒｕｓｔＺｏｎｅ（登録商標）と称される技術を用いることによって、ソフトウェア（ＯＳ、アプケーションなど）の実行環境を、通常実行環境（ＲＥＥ；Rich Execution Environment）２０１と、トラステッド実行環境２０２とに分離している。

通常実行環境２０１は、スマートスピーカ１の基本ＯＳとして稼働する汎用ＯＳ２１１の実行環境であり、トラステッド実行環境２０２へのアクセスが制限される以外に、特段の機能制約がない実行環境である。汎用ＯＳ２１１は、通常実行環境２０１においてＯＳの機能を果たすソフトウェアであり、アプリケーション２１２からの要求に応じて、スマートスピーカ１が有するハードウェアの制御等を含む各種ＯＳ機能を提供する。制御部１１は、汎用ＯＳ２１１上でアプリケーション２１２を実行することで、音声の入出力、外部との通信を含む、スマートスピーカ１の基本的、汎用的な処理を実行する。

トラステッド実行環境２０２は、セキュリティ機能を隔離する目的で、同一のＳｏＣ（System on Chip）上で通常実行環境２０１とは別に提供される独立した実行環境である。トラステッド実行環境２０２は、通常実行環境２０１からのアクセスが制限されており、実行可能な機能も限定されている。なお、トラステッド実行環境は、ＴＥＥのような称呼に限定されるものではなく、通常実行環境２０１と分離され、セキュリティ上より安全な実行環境であれば、どのような称呼の実行環境であってもよい。スマートスピーカ１は、セキュリティ上保護すべきソフトウェア及びデータをトラステッド実行環境２０２に配置すると共に、通常実行環境２０１及びスマートスピーカ１の外部からのアクセスを制限することで、安全性を確保する。

上述のように、通常実行環境２０１からトラステッド実行環境２０２にはアクセスできないように制限されており、通常実行環境２０１からはトラステッド実行環境２０２の存在を認識できない。通常実行環境２０１からトラステッド実行環境２０２で実行する処理を呼び出すためには、ソフトウェア上実現されるセキュアモニタ２０３を経由しなければならない。

トラステッドＯＳ２２１は、トラステッド実行環境２０２においてＯＳの機能を果たすソフトウェアであり、アプリケーション２２２からの要求に応じて、セキュリティ機能を中心としたＯＳ機能を提供する。制御部１１は、トラステッドＯＳ２２１上でアプリケーション２２２を実行することで、本実施の形態に係るユーザの認証処理を含む、セキュリティ上重要な処理を実行する。

なお、本実施の形態では、スマートスピーカ１の各種機能がＯＳ、アプリケーションのいずれで実装されるかは本質的事項ではなく、実装者が適宜選択すべき設計事項であることから、ＯＳ、アプリケーションの機能分担については説明を省略する。

図１１に示すように、本実施の形態においてスマートスピーカ１の制御部１１は、トラステッド実行環境２０２に声紋情報２３１、機密情報２３２、鍵情報２３３等を配置する。制御部１１は、通常実行環境２０１からトラステッド実行環境２０２に声紋情報等のデータを入力し、トラステッド実行環境２０２においてユーザの認証及び機密情報２３２の暗号化を行う。制御部１１は、トラステッド実行環境２０２から通常実行環境２０１に機密情報２３２を出力し、通信部１３を介してサービスサーバ４へ機密情報２３２を送信する。

以上より、本実施の形態３によれば、スマートスピーカ１は、通常実行環境２０１と、通常実行環境２０１よりもセキュアなトラステッド実行環境２０２とを構築し、トラステッド実行環境２０２において認証処理を実行する。このように、セキュアエレメント２０を搭載せずとも、ソフトウェア上の構成によって安全性を確保することができる。

上述の如く、スマートスピーカ１は、音声の入出力及び外部との通信を実行するコンポーネント（スピーカ本体）よりもセキュアなコンポーネント（セキュア部）を有し、当該セキュアなコンポーネントにおいて生体情報を含む各種情報を保持し、認証処理を実行可能であればよい。当該セキュアなコンポーネントは、ハードウェア上分離されたセキュアエレメント２０であってもよく、ソフトウェア上分離されたトラステッド実行環境２０２であってもよい。

セキュアエレメント２０に代えてトラステッド実行環境２０２を実装する以外は実施の形態１と共通するため、本実施の形態では詳細な図示及び説明を省略する。

（実施の形態８）
図１６は、上述した形態のスマートスピーカ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、スマートスピーカ１は以下のように動作する。
スピーカ本体１６１は、音声の入力を受け付けるマイク１６１１、音声を出力するスピーカ１６１２、及び外部との通信を行う通信部１６１３を有する。セキュア部１６２は、該スピーカ本体１６１からのアクセスが制限され、ユーザの生体情報を記憶する記憶部１６２１と、前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体１６１から取得する取得部１６２２と、前記生体情報に基づく認証を行う認証部１６２３とを備える。

本実施の形態８は以上の如きであり、その他は実施の形態１から７と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ スマートスピーカ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ マイク
１５ スピーカ
１６ 指紋センサ
１７ 入力部
１８ 位置取得部
１９ 補助記憶部
２０ セキュアエレメント
２１ 認証部
２２ 暗号化部
２３ 記憶部
２３１ 声紋情報
２３２ 機密情報
２３３ 鍵情報
２３４ 指紋情報
２３５ ＰＩＮコード
２３６ 正規位置情報
２３７ 秘匿通信用鍵
２４ 秘匿通信処理部
２５ 更新部
３ 管理サーバ
４ サービスサーバ

Claims (17)

1. 音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を有するスピーカ本体と、
   該スピーカ本体からのアクセスが制限されたセキュア部と
   を備え、
   前記セキュア部は、
   ユーザの生体情報を記憶する記憶部と、
   前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、
   前記生体情報に基づく認証を行う認証部と
   を備えることを特徴とするスマートスピーカ。
2. 前記セキュア部は、耐タンパ性を有するセキュアエレメントである
   ことを特徴とする請求項１に記載のスマートスピーカ。
3. 前記セキュアエレメントは、前記スピーカ本体から取外し可能に構成されている
   ことを特徴とする請求項２に記載のスマートスピーカ。
4. 前記スピーカ本体は、音声の入出力処理、及び外部との通信処理を実行する第１の実行環境であり、
   前記セキュア部は、前記第１の実行環境から仮想的に分離された第２の実行環境である
   ことを特徴とする請求項１に記載のスマートスピーカ。
5. 前記記憶部は、前記ユーザと対応付けて、複数の前記生体情報を記憶し、
   前記取得部は、前記複数の生体情報を取得し、
   前記認証部は、前記複数の生体情報に基づく認証を行う
   ことを特徴とする請求項１〜４のいずれか１項に記載のスマートスピーカ。
6. 前記スピーカ本体は、前記生体情報と異なる認証情報の入力を受け付ける入力部を備え、
   前記記憶部は、前記認証情報を記憶し、
   前記取得部は、前記生体情報及び認証情報を取得し、
   前記セキュア部は、前記認証情報に基づく認証を行う第２認証部を備える
   ことを特徴とする請求項１〜５のいずれか１項に記載のスマートスピーカ。
7. 前記記憶部は、前記ユーザに関する機密情報を記憶し、
   前記セキュア部は、前記認証部による認証結果に応じて前記機密情報を前記スピーカ本体に出力する出力部を備える
   ことを特徴とする請求項１〜６のいずれか１項に記載のスマートスピーカ。
8. 前記記憶部は、複数の前記ユーザ夫々に対応する前記生体情報及び機密情報を記憶し、
   前記認証部は、前記スピーカ本体から取得した前記生体情報に基づき前記ユーザを特定し、
   前記出力部は、特定した前記ユーザに対応する前記機密情報を出力する
   ことを特徴とする請求項７に記載のスマートスピーカ。
9. 前記記憶部は、前記機密情報を暗号化するための鍵情報を記憶し、
   該鍵情報に基づき、前記機密情報を暗号化する暗号化部を備え、
   前記出力部は、暗号化した前記機密情報を出力する
   ことを特徴とする請求項７又は８に記載のスマートスピーカ。
10. 前記記憶部は、前記マイクへの音声の入力により前記ユーザが利用する複数のサービス毎に個別の前記鍵情報を記憶し、
    前記スピーカ本体は、前記マイクに入力された音声に基づき、前記ユーザが利用する前記サービスを特定する特定部を備え、
    前記暗号化部は、特定された前記サービスに対応する前記鍵情報に基づき暗号化を行う
    ことを特徴とする請求項９に記載のスマートスピーカ。
11. 前記記憶部は、前記鍵情報の配布元との間で共有する第２の鍵情報を記憶し、
    前記セキュア部は、
    前記第２の鍵情報に基づき暗号化された前記鍵情報を、通信網を介して前記配布元から取得する第２取得部と、
    前記第２の鍵情報に基づき、前記鍵情報を復号する復号部と、
    復号した前記鍵情報を前記記憶部に格納する格納部と
    を備えることを特徴とする請求項９又は１０に記載のスマートスピーカ。
12. 前記スピーカ本体は、前記スマートスピーカの位置情報を取得する位置取得部を備え、
    前記記憶部は、前記スマートスピーカの正規位置情報を記憶し、
    前記セキュア部は、前記位置取得部が取得した前記位置情報と、前記正規位置情報とに基づく認証を行う位置認証部を備える
    ことを特徴とする請求項１〜１１のいずれか１項に記載のスマートスピーカ。
13. 前記取得部は、前記スピーカ本体から更新用の情報を取得し、
    前記セキュア部は、前記認証部による認証結果に応じて、前記記憶部が記憶している情報を更新する更新部を備える
    ことを特徴とする請求項１〜１１のいずれか１項に記載のスマートスピーカ。
14. 音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を有するスマートスピーカのスピーカ本体からのアクセスが制限されたセキュアエレメントであって、
    ユーザの生体情報を記憶する記憶部と、
    前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記スピーカ本体から取得する取得部と、
    前記生体情報に基づく認証を行う認証部と
    を備えることを特徴とするセキュアエレメント。
15. 音声の入力を受け付けるマイク、音声を出力するスピーカ、及び外部との通信を行う通信部を備えたスマートスピーカに、
    音声の入出力処理、及び外部との通信処理を第１の実行環境において実行し、
    該第１の実行環境から仮想的に分離された第２の実行環境において、
    ユーザの生体情報を保持し、
    前記マイクにおいて音声の入力を受け付けた場合に、該音声を入力したユーザの前記生体情報を前記第１の実行環境から取得し、
    前記生体情報に基づく認証を行う
    処理を実行させることを特徴とするプログラム。
16. スピーカ本体からのアクセスが制限されたセキュア部にユーザの生体情報、該ユーザが商品を購入する際に必要な購買情報、及び鍵情報を格納したスマートスピーカから、前記生体情報の認証結果に応じて前記セキュア部が出力する前記購買情報であって、前記鍵情報に基づき暗号化された前記購買情報を取得し、
    取得した前記購買情報を、前記鍵情報に対応する鍵情報に基づき復号し、
    復号した前記購買情報に基づき、前記商品の購入に関する情報処理を行う
    処理をコンピュータに実行させることを特徴とする情報処理方法。
17. スマートスピーカを介してユーザにサービスを提供するサービス事業者宛に、前記サービス毎に個別の鍵情報を送信し、
    前記サービス事業者宛に送信した前記鍵情報に対応する鍵情報を、前記スマートスピーカと共有する第２の鍵情報に基づき暗号化し、
    暗号化した前記鍵情報を前記スマートスピーカに送信する
    処理をコンピュータに実行させることを特徴とする配信方法。

Images