JP6547290B2 - 画像センシングシステム - Google Patents

Description

本発明は、撮像装置で撮影した画像から人や顔に関する情報を取得するための技術に関する。

画像センシングと呼ばれる技術が実用化されている。画像センシングとは、撮像装置で撮影した画像を解析することにより、顔・人体・手の検出、個人識別、表情・年齢・視線・顔向きの推定などを行う技術である。この種の技術は、例えば、デジタルカメラの顔検出機能、監視カメラの顔認証機能、スマートフォンでの本人認証や視線入力アプリなど、様々な分野の装置に応用されている（例えば、特許文献１参照）。

特開２０１４−２０６９３２号公報

従来、画像センシングのモジュールは、それを利用する機器内に組み込まれた形態（以下「組み込み型」と呼ぶ。）で提供されるのが一般的であった。これに対し、本発明者らは、画像センシングの機能のみを独立させた新たな形態（以下「独立型」と呼ぶ。）の機器の検討を進めている。すなわち、撮像装置と画像処理モジュールからなる画像センシングに特化した専用装置（以下「センシング装置」と呼ぶ。）を、センシング結果を利用する機器（例えば、スマートフォン、ＰＣ、家電機器、産業機器など。以下「アプリケーション装置」と呼ぶ。）とは独立した別装置とし、センシング装置とアプリケーション装置の間のデータの受け渡しには無線通信を利用するというものである。このような独立型のセンシング装置を用いることにより、例えば、スマートフォンなどにおいて高度な画像センシングを利用するアプリを簡単に実現できたり、１台のセンシング装置のセンシング結果を複数のアプリケーション装置で受信したり、撮像装置を持たない機器や低速なプロセッサしかない機器においても画像センシングを利用した機能を実装できたりと、今までにない利用形態や新たな価値を提供できるものと期待される。

ところで、上記のように、センシング結果を装置間で送受信する構成の場合には、個人情報の漏えいや目的外使用に対する十分な配慮が必要となる。顔画像のように個人を特定し得るデータは「個人情報」に該当する可能性があるからである。このような問題への対策として、例えば、センシング装置とアプリケーション装置の間で強固な暗号化通信プロトコルを用いることも考えられる。しかしながら、暗号化／復号処理のためにアプリケーション装置側のリソースを消費してしまうのは好ましくない。また暗号化通信プロトコルに非対応の機器ではセンシング結果を利用できないとなると、独立型センシング装置の普及の妨げとなってしまう。また、たとえ暗号化したとしても、誤送信や通信傍受による情報漏えいのリスクはゼロではないので、個人情報の取り扱いに関心の高いユーザの抵抗感を払しょくすることは難しい。

本発明は上記実情に鑑みなされたものであって、画像センシングを行うセンシング装置とセンシング結果を利用するアプリケーション装置とが別々の装置からなるシステムにおいて、個人情報の漏えいの防止とセンシング結果の利用性の向上を両立するための技術を提供することを目的とする。

上記目的を達成するために、本発明では、別々の装置であるセンシング装置とアプリケーション装置により画像センシングシステムを構成する。センシング装置は、撮像装置と、前記撮像装置で取り込まれた画像から人の全体又は一部分をセンシング対象として検出し、検出されたセンシング対象に関する情報を抽出する画像処理部と、前記画像処理部で抽出された情報を含むセンシング結果を無線通信により送出する無線通信部と、を有する。また、アプリケーション装置は、前記センシング装置から前記センシング結果を受信する通信部と、前記通信部で受信した前記センシング結果に含まれる情報を利用した処理を実行するアプリケーション処理部と、を有する。そして、前記センシング装置からセンシング結果として送出される情報には、前記撮像装置で取り込まれた画像、及び、前記検出されたセンシング対象の個人を直接特定可能な情報のいずれも含まれていないことを特徴とする。

このような構成によれば、センシング装置からアプリケーション装置に送られる情報には、人が写った画像や個人を直接特定可能な情報が一切含まれないため、仮に誤送信や通信傍受が起きたとしても個人情報の漏えいは発生しない。したがって、センシング装置とアプリケーション装置の間の通信に高度なセキュリティを設ける必要がなくなり、センシング装置とアプリケーション装置双方の通信モジュールの簡易化を図ることができる。通信にかかるオーバーヘッドが小さければ、処理能力が低い機器やリソースが少ない機器でもアプリケーション装置になり得ることから、センシング装置及びセンシング結果の利用機会を拡大し、独立型センシング装置の普及を促進できるという利点がある。なお、本発明においても、情報の送受信の安全性をより高めるために、暗号化などのセキュアな通信を用いても構わない。つまり、本発明は、セキュリティの低い通信方式からセキュリティの高い通信方式まで幅広く適用可能である。

センシング対象となる「人の全体又は一部分」は、例えば、人の全身、人の半身、人の顔、人の手などである。センシング対象として、人の顔を検出し、顔に関する情報（顔情報）を抽出する構成が好ましい。
前記センシング装置からセンシング結果として受信する情報は、前記検出された顔の状態を表す顔状態情報を含んでおり、前記アプリケーション処理部は、前記顔状態情報に基づいて前記検出された顔の状態を表示装置に出力する処理を行うことが好ましい。この構成によれば、センシング装置のセンシング結果をアプリケーション装置側で確認することができ、アプリケーション装置のユーザの利便性を高めることができる。

ここで、「顔の状態」とは、検出された顔の画像中での様子（画像にどの様に写っているか）であり、例えば、表情の種類（真顔／喜び／驚き／怒り／悲しみなど）、笑顔の度合い、顔向き、視線方向、目つむりなどを例示できる。センシング装置からセンシング結果として送信される顔状態情報は、例えば「表情＝喜び５０」「笑顔度＝３０」「顔向き＝右３０」というように、数値（スコア）や符号（コード）を用いて顔の状態を記述したデータとなる。

ところで、アプリケーション装置側で顔の状態を出力する際に、上記のような数値や符号を単に表示するだけでは、ユーザフレンドリネスが極めて低い。ユーザは、数値や符号だけでは顔の状態を理解するのが難しく、センシング結果の適否を確認することができないからである。従来の組み込み型の装置のようにセンシングに用いた元画像が存在する場合には、元画像とセンシング結果を同時に表示することでセンシング結果の確認を容易にすることが可能であるが、本発明のような独立型の場合には、アプリケーション装置側で元画像を利用できないため、ユーザフレンドリネス向上のための特別な工夫が必要となる。

そこで、アニメーション、アバター、又は、顔画像を用いて、複数種類の顔の状態を表現可能な仮想顔のデータを予め格納している記憶部を設け、前記アプリケーション処理部は、前記センシング装置から受信した顔状態情報に応じた仮想顔を前記表示装置に出力することにより、前記検出された顔の状態を表現することが好ましい。この構成によれば、（元画像の代わりに）アニメーション、アバター、又は、顔画像による仮想顔を用いて、顔の状態が表現されるため、ユーザはセンシング結果を直観的かつ即座に確認することが可能となる。この構成は、本発明のようにセンシングに用いた元画像が利用できない構成において非常に有用である。

前記アプリケーション処理部は、前記センシング装置から逐次受信する顔状態情報の変化に合わせて、前記表示装置に出力する仮想顔を変化させるとよい。この構成によれば、アプリケーション装置側に表示される仮想顔を見ることで、センシング対象の顔の状態変化をリアルタイムに確認することが可能となる。

前記顔状態情報は、前記検出された顔の笑顔の度合いを示す笑顔度の情報を含んでおり、前記アプリケーション処理部は、前記センシング装置から受信した笑顔度に応じた笑顔を表現する仮想顔を前記表示装置に出力するとよい。この構成によれば、アプリケーション装置側に表示される仮想顔の表情を見ることで、センシング対象が笑っているかどうかや笑顔の度合いを容易に確認することが可能となる。

このような笑顔度判定の技術は様々なアプリケーションに応用が期待できる。例えば、前記アプリケーション処理部は、笑顔度を利用した判定アプリを提供するものであり、前記判定アプリは、前記センシング装置から逐次受信する笑顔度の変化を監視し、制限時間内に笑顔度が閾値を超えるか否かを判定する処理を行うとよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有するアプリケーション装置もしくはセンシング装置、又は、アプリケーション装置とセンシング装置からなる画像センシングシステムとして捉えることができる。また本発明は、上記処理の少なくとも一部を含む画像センシング方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、画像センシングを行うセンシング装置とセンシング結果を利用するアプリケーション装置とが別々の装置からなるシステムにおいて、個人情報の漏えいの防止とセンシング結果の利用性の向上を両立することができる。

本発明の実施形態に係る画像センシングシステムの構成例を示す図。 センシング装置とアプリケーション装置の内部構成を示す図。 センシング装置とアプリケーション装置の間の連携及びデータ通信の手順を示す図。 センシング結果の一例を示す図。 笑顔度を利用した判定アプリの処理フローを示す図。 判定アプリで利用する仮想顔データの例を示す図。 判定アプリの画面遷移を示す図。 笑顔度の時系列データを記録するアプリの動作を示す図。

（システムの全体構成）
図１は、本発明の実施形態に係る画像センシングシステムの構成例を示す図である。画像センシングシステムは、画像センシングによって、センシング対象（例えば人の顔）に関する各種の情報を取得するためのシステムである。図１では、センシング対象とシステムのユーザとを分けて描いているが、ユーザ自身がセンシング対象になることもできる。

本実施形態の画像センシングシステムは、センシング装置１とアプリケーション装置２の２種類のデバイスで構成される。センシング装置１は、画像センシングに特化した独立型のデバイスであり、アプリケーション装置２などの外部機器に対してセンシング結果を提供する機能を有する。一方のアプリケーション装置２は、センシング装置１から取得したセンシング結果を利用するデバイスである。センシング装置１とアプリケーション装置２の間のデータ送受信は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線通信などの無線通信を利用して行われる。セキュリティ及び通信処理の簡易化の観点からはセンシング装置１とアプリケーション装置２とが直接通信する構成が好ましいが、無線ＬＡＮルータやアクセスポイントのような他のネットワーク装置、又は、インターネットを介して、センシング装置１とアプリケーション装置２とが通信する構成を採用してもよい。あるいは、ＵＳＢケーブルなどでセンシング装置１とアプリケーション装置２を接続し、有線通信によるデータ送受信を行えるようにしてもよい。

図１では、アプリケーション装置２の例としてスマートフォンを示しているが、パーソナルコンピュータ、タブレット端末、携帯電話、ゲーム機、家電機器、産業機器など、無線通信機能を有するあらゆる種類のデバイスがアプリケーション装置２になり得る。また、図１では、一台のセンシング装置１と一台のアプリケーション装置２による一対一のシステム構成が例示されているが、一台のセンシング装置１と複数台のアプリケーション装置２、複数台のセンシング装置１と一台のアプリケーション装置２、複数台のセンシング装置１と複数台のアプリケーション装置２といったシステム構成も可能である。

（センシング装置）
図２に、センシング装置１の内部構成を模式的に示す。

センシング装置１は、主な構成として、撮像装置１０と、画像処理部１１と、無線通信部１２を備えて構成される。撮像装置１０はカラー又はモノクロの画像を取り込む撮像ユニットであり、例えばレンズ一体型のＣＣＤモジュールなどで構成される。画像処理部１１は、撮像装置１０で取り込まれた画像から人の全体又は一部分をセンシング対象として検出し、検出されたセンシング対象に関する情報を抽出する機能を有するユニットである。また、無線通信部１２は、アプリケーション装置２との間で無線通信によるデータ送受信を行うユニットであり、例えばＢｌｕｅｔｏｏｔｈ通信モジュールやＷｉ−Ｆｉ通信モジュールなどで構成される。

本実施形態では、ＣＰＵ（プロセッサ）、メモリ、及び、画像センシング処理のプログラムを格納したＲＯＭ（リードオンリーメモリ）により画像処理部１１を構成する。すなわち、センシング装置１の動作時は、ＣＰＵがＲＯＭから必要なプログラムを読み込み実行することで、画像処理部１１の機能が実現される。ただし、この構成は一例であり、撮像装置１０及び無線通信部１２を制御するＣＰＵとは別に、画像センシング処理を専用に行う画像処理プロセッサを設けてもよい。

画像処理部１１で実行可能な画像センシング処理には、顔検出、人体検出、手検出、性別推定、年齢推定、視線推定、顔向き推定、表情推定、笑顔度判定、目つむり推定などがある。顔検出とは、画像の中から人の顔を検出する処理である。人体検出とは、画像の中から人の全身又は上半身を検出する処理であり、手検出は、画像の中から人の手を検出す
る処理である。性別推定は、画像から検出された人（顔）の性別を推定する処理、年齢推定は、画像から検出された人（顔）の年齢又は年代を推定する処理である。視線推定は、画像から検出された顔の視線方向を推定する処理であり、顔向き推定は、画像から検出された顔の向き（正面／上向き／下向き／右向き／左向きなど）を推定する処理である。表情推定は、画像から検出された顔の表情（満足／不満足の分類。真顔／喜び／驚き／怒り／悲しみの５つの表情の分類など）を推定する処理である。笑顔度判定は、画像から検出された顔の笑顔の度合いを判定する処理である。目つむり推定は、画像から検出された顔の瞼が閉じているか開いているかを判定する処理である。これらの処理には従来から知られているアルゴリズムを採用できるため、ここでは詳しい説明は割愛する。

（アプリケーション装置）
図２に、アプリケーション装置２の内部構成を模式的に示す。

アプリケーション装置２は、主な構成として、通信部２０と、アプリケーション処理部２１と、記憶部２２と、表示装置２３と、入力装置２４を備えて構成される。通信部２０は、センシング装置１との間で無線通信によるデータ送受信を行うユニットであり、例えばＢｌｕｅｔｏｏｔｈ通信モジュールやＷｉ−Ｆｉ通信モジュールなどで構成される。アプリケーション処理部２１は、センシング装置１から受信したセンシング結果に含まれる情報を利用した処理を実行するユニットである。記憶部２２は、アプリケーション処理部２１で利用する各種のデータを記憶しているユニットである。後述する笑顔度判定アプリにおいて利用される仮想顔のデータなどは、この記憶部２２内に格納されている。表示装置２３は、取得した顔情報やアプリケーション装置２の処理結果などを表示するためのデバイスであり、入力装置２４は、アプリケーション装置２に対し情報入力を行うためのデバイスである。

本実施形態では、アプリケーション装置２としてスマートフォンを利用する。したがって、通信部２０は内蔵の無線通信モジュールにより構成され、記憶部２２は内蔵メモリ又はフラッシュメモリにより構成され、表示装置２３及び入力装置２４はタッチパネルディスプレイにより構成される。また、アプリケーション処理部２１は、ＣＰＵ（プロセッサ）、メモリ、及び、アプリケーション装置２にインストールされたアプリケーションプログラム（単に「アプリ」とも呼ばれる）により構成される。アプリを入れ替えたり追加したりすることで、アプリケーション装置２は顔情報を利用した様々な機能を提供することができる。

（システムの動作）
図３を参照して、画像センシングシステムの動作、特にセンシング装置１とアプリケーション装置２の間の連携及びデータ通信について説明する。

まず最初に、センシング装置１の無線通信部１２とアプリケーション装置２の通信部２０の間でのデータ通信を可能にするための接続処理を行う。図３に、一例として、アプリケーション装置２がマスタ（セントラル）、センシング装置１がスレーブ（ペリフェラル）となり、ＢｌｕｅｔｏｏｔｈＬＥのコネクションを確立する手順を示す。

センシング装置１の電源を投入すると、スレーブ（センシング装置１）はすぐに接続要求状態に遷移し、定期的に（例えば１００ｍｓｅｃ間隔）アドバタイズメントパケットをブロードキャストし、自機の存在を周囲に知らせる。一方、マスタ（アプリケーション装置２）は起動後に接続検索状態に遷移し、アドバタイズメントパケットの受信を待つ。マスタ（アプリケーション装置２）は近くに存在するスレーブ（センシング装置１）からアドバタイズメントパケットを受信すると、そのパケットに含まれる情報に基づき接続可能なデバイスか否かを判定する。接続可能なデバイスが見つかると、マスタ（アプリケーシ
ョン装置２）は参加要請を送信して接続状態へと遷移する。スレーブ（センシング装置１）はマスタからの参加要請を受信すると、接続状態へ遷移する。これにより、マスタ（アプリケーション装置２）とスレーブ（センシング装置１）の間のコネクションが確立し、以後、データチャネルを利用したパケット通信が可能となる。

センシング装置１は、接続状態になると、撮像装置１０からの画像取込及び画像処理部１１による画像センシング処理を開始する。画像取込及び画像センシング処理は、コネクションが切断されるまで、定期的に（例えば、１ｓｅｃ間隔）実行される。なお、画像データ及びセンシング結果のデータは、直近の数フレーム分のデータをメモリに残し、古いデータは順次削除（破棄）されていく。

アプリケーション装置２は、任意のタイミングでセンシング装置１に対しセンシング要求を送出することができる。センシング装置１は、アプリケーション装置２からセンシング要求を受信すると、最も新しいセンシング結果のデータをメモリから読み出し、アプリケーション装置２へと送出する。これにより、アプリケーション装置２は、センシング対象の情報を必要なときにほぼリアルタイムに取得し、センシング対象の情報を利用したアプリケーション処理を実行することができる。

センシング対象の情報としては、顔検出、人体検出、手検出、性別推定、年齢推定、視線推定、顔向き推定、表情推定、笑顔度判定、目つむり推定などの処理結果を取得することが可能である。顔検出・人体検出・手検出の結果としては、検出個数、矩形位置座標（顔、人体、又は手を包含する矩形の左上と右下の座標）、矩形中心座標、矩形サイズ（ピクセル数）、検出の信頼度などを出力可能である。性別推定の結果としては、性別（男性／女性）と推定の信頼度などを出力可能である。年齢推定の結果としては、年齢（数値）、年代（数値範囲）、推定の信頼度などを出力可能である。視線推定の結果としては、視線の左右方向の角度、上下方向の角度、推定の信頼度などを出力可能である。顔向き推定の結果としては、左右方向の角度、上下方向の角度、傾き角度（回転角度）、推定の信頼度などを出力可能である。表情推定の結果としては、５表情（真顔／喜び／驚き／怒り／悲しみ）のいずれかとそのスコア（例えば、０〜１００）、満足（ポジティブ）／不満足（ネガティブ）の度合いなどを出力可能である。笑顔度判定の結果としては、笑顔の度合い（例えば０〜１００のスコア）を出力可能である。目つむり推定の結果としては、右目と左目それぞれの目の開き度合い（例えば、閉状態＝０〜全開状態＝１０００のスコア）を出力可能である。

図４（Ａ）に、センシング装置１から送出されるセンシング結果の一例を模式的に示す。この例では、センシング結果の取得日時、画像から検出された顔の数、及び、顔ごとの顔情報が、テキストで記述されている。［］で囲まれた文字列は顔情報の種類（項目）を表し、＝に続く数値又は符号が顔情報の値を表している。すなわち、図４（Ａ）のセンシング結果からは、画像から２つの顔が検出されたこと、「顔１」は、顔矩形の左上と右下のＸＹ座標がそれぞれ（３０，６０）、（６０，９０）であり、性別が男性であり、年齢が３０歳であり、顔向きが右方向３０度であり、視線向きが右方向３０度及び下方向１０度であり、右目と左目の目つむり度がそれぞれ２００、２５０であり、表情が喜び７０％であり、笑顔度が６５点であることが分かる。

このように本実施形態では、画像から抽出した情報を数値化もしくは符号化したデータのみをセンシング結果として送出し、画像データはもちろんのこと、画像中の人物を直接特定可能な情報は外部に送出しない。したがって、個人情報の漏えいのリスクを最小限にすることができる。

図４（Ｂ）は、センシング結果のサブセットの例を示す。アプリケーション装置２側で
全項目の情報を受け取る必要がない場合には、センシング要求の中で希望の項目を指定することで、図４（Ｂ）のように一部の顔情報のみを取得することができる。このように必要な顔情報のみを取得するようコントロールすれば、アプリケーション装置２とセンシング装置１の間の通信負荷を低減することができる。この方法は、一対多もしくは多対多の通信を行う場合や、アプリケーション装置２の処理能力が低い場合などに、有効である。

（笑顔度を利用した判定アプリの例）
図５〜図７を参照して、アプリケーション装置２で提供されるアプリの一例を説明する。図５は、笑顔度を利用した判定アプリの処理フローであり、図６は、判定アプリで利用する仮想顔データの例であり、図７は、判定アプリの画面遷移図である。

判定アプリを起動すると、アプリケーション処理部２１は、図７（Ａ）に示す初期画面を表示装置２３に表示する。この判定アプリは、制限時間内に笑顔度が基準点（閾値）を超えると成功、というルールのゲームアプリである。初期画面には、ゲームのルール説明とともに、スタートボタンと設定ボタンが表示されている。初期状態では、制限時間が５分、クリアの基準点が８０点に設定されているが、設定ボタンをタップすると表示される難易度設定画面において、制限時間及び基準点を変更することができる。

ユーザがスタートボタンをタップすると、図５のフローが開始される。ステップＳ５００において、アプリケーション処理部２１は、通信部２０を介して、センシング装置１からセンシング結果を取得する。顔が検出できなかった場合は（ステップＳ５０１；Ｎ）、「顔がみつかりません」というエラーメッセージを表示し、ステップＳ５００の処理を繰り返す。ゲーム参加者の顔が検出できた場合は（ステップＳ５０１；Ｙ）、アプリケーション処理部２１は、ゲーム開始の合図として「３、２、１、スタート！」というアニメーションを表示装置２３に表示した後、ゲーム開始からの経過時間のカウントを開始する（ステップＳ５０２）。ゲームの残り時間は、図７（Ｂ）に示すように、画面に表示される（ステップＳ５０３）。

アプリケーション処理部２１は、通信部２０を介して、定期的に（例えば１ｓｅｃ間隔）センシング装置１からセンシング結果を取得する（ステップＳ５０４）。もしゲームの途中で顔が検出できなくなった場合は（ステップＳ５０５；Ｎ）、ゲームを中断する（ステップＳ５１０）。顔が検出できた場合（ステップＳ５０５；Ｙ）、アプリケーション処理部２１は、センシング結果から笑顔度のデータを抽出し、図７（Ｂ）に示すように、笑顔度（スコア）を画面に表示する（ステップＳ５０６）。

このとき、センシング装置１で撮影したゲーム参加者の画像（元画像）を笑顔度と一緒に画面に表示することができれば、ゲーム参加者の実際の表情とアプリの判定結果を見比べることができ、大変分かりやすい。しかしながら、本システムでは、個人情報の漏えい防止のため、アプリケーション装置２側では元画像を利用することができない。そこで、本システムでは、センシング結果に含まれる顔状態情報に応じた仮想顔をアプリケーション装置２側で生成し、元画像の代わりに、画面に表示する。

ここで、仮想顔とは、顔の状態（表情、笑顔の度合い、視線の方向、顔の向きなど）を表現するための画像である。仮想顔としては、アニメーションやアバターのようなイラスト（線画）を用いることもできるし、顔画像などの写真画像を用いることもできる（例えば、予めアプリケーション装置２側でゲーム参加者の顔を撮影し、その顔画像を使って仮想顔を生成してもよい。）。複数種類の顔の状態を表現可能とするために、様々な種類の仮想顔データがあらかじめ記憶部２２に登録されている。一例として、図６は、４段階の笑顔を表現するための仮想顔データ「egao00.gif」〜「egao03.gif」と、複数の顔向きを表現するための仮想顔データ「normal.gif」、「up.gif」・・・を示している。

例えば、笑顔度のスコアが３０点であった場合は、記憶部２２から「egao00.gif」が読み込まれ画面に表示され（図７（Ｂ）参照）、笑顔度のスコアが５５点であった場合は、「egao01.gif」が読み込まれ画面に表示される（図７（Ｃ）参照）。このように、笑顔度のスコアだけでなく笑顔度に応じた仮想顔を表示することで、ゲーム参加者の笑顔の度合いを直観的かつ即座に確認可能な分かりやすいインターフェイスを提供できる。

続いて、アプリケーション処理部２１は、笑顔度と基準点とを比較し（ステップＳ５０７）、笑顔度が基準点を超えていれば、図７（Ｄ）に示すように、画面に「ＣＬＥＡＲ！！」という成功アニメーションを表示し（ステップＳ５０８）、ゲームを終了する。一方、笑顔度が基準点に満たない場合は（ステップＳ５０７；Ｎ）、ステップＳ５０３へと戻り、笑顔度が基準点を超えるまで処理を繰り返す。ただし、制限時間内に基準点を超えることができなかった場合は（ステップＳ５０９；Ｙ）、図７（Ｅ）に示すように、画面に「ＮＯＴ ＣＬＥＡＲ」という失敗アニメーションの表示を行い（ステップＳ５１０）、ゲームを終了する。

（本実施形態の利点）
以上述べた本実施形態の構成は次のような利点を有する。センシング装置１からアプリケーション装置２に送られる情報には、人が写った画像や個人を直接特定可能な情報が一切含まれないため、仮に誤送信や通信傍受が起きたとしても個人情報の漏えいは発生しない。したがって、センシング装置１とアプリケーション装置２の間の通信に高度なセキュリティを設ける必要がなくなり、センシング装置１とアプリケーション装置２双方の通信モジュールの簡易化を図ることができる。通信にかかるオーバーヘッドが小さければ、例えば家電機器の組み込みマイコンのように、処理能力が低い機器やリソースが少ない機器でもアプリケーション装置２になり得る。アプリケーション装置２の適用範囲が広がれば、センシング装置１及びセンシング結果の利用機会を拡大できるため、センシング装置１の普及を促進できるという利点がある。

また、本実施形態のアプリケーション装置２のように、センシング対象の状態を画面表示すると、センシング装置１のセンシング結果をアプリケーション装置２側で確認することができ、ユーザの利便性を高めることができる。さらにこのとき、上記判定アプリのように、アニメーション、アバター、又は、顔画像による仮想顔を用いて顔の状態を表現すると、センシング結果の直観的な理解が容易となり、ユーザフレンドリネスの向上を図ることができる。

（他のアプリの例）
前述の笑顔度判定の技術は様々なアプリケーションに応用することができる。以下にその一例を挙げる。

図８（Ａ）は、笑顔度の時系列データを記録するアプリケーションのフロー図である。ユーザがアプリに対し「記録開始」を指示すると（ステップＳ８０１）、アプリケーション処理部２１がセンシング装置１からセンシング結果を取得し（ステップＳ８０２）、笑顔度のスコアを時刻情報とともに記憶部２２に記録する（ステップＳ８０３）。以降、ユーザが「記録終了」を指示するか、所定の記録時間に到達するまで、定期的に（例えば、１ｓｅｃ間隔）笑顔度の取得及び記録が行われる（ステップＳ８０４）。記録が終了すると、アプリケーション処理部２１が、記録された笑顔度の時系列データを表示装置２３にグラフ表示する（ステップＳ８０５）。

図８（Ｂ）は、表示装置２３に表示された笑顔度の時系列データの一例である。このような時系列データのグラフをみることで、この人物の笑顔度の推移を簡単に把握すること
ができる。この例では、笑顔度が閾値（図の破線）を超えた期間が２回あることが分かる。

このようなアプリケーションは、コメディアンやコメディショーの面白さを記録もしくは採点するための採点器（笑いメーター）に利用することができる。例えば、観客（採点者）の顔を撮影するようにセンシング装置１を設置し、コメディアン（演者）が芸を演じている間の観客の笑顔度をアプリケーション装置２で記録する。図８（Ｂ）のような笑顔度の時系列データが得られると、その演者もしくは演目の面白さを客観的な指標で評価することが可能となる。したがって、例えば、複数の演者が競い合うコンテストにおいて、採点器で記録された笑顔度の高さで優勝を争ったり、笑顔度が閾値を超えた時間の長さで優勝を争ったり、予め指定された笑顔度に近いスコアを出せたかどうかで勝ち負けを争ったりなど、いろいろな活用が可能である。また、笑顔度の推移をリアルタイムで監視できるので、例えば、笑顔度が閾値を超えるまでの時間を比べ、誰が最も早く観客を笑わせるかを競わせることもできる。また、複数の演者でチームを組み、チームの笑顔度の合計や平均でチーム対抗戦を行うことも可能である。

上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。

１：センシング装置
２：アプリケーション装置
１０：撮像装置
１１：画像処理部
１２：無線通信部
２０：通信部
２１：アプリケーション処理部
２２：記憶部
２３：表示装置
２４：入力装置

Claims (8)

1. 撮像装置と、前記撮像装置で取り込まれた画像から人の全体又は一部分をセンシング対象として検出し、検出されたセンシング対象に関する情報を抽出する画像処理部と、前記画像処理部で抽出された情報を含むセンシング結果を無線通信により送出する無線通信部と、を有するセンシング装置と、
   前記センシング装置から前記センシング結果を受信する通信部と、前記通信部で受信した前記センシング結果に含まれる情報を利用した処理を実行するアプリケーション処理部と、を有するアプリケーション装置と、
   を有する画像センシングシステムにおいて、
   前記センシング装置からセンシング結果として送出される情報には、前記検出された顔の状態を表す顔状態情報が含まれ、かつ、前記撮像装置で取り込まれた画像、及び、前記検出されたセンシング対象の個人を直接特定可能な情報のいずれも含まれておらず、
   前記アプリケーション処理部は、前記顔状態情報を基準値と比較し、前記顔状態情報と前記基準値との比較結果に応じて表示装置に表示を行う
   ことを特徴とする画像センシングシステム。
2. 撮像装置と、前記撮像装置で取り込まれた画像から人の全体又は一部分をセンシング対象として検出し、検出されたセンシング対象に関する情報を抽出する画像処理部と、前記画像処理部で抽出された情報を含むセンシング結果を無線通信により送出する無線通信部と、を有するセンシング装置から、前記センシング結果を受信する通信部と、
   前記通信部で受信した前記センシング結果に含まれる情報を利用した処理を実行するアプリケーション処理部と、を有するアプリケーション装置において、
   前記センシング装置からセンシング結果として受信する情報には、前記検出された顔の状態を表す顔状態情報が含まれ、かつ、前記撮像装置で取り込まれた画像、及び、前記検出されたセンシング対象の個人を直接特定可能な情報のいずれも含まれておらず、
   前記アプリケーション処理部は、前記顔状態情報を基準値と比較し、前記顔状態情報と前記基準値との比較結果に応じて表示装置に表示を行う
   ことを特徴とするアプリケーション装置。
3. 前記センシング対象は、人の顔である
   ことを特徴とする請求項２に記載のアプリケーション装置。
4. アニメーション、アバター、又は、顔画像を用いて、複数種類の顔の状態を表現可能な仮想顔のデータを予め格納している記憶部をさらに有しており、
   前記アプリケーション処理部は、前記センシング装置から受信した顔状態情報に応じた仮想顔を前記表示装置に出力することにより、前記検出された顔の状態を表現する
   ことを特徴とする請求項２又は３に記載のアプリケーション装置。
5. 前記アプリケーション処理部は、前記センシング装置から逐次受信する顔状態情報の変化に合わせて、前記表示装置に出力する仮想顔を変化させる
   ことを特徴とする請求項４に記載のアプリケーション装置。
6. 前記顔状態情報は、前記検出された顔の笑顔の度合いを示す笑顔度の情報を含んでおり、
   前記アプリケーション処理部は、前記センシング装置から受信した笑顔度に応じた笑顔を表現する仮想顔を前記表示装置に出力する
   ことを特徴とする請求項４又は５に記載のアプリケーション装置。
7. 前記アプリケーション処理部は、笑顔度を利用した判定アプリを提供するものであり、
   前記判定アプリは、前記センシング装置から逐次受信する笑顔度の変化を監視し、制限時間内に笑顔度が閾値を超えるか否かを判定する処理を行う
   ことを特徴とする請求項６に記載のアプリケーション装置。
8. コンピュータを、請求項２〜７のいずれか１項に記載されたアプリケーション装置として機能させる
   ことを特徴とするプログラム。

Images