JP5863423B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、人物の情報を得ることに対する関心度に応じて提示する情報を制御する技術に関するものである。

自律的に情報を提示するプッシュ型の情報提示端末において、その端末付近にいる人の状況に応じて情報提示方法を切り替える技術が一般に知られている。例えば、特許文献１には、人の移動方向や速度に応じた場所に情報を提示する技術が開示されている。また、特許文献２には、人の見た目や移動軌跡等に応じて、その人に表示するデータを判定する技術が開示されている。また、特許文献３には、情報を表示する手段を注視する人の人数に応じて、表示するコンテンツを決定する技術が開示されている。また、特許文献４には、情報の出力手段と人との距離や人の動きに応じて、出力する情報の表示サイズや音量を制御する技術が開示されている。また、特許文献５には、情報表示面の前方に存在する人の動作に基づいて、表示する情報を選択する技術が開示されている。以上の従来技術を用いることにより、プッシュ型の情報提示端末はその周囲にいる人に応じた内容、場所、サイズ及び音量の情報を提示することができる。

しかしながら、情報提示端末が提示する情報の量が多すぎる場合には、例え情報の内容や提示レイアウトや音量がその周囲にいる人の状況に適切でも、その人に全情報は伝わらなかったり、途中で情報を得ることを止められてしまったりする、という問題があった。逆に、情報提示端末が提示する情報の量が少なすぎる場合には、同じく情報の内容や場所やサイズや音量がその周囲にいる人の状況に適切であっても、その人の情報欲を満たすことができない、という問題があった。

これに対し、特許文献６には、情報提示端末に情報が受信された時刻からの経過時間と情報の受け手がジャンル毎に指定する関心度とに基づいて優先度を決定し、その優先度順に情報を提示する技術が開示されている。このような技術を用いれば、情報の特徴（生成日時とジャンル）に応じて提示する情報量を制御することが可能である。

特開２００５−３０９５３７号公報 特開２００６−１１３７１１号公報 特開２００７−２６５１２５号公報 特開２００９−２７７０９７号公報 特開２０１０−１７６５１０号公報 特許第３５６５２８８号公報

しかしながら、情報量の多い、少ないが判断される基準は、情報の特徴だけに限らない。例えば、情報提示端末の付近にいる人がその場にいられる時間も、情報量の多い、少ないが判断される基準となる。情報提示端末の付近にいられる時間が非常に短ければ、例え関心のあるジャンルの情報でも、情報の受け取り手は一目で情報全体を把握できなければ情報量が多いと判断し得る。逆に、情報提示端末の付近にいなければならない時間が非常に長ければ、例え関心のないジャンルの情報でも、情報の受け取り手はある程度の分量がなければ、情報量が少ないと判断し得る。同様にして、情報の受け取り手となる人が、情報を得ること以外の行動にどの程度専念しているかも、情報量の多い、少ないを判断する基準となる。情報提示端末からどんなに関心を引く情報が提示されていたとしても、その情報の受け取り手が一緒にいる友人と話しこんでいたり、化粧をしていたりすれば、一目で情報全体を把握できなければ情報量が多いと判断され得る。つまり、情報量の多い、少ないが判断される基準には、情報の受け取り手の状況（情報提示を受けられる時間や集中度）もあるといえる。

そこで、本発明の目的は、人物の情報を得ることに対する関心度に応じた量の情報を提示することにある。

本発明の情報処理装置は、撮影された画像データに含まれる人物を認識する認識手段と、前記認識手段による認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定手段と、前記人物に提示する対象となる情報を取得し、当該取得した情報に対して優先順位を設定する取得手段と、前記推定手段により推定された前記人物の情報を得ることに対する関心度が高い程、高い優先順位が設定された情報から順に多くの情報を選択する選択手段と、前記選択手段により選択された情報を出力手段において出力させる制御手段とを有することを特徴とする。

本発明によれば、情報を得ることに対する人物の関心度に応じた量の情報を提示することが可能となる。

第１の実施形態に係る情報提示詳細度制御装置の構成を示す図である。 第１の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。 第２の実施形態に係る情報提示詳細度制御装置の構成を示す図である。 第２の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。 第３の実施形態に係る情報提示詳細度制御装置の構成を示す図である。 情報編集部による編集結果の例に示す図である。 情報編集部による編集結果の例に示す図である。 第３の実施形態に係る情報提示詳細度制御装置の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。第１の実施形態に係る情報提示詳細度制御装置は、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。

図１は、第１の実施形態に係る情報提示詳細度制御装置１００の構成を示す図である。図１に示すように、第１の実施形態に係る情報提示詳細度制御装置１００は、映像撮影部１０１、人物認識部１０２、認識結果履歴保持部１０６、関心度推定部１０７、情報取得部１０８、情報編集部１０９及び情報表示部１１０を備える。なお、人物認識部１０２は、人物検出部１０３、表情認識部１０４及び姿勢認識部１０５を備える。なお、情報提示詳細度制御装置１００は、情報処理装置の適用例となる構成である。

映像撮影部１０１は、情報提示詳細度制御装置１００の周囲を撮影するカメラである。複数のカメラによって映像撮影部１０１を構成し、情報提示詳細度制御装置１００の周囲を広い範囲で撮影するようにしてもよい。また、魚眼レンズ付カメラによって映像撮影部１０１を構成し、１台のカメラのみで情報提示詳細度制御装置１００の周囲を広い範囲で撮影するようにしてもよい。さらに、映像撮影部１０１を標準的なレンズを備えた１台のカメラのみで構成し、情報提示詳細度制御装置１００の周囲の限られた範囲だけを撮影するようにしてもよい。第１の実施形態に係る情報提示詳細度制御装置１００は、家庭内に設置されるプッシュ型の情報提示端末に適用されるものであるため、映像撮影部１０１によって撮影される画像データには、家庭内を行き来する人物の姿が含まれることになる。映像撮影部１０１によって撮影された画像データは人物認識部１０２に対して出力される。

人物認識部１０２は、映像撮影部１０１から画像データを入力し、入力した画像データに含まれる人物を認識する処理を行う。即ち、人物検出部１０３、表情認識部１０４及び姿勢認識部１０５において、その処理が行われる。認識結果は、その認識処理が行われた時刻を示す情報とともに認識結果履歴保持部１０６に対して出力される。

人物検出部１０３は、映像撮影部１０１から画像データを入力する。そして人物検出部１０３は、入力した画像データから人物に該当する領域を検出する。この処理は、例えば、映像撮影部１０１から入力した画像データから、人物の顔や頭部等の人物に起因する特徴を検出することによって実現される。人物に起因する特徴としては、ここでは局所領域における勾配方向をヒストグラム化した特徴量であるHistograms of Oriented Gradients（ＨＯＧ）等を利用する。人物に起因する特徴は、人物を含む画像データを多量に集めて、それらに含まれる特徴量に共通するものを、例えばBoostingと呼ばれるアルゴリズムを用いて統計的に学習することによって決定される。このようにして決定される人物に起因する特徴が、映像撮影部１０１から入力された画像データに含まれていれば、人物検出部１０３は「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、人物に該当する領域の画像データが表情認識部１０４及び姿勢認識部１０５に対して出力される。同時に、人物に該当する領域の位置とその領域の大きさとを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部１０３から認識結果履歴保持部１０６に対して出力される。

表情認識部１０４は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の表情を認識する。例えば、表情認識部１０４は、予め具体的な表情をとらえた複数の画像データ群を用意しておく。そして、表情認識部１０４は、人物に該当する領域の画像データに含まれる人物の表情が、上記複数の画像データ群のうちの、どの群にどの程度類似しているかを認識する。本実施形態においては、「ポジティブで激しい感情の表情（喜）」、「ポジティブで落ち着いた感情の表情（楽）」、「ネガティブで激しい感情の表情（怒）」、「ネガティブで落ち着いた感情の表情（哀）」、「特に感情のないニュートラルな表情」の５つの表情をとらえた画像データ群を予め用意しておくものとする。表情の認識処理では、先ず表情認識部１０４は、人物に該当する領域の画像データから人物に起因する特徴が検出される領域を特定する。この特定処理においては、先に挙げたＨＯＧ等の特徴量が用いられる。次に表情認識部１０４は、特定した領域を正規化した画像データが、先に述べた５つの表情毎に用意された複数の画像データ群のうち、どの画像データ群にどの程度類似しているかを判定する。例えば、「ポジティブで激しい感情の表情（喜）」の画像データ群と、「特に感情のないニュートラルな表情」の画像データ群とを分別する判別軸を、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）を用いて作成しておく。そして表情認識部１０４は、その判別軸を用いて、正規化した画像データがどちらの画像データ群により類似しているかを判定する。これを各表情に対応する複数の画像データ群間での比較を繰り返すことにより、人物に該当する領域の画像データに含まれる人物の表情が、予め用意された５つの表情のうち、どの表情にどの程度類似しているかを認識することができる。

また表情認識部１０４は、人物に該当する領域の画像データから人の感情が表出する特徴を認識してもよい。例えば、瞳孔の大きさの変化や瞬きの回数には人の興味や関心度が表出することが知られている。従って、表情認識部１０４は、後述する関心度推定部１０７にて瞳孔の大きさの変化や瞬きの回数を計測できるように、瞳孔の大きさや目の大きさ（開き度合い）を認識する。この認識処理では、表情認識部１０４は、人物に該当する領域の画像データから人物の顔に起因する特徴が検出される領域を特定する。続いて表情認識部１０４は、当該領域からパターンマッチング等により目の領域を特定する。そして表情認識部１０４は、特定した目の領域に対して瞳孔パターンの検出処理や目の輪郭抽出処理を行う。そして最後に、表情認識部１０４は、人物に該当する領域の画像データにおける瞳孔の大きさや目の輪郭の形状（開いている形状か閉じている形状か）を示す情報を、認識結果として生成する。表情認識部１０４の認識結果は、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここでの姿勢とは、「人体を構成する身体パーツ同士の相対的な位置姿勢関係」や「映像撮影部１０１に対する各身体パーツの位置姿勢」である。この認識処理では、姿勢認識部１０５は、人物に該当する領域の画像データから、予め用意された人体を構成する身体パーツに起因する特徴を探索する。身体パーツとは、例えば、顔、頭、手、腕、足、膝、肩、腰、胸、臍、背中等である。それぞれは、撮影される向きによって特徴が異なるので、例えば顔に関しては、正面顔パーツ、横顔パーツ、下向き顔パーツ等と、方向別に複数の特徴が用意され、それらが探索される。このような探索により、画像データに含まれる身体パーツの領域上での位置及び姿勢（画像データ上での回転）が得られる。

得られた各身体パーツの位置及び姿勢は、姿勢を「人体を構成する身体パーツ同士の相対的な位置姿勢関係」とする場合には、基準となる身体パーツ（例えば頭）の位置を基準にした、画像データ上における各身体パーツの位置及び姿勢として表現される。例えば、「右の肩が頭に対して映像領域上で（Ｘ、Ｙ）画素だけ離れた位置に、Ｘ軸に対してθ度回転した姿勢である」場合に、右の肩の位置姿勢が（Ｘ、Ｙ、θ）と表現される。

姿勢を「映像撮影部１０１に対する各身体パーツの位置姿勢」とする場合には、得られた各身体パーツの位置及び姿勢と、画像データ上における各身体パーツの大きさとから、その「映像撮影部１０１に対する各身体パーツの位置及び姿勢」が算出される。例えば、「映像撮影部１０１に対する頭の位置及び姿勢」を算出する場合、姿勢認識部１０５は、人物検出部１０３が人物の足先に起因する特徴を検出した領域から、映像撮影部１０１によって撮影された画像データ中におけるその人物が立つ位置を決める。ここで、映像撮影部１０１の地面からの高さが既知であれば、撮影された画像データ中における人物の立つ位置から映像撮影部１０１と人物との位置関係が求められる。さらにここで、映像撮影部１０１によって撮影された画像データに含まれる人物がほぼ直立している（その人物の足元の真上に頭がある）という前提が成り立つとする。そうすると、映像撮影部１０１と人物との位置関係と、映像撮影部１０１によって撮影された画像データ中における人物の頭の位置とから、映像撮影部１０１に対する頭の位置を決定することができる。人物が直立している前提の妥当性は、身体パーツ同士の位置関係に基づいて評価すればよい。その結果、別の姿勢（例えば側屈をしている）であると評価されるのであれば、それを考慮して映像撮影部１０１と人物の頭との位置関係を求めればよい。次に、頭の姿勢であるが、例えば下記の非特許文献に開示されるような方法を用いればよい。即ち、姿勢認識部１０５は、一般的な３次元仮想頭部モデルを仮想カメラに対して姿勢を変化させながら、その仮想カメラから撮影される画像データを生成する。姿勢認識部１０５は、生成された仮想頭部の画像データと、映像撮影部１０１によって撮影された画像データ中における人物の頭の画像データとを比較する。そして姿勢認識部１０５は、両者がある基準でほぼ同等の画像データになるまで、仮想頭部モデルを仮想カメラに対して姿勢を変化させる。そうすると、最終的に両者がほぼ同等の画像データになったときの仮想頭部モデルの仮想カメラに対する姿勢が、映像撮影部１０１に対する人物の頭部の姿勢となる。
＜非特許文献＞Ｐｈｉｌｉｐ ＤｅＣａｍｐ. （２００７） ＨｅａｄＬｏｃｋ： Ｗｉｄｅ−Ｒａｎｇｅ Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ. Ｍ.Ｓｃ. ｉｎ Ｍｅｄｉａ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ Ｔｈｅｓｉｓ.

以上のようにして得られる姿勢認識部１０５の認識結果は、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

なお、人物認識部１０２は、人物検出部１０３、表情認識部１０４及び姿勢認識部１０５以外の構成要素を有してもよい。例えば映像撮影部１０１によって撮影される画像データに含まれる人物の行動を認識する行動認識部を備えてもよい。その認識結果も、その認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

認識結果履歴保持部１０６は、人物認識部１０２の人物認識結果（人物検出部１０３の検出結果、表情認識部１０４の認識結果、及び、姿勢認識部１０５の認識結果を含む）を、それぞれの検出又は認識がなされた時刻を示す情報とともに保持する。認識結果履歴保持部１０６において保持される人物認識結果は、後述する関心度推定部１０７により参照される。

関心度推定部１０７は、認識結果履歴保持部１０６に保持される人物認識部１０２の人物認識結果を参照し、映像撮影部１０１によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻ｔにおける関心度は、時刻ｔにおいて行われた人物認識処理の結果、又は、時刻ｔ−ｔ０から時刻ｔまでの間に行われた人物認識処理の結果の変化に応じて推定される。

まず、時刻ｔにおける関心度を、時刻ｔにおいて行われた人物認識処理の結果に応じて推定する場合について説明する。この場合、人物認識部１０２の時刻ｔにおける人物認識結果の値を予め設定される評価関数に代入し、これにより評価関数から得られる出力値を時刻ｔにおける関心度の推定結果とする。

一つの例としての評価関数は、例えば人物検出部１０３の検出結果である人物が検出された領域の位置と、映像撮影部１０１によって撮影された画像データの中心との距離が短いほど、高い関心度を推定値として出力する。他の例の評価関数として、人物検出部１０３の検出結果である人物が検出された領域のサイズが大きいほど、高い関心度を推定値として出力する評価関数が挙げられる。この二例のような評価関数を用いる場合、情報提示詳細度制御装置１００の近くに人がいるほど、高い関心度が推定値として出力される。即ち、関心度推定部１０７は、「人がプッシュ型の情報提示端末の近くにいるという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

さらに他の評価関数の例として、表情認識部１０４の出力がよりポジティブでより穏やかなほど、高い関心度を推定値として出力する評価関数が挙げられる。この例における評価関数の場合、情報提示詳細度制御装置１００の近くにいる人がリラックスした表情（ポジティブで落ち着いた感情の表情）をしているほど、高い関心度を推定することとなる。つまり、関心度推定部１０７は、「人がリラックスした表情をしているという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

さらに他の評価関数の例として、姿勢認識部１０５の出力が身体パーツの位置関係である場合、姿勢認識部１０５の出力から基準となる頭に対して両肩や両手等がそれぞれ左右にバランスよく離れていると判定できると、高い関心度を推定値として出力する評価関数が挙げられる。この例の評価関数では、情報提示詳細度制御装置１００の近くにいる人が映像撮影部１０１に対して正対しているほど、高い関心度を推定することとなる。つまり関心度推定部１０７は、「人がプッシュ型の情報提示端末に正対しているという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。なお、単に「頭を対する両肩や両手などの左右バランス」だけで関心度を推定しては、映像撮影部１０１に対して背を向けている場合にも「高い関心度がある」と推定してしまう。このようなケースに対処すべく、認識結果履歴保持部１０６に保持される時刻ｔにおける人物認識結果に「顔」の認識結果がなければ、関心度推定部１０７は、映像撮影部１０１に対して背を向けていると判定して、低い関心度を出力してもよい。また、仮に「顔」の認識結果が含まれていたとしても、それが「横顔」や「下向き顔」であれば、関心度推定部１０７は、その人の視線は映像撮影部１０１を含む情報提示端末に向いていなかったとして、低い関心度を出力してもよい。姿勢認識部１０５の出力が映像撮影部１０１に対する各身体パーツの位置及び姿勢である場合にも同様でよい。即ち、関心度推定部１０７は、映像撮影部１０１と各身体パーツとの位置関係から、人が情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末に対してより正対していると判断できれば、より高い関心度を推定値として出力する。特に、頭の向きが、映像撮影部１０１に対してどの程度正対しているかを評価することは、その人がどの程度視線を向けているかの評価になるので、人がどの程度視線を向けているかに応じた関心度の推定を実現できる。

次に、時刻ｔにおける関心度を、時刻ｔ−ｔ０から時刻ｔまでの間に行われた人物認識結果に応じて推定する場合について説明する。これは、人物認識部１０２の時刻ｔ−ｔ０から時刻ｔまでに間における人物認識結果の値の変化速度や履歴を、予め設定しておく評価関数に代入したときに得られる出力値を、時刻ｔにおける関心度の推定結果とする場合に関する。

この評価関数は、例えば人物検出部１０３によって検出された人物に該当する領域の位置の移動速度が遅いほど、高い関心度を推定値として出力する。また例えば、人物検出部１０３によって検出された人物に該当する領域のサイズの変化速度が遅いほど、評価関数は高い関心度を推定値として出力する。この二例のような評価関数を用いる場合は、情報提示詳細度制御装置１００に人がゆっくり近づく、又はゆっくり遠ざかるほど、高い関心度が推定値として出力される。プッシュ型の情報提示端末に人がゆっくりと近づく、又はゆっくり遠ざかるという状況は、その人が情報提示端末の付近にいられる時間が長いという状況である。即ち、関心度推定部１０７は、「人がプッシュ型の情報提示端末の付近にいられる時間が長い状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

また、他の評価関数の例として、表情認識部１０４の出力の変化速度が大きいほど、高い関心度を推定値として出力する評価関数が挙げられる。この場合、情報提示詳細度制御装置１００の近くにいる人の表情の変化が大きいほど、高い関心度を推定することとなる。人の表情に表出する内面（感情）に変化があるという状況は、その人が何かの刺激に対して反応している状況である。従って、関心度推定部１０７は、「人がプッシュ型の情報提示端末の付近で何らかの刺激に対して反応している状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定する。

また、他の評価関数の例として、表情認識部１０４の出力である瞳孔の大きさと目の大きさ（開き度合い）の、時刻ｔ−ｔ０から時刻ｔまでの変化履歴に応じて関心度を推定値として出力する評価関数が挙げられる。人が覚醒すると瞳孔は大きくなり、人が注意や集中した状態では瞬きの回数が減ることが一般に知られているので、時刻ｔ−ｔ０から時刻ｔまでに、瞳孔の大きさが大きくなったり、瞬きの回数が減ったりするほど、高い関心度を評価関数は出力すればよい。即ち、関心度推定部１０７は、「人が瞳孔を大きくしたり瞬きを減らしたりする状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

また、他の評価関数の例として、姿勢認識部１０５の出力である身体パーツの位置関係の変化速度が遅いほど、高い関心度を推定値として出力する評価関数が挙げられる。この場合、情報提示詳細度制御装置１００の近くにいる人の姿勢の変化が遅いほど、即ち動作が遅いほど、高い関心度を推定することとなる。人がプッシュ型の情報提示端末の傍でゆっくりと動作する状況は、時間的に余裕があるという状況である。従って、関心度推定部１０７は、「人がプッシュ型の情報提示端末の付近で時間的に余裕があるという状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。逆に言えば、人がプッシュ型の情報提示端末のそばで早く動く状況は、情報を得ること以外の行動に行っている状況である。よって関心度推定部１０７は、「人がプッシュ型の情報提示端末の付近で情報を得ること以外の行動に行っている状況は、その人が情報提示に対してあまり関心を持っていないことを示している」という仮定の下で、情報提示に関する人の関心度を推定する。

さらに他の評価関数の例として、姿勢認識部１０５の出力である「映像撮影部１０１に対する頭部パーツの位置姿勢」の、時刻ｔ−ｔ０から時刻ｔまでの変化履歴に応じて関心度を推定値として出力する評価関数が挙げられる。これは、映像撮影部１０１と情報表示部１１０との位置関係が固定で事前に計測可能である場合には、「映像撮影部１０１に対する頭部パーツの位置姿勢」から「情報表示部１１０に対する頭部パーツの位置姿勢」を算出できることに基づくものである。「情報表示部１１０に対する頭部パーツの位置姿勢」を算出することができれば、それより人の視線方向が情報提示位置に向けられた頻度や時間を計測できるので、その頻度や時間が多いほど、評価関数は高い関心度を推定すればよい。即ち、関心度推定部１０７は、「人がプッシュ型の情報提示端末に対して視線を向ける頻度や時間が多い状況は、その人が情報提示に対してより高い関心を持っていることを示している」という仮定の下で、情報提示に関する人の関心度を推定することとなる。

なお、上記に述べたような評価関数の中身が時刻ｔに応じて変わってもよい。即ち、同じ人物認識結果に対しても、評価関数を用いる（関心度を推定する）時刻ｔが午前中の時間帯であるときと、午後の時間帯であるときとでは、出力値が異なるような評価関数であってもよい。さらには、時間だけではなく日時や曜日等のタイミングに応じて出力値が異なるような評価関数であってもよい。

ここまでに、人がどの程度、情報取得に対して関心を持っているかを示す関心度の推定方法について複数の例を挙げて説明したが、それらによる推定結果を組み合わせて、総合的に人の関心度を推定しても勿論よい。

関心度推定部１０７は、以上説明した評価関数等を用いて、認識結果履歴保持部１０６に記録される人物認識部１０２の人物認識結果を参照し、映像撮影部１０１によって撮影された画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。この推定結果は、情報編集部１０９に対して出力される。

情報取得部１０８は、情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末から発信される情報を取得する。即ち、情報取得部１０８は、その時刻の天気予報情報やニュース情報をネットワーク上から取得する。その際、情報取得部１０８は、単に天気予報やニュースの内容を説明するテキストや映像を取得するだけでなく、その情報の構造情報も合わせて取得する。ここでの構造情報とは、情報を構成するテキストや映像それぞれが、「見出し」、「本文」、「サマリー」、「キャプション」、「図」、「写真」、「代表写真」といった構造のどれに当たるかを示す情報である。情報取得部１０８は、構造情報を得ると、情報としての詳細さと重要度とを基準にして、それらに情報として提示する優先順位を付ける。例えば、「見出し」＞「サマリー」＞「写真」＋「キャプション」＞「本文」＞「図」といたように優先順位を付ける。このような優先順位のついた構造情報、及び、情報の内容を説明するテキストや映像は、情報編集部１０９に対して出力される。なお、取得した情報に、例えば「本文」のような詳細な情報のみしか含まれていなかった場合、情報取得部１０８が「本文」を簡略化した情報を生成してもよい。例えば、「本文」とされる情報の、各段落の最初の１行のみを集めることで「サマリー」を生成したり、最初の１行を「見出し」として生成してもよい。

情報編集部１０９は、関心度推定部１０７から入力される関心度に応じて、情報取得部１０８から入力される情報を編集する。それには先ず、関心度が低いほど、情報取得部１０８で設定された「情報として提示する優先順位」のより高いもののみが提示される情報として選択される。ここで仮に関心度が５段階で推定されているとすると、関心度が１（低い）であれば、優先順位１位の情報のみ、例えば「見出し」に相当する情報のみが提示される情報として選択される。同様に、関心度が２であれば、優先順位が２位までの情報、例えば「見出し」と「サマリー」とに相当する情報のみが提示される情報として選択される。そして関心度が５（高い）であれば、全ての情報が提示される情報として選択される。情報編集部１０９は、関心度推定部１０７より受け取る関心度に応じて、情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末の傍にいる人に提示する情報を選択すると、選択した情報の表示レイアウトを行う。そして、レイアウトされた情報は情報表示部１１０に対して出力される。

情報表示部１１０は、例えばスピーカ付のディスプレイやプロジェクタ等で構成され、情報編集部１０９より出力される情報を表示する。情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末の傍にいる人に対して、情報を提示することができる。

以上のように、第１の実施形態に係る情報提示詳細度制御装置１００は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況から推定される、その人の情報提示に対する関心度に応じた量の情報を提示することができる。先に述べたように、第１の実施形態に係る情報提示詳細度制御装置１００は、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。故に、家庭内を移動する人に対して、その人の状況から推定される、その人の情報提示に対する関心度に応じた量の情報を提示することができる。例えば、朝の身支度をしながら忙しく情報提示端末の傍を行き来する人に対しては、人物認識部１０２は「その人の移動速度が速い」、「あまり情報提示端末に正対しない」、「表情はノーマル」、「姿勢の変化（手足の動きなど）が早い」といった状況を認識する。関心度推定部１０７は、それに応じて情報提示に対する低い関心度を推定するので、情報編集部１０９は優先順位の高い情報、例えば「見出し」のみを選択し、それが情報として提示されることとなる。「見出し」のみという少ない量で情報が提示されれば、朝の身支度で忙しくしている人でも、その情報を知覚しやすくなる。また例えば、夜に帰宅してゆっくりとくつろぎながらリビングで休む人に対しては、人物認識部１０２は「その人の移動速度が遅い」、「比較的情報提示端末に正対している」、「表情がリラックスしている」、「姿勢の変化があまりない」といった状況を認識する。関心度推定部１０７はそれに応じて情報提示に対する高い関心度を推定するので、情報編集部１０９が優先順位の低い情報まで、即ち、「見出し」から「本文」から補足情報の「図」までを選択し、それが情報として提示されることとなる。

次に、図２に示すフローチャートを参照しながら、第１の実施形態に係る情報提示詳細度制御装置１００の処理について説明する。

ステップＳ２０１において、映像撮影部１０１は撮影する。これにより、情報提示詳細度制御装置１００の周囲が撮影される。撮影された画像データは、人物認識部１０２内の人物検出部１０３に対して出力される。

ステップＳ２０２において、人物検出部１０３は、映像撮影部１０１によって撮影された画像データから人物を検出する。具体的には、映像撮影部１０１によって撮影された画像データから人物の顔や頭部等の人物に起因する特徴が人物検出部１０３によって検出される。人物に起因する特徴が、映像撮影部１０１によって撮影された画像データに含まれていれば、人物検出部１０３は、「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、人物に該当する領域の画像データが表情認識部１０４及び姿勢認識部１０５に出力される。同時に、人物に該当する領域の位置及びサイズを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部１０３から認識結果履歴保持部１０６に対して出力される。ステップＳ２０３において、人物検出部１０３は、映像撮影部１０１によって撮影された画像データから人物が検出されたか否かを判定する。人物が検出された場合、処理はステップＳ２０４に移行する。一方、人物が検出されていない場合、処理はステップＳ２０２に戻る。

ステップＳ２０４において、表情認識部１０４は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物の表情を認識する。この認識処理では、先ず表情認識部１０４は、人物に該当する領域の画像データから、人物の顔に起因する特徴が検出される領域を特定する。次に表情認識部１０４は、特定した領域を正規化した画像データが、５つの表情別に予め用意された複数の画像データ群のうち、どの画像データ群にどの程度類似しているかを判別する。また、表情認識部１０４は、特定した領域に対して瞳孔パターンの検出処理や目の輪郭の抽出処理を行い、瞳孔の大きさや目の輪郭領域の形状（開いている形状か閉じている形状か）を情報化する。表情認識部１０４の認識結果は、その認識処理が行われた時刻を示す情報とともに、表情認識部１０４から認識結果履歴保持部１０６に対して出力される。

ステップＳ２０５において、姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。この認識処理では、先ず姿勢認識部１０５は、人物に該当する領域の画像データから、予め用意された人体を構成する身体パーツに起因する特徴を探索する。これにより、画像データ上における身体パーツの位置及び姿勢（映像上での回転）が得られる。得られた各身体パーツの位置及び姿勢は、姿勢を「人体を構成する身体パーツ同士の相対的な位置姿勢関係」とする場合には、基準となる身体パーツ（例えば頭）の位置を基準にした、画像データ上における各身体パーツの位置及び姿勢として表現される。姿勢を「映像撮影部１０１に対する各身体パーツの位置及び姿勢」とする場合には、得られた各身体パーツの位置及び姿勢と各身体パーツの大きさとから、姿勢認識部１０５は、その「映像撮影部１０１に対する各身体パーツの位置及び姿勢」を算出する。このようにして得られる姿勢認識部１０５の認識結果は、その認識処理が行われた時刻を示す情報とともに、姿勢認識部１０５から認識結果履歴保持部１０６に対して出力される。本実施形態においては、ステップＳ２０４の後にステップＳ２０５を実行するようにしているが、ステップＳ２０５の後にステップＳ２０４を実行するようにしてもよいし、ステップＳ２０４とステップＳ２０５とを同時に実行するようにしてもよい。

ステップＳ２０６において、関心度推定部１０７は、認識結果履歴保持部１０６に保持される人物認識部１０２の人物認識結果を参照し、映像撮影部１０１によって撮影された画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻ｔにおける関心度は、時刻ｔにおいて行われた人物認識処理の結果、又は、時刻ｔ−ｔ０から時刻ｔまでの間に行われた人物認識処理の結果の変化や履歴に応じて推定される。その推定結果は、関心度推定部１０７から情報編集部１０９に対して出力される。

ステップＳ２０７において、情報取得部１０８は、情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末から発信される情報を取得する。例えば、情報取得部１０８は、その時刻の天気予報情報やニュース情報をネットワーク上から取得する。その際、情報取得部１０８は、単に天気予報やニュースの内容を説明したテキストや映像を取得するだけでなく、その情報の構造情報も併せて取得する。取得された情報は情報編集部１０９に対して出力される。

ステップＳ２０８において、情報編集部１０９は、関心度推定部１０７より入力される関心度に応じて、情報取得部１０８より入力される情報を編集する。ここでの編集とは、情報取得部１０８より入力される情報の取捨選択である。そして、情報編集部１０９は、編集した情報をレイアウトする。レイアウトされた情報は、情報表示部１１０に対して出力される。

ステップＳ２０９において、情報表示部１１０は、例えばスピーカ付のディスプレイやプロジェクタ等において、情報編集部１０９から入力される情報を表示する。そして、情報提示詳細度制御装置１００の適用されるプッシュ型の情報提示端末の傍にいる人に対して情報が提示される。

以上により、情報提示詳細度制御装置１００は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況から推定される情報取得に対する関心度に応じた量の情報を提示することができる。

なお、本実施形態では、家庭内に設置されるプッシュ型の情報提示端末に適用されるものとして説明したが、公共空間、例えばショッピングモールに設置されるプッシュ型の情報提示端末に適用されても勿論よい。この場合、プッシュ型の情報提示端末はショッピングモール内を行き交う人に対して提示される情報、例えばショッピングモール内のショップに関する広告情報を提示する。例えば、第１の実施形態に係る情報提示詳細度制御装置１００が適用される情報提示端末は、その傍を通る人が「移動速度が速い」、「あまり情報提示端末に正対しない」といった状況であれば、情報提示に対する関心度は低いと推定して、シンプルな広告情報を提示する。逆に、第１の実施形態に係る情報提示詳細度制御装置１００の傍を通る人が「移動速度が遅い」、「比較的情報提示端末に正対している」といった状況であれば、情報提示に対する関心度は高いと推定して、詳細な広告情報を提示する。これにより、人の振る舞いに応じた適度な詳細度の広告を、その人に対して提示することができる。

次に、本発明の第２の実施形態について説明する。第２の実施形態に係る情報提示詳細度制御装置も、家庭内の例えばリビングに設置されるプッシュ型の情報提示端末に適用されるものである。

図３は、第２の実施形態に係る情報提示詳細度制御装置３００の構成を示す図である。図３において、図１に示した第１の実施形態に係る情報提示詳細度制御装置１００と同様の構成については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

人物検出部１０３は、映像撮影部１０１より画像データを入力する。そして人物検出部１０３は、入力した画像データから人物に該当する領域を検出する。なお、人物検出部１０３が検出する人物は一人とは限らない。撮影された画像データから複数の人物が検出された場合、人物検出部１０３は、検出した全ての人物に関して検出結果（人物に該当する領域の画像データ）を生成する。各検出結果は表情認識部１０４、姿勢認識部１０５及び人物識別部３１１の夫々に対して出力される。同時に、人物に該当する領域の位置及びサイズを示す情報が、人物検出処理が行われた時刻を示す情報とともに、人物検出部１０３から認識結果履歴保持部１０６及び人物識別部３１１の双方に出力される。

表情認識部１０４は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の表情を認識する。なお、人物検出部１０３より複数人分の人物に該当する領域の画像データが出力された場合、表情認識部１０４は、各画像データに含まれる人物の表情を認識し、各認識結果を認識結果履歴保持部１０６に対して出力する。

姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。なお、人物検出部１０３より複数人分の人物に該当する領域の画像データが出力された場合、姿勢認識部１０５は、各画像データに含まれる人物の姿勢を認識し、各認識結果を認識結果履歴保持部１０６に対して出力する。

人物認識部１０２は、人物検出部１０３、表情認識部１０４及び姿勢認識部１０５以外の構成要素を保持してもよい。例えば映像撮影部１０１によって撮影される画像データに含まれる人物の行動を認識する行動認識部を備えてもよい。その認識結果も、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

人物識別部３１１は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物を識別する。複数人分の人物に該当する領域の画像データを入力した場合、人物識別部３１１は、各画像データに関して人物を識別する。そのために、人物識別部３１１は内部に識別対象となる人物の特徴を示すデータを保持する。第２の実施形態に係る情報提示詳細度制御装置３００は、家庭内に設置されるプッシュ型の情報提示端末に適用されるものであるから、識別対象となる人物は、例えばその家庭の住人となる。人物の特徴を示すデータには、各住人の顔の画像データであったり、身長データであったり、シルエットの特徴データであったり、性別データであったり、動きの特徴データであったりする。例えば人物識別部３１１は、人物に該当する領域の画像データを入力すると、当該画像データから顔領域を探索する。顔領域を探索できた場合、人物識別部３１１は、当該顔領域の画像データと、内部に保持する識別対象となる人物の顔の画像データと照らし合わせ、どの人物に相当するかを識別する。そして人物識別部３１１は、どの人物に相当するかを識別することができた場合、その人物を示す情報を識別結果とし、一方、どの人物であるとも識別できない場合、住人以外であることを示す情報を識別結果とする。

なお、人物に該当する領域の画像データから顔領域を検出することができなかった場合、人物識別部３１１は、他の方法による人物識別を試みる。例えば、人物識別部３１１は、人物に該当する領域の位置とサイズと示す情報から、検出された人物の身長を推定し、内部に保持される識別対象となる人物の身長データと照らし合わせることにより、どの人物であるかを識別する。映像撮影部１０１は空間中に固定されるカメラであり、人は宙に浮かず必ず地面に接地していることから、人物に該当する領域の画像データにおける下端の位置より、映像撮影部１０１に対して人物がどの程度離れた位置にいるかをおおよそ計算することができる。そして検出された人物がほぼ真っすぐに立っているとすれば、人物に該当する領域の画像データにおける上端の位置より、検出された人物のおおよその身長を計算することができる。従って、人物に該当する領域の位置とサイズとを示す情報から、検出された人物の身長を推定し、内部に保持される識別対象の人物の身長データと照らし合わせることにより、どの人物であるかを識別することができる。勿論、識別対象の人物の中に同程度の身長の者が複数いたり、検出された人物が真っすぐに立っていなかったりする場合には、この方法では人物を識別することができない。このような場合には、例えば検出された人物のシルエット形状や、人物に該当する領域の色情報や移動速度等から、どの人物が検出されたかを識別してもよい。ここで、シルエット形状は人物の体格に対応し、人物に該当する領域の色情報は人物の服装や性別に対応し、人物に該当する領域の移動速度は人物の動作速度に対応する。第２の実施形態のように、家庭内を行き来する人物を識別する際には、候補となる人物の数は少ないので、そのような特徴を用いるだけでも人物を識別することができる。人物識別部３１１は、人物検出部１０３より検出された人物に該当する領域の画像データに含まれる人物を識別すると、この人物識別結果を関心度推定部３０７に対して出力する。

関心度推定部３０７は、認識結果履歴保持部１０６に保持される人物認識部１０２の認識結果を参照し、映像撮影部１０１によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。具体的には、人物認識部１０２の時刻ｔにおける人物認識処理の結果、又は、時刻ｔ−ｔ０から時刻ｔまでの間に行われた人物認識処理の結果を、予め設定される評価関数に代入したときに得られる出力値を、時刻ｔにおける関心度の推定結果とする。このとき、関心度推定部３０７は、評価関数を、人物識別部３１１より入力される人物識別結果に応じて切り替える。

例えば、関心度推定部３０７は、時刻ｔにおける関心度を人物に該当する領域の位置と映像撮影部１０１によって撮影される画像データの中心との距離が短いほど、高い関心度を推定値として出力するものとする。このとき、人物識別部３１１より入力される人物識別結果が人物Ａであれば、人物Ａに該当する領域の位置と映像撮影部１０１によって撮影された画像データの中心との距離が１００画素であるときに関心度５を出力する評価関数を関心度推定部３０７は利用する。これに対して、人物識別部３１１より入力される人物識別結果が人物Ｂであれば、同じ人物Ｂに該当する領域の位置と映像撮影部１０１によって撮影された画像データの中心との距離が１００画素であるときに関心度３を出力する評価関数を関心度推定部３０７は利用することになる。これにより、情報提示に対する関心度の表出具合の個人差に対応することができる。

また、人物識別部３１１によって複数の人物が識別された場合、関心度推定部３０７は、その人数や人の組み合わせに応じても、関心度を推定する評価関数を切り替える。なお、人物識別部３１１によって複数の人物が識別された場合、認識結果履歴保持部１０６に保持される時刻ｔの人物認識結果も複数人分存在する。故に、そのような場合に用いられる評価関数は、複数人分の人物認識結果が入力される関数となる。これは、個別に人物認識結果を取り扱う関数でもよいし、人物認識結果の平均値や中央値等の代表値を入力する関数でもよい。

以上のように、関心度推定部３０７は、人物識別部３１１からの出力に応じて評価関数を切り替えながら、映像撮影部１０１によって撮影された画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。当該推定結果は情報編集部１０９に対して出力される。

次に、図４に示すフローチャートを参照しながら、第２の実施形態に係る情報提示詳細度制御装置３００の処理について説明する。図４において、図１に示した第１の実施形態に係る情報提示詳細度制御装置１００と同様の処理については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

ステップＳ２０１は、図２のステップＳ２０１の撮影処理と同様の処理である。ステップＳ２０２において、人物検出部１０３は、映像撮影部１０１によって撮影された画像データから人物を検出する。ここで、人物検出部１０３が映像撮影部１０１によって撮影された画像データから検出する人物は一人とは限らない。撮影された画像データより複数の人物が検出された場合、人物検出部１０３は、検出した全ての人物に関して検出結果（人物に該当する領域の画像データ）を生成する。ステップＳ２０３において、人物検出部１０３は、映像撮影部１０１によって撮影された画像データから人物が検出されたか否かを判定する。人物が検出された場合、処理はステップＳ４０１に移行する。一方、人物が検出されていない場合、処理はステップＳ２０２に戻る。

ステップＳ４０１において、人物識別部３１１は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物を識別する。複数人分の人物に該当する領域の画像データを入力した場合、人物識別部３１１は各画像データに関して人物を識別する。この識別結果は関心度推定部３０７に対して出力される。

ステップＳ２０４において、表情認識部１０４は、人物に該当する領域の画像データを入力し、当該画像データに含まれる人物の表情を認識する。ここで、複数人分の人物に該当する領域の画像データを入力した場合、表情認識部１０４は各画像データに関して人物の表情を認識する。この認識結果は、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

ステップＳ２０５において、姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここで、複数人分の人物に該当する領域の画像データを入力した場合、姿勢認識部１０５は、各画像データに関して人物の姿勢を認識する。この認識結果は、当該認識処理が行われた時刻を示す情報とともに、認識結果履歴保持部１０６に対して出力される。

なお、本実施形態においては、ステップＳ２０４の後にステップＳ２０５を実行するようにしているが、ステップＳ２０５の後にステップＳ２０４を実行するようにしてもよいし、ステップＳ２０４とステップＳ２０５とを同時に実行するようにしてもよい。

ステップＳ４０２において、関心度推定部３０７は、認識結果履歴保持部１０６に保持される人物認識部１０２の認識結果を参照し、映像撮影部１０１によって撮影される画像データに含まれる人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。時刻ｔにおける関心度は、時刻ｔにおいて行われた人物認識処理の結果、又は、時刻ｔ−ｔ０から時刻ｔまでの間に行われた人物認識処理の結果の変化に応じて推定される。このとき、関心度推定部３０７は、こうした評価関数を、人物識別部３１１より入力される人物識別結果に応じて切り替える。その推定結果は、情報編集部１０９に対して出力される。

以降のステップＳ２０７〜Ｓ２０９の処理は、図２に示した同一符号の処理と同様であるため、説明は割愛する。

以上の処理によって、情報提示詳細度制御装置３００は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。

なお、本実施形態でも、家庭内に設置されるプッシュ型の情報提示端末に適用されるものとして述べたが、公共空間、例えばショッピングモールに設置されるプッシュ型の情報提示端末に適用されても勿論よい。この場合、そのプッシュ型の情報提示端末はショッピングモール内を行き交う人々に対して提示される情報、例えばショッピングモール内のショップに関する広告情報を提示する。例えば、本実施形態に係る情報提示詳細度制御装置３００が適用される情報提示端末の傍を通る人々が平均的に、「移動速度が速い」、「情報提示端末に正対しない」といった状況であれば、情報提示に対する関心度は低いと推定されて、シンプルな広告情報が提示される。逆に、第２の実施形態に係る情報提示詳細度制御装置３００の傍を通る人々が平均的に、「移動速度が遅い」、「比較的情報提示端末に正対している」といった状況であれば、情報提示に対する関心度は高いと推定されて、詳細な広告情報が提示される。これにより、人々の振る舞いに応じた、適度な詳細度の広告を、その人々に対して提示することができる。

次に、本発明の第３の実施形態について説明する。第３の実施形態に係る情報提示詳細度制御装置は、例えば病院や駅等に設置されるプッシュ型の情報提示端末に適用されるものである。

図５は、第３の実施形態に係る情報提示詳細度制御装置５００の構成を示す図である。図５において、図１に示した第１の実施形態に係る情報提示詳細度制御装置１００と同様の構成については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

映像撮影部１０１は、情報提示詳細度制御装置３００の前を撮影するカメラである。映像撮影部１０１によって撮影される画像データには、例えば、駅や病院の構内において情報提示端末の前に立ち止まる人物の姿が撮影されることとなる。撮影された画像データは人物認識部１０２に対して出力される。

人物認識部５０２は、映像撮影部１０１より画像データを入力し、入力した画像データに含まれる人物を認識する。本実施形態においては、人物認識部５０２内の人物検出部１０３及び姿勢認識部１０５においてその処理が行われる。人物認識結果は、関心度推定部５０７に対して出力される。

人物検出部１０３は、映像撮影部１０１よって撮影された画像データを入力する。そして人物検出部１０３は、入力した画像データから人物に該当する領域を検出する。この処理は、例えば、映像撮影部１０１から入力した画像データから、人物の顔や頭部や足先等の人物に起因する特徴を検出することによって実現される。人に起因する特徴が、映像撮影部１０１によって撮影された画像データに含まれていれば、人物検出部１０３は、「特徴の検出された領域から人物が検出された」と認識する。人物が検出されると、検出された人物に該当する領域の画像データが姿勢認識部１０５に対して出力される。

姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の姿勢を認識する。ここでの姿勢とは、映像撮影部１０１に対する頭部の位置及び姿勢である。その算出方法については第１の実施形態における姿勢認識部１０５による算出方法と同様である。姿勢認識部１０５の認識結果は関心度推定部５０７に対して出力される。

関心度推定部５０７は、人物認識部５０２から入力される頭部の位置及び姿勢の認識結果が示す人物の視線方向に基づき、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。

人物認識部５０２から入力される頭部の位置及び姿勢は、映像撮影部１０１に対する位置及び姿勢である。後述する情報表示部１１０と映像撮影部１０１との相対的な位置及び姿勢の関係は、固定的で事前に計測して既知であるか、動的でも何らかの計測手段により参照で可能であるものとする。すると、関心度推定部５０７は、映像撮影部１０１に対する頭部の位置及び姿勢から、情報表示部１１０に対する頭部の位置及び姿勢を算出することができる。関心度推定部５０７は、この頭部の方向を視線の方向であると近似して、視線方向と情報表示部１１０とが交差する点を算出する。即ち、関心度推定部５０７によって推定される関心度は、この交差点に基づいて行われる。加えて、その関心度は、情報表示部１１０が情報を提示する面上の座標毎に表現される。つまり、関心度推定部５０７が推定結果として出力するのは関心度マップである。そして、関心度推定部５０７は、その関心度マップが、算出した交差点上に関心度の最大値があり、そこから同心円状に離れるにつれて関心度が単調減少するものとなる、と推定する。関心度推定部５０７は、この推定結果を表現する関心度マップを生成し、情報編集部５０９に対して出力する。

情報取得部５０８は、情報提示詳細度制御装置５００の適用されるプッシュ型の情報提示端末から発信する情報を、ネットワーク等を通じて外部より取得する。第３の実施形態において情報提示端末から発信する情報は、例えばこの情報提示端末が駅に設置されていれば、情報取得部５０８は地図上に配置される旅に関する情報を取得する。例えばこの情報提示端末が病院に設置されていれば、情報取得部１０８は人体の模式図上に配置される体の各部に関する健康情報を取得する。即ち、第３の実施形態における情報取得部５０８は、地図や人体の模式図といった背景上の領域に紐付けられた情報を複数取得する。併せて、第３の実施形態における情報取得部５０８は、それら複数の情報を配置する背景を取得する。なお、各領域に紐付けられた個々の情報には、異なる詳細度の表現が複数含まれているものとする。情報取得部５０８が外部より得た情報とそれが配置される背景とは、情報編集部５０９に対して出力される。

情報編集部５０９は、関心度推定部５０７より入力される関心度マップに応じて、情報取得部５０８より入力される情報を編集する。編集処理では、情報編集部５０９は、情報取得部５０８より入力された背景と、情報表示部１１０が情報を提示する面上の座標とを対応付ける。これにより、情報表示部１１０が情報を提示する面上の座標毎に表現された関心度マップ上の関心度と、背景の領域に紐付けられた情報（異なる詳細度で表現された情報を複数含む）とが対応付けられ、背景の領域に紐付けられた情報に関する関心度を算出することができる。例えばこれは、情報が紐付いた背景上の領域に対応する関心度の平均値である。ここで、各情報は異なる詳細度の表現が複数含まれている。情報編集部５０９は、それぞれの情報に関して算出された関心度に応じて、ある一つの表現を選択する。例えば、高い関心度が算出された情報については詳細な表現が選択され、低い関心度が算出された情報については詳細でない（簡単な）表現が選択される。このようにして表現が選択された情報は、それぞれの情報が紐付けられた場所との対応関係がわかるように、情報取得部５０８より入力された背景情報上にレイアウトされる。

図６及び図７は、情報編集部５０９による編集結果の例に示す図である。図６は、日本地図上に旅行情報を提示する情報提示端末に情報提示詳細度制御装置５００を適用した場合の例を示している。図６では、情報提示端末の前に立つ人の視線が日本の東北地方に向けられている。この場合において、情報編集部５０９は、東北地方に関する旅情報６０１を詳細に表現し、それ以外の地方に関する旅情報を簡単に表現している。特に、東北地方から遠く離れている九州地方や四国地方に関する旅情報６０２、６０３は、より近い地方である関東地方や関西地方に関する旅情報６０４、６０５に比べて、さらにより簡単に表現されている。

図７は、人体の模式図上に健康情報を提示する情報提示端末に情報提示詳細度制御装置５００を適用した場合の例を示している。図７では、情報提示端末の前に立つ人の視線が、人体の肩に向けられている。この場合において、情報編集部５０９は、肩に関する健康情報７０１を詳細に表現し、それ以外の身体部位に関する健康情報７０２〜７０５を簡単に表現している。

以上のように、情報編集部５０９は、関心度推定部５０７より入力される関心度マップに応じて、情報提示詳細度制御装置５００の適用されるプッシュ型の情報提示端末の傍にいる人に提示する情報を編集し、表示レイアウトを行う。編集された情報は情報表示部１１０に対して出力される。情報表示部１１０は、例えばスピーカ付のディスプレイやプロジェクタ等において、情報編集部１０９より入力される情報を表示する。情報提示詳細度制御装置５００の適用されるプッシュ型の情報提示端末の傍にいる人に対して、情報を提示することができる。

以上により、第３の実施形態に係る情報提示詳細度制御装置５００は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。

次に、図８に示すフローチャートを参照しながら、第３の実施形態に係る情報提示詳細度制御装置５００の処理について説明する。図８において、図２に示した第１の実施形態に係る情報提示詳細度制御装置１００と同様の処理については同じ符号を付し、以下において、それらに関する説明を割愛することがある。

ステップＳ２０１は、図２のステップＳ２０１の撮影処理と同様の処理である。ステップＳ２０２において、人物検出部１０３は、映像撮影部１０１によって撮影された画像データから人物を検出する。人物が検出されると、検出された人物に該当する領域の画像データが姿勢認識部１０５に対して出力される。ステップＳ２０３は、図２のステップＳ２０３と同様の判定処理である。

ステップＳ２０５において、姿勢認識部１０５は、人物に該当する領域の画像データを入力すると、当該画像データに含まれる人物の頭部の位置及び姿勢を認識する。この認識結果は関心度推定部５０７に対して出力される。

ステップＳ８０１において、関心度推定部５０７は、人物認識部５０２の認識結果に基づいて、映像撮影部１０１によって撮影される画像データに含まれる人物の状況から、その人物がどの程度、情報取得に対して関心を持っているかを示す関心度を推定する。この関心度は、人物認識部５０２から入力される頭部の位置及び姿勢の認識結果が示す人物の視線方向に基づき推定される。推定結果は、情報表示部１１０が情報を提示する面上の座標毎に関心度が表現される関心度マップとして表現される。推定結果である関心度マップは、情報編集部５０９に対して出力される。

ステップＳ８０２において、情報取得部５０８は、情報提示詳細度制御装置５００の適用されるプッシュ型の情報提示端末から発信する情報を、ネットワーク等を通じて外部より取得する。ここで取得される情報は、地図上に配置される旅に関する情報や人体の模式図上に配置される体の各部に関する健康情報等である。情報取得部５０８によって外部より取得された情報は情報編集部５０９に対して出力される。

ステップＳ８０３において、情報編集部５０９は、関心度推定部５０７より入力される関心度マップに応じて、情報取得部５０８より入力された情報を編集する。この編集処理では、関心度推定部５０７より入力される関心度マップ上で高い関心度が示されている領域に紐付けられた情報は詳細に表現し、関心度マップ上で低い関心度が示されている領域に紐付けられた簡単に表現するように行われる。編集された情報は、その表示レイアウトが決定される。情報編集部５０９により編集され、レイアウトされた情報は、情報表示部１１０に対して出力される。ステップＳ２０９は、図２のステップＳ２０９と同様の処理である。

以上により、第３の実施形態に係る情報提示詳細度制御装置５００は、それが適用されるプッシュ型の情報提示端末の傍にいる人に対して、その人の状況に応じた量の情報を、情報提示に対する関心度の表出具合の個人差に対応しながら、提示することができる。特に、第３の実施形態に係る情報提示詳細度制御装置５００によれば、情報提示端末の傍にいる人の視線に基づいて推定される情報取得に対する関心度に応じて、情報提示する情報の詳細度を領域毎に編集することができる。

上述した実施形態では、情報提示端末の周囲にいる人の状況が、どの程度情報取得に対する関心を示しているかに応じて、表示する情報の量を制御する。例えば、人が情報提示端末の付近に長くいられるような状況であれば、それは情報取得に対して高い関心を示しているとして、表示する情報の量を制御する。また例えば、人が情報提示端末に視線を向けた姿勢であれば、それは情報取得に対して高い関心を示しているとして、表示する情報の量を制御する。また例えば、人が情報提示端末の傍で情報取得以外の行動をしていれば、それは情報取得に対して低い関心を示しているとして、表示する情報の量を制御する。

即ち、上述した実施形態は、情報提示端末の周囲にいる人の、「情報を得る」ことに対する関心度の推定値に基づいて、提示する情報の詳細度を決定する。これにより、プッシュ型の情報提示端末は、周囲にいる人が「情報を得る」ことに低い関心しか持っていなくとも、それに応じて情報量を少なくしてシンプルに情報を提示することができるので、情報がその人に知覚される可能性が高まる。逆にプッシュ型の情報提示端末の周囲にいる人が「情報を得る」ことに高い関心を持っている場合には、それに応じて情報量を増やして詳細な情報を提示することができるので、その人の情報欲に応えることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００、３００、５００：情報提示詳細度制御装置、１０１：映像撮影部、１０２、５０２：人物認識部、１０３：人物検出部、１０４：表情認識部、１０５：姿勢認識部、１０６：認識結果履歴保持部、１０７、３０７、５０７：関心度推定部、１０８、５０８：情報取得部、１０９、５０９：情報編集部、１１０：情報表示部、３１１：人物識別部

Claims (13)

1. 撮影された画像データに含まれる人物を認識する認識手段と、
   前記認識手段による認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定手段と、
   前記人物に提示する対象となる情報を取得し、当該取得した情報に対して優先順位を設定する取得手段と、
   前記推定手段により推定された前記人物の情報を得ることに対する関心度が高い程、高い優先順位が設定された情報から順に多くの情報を選択する選択手段と、
   前記選択手段により選択された情報を出力手段において出力させる制御手段とを有することを特徴とする情報処理装置。
2. 前記認識手段は、前記画像データに含まれる前記人物に該当する領域を検出し、前記推定手段は、前記認識手段により検出された前記人物に該当する領域に基づいて、情報を得ることに対する前記人物の関心度を推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記認識手段は、前記画像データに含まれる前記人物の姿勢及び表情のうちの少なくとも何れか一方を認識し、前記推定手段は、前記認識手段により認識された、前記人物の姿勢及び表情のうちの少なくとも何れか一方に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記認識手段は、前記画像データに含まれる前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方を認識し、前記推定手段は、前記認識手段により認識された、前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記推定手段は、前記認識手段により認識された、前記人物の瞳孔の大きさ及び目の大きさのうちの少なくとも何れか一方に基づいて、前記人物の瞳孔の大きさの変化又は瞬きの回数を計測し、その計測結果に基づいて、前記人物の情報を得ることに対する関心度を推定することを特徴とする請求項４に記載の情報処理装置。
6. 前記画像データに含まれる前記人物を識別する識別手段を更に有し、
   前記推定手段は、前記識別手段による識別結果に基づいて、情報を得ることに対する前記人物の関心度の推定方法を切り替えることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記推定手段は、前記認識手段により認識された前記画像データに含まれる前記人物の数に基づいて、情報を得ることに対する前記人物の関心度の推定方法を切り替えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記推定手段は、前記人物の情報を得ることに対する関心度を推定するタイミングに基づいて、情報を得ることに対する前記人物の関心度の推定方法を切り替えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
9. 前記推定手段は、時刻ｔにおける関心度を、時刻ｔにおける前記認識手段による認識結果、又は、時刻ｔまでの前記認識手段による認識結果の履歴に基づいて推定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記認識手段は、前記画像データに含まれる前記人物の視線を認識し、前記推定手段は、前記人物の視線が前記出力手段に向けられる場所、頻度及び時間のうちの少なくとも何れか一つに基づいて、情報を得ることに対する前記人物の関心度を推定することを特徴とする請求項１に記載の情報処理装置。
11. 前記推定手段は、前記人物の視線が前記出力手段に向けられる場所、頻度及び時間のうちの少なくとも何れか一つに基づいて、前記出力手段における領域毎に情報を得ることに対する前記人物の関心度を推定し、前記選択手段は、前記推定手段により推定された関心度に基づいて、前記出力手段における前記領域毎に前記人物に提示する情報を選択することを特徴とする請求項１０に記載の情報処理装置。
12. 情報処理装置によって実行される情報処理方法であって、
    撮影された画像データに含まれる人物を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定ステップと、
    前記人物に提示する対象となる情報を取得する取得ステップと、
    前記取得ステップにより取得した情報に対して優先順位を設定する設定ステップと、
    前記推定ステップにより推定された前記人物の情報を得ることに対する関心度が高い程、前記設定ステップにおいて高い優先順位が設定された情報から順に多くの情報を選択する選択ステップと、
    前記選択ステップにより選択された情報を出力手段において出力させる制御ステップとを有することを特徴とする情報処理方法。
13. 撮影された画像データに含まれる人物を認識する認識ステップと、
    前記認識ステップによる認識結果に基づいて、情報を得ることに対する前記人物の関心度を推定する推定ステップと、
    前記人物に提示する対象となる情報を取得する取得ステップと、
    前記取得ステップにより取得した情報に対して優先順位を設定する設定ステップと、
    前記推定ステップにより推定された前記人物の情報を得ることに対する関心度が高い程、前記設定ステップにおいて高い優先順位が設定された情報から順に多くの情報を選択する選択ステップと、
    前記選択ステップにより選択された情報を出力手段において出力させる制御ステップとをコンピュータに実行させるためのプログラム。

Images