JP2013125985A - 表示システム - Google Patents

Abstract

【課題】ショーウィンドウのディスプレイ越しに展示品を指し示し、その情報をショーウィンドウに表示することが可能で、複数人利用が可能な表示システムを提供する。
【解決手段】表示システム１は、光透過性を有する表示装置１３と、その裏面側から表示装置１３に向けて撮像光学系の光軸が設定された撮像部１０１、１０２と、撮像された画像情報に基づき画像処理を行う画像処理装置１１と、特定の被写体の情報を保持する情報データベース１２とを有する。画像処理装置１１は、撮像された画像情報に基づいて表示装置１３の正面側から該表示装置１３を操作するユーザの状態を解析し、その解析結果に基づき、情報データベース１２から被写体の情報を取得して表示装置１３に表示させる。
【選択図】図１

Description

本発明は、画像情報と距離情報とにより、指示されたものの情報を表示する、表示システムに関する。

近年、商品を展示するショーウィンドウの誘目性を高めるため、また商品に関する情報を提示するために、ショーウィンドウにディスプレイを配置することが盛んに行われている。ディスプレイをショーウィンドウの内部に配置するだけでなく、ショーウィンドウのガラスにホログラムスクリーン等を貼付し、プロジェクターからの映像を投影する展示手法もある。また、実用化はされていないものの、ディスプレイ関連の展示会では、透明ディスプレイの応用として、ショーウィンドウのガラス自体に透明ディスプレイを適用することが提案されている。透明ディスプレイとして、例えば液晶ディスプレイを照らすバックライトをなくし、液晶パネルのみを用いた透明液晶ディスプレイが提案されている。これにより、ショーウィンドウ自体に展示品の情報や広告などを表示する映像表示装置が実現される。

これらのショーウィンドウは、展示者がショーウィンドウを見る者（以降、ユーザと呼ぶ）に一方的に映像を表示する場合と、ユーザの意思を反映させることのできるインタラクティブな機能を搭載する場合がある。後者のインタラクティブな機能を搭載したものとして、例えば特許文献１の技術が提案されている。これによれば、展示品の情報をショーウィンドウ上に表示し、更にユーザ自身でその表示画面内のコンテンツを操作することも可能であり、好みのカラーの商品があるかを検索したり、衣料品であれば自身の体に合うサイズの商品があるかといった情報を検索したり、その場でユーザの嗜好に合わせた提示が出来るようになるという。

この特許文献１の技術は、プリズムミラーを用いてセンサ部をショーウィンドウ内に設置したものであり、センサ部の光源からの光をプリズムミラーで反射しながら位置検出面上を通過させ、反射された光をセンサ部の受光素子で受光する。指である指示体がセンサ部の光源からの光を遮断すると、受光素子で受光する光に影の部分が生じるため、この影の位置を二つのセンサ部で検出することで、三角測量の原理で指示体の指示位置を検出することが出来るという。

また、ショーウィンドウにおいてユーザの求める情報を表示する手段として、特許文献２の技術が提案されている。これによれば、撮像装置によりユーザを監視し、ユーザの視線や指差しを検出することで、ユーザの注目する展示品を判別してその情報を自動的にディスプレイに提示するとしている。

特開２００４−５４０６５号公報 特表２００９−５０３７１７号公報

しかしながら、上記特許文献１の技術は、ショーウィンドウの２次元平面上に限定された位置検出面における指の位置を検出して、位置検出面に表示されている内容を操作するものであった。従って、展示品をショーウィンドウ越しに直接指で指し示し、その情報をショーウィンドウに表示させるような操作への利用は想定されていない。また、該技術はセンサからの光を再帰反射させて戻ってきた光の遮断位置によって指示位置を検出する方式であるため、複数の指示体で操作した場合、センサから見て指示体が重なった部分の判別は不可能となる。従って、複数の指示体による操作は困難であり、ユーザは一人に限定されてしまうという課題がある。

また、上記特許文献２の技術は、ユーザが注視、若しくは指差ししていた展示品の情報を自動的に表示するものであり、ユーザ自ら表示情報を操作することはできず、ユーザの意思を反映し難いといった問題がある。また、情報を表示するディスプレイはユーザから遠い位置であるショーウィンドウの奥側に固定設置されているため、ユーザからは情報が見にくいといった問題がある。さらに、複数人での利用シーンは考慮されておらず、その情報が見たいと思っているユーザ以外の人物にも、同一の内容が提示されてしまうという課題がある。

本発明は、以上のような課題を解決するためになされたものであって、ユーザの意思を反映するインタラクティブなショーウィンドウにおいて、ショーウィンドウの中の展示品を、ショーウィンドウ越しに３次元方向に直接指し示すことが可能で、情報表示を行うショーウィンドウ自体も操作可能であり、複数人同時利用が可能な表示システムを提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、光透過性を有する表示装置と、該表示装置の裏面側から前記表示装置に向けて撮像光学系の光軸が設定された撮像部と、該撮像部で撮像された被写体の画像情報に基づき画像処理を行う画像処理装置と、特定の被写体の情報を保持する情報データベースと、を有し、前記画像処理装置は、前記画像情報に基づいて前記表示装置の正面側から被写体として該表示装置を操作するユーザの状態を解析するユーザ情報解析部と、該ユーザ情報解析部による解析結果に基づき、前記情報データベースから被写体の情報を取得して前記表示装置に表示させる表示制御部と、を有することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記撮像部と被写体との距離情報を生成する距離情報生成部を有し、前記画像情報と前記距離情報とを用いて、３次元空間上のユーザの目の位置を検出する目位置検出部と、前記画像情報と前記距離情報とを用いて、３次元空間上のユーザの手の位置、及び該ユーザの手の形態を検出する手位置・形態検出部と、を有し、前記ユーザ情報解析部は、前記ユーザの状態として、前記ユーザの目の位置及び手の位置と前記ユーザの手の形状とを解析し、該ユーザの手の形状が所定の形状に該当していると判断した場合、３次元空間上の前記目の位置と前記手の所定位置とを結ぶ線上にある特定の被写体を判別し、前記表示制御部は、前記判別した被写体の情報を前記情報データベースから取得して前記表示装置に表示させることを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記撮像部が、２つの撮像装置により構成され、前記距離情報生成部は、前記２つの撮像装置により撮像された画像から画像間の視差を算出し、該算出した視差に基づいて前記撮像された画像内の被写体について前記撮像部からの距離情報を算出し、前記ユーザ情報解析部は、前記算出した距離情報に基づいて３次元空間内の被写体の位置を算出することを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記距離情報生成部が、前記撮像部で撮像される画角内の被写体から前記撮像部までの距離を計測する測距手段により前記距離情報を生成し、前記ユーザ情報解析部は、前記撮像装置により撮像された画像と、前記距離情報生成部により生成された距離情報とに基づいて、３次元空間内の被写体の位置を算出することを特徴としたものである。

第５の技術手段は、第２〜４のいずれか１の技術手段において、前記表示制御部が、３次元空間上の前記目の位置と前記手の所定位置とを結ぶ線が、前記表示装置に交わる点を含む前記表示装置の所定領域に、所定のポインタを表示させることを特徴としたものである。

第６の技術手段は、第２〜５のいずれか１の技術手段において、前記ユーザ情報解析部が、前記撮像部により撮像された画像情報から前記ユーザの顔を検出する顔検出部を有し、該顔検出部によりユーザの顔が検出された場合、前記距離情報を用いて該顔の３次元空間上の位置を判定し、該顔の位置が前記表示装置から所定の距離以下の範囲にあるときに、該顔を検出したユーザが前記表示装置を操作するユーザであるとみなすことを特徴としたものである。

第７の技術手段は、第１〜６のいずれか１の技術手段において、前記ユーザ情報解析部が、前記撮像部により撮像された画像情報からユーザの顔の情報を解析する顔情報解析部を有し、該顔情報解析部は、前記ユーザの年齢、性別、および表情のうち少なくとも一つの特徴情報を取得し、前記表示制御部は、該取得した特徴情報に応じた所定の情報を前記表示装置に表示させることを特徴としたものである。

第８の技術手段は、第１〜７のいずれか１の技術手段において、前記表示制御部が、前記被写体が動くものであるとき、前記被写体の情報を表示する前記表示装置の表示領域を、前記被写体の動きに合わせて変化させることを特徴としたものである。

第９の技術手段は、第１〜７のいずれか１の技術手段において、前記ユーザ情報解析部が、前記画像情報と前記距離情報とから、前記表示装置を操作するユーザが複数認識された場合、該認識された複数のユーザごとに、前記ユーザの状態を解析し、該解析結果に基づきユーザごと前記被写体の情報を取得して前記表示装置に表示させることを特徴としたものである。

本発明に係る表示システムによれば、ショーウィンドウの中の展示品をショーウィンドウ越しに指し示すことで、それに関する情報を指し示したユーザの近くに表示することが可能となり、また、情報表示を行うショーウィンドウ自体も非接触で操作可能である。さらに、複数人での同時利用が可能であるという効果が得られる。

さらに本発明に係る表示システムによれば、年齢や性別、表情などの顔特徴情報を利用し、ユーザに合わせた情報を自動的に表示できる。また、ユーザの位置に合わせた表示、展示品に追従した表示など、ユーザの見易いように配慮した表示、広告効果を高める表示が可能となる。

本発明の実施の形態１に係る表示システムのハードウェア構成例を表すブロック図である。 ユーザ情報解析部の構成例を表すブロック図である。 本発明の実施の形態をショーウィンドウに適用した際の使用例の説明図である。 本発明の実施の形態１における表示システムが実施する処理手順を示すフローチャートである。 本発明の実施の形態１に係る表示システムのハードウェア構成の第２の構成例を表すブロック図である。 本発明の実施の形態２に係る表示システムのハードウェア構成例を表すブロック図である。 ユーザ情報解析部の構成例を表すブロック図である。 本発明の実施の形態２における表示システムが実施する処理手順を示すフローチャートである。 本発明の実施の形態３に係る複数人でのショーウィンドウ使用例の説明図である。

（実施の形態１）
以下に、本発明の実施の形態１を、図面を用いて説明する。
図１は、本発明の実施の形態１に係る表示システムのハードウェア構成を示すブロック図である。実施の形態１に係る表示システム１は、展示やユーザを撮像する撮像装置１０、撮像されたユーザの位置や動きを判別する画像処理装置１１、特定の被写体（例えばショーウィンドウ内等に展示する展示品）に関する映像やテキストなどの情報を保存している情報ＤＢ（Data Base）１２、及び情報ＤＢ１２の情報を表示する表示装置１３によって構成されている。

撮像装置１０はステレオ配置された撮像部１０１、１０２により構成され、ユーザから見てショーウィンドウの反対側から展示品とユーザを同時に撮影する。ここで、ステレオ配置とは、撮像部１０１、１０２の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態１では、例として二つの撮像部１０１、１０２には同じ構成のものを用いるが、二つの撮像部１０１、１０２で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。撮像部１０１、１０２は、それぞれ展示品や人物などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。

画像処理装置１１は、距離算出部１１１、ユーザ情報解析部１１２、及び表示制御部１１３を備える。撮像部１０１、１０２で取得した二つの画像は、距離算出部１１１に入力され、距離算出部１１１ではステレオ方式により距離算出を行う。
ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。

一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Sum of Squared Intensity Difference）やグラフカット、ＤＰ（Dynamic Programming）マッチングといった計算手法もある。

対応画素が求まることでその画素の視差値が算出可能となる。一方の撮像画像の全画素について上記の処理を行うことで、全画素の視差値を算出し、二つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。

距離算出部１１１が出力する距離情報は、撮像部１０１画像の各画素に対応する距離値を０〜２５５の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。
撮像部１０１の画像（距離算出部１１１で基準とした撮像部の画像）と、距離算出部１１１で算出した距離情報は、ユーザ情報解析部１１２に入力され、ユーザ情報解析部１１２ではユーザの位置情報、操作状態を検出して出力する。

図２に示すように、ユーザ情報解析部１１２は顔検出部１１２１、手位置・形状検出部１１２２、目位置検出部１１２３、指先位置検出部１１２４、指差し方向検出部１１２５を備える。ユーザ情報解析部１１２の処理詳細については後述する。
表示制御部１１３はユーザ情報解析部１１２の出力情報に基づいて、情報ＤＢ１２から情報を取得し、表示装置１３に出力する。このとき、表示制御部１１３は表示装置１３における情報の表示位置や表示方法についても制御を行う。詳細については後述する。

なお、本実施の形態における表示装置１３は光透過性を有するもので、映像やテキストなどの情報が表示可能な透明液晶ディスプレイをショーウィンドウとして用いているが、これに限られるものではなく、液晶以外の材料を用いた透明ディスプレイや、ショーウィンドウのガラスにホログラムスクリーン等を貼付しプロジェクターからの映像を投影する構成のものであっても良い。

次に、図１で示した表示システム構成を、ショーウィンドウに適用した場合の処理手順について図３及び図４を用いて説明する。
図３は、本発明に係る表示システムをショーウィンドウに適用した際の使用例を表す図で、図３（Ａ）は、ショーウィンドウの正面斜め側から見たシステムの要素、展示品及びユーザの概略配置例を示す図、図３（Ｂ）は図３（Ａ）の俯瞰図である。
図３（Ａ）、図３（Ｂ）では、ショーウィンドウの中に２つの展示品２３、２４が奥行方向にずれて配置されており、ユーザ２１は、奥に置かれた展示品２３をショーウィンドウ越しに指で指し示している。

撮像装置１０は、表示装置１３の裏面側であるショーウィンドウの中に設置され、その撮像光学系の光軸が表示装置１３に向けて設置される。これにより撮像装置１０は、展示品２３，２４と、表示装置１３の正面側にいるユーザ２１とを撮影している。撮像装置１０で取得した画像は画像処理装置１１へ入力され、ユーザの指し示した方向を判断して、指し示された展示品の情報を情報ＤＢ１２から取得して表示装置１３の情報表示領域２２に表示する。なお、画像処理装置１１と情報ＤＢ１２は、ユーザ２１からは見えない位置に設置されている。また、図１のブロック図と同じ構成のものについては同じ符号を付している。

図４はユーザ判別から情報表示までの一連の処理を表すフローチャートである。以下に処理手順を説明する。
まず表示システム１は、撮像装置１０により画像を取得し、二台の撮像部１０１，１０２の画像情報が画像処理装置１１に入力され、距離算出部１１１において距離情報が取得される（ステップＳ１）。次に撮像部１０１の画像と、距離算出部１１１で算出した距離情報はユーザ情報解析部１１２に入力される。また、顔検出部１１２１においてユーザの顔を検出する（ステップＳ２）。顔が検出されなければ最初の処理に戻る。

顔検出部１１２１では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域及び目領域の画像情報または入力画像上の２次元座標などの情報を出力する。
例えば、顔検出部１１２１における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。さらに、弱識別器として白黒のＨａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔアルゴリズムによる手法（「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」，「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法）を用いることも可能である。
以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。

上記ステップＳ２で顔が検出されると、ユーザ情報解析部６１２は、距離算出部１１１で算出した距離情報から顔がショーウィンドウからどれだけ離れているかわかるため、図３の操作範囲２６にユーザの顔が存在するかどうかを判定する（ステップＳ３）。ユーザの顔が操作範囲２６内に存在すれば、ショーウィンドウを利用するユーザ２１であると判断する。この操作範囲２６は、例えば、表示装置１３のディスプレイ面から１ｍ離れた地点までを設定する。

ユーザが操作範囲２６内に存在した場合、ユーザ情報解析部１１２は、手位置・形状検出部１１２２により手の３次元位置を検出し、さらに手形状を検出する（ステップＳ４）。
手形状の判別方法の一つとしては、あらかじめ規定されたどの形状に合致するか照合する方法がある。
本発明の実施の形態１では、操作状態の判別に手形状を用い、「人差し指を立てた状態」は展示品を指で指し示している状態、「指を揃えて手を開いた状態」は表示装置１３上に表示された情報をジェスチャで操作する状態とする。

手位置・形状検出部１１２２は、検出した手の位置と手形状により、手形状が指さし時の状態、つまり「人差し指を立てた状態」であるかを判断する（ステップＳ５）。ここで手形状が指さし時の状態であればステップＳ６の処理へ移行し、指さし時の状態でなければ、例えば「指を揃えて手を開いた状態」等であればステップＳ１０の処理へ移行する。

ステップＳ６では、ユーザ情報解析部６１２は、目位置検出部１１２３により目の３次元位置を検出し、さらに指先位置検出部１１２４により指先の３次元位置を検出する。指先位置検出処理では、検出された手形状から手の所定位置に相当する指先を検出する。
また目検出処理では、例えば、目のテンプレート画像を用いたテンプレートマッチングによる方法や、平均的な人の顔と目の位置関係を利用して検出する方法によって目の位置を検出することができる。また、上記の顔検出処理と同様に、弱識別器として白黒のＨａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔアルゴリズムによる手法を目検出に適用することも可能である。顔検出処理と同様に目検出処理には種々の方法があるが、本発明に係る目検出処理は上記の方法によるものに限るものではなく、入力画像から目を検出する方法であればどのような方法を用いてもよい。

そして指差し方向検出部１１２５は、検出した目と指先の３次元位置情報を用いて指差し方向を判定し、表示制御部１１３により、指さし方向に一致する表示装置１３上の位置にポインタを表示する（ステップＳ７）。

指差し方向の判定は以下の方法で行うことができる。
目の３次元位置を［ｘ１，ｙ１，ｚ１］、指先の３次元位置を［ｘ２，ｙ２，ｚ２］とし、この２点を結ぶ直線上の任意の点を［Ｘ，Ｙ，Ｚ］とすると、これらの関係は（Ｘ−ｘ１）／（ｘ２−ｘ１）＝（Ｙ−ｙ１）／（ｙ２−ｙ１）＝（Ｚ−ｚ１）／（ｚ２−ｚ１）で表される。
この方程式で表される直線がユーザの指差している方向であり、その直線上に存在する展示品をユーザが選択していると判断することができる。ショーウィンドウに展示されている展示品情報については事前登録が必要であるが、展示品の位置関係は、撮像装置１０の画像情報と、ステップＳ１において算出された距離情報とにより判別できる。

また、撮像装置１０から表示装置１３までの距離をｚｄとすると、上記方程式の指差し方向を表す直線が表示装置１３にぶつかる位置［ｘｄ，ｙｄ，ｚｄ］がわかる。ｘｄ＝（ｚｄ−ｚ１）／（ｚ２−ｚ１）×（ｘ１−ｘ２）／ｘ１、ｙｄ＝（ｚｄ−ｚ１）／（ｚ２−ｚ１）×（ｙ１−ｙ２）／ｙ１として算出される。
この位置を中心として図３のポインタ２５に示すようなガイドを表示することで、ユーザは自分の指差している方向を判断することができる。ポインタの形状や大きさは予め定めておくことができる。これにより、表示制御部１１３は、３次元空間上の目の位置と手の所定位置（指先）とを結ぶ線が表示装置１３に交わる点を含む所定領域に、所定のポインタを表示させることができる。

次にユーザ情報解析部１１２では、ステップＳ７で表示されたポインタを使用してユーザが選択動作を行ったか否かを判定する（ステップＳ８）。ここでユーザは、選択したい展示品にポインタ２５を合わせて選択動作を行うことができる。選択動作が行われると、表示制御部１１３が情報ＤＢ１２から選択された展示品に関する情報を取得し、情報表示装置１３の表示領域２２に表示させる（ステップＳ９）。

選択動作の方法としては、ポインタ２５を選択したい展示品に合わせて一定時間停止させる方法や、指差していた人差し指を閉じて握りこぶしの状態にするなどジェスチャによる方法、手を前後に動かして押す動作をする方法などが考えられる。ユーザ情報解析部６１２の手位置・形状検出部１１２２は、これらの所定の動作を判別し、ユーザにより選択動作が行われたことを判定する。

情報表示領域２２は、表示装置１３のディスプレイ面内であれば自由に決定することが可能である。ディスプレイ面の全体に表示しても良いし、固定の一部領域に表示しても良い。また、ユーザの顔位置を利用して、ユーザが移動しても常に顔の前に表示する、或いは視界を妨げない位置に表示することで、常にユーザの見やすい表示が可能となる。

他にも、ユーザが指差して選択した展示品の周囲（図３であればポインタ２５の周囲）に、吹き出し窓のように情報を表示する方法が考えられる。この場合、展示品が動く物（例えば、水族館において水槽の中で泳ぐ魚など）だとしても、展示品に追従して情報表示領域２２を移動させることが可能である。
また、ユーザ２１が表示装置１３に近付くと表示が拡大（もしくは縮小）するなど、距離情報を利用して表示状態を変化させることも可能である。

手位置・形状検出部１１２２は、ステップＳ５において、手形状が「人差し指を立てた状態」ではなかった場合、ステップＳ１０で手形状が画面操作時の状態か否かを判定する。例えば、画面操作時の状態として定められている「指を揃えて手を開いた状態」であるかどうか判定する。そうでない場合は処理の最初に戻り、そのようである場合は手の動きを判断してユーザ２１の操作を検出する（ステップＳ１１）。そして表示制御部１１３は、ユーザの操作に応じて表示装置１３の表示内容を変更する（ステップＳ１２）。

このように、ユーザ２１は、表示装置１３に触れずにジェスチャなどによる操作を行うことで、情報表示領域２２に表示された情報を切り替えることができる。例えば、情報表示領域２２の前でユーザが手を左から右に振ると、表示されている展示品情報が他の関連情報に切り替わる。或いは、手を前に押し出して押す動作をすることで、表示された項目を選択してさらに詳しい情報を表示する、などの操作が可能である。

前記したステップＳ９及びステップＳ１２では情報表示や表示の切換えを行ったが、これら表示の制御は表示制御部１１３で行われる。表示制御部１１３はユーザ情報解析部１１２の出力情報に基づいて、表示方法や表示位置、表示する情報の選択などを行う。
展示品に関する情報は情報ＤＢ１２に保存されており、表示制御部１１３がアクセスすることで情報を取得し、表示装置１３に出力する。

なお、本実施の形態では二台の撮像部１０１、１０２の二つの画像からステレオ視に基づく手法で距離情報を取得したが、図５に示す表示システム５の構成のように、どちらかの撮像部（図５の構成例では、図１に示されていた撮像部１０２）を測距部５０１に置き換えても良い。この場合、図５の画像処理装置５１は、図１で示した画像処理装置１１から距離算出部１１１を取り除いた構成となり、ユーザ情報解析部１１２には、測距部５０１から出力される距離情報が直接入力される。図１と図５で同じ構成の部分は同じ符号を付している。

図５の構成においても、図４のフローチャートと同様の処理方法で、本発明の実施の形態１の効果を実現することができる。
測距部５０１は、ＴＯＦ（Time of Flight）方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。
ＴＯＦ方式は、ＬＥＤ（Light Emitting Diode）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。

また、上述した本発明の実施の形態１における表示システムにおいては、情報ＤＢ１２はハードディスクやフラッシュメモリなどのハードウェアメモリを想定し、独立して存在する構成となっているが、画像処理装置１１の中に含まれる構成としても良い。また、ハードウェアメモリに情報データを保存するのではなく、インターネットに接続して情報を取得する構成としても良い。

（実施の形態２）
以下に、本発明の実施の形態２を、図面を用いて説明する。
図６は本発明の実施の形態２における表示システムのハードウェア構成図である。全体構成は実施の形態１における図１と同じであるが、ユーザ情報解析部６１２の構成が変化している。図７に示すように、ユーザ情報解析部６１２は図１のユーザ情報解析部１１２に顔情報解析部６１２１を追加した構成となっている。なお、図６では二台の撮像部を備える撮像装置１０を用いているが、実施の形態１で述べた図５のように、撮像部と測距部を用いる構成に置き換えても良い。

本実施の形態２における処理の流れを、図８のフローチャートに示す。図８は実施の形態１で述べた図４のフローチャートにおいて、ステップＳ３とステップＳ４の間にステップＳ１３を追加した形となっている。ステップＳ１３ではステップＳ２で検出された顔領域について、図７で示した顔情報解析部６１２１においてユーザの顔情報解析を行い、ユーザの年齢、性別、表情を推定する。これらユーザの特徴情報を表示制御部１１３に出力される。

ユーザの特徴情報を用いることで表示制御部１１３は、例えばユーザが操作をする前の段階で、ユーザの年齢層や性別に合わせた情報を自動的に、情報ＤＢ１２より取得して表示装置１３に表示することができる。また、表情から笑顔度を検出し、ユーザがその情報に興味を示しているかどうかを判断することで、ユーザの嗜好に合わせた情報表示を行うことも可能である。

顔情報解析処理の具体例を説明する。顔情報解析部６１２１は、顔検出部１１２１により検出された顔領域の情報を解析し、ユーザの年齢、性別、表情（笑顔度）の特徴情報を出力する。具体的には、年齢であれば、○○歳といったピンポイントな年齢情報、もしくは１０代、２０代、…、あるいは、幼年、青少年、青壮年、高年といった段階的な年代情報を出力する。性別であれば男性か女性といった情報を出力する。また、笑顔度であれば、笑っているかいないかの二段階の判定情報や、数段階の笑顔度合い情報を出力することが考えられる。

年齢、性別を推定する方法には、予め撮影された各カテゴリのサンプル顔画像との比較を行って類似度を測定する手法（特開２００７―０８００５７号公報に記載の技術）や、ＳＶＭ（Support Vector Machines）とＧａｂｏｒ特徴による手法（「E. Makinen and R. Raisamo, “Evaluation of gender classification methods with automatically detected and aligned faces,” IEEE TPAMI, vol. 30, no. 3, pp. 541―54(7), Mar. 2008.」に記載の技術）がある。

また、笑顔度を推定する方法としては、平均的な人の笑顔画像と比較して一致度を測る手法が考えられる。例えば、予め用意した満点の笑顔画像、笑っていない顔画像と、検出した顔領域画像とについて、顔の各構成部品の輪郭や位置情報を比較する手法（特開２０１１−１３０１３１号公報に記載の技術）がある。
以上のような方法によりユーザの年齢、性別、表情（笑顔度）を推定すること可能であるが、本発明に係る顔情報解析部における年齢、性別、表情（笑顔度）の推定方法は以上の方法に限らない。即ち、入力された顔情報から年齢、性別、表情（笑顔度）を推定することが可能であればどのような方法を用いてもよい。

（実施の形態３）
以下に、本発明の実施の形態３を、図面を用いて説明する。
実施の形態１及び２における説明では、基本的にユーザは一人として説明を行ったが、以下に説明する方法によって複数人のユーザによる使用が可能となる。
図９に複数人での本発明に係る表示システムの使用例を示す。図３（Ａ）と同じ構成の部分については同じ符号を付している。図９において、ユーザ９１は展示品９６を指差しており、その情報が情報表示領域９３に表示されている。同様に、ユーザ９２は展示品９７を指差しており、その情報が情報表示領域９４に表示されている。また、ユーザ９５は操作範囲２６外に存在するため、操作者ではないと判断される。
図９に示すように、操作者と判断された各ユーザ９１、９２の顔の前に情報表示領域９３、９４を設定することで、各ユーザは自分の好きな情報を、見やすい位置で見ることが可能となる。なお、情報表示領域９３、９４の位置は顔の前に限定されず、視界を妨げないショーウィンドウの上部など、自由に設定が可能である。

実施の形態３における処理は、基本的に実施の形態１と同様の図４に示したフローチャートに沿って行われる。ただし、複数人で利用する際には、ステップＳ２で複数の顔が検出され、その後のステップＳ３でユーザと判断された全てのユーザについて、ユーザ毎にステップＳ４以降の処理を行う。これにより、各ユーザは実施の形態１で説明した操作を行うことができる。

ステップＳ３では各ユーザが操作範囲２６内に存在するかどうかを判断する。図９の例では、ユーザ９１と９２は操作範囲２６内に存在するためショーウィンドウの操作者であると判断され、ユーザ９５は操作範囲２６外に存在するため、操作者ではないと判断される。このように、距離情報を利用することで、前後に複数のユーザが居る場合にも操作を行う者とそうでない者の認識が可能となる。これにより、ショーウィンドウを操作するユーザの後ろを歩行者が通過するような場合にも対応可能となる。

ユーザ９１、９２の認識は、左右位置の違いに加え、奥行方向の距離の違いを判定することでより正確に判断することができる。また、実施の形態２で述べた顔情報解析部６１２１を用いる構成とすれば、各ユーザの顔の特徴情報を最初に取得しておき、その後は特徴情報を照らし合わせることでユーザを認識することが可能となる。さらに、位置情報と顔の特徴情報を組み合わせれば、ユーザ判別の精度向上が図れる。

１…表示システム、１０…撮像装置、１１…画像処理装置、１２…情報ＤＢ、１３…表示装置、２１…ユーザ、２２…情報表示領域、２３，２４…展示品、２５…ポインタ、２６…操作範囲、９１，９２…ユーザ、９３，９４…情報表示領域、９５…ユーザ、９６，９７…展示品、１０１，１０２…撮像部、１１１…距離算出部、１１２…ユーザ情報解析部、１１３…表示制御部、５０１…測距部、６１２…ユーザ情報解析部、１１２１…顔検出部、１１２２…手位置・形状検出部、１１２３…目位置検出部、１１２４…指先位置検出部、１１２５…方向検出部、６１２１…顔情報解析部。

Claims (9)

1. 光透過性を有する表示装置と、
   該表示装置の裏面側から前記表示装置に向けて撮像光学系の光軸が設定された撮像部と、
   該撮像部で撮像された被写体の画像情報に基づき画像処理を行う画像処理装置と、
   特定の被写体の情報を保持する情報データベースと、を有し、
   前記画像処理装置は、前記画像情報に基づいて前記表示装置の正面側から被写体として該表示装置を操作するユーザの状態を解析するユーザ情報解析部と、該ユーザ情報解析部による解析結果に基づき、前記情報データベースから被写体の情報を取得して前記表示装置に表示させる表示制御部と、を有することを特徴とする表示システム。
2. 前記撮像部と被写体との距離情報を生成する距離情報生成部を有し、
   前記画像情報と前記距離情報とを用いて、３次元空間上のユーザの目の位置を検出する目位置検出部と、
   前記画像情報と前記距離情報とを用いて、３次元空間上のユーザの手の位置、及び該ユーザの手の形状を検出する手位置・形状検出部と、を有し、
   前記ユーザ情報解析部は、前記ユーザの状態として、前記ユーザの目の位置及び手の位置と前記ユーザの手の形状とを解析し、該ユーザの手の形状が所定の形状に該当していると判断した場合、３次元空間上の前記目の位置と前記手の所定位置とを結ぶ線上にある特定の被写体を判別し、
   前記表示制御部は、前記判別した被写体の情報を前記情報データベースから取得して前記表示装置に表示させることを特徴とする請求項１に記載の表示システム。
3. 前記撮像部は、２つの撮像装置により構成され、
   前記距離情報生成部は、前記２つの撮像装置により撮像された画像から画像間の視差を算出し、該算出した視差に基づいて前記撮像された画像内の被写体について前記撮像部からの距離情報を算出し、
   前記ユーザ情報解析部は、前記算出した距離情報に基づいて３次元空間内の被写体の位置を算出することを特徴とする請求項２に記載の表示システム。
4. 前記距離情報生成部は、前記撮像部で撮像される画角内の被写体から前記撮像部までの距離を計測する測距手段により前記距離情報を生成し、
   前記ユーザ情報解析部は、前記撮像装置により撮像された画像と、前記距離情報生成部により生成された距離情報とに基づいて、３次元空間内の被写体の位置を算出することを特徴とする請求項２に記載の表示システム。
5. 前記表示制御部は、３次元空間上の前記目の位置と前記手の所定位置とを結ぶ線が、前記表示装置に交わる点を含む前記表示装置の所定領域に、所定のポインタを表示させることを特徴とする請求項２〜４のいずれか１に記載の表示システム。
6. 前記ユーザ情報解析部は、前記撮像部により撮像された画像情報から前記ユーザの顔を検出する顔検出部を有し、該顔検出部によりユーザの顔が検出された場合、前記距離情報を用いて該顔の３次元空間上の位置を判定し、該顔の位置が前記表示装置から所定の距離以下の範囲にあるときに、該顔を検出したユーザが前記表示装置を操作するユーザであるとみなすことを特徴とする請求項２〜５のいずれか１に記載の表示システム。
7. 前記ユーザ情報解析部は、前記撮像部により撮像された画像情報からユーザの顔の情報を解析する顔情報解析部を有し、該顔情報解析部は、前記ユーザの年齢、性別、および表情のうち少なくとも一つの特徴情報を取得し、
   前記表示制御部は、該取得した特徴情報に応じた所定の情報を前記表示装置に表示させることを特徴とする請求項１〜６のいずれか１に記載の表示システム。
8. 前記表示制御部は、前記被写体が動くものであるとき、前記被写体の情報を表示する前記表示装置の表示領域を、前記被写体の動きに合わせて変化させることを特徴とする請求項１〜７のいずれか１に記載の表示システム。
9. 前記ユーザ情報解析部は、前記画像情報と前記距離情報とから、前記表示装置を操作するユーザが複数認識された場合、該認識された複数のユーザごとに、前記ユーザの状態を解析し、該解析結果に基づきユーザごと前記被写体の情報を取得して前記表示装置に表示させることを特徴とする請求項１〜７のいずれか１に記載の表示システム。

Images