JP2013125985A - Display system - Google Patents
Display system Download PDFInfo
- Publication number
- JP2013125985A JP2013125985A JP2011271956A JP2011271956A JP2013125985A JP 2013125985 A JP2013125985 A JP 2013125985A JP 2011271956 A JP2011271956 A JP 2011271956A JP 2011271956 A JP2011271956 A JP 2011271956A JP 2013125985 A JP2013125985 A JP 2013125985A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- display
- display device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像情報と距離情報とにより、指示されたものの情報を表示する、表示システムに関する。 The present invention relates to a display system that displays information on what is instructed by image information and distance information.
近年、商品を展示するショーウィンドウの誘目性を高めるため、また商品に関する情報を提示するために、ショーウィンドウにディスプレイを配置することが盛んに行われている。ディスプレイをショーウィンドウの内部に配置するだけでなく、ショーウィンドウのガラスにホログラムスクリーン等を貼付し、プロジェクターからの映像を投影する展示手法もある。また、実用化はされていないものの、ディスプレイ関連の展示会では、透明ディスプレイの応用として、ショーウィンドウのガラス自体に透明ディスプレイを適用することが提案されている。透明ディスプレイとして、例えば液晶ディスプレイを照らすバックライトをなくし、液晶パネルのみを用いた透明液晶ディスプレイが提案されている。これにより、ショーウィンドウ自体に展示品の情報や広告などを表示する映像表示装置が実現される。 In recent years, in order to enhance the attractiveness of a show window for displaying products, and to present information related to products, a display is actively arranged in the show window. In addition to arranging the display inside the show window, there is an exhibition method in which a hologram screen or the like is attached to the glass of the show window to project an image from the projector. Although not put into practical use, at exhibitions related to display, it has been proposed to apply a transparent display to the glass of the show window itself as an application of the transparent display. As a transparent display, for example, a transparent liquid crystal display using only a liquid crystal panel without a backlight for illuminating the liquid crystal display has been proposed. As a result, a video display device that displays information on exhibits, advertisements, etc. on the show window itself is realized.
これらのショーウィンドウは、展示者がショーウィンドウを見る者(以降、ユーザと呼ぶ)に一方的に映像を表示する場合と、ユーザの意思を反映させることのできるインタラクティブな機能を搭載する場合がある。後者のインタラクティブな機能を搭載したものとして、例えば特許文献1の技術が提案されている。これによれば、展示品の情報をショーウィンドウ上に表示し、更にユーザ自身でその表示画面内のコンテンツを操作することも可能であり、好みのカラーの商品があるかを検索したり、衣料品であれば自身の体に合うサイズの商品があるかといった情報を検索したり、その場でユーザの嗜好に合わせた提示が出来るようになるという。
These show windows may include a case where an exhibitor unilaterally displays an image to a person who views the show window (hereinafter referred to as a user) or an interactive function that can reflect the user's intention. . For example, the technique of
この特許文献1の技術は、プリズムミラーを用いてセンサ部をショーウィンドウ内に設置したものであり、センサ部の光源からの光をプリズムミラーで反射しながら位置検出面上を通過させ、反射された光をセンサ部の受光素子で受光する。指である指示体がセンサ部の光源からの光を遮断すると、受光素子で受光する光に影の部分が生じるため、この影の位置を二つのセンサ部で検出することで、三角測量の原理で指示体の指示位置を検出することが出来るという。
The technology of this
また、ショーウィンドウにおいてユーザの求める情報を表示する手段として、特許文献2の技術が提案されている。これによれば、撮像装置によりユーザを監視し、ユーザの視線や指差しを検出することで、ユーザの注目する展示品を判別してその情報を自動的にディスプレイに提示するとしている。
Moreover, the technique of
しかしながら、上記特許文献1の技術は、ショーウィンドウの2次元平面上に限定された位置検出面における指の位置を検出して、位置検出面に表示されている内容を操作するものであった。従って、展示品をショーウィンドウ越しに直接指で指し示し、その情報をショーウィンドウに表示させるような操作への利用は想定されていない。また、該技術はセンサからの光を再帰反射させて戻ってきた光の遮断位置によって指示位置を検出する方式であるため、複数の指示体で操作した場合、センサから見て指示体が重なった部分の判別は不可能となる。従って、複数の指示体による操作は困難であり、ユーザは一人に限定されてしまうという課題がある。
However, the technique disclosed in
また、上記特許文献2の技術は、ユーザが注視、若しくは指差ししていた展示品の情報を自動的に表示するものであり、ユーザ自ら表示情報を操作することはできず、ユーザの意思を反映し難いといった問題がある。また、情報を表示するディスプレイはユーザから遠い位置であるショーウィンドウの奥側に固定設置されているため、ユーザからは情報が見にくいといった問題がある。さらに、複数人での利用シーンは考慮されておらず、その情報が見たいと思っているユーザ以外の人物にも、同一の内容が提示されてしまうという課題がある。
Moreover, the technique of the above-mentioned
本発明は、以上のような課題を解決するためになされたものであって、ユーザの意思を反映するインタラクティブなショーウィンドウにおいて、ショーウィンドウの中の展示品を、ショーウィンドウ越しに3次元方向に直接指し示すことが可能で、情報表示を行うショーウィンドウ自体も操作可能であり、複数人同時利用が可能な表示システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and in an interactive show window that reflects the user's intention, exhibits in the show window are displayed in a three-dimensional direction through the show window. An object of the present invention is to provide a display system that can be pointed directly, can operate a show window itself that displays information, and can be used simultaneously by a plurality of people.
上記課題を解決するために、本発明の第1の技術手段は、光透過性を有する表示装置と、該表示装置の裏面側から前記表示装置に向けて撮像光学系の光軸が設定された撮像部と、該撮像部で撮像された被写体の画像情報に基づき画像処理を行う画像処理装置と、特定の被写体の情報を保持する情報データベースと、を有し、前記画像処理装置は、前記画像情報に基づいて前記表示装置の正面側から被写体として該表示装置を操作するユーザの状態を解析するユーザ情報解析部と、該ユーザ情報解析部による解析結果に基づき、前記情報データベースから被写体の情報を取得して前記表示装置に表示させる表示制御部と、を有することを特徴としたものである。 In order to solve the above-described problem, the first technical means of the present invention includes a display device having optical transparency, and an optical axis of an imaging optical system is set from the back side of the display device toward the display device. An imaging unit; an image processing device that performs image processing based on image information of a subject imaged by the imaging unit; and an information database that stores information on a specific subject. The image processing device includes: Based on the information, the user information analysis unit that analyzes the state of the user who operates the display device as a subject from the front side of the display device, and information on the subject from the information database based on the analysis result by the user information analysis unit And a display control unit that acquires the information and displays it on the display device.
第2の技術手段は、第1の技術手段において、前記撮像部と被写体との距離情報を生成する距離情報生成部を有し、前記画像情報と前記距離情報とを用いて、3次元空間上のユーザの目の位置を検出する目位置検出部と、前記画像情報と前記距離情報とを用いて、3次元空間上のユーザの手の位置、及び該ユーザの手の形態を検出する手位置・形態検出部と、を有し、前記ユーザ情報解析部は、前記ユーザの状態として、前記ユーザの目の位置及び手の位置と前記ユーザの手の形状とを解析し、該ユーザの手の形状が所定の形状に該当していると判断した場合、3次元空間上の前記目の位置と前記手の所定位置とを結ぶ線上にある特定の被写体を判別し、前記表示制御部は、前記判別した被写体の情報を前記情報データベースから取得して前記表示装置に表示させることを特徴としたものである。 The second technical means includes a distance information generation unit that generates distance information between the imaging unit and the subject in the first technical means, and uses the image information and the distance information to create a three-dimensional space. A position of a user's hand in a three-dimensional space and a hand position for detecting the form of the user's hand using the eye position detection unit for detecting the position of the user's eyes, and the image information and the distance information A form detection unit, and the user information analysis unit analyzes the position of the user's eyes and the position of the hand and the shape of the user's hand as the state of the user, When it is determined that the shape corresponds to a predetermined shape, a specific subject on a line connecting the position of the eye and the predetermined position of the hand in a three-dimensional space is determined, and the display control unit The information on the determined subject is obtained from the information database before Is obtained is characterized in that on the display device.
第3の技術手段は、第2の技術手段において、前記撮像部が、2つの撮像装置により構成され、前記距離情報生成部は、前記2つの撮像装置により撮像された画像から画像間の視差を算出し、該算出した視差に基づいて前記撮像された画像内の被写体について前記撮像部からの距離情報を算出し、前記ユーザ情報解析部は、前記算出した距離情報に基づいて3次元空間内の被写体の位置を算出することを特徴としたものである。 According to a third technical means, in the second technical means, the imaging unit is configured by two imaging devices, and the distance information generation unit calculates a parallax between images from images captured by the two imaging devices. And calculating distance information from the imaging unit for the subject in the captured image based on the calculated parallax, and the user information analysis unit is configured to calculate a distance in the three-dimensional space based on the calculated distance information. This is characterized in that the position of the subject is calculated.
第4の技術手段は、第2の技術手段において、前記距離情報生成部が、前記撮像部で撮像される画角内の被写体から前記撮像部までの距離を計測する測距手段により前記距離情報を生成し、前記ユーザ情報解析部は、前記撮像装置により撮像された画像と、前記距離情報生成部により生成された距離情報とに基づいて、3次元空間内の被写体の位置を算出することを特徴としたものである。 According to a fourth technical means, in the second technical means, the distance information generating unit is configured to measure the distance information by a distance measuring unit that measures a distance from a subject within an angle of view captured by the imaging unit to the imaging unit. The user information analysis unit calculates the position of the subject in the three-dimensional space based on the image captured by the imaging device and the distance information generated by the distance information generation unit. It is a feature.
第5の技術手段は、第2〜4のいずれか1の技術手段において、前記表示制御部が、3次元空間上の前記目の位置と前記手の所定位置とを結ぶ線が、前記表示装置に交わる点を含む前記表示装置の所定領域に、所定のポインタを表示させることを特徴としたものである。 According to a fifth technical means, in any one of the second to fourth technical means, a line connecting the eye position and the predetermined position of the hand in the three-dimensional space is displayed on the display device. A predetermined pointer is displayed in a predetermined area of the display device including a point that intersects.
第6の技術手段は、第2〜5のいずれか1の技術手段において、前記ユーザ情報解析部が、前記撮像部により撮像された画像情報から前記ユーザの顔を検出する顔検出部を有し、該顔検出部によりユーザの顔が検出された場合、前記距離情報を用いて該顔の3次元空間上の位置を判定し、該顔の位置が前記表示装置から所定の距離以下の範囲にあるときに、該顔を検出したユーザが前記表示装置を操作するユーザであるとみなすことを特徴としたものである。 A sixth technical means includes the face detection unit according to any one of the second to fifth technical means, wherein the user information analysis unit detects the user's face from image information captured by the imaging unit. When the face detection unit detects the user's face, the distance information is used to determine the position of the face in a three-dimensional space, and the face position is within a predetermined distance from the display device. In some cases, the user who detects the face is regarded as a user who operates the display device.
第7の技術手段は、第1〜6のいずれか1の技術手段において、前記ユーザ情報解析部が、前記撮像部により撮像された画像情報からユーザの顔の情報を解析する顔情報解析部を有し、該顔情報解析部は、前記ユーザの年齢、性別、および表情のうち少なくとも一つの特徴情報を取得し、前記表示制御部は、該取得した特徴情報に応じた所定の情報を前記表示装置に表示させることを特徴としたものである。 According to a seventh technical means, in any one of the first to sixth technical means, the user information analysis unit includes a face information analysis unit that analyzes information of a user's face from image information captured by the imaging unit. The face information analysis unit acquires at least one feature information among the age, sex, and facial expression of the user, and the display control unit displays predetermined information according to the acquired feature information. It is characterized by being displayed on the apparatus.
第8の技術手段は、第1〜7のいずれか1の技術手段において、前記表示制御部が、前記被写体が動くものであるとき、前記被写体の情報を表示する前記表示装置の表示領域を、前記被写体の動きに合わせて変化させることを特徴としたものである。 According to an eighth technical means, in any one of the first to seventh technical means, when the display control unit moves the subject, a display area of the display device for displaying information on the subject is provided. It is characterized by being changed in accordance with the movement of the subject.
第9の技術手段は、第1〜7のいずれか1の技術手段において、前記ユーザ情報解析部が、前記画像情報と前記距離情報とから、前記表示装置を操作するユーザが複数認識された場合、該認識された複数のユーザごとに、前記ユーザの状態を解析し、該解析結果に基づきユーザごと前記被写体の情報を取得して前記表示装置に表示させることを特徴としたものである。 A ninth technical means is that, in any one of the first to seventh technical means, the user information analysis unit recognizes a plurality of users operating the display device from the image information and the distance information. For each of the plurality of recognized users, the state of the user is analyzed, information on the subject is acquired for each user based on the analysis result, and displayed on the display device.
本発明に係る表示システムによれば、ショーウィンドウの中の展示品をショーウィンドウ越しに指し示すことで、それに関する情報を指し示したユーザの近くに表示することが可能となり、また、情報表示を行うショーウィンドウ自体も非接触で操作可能である。さらに、複数人での同時利用が可能であるという効果が得られる。 According to the display system of the present invention, by pointing an exhibit in a show window through the show window, it is possible to display the information related thereto in the vicinity of the user who has indicated the information. The window itself can also be operated without contact. Furthermore, the effect that multiple users can use the system simultaneously is obtained.
さらに本発明に係る表示システムによれば、年齢や性別、表情などの顔特徴情報を利用し、ユーザに合わせた情報を自動的に表示できる。また、ユーザの位置に合わせた表示、展示品に追従した表示など、ユーザの見易いように配慮した表示、広告効果を高める表示が可能となる。 Furthermore, according to the display system according to the present invention, it is possible to automatically display information tailored to the user by using facial feature information such as age, sex, and facial expression. In addition, it is possible to display the display in accordance with the position of the user, the display following the exhibit, and the like that are easy to see for the user and the display that enhances the advertising effect.
(実施の形態1)
以下に、本発明の実施の形態1を、図面を用いて説明する。
図1は、本発明の実施の形態1に係る表示システムのハードウェア構成を示すブロック図である。実施の形態1に係る表示システム1は、展示やユーザを撮像する撮像装置10、撮像されたユーザの位置や動きを判別する画像処理装置11、特定の被写体(例えばショーウィンドウ内等に展示する展示品)に関する映像やテキストなどの情報を保存している情報DB(Data Base)12、及び情報DB12の情報を表示する表示装置13によって構成されている。
(Embodiment 1)
FIG. 1 is a block diagram showing a hardware configuration of the display system according to
撮像装置10はステレオ配置された撮像部101、102により構成され、ユーザから見てショーウィンドウの反対側から展示品とユーザを同時に撮影する。ここで、ステレオ配置とは、撮像部101、102の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態1では、例として二つの撮像部101、102には同じ構成のものを用いるが、二つの撮像部101、102で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。撮像部101、102は、それぞれ展示品や人物などの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。
The
画像処理装置11は、距離算出部111、ユーザ情報解析部112、及び表示制御部113を備える。撮像部101、102で取得した二つの画像は、距離算出部111に入力され、距離算出部111ではステレオ方式により距離算出を行う。
ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。
The
In the stereo method, the same region is imaged by two imaging devices arranged substantially in parallel, the parallax of corresponding pixels in the two obtained images is obtained, and the distance is calculated based on the parallax. In the stereo method, obtaining corresponding pixels in two images is called stereo matching. For example, the following processing is performed.
一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるSAD(Sum of Absolute Difference)を計算し、SADの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。SADによる計算手法以外に、SSD(Sum of Squared Intensity Difference)やグラフカット、DP(Dynamic Programming)マッチングといった計算手法もある。 Pixel matching is performed by scanning a pixel of one captured image in the horizontal direction on the other captured image. Pixel matching is performed in units of blocks centered on the pixel of interest, and a SAD (Sum of Absolute Difference) that calculates the sum of absolute value differences of pixels in the block is calculated to determine a block that minimizes the SAD value. Thus, the pixel on the other captured image corresponding to the target pixel of the one captured image is obtained. In addition to SAD calculation methods, there are calculation methods such as SSD (Sum of Squared Intensity Difference), graph cut, and DP (Dynamic Programming) matching.
対応画素が求まることでその画素の視差値が算出可能となる。一方の撮像画像の全画素について上記の処理を行うことで、全画素の視差値を算出し、二つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。 When the corresponding pixel is obtained, the parallax value of the pixel can be calculated. By performing the above processing for all pixels of one captured image, the parallax value of all pixels is calculated, and triangulation is performed using the positional relationship and the parallax value of the two imaging devices, from the imaging device to the subject. Can be calculated. Also, the parallax value can be calculated even if the two imaging units are arranged in the vertical direction instead of the horizontal direction. In this case, the scanning of the captured image may be performed in the vertical direction instead of the horizontal direction.
距離算出部111が出力する距離情報は、撮像部101画像の各画素に対応する距離値を0〜255の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。
撮像部101の画像(距離算出部111で基準とした撮像部の画像)と、距離算出部111で算出した距離情報は、ユーザ情報解析部112に入力され、ユーザ情報解析部112ではユーザの位置情報、操作状態を検出して出力する。
The distance information output by the
The image of the imaging unit 101 (image of the imaging unit used as a reference by the distance calculation unit 111) and the distance information calculated by the
図2に示すように、ユーザ情報解析部112は顔検出部1121、手位置・形状検出部1122、目位置検出部1123、指先位置検出部1124、指差し方向検出部1125を備える。ユーザ情報解析部112の処理詳細については後述する。
表示制御部113はユーザ情報解析部112の出力情報に基づいて、情報DB12から情報を取得し、表示装置13に出力する。このとき、表示制御部113は表示装置13における情報の表示位置や表示方法についても制御を行う。詳細については後述する。
As shown in FIG. 2, the user
The
なお、本実施の形態における表示装置13は光透過性を有するもので、映像やテキストなどの情報が表示可能な透明液晶ディスプレイをショーウィンドウとして用いているが、これに限られるものではなく、液晶以外の材料を用いた透明ディスプレイや、ショーウィンドウのガラスにホログラムスクリーン等を貼付しプロジェクターからの映像を投影する構成のものであっても良い。
The
次に、図1で示した表示システム構成を、ショーウィンドウに適用した場合の処理手順について図3及び図4を用いて説明する。
図3は、本発明に係る表示システムをショーウィンドウに適用した際の使用例を表す図で、図3(A)は、ショーウィンドウの正面斜め側から見たシステムの要素、展示品及びユーザの概略配置例を示す図、図3(B)は図3(A)の俯瞰図である。
図3(A)、図3(B)では、ショーウィンドウの中に2つの展示品23、24が奥行方向にずれて配置されており、ユーザ21は、奥に置かれた展示品23をショーウィンドウ越しに指で指し示している。
Next, a processing procedure when the display system configuration shown in FIG. 1 is applied to a show window will be described with reference to FIGS.
FIG. 3 is a diagram showing a usage example when the display system according to the present invention is applied to a show window. FIG. 3A is a diagram illustrating system elements, exhibits, and user's views as seen from the front diagonal side of the show window. FIG. 3B is a diagram showing a schematic arrangement example, and FIG. 3B is an overhead view of FIG.
In FIG. 3A and FIG. 3B, two
撮像装置10は、表示装置13の裏面側であるショーウィンドウの中に設置され、その撮像光学系の光軸が表示装置13に向けて設置される。これにより撮像装置10は、展示品23,24と、表示装置13の正面側にいるユーザ21とを撮影している。撮像装置10で取得した画像は画像処理装置11へ入力され、ユーザの指し示した方向を判断して、指し示された展示品の情報を情報DB12から取得して表示装置13の情報表示領域22に表示する。なお、画像処理装置11と情報DB12は、ユーザ21からは見えない位置に設置されている。また、図1のブロック図と同じ構成のものについては同じ符号を付している。
The
図4はユーザ判別から情報表示までの一連の処理を表すフローチャートである。以下に処理手順を説明する。
まず表示システム1は、撮像装置10により画像を取得し、二台の撮像部101,102の画像情報が画像処理装置11に入力され、距離算出部111において距離情報が取得される(ステップS1)。次に撮像部101の画像と、距離算出部111で算出した距離情報はユーザ情報解析部112に入力される。また、顔検出部1121においてユーザの顔を検出する(ステップS2)。顔が検出されなければ最初の処理に戻る。
FIG. 4 is a flowchart showing a series of processing from user discrimination to information display. The processing procedure will be described below.
First, the
顔検出部1121では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域及び目領域の画像情報または入力画像上の2次元座標などの情報を出力する。
例えば、顔検出部1121における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。さらに、弱識別器として白黒のHaar−Like特徴を用いたAdaboostアルゴリズムによる手法(「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」,「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法)を用いることも可能である。
以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。
The
For example, as a face detection method in the
As described above, there are various methods for face detection, but the face detection processing in the face detection unit according to the present invention is not limited to the above method. That is, any method may be used as long as it is a method for detecting a face from an input image.
上記ステップS2で顔が検出されると、ユーザ情報解析部612は、距離算出部111で算出した距離情報から顔がショーウィンドウからどれだけ離れているかわかるため、図3の操作範囲26にユーザの顔が存在するかどうかを判定する(ステップS3)。ユーザの顔が操作範囲26内に存在すれば、ショーウィンドウを利用するユーザ21であると判断する。この操作範囲26は、例えば、表示装置13のディスプレイ面から1m離れた地点までを設定する。
When the face is detected in the above step S2, the user
ユーザが操作範囲26内に存在した場合、ユーザ情報解析部112は、手位置・形状検出部1122により手の3次元位置を検出し、さらに手形状を検出する(ステップS4)。
手形状の判別方法の一つとしては、あらかじめ規定されたどの形状に合致するか照合する方法がある。
本発明の実施の形態1では、操作状態の判別に手形状を用い、「人差し指を立てた状態」は展示品を指で指し示している状態、「指を揃えて手を開いた状態」は表示装置13上に表示された情報をジェスチャで操作する状態とする。
When the user exists within the
As one of hand shape discrimination methods, there is a method of collating which shape is matched in advance.
In the first embodiment of the present invention, the hand shape is used to determine the operation state, “the state where the index finger is raised” is the state where the exhibit is pointed with the finger, and “the state where the hand is opened with the fingers aligned” is displayed Information displayed on the
手位置・形状検出部1122は、検出した手の位置と手形状により、手形状が指さし時の状態、つまり「人差し指を立てた状態」であるかを判断する(ステップS5)。ここで手形状が指さし時の状態であればステップS6の処理へ移行し、指さし時の状態でなければ、例えば「指を揃えて手を開いた状態」等であればステップS10の処理へ移行する。
The hand position /
ステップS6では、ユーザ情報解析部612は、目位置検出部1123により目の3次元位置を検出し、さらに指先位置検出部1124により指先の3次元位置を検出する。指先位置検出処理では、検出された手形状から手の所定位置に相当する指先を検出する。
また目検出処理では、例えば、目のテンプレート画像を用いたテンプレートマッチングによる方法や、平均的な人の顔と目の位置関係を利用して検出する方法によって目の位置を検出することができる。また、上記の顔検出処理と同様に、弱識別器として白黒のHaar−Like特徴を用いたAdaboostアルゴリズムによる手法を目検出に適用することも可能である。顔検出処理と同様に目検出処理には種々の方法があるが、本発明に係る目検出処理は上記の方法によるものに限るものではなく、入力画像から目を検出する方法であればどのような方法を用いてもよい。
In step S <b> 6, the user
In the eye detection process, for example, the eye position can be detected by a template matching method using an eye template image or a method of detecting using an average human face-eye positional relationship. Similarly to the face detection process described above, a method based on the Adaboost algorithm using a black and white Haar-Like feature as a weak classifier can be applied to eye detection. As with the face detection process, there are various methods for the eye detection process. However, the eye detection process according to the present invention is not limited to the above method, and any method can be used as long as it detects an eye from an input image. Various methods may be used.
そして指差し方向検出部1125は、検出した目と指先の3次元位置情報を用いて指差し方向を判定し、表示制御部113により、指さし方向に一致する表示装置13上の位置にポインタを表示する(ステップS7)。
The pointing
指差し方向の判定は以下の方法で行うことができる。
目の3次元位置を[x1,y1,z1]、指先の3次元位置を[x2,y2,z2]とし、この2点を結ぶ直線上の任意の点を[X,Y,Z]とすると、これらの関係は(X−x1)/(x2−x1)=(Y−y1)/(y2−y1)=(Z−z1)/(z2−z1)で表される。
この方程式で表される直線がユーザの指差している方向であり、その直線上に存在する展示品をユーザが選択していると判断することができる。ショーウィンドウに展示されている展示品情報については事前登録が必要であるが、展示品の位置関係は、撮像装置10の画像情報と、ステップS1において算出された距離情報とにより判別できる。
The pointing direction can be determined by the following method.
If the three-dimensional position of the eye is [x1, y1, z1], the three-dimensional position of the fingertip is [x2, y2, z2], and an arbitrary point on the straight line connecting these two points is [X, Y, Z]. These relationships are represented by (X−x1) / (x2−x1) = (Y−y1) / (y2−y1) = (Z−z1) / (z2−z1).
The straight line represented by this equation is the direction in which the user is pointing, and it can be determined that the user has selected an exhibit that exists on the straight line. The exhibition information displayed in the show window needs to be registered in advance, but the positional relationship between the exhibits can be determined from the image information of the
また、撮像装置10から表示装置13までの距離をzdとすると、上記方程式の指差し方向を表す直線が表示装置13にぶつかる位置[xd,yd,zd]がわかる。xd=(zd−z1)/(z2−z1)×(x1−x2)/x1、yd=(zd−z1)/(z2−z1)×(y1−y2)/y1として算出される。
この位置を中心として図3のポインタ25に示すようなガイドを表示することで、ユーザは自分の指差している方向を判断することができる。ポインタの形状や大きさは予め定めておくことができる。これにより、表示制御部113は、3次元空間上の目の位置と手の所定位置(指先)とを結ぶ線が表示装置13に交わる点を含む所定領域に、所定のポインタを表示させることができる。
Further, when the distance from the
By displaying a guide as shown by the
次にユーザ情報解析部112では、ステップS7で表示されたポインタを使用してユーザが選択動作を行ったか否かを判定する(ステップS8)。ここでユーザは、選択したい展示品にポインタ25を合わせて選択動作を行うことができる。選択動作が行われると、表示制御部113が情報DB12から選択された展示品に関する情報を取得し、情報表示装置13の表示領域22に表示させる(ステップS9)。
Next, the user
選択動作の方法としては、ポインタ25を選択したい展示品に合わせて一定時間停止させる方法や、指差していた人差し指を閉じて握りこぶしの状態にするなどジェスチャによる方法、手を前後に動かして押す動作をする方法などが考えられる。ユーザ情報解析部612の手位置・形状検出部1122は、これらの所定の動作を判別し、ユーザにより選択動作が行われたことを判定する。
As a selection operation method, the
情報表示領域22は、表示装置13のディスプレイ面内であれば自由に決定することが可能である。ディスプレイ面の全体に表示しても良いし、固定の一部領域に表示しても良い。また、ユーザの顔位置を利用して、ユーザが移動しても常に顔の前に表示する、或いは視界を妨げない位置に表示することで、常にユーザの見やすい表示が可能となる。
The
他にも、ユーザが指差して選択した展示品の周囲(図3であればポインタ25の周囲)に、吹き出し窓のように情報を表示する方法が考えられる。この場合、展示品が動く物(例えば、水族館において水槽の中で泳ぐ魚など)だとしても、展示品に追従して情報表示領域22を移動させることが可能である。
また、ユーザ21が表示装置13に近付くと表示が拡大(もしくは縮小)するなど、距離情報を利用して表示状態を変化させることも可能である。
In addition, a method of displaying information like a balloon window around the exhibit selected by the user (or around the
In addition, the display state can be changed using the distance information, for example, the display is enlarged (or reduced) when the
手位置・形状検出部1122は、ステップS5において、手形状が「人差し指を立てた状態」ではなかった場合、ステップS10で手形状が画面操作時の状態か否かを判定する。例えば、画面操作時の状態として定められている「指を揃えて手を開いた状態」であるかどうか判定する。そうでない場合は処理の最初に戻り、そのようである場合は手の動きを判断してユーザ21の操作を検出する(ステップS11)。そして表示制御部113は、ユーザの操作に応じて表示装置13の表示内容を変更する(ステップS12)。
If the hand shape is not “in the state where the index finger is raised” in step S5, the hand position /
このように、ユーザ21は、表示装置13に触れずにジェスチャなどによる操作を行うことで、情報表示領域22に表示された情報を切り替えることができる。例えば、情報表示領域22の前でユーザが手を左から右に振ると、表示されている展示品情報が他の関連情報に切り替わる。或いは、手を前に押し出して押す動作をすることで、表示された項目を選択してさらに詳しい情報を表示する、などの操作が可能である。
Thus, the
前記したステップS9及びステップS12では情報表示や表示の切換えを行ったが、これら表示の制御は表示制御部113で行われる。表示制御部113はユーザ情報解析部112の出力情報に基づいて、表示方法や表示位置、表示する情報の選択などを行う。
展示品に関する情報は情報DB12に保存されており、表示制御部113がアクセスすることで情報を取得し、表示装置13に出力する。
In step S9 and step S12 described above, information display and display switching are performed. The
Information related to the exhibits is stored in the
なお、本実施の形態では二台の撮像部101、102の二つの画像からステレオ視に基づく手法で距離情報を取得したが、図5に示す表示システム5の構成のように、どちらかの撮像部(図5の構成例では、図1に示されていた撮像部102)を測距部501に置き換えても良い。この場合、図5の画像処理装置51は、図1で示した画像処理装置11から距離算出部111を取り除いた構成となり、ユーザ情報解析部112には、測距部501から出力される距離情報が直接入力される。図1と図5で同じ構成の部分は同じ符号を付している。
In the present embodiment, the distance information is acquired from the two images of the two
図5の構成においても、図4のフローチャートと同様の処理方法で、本発明の実施の形態1の効果を実現することができる。
測距部501は、TOF(Time of Flight)方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。
TOF方式は、LED(Light Emitting Diode)などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。
Also in the configuration of FIG. 5, the effect of the first embodiment of the present invention can be realized by the same processing method as the flowchart of FIG.
The
The TOF method measures the distance by irradiating invisible light such as infrared rays from a light source such as an LED (Light Emitting Diode), and measuring the time of flight when the light hits the subject and returns. It is. By measuring the measurement for each finely divided area, it is possible to measure not only one point but also various parts of the subject. In addition, as a method of measuring the time of flight, pulsed laser light, measuring the time from when the pulse is emitted until the reflected light returns, or when the irradiated infrared light is modulated and irradiated There is a method of calculating from the phase difference between the phase and the reflected light.
また、上述した本発明の実施の形態1における表示システムにおいては、情報DB12はハードディスクやフラッシュメモリなどのハードウェアメモリを想定し、独立して存在する構成となっているが、画像処理装置11の中に含まれる構成としても良い。また、ハードウェアメモリに情報データを保存するのではなく、インターネットに接続して情報を取得する構成としても良い。
In the display system according to the first embodiment of the present invention described above, the
(実施の形態2)
以下に、本発明の実施の形態2を、図面を用いて説明する。
図6は本発明の実施の形態2における表示システムのハードウェア構成図である。全体構成は実施の形態1における図1と同じであるが、ユーザ情報解析部612の構成が変化している。図7に示すように、ユーザ情報解析部612は図1のユーザ情報解析部112に顔情報解析部6121を追加した構成となっている。なお、図6では二台の撮像部を備える撮像装置10を用いているが、実施の形態1で述べた図5のように、撮像部と測距部を用いる構成に置き換えても良い。
(Embodiment 2)
FIG. 6 is a hardware configuration diagram of the display system according to
本実施の形態2における処理の流れを、図8のフローチャートに示す。図8は実施の形態1で述べた図4のフローチャートにおいて、ステップS3とステップS4の間にステップS13を追加した形となっている。ステップS13ではステップS2で検出された顔領域について、図7で示した顔情報解析部6121においてユーザの顔情報解析を行い、ユーザの年齢、性別、表情を推定する。これらユーザの特徴情報を表示制御部113に出力される。
The flow of processing in the second embodiment is shown in the flowchart of FIG. FIG. 8 is a form in which step S13 is added between step S3 and step S4 in the flowchart of FIG. 4 described in the first embodiment. In step S13, the face
ユーザの特徴情報を用いることで表示制御部113は、例えばユーザが操作をする前の段階で、ユーザの年齢層や性別に合わせた情報を自動的に、情報DB12より取得して表示装置13に表示することができる。また、表情から笑顔度を検出し、ユーザがその情報に興味を示しているかどうかを判断することで、ユーザの嗜好に合わせた情報表示を行うことも可能である。
By using the user's feature information, the
顔情報解析処理の具体例を説明する。顔情報解析部6121は、顔検出部1121により検出された顔領域の情報を解析し、ユーザの年齢、性別、表情(笑顔度)の特徴情報を出力する。具体的には、年齢であれば、○○歳といったピンポイントな年齢情報、もしくは10代、20代、…、あるいは、幼年、青少年、青壮年、高年といった段階的な年代情報を出力する。性別であれば男性か女性といった情報を出力する。また、笑顔度であれば、笑っているかいないかの二段階の判定情報や、数段階の笑顔度合い情報を出力することが考えられる。
A specific example of face information analysis processing will be described. The face
年齢、性別を推定する方法には、予め撮影された各カテゴリのサンプル顔画像との比較を行って類似度を測定する手法(特開2007―080057号公報に記載の技術)や、SVM(Support Vector Machines)とGabor特徴による手法(「E. Makinen and R. Raisamo, “Evaluation of gender classification methods with automatically detected and aligned faces,” IEEE TPAMI, vol. 30, no. 3, pp. 541―54(7), Mar. 2008.」に記載の技術)がある。 Methods for estimating age and gender include a method of measuring similarity by comparing with sample face images of each category photographed in advance (a technique described in Japanese Patent Application Laid-Open No. 2007-080057), and SVM (Support Vector Machines) and Gabor features (“E. Makinen and R. Raisamo,“ Evaluation of gender classification methods with automatically detected and aligned faces, ”IEEE TPAMI, vol. 30, no. 3, pp. 541-54 (7 ), Mar. 2008. ”.
また、笑顔度を推定する方法としては、平均的な人の笑顔画像と比較して一致度を測る手法が考えられる。例えば、予め用意した満点の笑顔画像、笑っていない顔画像と、検出した顔領域画像とについて、顔の各構成部品の輪郭や位置情報を比較する手法(特開2011−130131号公報に記載の技術)がある。
以上のような方法によりユーザの年齢、性別、表情(笑顔度)を推定すること可能であるが、本発明に係る顔情報解析部における年齢、性別、表情(笑顔度)の推定方法は以上の方法に限らない。即ち、入力された顔情報から年齢、性別、表情(笑顔度)を推定することが可能であればどのような方法を用いてもよい。
Further, as a method of estimating the smile level, a method of measuring the degree of coincidence in comparison with an average person smile image can be considered. For example, a method of comparing the contour and position information of each component of a face with a full smile image prepared in advance, a non-laughing face image, and a detected face area image (described in JP 2011-130131 A) Technology).
Although it is possible to estimate the age, sex, and facial expression (smile level) of the user by the method as described above, the estimation method of the age, sex, and facial expression (smile level) in the face information analysis unit according to the present invention is as described above. It is not limited to the method. That is, any method may be used as long as it is possible to estimate the age, sex, and facial expression (smiling degree) from the input face information.
(実施の形態3)
以下に、本発明の実施の形態3を、図面を用いて説明する。
実施の形態1及び2における説明では、基本的にユーザは一人として説明を行ったが、以下に説明する方法によって複数人のユーザによる使用が可能となる。
図9に複数人での本発明に係る表示システムの使用例を示す。図3(A)と同じ構成の部分については同じ符号を付している。図9において、ユーザ91は展示品96を指差しており、その情報が情報表示領域93に表示されている。同様に、ユーザ92は展示品97を指差しており、その情報が情報表示領域94に表示されている。また、ユーザ95は操作範囲26外に存在するため、操作者ではないと判断される。
図9に示すように、操作者と判断された各ユーザ91、92の顔の前に情報表示領域93、94を設定することで、各ユーザは自分の好きな情報を、見やすい位置で見ることが可能となる。なお、情報表示領域93、94の位置は顔の前に限定されず、視界を妨げないショーウィンドウの上部など、自由に設定が可能である。
(Embodiment 3)
In the description of the first and second embodiments, the description has basically been given on the assumption that one user is used. However, use by a plurality of users is possible by the method described below.
FIG. 9 shows an example of use of the display system according to the present invention by a plurality of persons. Parts having the same configuration as in FIG. In FIG. 9, the
As shown in FIG. 9, by setting
実施の形態3における処理は、基本的に実施の形態1と同様の図4に示したフローチャートに沿って行われる。ただし、複数人で利用する際には、ステップS2で複数の顔が検出され、その後のステップS3でユーザと判断された全てのユーザについて、ユーザ毎にステップS4以降の処理を行う。これにより、各ユーザは実施の形態1で説明した操作を行うことができる。 The processing in the third embodiment is basically performed in accordance with the flowchart shown in FIG. 4 similar to that in the first embodiment. However, when used by a plurality of people, a plurality of faces are detected in step S2, and the processing from step S4 onward is performed for each user for all users determined to be users in step S3. Thereby, each user can perform the operation described in the first embodiment.
ステップS3では各ユーザが操作範囲26内に存在するかどうかを判断する。図9の例では、ユーザ91と92は操作範囲26内に存在するためショーウィンドウの操作者であると判断され、ユーザ95は操作範囲26外に存在するため、操作者ではないと判断される。このように、距離情報を利用することで、前後に複数のユーザが居る場合にも操作を行う者とそうでない者の認識が可能となる。これにより、ショーウィンドウを操作するユーザの後ろを歩行者が通過するような場合にも対応可能となる。
In step S <b> 3, it is determined whether each user exists within the
ユーザ91、92の認識は、左右位置の違いに加え、奥行方向の距離の違いを判定することでより正確に判断することができる。また、実施の形態2で述べた顔情報解析部6121を用いる構成とすれば、各ユーザの顔の特徴情報を最初に取得しておき、その後は特徴情報を照らし合わせることでユーザを認識することが可能となる。さらに、位置情報と顔の特徴情報を組み合わせれば、ユーザ判別の精度向上が図れる。
The recognition of the
1…表示システム、10…撮像装置、11…画像処理装置、12…情報DB、13…表示装置、21…ユーザ、22…情報表示領域、23,24…展示品、25…ポインタ、26…操作範囲、91,92…ユーザ、93,94…情報表示領域、95…ユーザ、96,97…展示品、101,102…撮像部、111…距離算出部、112…ユーザ情報解析部、113…表示制御部、501…測距部、612…ユーザ情報解析部、1121…顔検出部、1122…手位置・形状検出部、1123…目位置検出部、1124…指先位置検出部、1125…方向検出部、6121…顔情報解析部。
DESCRIPTION OF
Claims (9)
該表示装置の裏面側から前記表示装置に向けて撮像光学系の光軸が設定された撮像部と、
該撮像部で撮像された被写体の画像情報に基づき画像処理を行う画像処理装置と、
特定の被写体の情報を保持する情報データベースと、を有し、
前記画像処理装置は、前記画像情報に基づいて前記表示装置の正面側から被写体として該表示装置を操作するユーザの状態を解析するユーザ情報解析部と、該ユーザ情報解析部による解析結果に基づき、前記情報データベースから被写体の情報を取得して前記表示装置に表示させる表示制御部と、を有することを特徴とする表示システム。 A display device having optical transparency;
An imaging unit in which the optical axis of the imaging optical system is set from the back surface side of the display device toward the display device;
An image processing apparatus that performs image processing based on image information of a subject imaged by the imaging unit;
An information database holding information on a specific subject,
The image processing device is based on an analysis result by the user information analysis unit, a user information analysis unit that analyzes a state of a user who operates the display device as a subject from the front side of the display device based on the image information, A display system comprising: a display control unit that obtains subject information from the information database and displays the information on the display device.
前記画像情報と前記距離情報とを用いて、3次元空間上のユーザの目の位置を検出する目位置検出部と、
前記画像情報と前記距離情報とを用いて、3次元空間上のユーザの手の位置、及び該ユーザの手の形状を検出する手位置・形状検出部と、を有し、
前記ユーザ情報解析部は、前記ユーザの状態として、前記ユーザの目の位置及び手の位置と前記ユーザの手の形状とを解析し、該ユーザの手の形状が所定の形状に該当していると判断した場合、3次元空間上の前記目の位置と前記手の所定位置とを結ぶ線上にある特定の被写体を判別し、
前記表示制御部は、前記判別した被写体の情報を前記情報データベースから取得して前記表示装置に表示させることを特徴とする請求項1に記載の表示システム。 A distance information generation unit that generates distance information between the imaging unit and the subject;
Using the image information and the distance information, an eye position detector that detects the position of the user's eyes in a three-dimensional space;
Using the image information and the distance information, the position of the user's hand in a three-dimensional space, and a hand position / shape detection unit for detecting the shape of the user's hand,
The user information analysis unit analyzes the position of the user's eyes and the position of the hand and the shape of the user's hand as the state of the user, and the shape of the user's hand corresponds to a predetermined shape. And determining a specific subject on a line connecting the eye position in the three-dimensional space and the predetermined position of the hand,
The display system according to claim 1, wherein the display control unit acquires information about the determined subject from the information database and displays the information on the display device.
前記距離情報生成部は、前記2つの撮像装置により撮像された画像から画像間の視差を算出し、該算出した視差に基づいて前記撮像された画像内の被写体について前記撮像部からの距離情報を算出し、
前記ユーザ情報解析部は、前記算出した距離情報に基づいて3次元空間内の被写体の位置を算出することを特徴とする請求項2に記載の表示システム。 The imaging unit is composed of two imaging devices,
The distance information generation unit calculates a parallax between images from images captured by the two imaging devices, and calculates distance information from the imaging unit for a subject in the captured image based on the calculated parallax. Calculate
The display system according to claim 2, wherein the user information analysis unit calculates a position of a subject in a three-dimensional space based on the calculated distance information.
前記ユーザ情報解析部は、前記撮像装置により撮像された画像と、前記距離情報生成部により生成された距離情報とに基づいて、3次元空間内の被写体の位置を算出することを特徴とする請求項2に記載の表示システム。 The distance information generation unit generates the distance information by a distance measuring unit that measures a distance from a subject within an angle of view captured by the imaging unit to the imaging unit,
The user information analysis unit calculates a position of a subject in a three-dimensional space based on an image captured by the imaging device and distance information generated by the distance information generation unit. Item 3. The display system according to Item 2.
前記表示制御部は、該取得した特徴情報に応じた所定の情報を前記表示装置に表示させることを特徴とする請求項1〜6のいずれか1に記載の表示システム。 The user information analysis unit includes a face information analysis unit that analyzes information of a user's face from image information captured by the imaging unit, and the face information analysis unit includes the age, sex, and facial expression of the user. Get at least one feature information
The display system according to claim 1, wherein the display control unit causes the display device to display predetermined information corresponding to the acquired feature information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011271956A JP2013125985A (en) | 2011-12-13 | 2011-12-13 | Display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011271956A JP2013125985A (en) | 2011-12-13 | 2011-12-13 | Display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013125985A true JP2013125985A (en) | 2013-06-24 |
Family
ID=48777026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011271956A Pending JP2013125985A (en) | 2011-12-13 | 2011-12-13 | Display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013125985A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015009058A (en) * | 2013-07-01 | 2015-01-19 | 株式会社三洋物産 | Game machine |
JP2015015025A (en) * | 2013-07-03 | 2015-01-22 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Adjusting transparent display with image capturing device |
WO2015104884A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Information processing system, information processing method, and program |
WO2016051521A1 (en) * | 2014-09-30 | 2016-04-07 | 三菱電機エンジニアリング株式会社 | Screen operation device and screen operation method |
WO2016051520A1 (en) * | 2014-09-30 | 2016-04-07 | 三菱電機エンジニアリング株式会社 | Cursor control device and cursor control method |
JP2016130987A (en) * | 2015-01-15 | 2016-07-21 | 三菱電機株式会社 | Pointing device, pointing method and program |
WO2018042639A1 (en) * | 2016-09-02 | 2018-03-08 | 楽天株式会社 | Information processing device, information processing method, and program |
JP2019533324A (en) * | 2016-09-09 | 2019-11-14 | グーグル エルエルシー | 3D telepresence system |
-
2011
- 2011-12-13 JP JP2011271956A patent/JP2013125985A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015009058A (en) * | 2013-07-01 | 2015-01-19 | 株式会社三洋物産 | Game machine |
JP2015015025A (en) * | 2013-07-03 | 2015-01-22 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Adjusting transparent display with image capturing device |
CN105874409A (en) * | 2014-01-08 | 2016-08-17 | 索尼公司 | Information processing system, information processing method, and program |
WO2015104884A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Information processing system, information processing method, and program |
JPWO2015104884A1 (en) * | 2014-01-08 | 2017-03-23 | ソニー株式会社 | Information processing system, information processing method, and program |
JPWO2016051520A1 (en) * | 2014-09-30 | 2017-04-27 | 三菱電機エンジニアリング株式会社 | Cursor control device and cursor control method |
WO2016051520A1 (en) * | 2014-09-30 | 2016-04-07 | 三菱電機エンジニアリング株式会社 | Cursor control device and cursor control method |
WO2016051521A1 (en) * | 2014-09-30 | 2016-04-07 | 三菱電機エンジニアリング株式会社 | Screen operation device and screen operation method |
JP2016130987A (en) * | 2015-01-15 | 2016-07-21 | 三菱電機株式会社 | Pointing device, pointing method and program |
WO2018042639A1 (en) * | 2016-09-02 | 2018-03-08 | 楽天株式会社 | Information processing device, information processing method, and program |
JP6373546B2 (en) * | 2016-09-02 | 2018-08-15 | 楽天株式会社 | Information processing apparatus, information processing method, and program |
JPWO2018042639A1 (en) * | 2016-09-02 | 2018-10-04 | 楽天株式会社 | Information processing apparatus, information processing method, and program |
JP2019533324A (en) * | 2016-09-09 | 2019-11-14 | グーグル エルエルシー | 3D telepresence system |
JP2022009242A (en) * | 2016-09-09 | 2022-01-14 | グーグル エルエルシー | Three-dimensional telepresence system |
JP7001675B2 (en) | 2016-09-09 | 2022-01-19 | グーグル エルエルシー | 3D telepresence system |
JP7443314B2 (en) | 2016-09-09 | 2024-03-05 | グーグル エルエルシー | 3D telepresence system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013125985A (en) | Display system | |
US10757373B2 (en) | Method and system for providing at least one image captured by a scene camera of a vehicle | |
US10318831B2 (en) | Method and system for monitoring the status of the driver of a vehicle | |
US10102676B2 (en) | Information processing apparatus, display apparatus, information processing method, and program | |
US10394334B2 (en) | Gesture-based control system | |
CN106415445B (en) | Techniques for viewer attention area estimation | |
Choi et al. | Detecting and tracking people using an RGB-D camera via multiple detector fusion | |
TWI242701B (en) | Autonomous moving robot | |
US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
US10007336B2 (en) | Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation | |
US10373357B2 (en) | Device and method for displaying screen based on event | |
CN104364733A (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
JP2015064513A (en) | Display device, content display method, and program | |
US20130127705A1 (en) | Apparatus for touching projection of 3d images on infrared screen using single-infrared camera | |
KR20130107981A (en) | Device and method for tracking sight line | |
JPH1124603A (en) | Information display device and information collecting device | |
KR101835363B1 (en) | Apparatus and method for continuously displaying the information of objects changed by the movement of line of sights | |
WO2016135183A1 (en) | Interactive mirror | |
US20200326783A1 (en) | Head mounted display device and operating method thereof | |
JP5964603B2 (en) | Data input device and display device | |
KR101396488B1 (en) | Apparatus for signal input and method thereof | |
KR20150108570A (en) | An augmented reality service apparatus for a mirror display by recognizing the reflected images on the mirror and method thereof | |
JP3732757B2 (en) | Image recognition method and image recognition apparatus | |
KR101961266B1 (en) | Gaze Tracking Apparatus and Method | |
JP6950644B2 (en) | Attention target estimation device and attention target estimation method |