JP2009104426A - Interactive sign system - Google Patents
Interactive sign system Download PDFInfo
- Publication number
- JP2009104426A JP2009104426A JP2007275944A JP2007275944A JP2009104426A JP 2009104426 A JP2009104426 A JP 2009104426A JP 2007275944 A JP2007275944 A JP 2007275944A JP 2007275944 A JP2007275944 A JP 2007275944A JP 2009104426 A JP2009104426 A JP 2009104426A
- Authority
- JP
- Japan
- Prior art keywords
- user
- line
- sight
- area
- signboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 24
- 210000004709 eyebrow Anatomy 0.000 description 20
- 210000001508 eye Anatomy 0.000 description 19
- 210000005252 bulbus oculi Anatomy 0.000 description 13
- 210000001331 nose Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 235000013405 beer Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明はインタラクティブ看板システムに関し、特に、たとえばレストランなどの前に設置した看板型メニュー、複数の店を紹介したり地図を表示したりしている案内看板、ポスターセッションなどの展示看板(以下、これらを総称して「看板」と呼ぶ。)を見ているユーザの視線を検出し、ユーザに対してインタラクティブに反応する、新規なインタラクティブ看板システムに関する。 The present invention relates to an interactive signage system, and in particular, a signage type menu installed in front of a restaurant, for example, a signage which introduces a plurality of stores and displays a map, an exhibition signage such as a poster session (hereinafter referred to as these) The present invention relates to a novel interactive signage system that detects the line of sight of a user who is watching, and reacts interactively to the user.
電子的にメッセージ情報を表示することができる電子看板システムが特許文献1などで知られている。そして、たとえば特許文献2には、そのような電子看板の表示装置におけるユーザの注視点あるいは注視タイミングに情報を表示する、看板システムが開示されている。 An electronic signboard system capable of displaying message information electronically is known from Patent Document 1 and the like. For example, Patent Document 2 discloses a signboard system that displays information at a user's gaze point or gaze timing in such an electronic signboard display device.
特許文献1や特許文献2に開示された看板システムでは、ユーザに対して効果的な広告情報の提供が可能になるという効果を期待できるものの、依然として、ユーザは看板を見るだけで、看板からは何の反応もユーザに対して起こさない。 Although the signboard system disclosed in Patent Document 1 or Patent Document 2 can be expected to be effective in providing effective advertising information to the user, the user can still look at the sign and No reaction to the user.
これに対して、たとえば特許文献3には、ユーザが看板広告の中味についてより詳しい情報を望むときはその情報を電子看板装置の表示装置上に呼び出すことができる、インタラクティブな電子看板システムが開示されている。
ただし、特許文献3の看板システムは、ユーザが望む情報をユーザがタッチパネルなどを操作してその電子看板装置に内蔵されているコンピュータを用いて情報を取得するだけで、いわば、コンピュータをユーザに一時的に操作可能に提供するだけのことである。しかも、この特許文献3の看板システムではユーザが欲しい情報を提供できるだけで、看板本来の機能を強化するものではない。 However, in the signage system of Patent Document 3, the user simply operates the touch panel to obtain information desired by the user and acquires the information using a computer built in the electronic signage apparatus. It is only provided to be operational. Moreover, the signboard system of Patent Document 3 can only provide information desired by the user, but does not reinforce the original function of the signboard.
それゆえに、この発明の主たる目的は、新規な、看板システムを提供することである。 Therefore, a main object of the present invention is to provide a novel signboard system.
この発明の他の目的は、ユーザに対してインタラクティブに反応することによって誘引効果を強化できる、インタラクティブ看板システムを提供することである。 Another object of the present invention is to provide an interactive signage system that can enhance the attraction effect by interactively reacting to a user.
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. Note that reference numerals in parentheses, supplementary explanations, and the like indicate correspondence with embodiments to be described later in order to help understanding of the present invention, and do not limit the present invention.
第1の発明は、複数の領域を有しかつユーザが視認できる位置に配置した看板、ユーザの視線の位置を検出する視線位置検出手段、視線位置に基づいてユーザが見ている看板の領域を特定する領域特定手段、看板の領域毎に各領域に表示した可視情報に関連する関連情報を記憶した記憶手段、および領域特定手段が特定した領域の関連情報を記憶手段から読み出して出力する関連情報出力手段を備える、インタラクティブ看板システムである。 1st invention has the area | region of the signboard which the user is looking at based on the signboard which has the some area | region and has arrange | positioned in the position which a user can visually recognize, the gaze position detection means which detects the position of a user's gaze, and a gaze position Area specifying means to be specified, storage means for storing related information related to visible information displayed in each area for each area of the signboard, and related information for reading related information of the area specified by the area specifying means from the storage means and outputting it An interactive signage system comprising output means.
第1の発明において、看板(14:実施例で相当する部分を例示する参照符号。以下同様。)がユーザ(12)の前方の、ユーザの視線が届く位置に配置される。視線位置検出手段(16,18)は、たとえば、カメラ(16)によって撮影したユーザの顔画像を視線サーバ(18)で処理することによって、ユーザの視線(12A)の方向または位置をリアルタイムに推定または検出する。領域特定手段(32,S5)は、そのときのユーザの視線の方向または位置に基づいて、ユーザが看板のどの領域(A1−A13)を見ているかを特定する。そして、関連情報出力手段(20,32,38,46,S9,S15,S17)が記憶手段(36,36A)からその領域に表示されている可視情報(V1−V13)に関連する関連情報を読み出して、たとえば、音声などによって出力する。 In the first invention, a signboard (14: reference numeral exemplifying a corresponding part in the embodiment; the same applies hereinafter) is arranged in front of the user (12) at a position where the user's line of sight can reach. The line-of-sight position detection means (16, 18) estimates the direction or position of the user's line of sight (12A) in real time, for example, by processing the face image of the user captured by the camera (16) with the line-of-sight server (18). Or detect. The area specifying means (32, S5) specifies which area (A1-A13) of the signboard the user is viewing based on the direction or position of the user's line of sight at that time. Then, the related information output means (20, 32, 38, 46, S9, S15, S17) displays the related information related to the visible information (V1-V13) displayed in the area from the storage means (36, 36A). Read out, for example, by voice.
第1の発明によれば、ユーザの視線が看板のどの領域(可視情報)を見ているかによって、その可視情報に関連する関連情報を出力することができる。可視情報がたとえば特定の商品の画像(絵)である場合、関連情報としてはその商品の特性などをユーザにさらに訴求する情報にすることが考えられる。このような場合、ユーザがその商品の画像(絵)を見たときユーザに対してその商品の特性などがインタラクティブにユーザに伝達されるので、ユーザを当該商品に誘引する看板の機能や効果を一層増進させることができる。 According to the first invention, it is possible to output related information related to visible information depending on which region (visible information) of the signboard the user's line of sight is looking at. If the visible information is, for example, an image (picture) of a specific product, the related information may be information that further appeals to the user about the characteristics of the product. In such a case, when the user views the image (picture) of the product, the characteristics of the product are interactively communicated to the user, so the function and effect of a signboard that attracts the user to the product can be achieved. It can be further improved.
また、たとえば展示物の案内看板である場合、関連情報としては、ユーザの視線によって特定した展示物の詳細情報を関連情報として出力する他、その展示物に対する混雑の程度などを関連情報として出力することにより、各展示物に対する観覧者の集中を防ぐなどの効果も期待できる。 For example, in the case of an information sign for an exhibit, as related information, detailed information on the exhibit specified by the user's line of sight is output as related information, and the degree of congestion on the exhibit is output as related information. Therefore, it is also possible to expect effects such as preventing the concentration of visitors to each exhibit.
第2の発明は、視線位置検出手段は、看板を見ているユーザの顔を撮影可能に設置されたカメラ、およびカメラで撮影した画像を用いてユーザの視線の方向を計算する計算手段を含む、請求項1記載のインタラクティブ看板システムである。 In the second invention, the line-of-sight position detection means includes a camera installed so as to be able to photograph the face of the user who is looking at the signboard, and calculation means for calculating the direction of the line of sight of the user using an image photographed by the camera. The interactive signage system according to claim 1.
第2の発明では、非接触でユーザの視線を検出するので、ユーザに何らかを操作を要求したり、ユーザに物理的または心理的負担をかけたりすることなく、自然なインタラクティブが可能となる。 In the second invention, since the user's line of sight is detected in a non-contact manner, natural interaction is possible without requiring any operation from the user or placing a physical or psychological burden on the user. .
第3の発明は、擬人的媒体をさらに備え、関連情報出力手段は、擬人的媒体を通じて関連情報を出力する、請求項1または2記載のインタラクティブ看板システムである。 The third invention is the interactive signage system according to claim 1 or 2, further comprising an anthropomorphic medium, and the related information output means outputs the related information through the anthropomorphic medium.
第3の発明では、たとえばぬいぐるみ型コミュニケーションロボットなどの擬人的媒体(エージェント)が用いられ、関連情報出力手段は、たとえば、そのぬいぐるみ型コミュニケーションロボットから音声で、あるいはそのコミュニケーションロボットの動作によって、関連情報を出力する。したがって、ユーザに対して一層親しみのある看板システムが得られる。 In the third invention, for example, an anthropomorphic medium (agent) such as a stuffed toy communication robot is used, and the related information output means is related information by, for example, voice from the stuffed toy communication robot or by the operation of the communication robot. Is output. Therefore, a signboard system that is more familiar to the user can be obtained.
なお、この発明の看板は、可視情報を固定的に表示したものであってよく、あるいは電子看板のように視情報を変更できる看板であってもよい。 The signboard according to the present invention may be a fixed display of visible information, or may be a signboard whose visual information can be changed like an electronic signboard.
この発明によれば、ユーザが看板のどの領域を見ているかによって、その領域に関連する関連情報を出力するようにしているため、看板と関連情報とを組み合わせることによって、看板のユーザに対する吸引または誘引機能を一層増進させることができる。 According to the present invention, since the relevant information related to the area is output depending on which area of the signboard the user is viewing, the signboard and the related information are combined, so The attraction function can be further enhanced.
この発明の上述の目的,その他の目的,特徴,および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1に示すこの発明の一実施例のインタラクティブ看板システム(以下、単に「看板システム」と呼ぶこともある。)10は、ユーザ12の視線を検出することによって、ユーザ12が注視しているメニュー看板14の位置または領域がどこであるか判断し、その位置または領域に関連する関連情報をたとえば音声メッセージとして出力するものである。 An interactive signboard system (hereinafter also simply referred to as “signboard system”) 10 according to an embodiment of the present invention illustrated in FIG. 1 detects a menu of the user 12 by detecting the line of sight of the user 12. The position or area of the signboard 14 is determined, and related information related to the position or area is output as, for example, a voice message.
ユーザ12の視線方向または位置は、後に詳しく説明するように、視線サーバ18がカメラ16からの顔画像データまたは信号を処理することによって、リアルタイムで検出または判定する。 The line-of-sight direction or position of the user 12 is detected or determined in real time as the line-of-sight server 18 processes face image data or signals from the camera 16 as will be described in detail later.
看板14は図2に示すように、複数の(実施例では13個の)領域A1‐A13に区分でき、各領域A1‐A13には、個別の可視情報V1‐V13が固定的に表示されている。つまり、この看板14は、その表示面に可視情報を描いたまたは印刷した一般的な看板であってよく、表示内容を可変する電子看板でなくてもよい。ただし、電子看板の使用を排除するものではない。 As shown in FIG. 2, the signboard 14 can be divided into a plurality of (in the embodiment, 13) areas A1-A13, and individual visible information V1-V13 is fixedly displayed in each area A1-A13. Yes. That is, the signboard 14 may be a general signboard in which visible information is drawn or printed on the display surface, and may not be an electronic signboard that changes display contents. However, the use of electronic signage is not excluded.
看板14は、実施例では、レストランや食堂の前に立てかけられる看板型メニューであり、したがって、その表示面に表示されている可視情報V1‐V13はいずれもそのレストラン等が提供できる食事や食品の画像(絵や写真)である。たとえば、領域A1の可視情報V1は「ビール」の絵であり、領域A2の可視情報V2は「ビフテキ」の絵であり、…、領域A13の可視情報V13は「唐揚」の絵である。 In the embodiment, the signboard 14 is a signboard-type menu set up in front of a restaurant or canteen. Therefore, any of the visible information V1-V13 displayed on the display surface of the meal or food that can be provided by the restaurant or the like. It is an image (picture or photo). For example, the visible information V1 of the area A1 is a picture of “beer”, the visible information V2 of the area A2 is a picture of “Bifuteki”,..., And the visible information V13 of the area A13 is a picture of “Karaage”.
ただし、このような看板14の上に設定される領域の数やそれらの領域に個別に表示される可視情報は、その看板が何の目的の看板であるかによって、当然、任意に変更され得ることは容易に理解されよう。 However, the number of areas set on the signboard 14 and the visible information individually displayed in those areas can be changed arbitrarily depending on the purpose of the signboard. That will be easily understood.
この実施例の看板システム10では、ユーザ12の主として顔を撮影するカメラ16を用いて、ユーザ12の視線の方向や位置をリアルタイムで検出し、その視線の方向や位置に応じて、擬人的媒体の一例である、ぬいぐるみ型コミュニケーションロボット(以下、単に「ぬいぐるみ」と呼ぶこともある。)20の発話や動作を通じて、看板14の領域A1‐A13の個別の関連情報を、メッセージ22として出力することによって、ユーザ12に対してインタラクティブな看板システムを実現する。 In the signboard system 10 of this embodiment, the direction and position of the user's line of sight is detected in real time using a camera 16 that mainly captures the face of the user 12, and an anthropomorphic medium is detected according to the direction and position of the line of sight. As an example, the individual related information of the area A1-A13 of the signboard 14 is output as a message 22 through the utterance and operation of the stuffed toy communication robot (hereinafter sometimes simply referred to as “stuffed toy”) 20. Thus, an interactive signage system for the user 12 is realized.
なお、実施例では擬人的媒体としてぬいぐるみ20を利用するが、擬人的媒体とは、人間のように発話できたり、あるいは人間のような動作ができたりする媒体のことであり、他の形式のヒューマノイドやコミュニケーションロボットなども、この擬人的媒体として十分機能できる。 In the embodiment, the stuffed toy 20 is used as an anthropomorphic medium, but the anthropomorphic medium is a medium that can speak like a human or can operate like a human. Humanoids and communication robots can function well as this anthropomorphic medium.
図3は図1実施例を俯瞰した状態を図解する図解図であり、図4はそれを側面から見た図解図である。これらの図からわかるように、ユーザ12の前方に、ユーザ12が視認できるように看板14が設置される。そして、カメラ16はユーザ12の顔前面を撮影できるように設置されている。 FIG. 3 is an illustrative view illustrating the state in which the embodiment of FIG. 1 is looked down on, and FIG. 4 is an illustrative view of the state viewed from the side. As can be seen from these drawings, a signboard 14 is installed in front of the user 12 so that the user 12 can visually recognize it. The camera 16 is installed so that the front face of the user 12 can be photographed.
ユーザ12の視線12Aが、看板14に正対する方向の線vlineに対してずれている角度が旋回角αであり、視線12Aが水平線hlineに対してずれている角度が俯仰角βとして図1の視線サーバ18によってリアルタイムに計算される。そして、ぬいぐるみ20に関連して設けられる(内蔵される)コンピュータ32(図6)がその検出角度αおよびβからその視線12Aの方向または位置を特定し、その視線12Aの方向または位置に応じて、ぬいぐるみ20の動作および/または発話によって、ユーザ12に対して領域関連情報を出力するのである。 The angle at which the line of sight 12A of the user 12 deviates from the line vline in the direction facing the signboard 14 is the turning angle α, and the angle at which the line of sight 12A deviates from the horizontal line hline is the elevation angle β in FIG. It is calculated in real time by the line-of-sight server 18. Then, a computer 32 (FIG. 6) provided (incorporated) in association with the stuffed toy 20 specifies the direction or position of the line of sight 12A from the detection angles α and β, and according to the direction or position of the line of sight 12A. The region-related information is output to the user 12 by the operation and / or speech of the stuffed toy 20.
図5にはぬいぐるみ20が図示される。このぬいぐるみ20は、頭部21とそれを支える胴体23とを含む。胴体23の上部に左右の左腕24Lおよび右腕24Rが設けられ、頭部21には、前面に口26が配置され、その口26の上方には眼球28が設けられる。頭部21の上部側面は耳30が取り付けられている。 FIG. 5 shows a stuffed animal 20. The stuffed toy 20 includes a head 21 and a body 23 that supports the head 21. Left and right left arms 24L and 24R are provided on the upper portion of the body 23, the head 21 is provided with a mouth 26 on the front surface, and an eyeball 28 is provided above the mouth 26. An ear 30 is attached to the upper side surface of the head 21.
頭部21は胴体23によって、旋回・俯仰可能に支持され、また、眼球28も可動的に保持されている。口26にはスピーカ48(図5)が内蔵されていて、耳30にはマイク50(図6)が内蔵されている。なお、マイク50を両方の耳30にそれぞれ内蔵すれば、ステレオマイクとして機能し、それによって、そのステレオマイクに入力された音声の位置を必要に応じて特定することができる。 The head 21 is supported by the body 23 so as to be able to turn and rise, and the eyeball 28 is also held movably. The mouth 26 has a built-in speaker 48 (FIG. 5), and the ear 30 has a built-in microphone 50 (FIG. 6). If the microphones 50 are incorporated in both ears 30, respectively, the microphones 50 function as stereo microphones, whereby the position of the sound input to the stereo microphones can be specified as necessary.
図6はぬいぐるみ14の制御回路を示すブロック図であり、この図6に示すように、実施例のぬいぐるみ20にはコンピュータ32が内蔵されていて、このコンピュータ32が、通信路の一例であるバス34を通して、図1に示す視線サーバ18に結合される。したがって、コンピュータ32は、視線サーバ18が特定または検出したユーザ12の視線方向や位置を示すデータをこのバス34を通して刻々受け取ることができる。ただし、通信路はバス34であっても、その他の形式の通信路であっても、さらには無線であっても、有線であってもよい。 FIG. 6 is a block diagram showing a control circuit of the stuffed toy 14. As shown in FIG. 6, the stuffed toy 20 of the embodiment has a built-in computer 32, and this computer 32 is a bus as an example of a communication path. 34 is coupled to the line-of-sight server 18 shown in FIG. Therefore, the computer 32 can receive data indicating the line-of-sight direction and position of the user 12 identified or detected by the line-of-sight server 18 through the bus 34 every moment. However, the communication path may be the bus 34, another type of communication path, wireless, or wired.
コンピュータ32には、バス34を介してメモリ36が結合される。このメモリ36には図示しないROMやRAMが組み込まれていて、ROMには主として、後述のフローチャート(図21)で表現されるプログラムが予め記憶されているとともに、ぬいぐるみ20の各フェーズ(内部状態)の動作と発話(音声)とを対応的に設定している、領域‐関連情報テーブルの一例であるメッセージテーブル36Aが予め設定されている。このメッセージテーブル36Aは、ぬいぐるみ20から関連情報として出力する発話や動作を各領域に対応させて設定したものである。RAMは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用され得る。 A memory 36 is coupled to the computer 32 via a bus 34. The memory 36 incorporates a ROM and a RAM (not shown). The ROM mainly stores a program represented by a flowchart (FIG. 21) described later, and each phase (internal state) of the stuffed toy 20. A message table 36A, which is an example of a region-related information table, is set in advance, in which the operation and the utterance (voice) are set correspondingly. In this message table 36A, utterances and actions output as related information from the stuffed toy 20 are set corresponding to each area. The RAM is used as a temporary storage memory and can be used as a working memory.
モータ制御ボード38は、たとえばDSP(Digital Signal Processor)で構成され、図5に示すぬいぐるみ20の各腕や頭部の各軸モータを制御する。すなわち、モータ制御ボード38は、コンピュータ32からの制御データを受け、右腕24R(図5)を前後や左右に動かすことができるように、X,YおよびZ軸のそれぞれの角度を制御する3つのモータ(図6ではまとめて、「右腕モータ」として示す。)40Rの回転角度を調節する。また、モータ制御ボード38は、左腕24Lの3つのモータ(図6ではまとめて、「左腕モータ」として示す。)40Lの回転角度を調節する。モータ制御ボード38は、また、頭部21の旋回角や俯仰角を制御する3のモータ(図6ではまとめて、「頭部モータ」として示す。)42の回転角度を調節する。モータ制御ボード38は、また、眼球28を動かす眼球モータ44も制御する。 The motor control board 38 is composed of, for example, a DSP (Digital Signal Processor), and controls each axis motor of each arm and head of the stuffed toy 20 shown in FIG. That is, the motor control board 38 receives the control data from the computer 32, and controls three angles for the X, Y, and Z axes so that the right arm 24R (FIG. 5) can be moved back and forth and left and right. The rotation angle of the motor 40R (collectively shown as “right arm motor” in FIG. 6) 40R is adjusted. The motor control board 38 also adjusts the rotation angle of three motors 40L of the left arm 24L (collectively shown as “left arm motor” in FIG. 6) 40L. The motor control board 38 also adjusts the rotation angle of three motors 42 (collectively shown as “head motors” in FIG. 6) that control the turning angle and the elevation angle of the head 21. The motor control board 38 also controls an eyeball motor 44 that moves the eyeball 28.
なお、上述のモータは、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、直流モータであってよい。 The motors described above are stepping motors or pulse motors for simplifying the control, but may be direct current motors.
スピーカ48には音声入力/出力ボード46を介して、コンピュータ32から、合成音声データが与えられ、それに応じて、スピーカ48からはそのデータに従った音声または声が関連情報として出力される。そして、マイク50からの音声入力が、必要に応じて、音声入力/出力ボード46を介して、コンピュータ32に取り込まれる。 Synthetic voice data is given to the speaker 48 from the computer 32 via the voice input / output board 46, and accordingly, voice or voice according to the data is output from the speaker 48 as related information. Then, the voice input from the microphone 50 is taken into the computer 32 via the voice input / output board 46 as necessary.
センサ入力/出力ボード52も、同様に、DSPで構成され、各センサやカメラからの信号を取り込んでコンピュータ32に与えるが、実施例ではあまり関係がないので、ここでは、そのセンサなどの詳細な説明は省略する。 Similarly, the sensor input / output board 52 is also configured by a DSP, and takes in signals from each sensor and camera and gives them to the computer 32. However, since there is not much relation in the embodiment, the details of the sensors and the like will be described here. Description is omitted.
また、この実施例では、ぬいぐるみ20が自律的に自己の動作や発話を制御する図6のような制御回路を持つものとして説明するが、1台またはそれ以上のコンピュータを制御回路として、ぬいぐるみ20とは別に設けるようにしてもよい。 In this embodiment, the stuffed toy 20 is described as having a control circuit as shown in FIG. 6 that autonomously controls its own operation and speech. However, the stuffed toy 20 has one or more computers as control circuits. You may make it provide separately.
図7には関連情報テーブルすなわち実施例のメッセージテーブル36Aの一例が図解される。このメッセージテーブル36Aには、看板14の領域A1‐A13にそれぞれ対応する記憶場所が設定されていて、各記憶場所には、領域Aの範囲を示す座標データが設定されていて、その座標データは、たとえば領域A1は、X座標(看板14の横方向)の範囲がxn1‐xn2でY座標(看板14の縦方向)の範囲がym1−ym2であることを示す。そして、各記憶場所には関連情報SMを示すデータがまた個別に設定されている。先に説明したように、この実施例では、看板14のたとえば領域A1には、可視情報V1として「ビール」の絵が描かれているので、関連情報でSM1としてはたとえば「暑いですね。冷たいビールで一杯」という発話データが設定されている。このように関連情報はその領域に表示されている商品に関連していて、かつその商品の特性や詳細をユーザに対して訴求する音声メッセージおよび/または動作メッセージである。 FIG. 7 illustrates an example of the related information table, that is, the message table 36A of the embodiment. In this message table 36A, storage locations respectively corresponding to the areas A1-A13 of the signboard 14 are set, and coordinate data indicating the range of the area A is set in each storage location. For example, the area A1 indicates that the range of the X coordinate (horizontal direction of the signboard 14) is xn1-xn2 and the range of the Y coordinate (vertical direction of the signboard 14) is ym1-ym2. Each storage location is individually set with data indicating related information SM. As described above, in this embodiment, since a picture of “beer” is drawn as the visible information V1 in the area A1 of the signboard 14, for example, SM1 is “hot. The utterance data is set as “full of beer”. As described above, the related information is a voice message and / or an operation message that is related to the product displayed in the area and appeals to the user about the characteristics and details of the product.
ただし、このメッセージテーブル36Aには、ユーザ12の視線が一点(1つの領域)を注視せず、「キョロキョロ」しているときに出力するための図示したメッセージ(発話/動作)が関連情報として設定されている。 However, in the message table 36A, the illustrated message (speech / action) to be output when the line of sight of the user 12 does not gaze at one point (one area) and is “Kyo Koryo” is set as related information. Has been.
実施例ではさらにまた、ユーザ12の視線がちょっとだけ看板14を見たときにユーザ12を勧誘するための図示した発話/動作メッセージが関連情報の一種として設定されている。 Further, in the embodiment, the illustrated utterance / motion message for soliciting the user 12 when the user's 12 line of sight looks at the signboard 14 is set as a kind of related information.
このような実施例において、まず、ユーザ12の視線を推定する方法について説明する。この実施例では、以下に説明するように、ユーザ12の視線方向を推定または検出するために1つのカメラ(単眼カメラ)を用いるユニークな方法を採用している。しかしながら、ユーザ12の視線12A(図3,図4)を検出する方法としては、2以上のカメラを利用する従来からの一般的な方法が採用されてもよいことは、勿論である。つまり、この発明では、ユーザ12の視線を推定したり検出したりする必要はあるが、その具体的な方法は重要な意味を持たず、どのような公知の方法が用いられてもよい。 In such an embodiment, first, a method for estimating the line of sight of the user 12 will be described. In this embodiment, as will be described below, a unique method using one camera (monocular camera) is used to estimate or detect the direction of the line of sight of the user 12. However, as a method of detecting the line of sight 12A (FIGS. 3 and 4) of the user 12, it is needless to say that a conventional general method using two or more cameras may be employed. That is, in the present invention, it is necessary to estimate and detect the line of sight of the user 12, but the specific method has no significant meaning, and any known method may be used.
図1に示すように、ユーザ12の前方に、たとえばCCD(Charge Coupled Device)
またはCMOS(Complementary Metal-Oxide Semiconductor)センサのような固体撮像
素子を含むカメラ16が設置され、このカメラ16からの顔画像信号が視線サーバ18に取り込まれ、視線サーバ18が画像処理することによって、視線12Aの角度αおよびβを推定する。
As shown in FIG. 1, in front of the user 12, for example, a CCD (Charge Coupled Device)
Alternatively, a camera 16 including a solid-state imaging device such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor is installed, a face image signal from the camera 16 is taken into the line-of-sight server 18, and the line-of-sight server 18 performs image processing. The angles α and β of the line of sight 12A are estimated.
図8に示すように、カメラ16により撮影された画像は、視線サーバ18に附属して設けたディスプレイ54(図1では図示せず)の撮影画像表示領域56にリアルタイムに動画として表示される。特に限定されないが、たとえば、撮影画像表示領域56上に、視線方向を示す指標として、眉間から視線方向に延びる線分を表示してもよい。 As shown in FIG. 8, an image captured by the camera 16 is displayed as a moving image in real time on a captured image display area 56 of a display 54 (not shown in FIG. 1) provided attached to the line-of-sight server 18. Although not particularly limited, for example, a line segment extending in the line of sight from the eyebrows may be displayed on the captured image display area 56 as an index indicating the line of sight.
視線サーバ18は、一般的なコンピュータであり、特に変わったハードウェア構成ではないので、ハードウェア自体は説明しないが、視線方向や視線位置の推定は、いかに説明するソフトウェアにより実現される。 The line-of-sight server 18 is a general computer and does not have a particularly unusual hardware configuration. Therefore, the hardware itself is not described, but estimation of the line-of-sight direction and line-of-sight position is realized by software described below.
視線サーバ18では、特徴点の追跡処理の安定性を確保するため、同一特徴点に関して異なるフレームにおける複数の観測テクスチャを保持している。初期校正過程では、これらの特徴点と虹彩中心の関係から顔特徴点と眼球中心の相対関係を求める。視線推定過程では、校正過程で得られた関係を元に現フレームで得られている特徴点群から眼球中心位置を推定し、その位置と虹彩中心位置から視線方向を決定する。 The line-of-sight server 18 holds a plurality of observed textures in different frames for the same feature point in order to ensure the stability of the feature point tracking process. In the initial calibration process, the relative relationship between the face feature point and the eyeball center is obtained from the relationship between these feature points and the iris center. In the gaze estimation process, the eyeball center position is estimated from the feature point group obtained in the current frame based on the relationship obtained in the calibration process, and the gaze direction is determined from the position and the iris center position.
視線方向の推定処理の動作の前提として、まず、たとえば6分割矩形フィルタを利用して、顔検出処理が実行される。 As a premise of the operation of the gaze direction estimation process, first, for example, a face detection process is executed using a six-divided rectangular filter.
視線サーバ18では、特に限定されないが、たとえば、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルタで画面を走査する。矩形は、たとえば、3×2に6分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。 The line-of-sight server 18 is not particularly limited. For example, when processing a video image obtained by continuously capturing a face, the screen is scanned with a rectangular filter having a horizontal width of the face and a vertical size of about a half thereof. The rectangle is divided into, for example, 3 × 2, and the average brightness of each divided region is calculated, and when the relative brightness relationship is satisfied, the center of the rectangle is set as a candidate for the eyebrows.
連続した画素が眉間候補となるときは、それを取囲む枠の中心候補のみを眉間候補として残す。残った眉間候補を標準パターンと比較してテンプレートマッチング等を行うことで、上述した手続きで得られた眉間候補のうちから、偽の眉間候補を捨て、真の眉間を抽出する。以下、さらに詳しく説明する。 When consecutive pixels become the eyebrow candidate, only the center candidate of the frame surrounding it is left as the eyebrow candidate. By performing template matching or the like by comparing the remaining eyebrow candidates with the standard pattern, the false eyebrow candidates are discarded from the eyebrow candidates obtained by the above-described procedure, and the true eyebrow space is extracted. This will be described in more detail below.
図9は、眉間候補領域を検出するためのフィルタを説明するための概念図であり、図9(a)は、上述した3×2に6分割された矩形フィルタ(以下、「6分割矩形フィルタ」
と呼ぶ)を示す。
FIG. 9 is a conceptual diagram for explaining a filter for detecting an eyebrow candidate region. FIG. 9A shows the above described 3 × 2 rectangular filter (hereinafter referred to as “6-divided rectangular filter”). "
Called).
6分割矩形フィルタは、(1) 鼻筋は両目領域よりも明るい、(2) 目領域は頬部よりも暗い、という顔の特徴を抽出し、顔の眉間位置を求めるフィルタである。たとえば、1点(x、y)を中心として、横i画素、縦j画素(i,j:自然数)の矩形の枠を設ける。そして、図9(a)のように、この矩形の枠を、横に3等分、縦に2等分して、6個のブロックS1〜S6に分割する。 The six-divided rectangular filter is a filter that extracts facial features such as (1) nose muscles are brighter than both eye regions and (2) eye regions are darker than the cheeks, and obtains the position between the eyebrows. For example, a rectangular frame of horizontal i pixels and vertical j pixels (i, j: natural number) is provided centering on one point (x, y). Then, as shown in FIG. 9A, this rectangular frame is divided into three equal parts horizontally and two equal parts vertically, and is divided into six blocks S1 to S6.
このような6分割矩形フィルタを顔画像の両目領域および頬部に当てはめてみると、図9(b)のようになる。 When such a 6-divided rectangular filter is applied to both eye regions and cheeks of a face image, the result is as shown in FIG.
ただし、図9の6分割フィルタは書く矩形領域が等分されたものであったが、このフィルタは図10に示すように変形されてもよい。 However, although the 6-divided filter of FIG. 9 is an equally divided rectangular area to be written, this filter may be modified as shown in FIG.
鼻筋の部分が目の領域よりも通常は狭いことを考慮すると、ブロックS2およびS5の横幅w2は、ブロックS1,S3,S4およびS6の横幅w1よりも狭い方がより望ましい。好ましくは、幅w2は幅w1の半分とすることができる。図10は、このような場合の6分割矩形フィルタの構成を示す。また、ブロックS1、S2およびS3の縦幅h1と、ブロックS4、S5およびS6の縦幅h2とは、必ずしも同一である必要もない。 Considering that the nose muscle portion is usually narrower than the eye region, it is more desirable that the width w2 of the blocks S2 and S5 is narrower than the width w1 of the blocks S1, S3, S4 and S6. Preferably, the width w2 can be half of the width w1. FIG. 10 shows the configuration of a six-divided rectangular filter in such a case. Further, the vertical width h1 of the blocks S1, S2 and S3 and the vertical width h2 of the blocks S4, S5 and S6 are not necessarily the same.
図10に示す6分割矩形フィルタにおいて、それぞれのブロックSi(1≦i≦6)について、画素の輝度の平均値「バーSi」(Siに上付きの“−”をつける)を求める。 In the six-divided rectangular filter shown in FIG. 10, the average value “bar Si” (added with a superscript “−”) of pixel luminance is obtained for each block Si (1 ≦ i ≦ 6).
ブロックS1に1つの目と眉が存在し、ブロックS3に他の目と眉が存在するものとすると、以下の関係式(1)および(2)が成り立つ。 Assuming that one eye and eyebrows exist in the block S1 and another eye and eyebrows exist in the block S3, the following relational expressions (1) and (2) hold.
そこで、これらの関係を満たす点を眉間候補(顔候補)として抽出する。 Therefore, a point satisfying these relationships is extracted as an eyebrow candidate (face candidate).
矩形枠内の画素の総和を求める処理には、公知の文献(P. Viola and M. Jones, “ Rapid Object Detection using a Boosted Cascade of Simple Features,” Proc. Of IEEE
Conf. CVPR, 1, pp.511-518, 2001)において開示されている、インテグラルイメージ(Integral Image)を利用した計算の高速化手法を取り入れることができる。インテグラルイメージを利用することでフィルタの大きさに依らず高速に実行することができる。多重解像度画像に本手法を適用することにより、画像上の顔の大きさが変化した場合にも顔候補の抽出が可能となる。
For the process of calculating the sum of pixels in a rectangular frame, a known document (P. Viola and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Proc. Of IEEE
Conf. CVPR, 1, pp.511-518, 2001), it is possible to incorporate a high-speed calculation method using an integral image. By using an integral image, it can be executed at high speed regardless of the size of the filter. By applying this method to a multi-resolution image, face candidates can be extracted even when the size of the face on the image changes.
このようにして得られた眉間候補(顔候補)に対しては、両目の標準パターンとのテンプレートマッチングにより、真の眉間位置(真の顔領域)を特定することができる。 For the eyebrow candidate (face candidate) obtained in this way, the true eyebrow position (true face region) can be specified by template matching with the standard pattern of both eyes.
なお、得られた顔候補に対して、サポートベクトルマシン(SVM)による顔モデルに
よる検証処理を適用し顔領域を決定することもできる。髪型の違いや髭の有無、表情変化による認識率の低下を避けるため、たとえば、図11に示すように、眉間を中心とした画像領域を利用してSVMによるモデル化を行うことができる。なお、このようなSVMによる真の顔領域の決定については、文献:S. Kawato, N. Tetsutani and K. Hosaka: “Scale-adaptive face detection and tracking in real time with ssr fi1ters and support vector machine”, IEICE Trans.on Info. and Sys., E88−D, 12, pp.2857−2863(2005)に開示されている。6分割矩形フィルタによる高速候補抽出とSVMによる処理とを組み合わせることで実時間の顔検出が可能である。
Note that a face area can be determined by applying verification processing using a face model by a support vector machine (SVM) to the obtained face candidates. In order to avoid a reduction in recognition rate due to differences in hairstyles, presence or absence of wrinkles, and changes in facial expressions, for example, as shown in FIG. 11, modeling by SVM can be performed using an image area centered between the eyebrows. For the determination of the true face area by SVM, refer to S. Kawato, N. Tetsutani and K. Hosaka: “Scale-adaptive face detection and tracking in real time with ssr fi1ters and support vector machine”, IEICE Trans. on Info. and Sys., E88-D, 12, pp. 2857-2863 (2005). Real-time face detection is possible by combining high-speed candidate extraction with a six-divided rectangular filter and processing by SVM.
続いて、目、鼻や虹彩中心の位置を、公知の文献、たとえば『川戸、内海、安部:「4つの参照点と3枚のキャリブレーション画像に基づく単眼カメラからの視線推定」画像の認識・理解シンポジウム(MIRU2005),pp.1337−1342(2005)』あるいは、『川戸慎二郎、鉄谷信二:鼻位置の検出とリアルタイム追跡:信学技報IE2002−263、pp.25−29(2003)』などの手法を用いて抽出する。 Subsequently, the position of the eyes, nose, and iris center is recognized by a known document, for example, “Kawado, Utsumi, Abe:“ Gaze estimation from a monocular camera based on four reference points and three calibration images ”. Understanding Symposium (MIRU2005), pp. 1337-1342 (2005) ”or“ Shinjiro Kawato, Shinji Tetsuya: Detection of nose position and real-time tracking: IEICE Technical Report IE2002-263, pp. 25-29 (2003) ”.
両目の位置については、前節の顔領域検出で眉間のパターンを探索しているため、眉間の両側の暗い領域を再探索することにより、大まかな両目の位置を推定することができる。しかし、視線方向の推定のためには、虹彩中心をより正確に抽出する必要がある。ここでは、上で求まった目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩および虹彩の中心の投影位置を検出する。 As for the positions of both eyes, since the pattern of the eyebrows is searched for by detecting the face area in the previous section, the positions of the eyes can be roughly estimated by searching again for the dark areas on both sides of the eyebrows. However, it is necessary to extract the iris center more accurately in order to estimate the gaze direction. Here, for the peripheral region of the eye obtained above, iris edge candidates are extracted by Laplacian, and the Hough transform of the circle is applied to detect the projection position of the iris and the center of the iris.
鼻の位置は、鼻先が凸曲面であるため周囲に対し明るい点として観測されやすいことと、両目の位置から鼻の存在範囲が限定できることを利用して抽出する。また、両目、鼻の位置を用いて、大体の顔の向きも推定できる。 The nose position is extracted by utilizing the fact that the nose tip is a convex curved surface, so that it can be easily observed as a bright spot with respect to the surroundings, and the nose presence range can be limited from the positions of both eyes. In addition, the orientation of the approximate face can be estimated using the positions of both eyes and nose.
図12は顔検出結果の例を示す図である。検出された顔において、虹彩中心や鼻先や口なども検出されている。たとえば、特徴点としては、鼻先や、左右の目の目尻や目頭、口の両端、鼻腔中心などを用いることができる。 FIG. 12 is a diagram illustrating an example of a face detection result. In the detected face, the iris center, nose tip and mouth are also detected. For example, nose tips, left and right eye corners and eyes, both ends of the mouth, and the center of the nasal cavity can be used as the feature points.
視線の推定においては、視線方向は眼球中心と虹彩中心を結ぶ3次元直線として与えられるものとする。 In the gaze estimation, the gaze direction is given as a three-dimensional straight line connecting the eyeball center and the iris center.
図13は視線方向を決定するためのモデルを説明する概念図である。画像上での眼球半径をr、画像上での眼球中心と虹彩中心との距離をdとすると、視線方向とカメラ光軸と
のなす角θは次式(3)で表される。
FIG. 13 is a conceptual diagram illustrating a model for determining the line-of-sight direction. If the eyeball radius on the image is r and the distance between the center of the eyeball and the iris center on the image is d, the angle θ formed by the line-of-sight direction and the camera optical axis is expressed by the following equation (3).
式(3)により、視線方向を推定するためには、画像上での眼球半径と眼球中心・虹彩中心の投影位置が必要となる。ここで、虹彩中心の投影位置については、上述したとおり、ハフ変換を用いた手法により求めることができる。画像上での眼球直径rは、解剖学的なモデル(標準的な人の眼球直径)を用いてもよいし、別途キャリブレーションにより求めてもよい。 In order to estimate the line-of-sight direction using Equation (3), the eyeball radius on the image and the projection positions of the eyeball center and iris center are required. Here, as described above, the projection position of the iris center can be obtained by the method using the Hough transform. The eyeball diameter r on the image may be an anatomical model (standard human eyeball diameter) or may be obtained by calibration separately.
図14は、図13に示した状態からユーザがカメラを注視する状態に移行した後の虹彩中心、眼球中心および投影点の関係を示す概念図である。 FIG. 14 is a conceptual diagram illustrating the relationship between the iris center, the eyeball center, and the projection point after the user transitions from the state illustrated in FIG. 13 to a state in which the user gazes at the camera.
眼球中心の投影位置については、一般には、画像から直接観測することはできない。しかし、ユーザ12がカメラ16を注視した場合について考えると、図14に示すとおり、カメラ、虹彩中心、眼球中心の3点が1直線上に並ぶため、画像では虹彩中心と眼球中心は同一点に投影されることがわかる。 In general, the projection position at the center of the eyeball cannot be observed directly from the image. However, considering the case where the user 12 gazes at the camera 16, as shown in FIG. 14, the three points of the camera, the iris center, and the eyeball center are aligned on a straight line, so the iris center and the eyeball center are the same point in the image. You can see that it is projected.
そこで、この実施例での視線推定では、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影し、これらの画像列から虹彩位置と顔特徴点を抽出、追跡することにより、眼球中心と顔特徴点間の相対幾何関係を推定する。 Therefore, in the gaze estimation in this embodiment, the user captures an image frame sequence in which the posture of the face is changed while gazing at the camera, and extracts and tracks the iris position and the facial feature point from these image sequences. Thus, the relative geometric relationship between the eyeball center and the face feature point is estimated.
後により詳しく説明するように、この実施例の視線方向の推定では、眼球中心と顔特徴点間の相対関係の推定処理と眼球中心の投影位置推定とを行なう。 As will be described in detail later, in the estimation of the line-of-sight direction in this embodiment, the estimation process of the relative relationship between the eyeball center and the face feature point and the projection position estimation of the eyeball center are performed.
視線方向の推定のための初期設定として、視線サーバ18は、図15に示すフローチャートで表現されるキャリブレーションを実行する。 As an initial setting for estimating the line-of-sight direction, the line-of-sight server 18 executes calibration represented by the flowchart shown in FIG.
まず、キャリブレーション用の画像列として、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影する(ステップS102)。図16は、このようにしてキャリブレーションにおいて撮影された4枚の画像フレームを示す。 First, as an image sequence for calibration, the user captures an image frame sequence in which the posture of the face is changed while gazing at the camera (step S102). FIG. 16 shows four image frames taken in the calibration in this way.
ここでは、より一般に、N(N≧2)枚の画像列が得られたとする。各画像フレームを、フレームI1,…INとする。 Here, more generally, it is assumed that N (N ≧ 2) image rows are obtained. Assume that each image frame is a frame I1,.
次に、得られた各画像フレーム列に対して、上述したような方法によって顔検出処理を行い(ステップS104)、続いて、目や鼻の検出処理を行なう(ステップS106)。 Next, face detection processing is performed on each obtained image frame sequence by the method described above (step S104), and then eye and nose detection processing is performed (step S106).
さらに、視線サーバ18は、特徴点の抽出、追跡を行う(ステップS108)。なお、特徴点の抽出方法としては、上述したような方法の他に、たとえば、文献:J. Shi and C. Tomasi: “Good features to track”,Proc. CVPR94, pp. 593−600(1994)で提案された手法を用いることもできる。 Further, the line-of-sight server 18 extracts and tracks feature points (step S108). In addition to the above-mentioned method, the feature point extraction method is, for example, J: Shi and C. Tomasi: “Good features to track”, Proc. CVPR94, pp. 593-600 (1994). It is also possible to use the method proposed in.
ここで、各画像フレームIi(i=1,…,N)においてM(M≧4)点の特徴点pj(j=1,…,M)が検出・追跡できたとする。画像フレームIiにおける特徴点pjの2次元観測位置をxj(i)(太字)=[xj(i),yj(i)]t(i=1,…,N,j=1,…,M)とし、両目の虹彩中心の2次元観測位置をそれぞれxr(i)(太字)=[xr(i),yr(i)]t,xl(i)(太字)=[xl(i),yl(i)]t(i=1,…,N)とする。ここで、行列Wを以下のように定義する。 Here, it is assumed that feature points pj (j = 1,..., M) of M (M ≧ 4) points can be detected and tracked in each image frame Ii (i = 1,..., N). The two-dimensional observation position of the feature point pj in the image frame Ii is expressed as xj (i) (bold) = [xj (i), yj (i)] t (i = 1,..., N, j = 1,..., M) And the two-dimensional observation positions of the iris centers of both eyes are xr (i) (bold) = [xr (i), yr (i)] t, xl (i) (bold) = [xl (i), yl ( i)] t (i = 1,..., N). Here, the matrix W is defined as follows.
因子分解法により、特徴点の各フレームでの2次元観測位置を縦に並べた行列W(計測行列)は以下のように分解できる。 By the factorization method, a matrix W (measurement matrix) in which two-dimensional observation positions in each frame of feature points are vertically arranged can be decomposed as follows.
ここで、行列M(「撮影姿勢行列)と呼ぶ)にはカメラの姿勢に関する情報のみが、行列S(「相対位置関係行列」と呼ぶ)には観測対象物の形状に関する情報のみが含まれており、顔特徴点と眼球中心との3次元的な位置の相対関係は行列Sとして求まる(ステップS110)。すなわち、正射影を仮定すると、行列Mの各要素が画像フレームでのカメラの姿勢を表す単位ベクトルであって、それぞれの大きさが1であり相互には直交するとの拘束条件のもとで、行列Wは、特異値分解により一義的に行列Mと行列Sの積に分解できることが知られている。なお、このような計測行列Wを、因子分解により、カメラの運動の情報を表す行列と対象物の形状情報を表す行列へ分解する点については、文献:金出,ポールマン,森田:因子分解法による物体形状とカメラ運動の復元”,電子通信学会論文誌D−II,J76‐D−II,8,pp.1497−1505(1993)に開示がある。 Here, the matrix M (referred to as “photographing posture matrix”) includes only information regarding the posture of the camera, and the matrix S (referred to as “relative positional relationship matrix”) includes only information regarding the shape of the observation object. Therefore, the relative relationship between the three-dimensional position between the face feature point and the eyeball center is obtained as a matrix S (step S110). That is, assuming orthographic projection, each element of the matrix M is a unit vector that represents the posture of the camera in the image frame, and each of them is 1 and under the constraint that they are orthogonal to each other, It is known that the matrix W can be uniquely decomposed into a product of the matrix M and the matrix S by singular value decomposition. In addition, about the point which decomposes | disassembles such a measurement matrix W into the matrix showing the information of the motion of a camera and the shape information of a target object by factorization, literature: Kade, Paulman, Morita: factorization Restoration of object shape and camera motion by the method ", disclosed in IEICE Transactions D-II, J76-D-II, 8, pp. 1497-1505 (1993).
図17は、リアルタイムの視線方向の推定処理のフローチャートを示す。 FIG. 17 shows a flowchart of real-time gaze direction estimation processing.
次に、以上で得られた結果を用いて、視線方向を推定する手順について説明する。 Next, a procedure for estimating the line-of-sight direction using the results obtained above will be described.
まず、カメラ16から画像フレームを取得すると(ステップS200)、キャリブレーション時と同様にして、顔の検出および目鼻の検出が行なわれ(ステップS202)、取得された画像フレーム中の特徴点が抽出される(ステップS204)。 First, when an image frame is acquired from the camera 16 (step S200), face detection and eye / nose detection are performed in the same manner as in calibration (step S202), and feature points in the acquired image frame are extracted. (Step S204).
画像フレームIkが得られたとする。ここで、眼球中心以外の特徴点のうちm点pj(j=j1,…,jm)が、それぞれ、xj(k)(太字)=[xj(k),yj(k)]tに観測されたとする。このとき、観測された特徴点について、上述したように特徴点近傍のテンプレートを用いたテンプレートマッチングを実施することで、キャリブレーション時に特定された特徴点と現画像フレーム中で観測された特徴点との対応付けが行なわれて、現画像フレーム中の特徴点が特定される(ステップS206)。 Assume that an image frame Ik is obtained. Here, m points pj (j = j1,..., Jm) among feature points other than the center of the eyeball are observed at xj (k) (bold) = [xj (k), yj (k)] t, respectively. Suppose. At this time, for the observed feature points, by performing template matching using a template near the feature points as described above, the feature points identified during calibration and the feature points observed in the current image frame And the feature points in the current image frame are specified (step S206).
なお、上述のとおり、特徴点を特定するためのテンプレートは、キャリブレーションの時のものに限定されず、たとえば、最近の画像フレームの所定枚数について検出された特徴点の近傍の所定の大きさの領域内の画像を所定個数だけ保持しておき、これら所定枚数のテンプレートについてマッチングをした結果、もっとも一致度の高い特徴点に特定することとしてもよい。 As described above, the template for specifying the feature point is not limited to the template at the time of calibration. For example, the template having a predetermined size in the vicinity of the detected feature point for the predetermined number of recent image frames is used. A predetermined number of images in the region may be held, and the feature points having the highest degree of matching may be specified as a result of matching the predetermined number of templates.
顔特徴点pjの2次元観測位置xj(k)(太字)=[xj(k),yj(k)]tとキャリブレーションより求まった3次元位置sj(太字)=[Xj,Yj,Zj]t(j=1,…,M)の間には、M個の特徴点のうち観測されたm個の特徴点について注目すると、次式の関係が得られる。 Two-dimensional observation position xj (k) (bold) = [xj (k), yj (k)] t of face feature point pj and three-dimensional position sj (bold) = [Xj, Yj, Zj] obtained from calibration If the attention is paid to the observed m feature points among the M feature points during t (j = 1,..., M), the following relationship is obtained.
ただし、行列P(k)は2×3の行列である。右辺の第2項の行列S(k)は行列Sのうち、観測された特徴点に対応する要素のみからなる部分行列である。上述の通り、カメラと顔は十分に離れているとし正射影を仮定している。ここで、4点以上の特徴点が観測されれば、行列P(k)は以下のように計算できる(ステップS208)。 However, the matrix P (k) is a 2 × 3 matrix. The matrix S (k) of the second term on the right side is a partial matrix consisting of only elements corresponding to the observed feature points in the matrix S. As described above, it is assumed that the camera and the face are sufficiently separated from each other and an orthogonal projection is assumed. Here, if four or more feature points are observed, the matrix P (k) can be calculated as follows (step S208).
画像フレームIkにおける眼球中心の投影位置xr(i)(太字),xl(i)(太字)は、行列P(k)を用いて以下のように計算できる(ステップS210)。 The projection positions xr (i) (bold) and xl (i) (bold) at the center of the eyeball in the image frame Ik can be calculated as follows using the matrix P (k) (step S210).
したがって、画像フレームIkにおいて特徴点として抽出した虹彩中心の投影位置とこの眼球中心の投影位置を用いると、視線の推定を行なうことができる(ステップS212)。 Therefore, by using the iris center projection position extracted as the feature point in the image frame Ik and the eyeball center projection position, the line of sight can be estimated (step S212).
なお、行列PをQR分解により分解することで、顔の姿勢Rが、以下のように計算できる。 By decomposing the matrix P by QR decomposition, the face posture R can be calculated as follows.
ただしr1、r2はそれぞれ1×3のベクトルである。このような顔の姿勢Rの検出については、文献:L.Quan: “Self-calibration of an affine camera from multiple views”,Int’l Journal of Computer Vision, 19, pp. 93−105(1996)に開示がある。 However, r1 and r2 are 1 × 3 vectors, respectively. Such detection of face posture R is described in literature: L.L. Quan: “Self-calibration of an affine camera from multiple views”, Int’l Journal of Computer Vision, 19, pp. 93-105 (1996).
ユーザ等の指示により追跡が終了していると判断されれば(ステップS214)、処理は終了し、終了が指示されていなければ、処理はステップS202に復帰する。 If it is determined that the tracking has been completed by an instruction from the user or the like (step S214), the process is terminated, and if the termination is not instructed, the process returns to step S202.
以上説明した視線方向の推定装置の有効性を確認するため、実画像を用いた実験を行った結果について以下に説明する。 In order to confirm the effectiveness of the gaze direction estimation apparatus described above, the results of experiments using real images will be described below.
カメラはElmo社製PTC−400Cを用い、被験者から約150[cm]の位置に設置した。 The camera was an Elmo PTC-400C, and was installed at a position of about 150 cm from the subject.
まず、50フレームの画像列を用いて、眼球中心と顔特徴点のキャリブレーションを行った。キャリブレーション用の画像フレーム列と抽出した特徴点の例は、図15に示したとおりである。 First, the center of the eyeball and the facial feature point were calibrated using an image sequence of 50 frames. Examples of calibration image frame sequences and extracted feature points are as shown in FIG.
キャリブレーション用画像フレーム列の撮影に要した時間は約3秒であった。(+印は抽出された虹彩中心(眼球中心))、×印は追跡した顔特徴点)。 The time required for capturing the calibration image frame sequence was about 3 seconds. (+ Mark is the extracted iris center (eyeball center)), x mark is the tracked facial feature point).
次に、キャリブレーションにより求まった顔モデル(行列S)を用いて、視線推定を行った。ここで、被験者はそれぞれ右上、上、左下の方向を注視しながら、顔の位置・向きを変化させた。 Next, gaze estimation was performed using the face model (matrix S) obtained by calibration. Here, the subject changed the position and orientation of the face while gazing at the upper right, upper and lower left directions.
図18〜図20は、視線推定結果を示す。図18は、右上方注視の状態であり、図19は、上方注視の状態であり、図20は、左下方向注視の状態である。ここで、視線方向は両目それぞれで計算された視線方向の平均値としている。結果より、顔の位置や向きの変化とは関係なく、視線方向が推定できた。 18 to 20 show the line-of-sight estimation results. 18 shows a state of gaze at the upper right, FIG. 19 shows a state of gaze at the upper side, and FIG. 20 shows a state of gaze at the lower left direction. Here, the gaze direction is an average value of the gaze directions calculated for both eyes. From the results, it was possible to estimate the gaze direction regardless of changes in the face position and orientation.
以上説明したとおり、この実施例の視線方向の推定方法では、単眼カメラの観測に基づいて顔特徴点を検出し、追跡することにより視線方向を推定する。つまり、まずキャリブレーションとして視線がカメラ方向を向いたまま顔の向きのみが異なる画像列から得られる虹彩位置と顔特徴点を利用することで、眼球中心と顔特徴点の関係をモデル化し(行列Sを特定し)、その後、その関係に基づいて推定された入力画像中の眼球中心位置と虹彩位置の関係から視線方向の角度α、βを決定する。 As described above, in the gaze direction estimation method of this embodiment, the gaze direction is estimated by detecting and tracking the face feature points based on the observation of the monocular camera. In other words, as a calibration, the relationship between the eyeball center and the face feature point is modeled by using the iris position and the face feature point obtained from the image sequence in which only the face direction is different with the line of sight facing the camera direction (matrix). S is specified), and then the angles α and β in the line-of-sight direction are determined from the relationship between the eyeball center position and the iris position in the input image estimated based on the relationship.
視線サーバ18が視線方向の角度α、βを検出した後、ぬいぐるみ20のコンピュータ32は図21に示すフローチャートを実行して、ぬいぐるみ20からの関連情報の出力(発話や動作)を制御する。ただし、この図21に示すフローチャートは、視線サーバ18からの視線角度データが入力される都度、すなわちフレーム毎に繰り返し実行される。 After the line-of-sight server 18 detects the angles α and β in the line-of-sight direction, the computer 32 of the stuffed toy 20 executes the flowchart shown in FIG. 21 and controls the output (speech and operation) of the related information from the stuffed toy 20. However, the flowchart shown in FIG. 21 is repeatedly executed every time the line-of-sight angle data from the line-of-sight server 18 is input, that is, every frame.
図21の最初のステップS1で、前述のようにして視線サーバ18が推定した視線角度αおよびβのデータが、ぬいぐるみ20のバス34(図6)を通してコンピュータ32に与えられる。 In the first step S1 of FIG. 21, the data of the line-of-sight angles α and β estimated by the line-of-sight server 18 as described above is given to the computer 32 through the bus 34 (FIG. 6) of the stuffed animal 20.
コンピュータ32では、次のステップS3で、その角度データから視線12A(図3,4)の座標(x,y)を計算する。 In the next step S3, the computer 32 calculates the coordinates (x, y) of the line of sight 12A (FIGS. 3 and 4) from the angle data.
一方、図7に示すように、各領域A1‐A13のそれぞれを規定するX座標の範囲およびY座標の範囲がメッセージテーブル36Aに予め設定されている。そこで、次のステップS5で、コンピュータ32は、ステップS3で計算した視線の座標をメッセージテーブル36A内に蓄積されている各領域の座標と対照することによって、そのときユーザ12が見ている領域がどの領域かを特定する。 On the other hand, as shown in FIG. 7, the range of the X coordinate and the range of the Y coordinate that define each of the areas A1-A13 are preset in the message table 36A. Therefore, in the next step S5, the computer 32 compares the coordinates of the line of sight calculated in step S3 with the coordinates of each area stored in the message table 36A, so that the area that the user 12 is viewing at that time is determined. Identify which area.
続くステップS7で、コンピュータ32は、その領域は先にぬいぐるみ20が指差しした領域かどうかを判定する。ぬいぐるみ20が先にどの領域を指差したかは、コンピュータ32自身がそのとき出力したモータ制御データを参照すれば、容易に把握できる。 In subsequent step S <b> 7, the computer 32 determines whether or not the area is the area that the stuffed animal 20 previously pointed to. Which area the stuffed animal 20 has pointed to first can be easily grasped by referring to the motor control data output by the computer 32 itself.
もし、ステップS7で“YES”が判断されたとすると、コンピュータ32は次のステップS9において、その領域に対応する関連情報を出力する。実施例では、関連情報の出力は擬人的媒体、ぬいぐるみ20を通じて行なうので、その場合には、たとえば図7のメッセージテーブル36Aに設定している発話/動作メッセージをぬいぐるみ20が出力するように、モータ制御ボード36および音声入出ボード46へ必要なモータ制御データおよび音声データを与える。 If “YES” is determined in the step S7, the computer 32 outputs related information corresponding to the area in the next step S9. In the embodiment, since the related information is output through the anthropomorphic medium, the stuffed toy 20, in this case, for example, the stuffed toy 20 outputs the speech / motion message set in the message table 36A of FIG. Necessary motor control data and voice data are given to the control board 36 and the voice input / output board 46.
ステップS7で“NO”を判断したときには、コンピュータ32は次のステップS11で、ステップS5で特定した領域が前回と同じ領域かどうか判断する。 If “NO” is determined in the step S7, the computer 32 determines whether or not the area specified in the step S5 is the same as the previous area in the next step S11.
ステップS11で“YES”のとき、コンピュータ32は続くステップS13で、同じ領域に視線を当てている状態が所定時間続いたかどうか、つまり、ユーザ12が1つの領域を注視したかどうか判断する。 If “YES” in the step S11, the computer 32 determines whether or not the state of gazing at the same area has continued for a predetermined time in a subsequent step S13, that is, whether or not the user 12 has watched one area.
そして、ステップS13で“YES”を判断したときには、先に説明したと同様にして、ステップS9で、当該領域の関連情報をたとえばぬいぐるみ20によって出力させる。 If “YES” is determined in step S13, the related information of the area is output by, for example, the stuffed toy 20 in step S9 in the same manner as described above.
ただし、ステップS11で“NO”を判断したときは、コンピュータ32はユーザ12の視線が定まらず「キョロキョロ」している状態であると判断して、続くステップS15において、図7のメッセージテーブル36Aに「キョロキョロ」しているときのために設定されている発話/動作メッセージをぬいぐるみ20から出力する。たとえば、ぬいぐるみ20が看板14の特定の可視情報すなわち特定の領域を指差す動作をしながら、「いまが旬だよ」と発話するように、モータ制御ボード36および音声入出ボード46へ必要なモータ制御データおよび音声データを与える。 However, when “NO” is determined in step S11, the computer 32 determines that the line of sight of the user 12 has not been determined and is “scratching”, and in the subsequent step S15, the message table 36A of FIG. An utterance / motion message that is set for the time when “Kyorokiro” is selected is output from the stuffed toy 20. For example, the motor required for the motor control board 36 and the voice input / output board 46 so that the stuffed toy 20 speaks “this is the season” while pointing to specific visible information, that is, a specific area of the signboard 14. Provides control data and audio data.
また、ステップS13で“NO”を判断したときは、コンピュータ32はユーザ12の視線が看板14をちょっと見た状態であると判断して、続くステップS17において、図7のメッセージテーブル36Aに「ちょっと見た」ときのために設定されている発話および/または動作メッセージをぬいぐるみ20から出力する。たとえば、ぬいぐるみ20がユーザ12に対して手招きするかのような動作をしながら、「ほかにもおいしいものがいっぱいあるよ」と発話するように、モータ制御ボード36および音声入出ボード46へ必要なモータ制御データおよび音声データを与える。 If “NO” is determined in the step S13, the computer 32 determines that the line of sight of the user 12 is slightly looking at the signboard 14, and the message table 36A in FIG. An utterance and / or action message set for the time of “seeing” is output from the stuffed toy 20. For example, the motor required to the motor control board 36 and the voice input / output board 46 so as to say “There are many other delicious things” while the operation of the stuffed toy 20 beckoning the user 12. Provides control data and audio data.
なお、上述の関連情報は単なる一例であり、看板14の領域やそれらの領域に関連する関連情報の内容、ぬいぐるみ20がどのような音声を発し、あるいはどのような動作をすべきかは、看板の目的や種類などによっての任意に変更され得る。 Note that the above-described related information is merely an example. The contents of the signboard 14, the contents of the related information related to those areas, and what kind of voice the stuffed animal 20 emits or what action should be performed are It can be arbitrarily changed depending on the purpose and type.
たとえば、ユーザの注視が安定しない場合には、各領域を決められた順番(お勧め順)で説明するのも、関連情報の出力の1つの態様である。同様に、ユーザの注視方向が看板ではない場合には、ユーザの興味を喚起するように、ぬいぐるみと看板とに交互にスポットライトを当てるようにする、なども考えられる関連情報の出力の仕方である。 For example, when the user's gaze is not stable, the description of each area in a predetermined order (recommended order) is one aspect of outputting related information. Similarly, if the user's gaze direction is not a signboard, a spotlight can be alternately applied to the stuffed animal and the signboard to stimulate the user's interest. is there.
また、他の関連情報の出力の態様は次のようであってよい。たとえば、ユーザが特定の領域を注視しているときには、その領域にスポットライト(図示せず)をあたるとともに、当該領域について説明する。さらには、ぬいぐるみ20がその領域を見つつ、時々ユーザの方向を向く。そして、説明の区切りではユーザの視線方向を検出し、注視の対象が他に移った場合には、説明対象を切り換える。 Further, the manner of outputting other related information may be as follows. For example, when the user is gazing at a specific area, a spotlight (not shown) is applied to the area, and the area is described. Furthermore, the stuffed toy 20 sometimes faces the user while looking at the area. Then, the direction of the user's line of sight is detected at the end of the explanation, and when the object of gaze shifts to another, the explanation object is switched.
図22は図1実施例をポスターセッションに適用した例を簡単に示す図解図であり、この実施例において、看板14はポスターセッションとして展示されたポスターである。ここでは、わかり易く、1枚のポスターが「太陽」について説明したもので、1枚のポスターが「月」について説明したもので、残りの1枚のポスターが「星」について説明したものであるとする。この場合、3枚のポスターが全体として、看板14に相当し、各ポスターが領域A1,A2およびA3として区画できる。 FIG. 22 is an illustrative view simply showing an example in which the embodiment of FIG. 1 is applied to a poster session. In this embodiment, the signboard 14 is a poster displayed as a poster session. Here, it is easy to understand. One poster explained "Sun", one poster explained "Moon", and the remaining one poster explained "Star". To do. In this case, the three posters correspond to the signboard 14 as a whole, and each poster can be partitioned as areas A1, A2, and A3.
なお、この実施例では、各ポスターは電子看板の態様を採り、展示内容は後方に設置したビデオプロジェクタ54によってポスター表面に投影表示される。そして、適宜の場所にカメラ16を設置してユーザがどのポスターすなわち領域を見ているかを検出するようにする。 In this embodiment, each poster takes the form of an electronic sign, and the contents of the exhibition are projected and displayed on the poster surface by a video projector 54 installed at the rear. Then, the camera 16 is installed at an appropriate place so as to detect which poster, that is, the area the user is viewing.
そして、この実施例では関連情報出力のために擬人的媒体を用いない。したがって、たとえば、各ポスターの詳細な説明や補足情報を「関連情報」としてスピーカ(図示せず)から出力する。ただし、ユーザが見ているポスターの上かあるいはその近傍の適宜の場所にプロジェクタ54からまたは別のプロジェクタによって、映像として関連情報を出力するようにしてもよい。 In this embodiment, no anthropomorphic medium is used to output related information. Therefore, for example, detailed explanations and supplementary information of each poster are output as “related information” from a speaker (not shown). However, the related information may be output as an image from the projector 54 or by another projector on an appropriate place on or near the poster viewed by the user.
なお、上述の実施例では、視線の履歴と現在の視線方向からたとえばキョロキョロしているとか、ちょっと見たという状態を判断するようにしたが、さらに複雑な履歴に基づいてユーザの状態を判断して必要な関連情報を出力するようにしてもよい。 In the above-described embodiment, it is determined whether the user has been scrambled, for example, from a gaze history and the current gaze direction. Necessary related information may be output.
さらに、上述の実施例ではいずれも、ユーザの視線が看板のどこを見たかによって音声などによって関連情報をインタラクティブに出力するようにした。さらに、視線だけでなく、ユーザの発話やユーザがしたジェスチャなどのさらに様々なモダリティの入力を考慮して関連情報を出力するようにしてもよい。 Furthermore, in any of the above-described embodiments, related information is interactively output by voice or the like depending on where the user's line of sight looks at the signboard. Further, not only the line of sight but also the input of various modalities such as the user's utterance and the gesture made by the user may be considered and the related information may be output.
10 …インタラクティブ看板システム
14 …看板
16 …カメラ
18 …視線サーバ
20 …ぬいぐるみ
32 …コンピュータ
36A …メッセージテーブル
A1-A13 …領域
V1-V13 …可視情報
DESCRIPTION OF SYMBOLS 10 ... Interactive signboard system 14 ... Signboard 16 ... Camera 18 ... Line-of-sight server 20 ... Stuffed animal 32 ... Computer 36A ... Message table A1-A13 ... Area V1-V13 ... Visible information
Claims (3)
前記ユーザの視線の位置を検出する視線位置検出手段、
前記視線位置に基づいてユーザが見ている前記看板の領域を特定する領域特定手段、
前記看板の領域毎に各領域に表示した可視情報に関連する関連情報を記憶した記憶手段、および
前記領域特定手段が特定した領域の関連情報を前記記憶手段から読み出して出力する関連情報出力手段を備える、インタラクティブ看板システム。 A signboard having a plurality of areas and arranged at a position where the user can visually recognize it,
Eye-gaze position detecting means for detecting the position of the user's eye-gaze,
Area specifying means for specifying the area of the signboard that the user is viewing based on the line-of-sight position;
Storage means for storing related information related to visible information displayed in each area for each area of the signboard, and related information output means for reading out and outputting related information of the area specified by the area specifying means from the storage means Equipped with interactive signage system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007275944A JP5103682B2 (en) | 2007-10-24 | 2007-10-24 | Interactive signage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007275944A JP5103682B2 (en) | 2007-10-24 | 2007-10-24 | Interactive signage system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009104426A true JP2009104426A (en) | 2009-05-14 |
JP5103682B2 JP5103682B2 (en) | 2012-12-19 |
Family
ID=40706028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007275944A Active JP5103682B2 (en) | 2007-10-24 | 2007-10-24 | Interactive signage system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5103682B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130155285A1 (en) * | 2011-12-16 | 2013-06-20 | Pixart Imaging Inc. | Interactive Electronic Device |
JP2014052758A (en) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | Sight line measurement method |
JP2015148689A (en) * | 2014-02-05 | 2015-08-20 | 日本電信電話株式会社 | Advertising display control method, advertising display control device, and program |
JP2017159396A (en) * | 2016-03-09 | 2017-09-14 | 大日本印刷株式会社 | Guide robot control system, program, and guide robot |
JP2017159410A (en) * | 2016-03-10 | 2017-09-14 | 大日本印刷株式会社 | Guide robot control system, program, and guide robot |
US10482298B2 (en) | 2011-12-16 | 2019-11-19 | Pixart Imaging Inc. | Interactive electronic device |
CN112434741A (en) * | 2020-11-25 | 2021-03-02 | 杭州盛世传奇标识***有限公司 | Method, system, device and storage medium for using interactive introduction identifier |
WO2022190164A1 (en) * | 2021-03-08 | 2022-09-15 | 日本電気株式会社 | Payment system, payment method, and computer program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03102437U (en) * | 1990-02-08 | 1991-10-24 | ||
JPH09251342A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device and method for estimating closely watched part and device, information display device/method using the same |
JPH10207615A (en) * | 1997-01-22 | 1998-08-07 | Tec Corp | Network system |
JP2001162054A (en) * | 1999-09-30 | 2001-06-19 | Microhouse:Kk | Toy and toy system |
JP2005131713A (en) * | 2003-10-28 | 2005-05-26 | Advanced Telecommunication Research Institute International | Communication robot |
-
2007
- 2007-10-24 JP JP2007275944A patent/JP5103682B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03102437U (en) * | 1990-02-08 | 1991-10-24 | ||
JPH09251342A (en) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | Device and method for estimating closely watched part and device, information display device/method using the same |
JPH10207615A (en) * | 1997-01-22 | 1998-08-07 | Tec Corp | Network system |
JP2001162054A (en) * | 1999-09-30 | 2001-06-19 | Microhouse:Kk | Toy and toy system |
JP2005131713A (en) * | 2003-10-28 | 2005-05-26 | Advanced Telecommunication Research Institute International | Communication robot |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130155285A1 (en) * | 2011-12-16 | 2013-06-20 | Pixart Imaging Inc. | Interactive Electronic Device |
US10482298B2 (en) | 2011-12-16 | 2019-11-19 | Pixart Imaging Inc. | Interactive electronic device |
JP2014052758A (en) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | Sight line measurement method |
JP2015148689A (en) * | 2014-02-05 | 2015-08-20 | 日本電信電話株式会社 | Advertising display control method, advertising display control device, and program |
JP2017159396A (en) * | 2016-03-09 | 2017-09-14 | 大日本印刷株式会社 | Guide robot control system, program, and guide robot |
JP2017159410A (en) * | 2016-03-10 | 2017-09-14 | 大日本印刷株式会社 | Guide robot control system, program, and guide robot |
CN112434741A (en) * | 2020-11-25 | 2021-03-02 | 杭州盛世传奇标识***有限公司 | Method, system, device and storage medium for using interactive introduction identifier |
WO2022190164A1 (en) * | 2021-03-08 | 2022-09-15 | 日本電気株式会社 | Payment system, payment method, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5103682B2 (en) | 2012-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5103682B2 (en) | Interactive signage system | |
CN110363867B (en) | Virtual decorating system, method, device and medium | |
US11736756B2 (en) | Producing realistic body movement using body images | |
CN104102412B (en) | A kind of hand-held reading device and method thereof based on augmented reality | |
JP5728009B2 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
US9196093B2 (en) | Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium | |
US9595127B2 (en) | Three-dimensional collaboration | |
CN110363133B (en) | Method, device, equipment and storage medium for sight line detection and video processing | |
JP3579218B2 (en) | Information display device and information collection device | |
KR20170031733A (en) | Technologies for adjusting a perspective of a captured image for display | |
US20170316582A1 (en) | Robust Head Pose Estimation with a Depth Camera | |
TW201142745A (en) | Information processing apparatus, information processing system, and information processing method | |
CN108416832B (en) | Media information display method, device and storage medium | |
US20120194513A1 (en) | Image processing apparatus and method with three-dimensional model creation capability, and recording medium | |
JP6506443B1 (en) | Image generation apparatus and image generation program | |
US20150253845A1 (en) | System and method for altering a perspective of a figure presented on an electronic display | |
US20190340773A1 (en) | Method and apparatus for a synchronous motion of a human body model | |
Rocca et al. | Head pose estimation by perspective-n-point solution based on 2d markerless face tracking | |
JP2010112979A (en) | Interactive signboard system | |
WO2020032254A1 (en) | Attention target estimating device, and attention target estimating method | |
CN111028318A (en) | Virtual face synthesis method, system, device and storage medium | |
JP2009244949A (en) | Switching device for operational object | |
US12001746B2 (en) | Electronic apparatus, and method for displaying image on display device | |
JP5092093B2 (en) | Image processing device | |
JP2008113875A (en) | Communication inducing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5103682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |