JP2007265125A - Content display - Google Patents

Content display Download PDF

Info

Publication number
JP2007265125A
JP2007265125A JP2006090540A JP2006090540A JP2007265125A JP 2007265125 A JP2007265125 A JP 2007265125A JP 2006090540 A JP2006090540 A JP 2006090540A JP 2006090540 A JP2006090540 A JP 2006090540A JP 2007265125 A JP2007265125 A JP 2007265125A
Authority
JP
Japan
Prior art keywords
display
content
value
advertisement
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006090540A
Other languages
Japanese (ja)
Other versions
JP2007265125A5 (en
Inventor
Keisuke Hayata
啓介 早田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006090540A priority Critical patent/JP2007265125A/en
Publication of JP2007265125A publication Critical patent/JP2007265125A/en
Publication of JP2007265125A5 publication Critical patent/JP2007265125A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a content display capable of displaying appropriate content in accordance with the number of persons watching a display screen in the content display for managing content, such as a plurality of advertisements to which preference is given. <P>SOLUTION: The content display 100 comprises: a content management means 107 for managing a plurality of contents to which the preference is given; a content information management means 105 for managing information on the content; a display means 108 for displaying the content; a photography means 101 for photographing surroundings of the display means; a glance detection means 102 for detecting a glance direction of a person on the basis of a video photographed by the photography means to specify a person watching the display means; a counting means 103 for counting the number of watching persons to measure the number of watching persons; and a content determining means 104 for calculating display preference of the content on the basis of the measured number of watching persons to determine the content to be displayed to the display means 108. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

広告などのコンテンツを表示する画面を注視する人物の存在、および当該人物の視線の先にある画面上の注視点の数を認識し、これに基づいて装置内で管理しているコンテンツの表示制御を行うコンテンツ表示装置に関する。   Recognize the presence of a person watching the screen displaying content such as advertisements and the number of points of interest on the screen ahead of the person's line of sight, and based on this, display control of content managed in the device The present invention relates to a content display device that performs.

従来、広告などのコンテンツを装置内で管理し、これを表示するコンテンツ表示装置がある。例えば、表示画面を注視する人物の存在、および当該人物の視線の先にある画面上の注視点の位置を認識し、当該位置を含む表示エリアに装置内で管理しているコンテンツを表示し、当該表示エリアにコンテンツが表示されている間に当該表示エリアで検出される注視点をカウントする技術が開示されている（特許文献１参照）。特許文献１において開示されているコンテンツ表示装置について図１２を用いて説明する。コンテンツ表示装置１２００は、カメラ１２０１、視線検出部１２０２、判断部１２０３、提示情報記憶部１２０４、収集情報記憶部１２０５、表示部１２０６を備えている。カメラ１２０１は表示部１２０６の周辺を撮影し、視線検出部１２０２は撮影された映像から人物の視線を検出すると、これを判断部１２０３に入力する。そして、判断部１２０３は表示部１２０６を注視している視線を判断するとともに、視線先と一致する表示エリアにコンテンツを表示するよう、提示情報記憶部１２０４で管理されている広告などのコンテンツの表示制御を行い、一方、判断部１２０３は表示エリアにコンテンツが表示されている間に当該表示エリアで検出される注視点をカウントし、これを収集情報記憶部１２０５に記憶している。これにより、表示画面を注視する人物の視線に適した位置でコンテンツを表示でき、また、コンテンツが表示される表示エリアへの注視人数を検出することで、そのコンテンツに対する注目度を把握することができる。
特許第３５７９２１８号 2. Description of the Related Art Conventionally, there is a content display device that manages content such as advertisements in the device and displays it. For example, the presence of a person watching the display screen and the position of the watch point on the screen ahead of the person's line of sight are recognized, and the content managed in the device is displayed in the display area including the position, There is disclosed a technique for counting gaze points detected in a display area while content is displayed in the display area (see Patent Document 1). A content display device disclosed in Patent Document 1 will be described with reference to FIG. The content display device 1200 includes a camera 1201, a line-of-sight detection unit 1202, a determination unit 1203, a presentation information storage unit 1204, a collection information storage unit 1205, and a display unit 1206. The camera 1201 captures the periphery of the display unit 1206, and when the line-of-sight detection unit 1202 detects a person's line of sight from the captured video, the camera 1201 inputs this to the determination unit 1203. Then, the determination unit 1203 determines the line of sight of the display unit 1206 and displays content such as advertisements managed by the presentation information storage unit 1204 so that the content is displayed in the display area that matches the line of sight. On the other hand, the determination unit 1203 counts the gazing point detected in the display area while the content is displayed in the display area, and stores this in the collected information storage unit 1205. As a result, the content can be displayed at a position suitable for the line of sight of the person watching the display screen, and the degree of attention to the content can be grasped by detecting the number of people watching the display area where the content is displayed. it can.
Japanese Patent No. 3579218

しかしながら、上記特許文献１において示されている表示エリアは、ある人物が表示画面を注視することにより認識される注視点により、情報の表示位置が決定されるので、その人物にのみ適した位置でコンテンツが表示されている。そのため、例えば、多人数に対してコンテンツを同時に表示する場合には、上記特許文献１のようなコンテンツ表示装置は適切ではない。一方、コンテンツ表示装置において優先度が付与されている複数のコンテンツを管理する場合には、多人数がコンテンツ表示装置を注視している時に優先度が高いコンテンツを表示することが好ましい。   However, in the display area shown in Patent Document 1, the display position of information is determined by a gaze point that is recognized when a certain person gazes at the display screen. Therefore, the display area is suitable for only that person. Content is displayed. Therefore, for example, when content is simultaneously displayed for a large number of people, the content display device as described in Patent Document 1 is not appropriate. On the other hand, when managing a plurality of contents to which priority is given in the content display device, it is preferable to display content with a high priority when a large number of people are watching the content display device.

本発明は、このような課題に着目し、優先度が付与されている複数の広告などのコンテンツを管理するコンテンツ表示装置において、表示画面を注視する人の数に応じて適切なコンテンツを表示できるコンテンツ表示装置を提供することを目的とする。   In the content display device that manages content such as a plurality of advertisements given priority, paying attention to such a problem, the present invention can display appropriate content according to the number of people watching the display screen. An object is to provide a content display device.

本発明のコンテンツ表示装置は、優先度を付与した複数のコンテンツを管理するコンテンツ管理手段と、前記コンテンツに関する情報を管理するコンテンツ情報管理手段と、前記コンテンツを表示する表示手段と、前記表示手段の周辺を撮影する撮影手段と、前記撮影手段により撮影された映像を基に人物の視線方向を検出して前記表示手段を注視している人物を特定する視線検出手段と、前記注視している人物をカウントして注視人数を計測するカウント手段と、前記計測した注視人数を基に前記コンテンツの表示優先度を算出し、これに従い前記表示手段に表示するコンテンツを決定するコンテンツ決定手段を備えたことを特徴とする。   The content display device according to the present invention includes a content management unit that manages a plurality of contents to which priority is given, a content information management unit that manages information related to the content, a display unit that displays the content, and Photographing means for photographing the surroundings, visual line detection means for detecting a person's gaze direction based on the video photographed by the photographing means and identifying a person who is gazing at the display means, and the person who is gazing Counting means for counting the number of people watching and content determination means for calculating the display priority of the content based on the measured number of people watching and determining the content to be displayed on the display means accordingly It is characterized by.

本発明によれば、優先度が付与されている複数の広告などのコンテンツを管理するコンテンツ表示装置において、表示画面を注視している人物の視線の数を検出することにより注視人数を計測し、計測した注視人数に応じて適切なコンテンツの表示制御を行うことができる。これにより、多人数が表示画面を注視するときには、それに応じて優先度を動的に変化させ、優先度の高いコンテンツを表示できる。   According to the present invention, in a content display device that manages content such as a plurality of advertisements to which priority is given, the number of gazes is measured by detecting the number of eyes of a person who is gazing at the display screen, Appropriate content display control can be performed according to the measured number of gazes. As a result, when a large number of people gaze at the display screen, the priority can be dynamically changed in accordance with it, and content with a high priority can be displayed.

（実施例１）
以下、本発明の第１実施例について図面を参照しながら説明する。はじめに、コンテンツ表示装置の設置例を図２に示す。２０１はコンテンツを表示する表示部、２０２は表示部２０１の周辺を撮影する撮影部、２０３は人物である。図２においては表示部２０１の上部に撮影部２０２を設置しているが、撮影部２０２は表示部２０１の周辺を撮影できる位置であれば特に限定するものではなく、複数設置しても良い。また、撮影部２０１は固定式でも可動式の何れでも良いが、撮影部２０１により撮影される映像を基に表示部２０１を注視している人物を特定するので、可動式の場合は、撮影部２０１と表示部１０８の位置関係及び撮影部１０１の角度等の変化情報を常に更新しながら撮影する必要がある。なお、表示部２０１に表示するコンテンツは、動画に限らず、静止画や文字等でも良く、また、音声の有無も問わない。 Example 1
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. First, an installation example of the content display device is shown in FIG. 201 is a display unit for displaying content, 202 is a photographing unit for photographing the periphery of the display unit 201, and 203 is a person. In FIG. 2, the photographing unit 202 is installed above the display unit 201. However, the photographing unit 202 is not particularly limited as long as it can shoot the periphery of the display unit 201, and a plurality of photographing units 202 may be installed. The photographing unit 201 may be either a fixed type or a movable type. However, since the person who is gazing at the display unit 201 is specified based on the video imaged by the photographing unit 201, the photographing unit It is necessary to shoot while constantly updating change information such as the positional relationship between 201 and the display unit 108 and the angle of the shooting unit 101. Note that the content displayed on the display unit 201 is not limited to a moving image, and may be a still image, text, or the like, and may or may not have sound.

つづいてコンテンツ表示装置の内部構成について説明する。図１はコンテンツ表示装置の内部構成を示したブロック図である。コンテンツ表示装置１００は、表示部１０８の周辺を撮影する撮影部１０１、撮影部１０１により撮影された映像を基に人物の視線方向を検出して表示部１０８を注視している人物を特定する視線検出部１０２、その注視している人物をカウントして注視人数を計測するカウント部１０３、計測した注視人数を基にコンテンツの表示優先度を算出し、これに従い表示部１０８に表示するコンテンツを決定するコンテンツ決定部１０４、優先度を付与した複数のコンテンツに関する情報及び当該情報と対応付けて表示優先度の算出に用いる情報等を管理するコンテンツ情報管理部１０５、優先度及び注視人数に基づいて設定された重み付け値を管理する重み付け値管理部１０６、優先度を付与した複数のコンテンツを管理するコンテンツ管理部１０７、コンテンツ決定部１０４により決定されるコンテンツを表示する表示部１０８を備えている。   Next, the internal configuration of the content display device will be described. FIG. 1 is a block diagram showing the internal configuration of the content display apparatus. The content display apparatus 100 captures the periphery of the display unit 108, and detects the direction of the person's line of sight based on the video captured by the imaging unit 101 to identify the person watching the display unit 108. The detection unit 102, the counting unit 103 that counts the number of people watching and measures the number of people watching, calculates the display priority of the content based on the measured number of people watching, and determines the content to be displayed on the display unit 108 according to this Content determination unit 104, content information management unit 105 that manages information related to a plurality of contents to which priority is given, information used for calculation of display priority in association with the information, setting based on priority and number of people to be watched Weight management unit 106 for managing the weighted values, and content management unit for managing a plurality of prioritized contents 07, a display unit 108 for displaying the content determined by the content determination unit 104.

ここで表示優先度は、優先度を付与した複数のコンテンツの中から表示するコンテンツを決定するために算出する優先度であり、計測した注視人数を基にしてコンテンツ毎に表示優先度を算出し、表示優先度が高いコンテンツを表示する。例えば、広告などのコンテンツを表示することを目的にしたコンテンツ表示装置１００は、多人数が表示画面を注視しているときに優先度が高いコンテンツを表示するのが好ましい。このようにするため、注視人数を基にコンテンツの表示優先度を算出し、注視人数が多い場合には優先度が高いコンテンツを優先して表示できるようにする。   Here, the display priority is a priority calculated in order to determine a content to be displayed from among a plurality of contents to which a priority is given, and the display priority is calculated for each content based on the measured number of gazes. , Display content with high display priority. For example, the content display device 100 intended to display content such as advertisements preferably displays high priority content when a large number of people are watching the display screen. For this reason, the display priority of content is calculated based on the number of people watching, and when the number of people watching is high, the content with high priority can be displayed with priority.

以上のように構成されたコンテンツ表示装置が行う一連の処理の流れについて説明する。図３はコンテンツ表示装置で行う処理動作を示したフロー図である。コンテンツ表示装置で行う処理の流れは、大きく分けると、注視人数を計測するまでの処理と、計測した注視人数を基にコンテンツを表示するまでの処理に分けられる。   A flow of a series of processes performed by the content display device configured as described above will be described. FIG. 3 is a flowchart showing processing operations performed in the content display apparatus. The flow of processing performed by the content display device can be broadly divided into a process until the number of gazes is measured and a process until content is displayed based on the measured number of gazes.

注視人数を計測するまでの処理はステップ３０１乃至３０３により行われる。撮影部１０１は、表示部１０８の周辺の映像を常に撮影している（ＳＴＡＲＴ→ステップ３０１）。所定のタイミングにより視線検出部１０２は撮影部１０１が撮影している映像を取得し、視線検出部１０２は取得した映像に映る人物の視線が表示部１０８を注視しているか否かを判定し、注視している人物を注視人物として特定する（ステップ３０２）。その後、カウント部１０３は特定した注視人物をカウントして注視人数を計測する（ステップ３０３）。   The processing until the number of gazes is measured is performed in steps 301 to 303. The image capturing unit 101 always captures an image around the display unit 108 (START → step 301). The line-of-sight detection unit 102 acquires the video captured by the imaging unit 101 at a predetermined timing, and the line-of-sight detection unit 102 determines whether or not the line of sight of the person shown in the acquired video is gazing at the display unit 108. The person who is gazing is identified as the gazing person (step 302). After that, the count unit 103 counts the identified gaze person and measures the number of gaze people (step 303).

ここで注視人物の特定を行う処理について図４を用いて具体的に説明する。視線検出部１０２は、撮影部１０１が撮影している映像を所定のタイミングにより取得することにより注視人物の特定を行う処理を開始する（ＳＴＡＲＴ→ステップ４０１）。はじめに、取得した映像を用いて人物の顔の位置を検出する処理を行い（ステップ４０２）、人物の顔があるか否かを判定する（ステップ４０３）。例えば、映像にＧａｂｏｒフィルタ等の周波数フィルタをかけて周波数成分を抽出し、人物の顔と同様の周波数パターンを持つ領域をテンプレートマッチにより探索することにより判定する。また、単純に濃淡パターンやエッジ成分、肌色など色情報を基に判定しても良い。取得した映像から人物の顔の位置が検出された場合は人物の視線方向を検出する処理を行う（ステップ４０４）。一方、人物の顔の位置が検出されなかった場合は注視人物の特定を行う処理を終了する（ＥＮＤ）。
視線方向を検出する処理は、ステップ４０２において検出された人物の顔の位置から目の位置と方向を検出することにより、視線方向を３次元的に検出する。つづいて、その視線方向に表示部１０８が存在し、表示部１０８を注視しているか否かを判定する（ステップ４０５）。ここで注視しているか否かの判定は、人物が表示部１０８を一瞬みただけでは注視しているとはいえず、検出した視線が表示部１０８のいずれかの位置に所定時間以上あった場合に注視している人物として判定する。例えば、過去の数フレームに遡り、連続して表示部１０８を注視している場合に、注視していると判定する。これにより、注視人物の確実性が高まる。そして、検出した視線方向が表示部１０８を注視していると判定した場合は、これを注視人物として特定し（ステップ４０６）、一方、注視していないと判定した場合は、注視人物の特定を行う処理を終了する（ＥＮＤ）。なお、上記の注視人物の特定は、一つずつ行っても良いし、まとめて行っても良い。また、同一人物が移動しながら表示部１０８を注視する場合や、ある場所で表示部１０８を注視するのをやめて再び違う場所で表示部１０８を注視する場合などのように、同一人物が違う場所で表示部１０８を注視する可能性もある。このような場合は時間的・空間的に違う場所にいるものとして別人物として特定しても良いし、顔認証やトラッキング手段を用いて同一人物として特定しても良い。 Here, the process of specifying the gaze person will be specifically described with reference to FIG. The line-of-sight detection unit 102 starts a process of identifying the gaze person by acquiring the video imaged by the imaging unit 101 at a predetermined timing (START → step 401). First, processing for detecting the position of a person's face is performed using the acquired video (step 402), and it is determined whether there is a person's face (step 403). For example, a frequency filter such as a Gabor filter is applied to the video to extract a frequency component, and a region having a frequency pattern similar to that of a human face is searched for by template matching. Alternatively, the determination may be made simply based on color information such as a shading pattern, edge components, and skin color. When the position of the person's face is detected from the acquired video, processing for detecting the direction of the person's line of sight is performed (step 404). On the other hand, if the position of the person's face is not detected, the process of specifying the gaze person is terminated (END).
In the process of detecting the gaze direction, the gaze direction is detected three-dimensionally by detecting the position and direction of the eyes from the position of the face of the person detected in step 402. Subsequently, it is determined whether or not the display unit 108 exists in the line-of-sight direction and the display unit 108 is being watched (step 405). Here, the determination of whether or not the user is gazing cannot be said that the person is gazing at the display unit 108 for a moment, and the detected gaze is at any position on the display unit 108 for a predetermined time or more. It is determined that the person is watching. For example, when the display unit 108 is continuously watched going back to several past frames, it is determined that the user is watching. This increases the certainty of the gaze person. If it is determined that the detected line-of-sight direction is gazing at the display unit 108, this is specified as a gaze person (step 406). On the other hand, if it is determined that the person is not gazing, the gaze person is identified. The processing to be performed is ended (END). It should be noted that the above-mentioned gaze person may be specified one by one or collectively. In addition, when the same person is moving and gazing at the display unit 108, or when gazing at the display unit 108 at a certain place and gazing at the display unit 108 at a different place again, the same person is in a different place. There is also a possibility that the display unit 108 is watched. In such a case, the person may be specified as being in a different place in terms of time and space, or may be specified as the same person using face authentication or tracking means.

つづいて、計測した注視人数を基にコンテンツを表示するまでの処理はステップ３０４乃至３０７により行われる。ステップ３０３において計測した注視人数はコンテンツ決定部１０４に入力される。コンテンツ決定部１０４は注視人数を基にコンテンツの表示優先度を算出し（ステップ３０４）、これに従いコンテンツ決定部１０４は表示部１０８に表示タイミングで表示するコンテンツを決定する（ステップ３０５）。その後、コンテンツ決定部１０４は、決定したコンテンツをコンテンツ管理部１０７から取得し、表示タイミングに合わせて表示部１０８に表示する（ステップ３０６）。また、コンテンツ決定部１０４は、表示優先度の算出に用いる情報について、表示部１０８に表示したコンテンツとそれ以外のコンテンツにより異なる更新処理を行う。（ステップ３０７）。上記ステップ３０１乃至３０７により、コンテンツ表示装置１００が行う一連の処理を行い、この処理を繰り返し行うことにより、表示画面を注視している注視人数を計測し、計測した注視人数に従って適切なコンテンツの表示制御を行うことができる。例えば、多人数が表示画面を注視しているときには優先度の高いコンテンツを表示できる。   Subsequently, the processing until the content is displayed based on the measured number of gazes is performed in steps 304 to 307. The number of gazes measured in step 303 is input to the content determination unit 104. The content determination unit 104 calculates the display priority of the content based on the number of people watching (step 304), and the content determination unit 104 determines the content to be displayed on the display unit 108 at the display timing (step 305). Thereafter, the content determination unit 104 acquires the determined content from the content management unit 107 and displays it on the display unit 108 in accordance with the display timing (step 306). In addition, the content determination unit 104 performs different update processing on information used for calculating the display priority depending on the content displayed on the display unit 108 and other content. (Step 307). Through the above steps 301 to 307, a series of processing performed by the content display device 100 is performed, and by repeating this processing, the number of people watching the display screen is measured, and appropriate content display is performed according to the number of people watching. Control can be performed. For example, content with high priority can be displayed when a large number of people are watching the display screen.

次に、計測した注視人数を基にコンテンツを表示するまでの処理に用いる各種データについて図５乃至図７を用いて説明する。図５はコンテンツ情報管理部１０５で管理する、優先度を付与した複数のコンテンツに関する情報のデータ構造を示したものである。コンテンツに関する情報は「コンテンツ名」、「優先度」、「基準値」等があり、コンテンツ毎にそれぞれ対応付けて管理している。基準値は、コンテンツ決定部１０４がコンテンツの表示優先度を最初に算出する際に用いる開始値である。本実施例で用いる基準値は全て同じ値となっているが、これに限定するものではない。   Next, various data used for processing until content is displayed based on the measured number of gazes will be described with reference to FIGS. FIG. 5 shows a data structure of information related to a plurality of contents given priority, which is managed by the content information management unit 105. Information related to content includes “content name”, “priority”, “reference value”, and the like, which are managed in association with each content. The reference value is a start value used when the content determination unit 104 first calculates the display priority of the content. The reference values used in the present embodiment are all the same value, but are not limited thereto.

図６は重み付け値管理部１０６で管理する、優先度及び注視人数に基づいて設定した重み付け値のデータ構造を示したものである。重み付け値管理部１０６では、各優先度及び注視人数に基づいて予め設定した重み付け値を管理している。すなわち、注視人数に応じて、各優先度の重み付け値が設定されており、注視人数が多くなるにつれ、重み付け値に幅を持たせるように設定している。これにより、計測した注視人数が多い場合には、優先度が高いコンテンツを優先して表示できるようにしている。   FIG. 6 shows a data structure of weight values set by the weight value management unit 106 based on the priority and the number of people watching. The weight value management unit 106 manages weight values set in advance based on each priority and the number of people watching. That is, a weighting value for each priority is set according to the number of gazes, and the weighting value is set to have a width as the number of gazes increases. As a result, when the number of gazes measured is large, content with a high priority can be displayed with priority.

図７はコンテンツ情報管理部１０５で管理する、図５に示したコンテンツに関する情報と対応付けた表示優先度の算出に用いる情報のデータ構造を示したものである。表示優先度の算出に用いる情報は、「表示タイミング」、「注視人数」、「開始時の値」等があり、「開始時の値」は表示優先度を算出する前に管理されている。コンテンツ決定部１０４がコンテンツの表示優先度を算出することに従い、「重み考慮した値」、「表示フラグ」、「終了時の値」、及び次の表示タイミングの「開始時の値」等を管理する。表示優先度の算出は、表示タイミング前に行い、コンテンツ決定部１０４がカウント部１０３から計測した注視人数を取得することにより行うようにしている。   FIG. 7 shows the data structure of information managed by the content information management unit 105 and used to calculate the display priority associated with the information related to the content shown in FIG. Information used for calculation of display priority includes “display timing”, “number of people to watch”, “value at start”, and the like, and “value at start” is managed before calculating display priority. As the content determination unit 104 calculates the display priority of the content, the “value considering the weight”, “display flag”, “value at the end”, “value at the start” of the next display timing, and the like are managed. To do. The calculation of the display priority is performed before the display timing, and is performed by the content determination unit 104 acquiring the gaze number measured from the count unit 103.

「開始時の値」は注視人数を考慮していないコンテンツの優先度を示す値であり、以下の計算式で表される。
（式１）
表示タイミング（ｎ）の「開始時の値」
＝（ｎ−１）の「終了時の値」＋「基準値」／２
（ｎ＝０の「開始時の値」は「基準値」）
「重み考慮した値（表示優先度）」は注視人数に従い取得する各優先度の重み付け値を「開始時の値」にかけることにより取得する、注視人数を考慮したコンテンツの優先度を示す値であり、これが表示優先度の値となる。「重み考慮した値（表示優先度）」は以下の計算式で表される。
（式２）
「重み考慮した値（表示優先度）」
＝「開始時の値」×注視人数に従い取得する優先度の重み付け値
また、「表示フラグ」は、表示タイミングで表示するコンテンツに対して「表示」のフラグをたてる。なお、本実施例では、同じコンテンツを連続して表示しないようにしており、前回の表示タイミングで表示されたコンテンツについては「休」のフラグをたてる。
また、「終了時の値」は、表示優先度の算出を行い表示するコンテンツを決定した後、当該コンテンツに対応する「開始時の値」について、「開始時の値」から注視人数を引くことにより更新したコンテンツの優先度を示す値である。なお、それ以外のコンテンツに対応する「開始時の値」は更新しない。「終了時の値」は以下の計算式で表される。
（式３）
「終了時の値（表示するコンテンツ）」＝「開始時の値」−注視人数
「終了時の値（表示しないコンテンツ）」＝「開始時の値」 The “starting value” is a value indicating the priority of the content that does not consider the number of gazes, and is expressed by the following calculation formula.
(Formula 1)
"Start value" of display timing (n)
= "Value at end" of (n-1) + "reference value" / 2
(The value at the start of n = 0 is the “reference value”)
“Value considering weight (display priority)” is a value indicating the priority of content taking into consideration the number of people to be obtained by multiplying the value of each priority obtained according to the number of people to watch by “the value at the start” Yes, this is the display priority value. The “weighted value (display priority)” is expressed by the following calculation formula.
(Formula 2)
"Value considering weight (display priority)"
= “Value at start” × priority weighting value acquired according to the number of gazing people “Display flag” sets a “display” flag for the content to be displayed at the display timing. In the present embodiment, the same content is not continuously displayed, and a flag “rest” is set for the content displayed at the previous display timing.
In addition, after calculating the display priority and determining the content to be displayed, “the value at the end” is obtained by subtracting the number of gazes from the “value at the start” for the “value at the start” corresponding to the content. Is a value indicating the priority of the content updated by. The “starting value” corresponding to the other contents is not updated. The “end value” is expressed by the following formula.
(Formula 3)
“End value (displayed content)” = “Start value” −Gaze number “End value (not displayed content)” = “Start value”

次に、計測した注視人数を基にしてコンテンツ決定部１０４がコンテンツを表示するまでの処理の具体例を、図７を用いて説明していく。本実施例では、表示するコンテンツの対象は広告イ〜ホであり、優先度はランクＡ〜Ｃを有する。「表示タイミングｎ＝０」の表示優先度の算出を行う際、開始時の値は基準値を用いるので、広告イ〜ホの開始時の値は全て「開始時の値＝１０」を示している。また、この時の注視人数は「注視人数＝６人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、「ランクＡ＝１」，「ランクＢ＝１」、「ランクＣ＝０．８」の重み付け値を取得する。   Next, a specific example of processing until the content determination unit 104 displays content based on the measured number of gazes will be described with reference to FIG. In the present embodiment, the contents to be displayed are advertisements i to e, and the priorities have ranks A to C. When calculating the display priority of “display timing n = 0”, since the reference value is used as the value at the start, all the values at the start of the advertisements i to e indicate “value at start = 10”. Yes. Further, the number of gazes at this time is “the number of gazes = 6”, and based on this, the weighting value of each priority is acquired from the weighting value management unit 106 (see FIG. 6). That is, the weight values of “rank A = 1”, “rank B = 1”, and “rank C = 0.8” are acquired.

これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、「広告イの表示優先度＝１０」、「広告ロの表示優先度＝１０」、「広告ハの表示優先度＝１０」、「広告二の表示優先度＝１０」、「広告ホの表示優先度＝８」を取得する。そして、この中から「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝０」では、広告イを表示部１０８に表示するコンテンツとして決定し、決定した広告イに対して「表示フラグ＝表示」をたてておく。   In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, “display priority of advertisement A = 10”, “display priority of advertisement B = 10”, “display priority of advertisement C = 10”, “display priority of advertisement II = 10”, “advertising H Display priority = 8 ”is acquired. Then, the advertisement having the highest “weighted value (display priority)” is selected from these, and if the value is the same, the advertisement having the highest order is prioritized. Therefore, at “display timing n = 0”, the advertisement is determined as the content to be displayed on the display unit 108, and “display flag = display” is set for the determined advertisement.

また、表示する広告イを決定した後、広告イに対応する「開始時の値＝１０」から「注視人数＝６」を引くことにより「広告イの終了時の値＝４」を取得し、一方、広告ロ〜ホに対応する「開始時の値＝１０」から「終了時の値＝１０」を取得する。さらに、各終了値を取得した後、次の「表示タイミングｎ＝１」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「広告イの開始時の値＝９」、「広告ロの開始時の値＝１５」、「広告ハの開始時の値＝１５」、「広告二の開始時の値＝１５」、「広告ホの開始時の値＝１５」を取得する。そして、実際に「表示タイミングｎ＝０」になったときに表示部１０８には「広告イ」を表示する。次に、「表示タイミングｎ＝１」の表示優先度の算出を行う。「表示タイミングｎ＝１」の表示優先度の算出を行う際、開始時の値は「広告イの開始時の値＝９」、「広告ロの開始時の値＝１５」、「広告ハの開始時の値＝１５」、「広告二の開始時の値＝１５」、「広告ホの開始時の値＝１５」を示している。また、「表示タイミングｎ＝０」において広告イは表示されているので、「表示タイミングｎ＝１」の広告イには「休」のフラグをたてる。すなわち、表示優先度を算出した際、広告イの「重み考慮した値（表示優先度）」が最も高い場合でも表示対象から外すことにより、連続する表示タイミングで同じ広告を表示しないようにしている。「表示タイミングｎ＝１」の注視人数は「注視人数＝１５人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、「ランクＡ＝１」，「ランクＢ＝０．８」、「ランクＣ＝０．６」の重み付け値を取得する。これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、「広告イの表示優先度＝９」、「広告ロの表示優先度＝１５」、「広告ハの表示優先度＝１２」、「広告二の表示優先度＝１２」、「広告ホの表示優先度＝９」を取得する。そして、この中から「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝１」では、広告ロを表示部１０８に表示するコンテンツとして決定し、決定した広告ロに対して「表示フラグ＝表示」をたてておく。   In addition, after deciding the advertisement to be displayed, “value at the end of the advertisement = 4” is obtained by subtracting “the number of gaze = 6” from “the value at the start = 10” corresponding to the advertisement a, On the other hand, “value at the end = 10” is acquired from “value at the start = 10” corresponding to the advertisements ro-ho. Further, after each end value is acquired, a value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 1” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, “Value at the start of the advertisement = 9”, “Value at the start of the advertisement B = 15”, “Value at the start of the advertisement C = 15”, “Value at the start of the advertisement 2 = 15”, “Advertisement start value = 15” is acquired. Then, when “display timing n = 0” is actually reached, “advertisement i” is displayed on the display unit 108. Next, the display priority of “display timing n = 1” is calculated. When calculating the display priority of “display timing n = 1”, the value at the start is “value at the start of the advertisement = 9”, “value at the start of the advertisement = 15”, “ “Value at start = 15”, “Value at start of advertisement 2 = 15”, and “Value at start of advertisement H = 15” are shown. Further, since the advertisement i is displayed at “display timing n = 0”, the flag “pause” is set for the advertisement i at “display timing n = 1”. In other words, when the display priority is calculated, even if the “value considering weight (display priority)” of the advertisement is highest, it is excluded from the display target so that the same advertisement is not displayed at successive display timings. . The number of gazes at “display timing n = 1” is “number of gazes = 15”, and based on this, the weight value of each priority is obtained from the weight value management unit 106 (see FIG. 6). That is, the weight values of “rank A = 1”, “rank B = 0.8”, and “rank C = 0.6” are acquired. In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, “display priority of advertisement A = 9”, “display priority of advertisement B = 15”, “display priority of advertisement C = 12”, “display priority of advertisement II = 12”, “advertising H Display priority = 9 ”is acquired. Then, the advertisement having the highest “weighted value (display priority)” is selected from these, and if the value is the same, the advertisement having the highest order is prioritized. Accordingly, at “display timing n = 1”, the advertisement is determined as the content to be displayed on the display unit 108, and “display flag = display” is set for the determined advertisement.

また、表示する広告ロを決定した後、広告ロに対応する「開始時の値＝１５」から「注視人数＝１５」を引くことにより「広告ロの終了時の値＝０」を取得し、一方、広告イに対応する「開始時の値＝９」から「終了時の値＝９」を取得し、広告ハ〜ホに対応する「開始時の値＝１５」から「終了時の値＝１５」を取得する。さらに、各終了値を取得した後、次の「表示タイミングｎ＝２」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「広告イの開始時の値＝１４」、「広告ロの開始時の値＝５」、「広告ハの開始時の値＝２０」、「広告二の開始時の値＝２０」、「広告ホの開始時の値＝２０」を取得する。そして、実際に「表示タイミングｎ＝１」になったときに表示部１０８には「広告ロ」を表示する。   In addition, after deciding the advertisement to be displayed, subtracting “number of gaze = 15” from “starting value = 15” corresponding to the advertisement, to obtain “value at the end of advertising b = 0” On the other hand, “end value = 9” is acquired from “start value = 9” corresponding to the advertisement i, and “start value = 15” corresponding to the advertisement ha to “e”. 15 ”is acquired. Further, after each end value is acquired, the value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 2” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, “value at the start of the advertisement = 14”, “value at the start of the advertisement B = 5”, “value at the start of the advertisement C = 20”, “value at the start of the advertisement 2 = 20”, “Advertisement start value = 20” is acquired. Then, when “display timing n = 1” is actually reached, “advertisement b” is displayed on the display unit 108.

次に、「表示タイミングｎ＝２」の表示優先度の算出を行う。「表示タイミングｎ＝２」の表示優先度の算出を行う際、開始時の値は「広告イの開始時の値＝１４」、「広告ロの開始時の値＝５」、「広告ハの開始時の値＝２０」、「広告二の開始時の値＝２０」、「広告ホの開始時の値＝２０」を示している。また、「表示タイミングｎ＝１」において広告ロは表示されているので、「表示タイミングｎ＝２」の広告ロには「休」のフラグをたてる。すなわち、表示優先度を算出した際、広告イの「重み考慮した値（表示優先度）」が最も高い場合でも表示対象から外すことにより、連続する表示タイミングで同じ広告を表示しないようにしている。「表示タイミングｎ＝２」の注視人数は「注視人数＝２２人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、「ランクＡ＝１」，「ランクＢ＝０．６」、「ランクＣ＝０．４」の重み付け値を取得する。これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、「広告イの表示優先度＝１４」、「広告ロの表示優先度＝５」、「広告ハの表示優先度＝１２」、「広告二の表示優先度＝１２」、「広告ホの表示優先度＝８」を取得する。そして、この中から「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝２」では、広告イを表示部１０８に表示するコンテンツとして決定し、決定した広告イに対して「表示フラグ＝表示」をたてておく。   Next, the display priority of “display timing n = 2” is calculated. When calculating the display priority of “display timing n = 2”, the value at the start is “value at the start of the advertisement = 14”, “value at the start of the advertisement = 5”, “ “Value at start = 20”, “Value at start of advertisement 2 = 20”, and “Value at start of advertisement H = 20” are shown. In addition, since advertisement B is displayed at “display timing n = 1”, a flag of “rest” is set for advertisement B at “display timing n = 2”. In other words, when the display priority is calculated, even if the “value considering weight (display priority)” of the advertisement is highest, it is excluded from the display target so that the same advertisement is not displayed at successive display timings. . The number of gazes at “display timing n = 2” is “number of gazes = 22”, and based on this, the weight value of each priority is acquired from the weight value management unit 106 (see FIG. 6). That is, the weight values of “rank A = 1”, “rank B = 0.6”, and “rank C = 0.4” are acquired. In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, “display priority of advertisement A = 14”, “display priority of advertisement B = 5”, “display priority of advertisement C = 12”, “display priority of advertisement II = 12”, “advertising H Display priority = 8 ”is acquired. Then, the advertisement having the highest “weighted value (display priority)” is selected from these, and if the value is the same, the advertisement having the highest order is prioritized. Therefore, at “display timing n = 2”, the advertisement is determined as the content to be displayed on the display unit 108, and “display flag = display” is set for the determined advertisement.

また、表示する広告イを決定した後、広告イに対応する「開始時の値＝１４」から「注視人数＝２２」を引くことにより「広告イの終了時の値＝−８」を取得し、一方、広告ロに対応する「開始時の値＝５」から「終了時の値＝５」を取得し、広告ハ〜ホに対応する「開始時の値＝２０」から「終了時の値＝２０」を取得する。さらに、各終了値を取得した後、次の「表示タイミングｎ＝３」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「広告イの開始時の値＝−３」、「広告ロの開始時の値＝１０」、「広告ハの開始時の値＝２５」、「広告二の開始時の値＝２５」、「広告ホの開始時の値＝２５」を取得する。そして、実際に「表示タイミングｎ＝２」になったときに表示部１０８には「広告イ」を表示する。   In addition, after determining the advertisement a to be displayed, “value at the end of the advertisement a = −8” is obtained by subtracting “number of gaze = 22” from the “start value = 14” corresponding to the advertisement a. On the other hand, “end value = 5” is acquired from “start value = 5” corresponding to the advertisement b, and “start value = 20” corresponding to the advertisement ha to “e”. = 20 "is acquired. Further, after each end value is acquired, the value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 3” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, “value at the start of the advertisement B = −3”, “value at the start of the advertisement B = 10”, “value at the start of the advertisement C = 25”, “value at the start of the advertisement II = 25” , “Value at the start of advertisement ho = 25” is acquired. Then, when “display timing n = 2” is actually reached, “advertisement i” is displayed on the display unit 108.

以上のような処理を繰り返し行い、計測された注視人数を基にして優先度が付与された広告を表示している。すなわち、注視人数が多くなるにつれ、重み付け値に幅を持たせるように設定しており、計測した注視人数が多い場合には、優先度が高いコンテンツを優先して表示できるようにし、一方、注視人数が少ない場合にはどのコンテンツも同じように表示することができる。   The process as described above is repeated to display an advertisement with a priority given based on the measured number of gazes. In other words, as the number of gazes increases, the weighting value is set to have a wider range, and when the number of gazes measured is large, content with a high priority can be displayed with priority. When the number of people is small, any content can be displayed in the same way.

なお、優先度の数や種類は、本実施例で示したものに限定するものではなくコンテンツの数や種類に応じて適宜変更することができる。また、基準値、重み付け値、開始時の値の算出、重み付け値、終了時の値の算出等も本実施例で示したものに限定するものではない。例えば、重み付け値を一定にし、注視人数が多くなるにつれ、基準値や開始値の算出に幅を持たせるように設定しても良い。   Note that the number and types of priorities are not limited to those shown in this embodiment, and can be changed as appropriate according to the number and types of contents. Further, the calculation of the reference value, the weighting value, the value at the start, the calculation of the weighting value, the value at the end, and the like are not limited to those shown in this embodiment. For example, the weighting value may be constant, and the reference value and the start value may be set to be wider as the number of gazes increases.

また、表示するコンテンツについては表示優先度の値を用いて次の表示タイミングの開始値とし、表示しない他のコンテンツについては表示優先度の値に注視人数を加えたものを次の表示タイミングの開始値とするようにしても良い。これにより終了値の算出を行わなくて良く、また、基準値も不要となり、シンプルな構成で、計測した注視人数に従った適切なコンテンツの表示制御を行うことができる。さらに、表示するコンテンツに対する注視人数の統計を取り、当該コンテンツの注目度に従い、コンテンツ情報管理部１０５で管理する優先度を更新するようにしても良い。


（実施例２）
以下、本発明の第２実施例について図面を参照しながら説明する。基本的な構成や処理の流れは実施例１で説明したとおりなので、重複する説明は省略する。はじめに、コンテンツ表示装置の設置例を図９に示す。９０１ａ〜ｃはコンテンツを表示する表示部、９０２ａ〜ｃは表示部９０１ａ〜ｃの周辺を撮影する撮影部、９０３は人物である。撮影部９０２ａ〜ｃは表示部９０１ａ〜ｃの周辺を撮影するものであるため、９０１ａ〜ｃ及び撮影部９０２ａ〜ｃは、それぞれ１セットで設置される。すなわち、９０１ａ及び撮影部９０２ａは装置Ａとして設置され、９０１ｂ及び撮影部９０２ｂは装置Ｂとして設置され、９０１ｃ及び撮影部９０２ｃは装置Ｃとして設置される。１セットの設置例は実施例１で説明したとおりである。 For the content to be displayed, the display priority value is used as the start value for the next display timing. For other content not to be displayed, the display priority value is added to the number of people to be watched for the start of the next display timing. A value may be used. Accordingly, it is not necessary to calculate the end value, and the reference value is not necessary, and appropriate content display control according to the measured number of gazes can be performed with a simple configuration. Further, statistics on the number of people watching the content to be displayed may be taken, and the priority managed by the content information management unit 105 may be updated according to the degree of attention of the content.


(Example 2)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. Since the basic configuration and the flow of processing are as described in the first embodiment, a duplicate description is omitted. First, an installation example of the content display device is shown in FIG. Reference numerals 901a to 901c are display units for displaying content, 902a to c are photographing units for photographing the periphery of the display units 901a to 901c, and 903 is a person. Since the photographing units 902a to 902c photograph the periphery of the display units 901a to 901c, the 901a to c and the photographing units 902a to 902c are installed as one set. That is, 901a and the imaging unit 902a are installed as the device A, 901b and the imaging unit 902b are installed as the device B, and 901c and the imaging unit 902c are installed as the device C. One set of installation examples is as described in the first embodiment.

つづいてコンテンツ表示装置の内部構成について説明する。図８はコンテンツ表示装置８００の内部構成を示したブロック図である。コンテンツ表示装置８００は、表示部８０８ａ〜ｃの周辺を撮影する撮影部８０１ａ〜ｃ、撮影部８０１ａ〜ｃにより撮影された映像を基に人物の視線方向を検出して表示部８０８ａ〜ｃを注視している人物を特定する視線検出部８０２、その注視している人物をカウントして注視人数を計測するカウント部８０３、計測した注視人数を基にコンテンツの表示優先度を算出し、これに従い表示部８０８ａ〜ｃに表示するコンテンツを決定するコンテンツ決定部８０４、優先度を付与した複数のコンテンツに関する情報及び当該情報と対応付けて表示優先度の算出に用いる情報等を管理するコンテンツ情報管理部８０５、優先度及び注視人数に基づいて設定された重み付け値を管理する重み付け値管理部８０６、優先度を付与した複数のコンテンツを管理するコンテンツ管理部８０７、コンテンツ決定部８０４により決定されるコンテンツを表示する表示部８０８ａ〜ｃを備えている。図８において、コンテンツ決定部８０４を除く各構成は実施例１で説明した構成と同様である。本実施例のコンテンツ決定部８０４は、図１１に示すような表示ルールをプログラム化したものを設定し、これに従いコンテンツの決定処理を行い、表示部８０８ａ〜ｃを注視しているそれぞれの人数を基に各コンテンツの表示優先度を算出し、これに従い、表示優先度の高いコンテンツから順に表示部８０８ａ〜ｃに表示する。   Next, the internal configuration of the content display device will be described. FIG. 8 is a block diagram showing an internal configuration of the content display device 800. The content display device 800 shoots the vicinity of the display units 808a to 808c, detects the direction of the person's line of sight based on the images taken by the shooting units 801a to 801c, and gazes at the display units 808a to 808c. A line-of-sight detection unit 802 that identifies a person who is watching, a counting unit 803 that counts the number of people watching and measures the number of people watching, calculates the display priority of content based on the number of people watching and displays the content accordingly A content determination unit 804 that determines the content to be displayed in the units 808a to 808c, a content information management unit 805 that manages information related to a plurality of contents to which priority is given, information used in calculating the display priority in association with the information, and the like , A weight value management unit 806 that manages weight values set based on the priority and the number of people to be watched, and a plurality of containers with priorities Content management unit 807 for managing the tree, and a display unit 808a~c displaying content determined by the content determination unit 804. In FIG. 8, each configuration excluding the content determination unit 804 is the same as the configuration described in the first embodiment. The content determination unit 804 according to the present embodiment sets a display rule as shown in FIG. 11 in a programmed manner, performs content determination processing according to the program, and determines the number of persons who are watching the display units 808a to 808c. Based on this, the display priority of each content is calculated, and according to this, the content with the highest display priority is displayed on the display units 808a to 808c.

次に、実施例１で説明した処理と同様の処理を行うことにより計測した、表示部８０８ａ〜ｃを注視している人数を基にしてコンテンツ決定部１０４が表示部８０８ａ〜ｃにコンテンツを表示するまでの処理の具体例を、図１０を用いて説明していく。なお、本実施例では撮影部８０１ａと表示部８０８ａのセットを装置Ａ、撮影部８０１ｂと表示部８０８ｂのセットを装置Ｂ、撮影部８０１ｃと表示部８０８ｃのセットを装置Ｃとする。また、本実施例では、表示優先度の算出は、表示タイミング前に行い、コンテンツ決定部１０４がカウント部１０３から計測した注視人数を取得することにより行うようにしている。また、本実施例では、表示するコンテンツの対象は広告イ〜ホであり、優先度はランクＡ〜Ｃを有する。   Next, the content determination unit 104 displays content on the display units 808a to 808c based on the number of people who are gazing at the display units 808a to 808c, which are measured by performing the same process as described in the first embodiment. A specific example of the processing up to this will be described with reference to FIG. In this embodiment, the set of the photographing unit 801a and the display unit 808a is set as the device A, the set of the shooting unit 801b and the display unit 808b is set as the device B, and the set of the shooting unit 801c and the display unit 808c is set as the device C. Further, in this embodiment, the display priority is calculated before the display timing, and the content determination unit 104 acquires the number of gazes measured from the count unit 103. In the present embodiment, the contents to be displayed are advertisements i to e, and the priorities have ranks A to C.

「表示タイミングｎ＝０」の表示優先度の算出を行う際、開始時の値は基準値を用いるので、広告イ〜ホの開始時の値は全て「開始時の値＝２０」を示している。また、この時の各装置Ａ〜Ｃでの注視人数は「装置Ａの注視人数＝６人」、「装置Ｂの注視人数＝１２人」、「装置Ｃの注視人数＝３人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、装置Ａでは「ランクＡ＝１」，「ランクＢ＝１」、「ランクＣ＝０．８」の重み付け値を取得し、装置Ｂでは「ランクＡ＝１」，「ランクＢ＝０．８」、「ランクＣ＝０．６」の重み付け値を取得し、装置Ｃでは「ランクＡ＝１」，「ランクＢ＝１」、「ランクＣ＝１」の重み付け値を取得する。   When calculating the display priority of “display timing n = 0”, since the reference value is used as the value at the start, all the values at the start of advertisements i to e indicate “value at start = 20”. Yes. At this time, the number of people gazing at each of the devices A to C is “the number of people gazing at the device A = 6 people”, “the number of people gazing at the device B = 12 people”, and “the number of people gazing at the device C = 3 people”. Based on this, the weight value of each priority is acquired from the weight value management unit 106 (see FIG. 6). That is, the device A acquires the weight values of “rank A = 1”, “rank B = 1”, and “rank C = 0.8”, and the device B acquires “rank A = 1”, “rank B = 0. 8 ”and“ Rank C = 0.6 ”are acquired, and the device C acquires the weight values of“ Rank A = 1 ”,“ Rank B = 1 ”, and“ Rank C = 1 ”.

これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、装置Ａでは「広告イの表示優先度＝２０」、「広告ロの表示優先度＝２０」、「広告ハの表示優先度＝２０」、「広告二の表示優先度＝２０」、「広告ホの表示優先度＝１６」を取得する。また、装置Ｂでは「広告イの表示優先度＝２０」、「広告ロの表示優先度＝２０」、「広告ハの表示優先度＝１６」、「広告二の表示優先度＝１６」、「広告ホの表示優先度＝１２」を取得する。さらに、装置Ｃでは「広告イの表示優先度＝２０」、「広告ロの表示優先度＝２０」、「広告ハの表示優先度＝２０」、「広告二の表示優先度＝２０」、「広告ホの表示優先度＝２０」を取得する。   In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, in the device A, “display priority of advertisement A = 20”, “display priority of advertisement B = 20”, “display priority of advertisement C = 20”, “display priority of advertisement II = 20”, “ “Display priority of advertisement e = 16” is acquired. In the device B, “advertising display priority = 20”, “advertising display priority = 20”, “advertising display priority = 16”, “advertising display priority = 16”, “ “Display priority of advertisement ho = 12” is acquired. Further, in the device C, “display priority of advertisement A = 20”, “display priority of advertisement B = 20”, “display priority of advertisement C = 20”, “display priority of advertisement II = 20”, “ “Display priority of advertisement ho = 20” is acquired.

コンテンツ決定部１０４は、プログラム化した図１１に示すような表示ルールに従い、最も注視人数が多かった装置Ｂで表示する広告を決定する。そして、装置Ｂにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝０」では、装置Ｂにおいて広告イを表示部８０８ｂに表示するコンテンツとして決定し、決定した広告イに対して「表示フラグ＝装置Ｂ」をたてておく。つづいて、コンテンツ決定部１０４は、次に注視人数が多かった装置Ａで表示する広告を決定する。そして、装置Ａにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝０」では、装置Ａにおいて広告ロを表示部８０８ａに表示するコンテンツとして決定し、決定した広告ロに対して「表示フラグ＝装置Ａ」をたてておく。最後に、コンテンツ決定部１０４は、装置Ｃで表示する広告を決定する。装置Ｃにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝０」では、装置Ｃにおいて広告ハを表示部８０８ａに表示するコンテンツとして決定し、決定した広告ハに対して「表示フラグ＝装置Ｃ」をたてておく。   The content determination unit 104 determines an advertisement to be displayed on the device B having the largest number of people to watch in accordance with a programmed display rule as shown in FIG. Then, in the device B, the advertisement having the highest “weighted value (display priority)” is selected, and in the case of the same value, the advertisement in the upper order is given priority. Therefore, at “display timing n = 0”, the advertisement B is determined as the content to be displayed on the display unit 808b in the device B, and “display flag = device B” is set for the determined advertisement. Subsequently, the content determination unit 104 determines an advertisement to be displayed on the device A having the next largest number of people to watch. Then, an advertisement having the highest “weighted value (display priority)” is selected in apparatus A, and if the value is the same, priority is given to the advertisement in the upper order. Therefore, at “display timing n = 0”, the advertisement A is determined as the content to be displayed on the display unit 808a in the device A, and “display flag = device A” is set for the determined advertisement. Finally, the content determination unit 104 determines an advertisement to be displayed on the device C. In the device C, an advertisement having the highest “weighted value (display priority)” is selected, and in the case of the same value, the advertisement in the upper order is prioritized. Therefore, at “display timing n = 0”, the advertisement C is determined as the content to be displayed on the display unit 808a in the device C, and “display flag = device C” is set for the determined advertisement C.

各表示部８０８ａ〜ｃで表示する広告を決定した後、決定された広告に対応する「開始時の値」から「注視人数」を引くことにより「終了時の値」を取得し、一方、それ以外の広告に対応する「開始時の値」から「終了時の値」を取得する。すなわち、決定された広告イに対応する「開始時の値＝２０」から「装置Ｂの注視人数＝１２」を引くことにより「広告イの終了時の値＝８」を取得し、また、決定された広告ロに対応する「開始時の値＝２０」から「装置Ａの注視人数＝６」を引くことにより「広告ロの終了時の値＝１４」を取得し、さらに、決定された広告ハに対応する「開始時の値＝２０」から「装置Ｃの注視人数＝３」を引くことにより「広告ハの終了時の値＝１７」を取得する。一方、広告ニ、ホに対応する「開始時の値＝２０」から「終了時の値＝２０」を取得する。   After determining the advertisement to be displayed on each of the display units 808a to 808c, the “end value” is obtained by subtracting the “number of gazes” from the “start value” corresponding to the determined advertisement, "End value" is acquired from "Start value" corresponding to advertisements other than. That is, “the value at the end of the advertisement B = 8” is obtained by subtracting “the number of people watching the device B = 12” from the “value at the start = 20” corresponding to the determined advertisement A, and the determination By subtracting “the number of people gazing at apparatus A = 6” from the “starting value = 20” corresponding to the selected advertisement, “the value at the end of advertisement = 14” is obtained, and the determined advertisement By subtracting “the number of people gazing at apparatus C = 3” from “the value at the start = 20” corresponding to C, “the value at the end of the advertisement C = 17” is acquired. On the other hand, “end value = 20” is acquired from “start value = 20” corresponding to advertisements D and E.

さらに、各終了値を取得した後、次の「表示タイミングｎ＝１」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「基準値＝２０」なので、「広告イの開始時の値＝１８」、「広告ロの開始時の値＝２４」、「広告ハの開始時の値＝２７」、「広告二の開始時の値＝３０」、「広告ホの開始時の値＝３０」を取得する。そして、実際に「表示タイミングｎ＝０」になったときに表示部８０８ａには「広告ロ」を表示し、表示部８０８ｂには「広告イ」を表示し、表示部８０８ｃには「広告ハ」を表示する。   Further, after each end value is acquired, a value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 1” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, since “reference value = 20”, “value at the start of the advertisement B = 18”, “value at the start of the advertisement B = 24”, “value at the start of the advertisement C = 27”, “ “Start value = 30” and “Advertisement start value = 30” are acquired. When “display timing n = 0” is actually reached, “advertisement b” is displayed on the display portion 808a, “advertisement a” is displayed on the display portion 808b, and “advertisement h” is displayed on the display portion 808c. Is displayed.

次に、「表示タイミングｎ＝１」の表示優先度の算出を行う。「表示タイミングｎ＝１」の表示優先度の算出を行う際、開始時の値は「広告イの開始時の値＝１８」、「広告ロの開始時の値＝２４」、「広告ハの開始時の値＝２７」、「広告二の開始時の値＝３０」、「広告ホの開始時の値＝３０」を示している。また、この時の各装置Ａ〜Ｃでの注視人数は「装置Ａの注視人数＝１５人」、「装置Ｂの注視人数＝２０人」、「装置Ｃの注視人数＝８人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、装置Ａでは「ランクＡ＝１」，「ランクＢ＝０．８」、「ランクＣ＝０．６」の重み付け値を取得し、装置Ｂでは「ランクＡ＝１」，「ランクＢ＝０．８」、「ランクＣ＝０．６」の重み付け値を取得し、装置Ｃでは「ランクＡ＝１」，「ランクＢ＝１」、「ランクＣ＝０．８」の重み付け値を取得する。   Next, the display priority of “display timing n = 1” is calculated. When calculating the display priority of “display timing n = 1”, the value at the start is “value at the start of the advertisement = 18”, “value at the start of the advertisement = 24”, “ “Value at start = 27”, “Value at start of advertisement 2 = 30”, and “Value at start of advertisement H = 30” are shown. At this time, the number of people gazing at each of the devices A to C is “the number of people gazing at the device A = 15 people”, “the number of people gazing at the device B = 20 people”, and “the number of people gazing at the device C = 8 people”. Based on this, the weight value of each priority is acquired from the weight value management unit 106 (see FIG. 6). That is, the device A acquires the weight values of “rank A = 1”, “rank B = 0.8”, and “rank C = 0.6”, and the device B acquires “rank A = 1”, “rank B = 0.8 "and" Rank C = 0.6 "are obtained, and the device C obtains" Rank A = 1 "," Rank B = 1 ", and" Rank C = 0.8 " To do.

これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、装置Ａでは「広告イの表示優先度＝１８」、「広告ロの表示優先度＝２４」、「広告ハの表示優先度＝２１．６」、「広告二の表示優先度＝２４」、「広告ホの表示優先度＝１８」を取得する。また、装置Ｂでは「広告イの表示優先度＝１８」、「広告ロの表示優先度＝２４」、「広告ハの表示優先度＝２１．６」、「広告二の表示優先度＝２４」、「広告ホの表示優先度＝１８」を取得する。さらに、装置Ｃでは「広告イの表示優先度＝１８」、「広告ロの表示優先度＝２４」、「広告ハの表示優先度＝２７」、「広告二の表示優先度＝３０」、「広告ホの表示優先度＝２４」を取得する。   In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, in the device A, “display priority for advertisement A = 18”, “display priority for advertisement B = 24”, “display priority for advertisement C = 21.6”, and “display priority for advertisement II = 24”. , “Advertisement E display priority = 18” is acquired. Further, in the device B, “display priority for advertisement A = 18”, “display priority for advertisement B = 24”, “display priority for advertisement C = 21.6”, “display priority for advertisement II = 24”. , “Advertisement E display priority = 18” is acquired. Further, in the device C, “display priority of advertisement A = 18”, “display priority of advertisement B = 24”, “display priority of advertisement C = 27”, “display priority of advertisement II = 30”, “ “Display priority of advertisement ho = 24” is acquired.

コンテンツ決定部１０４は、プログラム化した図１１に示すような表示ルールに従い、最も注視人数が多かった装置Ｂで表示する広告を決定する。そして、装置Ｂにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝１」では、装置Ｂにおいて表示優先度が最も高い広告は広告ロ、ニであり、順番的には広告ロであるが、前回の表示タイミングで広告ロは表示されているため、広告ニを優先する。したがって、「表示タイミングｎ＝１」では、装置Ｂにおいて広告ニを表示部８０８ｂに表示するコンテンツとして決定し、決定した広告ニに対して「表示フラグ＝装置Ｂ」をたてておく。つづいて、コンテンツ決定部１０４は、次に注視人数が多かった装置Ａで表示する広告を決定する。そして、装置Ａにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝１」では、装置Ａにおいて表示優先度が最も高い広告は広告ロ、ニであり、順番的には広告ロであるが、前回の表示タイミングで広告ロは表示されているため、広告ニを優先する。しかし、広告ニは既に表示が決定しているので、次に優先度が高い広告ハを優先する。したがって、「表示タイミングｎ＝１」では、装置Ａにおいて広告ハを表示部８０８ａに表示するコンテンツとして決定し、決定した広告ハに対して「表示フラグ＝装置Ａ」をたてておく。最後に、コンテンツ決定部１０４は、装置Ｃで表示する広告を決定する。装置Ｃで表示が決まっていないうち優先度が高い広告は広告ロ、ホであるが、前回のタイミングで広告ロは表示されているため、広告ホを優先する。したがって、「表示タイミングｎ＝１」では、装置Ｃにおいて広告ホを表示部８０８ｃに表示するコンテンツとして決定し、決定した広告ホに対して「表示フラグ＝装置Ｃ」をたてておく。   The content determination unit 104 determines an advertisement to be displayed on the device B having the largest number of people to watch in accordance with a programmed display rule as shown in FIG. Then, in the device B, the advertisement having the highest “weighted value (display priority)” is selected, and in the case of the same value, the advertisement in the upper order is given priority. Therefore, at “display timing n = 1”, the advertisement with the highest display priority in apparatus B is advertisement ro and d, and in turn is advertisement ro, but advertisement ro is displayed at the previous display timing. Therefore, give priority to advertising. Therefore, at the “display timing n = 1”, the device B determines the advertisement D as the content to be displayed on the display unit 808b, and sets “display flag = device B” for the determined advertisement D. Subsequently, the content determination unit 104 determines an advertisement to be displayed on the device A having the next largest number of people to watch. Then, an advertisement having the highest “weighted value (display priority)” is selected in apparatus A, and if the value is the same, priority is given to the advertisement in the upper order. Therefore, at “display timing n = 1”, the advertisement with the highest display priority in apparatus A is advertising ro and d, and in turn is advertising ro, but advertising ro is displayed at the previous display timing. Therefore, give priority to advertising. However, since the display of the advertisement D has already been determined, the advertisement C having the next highest priority is given priority. Therefore, at “display timing n = 1”, the advertisement A is determined as the content to be displayed on the display unit 808a in the device A, and “display flag = device A” is set for the determined advertisement C. Finally, the content determination unit 104 determines an advertisement to be displayed on the device C. The advertisement with the highest priority among the displays that are not determined by the device C is the advertisement B and E. However, since the advertisement B is displayed at the previous timing, the advertisement E is given priority. Therefore, at “display timing n = 1”, the advertisement C is determined as the content to be displayed on the display unit 808c in the device C, and “display flag = device C” is set for the determined advertisement.

各表示部８０８ａ〜ｃで表示する広告を決定した後、決定された広告に対応する「開始時の値」から「注視人数」を引くことにより「終了時の値」を取得し、一方、それ以外の広告に対応する「開始時の値」から「終了時の値」を取得する。すなわち、決定された広告ハに対応する「開始時の値＝２７」から「装置Ａの注視人数＝１５」を引くことにより「広告ハの終了時の値＝１２」を取得し、また、決定された広告ニに対応する「開始時の値＝３０」から「装置Ｂの注視人数＝２０」を引くことにより「広告ロの終了時の値＝１０」を取得し、さらに、決定された広告ホに対応する「開始時の値＝３０」から「装置Ｃの注視人数＝８」を引くことにより「広告ホの終了時の値＝２２」を取得する。一方、広告イに対応する「開始時の値＝１８」から「終了時の値＝１８」を取得し、広告ロに対応する「開始時の値＝２４」から「終了時の値＝２４」を取得する。   After determining the advertisement to be displayed on each of the display units 808a to 808c, the “end value” is obtained by subtracting the “number of gazes” from the “start value” corresponding to the determined advertisement, "End value" is acquired from "Start value" corresponding to advertisements other than. That is, “the value at the end of the advertisement = 12” is obtained by subtracting “the number of people gazing at the device A = 15” from “the value at the start = 27” corresponding to the determined advertisement C, and the decision By subtracting “the number of people gazing at apparatus B = 20” from “the value at the start = 30” corresponding to the selected advertisement d, “the value at the end of the advertisement B = 10” is obtained, and the determined advertisement By subtracting “number of people gazing at apparatus C = 8” from “value at start = 30” corresponding to “e”, “value at end of advertisement ho = 22” is acquired. On the other hand, “end value = 18” is acquired from “start value = 18” corresponding to the advertisement “i”, and “start value = 24” is acquired from “start value = 24” corresponding to the advertisement b. To get.

さらに、各終了値を取得した後、次の「表示タイミングｎ＝２」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「基準値＝２０」なので、「広告イの開始時の値＝２８」、「広告ロの開始時の値＝３４」、「広告ハの開始時の値＝２２」、「広告二の開始時の値＝２０」、「広告ホの開始時の値＝３２」を取得する。そして、実際に「表示タイミングｎ＝１」になったときに表示部８０８ａには「広告ハ」を表示し、表示部８０８ｂには「広告ニ」を表示し、表示部８０８ｃには「広告ホ」を表示する。   Further, after each end value is acquired, the value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 2” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, since “reference value = 20”, “value at the start of the advertisement = 28”, “value at the start of the advertisement B = 34”, “value at the start of the advertisement C = 22”, “ “Value at start = 20” and “Value at start of advertisement ho = 32” are acquired. When “display timing n = 1” is actually reached, “advertisement C” is displayed on the display portion 808a, “advertising d” is displayed on the display portion 808b, and “advertisement home” is displayed on the display portion 808c. Is displayed.

次に、「表示タイミングｎ＝２」の表示優先度の算出を行う。「表示タイミングｎ＝２」の表示優先度の算出を行う際、開始時の値は「広告イの開始時の値＝２８」、「広告ロの開始時の値＝３４」、「広告ハの開始時の値＝２２」、「広告二の開始時の値＝２０」、「広告ホの開始時の値＝３２」を示している。また、この時の各装置Ａ〜Ｃでの注視人数は「装置Ａの注視人数＝２２人」、「装置Ｂの注視人数＝３０人」、「装置Ｃの注視人数＝１０人」であり、これを基に重み付け値管理部１０６から各優先度の重み付け値を取得する（図６参照）。すなわち、装置Ａでは「ランクＡ＝１」，「ランクＢ＝０．６」、「ランクＣ＝０．４」の重み付け値を取得し、装置Ｂでは「ランクＡ＝１」，「ランクＢ＝０．６」、「ランクＣ＝０．４」の重み付け値を取得し、装置Ｃでは「ランクＡ＝１」，「ランクＢ＝１」、「ランクＣ＝０．８」の重み付け値を取得する。   Next, the display priority of “display timing n = 2” is calculated. When the display priority of “display timing n = 2” is calculated, the value at the start is “value at the start of advertisement i = 28”, “value at the start of advertisement b = 34”, “ “Value at start = 22”, “Value at start of advertisement 2 = 20”, and “Value at start of advertisement H = 32” are shown. At this time, the number of people gazing at each of the devices A to C is “the number of people gazing at the device A = 22 people”, “the number of people gazing at the device B = 30 people”, and “the number of people gazing at the device C = 10 people”. Based on this, the weight value of each priority is acquired from the weight value management unit 106 (see FIG. 6). That is, the device A acquires the weight values of “rank A = 1”, “rank B = 0.6”, and “rank C = 0.4”, and the device B acquires “rank A = 1”, “rank B = The weight values of “0.6” and “Rank C = 0.4” are acquired, and the device C acquires the weight values of “Rank A = 1”, “Rank B = 1”, and “Rank C = 0.8”. To do.

これに従い、開始時の値に各優先度の重み付け値をかけることにより、各広告イ〜ホの「重み考慮した値（表示優先度）」を取得する。すなわち、装置Ａでは「広告イの表示優先度＝２８」、「広告ロの表示優先度＝３４」、「広告ハの表示優先度＝１３．２」、「広告二の表示優先度＝１２」、「広告ホの表示優先度＝１２.８」を取得する。また、装置Ｂでは「広告イの表示優先度＝２８」、「広告ロの表示優先度＝３４」、「広告ハの表示優先度＝１３．２」、「広告二の表示優先度＝１２」、「広告ホの表示優先度＝１２．８」を取得する。さらに、装置Ｃでは「広告イの表示優先度＝２８」、「広告ロの表示優先度＝３４」、「広告ハの表示優先度＝２２」、「広告二の表示優先度＝２０」、「広告ホの表示優先度＝２７．２」を取得する。   In accordance with this, by multiplying the value at the start by the weight value of each priority, the “value considering the weight (display priority)” of each advertisement i to e is acquired. That is, in the device A, “display priority of advertisement A = 28”, “display priority of advertisement B = 34”, “display priority of advertisement C = 13.2”, “display priority of advertisement II = 12”. , “Display priority of advertisement ho = 12.8” is acquired. In the device B, “display priority for advertisement A = 28”, “display priority for advertisement B = 34”, “display priority for advertisement C = 13.2”, “display priority for advertisement II = 12”. , “Display priority of advertisement ho = 12.8” is acquired. Further, in the device C, “display priority of advertisement A = 28”, “display priority of advertisement B = 34”, “display priority of advertisement C = 22”, “display priority of advertisement II = 20”, “ “Display priority of advertisement ho = 27.2” is acquired.

コンテンツ決定部１０４は、プログラム化した図１１に示すような表示ルールに従い、最も注視人数が多かった装置Ｂで表示する広告を決定する。そして、装置Ｂにおいて、「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。したがって、「表示タイミングｎ＝２」では、装置Ｂにおいて広告ロを表示部８０８ｂに表示するコンテンツとして決定し、決定した広告ロに対して「表示フラグ＝装置Ｂ」をたてておく。つづいて、コンテンツ決定部１０４は、次に注視人数が多かった装置Ａで表示する広告を決定する。そして、装置Ａにおいて「重み考慮した値（表示優先度）」が最も高い広告を選択し、同じ値の場合には順序が上にある広告を優先する。「表示タイミングｎ＝２」では、装置Ａにおいて表示優先度が最も高い広告は広告ロであるが、既に表示が決定しているので、次に表示優先度が高い広告イを優先する。したがって、「表示タイミングｎ＝２」では、装置Ａにおいて広告イを表示部８０８ａに表示するコンテンツとして決定し、決定した広告イに対して「表示フラグ＝装置Ａ」をたてておく。最後に、コンテンツ決定部１０４は、装置Ｃで表示する広告を決定する。装置Ｃで表示が決まっていないうち優先度が高い広告は広告ホであるが、前回のタイミングで広告ホは表示されているため、広告ハを優先する。したがって、「表示タイミングｎ＝２」では、装置Ｃにおいて広告ハを表示部８０８ｃに表示するコンテンツとして決定し、決定した広告ハに対して「表示フラグ＝装置Ｃ」をたてておく。   The content determination unit 104 determines an advertisement to be displayed on the device B having the largest number of people to watch in accordance with a programmed display rule as shown in FIG. Then, in the device B, an advertisement having the highest “value considering weight (display priority)” is selected, and in the case of the same value, the advertisement having the higher order is prioritized. Accordingly, at “display timing n = 2”, the advertisement B is determined as the content to be displayed on the display unit 808b in the device B, and “display flag = device B” is set for the determined advertisement B. Subsequently, the content determination unit 104 determines an advertisement to be displayed on the device A having the next largest number of people to watch. Then, an advertisement having the highest “weighted value (display priority)” is selected in apparatus A, and if the value is the same, priority is given to the advertisement in the upper order. At “display timing n = 2”, the advertisement with the highest display priority in the device A is the advertisement B, but since the display has already been determined, the advertisement with the next highest display priority is given priority. Accordingly, at “display timing n = 2”, the advertisement A is determined as the content to be displayed on the display unit 808a in the device A, and “display flag = device A” is set for the determined advertisement i. Finally, the content determination unit 104 determines an advertisement to be displayed on the device C. The advertisement having a high priority is the advertisement e, although the display is not determined by the device C. However, since the advertisement e is displayed at the previous timing, the advertisement c is given priority. Therefore, at “display timing n = 2”, the advertisement C is determined as the content to be displayed on the display unit 808c in the device C, and “display flag = device C” is set for the determined advertisement C.

各表示部８０８ａ〜ｃで表示する広告を決定した後、決定された広告に対応する「開始時の値」から「注視人数」を引くことにより「終了時の値」を取得し、一方、それ以外の広告に対応する「開始時の値」から「終了時の値」を取得する。すなわち、決定された広告イに対応する「開始時の値＝２８」から「装置Ａの注視人数＝２２」を引くことにより「広告イの終了時の値＝」を取得し、また、決定された広告ロに対応する「開始時の値＝３４」から「装置Ｂの注視人数＝３０」を引くことにより「広告ロの終了時の値＝４」を取得し、さらに、決定された広告ハに対応する「開始時の値＝２２」から「装置Ｃの注視人数＝１０」を引くことにより「広告ホの終了時の値＝１２」を取得する。一方、広告ニに対応する「開始時の値＝２０」から「終了時の値＝２０」を取得し、広告ホに対応する「開始時の値＝３２」から「終了時の値＝３２」を取得する。   After determining the advertisement to be displayed on each of the display units 808a to 808c, the “end value” is obtained by subtracting the “number of gazes” from the “start value” corresponding to the determined advertisement, "End value" is acquired from "Start value" corresponding to advertisements other than. That is, “the value at the end of the advertisement“ = ”is obtained by subtracting“ the number of people gazing at the device A = 22 ”from“ the value at the time of starting = 28 ”corresponding to the determined advertisement“ a ”. By subtracting “Number of people gazing at device B = 30” from “Value at start = 34” corresponding to the advertisement B, “Value at end of advertisement B = 4” is obtained, and further, the determined advertisement ha By subtracting “the number of people gazing at the device C = 10” from “the value at the time of starting = 22” corresponding to the above, “the value at the end of the advertisement ho = 12” is acquired. On the other hand, “end value = 20” is acquired from “start value = 20” corresponding to the advertisement d, and “end value = 32” is acquired from “start value = 32” corresponding to the advertisement e. To get.

さらに、各終了値を取得した後、次の「表示タイミングｎ＝３」の広告イ〜ホに対応する開始時の値を取得する。上記したように、表示タイミング（ｎ）の「開始時の値」は、その前の表示タイミング（ｎ−１）の「終了時の値」に「基準値／２」を加えることにより取得する。すなわち、「基準値＝２０」なので、「広告イの開始時の値＝１６」、「広告ロの開始時の値＝１４」、「広告ハの開始時の値＝２２」、「広告二の開始時の値＝３０」、「広告ホの開始時の値＝４２」を取得する。そして、実際に「表示タイミングｎ＝２」になったときに表示部８０８ａには「広告イ」を表示し、表示部８０８ｂには「広告ロ」を表示し、表示部８０８ｃには「広告ハ」を表示する。   Further, after each end value is acquired, the value at the start corresponding to the next advertisement “i” to “e” at “display timing n = 3” is acquired. As described above, the “starting value” of the display timing (n) is obtained by adding “reference value / 2” to the “ending value” of the previous display timing (n−1). That is, since “reference value = 20”, “value at the start of the advertisement = 16”, “value at the start of the advertisement B = 14”, “value at the start of the advertisement C = 22”, “ “Start value = 30”, “Advertisement start value = 42” are acquired. When the “display timing n = 2” is actually reached, “advertisement a” is displayed on the display portion 808a, “advertisement b” is displayed on the display portion 808b, and “advertisement h” is displayed on the display portion 808c. Is displayed.

以上のような処理を繰り返し行い、計測された注視人数を基にして優先度が付与された広告を表示している。すなわち、注視人数が多くなるにつれ、重み付け値に幅を持たせるように設定しており、計測した注視人数が多い場合には、優先度が高いコンテンツを優先して表示できるようにし、一方、注視人数が少ない場合にはどのコンテンツも同じように表示することができる。   The process as described above is repeated to display an advertisement with a priority given based on the measured number of gazes. In other words, as the number of gazes increases, the weighting value is set to have a wider range, and when the number of gazes measured is large, content with a high priority can be displayed with priority. When the number of people is small, any content can be displayed in the same way.

なお、優先度の数や種類は、本実施例で示したものに限定するものではなくコンテンツの数や種類に応じて適宜変更することができる。また、基準値、重み付け値、開始時の値の算出、重み付け値、終了時の値の算出等も本実施例で示したものに限定するものではない。例えば、重み付け値を一定にし、注視人数が多くなるにつれ、基準値や開始値の算出に幅を持たせるように設定しても良い。   Note that the number and types of priorities are not limited to those shown in this embodiment, and can be changed as appropriate according to the number and types of contents. Further, the calculation of the reference value, the weighting value, the value at the start, the calculation of the weighting value, the value at the end, and the like are not limited to those shown in this embodiment. For example, the weighting value may be constant, and the reference value and the start value may be set to be wider as the number of gazes increases.

また、表示を行うコンテンツについては表示優先度の値を用いて次の表示タイミングの開始値とし、表示を行わない他のコンテンツについては表示優先度の値に注視人数を加えたものを次の表示タイミングの開始値とするようにしても良い。これにより終了値の算出を行わなくて良く、また、基準値も不要となり、シンプルな構成で、計測した注視人数に従った適切なコンテンツの表示制御を行うことができる。さらに、表示するコンテンツに対する注視人数の統計を取り、当該コンテンツの注目度に従い、コンテンツ情報管理部１０５で管理する優先度を更新するようにしても良い。   For the contents to be displayed, the display priority value is used as the start value of the next display timing, and for other contents not to be displayed, the display priority value plus the number of people to be watched is displayed next. The timing start value may be used. Accordingly, it is not necessary to calculate the end value, and the reference value is not necessary, and appropriate content display control according to the measured number of gazes can be performed with a simple configuration. Further, statistics on the number of people watching the content to be displayed may be taken, and the priority managed by the content information management unit 105 may be updated according to the degree of attention of the content.

本発明によれば、優先度が付与されている複数の広告などのコンテンツを管理するコンテンツ表示装置において、表示画面を注視している人物の視線の数を検出することにより注視人数を計測し、計測した注視人数に従って適切なコンテンツの表示制御を行うことができる。これにより、多人数が表示画面を注視するときには、それに応じて優先度を動的に変化させ、優先度の高いコンテンツを表示できる。すなわち、広告料や時間帯により各優先度が付与されているコンテンツに対し、注視人数も考慮することにより、表示画面への注視状況にあわせて自動的に最適なコンテンツを表示できるため有用である。   According to the present invention, in a content display device that manages content such as a plurality of advertisements to which priority is given, the number of gazes is measured by detecting the number of eyes of a person who is gazing at the display screen, Appropriate content display control can be performed according to the measured number of gazes. As a result, when a large number of people gaze at the display screen, the priority can be dynamically changed in accordance with it, and content with a high priority can be displayed. In other words, it is useful because it is possible to automatically display the most suitable content according to the gaze situation on the display screen by considering the number of gazes for the content given each priority according to the advertisement fee and time zone. .

本発明のコンテンツ表示装置の内部構成を示すブロック図（実施例１）FIG. 1 is a block diagram showing the internal configuration of a content display device according to the present invention (Example 1) 本発明のコンテンツ表示装置の設置例を示す図（実施例１）FIG. 10 is a diagram illustrating an installation example of the content display device of the present invention (Example 1); 本発明のコンテンツ表示装置で行う処理動作を示すフロー図The flowchart which shows the processing operation performed with the content display apparatus of this invention 注視人物の特定を行う処理動作を示すフロー図Flow chart showing processing operation to identify gaze person 優先度を付与した複数のコンテンツに関する情報のデータ構造を示す図The figure which shows the data structure of the information regarding the some content which gave the priority 優先度及び注視人数に基づいて特定した重み付け値のデータ構造を示す図The figure which shows the data structure of the weighting value specified based on the priority and the number of people watching コンテンツに関する情報と対応付けた表示優先度の算出に用いる情報のデータ構造を示す図The figure which shows the data structure of the information used for calculation of the display priority matched with the information regarding a content 本発明のコンテンツ表示装置の内部構成を示すブロック図（実施例２）FIG. 2 is a block diagram showing an internal configuration of a content display device of the present invention (Example 2). 本発明のコンテンツ表示装置の設置例を示す図（実施例２）(Example 2) which shows the example of installation of the content display apparatus of this invention コンテンツに関する情報と対応付けた表示優先度の算出に用いる情報のデータ構造を示す図The figure which shows the data structure of the information used for calculation of the display priority matched with the information regarding a content プログラム化される表示ルールを示す図Diagram showing display rules programmed 従来のコンテンツ表示装置の内部構成を示したブロック図The block diagram which showed the internal structure of the conventional content display apparatus

符号の説明Explanation of symbols

１００ コンテンツ表示装置
１０１ 撮影部
１０２ 視線検出部
１０３ カウント部
１０４ コンテンツ決定部
１０５ コンテンツ情報管理部
１０６ 重み付け値管理部
１０７ コンテンツ管理部
１０８ 表示部
２０１ 表示部
２０２ 撮影部
８０１ａ，ｂ，ｃ 撮影部
８０２ 視線検出部
８０３ カウント部
８０４ コンテンツ決定部
８０５ コンテンツ情報管理部
８０６ 重み付け値管理部
８０７ コンテンツ管理部
８０８ａ，ｂ，ｃ 表示部 DESCRIPTION OF SYMBOLS 100 Content display apparatus 101 Image pick-up part 102 Eye-gaze detection part 103 Count part 104 Content determination part 105 Content information management part 106 Weight value management part 107 Content management part 108 Display part 201 Display part 202 Image-capturing part 801a, b, c Image-taking part 802 Line of sight Detection unit 803 Count unit 804 Content determination unit 805 Content information management unit 806 Weight value management unit 807 Content management unit 808a, b, c Display unit

Claims (6)

優先度を付与した複数のコンテンツを管理するコンテンツ管理手段と、
前記コンテンツに関する情報を管理するコンテンツ情報管理手段と、
前記コンテンツを表示する表示手段と、
前記表示手段の周辺を撮影する撮影手段と、
前記撮影手段により撮影された映像を基に人物の視線方向を検出して前記表示手段を注視している人物を特定する視線検出手段と、
前記注視している人物をカウントして注視人数を計測するカウント手段と、
前記計測した注視人数を基に前記コンテンツの表示優先度を算出し、これに従い前記表示手段に表示するコンテンツを決定するコンテンツ決定手段を備えたことを特徴とするコンテンツ表示装置。 Content management means for managing a plurality of contents with priorities;
Content information management means for managing information related to the content;
Display means for displaying the content;
Photographing means for photographing the periphery of the display means;
Gaze detection means for detecting a gaze direction of a person based on the video taken by the imaging means and identifying a person who is gazing at the display means;
A counting means for counting the number of people watching and measuring the number of people watching;
A content display device comprising content determination means for calculating a display priority of the content based on the measured number of gazes and determining content to be displayed on the display means according to the calculated display priority. 優先度及び注視人数に基づいて設定した重み付け値を管理する重み付け値管理手段を備えたことを特徴とする請求項１に記載のコンテンツ表示装置。   2. The content display device according to claim 1, further comprising weight value management means for managing a weight value set based on the priority and the number of people watching. 前記コンテンツ情報管理手段は、前記コンテンツに関する情報と対応付けた前記表示優先度の算出に用いる情報を管理し、前記コンテンツ決定手段は、当該表示優先度の算出に用いる情報を用いて前記表示優先度を算出することを特徴とする請求項１または２に記載のコンテンツ表示装置。   The content information management means manages information used for calculation of the display priority associated with information related to the content, and the content determination means uses the information used for calculation of the display priority to display the display priority. The content display device according to claim 1, wherein the content display device calculates the content of the content. 前記コンテンツ決定手段は、前記計測した注視人数を用いて前記重み付け値管理手段から前記注視人数に該当する優先度の重み付け値を取得し、当該重み付け値を用いて前記表示優先度を算出することを特徴とする請求項１乃至３の何れかに記載のコンテンツ表示装置。   The content determination unit obtains a weighting value of a priority corresponding to the gaze number from the weight value management unit using the measured gaze number, and calculates the display priority using the weight value. The content display device according to claim 1, wherein the content display device is a content display device. 前記コンテンツ決定手段は、前記表示優先度を算出した後、前記表示優先度の算出に用いる情報の更新処理を行い、前記更新処理は前記表示手段に表示したコンテンツとそれ以外のコンテンツにより異なる処理を行うことを特徴とする請求項１乃至４の何れかに記載のコンテンツ表示装置。   The content determination means calculates the display priority and then performs an update process of information used for calculating the display priority. The update process is different depending on the content displayed on the display means and other contents. The content display device according to claim 1, wherein the content display device is performed. 前記視線検出手段は、検出した視線が前記表示手段のいずれかの位置に所定時間以上あった場合に注視している人物として特定することを特徴とする請求項１または２に記載のコンテンツ表示装置。   3. The content display device according to claim 1, wherein the line-of-sight detection unit identifies the person who is gazing when the detected line-of-sight is at any position on the display unit for a predetermined time or more. .
JP2006090540A 2006-03-29 2006-03-29 Content display Pending JP2007265125A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006090540A JP2007265125A (en) 2006-03-29 2006-03-29 Content display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006090540A JP2007265125A (en) 2006-03-29 2006-03-29 Content display

Publications (2)

Publication Number Publication Date
JP2007265125A true JP2007265125A (en) 2007-10-11
JP2007265125A5 JP2007265125A5 (en) 2009-05-07

Family

ID=38638033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006090540A Pending JP2007265125A (en) 2006-03-29 2006-03-29 Content display

Country Status (1)

Country Link
JP (1) JP2007265125A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087549A (en) * 2008-09-29 2010-04-15 Seiko Epson Corp Information processor, server device, and program
WO2011035315A2 (en) * 2009-09-21 2011-03-24 Sontag James L System and method for distributing real-time promotional communications
JP2011123524A (en) * 2009-12-08 2011-06-23 Yahoo Japan Corp Advertisement control device and method
WO2011148884A1 (en) * 2010-05-28 2011-12-01 楽天株式会社 Content output device, content output method, content output program, and recording medium with content output program thereupon
JP2012027340A (en) * 2010-07-26 2012-02-09 Brother Ind Ltd Karaoke apparatus and method of outputting still picture of karaoke singer
JP2012147905A (en) * 2011-01-18 2012-08-09 Sankyo Co Ltd Game machine
US20130136304A1 (en) * 2011-11-30 2013-05-30 Canon Kabushiki Kaisha Apparatus and method for controlling presentation of information toward human object
JP2015005069A (en) * 2013-06-19 2015-01-08 ヤフー株式会社 Distributing device, terminal device, distribution system, distribution method, and transmission program
US20160070959A1 (en) * 2014-09-10 2016-03-10 Casio Computer Co., Ltd. Display System With Imaging Unit, Display Apparatus And Display Method
JP2016057607A (en) * 2014-09-10 2016-04-21 カシオ計算機株式会社 Display system, display device, and display method
JP2016186776A (en) * 2015-03-27 2016-10-27 富士通株式会社 Display control method, display control program, and information processing device
WO2019163599A1 (en) * 2018-02-22 2019-08-29 ソニー株式会社 Information processing device, moving body, method, and program
WO2019229926A1 (en) * 2018-05-31 2019-12-05 Ｎｅｃディスプレイソリューションズ株式会社 Display system, display method, and program
WO2020136784A1 (en) * 2018-12-27 2020-07-02 Ｎｅｃディスプレイソリューションズ株式会社 Display system, display method, and program
WO2023243172A1 (en) * 2022-06-17 2023-12-21 日立チャネルソリューションズ株式会社 Monitoring apparatus and monitoring apparatus method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018725A (en) * 2004-07-05 2006-01-19 Brother Ind Ltd Information providing device and system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018725A (en) * 2004-07-05 2006-01-19 Brother Ind Ltd Information providing device and system

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087549A (en) * 2008-09-29 2010-04-15 Seiko Epson Corp Information processor, server device, and program
WO2011035315A2 (en) * 2009-09-21 2011-03-24 Sontag James L System and method for distributing real-time promotional communications
WO2011035315A3 (en) * 2009-09-21 2011-06-03 Sontag James L System and method for distributing real-time promotional communications
JP2011123524A (en) * 2009-12-08 2011-06-23 Yahoo Japan Corp Advertisement control device and method
WO2011148884A1 (en) * 2010-05-28 2011-12-01 楽天株式会社 Content output device, content output method, content output program, and recording medium with content output program thereupon
US9530144B2 (en) 2010-05-28 2016-12-27 Rakuten, Inc. Content output device, content output method, content output program, and recording medium having content output program recorded thereon
JP2012027340A (en) * 2010-07-26 2012-02-09 Brother Ind Ltd Karaoke apparatus and method of outputting still picture of karaoke singer
JP2012147905A (en) * 2011-01-18 2012-08-09 Sankyo Co Ltd Game machine
US20130136304A1 (en) * 2011-11-30 2013-05-30 Canon Kabushiki Kaisha Apparatus and method for controlling presentation of information toward human object
US9224037B2 (en) 2011-11-30 2015-12-29 Canon Kabushiki Kaisha Apparatus and method for controlling presentation of information toward human object
JP2015005069A (en) * 2013-06-19 2015-01-08 ヤフー株式会社 Distributing device, terminal device, distribution system, distribution method, and transmission program
JP2016057607A (en) * 2014-09-10 2016-04-21 カシオ計算機株式会社 Display system, display device, and display method
US20160070959A1 (en) * 2014-09-10 2016-03-10 Casio Computer Co., Ltd. Display System With Imaging Unit, Display Apparatus And Display Method
CN105407308A (en) * 2014-09-10 2016-03-16 卡西欧计算机株式会社 Display System With Imaging Unit, Display Apparatus And Display Method
JP2016186776A (en) * 2015-03-27 2016-10-27 富士通株式会社 Display control method, display control program, and information processing device
JPWO2019163599A1 (en) * 2018-02-22 2021-03-11 ソニー株式会社 Information processing equipment, mobile devices, and methods, and programs
WO2019163599A1 (en) * 2018-02-22 2019-08-29 ソニー株式会社 Information processing device, moving body, method, and program
JP7310793B2 (en) 2018-02-22 2023-07-19 ソニーグループ株式会社 Information processing device, mobile device, method, and program
US11482190B2 (en) 2018-02-22 2022-10-25 Sony Corporation Information processing apparatus, transportation apparatus, method, and program
CN112042207A (en) * 2018-05-31 2020-12-04 Nec显示器解决方案株式会社 Display system, display method, and program
JPWO2019229926A1 (en) * 2018-05-31 2020-12-17 Ｎｅｃディスプレイソリューションズ株式会社 Display system, display method and program
JP7061190B2 (en) 2018-05-31 2022-04-27 シャープＮｅｃディスプレイソリューションズ株式会社 Display system, display method and program
US11509955B2 (en) 2018-05-31 2022-11-22 Sharp Nec Display Solutions, Ltd. Display system, display method, and program
WO2019229926A1 (en) * 2018-05-31 2019-12-05 Ｎｅｃディスプレイソリューションズ株式会社 Display system, display method, and program
US11438652B2 (en) 2018-12-27 2022-09-06 Sharp Nec Display Solutions, Ltd. Display system, display method, and program
WO2020136784A1 (en) * 2018-12-27 2020-07-02 Ｎｅｃディスプレイソリューションズ株式会社 Display system, display method, and program
WO2023243172A1 (en) * 2022-06-17 2023-12-21 日立チャネルソリューションズ株式会社 Monitoring apparatus and monitoring apparatus method

Similar Documents

Publication Publication Date Title
JP2007265125A (en) Content display
US10635167B2 (en) Smooth pursuit gaze tracking
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6424357B2 (en) Visual target efficiency measurement device
JP5418093B2 (en) Display device and control method
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
KR20170134256A (en) Method and apparatus for correcting face shape
JP6077655B2 (en) Shooting system
JP5959923B2 (en) Detection device, control method thereof, control program, imaging device and display device
US20120147246A1 (en) Methods And Apparatus For Use In Enabling An Efficient Review Of Photographic Images Which May Contain Irregularities
JPH1124603A (en) Information display device and information collecting device
CN113596344B (en) Shooting processing method, shooting processing device, electronic equipment and readable storage medium
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
KR20130088493A (en) Method for providing user interface and video receving apparatus thereof
US20130308829A1 (en) Still image extraction apparatus
JP2007172378A (en) Apparatus for specifying object to be gazed at
US20150178589A1 (en) Apparatus for processing digital image and method of controlling the same
CN107667522B (en) Method and apparatus for forming moving image
JP5941764B2 (en) Content evaluation data generation system, content evaluation data generation method, and program
EP3759444A1 (en) A computer-implemented method and system for preventing sight deterioration caused by prolonged use of electronic visual displays in low-light conditions
JP2012186821A (en) Face image processing device, face image processing method, electronic still camera, digital image processing device and digital image processing method
JP6198187B2 (en) Signal processing apparatus and signal processing method
CN114740966A (en) Multi-modal image display control method and system and computer equipment
JP2006268630A (en) Information display device and attention determination method using the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110726