JP2017203878A - Image processing system, image processing method and program - Google Patents

Image processing system, image processing method and program Download PDF

Info

Publication number
JP2017203878A
JP2017203878A JP2016095374A JP2016095374A JP2017203878A JP 2017203878 A JP2017203878 A JP 2017203878A JP 2016095374 A JP2016095374 A JP 2016095374A JP 2016095374 A JP2016095374 A JP 2016095374A JP 2017203878 A JP2017203878 A JP 2017203878A
Authority
JP
Japan
Prior art keywords
content
image processing
message
processing system
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016095374A
Other languages
Japanese (ja)
Other versions
JP6529928B2 (en
Inventor
春乃 片岡
Haruno Kataoka
春乃 片岡
裕介 市川
Yusuke Ichikawa
裕介 市川
恭子 橋口
Kyoko Hashiguchi
恭子 橋口
加愛 和合
Kae Wago
加愛 和合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016095374A priority Critical patent/JP6529928B2/en
Publication of JP2017203878A publication Critical patent/JP2017203878A/en
Application granted granted Critical
Publication of JP6529928B2 publication Critical patent/JP6529928B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing system capable of presenting an appropriate contents depending on the presentation circumstances of contents and area circumstances.SOLUTION: Disclosed image processing system 10 includes: an estimation part 16 that estimates at least one of presentation circumstances for presenting contents and area conditions as the conditions in an area where an information guide is presented; and a control unit 17 that changes the presentation mode of a message in the content depending on the estimation result by the estimation part 16, and presents the changed contents.SELECTED DRAWING: Figure 1

Description

本発明は、コンテンツを提示する画像処理システム、画像処理方法およびプログラムに関する。   The present invention relates to an image processing system, an image processing method, and a program for presenting content.

空港、駅、商業施設などの多数の人が集まる場所において、情報案内を行うための方法の1つとして、案内メッセージなどを示す画像(コンテンツ)を提示面に提示する方法がある。コンテンツの提示面への提示方法としては、施設の壁面などを投影面としてプロジェクタなどの投影装置により投影する方法がある。このような方法は、プロジェクションサインと称され、実用化が進められている。また、別の提示方法として、施設の壁面などに大型のディスプレイ装置を設置し、そのディスプレイ装置の表示面にコンテンツを表示する方法がある。   As a method for providing information at a place where many people gather, such as an airport, a station, or a commercial facility, there is a method of presenting an image (content) indicating a guidance message or the like on a presentation surface. As a method for presenting content on a presentation surface, there is a method of projecting by a projection device such as a projector using a wall surface of a facility as a projection surface. Such a method is called a projection sign and is being put into practical use. As another presentation method, there is a method in which a large display device is installed on a wall surface of a facility and the content is displayed on the display surface of the display device.

特許文献1には、プロジェクタによる画像の投影時に、周囲の照明変化を検出し、照明変化に応じて、投影画像の輝度が所定値となるように補正する技術が開示されている。この技術では、プロジェクタの投影画像をカメラにより撮影し、撮影画像から照明変化を検出し、その照明変化に応じて、投影画像全体の輝度を補正している。   Japanese Patent Application Laid-Open No. 2004-133620 discloses a technique for detecting a change in ambient illumination when an image is projected by a projector and correcting the projection image so that the luminance of the projection image becomes a predetermined value in accordance with the change in illumination. In this technique, a projection image of a projector is taken by a camera, an illumination change is detected from the taken image, and the luminance of the entire projection image is corrected according to the illumination change.

また、非特許文献1には、ディスプレイに表示された広告(デジタルサイネージ)の広告効果を測定するために、広告の視認可能エリアに存在するユーザを撮影し、その撮影画像から広告を実際に視認するユーザの属性を推定する技術が開示されている。   Further, in Non-Patent Document 1, in order to measure the advertising effect of an advertisement (digital signage) displayed on a display, a user who is present in a visible area of the advertisement is photographed, and the advertisement is actually visually recognized from the photographed image. A technique for estimating a user's attribute is disclosed.

特開2012−10250号公報JP 2012-10250 A

新井啓之、伊藤直己、片岡香織、谷口行信、「画像処理による広告効果測定技術」、NTT技術ジャーナル、2013年1月、p.61-64、[online]、[平成28年3月4日検索]、インターネット<URL:http://www.ntt.co.jp/journal/1301/files/jn201301061.pdf>Hiroyuki Arai, Naomi Ito, Kaori Kataoka, Yukinobu Taniguchi, “Advertising Effect Measurement Technology Using Image Processing”, NTT Technical Journal, January 2013, p.61-64, [online], [March 4, 2016 Search], Internet <URL: http://www.ntt.co.jp/journal/1301/files/jn201301061.pdf>

特許文献1に開示されている技術では、周囲の照明変化に応じて、投影画像全体の輝度を補正するだけであるため、コンテンツの提示環境の変化に対して、柔軟な制御を行うことができず、コンテンツの高品質な提示が困難である。   In the technique disclosed in Patent Document 1, only the brightness of the entire projection image is corrected according to the surrounding illumination change, so that flexible control can be performed with respect to changes in the content presentation environment. Therefore, it is difficult to present high-quality content.

例えば、非常に明るい環境で、細かい文字が含まれているコンテンツを提示する場合、投影画像の輝度を補正しても、細かい文字は視認しにくいままである。そのため、特許文献1に開示されている技術では、コンテンツの提示環境に応じた適切なコンテンツの提示が困難である。   For example, when presenting content that includes fine characters in a very bright environment, even if the brightness of the projected image is corrected, the fine characters remain difficult to visually recognize. Therefore, with the technology disclosed in Patent Document 1, it is difficult to present appropriate content according to the content presentation environment.

また、情報案内が行われるエリア(例えば、施設)内の混雑状況、人の流れの状況といったエリア状況に応じた案内を行うことが好ましい。例えば、ある地点Aが混雑しているため、別の地点Bに誘導するための案内を行うことがある。この場合、地点Aから地点Bへの移動を促すメッセージであっても、その表現態様に応じて効果が異なり、地点Aの混雑度と地点Bとの混雑度との差に応じて、メッセージの表現態様を異ならせることが効果的である。しかしながら、特許文献1においては、エリア状況に応じた制御は考慮されていない。   In addition, it is preferable to provide guidance according to the area situation such as the congestion situation in the area (for example, facility) where the information guidance is provided and the situation of the flow of people. For example, since a certain point A is congested, guidance for guiding to another point B may be performed. In this case, even if the message prompts the user to move from the point A to the point B, the effect differs depending on the expression mode, and depending on the difference between the congestion level at the point A and the congestion level at the point B, It is effective to change the expression mode. However, in patent document 1, the control according to an area condition is not considered.

また、非特許文献1に開示されている技術は、デジタルサイネージの広告効果を測定するための技術であり、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツを提示することについては考慮されていない。   In addition, the technology disclosed in Non-Patent Document 1 is a technology for measuring the advertising effect of digital signage, and consideration is given to presenting more appropriate content according to the content presentation environment and area conditions. It has not been.

上記のような問題点に鑑みてなされた本発明の目的は、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる画像処理システム、画像処理方法およびプログラムを提供することにある。   An object of the present invention made in view of the above problems is to provide an image processing system, an image processing method, and a program capable of presenting more appropriate content in accordance with the content presentation environment and area situation. There is to do.

上記課題を解決するため、本発明に係る画像処理システムは、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムであって、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定する推定部と、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部と、を備える。   In order to solve the above-described problems, an image processing system according to the present invention is an image processing system that presents content indicating a message for information guidance to a user, in which a presentation environment for presenting the content and the information guidance are performed. An estimation unit that estimates at least one of the area situations that are in the area to be displayed, and a control unit that changes the expression mode of the message in the content according to the estimation result of the estimation unit and presents the changed content And comprising.

また、上記課題を解決するため、本発明に係る画像処理方法は、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムにおける画像処理方法であって、推定部が、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定するステップと、制御部が、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示するステップと、を含む。   In order to solve the above problems, an image processing method according to the present invention is an image processing method in an image processing system that presents content indicating a message for information guidance to a user, and the estimation unit A step of estimating at least one of a presentation environment to be presented, an area situation that is a situation in an area in which the information guidance is performed, and a control unit expressing a message in the content according to an estimation result of the estimation unit And presenting the changed content.

また、上記課題を解決するため、本発明に係るプログラムは、ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システム内のコンピュータに、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定する処理と、前記推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する処理と、を実行させる。   In order to solve the above problem, the program according to the present invention includes a presentation environment for presenting the content to a computer in an image processing system that presents content indicating a message for information guidance to a user, and the information guidance. A process of estimating at least one of the area situations that are the situation in the area to be performed, and a process of changing the expression mode of the message in the content and presenting the changed content according to the estimation result Let

本発明に係る画像処理システム、画像処理方法およびプログラムによれば、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる。   According to the image processing system, the image processing method, and the program according to the present invention, more appropriate content can be presented according to the content presentation environment and the area situation.

本発明の一実施形態に係る画像処理システムの要部構成を示す図である。1 is a diagram illustrating a main configuration of an image processing system according to an embodiment of the present invention. 図1に示す画像処理システムによる、コンテンツの提示環境に応じてコンテンツを変更する場合の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation performed when content is changed according to a content presentation environment by the image processing system illustrated in FIG. 1. コンテンツの一例を示す図である。It is a figure which shows an example of a content. 図1に示すコンテンツ制御部が管理するコンテンツ情報の構成の一例を示す図である。It is a figure which shows an example of a structure of the content information which the content control part shown in FIG. 1 manages. 図1に示すコンテンツ制御部による、コンテンツを再構成する場合の動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement in the case of reconstructing the content by the content control part shown in FIG. 図3に示すコンテンツの再構成後のコンテンツの一例を示す図である。It is a figure which shows an example of the content after the reconfiguration | reconstruction of the content shown in FIG.

以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、本発明は、以下の実施の形態のみに限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることはもちろんである。   Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. It should be noted that the present invention is not limited to the following embodiments, and various modifications can be made without departing from the spirit of the present invention.

図1は、本発明の一実施形態に係る画像処理システム10の要部構成を示す図である。本実施形態に係る画像処理システム10は、ユーザに対する情報案内などのためのメッセージを示すコンテンツを提示するものであり、コンテンツを提示する提示環境や情報案内が行われるエリア内の状況であるエリア状況を推定し、推定結果に応じてコンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する。   FIG. 1 is a diagram illustrating a main configuration of an image processing system 10 according to an embodiment of the present invention. The image processing system 10 according to the present embodiment presents content indicating a message for information guidance or the like to a user, and an area situation that is a situation in an area where a content presentation environment or information guidance is performed. , And changes the expression mode of the message in the content according to the estimation result, and presents the changed content.

図1に示す画像処理システム10は、コンテンツデータ記憶部11と、プロジェクタ12と、カメラ13と、視線計測器14と、人流計測器15と、推定部16と、制御部17とを備える。   An image processing system 10 illustrated in FIG. 1 includes a content data storage unit 11, a projector 12, a camera 13, a line-of-sight measuring device 14, a human flow measuring device 15, an estimation unit 16, and a control unit 17.

コンテンツデータ記憶部11は、コンテンツのデータ(コンテンツデータ)を記憶する。ここで、本実施形態においては、詳細は後述するが、コンテンツは、1または複数の要素(図柄、アナウンスなど)からなり、コンテンツデータ記憶部11は、コンテンツを構成する要素毎に、データを記憶する。したがって、コンテンツデータ記憶部11では、提示するコンテンツ自体を記憶しておく必要は必ずしも無いが、例えば、種々の環境下、状況下で提示すべき基準となる、1または複数の要素からなるコンテンツ(基準コンテンツ)、および、基準コンテンツを構成する要素と入れ替え可能な1または複数の要素のデータをコンテンツデータとして記憶してもよい。なお、コンテンツやその要素の形式は特定の形式に限られるものではない。コンテンツやその要素には、jpg形式やgif形式の画像、静止画だけでなく、mp4形式の動画、HTML形式のコンテンツ、JavaScript(登録商標)やそのライブラリ(HTML5におけるcanvasなど)を用いて作成される描画スクリプトなど、種々の形式が含まれる。   The content data storage unit 11 stores content data (content data). Here, in this embodiment, although details will be described later, the content includes one or more elements (symbols, announcements, etc.), and the content data storage unit 11 stores data for each element constituting the content. To do. Therefore, the content data storage unit 11 does not necessarily store the content itself to be presented. However, for example, content (one or a plurality of elements) that serves as a reference to be presented under various circumstances and circumstances. Reference content) and data of one or more elements that can be replaced with elements constituting the reference content may be stored as content data. Note that the format of the content and its elements is not limited to a specific format. The content and its elements are created not only using jpg or gif format images and still images, but also using mp4 format moving images, HTML format content, JavaScript (registered trademark) and its libraries (such as canvas in HTML5). Various formats such as drawing scripts are included.

プロジェクタ12は、制御部17の制御に従い、コンテンツを提示面1(投影面)に提示(投影)する。なお、本実施形態においては、コンテンツの提示として、コンテンツをプロジェクタ12により投影する例を用いて説明するが、例えば、コンテンツをディスプレイ装置の表示面に表示してもよい。   The projector 12 presents (projects) the content on the presentation surface 1 (projection surface) under the control of the control unit 17. In the present embodiment, the content is presented using an example in which the projector 12 projects the content. However, for example, the content may be displayed on the display surface of the display device.

カメラ13は、提示面1を含む所定の範囲の撮影を行い、撮影画像を推定部16に出力する。カメラ13は、例えば、提示面1に対向し、所定の距離を隔てて設けられる。   The camera 13 captures a predetermined range including the presentation surface 1 and outputs the captured image to the estimation unit 16. For example, the camera 13 faces the presentation surface 1 and is provided at a predetermined distance.

視線計測器14は、カメラやセンサーなどを備え、カメラの撮影画像やセンサーの検出結果に基づいて、提示面1の視認可能な範囲内に存在するユーザの視線を計測し、計測結果を推定部16に出力する。視線計測器14は、例えば、提示面1側から提示面1を視認可能な範囲に向かって設けられ、例えば、提示面1の上側に設けられる。ユーザの視線計測技術としては種々の技術があり、また、本発明と直接関係しないため、説明を省略する。   The line-of-sight measuring instrument 14 includes a camera, a sensor, and the like, measures a user's line of sight existing within a viewable range of the presentation surface 1 based on a captured image of the camera and a detection result of the sensor, and estimates the measurement result. 16 is output. The line-of-sight measuring instrument 14 is provided, for example, in a range in which the presentation surface 1 can be viewed from the presentation surface 1 side, and is provided, for example, on the upper side of the presentation surface 1. There are various techniques for measuring the user's line of sight, and since it is not directly related to the present invention, description thereof is omitted.

人流計測器15は、カメラやセンサーなどを備え、カメラの撮影画像やセンサーの検出結果に基づいて、情報案内を行うエリア内(例えば、施設内)の人の流れ(人流)を計測し、計測結果を推定部16に出力する。人流計測器15は、情報案内を行うエリア内の1または複数の箇所に設けられる。人流計測技術としては種々の技術があり、また、本発明と直接関係しないため、説明を省略する。   The human flow measuring instrument 15 includes a camera, a sensor, and the like, and measures and measures a human flow (human flow) in an area where information guidance is provided (for example, in a facility) based on a captured image of the camera and a detection result of the sensor. The result is output to the estimation unit 16. The human flow measuring instrument 15 is provided at one or a plurality of locations in an area where information guidance is performed. There are various techniques for measuring human flow, and since they are not directly related to the present invention, description thereof is omitted.

推定部16は、カメラ13の撮影画像や、視線計測器14によるユーザの視線の計測結果、人流計測器15による情報案内を行うエリア内の人流の計測結果に基づき、コンテンツの提示環境(提示面1の周辺環境の明るさや色合いなど)、情報案内を行うエリアのエリア状況(混雑状況など)など種々の推定を行う。   The estimation unit 16 is configured to provide a content presentation environment (presentation surface) based on a photographed image of the camera 13, a measurement result of the user's gaze by the gaze meter 14, and a measurement result of the human flow in the area where information guidance is performed by the human flow meter 15. (1) brightness of the surrounding environment, color, etc.) and the area status (congestion status, etc.) of the area where information is provided.

例えば、推定部16は、カメラ13の撮影画像に基づき、コンテンツの提示環境(提示面1およびその周辺の色合い、明るさなど)を推定する。また、推定部16は、人流計測器15の計測結果に基づき、情報案内を行うエリア内の各地点の混雑度や人の流れなどの状況(エリア状況)を推定する。また、推定部16は、カメラ13の撮影画像に基づき、提示面1を視認可能な範囲内のユーザの属性を推定することもできる。また、推定部16は、例えば、カメラ13の撮影画像と視線計測器14の計測結果とに基づき、提示面1へのコンテンツの提示に応じて反応したユーザの検出などを行うこともできる。推定部16は、推定結果を制御部17に出力する。   For example, the estimation unit 16 estimates the content presentation environment (the color and brightness of the presentation surface 1 and its surroundings) based on the captured image of the camera 13. Further, the estimation unit 16 estimates the situation (area situation) such as the degree of congestion and the flow of people at each point in the area where information guidance is performed based on the measurement result of the human flow measuring instrument 15. Further, the estimation unit 16 can also estimate the attributes of the user within a range where the presentation surface 1 can be visually recognized based on the captured image of the camera 13. Moreover, the estimation part 16 can also detect the user who reacted according to the presentation of the content to the presentation surface 1, etc. based on the picked-up image of the camera 13, and the measurement result of the gaze measuring device 14, for example. The estimation unit 16 outputs the estimation result to the control unit 17.

制御部17は、コンテンツをプロジェクタ12に投影させる。ここで、制御部17は、推定部16によるコンテンツの提示環境およびエリア状況の少なくとも一方の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツをプロジェクタ12に投影させる。制御部17は、コンテンツ制御部171と、プロジェクタ管理部172とを備える。   The control unit 17 causes the projector 12 to project the content. Here, the control unit 17 changes the expression mode of the message in the content according to the estimation result of at least one of the content presentation environment and the area situation by the estimation unit 16 and causes the projector 12 to project the changed content. The control unit 17 includes a content control unit 171 and a projector management unit 172.

コンテンツ制御部171は、推定部16によるコンテンツの提示環境およびエリア状況の少なくとも一方の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更する。具体的には、コンテンツ制御部171は、コンテンツにおけるメッセージの表現形式(文字、絵文字、地図、主観映像(ユーザの視線で表現された像)など)を変更したり、メッセージの文章を変更したり、メッセージのデザイン(色、文字のフォント(書体)、文字の大きさなど)を変更したりする。ここで、コンテンツ制御部171は、コンテンツが示すメッセージの意味内容は変えることなく、メッセージの表現態様を変更する。   The content control unit 171 changes the expression mode of the message in the content in accordance with the estimation result of at least one of the content presentation environment and the area situation by the estimation unit 16. Specifically, the content control unit 171 changes the message expression format (characters, pictograms, maps, subjective video (images expressed by the user's line of sight), etc.) in the content, or changes the message text. , Change the message design (color, font (typeface), font size, etc.). Here, the content control unit 171 changes the expression mode of the message without changing the semantic content of the message indicated by the content.

プロジェクタ管理部172は、コンテンツ制御部171によるコンテンツの変更が必要ない場合には、コンテンツをそのままプロジェクタ12に投影させ、コンテンツ制御部171によりコンテンツが変更された場合には、変更後のコンテンツをプロジェクタ12に投影させる。   When the content control unit 171 does not need to change the content, the projector management unit 172 projects the content on the projector 12 as it is. When the content control unit 171 changes the content, the projector management unit 172 projects the changed content to the projector. 12 is projected.

次に、本実施形態に係る画像処理システム10の動作について説明する。   Next, the operation of the image processing system 10 according to the present embodiment will be described.

図2は、コンテンツの提示環境に応じてコンテンツを変更する場合の画像処理システム10の動作の一例を示すフローチャートである。図2においては、提示面1の周辺の明るさを推定し、推定結果に応じてコンテンツを変更する例を用いて説明する。   FIG. 2 is a flowchart illustrating an example of the operation of the image processing system 10 when content is changed according to the content presentation environment. In FIG. 2, description will be made using an example in which the brightness around the presentation surface 1 is estimated and the content is changed according to the estimation result.

カメラ13は、提示対象のコンテンツが提示された提示面1を撮影する(ステップS11)。   The camera 13 photographs the presentation surface 1 on which the content to be presented is presented (step S11).

推定部16は、前処理として、提示対象のコンテンツに対して、プロジェクタ12による台形補正、投影入射角などに基づく提示対象のコンテンツの変換に対する逆変換を行う(ステップS12)。   As preprocessing, the estimation unit 16 performs reverse conversion on the content to be presented, with respect to the conversion of the content to be presented based on the keystone correction by the projector 12, the projection incident angle, and the like (step S12).

次に、推定部16は、カメラ13の撮影画像内のコンテンツと、逆変換後のコンテンツとを比較し(ステップS13)、両画像の対応する各画素で、色の特徴値の差が所定の閾値より大きい箇所があるか否かを判定する(ステップS14)。なお、色の特徴値としては、HSV色空間における色相H、彩度S、明度V、RGB色空間におけるR値、G値、B値など、各種の値がある。   Next, the estimation unit 16 compares the content in the captured image of the camera 13 with the content after inverse transformation (step S13), and the difference in color feature value between the corresponding pixels of both images is a predetermined value. It is determined whether or not there is a location larger than the threshold value (step S14). Note that color characteristic values include various values such as hue H, saturation S, brightness V in the HSV color space, and R value, G value, and B value in the RGB color space.

撮影画像内のコンテンツおよび逆変換後のコンテンツの両画像の対応する各画素で色の特徴値の差が所定の閾値より大きい箇所が無いと判定した場合には(ステップS14:No)、推定部16は、提示環境によるコンテンツの視認性への影響は小さいと判定する。この場合、ステップS11の処理に戻る。   When it is determined that there is no portion where the difference between the color feature values is larger than a predetermined threshold value in each corresponding pixel of both the content image in the captured image and the content after reverse conversion (step S14: No), the estimation unit 16 determines that the influence of the presentation environment on the visibility of the content is small. In this case, the process returns to step S11.

撮影画像内のコンテンツおよび逆変換後のコンテンツの両画像の対応する各画素で色の特徴値の差が所定の閾値より大きい箇所が有ると判定した場合には(ステップS14:Yes)、推定部16は、提示環境によるコンテンツの視認性への影響が大きいと判定(推定)し、その旨とともに、比較の結果を提示環境の推定結果として制御部17に出力する。   When it is determined that there is a portion where the difference between the color feature values is larger than a predetermined threshold value in each pixel corresponding to both the content image in the photographed image and the content after inverse transformation (step S14: Yes), the estimation unit 16 determines (estimates) that the presentation environment has a large influence on the visibility of the content, and outputs a comparison result to the control unit 17 as a presentation environment estimation result.

コンテンツ制御部171は、提示環境によるコンテンツの視認性への影響が大きい旨が推定部16から出力されると、コンテンツにおけるメッセージの表現態様を変更する(コンテンツを再構成する)(ステップS15)。プロジェクタ管理部172は、コンテンツ制御部171による変更後のコンテンツをプロジェクタ12に提示(投影)させる(ステップS16)。   When the estimation unit 16 outputs that the content environment has a large effect on the visibility of the content, the content control unit 171 changes the message expression mode in the content (reconfigures the content) (step S15). The projector management unit 172 causes the projector 12 to present (project) the content changed by the content control unit 171 (step S16).

画像処理システム10は、上述した処理を、所定のタイミング毎に繰り返す。所定のタイミングとしては、所定の時間間隔毎(例えば、1分毎に)、提示対象のコンテンツが切り替わる毎、また、プロジェクタ12が上下左右などに移動可能なムービングプロジェクタである場合には、プロジェクタ12の移動毎などのタイミングがある。   The image processing system 10 repeats the above-described processing at every predetermined timing. As the predetermined timing, every predetermined time interval (for example, every minute), every time the content to be presented is switched, and when the projector 12 is a moving projector that can move up and down, left and right, etc., the projector 12 There is a timing such as every movement.

次に、コンテンツ制御部171によるコンテンツの再構成について説明する。   Next, content reconstruction by the content control unit 171 will be described.

図3は、コンテンツの一例を示す図であり、より詳細には、空港の出国ゲートの混雑状況を案内するコンテンツを示す図である。図3においては、コンテンツは、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージを示している。   FIG. 3 is a diagram showing an example of the content, and more specifically, the content showing the congestion status of the departure gate of the airport. In FIG. 3, the content indicates a message indicating that the user is recommended to use the north gate because the north gate is empty.

上述したように、コンテンツは、そのコンテンツが示すメッセージに対応する複数の要素の組み合わせにより構成されている。図3においては、コンテンツは、北ゲート周辺の経路を示す画像21、北ゲートへの移動経路を示す画像22、北ゲートが空いている旨を文章で示す画像23および混雑状況を示す画像24から構成されている例を示している。   As described above, the content is composed of a combination of a plurality of elements corresponding to the message indicated by the content. In FIG. 3, the content includes an image 21 showing the route around the north gate, an image 22 showing the route to the north gate, an image 23 showing that the north gate is empty, and an image 24 showing the congestion situation. An example of a configuration is shown.

コンテンツ制御部171は、提示対象のコンテンツを構成する要素などを示すコンテンツ情報を管理している。図4は、コンテンツ情報の構成の一例を示す図である。   The content control unit 171 manages content information indicating elements constituting the content to be presented. FIG. 4 is a diagram illustrating an example of the configuration of content information.

図4に示すように、コンテンツ情報は、コンテンツ用途と、コンテンツタイプと、構成要素と、要素タイプと、画面内構成率と、情報量と、環境影響指数と、内容とからなる。   As shown in FIG. 4, the content information includes a content usage, a content type, a component, an element type, an in-screen configuration rate, an information amount, an environmental impact index, and a content.

コンテンツ用途は、例えば、出国口の混雑状況の案内用途であるといった、コンテンツの用途を示す。コンテンツタイプは、コンテンツが、所定の概念を視覚的、観念的に表した図として表現するピクト(ピクトグラム)を用いたタイプであるか、実際の映像(実写)を用いたタイプであるかといった、コンテンツのタイプを示す。   The content usage indicates the usage of the content such as, for example, a usage guidance for the departure situation. The content type is a type that uses a pictogram (pictogram) that expresses a predetermined concept as a diagram that visually and conceptually represents a predetermined concept, or a type that uses an actual video (live action). Indicates the type of content.

構成要素は、コンテンツが示すメッセージに対応し、コンテンツを構成する要素である。構成要素の例としては、「経路(経路を示す要素)」(図3の北ゲート周辺の経路を示す画像21および北ゲートへの移動経路を示す画像22)、「アナウンス(伝達したい事項を文章で告知する要素)」(図4の北ゲートが空いている旨を文章で示す画像23)、「混雑状況(混雑の度合いを示す要素)」(図4の混雑状況を示す画像24)などがある。要素タイプは、各構成要素が、どのような態様で表現されるものであるかを示すものであり、例えば、構成要素「経路」の要素タイプとしては、地図画像(北ゲート周辺の地図画像)や、ピクト(北ゲートへの移動を視覚的、観念的に表した図)などがある。また、構成要素「アナウンス」の要素タイプとしては、文字(英語および日本語)がある。また、構成要素「混雑状況」の要素タイプとしては、人の集まり具合を図形化して簡略化したピクトなどがある。   The component corresponds to the message indicated by the content and is an element that configures the content. Examples of components include “route (element indicating route)” (image 21 showing a route around the north gate in FIG. 3 and image 22 showing a route to the north gate), “announcement (text to be transmitted is written in text) (Elements to be notified in FIG. 4) ”(image 23 indicating that the north gate in FIG. 4 is empty),“ congestion status (element indicating the degree of congestion) ”(image 24 indicating the congestion status in FIG. 4), etc. is there. The element type indicates how each component is expressed. For example, as an element type of the component “route”, a map image (map image around the north gate) And pictograms (visual and conceptual representations of the move to the North Gate). In addition, the element type of the constituent element “announcement” includes characters (English and Japanese). In addition, as an element type of the constituent element “congestion situation”, there is a pictograph that is simplified by making a figure of the gathering of people.

画面内構成率は、各構成要素がコンテンツ内で占める面積の比率である。情報量は、各構成要素により伝達される情報量を数値化したものである。この値が大きい程、より直接的に、ユーザにメッセージを伝達することができる。環境影響指数は、各構成要素の、コンテンツの提示環境による影響の受けやすさ(提示環境により視認性が悪くなる度合い)を示す。内容は、構成要素「アナウンス」で伝達する内容(文章)を示す。   The composition rate in the screen is a ratio of the area occupied by each component in the content. The amount of information is obtained by quantifying the amount of information transmitted by each component. The larger this value, the more directly the message can be transmitted to the user. The environmental impact index indicates the susceptibility of each component to the content presentation environment (the degree to which visibility deteriorates due to the presentation environment). The content indicates the content (sentence) transmitted by the component “announcement”.

コンテンツ制御部171は、提示対象のコンテンツについて、図4に示すような、コンテンツ情報を管理している。   The content control unit 171 manages content information as shown in FIG. 4 for the content to be presented.

図5は、コンテンツ制御部171による、コンテンツを再構成する場合の動作の一例を示すフローチャートである。なお、図5においては、コンテンツ制御部171は、コンテンツの提示環境の変化に応じて、コンテンツを変更する例を用いて説明する。   FIG. 5 is a flowchart illustrating an example of an operation when content is reconstructed by the content control unit 171. In FIG. 5, the content control unit 171 will be described using an example in which the content is changed in accordance with a change in the content presentation environment.

コンテンツ制御部171は、推定部16よりコンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知されたか否かを判定する(ステップS21)。   The content control unit 171 determines whether or not it has been notified by the estimation unit 16 that there has been a change in the presentation environment that is estimated to have a large effect on the visibility of the content (step S21).

コンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知されていない場合には(ステップS21:No)、コンテンツ制御部171は、ステップS21の処理を繰り返す。   If there is no notification that there has been a change in the presentation environment that is estimated to have a large effect on the visibility of the content (step S21: No), the content control unit 171 repeats the process of step S21.

コンテンツの視認性への影響が大きいと推定される提示環境の変化があった旨が通知された場合には(ステップS21:Yes)、コンテンツ制御部171は、提示環境の変化によるコンテンツの視認性への影響の度合いを示す影響度Iを、例えば、以下の式に基づき、算出する。
影響度I=各構成要素の(画面内構成率×情報量)×(1−環境影響指数)の和/各構成要素の(画面内構成率×情報量)の和
When it is notified that there has been a change in the presentation environment that is estimated to have a large effect on the visibility of the content (step S21: Yes), the content control unit 171 displays the visibility of the content due to the change in the presentation environment. For example, the degree of influence I indicating the degree of influence is calculated based on the following equation.
Impact I = sum of (in-screen composition ratio × information amount) × (1-environmental impact index) / sum of (in-screen composition ratio × information amount) of each component

次に、コンテンツ制御部171は、算出した影響度Iが所定の閾値以上であるか否か(すなわち、コンテンツの提示環境の変化によるコンテンツの視認性への影響が大きいか否か)を判定する(ステップS23)。   Next, the content control unit 171 determines whether or not the calculated influence degree I is equal to or greater than a predetermined threshold (that is, whether or not the change in the content presentation environment greatly affects the visibility of the content). (Step S23).

影響度Iが所定の閾値未満であると判定した場合には(ステップS23:No)、コンテンツ制御部171は、提示環境の変化によるコンテンツの視認性への影響は小さいと判定し、コンテンツの再構成を行わない。この場合、コンテンツ制御部171は、ステップS21の処理に戻る。   If it is determined that the degree of influence I is less than the predetermined threshold (step S23: No), the content control unit 171 determines that the change in the presentation environment has a small effect on the visibility of the content, and the content is not reproduced. Do not configure. In this case, the content control unit 171 returns to the process of step S21.

影響度Iが所定の閾値以上であると判定した場合には(ステップS23:Yes)、コンテンツ制御部171は、提示環境の変化によるコンテンツの視認性への影響が大きいと判定し、コンテンツの再構成を行うと決定する。   If it is determined that the degree of influence I is equal to or greater than the predetermined threshold (step S23: Yes), the content control unit 171 determines that the change in the presentation environment has a large effect on the visibility of the content, Decide to do the configuration.

コンテンツの再構成を行うと決定すると、コンテンツ制御部171は、提示対象のコンテンツを構成する要素のうち、1または複数の要素を別の要素に入れ替える(ステップS24)。ここで、コンテンツ制御部171は、要素の入れ替えの前後で、コンテンツが示すメッセージの意味内容が変化しないように、要素を入れ替える。すなわち、コンテンツ制御部171は、再構成前のコンテンツが示すメッセージ(例えば、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージ)に対応し、再構成前のコンテンツに含まれる要素を、同じメッセージに対応する別の要素に入れ替える。   When it is determined that the content is to be reconfigured, the content control unit 171 replaces one or more elements among the elements constituting the content to be presented with another element (step S24). Here, the content control unit 171 replaces the elements so that the semantic content of the message indicated by the content does not change before and after the replacement of the elements. That is, the content control unit 171 corresponds to a message indicated by the content before reconfiguration (for example, a message indicating that the user is recommended to use the north gate because the north gate is empty) Replace the contained element with another element corresponding to the same message.

次に、コンテンツ制御部171は、要素の入れ替え後のコンテンツについて、影響度Iを算出し、算出した影響度Iは所定の閾値未満であるか否か(要素の入れ替えにより提示環境の変化による視認性への影響が軽減されているか否か)を判定する(ステップS25)。   Next, the content control unit 171 calculates an influence degree I for the content after the element replacement, and whether or not the calculated influence degree I is less than a predetermined threshold (visualization due to a change in the presentation environment due to the element replacement). It is determined whether or not the influence on sex is reduced (step S25).

影響度Iが所定の閾値以上であると判定した場合には(ステップS25:No)、コンテンツ制御部171は、要素を入れ替えても、提示環境の変化による視認性への影響が大きいままであると判定する。そして、コンテンツ制御部171は、ステップS24の処理に戻り、再度、要素の入れ替え行う。   When it is determined that the degree of influence I is equal to or greater than the predetermined threshold (step S25: No), the content control unit 171 has a large influence on the visibility due to the change in the presentation environment even if the elements are replaced. Is determined. Then, the content control unit 171 returns to the process of step S24 and performs element replacement again.

影響度Iが所定の閾値未満であると判定した場合には(ステップS25:Yes)、コンテンツ制御部171は、要素の入れ替えにより、コンテンツの提示環境の変化による視認性への影響が軽減されたと判定し、コンテンツを変更する(ステップS26)。   When it is determined that the degree of influence I is less than the predetermined threshold (step S25: Yes), the content control unit 171 determines that the influence on the visibility due to the change of the content presentation environment has been reduced by the element replacement. Determination is made and the content is changed (step S26).

図6は、図3に示すコンテンツの再構成後のコンテンツの一例を示す図である。図6においては、再構成後のコンテンツは、北ゲートの方向を矢印で示す画像25、北ゲートが空いている旨を文章で示す画像26および混雑状況を示す画像27から構成されている例を示している。   FIG. 6 is a diagram illustrating an example of the content after the reconfiguration of the content illustrated in FIG. In FIG. 6, the reconstructed content is composed of an image 25 indicating the direction of the north gate with an arrow, an image 26 indicating that the north gate is empty, and an image 27 indicating the congestion status. Show.

上述したように、コンテンツ制御部171は、再構成前のコンテンツが示すメッセージの意味内容は変更することなく、メッセージの表現対象を変更する。したがって、図6に示すように、再構成後のコンテンツも、北ゲートが空いているため、北ゲートの利用をユーザに薦める旨を示すメッセージを示している。   As described above, the content control unit 171 changes the message expression target without changing the semantic content of the message indicated by the content before reconstruction. Therefore, as shown in FIG. 6, the reconfigured content also shows a message indicating that the user is recommended to use the north gate because the north gate is empty.

ここで、再構成前のコンテンツにおける北ゲート周辺の画像21(地図画像)のような、細かい図柄を含む画像は、例えば、明るい環境下では、視認性が悪くなる。そこで、再構成後のコンテンツでは、地図画像である画像21は削除されている。こうすることで、提示環境の変化による影響度Iの低下を抑制することができる。また、再構成前のコンテンツにおける北ゲートへの移動経路を示す画像22は、より単純化された北ゲートの方向を矢印で示す画像25に置き換えられている。また、北ゲートが空いている旨を文章(「North security gate isn’t busy now」、「北は比較的空いています」)で示す画像23は、北ゲートが空いている旨をより簡略化した(例えば、要約した)文章(「North gate isn’t busy」、「北は空いています」)で示し、文字サイズが拡大された画像26に置き換えられている。また、混雑状況を示す画像24は、より単純化された混雑状況を示す画像27に置き換えられている。なお、文章の要約技術としては、種々の技術があり、また、本発明と直接関係しないため、説明を省略する。   Here, an image including a fine pattern such as the image 21 (map image) around the north gate in the content before reconstruction has poor visibility in a bright environment, for example. Therefore, the image 21 that is a map image is deleted in the reconstructed content. By doing so, it is possible to suppress a decrease in the degree of influence I due to a change in the presentation environment. Further, the image 22 showing the movement path to the north gate in the content before reconstruction is replaced with an image 25 in which the direction of the north gate is simplified and indicated by an arrow. In addition, the image 23 showing that the north gate is vacant (“North security gate isn't busy now”, “North is relatively vacant”) is a simplified version of the north gate being vacant. (For example, a summary) ("North gate isn't busy", "North is vacant"), and is replaced by an image 26 with an enlarged character size. Further, the image 24 showing the congestion situation is replaced with an image 27 showing the simplified congestion situation. Note that there are various techniques as sentence summarization techniques, and since they are not directly related to the present invention, description thereof will be omitted.

一般に、図6に示すような、単純化、簡略化された要素は、情報量は少ないが、提示環境の影響を受けにくい(環境影響指数が小さい)。そのため、影響度Iが所定の閾値未満となるように、コンテンツを構成する各要素を、より単純化、簡略された要素に入れ替えることで、コンテンツの提示環境に変化があっても、情報量は減るものの、コンテンツが示すメッセージの意味内容は変更することなく、コンテンツの視認性を維持する(影響度Iの低減を抑制する)ことができる。このように、コンテンツ制御部171は、コンテンツが示すメッセージの意味内容は変えることなく、推定部16の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更する。こうすることで、コンテンツの提示環境に変化があっても、提示されるコンテンツの視認性が悪くなることを防ぎ、より適切なコンテンツの提示を図ることができる。   In general, the simplified and simplified elements as shown in FIG. 6 have a small amount of information, but are not easily affected by the presentation environment (the environmental impact index is small). Therefore, even if there is a change in the content presentation environment, the amount of information is changed by replacing each element constituting the content with a simplified and simplified element so that the degree of influence I is less than a predetermined threshold. Although it is reduced, the semantic content of the message indicated by the content can be maintained without changing the visibility of the content (a reduction in the degree of influence I can be suppressed). As described above, the content control unit 171 changes the expression mode of the message in the content according to the estimation result of the estimation unit 16 without changing the semantic content of the message indicated by the content. In this way, even if there is a change in the content presentation environment, it is possible to prevent the visibility of the presented content from being deteriorated and to present more appropriate content.

なお、本実施形態においては、特許文献1のように、コンテンツの輝度ではなく、コンテンツが示すメッセージの表現態様を変更しているため、より柔軟な制御が可能となり、適切なコンテンツの提示を図ることができる。   In this embodiment, as in Patent Document 1, since the expression mode of the message indicated by the content is changed instead of the luminance of the content, more flexible control is possible, and appropriate content is presented. be able to.

また、本実施形態においては、コンテンツを構成する要素の入れ替えにより、提示環境が変化しても、視認性の低下が抑制されたコンテンツを作成している(再構成している)。ここで、提示するコンテンツを変更する場合、同じ意味内容のメッセージを示し、メッセージの表現態様が異なる複数のコンテンツを予め用意することも考えられる。この場合、様々な状況に対応するためには、多数のコンテンツを用意する必要が生じてしまい、また、提示環境やエリア状況の変化などに柔軟にまた速やかに対応することが困難である。一方、本実施形態のように、コンテンツを構成する要素の入れ替えによりコンテンツの再構成を行うことで、多数のコンテンツを予め用意しておく必要がなくなり、また、提示環境やエリア状況の変化などに柔軟にまた速やかに対応することができる。   Moreover, in this embodiment, even if a presentation environment changes by exchanging the element which comprises content, the content by which the fall of visibility was suppressed is produced (it is reconfigure | reconstructed). Here, when changing the content to be presented, it may be possible to prepare in advance a plurality of contents that indicate messages having the same meaning and have different message expression modes. In this case, in order to cope with various situations, it becomes necessary to prepare a large number of contents, and it is difficult to flexibly and promptly cope with changes in the presentation environment and area situation. On the other hand, as in this embodiment, by reconfiguring the content by replacing the elements that make up the content, there is no need to prepare a large number of content in advance, and the presentation environment and area conditions change. It can respond flexibly and promptly.

なお、上述した実施形態においては、コンテンツ制御部171は、コンテンツの提示環境に応じて、提示対象のコンテンツの再構成を行う例を用いて説明したが、これに限られるものではない。   In the above-described embodiment, the content control unit 171 has been described using an example in which the content to be presented is reconfigured according to the content presentation environment. However, the present invention is not limited to this.

コンテンツ制御部171は、推定部16により推定されたエリア状況に基づき、コンテンツの再構成を行ってもよい。例えば、情報案内を行うエリア内での混雑度の平衡化を図るために、エリア内の地点Aから地点Bへの移動を促す案内を行う場合を考える。この場合、コンテンツ制御部171は、地点Aと地点Bとで混雑度の差が大きい場合と、混雑度の差が小さい場合とで、メッセージの表現態様を異ならせる。例えば、コンテンツ制御部171は、地点Aと地点Bとで混雑度の差が大きい場合には、地点Aと地点Bとで混雑度の差が小さい場合と比べて、より強い表現態様で、地点Aから地点Bへの移動を促す文言となるようにコンテンツの再構成を行う。   The content control unit 171 may perform content reconstruction based on the area situation estimated by the estimation unit 16. For example, a case is considered in which guidance for urging movement from a point A to a point B in the area is performed in order to balance the degree of congestion in the area where information guidance is performed. In this case, the content control unit 171 changes the expression mode of the message depending on whether the difference in the degree of congestion is large between the point A and the point B and in the case where the difference in the degree of congestion is small. For example, when the difference in the degree of congestion between the point A and the point B is large, the content control unit 171 has a stronger expression mode than in the case where the difference in the degree of congestion is small between the point A and the point B. The content is reconfigured so that the wording prompts the movement from A to the point B.

また、エリア状況に応じたコンテンツの再構成の例としては、災害などの緊急事態に応じた再構成などもある。例えば、情報案内を行うエリア内(施設内)で火災が発生し、避難を促す情報案内を行う場合を考える。この場合、コンテンツ制御部171は、例えば、避難開始当初は、避難場所への移動を促すメッセージを示すコンテンツを提示し、未避難者が残り少なくなると、「未避難者はあなただけです。すぐに避難して下さい。」などの、避難場所の移動を促すとともに、より切迫性、緊急性を示すメッセージを示すコンテンツに変更する。   Moreover, as an example of content reconfiguration according to area conditions, there is also reconfiguration according to an emergency such as a disaster. For example, let us consider a case in which a fire occurs in an area where information guidance is provided (in a facility) and information guidance for evacuation is given. In this case, for example, at the beginning of evacuation, the content control unit 171 presents content indicating a message that prompts the user to move to the evacuation site. Please change to content that indicates a message indicating more urgency or urgency, as well as prompting the evacuation site to move.

また、例えば、地震が発生し、避難を促す情報案内を行う場合を考える。この場合、コンテンツ制御部171は、例えば、避難開始当初は、避難を促すメッセージを示すコンテンツを提示し、地震発生から時間が経過して、津波の到来が予想される状況になると、「より高いフロアに避難して下さい。」などの、避難を促すとともに、津波に対してより切迫性、緊急性を示すメッセージを示すコンテンツに変更する。   Further, for example, consider a case where an earthquake occurs and information guidance for evacuation is performed. In this case, for example, at the beginning of evacuation, the content control unit 171 presents content indicating a message prompting evacuation, and when time has elapsed since the occurrence of the earthquake and a tsunami is expected to arrive, “higher” “Please evacuate to the floor”, etc., and change to content that indicates a message indicating more urgency or urgency against the tsunami.

上述したように、推定部16は、カメラ13の撮影画像などに基づき、提示面1を視認可能な範囲内のユーザの属性を推定することもできる。コンテンツ制御部171は、推定部16により推定されたユーザの属性に応じて、コンテンツの再構成を行ってもよい。   As described above, the estimation unit 16 can also estimate an attribute of a user within a range in which the presentation surface 1 can be viewed based on a captured image of the camera 13 or the like. The content control unit 171 may perform content reconfiguration according to the user attribute estimated by the estimation unit 16.

例えば、コンテンツ制御部171は、ユーザの属性推定の結果、施設内に子供が多いと推定されると、コンテンツに含まれる文章をより平易な文章に変更したり、漢字にルビを振ったり、漢字をひらがなに変更したりする。また、コンテンツ制御部171は、ユーザの属性推定の結果、特定の国籍のユーザが多いと推定されると、その国籍に対応する言語で文章などを示すコンテンツに変更する。また、コンテンツ制御部171は、言語の変更に合わせて、例えば、その特定の国籍のユーザが特定の色を好むといった傾向が知られている場合には、その傾向に応じて、コンテンツの色を変更してもよい。また、特定の国籍のユーザが特定の嗜好性を有する(例えば、買い物が好き)という傾向が知られている場合、その特定の国籍のユーザが多いと推定されると、その嗜好に合った情報を付加してもよい。   For example, if the content control unit 171 estimates that there are many children in the facility as a result of the user attribute estimation, the content control unit 171 changes the text included in the content to a simpler text, shakes the kanji, Or change to hiragana. In addition, when it is estimated that there are many users of a specific nationality as a result of the user attribute estimation, the content control unit 171 changes the content to a text indicating a sentence or the like in a language corresponding to the nationality. In addition, when the content control unit 171 knows a tendency that, for example, a user of a specific nationality likes a specific color in accordance with the language change, the content control unit 171 changes the color of the content according to the tendency. It may be changed. In addition, when it is known that a user of a specific nationality has a specific preference (for example, likes shopping), if it is estimated that there are many users of the specific nationality, information that matches the preference May be added.

また、属性によっては、行動の促進理由(ある行動を促す理由)を伝えた方が、行動促進の効果が高いことが知られている。そこで、コンテンツ制御部171は、ユーザの属性推定の結果、行動の促進理由を伝えた方が、行動促進の効果の高い属性のユーザが多いと判断した場合には、行動の促進理由を含まないメッセージ(例えば、「B地点に移動して下さい。」)を示すコンテンツを、行動の促進理由を含むメッセージ(A地点が混雑しているため、B地点に移動して下さい。)を示すコンテンツに再構成する。   Moreover, it is known that the effect of promoting the action is higher when the reason for promoting the action (the reason for promoting a certain action) is transmitted depending on the attribute. Therefore, the content control unit 171 does not include the reason for promoting the behavior when it is determined that there are many users with the attribute that has a high effect of promoting the behavior as a result of the attribute estimation of the user. Content that indicates a message (for example, “Please move to point B.”) is a content that indicates a message including the reason for promoting the action (because point A is crowded, please move to point B.) Reconfigure.

また、コンテンツ制御部171は、ユーザの属性推定の結果、施設内に聴覚障害者が存在すると推定されると、音声案内の内容をテキスト化したコンテンツを提示してもよい。   Moreover, if it is estimated that a hearing impaired person exists in the facility as a result of the user attribute estimation, the content control unit 171 may present content in which the content of the voice guidance is converted into text.

これまでは、コンテンツの提示環境、エリア状況あるいはユーザの属性に応じてコンテンツを変更する例を用いて説明したが、これらを組み合わせてもよい。例えば、コンテンツ制御部171は、情報案内を行うエリア内に高齢者が多く(ユーザの属性)、かつ、明るい環境(コンテンツの提示環境)では、コンテンツに含まれる文章を短くし、各文字を大きくしたコンテンツに変更すなどしてもよい。   So far, the description has been made using the example in which the content is changed according to the content presentation environment, the area situation, or the user attribute, but these may be combined. For example, the content control unit 171 shortens the text included in the content and enlarges each character in a bright environment (content presentation environment) in an area where information guidance is many (user attributes) and bright. It may be changed to the content that has been made.

また、上述した実施形態においては、コンテンツ制御部171は、提示環境の変化などによるコンテンツの視認性への影響の度合いを示す影響度Iを算出し、算出した影響度Iが所定の閾値以上であれば、コンテンツの再構成を行う例を用いて説明した。ここで、所定の閾値としては、提示環境やエリア状況の変化などに対して、一定の値を用いる必要は無い。例えば、コンテンツ制御部171は、提示環境が明るくなった場合には、影響度Iが30%以上になると、コンテンツの再構成を行うと決定し、火事などの緊急時には、影響度が10%以上になると、コンテンツの再構成を行うと決定するようにしてもよい。こうすることで、緊急時などのより速やかにユーザに伝達すべき案内が存在する場合には、より速やかにコンテンツを再構成し、状況に適した表現態様でメッセージを示すコンテンツの提示を行うことができる。   In the above-described embodiment, the content control unit 171 calculates an influence level I indicating the degree of influence on the visibility of the content due to a change in the presentation environment, and the calculated influence level I is equal to or greater than a predetermined threshold value. If there is, it has been described using an example of content reconfiguration. Here, as the predetermined threshold, it is not necessary to use a constant value with respect to changes in the presentation environment or the area situation. For example, when the presentation environment becomes brighter, the content control unit 171 determines that the content is to be reconfigured when the impact I becomes 30% or more. In an emergency such as a fire, the impact is 10% or more. Then, it may be determined that the content is reconfigured. In this way, when there is a guide to be transmitted to the user more promptly, such as in an emergency, the content is reconstructed more quickly and the content indicating the message is presented in an expression mode suitable for the situation. Can do.

また、上述したように、推定部16は、例えば、カメラ13の撮影画像と視線計測器14の計測結果とに基づき、提示面1に提示されたコンテンツの視認に応じて反応したユーザの検出などを行うこともできる。この推定部16の推定結果に基づき、コンテンツ制御部171は、コンテンツの提示による効果を評価することができる。   Further, as described above, the estimation unit 16 detects, for example, a user who has responded according to the visual recognition of the content presented on the presentation surface 1 based on the captured image of the camera 13 and the measurement result of the visual line measuring instrument 14. Can also be done. Based on the estimation result of the estimation unit 16, the content control unit 171 can evaluate the effect of the content presentation.

例えば、コンテンツ制御部171は、A地点からB地点への移動を促すメッセージを示すコンテンツを再構成し、再構成後のコンテンツを提示した場合を考える。コンテンツ制御部171は、カメラ13の撮影画像、視線計測器14の計測結果、人流計測器15の計測結果から、A地点からB地点へのユーザの移動が促進されているか否かを判定する。例えば、コンテンツ制御部171は、カメラ13の撮影画像から、提示されたコンテンツを見ても動かない人が多い場合には、A地点からB地点へのユーザの移動が促進されていないと判定する。また、コンテンツ制御部171は、人流計測器15の測定結果から、A地点からB地点への人の流れが増加していない場合には、A地点からB地点へのユーザの移動が促進されていないと判定する。そして、コンテンツ制御部171は、再構成後のコンテンツの提示による効果が低い(意図したユーザの行動が促進されていない)と評価した場合には、提示中のコンテンツの再構成を行う。このように、コンテンツ制御部171は、推定部16の推定結果に基づき、あたかも、機械学習のように、より効果的なメッセージの表現態様などを判別することができる。   For example, consider a case where the content control unit 171 reconstructs content indicating a message that prompts the user to move from point A to point B and presents the reconstructed content. The content control unit 171 determines whether the movement of the user from the point A to the point B is promoted based on the captured image of the camera 13, the measurement result of the line-of-sight measuring instrument 14, and the measurement result of the human flow measuring instrument 15. For example, the content control unit 171 determines that the movement of the user from the point A to the point B is not promoted when there are many people who do not move from the captured image of the camera 13 even when viewing the presented content. . In addition, the content control unit 171 shows that the movement of the user from the A point to the B point is promoted when the flow of people from the A point to the B point has not increased from the measurement result of the human flow meter 15. Judge that there is no. If the content control unit 171 evaluates that the effect of presenting the reconstructed content is low (intended user behavior is not promoted), the content control unit 171 reconstructs the content being presented. As described above, the content control unit 171 can determine a more effective message expression mode as in machine learning based on the estimation result of the estimation unit 16.

なお、コンテンツ制御部171は、カメラ13の撮影画像からコンテンツの提示による効果を評価する場合、ユーザの視野角を考慮して、コンテンツの提示による効果を評価してもよい。例えば、ある行動を促すメッセージを示すコンテンツを提示した場合に、ユーザの視野角内にコンテンツの提示面1が存在し、かつ、ユーザがメッセージにより促される行動を行った場合には、コンテンツ制御部171は、コンテンツの提示に応じてユーザが反応したと判定してもよい。   Note that the content control unit 171 may evaluate the effect of the content presentation in consideration of the viewing angle of the user when evaluating the effect of the content presentation from the captured image of the camera 13. For example, when a content indicating a message prompting a certain action is presented, if the content presentation surface 1 exists within the viewing angle of the user and the user performs a behavior prompted by the message, the content control unit 171 may determine that the user has reacted in response to the presentation of the content.

このように本実施形態によれば、画像処理システム10は、コンテンツを提示する提示環境、情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定する推定部16と、推定部16の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部17とを備える。   As described above, according to the present embodiment, the image processing system 10 includes the estimation unit 16 that estimates at least one of the presentation environment in which the content is presented and the area situation that is the situation in the area where the information guidance is performed, and the estimation unit. And a control unit 17 that changes the expression mode of the message in the content according to the 16 estimation results and presents the changed content.

ある提示環境やエリア状況では、特定の表現態様(例えば、より単純化、簡略化した表現態様)でメッセージを示すコンテンツの方が、ユーザが視認しやすく、また、案内の効果も高いということがある。そのため、提示環境やエリア状況の推定結果に応じて、コンテンツにおけるメッセージの表現態様を変更することで、コンテンツの提示環境やエリア状況に応じて、より適切なコンテンツの提示を図ることができる。   In a certain presentation environment or area situation, content showing a message in a specific expression mode (for example, a simplified or simplified expression mode) is easier for the user to visually recognize and the effect of guidance is higher. is there. Therefore, by changing the expression mode of the message in the content according to the estimation result of the presentation environment and the area situation, it is possible to present more appropriate content according to the content presentation environment and the area situation.

なお、上述した実施形態においては、推定部16の推定結果に応じて、コンテンツを構成する要素を入れ替える例を用いて説明したが、これに限られるものではない。例えば、推定部16により、コンテンツの提示環境として、コンテンツの提示面1に日光が差し込んでいる領域が存在すると推定された場合、その日光が差し込んでいる領域にはコンテンツを構成する要素を配置しないようにしてもよい。すなわち、推定部16の推定結果に応じて、コンテンツを構成する要素の配置を変更してもよい。日光が差し込んでいる領域に提示された要素はユーザからは視認されにくいが、推定部16によるコンテンツの提示環境などの推定結果に応じてコンテンツを構成する要素の配置を変更することで、各要素がユーザに視認されやすくすることができる。   In the above-described embodiment, the example in which the elements constituting the content are replaced according to the estimation result of the estimation unit 16 has been described. However, the present invention is not limited to this. For example, when the estimation unit 16 estimates that there is an area where sunlight is inserted in the content presentation surface 1 as the content presentation environment, no element constituting the content is arranged in the area where the sunlight is inserted. You may do it. In other words, the arrangement of elements constituting the content may be changed according to the estimation result of the estimation unit 16. The elements presented in the area where the sunlight is inserted are not easily seen by the user, but each element can be changed by changing the arrangement of the elements constituting the content according to the estimation result of the content presentation environment by the estimation unit 16. Can be easily recognized by the user.

本発明に係る画像処理システム10にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。   The method performed in the image processing system 10 according to the present invention may be applied to a program for causing a computer to execute. In addition, the program can be stored in a storage medium and can be provided to the outside via a network.

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。   Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included in the scope of the present invention.

10 画像処理システム
11 コンテンツデータ記憶部
12 プロジェクタ
13 カメラ
14 視線計測器
15 人流計測器
16 推定部
17 制御部
171 コンテンツ制御部
172 プロジェクタ管理部
DESCRIPTION OF SYMBOLS 10 Image processing system 11 Content data storage part 12 Projector 13 Camera 14 Eye gaze measuring device 15 Human flow measuring device 16 Estimation part 17 Control part 171 Content control part 172 Projector management part

Claims (8)

ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムであって、
前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定する推定部と、
前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する制御部と、
を備えることを特徴とする画像処理システム。
An image processing system for presenting content indicating a message for information guidance to a user,
An estimation unit for estimating at least one of a presentation environment for presenting the content and an area situation that is a situation in an area where the information guidance is performed;
According to the estimation result of the estimation unit, the control unit that changes the expression mode of the message in the content and presents the changed content;
An image processing system comprising:
請求項1に記載の画像処理システムにおいて、
前記制御部は、前記メッセージの意味内容は変えることなく、前記コンテンツにおけるメッセージの表現態様を変更することを特徴とする画像処理システム。
The image processing system according to claim 1,
The image processing system, wherein the control unit changes a message expression mode in the content without changing a semantic content of the message.
請求項2に記載の画像処理システムにおいて、
前記コンテンツは、1または複数の要素からなり、
前記制御部は、前記推定部の推定結果に応じて、前記コンテンツを構成し、前記メッセージに対応する1または複数の要素を入れ替えて、前記コンテンツを変更することを特徴とする画像処理システム。
The image processing system according to claim 2,
The content consists of one or more elements,
The said control part comprises the said content according to the estimation result of the said estimation part, replaces the 1 or several element corresponding to the said message, and changes the said content, The image processing system characterized by the above-mentioned.
請求項3に記載の画像処理システムにおいて、
前記制御部は、前記推定部の推定結果に応じて、前記コンテンツを構成する要素の配置を変更することを特徴とする画像処理システム。
The image processing system according to claim 3.
The control unit changes an arrangement of elements constituting the content according to an estimation result of the estimation unit.
請求項1から4のいずれか一項に記載の画像処理システムにおいて、
前記推定部は、前記ユーザの属性をさらに推定し、
前記制御部は、前記推定部による前記ユーザの属性を含む推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更することを特徴とする画像処理システム。
In the image processing system according to any one of claims 1 to 4,
The estimation unit further estimates the attribute of the user,
The said control part changes the expression mode of the message in the said content according to the estimation result containing the said user's attribute by the said estimation part, The image processing system characterized by the above-mentioned.
請求項1から5のいずれか一項に記載の画像処理システムにおいて、
前記制御部は、前記コンテンツの変更による前記ユーザの反応に基づいて、前記コンテンツの変更による効果を評価し、該評価の結果に応じて、前記コンテンツをさらに変更することを特徴とする画像処理システム。
In the image processing system according to any one of claims 1 to 5,
The control unit evaluates an effect of the change of the content based on a reaction of the user due to the change of the content, and further changes the content according to a result of the evaluation. .
ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システムにおける画像処理方法であって、
推定部が、前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定するステップと、
制御部が、前記推定部の推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示するステップと、を含む画像処理方法。
An image processing method in an image processing system for presenting content indicating a message for information guidance to a user,
An estimation unit estimating at least one of a presentation environment for presenting the content and an area situation that is a situation in an area where the information guidance is performed; and
A control unit that changes the expression mode of the message in the content according to the estimation result of the estimation unit, and presents the changed content.
ユーザに対する情報案内のためのメッセージを示すコンテンツを提示する画像処理システム内のコンピュータに、
前記コンテンツを提示する提示環境、前記情報案内が行われるエリア内の状況であるエリア状況の少なくとも1つを推定する処理と、
前記推定結果に応じて、前記コンテンツにおけるメッセージの表現態様を変更し、変更後のコンテンツを提示する処理と、を実行させるプログラム。
A computer in the image processing system that presents content indicating a message for information guidance to the user,
A process for estimating at least one of a presentation environment for presenting the content and an area situation that is a situation in an area where the information guidance is performed;
A program for executing a process of changing the expression mode of a message in the content and presenting the changed content according to the estimation result.
JP2016095374A 2016-05-11 2016-05-11 Image processing system, image processing method and program Active JP6529928B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016095374A JP6529928B2 (en) 2016-05-11 2016-05-11 Image processing system, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016095374A JP6529928B2 (en) 2016-05-11 2016-05-11 Image processing system, image processing method and program

Publications (2)

Publication Number Publication Date
JP2017203878A true JP2017203878A (en) 2017-11-16
JP6529928B2 JP6529928B2 (en) 2019-06-12

Family

ID=60323259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016095374A Active JP6529928B2 (en) 2016-05-11 2016-05-11 Image processing system, image processing method and program

Country Status (1)

Country Link
JP (1) JP6529928B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021205497A1 (en) * 2020-04-06 2021-10-14
JP2021531489A (en) * 2018-05-04 2021-11-18 マイクロソフト テクノロジー ライセンシング,エルエルシー Automatic application of mapping function to video signal based on estimated parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086717A (en) * 2004-09-15 2006-03-30 Olympus Corp Image display system, image reproducer, and layout controller
JP2010039726A (en) * 2008-08-04 2010-02-18 V-Sync Co Ltd On-demand signage system
JP2010106510A (en) * 2008-10-29 2010-05-13 Asahi Concrete Works Co Ltd Method for joining concrete products together, and press-fit member
JP2013067321A (en) * 2011-09-26 2013-04-18 Toyota Motor Corp Vehicle body display control device
JP2013164431A (en) * 2012-02-09 2013-08-22 Nikon Corp Display device and display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086717A (en) * 2004-09-15 2006-03-30 Olympus Corp Image display system, image reproducer, and layout controller
JP2010039726A (en) * 2008-08-04 2010-02-18 V-Sync Co Ltd On-demand signage system
JP2010106510A (en) * 2008-10-29 2010-05-13 Asahi Concrete Works Co Ltd Method for joining concrete products together, and press-fit member
JP2013067321A (en) * 2011-09-26 2013-04-18 Toyota Motor Corp Vehicle body display control device
JP2013164431A (en) * 2012-02-09 2013-08-22 Nikon Corp Display device and display system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021531489A (en) * 2018-05-04 2021-11-18 マイクロソフト テクノロジー ライセンシング,エルエルシー Automatic application of mapping function to video signal based on estimated parameters
JPWO2021205497A1 (en) * 2020-04-06 2021-10-14
WO2021205497A1 (en) * 2020-04-06 2021-10-14 三菱電機株式会社 Information processing device and information processing method
JP7374301B2 (en) 2020-04-06 2023-11-06 三菱電機株式会社 Information processing device and information processing method

Also Published As

Publication number Publication date
JP6529928B2 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
Okamura et al. Adaptive trust calibration for human-AI collaboration
US10524010B2 (en) Social interaction user interface for videos
US9361278B2 (en) Overlaying photographs with text on a social networking system
US8799820B2 (en) Dynamically scaled messaging content
US10789317B2 (en) Apparatus and user device for providing feedback effect about posts on social network services
US10772551B2 (en) Cognitive progress indicator
TW201234862A (en) Method of detecting logos, titles, or sub-titles in video frames
CN107526495A (en) Display methods and electronic equipment
WO2016045523A1 (en) Display method and device for interface contents of mobile terminal and terminal
KR20110041383A (en) Differential trials in augmented reality
CN106249982B (en) Display control method, display control device, and control program
US10701024B2 (en) Blinder avoidance in social network interactions
US10748003B2 (en) Mitigation of augmented reality markup blindness
US20160093079A1 (en) Enhanced document readability on devices
JP6529928B2 (en) Image processing system, image processing method and program
CN106055526B (en) Page iden-tity method and apparatus
US9576336B2 (en) Display method and display device
KR20220114336A (en) User equipment and control method for the same
CN115454302A (en) Live broadcast room display method and device, electronic equipment and storage medium
JP7171212B2 (en) Information processing device, image display method, computer program, and storage medium
US8035658B2 (en) Bifocal display device and bifocal display method
KR20180003932A (en) Posting method of contents and posting apparatus
US11310688B2 (en) Information presenting device, information presenting method and recording medium
US10432901B2 (en) Content projection control apparatus, content projection control method and program
JP2008203971A (en) Information display system, line of sight detection program, and information display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190515

R150 Certificate of patent or registration of utility model

Ref document number: 6529928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150