JP2017203877A - Image processing system, image processing method and program - Google Patents
Image processing system, image processing method and program Download PDFInfo
- Publication number
- JP2017203877A JP2017203877A JP2016095370A JP2016095370A JP2017203877A JP 2017203877 A JP2017203877 A JP 2017203877A JP 2016095370 A JP2016095370 A JP 2016095370A JP 2016095370 A JP2016095370 A JP 2016095370A JP 2017203877 A JP2017203877 A JP 2017203877A
- Authority
- JP
- Japan
- Prior art keywords
- content
- color
- image
- presentation
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、コンテンツの提示のための画像処理システム、画像処理方法およびプログラムに関する。 The present invention relates to an image processing system, an image processing method, and a program for presenting content.
空港、駅、商業施設などの多数の人が集まる場所において、情報案内を行うための方法の１つとして、案内メッセージなどを示す画像（コンテンツ）を提示面に提示する方法がある。コンテンツの提示面への提示方法としては、施設の壁面などを投影面としてプロジェクタなどの投影装置により投影する方法がある。このような方法は、プロジェクションサインと称され、実用化が進められている。また、別の提示方法として、施設の壁面などに大型のディスプレイ装置を設置し、そのディスプレイ装置の表示面にコンテンツを表示する方法がある。 As a method for providing information at a place where many people gather, such as an airport, a station, or a commercial facility, there is a method of presenting an image (content) indicating a guidance message or the like on a presentation surface. As a method for presenting content on a presentation surface, there is a method of projecting by a projection device such as a projector using a wall surface of a facility as a projection surface. Such a method is called a projection sign and is being put into practical use. As another presentation method, there is a method in which a large display device is installed on a wall surface of a facility and the content is displayed on the display surface of the display device.
特許文献１には、プロジェクタによる画像の投影時に、周囲の照明変化を検出し、照明変化に応じて、投影画像の輝度が所定値となるように補正する技術が開示されている。この技術では、プロジェクタの投影画像をカメラにより撮影し、撮影画像から照明変化を検出し、その照明変化に応じて、投影画像全体の輝度を補正している。 Japanese Patent Application Laid-Open No. 2004-133620 discloses a technique for detecting a change in ambient illumination when an image is projected by a projector and correcting the projection image so that the luminance of the projection image becomes a predetermined value in accordance with the change in illumination. In this technique, a projection image of a projector is taken by a camera, an illumination change is detected from the taken image, and the luminance of the entire projection image is corrected according to the illumination change.
特許文献１に開示されている技術では、周囲の照明変化に応じて、投影画像全体の輝度を補正するだけであるため、コンテンツの提示環境の変化に対して、柔軟な制御を行うことができず、コンテンツの高品質な提示が困難である。 In the technique disclosed in Patent Document 1, only the brightness of the entire projection image is corrected according to the surrounding illumination change, so that flexible control can be performed with respect to changes in the content presentation environment. Therefore, it is difficult to present high-quality content.
例えば、コンテンツを用いた情報案内では、長時間（例えば、終日）に亘って、コンテンツの提示が継続されるのが一般的である。また、多数の人が離れた位置からでもコンテンツを視認できるように、大きな提示面に大きくコンテンツを提示することが一般的である。そのため、コンテンツの提示環境、例えば、太陽光などの外光による提示面の照明状態が変化し、例えば、大きな提示面の一部に太陽光が差し込み、太陽光が差し込んだ領域の画像が視認しにくくなることがある。また、コンテンツを施設内の壁面、ガラス面などに大きく投影する場合、色や反射率が均一の投影面を用意することは難しく、投影面の色や反射率の違いにより、コンテンツの一部が視認しにくくなることがある。 For example, in information guidance using content, it is common to continue presenting content for a long time (for example, all day). In addition, it is common to present large contents on a large presentation surface so that many people can visually recognize the contents even from a remote location. Therefore, the content presentation environment, for example, the lighting state of the presentation surface due to external light such as sunlight changes, for example, sunlight enters a part of a large presentation surface, and an image of an area where sunlight is inserted is visually recognized. It may be difficult. In addition, when projecting content on a wall or glass surface in a facility, it is difficult to prepare a projection surface with uniform color and reflectivity, and part of the content may vary depending on the color and reflectivity of the projection surface. It may be difficult to see.
特許文献１に開示されている技術では、投影画像全体の輝度を変更するため、コンテンツの一部の領域が視認しにくくなった場合に対処することは困難である。 With the technique disclosed in Patent Document 1, since the brightness of the entire projection image is changed, it is difficult to cope with a case where it becomes difficult to visually recognize a partial area of the content.
また、例えば、コンテンツの提示面が設けられた施設全体に夕日が差し込み、提示面の周辺環境全体が黄色味を帯びている場合、黄色系の色で構成されたコンテンツは周辺環境に溶け込んでしまい、視認しにくくなる。この場合、特許文献１に開示されている技術のように、コンテンツの輝度を上げても視認しにくいままである。 Also, for example, if the sunset is inserted into the entire facility where the content presentation surface is provided and the entire surrounding environment of the presentation surface is tinged with yellow, the content composed of yellowish colors will blend into the surrounding environment. It becomes difficult to see. In this case, like the technique disclosed in Patent Document 1, even if the brightness of the content is increased, it remains difficult to visually recognize.
上記のような問題点に鑑みてなされた本発明の目的は、コンテンツの提示環境に応じて、コンテンツのより高品質な提示を図ることができる画像処理システム、画像処理方法およびプログラムを提供することにある。 An object of the present invention made in view of the above problems is to provide an image processing system, an image processing method, and a program capable of presenting content with higher quality according to the content presentation environment. It is in.
上記課題を解決するため、本発明に係る画像処理システムは、コンテンツの提示のための画像処理システムであって、前記コンテンツを提示する提示面を撮影する撮影部と、前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定する環境推定部と、前記環境推定部の推定結果に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定する制御部と、を備える。 In order to solve the above problems, an image processing system according to the present invention is an image processing system for presenting content, and includes an imaging unit that captures a presentation surface on which the content is presented, and a captured image of the imaging unit. Based on the estimation result of the environment estimation unit that estimates the presentation environment of the content and the environment estimation unit, a correction region that corrects at least one of color and brightness in the content to be presented is specified, and the specified correction A control unit that determines at least one of color and brightness for correcting the image of the region.
また、上記課題を解決するため、本発明に係る画像処理方法は、コンテンツの提示のための画像処理システムにおける画像処理方法であって、撮影部が、前記コンテンツを提示する提示面を撮影するステップと、環境推定部が、前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定するステップと、制御部が、前記環境推定部の推定結果に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定するステップとを含む。 In order to solve the above-mentioned problem, an image processing method according to the present invention is an image processing method in an image processing system for presenting content, in which a photographing unit photographs a presentation surface on which the content is presented. The environment estimating unit estimating the presentation environment of the content based on the captured image of the imaging unit, and the control unit based on the estimation result of the environment estimating unit, the color and brightness in the content to be presented Determining a correction area for correcting at least one of the above, and determining at least one of color and brightness for correcting the image of the specified correction area.
また、上記課題を解決するため、本発明に係るプログラムは、コンテンツの提示のための画像処理システム内のコンピュータに、撮影部により前記コンテンツを提示する提示面を撮影する処理と、前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定する処理と、前記推定した提示環境に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定する処理と、を実行させる。 In order to solve the above-described problem, a program according to the present invention includes a process for photographing a presentation surface on which a content is presented by a photographing unit on a computer in an image processing system for presenting the content, A process for estimating the presentation environment of the content based on the photographed image, and a correction area for correcting at least one of color and brightness in the content to be presented based on the estimated presentation environment, and the specified correction area And a process for determining at least one of color and brightness for correcting the image.
本発明に係る画像処理システム、画像処理方法およびプログラムによれば、コンテンツの提示環境に応じて、コンテンツのより高品質な提示を図ることができる。 According to the image processing system, the image processing method, and the program according to the present invention, it is possible to present content with higher quality according to the content presentation environment.
以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、本発明は、以下の実施の形態のみに限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることはもちろんである。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. It should be noted that the present invention is not limited to the following embodiments, and various modifications can be made without departing from the spirit of the present invention.
図１は、本発明の一実施形態に係る画像処理システム１０の要部構成を示す図である。本実施形態に係る画像処理システム１０は、コンテンツの提示のためのものであり、コンテンツの提示環境に応じて、コンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定し、決定内容に従い、コンテンツを補正して提示したり、決定内容をシステムの管理者などに推薦したりするものである。
FIG. 1 is a diagram illustrating a main configuration of an
図１に示す画像処理システム１０は、コンテンツデータ記憶部１１と、プロジェクタ１２と、カメラ１３（撮影部）と、環境推定部１４と、制御部１５とを備える。
An
コンテンツデータ記憶部１１は、コンテンツを示すコンテンツデータを記憶する。なお、コンテンツの形式は特定の形式に限られるものではない。コンテンツには、ｊｐｇ形式やｇｉｆ形式の画像、静止画だけでなく、ｍｐ４形式の動画、ＨＴＭＬ形式のコンテンツ、ＪａｖａＳｃｒｉｐｔ（登録商標）やそのライブラリ（ＨＴＭＬ５におけるｃａｎｖａｓなど）を用いて作成される描画スクリプトなど、種々の形式が含まれる。
The content
プロジェクタ１２は、制御部１５の制御に従い、コンテンツを提示面１（投影面）に提示（投影）する。なお、本実施形態においては、コンテンツの提示として、コンテンツをプロジェクタ１２により投影する例を用いて説明するが、例えば、コンテンツをディスプレイ装置の表示面に表示してもよい。
The
カメラ１３は、提示面１を含む所定の範囲の撮影を行い、撮影画像を環境推定部１４に出力する。カメラ１３は、例えば、提示面１に対向し、所定の距離を隔てて設けられる。
The
環境推定部１４は、カメラ１３の撮影画像に基づき、コンテンツの提示環境を推定し、推定結果を制御部１５に出力する。
The
制御部１５は、環境推定部１４から出力された提示環境の推定結果に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定する。そして、制御部１５は、特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定し、決定内容に基づくコンテンツ上の補正領域の画像の補正、決定内容の外部への出力などを行う。また、制御部１５は、コンテンツのプロジェクタ１２による投影を制御する。制御部１５は、コンテンツ制御部１５１と、プロジェクタ管理部１５２とを備える。
Based on the presentation environment estimation result output from the
コンテンツ制御部１５１は、環境推定部１４の推定結果に基づき、提示対象のコンテンツにおける補正領域を特定し、特定した補正領域を補正する色および明るさの少なくとも一方を決定する。そして、コンテンツ制御部１５１は、例えば、決定内容に従い、提示対象のコンテンツ上の補正領域の画像を補正する。また、コンテンツ制御部１５１は、決定内容を、図１においては不図示の表示部などに出力（表示）し、その出力に応じて、図１においては不図示の入力部から、コンテンツの補正を許可する旨が入力されると、決定内容に従い、提示対象のコンテンツ上の補正領域の画像を補正する。
Based on the estimation result of the
プロジェクタ管理部１５２は、コンテンツ制御部１５１による提示対象のコンテンツの補正が必要ない場合には、提示対象のコンテンツをそのままプロジェクタ１２に投影させ、コンテンツ制御部１５１により提示対象のコンテンツが補正された場合には、補正後のコンテンツをプロジェクタ１２に投影させる。
When the
次に、本実施形態に係る画像処理システム１０の動作について説明する。
Next, the operation of the
図２は、提示面１へのコンテンツの提示環境の一例を示す図であり、より詳細には、ガラス２０とガラス２０を支持するフレーム２１とからなる提示面１にコンテンツが投影されている状態を示す図である。
FIG. 2 is a diagram illustrating an example of a content presentation environment on the presentation surface 1, and more specifically, a state in which content is projected on the presentation surface 1 including the glass 20 and a
図２に示すように、施設（例えば、空港）の外部から太陽光２２が差し込み、その太陽光が提示面１の一部に当たっている。この場合、太陽光が当たった領域２３では、投影されたコンテンツに、諧調の情報が失われて白くなる白飛びが生じ、領域２３の画像が視認しにくくなる。また、ガラス２０とフレーム２１とが隣接する領域２４では、ガラス２０とフレーム２１とで反射率が異なるため、ガラス２０の部分とフレーム２１の部分とで、コンテンツの見え方が異なり、例えば、フレーム２１の部分では、投影されたコンテンツに白飛びが生じ、視認しにくくなる。
As shown in FIG. 2,
このように、コンテンツの提示環境の１つである、提示面１の環境変化（提示面１への光の照明状態や、提示面１の反射率の変化）により、提示面１に提示されたコンテンツが視認しにくくなることがある。 In this way, the presentation surface 1 is presented on the presentation surface 1 due to the environmental change of the presentation surface 1 (the illumination state of the light on the presentation surface 1 or the change in the reflectance of the presentation surface 1), which is one of the content presentation environments. Content may be difficult to see.
また、例えば、投影面として用いられるガラス２０が特定の色味を帯びている（例えば、青みがかっている）ことがある。投影面およびその周囲のガラス２０が特定の色味を帯びている場合、投影面と同色系統の色からなるコンテンツを投影すると、コンテンツを視認しにくくなる。また、例えば、施設内に夕日が差し込み、提示面１の周辺環境全体が黄色味を帯びている場合、黄色系統の色からなるコンテンツを投影しても、周辺環境になじんでコンテンツが目立たず、視認しにくくなる。 In addition, for example, the glass 20 used as a projection surface may have a specific color (for example, bluish). When the projection surface and the surrounding glass 20 have a specific color, it is difficult to visually recognize the content when the content having the same color system as the projection surface is projected. Also, for example, if a sunset is inserted into the facility and the entire surrounding environment of the presentation surface 1 is yellowish, even if the content consisting of a yellow color is projected, the content is not conspicuous in the surrounding environment, It becomes difficult to see.
このように、コンテンツの提示環境の１つである、提示面１の周辺環境（提示面１自体やその周辺の色や、提示面１の周辺環境全体の色合い）により、提示面１に提示されたコンテンツが視認しにくくなることがある。 As described above, the content is presented on the presentation surface 1 according to the surrounding environment of the presentation surface 1 (the presentation surface 1 itself or the color around it, or the color of the entire surrounding environment of the presentation surface 1), which is one of the content presentation environments. Content may be difficult to view.
環境推定部１４は、カメラ１３の撮影画像に基づき、コンテンツの提示環境（提示面１の環境変化や提示面１の周辺環境）を推定する。
The
環境推定部１４は、コンテンツの提示環境として、提示面１の環境変化を推定する場合、提示対象のコンテンツを提示面１に提示した状態でのカメラ１３の撮影画像内のコンテンツと、提示対象のコンテンツとを比較する。例えば、環境推定部１４は、両画像の対応する各画素のうち、色の特徴値の差が所定の閾値より大きい領域（画素）を抽出する。色の特徴値としては、ＨＳＶ色空間における色相Ｈ、彩度Ｓ、明度Ｖ、ＲＧＢ色空間におけるＲ値、Ｇ値、Ｂ値など、各種の値がある。撮影画像内のコンテンツおよび提示対象のコンテンツの両画像の対応する画素の色の特徴値が閾値以上である場合、提示面１の環境変化により、提示されたコンテンツに、太陽光などの照射による白飛び（図２の領域２３）、提示面１の反射率による白飛び（図２の領域２４）などが生じていると推定することができる。撮影画像内のコンテンツおよび提示対象のコンテンツの両画像の対応する画素の色の特徴値が閾値より大きい領域を抽出することで、その領域が提示面１の環境変化により視認性に影響を受けていると推定することができる。
When estimating the environmental change of the presentation surface 1 as the content presentation environment, the
また、環境推定部１４は、カメラ１３の撮影画像に基づき、提示面１およびその周辺（例えば、ガラス）が特定の色味を帯びている、夕日の差し込みなどにより、提示面１の周辺全体が特定の色味を帯びているなどの、提示面１の周辺環境の推定を行う。そして、環境推定部１４は、推定した周辺環境に基づき、例えば、提示対象のコンテンツ全体を補正領域として特定する。
In addition, the
提示面１の周辺環境の推定方法として、例えば、以下のような方法がある。 As a method for estimating the surrounding environment of the presentation surface 1, for example, there are the following methods.
環境推定部１４は、提示面１の周辺が撮影されたカメラ１３の撮影画像を解析し、撮影画像の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測を行う。ここで、コンテンツ制御部１５１は、提示面１にコンテンツが提示された状態で撮影が行われた場合には、撮影画像内のコンテンツの提示部分は除いて計測を行う。このような計測を行うことで、提示面１の周辺の色合いといった、提示面１の周辺環境を推定することができる。なお、カラーコードの代わりに、例えば、各画素のＨＳＶ値、ＲＧＢ値などを検出してもよい。このような計測を行うことで、提示面１の周辺環境（提示面１やその周辺の色合い）を推定することができる。
The
次に、コンテンツ制御部１５１によるコンテンツを補正する色などの決定方法の例について説明する。
Next, an example of a method for determining a color or the like for correcting content by the
コンテンツ制御部１５１は、環境推定部１４により抽出された撮影画像内のコンテンツおよび提示対象のコンテンツの両画像の対応する画素の色の特徴値が閾値より大きい領域（白飛びが生じていると推定されるコンテンツ上の領域）を補正領域として特定し、その領域の画像の明るさ（明度および彩度）を上げる。こうすることで、白飛びの発生を抑制することができる。
The
また、コンテンツ制御部１５１は、環境推定部１４による撮影画像の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測結果に基づき、例えば、周辺環境の色合いに対して、コンテンツが目立つようにコンテンツ全体を補正する色や明るさを決定する。
In addition, the
なお、コンテンツには、ユーザに対して、空いているカウンターなどを案内する案内メッセージを示すものや、特定の行為などを行わないように注意する注意メッセージを示すものがある。コンテンツ制御部１５１は、コンテンツが示すメッセージの意味内容を考慮して、コンテンツを補正する色などを決定してもよい。
Note that the content includes a message indicating a guide for a user to a vacant counter and a content indicating a caution message for noting a specific action. The
以下では、コンテンツが示すメッセージの意味内容を考慮した、コンテンツを補正する色や明るさなどの決定方法の例を説明する。 In the following, an example of a method for determining the color and brightness for correcting the content in consideration of the semantic content of the message indicated by the content will be described.
コンテンツ制御部１５１は、環境推定部１４による撮影画像内の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測結果から、撮影画像内で占める割合が最も高い色Ｃmaxを特定する。次に、コンテンツ制御部１５１は、提示対象のコンテンツが案内メッセージを示す場合には、色Ｃmaxの彩度Ｓ（Ｃmax）および明度Ｖ（Ｃmax）を求める。そして、コンテンツ制御部１５１は、案内メッセージを示すコンテンツを構成するそれぞれの色Ｃorgについて、Ｈ（Ｃorg）Ｓ（Ｃmax）Ｖ（Ｃmax）となる色を、コンテンツを補正する色として決定する。案内メッセージを示すコンテンツを構成するそれぞれの色Ｃorgを、色Ｃmaxの彩度、明度に合わせて補正することで、案内メッセージを示すコンテンツを提示面１の周辺で占有率の高い色Ｃmaxと同じ明るさで提示することができるので、コンテンツの高品質な提示を図ることができる。
The
また、コンテンツ制御部１５１は、提示対象のコンテンツが案内メッセージを示す場合、直近の撮影タイミングでのカメラ１３の撮影画像と、その撮影画像よりも過去に撮影された撮影画像（例えば、１つ前の撮影タイミングでの撮影画像）とを比較して、コンテンツを補正する色や明るさを決定してもよい。
In addition, when the content to be presented indicates a guidance message, the
この場合、コンテンツ制御部１５１は、直近の撮影タイミングでの撮影画像と過去に撮影された撮影画像とで対応する各画素の彩度Ｓの変化量平均ΔＳおよび明度Ｖの変化量平均ΔＶを算出する。そして、コンテンツ制御部１５１は、案内メッセージを示すコンテンツを構成するそれぞれの色について、彩度Ｓに変化量平均ΔＳに−１を乗じたものを加算し（Ｓ−ΔＳ）、明度Ｖに変化量平均ΔＶに−１を乗じたものを加算（Ｖ−ΔＶ）した色を、コンテンツを補正する色として決定してもよい。すなわち、コンテンツ制御部１５１は、過去の撮影タイミングから直近の撮影タイミングでの環境変化と逆方向に彩度および明度を補正する。こうすることで、提示面１の周辺環境の変化に対して、その環境変化を補償するようにして、案内メッセージを示すコンテンツを提示することができるので、コンテンツの高品質な提示を図ることができる。
In this case, the
また、コンテンツ制御部１５１は、撮影画像内で占める割合が上位の所定数のカラーコードで示される色のうち、色Ｃmaxから色空間において離れた位置の１つ以上の色をアクセントカラーとして特定し、そのアクセントカラーを、コンテンツを補正する色として決定する。提示面１の周辺環境の色のうち、色Ｃmaxから色空間において離れた位置の色でコンテンツを補正することで、コンテンツが周辺環境に対して際立ち、視認しやすくなるので、コンテンツの高品質な提示を図ることができる。
In addition, the
また、コンテンツ制御部１５１は、コンテンツが注意メッセージを示す場合、色Ｃmaxの補色Ｃcom（色相環で正反対に位置する色）を特定し、コンテンツを補正する色として、Ｈ（Ｃcom）Ｓ１００Ｖ１００となる色（補色Ｃcomと同一色相で彩度明度が最大の色）を決定する。補色同士の色の組み合わせは、互いの色を引き立て合う相乗効果があるため、色Ｃmaxの補色Ｃcomで注意メッセージを含むコンテンツを補正することで、アクセントカラーを用いる場合よりも、周辺環境に対してコンテンツを引き立たせることができる。その結果、ユーザが注意メッセージを視認しやすくなり、コンテンツの高品質な提示を図ることができる。
In addition, when the content indicates a caution message, the
なお、色や明るさの決定方法は上述した方法に限られるものではなく、種々の方法を用いることができる。 Note that the color and brightness determination method is not limited to the above-described method, and various methods can be used.
図３は、画像処理システム１０の動作の一例を示す図である。図３においては、提示面１の環境変化に応じてコンテンツを補正する場合の動作例を示す。
FIG. 3 is a diagram illustrating an example of the operation of the
カメラ１３は、提示対象のコンテンツが提示された提示面１を撮影する（ステップＳ１１）。
The
環境推定部１４は、前処理として、提示対象のコンテンツに対して、プロジェクタ１２による台形補正、投影入射角などに基づく提示対象のコンテンツの変換に対する逆変換を行う（ステップＳ１２）。
As preprocessing, the
次に、環境推定部１４は、カメラ１３の撮影画像内のコンテンツと、逆変換後のコンテンツとを比較し（ステップＳ１３）、両画像の対応する各画素で、色の特徴値の差が所定の閾値より大きい箇所を抽出する（ステップＳ１４）。
Next, the
コンテンツ制御部１５１は、表示対象のコンテンツ上の環境推定部１４により抽出された領域を補正領域として特定し、補正領域の画像の彩度および明度を上げる（ステップＳ１５）。プロジェクタ管理部１５２は、コンテンツ制御部１５１による補正後のコンテンツをプロジェクタ１２に投影させる（ステップＳ１６）。
The
画像処理システム１０は、上述した処理を、所定のタイミング毎に繰り返す。所定のタイミングとしては、所定の時間間隔毎（例えば、１分毎）、提示対象のコンテンツが切り替わる毎、また、プロジェクタ１２が上下左右などに移動可能なムービングプロジェクタである場合には、プロジェクタ１２の移動毎などのタイミングがある。
The
図４は、画像処理システム１０の動作の他の一例を示す図である。図４においては、提示面１の周辺環境の変化に応じて、コンテンツを補正する場合の動作例を示す。
FIG. 4 is a diagram illustrating another example of the operation of the
カメラ１３は、提示面１およびその周辺を撮影する（ステップＳ２１）。
The
環境推定部１４は、提示面１にコンテンツが提示されている場合には、カメラ１３の撮影画像から、前処理として、コンテンツの提示部分を除く（ステップＳ２２）。
When the content is presented on the presentation surface 1, the
次に、環境推定部１４は、コンテンツの提示部分を除いた撮影画像（提示面１の周辺の画像）を解析し、撮影画像の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測を行う（ステップＳ２３）。
Next, the
次に、コンテンツ制御部１５１は、提示対象のコンテンツの意味情報（案内メッセージを示すコンテンツであるか、注意メッセージを示すコンテンツであるか）を、例えば、コンテンツデータ記憶部１１から取得する（ステップＳ２４）。そして、コンテンツ制御部１５１は、環境推定部１４による撮影画像の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測結果（提示環境）と、提示対象のコンテンツの意味情報とに基づき、コンテンツを補正する色などを決定し、決定内容に従い、コンテンツを補正する（ステップＳ２５）。プロジェクタ管理部１５２は、コンテンツ制御部１５１による補正後のコンテンツをプロジェクタ１２に投影させる（ステップＳ２６）。
Next, the
画像処理システム１０は、図３と同様に、所定の時間間隔毎（例えば、１分毎）、提示対象のコンテンツが切り替わる毎、プロジェクタ１２が上下左右などに移動可能なムービングプロジェクタである場合には、プロジェクタ１２の移動毎などの所定のタイミングで、上述した処理を繰り返す。
In the case where the
なお、図４においては、コンテンツを補正する色などを決定した後、コンテンツを補正して、投影する例を用いて説明したが、これに限られるものではない。 In FIG. 4, the description has been made using the example in which the content is corrected and then projected after determining the color to be corrected, but the present invention is not limited to this.
図５は、提示面１の周辺環境の変化に応じて、提示対象のコンテンツを補正する場合の、画像処理システム１０の他の動作例を示すフローチャートである。なお、図５において、図４と同様の処理については、同じ符号を付し、説明を省略する。
FIG. 5 is a flowchart illustrating another example of the operation of the
コンテンツ制御部１５１は、提示対象のコンテンツの意味情報を取得すると、環境推定部１４による撮影画像の各画素のカラーコード、および、各カラーコードの画素が占める割合の計測結果と、提示対象のコンテンツの意味情報とに基づき、コンテンツを補正する色などを決定する（ステップＳ３１）。
When the
次に、コンテンツ制御部１５１は、決定内容をシステムの管理者などに向けて出力する（推薦する）（ステップＳ３２）。
Next, the
次に、コンテンツ制御部１５１は、決定内容に従いコンテンツの補正を許可する旨が入力されたか否かを判定する（ステップＳ３３）。
Next, the
コンテンツの補正を許可する旨が入力されたと判定すると（ステップＳ３３：Ｙｅｓ）、コンテンツ制御部１５１は、決定内容に従い、提示対象のコンテンツを補正し、補正後のコンテンツをプロジェクタ１２に投影させる（ステップＳ３４）。
If it is determined that permission to correct the content has been input (step S33: Yes), the
コンテンツの補正を許可しない旨が入力されたと判定すると（ステップＳ３３：Ｎｏ）、コンテンツ制御部１５１は、例えば、ステップＳ３１の処理に戻り、例えば、別の決定方法に従い、コンテンツを補正する色の決定をやり直す。
If it is determined that content correction is not permitted (step S33: No), the
画像処理システム１０は、例えば、情報案内の開始前の提示するコンテンツの調整時には、図５を参照して説明した動作を行い、情報案内時には、図４を参照して説明した動作を行う。
For example, the
なお、本実施形態においては、環境推定部１４は、推定した周辺環境に基づき、提示対象のコンテンツ全体を補正領域として特定する例を用いて説明したが、これに限られるものではない。例えば、環境推定部１４は、提示対象のコンテンツの外周から内側に所定幅の領域を補正領域として決定してもよい。この場合、コンテンツ制御部１５１は、その補正領域を補正する色として、例えば、提示面１の周辺環境の色合いと色空間において離れた位置の色を決定する。こうすることで、コンテンツと周辺環境との区切りが明確となり、コンテンツの高品質な提示を図ることができる。
In the present embodiment, the
このように本実施形態においては、画像処理システム１０は、コンテンツを提示する提示面１を撮影するカメラ１３（撮影部）と、カメラ１３の撮影画像に基づき、コンテンツの提示環境を推定し、推定した提示環境に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定する環境推定部１４と、環境推定部１４により特定された補正領域の画像を補正する色および明るさの少なくとも一方を決定する制御部１５と、を備える。
As described above, in the present embodiment, the
コンテンツの提示環境に基づき、提示対象のコンテンツ内で、色や明るさを補正する補正領域を特定し、特定した補正領域の画像を補正する色や明るさを決定することで、例えば、提示面１の環境変化（提示面１の一部への太陽光の差し込み、提示面１の反射率に変化など）の影響を受ける領域のみ、コンテンツの補正を行うことができるので、より柔軟な制御が可能となり、コンテンツの高品質な提示を図ることができる。また、コンテンツの明るさだけでなく、色も補正することで、提示面１の周辺環境の色合いに対して、コンテンツの視認性を維持、向上させた提示を行うことができるので、コンテンツの高品質な提示を図ることができる。 Based on the content presentation environment, by specifying the correction area for correcting the color and brightness in the content to be presented, and determining the color and brightness for correcting the image of the specified correction area, for example, the presentation surface Since the content can be corrected only in the area affected by the environmental change of 1 (sunlight insertion into a part of the presentation surface 1, change in the reflectance of the presentation surface 1, etc.), more flexible control is possible. This makes it possible to provide high-quality presentation of content. In addition, by correcting not only the brightness of the content but also the color, it is possible to perform a presentation that maintains and improves the visibility of the content with respect to the hue of the surrounding environment of the presentation surface 1. Quality presentation can be achieved.
なお、本実施形態においては、コンテンツの提示環境を推定し、推定した提示環境に基づき、提示対象のコンテンツにおける色や明るさを補正（変更）する例を用いて説明した。ただし、画像によっては色を変更することができない場合がある。例えば、黄色のキリンを示す画像が夕焼けで目立たない場合であっても、キリンを示す画像の色を黄色から、夕焼けでも目立つように、例えば、青色に変更しては、キリンの認識性が著しく低下する。また、企業、商品などのロゴ、非常口サインなど、特定の色合いに意味があったり、特定の色が慣習的に使われていたりする場合、その特定の色を変更すると、認識性が著しく低下する。 Note that the present embodiment has been described using an example in which the content presentation environment is estimated and the color and brightness of the content to be presented are corrected (changed) based on the estimated presentation environment. However, the color may not be changed depending on the image. For example, even if an image showing a yellow giraffe is inconspicuous at sunset, changing the color of the image showing the giraffe from yellow to blue, for example, to be noticeable at sunset, the recognizability of giraffe is remarkably high. descend. In addition, if a specific color such as a logo of a company or product, an emergency exit sign, etc. is meaningful or if a specific color is customarily used, changing the specific color will significantly reduce the recognition. .
そこで、例えば、事前に変更できない特定の色の領域を指定しておき、その領域の色を変更する必要が生じた場合（その特定の色の領域を補正領域として特定した場合）には、その領域の外周だけ色を変更する（例えば、黒色で縁を取る）といったことが考えられる。すなわち、変更対象の領域（補正領域）の一部だけ、提示環境に対応して変更するということが考えられる。 Therefore, for example, when a specific color area that cannot be changed in advance is specified and the color of the area needs to be changed (when the specific color area is specified as a correction area), It is conceivable that the color is changed only at the outer periphery of the region (for example, the border is black). That is, only a part of the change target area (correction area) may be changed according to the presentation environment.
また、コンテンツは、１または複数の要素（図柄、アナウンスなど）の組み合わせにより構成することもできる。この場合、変更対象の領域を含むコンテンツを構成する要素（上述した例では、キリンの画像、企業、商品のロゴなど）、あるいは、コンテンツ全体を変更することが考えられる。例えば、コンテンツを構成する要素であるキリンの画像において、キリンの首の部分だけ日光が差し込んでいる場合、首の部分だけ縁を取ると見た目のバランスが崩れるため、キリン全体の縁を取る、または、コンテンツ全体の縁を取るといったことも考えられる。 The content can also be configured by a combination of one or more elements (symbols, announcements, etc.). In this case, it is conceivable to change the elements constituting the content including the area to be changed (in the above example, a giraffe image, a company, a product logo, etc.) or the entire content. For example, in the image of a giraffe that is an element that constitutes content, if sunlight is inserted only in the neck part of the giraffe, if the edge of only the neck part is taken, the balance of the appearance will be lost, so the edge of the whole giraffe is taken, or It can also be considered that the whole content is connected.
また、例えば、環境推定部１４により、コンテンツの提示環境として、コンテンツの提示面１に日光が差し込んでいる領域が存在すると推定された場合、その日光が差し込んでいる領域にはコンテンツを構成する要素を配置しないようにしてもよい。すなわち、環境推定部１４の推定結果に応じて、コンテンツを構成する要素の配置を変更してもよい。日光が差し込んでいる領域に提示された要素はユーザからは視認されにくいが、環境推定部１４によるコンテンツの提示環境の推定結果に応じてコンテンツを構成する要素の配置を変更することで、各要素がユーザに視認されやすくすることができる。
Further, for example, when the
本発明に係る画像処理システム１０にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
The method performed in the
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various variations or modifications based on the present disclosure. Therefore, it should be noted that these variations or modifications are included in the scope of the present invention.
１０ 画像処理システム
１１ コンテンツデータ記憶部
１２ プロジェクタ
１３ カメラ
１４ 環境推定部
１５ 制御部
１５１ コンテンツ制御部
１５２ プロジェクタ管理部
２０ ガラス
２１ フレーム
DESCRIPTION OF
Claims (10)
前記コンテンツを提示する提示面を撮影する撮影部と、
前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定する環境推定部と、
前記環境推定部の推定結果に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定する制御部と、
を備えることを特徴とする画像処理システム。 An image processing system for presenting content,
A photographing unit for photographing a presentation surface for presenting the content;
An environment estimation unit that estimates a presentation environment of the content based on a captured image of the imaging unit;
Based on the estimation result of the environment estimation unit, a correction area for correcting at least one of color and brightness in the content to be presented is specified, and at least one of color and brightness for correcting the image of the specified correction area is determined. A control unit,
An image processing system comprising:
前記環境推定部は、前記提示対象のコンテンツを提示した提示面を撮影した前記撮影部の撮影画像と、前記提示対象のコンテンツとの比較を比較し、対応する画素で色の特徴値の差が所定の閾値より大きい前記提示対象のコンテンツ上の領域を抽出し、
前記制御部は、前記環境推定部により抽出された前記提示対象のコンテンツ上の領域を前記補正領域として特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定することを特徴とする画像処理システム。 The image processing system according to claim 1,
The environment estimation unit compares the captured image of the imaging unit that captured the presentation surface on which the content to be presented is presented with the content to be presented, and there is a difference in color feature value between corresponding pixels. Extracting an area on the content to be presented that is larger than a predetermined threshold;
The control unit identifies an area on the presentation target content extracted by the environment estimation unit as the correction area, and determines at least one of color and brightness for correcting the image of the identified correction area. An image processing system.
前記撮影部は、前記提示面および該提示面の周囲を撮影し、
前記環境推定部は、前記撮影部の撮影画像における前記コンテンツが提示された領域以外の領域の画像の各画素の色を計測し、
前記制御部は、前記環境推定部による、前記撮影部の撮影画像における前記コンテンツが提示された領域以外の領域の各画素の色の計測結果に応じて、前記補正領域の画像を補正する色および明るさの少なくとも一方を決定することを特徴とする画像処理システム。 The image processing system according to claim 1,
The photographing unit photographs the presentation surface and the periphery of the presentation surface,
The environment estimation unit measures the color of each pixel of an image in an area other than the area where the content is presented in the captured image of the imaging unit,
The control unit corrects the image in the correction region according to the measurement result of the color of each pixel in the region other than the region where the content is presented in the captured image of the photographing unit by the environment estimation unit, and An image processing system for determining at least one of brightness.
前記制御部は、前記提示対象のコンテンツがメッセージを示すものである場合、該メッセージの意味内容および前記コンテンツの提示環境に応じて、前記補正領域の画像を補正する色または明るさの少なくとも一方を決定することを特徴とする画像処理システム。 The image processing system according to claim 3.
When the content to be presented indicates a message, the control unit selects at least one of a color and brightness for correcting the image in the correction area according to the meaning content of the message and the presentation environment of the content. An image processing system characterized by determining.
前記制御部は、前記環境推定部による推定結果に基づき、前記コンテンツを構成する要素の配置を変更することを特徴とする画像処理システム。 In the image processing system according to any one of claims 1 to 4,
The control unit changes an arrangement of elements constituting the content based on a result of estimation by the environment estimation unit.
前記環境推定部は、所定のタイミングで、前記提示環境を推定して、前記補正領域を特定し、
前記制御部は、前記環境推定部による前記補正領域の特定に応じて、前記補正領域の画像を補正する色および明るさの少なくとも一方を決定することを特徴とする画像処理システム。 In the image processing system according to any one of claims 1 to 5,
The environment estimation unit estimates the presentation environment at a predetermined timing, specifies the correction region,
The control unit determines at least one of a color and brightness for correcting an image in the correction area according to the specification of the correction area by the environment estimation unit.
前記制御部は、前記補正領域の画像を補正する色および明るさの少なくとも一方を決定すると、決定内容に従い、前記提示対象のコンテンツにおける前記補正領域の画像を補正して前記提示面に提示し、または、前記決定内容を出力し、該出力に応じて、前記提示対象のコンテンツの補正を許可する旨が入力されると、前記提示対象のコンテンツにおける前記補正領域の画像を補正して前記提示面に提示することを特徴とする画像処理システム。 The image processing system according to any one of claims 1 to 6,
When the control unit determines at least one of the color and brightness for correcting the image of the correction area, the control unit corrects the image of the correction area in the content to be presented and presents it on the presentation surface according to the determination content, Alternatively, when the content of the determination is output, and an input indicating that the correction of the content to be presented is permitted according to the output, the image of the correction area in the content to be presented is corrected and the presentation surface An image processing system characterized by being presented in
前記制御部は、予め指定された特定の色の領域を補正領域として特定した場合には、前記補正領域の一部について、前記提示環境に応じて色を変更することを特徴とする画像処理システム。 In the image processing system according to any one of claims 1 to 7,
The control unit may change a color of a part of the correction area according to the presentation environment when a specific color area specified in advance is specified as the correction area. .
撮影部が、前記コンテンツを提示する提示面を撮影するステップと、
環境推定部が、前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定するステップと、
制御部が、前記環境推定部の推定結果に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定するステップと、を含む画像処理方法。 An image processing method in an image processing system for presenting content,
A step of photographing a presentation surface on which the photographing unit presents the content;
An environment estimating unit estimating a presentation environment of the content based on a photographed image of the photographing unit;
Based on the estimation result of the environment estimation unit, the control unit specifies a correction region for correcting at least one of the color and the brightness in the content to be presented, and the color and the brightness for correcting the image of the specified correction region. Determining at least one of the image processing methods.
撮影部により前記コンテンツを提示する提示面を撮影する処理と、
前記撮影部の撮影画像に基づき、前記コンテンツの提示環境を推定する処理と、
前記推定した提示環境に基づき、提示対象のコンテンツにおける色および明るさの少なくとも一方を補正する補正領域を特定し、該特定した補正領域の画像を補正する色および明るさの少なくとも一方を決定する処理と、を実行させるプログラム。
To a computer in the image processing system for content presentation,
A process of photographing a presentation surface on which the content is presented by the photographing unit;
A process of estimating a presentation environment of the content based on a photographed image of the photographing unit;
A process of identifying a correction area for correcting at least one of color and brightness in the content to be presented based on the estimated presentation environment and determining at least one of color and brightness for correcting the image of the specified correction area And a program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016095370A JP6430435B2 (en) | 2016-05-11 | 2016-05-11 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016095370A JP6430435B2 (en) | 2016-05-11 | 2016-05-11 | Image processing system, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017203877A true JP2017203877A (en) | 2017-11-16 |
| JP6430435B2 JP6430435B2 (en) | 2018-11-28 |
Family
ID=60322259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016095370A Active JP6430435B2 (en) | 2016-05-11 | 2016-05-11 | Image processing system, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6430435B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011223509A (en) * | 2010-04-14 | 2011-11-04 | Seiko Epson Corp | Color correction system, program and color correction method |
| JP2013114192A (en) * | 2011-11-30 | 2013-06-10 | Toshiba Corp | Image processing system, control program and image processing system control method |
| JP2013122663A (en) * | 2011-12-09 | 2013-06-20 | Sharp Corp | Display system, calibration method, computer program, and recording medium |
-
2016
- 2016-05-11 JP JP2016095370A patent/JP6430435B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011223509A (en) * | 2010-04-14 | 2011-11-04 | Seiko Epson Corp | Color correction system, program and color correction method |
| JP2013114192A (en) * | 2011-11-30 | 2013-06-10 | Toshiba Corp | Image processing system, control program and image processing system control method |
| JP2013122663A (en) * | 2011-12-09 | 2013-06-20 | Sharp Corp | Display system, calibration method, computer program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6430435B2 (en) | 2018-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10440337B2 (en) | Projection apparatus, information processing apparatus, and control methods thereof | |
| WO2009088080A1 (en) | Projector | |
| KR101927968B1 (en) | METHOD AND DEVICE FOR DISPLAYING IMAGE BASED ON METADATA, AND RECORDING MEDIUM THEREFOR | |
| US9398277B2 (en) | Projection type display device and method for producing recorded images | |
| US8428299B2 (en) | Method of processing images to combat copying | |
| US20180040279A1 (en) | Image display apparatus and method for controlling same | |
| US9699386B2 (en) | Image processing apparatus and method | |
| US20170019569A1 (en) | Information processing apparatus, method for processing information, and computer program | |
| US20150097976A1 (en) | Image processing device and image processing method | |
| JP5468914B2 (en) | Control device for large video display device | |
| US10205922B2 (en) | Display control apparatus, method of controlling the same, and non-transitory computer-readable storage medium | |
| US10244216B2 (en) | Projector, video display device, and video display method | |
| KR102282457B1 (en) | Method and apparatus for reducing color moire, and image processing apparatus | |
| JP6430435B2 (en) | Image processing system, image processing method, and program | |
| US11683596B2 (en) | Image capture apparatus, electronic apparatus, and chroma suppression program | |
| JP6726889B2 (en) | Video display system | |
| KR102640015B1 (en) | Display device and driving method thereof | |
| WO2017221663A1 (en) | Video display system | |
| JP6727917B2 (en) | Projection device, electronic device, and image processing method | |
| US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium | |
| JP5444720B2 (en) | projector | |
| KR102191529B1 (en) | System and Method of Multi-Projection | |
| JP7472541B2 (en) | COLOR ESTIMATION DEVICE, COLOR ESTIMATION METHOD, AND PROGRAM | |
| JP2009278227A (en) | Image correction apparatus and method | |
| JP2006201548A (en) | Device and method for projecting image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181031 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6430435 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |