JP2013122662A - Display system, calibration method, computer program, and recording medium - Google Patents
Display system, calibration method, computer program, and recording medium Download PDFInfo
- Publication number
- JP2013122662A JP2013122662A JP2011270500A JP2011270500A JP2013122662A JP 2013122662 A JP2013122662 A JP 2013122662A JP 2011270500 A JP2011270500 A JP 2011270500A JP 2011270500 A JP2011270500 A JP 2011270500A JP 2013122662 A JP2013122662 A JP 2013122662A
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- unit
- color
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、表示部の輝度ムラ又は色ムラなどの較正を行なう表示システムに関する。特に、コンテンツを表示している間に較正を実施することができる表示システム、表示システムの較正方法、コンピュータに前記較正方法を実施させるコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体に関する。 The present invention relates to a display system for calibrating luminance unevenness or color unevenness of a display unit. In particular, the present invention relates to a display system capable of performing calibration while displaying content, a display system calibration method, a computer program for causing a computer to perform the calibration method, and a recording medium on which the computer program is recorded.
近年、ＬＣＤ（Liquid Crystal Display）又はプラズマディスプレイを表示部に用いた表示装置を複数台並べ、１つの大型表示画面を構成するマルチディスプレイシステム（又はマルチビジョンシステム）が使用されている。マルチディスプレイシステムは、複数台で大型表示画面を構成することで、大きな画像を表示するだけでなく、各表示装置で表示させる画像を変えたり、対称的に配置された表示装置が同一の画像を表示したりするなど、様々な視覚的効果を演出することができる。このような効果により、マルチディスプレイシステムは、大きな宣伝効果を得るために電子看板（デジタルサイネージ）に利用される。また、マルチディスプレイシステムは、催し物会場又は公共施設等の広い場所で、効果的な映像中継、又は演出の用途で利用されることもある。 2. Description of the Related Art In recent years, a multi-display system (or multi-vision system) in which a plurality of display devices using an LCD (Liquid Crystal Display) or a plasma display as a display unit are arranged to form one large display screen has been used. Multi-display systems not only display large images by configuring a large display screen with multiple units, but also change the image displayed on each display device, or display the same image on symmetrically arranged display devices. Various visual effects such as display can be produced. Due to such effects, the multi-display system is used for electronic signage (digital signage) in order to obtain a large advertising effect. In addition, the multi-display system may be used for effective video relaying or production in a wide place such as an event venue or a public facility.
マルチディスプレイシステムでは、複数台の表示装置の表示部で１つの画像を表示するなど、隣り合う表示装置で画像が連続する場合があるので、各々の表示部間の色差及び輝度差の低減を必要とする。これに対し、表示部の色表現や輝度階調特性などの表示特性には個体差がある。更には、表示特性の温度変化や経年劣化により、色ズレ又は輝度の変化が起こる。したがって、マルチディスプレイシステムでは、複数台の表示装置の表示部間の色差及び輝度差を低減するための較正を、定期的に実施する必要がある。このような較正を簡易且つ効率的に実施できることが、マルチディスプレイシステムの普及に伴って重要度を増している。 In a multi-display system, images may be continuous on adjacent display devices, such as displaying one image on the display units of multiple display devices, so it is necessary to reduce the color difference and brightness difference between the display units. And On the other hand, there are individual differences in display characteristics such as color representation and luminance gradation characteristics of the display unit. Furthermore, a color shift or a change in luminance occurs due to a temperature change or deterioration with time of display characteristics. Therefore, in the multi-display system, it is necessary to periodically perform calibration for reducing the color difference and the luminance difference between the display units of a plurality of display devices. The ability to perform such calibration simply and efficiently has become increasingly important with the spread of multi-display systems.
簡易な較正方法の例として、特許文献１には、表示部に基準となるカラーチャートを表示させてデジタルカメラで撮像した画像の画像信号から、表示部のプロファイルを取得する方法が開示されている。なお、特許文献１における方法では、撮像した画像の画像信号から撮像デバイスに依存しない色空間で表現される画像信号、即ち、較正対象の表示部固有の色空間の画像信号を取得するために、撮像デバイス（イメージセンサ）のプロファイルを画像信号に適用してイメージセンサ固有の色空間の要素を除去するように変換している。
As an example of a simple calibration method,
特許文献１に開示された方法によれば、表示装置の表示部の色を検知する高価な測色機を用いることなしに、デジタルカメラを用いる簡易な構成にてキャリブレーションを実行することができる。
According to the method disclosed in
しかしながら、特許文献１におけるカラーチャートなど、特定のキャリブレーション用の画像を表示させて較正を行なう方法では、表示中の静止画像又は動画像などの画像コンテンツを一旦停止させる必要がある。特に、電子看板として常時的に使用しているマルチディスプレイシステムの表示部を較正対象とする場合、広告用の画像コンテンツの再生を停止させなければならず、一時的に電子看板としての機能を失わせることになる。これに対し、夜間など、人間がマルチディスプレイシステムの表示部を注視しない時間帯に、較正を行なうことが考えられる。ただし、この場合、較正が行なわれる夜間までの一定期間、色ズレなどが起こって画質が低下している状態のまま、画像コンテンツが再生されることになる。
However, in the method of performing calibration by displaying a specific calibration image such as a color chart in
本発明は斯かる事情に鑑みてなされたものであり、画像コンテンツを再生中であっても効率的に較正を行なうことが可能であり、較正の実行に要する時間とコストを低減させることができる表示システム、該表示システムの較正方法、コンピュータに前記較正方法を実施させるコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的とする。 The present invention has been made in view of such circumstances, and can calibrate efficiently even during reproduction of image content, and can reduce the time and cost required to perform calibration. It is an object of the present invention to provide a display system, a calibration method for the display system, a computer program for causing a computer to execute the calibration method, and a recording medium on which the computer program is recorded.
本発明に係る表示システムは、入力された画像信号に基づき画像を表示する表示部、及び、時系列的に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部を備える表示システムにおいて、画像を表示している前記表示部を撮像する撮像部を更に備え、略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、該作成手段が作成した較正用画像と、前記表示部へ入力する画像信号に基づく画像とに基づき、前記較正用画像を含む新たな画像信号を生成する生成手段と、該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、該比較手段による比較結果に基づき、画像信号を補正する補正手段とを備えることを特徴とする。 A display system according to the present invention includes a display unit that displays an image based on an input image signal, and a signal processing unit that performs a process of sequentially inputting an image signal including a plurality of images in time series to the display unit. The display system further includes an imaging unit that captures the display unit displaying an image, and includes an area having substantially uniform luminance or color, and a calibration image used for calibration of luminance or color in the display unit. Creating means for creating, a calibration means created by the creating means, and a generating means for generating a new image signal including the calibration image based on an image based on an image signal input to the display unit; Means for specifying the timing at which the calibration image is displayed while an image based on the image signal generated by the generation means is being displayed on the display unit; and at the timing specified by the means Based on the result of comparison by the means for performing imaging by the image unit, the comparison unit for comparing the luminance or color in the image for calibration with the luminance or color in the image captured by the imaging unit, and the comparison unit Correction means for correcting the signal.
本発明に係る表示システムは、入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定する手段を更に備え、前記作成手段は、前記輝度又は色を有する領域を含む較正用画像を作成するようにしてあり、前記生成手段は、作成した前記較正用画像を、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換する手段を備えることを特徴とする。 The display system according to the present invention further comprises means for specifying an image including a predetermined ratio or more of a region having a predetermined luminance or color among a plurality of images based on an input image signal, A calibration image including an area having the brightness or color is created, and the generation means inserts the created calibration image before or after the identified image, or is identified. The image processing apparatus includes means for replacing an image or previous and subsequent images with the calibration image.
本発明に係る表示システムは、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定する手段とを更に備え、前記作成手段は、特定された対の画像のいずれか一方に基づき較正用画像を作成するようにしてあり、前記生成手段は、作成した前記較正用画像を、特定された対の画像の間に挿入するか、又は、特定された対の画像のいずれか若しくは両方を、前記較正用画像に置換する手段を備えることを特徴とする。 The display system according to the present invention further includes means for identifying a pair of images having a feature amount different from the predetermined amount among a plurality of images that are continuous in time series, and the creating means includes the identified pair A calibration image is created based on either one of the images, and the generation means inserts the created calibration image between the identified pair of images, or the identified pair. Means for replacing either or both of the images with the calibration image.
本発明に係る表示システムは、前記生成手段は、前記較正用画像が複数連続するように新たな画像信号を生成するようにしてあることを特徴とする。 The display system according to the present invention is characterized in that the generation means generates a new image signal so that a plurality of the calibration images are continuous.
本発明に係る表示システムは、前記作成手段は、複数の異なる輝度又は色別に、前記輝度又は色を有する領域を含む較正用画像を作成するようにしてあり、新たに作成された画像信号中の較正用画像の順序を特定する情報、及び、前記較正用画像が含む領域の輝度又は色の情報を記憶する手段を更に備えることを特徴とする。 In the display system according to the present invention, the creation means creates a calibration image including a region having the brightness or color for each of a plurality of different brightness or colors. It further comprises means for storing information for specifying the order of the calibration images and information on the luminance or color of the area included in the calibration images.
本発明に係る表示システムは、前記表示部は、入力された画像信号に基づく画像を各表示する複数のパネルが並設されており、前記信号処理部は、１つの画像の画像信号を前記複数のパネルの配置に対応させて複数に分割した画像信号を夫々、前記複数のパネルへ入力する手段を備え、前記比較手段は、前記撮像部により撮像された撮像画像の画像信号を、前記複数のパネルの配置に対応させて分割する手段と、前記較正用画像の画像信号を前記複数のパネルの配置に対応させて分割する手段とを備え、分割された撮像画像の画像信号及び較正用画像の画像信号の内、前記パネルの配置に基づき対応する画像信号間で夫々、輝度又は色を比較するようにしてあることを特徴とする。 In the display system according to the present invention, a plurality of panels each displaying an image based on an input image signal are arranged in the display unit, and the signal processing unit outputs the plurality of image signals of one image. Each of the plurality of image signals divided into a plurality of panels corresponding to the arrangement of the plurality of panels, and the comparison means includes the plurality of image signals of the captured images captured by the imaging unit. Means for dividing in accordance with the arrangement of the panels, and means for dividing the image signal of the calibration image in correspondence with the arrangement of the plurality of panels. Of the image signals, brightness or color is compared between the corresponding image signals based on the arrangement of the panels.
本発明に係る表示システムの較正方法は、入力された画像信号に基づき画像を表示する表示部、時系列に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部、及び、前記表示部を撮像する撮像部を備える表示システムにて、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示部で表示される画像の輝度又は色との関係を較正する較正方法であって、略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、作成した較正用画像と、前記表示部へ入力する画像信号とに基づき、前記較正用画像を含む新たな画像信号を生成し、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、生成した新たな画像信号を前記表示部へ入力し、特定したタイミングで前記撮像部により撮像を実行させ、前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、比較結果に基づき、入力する画像信号を補正することを特徴とする。 A display system calibration method according to the present invention includes: a display unit that displays an image based on an input image signal; a signal processing unit that performs a process of sequentially inputting an image signal including a plurality of images in time series to the display unit; In a display system including an imaging unit that images the display unit, the relationship between the luminance or color indicated by the input image signal and the luminance or color of the image displayed on the display unit based on the image signal is calibrated. A calibration method including a region having substantially uniform brightness or color, creating a calibration image used for calibration of brightness or color in the display unit, and inputting the created calibration image and the display unit A new image signal including the calibration image is generated based on the image signal, and the calibration image is displayed while the image based on the generated image signal is displayed on the display unit. Then, the generated new image signal is input to the display unit, and imaging is performed by the imaging unit at the specified timing, and the luminance or color in the calibration image is compared with the luminance or color in the captured image. The input image signal is corrected based on the comparison result.
本発明に係るコンピュータプログラムは、入力された画像信号に基づき画像を表示する表示部へ、時系列に複数の画像からなる画像信号を順次入力する処理を行なう信号処理装置、及び、前記表示部を撮像する撮像装置に接続され、前記信号処理装置及び前記撮像装置を制御するコンピュータに、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示装置で表示される画像の輝度又は色との間の関係の較正処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、作成した較正用画像と、前記表示部へ入力する画像信号とに基づき、前記較正用画像を含む新たな画像信号を生成するステップ、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、特定したタイミングで前記撮像部による撮像を実行させるステップ、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、比較結果に基づき画像信号を補正するステップとを実行させることを特徴とする。 A computer program according to the present invention includes a signal processing device that performs a process of sequentially inputting an image signal including a plurality of images in time series to a display unit that displays an image based on the input image signal, and the display unit. The luminance or color indicated by the input image signal and the luminance or color of the image displayed on the display device based on the image signal connected to the imaging device that captures the image and the computer that controls the signal processing device and the imaging device A computer program for executing a calibration process of a relationship between the first and second computers, and a step of creating a calibration image including a region having substantially uniform luminance or color in the computer and used for calibration of luminance or color in the display unit, A new image signal including the calibration image is generated based on the created calibration image and the image signal input to the display unit. A step of specifying a timing at which the calibration image is displayed while an image based on the generated image signal is displayed on the display unit, a step of performing imaging by the imaging unit at the specified timing, Comparing the luminance or color in the calibration image with the luminance or color in the image captured by the imaging unit, and correcting the image signal based on the comparison result are performed.
本発明に係る記録媒体は、上記発明に係るコンピュータプログラムが、コンピュータによって読み取り可能に記録されてあることを特徴とする。 The recording medium according to the present invention is characterized in that the computer program according to the present invention is recorded so as to be readable by a computer.
本発明では、較正用画像が作成され、表示部に入力される画像信号を基に作成された較正用画像が含まれる新たな画像信号が生成される。また、生成された画像信号を表示部にて表示中に、含まれる較正用画像が表示されるタイミングが特定され、特定されたタイミングに前記表示部が撮像される。これにより、表示部に表示中の前記較正用画像が撮像される。更に、較正用画像を撮像した撮像画像と、較正用画像自体との間で輝度又は色を比較し、比較結果に基づき画像信号の補正が行なわれる。コンテンツデータに基づく画像の表示中に較正用画像が表示されるので、表示中に較正が可能となり、以後入力する画像信号に対する補正が可能となる。 In the present invention, a calibration image is created, and a new image signal including the calibration image created based on the image signal input to the display unit is generated. Further, while displaying the generated image signal on the display unit, the timing at which the included calibration image is displayed is specified, and the display unit is imaged at the specified timing. Accordingly, the calibration image being displayed on the display unit is captured. Further, luminance or color is compared between the captured image obtained by capturing the calibration image and the calibration image itself, and the image signal is corrected based on the comparison result. Since the image for calibration is displayed during the display of the image based on the content data, the calibration can be performed during the display, and the correction for the input image signal can be performed thereafter.
本発明では、時系列に連続する複数の画像の画像信号、即ち映像信号に基づく画像を表示部で表示している間に較正を行なうために、表示する複数の画像の内、予め定められた輝度又は色を有する画像を特定され、特定された画像に基づき較正用画像が作成される。表示するコンテンツデータに含まれる画像から較正用画像が作成され、類似する画像の前後に表示されるので、違和感を持たせることはない。 In the present invention, in order to perform calibration while displaying the image signals of a plurality of time-sequential images, that is, the images based on the video signals on the display unit, a predetermined number of images to be displayed are determined in advance. An image having brightness or color is specified, and a calibration image is created based on the specified image. Since calibration images are created from images included in the content data to be displayed and displayed before and after similar images, there is no sense of incongruity.
本発明では、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像、即ち、画像の特徴が著しく変化する所謂シーンチェンジ、カット点の前後の画像が特定され、特定された画像のいずれか一方に基づき較正用画像が作成される。シーンチェンジ、カット点前又は後の画像に類似する較正用画像が作成され、シーンチェンジ、カット点の前後に表示されるので、表示中に較正を行なっていても違和感を持たせない。 In the present invention, among a plurality of images that are continuous in time series, a pair of images whose image feature amounts differ by a predetermined amount or more, i.e., so-called scene change in which image features change significantly, images before and after the cut point are specified. Then, a calibration image is created based on one of the specified images. A calibration image similar to the image before or after the scene change or cut point is created and displayed before and after the scene change or cut point. Therefore, even if the calibration is performed during the display, there is no sense of incongruity.
本発明では、較正用画像を複数連続して表示させ、較正用画像が表示されている期間が長くなる。これにより、撮像部による撮像タイミングに猶予が生じ、較正が容易になる。 In the present invention, a plurality of calibration images are continuously displayed, and the period during which the calibration images are displayed becomes longer. Thereby, there is a delay in the imaging timing by the imaging unit, and calibration becomes easy.
本発明では、表示する映像信号の内の較正用画像の順序を特定するための情報が、較正用画像が含む輝度又は色の情報と共に記憶される。記憶されてある情報に基づき、当該映像信号に基づく較正が可能となる。 In the present invention, information for specifying the order of the calibration images in the video signal to be displayed is stored together with luminance or color information included in the calibration images. Based on the stored information, calibration based on the video signal can be performed.
本発明では、表示部が複数のパネルを並置させて構成され、１つの画像が前記複数のパネルの配置に応じて分割され、表示部全体で１つの画像が表示される。この場合に、較正用画像も、較正用画像を表示部に表示している間に撮像して得られた撮像画像も各パネルに対応させた分割画像となり、比較がされる。これにより、複数のパネルからなる表示部で１つの画像を表示中であっても、各パネルにおける表示色又は輝度を適切に補正することが可能である。 In the present invention, the display unit is configured by juxtaposing a plurality of panels, one image is divided according to the arrangement of the plurality of panels, and one image is displayed on the entire display unit. In this case, both the calibration image and the captured image obtained while the calibration image is displayed on the display unit are also divided images corresponding to the panels, and are compared. Thereby, even when one image is being displayed on the display unit including a plurality of panels, it is possible to appropriately correct the display color or luminance on each panel.
本発明による場合、較正に用いるフレーム画像がコンテンツデータに基づく複数の画像中に挿入されるか、差し替えられるかされる。挿入されたフレーム画像が表示されるタイミングに表示部を撮像して較正を実施するので、所望の画像を表示中に較正することが可能である。表示中に較正が可能であるから、較正のために画像の表示を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。 According to the present invention, a frame image used for calibration is inserted into or replaced with a plurality of images based on content data. Since the display unit is imaged at the timing when the inserted frame image is displayed and calibration is performed, it is possible to calibrate a desired image while it is being displayed. Since calibration is possible during display, there is no need to stop displaying images for calibration. In particular, in a display system used for applications such as digital signage that needs to output content constantly, it is possible to calibrate brightness or color without losing the function of the digital signage, and it has an excellent effect. .
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
（実施の形態１）
図１は、実施の形態１における表示システムの構成を示すブロック図である。表示システムは、複数の表示装置１０からなる表示部１と、表示装置１０へ入力する画像信号に対する処理を行なう信号処理装置２と、表示部１を撮像する撮像装置３と、表示装置１０群にて表示される表示画像の輝度又は色の較正を実施する制御装置４とを含む。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of a display system according to the first embodiment. The display system includes a
表示システムは電子看板として利用され、そのため表示部１は、人が集まる街中の視認しやすい場所に設置されている。信号処理装置２は、例えば表示部１の近傍に設置されており、後述する方式に対応したケーブルにて表示部１の各表示装置１０と接続されている。撮像装置３は、表示部１全体を撮像範囲とするように設置されている。例えば、撮像装置３は、電子看板である表示部１の正面上方の壁面又は天井などに取り付けられている。制御装置４は、信号処理装置２及び撮像装置３の両者と接続されている。制御装置４は例えば信号処理装置２と共に表示部１の近傍に設置されている。図１及び以下の説明では表示装置１０群、信号処理装置２、撮像装置３、及び制御装置４は夫々、有線にて接続される構成とする。なお本発明では、これらは無線によって信号の送受信を行なう構成であってもよい。
The display system is used as an electronic signboard. Therefore, the
このように構成される表示システムは、信号処理装置２が、制御装置４から出力されたコンテンツデータから画像信号を生成して表示部１の表示装置１０へ各入力して画像を表示する。実施の形態１におけるコンテンツは動画像とする。又は音声と多重化されたストリームデータでもよい。いずれも広告宣伝用のコンテンツである。
In the display system configured as described above, the
特に、本実施の形態１における表示システムは、表示部１にて表示される画像の品質を向上又は画質を維持するため、画像信号が示す画像の輝度又は色の階調値と、実際に表示部１の表示装置１０夫々に表示される画像の輝度又は色との間の関係を特定し、これに基づき画像信号を補正する較正機能を有する。特に、表示システムは、並置された表示装置１０間の輝度差、又は色差を低減させるように補正し、画質の高いコンテンツを出力する。表示システムで実現される較正機能の概要は以下である。制御装置４が、電子看板のために利用するコンテンツに基づく画像を表示している表示部１を撮像装置３で撮像し、表示されるべき画像の輝度又は色の階調値と、撮像画像から得られる輝度又は色の階調値とを比較し、入力した画像信号の階調値と表示された画像の画像信号の階調値との間の関係を特定し、求めた関係から入力する画像信号に対する補正量を算出して補正する。このため制御装置４は、宣伝広告用のコンテンツに基づく画像の中に、較正に用いる較正用画像が表示されるようにコンテンツを生成し、較正用画像が表示部１に表示されるタイミングを特定し、特定したタイミングに、撮像装置３で撮像処理を行ない、撮像された画像中の対応する領域の輝度又は色の情報を夫々取得して、入力した画像信号の輝度又は色と比較し、表示装置１０毎に補正量を算出して補正を行なう。
In particular, the display system according to the first embodiment actually displays the luminance or color gradation value of the image indicated by the image signal and the display in order to improve the quality of the image displayed on the
以下、各構成部及び各構成部によって実行される処理について詳細を説明する。 Hereinafter, details of each component and processing executed by each component will be described.
表示部１は、４台の表示装置１０を用いる。表示装置１０は２段２列に碁盤目状に並置され、並置表示装置１０群を構成している。なお表示部１は、１台の表示装置１０にて構成されてもよいし、３段３列、２段３列など任意の数で並置表示装置１０群が構成されてもよい。
The
表示装置１０は、パネル１１を備える。パネル１１は、ＬＣＤ又はプラズマディスプレイを用いる。表示装置１０は後述するように信号処理装置２から出力される画像信号に基づきパネル１１に画像を表示する。なお表示装置１０は夫々スピーカを備えて、信号処理装置２から出力される音声信号に基づき音声を出力するようにしてもよい。ただし、スピーカは表示部１とは別に設置されてもよい。
The
信号処理装置２は、制御部２０、記憶部２１、入出力部２２、画像処理部２３、音声処理部２４、操作部２５、及び電源制御部２６を備える。
The
制御部２０は、ＣＰＵ（Central Processing Unit）を用い、図示しないコンピュータプログラムに基づき各構成部を制御する。 The control unit 20 uses a CPU (Central Processing Unit) and controls each component based on a computer program (not shown).
記憶部２１は、ハードディスクドライブ又はＳＳＤ（Solid State Drive）等の外部記憶装置を用いる。記憶部２１は、フラッシュメモリを用いてもよい。記憶部２１には、表示部１で表示画像と出力する音声とが多重化されたデータなどが記憶されてもよいし、後述するように各表示装置１０へ入力される画像信号に対して各適用される補正量の情報が記憶されてもよい。
The
入出力部２２は、信号処理装置２と、各表示装置１０及び制御装置４との間の画像信号、並びに、制御用のデータを入出力するためのインタフェースである。具体的には入出力部２２は、ＤＶＩ（Digital Visual Interface）端子及びＨＤＭＩ（High-Definition Multimedia Interface）端子を有する。これにより信号処理装置２は、制御装置４と所定の方式としてＴＭＤＳ（Transition Minimized Differential Signaling ）方式でシリアル通信を行ない、表示部１の複数の表示装置１０夫々へ画像信号を出力する。また入出力部２２は、ＴＣＰ（Transmission Control Protocol ）又はＵＤＰ（User Datagram Protocol）などの通信プロトコルで画像信号を送受信するためのＬＡＮ端子を有し、外部装置と通信により制御用のデータを送受信する。なお、入出力部２２はＬＡＮ端子を介して、制御装置４から画像信号のデータを受信してもよい。入出力部２２は更に、ＵＳＢ（Universal Serial Bus）端子又はＩＥＥＥ１３９４端子を有する構成としてもよい。
The input /
画像処理部２３は画像処理用の集積回路を用い、入出力部２２にて入力した画像信号に対して輝度又は色、色空間等の補正、及び各種フィルタ処理を含む所定の画像処理を実行する。画像処理部２３は、制御部２０からの指示に基づき、画像処理後の画像信号を入出力部２２から表示部１の各表示装置１０へ出力させる。このとき画像処理部２３は、制御部２０により取得されてある並置表示装置１０群の配列情報に基づき、各表示装置１０へ各々に対応する画像信号を出力する。配列情報とは、例えば表示部１の、向かって左上の表示装置１０を０（ゼロ）段目０（ゼロ）列（０，０）の表示装置１０とし、右下の表示装置１０を１段目１列（１，１）の表示装置１０と識別する情報である。制御部２０は、予め記憶部２１に記憶されている配列情報を取得してもよいし、外部から入力される配列情報を取得してもよい。また画像処理部２３は、制御部２０によってソフトウェア的に実現されてもよい。
The
音声処理部２４は、入出力部２２により音声信号を入力し、入力した音声信号に対し、補正及びフィルタ処理を含む所定の処理を実行する。音声処理部２４は、制御部２０からの指示に基づき処理後の音声信号を図示しないスピーカへ出力し、音声を出力させる。なお、信号処理装置２は、音声処理部２４を備えていなくともよい。
The
操作部２５は、電源スイッチ、切替スイッチ、及び再生／停止スイッチを少なくとも含む。操作部２５の電源スイッチ、切替スイッチ、及び再生／停止スイッチは、表示システムのオペレータが操作することが可能に信号処理装置２に形成されている。電源スイッチは、信号処理装置２の電源のオン及びオフを切り替えるためのスイッチである。切替スイッチは、表示部１を構成する複数の表示装置１０の内のいずれか１つの制御を行なうためのスイッチであり、同時に、複数の表示装置１０を選択するためのスイッチである。再生／停止スイッチは、オペレータがコンテンツの再生／停止を指示するスイッチであり、画像処理部２３及び音声処理部２４への画像信号及び音声信号の入力を開始／停止させるためのスイッチ、即ち表示部１への画像信号の入力を開始／停止させるためのスイッチである。操作部２５は、いずれのスイッチが押下されたかを検知すると、制御部２０へ通知する。
The
なお操作部２５は、信号処理装置２と無線で通信することが可能なリモートコントローラに備えられる構成としてもよい。この場合、リモートコントローラは操作部の各スイッチが押下されることに対応する無線信号を信号処理装置２へ送信する。無線通信の通信媒体は赤外光であってもよいし、電磁波であってもよい。また、操作部２５の各スイッチの押下に対応する信号を後述の制御装置４から、オペレータの操作に応じて操作指示として送信し、信号処理装置２がこれを受信し、操作指示に基づき動作するようにしてもよい。
The
電源制御部２６は、外部の電力供給源（図示せず）から供給される電力を制御する。操作部２５の電源スイッチが押下されたことを通知された制御部２０は、電源制御部２６に外部から電力を供給させるか、又は電力の供給を遮断する。電源制御部２６は、電力の供給を受けると信号処理装置２全体に電力を供給する。逆に、電源制御部２６は、電力の供給が遮断されるときは信号処理装置２全体への電力の供給が遮断される。
The power
更に信号処理装置２は、例えばテレビジョン放送のアンテナ及びチューナを備え、制御装置４から出力される画像信号及び音声信号のみならず、放送信号を受信して放送信号に基づく画像信号及び音声信号を表示部１で表示すべく出力するようにしてもよい。
Further, the
撮像装置３は、例えばＵＳＢ端子を有するデジタルカメラを用い、ＵＳＢ端子にて後述の制御装置４と接続される。制御装置４との接続はＵＳＢに限られない。撮像装置３は、ＵＳＢ端子を介して制御装置４から撮像要求信号を入力し、撮像要求信号を入力した場合に表示部１を全体的に撮像する。撮像装置３は、撮像画像の画像信号を、ＵＳＢ端子を介して制御装置４へ出力する。なお、撮像装置３が表示部１を適切に撮像できるように、フォーカスの設定、シャッター速度、絞り、ホワイトバランス、色空間、撮像画像のファイルフォーマット等の設定が予めしてある。特に、動画像であるコンテンツのデータに基づく画像が表示部１で表示されている間に撮像を行なうため、シャッター速度は、映像のフレームレートよりも速く設定されてある。
The
制御装置４は、パーソナルコンピュータを用い、制御部４０、記憶部４１、一時記憶部４２、読出部４３、入出力部４４、及び接続部４５を備える。
The
制御部４０は、ＣＰＵを用い、記憶部４１に記憶してある制御プログラム４Ｐに基づき、後述するような各機能を実現することによって表示システムの制御、及び表示システムの表示部１における輝度又は色の較正を実現する。
The
記憶部４１は、ハードディスクドライブ又はＳＳＤ等の外部記憶装置を用いる。記憶部４１は、フラッシュメモリを用いてもよい。記憶部４１には上述した制御プログラム４Ｐが記憶されているほか、制御部４０が処理時に参照する情報が予め記憶されてもよい。また記憶部４１は、制御部４０の処理により求められる情報を記憶する。特に、記憶部４１は、制御部４０が後述する処理を行なって得られるコンテンツ毎の較正情報４１１を記憶し、後に制御部４０が参照することが可能である。更に記憶部４１は、較正によって求められる補正情報４１２を記憶する。
The
一時記憶部４２は、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等のＲＡＭを用いる。一時記憶部４２は、制御部４０が記憶部４１から制御プログラム４Ｐを読み出す際に用いられる。また、一時記憶部４２は、制御部４０の処理により発生した情報、例えば処理中の画像データ、画像データから抽出された情報などを一時的に記憶する。
The
読出部４３は、ディスクドライブを用いる。読出部４３は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-Ray（登録商標） Disk）、フラッシュメモリ、又はフレキシブルディスクなどである記録媒体６に記録されている情報を読み出す。記録媒体６には、制御プログラム６Ｐが記録されている。制御部４０は、読出部４３によって記録媒体６に記録されている情報を読み出し、記憶部４１又は一時記憶部４２に記憶する。記憶部４１に記憶されている制御プログラム４Ｐは、記録媒体６から読み出された制御プログラム６Ｐの複製であってもよい。
The
記録媒体６は制御装置４から分離可能に構成される記録媒体であればよく、他に、磁気テープ又はカセットテープ等のテープ系、ハードディスク又は上述のフレキシブルディスク等の磁気ディスク系、上述のＣＤ、ＤＶＤ、ＢＤ等の光ディスク系、メモリカード又は光カードなどのカード系、マスクＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM ）、ＥＥＰＲＯＭ（登録商標；Electrically EPROM）、又はフラッシュＲＯＭなどの半導体メモリであってもよい。また、制御装置４が備える入出力部４４は、後述するようにＬＡＮ端子を有してもよいから、制御プログラム６Ｐは、通信網を介して外部からダウンロードされてもよく、電子的な伝送で具現化された搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
The
入出力部４４は、制御装置４と、信号処理装置２及び外部の記憶装置５との間のインタフェースである。具体的には入出力部４４は、ＤＶＩ端子及びＨＤＭＩ端子を有し、これにより制御装置４は、記憶装置５からコンテンツデータを読み出し、信号処理装置２へ画像信号、音声信号及び制御用の情報を送信する。入出力部４４は、ＬＡＮ端子を有し、外部機器との通信を行なってもよいし、ＬＡＮ端子を介して信号処理装置２との間でデータを送受信してもよい。入出力部４４は更に、ＵＳＢ端子又はＩＥＥＥ１３９４端子を有する構成としてもよい。
The input /
接続部４５は、例えばＵＳＢ端子を有し、撮像装置３と接続される。接続部４５は、制御装置４が撮像装置３と接続し、撮像装置３における撮像を制御するための信号を入出力できればＵＳＢ端子に限られない。制御装置４は、接続部４５を介して撮像装置３へ撮像要求信号を送信し、撮像画像の画像信号を受信する。
The
記憶装置５は、大容量のＨＤＤ又はＳＳＤ等を用いてコンテンツデータを記憶する。記憶装置５が記憶するコンテンツデータは、制御装置４から読み出しが可能である。なお記憶装置５はＤＶＤ等の記録媒体であって、制御装置４から読み出しが可能な構成であってもよい。記憶装置５は、制御装置４が備える記憶部４１であってもよい。コンテンツデータは、電子看板として機能する表示部１に表示される宣伝広告用の動画像及び音声を含むコンテンツである。
The
図２は、実施の形態１における制御装置４にて実現される機能を示す機能ブロック図である。制御装置４の制御部４０は、記憶部４１に記憶されている制御プログラム４Ｐを読み出して実行することにより、較正用画像作成部４０１、画像信号生成部４０２、タイミング特定部４０３、及び較正部４０４として機能し、パーソナルコンピュータを表示システムの制御装置４として動作させ、以下に説明する各処理を実施して較正を行なう。なお、較正用画像作成部４０１、画像信号生成部４０２、タイミング特定部４０３、及び較正部４０４は、集積回路としてハードウェア的に構成されてもよい。
FIG. 2 is a functional block diagram illustrating functions realized by the
較正用画像作成部４０１は、制御部４０が読み出したコンテンツデータからフレーム単位で画像を取得する。較正用画像作成部４０１は、取得したフレーム画像を用いて、表示される輝度又は色のキャリブレーション（較正）を行なうための均一な輝度又は色の画素からなる較正用画像を作成する。なお較正用画像作成部４０１は、較正用画像を、予め定めてある複数の異なる輝度又は色について行なう。勿論、全領域で均一とは限らず、８０％以上などの所定の割合以上、均一な輝度又は色である画像でもよい。予め較正用画像を作成して記憶部４１に記憶しておき、較正用画像作成部４０１が選択するようにしてもよい。異なる色又は異なる輝度の情報は、予め記憶部４１に記憶しておき、較正用画像作成部４０１が参照可能としておく。例えば較正用画像作成部４０１は、輝度０（ゼロ）から最大輝度までを４段階、１０段階、又は１８段階等の複数段階に区別し、夫々の段階の輝度の較正用画像を作成する。具体的には、最大輝度が（２５５，２５５，２５５）であって４段階に区別する場合であれば、ＲＧＢ値が（０，０，０）、（８５，８５，８５）、（１７０，１７０，１７０）、（２５５，２５５，２５５）の４段階夫々の領域を含む較正用画像を作成する。また、較正用画像作成部４０１は、例えば１８色の異なる色の画素からなる較正用画像を作成する。例えば較正用画像作成部４０１は、ＲＧＢ値が赤（２５５，０，０）、橙（２５５，１０２，０）、黄（２５５，２５５，０）、緑（０，２５５，０）、青（０，０，２５５）、紫（１５３，０，１５３）、…等である画素からなる較正用画像を夫々作成する。
The calibration
較正用画像作成部４０１は、較正用画像を作成する元にしたフレーム画像を特定するフレーム番号と、作成した較正用画像の輝度又は色を示す情報とを含む較正情報４１１を記憶部４１に記憶する。このとき、同一の較正用画像について、即ち同一の輝度又は色について較正用画像が作成可能であると判断されたフレーム画像が複数存在する場合、最初に可能であると判断されたフレーム画像の前又後のフレーム画像のフレーム番号が記憶される。
The calibration
画像信号生成部４０２は、作成された較正用画像を、制御部４０が読み出すコンテンツデータに基づくフレーム画像間に挿入するか、又はいずれかのフレーム画像に置換し、新たな画像信号として入出力部４４から信号処理装置２へ出力する。具体的には画像信号生成部４０２は、記憶部４１に記憶してある較正情報４１１に基づき、記憶されているフレーム番号に、対応する輝度又は色の較正用画像を出力する。
The image
タイミング特定部４０３は、記憶された較正情報４１１に基づいて実際に較正を行なうにあたり、画像信号生成部４０２が画像信号の出力を開始した場合に、表示部１に較正用画像が表示される時刻（画像の表示開始からの経過時間）を算出する。タイミング特定部４０３は、表示時刻を、例えば以下のように算出できる。
表示時刻＝フレーム番号×フレームレート
フレーム番号は、記憶部４１に記憶した較正情報４１１により特定されるフレーム番号の前又は後である。タイミング特定部４０３は、以後、前記画像信号が制御部４０により信号処理装置２へ出力されたときに、出力されたことを表す信号を撮像装置３へ出力して起動させ、算出された時刻に基づいて撮像を行なうべき時点で撮像要求信号を出力する。これによりタイミング特定部４０３は、較正用画像が表示されたときにこれを撮像部で撮像するように、撮像のタイミングを制御する。
When the
Display time = frame number × frame rate The frame number is before or after the frame number specified by the calibration information 411 stored in the
なお、タイミング特定部４０３は、表示部１に較正用画像が表示されるタイミングと、撮像装置３による撮像タイミングとの同期の制御について、入出力部４４及び接続部４５、並びに信号処理装置２における入出力部２２における伝送遅延及び測定（撮像処理）遅延に係る遅延時間を測定しておき、遅延時間を考慮して撮像要求信号を出力する。また、タイミング特定部４０３は、画像信号のフレームレートに比較して、遅延時間が微小である（例えばフレームレートの１／１０以下）シャッターを使用できる撮像装置３を用い、遅延時間を考慮せずに撮像要求信号を出力する構成としてもよい。
Note that the
較正部４０４は、制御部４０の処理によって較正に用いるコンテンツデータの入出力部４４からの出力が開始されると、記憶された較正情報４１１に基づいて較正処理を行なう。較正部４０４は、コンテンツデータの出力が開始された場合、タイミング特定部４０３の制御により撮像された撮像画像信号を接続部４５から入力する。較正部４０４は、入力した画像信号に基づく撮像画像と、対応する較正用画像とを比較し、輝度又は色の差分を特定して補正量を求め、画像信号の補正を行なう。較正部４０４は、撮像画像及び較正用画像を比較するに際し、並置表示装置１０群の配列情報に基づき、ブロック画像に分割し、ブロック画像毎に比較して表示装置１０毎に差分を特定して補正量を求める。なお配列情報は、制御部４０が予め信号処理装置２から取得して記憶部４１に記憶しておいてもよいし、較正部４０４が信号処理装置２から取得してもよい。
When the output of the content data used for calibration from the input /
このように構成される表示システムにて、表示部１における輝度又は色が較正される手順を、順を追って詳細に説明する。図３は、実施の形態１における制御装置４の較正用画像作成部４０１により実施される処理手順の一例を示すフローチャートである。制御装置４の制御部４０は、較正用画像作成部４０１により、記憶装置５から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により各処理を実行する。
A procedure for calibrating the luminance or color in the
制御部４０は、記憶装置５からコンテンツデータを入出力部４４により読み出し（ステップＳ１）、最初のフレーム画像（フレーム番号０（ゼロ））を較正用画像の作成対象とする（ステップＳ２）。具体的には制御部４０は、較正用画像の作成対象のフレーム画像のフレーム番号に０（ゼロ）を代入する。
The
制御部４０は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理を行なう（ステップＳ３）。制御部４０は、処理の結果、較正用画像の作成が可能であるか否かを判断する（ステップＳ４）。制御部４０は、較正用画像の作成が可能であると判断した場合（Ｓ４：ＹＥＳ）、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報４１１を記憶部４１に記憶し（ステップＳ５）、全ての較正対象の輝度又は色についての処理が完了したか否かを判断する（ステップＳ６）。制御部４０は、全ての輝度又は色について処理が完了したと判断した場合（Ｓ６：ＹＥＳ）、処理を終了する。
The
ステップＳ４にて較正用画像の作成が不可能であると判断した場合（Ｓ４：ＮＯ）、及びステップＳ６にて全ての輝度又は色について処理が完了していないと判断した場合（Ｓ６：ＮＯ）、制御部４０は、次のフレーム画像が存在するか否かを判断する（ステップＳ７）。制御部４０は、次のフレーム画像が存在すると判断した場合（Ｓ７：ＹＥＳ）、次のフレーム画像を較正用画像の作成対象とし（ステップＳ８）、処理をステップＳ３へ戻す。制御部４０は、次のフレーム画像が存在しないと判断した場合（Ｓ７：ＮＯ）、そのまま処理を終了する。
When it is determined in step S4 that it is impossible to create a calibration image (S4: NO), and when it is determined in step S6 that processing has not been completed for all luminances or colors (S6: NO). The
図４は、図３のステップＳ３における較正用画像を作成できるか否かの判断処理の一例を示すフローチャートである。制御部４０は、較正用画像作成部４０１として以下の処理を行なう。
FIG. 4 is a flowchart illustrating an example of a process for determining whether or not a calibration image can be created in step S3 of FIG. The
制御部４０は、カウント用の変数Ｍに１を代入する（ステップＳ３１）。制御部４０は、較正用画像作成部４０１の機能により、フレーム画像の画素を走査して順次、各画素の輝度又は色の強度を表す値を順次参照し（ステップＳ３２）、許容される範囲で較正対象の輝度又は色に合致するか、即ち略均一な輝度又は色に合致するか否かを判定する（ステップＳ３３）。
The
詳細には、フレーム画像の画素の色がＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）夫々の強度を示す階調値で表わされる場合、較正対象のＲＧＢ値を（Ｒｃ，Ｇｃ，Ｂｃ）とすると、制御部４０は、較正用画像作成部４０１の機能により、各画素の色について以下の三式を全て満たすものを合致と判断する。
Ｒｃ−δR ≦Ｒ≦Ｒｃ＋δR
Ｇｃ−δG ≦Ｇ≦Ｇｃ＋δG
Ｂｃ−δB ≦Ｂ≦Ｂｃ＋δB
このときδR 、δG 、δB の値夫々は、ＲＧＢ値の最大値の１／３２程度を目安とする。例えば、ＲＧＢ値が夫々８ビットのデジタル信号で表わされる場合、ＲＧＢ値は０〜２５５であるからδR 、δG 、δB の値は夫々「８」となる。なお、δR 、δG 、δB の値は、輝度のステップを細かく設定する場合には小さい値に設定するなど、適宜設定すればよい。
Specifically, when the pixel color of the frame image is represented by gradation values indicating the intensity of each of RGB (R: red, G: green, B: blue), the RGB values to be calibrated are (Rc, Gc, Bc). ), The
Rc−δ R ≦ R ≦ Rc + δ R
Gc−δ G ≦ G ≦ Gc + δ G
Bc−δ B ≦ B ≦ Bc + δ B
At this time, the values of δ R , δ G , and δ B are each about 1/32 of the maximum RGB value. For example, when the RGB values are represented by 8-bit digital signals, the RGB values are 0 to 255, so the values of δ R , δ G , and δ B are “8”, respectively. Note that the values of δ R , δ G , and δ B may be set as appropriate, such as a small value when the luminance step is set finely.
またステップＳ３２において、較正用画像作成部４０１は、エッジが多い画像を基にしないように、各フレーム画像に対し、全画素を１画素ずつ参照して特定の輝度又は色に合致するか否かを判断するのではなく、複数の画素よりなる例えば３×３画素のブロック毎に参照するようにしてもよい。このときブロック毎の輝度又は色は、平均値又は中央値等を算出して用いてもよい。また、較正用画像作成部４０１は、処理の迅速化を図るため、各フレーム画像の全画素を参照するのではなく、４画素毎に１画素を参照するなどの間引き処理を行なって代表的な画素を参照してもよい。また、較正用画像作成部４０１は、３×３画素などのブロックに分割し、ブロック毎に輝度又は色の平均値等を算出し、更にブロックを間引きして参照するようにしてもよい。
In step S32, the calibration
制御部４０は、ステップＳ３３にて合致すると判断した場合（Ｓ３３：ＹＥＳ）、変数Ｍに１を加算し（ステップＳ３４）、対象画素を全て参照したか否かを判断する（ステップＳ３５）。制御部４０は、ステップＳ３３にて合致しないと判断した場合（Ｓ３３：ＮＯ）、そのまま処理をステップＳ３５へ進める。
If it is determined in step S33 that they match (S33: YES), the
制御部４０は、ステップＳ３５にて全て参照していないと判断した場合（Ｓ３５：ＮＯ）、処理をステップＳ３２へ戻し、次の画素の輝度又は色を参照する。
If the
制御部４０は、ステップＳ３５にて全て参照したと判断した場合（Ｓ３５：ＹＥＳ）、変数Ｍに基づき、較正用の輝度又は色に合致する画素又はブロックの数は所定の閾値ｐ以上であるか否かを判断する（ステップＳ３６）。閾値ｐは例えば５０％などの割合又は画素数である。制御部４０は、所定の閾値ｐ以上であると判断した場合（Ｓ３６：ＹＥＳ）、較正用画像を作成可能と判断し（ステップＳ３７）、処理を図３のフローチャートのステップＳ４へ戻す。
If the
なおステップＳ３６にて制御部４０は、水平方向に所定の画素数及び垂直方向に所定の画素数以上連続する均一な輝度又は色の領域、即ち所定サイズ以上の均一な領域を抽出した場合に、閾値ｐ以上であると判断し、較正に使用可能と判断してもよい（Ｓ３７）。
In step S36, when the
制御部４０は、所定の閾値ｐ未満であると判断した場合（Ｓ３６：ＮＯ）、較正用画像を作成不可能であると判断し（ステップＳ３８）、処理を図３のフローチャートのステップＳ４へ戻す。
If the
図５から図８は、較正用画像作成部４０１により作成される較正用画像の一例を示す説明図である。いずれも図の上段に、較正用画像の基となるコンテンツデータ中のフレーム画像を示し、下段に、当該フレーム画像を用いて作成される較正用画像を示す。いずれも、８ビットのＲＧＢ値を予め定めてあるモノクロの４段階（２５５，２５５，２５５）、（１７０，１７０，１７０）、（８５，８５，８５）、（０，０，０）に区別した場合に、夫々のＲＧＢ値について作成される較正用画像の例を示す。
5 to 8 are explanatory diagrams illustrating an example of a calibration image created by the calibration
図５の上段に示した例は、広告宣伝用のあるコンテンツデータのフレーム番号「Ｎ１」のフレーム画像である。このフレーム画像は、「○○株式会社」のコーポレートステートメントを表示するフレーム画像であり、背景に「白」が使われている。上段に示したフレーム画像からは、ＲＧＢ値が最大輝度となる（２５５，２５５，２５５）である画素が閾値以上抽出され、下段に示すような「白」の較正用画像が作成される。 The example shown in the upper part of FIG. 5 is a frame image of the frame number “N1” of content data for advertisement. This frame image is a frame image that displays the corporate statement of “XX Corporation”, and “white” is used for the background. From the frame image shown in the upper row, pixels with RGB values having the maximum luminance (255, 255, 255) are extracted more than the threshold value, and a “white” calibration image as shown in the lower row is created.
図６の上段に示した例は、図５のフレーム画像と同一のコンテンツデータ中のフレーム番号「Ｎ２」のフレーム画像を示す。このフレーム画像は、商品の画像を含み、背景に「薄いグレー」が使われている。上段に示したフレーム画像からは、ＲＧＢ値が（１７０，１７０，１７０）である画素が閾値以上抽出され、下段に示すような「薄いグレー」の較正用画像が作成される。 The example shown in the upper part of FIG. 6 shows a frame image of frame number “N2” in the same content data as the frame image of FIG. This frame image includes an image of the product, and “light gray” is used for the background. From the frame image shown in the upper part, pixels having RGB values of (170, 170, 170) are extracted more than a threshold value, and a “light gray” calibration image as shown in the lower part is created.
図７の上段には、図５及び図６に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「Ｎ３」のフレーム画像を示す。このフレーム画像は、商品又はサービスのイメージを表す風景画像を含み、背景に「濃いグレー」を含む。上段に示したフレーム画像からは、ＲＧＢ値が（８５，８５，８５）である画素が閾値以上抽出され、下段に示すような「濃いグレー」の較正用画像が作成される。 The upper part of FIG. 7 shows a frame image of frame number “N3” in the same content data as the frame images shown in FIGS. 5 and 6. This frame image includes a landscape image representing an image of a product or service, and includes “dark gray” in the background. From the frame image shown in the upper part, pixels having RGB values of (85, 85, 85) are extracted more than a threshold value, and a “dark gray” calibration image as shown in the lower part is created.
図８の上段には、図５から図７に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「Ｎ４」のフレーム画像を示す。このフレーム画像は、企業のコーポレートステートメントを表示するフレーム画像であり、背景に「黒」が使われている。上段に示したフレーム画像からは、ＲＧＢ値が（０，０，０）である黒の画素が閾値以上抽出され、下段に示すような「黒」の較正用画像が作成される。 The upper part of FIG. 8 shows a frame image of the frame number “N4” in the same content data as the frame images shown in FIGS. This frame image is a frame image for displaying a corporate statement of a company, and “black” is used for the background. From the frame image shown in the upper part, black pixels having an RGB value of (0, 0, 0) are extracted more than a threshold value, and a “black” calibration image as shown in the lower part is created.
次に、図５から図８に示したような較正用画像を用いて行なわれる実際の較正処理について説明する。まず制御部４０は、画像信号生成部４０２の機能により、画像信号を生成して出力する。
Next, an actual calibration process performed using the calibration image as shown in FIGS. 5 to 8 will be described. First, the
図９は、画像信号の生成処理手順の一例を示すフローチャートである。信号処理装置２が操作部２５にて、オペレータによりコンテンツの再生を指示する操作がされた場合、制御部２０が操作部２５からの通知を受けてこれを認識し、画像信号の出力開始を要求する制御用のデータを制御装置４へ出力する。制御装置４の制御部４０は、入出力部４４から画像信号の出力開始を要求する制御用データを入力したときに、以下の処理を実行する。
FIG. 9 is a flowchart illustrating an example of an image signal generation processing procedure. When the
制御部４０は、較正用画像を作成する基となったコンテンツデータを記憶装置５から読み出し、入出力部４４を介した信号処理装置２への出力を開始する（ステップＳ１１）。これにより、表示部１にてコンテンツの再生が開始される。なお制御部４０は、信号処理装置２からの画像信号の出力及び表示部１での表示レートに間に合うように、適切な送信レートで画像信号を出力し続ける。
The
次に制御部４０は、信号処理装置２からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断する（ステップＳ１２）。制御部４０は、画像信号の出力停止を要求する制御用のデータを入力した場合（Ｓ１２：ＹＥＳ）、画像信号の出力の処理を終了する。なお、画像信号の出力停止を要求する制御用のデータは、信号処理装置２の操作部２５にて、オペレータによりコンテンツの停止を指示する操作がされ、制御部２０が操作部２５からの通知を受けてこれを認識したときに、信号処理装置２から制御装置４へ出力される。
Next, the
制御部４０は、上述の画像信号の出力停止を要求する制御用のデータを入力していないと判断した場合（Ｓ１２：ＮＯ）、入力するまで、以下の処理を繰り返す。
When it is determined that the control data requesting to stop the output of the image signal is not input (S12: NO), the
制御部４０は、画像信号生成部４０２の機能により、較正用画像を出力するタイミングであるか否かを判断する（ステップＳ１３）。ステップＳ１３において制御部４０は、具体的には、出力中の画像信号のフレーム番号を特定し、較正情報４１１に記憶してある較正用画像を作成する基となったフレーム画像のフレーム番号の前の番号であるか、又はフレーム番号そのものであるかを判断する。
The
制御部４０は、較正用画像を出力するタイミングであると判断した場合（Ｓ１３：ＹＥＳ）、画像信号生成部４０２の機能により、較正情報４１１に基づき、フレーム番号に対応する較正用画像を挿入又は置換して出力する（ステップＳ１４）。具体的には制御部４０は、較正用画像を、基となったフレーム画像の前に挿入する場合、基となったフレーム画像のフレーム番号の前の番号であると判断したときに、当該フレーム番号の後に、フレームレートに基づき、１／２フレーム時間で表示されるように表示時刻を指定して出力する。又は、基となったフレーム画像を較正用画像に置換する場合、制御部４０は、基となったフレーム画像のフレーム番号であると判断したときに、基となったフレーム画像の替わりに較正用画像を出力する。又は、較正用画像を基となったフレーム画像の後に挿入する場合、基となったフレーム画像のフレーム番号の後に、フレームレートに基づき、１／２フレーム時間で表示されるように表示時刻を指定して出力する。
When it is determined that it is time to output the calibration image (S13: YES), the
制御部４０は、較正用画像を出力すると処理をステップＳ１２へ戻す。一方で制御部４０は、較正用画像を出力するタイミングでないと判断した場合（Ｓ１３：ＮＯ）、そのまま処理をステップＳ１２へ戻す。
When outputting the calibration image, the
これにより、較正用画像を挿入又は置換した新たな画像信号がリアルタイムに生成されて出力される。本発明はこれに限らず、画像信号生成部４０２は、読み出したコンテンツデータに基づき較正用画像を挿入又は置換した新たな画像信号を生成し、一旦記憶部４１又は記憶装置５に記憶しておき、較正処理を行なう際に記憶されてある新たな画像信号を読み出して出力する構成としてもよい。
Thereby, a new image signal in which the calibration image is inserted or replaced is generated and output in real time. The present invention is not limited to this, and the image
図１０及び図１１は、実施の形態１の画像信号生成部４０２により生成される画像信号の一例を模式的に示す説明図である。図１０及び図１１ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは３０フレーム／秒であり、各フレーム画像について、表示時刻（最初のフレーム画像からの経過時間）が秒［ｓ］単位で示されている。
10 and 11 are explanatory diagrams schematically illustrating an example of an image signal generated by the image
図１０は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。図１０に示す例では、較正情報４１１に、フレーム番号「Ｎ２」が記憶されている。画像信号生成部４０２の機能により制御部４０は、出力中のフレーム番号を特定し、フレーム番号が「Ｎ２−１」であると特定できた場合に、次のフレーム番号「Ｎ２」の前に、１／２フレーム時間（０．０１７秒）の較正用画像を挿入して出力する。図１０に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。なおここで略同一の輝度又は色という表現を用いたが、較正用画像と、次のフレーム画像とで、背景の輝度又は色は、同一でなくてもよく、視聴者が、表示される画像に対して違和感を持たない範囲に収まっていればよい。違和感を持たない範囲とは、種々の画像を用い、また、多くの視聴者に参加してもらうことで定めるものでよい。この意味で、上述に、「略」同一の輝度又は色と表現している。
FIG. 10 shows time-series frame images before and after a calibration image is inserted between frame images. In the example illustrated in FIG. 10, the frame number “N2” is stored in the calibration information 411. By the function of the image
図１１は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。図１１に示す例でも較正情報４１１に、フレーム番号「Ｎ２」が記憶されている。画像信号生成部４０２の機能により制御部４０は、出力中のフレーム番号を特定し、出力するフレーム番号が「Ｎ２」であると特定できた場合に、較正用画像を出力する。制御部４０は、元のフレーム画像（Ｎ２）の画像信号は出力しない。図１１に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。
FIG. 11 shows time-series frame images before and after the frame image is replaced with a calibration image. Also in the example illustrated in FIG. 11, the frame number “N2” is stored in the calibration information 411. By the function of the image
なお図１１に示す例では、較正用画像が表示されるフレーム時間は、図１０に示した例の場合の０．０１７秒よりも、長く、０．０３３秒である。したがって、後述する撮像装置３による撮像タイミングに、１フレーム時間（０．０３３秒）程度のばらつきがあったとしても、較正用画像を撮像することができる。ただし、シャッター速度と撮像する時刻のばらつきは、１フレーム時間内に収める必要がある。
In the example shown in FIG. 11, the frame time for displaying the calibration image is 0.033 seconds, which is longer than 0.017 seconds in the example shown in FIG. Therefore, even if there is a variation of about one frame time (0.033 seconds) in imaging timing by the
なお、較正用画像を挿入する場合であっても、図１１に示したように１フレーム時間分に挿入するようにしてもよい。ただし、これにより出力する画像信号が長くなる。撮像するタイミングの制御を複雑化しないよう、また、表示される動画像に不自然さが生じないよう、図１０に示したようなフレーム間に、１／２フレーム時間表示されるように出力することが好ましい。なお、電子看板として機能させる場合、テレビジョン放送などと比べて、再生されるコンテンツの長さは視聴者にとっては無視できるので、較正用画像を確実に撮像できるように、１フレーム時間分挿入する構成としても問題はないと考えられる。 Even when a calibration image is inserted, it may be inserted for one frame time as shown in FIG. However, this increases the output image signal. In order not to complicate the control of the imaging timing, and to prevent unnaturalness in the displayed moving image, the output is performed so as to be displayed for 1/2 frame time between frames as shown in FIG. It is preferable. When functioning as an electronic signboard, the length of the content to be reproduced is negligible for the viewer as compared to television broadcasting, etc., so that one frame time is inserted so that a calibration image can be reliably captured. There is no problem with the configuration.
次に、図１０及び図１１に示したように表示される画像に基づき較正が実行される手順を説明する。図１２は、制御装置４のタイミング特定部４０３及び較正部４０４によって実行される処理手順の一例を示すフローチャートである。制御部４０が信号処理装置２へ新たな画像信号の出力を開始すると、制御部４０はタイミング特定部４０３及び較正部４０４の機能により、以下の処理を実行し、較正を行なう。
Next, a procedure for performing calibration based on the image displayed as shown in FIGS. 10 and 11 will be described. FIG. 12 is a flowchart illustrating an example of a processing procedure executed by the
制御部４０は、画像信号の出力を開始してからの経過時間を測定開始する（ステップＳ２１）。
The
制御部４０は、タイミング特定部４０３の機能により、画像信号の出力を開始してからの経過時間に基づき、較正用画像の表示時刻であるか否かを判断する（ステップＳ２２）。表示時刻は、制御部４０が画像信号生成部４０２により較正用画像を出力するに際して、表示時刻を指定して出力するので、これを記憶しておき、参照すればよい。
The
制御部４０は、表示時刻であると判断した場合（Ｓ２２：ＹＥＳ）、撮像要求信号を接続部４５から撮像装置３へ出力して撮像を実行させる（ステップＳ２３）。制御部４０は、表示時刻でないと判断した場合（Ｓ２２：ＮＯ）、処理をステップＳ２２へ戻す。
When determining that it is the display time (S22: YES), the
制御部４０は、撮像装置３での撮像を実行させた後、全ての較正用画像を撮像したか否かを判断する（ステップＳ２４）。具体的には制御部４０は、予め定めてある異なる複数の輝度又は色全ての較正用画像を撮像したか否か、撮像回数が較正情報４１１に記憶してあるフレーム番号の数と一致するかなどの方法によって判断すればよい。制御部４０は、全て撮像していないと判断した場合（Ｓ２４：ＮＯ）、処理をステップＳ２２へ戻す。制御部４０は、全ての較正用画像を撮像したと判断した場合（Ｓ２４：ＹＥＳ）、較正部４０４の機能により、全ての撮像画像の画像信号を撮像装置３から取得する（ステップＳ２５）。なお、制御部４０は、撮像を実行させる都度に、画像信号を取得してもよい。
The
なおステップＳ２５にて取得された撮像画像が、実際に較正用画像を撮像できた画像であり、後述する測定値が正当な値となるか否かを、事前に以下のように評価することが好ましい。制御部４０は、撮像画像の全画素からＲＧＢ値の夫々の最大値Ｒmax 、Ｇmax 、Ｂmax と最小値Ｒmin 、Ｇmin 、Ｂmin を抽出する。制御部４０は、ＲＧＢ値夫々に対する判定許容値としてΔR 、ΔG 、ΔB とし、以下の三式を全て満たした場合に、実際に較正用画像を撮像して測色が出来たと判定し、いずれか１つでも満たしていない場合、測色出来ていないと判定する。
Ｒmax −Ｒmin ≦ΔR
Ｇmax −Ｇmin ≦ΔG
Ｂmax −Ｂmin ≦ΔB
なおΔR 、ΔG 、ΔB は夫々、例えば「５」などのように設定しておく。
Note that the captured image acquired in step S25 is an image in which a calibration image can be actually captured, and whether or not a measured value described later is a valid value can be evaluated in advance as follows. preferable. The
R max −R min ≦ Δ R
G max −G min ≦ Δ G
B max −B min ≦ Δ B
Δ R , Δ G , and Δ B are set as “5”, for example.
制御部４０は、較正部４０４の機能により、取得した撮像画像を夫々、並置表示装置１０群の配列に応じてブロック画像に分割する（ステップＳ２６）。各ブロック画像には、並置表示装置１０を夫々識別する情報を対応付けておく。制御部４０は、較正部４０４の機能により、分割されたブロック画像に基づき表示装置１０毎の較正処理の実行を開始する（ステップＳ２７）。なお、較正処理が完了した後は、出力される画像信号は、較正部４０４による補正処理（後述のＳ７０６及びＳ７１０）、又は出力される補正情報４１２に基づき信号処理装置２で実行される補正処理によって補正される。
The
図１３は、図１２のステップＳ２７における較正処理の詳細な処理手順の一例を示すフローチャートである。制御部４０は、較正部４０４として以下の処理を行なう。
FIG. 13 is a flowchart showing an example of a detailed processing procedure of the calibration processing in step S27 of FIG. The
制御部４０は、一の表示装置１０を選択し（ステップＳ７０１）、選択した表示装置１に対応するブロック画像から所定の演算により測定値（輝度値又は色値）を算出する（ステップＳ７０２）。所定の演算としては例えば、制御部４０は、較正部４０４の機能により、較正用領域を撮像した領域の画素の画素値（ＲＧＢ値）の平均値を算出する。中央値を算出するなど他の演算方法を用いてもよい。
The
次に制御部４０は、較正部４０４の機能により、選択している表示装置１０についての測定値と表示されるべき輝度の輝度値とを比較する（ステップＳ７０３）。制御部４０は、差分が閾値以上であるか否かを判断し（ステップＳ７０４）、閾値以上であると判断した場合（Ｓ７０４：ＹＥＳ）、差分が閾値以上である測定値に対応する補正量を算出し（ステップＳ７０５）、輝度の補正を実施する（ステップＳ７０６）。制御部４０は、輝度について閾値未満であると判断した場合（Ｓ７０４：ＮＯ）、選択している表示装置１０については輝度の補正をする必要はなく、処理をそのまま次のステップＳ７０７へ進める。
Next, the
制御部４０は、選択している表示装置１０についての測定値と表示されるべき色の色値とを比較する（ステップＳ７０７）。制御部４０は、差分が閾値以上であるか否かを判断し（ステップＳ７０８）、閾値以上であると判断した場合（Ｓ７０８：ＹＥＳ）、差分が閾値以上である測定値に対応する補正量を算出し（ステップＳ７０９）、色値の補正を実施する（ステップＳ７１０）。制御部４０は、色について閾値未満であると判断した場合（Ｓ７０８：ＮＯ）、処理をそのまま次のステップＳ７１１へ進める。
The
実施される補正には種々の方法が考えられる。制御部４０は、算出した表示装置１０毎の測定値同士を比較し、最大の測定値と最小の測定値との間の差分が所定の閾値以上である場合に、補正する方法でもよい。また差分に対する閾値は、目視により差異が認められる値を予め設定しておいてもよいし、予め測色器を用いて測定した結果に基づき設定される構成としてもよい。制御部４０は、較正部４０４の機能により、並置表示装置１０群に夫々対応する測定値の内、最も輝度値が低い表示装置１０に対応する測定値に合うように、他の表示装置１０へ入力する画像信号の輝度を補正する。つまり、他の表示装置１０にて表示される輝度を低下させる補正を行なう。そのほか較正部４０４は、各測定値と表示されるべき輝度値又は色値との間の差分が所定値以上である表示装置１０へ入力する画像信号を、表示されるべき輝度又は色となるように補正してもよい。特に、表示部１が１つの表示装置１０からなる場合は、この方法がとられる。
Various methods are conceivable for the correction to be performed. The
なお、各表示装置１０に対応する輝度又は色毎の補正量を補正情報４１２として記憶部４１に記憶し、制御部４０が画像信号を出力するとともに、較正部４０４は補正情報４１２を表示装置１０毎の情報として信号処理装置２へ出力し、信号処理装置２の画像処理部２３にて、各表示装置１０に対応する補正情報４１２に基づき、入力する画像信号に対して補正を行なってもよい。信号処理装置２は、入力される種々の画像信号のＲＧＢ値に対し、較正部４０４から得た補正情報４１２を汎用的に用いて補正することが可能である。
The correction amount for each luminance or color corresponding to each
制御部４０は、全ての表示装置１０について補正処理を実施したか否か判断し（Ｓ７１１）、否と判断した場合（Ｓ７１１：ＮＯ）、処理をステップＳ７０１へ戻して次の表示装置１０を選択し（Ｓ７０１）、以後の処理を繰り返す。
The
制御部４０は、全ての表示装置１０について補正処理を実施したと判断した場合（Ｓ７１１：ＹＥＳ）、補正処理を終了し、図１２のフローチャートのステップＳ２１へ処理を戻す。以後、表示部１の表示装置１０群に入力される画像信号に補正がされる。
When it is determined that the correction process has been performed for all the display devices 10 (S711: YES), the
このように、電子看板の機能を発揮するべく表示部１に表示する宣伝広告用のコンテンツデータに基づく画像信号中に較正用画像を違和感なく表示させ、較正にも用いることが可能となる。
As described above, the calibration image can be displayed in the image signal based on the content data for advertisement displayed on the
（実施の形態２）
実施の形態１では、較正用画像を作成可能であると最初に判断されたフレーム画像の前後に較正用画像が挿入されるか、又は置換される構成であった。実施の形態２では、最も類似するフレーム画像の前後に較正用画像を挿入又は置換する。
(Embodiment 2)
In the first embodiment, the calibration image is inserted or replaced before and after the frame image that is initially determined to be capable of creating the calibration image. In the second embodiment, calibration images are inserted or replaced before and after the most similar frame image.
実施の形態２における表示システムの構成は、制御装置４の制御部４０により実施される以下の処理手順以外、実施の形態１と同様である。したがって、共通する構成には同一の符号を付し、詳細な説明を省略する。
The configuration of the display system in the second embodiment is the same as that in the first embodiment except for the following processing procedure performed by the
図１４は、実施の形態２における制御装置４の較正用画像作成部４０１により実施される処理手順の一例を示すフローチャートである。実施の形態２における制御装置４の制御部４０は、較正用画像作成部４０１の機能により、記憶装置５から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。なお以下に示す処理手順の内、図３のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。
FIG. 14 is a flowchart illustrating an example of a processing procedure performed by the calibration
制御部４０は、記憶装置５からコンテンツデータを読み出し（Ｓ１）、最初のフレーム画像（フレーム番号０（ゼロ））を較正用画像の作成対象とする（Ｓ２）。
The
制御部４０は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理（Ｓ３）、較正用画像の作成が可能であるか否かを判断する（Ｓ４）。制御部４０は、較正用画像の作成が不可能であると判断した場合（Ｓ４：ＮＯ）、そのまま処理を次のステップＳ７へ進める。
The
制御部４０は、較正用画像の作成が可能であると判断した場合（Ｓ４：ＹＥＳ）、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報４１１を記憶部４１に記憶する（Ｓ５）。このとき制御部４０は、ステップＳ３内の詳細処理でカウントされる変数Ｍの情報も記憶しておくとよい。
When the
次に制御部４０は、次のフレーム画像が存在するか否かを判断する（Ｓ７）。次のフレーム画像が存在すると判断した場合（Ｓ７：ＹＥＳ）、次のフレーム画像を較正用画像の作成対象とし（Ｓ８）、処理をステップＳ３へ戻す。
Next, the
制御部４０は、次のフレーム画像が存在しないと判断した場合（Ｓ７：ＮＯ）、全フレーム画像について較正用画像の作成判断処理を行なったので、記憶部４１に記憶されている較正情報４１１を参照し、同一の較正対象の輝度又は色について、複数のフレーム画像のフレーム番号が記憶されているか否かを判断する（ステップＳ４１）。制御部４０は、複数のフレーム番号が記憶されていないと判断した場合（Ｓ４１：ＮＯ）、そのまま処理を終了する。
When it is determined that the next frame image does not exist (S7: NO), the
制御部４０は、複数のフレーム画像のフレーム番号が記憶されていると判断した場合（Ｓ４１：ＹＥＳ）、最も類似するフレーム画像のフレーム番号を特定する（ステップＳ４２）。このとき、制御部４０は、ステップＳ３の処理によってカウントする変数Ｍの値が最も大きいフレーム画像のフレーム番号を特定することによって類似するフレーム画像を特定してもよい。又は他の公知な手法を用いて各フレーム画像の類似度に優先順位を付与し、優先順位が高いフレーム画像のフレーム番号を特定するようにしてもよい。
When determining that the frame numbers of a plurality of frame images are stored (S41: YES), the
制御部４０は、最も類似しているとして特定したフレーム番号を較正情報４１１に記憶し（ステップＳ４３）、処理を終了する。
The
これにより、記憶してある較正情報４１１に基づいて新たな画像信号が生成されるに際し、較正用画像は、最も類似すると判断されたフレーム画像の前後に挿入されるか、又は当該フレーム画像自体若しくは前後に置換される。したがって、較正用画像は、視聴者に最も違和感を持たれないように表示される。 Thus, when a new image signal is generated based on the stored calibration information 411, the calibration image is inserted before or after the frame image determined to be the most similar, or the frame image itself or Replaced before and after. Therefore, the calibration image is displayed so as not to give the viewer the least discomfort.
（実施の形態３）
実施の形態３では、コンテンツデータに基づく画像信号から、シーンが変化したフレーム画像の検出、所謂カット点検出を実行し、カット点の前後のフレーム画像に較正用画像を挿入又は置換する。
(Embodiment 3)
In the third embodiment, detection of a frame image in which a scene has changed, that is, so-called cut point detection is executed from an image signal based on content data, and a calibration image is inserted or replaced with frame images before and after the cut point.
実施の形態３における表示システムの構成は、制御装置４の制御部４０により実施される以下の処理手順以外、実施の形態１と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
The configuration of the display system in the third embodiment is the same as that in the first embodiment except for the following processing procedure performed by the
図１５は、実施の形態３における制御装置４の較正用画像作成部４０１により実施される処理手順の一例を示すフローチャートである。実施の形態３における制御装置４の制御部４０は、較正用画像作成部４０１の機能により、記憶装置５から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。
FIG. 15 is a flowchart illustrating an example of a processing procedure performed by the calibration
制御部４０は、記憶装置５からコンテンツデータを読み出し（Ｓ１）、最初のフレーム画像を、カット点検出対象とする（ステップＳ５１）。
The
制御部４０は、カット点検出対象としたフレーム画像に対し、カット点検出処理を行なう（ステップＳ５２）。
The
ステップＳ５２におけるカット点検出の方法としては、前のフレーム画像との間で、輝度又は色の分布（ヒストグラム）を比較する方法、動きベクトル予測など、既知のアルゴリズムを用いればよい。具体的には、ヒストグラムの比較の方法として、色空間ヒストグラムのバタチャリヤ（Bhattacharyya ）距離を用いる方法がある。この場合制御部４０は、１つのフレーム画像毎に、全画素の輝度のヒストグラム（所定の区間に区切った輝度レベル毎の当該輝度レベルである画素の数の分布）を生成する。制御部４０は、生成したヒストグラムを、全画素数（例えば１００００）で正規化し、前のフレーム画像に対して生成下ヒストグラムとの間で所定のバタチャリヤ距離を算出し、距離の値が閾値（例えば０．３など）を超えるならば、当該フレーム画像と前のフレーム画像との間にカット点が存在すると判断する。なお、フレーム画像の各画素の色がＲＧＢ値で表れる場合、輝度は以下の色を用いて算出できる。
輝度Ｙ＝0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂ
なお、ヒストグラムの生成は必須ではなく、フレーム画像における輝度の値Ｙの分散値を算出すればよい。また、輝度を用いる代わりに、Ｒ、Ｇ、Ｂの色成分毎に分散値を算出し、複数の色成分（Ｒ、Ｇ、Ｂ）の内、いずれかの分散値が閾値以上であるか否かによってカット点が存在するか否かを判断するようにしてもよい。
As a method for detecting cut points in step S52, a known algorithm such as a method of comparing luminance or color distribution (histogram) with the previous frame image, motion vector prediction, or the like may be used. Specifically, as a method for comparing histograms, there is a method using a Bhattacharyya distance of a color space histogram. In this case, the
Luminance Y = 0.29891 × R + 0.58661 × G + 0.11448 × B
Note that the generation of the histogram is not essential, and the variance value of the luminance value Y in the frame image may be calculated. Further, instead of using the luminance, a variance value is calculated for each of the R, G, and B color components, and whether any one of the plurality of color components (R, G, B) is equal to or greater than a threshold value. It may be determined whether or not a cut point exists.
次に制御部４０は、カット点検出対象としたフレーム画像に対し、カット点が実際に検出されたか否かを判断する（ステップＳ５３）。制御部４０は、カット点が検出されたと判断した場合（Ｓ５３：ＹＥＳ）、カット点検出対象としたフレーム画像の１つ前のフレーム画像を、較正用画像の作成対象とし（ステップＳ５４）、以後の作成判断処理（Ｓ３）、作成の可否の判断（Ｓ４）、較正情報４１１の記憶（Ｓ５）、及び全ての輝度又は色について処理を完了したか否かの判断（Ｓ６）を行なう。
Next, the
なお、制御部４０はステップＳ５４において、カット点検出対象としたフレーム画像を較正用画像の作成対象としてもよい。
In step S54, the
制御部４０は、カット点が検出されないと判断した場合（Ｓ５３：ＮＯ）、次のフレーム画像が存在するか否かを判断し（Ｓ７）、存在すると判断した場合（Ｓ７：ＹＥＳ）、次のフレーム画像をカット点検出対象とし（ステップＳ５５）、処理をステップＳ５２へ戻す。
When it is determined that the cut point is not detected (S53: NO), the
これにより、カット点が検出されたフレーム画像、即ちシーン変化の前後のフレーム画像のみが、較正用画像を作成できるか否かの判断処理の対象となる。したがって、カット点が検出されたフレーム画像から較正用画像が作成される。 As a result, only the frame image in which the cut point is detected, that is, the frame image before and after the scene change is the target of the determination process as to whether or not the calibration image can be created. Therefore, a calibration image is created from the frame image from which the cut point is detected.
図１６は、カット点が検出されるフレーム画像の例を示す説明図である。図１６中の各矩形は、フレーム画像を示し、フレーム番号「Ｎ２−４」のフレームから、フレーム番号「Ｎ２＋１」のフレームが時系列に並べて表示されている。制御部４０は、カット点検出の方法により、フレーム番号「Ｎ２」のフレーム画像で、シーンが変化しており、前のフレーム画像（Ｎ２−１）との間にカット点が存在すると判断することが可能である。
FIG. 16 is an explanatory diagram illustrating an example of a frame image in which a cut point is detected. Each rectangle in FIG. 16 represents a frame image, and frames of frame number “N2 + 1” are displayed in time series from frames of frame number “N2-4”. The
カット点が検出されたフレーム画像が較正用画像の作成対象となることにより、以後、作成された較正用画像は当該カット点前後に挿入、又は置換されても、表示されたときに視聴者は違和感を持つことはない。 Since the frame image in which the cut point is detected becomes the creation target of the calibration image, the viewer can now view the created calibration image when it is displayed even if it is inserted or replaced before or after the cut point. There is no sense of incongruity.
図１７から図２０は、実施の形態３の画像信号生成部４０２により生成される画像信号の一例を模式的に示す説明図である。図１７から図２０ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは３０フレーム／秒であり、各フレーム画像について、表示時刻（最初のフレーム画像からの経過時間）が秒［ｓ］単位で示されている。
17 to 20 are explanatory diagrams schematically illustrating an example of an image signal generated by the image
図１７及び図１８は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。 17 and 18 show the frame images before and after the calibration image inserted between the frame images in time series.
図１７に示す例では、フレーム番号「Ｎ２」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「Ｎ２−１」のフレーム画像が較正用画像の作成対象となった。フレーム番号「Ｎ２−１」のフレーム画像は、多くの領域を「白」が占めており、制御部４０は、ＲＧＢ値が（２５５，２５５，２５５）の「白」の較正用画像を作成することが可能であると判断する。較正情報４１１には、フレーム番号「Ｎ２−１」が記憶される。実施の形態３でも、制御部４０は、画像信号生成部４０２の機能により、図９のフローチャートに示した処理手順を実行する。このとき制御部４０は、出力中のフレーム番号を特定し、記憶されている較正情報４１１に基づき、フレーム番号が「Ｎ２−１」であると特定できた場合に、較正用画像の出力タイミングであると判断し、次のフレーム番号「Ｎ２」のフレーム画像の前に、１／２フレーム時間（０．０１７秒）の較正用画像を挿入して出力し、新たな画像信号とする。
In the example shown in FIG. 17, a cut point between the frame image “N2” and the previous frame image is detected. As a result, the frame image with the frame number “N2-1” is a creation target of the calibration image. The frame image of the frame number “N2-1” occupies many areas with “white”, and the
図１８に示す例では、フレーム番号「Ｎ３」のフレーム画像にて、カット点が検出されている。これにより、フレーム番号「Ｎ３−１」のフレーム画像が較正用画像の作成対象となった。フレーム番号「Ｎ３−１」のフレーム画像は、多くの領域を「薄いグレー」が占めており、制御部４０は、ＲＧＢ値が（１７０，１７０，１７０）の較正用画像を作成することが可能であると判断する。較正情報４１１には、フレーム番号「Ｎ３−１」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力中のフレーム画像がフレーム番号「Ｎ３−１」であるときに、次のフレーム番号「Ｎ３」のフレーム画像の前に、１／２フレーム時間（０．０１７秒）の較正用画像を挿入して出力する。
In the example illustrated in FIG. 18, the cut point is detected in the frame image with the frame number “N3”. As a result, the frame image with the frame number “N3-1” is a creation target of the calibration image. In the frame image of the frame number “N3-1”, “light gray” occupies many areas, and the
図１９及び図２０は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。 19 and 20 show the frame images before and after the frame image is replaced with the calibration image in time series.
図１９に示す例では、フレーム番号「Ｎ２」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「Ｎ２−１」のフレーム画像が較正用画像の作成対象となり、ＲＧＢ値（２５５，２５５，２５５）の較正用画像が作成される。較正情報４１１には、フレーム番号「Ｎ２−１」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力するフレーム画像がフレーム番号「Ｎ２」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
In the example illustrated in FIG. 19, a cut point between the frame image “N2” and the previous frame image is detected. As a result, the frame image with the frame number “N2-1” becomes a calibration image creation target, and a calibration image with RGB values (255, 255, 255) is created. The calibration information 411 stores the frame number “N2-1”. Then, when generating the image signal, the
図２０に示す例では、フレーム番号「Ｎ３」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「Ｎ３−１」のフレーム画像が較正用画像の作成対象となり、ＲＧＢ値（１７０，１７０，１７０）の較正用画像が作成される。較正情報４１１には、フレーム番号「Ｎ３−１」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力するフレーム画像がフレーム番号「Ｎ３」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
In the example shown in FIG. 20, a cut point between the previous frame image and the frame image with the frame number “N3” is detected. As a result, the frame image with the frame number “N3-1” becomes the creation target of the calibration image, and the calibration image with the RGB values (170, 170, 170) is created. The calibration information 411 stores the frame number “N3-1”. When the image signal is generated, the
図１７から図２０に示すように、較正用画像と、前のフレーム画像とでは、背景が略同一の輝度又は色となる。しかも、カット点が検出された時点、即ちシーンが変化するときに較正用画像が表示される。このため、較正用画像が表示されたとしても、視聴者はなおさら違和感を持つことはない。 As shown in FIGS. 17 to 20, the calibration image and the previous frame image have substantially the same brightness or color in the background. Moreover, the calibration image is displayed when the cut point is detected, that is, when the scene changes. For this reason, even if the calibration image is displayed, the viewer does not have a sense of incongruity.
（実施の形態４）
実施の形態４では更に、較正用画像を出力するに際し、複数回連続して出力する。
(Embodiment 4)
In the fourth embodiment, the calibration image is continuously output a plurality of times.
実施の形態４における表示システムの構成は、制御装置４の制御部４０により実施される以下の処理手順以外、実施の形態１と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
The configuration of the display system in the fourth embodiment is the same as that in the first embodiment except for the following processing procedure performed by the
図２１は、実施の形態４における画像信号の生成処理手順の一例を示すフローチャートである。なお以下に示す処理手順の内、実施の形態１における図９のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。 FIG. 21 is a flowchart illustrating an example of an image signal generation processing procedure according to the fourth embodiment. Of the processing procedures shown below, the same processing procedure as that shown in the flowchart of FIG. 9 in the first embodiment is denoted by the same step number, and detailed description thereof is omitted.
制御部４０は、コンテンツデータを記憶装置５から読み出して信号処理装置２への出力を開始し（Ｓ１１）、信号処理装置２からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断し（Ｓ１２）、上述の画像信号の出力停止を要求する制御用のデータを入力したと判断するまで、以下の処理を繰り返す。
Whether the
制御部４０は、画像信号生成部４０２の機能により、較正用画像を出力するタイミングであるか否かを判断し（Ｓ１３）、較正用画像を出力するタイミングであると判断した場合（Ｓ１３：ＹＥＳ）、画像信号生成部４０２の機能により、較正情報４１１に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換して出力する（ステップＳ１５）。
The
制御部４０は、較正用画像を出力すると処理をステップＳ１２へ戻し、較正用画像を出力するタイミングでないと判断した場合（Ｓ１３：ＮＯ）、そのまま処理をステップＳ１２へ戻す。
When the
図２２及び図２３は、実施の形態４の画像信号生成部４０２により生成される画像信号の一例を模式的に示す説明図である。図２２及び図２３ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは３０フレーム／秒であり、各フレーム画像について、表示時刻（最初のフレーム画像からの経過時間）が秒［ｓ］単位で示されている。
22 and 23 are explanatory diagrams schematically illustrating an example of an image signal generated by the image
図２２では、フレーム番号「Ｎ２」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「Ｎ２−１」のフレーム画像が較正用画像の作成対象となり、ＲＧＢ値（２５５，２５５，２５５）の較正用画像が作成される。較正情報４１１には、フレーム番号「Ｎ２−１」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力中のフレーム画像が、記憶されているフレーム番号「Ｎ２−１」である場合に、その後に、作成した較正用画像を複数回（図２２では４回）、連続させて出力する。これにより、図２２に示すように、元のコンテンツデータにおけるフレーム番号「Ｎ２−１」のフレーム画像と、フレーム番号「Ｎ２」のフレーム画像との間に、較正用画像が４フレーム時間分表示される。
In FIG. 22, a cut point between the frame image “N2” and the previous frame image is detected. As a result, the frame image with the frame number “N2-1” becomes a calibration image creation target, and a calibration image with RGB values (255, 255, 255) is created. The calibration information 411 stores the frame number “N2-1”. Then, when generating the image signal, the
図２３では、フレーム番号「Ｎ３」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「Ｎ３−１」のフレーム画像が較正用画像の作成対象となり、ＲＧＢ値（１７０，１７０，１７０）の較正用画像が作成される。較正情報４１１には、フレーム番号「Ｎ３−１」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力中のフレーム画像が、記憶されているフレーム番号「Ｎ３−１」である場合に、その後に、作成した較正用画像を複数回、連続させて出力する。これにより、図２３に示すように、元のコンテンツデータにおけるフレーム番号「Ｎ３−１」のフレーム画像と、フレーム番号「Ｎ３」のフレーム画像との間に、較正用画像が４フレーム時間分表示される。
In FIG. 23, a cut point between the frame number “N3” and the previous frame image is detected. As a result, the frame image with the frame number “N3-1” becomes the creation target of the calibration image, and the calibration image with the RGB values (170, 170, 170) is created. The calibration information 411 stores the frame number “N3-1”. Then, when generating the image signal, the
このように、同一の輝度又は色について作成した較正用画像を、連続して出力することにより、タイミング特定部４０３により制御される撮像タイミングに、猶予が生まれる。複数回連続して較正用画像を出力する場合、タイミング特定部４０３は、先頭の較正用画像が表示される時刻を表示時刻とし、表示されるタイミングを特定する。３０フレーム／秒で、４回連続出力される場合では、較正用画像は４フレーム時間（０．１３３秒）、表示される。したがって、撮像するまでの遅延があっても、より確実に較正用画像を撮像することが可能となる。
As described above, by continuously outputting the calibration images created for the same luminance or color, there is a delay in the imaging timing controlled by the
なお、画像信号生成部４０２の機能により、較正情報４１１に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換するに際し、輝度を変化させながら複数の較正用画像を挿入してもよい。図２４は、実施の形態４の画像信号生成部４０２により生成される画像信号の他の一例を模式的に示す説明図である。図２４でも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは３０フレーム／秒であり、各フレーム画像について、表示時刻（最初のフレーム画像からの経過時間）が秒［ｓ］単位で示されている。
The function of the image
図２４では、フレーム番号「Ｎ４」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。制御部４０は、較正用画像作成部４０１の機能により、カット点検出対象としたフレーム画像の１つ前のフレーム画像、即ちフレーム番号「Ｎ４−１」のフレーム画像のみならず、カット点検出対象としたフレーム画像、即ちフレーム番号「Ｎ４」のフレーム画像についても較正用画像の作成対象とし、夫々ＲＧＢ値（２５５，２５５，２５５）の較正用画像、及びＲＧＢ値（０，０，０）の較正用画像を作成できると判断する。較正情報４１１には、フレーム番号「Ｎ４−１」及び「Ｎ４」が記憶される。そして画像信号を生成するに際し、制御部４０は、出力中のフレーム画像が、記憶されているフレーム番号「Ｎ４−１」であり、次は「Ｎ４」であって、夫々に対応する較正用画像の輝度又は色が異なる場合、二つの較正用画像間の輝度又は色を少しずつ変化させた較正用画像を連続させて出力する。これにより、図２４に示すように、元のコンテンツデータにおけるフレーム番号「Ｎ４−１」のフレーム画像と、フレーム番号「Ｎ４」のフレーム画像との間に、輝度が異なる較正用画像が連続して表示される。
In FIG. 24, a cut point between the frame number “N4” and the previous frame image is detected. The
このようにして、輝度が少しずつ異なる較正用画像を連続して出力させたとしても、視聴者は違和感を持たせることはない。 In this way, even if calibration images having slightly different luminances are successively output, the viewer does not feel uncomfortable.
このようにして、表示システムの表示部１に実際に表示するために利用するコンテンツを用い、コンテンツデータに基づく画像を表示している間に較正を実施し、補正量を特定して補正することができる。較正のためにコンテンツの再生を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。
In this way, the content used for actual display on the
実施の形態１から４に示した構成は、適宜組み合わせて実施することも可能である。
The configurations shown in
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。 The disclosed embodiments should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ 表示部
１０ 表示装置
１１ パネル
２ 信号処理装置
２２ 入出力部
３ 撮像装置
４ 制御装置
４０ 制御部
４０１ 較正用画像作成部
４０２ 画像信号生成部
４０３ タイミング特定部
４０４ 較正部
４１ 記憶部
４１１ 較正情報
４４ 入出力部
４５ 接続部
４Ｐ 制御プログラム
６ 記録媒体
６Ｐ 制御プログラム
DESCRIPTION OF
Claims (9)
画像を表示している前記表示部を撮像する撮像部を更に備え、
略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、
該作成手段が作成した較正用画像と、前記表示部へ入力する画像信号に基づく画像とに基づき、前記較正用画像を含む新たな画像信号を生成する生成手段と、
該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、
該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、
前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、
該比較手段による比較結果に基づき、画像信号を補正する補正手段と
を備えることを特徴とする表示システム。 In a display system including a display unit that displays an image based on an input image signal, and a signal processing unit that performs processing of sequentially inputting image signals including a plurality of images in time series to the display unit,
An imaging unit that images the display unit displaying an image;
Creating means for creating a calibration image used for calibration of brightness or color in the display unit, including a region having substantially uniform brightness or color;
Generating means for generating a new image signal including the calibration image based on the calibration image created by the creating means and an image based on the image signal input to the display unit;
Means for specifying a timing at which the calibration image is displayed while an image based on the image signal generated by the generating means is displayed on the display unit;
Means for executing imaging by the imaging unit at a timing specified by the means;
Comparison means for comparing the luminance or color in the calibration image with the luminance or color in the image captured by the imaging unit;
A display system comprising: correction means for correcting an image signal based on a comparison result by the comparison means.
前記作成手段は、前記輝度又は色を有する領域を含む較正用画像を作成するようにしてあり、
前記生成手段は、作成した前記較正用画像を、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換する手段を備えること
を特徴とする請求項１に記載の表示システム。 Means for identifying an image including a predetermined ratio or more of a region having a predetermined luminance or color among a plurality of images based on an input image signal;
The creating means creates a calibration image including an area having the luminance or color,
The generating means includes means for inserting the created calibration image before or after the identified image, or replacing the identified image or the preceding and succeeding images with the calibration image. The display system according to claim 1.
を更に備え、
前記作成手段は、特定された対の画像のいずれか一方に基づき較正用画像を作成するようにしてあり、
前記生成手段は、作成した前記較正用画像を、特定された対の画像の間に挿入するか、又は、特定された対の画像のいずれか若しくは両方を、前記較正用画像に置換する手段を備えること
を特徴とする請求項１又は２に記載の表示システム。 Means for identifying a pair of images having a feature amount different from the predetermined amount by a predetermined amount or more among a plurality of images consecutive in time series, and
The creating means creates a calibration image based on one of the specified pair of images,
The generating means inserts the created calibration image between the specified pair of images, or replaces one or both of the specified pair of images with the calibration image. The display system according to claim 1, further comprising:
を特徴とする請求項１から３のいずれか１つに記載の表示システム。 The display system according to claim 1, wherein the generation unit generates a new image signal so that a plurality of the calibration images are continuous.
新たに作成された画像信号中の較正用画像の順序を特定する情報、及び、前記較正用画像が含む領域の輝度又は色の情報を記憶する手段を更に備えること
を特徴とする請求項１から４のいずれか１つに記載の表示システム。 The creating means creates a calibration image including a region having the luminance or color for a plurality of different luminances or colors,
The apparatus further comprises means for storing information for specifying the order of the calibration images in the newly created image signal, and information on the luminance or color of the area included in the calibration image. 5. The display system according to any one of 4.
前記信号処理部は、１つの画像の画像信号を前記複数のパネルの配置に対応させて複数に分割した画像信号を夫々、前記複数のパネルへ入力する手段を備え、
前記比較手段は、
前記撮像部により撮像された撮像画像の画像信号を、前記複数のパネルの配置に対応させて分割する手段と、
前記較正用画像の画像信号を前記複数のパネルの配置に対応させて分割する手段と
を備え、
分割された撮像画像の画像信号及び較正用画像の画像信号の内、前記パネルの配置に基づき対応する画像信号間で夫々、輝度又は色を比較するようにしてあること
を特徴とする請求項１から４のいずれか１つに記載の表示システム。 The display unit is provided with a plurality of panels for displaying images based on the input image signal,
The signal processing unit includes means for inputting image signals obtained by dividing an image signal of one image into a plurality of panels corresponding to the arrangement of the plurality of panels, respectively, to the plurality of panels,
The comparison means includes
Means for dividing an image signal of a picked-up image picked up by the image pickup unit in correspondence with the arrangement of the plurality of panels;
Means for dividing the image signal of the calibration image in correspondence with the arrangement of the plurality of panels;
The luminance or the color is compared between the image signals corresponding to each other based on the arrangement of the panel among the image signals of the divided captured images and the image signals of the calibration images. 5. The display system according to any one of 1 to 4.
略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、
作成した較正用画像と、前記表示部へ入力する画像信号とに基づき、前記較正用画像を含む新たな画像信号を生成し、
生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、
生成した新たな画像信号を前記表示部へ入力し、
特定したタイミングで前記撮像部により撮像を実行させ、
前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、
比較結果に基づき、入力する画像信号を補正する
ことを特徴とする表示システムの較正方法。 A display unit configured to display an image based on the input image signal, a signal processing unit configured to sequentially input an image signal including a plurality of images in time series to the display unit, and an imaging unit configured to capture the display unit. A calibration method for calibrating a relationship between luminance or color indicated by an input image signal and luminance or color of an image displayed on the display unit based on the image signal in a display system comprising:
Including a region having substantially uniform luminance or color, creating a calibration image used for calibration of luminance or color in the display unit;
Based on the created calibration image and the image signal input to the display unit, a new image signal including the calibration image is generated,
While the image based on the generated image signal is displayed on the display unit, the timing for displaying the calibration image is specified,
The generated new image signal is input to the display unit,
The imaging unit executes imaging at the specified timing,
Comparing the brightness or color in the calibration image with the brightness or color in the captured image;
A display system calibration method comprising correcting an input image signal based on a comparison result.
前記コンピュータに、
略均一な輝度又は色を有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、
作成した較正用画像と、前記表示部へ入力する画像信号とに基づき、前記較正用画像を含む新たな画像信号を生成するステップ、
生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、
特定したタイミングで前記撮像部による撮像を実行させるステップ、
前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、
比較結果に基づき画像信号を補正するステップ
とを実行させることを特徴とするコンピュータプログラム。 Connected to a display unit that displays an image based on the input image signal, a signal processing device that sequentially inputs an image signal composed of a plurality of images in time series, and an imaging device that images the display unit; Calibration processing of the relationship between the luminance or color indicated by the input image signal and the luminance or color of the image displayed on the display device based on the image signal to the computer that controls the signal processing device and the imaging device In a computer program that executes
In the computer,
Creating a calibration image that includes a region having substantially uniform brightness or color and is used for brightness or color calibration in the display unit;
Generating a new image signal including the calibration image based on the created calibration image and the image signal input to the display unit;
Identifying a timing at which the calibration image is displayed while an image based on the generated image signal is displayed on the display unit;
Executing imaging by the imaging unit at the specified timing;
Comparing the luminance or color in the calibration image with the luminance or color in the image captured by the imaging unit; and
And a step of correcting the image signal based on the comparison result.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011270500A JP5539297B2 (en) | 2011-12-09 | 2011-12-09 | Display system, calibration method, computer program, and recording medium |
| CN201210521399.9A CN103167293B (en) | 2011-12-09 | 2012-12-06 | Display system |
| US13/708,623 US9236027B2 (en) | 2011-12-09 | 2012-12-07 | Display system and computer-readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011270500A JP5539297B2 (en) | 2011-12-09 | 2011-12-09 | Display system, calibration method, computer program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013122662A true JP2013122662A (en) | 2013-06-20 |
| JP5539297B2 JP5539297B2 (en) | 2014-07-02 |
Family
ID=48774593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011270500A Active JP5539297B2 (en) | 2011-12-09 | 2011-12-09 | Display system, calibration method, computer program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5539297B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016018058A (en) * | 2014-07-08 | 2016-02-01 | Ｎｅｃフィールディング株式会社 | Information processing device, information processing system, and control method and program of information processing device |
| JP2016063342A (en) * | 2014-09-17 | 2016-04-25 | 株式会社リコー | Output controller, output control system, and output control program |
| JP2019534527A (en) * | 2016-10-14 | 2019-11-28 | ユニークフィード アーゲー | System for dynamically maximizing contrast between foreground and background in an image and / or image sequence |
| JP2020112678A (en) * | 2019-01-11 | 2020-07-27 | シャープ株式会社 | Video output device, display system, and video output method |
| JPWO2019107484A1 (en) * | 2017-12-01 | 2020-11-19 | 日本電気株式会社 | Information processing device, display position adjustment method, and program |
| CN112927181A (en) * | 2020-11-18 | 2021-06-08 | 珠海市杰理科技股份有限公司 | Image brightness adjusting method and device, image acquisition equipment and storage medium |
| CN113228155A (en) * | 2018-12-25 | 2021-08-06 | 堺显示器制品株式会社 | Correction image generation system, image control method, image control program, and recording medium |
| CN113272886A (en) * | 2018-12-25 | 2021-08-17 | 堺显示器制品株式会社 | Correction image generation system, image control method, image control program, and recording medium |
| US20220277710A1 (en) * | 2020-05-20 | 2022-09-01 | Magic Leap, Inc. | Piecewise progressive and continuous calibration with coherent context |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152566A (en) * | 1994-11-29 | 1996-06-11 | Toshiba Corp | Endoscope device and color adjusting method for endoscope device |
| JP2003323610A (en) * | 2002-03-01 | 2003-11-14 | Nec Corp | Color correcting method and device, for projector |
| JP2006285276A (en) * | 2006-06-07 | 2006-10-19 | Sony Corp | Information display apparatus and its maintenance management method |
| JP2006319509A (en) * | 2005-05-11 | 2006-11-24 | Sharp Corp | Device and method for display |
| JP2008242111A (en) * | 2007-03-28 | 2008-10-09 | Pioneer Electronic Corp | Display device and color correcting method of display device |
| WO2009142015A1 (en) * | 2008-05-21 | 2009-11-26 | パナソニック株式会社 | Projector |
| JP2009278202A (en) * | 2008-05-12 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | Video editing device, its method, program, and computer-readable recording medium |
| JP2010016757A (en) * | 2008-07-07 | 2010-01-21 | Canon Inc | Moving picture display system, control method thereof, server and display device used for the moving picture display system |
| JP2011509604A (en) * | 2008-01-02 | 2011-03-24 | パナビジョン・インターナショナル・リミテッド・パートナーシップ | Correction of color difference in multi-screen display |
-
2011
- 2011-12-09 JP JP2011270500A patent/JP5539297B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152566A (en) * | 1994-11-29 | 1996-06-11 | Toshiba Corp | Endoscope device and color adjusting method for endoscope device |
| JP2003323610A (en) * | 2002-03-01 | 2003-11-14 | Nec Corp | Color correcting method and device, for projector |
| JP2006319509A (en) * | 2005-05-11 | 2006-11-24 | Sharp Corp | Device and method for display |
| JP2006285276A (en) * | 2006-06-07 | 2006-10-19 | Sony Corp | Information display apparatus and its maintenance management method |
| JP2008242111A (en) * | 2007-03-28 | 2008-10-09 | Pioneer Electronic Corp | Display device and color correcting method of display device |
| JP2011509604A (en) * | 2008-01-02 | 2011-03-24 | パナビジョン・インターナショナル・リミテッド・パートナーシップ | Correction of color difference in multi-screen display |
| JP2009278202A (en) * | 2008-05-12 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | Video editing device, its method, program, and computer-readable recording medium |
| WO2009142015A1 (en) * | 2008-05-21 | 2009-11-26 | パナソニック株式会社 | Projector |
| JP2010016757A (en) * | 2008-07-07 | 2010-01-21 | Canon Inc | Moving picture display system, control method thereof, server and display device used for the moving picture display system |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016018058A (en) * | 2014-07-08 | 2016-02-01 | Ｎｅｃフィールディング株式会社 | Information processing device, information processing system, and control method and program of information processing device |
| JP2016063342A (en) * | 2014-09-17 | 2016-04-25 | 株式会社リコー | Output controller, output control system, and output control program |
| JP2019534527A (en) * | 2016-10-14 | 2019-11-28 | ユニークフィード アーゲー | System for dynamically maximizing contrast between foreground and background in an image and / or image sequence |
| JPWO2019107484A1 (en) * | 2017-12-01 | 2020-11-19 | 日本電気株式会社 | Information processing device, display position adjustment method, and program |
| US11610334B2 (en) | 2017-12-01 | 2023-03-21 | Nec Corporation | Image recognition apparatus using an object image data, image recognition method using an object image data, and program |
| CN113228155A (en) * | 2018-12-25 | 2021-08-06 | 堺显示器制品株式会社 | Correction image generation system, image control method, image control program, and recording medium |
| CN113272886A (en) * | 2018-12-25 | 2021-08-17 | 堺显示器制品株式会社 | Correction image generation system, image control method, image control program, and recording medium |
| JP2020112678A (en) * | 2019-01-11 | 2020-07-27 | シャープ株式会社 | Video output device, display system, and video output method |
| JP7134883B2 (en) | 2019-01-11 | 2022-09-12 | シャープ株式会社 | Video output device, display system and video output method |
| US20220277710A1 (en) * | 2020-05-20 | 2022-09-01 | Magic Leap, Inc. | Piecewise progressive and continuous calibration with coherent context |
| CN112927181A (en) * | 2020-11-18 | 2021-06-08 | 珠海市杰理科技股份有限公司 | Image brightness adjusting method and device, image acquisition equipment and storage medium |
| CN112927181B (en) * | 2020-11-18 | 2022-11-18 | 珠海市杰理科技股份有限公司 | Image brightness adjusting method and device, image acquisition equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5539297B2 (en) | 2014-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5539297B2 (en) | Display system, calibration method, computer program, and recording medium | |
| US9236027B2 (en) | Display system and computer-readable medium | |
| US9685120B2 (en) | Image formats and related methods and apparatuses | |
| US10832636B2 (en) | Image processing apparatus, image processing method, and program | |
| US11122245B2 (en) | Display apparatus, method for controlling the same and image providing apparatus | |
| JP2015080075A (en) | Image display system, external unit and image display method | |
| KR20200087979A (en) | Video wall | |
| JP2017050636A (en) | Image processing device and display determination method | |
| US11315290B2 (en) | Image processing apparatus and image processing method | |
| US10939083B2 (en) | Electronic apparatus and control method thereof | |
| JP5539298B2 (en) | Display system, calibration method, computer program, and recording medium | |
| WO2015196614A1 (en) | White balance parameter adjustment assignment method, implementation method and implementation apparatus | |
| KR20120050745A (en) | Multi-vision system and picture visualizing method the same | |
| KR20200109615A (en) | Video wall | |
| US20170310921A1 (en) | Image capturing apparatus connectable to display apparatus, display apparatus connectable to external apparatus, and image processing apparatus performing image processing | |
| JPWO2018003665A1 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
| US11562712B2 (en) | Video reproduction system, video reproduction device, and calibration method for video reproduction system | |
| JP6602977B2 (en) | Transmission device, transmission method, control program, and recording medium | |
| US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium | |
| JP6610757B2 (en) | Image processing apparatus and display determination method | |
| JP6610755B2 (en) | Image processing apparatus and display determination method | |
| JP6610756B2 (en) | Image processing apparatus and display determination method | |
| JP6610754B2 (en) | Image processing apparatus and display determination method | |
| CN116682366A (en) | Display device and operation method thereof | |
| JP2019012179A (en) | HDR image display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5539297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140430 |