JP5539297B2 - 表示システム、較正方法、コンピュータプログラム、及び記録媒体 - Google Patents

表示システム、較正方法、コンピュータプログラム、及び記録媒体 Download PDF

Info

Publication number
JP5539297B2
JP5539297B2 JP2011270500A JP2011270500A JP5539297B2 JP 5539297 B2 JP5539297 B2 JP 5539297B2 JP 2011270500 A JP2011270500 A JP 2011270500A JP 2011270500 A JP2011270500 A JP 2011270500A JP 5539297 B2 JP5539297 B2 JP 5539297B2
Authority
JP
Japan
Prior art keywords
image
calibration
color
images
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011270500A
Other languages
English (en)
Other versions
JP2013122662A (ja
Inventor
祐司 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011270500A priority Critical patent/JP5539297B2/ja
Priority to CN201210521399.9A priority patent/CN103167293B/zh
Priority to US13/708,623 priority patent/US9236027B2/en
Publication of JP2013122662A publication Critical patent/JP2013122662A/ja
Application granted granted Critical
Publication of JP5539297B2 publication Critical patent/JP5539297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、表示部の輝度ムラ又は色ムラなどの較正を行なう表示システムに関する。特に、コンテンツを表示している間に較正を実施することができる表示システム、表示システムの較正方法、コンピュータに前記較正方法を実施させるコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体に関する。
近年、LCD(Liquid Crystal Display)又はプラズマディスプレイを表示部に用いた表示装置を複数台並べ、1つの大型表示画面を構成するマルチディスプレイシステム(又はマルチビジョンシステム)が使用されている。マルチディスプレイシステムは、複数台で大型表示画面を構成することで、大きな画像を表示するだけでなく、各表示装置で表示させる画像を変えたり、対称的に配置された表示装置が同一の画像を表示したりするなど、様々な視覚的効果を演出することができる。このような効果により、マルチディスプレイシステムは、大きな宣伝効果を得るために電子看板(デジタルサイネージ)に利用される。また、マルチディスプレイシステムは、催し物会場又は公共施設等の広い場所で、効果的な映像中継、又は演出の用途で利用されることもある。
マルチディスプレイシステムでは、複数台の表示装置の表示部で1つの画像を表示するなど、隣り合う表示装置で画像が連続する場合があるので、各々の表示部間の色差及び輝度差の低減を必要とする。これに対し、表示部の色表現や輝度階調特性などの表示特性には個体差がある。更には、表示特性の温度変化や経年劣化により、色ズレ又は輝度の変化が起こる。したがって、マルチディスプレイシステムでは、複数台の表示装置の表示部間の色差及び輝度差を低減するための較正を、定期的に実施する必要がある。このような較正を簡易且つ効率的に実施できることが、マルチディスプレイシステムの普及に伴って重要度を増している。
簡易な較正方法の例として、特許文献1には、表示部に基準となるカラーチャートを表示させてデジタルカメラで撮像した画像の画像信号から、表示部のプロファイルを取得する方法が開示されている。なお、特許文献1における方法では、撮像した画像の画像信号から撮像デバイスに依存しない色空間で表現される画像信号、即ち、較正対象の表示部固有の色空間の画像信号を取得するために、撮像デバイス(イメージセンサ)のプロファイルを画像信号に適用してイメージセンサ固有の色空間の要素を除去するように変換している。
特開2007−208629号公報
特許文献1に開示された方法によれば、表示装置の表示部の色を検知する高価な測色機を用いることなしに、デジタルカメラを用いる簡易な構成にてキャリブレーションを実行することができる。
しかしながら、特許文献1におけるカラーチャートなど、特定のキャリブレーション用の画像を表示させて較正を行なう方法では、表示中の静止画像又は動画像などの画像コンテンツを一旦停止させる必要がある。特に、電子看板として常時的に使用しているマルチディスプレイシステムの表示部を較正対象とする場合、広告用の画像コンテンツの再生を停止させなければならず、一時的に電子看板としての機能を失わせることになる。これに対し、夜間など、人間がマルチディスプレイシステムの表示部を注視しない時間帯に、較正を行なうことが考えられる。ただし、この場合、較正が行なわれる夜間までの一定期間、色ズレなどが起こって画質が低下している状態のまま、画像コンテンツが再生されることになる。
本発明は斯かる事情に鑑みてなされたものであり、画像コンテンツを再生中であっても効率的に較正を行なうことが可能であり、較正の実行に要する時間とコストを低減させることができる表示システム、該表示システムの較正方法、コンピュータに前記較正方法を実施させるコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的とする。
本発明に係る表示システムは、入力された画像信号に基づき画像を表示する表示部、及び、時系列的に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部を備える表示システムにおいて、画像を表示している前記表示部を撮像する撮像部を更に備え、入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定する手段と、前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、該作成手段が作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換するかのいずれかにより、前記較正用画像を含む新たな画像信号を生成する生成手段と、該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、該比較手段による比較結果に基づき、画像信号を補正する補正手段とを備えることを特徴とする。
本発明に係る表示システムは、入力された画像信号に基づき画像を表示する表示部、及び、時系列的に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部を備える表示システムにおいて、画像を表示している前記表示部を撮像する撮像部を更に備え、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定する手段と、該手段が特定した画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、該作成手段が作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換するかのいずれかにより、前記較正用画像を含む新たな画像信号を生成する生成手段と、該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、該比較手段による比較結果に基づき、画像信号を補正する補正手段とを備えることを特徴とする。
本発明に係る表示システムは、前記生成手段は、前記較正用画像が複数連続するように新たな画像信号を生成するようにしてあることを特徴とする。
本発明に係る表示システムは、前記作成手段は、複数の異なる輝度又は色別に、前記輝度又は色を有する領域を含む較正用画像を作成するようにしてあり、新たに作成された画像信号中の較正用画像の順序を特定する情報、及び、前記較正用画像が含む領域の輝度又は色の情報を記憶する手段を更に備えることを特徴とする。
本発明に係る表示システムは、前記表示部は、入力された画像信号に基づく画像を各表示する複数のパネルが並設されており、前記信号処理部は、1つの画像の画像信号を前記複数のパネルの配置に対応させて複数に分割した画像信号を夫々、前記複数のパネルへ入力する手段を備え、前記比較手段は、前記撮像部により撮像された撮像画像の画像信号を、前記複数のパネルの配置に対応させて分割する手段と、前記較正用画像の画像信号を前記複数のパネルの配置に対応させて分割する手段とを備え、分割された撮像画像の画像信号及び較正用画像の画像信号の内、前記パネルの配置に基づき対応する画像信号間で夫々、輝度又は色を比較するようにしてあることを特徴とする。
本発明に係る表示システムの較正方法は、入力された画像信号に基づき画像を表示する表示部、時系列に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部、及び、前記表示部を撮像する撮像部を備える表示システムにて、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示部で表示される画像の輝度又は色との関係を較正する較正方法であって、入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定し、前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成し、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、生成した新たな画像信号を前記表示部へ入力し、特定したタイミングで前記撮像部により撮像を実行させ、前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、比較結果に基づき、入力する画像信号を補正することを特徴とする。
また、本発明に係る表示システムの較正方法は、入力された画像信号に基づき画像を表示する表示部、時系列に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部、及び、前記表示部を撮像する撮像部を備える表示システムにて、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示部で表示される画像の輝度又は色との関係を較正する較正方法であって、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定し、特定された画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成し、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、生成した新たな画像信号を前記表示部へ入力し、特定したタイミングで前記撮像部により撮像を実行させ、前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、比較結果に基づき、入力する画像信号を補正することを特徴とする。
本発明に係るコンピュータプログラムは、入力された画像信号に基づき画像を表示する表示部へ、時系列に複数の画像からなる画像信号を順次入力する処理を行なう信号処理装置、及び、前記表示部を撮像する撮像装置に接続され、前記信号処理装置及び前記撮像装置を制御するコンピュータに、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示装置で表示される画像の輝度又は色との間の関係の較正処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定するステップ、前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成するステップ、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、特定したタイミングで前記撮像部による撮像を実行させるステップ、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、比較結果に基づき画像信号を補正するステップとを実行させることを特徴とする。
また、本発明に係るコンピュータプログラムは、入力された画像信号に基づき画像を表示する表示部へ、時系列に複数の画像からなる画像信号を順次入力する処理を行なう信号処理装置、及び、前記表示部を撮像する撮像装置に接続され、前記信号処理装置及び前記撮像装置を制御するコンピュータに、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示装置で表示される画像の輝度又は色との間の関係の較正処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定するステップ、特定された画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成するステップ、生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、特定したタイミングで前記撮像部による撮像を実行させるステップ、前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、比較結果に基づき画像信号を補正するステップとを実行させることを特徴とする。
本発明に係る記録媒体は、上記発明に係るコンピュータプログラムが、コンピュータによって読み取り可能に記録されてあることを特徴とする。
本発明では、較正用画像が作成され、表示部に入力される画像信号を基に作成された較正用画像が含まれる新たな画像信号が生成される。また、生成された画像信号を表示部にて表示中に、含まれる較正用画像が表示されるタイミングが特定され、特定されたタイミングに前記表示部が撮像される。これにより、表示部に表示中の前記較正用画像が撮像される。更に、較正用画像を撮像した撮像画像と、較正用画像自体との間で輝度又は色を比較し、比較結果に基づき画像信号の補正が行なわれる。コンテンツデータに基づく画像の表示中に較正用画像が表示されるので、表示中に較正が可能となり、以後入力する画像信号に対する補正が可能となる。
本発明では、時系列に連続する複数の画像の画像信号、即ち映像信号に基づく画像を表示部で表示している間に較正を行なうために、表示する複数の画像の内、予め定められた輝度又は色を有する画像を特定され、特定された画像に基づき較正用画像が作成される。表示するコンテンツデータに含まれる画像から較正用画像が作成され、類似する画像の前後に表示されるので、違和感を持たせることはない。
本発明では、時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像、即ち、画像の特徴が著しく変化する所謂シーンチェンジ、カット点の前後の画像が特定され、特定された画像のいずれか一方に基づき較正用画像が作成される。シーンチェンジ、カット点前又は後の画像に類似する較正用画像が作成され、シーンチェンジ、カット点の前後に表示されるので、表示中に較正を行なっていても違和感を持たせない。
本発明では、較正用画像を複数連続して表示させ、較正用画像が表示されている期間が長くなる。これにより、撮像部による撮像タイミングに猶予が生じ、較正が容易になる。
本発明では、表示する映像信号の内の較正用画像の順序を特定するための情報が、較正用画像が含む輝度又は色の情報と共に記憶される。記憶されてある情報に基づき、当該映像信号に基づく較正が可能となる。
本発明では、表示部が複数のパネルを並置させて構成され、1つの画像が前記複数のパネルの配置に応じて分割され、表示部全体で1つの画像が表示される。この場合に、較正用画像も、較正用画像を表示部に表示している間に撮像して得られた撮像画像も各パネルに対応させた分割画像となり、比較がされる。これにより、複数のパネルからなる表示部で1つの画像を表示中であっても、各パネルにおける表示色又は輝度を適切に補正することが可能である。
本発明による場合、較正に用いるフレーム画像がコンテンツデータに基づく複数の画像中に挿入されるか、差し替えられるかされる。挿入されたフレーム画像が表示されるタイミングに表示部を撮像して較正を実施するので、所望の画像を表示中に較正することが可能である。表示中に較正が可能であるから、較正のために画像の表示を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。
実施の形態1における表示システムの構成を示すブロック図である。 実施の形態1における制御装置にて実現される機能を示す機能ブロック図である。 実施の形態1における制御装置の較正用画像作成部により実施される処理手順の一例を示すフローチャートである。 図3のステップS3における較正用画像を作成できるか否かの判断処理の一例を示すフローチャートである。 較正用画像作成部により作成される較正用画像の一例を示す説明図である。 較正用画像作成部により作成される較正用画像の一例を示す説明図である。 較正用画像作成部により作成される較正用画像の一例を示す説明図である。 較正用画像作成部により作成される較正用画像の一例を示す説明図である。 画像信号の生成処理手順の一例を示すフローチャートである。 実施の形態1の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態1の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 制御装置のタイミング特定部及び較正部によって実行される処理手順の一例を示すフローチャートである。 図12のステップS27における較正処理の詳細な処理手順の一例を示すフローチャートである。 実施の形態2における制御装置の較正用画像作成部により実施される処理手順の一例を示すフローチャートである。 実施の形態3における制御装置の較正用画像作成部により実施される処理手順の一例を示すフローチャートである。 カット点が検出されるフレーム画像の例を示す説明図である。 実施の形態3の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態3の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態3の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態3の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態4における画像信号の生成処理手順の一例を示すフローチャートである。 実施の形態4の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態4の画像信号生成部により生成される画像信号の一例を模式的に示す説明図である。 実施の形態4の画像信号生成部により生成される画像信号の他の一例を模式的に示す説明図である。
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。
(実施の形態1)
図1は、実施の形態1における表示システムの構成を示すブロック図である。表示システムは、複数の表示装置10からなる表示部1と、表示装置10へ入力する画像信号に対する処理を行なう信号処理装置2と、表示部1を撮像する撮像装置3と、表示装置10群にて表示される表示画像の輝度又は色の較正を実施する制御装置4とを含む。
表示システムは電子看板として利用され、そのため表示部1は、人が集まる街中の視認しやすい場所に設置されている。信号処理装置2は、例えば表示部1の近傍に設置されており、後述する方式に対応したケーブルにて表示部1の各表示装置10と接続されている。撮像装置3は、表示部1全体を撮像範囲とするように設置されている。例えば、撮像装置3は、電子看板である表示部1の正面上方の壁面又は天井などに取り付けられている。制御装置4は、信号処理装置2及び撮像装置3の両者と接続されている。制御装置4は例えば信号処理装置2と共に表示部1の近傍に設置されている。図1及び以下の説明では表示装置10群、信号処理装置2、撮像装置3、及び制御装置4は夫々、有線にて接続される構成とする。なお本発明では、これらは無線によって信号の送受信を行なう構成であってもよい。
このように構成される表示システムは、信号処理装置2が、制御装置4から出力されたコンテンツデータから画像信号を生成して表示部1の表示装置10へ各入力して画像を表示する。実施の形態1におけるコンテンツは動画像とする。又は音声と多重化されたストリームデータでもよい。いずれも広告宣伝用のコンテンツである。
特に、本実施の形態1における表示システムは、表示部1にて表示される画像の品質を向上又は画質を維持するため、画像信号が示す画像の輝度又は色の階調値と、実際に表示部1の表示装置10夫々に表示される画像の輝度又は色との間の関係を特定し、これに基づき画像信号を補正する較正機能を有する。特に、表示システムは、並置された表示装置10間の輝度差、又は色差を低減させるように補正し、画質の高いコンテンツを出力する。表示システムで実現される較正機能の概要は以下である。制御装置4が、電子看板のために利用するコンテンツに基づく画像を表示している表示部1を撮像装置3で撮像し、表示されるべき画像の輝度又は色の階調値と、撮像画像から得られる輝度又は色の階調値とを比較し、入力した画像信号の階調値と表示された画像の画像信号の階調値との間の関係を特定し、求めた関係から入力する画像信号に対する補正量を算出して補正する。このため制御装置4は、宣伝広告用のコンテンツに基づく画像の中に、較正に用いる較正用画像が表示されるようにコンテンツを生成し、較正用画像が表示部1に表示されるタイミングを特定し、特定したタイミングに、撮像装置3で撮像処理を行ない、撮像された画像中の対応する領域の輝度又は色の情報を夫々取得して、入力した画像信号の輝度又は色と比較し、表示装置10毎に補正量を算出して補正を行なう。
以下、各構成部及び各構成部によって実行される処理について詳細を説明する。
表示部1は、4台の表示装置10を用いる。表示装置10は2段2列に碁盤目状に並置され、並置表示装置10群を構成している。なお表示部1は、1台の表示装置10にて構成されてもよいし、3段3列、2段3列など任意の数で並置表示装置10群が構成されてもよい。
表示装置10は、パネル11を備える。パネル11は、LCD又はプラズマディスプレイを用いる。表示装置10は後述するように信号処理装置2から出力される画像信号に基づきパネル11に画像を表示する。なお表示装置10は夫々スピーカを備えて、信号処理装置2から出力される音声信号に基づき音声を出力するようにしてもよい。ただし、スピーカは表示部1とは別に設置されてもよい。
信号処理装置2は、制御部20、記憶部21、入出力部22、画像処理部23、音声処理部24、操作部25、及び電源制御部26を備える。
制御部20は、CPU(Central Processing Unit)を用い、図示しないコンピュータプログラムに基づき各構成部を制御する。
記憶部21は、ハードディスクドライブ又はSSD(Solid State Drive)等の外部記憶装置を用いる。記憶部21は、フラッシュメモリを用いてもよい。記憶部21には、表示部1で表示画像と出力する音声とが多重化されたデータなどが記憶されてもよいし、後述するように各表示装置10へ入力される画像信号に対して各適用される補正量の情報が記憶されてもよい。
入出力部22は、信号処理装置2と、各表示装置10及び制御装置4との間の画像信号、並びに、制御用のデータを入出力するためのインタフェースである。具体的には入出力部22は、DVI(Digital Visual Interface)端子及びHDMI(High-Definition Multimedia Interface)端子を有する。これにより信号処理装置2は、制御装置4と所定の方式としてTMDS(Transition Minimized Differential Signaling )方式でシリアル通信を行ない、表示部1の複数の表示装置10夫々へ画像信号を出力する。また入出力部22は、TCP(Transmission Control Protocol )又はUDP(User Datagram Protocol)などの通信プロトコルで画像信号を送受信するためのLAN端子を有し、外部装置と通信により制御用のデータを送受信する。なお、入出力部22はLAN端子を介して、制御装置4から画像信号のデータを受信してもよい。入出力部22は更に、USB(Universal Serial Bus)端子又はIEEE1394端子を有する構成としてもよい。
画像処理部23は画像処理用の集積回路を用い、入出力部22にて入力した画像信号に対して輝度又は色、色空間等の補正、及び各種フィルタ処理を含む所定の画像処理を実行する。画像処理部23は、制御部20からの指示に基づき、画像処理後の画像信号を入出力部22から表示部1の各表示装置10へ出力させる。このとき画像処理部23は、制御部20により取得されてある並置表示装置10群の配列情報に基づき、各表示装置10へ各々に対応する画像信号を出力する。配列情報とは、例えば表示部1の、向かって左上の表示装置10を0(ゼロ)段目0(ゼロ)列(0,0)の表示装置10とし、右下の表示装置10を1段目1列(1,1)の表示装置10と識別する情報である。制御部20は、予め記憶部21に記憶されている配列情報を取得してもよいし、外部から入力される配列情報を取得してもよい。また画像処理部23は、制御部20によってソフトウェア的に実現されてもよい。
音声処理部24は、入出力部22により音声信号を入力し、入力した音声信号に対し、補正及びフィルタ処理を含む所定の処理を実行する。音声処理部24は、制御部20からの指示に基づき処理後の音声信号を図示しないスピーカへ出力し、音声を出力させる。なお、信号処理装置2は、音声処理部24を備えていなくともよい。
操作部25は、電源スイッチ、切替スイッチ、及び再生/停止スイッチを少なくとも含む。操作部25の電源スイッチ、切替スイッチ、及び再生/停止スイッチは、表示システムのオペレータが操作することが可能に信号処理装置2に形成されている。電源スイッチは、信号処理装置2の電源のオン及びオフを切り替えるためのスイッチである。切替スイッチは、表示部1を構成する複数の表示装置10の内のいずれか1つの制御を行なうためのスイッチであり、同時に、複数の表示装置10を選択するためのスイッチである。再生/停止スイッチは、オペレータがコンテンツの再生/停止を指示するスイッチであり、画像処理部23及び音声処理部24への画像信号及び音声信号の入力を開始/停止させるためのスイッチ、即ち表示部1への画像信号の入力を開始/停止させるためのスイッチである。操作部25は、いずれのスイッチが押下されたかを検知すると、制御部20へ通知する。
なお操作部25は、信号処理装置2と無線で通信することが可能なリモートコントローラに備えられる構成としてもよい。この場合、リモートコントローラは操作部の各スイッチが押下されることに対応する無線信号を信号処理装置2へ送信する。無線通信の通信媒体は赤外光であってもよいし、電磁波であってもよい。また、操作部25の各スイッチの押下に対応する信号を後述の制御装置4から、オペレータの操作に応じて操作指示として送信し、信号処理装置2がこれを受信し、操作指示に基づき動作するようにしてもよい。
電源制御部26は、外部の電力供給源(図示せず)から供給される電力を制御する。操作部25の電源スイッチが押下されたことを通知された制御部20は、電源制御部26に外部から電力を供給させるか、又は電力の供給を遮断する。電源制御部26は、電力の供給を受けると信号処理装置2全体に電力を供給する。逆に、電源制御部26は、電力の供給が遮断されるときは信号処理装置2全体への電力の供給が遮断される。
更に信号処理装置2は、例えばテレビジョン放送のアンテナ及びチューナを備え、制御装置4から出力される画像信号及び音声信号のみならず、放送信号を受信して放送信号に基づく画像信号及び音声信号を表示部1で表示すべく出力するようにしてもよい。
撮像装置3は、例えばUSB端子を有するデジタルカメラを用い、USB端子にて後述の制御装置4と接続される。制御装置4との接続はUSBに限られない。撮像装置3は、USB端子を介して制御装置4から撮像要求信号を入力し、撮像要求信号を入力した場合に表示部1を全体的に撮像する。撮像装置3は、撮像画像の画像信号を、USB端子を介して制御装置4へ出力する。なお、撮像装置3が表示部1を適切に撮像できるように、フォーカスの設定、シャッター速度、絞り、ホワイトバランス、色空間、撮像画像のファイルフォーマット等の設定が予めしてある。特に、動画像であるコンテンツのデータに基づく画像が表示部1で表示されている間に撮像を行なうため、シャッター速度は、映像のフレームレートよりも速く設定されてある。
制御装置4は、パーソナルコンピュータを用い、制御部40、記憶部41、一時記憶部42、読出部43、入出力部44、及び接続部45を備える。
制御部40は、CPUを用い、記憶部41に記憶してある制御プログラム4Pに基づき、後述するような各機能を実現することによって表示システムの制御、及び表示システムの表示部1における輝度又は色の較正を実現する。
記憶部41は、ハードディスクドライブ又はSSD等の外部記憶装置を用いる。記憶部41は、フラッシュメモリを用いてもよい。記憶部41には上述した制御プログラム4Pが記憶されているほか、制御部40が処理時に参照する情報が予め記憶されてもよい。また記憶部41は、制御部40の処理により求められる情報を記憶する。特に、記憶部41は、制御部40が後述する処理を行なって得られるコンテンツ毎の較正情報411を記憶し、後に制御部40が参照することが可能である。更に記憶部41は、較正によって求められる補正情報412を記憶する。
一時記憶部42は、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等のRAMを用いる。一時記憶部42は、制御部40が記憶部41から制御プログラム4Pを読み出す際に用いられる。また、一時記憶部42は、制御部40の処理により発生した情報、例えば処理中の画像データ、画像データから抽出された情報などを一時的に記憶する。
読出部43は、ディスクドライブを用いる。読出部43は、CD(Compact Disk)、DVD(Digital Versatile Disk)、BD(Blu-Ray(登録商標) Disk)、フラッシュメモリ、又はフレキシブルディスクなどである記録媒体6に記録されている情報を読み出す。記録媒体6には、制御プログラム6Pが記録されている。制御部40は、読出部43によって記録媒体6に記録されている情報を読み出し、記憶部41又は一時記憶部42に記憶する。記憶部41に記憶されている制御プログラム4Pは、記録媒体6から読み出された制御プログラム6Pの複製であってもよい。
記録媒体6は制御装置4から分離可能に構成される記録媒体であればよく、他に、磁気テープ又はカセットテープ等のテープ系、ハードディスク又は上述のフレキシブルディスク等の磁気ディスク系、上述のCD、DVD、BD等の光ディスク系、メモリカード又は光カードなどのカード系、マスクROM(Read Only Memory)、EPROM(Erasable Programmable ROM )、EEPROM(登録商標;Electrically EPROM)、又はフラッシュROMなどの半導体メモリであってもよい。また、制御装置4が備える入出力部44は、後述するようにLAN端子を有してもよいから、制御プログラム6Pは、通信網を介して外部からダウンロードされてもよく、電子的な伝送で具現化された搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
入出力部44は、制御装置4と、信号処理装置2及び外部の記憶装置5との間のインタフェースである。具体的には入出力部44は、DVI端子及びHDMI端子を有し、これにより制御装置4は、記憶装置5からコンテンツデータを読み出し、信号処理装置2へ画像信号、音声信号及び制御用の情報を送信する。入出力部44は、LAN端子を有し、外部機器との通信を行なってもよいし、LAN端子を介して信号処理装置2との間でデータを送受信してもよい。入出力部44は更に、USB端子又はIEEE1394端子を有する構成としてもよい。
接続部45は、例えばUSB端子を有し、撮像装置3と接続される。接続部45は、制御装置4が撮像装置3と接続し、撮像装置3における撮像を制御するための信号を入出力できればUSB端子に限られない。制御装置4は、接続部45を介して撮像装置3へ撮像要求信号を送信し、撮像画像の画像信号を受信する。
記憶装置5は、大容量のHDD又はSSD等を用いてコンテンツデータを記憶する。記憶装置5が記憶するコンテンツデータは、制御装置4から読み出しが可能である。なお記憶装置5はDVD等の記録媒体であって、制御装置4から読み出しが可能な構成であってもよい。記憶装置5は、制御装置4が備える記憶部41であってもよい。コンテンツデータは、電子看板として機能する表示部1に表示される宣伝広告用の動画像及び音声を含むコンテンツである。
図2は、実施の形態1における制御装置4にて実現される機能を示す機能ブロック図である。制御装置4の制御部40は、記憶部41に記憶されている制御プログラム4Pを読み出して実行することにより、較正用画像作成部401、画像信号生成部402、タイミング特定部403、及び較正部404として機能し、パーソナルコンピュータを表示システムの制御装置4として動作させ、以下に説明する各処理を実施して較正を行なう。なお、較正用画像作成部401、画像信号生成部402、タイミング特定部403、及び較正部404は、集積回路としてハードウェア的に構成されてもよい。
較正用画像作成部401は、制御部40が読み出したコンテンツデータからフレーム単位で画像を取得する。較正用画像作成部401は、取得したフレーム画像を用いて、表示される輝度又は色のキャリブレーション(較正)を行なうための均一な輝度又は色の画素からなる較正用画像を作成する。なお較正用画像作成部401は、較正用画像を、予め定めてある複数の異なる輝度又は色について行なう。勿論、全領域で均一とは限らず、80%以上などの所定の割合以上、均一な輝度又は色である画像でもよい。予め較正用画像を作成して記憶部41に記憶しておき、較正用画像作成部401が選択するようにしてもよい。異なる色又は異なる輝度の情報は、予め記憶部41に記憶しておき、較正用画像作成部401が参照可能としておく。例えば較正用画像作成部401は、輝度0(ゼロ)から最大輝度までを4段階、10段階、又は18段階等の複数段階に区別し、夫々の段階の輝度の較正用画像を作成する。具体的には、最大輝度が(255,255,255)であって4段階に区別する場合であれば、RGB値が(0,0,0)、(85,85,85)、(170,170,170)、(255,255,255)の4段階夫々の領域を含む較正用画像を作成する。また、較正用画像作成部401は、例えば18色の異なる色の画素からなる較正用画像を作成する。例えば較正用画像作成部401は、RGB値が赤(255,0,0)、橙(255,102,0)、黄(255,255,0)、緑(0,255,0)、青(0,0,255)、紫(153,0,153)、…等である画素からなる較正用画像を夫々作成する。
較正用画像作成部401は、較正用画像を作成する元にしたフレーム画像を特定するフレーム番号と、作成した較正用画像の輝度又は色を示す情報とを含む較正情報411を記憶部41に記憶する。このとき、同一の較正用画像について、即ち同一の輝度又は色について較正用画像が作成可能であると判断されたフレーム画像が複数存在する場合、最初に可能であると判断されたフレーム画像の前又後のフレーム画像のフレーム番号が記憶される。
画像信号生成部402は、作成された較正用画像を、制御部40が読み出すコンテンツデータに基づくフレーム画像間に挿入するか、又はいずれかのフレーム画像に置換し、新たな画像信号として入出力部44から信号処理装置2へ出力する。具体的には画像信号生成部402は、記憶部41に記憶してある較正情報411に基づき、記憶されているフレーム番号に、対応する輝度又は色の較正用画像を出力する。
タイミング特定部403は、記憶された較正情報411に基づいて実際に較正を行なうにあたり、画像信号生成部402が画像信号の出力を開始した場合に、表示部1に較正用画像が表示される時刻(画像の表示開始からの経過時間)を算出する。タイミング特定部403は、表示時刻を、例えば以下のように算出できる。
表示時刻=フレーム番号×フレームレート
フレーム番号は、記憶部41に記憶した較正情報411により特定されるフレーム番号の前又は後である。タイミング特定部403は、以後、前記画像信号が制御部40により信号処理装置2へ出力されたときに、出力されたことを表す信号を撮像装置3へ出力して起動させ、算出された時刻に基づいて撮像を行なうべき時点で撮像要求信号を出力する。これによりタイミング特定部403は、較正用画像が表示されたときにこれを撮像部で撮像するように、撮像のタイミングを制御する。
なお、タイミング特定部403は、表示部1に較正用画像が表示されるタイミングと、撮像装置3による撮像タイミングとの同期の制御について、入出力部44及び接続部45、並びに信号処理装置2における入出力部22における伝送遅延及び測定(撮像処理)遅延に係る遅延時間を測定しておき、遅延時間を考慮して撮像要求信号を出力する。また、タイミング特定部403は、画像信号のフレームレートに比較して、遅延時間が微小である(例えばフレームレートの1/10以下)シャッターを使用できる撮像装置3を用い、遅延時間を考慮せずに撮像要求信号を出力する構成としてもよい。
較正部404は、制御部40の処理によって較正に用いるコンテンツデータの入出力部44からの出力が開始されると、記憶された較正情報411に基づいて較正処理を行なう。較正部404は、コンテンツデータの出力が開始された場合、タイミング特定部403の制御により撮像された撮像画像信号を接続部45から入力する。較正部404は、入力した画像信号に基づく撮像画像と、対応する較正用画像とを比較し、輝度又は色の差分を特定して補正量を求め、画像信号の補正を行なう。較正部404は、撮像画像及び較正用画像を比較するに際し、並置表示装置10群の配列情報に基づき、ブロック画像に分割し、ブロック画像毎に比較して表示装置10毎に差分を特定して補正量を求める。なお配列情報は、制御部40が予め信号処理装置2から取得して記憶部41に記憶しておいてもよいし、較正部404が信号処理装置2から取得してもよい。
このように構成される表示システムにて、表示部1における輝度又は色が較正される手順を、順を追って詳細に説明する。図3は、実施の形態1における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。制御装置4の制御部40は、較正用画像作成部401により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により各処理を実行する。
制御部40は、記憶装置5からコンテンツデータを入出力部44により読み出し(ステップS1)、最初のフレーム画像(フレーム番号0(ゼロ))を較正用画像の作成対象とする(ステップS2)。具体的には制御部40は、較正用画像の作成対象のフレーム画像のフレーム番号に0(ゼロ)を代入する。
制御部40は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理を行なう(ステップS3)。制御部40は、処理の結果、較正用画像の作成が可能であるか否かを判断する(ステップS4)。制御部40は、較正用画像の作成が可能であると判断した場合(S4:YES)、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報411を記憶部41に記憶し(ステップS5)、全ての較正対象の輝度又は色についての処理が完了したか否かを判断する(ステップS6)。制御部40は、全ての輝度又は色について処理が完了したと判断した場合(S6:YES)、処理を終了する。
ステップS4にて較正用画像の作成が不可能であると判断した場合(S4:NO)、及びステップS6にて全ての輝度又は色について処理が完了していないと判断した場合(S6:NO)、制御部40は、次のフレーム画像が存在するか否かを判断する(ステップS7)。制御部40は、次のフレーム画像が存在すると判断した場合(S7:YES)、次のフレーム画像を較正用画像の作成対象とし(ステップS8)、処理をステップS3へ戻す。制御部40は、次のフレーム画像が存在しないと判断した場合(S7:NO)、そのまま処理を終了する。
図4は、図3のステップS3における較正用画像を作成できるか否かの判断処理の一例を示すフローチャートである。制御部40は、較正用画像作成部401として以下の処理を行なう。
制御部40は、カウント用の変数Mに1を代入する(ステップS31)。制御部40は、較正用画像作成部401の機能により、フレーム画像の画素を走査して順次、各画素の輝度又は色の強度を表す値を順次参照し(ステップS32)、許容される範囲で較正対象の輝度又は色に合致するか、即ち略均一な輝度又は色に合致するか否かを判定する(ステップS33)。
詳細には、フレーム画像の画素の色がRGB(R:赤、G:緑、B:青)夫々の強度を示す階調値で表わされる場合、較正対象のRGB値を(Rc,Gc,Bc)とすると、制御部40は、較正用画像作成部401の機能により、各画素の色について以下の三式を全て満たすものを合致と判断する。
Rc−δR ≦R≦Rc+δR
Gc−δG ≦G≦Gc+δG
Bc−δB ≦B≦Bc+δB
このときδR 、δG 、δB の値夫々は、RGB値の最大値の1/32程度を目安とする。例えば、RGB値が夫々8ビットのデジタル信号で表わされる場合、RGB値は0〜255であるからδR 、δG 、δB の値は夫々「8」となる。なお、δR 、δG 、δB の値は、輝度のステップを細かく設定する場合には小さい値に設定するなど、適宜設定すればよい。
またステップS32において、較正用画像作成部401は、エッジが多い画像を基にしないように、各フレーム画像に対し、全画素を1画素ずつ参照して特定の輝度又は色に合致するか否かを判断するのではなく、複数の画素よりなる例えば3×3画素のブロック毎に参照するようにしてもよい。このときブロック毎の輝度又は色は、平均値又は中央値等を算出して用いてもよい。また、較正用画像作成部401は、処理の迅速化を図るため、各フレーム画像の全画素を参照するのではなく、4画素毎に1画素を参照するなどの間引き処理を行なって代表的な画素を参照してもよい。また、較正用画像作成部401は、3×3画素などのブロックに分割し、ブロック毎に輝度又は色の平均値等を算出し、更にブロックを間引きして参照するようにしてもよい。
制御部40は、ステップS33にて合致すると判断した場合(S33:YES)、変数Mに1を加算し(ステップS34)、対象画素を全て参照したか否かを判断する(ステップS35)。制御部40は、ステップS33にて合致しないと判断した場合(S33:NO)、そのまま処理をステップS35へ進める。
制御部40は、ステップS35にて全て参照していないと判断した場合(S35:NO)、処理をステップS32へ戻し、次の画素の輝度又は色を参照する。
制御部40は、ステップS35にて全て参照したと判断した場合(S35:YES)、変数Mに基づき、較正用の輝度又は色に合致する画素又はブロックの数は所定の閾値p以上であるか否かを判断する(ステップS36)。閾値pは例えば50%などの割合又は画素数である。制御部40は、所定の閾値p以上であると判断した場合(S36:YES)、較正用画像を作成可能と判断し(ステップS37)、処理を図3のフローチャートのステップS4へ戻す。
なおステップS36にて制御部40は、水平方向に所定の画素数及び垂直方向に所定の画素数以上連続する均一な輝度又は色の領域、即ち所定サイズ以上の均一な領域を抽出した場合に、閾値p以上であると判断し、較正に使用可能と判断してもよい(S37)。
制御部40は、所定の閾値p未満であると判断した場合(S36:NO)、較正用画像を作成不可能であると判断し(ステップS38)、処理を図3のフローチャートのステップS4へ戻す。
図5から図8は、較正用画像作成部401により作成される較正用画像の一例を示す説明図である。いずれも図の上段に、較正用画像の基となるコンテンツデータ中のフレーム画像を示し、下段に、当該フレーム画像を用いて作成される較正用画像を示す。いずれも、8ビットのRGB値を予め定めてあるモノクロの4段階(255,255,255)、(170,170,170)、(85,85,85)、(0,0,0)に区別した場合に、夫々のRGB値について作成される較正用画像の例を示す。
図5の上段に示した例は、広告宣伝用のあるコンテンツデータのフレーム番号「N1」のフレーム画像である。このフレーム画像は、「○○株式会社」のコーポレートステートメントを表示するフレーム画像であり、背景に「白」が使われている。上段に示したフレーム画像からは、RGB値が最大輝度となる(255,255,255)である画素が閾値以上抽出され、下段に示すような「白」の較正用画像が作成される。
図6の上段に示した例は、図5のフレーム画像と同一のコンテンツデータ中のフレーム番号「N2」のフレーム画像を示す。このフレーム画像は、商品の画像を含み、背景に「薄いグレー」が使われている。上段に示したフレーム画像からは、RGB値が(170,170,170)である画素が閾値以上抽出され、下段に示すような「薄いグレー」の較正用画像が作成される。
図7の上段には、図5及び図6に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「N3」のフレーム画像を示す。このフレーム画像は、商品又はサービスのイメージを表す風景画像を含み、背景に「濃いグレー」を含む。上段に示したフレーム画像からは、RGB値が(85,85,85)である画素が閾値以上抽出され、下段に示すような「濃いグレー」の較正用画像が作成される。
図8の上段には、図5から図7に示したフレーム画像と同一のコンテンツデータ中のフレーム番号「N4」のフレーム画像を示す。このフレーム画像は、企業のコーポレートステートメントを表示するフレーム画像であり、背景に「黒」が使われている。上段に示したフレーム画像からは、RGB値が(0,0,0)である黒の画素が閾値以上抽出され、下段に示すような「黒」の較正用画像が作成される。
次に、図5から図8に示したような較正用画像を用いて行なわれる実際の較正処理について説明する。まず制御部40は、画像信号生成部402の機能により、画像信号を生成して出力する。
図9は、画像信号の生成処理手順の一例を示すフローチャートである。信号処理装置2が操作部25にて、オペレータによりコンテンツの再生を指示する操作がされた場合、制御部20が操作部25からの通知を受けてこれを認識し、画像信号の出力開始を要求する制御用のデータを制御装置4へ出力する。制御装置4の制御部40は、入出力部44から画像信号の出力開始を要求する制御用データを入力したときに、以下の処理を実行する。
制御部40は、較正用画像を作成する基となったコンテンツデータを記憶装置5から読み出し、入出力部44を介した信号処理装置2への出力を開始する(ステップS11)。これにより、表示部1にてコンテンツの再生が開始される。なお制御部40は、信号処理装置2からの画像信号の出力及び表示部1での表示レートに間に合うように、適切な送信レートで画像信号を出力し続ける。
次に制御部40は、信号処理装置2からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断する(ステップS12)。制御部40は、画像信号の出力停止を要求する制御用のデータを入力した場合(S12:YES)、画像信号の出力の処理を終了する。なお、画像信号の出力停止を要求する制御用のデータは、信号処理装置2の操作部25にて、オペレータによりコンテンツの停止を指示する操作がされ、制御部20が操作部25からの通知を受けてこれを認識したときに、信号処理装置2から制御装置4へ出力される。
制御部40は、上述の画像信号の出力停止を要求する制御用のデータを入力していないと判断した場合(S12:NO)、入力するまで、以下の処理を繰り返す。
制御部40は、画像信号生成部402の機能により、較正用画像を出力するタイミングであるか否かを判断する(ステップS13)。ステップS13において制御部40は、具体的には、出力中の画像信号のフレーム番号を特定し、較正情報411に記憶してある較正用画像を作成する基となったフレーム画像のフレーム番号の前の番号であるか、又はフレーム番号そのものであるかを判断する。
制御部40は、較正用画像を出力するタイミングであると判断した場合(S13:YES)、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を挿入又は置換して出力する(ステップS14)。具体的には制御部40は、較正用画像を、基となったフレーム画像の前に挿入する場合、基となったフレーム画像のフレーム番号の前の番号であると判断したときに、当該フレーム番号の後に、フレームレートに基づき、1/2フレーム時間で表示されるように表示時刻を指定して出力する。又は、基となったフレーム画像を較正用画像に置換する場合、制御部40は、基となったフレーム画像のフレーム番号であると判断したときに、基となったフレーム画像の替わりに較正用画像を出力する。又は、較正用画像を基となったフレーム画像の後に挿入する場合、基となったフレーム画像のフレーム番号の後に、フレームレートに基づき、1/2フレーム時間で表示されるように表示時刻を指定して出力する。
制御部40は、較正用画像を出力すると処理をステップS12へ戻す。一方で制御部40は、較正用画像を出力するタイミングでないと判断した場合(S13:NO)、そのまま処理をステップS12へ戻す。
これにより、較正用画像を挿入又は置換した新たな画像信号がリアルタイムに生成されて出力される。本発明はこれに限らず、画像信号生成部402は、読み出したコンテンツデータに基づき較正用画像を挿入又は置換した新たな画像信号を生成し、一旦記憶部41又は記憶装置5に記憶しておき、較正処理を行なう際に記憶されてある新たな画像信号を読み出して出力する構成としてもよい。
図10及び図11は、実施の形態1の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図10及び図11ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図10は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。図10に示す例では、較正情報411に、フレーム番号「N2」が記憶されている。画像信号生成部402の機能により制御部40は、出力中のフレーム番号を特定し、フレーム番号が「N2−1」であると特定できた場合に、次のフレーム番号「N2」の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力する。図10に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。なおここで略同一の輝度又は色という表現を用いたが、較正用画像と、次のフレーム画像とで、背景の輝度又は色は、同一でなくてもよく、視聴者が、表示される画像に対して違和感を持たない範囲に収まっていればよい。違和感を持たない範囲とは、種々の画像を用い、また、多くの視聴者に参加してもらうことで定めるものでよい。この意味で、上述に、「略」同一の輝度又は色と表現している。
図11は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。図11に示す例でも較正情報411に、フレーム番号「N2」が記憶されている。画像信号生成部402の機能により制御部40は、出力中のフレーム番号を特定し、出力するフレーム番号が「N2」であると特定できた場合に、較正用画像を出力する。制御部40は、元のフレーム画像(N2)の画像信号は出力しない。図11に示すように、較正用画像と、次のフレーム画像とでは、背景が略同一の輝度又は色となる。このため、較正用画像が表示されたとしても、視聴者は違和感を持つことはない。
なお図11に示す例では、較正用画像が表示されるフレーム時間は、図10に示した例の場合の0.017秒よりも、長く、0.033秒である。したがって、後述する撮像装置3による撮像タイミングに、1フレーム時間(0.033秒)程度のばらつきがあったとしても、較正用画像を撮像することができる。ただし、シャッター速度と撮像する時刻のばらつきは、1フレーム時間内に収める必要がある。
なお、較正用画像を挿入する場合であっても、図11に示したように1フレーム時間分に挿入するようにしてもよい。ただし、これにより出力する画像信号が長くなる。撮像するタイミングの制御を複雑化しないよう、また、表示される動画像に不自然さが生じないよう、図10に示したようなフレーム間に、1/2フレーム時間表示されるように出力することが好ましい。なお、電子看板として機能させる場合、テレビジョン放送などと比べて、再生されるコンテンツの長さは視聴者にとっては無視できるので、較正用画像を確実に撮像できるように、1フレーム時間分挿入する構成としても問題はないと考えられる。
次に、図10及び図11に示したように表示される画像に基づき較正が実行される手順を説明する。図12は、制御装置4のタイミング特定部403及び較正部404によって実行される処理手順の一例を示すフローチャートである。制御部40が信号処理装置2へ新たな画像信号の出力を開始すると、制御部40はタイミング特定部403及び較正部404の機能により、以下の処理を実行し、較正を行なう。
制御部40は、画像信号の出力を開始してからの経過時間を測定開始する(ステップS21)。
制御部40は、タイミング特定部403の機能により、画像信号の出力を開始してからの経過時間に基づき、較正用画像の表示時刻であるか否かを判断する(ステップS22)。表示時刻は、制御部40が画像信号生成部402により較正用画像を出力するに際して、表示時刻を指定して出力するので、これを記憶しておき、参照すればよい。
制御部40は、表示時刻であると判断した場合(S22:YES)、撮像要求信号を接続部45から撮像装置3へ出力して撮像を実行させる(ステップS23)。制御部40は、表示時刻でないと判断した場合(S22:NO)、処理をステップS22へ戻す。
制御部40は、撮像装置3での撮像を実行させた後、全ての較正用画像を撮像したか否かを判断する(ステップS24)。具体的には制御部40は、予め定めてある異なる複数の輝度又は色全ての較正用画像を撮像したか否か、撮像回数が較正情報411に記憶してあるフレーム番号の数と一致するかなどの方法によって判断すればよい。制御部40は、全て撮像していないと判断した場合(S24:NO)、処理をステップS22へ戻す。制御部40は、全ての較正用画像を撮像したと判断した場合(S24:YES)、較正部404の機能により、全ての撮像画像の画像信号を撮像装置3から取得する(ステップS25)。なお、制御部40は、撮像を実行させる都度に、画像信号を取得してもよい。
なおステップS25にて取得された撮像画像が、実際に較正用画像を撮像できた画像であり、後述する測定値が正当な値となるか否かを、事前に以下のように評価することが好ましい。制御部40は、撮像画像の全画素からRGB値の夫々の最大値Rmax 、Gmax 、Bmax と最小値Rmin 、Gmin 、Bmin を抽出する。制御部40は、RGB値夫々に対する判定許容値としてΔR 、ΔG 、ΔB とし、以下の三式を全て満たした場合に、実際に較正用画像を撮像して測色が出来たと判定し、いずれか1つでも満たしていない場合、測色出来ていないと判定する。
max −Rmin ≦ΔR
max −Gmin ≦ΔG
max −Bmin ≦ΔB
なおΔR 、ΔG 、ΔB は夫々、例えば「5」などのように設定しておく。
制御部40は、較正部404の機能により、取得した撮像画像を夫々、並置表示装置10群の配列に応じてブロック画像に分割する(ステップS26)。各ブロック画像には、並置表示装置10を夫々識別する情報を対応付けておく。制御部40は、較正部404の機能により、分割されたブロック画像に基づき表示装置10毎の較正処理の実行を開始する(ステップS27)。なお、較正処理が完了した後は、出力される画像信号は、較正部404による補正処理(後述のS706及びS710)、又は出力される補正情報412に基づき信号処理装置2で実行される補正処理によって補正される。
図13は、図12のステップS27における較正処理の詳細な処理手順の一例を示すフローチャートである。制御部40は、較正部404として以下の処理を行なう。
制御部40は、一の表示装置10を選択し(ステップS701)、選択した表示装置1に対応するブロック画像から所定の演算により測定値(輝度値又は色値)を算出する(ステップS702)。所定の演算としては例えば、制御部40は、較正部404の機能により、較正用領域を撮像した領域の画素の画素値(RGB値)の平均値を算出する。中央値を算出するなど他の演算方法を用いてもよい。
次に制御部40は、較正部404の機能により、選択している表示装置10についての測定値と表示されるべき輝度の輝度値とを比較する(ステップS703)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS704)、閾値以上であると判断した場合(S704:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS705)、輝度の補正を実施する(ステップS706)。制御部40は、輝度について閾値未満であると判断した場合(S704:NO)、選択している表示装置10については輝度の補正をする必要はなく、処理をそのまま次のステップS707へ進める。
制御部40は、選択している表示装置10についての測定値と表示されるべき色の色値とを比較する(ステップS707)。制御部40は、差分が閾値以上であるか否かを判断し(ステップS708)、閾値以上であると判断した場合(S708:YES)、差分が閾値以上である測定値に対応する補正量を算出し(ステップS709)、色値の補正を実施する(ステップS710)。制御部40は、色について閾値未満であると判断した場合(S708:NO)、処理をそのまま次のステップS711へ進める。
実施される補正には種々の方法が考えられる。制御部40は、算出した表示装置10毎の測定値同士を比較し、最大の測定値と最小の測定値との間の差分が所定の閾値以上である場合に、補正する方法でもよい。また差分に対する閾値は、目視により差異が認められる値を予め設定しておいてもよいし、予め測色器を用いて測定した結果に基づき設定される構成としてもよい。制御部40は、較正部404の機能により、並置表示装置10群に夫々対応する測定値の内、最も輝度値が低い表示装置10に対応する測定値に合うように、他の表示装置10へ入力する画像信号の輝度を補正する。つまり、他の表示装置10にて表示される輝度を低下させる補正を行なう。そのほか較正部404は、各測定値と表示されるべき輝度値又は色値との間の差分が所定値以上である表示装置10へ入力する画像信号を、表示されるべき輝度又は色となるように補正してもよい。特に、表示部1が1つの表示装置10からなる場合は、この方法がとられる。
なお、各表示装置10に対応する輝度又は色毎の補正量を補正情報412として記憶部41に記憶し、制御部40が画像信号を出力するとともに、較正部404は補正情報412を表示装置10毎の情報として信号処理装置2へ出力し、信号処理装置2の画像処理部23にて、各表示装置10に対応する補正情報412に基づき、入力する画像信号に対して補正を行なってもよい。信号処理装置2は、入力される種々の画像信号のRGB値に対し、較正部404から得た補正情報412を汎用的に用いて補正することが可能である。
制御部40は、全ての表示装置10について補正処理を実施したか否か判断し(S711)、否と判断した場合(S711:NO)、処理をステップS701へ戻して次の表示装置10を選択し(S701)、以後の処理を繰り返す。
制御部40は、全ての表示装置10について補正処理を実施したと判断した場合(S711:YES)、補正処理を終了し、図12のフローチャートのステップS21へ処理を戻す。以後、表示部1の表示装置10群に入力される画像信号に補正がされる。
このように、電子看板の機能を発揮するべく表示部1に表示する宣伝広告用のコンテンツデータに基づく画像信号中に較正用画像を違和感なく表示させ、較正にも用いることが可能となる。
(実施の形態2)
実施の形態1では、較正用画像を作成可能であると最初に判断されたフレーム画像の前後に較正用画像が挿入されるか、又は置換される構成であった。実施の形態2では、最も類似するフレーム画像の前後に較正用画像を挿入又は置換する。
実施の形態2における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符号を付し、詳細な説明を省略する。
図14は、実施の形態2における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。実施の形態2における制御装置4の制御部40は、較正用画像作成部401の機能により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。なお以下に示す処理手順の内、図3のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。
制御部40は、記憶装置5からコンテンツデータを読み出し(S1)、最初のフレーム画像(フレーム番号0(ゼロ))を較正用画像の作成対象とする(S2)。
制御部40は、暫定的な較正用画像の作成対象のフレーム画像に対し、実際に較正用画像を作成できるか否かの判断を行なうための処理(S3)、較正用画像の作成が可能であるか否かを判断する(S4)。制御部40は、較正用画像の作成が不可能であると判断した場合(S4:NO)、そのまま処理を次のステップS7へ進める。
制御部40は、較正用画像の作成が可能であると判断した場合(S4:YES)、可能と判断されたフレーム画像のフレーム番号、及び較正用画像の輝度又は色の情報を含む較正情報411を記憶部41に記憶する(S5)。このとき制御部40は、ステップS3内の詳細処理でカウントされる変数Mの情報も記憶しておくとよい。
次に制御部40は、次のフレーム画像が存在するか否かを判断する(S7)。次のフレーム画像が存在すると判断した場合(S7:YES)、次のフレーム画像を較正用画像の作成対象とし(S8)、処理をステップS3へ戻す。
制御部40は、次のフレーム画像が存在しないと判断した場合(S7:NO)、全フレーム画像について較正用画像の作成判断処理を行なったので、記憶部41に記憶されている較正情報411を参照し、同一の較正対象の輝度又は色について、複数のフレーム画像のフレーム番号が記憶されているか否かを判断する(ステップS41)。制御部40は、複数のフレーム番号が記憶されていないと判断した場合(S41:NO)、そのまま処理を終了する。
制御部40は、複数のフレーム画像のフレーム番号が記憶されていると判断した場合(S41:YES)、最も類似するフレーム画像のフレーム番号を特定する(ステップS42)。このとき、制御部40は、ステップS3の処理によってカウントする変数Mの値が最も大きいフレーム画像のフレーム番号を特定することによって類似するフレーム画像を特定してもよい。又は他の公知な手法を用いて各フレーム画像の類似度に優先順位を付与し、優先順位が高いフレーム画像のフレーム番号を特定するようにしてもよい。
制御部40は、最も類似しているとして特定したフレーム番号を較正情報411に記憶し(ステップS43)、処理を終了する。
これにより、記憶してある較正情報411に基づいて新たな画像信号が生成されるに際し、較正用画像は、最も類似すると判断されたフレーム画像の前後に挿入されるか、又は当該フレーム画像自体若しくは前後に置換される。したがって、較正用画像は、視聴者に最も違和感を持たれないように表示される。
(実施の形態3)
実施の形態3では、コンテンツデータに基づく画像信号から、シーンが変化したフレーム画像の検出、所謂カット点検出を実行し、カット点の前後のフレーム画像に較正用画像を挿入又は置換する。
実施の形態3における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
図15は、実施の形態3における制御装置4の較正用画像作成部401により実施される処理手順の一例を示すフローチャートである。実施の形態3における制御装置4の制御部40は、較正用画像作成部401の機能により、記憶装置5から読み出すコンテンツデータを用いて較正を行なう前に予め、以下に示す手順により処理を実行する。
制御部40は、記憶装置5からコンテンツデータを読み出し(S1)、最初のフレーム画像を、カット点検出対象とする(ステップS51)。
制御部40は、カット点検出対象としたフレーム画像に対し、カット点検出処理を行なう(ステップS52)。
ステップS52におけるカット点検出の方法としては、前のフレーム画像との間で、輝度又は色の分布(ヒストグラム)を比較する方法、動きベクトル予測など、既知のアルゴリズムを用いればよい。具体的には、ヒストグラムの比較の方法として、色空間ヒストグラムのバタチャリヤ(Bhattacharyya )距離を用いる方法がある。この場合制御部40は、1つのフレーム画像毎に、全画素の輝度のヒストグラム(所定の区間に区切った輝度レベル毎の当該輝度レベルである画素の数の分布)を生成する。制御部40は、生成したヒストグラムを、全画素数(例えば10000)で正規化し、前のフレーム画像に対して生成下ヒストグラムとの間で所定のバタチャリヤ距離を算出し、距離の値が閾値(例えば0.3など)を超えるならば、当該フレーム画像と前のフレーム画像との間にカット点が存在すると判断する。なお、フレーム画像の各画素の色がRGB値で表れる場合、輝度は以下の色を用いて算出できる。
輝度Y=0.29891×R+0.58661×G+0.11448×B
なお、ヒストグラムの生成は必須ではなく、フレーム画像における輝度の値Yの分散値を算出すればよい。また、輝度を用いる代わりに、R、G、Bの色成分毎に分散値を算出し、複数の色成分(R、G、B)の内、いずれかの分散値が閾値以上であるか否かによってカット点が存在するか否かを判断するようにしてもよい。
次に制御部40は、カット点検出対象としたフレーム画像に対し、カット点が実際に検出されたか否かを判断する(ステップS53)。制御部40は、カット点が検出されたと判断した場合(S53:YES)、カット点検出対象としたフレーム画像の1つ前のフレーム画像を、較正用画像の作成対象とし(ステップS54)、以後の作成判断処理(S3)、作成の可否の判断(S4)、較正情報411の記憶(S5)、及び全ての輝度又は色について処理を完了したか否かの判断(S6)を行なう。
なお、制御部40はステップS54において、カット点検出対象としたフレーム画像を較正用画像の作成対象としてもよい。
制御部40は、カット点が検出されないと判断した場合(S53:NO)、次のフレーム画像が存在するか否かを判断し(S7)、存在すると判断した場合(S7:YES)、次のフレーム画像をカット点検出対象とし(ステップS55)、処理をステップS52へ戻す。
これにより、カット点が検出されたフレーム画像、即ちシーン変化の前後のフレーム画像のみが、較正用画像を作成できるか否かの判断処理の対象となる。したがって、カット点が検出されたフレーム画像から較正用画像が作成される。
図16は、カット点が検出されるフレーム画像の例を示す説明図である。図16中の各矩形は、フレーム画像を示し、フレーム番号「N2−4」のフレームから、フレーム番号「N2+1」のフレームが時系列に並べて表示されている。制御部40は、カット点検出の方法により、フレーム番号「N2」のフレーム画像で、シーンが変化しており、前のフレーム画像(N2−1)との間にカット点が存在すると判断することが可能である。
カット点が検出されたフレーム画像が較正用画像の作成対象となることにより、以後、作成された較正用画像は当該カット点前後に挿入、又は置換されても、表示されたときに視聴者は違和感を持つことはない。
図17から図20は、実施の形態3の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図17から図20ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図17及び図18は、較正用画像がフレーム画像間に挿入される場合の、前後のフレーム画像を時系列的に示している。
図17に示す例では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となった。フレーム番号「N2−1」のフレーム画像は、多くの領域を「白」が占めており、制御部40は、RGB値が(255,255,255)の「白」の較正用画像を作成することが可能であると判断する。較正情報411には、フレーム番号「N2−1」が記憶される。実施の形態3でも、制御部40は、画像信号生成部402の機能により、図9のフローチャートに示した処理手順を実行する。このとき制御部40は、出力中のフレーム番号を特定し、記憶されている較正情報411に基づき、フレーム番号が「N2−1」であると特定できた場合に、較正用画像の出力タイミングであると判断し、次のフレーム番号「N2」のフレーム画像の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力し、新たな画像信号とする。
図18に示す例では、フレーム番号「N3」のフレーム画像にて、カット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となった。フレーム番号「N3−1」のフレーム画像は、多くの領域を「薄いグレー」が占めており、制御部40は、RGB値が(170,170,170)の較正用画像を作成することが可能であると判断する。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像がフレーム番号「N3−1」であるときに、次のフレーム番号「N3」のフレーム画像の前に、1/2フレーム時間(0.017秒)の較正用画像を挿入して出力する。
図19及び図20は、フレーム画像を較正用画像に置換した場合の前後のフレーム画像を時系列的に示している。
図19に示す例では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となり、RGB値(255,255,255)の較正用画像が作成される。較正情報411には、フレーム番号「N2−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力するフレーム画像がフレーム番号「N2」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
図20に示す例では、フレーム番号「N3」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となり、RGB値(170,170,170)の較正用画像が作成される。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力するフレーム画像がフレーム番号「N3」のフレーム画像であるときに、「白」の較正用画像に置換して出力する。
図17から図20に示すように、較正用画像と、前のフレーム画像とでは、背景が略同一の輝度又は色となる。しかも、カット点が検出された時点、即ちシーンが変化するときに較正用画像が表示される。このため、較正用画像が表示されたとしても、視聴者はなおさら違和感を持つことはない。
(実施の形態4)
実施の形態4では更に、較正用画像を出力するに際し、複数回連続して出力する。
実施の形態4における表示システムの構成は、制御装置4の制御部40により実施される以下の処理手順以外、実施の形態1と同様である。したがって、共通する構成には同一の符合を付し、詳細な説明を省略する。
図21は、実施の形態4における画像信号の生成処理手順の一例を示すフローチャートである。なお以下に示す処理手順の内、実施の形態1における図9のフローチャートに示した処理手順と同一の処理手順については、同一のステップ番号を付して詳細な説明を省略する。
制御部40は、コンテンツデータを記憶装置5から読み出して信号処理装置2への出力を開始し(S11)、信号処理装置2からの画像信号の出力停止を要求する制御用のデータを入力したか否かを判断し(S12)、上述の画像信号の出力停止を要求する制御用のデータを入力したと判断するまで、以下の処理を繰り返す。
制御部40は、画像信号生成部402の機能により、較正用画像を出力するタイミングであるか否かを判断し(S13)、較正用画像を出力するタイミングであると判断した場合(S13:YES)、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換して出力する(ステップS15)。
制御部40は、較正用画像を出力すると処理をステップS12へ戻し、較正用画像を出力するタイミングでないと判断した場合(S13:NO)、そのまま処理をステップS12へ戻す。
図22及び図23は、実施の形態4の画像信号生成部402により生成される画像信号の一例を模式的に示す説明図である。図22及び図23ではいずれも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図22では、フレーム番号「N2」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N2−1」のフレーム画像が較正用画像の作成対象となり、RGB値(255,255,255)の較正用画像が作成される。較正情報411には、フレーム番号「N2−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N2−1」である場合に、その後に、作成した較正用画像を複数回(図22では4回)、連続させて出力する。これにより、図22に示すように、元のコンテンツデータにおけるフレーム番号「N2−1」のフレーム画像と、フレーム番号「N2」のフレーム画像との間に、較正用画像が4フレーム時間分表示される。
図23では、フレーム番号「N3」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。これにより、フレーム番号「N3−1」のフレーム画像が較正用画像の作成対象となり、RGB値(170,170,170)の較正用画像が作成される。較正情報411には、フレーム番号「N3−1」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N3−1」である場合に、その後に、作成した較正用画像を複数回、連続させて出力する。これにより、図23に示すように、元のコンテンツデータにおけるフレーム番号「N3−1」のフレーム画像と、フレーム番号「N3」のフレーム画像との間に、較正用画像が4フレーム時間分表示される。
このように、同一の輝度又は色について作成した較正用画像を、連続して出力することにより、タイミング特定部403により制御される撮像タイミングに、猶予が生まれる。複数回連続して較正用画像を出力する場合、タイミング特定部403は、先頭の較正用画像が表示される時刻を表示時刻とし、表示されるタイミングを特定する。30フレーム/秒で、4回連続出力される場合では、較正用画像は4フレーム時間(0.133秒)、表示される。したがって、撮像するまでの遅延があっても、より確実に較正用画像を撮像することが可能となる。
なお、画像信号生成部402の機能により、較正情報411に基づき、フレーム番号に対応する較正用画像を、複数回、挿入又は置換するに際し、輝度を変化させながら複数の較正用画像を挿入してもよい。図24は、実施の形態4の画像信号生成部402により生成される画像信号の他の一例を模式的に示す説明図である。図24でも、画像信号に基づくフレーム画像を時系列に示している。フレームレートは30フレーム/秒であり、各フレーム画像について、表示時刻(最初のフレーム画像からの経過時間)が秒[s]単位で示されている。
図24では、フレーム番号「N4」のフレーム画像にて、前のフレーム画像との間のカット点が検出されている。制御部40は、較正用画像作成部401の機能により、カット点検出対象としたフレーム画像の1つ前のフレーム画像、即ちフレーム番号「N4−1」のフレーム画像のみならず、カット点検出対象としたフレーム画像、即ちフレーム番号「N4」のフレーム画像についても較正用画像の作成対象とし、夫々RGB値(255,255,255)の較正用画像、及びRGB値(0,0,0)の較正用画像を作成できると判断する。較正情報411には、フレーム番号「N4−1」及び「N4」が記憶される。そして画像信号を生成するに際し、制御部40は、出力中のフレーム画像が、記憶されているフレーム番号「N4−1」であり、次は「N4」であって、夫々に対応する較正用画像の輝度又は色が異なる場合、二つの較正用画像間の輝度又は色を少しずつ変化させた較正用画像を連続させて出力する。これにより、図24に示すように、元のコンテンツデータにおけるフレーム番号「N4−1」のフレーム画像と、フレーム番号「N4」のフレーム画像との間に、輝度が異なる較正用画像が連続して表示される。
このようにして、輝度が少しずつ異なる較正用画像を連続して出力させたとしても、視聴者は違和感を持たせることはない。
このようにして、表示システムの表示部1に実際に表示するために利用するコンテンツを用い、コンテンツデータに基づく画像を表示している間に較正を実施し、補正量を特定して補正することができる。較正のためにコンテンツの再生を停止する必要もない。特に、常時的にコンテンツを出力する必要がある電子看板などの用途に用いられる表示システムにて、電子看板の機能を失わせることなく輝度又は色の較正が可能である点、優れた効果を奏する。
実施の形態1から4に示した構成は、適宜組み合わせて実施することも可能である。
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
1 表示部
10 表示装置
11 パネル
2 信号処理装置
22 入出力部
3 撮像装置
4 制御装置
40 制御部
401 較正用画像作成部
402 画像信号生成部
403 タイミング特定部
404 較正部
41 記憶部
411 較正情報
44 入出力部
45 接続部
4P 制御プログラム
6 記録媒体
6P 制御プログラム

Claims (10)

  1. 入力された画像信号に基づき画像を表示する表示部、及び、時系列的に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部を備える表示システムにおいて、
    画像を表示している前記表示部を撮像する撮像部を更に備え、
    入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定する手段と、
    前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、
    該作成手段が作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換するかのいずれかにより、前記較正用画像を含む新たな画像信号を生成する生成手段と、
    該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、
    該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、
    前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、
    該比較手段による比較結果に基づき、画像信号を補正する補正手段と
    を備えることを特徴とする表示システム。
  2. 入力された画像信号に基づき画像を表示する表示部、及び、時系列的に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部を備える表示システムにおいて、
    画像を表示している前記表示部を撮像する撮像部を更に備え、
    時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定する手段と、
    該手段が特定した画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成する作成手段と、
    該作成手段が作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換するかのいずれかにより、前記較正用画像を含む新たな画像信号を生成する生成手段と、
    該生成手段が生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定する手段と、
    該手段が特定したタイミングで前記撮像部による撮像を実行させる手段と、
    前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較する比較手段と、
    該比較手段による比較結果に基づき、画像信号を補正する補正手段と
    を備えることを特徴とする表示システム。
  3. 前記生成手段は、前記較正用画像が複数連続するように新たな画像信号を生成するようにしてあること
    を特徴とする請求項1又は2に記載の表示システム。
  4. 前記作成手段は、複数の異なる輝度又は色別に、前記輝度又は色を有する領域を含む較正用画像を作成するようにしてあり、
    新たに作成された画像信号中の較正用画像の順序を特定する情報、及び、前記較正用画像が含む領域の輝度又は色の情報を記憶する手段を更に備えること
    を特徴とする請求項1からのいずれか1つに記載の表示システム。
  5. 前記表示部は、入力された画像信号に基づく画像を各表示する複数のパネルが並設されており、
    前記信号処理部は、1つの画像の画像信号を前記複数のパネルの配置に対応させて複数に分割した画像信号を夫々、前記複数のパネルへ入力する手段を備え、
    前記比較手段は、
    前記撮像部により撮像された撮像画像の画像信号を、前記複数のパネルの配置に対応させて分割する手段と、
    前記較正用画像の画像信号を前記複数のパネルの配置に対応させて分割する手段と
    を備え、
    分割された撮像画像の画像信号及び較正用画像の画像信号の内、前記パネルの配置に基づき対応する画像信号間で夫々、輝度又は色を比較するようにしてあること
    を特徴とする請求項1からのいずれか1つに記載の表示システム。
  6. 入力された画像信号に基づき画像を表示する表示部、時系列に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部、及び、前記表示部を撮像する撮像部を備える表示システムにて、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示部で表示される画像の輝度又は色との関係を較正する較正方法であって、
    入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定し、
    前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、
    作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成し、
    生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、
    生成した新たな画像信号を前記表示部へ入力し、
    特定したタイミングで前記撮像部により撮像を実行させ、
    前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、
    比較結果に基づき、入力する画像信号を補正する
    ことを特徴とする表示システムの較正方法。
  7. 入力された画像信号に基づき画像を表示する表示部、時系列に複数の画像からなる画像信号を前記表示部へ順次入力する処理を行なう信号処理部、及び、前記表示部を撮像する撮像部を備える表示システムにて、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示部で表示される画像の輝度又は色との関係を較正する較正方法であって、
    時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定し、
    特定された画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成し、
    作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成し、
    生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定し、
    生成した新たな画像信号を前記表示部へ入力し、
    特定したタイミングで前記撮像部により撮像を実行させ、
    前記較正用画像における輝度又は色と、撮像された画像における輝度又は色とを比較し、
    比較結果に基づき、入力する画像信号を補正する
    ことを特徴とする表示システムの較正方法。
  8. 入力された画像信号に基づき画像を表示する表示部へ、時系列に複数の画像からなる画像信号を順次入力する処理を行なう信号処理装置、及び、前記表示部を撮像する撮像装置に接続され、前記信号処理装置及び前記撮像装置を制御するコンピュータに、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示装置で表示される画像の輝度又は色との間の関係の較正処理を実行させるコンピュータプログラムにおいて、
    前記コンピュータに、
    入力する画像信号に基づく複数の画像の内、予め定められた輝度又は色を有する領域を所定の割合以上含む画像を特定するステップ、
    前記輝度又は色略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、
    作成した較正用画像、前記表示部へ入力する画像信号に基づく複数の画像の内、特定された画像の前若しくは後に挿入するか、又は、特定された画像若しくは前後の画像を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成するステップ、
    生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、
    特定したタイミングで前記撮像部による撮像を実行させるステップ、
    前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、
    比較結果に基づき画像信号を補正するステップ
    とを実行させることを特徴とするコンピュータプログラム。
  9. 入力された画像信号に基づき画像を表示する表示部へ、時系列に複数の画像からなる画像信号を順次入力する処理を行なう信号処理装置、及び、前記表示部を撮像する撮像装置に接続され、前記信号処理装置及び前記撮像装置を制御するコンピュータに、入力する画像信号が示す輝度又は色と、前記画像信号に基づき前記表示装置で表示される画像の輝度又は色との間の関係の較正処理を実行させるコンピュータプログラムにおいて、
    前記コンピュータに、
    時系列に連続する複数の画像の内、画像の特徴量が所定量以上異なる対の画像を特定するステップ、
    特定された画像に含まれる領域が有する輝度又は色を略均一に有する領域を含み、前記表示部における輝度又は色の較正に用いる較正用画像を作成するステップ、
    作成した較正用画像を、特定された前記対の画像の間に挿入するか、又は、特定された前記対の画像のいずれか若しくは両方を、前記較正用画像に置換することにより、前記較正用画像を含む新たな画像信号を生成するステップ、
    生成した画像信号に基づく画像が前記表示部に表示されている間に、前記較正用画像が表示されるタイミングを特定するステップ、
    特定したタイミングで前記撮像部による撮像を実行させるステップ、
    前記較正用画像における輝度又は色と、前記撮像部により撮像された画像における輝度又は色とを比較するステップ、及び、
    比較結果に基づき画像信号を補正するステップ
    とを実行させることを特徴とするコンピュータプログラム。
  10. 請求項8又は9に記載されたコンピュータプログラムが、コンピュータによって読み取り可能に記録されてあることを特徴とする記録媒体。
JP2011270500A 2011-12-09 2011-12-09 表示システム、較正方法、コンピュータプログラム、及び記録媒体 Active JP5539297B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011270500A JP5539297B2 (ja) 2011-12-09 2011-12-09 表示システム、較正方法、コンピュータプログラム、及び記録媒体
CN201210521399.9A CN103167293B (zh) 2011-12-09 2012-12-06 显示***
US13/708,623 US9236027B2 (en) 2011-12-09 2012-12-07 Display system and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011270500A JP5539297B2 (ja) 2011-12-09 2011-12-09 表示システム、較正方法、コンピュータプログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2013122662A JP2013122662A (ja) 2013-06-20
JP5539297B2 true JP5539297B2 (ja) 2014-07-02

Family

ID=48774593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011270500A Active JP5539297B2 (ja) 2011-12-09 2011-12-09 表示システム、較正方法、コンピュータプログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP5539297B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6090860B2 (ja) * 2014-07-08 2017-03-08 Necフィールディング株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及びプログラム
JP6471438B2 (ja) * 2014-09-17 2019-02-20 株式会社リコー 出力制御装置、出力制御システム、及び出力制御プログラム
DE102016119639A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
US11610334B2 (en) 2017-12-01 2023-03-21 Nec Corporation Image recognition apparatus using an object image data, image recognition method using an object image data, and program
JP6732144B1 (ja) * 2018-12-25 2020-07-29 堺ディスプレイプロダクト株式会社 補正画像生成システム、画像制御方法、画像制御プログラム、および記録媒体
CN113272886A (zh) * 2018-12-25 2021-08-17 堺显示器制品株式会社 校正图像生成***、图像控制方法、图像控制程序以及记录介质
JP7134883B2 (ja) * 2019-01-11 2022-09-12 シャープ株式会社 映像出力装置、表示システム及び映像出力方法
EP4154242A4 (en) * 2020-05-20 2024-03-13 Magic Leap, Inc. PROGRESSIVE AND CONTINUOUS CALIBRATION IN PIECES WITH CONSISTENT CONTEXT
CN112927181B (zh) * 2020-11-18 2022-11-18 珠海市杰理科技股份有限公司 图像亮度调节方法及装置、图像采集设备、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08152566A (ja) * 1994-11-29 1996-06-11 Toshiba Corp 内視鏡装置及び内視鏡装置の色調整方法
JP2003323610A (ja) * 2002-03-01 2003-11-14 Nec Corp プロジェクタの色補正方法および色補正装置
JP2006319509A (ja) * 2005-05-11 2006-11-24 Sharp Corp 表示装置および表示方法
JP2006285276A (ja) * 2006-06-07 2006-10-19 Sony Corp 情報表示装置およびその保守管理方法
JP2008242111A (ja) * 2007-03-28 2008-10-09 Pioneer Electronic Corp 表示装置及び表示装置の色補正方法
US20090167782A1 (en) * 2008-01-02 2009-07-02 Panavision International, L.P. Correction of color differences in multi-screen displays
JP2009278202A (ja) * 2008-05-12 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体
WO2009142015A1 (ja) * 2008-05-21 2009-11-26 パナソニック株式会社 プロジェクタ
JP5207857B2 (ja) * 2008-07-07 2013-06-12 キヤノン株式会社 動画表示システム、動画表示システムに用いられるサーバおよび表示装置、動画表示システムの制御方法、並びに表示装置の制御方法

Also Published As

Publication number Publication date
JP2013122662A (ja) 2013-06-20

Similar Documents

Publication Publication Date Title
JP5539297B2 (ja) 表示システム、較正方法、コンピュータプログラム、及び記録媒体
US9236027B2 (en) Display system and computer-readable medium
US9685120B2 (en) Image formats and related methods and apparatuses
US10832636B2 (en) Image processing apparatus, image processing method, and program
US11122245B2 (en) Display apparatus, method for controlling the same and image providing apparatus
KR102617820B1 (ko) 비디오 월
JP2015080075A (ja) 映像表示システム、外部装置および映像表示方法
JP2017050636A (ja) 画像処理装置及び表示判定方法
US20240187747A1 (en) Methods for improved camera view in studio applications
JP5539298B2 (ja) 表示システム、較正方法、コンピュータプログラム、及び記録媒体
JP7254477B2 (ja) 表示装置およびその制御方法
US10939083B2 (en) Electronic apparatus and control method thereof
KR102640687B1 (ko) 비디오 월
US20170310921A1 (en) Image capturing apparatus connectable to display apparatus, display apparatus connectable to external apparatus, and image processing apparatus performing image processing
WO2015196614A1 (zh) 白平衡参数调整赋值方法、实现方法及实现装置
KR20120050745A (ko) 멀티비전 시스템 및 그 화면 구현 방법
JPWO2018003665A1 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US11562712B2 (en) Video reproduction system, video reproduction device, and calibration method for video reproduction system
JP6602977B2 (ja) 送信装置、送信方法、制御プログラム及び記録媒体
US20180376031A1 (en) Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium
JP6610757B2 (ja) 画像処理装置及び表示判定方法
JP6610756B2 (ja) 画像処理装置及び表示判定方法
JP6610755B2 (ja) 画像処理装置及び表示判定方法
JP6610754B2 (ja) 画像処理装置及び表示判定方法
JP2019012179A (ja) Hdr画像表示システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

R150 Certificate of patent or registration of utility model

Ref document number: 5539297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430