JP2008287624A - 画像処理システム、画像処理装置および方法、並びにプログラム - Google Patents
画像処理システム、画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2008287624A JP2008287624A JP2007133757A JP2007133757A JP2008287624A JP 2008287624 A JP2008287624 A JP 2008287624A JP 2007133757 A JP2007133757 A JP 2007133757A JP 2007133757 A JP2007133757 A JP 2007133757A JP 2008287624 A JP2008287624 A JP 2008287624A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- display
- display image
- cursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【課題】プレゼンテーションシステムの利便性を向上させる。
【解決手段】プロジェクタ25は、スクリーン21に光を投光して表示画像を表示させる。ユーザ31は、レーザポインタ22を操作して、表示画像に対する予め定められた操作を指示するための不可視光を、スクリーン21に表示されている表示画像に照射する。カメラ23は、スクリーン21の表示画像を撮像画像として撮像する。画像処理装置24は、カメラ23により撮像された撮像画像上の不可視光の像を検出し、その検出結果を基に、ユーザ31により指示された操作がなされた新たな表示画像を生成する。また、画像処理装置24は、生成した新たな表示画像が表示されるようにプロジェクタ25を制御する。本発明は、プレゼンテーションシステムに適用することができる。
【選択図】図1
【解決手段】プロジェクタ25は、スクリーン21に光を投光して表示画像を表示させる。ユーザ31は、レーザポインタ22を操作して、表示画像に対する予め定められた操作を指示するための不可視光を、スクリーン21に表示されている表示画像に照射する。カメラ23は、スクリーン21の表示画像を撮像画像として撮像する。画像処理装置24は、カメラ23により撮像された撮像画像上の不可視光の像を検出し、その検出結果を基に、ユーザ31により指示された操作がなされた新たな表示画像を生成する。また、画像処理装置24は、生成した新たな表示画像が表示されるようにプロジェクタ25を制御する。本発明は、プレゼンテーションシステムに適用することができる。
【選択図】図1
Description
本発明は画像処理システム、画像処理装置および方法、並びにプログラムに関し、特に、利便性を向上させることができるようにした画像処理システム、画像処理装置および方法、並びにプログラムに関する。
会議室などでプレゼンテーションが行われる場合、ユーザがプロジェクタを利用して、コンピュータに記録されている説明資料としての資料画像をスクリーンに表示させることがある。そしてユーザは、レーザポインタを操作して可視のレーザ光を射出させ、スクリーンに表示されている資料画像上の項目などをレーザ光で指し示しながら説明を行う。
通常、このようなプレゼンテーションが行われる場合、ユーザはスクリーンを見ながら説明を行うだけでなく、スクリーンに表示させる資料画像のページ送りをするために、プロジェクタに接続されているコンピュータに対して操作を行うなどの必要があり、プレゼンテーションを行う上での利便性が損なわれていた。
また、レーザポインタでは、射出するレーザ光の出力が制限されているため、射出された可視光であるレーザ光が直接人の目に入射してもそれほど危険ではないが、それでもレーザ光が人の目に入ると、その人は著しい不快感を受けるものである。
そこで、プレゼンテーション時の利便性を高めるという点、可視光レーザに変わるポインティング手段を使用するという点の2つの点から、赤外光を利用したプレゼンテーションシステムが提案されている。
そのようなプレゼンテーションシステムには、スクリーンに光を投光して画像を表示させるとともに、赤外線描画入力手段によりスクリーン上に描かれた線画像を読み取ることのできる光学系を有する投写型液晶表示装置を用いたものもある(例えば、特許文献1参照)。この投写型液晶表示装置においては、スクリーンに光を投光する光学系を、赤外光で描画された線画像を撮像する光学系としても利用することで光学系の部品点数を低減できるため、赤外線描画入力機能を備えた小型な投写型液晶表示装置を廉価で実現できる。
また、赤外光を利用したプレゼンテーションシステムには、プロジェクタが表示させる画像とともに、座標検出の基準となる赤外光の基準スポットをスクリーンに投影し、位置検出手段が基準スポットから、赤外光を射出するレーザポインタにより指示された位置までの距離を求めることで、指示された位置を検出し、その位置にカーソルを表示させるものもある(例えば、特許文献2参照)。
さらに、画像が表示されるスクリーンとは別に、スクリーンと縦横比率が同じであるアクリルボードを配置し、赤外光を射出するペンによりアクリルボード上に描かれた線画像をスクリーンに表示させるプレゼンテーションシステムもある(例えば、特許文献3参照)。このプレゼンテーションシステムにおいては、アクリルボードが、ペンにより線画像が入力される面とは反対側の面から赤外線カメラにより撮像され、撮像により得られた画像から赤外光の軌跡が検出される。そして、検出された赤外光の軌跡がスクリーンに表示されて画像に反映される。
しかしながら、スクリーンに光を投光する光学系を、線画像を撮像する光学系として利用する方法や、基準スポットを利用して指示された位置を検出する方法では、既存のプロジェクタなどを用いることはできず、赤外光を投光したり、赤外光を撮像したりする専用の装置が必要であるため、コストが高くなるばかりでなく、汎用性も低くなってしまう。
また、アクリルボードに描かれた画像を撮像して、スクリーンに表示させる方法では、赤外光を射出するペンを用いるため、可視のレーザ光を用いる場合と比べて安全性を高めることはできるものの、説明資料として表示されている画像に対して、ユーザが直接ペンにより線画像を入力するという直感的な操作を行うことができないので不便であった。しかも、説明資料としての画像は、その画像が記録されているコンピュータやスクリーンには表示されるがアクリルボードには表示されないため、ユーザは、スクリーンまたはコンピュータに表示される画像と、アクリルボードとを見比べながら線画像の入力操作を行わなければならなかった。
本発明は、このような状況に鑑みてなされたものであり、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができるようにするものである。
本発明の第1の側面の画像処理システムは、表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムであって、前記指示装置は、前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段と、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段と、前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える。
本発明の第1の側面においては、表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムにおいて、前記指示装置により、前記カーソルの表示位置を指示するための不可視光である位置指示光が射出され、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光が射出され、前記撮像装置により、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像が前記撮像画像として撮像され、前記画像処理装置により、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とが分離され、前記位置指示画像から前記位置指示光の像が検出され、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置が特定され、前記操作指示画像から前記操作指示光の像が検出され、その検出結果に基づいて、前記表示画像に対して指示された操作が特定され、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像が生成され、前記表示装置により、これまで表示していた前記表示画像の表示が、生成された前記新たな表示画像に切り替えられる。
本発明の第2の側面の画像処理装置は、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段とを備える。
前記操作特定手段には、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定させることができる。
前記操作特定手段には、前記操作指示画像における前記操作指示光の像の形状に基づいて、前記表示画像に対して指示された操作を特定させることができる。
画像処理装置には、前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段をさらに設けることができる。
前記操作指示光を、前記表示画像に対する操作ごとに異なる波長の不可視光とし、前記分離手段には、前記撮像画像から、複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離させ、前記操作特定手段には、複数の前記操作指示画像のそれぞれに基づいて、前記表示画像に対して指示された操作を特定させることができる。
前記分離手段には、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離させ、前記表示画像生成手段には、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正させることができる。
前記位置指示光および前記操作指示光を射出する指示装置ごとに、前記位置指示光および前記操作指示光の波長が異なるようにし、前記分離手段には、撮像画像から、複数の前記位置指示光のそれぞれと同じ波長の光の前記位置指示画像のそれぞれ、および複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離させることができる。
画像処理装置には、前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段をさらに設けることができる。
本発明の第2の側面の画像処理方法またはプログラムは、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップとを含む。
本発明の第2の側面においては、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像が検出され、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置が特定され、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像が検出され、その検出結果に基づいて、前記表示画像に対して指示された操作が特定され、特定された表示位置に前記カーソルが表示され、特定された前記操作が前記表示画像に対してなされた新たな表示画像が生成される。
本発明の第1の側面によれば、表示画像を表示させることができる。特に、本発明の第1の側面によれば、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができる。
また、本発明の第2の側面によれば、表示画像を生成することができる。特に、本発明の第2の側面によれば、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第1の側面の画像処理システム(例えば、図1のプレゼンテーションシステム11)は、表示画像を表示する表示装置(例えば、図1のプロジェクタ25)と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソル(例えば、図1のカーソル32)の表示位置を指示する指示装置(例えば、図1のレーザポインタ22)と、前記表示画像が表示されている領域を撮像する撮像装置(例えば、図1のカメラ23)と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置(例えば、図1の画像処理装置24)とから構成される画像処理システムであって、前記指示装置は、前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段(例えば、図7の可視光レーザ151)と、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段(例えば、図7のLED152−1乃至LED152−5)とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段(例えば、図11の幾何変換処理部222)と、前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段(例えば、図11のカーソル位置検出部224)と、前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段(例えば、図11の操作指示光検出部225、およびコマンド特定部226)と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段(例えば、図11の表示画像処理部228)とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える画像処理システム。
本発明の第2の側面の画像処理装置(例えば、図11の画像処理装置24)は、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段(例えば、図11のカーソル位置検出部224)と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段(例えば、図11の操作指示光検出部225およびコマンド特定部226)と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段(例えば、図11の表示画像処理部228)とを備える。
前記操作特定手段には、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定させる(例えば、図13のステップS46の処理)ことができる。
画像処理装置には、前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段(例えば、図11の幾何変換処理部222)をさらに設けることができる。
前記分離手段には、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離させ(例えば、図13のステップS42の処理)、前記表示画像生成手段には、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正させる(例えば、図13のステップS48の処理)ことができる。
前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段(例えば、図1のカメラ23)をさらに設けることができる。
本発明の第2の側面の画像処理方法またはプログラムは、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップ(例えば、図13のステップS44)と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップ(例えば、図13のステップS45およびステップS46)と、前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップ(例えば、図13のステップS48)とを含む。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
図1は、本発明を適用したプレゼンテーションシステムの一実施の形態の構成例を示す図である。
プレゼンテーションシステム11は、スクリーン21、レーザポインタ22、カメラ23、画像処理装置24、およびプロジェクタ25から構成され、スクリーン21には、プロジェクタ25から投影された表示画像が表示される。
プレゼンテーションを行うユーザ31は、レーザポインタ22を操作して、表示画像上に表示されたカーソル32を移動させたり、文字や曲線等の線画像の入力など、表示画像に対する操作を行ったりする。レーザポインタ22は、ユーザ31の操作に応じて赤外光などの不可視光(非可視光)を射出することにより、カーソル32の位置を指定したり、表示画像に対する操作を指示したりする。
カメラ23は、マルチスペクトルカメラからなり、スクリーン21と、その周囲の領域の画像を撮像し、これにより得られた撮像画像を画像処理装置24に供給する。したがって、カメラ23により撮像された撮像画像には、スクリーン21に投影された表示画像の他、スクリーン21上に映るレーザポインタ22から射出された不可視光の像も含まれることになる。
画像処理装置24は、カメラ23から供給された撮像画像に基づいて、ユーザ31がレーザポインタ22を操作することにより入力された線画像や、カーソル32などからなる補助画像を生成する。また、画像処理装置24は、説明資料としての資料画像を予め記録しており、記録している資料画像と、生成した補助画像とを合成することにより表示画像を生成し、生成した表示画像をプロジェクタ25に供給する。
プロジェクタ25は、画像処理装置24から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン21に投光し、スクリーン21に表示画像を表示させる。したがって、画像処理装置24により新たな表示画像が生成されるたびに、スクリーン21に表示される表示画像が更新される。
また、図1においては、ユーザ31は、スクリーン21から適度に離れた位置でレーザポインタ22を操作してプレゼンテーションを行っているが、ユーザ31は、例えば図2に示すように、スクリーン21に近づいて、あたかもペンを用いてスクリーン21上の表示画像に文字や曲線などを入力するようにレーザポインタ22を操作することで、表示画像に線画像を表示させることができる。
そのような場合、ユーザ31は、スクリーン21にある程度近づいてレーザポインタ22の操作を行うため、図3に示すように、カメラ23とスクリーン21との間にユーザ31が位置しないようにカメラ23の配置位置が定められる。つまりカメラ23は、カメラ23がスクリーン21のほぼ全体の画像を撮像することができる位置に配置される。
図3では、プロジェクタ25はスクリーン21の正面、つまりスクリーン21に対向する位置に配置され、ユーザ31は、スクリーン21の図中、左端に立ってレーザポインタ22を操作している。また、カメラ23は、スクリーン21の図中、右下の位置に配置されており、直線61−1および直線61−2は、カメラ23の視野角を表している。
すなわち、図中、直線61−1よりも右側、かつ直線61−2よりも左側の領域の画像がカメラ23により撮像される。ここで、ユーザ31は、カメラ23により撮像される領域内にいるが、スクリーン21とカメラ23との間には位置していないので、カメラ23により撮像された撮像画像において、表示画像の全体がユーザ31により隠れて見えなくなることはない。
なお、1つのスクリーン21に対して複数のカメラ23を配置するようにしてもよい。そのような場合、それぞれのカメラ23が異なる方向からスクリーン21の画像を撮像できるようにカメラ23の配置位置が定められ、複数のカメラ23により撮像された撮像画像のそれぞれのうちのいずれかが、画像処理装置24において選択的に用いられる。これにより、複数のカメラ23のいずれかにより、表示画像全体が含まれる撮像画像が撮像されるので、ユーザ31は、スクリーン21に対する立ち位置を気にすることなくプレゼンテーションを行うことができる。
また、図3のスクリーン21を図中、下から上方向に見ると、図4に示すように、スクリーン21上には、プロジェクタ25から投光された光により表示画像81が表示されていることが分かる。図4では、ユーザ31はレーザポインタ22を操作して、表示画像81に線画像としての曲線82を入力している。
さらに、図4において点線で囲まれる領域83は、カメラ23により撮像される領域を表している。カメラ23は、右斜め後方からスクリーン21とその周囲の領域を撮像するので、領域83は台形の領域となっており、例えばカメラ23により、図5に示す撮像画像が撮像される。
図5に示す撮像画像101内には、スクリーン21、スクリーン21に表示されている表示画像81、およびユーザ31の画像が含まれている。また、表示画像81は、4つの点102−1乃至点102−4のそれぞれを頂点とする台形状の領域となっている。すなわち、カメラ23は、スクリーン21を斜め方向から撮像するので、図4において長方形状であるスクリーン21および表示画像81が、図5の撮像画像101上においては、図中、左側の辺よりも右側の辺が長い台形状となっている。
画像処理装置24は、このようにして撮像された撮像画像101上の表示画像81全体の領域から、レーザポインタ22により射出された不可視光の像を検出し、ユーザ31の操作に応じた補助画像を生成する。そして、生成された補助画像と資料画像とからなる新たな表示画像が生成されて、プロジェクタ25によって表示画像がスクリーン21に表示される。
また、ユーザ31により操作されるレーザポインタ22は、例えば図6に示すように、ペン型のレーザポインタとされる。レーザポインタ22の図中、左端には射出口131が設けられており、射出口131からは、ユーザ31の操作に応じた不可視光が射出される。
すなわち、レーザポインタ22には、カーソル32の表示位置を指示するための不可視光として、赤外光を射出する不可視光レーザ、および表示画像に対する操作を指示するための不可視光として、赤外光を射出するLED(Light Emitting Diode)が内蔵されており、矢印A11の方向から見たレーザポインタ22の断面には、例えば図7に示すように、不可視光レーザおよびLEDが配置されている。
図7では、レーザポインタ22の断面は円形状とされており、レーザポインタ22のほぼ中央に断面が円形となるレーザ光(赤外光)を射出する不可視光レーザ151が配置されている。また、レーザポインタ22には、不可視光レーザ151を囲むように、断面が円形となる赤外光を射出する5つのLED152−1乃至LED152−5のそれぞれが配置されている。
不可視光レーザ151は、ユーザ31の操作に応じて、カーソル32の表示位置を指示するための赤外光を射出する。LED152−1乃至LED152−5のそれぞれは、ユーザ31の操作に応じて、表示画像に対する予め定められた操作を指示するための赤外光のそれぞれを射出する。
ここで、LED152−1乃至LED152−5により射出される赤外光のそれぞれは同じ波長の光であり、かつそれらの赤外光は、不可視光レーザ151から射出されるレーザ光とは異なる波長の光とされている。また、LED152−1乃至LED152−5のそれぞれから射出される赤外光は、その赤外光のスクリーン21上における像が撮像画像から検出できる程度に指向性を有する光とされる。
なお、ユーザ31が表示画像に対する操作を指示する場合、ユーザ31は、スクリーン21に近接してレーザポインタ22を操作するので、表示画像に対する操作を指示するための赤外光を射出する光源は、高輝度かつ指向性の高い光源とする必要はなく、LEDの他、電球光源などの指向性の低いものを用いることができる。
このように、プレゼンテーションシステム11においては、可視光よりも波長の長い赤外光を利用してカーソル32の表示位置の指示や、表示画像に対する操作の指示を行うので、可視のレーザ光を利用する場合と比べて安全性を向上させることができ、赤外光がユーザの目に入射しても不快感を与えるようなこともない。特に、光源としてLEDを用いることで、射出する光の輝度(単位面積当たりの強度)をレーザ光よりも低くすることができ、安全性を向上させることができる。
なお、以下の説明において、LED152−1乃至LED152−5のそれぞれを特に区別する必要のない場合、単にLED152と称する。また、以下、適宜、不可視光レーザ151から射出される、カーソル32の表示位置を指示するためのレーザ光を位置指示光とも称し、LED152から射出される、表示画像に対する操作を指示するための赤外光を操作指示光とも称する。
ユーザ31は、レーザポインタ22に設けられた図示せぬボタンを操作することにより、これらの不可視光レーザ151およびLED152から赤外光を射出させ、表示画像上のカーソル32を移動させたり、表示画像に線画像を入力するなどの操作を指示したりする。このとき、ユーザ31は、レーザポインタ22に設けられたボタンを押圧したままカーソル32の表示位置の指示や、表示画像に対する操作の指示を行う。すなわち、ボタンが押圧されている間だけ、そのボタンに対応する赤外光が不可視光レーザ151やLED152から射出される。
ユーザ31がカーソル32の表示位置だけを指示する場合、つまりカーソル32の表示だけが指示され、表示画像に対する他の操作は指示されないようにユーザ31がレーザポインタ22を操作した場合、例えば図8Aに示すように、不可視光レーザ151から位置指示光が射出され、LED152からは操作指示光は射出されない。換言すれば、不可視光レーザ151だけが点灯し、LED152は点灯しない。
なお、図8Aにおいて、不可視光レーザ151およびLED152のうち、斜線が施されているものは、点灯していることを表しており、斜線の施されていないものは、点灯していないことを表している。また、後述する図8B乃至図8Fにおいても同様に、点灯している不可視光レーザ151またはLED152には斜線が施されている。
また、表示画像に対する操作として、表示画像に表示されている線画像の一部または全部の消去が指示された場合、例えば図8Bに示すように、不可視光レーザ151から位置指示光が射出されるとともに、LED152−4から操作指示光が射出される。換言すれば、不可視光レーザ151およびLED152−4が点灯し、他のLED152−1乃至LED152−3およびLED152−5は点灯しない。
さらに、表示画像に対する操作として、表示画像への線画像の入力が指示された場合、例えば図8Cに示すように、不可視光レーザ151、LED152−1、およびLED152−4が点灯し、LED152−2、LED152−3、およびLED152−5は点灯しない。さらに、また、表示画像に対する操作として、表示画像を拡大して表示させるようにレーザポインタ22が操作された場合、つまり表示画像の拡大が指示された場合、例えば図8Dに示すように、不可視光レーザ151、LED152−1、LED152−3、およびLED152−4が点灯し、LED152−2およびLED152−5は点灯しない。
さらに、また、表示画像に対する操作として、表示画像を縮小して表示させるようにレーザポインタ22が操作された場合、つまり表示画像の縮小が指示された場合、例えば図8Eに示すように、不可視光レーザ151、およびLED152−1乃至LED152−4が点灯し、LED152−5は点灯しない。
さらに、また、表示されている表示画像に含まれる資料画像のページ送りが指示された場合、つまり表示画像として補助画像と合成される複数の資料画像のうち、現在表示画像として表示されている資料画像の順番的に次の資料画像が表示されるように、レーザポインタ22が操作された場合、例えば、図8Fに示すように、不可視光レーザ151およびLED152−1乃至LED152−5が点灯する。
このように、ユーザ31はレーザポインタ22に設けられたボタンを操作することで、スクリーン21からある程度離れた位置から、表示画像上に位置指示光を照射させて表示画像上のカーソル32を移動させるポインタモードと、スクリーン21に近接した位置から、表示画像上に位置指示光および操作指示光を照射させて、表示画像に対する各種の操作を指示するライトペンモードとを切り替えながらプレゼンテーションを行うことができる。すなわち、プレゼンテーションシステム11においては、説明資料を表示させるプロジェクタ用のスクリーンの機能と、ユーザが文字等を書き込むホワイトボードの機能とを一元化することができる。
なお、図8の例においては、表示画像に対する操作として、線画像の入力、入力された線画像の消去、表示画像の拡大、表示画像の縮小、および資料画像のページ送りを例として説明したが、その他、資料画像のページ戻しや、表示画像上の任意の領域の選択などを表示画像に対する操作としてユーザ31が指示できるようにしてもよい。
例えば、ユーザ31が表示画像上の任意の領域の選択を指示する場合、ユーザ31は、レーザポインタ22を操作して表示画像上に矩形の枠を表示させ、その枠の位置や大きさを任意に変えることによって、表示画像上の領域の選択を指示する。
これらのユーザ31による表示画像への操作は、例えばパーソナルコンピュータにおけるマウス操作によるクリックやドラッグに対応する操作と考えることができ、ユーザ31は、レーザポインタ22を操作して簡単に表示画像に対する操作を指示することができる。
次に、図9は、図1のカメラ23の構成例を示すブロック図である。
カメラ23は、レンズ181、絞り182、CCD(Charge Coupled Devices)イメージセンサ183、相関2重サンプリング回路184、A/D(Analog/Digital)コンバータ185、DSP(Digital Signal Processor)186、タイミングジェネレータ187、D/A(Digital/Analog)コンバータ188、ビデオエンコーダ189、ディスプレイ190、CODEC(Compression/Decompression)191、メモリ192、バス193、CPU(Central Processing Unit)194、およびインプットデバイス195から構成される。
レンズ181は、被写体であるスクリーン21とその周囲の領域からの光を集光し、集光した光を絞り182を介してCCDイメージセンサ183に入射させる。絞り182は、レンズ181からCCDイメージセンサ183に入射させる光の光量を調節する。
CCDイメージセンサ183は、レンズ181から入射した光を光電変換することにより、入射した光を電気信号に変換し、スクリーン21とその周囲の領域の画像である撮像画像を生成する。ここで、撮像画像の各画素は、例えば光の3原色であるR(赤)、G(緑)、若しくはB(青)、位置指示光の波長の色、または操作指示光の波長の色のいずれかの色のデータ(画素値)だけを有している。CCDイメージセンサ183は、生成した撮像画像を相関2重サンプリング回路184に供給する。
相関2重サンプリング回路184は、CCDイメージセンサ183からの撮像画像をサンプリングすることによって撮像画像からノイズを除去し、ノイズが除去された撮像画像をA/Dコンバータ185に供給する。A/Dコンバータ185は、相関2重サンプリング回路184からの撮像画像、より詳細には撮像画像の画像信号をアナログ信号からデジタル信号に変換してDSP186に供給する。
DSP186は、例えば信号処理用プロセッサおよび画像用RAM(Random Access Memory)から構成され、DSP186は、A/Dコンバータ185から供給され、画像用RAMに格納した撮像画像に対して、必要に応じて階調圧縮処理などの予めプログラムされた画像処理を施す。
また、DSP186は、必要に応じて、撮像画像の各画素が、R(赤)、G(緑)、B(青)、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色のデータを有するように、A/Dコンバータ185からの撮像画像に対して色同時化処理を施す。画像処理の施された撮像画像は、バス193を介して図1の画像処理装置24に供給されたり、D/Aコンバータ188またはCODEC191に供給されたりする。
また、バス193には、DSP186、タイミングジェネレータ187、CODEC191、メモリ192、CPU194、およびインプットデバイス195が接続されている。
タイミングジェネレータ187は、CCDイメージセンサ183乃至DSP186のそれぞれの動作のタイミングを制御する。D/Aコンバータ188は、DSP186から供給された撮像画像をデジタル信号からアナログ信号に変換し、ビデオエンコーダ189に供給する。ビデオエンコーダ189は、D/Aコンバータ188からの撮像画像を、R、G、B等の通常のビデオ信号に変換してディスプレイ190に供給する。ディスプレイ190は、例えばファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)などからなり、ビデオエンコーダ189から供給された撮像画像を表示する。
CODEC191は、DSP186からの撮像画像をエンコードしてメモリ192に記録させたり、メモリ192に記録されている撮像画像を読み出してデコードし、DSP186に供給したりする。メモリ192は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどからなり、CODEC191から供給された撮像画像を記録したり、記録している撮像画像をCODEC191に供給したりする。
CPU194は、インプットデバイス195からの操作信号などに応じて、カメラ23全体の動作を制御する。インプットデバイス195は、例えばボタンやスイッチなどからなり、ユーザ31の操作に応じた操作信号をCPU194に供給する。
また、CCDイメージセンサ183は、画素ごとに異なる分光感度を有している。すなわち、CCDイメージセンサ183の受光面には、画素ごとにR(赤)、G(緑)、B(青)、位置指示光の波長の色、または操作指示光の波長の色のうちのいずれかの色の光だけを透過させるオンチップカラーフィルタが配置されており、CCDイメージセンサ183に入射した光はオンチップカラーフィルタを透過して、光電変換を行う撮像素子に入射する。
例えば、CCDイメージセンサ183の受光面には、図10に示すオンチップカラーフィルタが配置されている。なお、図10において、1つの正方形は1つの画素を表しており、それらの正方形内の文字R、G、B、L1、およびL2のそれぞれは、R(赤)、G(緑)、B(青)、位置指示光の波長の色、および操作指示光の波長の色の光のそれぞれだけを透過させるRのフィルタ、Gのフィルタ、Bのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれを表している。
図10では、Rのフィルタ、Gのフィルタ、Bのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、Gのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、1画素おきに図中、上下方向および左右方向に並べられており、RのフィルタおよびBのフィルタが、3画素おきに上下方向および左右方向に並べられている。
図11は、図1の画像処理装置24の構成を示すブロック図である。
画像処理装置24は、色同時化処理部221、幾何変換処理部222、彩度補正パラメータ算出部223、カーソル位置検出部224、操作指示光検出部225、コマンド特定部226、資料画像記録部227、および表示画像処理部228から構成される。
色同時化処理部221には、カメラ23のDSP186からバス193を介して撮像画像、より詳細には撮像画像の画像信号が供給される。ここで、色同時化処理部221に供給される撮像画像は、各画素がR(赤)、G(緑)、B(青)、位置指示光の波長の色、または操作指示光の波長の色のいずれかの色の画素値だけを有する画像とされる。
色同時化処理部221は、カメラ23から供給された撮像画像に対して、各色の画素値を補間する色同時化処理を施して、色同時化処理の施された撮像画像を幾何変換処理部222に供給する。これにより、色同時化処理の施された撮像画像は、各画素がR(赤)、G(緑)、B(青)、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色の画素値を有する画像となる。
幾何変換処理部222は、色同時化処理部221から供給された撮像画像に幾何変換処理を施し、幾何変換処理が施された撮像画像から、撮像画像上の表示画像の領域の画像である抽出画像を抽出する。ここで、本来、スクリーン21に表示される表示画像は長方形であるが、カメラ23は必ずしもスクリーン21に対向する位置に配置される訳ではないので、撮像画像上の表示画像の領域は長方形とはならない場合がある。そこで、幾何変換処理部222は、撮像画像に幾何変換処理を施すことにより、撮像画像上の表示画像の領域を長方形の領域に変換する。
また、幾何変換処理部222は、抽出画像を可視光画像、レーザ光画像、およびLED光画像のそれぞれに分離し、分離された可視光画像、レーザ光画像、およびLED光画像のそれぞれを、彩度補正パラメータ算出部223、カーソル位置検出部224、および操作指示光検出部225のそれぞれに供給する。
ここで、可視光画像とは、可視光の画像、つまり各画素がR、G、およびBのそれぞれの色の画素値を有する画像をいい、レーザ光画像とは、位置指示光と同じ波長の光の画像、つまり各画素が位置指示光の波長の色の画素値だけを有する画像をいう。また、LED光画像とは、操作指示光と同じ波長の光の画像、つまり各画素が操作指示光の波長の色の画素値だけを有する画像をいう。
彩度補正パラメータ算出部223は、幾何変換処理部222から供給された可視光画像の平均彩度を算出し、算出した平均彩度に基づいて、表示画像に含まれる資料画像の彩度を補正するための彩度補正パラメータCを求める。また、彩度補正パラメータ算出部223は、求められた彩度補正パラメータCを表示画像処理部228に供給する。
カーソル位置検出部224は、幾何変換処理部222から供給されたレーザ光画像を用いて、カーソル32を表示すべき位置を検出し、その検出結果を操作指示光検出部225およびコマンド特定部226に供給する。より具体的には、カーソル位置検出部224は、レーザ光画像から位置指示光の像を検出し、その検出された位置指示光のレーザ光画像(表示画像)上の位置を示す情報を検出結果として出力する。
操作指示光検出部225は、カーソル位置検出部224から供給された検出結果を用いて、幾何変換処理部222から供給されたLED光画像から操作指示光の像の数を検出し、その検出結果をコマンド特定部226に供給する。
コマンド特定部226は、カーソル位置検出部224から供給された検出結果、および操作指示光検出部225から供給された検出結果から、ユーザ31のレーザポインタ22に対する操作に応じたコマンドを特定し、カーソル位置検出部224から供給された検出結果、および特定したコマンドを表示画像処理部228に供給する。
資料画像記録部227は、ユーザ31がプレゼンテーションを行うときに用いられる説明用の資料としての資料画像、より詳細には資料画像の画像信号を記録している。例えば、資料画像記録部227には、複数の資料画像が記録されており、それらの資料画像は、予め定められた所定の順番に表示されるように順序付けられている。
表示画像処理部228は、彩度補正パラメータ算出部223から供給された彩度補正パラメータCに基づいて、資料画像記録部227に記録されている資料画像の彩度を補正する。また、表示画像処理部228は、コマンド特定部226から供給された、カーソル32を表示すべき位置の検出結果およびコマンドに基づいて、カーソル32や線画像などの補助画像を生成する。さらに、表示画像処理部228は、資料画像に生成した補助画像が重畳表示されるように合成処理を行うことで表示画像を生成し、生成した表示画像をプロジェクタ25に供給して表示画像の表示を制御する。
ところで、ユーザ31がプレゼンテーションを行うために、画像処理装置24を操作して表示画像のスクリーン21への表示を指示すると、表示画像処理部228は、ユーザ31に指示された資料画像を表示画像としてプロジェクタ25に供給し、プロジェクタ25に表示画像の表示を指示する。すると、プロジェクタ25は、画像処理装置24の表示画像処理部228の制御に基づいて、表示画像処理部228から供給された表示画像を表示させるための光をスクリーン21に投光し、スクリーン21に表示画像を表示させる。
スクリーン21に表示画像が表示されると、ユーザ31は、レーザポインタ22を操作して、必要に応じて位置指示光および操作指示光をスクリーン21上に表示されている表示画像に照射し、表示画像に対する所望の操作を指示しながらプレゼンテーションを行う。
また、スクリーン21に表示画像が表示されると、プレゼンテーションシステム11により、ユーザ31による操作が反映された表示画像を表示する処理である表示処理が開始される。以下、図12のフローチャートを参照して、プレゼンテーションシステム11による表示処理について説明する。
ステップS11において、カメラ23は、スクリーン21とその周囲の領域を撮像し、これにより得られた撮像画像を画像処理装置24の色同時化処理部221に供給する。すなわち、レンズ181は、入射した光を集光してCCDイメージセンサ183に入射させ、CCDイメージセンサ183は、レンズ181から入射した光を光電変換することにより撮像画像を生成して相関2重サンプリング回路184に供給する。また、相関2重サンプリング回路184は、CCDイメージセンサ183からの撮像画像をサンプリングすることによって、撮像画像からノイズを除去してA/Dコンバータ185に供給する。A/Dコンバータ185は、相関2重サンプリング回路184からの撮像画像をアナログ信号からデジタル信号に変換してDSP186に供給する。
そしてDSP186は、A/Dコンバータ185から供給された撮像画像に対して、必要に応じて階調圧縮処理などの画像処理を施し、画像処理の施された撮像画像を、バス193を介して画像処理装置24の色同時化処理部221に供給する。
これにより、例えば、図4に示した領域83の画像がカメラ23により撮像され、その結果として図5の撮像画像101が得られる。
ステップS12において、画像処理装置24は、カメラ23から供給された撮像画像を用いて合成処理を行い、スクリーン21に新たに表示させる表示画像を生成する。なお、合成処理の詳細は後述するが、この合成処理において、画像処理装置24は、撮像画像に基づいて、ユーザ31の操作に応じた補助画像を生成し、さらに、生成した補助画像および表示させるべき資料画像に基づいて表示画像を生成する。表示画像が生成されると画像処理装置24は、生成した表示画像をプロジェクタ25に供給する。
ステップS13において、画像処理装置24は、プロジェクタ25を制御して、スクリーン21に表示画像を表示させる。プロジェクタ25は、画像処理装置24から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン21に投光し、スクリーン21に表示画像を表示させる。
ステップS14において、画像処理装置24は、表示画像を表示させる処理を終了するか否かを判定する。例えば、ユーザ31により画像処理装置24が操作され、表示画像の表示の終了が指示されると、画像処理装置24は処理を終了すると判定する。
ステップS14において、処理を終了しないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返される。すなわち、画像処理装置24により新たに表示させるべき表示画像が生成されて、生成された表示画像が、プロジェクタ25によりスクリーン21に表示される。これにより、これまでスクリーン21に表示されていた表示画像から新たな表示画像に表示が切り替わる。
これに対して、ステップS14において、処理を終了すると判定された場合、プレゼンテーションシステム11の各装置は行っている処理を終了し、表示処理は終了する。
このようにして、プレゼンテーションシステム11は、スクリーン21とその周囲の領域を撮像し、その結果得られた撮像画像から、ユーザ31による操作を反映した表示画像を生成する。そして、新たに生成した表示画像をスクリーン21に表示させる。
次に、図13のフローチャートを参照して、図12のステップS12の処理に対応する処理である合成処理について説明する。
ステップS41において、色同時化処理部221は、カメラ23から供給された撮像画像に対して色同時化処理を施して、色同時化処理の施された撮像画像を幾何変換処理部222に供給する。
色同時化処理部221は色同時化処理を行うことにより、撮像画像の各画素について、それらの画素の周囲にある画素の画素値を用いて各色の画素値を補間する。これにより、各画素がR(赤)、G(緑)、B(青)、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色の画素値を有する撮像画像が得られる。なお、この色同時化処理はデモザイク処理などとも呼ばれている。
より具体的には、例えば、色同時化処理部221は、特開2003−230159号公報に記載されている技術を利用して色同時化処理を行う。すなわち、色同時化処理部221は、撮像画像のR、G、およびBの色の画素値から色差信号を生成し、撮像画像と色差信号とから全ての画素が輝度成分を有する輝度画像を生成する。そして、色同時化処理部221は、色差信号に基づいて、輝度画像を各画素がR、G、およびBの色の画素値を有する撮像画像に変換し、Gの色の画素値に基づいてRおよびBの画素値を補正する。
さらに、色同時化処理部221は、各画素のR、G、およびBの色の画素値と、所定の画素の位置指示光の波長の色、および操作指示光の波長の色の画素値とを用いて、各画素の位置指示光の波長の色の画素値、および操作指示光の波長の色の画素値を求めて、撮像画像を、各画素がR、G、B、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの画素値を有する画像とする。
また、例えば、色同時化処理部221は、特表昭61−502424号公報に記載されている技術を利用して色同時化処理を行うようにしてもよい。そのような場合、色同時化処理部221は、撮像画像の画素のR、G、およびBの色の画素値から色相成分の値を求めて線形補間を行うことにより各画素の色相成分の値を得る。そして、色同時化処理部221は、各画素の色相成分の値から再びR、G、およびBの色の画素値を求める。
さらに、色同時化処理部221は、各画素のR、G、およびBの色の画素値と、所定の画素の位置指示光の波長の色、および操作指示光の波長の色の画素値とを用いて、各画素の位置指示光の波長の色の画素値、および操作指示光の波長の色の画素値を求める。
色同時化処理が施された撮像画像が、色同時化処理部221から幾何変換処理部222に供給されると、ステップS42において、幾何変換処理部222は、色同時化処理部221から供給された撮像画像に幾何変換処理を施す。
例えば、幾何変換処理部222は、図5の撮像画像101に対してエッジ検出をすることで、撮像画像101から表示画像81の領域を検出する。幾何変換処理部222は、検出された表示画像81の4つの頂点である点102−1乃至点102−4を特徴点とし、それらの点102−1乃至点102−4を頂点とする四角形の領域を、長方形の領域に変形するためのパラメータを算出し、算出したパラメータに基づいて撮像画像に幾何変換処理を施す。さらに、幾何変換処理部222は、幾何変換処理が施された撮像画像101から、点102−1乃至点102−4を頂点とする長方形状の領域を、抽出画像として抽出する。
そして、幾何変換処理部222は、撮像画像から抽出された抽出画像を、可視光画像、レーザ光画像、およびLED光画像のそれぞれに分離し、分離された可視光画像、レーザ光画像、およびLED光画像のそれぞれを、彩度補正パラメータ算出部223、カーソル位置検出部224、および操作指示光検出部225のそれぞれに供給する。
これにより、彩度補正パラメータ算出部223、カーソル位置検出部224、および操作指示光検出部225のそれぞれには、例えば、図14に示す可視光画像、レーザ光画像、およびLED光画像のそれぞれが供給される。
図14Aは、可視光画像を示す図であり、可視光画像には、資料画像の他、カーソル32、およびユーザ31により入力された線画像としての曲線251が表示されている。
また、図14Bは、レーザ光画像を示す図であり、レーザ光画像には、レーザポインタ22の不可視光レーザ151から射出された位置指示光の像である光点281が表示されている。さらに、図14Cは、LED光画像を示す図であり、LED光画像には、レーザポインタ22のLED152から射出された操作指示光の像である光点301−1および光点301−2が表示されている。図14Cの例においては、LED152から射出された操作指示光の像として、2つの光点301−1および光点301−2が表示されているので、図8Cを参照して説明したように、ユーザ31は、線画像が入力されるようにレーザポインタ22を操作していることが分かる。
なお、表示画像を表示させるためにプロジェクタ25が投光する光は、その多くが可視光成分であり、赤外光成分はほとんど含まれていない。したがって、レーザ光画像やLED光画像には、表示画像を表示させるために投光される光、つまり表示画像は含まれず、また位置指示光および操作指示光の波長は異なるので、表示画像、位置指示光の像、および操作指示光の像のそれぞれを確実に分離することができる。
図13のフローチャートの説明に戻り、ステップS43において、彩度補正パラメータ算出部223は、幾何変換処理部222から供給された可視光画像の平均彩度を算出し、算出した平均彩度に基づいて、資料画像の彩度を補正するための彩度補正パラメータCを求める。
例えば、彩度補正パラメータ算出部223は、可視光画像の各画素のR、G、およびBの色のそれぞれの画素値を用いて、各画素の彩度を算出する。そして、彩度補正パラメータ算出部223は、算出した各画素の彩度の平均値を可視光画像の平均彩度として算出する。さらに、彩度補正パラメータ算出部223は、算出した平均彩度により定まる彩度補正パラメータCを、表示画像処理部228に供給する。
ここで、彩度補正パラメータCの値は、例えば平均彩度の値に対して予め定められた値であり、スクリーン21のおかれている環境において、表示画像としての資料画像がスクリーン21上により鮮明に表示されるように資料画像の彩度が補正される値とされる。したがって、例えば、彩度補正パラメータCの値は、平均彩度が所定の値以下である場合に、資料画像の彩度が上がるように補正が行われる値とされる。
ステップS44において、カーソル位置検出部224は、カーソル位置検出処理を行い、カーソル32を表示させるべき位置を検出する。なお、カーソル位置検出処理の詳細は後述するが、カーソル位置検出処理において、カーソル位置検出部224は、幾何変換処理部222から供給されたレーザ光画像から、位置指示光の像を検出し、その像の位置を、カーソル32を表示させるべき位置とする。カーソル位置検出部224は、カーソル32を表示させるべき位置の座標を示す情報を、検出結果として操作指示光検出部225およびコマンド特定部226に供給する。
ステップS45において、操作指示光検出部225は、操作指示光検出処理を行う。なお、操作指示光検出処理の詳細は後述するが、この操作指示光検出処理において、操作指示光検出部225は、カーソル位置検出部224から供給された座標を示す情報を用いて、幾何変換処理部222から供給されたLED光画像から、操作指示光の像の数を検出する。そして、操作指示光検出部225は、検出の結果得られた操作指示光の像の数を示す情報をコマンド特定部226に供給する。
ステップS46において、コマンド特定部226は、操作指示光検出部225から供給された操作指示光の像の数を示す情報に基づいて、ユーザ31の操作に応じたコマンドを特定する。すなわち、コマンド特定部226は、ユーザ31がレーザポインタ22を操作することにより指示した、表示画像に対する操作に対応するコマンドを特定する。
例えば、図8Cを参照して説明したように、ユーザ31がレーザポインタ22を操作して線画像の入力を指示した場合、レーザポインタ22のLED152−1およびLED152−4から操作指示光が射出され、他のLED152からは操作指示光は射出されない。したがって、この場合、LED光画像からは、2つの操作指示光の像が検出されることになる。
そこで、コマンド特定部226は、操作指示光検出部225から供給された情報により示される操作指示光の像の数が2個である場合、ユーザ31の操作に応じたコマンドは、表示画像に線画像を入力するためのコマンドであるとする。コマンド特定部226は、特定したコマンド、およびカーソル位置検出部224から供給された座標を示す情報を、表示画像処理部228に供給する。
ステップS47において、表示画像処理部228は、コマンド特定部226から供給されたコマンドおよび座標を示す情報に基づいて補助画像を生成する。
すなわち、表示画像処理部228は、現在スクリーン21に表示されている表示画像を生成するために用いられた補助画像を保持しており、保持している補助画像を参照して、コマンドおよび座標を示す情報に基づいて補助画像を生成する。
例えば、表示画像処理部228が保持している補助画像が、カーソル32と、線画像としての曲線とが表示されている画像であり、コマンド特定部226からのコマンドが表示画像に線画像を入力するためのコマンドである場合、表示画像処理部228は、コマンド特定部226からの情報により示される座標の位置にカーソル32が表示され、さらに、保持している補助画像上の線画像としての曲線が、今回カーソル32が表示される位置まで延長された新たな曲線が表示される画像を補助画像として生成する。
ここで、生成された補助画像に表示される曲線は、表示画像処理部228が保持している補助画像上の曲線が、その曲線の端のうちの、保持している補助画像上においてカーソル32により示されている端の位置から、今回カーソル32が表示される位置まで延長された曲線とされる。
また、例えば、コマンド特定部226から供給されたコマンドが資料画像のページ送りを指示するコマンドである場合、表示画像処理部228は、カーソル32だけが表示される補助画像を生成する。ここで、補助画像上のカーソル32が表示される位置は、コマンド特定部226から供給された情報により示される座標の位置とされる。
なお、レーザ光画像の座標系、およびLED光画像上の座標系は、表示画像上の座標系と対応する座標系とされる。つまり、表示画像上の基準点とされる位置に対応するレーザ光画像上の位置、およびLED光画像上の位置が、レーザ光画像上の座標系、およびLED光画像上の座標系の基準点とされる。したがって、表示画像、レーザ光画像、およびLED光画像上のそれぞれの対応する位置は、同じ座標により表される。
ステップS48において、表示画像処理部228は、生成した補助画像と、資料画像とから表示画像を生成する。例えば、表示画像処理部228は、コマンド特定部226から供給されたコマンドが資料画像のページ送りを指示するコマンドである場合、現在スクリーン21に表示されている表示画像を生成するために用いられた資料画像の順番的に次の資料画像を資料画像記録部227から取得し、取得した資料画像の彩度を、彩度補正パラメータ算出部223から供給された彩度補正パラメータCに基づいて補正する。そして、表示画像処理部228は、彩度を補正した資料画像と、生成した補助画像とから合成処理を行うことにより表示画像を生成する。
また、例えば、表示画像処理部228は、コマンド特定部226から供給されたコマンドが資料画像のページ送りを指示するコマンドでない場合、現在スクリーン21に表示されている表示画像を生成するために用いられた資料画像の彩度を、彩度補正パラメータ算出部223から供給された彩度補正パラメータCに基づいて補正する。そして、表示画像処理部228は、彩度を補正した資料画像と、生成した補助画像とから合成処理を行うことにより表示画像を生成する。
表示画像処理部228は、表示画像を生成すると、生成した表示画像をプロジェクタ25に供給して、処理は図12のステップS13に進み、合成処理は終了する。
このようにして、画像処理装置24は、撮像画像からユーザ31の表示画像に対する操作を特定し、特定された操作に応じた表示画像を生成する。
このように、撮像画像から得られたレーザ光画像から赤外光である位置指示光の像の位置を検出することで、簡単にカーソル32を表示させるべき位置を特定できる。また、撮像画像から得られたLED光画像から赤外光である操作指示光の個数を検出することで、ユーザ31の表示画像に対する操作を特定し、その操作を簡単に表示画像に反映させることができる。これにより、プレゼンテーションシステム11の利便性を向上させることができる。
したがって、ユーザ31は、レーザポインタ22に設けられたボタンを操作して、必要に応じて不可視光レーザ151およびLED152を点灯させるという簡単な操作だけで、表示画像に対する操作を指示したり、カーソル32の表示位置を移動させたりすることができる。例えば、ユーザ31は、表示画像に対する操作として、あたかもホワイトボード上に表示された画像に任意の文字や曲線を描くような直感的な操作を行うことで、表示画像に対して線画像を入力したり、レーザポインタ22のボタンを操作してLED152を点灯させるだけで、表示画像の表示を拡大または縮小させたりすることができ、プレゼンテーションを行う上での利便性、インタラクティブ性を向上させることができる。
しかも、このプレゼンテーションシステム11は、スクリーン21およびプロジェクタ25として既存の装置を用いることができる。また、カメラ23としてのマルチスペクトルカメラは、一般的なカラーカメラの撮像素子の受光面に配置されるオンチップカラーフィルタを、図10に示したオンチップカラーフィルタに置き換えるだけで簡単かつ安価に作成することができるため、量産効果により通常のカラーカメラと同等のコストで得られることが期待できる。
さらに、レーザポインタ22は不可視光を射出するレーザポインタであるが、不可視光のレーザポインタは既に製品として販売されており、その価格も可視光のレーザポインタと比較してそれほど高価ではない。
したがって、既存の装置を利用することで、汎用性を低下させることなく、低コストでプレゼンテーションシステム11を実現することができる。
また、プレゼンテーションシステム11のおかれている環境が変化して、スクリーン21の周囲が急に明るくなったり、暗くなったりした場合においても、彩度補正パラメータCに基づいて、資料画像の彩度が補正されるので、スクリーン21上の表示画像が見づらくなるようなことがない。
次に、図15のフローチャートを参照して、図13のステップS44の処理に対応するカーソル位置検出処理について説明する。
幾何変換処理部222からカーソル位置検出部224にレーザ光画像が供給されると、ステップS71において、カーソル位置検出部224は、レーザ光画像の各画素のうち、画素値が予め定められた閾値th1以上である画素を検出する。すなわち、カーソル位置検出部224は、レーザ光画像の画素のうち、画素値が閾値th1以上である画素をマークする。
ステップS72において、カーソル位置検出部224は、検出したレーザ光画像の画素についてクラスタリングを行う。すなわち、カーソル位置検出部224は、検出された閾値th1以上の画素値を有し、互いに隣接する画素からなるレーザ光画像上の領域、つまりそれらの画素の集合を1つのクラスタとする。
これにより、例えばレーザ光画像から、図14Bに示した光点281がクラスタとして検出される。つまり、レーザ光画像からクラスタとして検出される領域は、スクリーン21上の位置指示光と同じ波長の赤外光が照射されている領域であり、プロジェクタ25から投光される光は可視光であるので、レーザ光画像からは、通常、1つのクラスタが検出されると予測される。
また、何らかの影響によりノイズとしての赤外光がスクリーン21に照射される場合には、レーザ光画像から複数のクラスタが検出されることも考えられるが、ノイズとして、位置指示光よりもビーム径の大きい赤外光がスクリーン21に照射されることは稀であるので、検出された複数のクラスタのうちの最も大きいクラスタが、レーザポインタ22からスクリーン21に照射された位置指示光の像であると予測される。
ステップS73において、カーソル位置検出部224は、クラスタリングを行うことにより得られたクラスタのうち、最も大きいクラスタ、つまり最も多い画素からなるクラスタの重心の位置を求める。
例えば、カーソル位置検出部224は、レーザ光画像の4つの端のうちのいずれかの端を基準点とし、その端と他の1つの端とを結ぶ方向をx軸方向、x軸方向と垂直な方向をy軸方向とするxy座標系における、最も大きいクラスタの重心の位置の座標(xg,yg)を求める。つまり、カーソル位置検出部224は、最も大きいクラスタを構成する各画素の座標の重心の位置の座標をクラスタの重心の位置の座標(xg,yg)として求める。
そして、カーソル位置検出部224は、求めた重心の位置の座標(xg,yg)を示す情報を、位置指示光により指示されたカーソル32を表示させるべき位置の検出結果として操作指示光検出部225およびコマンド特定部226に供給して、処理は図13のステップS45に進み、カーソル位置検出処理は終了する。
このようにして、カーソル位置検出部224は、レーザ光画像から画素値が閾値th1以上である画素を検出し、検出された画素についてクラスタリングを行う。そして、クラスタリングにより得られた最も大きいクラスタの重心の座標を求める。
レーザ光画像は、表示画像を表示させるための光や操作指示光とは波長の異なる光を撮像して得られる画像であり、レーザ光画像に表示画像や操作指示光の像は含まれないので、レーザ光画像から画素値が閾値th1以上である画素を検出してクラスタリングを行うことで、位置指示光の像の位置、つまりカーソル32を表示させる位置を簡単かつ確実に検出することができる。
また、位置指示光の像の重心の位置を、カーソル32を表示させるべき位置とすることで、ユーザ31はレーザポインタ22を操作して、直感的にカーソル32の表示位置を指し示すことができ、ユーザ31の意図しない位置にカーソル32が表示されるようなことを防止することができる。
さらに、以下、図16のフローチャートを参照して、図13のステップS45の処理に対応する処理である操作指示光検出処理について説明する。
幾何変換処理部222から操作指示光検出部225にLED光画像が供給され、さらにカーソル位置検出部224から操作指示光検出部225に、カーソル32を表示させるべき位置の検出結果としての重心の位置の座標(xg,yg)を示す情報が供給されると、ステップS101において、操作指示光検出部225は、LED光画像上の重心の位置の座標(xg,yg)を中心とする予め定められた半径rの円の領域内の画素のうち、画素値が予め定められた閾値th2以上である画素を検出する。すなわち、操作指示光検出部225は、画素値が閾値th2以上である画素をマークする。
ここで、LED光画像上の座標系は、レーザ光画像上の座標系と対応する座標系とされる。つまり、レーザ光画像上の基準点とされる位置に対応するLED光画像上の位置が、LED光画像上の座標系の基準点とされる。また、閾値th2の値は、閾値th1の値と同じであってもよいし、異なる値であってもよい。
ステップS102において、操作指示光検出部225は、検出したLED光画像の画素についてクラスタリングを行う。すなわち、操作指示光検出部225は、検出された閾値th2以上の画素値を有し、互いに隣接する画素からなるLED光画像上の領域を1つのクラスタとする。
これにより、例えばLED光画像から、図14Cに示した光点301−1および光点301−2が、クラスタとして検出される。つまり、LED光画像からクラスタとして検出される領域は、スクリーン21上の操作指示光と同じ波長の赤外光が照射されている領域であり、プロジェクタ25から投光される光は可視光であるので、LED光画像からは、通常、操作指示光の像だけがクラスタとして検出されると予測される。
また、LED152は、不可視光レーザ151に近接して設けられているため、操作指示光の像は、位置指示光の重心の位置付近に存在すると考えられ、操作指示光の像の検出の対象となる領域は、座標(xg,yg)により示される位置を中心とする、予め定められた半径rの円内の領域とされる。
さらに、何らかの影響によりノイズとしての赤外光がスクリーン21に照射される場合には、その赤外光の像がクラスタとして検出されることも考えられるが、ノイズとして、操作指示光よりもビーム系の大きい赤外光がスクリーン21に照射されることは稀であるので、検出された複数のクラスタのうち、大きさが所定の大きさ以上であるクラスタが、レーザポインタ22からスクリーン21に照射された操作指示光の像であると予測される。
ステップS103において、操作指示光検出部225は、クラスタリングを行うことにより得られたクラスタのうち、予め定められた所定の大きさ以上の大きさのクラスタの個数を数え、その数を検出された操作指示光の数とする。そして、操作指示光検出部225は、検出された操作指示光の数を示す情報をコマンド特定部226に供給して、処理は図13のステップS46に進み、操作指示光検出処理は終了する。
このようにして、操作指示光検出部225は、LED光画像から画素値が閾値th2以上である画素を検出し、検出された画素についてクラスタリングを行う。そして、操作指示光検出部225は、クラスタリングにより得られたクラスタのうち、予め定められた所定の大きさ以上の大きさのクラスタの数を、操作指示光の数とする。
LED光画像は、表示画像を表示させるための光や位置指示光とは波長の異なる光を撮像して得られる画像であり、LED光画像に表示画像や位置指示光の像は含まれないので、LED光画像から画素値が閾値th2以上である画素を検出してクラスタリングを行うことにより、操作指示光の数を簡単かつ確実に検出することができる。
なお、以上においては、LED光画像から検出されたクラスタの数、すなわち操作指示光の像の数に基づいて、ユーザ31の操作に応じたコマンドが特定されると説明したが、操作指示光の形状にコマンドを対応付けるようにしてもよい。すなわち、表示画像に対する操作に応じて、異なる形状の操作指示光がレーザポインタ22から射出されるようにしてもよい。
そのような場合、操作指示光検出部225は、画素値が閾値th2以上である画素について、クラスタリングを行うことにより操作指示光を検出し、その検出された操作指示光(クラスタ)の形状を判別する。そして、コマンド特定部226は、操作指示光の形状に対応するコマンドを特定する。
以上のようにして、画像処理装置24は、撮像画像から得られたレーザ光画像およびLED光画像を用いて、位置指示光の位置および操作指示光の数を検出し、検出された位置指示光の位置および操作指示光の数に応じた表示画像を生成する。
このように、レーザ光画像およびLED光画像を用いて、位置指示光の位置および操作指示光の数を検出して表示画像を生成するようにしたので、ユーザ31は、位置指示光および操作指示光を直接表示画像に照射させるという直感的な操作で表示画像に対する操作を指示させることができ、利便性を向上させることができる。
なお、以上においては、カメラ23のCCDイメージセンサ183の受光面には、図10に示したオンチップカラーフィルタが配置されると説明したが、図17に示すオンチップカラーフィルタが配置されるようにしてもよい。
なお、図17において、1つの正方形は1つの画素を表しており、それらの正方形内の文字W、L1、およびL2のそれぞれは、可視光、位置指示光、および操作指示光のそれぞれだけを透過させる可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれを表している。
図17では、可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、1画素おきに図中、上下方向および左右方向に並べられている。
このように、図17に示したオンチップカラーフィルタがCCDイメージセンサ183の受光面に配置される場合には、可視光画像の平均彩度を求めることはできないので、資料画像の彩度の補正は行われない。
また、レーザポインタ22のLED152のそれぞれから異なる波長の赤外光が射出されるようにし、さらにCCDイメージセンサ183が、2つの撮像素子から構成されるようにしてもよい。そのような場合、例えば、レンズ181により集光された光は、それぞれの撮像素子において同じ像が撮像されるように、プリズムなどにより2つの光に分離されてCCDイメージセンサ183を構成する撮像素子のそれぞれに入射するようになされる。
また、CCDイメージセンサ183が、2つの撮像素子から構成される場合、それらの撮像素子の受光面には、例えば図18に示すオンチップカラーフィルタが配置される。
ここで、図18AはCCDイメージセンサ183を構成する一方の撮像素子の受光面に配置されるオンチップカラーフィルタを示しており、図18Bは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタを示している。なお、図18Aおよび図18Bにおいて、1つの正方形は1つの画素を表している。
図18Aにおいて、1つの画素を表す正方形内の文字R、G、およびBのそれぞれは、R(赤)、G(緑)、およびB(青)の色の光のそれぞれだけを透過させるRのフィルタ、Gのフィルタ、およびBのフィルタのそれぞれを表している。
図18Aでは、Rのフィルタ、Gのフィルタ、およびBのフィルタがベイヤー配列と呼ばれる配列で配置されている。すなわち、Gのフィルタが市松状に配置され、残りの部分にRのフィルタおよびBのフィルタが一行ごとに交互に配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、可視光画像を得ることができる。
また、図18Bにおいて、1つの画素を表す正方形内の文字L1乃至L5のそれぞれは、位置指示光、およびLED152−1乃至LED152−4から射出される赤外光のそれぞれだけを透過させる位置指示光の波長のフィルタ、およびLED152−1乃至LED152−4から射出される赤外光の波長のフィルタのそれぞれを表している。
図18Bでは、位置指示光の波長のフィルタ、およびLED152−1乃至LED152−4から射出される赤外光の波長のフィルタのそれぞれがモザイク状に配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、レーザ光画像と、LED152から射出される赤外光ごとのLED光画像とを得ることができる。
このように、複数の撮像素子を用いて撮像画像の撮像を行うようにすることで、簡単に撮像画像から可視光画像、レーザ光画像、およびLED光画像を分離することができる。
さらに、CCDイメージセンサ183が、2つの撮像素子から構成される場合、それらの撮像素子の受光面に、例えば図19に示すオンチップカラーフィルタが配置されるようにしてもよい。
ここで、図19AはCCDイメージセンサ183を構成する一方の撮像素子の受光面に配置されるオンチップカラーフィルタを示しており、図19Bは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタを示している。なお、図19Aおよび図19Bにおいて、1つの正方形は1つの画素を表している。
図19Aにおいて、1つの画素を表す正方形内の文字Wは、可視光の波長帯の色だけを透過させる可視光のフィルタを表しており、図19Aでは、各画素に可視光のフィルタが配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像から得られる可視光画像については、平均彩度を求めることはできないので資料画像の彩度の補正は行われない。
また、図19Bにおいて、1つの画素を表す正方形内の文字L1およびL2のそれぞれは、位置指示光、および操作指示光だけを透過させる位置指示光の波長のフィルタ、および操作指示光の波長のフィルタを表している。
図19Bでは、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、1画素おきに図中、上下方向および左右方向に並べられている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、レーザ光画像およびLED光画像が得られる。
また、画像処理装置24において、複数の異なるレーザポインタ22からの位置指示光および操作指示光のそれぞれにより示される操作を、レーザポインタ22ごとに区別して表示画像に反映できるようにしてもよい。そのような場合、レーザポインタ22から射出される位置指示光および操作指示光、並びに他のレーザポインタ22から射出される位置指示光および操作指示光のそれぞれは、異なる波長の赤外光とされる。
また、この場合、画像処理装置24には、予め各レーザポインタ22から射出される位置指示光および操作指示光の波長が知らされており、画像処理装置24の幾何変換処理部222は、撮像画像から各波長の光の画像を分離し、画像処理装置24は、撮像画像から得られた各波長の光の画像を用いて、レーザポインタ22ごとに表示画像にカーソルを表示させたり、表示画像に対する操作を反映させたりする。
このように、レーザポインタ22ごとに異なる波長の赤外光が射出されるようにすることで、複数のレーザポインタ22が同時に操作された場合においても、それらのレーザポインタ22を区別し、レーザポインタ22の操作に応じて表示画像を生成することができる。なお、レーザポインタ22ごとに異なる形状の位置指示光および操作指示光が射出されるようにし、赤外光の形状によりレーザポインタ22が区別されるようにしてもよい。この場合、例えば、同じ操作を指示する操作指示光の形状がレーザポインタ22ごとに異なる。
さらに、表示画像に対する操作に応じて異なる波長の操作指示光がレーザポインタ22から射出されるようにしてもよい。そのような場合、例えば、レーザポインタ22には、図20に示すように、位置指示光を射出する不可視光レーザ151と、ユーザ31の操作に応じて異なる波長の赤外光を操作指示光として射出するLED341とが設けられる。
例えば、LED341は、ユーザ31のレーザポインタ22への操作、例えば図8B乃至図8Fのそれぞれに示した線画像の消去、線画像の入力、表示画像の拡大、表示画像の縮小、およびページ送りのそれぞれに対応した波長の赤外光のそれぞれを射出する。したがって、例えば、ユーザ31がレーザポインタ22を操作して線画像の入力を指示すると、LED341は、線画像の入力を指示する操作に応じた波長の赤外光を射出する。そして、画像処理装置24の幾何変換処理部222により、撮像画像から各操作に応じた波長の光の画像のそれぞれが分離される。
また、図8に示したLED152−1乃至LED152−5のそれぞれが異なる波長の赤外光のそれぞれを射出するようにしてもよい。
LED152のそれぞれが異なる波長の赤外光を射出する場合、またはレーザポインタ22が、図20に示した構成とされる場合、例えばCCDイメージセンサ183は、2つの撮像素子から構成され、それらの撮像素子の受光面には、図18Aおよび図18Bに示したオンチップカラーフィルタが配置される。
さらに、以上においては、画像処理装置24にカメラ23が接続されると説明したが、画像処理装置24自体にカメラ23が設けられるようにしてもよい。また、カメラ23により色同時化処理が行われ、色同時化処理が施された撮像画像が幾何変換処理部222に供給されるようにしてもよい。
さらに、スクリーン21を用いて表示画像を表示させると説明したが、画像処理装置24にLCDやCRT(Cathode Ray Tube)などの表示装置を接続し、その表示装置に表示画像を表示させるようにしてもよい。そのような場合、ユーザ31は、表示画像を表示する表示装置の表示画面に対して、レーザポインタ22からの位置指示光や操作指示光を照射させ、カメラ23は、表示装置の表示画面とその周囲の領域を撮像する。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図21は、上述したカメラ23および画像処理装置24による一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU401,ROM(Read Only Memory)402,RAM(Random Access Memory)403は、バス404により相互に接続されている。
バス404には、さらに、入出力インターフェース405が接続されている。入出力インターフェース405には、キーボード、マウス、マイクロホンなどよりなる入力部406、ディスプレイ、スピーカなどよりなる出力部407、ハードディスクや不揮発性のメモリなどよりなる記録部408、ネットワークインターフェースなどよりなる通信部409、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア411を駆動するドライブ410が接続されている。
以上のように構成されるコンピュータでは、CPU401が、例えば、記録部408に記録されているプログラムを、入出力インターフェース405及びバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU401)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア411に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア411をドライブ410に装着することにより、入出力インターフェース405を介して、記録部408にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部409で受信し、記録部408にインストールすることができる。その他、プログラムは、ROM402や記録部408に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 プレゼンテーションシステム, 21 スクリーン, 22 レーザポインタ, 23 カメラ, 24 画像処理装置, 25 プロジェクタ, 151 不可視光レーザ, 152−1乃至152−5,152 LED, 183 CCDイメージセンサ, 221 色同時化処理部, 222 幾何変換処理部, 223 彩度補正パラメータ算出部, 224 カーソル位置検出部, 225 操作指示光検出部, 226 コマンド特定部, 228 表示処理部, 341 LED
Claims (11)
- 表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムであって、
前記指示装置は、
前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段と、
前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段と
を備え、
前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、
前記画像処理装置は、
前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段と、
前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、
前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、
前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段と
を備え、
前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える
画像処理システム。 - 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、
前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、
前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段と
を備える画像処理装置。 - 前記操作特定手段は、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定する
請求項2に記載の画像処理装置。 - 前記操作特定手段は、前記操作指示画像における前記操作指示光の像の形状に基づいて、前記表示画像に対して指示された操作を特定する
請求項2に記載の画像処理装置。 - 前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段をさらに備える
請求項2に記載の画像処理装置。 - 前記操作指示光は、前記表示画像に対する操作ごとに異なる波長の不可視光とされ、
前記分離手段は、前記撮像画像から、複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離し、
前記操作特定手段は、複数の前記操作指示画像のそれぞれに基づいて、前記表示画像に対して指示された操作を特定する
請求項5に記載の画像処理装置。 - 前記分離手段は、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離し、
前記表示画像生成手段は、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正する
請求項5に記載の画像処理装置。 - 前記位置指示光および前記操作指示光を射出する指示装置ごとに、前記位置指示光および前記操作指示光の波長が異なり、
前記分離手段は、撮像画像から、複数の前記位置指示光のそれぞれと同じ波長の光の前記位置指示画像のそれぞれ、および複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離する
請求項5に記載の画像処理装置。 - 前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段をさらに備える
請求項5に記載の画像処理装置。 - 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、
前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、
前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップと
を含む画像処理方法。 - 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、
前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、
前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007133757A JP2008287624A (ja) | 2007-05-21 | 2007-05-21 | 画像処理システム、画像処理装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007133757A JP2008287624A (ja) | 2007-05-21 | 2007-05-21 | 画像処理システム、画像処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008287624A true JP2008287624A (ja) | 2008-11-27 |
Family
ID=40147268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007133757A Withdrawn JP2008287624A (ja) | 2007-05-21 | 2007-05-21 | 画像処理システム、画像処理装置および方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008287624A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123519A (ja) * | 2010-12-07 | 2012-06-28 | Fuji Xerox Co Ltd | 画像処理システム、画像処理装置及び画像処理プログラム |
JP2012230653A (ja) * | 2011-04-27 | 2012-11-22 | Nagasakiken Koritsu Daigaku Hojin | プレゼンテーション装置 |
JP2013130915A (ja) * | 2011-12-20 | 2013-07-04 | Seiko Epson Corp | 表示装置、プロジェクター、画像表示方法及び表示システム |
WO2014038819A1 (ko) * | 2012-09-06 | 2014-03-13 | (주)유한프리젠 | 레이저 포인터 영상 추출에 따른 프리젠테이션 영상으로의 적용 방법 |
JP2017021237A (ja) * | 2015-07-13 | 2017-01-26 | キヤノン株式会社 | 画像投影装置、画像投影システム、表示装置、および、表示システム |
JP2017157916A (ja) * | 2016-02-29 | 2017-09-07 | 国立大学法人東京工業大学 | 多重情報表示システム及びこれに用いる照光装置 |
-
2007
- 2007-05-21 JP JP2007133757A patent/JP2008287624A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123519A (ja) * | 2010-12-07 | 2012-06-28 | Fuji Xerox Co Ltd | 画像処理システム、画像処理装置及び画像処理プログラム |
JP2012230653A (ja) * | 2011-04-27 | 2012-11-22 | Nagasakiken Koritsu Daigaku Hojin | プレゼンテーション装置 |
JP2013130915A (ja) * | 2011-12-20 | 2013-07-04 | Seiko Epson Corp | 表示装置、プロジェクター、画像表示方法及び表示システム |
WO2014038819A1 (ko) * | 2012-09-06 | 2014-03-13 | (주)유한프리젠 | 레이저 포인터 영상 추출에 따른 프리젠테이션 영상으로의 적용 방법 |
JP2017021237A (ja) * | 2015-07-13 | 2017-01-26 | キヤノン株式会社 | 画像投影装置、画像投影システム、表示装置、および、表示システム |
JP2017157916A (ja) * | 2016-02-29 | 2017-09-07 | 国立大学法人東京工業大学 | 多重情報表示システム及びこれに用いる照光装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9324295B2 (en) | Display device and method of controlling display device | |
US7839543B2 (en) | Document imager, document stillness detection method, and computer program product | |
US9723281B2 (en) | Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same | |
US10431131B2 (en) | Projector and control method for projector | |
JP2012242948A (ja) | 表示制御装置および方法、並びにプログラム | |
JP2008287142A (ja) | 画像投影装置 | |
JP2008287624A (ja) | 画像処理システム、画像処理装置および方法、並びにプログラム | |
US11282422B2 (en) | Display device, and method of controlling display device | |
US11150768B2 (en) | Position detection device, display device, and position detection method | |
US11333959B2 (en) | Position detection device, display device, and position detection method | |
JP5152317B2 (ja) | プレゼンテーション制御装置及びプログラム | |
JP2015192310A (ja) | プロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法 | |
JPH0934633A (ja) | 空間マウス及び空間マウスシステム | |
JP2000081950A (ja) | 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム | |
JP2012181721A (ja) | 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム | |
WO2017221663A1 (ja) | 映像表示システム | |
JP6726889B2 (ja) | 映像表示システム | |
JP2007322704A (ja) | 画像表示システム及びその制御方法 | |
JP2018159835A (ja) | 投影装置 | |
US20090103811A1 (en) | Document camera and its method to make an element distinguished from others on a projected image | |
CN107018393B (zh) | 投影仪和投影仪的控制方法 | |
JP2009245366A (ja) | 入力システム、指示装置および入力システムの制御プログラム | |
JP2010015398A (ja) | プレゼンテーションシステム及び撮像装置 | |
JP6291911B2 (ja) | 位置検出装置、及び、位置検出方法 | |
JP2006345228A (ja) | ポイント画像の制御装置およびポイント画像の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100803 |