JP6604528B2 - Image processing apparatus and image processing system - Google Patents
Image processing apparatus and image processing system Download PDFInfo
- Publication number
- JP6604528B2 JP6604528B2 JP2015003162A JP2015003162A JP6604528B2 JP 6604528 B2 JP6604528 B2 JP 6604528B2 JP 2015003162 A JP2015003162 A JP 2015003162A JP 2015003162 A JP2015003162 A JP 2015003162A JP 6604528 B2 JP6604528 B2 JP 6604528B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask area
- mask
- area
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 114
- 238000003384 imaging method Methods 0.000 claims description 82
- 239000000203 mixture Substances 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 51
- 238000005286 illumination Methods 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 28
- 239000002131 composite material Substances 0.000 description 24
- 238000012937 correction Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Projection Apparatus (AREA)
Description
本発明は、画像処理装置、画像処理システム及び照明装置に関する。 The present invention relates to an image processing device, an image processing system, and an illumination device.
表示画面上の位置に応じた座標の入力を行うにあたり、マウスなどのポインティングデバイスや空間上で操作が可能なモーションコントローラなどを用いることが知られている。
また、一例として、ポインティングデバイスであるレーザーポインタの光が照射されたスクリーン上をカメラによって撮像し、撮像された画像におけるレーザーポインタの光の位置を座標として入力するプレゼンテーション制御システムが知られている。
It is known to use a pointing device such as a mouse or a motion controller that can be operated in space when inputting coordinates according to the position on the display screen.
Also, as an example, there is known a presentation control system that captures an image on a screen irradiated with light from a laser pointer, which is a pointing device, and inputs the position of the laser pointer light in the captured image as coordinates.
コンピュータに対する操作として、座標としての点の指定ではなく、或るまとまった領域を指定したい場合がある。このような場合において、上記のような座標を入力するデバイスを利用して領域を指定しようとする場合には、点として座標を連続させて領域を形成する操作が必要になる。
具体的に、マウスであれば、ドラッグ操作によって座標の移動軌跡を描いて領域の輪郭を形成するという操作が必要になる。コンピュータに対する操作として、例えば領域だけを指定すればよいような場合には、上記のように座標を連続させて領域を形成する操作が煩わしいものとなって合理的でなくなる場合がある。
As an operation for the computer, there is a case where it is desired to specify a certain area instead of specifying a point as coordinates. In such a case, when an area is to be designated using a device for inputting coordinates as described above, an operation for forming an area by making coordinates continuous as points is required.
Specifically, in the case of a mouse, an operation of drawing a coordinate movement locus by a drag operation and forming an outline of the region is required. For example, when only an area needs to be designated as an operation for the computer, the operation for forming the area by making the coordinates continuous as described above is troublesome and may not be rational.
本発明は、このような事情に鑑みてなされたもので、領域を指定する操作を簡単に行えるようにすることを目的とする。 The present invention has been made in view of such circumstances, and it is an object of the present invention to easily perform an operation of designating an area.
上述した課題を解決するための本発明の一態様は、不可視光を撮像対象とする撮像装置がスクリーンを撮像して得られた撮像画像において前記スクリーンに投影された不可視光に対応するマスク領域を検出するマスク領域検出部と、前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成する画像合成部とを備える画像処理装置である。 In one embodiment of the present invention for solving the above-described problem, a mask region corresponding to invisible light projected on the screen in a captured image obtained by an imaging device that captures the screen with invisible light is captured. An image processing apparatus includes: a mask area detecting unit for detecting; and an image combining unit for combining a plurality of images based on the mask area detected by the mask area detecting unit.
本発明の一態様は、上記の画像処理装置であって、前記画像合成部は、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成してもよい。 One aspect of the present invention is the above-described image processing device, wherein the image composition unit synthesizes an image of a region corresponding to the mask region in a sub image with a region corresponding to the mask region in a main image. May be.
本発明の一態様は、上記の画像処理装置であって、前記画像合成部は、前記副画像のサイズが前記主画像と異なる場合において、前記主画像において前記マスク領域が対応する領域の重心座標と、前記副画像と前記主画像のサイズの比とに基づいて前記副画像において前記マスク領域が対応する領域を特定してもよい。 One aspect of the present invention is the above-described image processing device, wherein the image composition unit is configured to display barycentric coordinates of an area corresponding to the mask area in the main image when the size of the sub-image is different from that of the main image. And a region corresponding to the mask region in the sub-image based on the ratio of the size of the sub-image and the main image.
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、撮像画像において第1閾値以上の画素値の画素が集合した領域を前記マスク領域として検出してもよい。 One aspect of the present invention is the above-described image processing device, wherein the mask area detection unit may detect, as the mask area, an area in which pixels having a pixel value equal to or greater than a first threshold value in the captured image.
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、前記マスク領域に含まれる画素の画素値のうち、前記第1閾値以上から第2閾値以下の範囲の画素値については、前記画素値に応じたゼロから最大値未満の出力画素値に変換し、前記第2閾値より大きい画素値については最大の出力画素値に変換し、前記画像合成部は、前記副画像において前記マスク領域が対応する領域に含まれる画素について前記出力画素値に基づいて前記主画像の画素と合成してもよい。 One aspect of the present invention is the above-described image processing device, wherein the mask region detection unit includes pixels in a range of the pixel values included in the mask region that are in the range from the first threshold value to the second threshold value. The value is converted from zero corresponding to the pixel value to an output pixel value less than the maximum value, and the pixel value greater than the second threshold is converted to the maximum output pixel value. Pixels included in a region corresponding to the mask region in the image may be combined with the pixels of the main image based on the output pixel value.
本発明の一態様は、上記の画像処理装置であって、前記マスク領域検出部は、それぞれ異なる所定の位置から前記スクリーンを撮像する複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を、前記マスク領域として検出してもよい。 One aspect of the present invention is the above-described image processing device, wherein the mask area detection unit is common among a plurality of captured images obtained by a plurality of imaging devices that capture the screen from different predetermined positions. Then, an area where the invisible light that exists is projected may be detected as the mask area.
本発明の一態様は、上記の画像処理装置であって、前記撮像装置は、異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成してもよい。 One embodiment of the present invention is the above-described image processing device, wherein the imaging device performs imaging for each invisible light in a different wavelength region, thereby a plurality of wavelength regions corresponding to the invisible light in the different wavelength region. A corresponding captured image is acquired, the mask region detection unit detects a mask region for each of the plurality of wavelength region-capable captured images, and the image composition unit detects the mask detected for each of the plurality of wavelength region-captured images. Based on the region, a plurality of images may be individually synthesized for each of the plurality of captured images corresponding to the wavelength regions.
本発明の一態様は、照明装置と、撮像装置と、画像処理装置とを備える画像処理システムであって、前記照明装置は、不可視光を出射する不可視光出射部を備え、前記撮像装置は、不可視光を撮像対象とし、前記照明装置から出射された不可視光が投影されるスクリーンを撮像するように設けられ、前記画像処理装置は、前記撮像装置によって得られた撮像画像において前記スクリーンに投影された不可視光に対応するマスク領域を検出するマスク領域検出部と、前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成する画像合成部とを備え、前記画像合成部により合成された画像が投影装置によって前記スクリーンに画像光として投影されるように、前記合成された画像を出力する出力部とを備える画像処理システムである。 One embodiment of the present invention is an image processing system including an illumination device, an imaging device, and an image processing device, wherein the illumination device includes an invisible light emitting unit that emits invisible light, and the imaging device includes: The invisible light is set as an imaging target, and is provided so as to capture a screen on which the invisible light emitted from the illumination device is projected. The image processing device is projected on the screen in a captured image obtained by the imaging device. A mask region detecting unit that detects a mask region corresponding to the invisible light, and an image combining unit that combines a plurality of images based on the mask region detected by the mask region detecting unit. And an output unit that outputs the synthesized image so that the projected image is projected as image light on the screen by the projection device. It is a non.
本発明の一態様は、上記の画像処理システムであって、それぞれ異なる所定の位置から前記スクリーンを撮像する複数の前記撮像装置を備え、前記マスク領域検出部は、前記複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を前記マスク領域として検出してもよい。 One aspect of the present invention is the above-described image processing system including a plurality of the imaging devices that capture the screen from different predetermined positions, and the mask region detection unit is obtained by the plurality of imaging devices. Alternatively, an area projected with invisible light that exists in common among a plurality of captured images may be detected as the mask area.
本発明の一態様は、上記の画像処理システムであって、それぞれ異なる波長域の不可視光を出射する複数の前記照明装置を備え、前記撮像装置は、前記異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成してもよい。 One aspect of the present invention is the above-described image processing system, including a plurality of the illumination devices that emit invisible light in different wavelength ranges, and the imaging device performs imaging for each invisible light in the different wavelength ranges. By obtaining a plurality of wavelength region corresponding captured images corresponding to each invisible light of the different wavelength region, the mask region detection unit detects a mask region for each of the plurality of wavelength region corresponding captured images, The image synthesizing unit may synthesize a plurality of images individually for each of the plurality of wavelength region-capable captured images based on the mask region detected for each of the plurality of wavelength region-captured images.
本発明の一態様は、携帯に対応する外形を有し、不可視光を出射する不可視光出射部を備える照明装置である。 One embodiment of the present invention is a lighting device including an invisible light emitting portion that has an outer shape corresponding to carrying and emits invisible light.
本発明の一態様は、上記の照明装置であって、前記不可視光出射部から不可視光が出射されている状態と不可視光が出射されていない状態とのいずれの状態であるのかを報知する出射状態報知部をさらに備えてもよい。 One aspect of the present invention is the above-described illumination device, which emits information that indicates whether the invisible light is emitted from the invisible light emitting unit or the invisible light is not emitted. A state notification unit may be further provided.
本発明の一態様は、上記の照明装置であって、前記不可視光出射部から出射される不可視光の照射範囲を調整する照射範囲調整部をさらに備えてもよい。 One embodiment of the present invention is the illumination device described above, and may further include an irradiation range adjustment unit that adjusts an irradiation range of the invisible light emitted from the invisible light emission unit.
以上説明したように、本発明によれば、領域を指定する操作が簡単に行えるようになるという効果が得られる。 As described above, according to the present invention, it is possible to easily perform an operation for designating a region.
<第1実施形態>
[画像処理システムの構成例]
本実施形態における画像処理システムは、ユーザによる入力デバイスとしての照明装置300の操作に応じてスクリーン100に表示される画像が変化する、インタラクティブシステムである。
以下、図1、図2を参照して、本実施形態の画像処理システムの全体的構成例及び用途例について説明する。図1は、本実施形態における画像処理システムの構築例を示す斜視図である。図2は、本実施形態における画像処理システムの構成例を示すブロック図である。
<First Embodiment>
[Image processing system configuration example]
The image processing system in the present embodiment is an interactive system in which an image displayed on the
Hereinafter, an overall configuration example and application example of the image processing system of the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a perspective view showing an example of construction of an image processing system in the present embodiment. FIG. 2 is a block diagram illustrating a configuration example of the image processing system according to the present embodiment.
本実施形態の画像処理システムは、図1、図2に示すように、スクリーン100、プロジェクタ200、照明装置300、撮像装置400及び画像処理装置500を備える。
スクリーン100は筐体10の前面において、ユーザYが観察可能なように設けられる。スクリーン100は、また、プロジェクタ200、照明装置300、撮像装置400及び画像処理装置500は筐体10内に設けられている。ただし、画像処理装置500については、筐体10の外側に設けられてもよい。
As shown in FIGS. 1 and 2, the image processing system of this embodiment includes a
The
スクリーン100には、プロジェクタ200(投影装置)により投影された画像PIが表示される。この場合、プロジェクタ200は、スクリーン100の背面から画像光を投影する背面投影型である。
図1に示すように、ユーザYは、入力デバイスとしての照明装置300を所持する。照明装置300は、赤外光(不可視光の一例)を照射する。ユーザYは、スクリーン100の前面側に位置し、照明装置300を使用して、画像が表示されたスクリーン100上の所望の位置に対して照明装置300から出射される赤外光を投影させる。照明装置300がスクリーン100に投影されることにより、ユーザYには不可視であるが、スクリーン100には投影された赤外光が散乱することにより赤外光投影領域IRAとしての不可視の画像領域が形成される。
On the
As shown in FIG. 1, the user Y possesses a
撮像装置400は、赤外光を撮像対象とする。つまり、撮像装置400は、赤外光を撮像可能に構成される。具体的に、赤外光を撮像可能な撮像装置400は、受光素子に光が入射する経路に、赤外光を透過し可視光を減衰させる光学フィルタを設けることによって構成することができる。
The
撮像装置400は、スクリーン100の背面からスクリーンを撮像するように設置される。このとき、撮像装置400の撮像範囲は、例えば、スクリーン100に表示される画像PIのサイズに対応させるように補正が行われる。
上記のように撮像装置400が設置されることで、撮像装置400がスクリーン100を撮像することによっては、例えば画像PIに対応するサイズの画面において、スクリーン100にて形成された赤外光投影領域IRAが含まれる撮像画像が得られる。
The
When the
撮像装置400によって得られた撮像画像は、図2に示すように、画像処理装置500に出力される。なお、図1においては、撮像装置400と画像処理装置500とがケーブルによって有線で接続された態様を示している。つまり、この場合の撮像画像は有線による信号線あるいはデータインターフェースを経由して撮像装置400から画像処理装置500に伝送される。しかし。撮像装置400と画像処理装置500とは無線通信によって接続されて、撮像画像が伝送されるようにしてもよい。
The captured image obtained by the
画像処理装置500は、コンピュータにより構成され、撮像装置400から入力される撮像画像に含まれる赤外光投影領域IRAに基づいてスクリーン100に表示される画像が変化するように画像処理を行う。
ここで、赤外光投影領域IRAは、ユーザYが入力デバイスである照明装置300により赤外光をスクリーン100に照射するという操作を行うことによって形成される。つまり、本実施形態の撮像画像には、ユーザYの操作による入力結果が反映されている。従って、画像処理装置500が、スクリーン100に表示させる画像は、ユーザの操作に応じて変化するインタラクティブな画像である。
より具体的には、画像処理装置500は、画像PIに対応する主画像に、撮像画像に含まれる赤外光投影領域IRAが形成された位置に対応する領域に副画像を合成した合成画像を生成する。
The
Here, the infrared light projection area IRA is formed when the user Y performs an operation of irradiating the
More specifically, the
画像処理装置500は、合成画像がスクリーン100にて表示されるように、合成画像による画像信号を図2に示すようにプロジェクタ200に出力する。なお、図1においては、有線により画像処理装置500とプロジェクタ200とが接続された態様が示されている。しかし、画像処理装置500とプロジェクタ200とは無線通信により接続されてもよい。
The
プロジェクタ200は、画像処理装置500から合成画像を入力し、入力した合成画像の画像光をスクリーン100に投影する。これにより、スクリーン100にて合成画像が表示される。つまり、スクリーン100においては、主画像に対応する画像内容の画面において、赤外光投影領域IRAが形成されている領域に副画像が合成して表示された画像PIが表示される。
The
[照明装置300の構成例]
図3は、照明装置300の外観例を示す斜視図である。同図に示す照明装置300は、携帯に適した形状の本体部301と、不可視光が照射されるヘッド部302とを備える。このように、照明装置300は、携帯に対応する外形を有している。
[Configuration Example of Lighting Device 300]
FIG. 3 is a perspective view showing an example of the appearance of the
照明装置300の本体部301の上面部には、オンオフスイッチ303とインジケータ304が備えられている。
オンオフスイッチ303は、照明装置300が不可視光を出射する状態と、不可視光を出射しない状態とで切り替える操作が行われるスイッチである。
照明装置300の電源がオフの状態においてオンオフスイッチ303を操作することにより電源がオンとなり、照明装置300のヘッド部302から不可視光が出射される。このとき不可視光は、同図の矢印AXで示す方向に沿って放射状に出射される。また、照明装置300の電源がオンの状態においてオンオフスイッチ303を操作すると電源がオフとなり不可視光の出射が停止する。
An on / off
The on / off
When the
インジケータ304(出射状態報知部の一例)は、照明装置300の不可視光出射部から不可視光が出射されている状態と不可視光を出射していない状態とのいずれの状態であるのかを報知する。具体的に、インジケータ304は、例えば不可視光が出射されている状態のときには発光し、不可視光が出射されていない状態のときには発光しないように動作する。インジケータ304は、例えば可視光に対応するLED(Light Emitted Diode)を備えて構成することができる。
The indicator 304 (an example of the emission state notification unit) notifies whether the invisible light is emitted from the invisible light emission unit of the
不可視光は人には見えない。このために、照明装置300の場合には、可視光を出射する懐中電灯などのように、光の出射の有無を視覚的に確認することができない。そこで、本実施形態においては、インジケータ304を設けることで、照明装置300が不可視光を出射している状態であるか否かをユーザが視覚的に確認できるようにしている。
Invisible light is invisible to humans. For this reason, in the case of the
なお、インジケータ304は、発光以外の態様により不可視光が出射しているか否かを示すように構成されてもよい。例えば、オンオフスイッチ303についてスライドスイッチなどを採用する。そのうえで、インジケータ304としては、スライドスイッチが物理的にスライドされるのに連動して、本体部301において形成された窓部から表出して見える色が切り替わるような構成としてもよい。
The
図4は、照明装置300の構成例を示すブロック図である。なお、同図において図3と同一部分には同一符号を付して説明を省略する。
同図に示すように、照明装置300は、オンオフスイッチ303、インジケータ304、制御回路311、バッテリ312、不可視光出射部313及び照射範囲調整部314を備える。
制御回路311は、不可視光出射部313からの不可視光の出射と、インジケータ304の発光を制御する回路である。
バッテリ312は、照明装置300に内蔵される電源である。バッテリ312は、一次電池であってもよいし、二次電池であってもよい。
FIG. 4 is a block diagram illustrating a configuration example of the
As shown in the figure, the
The
The
不可視光出射部313は、赤外光を出射する部位である。不可視光出射部313は、赤外線LED313aと光学系部313bとを備える。
赤外線LED313aは、駆動電流の供給に応じて赤外光を発する。光学系部313bは、例えばレンズや、リフレクタなどを備えて構成される部位であり、例えばヘッド部302(図3)において設けられる。赤外線LED313aから発せられた赤外光は、光学系部313bを介することで、図3にて示したように矢印AXで示す光軸方向に沿って放射状に出射される。
The invisible
The
オンオフスイッチ303は、同図に示すように、バッテリ312から制御回路311に電源を供給するラインに挿入されるように設けられる。オンオフスイッチ303がオンとなるのに応じてバッテリ312から制御回路311に電源が供給される。
制御回路311は、電源の供給に応じて、赤外線LED313aに駆動電流を供給する。このように電源の供給に応じて、赤外線LED313aに駆動電流が流れることで、不可視光出射部313から赤外光が出射される。また、制御回路311は、電源の供給に応じて、インジケータ304にも駆動電流を供給する。インジケータ304におけるLEDは、駆動電流により発光する。
このように制御回路311が動作することで、オンオフスイッチ303の操作によって電源がオンとなるのに応じて、赤外光が出射されるとともにインジケータ304が発光して赤外光が出射されている状態であることを示す。
The on / off
The
By operating the
また、照射範囲調整部314は、例えば光学系部313bにおけるリフレクタの角度などを調整することにより、光学系部313bから出射される赤外光の照射範囲を調整する。例えば、例えば図3において矢印Fで示すように、ヘッド部302を回転させることにより、照射範囲調整部314としての機構が動作し、ヘッド部302の回転角度に応じて赤外光の照射範囲が変更される。
なお、照射範囲調整部314は省略されてもよい。照射範囲調整部314が省略された場合、不可視光の照射範囲は固定となる。
Further, the irradiation
Note that the irradiation
[画像処理装置の構成例]
図5のブロック図を参照して画像処理装置500の構成例について説明する。同図に示す画像処理装置500は、入出力部501、制御部502及び記憶部503を備える。
[Configuration example of image processing apparatus]
A configuration example of the
入出力部501は、撮像装置400から出力された撮像画像を入力する。また、入出力部501は、スクリーン100にて表示されるべき画像をプロジェクタ200に出力する。スクリーン100にて表示されるべき画像には、前述のように主画像に対して副画像が合成された合成画像が含まれる。つまり、本実施形態の入出力部501(出力部の一例)は、合成画像がプロジェクタ200によってスクリーンに画像光として投影されるように合成画像を出力する。
The input /
制御部502は、画像処理装置500における各種制御を実行する。同図の制御部502は、マスク領域検出部521と画像合成部522とを備える。
The
マスク領域検出部521は、撮像装置400がスクリーン100を撮像して得られた撮像画像においてスクリーン100に投影された赤外光に対応するマスク領域を検出する。
画像合成部522は、マスク領域検出部521により検出されたマスク領域に基づいて複数の画像を合成する。具体的に、画像合成部522は、主画像においてマスク領域が対応する領域に対して、副画像においてマスク領域が対応する領域の画像を合成する。
画像合成部522は、生成した合成画像を入出力部501からプロジェクタ200に出力する。これにより、合成画像がプロジェクタ200によりスクリーン100に投影され、スクリーン100にて画像として表示される。
The mask
The
The
記憶部503は、制御部502が利用する各種の情報を記憶する。同図に示す記憶部503は、画像合成部522が利用する情報を記憶する部位として、主画像記憶部531及び副画像記憶部532を備える。
The
主画像記憶部531は、主画像を記憶する。主画像は静止画であってもよいし動画であってもよい。主画像は、スクリーン100の画面全体において主画面として表示される画像である。
副画像記憶部532は、副画像を記憶する。副画像は静止画であってもよいし動画であってもよい。副画像は、主画像に合成される画像である。
The main
The sub
ここで、主画像と副画像の内容の具体例について説明する。また、ここでの具体例は、本実施形態の画像処理システムにより、以下に説明する第1表示モード〜第3表示モードのいずれかによるインタラクティブ表示が可能である場合を挙げる。 Here, a specific example of the contents of the main image and the sub-image will be described. Further, a specific example here is a case where interactive display in any one of a first display mode to a third display mode described below is possible by the image processing system of the present embodiment.
第1表示モードでは、スクリーン100に、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザYが、照明装置300によってスクリーン100に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域IRAが形成されている領域に対応する古地図上の位置に、現在の地図(現代地図)が比較対象として表示されるというものである。つまり、第1表示モードのもとでは、ユーザは古地図における任意の場所を現代地図と比較することができる。
In the first display mode, an old map of a certain area created at a certain past time is displayed on the
また、第2表示モードにおいても、スクリーン100には、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザYが、照明装置300によってスクリーン100に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域IRAが形成されている領域に対応する古地図上の位置に、対応の位置の古地図が拡大された画像が表示されるというものである。つまり、第2表示モードのもとでは、ユーザの操作によって主画像における任意の位置の古地図を拡大することができる。
Also in the second display mode, an old map of a certain area created at a certain past time is displayed on the
また、第3表示モードも、スクリーン100には、過去の或る時期において作成された或る地域の古地図が主画像として表示される。そして、ユーザYが、照明装置300によってスクリーン100に表示された古地図上の任意の場所に対して赤外光を投影させると、赤外光投影領域IRAが形成されている領域に対応する古地図上の位置に、古地図の作成のために測量者が測量を行ったときの軌跡(測量軌跡)が表示されるというものである。つまり、第3表示モードのもとでは、古地図上に測量軌跡を表示させることができる。
In the third display mode, an old map of a certain area created in a certain past time is displayed on the
第1表示モード〜第3表示モードにおいて、主画像記憶部531が記憶する主画像は、所定のサイズ(水平画素数×垂直画素数)による古地図の画像で共通である。
一方、副画像は、第1表示モード〜第3表示モードのそれぞれに応じて以下のように異なる。
つまり、第1表示モードの場合には、副画像は、主画像としての古地図の画像と同じサイズを有する現代地図の画像である。
また、第2表示モードの場合には、副画像は、例えば主画像としての古地図の画像に対して所定倍のサイズを有する古地図の画像である。
また、第3表示モードの場合には、副画像は、例えば主画像としての古地図の画像と同じサイズを有する測量軌跡が表された画像である。
In the first display mode to the third display mode, the main image stored in the main
On the other hand, the sub-image differs as follows according to each of the first display mode to the third display mode.
That is, in the first display mode, the sub-image is a modern map image having the same size as the old map image as the main image.
In the second display mode, the sub-image is, for example, an image of an old map having a predetermined size with respect to the image of the old map as the main image.
In the case of the third display mode, the sub-image is an image representing a survey trajectory having the same size as the image of the old map as the main image, for example.
本実施形態の画像処理装置500では、副画像記憶部532に、第1表示モード〜第3表示モードの各表示モードに応じたそれぞれに応じた副画像が記憶される。これにより、画像処理装置500は、第1表示モード〜第3表示モードの間で表示モードを任意に選択して切り替えることができる。
具体的に、画像処理装置500は、例えば予め定めた一定時間が経過するごとに表示モードを切り替えることができる。あるいは、画像処理装置500は、主画像が動画である場合には、動画としての主画像の再生を繰り返すようにされたうえで、主画像の再生が開始されるタイミングで表示モードを切り替えることができる。
In the
Specifically, the
[マスク検出処理例]
続いて、図6を参照して、画像処理装置500におけるマスク領域検出部521が実行するマスク処理の手順の一例について説明する。なお、以降の説明にあたり、本実施形態における画像処理装置500は、60fps(frame per second)のフレームレートに対応して画像処理を行うように構成された場合を例に挙げる。
図6(A)には、撮像装置400により撮像され、入出力部501を介して入力された1フレーム分の撮像画像P1が示されている。同図の撮像画像P1においては、スクリーン100に投影された赤外光投影領域IRAに対応する赤外光対応領域AR1が含まれている。
[Mask detection processing example]
Next, with reference to FIG. 6, an example of a mask processing procedure executed by the mask
FIG. 6A shows a captured image P1 for one frame captured by the
本実施形態の撮像装置400により撮像される撮像画像P1は、同図に示すようにレンズなどの光学系の歪みに応じて全体が歪んでいる。また、図1の構成の場合、撮像装置400はスクリーン100の背面から撮像していることから、スクリーン100を撮像して得られる撮像画像は、スクリーン100の前面側から観察される画像に対して左右が反転している。
The captured image P1 captured by the
そこで、マスク領域検出部521は、撮像画像P1について、歪み補正を行う。撮像画像P1がどのように歪みを生ずるのかについては、例えば撮像装置400の光学系の特性に応じて既知であることから、予め定めたアルゴリズムによって補正を行えばよい。
歪み補正によって、撮像画像P1は、図6(B)に示すように画像の形状についての歪みが補正された撮像画像P2が得られる。
ここで、撮像画像P2の縦横比は、主画像の縦横比と一致している。例えば撮像画像P1の歪み補正を行う過程においては、撮像画像P2の縦横比を主画像の縦横比と一致させるための補正処理(サイズ対応補正)も行われてもよい。
なお、補正処理として、左右反転補正を行った後に歪み補正を行ってもよい。
Therefore, the mask
By the distortion correction, the captured image P1 is obtained as a captured image P2 in which the distortion of the shape of the image is corrected as shown in FIG. 6B.
Here, the aspect ratio of the captured image P2 matches the aspect ratio of the main image. For example, in the process of correcting the distortion of the captured image P1, a correction process (size correspondence correction) for matching the aspect ratio of the captured image P2 with the aspect ratio of the main image may be performed.
In addition, as a correction process, you may perform distortion correction after performing left-right inversion correction.
次に、マスク領域検出部521は、撮像画像P2の左右を反転させる補正(左右反転補正)を行う。左右反転補正が行われることによって、撮像画像P2は、図6(C)に示す撮像画像P3となり、スクリーン100を前面から観察して得られる画像と同じ向きになる。
Next, the mask
次に、マスク領域検出部521は、撮像画像P3においてマスク領域を検出する処理を行う。検出対象となるマスク領域は、撮像画像P3においてスクリーン100に投影された不可視光に対応する領域、即ち、赤外光対応領域AR1である。
マスク領域検出部521は、以下のようにマスク領域を検出する。ここで、撮像画像P3は、グレースケールによる画像であり、赤外光対応領域AR1の領域は周囲よりも輝度(画素値)が高い。そこで、マスク領域検出部521は、撮像画像P3において、予め定めた閾値以上の画素値の画素が集合した領域をマスク領域として検出する。
Next, the mask
The mask
具体的には、マスク領域検出部521は、撮像画像P3を形成する画素ごとの画素値を入力画素値として、各入力画素値を所定の画素値変換アルゴリズムに従って出力画素値に変換する処理を行うことによってマスク領域を検出する。
図7は画素値変換アルゴリズムを模式的に示している。同図によれば、マスク領域検出部521は、第1閾値th1未満の入力画素値を、「0(ゼロ)」の出力画素値に変換する。そして、マスク領域検出部521は、第1閾値th1の入力画素値を「0」より大きい所定の出力画素値に変換する。マスク領域検出部521は、「0」より大きい出力画素値を有する画素の集合による領域、即ち、入力画素値が第1閾値th1以上の画素の集合による領域をマスク領域として検出する。
そのうえで、マスク領域検出部521は、第2閾値th2より大きい入力画素値を、最大値の出力画素値に変換する。
また、マスク領域検出部521は、第1閾値th1以上から第2閾値th2以下の範囲の入力画素値については、入力画素値に応じた「0」から最大値までの出力画素値に変換する。
Specifically, the mask
FIG. 7 schematically shows a pixel value conversion algorithm. According to the figure, the mask
In addition, the mask
In addition, the mask
図7の画素値変換アルゴリズムが行われることによって、図6(C)の撮像画像P3は、図6(D)の基準画像P4に変換される。基準画像P4においては、撮像画像P3の赤外光対応領域AR1以外に対応する領域が「0」の出力画素値により黒色となっている。そして、基準画像P4において、撮像画像P3の赤外光対応領域AR1に対応する領域は、「0」より大きい出力画素値が集合している。このように、基準画像P4において、「0」より大きい出力画素値(第1閾値th1以上の入力画素値)の画素が集合した領域がマスク領域MSKである。 By performing the pixel value conversion algorithm in FIG. 7, the captured image P3 in FIG. 6C is converted into the reference image P4 in FIG. 6D. In the reference image P4, a region corresponding to the captured image P3 other than the infrared light corresponding region AR1 is black due to an output pixel value of “0”. In the reference image P4, output pixel values larger than “0” are gathered in the region corresponding to the infrared light corresponding region AR1 of the captured image P3. As described above, in the reference image P4, a region where pixels having an output pixel value larger than “0” (an input pixel value greater than or equal to the first threshold th1) is a mask region MSK.
また、赤外光投影領域IRAは中心から周辺にいくほど光量が低下する。これに伴い、撮像画像P3の赤外光対応領域AR1は、中央から縁側に近づくに従って輝度(画素値)が低下していく。つまり、赤外光対応領域AR1の縁側は、第1閾値th1以上から第2閾値th2以下の範囲に該当する入力画素値を有する画素が多く存在する。このために、基準画像P4における縁部BDにおいては、「0」から最大値の間の中間的な出力画素値を有する画素が多く存在している。
本実施形態のマスク領域検出部521は、図6(D)に示されるような基準画像を生成することにより、マスク領域を検出する。
Further, the amount of light in the infrared light projection area IRA decreases from the center to the periphery. Accordingly, the brightness (pixel value) of the infrared light corresponding area AR1 of the captured image P3 decreases as it approaches the edge side from the center. That is, on the edge side of the infrared light corresponding area AR1, there are many pixels having input pixel values corresponding to the range from the first threshold th1 to the second threshold th2. For this reason, in the edge BD in the reference image P4, there are many pixels having an intermediate output pixel value between “0” and the maximum value.
The mask
[画像合成処理の手順例]
続いて、図8を参照して、古地図の画像上の不可視光が投影された領域に対して、地図上で同じ場所の現代地図の画像を合成して表示する第1表示モードに応じて画像処理装置500における画像合成部522が実行する画像合成処理の手順例について説明する。
以下に説明する画像合成処理は、図6及び図7にて説明した処理によってマスク領域検出部521により得られた基準画像P4を利用した1フレーム分に対応する画像処理である。
[Example of image composition processing]
Next, referring to FIG. 8, in accordance with the first display mode in which an image of a modern map at the same location on the map is combined and displayed on an area where invisible light is projected on the image of the old map. A procedure example of the image composition process executed by the
The image composition processing described below is image processing corresponding to one frame using the reference image P4 obtained by the mask
画像合成部522は、図8(A)に示されるように、マスク領域検出部521によるマスク領域の検出結果である基準画像P4を入力する。また、画像合成部522は、図8(B)に示されるように、副画像記憶部532から、第1表示モードに対応する副画像SB1を取得する。基準画像P4の縦横比は、前述のように補正処理の段階で主画像と一致するように補正が行われている(サイズ対応補正)。なお、副画像SB1のサイズは、主画像のサイズと同じである。
As shown in FIG. 8A, the
画像合成部522は、副画像SB1を対象画像として、基準画像P4におけるマスク領域MSK以外の領域をマスクし、マスク領域MSKに含まれる領域を抽出するようにしてマスク処理を行う。
このようなマスク処理の結果、図8(C)に示すように、副画像SB1はマスク領域MSKに対応する領域において画像が表示され、マスク領域MSK以外の領域が非表示(例えば白レベル)となる。
The
As a result of such mask processing, as shown in FIG. 8C, the sub-image SB1 is displayed in an area corresponding to the mask area MSK, and the area other than the mask area MSK is not displayed (for example, white level). Become.
次に、画像合成部522は、図8(D)に示すように、主画像記憶部531から主画像MNを入力する。そして、主画像MNに対して、マスク領域MSKに対応する領域のみが表示された図8(C)の副画像SB1を重ね合わせるようにして合成する。この結果、図8(E)に示すように、主画像MNに対してマスク領域MSKと同じ位置の副画像SB1の抽出画像EXが重畳して表示された合成画像PSHが生成される。
Next, the
また、「0」から最大値の間の中間画素値が密集して存在する抽出画像EXの縁部BDにおける画素は、画素値に応じて同じ位置における合成比率が変更されたうえで主画像の画素との合成が行われる。このために、抽出画像EXにおいて、中心部は副画像の内容が明確に現れているが、縁部BD近傍は背景の主画像が透けて見えるように透明度を有した状態で表示される。
また、基準画像P4の縁部BDにおける画素値は、外周となるほど小さくなる傾向にある。このため、合成画像PSHにおける抽出画像EXは縁部BDの外側になるほど透明度が高くなっていく。
Further, the pixels in the edge BD of the extracted image EX in which intermediate pixel values between “0” and the maximum value exist densely are changed in the composition ratio at the same position in accordance with the pixel value. Synthesis with the pixel is performed. For this reason, in the extracted image EX, the content of the sub-image clearly appears at the center, but the vicinity of the edge BD is displayed with transparency so that the background main image can be seen through.
Further, the pixel value at the edge BD of the reference image P4 tends to be smaller as the outer circumference is reached. For this reason, the transparency of the extracted image EX in the composite image PSH increases as it goes outside the edge BD.
そして、図8(E)の合成画像PSHがスクリーン100に表示された場合には、ユーザYは、自分が照明装置300により不可視光を投影させているスクリーン100上の領域において、古地図に代えて同じ地図上の場所の現代地図が表示された状態を観察できる。つまり、第1表示モードとしての表示が実現される。
また、このように表示される合成画像PSHにおける抽出画像EXは、縁部BDの外側になるほど透明度が高くなっていることから、主画像MNとの境界が曖昧になるようにして見える。このように抽出画像EXと主画像MNとの境界が曖昧となるように表現されることで、スクリーン100にて表示される主画像上に表示される抽出画像EXの見え方を自然なものとすることができる。
When the composite image PSH of FIG. 8E is displayed on the
In addition, the extracted image EX in the composite image PSH displayed in this way has higher transparency as it goes out of the edge BD, so that the boundary with the main image MN appears to be ambiguous. As described above, the boundary between the extracted image EX and the main image MN is expressed so as to be ambiguous, so that the appearance of the extracted image EX displayed on the main image displayed on the
図9のフローチャートを参照して図6及び図7により説明したマスク領域検出と図8により説明した画像合成処理に対応して画像処理装置500が実行する処理手順例について説明する。なお、同図に示す処理は、1フレームに対応する画像処理となる。
A processing procedure example executed by the
まず、マスク領域検出部521は、処理対象としてのフレームの撮像画像を入力する(ステップS101)。
次に、マスク領域検出部521は、撮像画像の補正(歪み補正、左右反転補正及びサイズ対応補正)を行う(ステップS102)。
First, the mask
Next, the mask
次に、マスク領域検出部521は、ステップS102により補正された撮像画像を利用して、マスク領域MSKを検出する(ステップS103)。具体的には、マスク領域検出部521は、図6にて説明したように、撮像画像P3の各画素の画素値(入力画素値)を図7に例示した画素値変換アルゴリズムによって出力画素値に変換することによって基準画像P4を生成する。
Next, the mask
次に、画像合成部522は、図8(A)、図8(B)にて説明したように、ステップS103によるマスク領域の検出結果として得られた基準画像P4と副画像SB1とを入力する。そして、画像合成部522は、副画像SB1について、図8(C)にて説明したように、基準画像P4のマスク領域MSKが対応する領域の画像を抽出するようにマスク処理を行う(ステップS104)。
Next, as described with reference to FIGS. 8A and 8B, the
次に画像合成部522は、図8(E)にて説明したように、ステップS104によるマスク処理が行われた副画像SB1を主画像MNに合成して、合成画像PSHを生成する(ステップS105)。
マスク領域検出部521と画像合成部522は、上記のようにフレームごとにステップS101〜S105の処理を実行して合成画像PSHを生成する。そして、画像合成部522は、合成画像PSHをフレーム画像とする画像信号を入出力部501からプロジェクタ200に出力させる。
Next, as described in FIG. 8E, the
The mask
なお、画像合成部522が、第3表示モードに対応した測量軌跡の副画像を利用して、図8及び図9と同様の手順による画像処理を行うことで、第1表示モードとしての表示を実現することができる。
The
また、上記の図8及び図9による説明では、スクリーン100において1つの赤外光投影領域IRAが形成されていたことに応じて、撮像画像から1つのマスク領域が検出された場合を例に挙げている。
しかし、第1表示モードと第3表示モードは、マスク処理により主画像に副画像を合成するという処理により実現される。従って、第1表示モードと第3表示モードでは、撮像画像から複数のマスク領域が検出された場合においても、図8に示した処理により、各マスク領域に応じて主画像に副画像を合成させた合成画像が生成される。従って、照明装置300を操作するユーザ数については特に限定されることがない。
Further, in the description with reference to FIGS. 8 and 9 described above, a case where one mask area is detected from the captured image in accordance with the fact that one infrared light projection area IRA is formed on the
However, the first display mode and the third display mode are realized by a process of combining the sub-image with the main image by the mask process. Therefore, in the first display mode and the third display mode, even when a plurality of mask areas are detected from the captured image, the sub-image is combined with the main image according to each mask area by the process shown in FIG. A composite image is generated. Therefore, the number of users who operate the
次に、図10を参照して、古地図の画像上の不可視光が投影された領域に対して、同じ地図上の場所の古地図の拡大図を合成して表示する第2表示モードに応じて画像合成部522が実行する画像合成処理の手順例について説明する。
以下に説明する画像合成処理は、図6及び図7にて説明した処理によってマスク領域検出部521により得られた基準画像P4を利用した1フレーム分に対応する画像処理である。
Next, referring to FIG. 10, in response to the second display mode in which an enlarged view of the old map at the same map location is synthesized and displayed on the area where the invisible light on the old map image is projected. A procedure example of the image composition processing executed by the
The image composition processing described below is image processing corresponding to one frame using the reference image P4 obtained by the mask
画像合成部522は、図10(A)に示されるように、マスク領域検出部521によるマスク領域の検出結果である基準画像P4を入力する。
また、画像合成部522は、図10(B)に示されるように、副画像記憶部532から、第2表示モードに対応する副画像SB2を取得する。副画像SB2は、前述のように主画像を拡大した画像を表示するために使用される。同図では、主画像の縦方向及び横方向をそれぞれ200%の倍率により拡大した副画像を表示する場合を例に挙げる。この場合、副画像SB2は、主画像の縦方向のサイズ(画素数)をX、主画像の横方向のサイズをYとすると、副画像SB2は、2X×2Yのサイズを有する。
なお、第2表示モードにおける主画像に対する副画像の倍率は特に限定されない。また、副画像の倍率は、1より大きい数値であってもよいし、1より小さい数値であってもよい。つまり、第2表示モードにより副画像として縮小画像を表示してもよい。
As shown in FIG. 10A, the
In addition, the
The magnification of the sub image with respect to the main image in the second display mode is not particularly limited. Further, the sub-image magnification may be a numerical value larger than 1 or a numerical value smaller than 1. That is, a reduced image may be displayed as a sub image in the second display mode.
ここで、図10(A)の基準画像P4は、主画像とX×Yのサイズを有する。これに対して、副画像SB2は、2X×2Yによるサイズを有する。そこで、本実施形態における画像合成部522は、主画像においてマスク領域MSKに対応する位置に同じ地図上の位置の拡大図を表示させるために、副画像SB2においてマスク領域MSKが対応する位置を特定する。
副画像SB2においてマスク領域MSKが対応する位置を特定するにあたり、画像合成部522は、図10(A)に示すように、基準画像P4におけるマスク領域MSKの重心座標GT1を算出する。
次に、画像合成部522は、図10(B)に示すように、副画像SB2において、重心座標GT1に対応する補助重心座標GT2を算出する。補助重心座標GT2は、基準画像P4を2倍に拡大して副画像SB2と同じサイズとした場合に、重心座標GT1と一致する副画像SB2上の座標である。
Here, the reference image P4 in FIG. 10A has a size of X × Y with the main image. On the other hand, the sub-image SB2 has a size of 2X × 2Y. Therefore, the
In specifying the position corresponding to the mask area MSK in the sub-image SB2, the
Next, as shown in FIG. 10B, the
画像合成部522は、補助重心座標GT2が求められた副画像SB2において、マスク領域MSKが対応する位置を求める。このために、画像合成部522は、基準画像P4からマスク領域MSKを重心座標GT1とともに抽出する。そして、画像合成部522は、図10(C)に示すように、抽出したマスク領域MSKを、重心座標GT1と補助重心座標GT2とが一致するようにして副画像SB2に対して重ね合わせる。
そのうえで、画像合成部522は、同じ図10(C)に示すように、副画像SB2についてマスク領域MSK以外の領域をマスクし、マスク領域MSKが重ね合わされた領域の画像を抽出するようにマスク処理を行う。このようなマスク処理によって、副画像SB2から、マスク領域MSKが重ね合わされた抽出画像EXに含まれる画像部分が抽出される。
The
In addition, as shown in FIG. 10C, the
次に、画像合成部522は、図10(D)に示すように、第2表示モードに対応の主画像MNを主画像記憶部531から取得する。前述のように、主画像MNのサイズは、基準画像P4と同じく、X×Yである。
画像合成部522は、取得した主画像MNと図10(A)の基準画像P4とを重ね合わせた際に主画像MNにおいてマスク領域MSKが対応する領域に、図10(C)で説明したマスク処理によって抽出された抽出画像EXが合成される。
上記の合成処理によって、画像合成部522は、図10(E)に示されるように、主画像MNに対してマスク領域MSKと同じ位置の副画像SB2の抽出画像EXが重畳して表示された合成画像PSHが生成される。
Next, the
When the acquired main image MN and the reference image P4 in FIG. 10A are superimposed, the
As a result of the above-described combining process, the
また、第2表示モードの場合においても、「0」から最大値の間の中間画素値が多く存在する抽出画像EXの縁部BDにおける画素は、画素値に応じて同じ位置における合成比率が変更されたうえで主画像の画素との合成が行われる。 Also in the second display mode, the composition ratio at the same position of the pixels in the edge BD of the extracted image EX where there are many intermediate pixel values between “0” and the maximum value is changed according to the pixel value. After that, composition with the pixels of the main image is performed.
そして、図10(E)の合成画像PSHがスクリーン100に表示された場合には、ユーザYは、主画像に基づく標準の縮尺の古地図が表示されたスクリーン100上で、自分が照明装置300により不可視光を投影させている領域において、標準に対して2倍の縮尺により拡大された古地図が表示された状態を観察できる。つまり、第2表示モードとしての表示が実現される。
また、このように表示される合成画像PSHにおける抽出画像EXについても、縁部BDの外側になるほど透明度が高くなっており、主画像MNとの境界は曖昧となるようにされている。
When the composite image PSH of FIG. 10E is displayed on the
In addition, the extracted image EX in the composite image PSH displayed in this way also has higher transparency as it goes outside the edge BD, and the boundary with the main image MN is made ambiguous.
図11のフローチャートを参照して、図10により説明した画像合成処理に対応して画像処理装置500が実行する処理手順例について説明する。なお、同図に示す処理は、1フレームに対応する画像処理となる。また、図10では、説明を分かりやすくすることの便宜上、撮像画像から1つのマスク領域が検出された場合に応じた基本的な画像合成処理について説明したが、図11のフローチャートでは、複数のマスク領域が検出された場合に対応した画像合成処理の手順例について説明する。
With reference to the flowchart of FIG. 11, an example of a processing procedure executed by the
同図において、ステップS201〜S203の処理は、図9のステップS101〜S103と同様に、マスク領域検出部521がマスク領域を検出するために実行する処理である。つまり、マスク領域を検出する処理の手順は、第1表示モード及び第3表示モードと、第2表示モードとで共通である。ステップS201〜S203によっては、撮像画像から複数のマスク領域が検出される場合がある。
In the same figure, the process of step S201-S203 is a process performed in order that the mask area |
次に、画像合成部522は、図10(A)にて説明したように、ステップS203によるマスク領域の検出結果として得られる基準画像P4におけるマスク領域MSKの重心座標GT1を算出する(ステップS204)。ここで、基準画像P4において複数のマスク領域MSKが存在する場合(複数のマスク領域MSKが検出された場合)、画像合成部522は、複数のマスク領域MSKごとの重心座標GT1を算出する。
Next, as described with reference to FIG. 10A, the
また、画像合成部522は、基準画像P4に存在するマスク領域MSKごとにラベリングを行う(ステップS205)。ラベリングによって、基準画像P4に複数のマスク領域MSKが存在する場合、複数のマスク領域MSKについて弁別が行われる。なお、ラベリングの処理に際しては、例えば基準画像P4の2値化が行われる。さらにラベリングの処理にあたり、処理負荷の軽減のために、例えばサイズ(解像度)を小さくする処理を行ってもよい。
そのうえで、画像合成部522は、ステップS206によりラベリングを行ったマスク領域MSKごとに付されるラベル番号を示す変数nに、初期値として「0」を代入する(ステップS206)。この場合のラベル番号は「0」から昇順に従って付される。
Further, the
In addition, the
次に、画像合成部522は、図10(B)にて説明したように、副画像SB2においてラベル番号nのマスク領域の重心座標GT1に対応する補助重心座標GT2を算出する(ステップS207)。
次に、画像合成部522は、図10(C)にて説明したように、副画像SB2に、ステップS207により算出された補助重心座標GT2を基準としてラベル番号nのマスク領域MSKを重ね合わせる。そして、画像合成部522は、副画像SB2においてラベル番号nのマスク領域MSKに対応する領域の画像部分を抽出画像EXとして抽出する(ステップS208)。
次に、画像合成部522は、図19(E)にて説明したように、主画像MNにおいてラベル番号nのマスク領域MSKが対応する領域に、ステップS208により抽出された抽出画像EXを合成する(ステップS209)。
ステップS207による補助重心座標の算出と、ステップS208及びS209によるマスク処理とによって、n番目のマスク領域に対応する1つの抽出画像EXが主画像MNに対して合成される。
Next, as described with reference to FIG. 10B, the
Next, as described with reference to FIG. 10C, the
Next, as described with reference to FIG. 19E, the
One extracted image EX corresponding to the nth mask region is synthesized with the main image MN by calculating the auxiliary barycentric coordinates in step S207 and the mask processing in steps S208 and S209.
ステップS209の処理を終了すると、画像合成部522は、変数nをインクリメントする(ステップS210)。画像合成部522は、ステップS210によりインクリメントされた変数nが最大値より大きいか否かについて判定する(ステップS211)。
変数nが最大値以下である場合(ステップS211−NO)、まだマスク処理(主画像MNに対する抽出画像EXの合成)が行われていないマスク領域MSKが残っている。そこで、この場合の画像合成部522は、ステップS207に処理を戻す。これにより、マスク領域MSKごとに対応してラベル番号nに従ってマスク処理が行われていく。
When the process of step S209 ends, the
If the variable n is less than or equal to the maximum value (step S211-NO), there remains a mask area MSK that has not yet been subjected to mask processing (combination of the extracted image EX with respect to the main image MN). Therefore, the
そして、全てのマスク領域MSKに対応するマスク処理が完了すると、変数nが最大値より大きくなったことが判定される(ステップS211−YES)。ステップS211にて変数nが最大値より大きくなったことが判定された段階では、ステップS203により検出された全てのマスク領域MSKごとに応じて、副画像SB2から抽出した抽出画像EXの合成が行われた合成画像PSHが生成されている。
以降において、マスク領域検出部521と画像合成部522は、1フレームごとのタイミングに応じて、ステップS201〜S211による処理を実行する。そして、画像合成部522は、合成画像PSHをフレーム画像とする画像信号を、表示用の画像信号として入出力部501からプロジェクタ200に出力させる。
When the mask processing corresponding to all the mask areas MSK is completed, it is determined that the variable n has become larger than the maximum value (step S211—YES). When it is determined in step S211 that the variable n has become larger than the maximum value, the extracted image EX extracted from the sub-image SB2 is combined for every mask area MSK detected in step S203. A broken composite image PSH is generated.
Thereafter, the mask
これまでの説明から理解できるように、本実施形態においては、ユーザが照明装置300を入力デバイスとして使用して赤外光をスクリーン100に投影させて赤外光投影領域IRAをスクリーン100形成することで、領域を指定する操作を行うことができる。
つまり、本実施形態においては、領域を指定するにあたり、ユーザは、照明装置300によりスクリーン100に不可視光を投影させるという簡単な操作を行えばよく、座標の移動軌跡を描いて領域の輪郭を形成するといったような操作を行う煩わしさがない。
As can be understood from the above description, in the present embodiment, the user projects the infrared light onto the
In other words, in this embodiment, when designating a region, the user only needs to perform a simple operation of projecting invisible light onto the
また、本実施形態においては、図12に例示するように、指定する領域の大きさと形状を簡単に変更することができる。
図12(A)においては、スクリーン100に対して、3つの照明装置300−1、300−2及び300−3から赤外光が投影された状態を平面方向から示している。なお、同図の説明にあたり、照明装置300−1、300−2及び300−3について特に区別しない場合には照明装置300と記載する。
In the present embodiment, as illustrated in FIG. 12, the size and shape of the designated area can be easily changed.
In FIG. 12A, a state in which infrared light is projected from the three illumination devices 300-1, 300-2, and 300-3 onto the
また、図12(B)には、照明装置300−1、300−2及び300−3のそれぞれから投影された赤外光によって赤外光投影領域が形成された状態のスクリーン100を前面側から見た図である。
同図において、赤外光投影領域IRA−1は、照明装置300−1から投影された赤外光によって形成されたものである。赤外光投影領域IRA−2は、照明装置300−2から投影された赤外光によって形成されたものである。赤外光投影領域IRA−3は、照明装置300−3から投影された赤外光によって形成されたものである。なお、同図の説明にあたり、赤外光投影領域IRA−1、IRA−2、IRA−3について特に区別しない場合には、赤外光投影領域IRAと記載する。
FIG. 12B shows the
In the drawing, an infrared light projection area IRA-1 is formed by infrared light projected from the illumination device 300-1. The infrared light projection area IRA-2 is formed by infrared light projected from the illumination device 300-2. The infrared light projection area IRA-3 is formed by infrared light projected from the illumination device 300-3. In the description of the figure, the infrared light projection areas IRA-1, IRA-2, and IRA-3 are described as infrared light projection areas IRA unless otherwise distinguished.
ここで、照明装置300−1からスクリーン100までの距離ds1と、照明装置300−2からスクリーン100までの距離ds2とを比較した場合、距離ds1の方が長い。そして、照明装置300から出射された不可視光は、或る照射角に従って放射状に拡がっていく。
このため、図12(B)に示されるように、照明装置300−1に対応する赤外光投影領域IRA−1と照明装置300−2に対応する赤外光投影領域IRA−2とを比較した場合には、赤外光投影領域IRA−1の方が大きい。
つまり、本実施形態においては、ユーザがスクリーン100の前において前後方向に移動して照明装置300からスクリーン100までの距離を変化させることで、指定する領域のサイズを簡単に変更することができる。
Here, when the distance ds1 from the lighting device 300-1 to the
Therefore, as shown in FIG. 12B, the infrared light projection area IRA-1 corresponding to the illumination device 300-1 is compared with the infrared light projection area IRA-2 corresponding to the illumination device 300-2. In this case, the infrared light projection area IRA-1 is larger.
That is, in this embodiment, the size of the area to be specified can be easily changed by the user moving in the front-rear direction in front of the
また、図12(A)に示すように、照明装置300−1と照明装置300−2は、スクリーン100に対してほぼ正面から赤外光を投影させているのに対して、照明装置300−3は、スクリーン100に対して或る傾斜角度を有した状態で投影されている。
このために、照明装置300−1と照明装置300−2のそれぞれに対応する赤外光投影領域IRA−1、IRA−2は、いずれもほぼ円形となっている。これに対して、照明装置300−3に対応する赤外光投影領域IRA−3は円形から扁平し、横方向に延伸された楕円形となる。
つまり、本実施形態においてはスクリーン100に対する照明装置300からの赤外光の照射角度を変化させることで赤外光投影領域IRAの形状を簡単に変更することができる。
また、赤外光投影領域IRAの形状については、例えば照明装置300のヘッド部302(図3)において赤外光が出射される開口部の一部を、手や板などで遮ることによっても簡単に変更することができる。
In addition, as illustrated in FIG. 12A, the illumination device 300-1 and the illumination device 300-2 project infrared light from the front almost on the
For this reason, both the infrared light projection areas IRA-1 and IRA-2 corresponding to the illumination device 300-1 and the illumination device 300-2 are substantially circular. On the other hand, the infrared light projection area IRA-3 corresponding to the illumination device 300-3 is flattened from a circle and becomes an ellipse extending in the lateral direction.
That is, in the present embodiment, the shape of the infrared light projection area IRA can be easily changed by changing the irradiation angle of the infrared light from the
Further, the shape of the infrared light projection area IRA can be simplified by, for example, blocking a part of the opening from which infrared light is emitted in the head unit 302 (FIG. 3) of the
<第2実施形態>
次に、第2実施形態について説明する。
スクリーン100に形成される赤外光投影領域IRAは、スクリーン100に投影された赤外光がスクリーン100にて拡散することによって形成される。本実施形態におけるスクリーン100は背面投影型のプロジェクタ200に対応しているために或る程度の光透過性を有している。このため、スクリーン100を透過した直接光としての赤外光が強くなるような場合がある。この場合、撮像装置400は、スクリーン100にて拡散した赤外光とともに、スクリーン100にて拡散せずに撮像装置400に直接到達した赤外光も撮像する。
Second Embodiment
Next, a second embodiment will be described.
The infrared light projection area IRA formed on the
上記のようにスクリーン100にて拡散した赤外光とともに直接光としての赤外光が撮像される状態の一例について、図13を参照して説明する。
図13(A)は、スクリーン100の前側において右寄りの位置にて、照明装置300からスクリーン100に対して赤外光を照射している状態を示している。
この場合において、照明装置300から出射された赤外光の光束において、スクリーン100にて拡散する赤外光の範囲を光範囲L1により示し、スクリーン100にて拡散せずにスクリーン100を透過する赤外光の範囲を光範囲L2により示す。
光範囲L1にはスクリーン100の背面にて設置される撮像装置400が含まれていないが、光範囲L2には撮像装置400が含まれている。このような場合、撮像装置400で受ける赤外光としては、スクリーン100にて拡散された赤外光に対して直接光としての赤外光が相対的に強くなる。
An example of a state in which infrared light as direct light is imaged together with infrared light diffused by the
FIG. 13A shows a state in which infrared light is radiated from the
In this case, in the infrared light beam emitted from the
The light range L1 does not include the
上記のようにスクリーン100にて拡散された赤外光に対して直接光としての赤外光が相対的に強くなった場合、撮像装置400がスクリーン100を撮像して得られる撮像画像P3は、図13(B)に示す状態となる。
つまり、撮像画像P3においては、スクリーン100にて拡散した赤外光に応じて赤外光対応領域AR11に加え、直接光としての赤外光に対応する赤外光対応領域AR12が存在する状態となる。
When the infrared light as the direct light is relatively stronger than the infrared light diffused by the
That is, in the captured image P3, in addition to the infrared light corresponding area AR11 according to the infrared light diffused on the
ここで、赤外光対応領域AR11と赤外光対応領域AR12のうち、照明装置300を操作するユーザの意図に対応するのは赤外光対応領域AR11である。従って、この場合には、赤外光対応領域AR11に対応するマスク領域に応じた画像の合成が行われた合成画像が表示されればよい。
しかし、図13(B)に示される撮像画像P3についてマスク領域検出を行った場合には、赤外光対応領域AR11に対応するマスク領域に加え、赤外光対応領域AR12に対応するマスク領域まで検出されてしまう。この場合、スクリーン100には、赤外光対応領域AR11に対応するマスク領域に基づいて副画像が合成された領域だけではなく、赤外光対応領域AR12に対応するマスク領域に基づいて副画像が合成された領域まで表示されてしまう。即ち、この場合には、スクリーン100にユーザの操作に対応しない状態の画像まで表示されてしまうという誤動作が生じる。
Here, of the infrared light corresponding area AR11 and the infrared light corresponding area AR12, the infrared light corresponding area AR11 corresponds to the intention of the user who operates the
However, when the mask area is detected for the captured image P3 shown in FIG. 13B, in addition to the mask area corresponding to the infrared light corresponding area AR11, the mask area corresponding to the infrared light corresponding area AR12 is also reached. It will be detected. In this case, the
上記のような不具合に対する対策の1つは、図7にて説明した第1閾値th1を高く設定することである。第1閾値を高く設定することで、或る程度大きな値の入力画素値についても「0」の出力画素値とすることができる。このため、直接光の入力画素値が第1閾値th1未満であれば、直接光に応じた画像部分をマスク領域として検出しないようにできる。 One of the countermeasures against the above problems is to set the first threshold th1 described in FIG. 7 high. By setting the first threshold value high, an input pixel value having a somewhat large value can be set to an output pixel value of “0”. For this reason, if the input pixel value of the direct light is less than the first threshold th1, it is possible to prevent the image portion corresponding to the direct light from being detected as a mask region.
しかし、例えば撮像装置400にて受光される直接光が相当に強いような場合には、第1閾値th1の調整によって直接光の画像部分がマスク領域として検出されないようにすることが難しくなる。
また、第1閾値th1を高くすることによっては、第1閾値th1から第2閾値th2までの範囲が狭くなることにもつながる。第1閾値th1から第2閾値th2までの範囲が狭くなると、合成画像PSHにおける抽出画像EXと主画像MNとの領域が明確になってくるために見づらくなる場合がある。
However, for example, when the direct light received by the
Also, increasing the first threshold th1 leads to a narrowing of the range from the first threshold th1 to the second threshold th2. If the range from the first threshold th1 to the second threshold th2 becomes narrow, it may be difficult to see because the region of the extracted image EX and the main image MN in the composite image PSH becomes clear.
そこで、本実施形態の画像処理システムは、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去可能なように構成される。直接光としての赤外光に応じた赤外光対応領域がノイズとして除去されれば、直接光としての赤外光に応じた赤外光対応領域に対応したマスク領域を誤検出することが防止される。
そこで、以下、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去するための構成について説明する。
Therefore, the image processing system according to the present embodiment is configured to be able to remove the infrared light corresponding region corresponding to the infrared light as the direct light as noise. If the infrared light corresponding area corresponding to the infrared light as the direct light is removed as noise, it is possible to prevent erroneous detection of the mask area corresponding to the infrared light corresponding area corresponding to the infrared light as the direct light. Is done.
Therefore, hereinafter, a configuration for removing an infrared light corresponding region corresponding to infrared light as direct light as noise will be described.
図14は、本実施形態における画像処理システムの構成例を示している。同図に示すように、本実施形態においては、それぞれ異なる位置からスクリーン100を撮像するように設けられた2つの撮像装置400−1、400−2が備えられる。なお、以降の説明において、撮像装置400−1、400−2について特に区別しない場合には撮像装置400と記載する。
FIG. 14 shows a configuration example of the image processing system in the present embodiment. As shown in the figure, in the present embodiment, two imaging devices 400-1 and 400-2 are provided so as to image the
撮像装置400−1と撮像装置400−2は、一方の撮像装置400が直接光の光範囲L2に含まれている場合に、他方の撮像装置400は直接光の光範囲L2に含まれないようにされた位置関係を有する。撮像装置400−1と撮像装置400−2との間の距離Cdsは、上記の位置関係が得られるように設定される。
同図においては、撮像装置400−1は直接光の光範囲L2に含まれているが、撮像装置400−2は光範囲L2に含まれていない場合が示されている。
In the imaging device 400-1 and the imaging device 400-2, when one
In the drawing, the imaging device 400-1 is included in the light range L2 of direct light, but the imaging device 400-2 is not included in the light range L2.
図15を参照して、本実施形態において、直接光としての赤外光に応じた赤外光対応領域をノイズとして除去するための画像処理の一例について説明する。
同図においては撮像画像P3−1と撮像画像P3−2が示されている。撮像画像P3−1は、図14の撮像装置400−1により撮像して得られた補正後の撮像画像である。撮像画像P3−2は、撮像装置400−2により撮像して得られた補正後の撮像画像である。
With reference to FIG. 15, an example of image processing for removing, as noise, an infrared light corresponding region corresponding to infrared light as direct light will be described in the present embodiment.
In the figure, a captured image P3-1 and a captured image P3-2 are shown. The captured image P3-1 is a corrected captured image obtained by capturing with the imaging device 400-1 in FIG. The captured image P3-2 is a corrected captured image obtained by capturing with the imaging device 400-2.
撮像装置400−1は、図14に示したように直接光の光範囲L2に含まれている。このために、撮像画像P3−1においては、スクリーン100にて拡散した赤外光に応じた赤外光対応領域AR11と、直接光としての赤外光に応じた赤外光対応領域AR12とが含まれている。
一方、撮像装置400−2は直接光の光範囲L2に含まれていない。このために、撮像画像P3−2においては、スクリーン100にて拡散した赤外光に応じた赤外光対応領域AR11は含まれているが、直接光としての赤外光に応じた赤外光対応領域AR12は含まれていない。
The imaging device 400-1 is included in the direct light range L2 as shown in FIG. For this reason, in the captured image P3-1, an infrared light corresponding area AR11 corresponding to the infrared light diffused by the
On the other hand, the imaging device 400-2 is not included in the light range L2 of direct light. For this reason, the captured image P3-2 includes the infrared light corresponding area AR11 corresponding to the infrared light diffused by the
本実施形態におけるマスク領域検出部521は、撮像画像P3−1と撮像画像P3−2とについて例えば乗算処理を行うことで、撮像画像P3−1と撮像画像P3−2との間で共通して存在する赤外光対応領域を含み、共通して存在しない赤外光対応領域を含まない撮像画像P3を生成する。
このようにして、本実施形態においては、図6(C)の撮像画像P3として、直接光としての赤外光に応じた赤外光対応領域が含まれないようにすることができる。そして、マスク領域検出部521は、撮像画像P3を対象としてマスク領域検出を行う。これにより、直接光としての赤外光に応じたマスク領域は検出されなくなり、結果的に、照明装置300を操作するユーザが意図した通りの合成画像を表示することができる。
The mask
In this way, in the present embodiment, the captured image P3 in FIG. 6C can be configured not to include an infrared light corresponding region corresponding to infrared light as direct light. Then, the mask
なお、図14及び図15に示した本実施形態の構成は、照明装置300以外からスクリーン100に照射され、スクリーン100を透過するような外乱光に対しても有効である。
また、図14においては、2つの撮像装置400が備えられた例を示しているが、3以上の撮像装置400を備え、マスク領域検出部521は、3以上の撮像画像の間で共通に存在する赤外光対応領域を含む撮像画像を生成するように構成してもよい。
The configuration of the present embodiment illustrated in FIGS. 14 and 15 is also effective for disturbance light that is applied to the
FIG. 14 shows an example in which two
[変形例]
本実施形態においては、以下の構成によって、複数の照明装置300ごとに応じて異なる合成処理が行われるようにすることが可能である。
つまり、複数の照明装置300については、それぞれ異なる波長域による赤外光が出射されるように構成する。このためには、例えば複数の照明装置300ごとに異なる波長域の赤外光を通過させるフィルタを設ければよい。
[Modification]
In the present embodiment, it is possible to perform different synthesis processing depending on each of the plurality of
That is, about the some illuminating
また、撮像装置400については、複数の照明装置300が対応する波長域ごとの赤外光を個別に撮像できるように構成する。
このためには、複数の照明装置300が出射する赤外光の波長域ごとに応じた赤外光の撮像を行う複数の撮像装置400を設ければよい。
あるいは、1つの撮像装置400にスピンホイールや液晶チューナブルフィルタなどを適用して、例えばフィールドあるいはフレームごとに異なる波長域の赤外光を撮像した撮像画像が得られるように構成してもよい。
In addition, the
For this purpose, a plurality of
Alternatively, a spin wheel, a liquid crystal tunable filter, or the like may be applied to one
そして、画像処理装置500は、異なる波長域に対応する複数の撮像画像(波長域対応撮像画像)ごとに、マスク領域検出と主画像に対する副画像(抽出画像EX)の画像合成処理を個別に行う。このような構成によって、照明装置300を操作するユーザごとに、操作に応じて全く異なる抽出画像EXを表示することができる。
一例として、例えば3人のユーザが同じスクリーン100に照明装置300を使用して操作を行っている場合には以下のような表示を行うことができる。つまり、1人目のユーザに対応しては、第1表示モードにより現代地図を表示し、2人目のユーザに対応しては第2表示モードにより拡大図を表示し、3人目のユーザに対応しては第3表示モードにより測量軌跡を表示するというものである。
Then, the
As an example, for example, when three users are operating the
なお、これまでの実施形態における画像処理システムは、スクリーン100の背面からプロジェクタ200により画像を投影する背面投影型の構成であった。しかし、本実施形態の画像処理システムは、スクリーンの前面からプロジェクタによって画像を投影する前面投影型であってもよい。前面投影型の場合、撮像装置もスクリーンの前面側からスクリーンを撮像するように設けられる。
Note that the image processing system in the embodiments so far has a rear projection type configuration in which an image is projected from the rear surface of the
なお、上述の画像処理装置500としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の画像処理装置500としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Note that a program for realizing the functions of the above-described
10 筐体、100 スクリーン、200 プロジェクタ、300 照明装置、301 本体部、302 ヘッド部、303 オンオフスイッチ、304 インジケータ、311 制御回路、312 バッテリ、313 不可視光出射部、313a 赤外線LED、313b 光学系部、314 照射範囲調整部、400 撮像装置、500 画像処理装置、501 入出力部、502 制御部、503 記憶部、521 マスク領域検出部、522 画像合成部、531 主画像記憶部、532 副画像記憶部
10 housing, 100 screen, 200 projector, 300 lighting device, 301 main body, 302 head, 303 on / off switch, 304 indicator, 311 control circuit, 312 battery, 313 invisible light emitting unit, 313a infrared LED, 313b
Claims (8)
前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成するにあたり、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成する画像合成部と、
を備える画像処理装置。 Invisible light on the basis of the pixel value the imaging apparatus corresponding to the invisible light projected on the screen in the captured image obtained by capturing a screen of an imaging target, the pixels of the first threshold value or more pixel values determined A mask area detector for detecting a mask area in which
When combining a plurality of images based on the mask area detected by the mask area detecting unit, the image of the area corresponding to the mask area in the sub image is combined with the area corresponding to the mask area in the main image. An image composition unit to
An image processing apparatus comprising:
請求項1に記載の画像処理装置。 When the size of the sub image is different from that of the main image, the image composition unit is based on the barycentric coordinates of the region corresponding to the mask region in the main image and the ratio of the size of the sub image and the main image. The image processing apparatus according to claim 1, wherein an area corresponding to the mask area is specified in the sub-image.
前記画像合成部は、前記副画像において前記マスク領域が対応する領域に含まれる画素について前記出力画素値に基づいて前記主画像の画素と合成する
請求項1または2に記載の画像処理装置。 The mask area detection unit has a pixel value in a range from the first threshold value to the second threshold value among pixel values of the pixels included in the mask area, which is from zero to less than a maximum value according to the pixel value. Converting to an output pixel value, and converting a pixel value greater than the second threshold value to a maximum output pixel value;
The image processing apparatus according to claim 1, wherein the image synthesis unit synthesizes pixels included in an area corresponding to the mask area in the sub-image with pixels of the main image based on the output pixel value.
請求項1から3のいずれか一項に記載の画像処理装置。 The mask area detection unit is configured to display an area in which invisible light that is present in common among a plurality of captured images obtained by a plurality of imaging devices that capture the screen from different predetermined positions is projected, as the mask area. The image processing apparatus according to any one of claims 1 to 3.
前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、
前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成する
請求項1から4のいずれか一項に記載の画像処理装置。 The imaging device obtains a plurality of wavelength range-capable imaging images corresponding to the invisible light in the different wavelength regions by performing imaging for each invisible light in different wavelength regions,
The mask area detection unit detects a mask area for each of the plurality of captured images corresponding to wavelength ranges,
The said image synthetic | combination part synthesize | combines a several image separately for every said several wavelength range corresponding captured image based on the mask area | region detected for every said several wavelength range corresponding captured image. An image processing apparatus according to claim 1.
前記照明装置は、不可視光を出射する不可視光出射部を備え、
前記撮像装置は、不可視光を撮像対象とし、前記照明装置から出射された不可視光が投影されるスクリーンを撮像するように設けられ、
前記画像処理装置は、
前記撮像装置によって得られた撮像画像において前記スクリーンに投影された不可視光に対応する画素値に基づいて、定められた所定の閾値以上の画素値の画素が集合したマスク領域を検出するマスク領域検出部と、
前記マスク領域検出部により検出されたマスク領域に基づいて複数の画像を合成するにあたり、主画像において前記マスク領域が対応する領域に対して、副画像において前記マスク領域が対応する領域の画像を合成する画像合成部とを備え、
前記画像合成部により合成された画像が投影装置によって前記スクリーンに画像光として投影されるように、前記合成された画像を出力する出力部とを備える
画像処理システム。 An image processing system comprising an illumination device, an imaging device, and an image processing device,
The lighting device includes an invisible light emitting unit that emits invisible light,
The imaging device is provided to capture an invisible light to be imaged and to image a screen on which the invisible light emitted from the lighting device is projected,
The image processing apparatus includes:
Based on the pixel value corresponding to the invisible light projected on the screen in the captured image obtained by the imaging device, the mask region pixel of a predetermined threshold value or more pixel values defined detects mask regions set detected And
When combining a plurality of images based on the mask area detected by the mask area detecting unit, the image of the area corresponding to the mask area in the sub image is combined with the area corresponding to the mask area in the main image. An image composition unit
An image processing system comprising: an output unit that outputs the synthesized image so that the image synthesized by the image synthesizing unit is projected as image light on the screen by a projection device.
前記マスク領域検出部は、前記複数の撮像装置によって得られた複数の撮像画像の間で共通して存在する不可視光が投影された領域を、前記マスク領域として検出する
請求項6に記載の画像処理システム。 A plurality of the imaging devices for imaging the screen from different predetermined positions,
The image according to claim 6, wherein the mask area detection unit detects, as the mask area, an area projected with invisible light that exists in common among a plurality of captured images obtained by the plurality of imaging devices. Processing system.
前記撮像装置は、前記異なる波長域の不可視光ごとに撮像を行うことで、前記異なる波長域の不可視光ごとに応じた複数の波長域対応撮像画像を取得し、
前記マスク領域検出部は、前記複数の波長域対応撮像画像ごとにマスク領域を検出し、
前記画像合成部は、前記複数の波長域対応撮像画像ごとに検出されたマスク領域に基づいて、前記複数の波長域対応撮像画像ごとに個別に複数の画像を合成する
請求項6または7に記載の画像処理システム。 A plurality of the illumination devices that emit invisible light in different wavelength ranges,
The imaging device obtains a plurality of wavelength-band-captured captured images corresponding to the invisible light in the different wavelength ranges by performing imaging for the invisible light in the different wavelength ranges,
The mask area detection unit detects a mask area for each of the plurality of captured images corresponding to wavelength ranges,
The said image synthetic | combination part synthesize | combines a several image separately for every said several wavelength range corresponding captured image based on the mask area | region detected for every said several wavelength range corresponding captured image. Image processing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003162A JP6604528B2 (en) | 2015-01-09 | 2015-01-09 | Image processing apparatus and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003162A JP6604528B2 (en) | 2015-01-09 | 2015-01-09 | Image processing apparatus and image processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016128870A JP2016128870A (en) | 2016-07-14 |
JP6604528B2 true JP6604528B2 (en) | 2019-11-13 |
Family
ID=56384326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015003162A Active JP6604528B2 (en) | 2015-01-09 | 2015-01-09 | Image processing apparatus and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604528B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6719768B2 (en) * | 2016-02-29 | 2020-07-08 | 国立大学法人東京工業大学 | Multiple information display system and illumination device used therefor |
JP7054774B2 (en) * | 2018-01-10 | 2022-04-15 | パナソニックIpマネジメント株式会社 | Projection control system and projection control method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11271675A (en) * | 1998-03-25 | 1999-10-08 | Minolta Co Ltd | Projector system |
JP3733915B2 (en) * | 2002-02-12 | 2006-01-11 | セイコーエプソン株式会社 | projector |
JP3617982B2 (en) * | 2002-07-17 | 2005-02-09 | コナミ株式会社 | VIDEO GAME DEVICE, VIDEO GAME DEVICE IMAGE PROCESSING METHOD, AND PROGRAM |
JP2010026021A (en) * | 2008-07-16 | 2010-02-04 | Sony Corp | Display device and display method |
JP2011081651A (en) * | 2009-10-08 | 2011-04-21 | Sanyo Electric Co Ltd | Projection type video display device |
JP2011182026A (en) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | Image processing apparatus, image display system, and image extracting device |
JP5304848B2 (en) * | 2010-10-14 | 2013-10-02 | 株式会社ニコン | projector |
-
2015
- 2015-01-09 JP JP2015003162A patent/JP6604528B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016128870A (en) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6398248B2 (en) | Position detection system and method for controlling position detection system | |
JP6111706B2 (en) | Position detection apparatus, adjustment method, and adjustment program | |
JP6375672B2 (en) | Position detecting apparatus and position detecting method | |
WO2012124730A1 (en) | Detection device, input device, projector, and electronic apparatus | |
JP6417690B2 (en) | Projector, display device, and projector control method | |
JP6459194B2 (en) | Projector and projected image control method | |
JP6375660B2 (en) | POSITION DETECTION DEVICE, PROJECTOR, POSITION DETECTION SYSTEM, AND POSITION DETECTION DEVICE CONTROL METHOD | |
US20150204658A1 (en) | Position detecting device, position detecting system, and controlling method of position detecting device | |
JP2015158862A (en) | Image generation device, image generation method, program, and computer readable information storage medium | |
JP6562124B2 (en) | Position detection system and method for controlling position detection system | |
JP5601179B2 (en) | Gaze detection apparatus and gaze detection method | |
JP5319999B2 (en) | Lighting device | |
JP6604528B2 (en) | Image processing apparatus and image processing system | |
JP5724064B2 (en) | Optical projection device | |
US9838657B2 (en) | Projection enhancement system | |
JP7505129B2 (en) | CONTROL DEVICE, CONTROL METHOD, CONTROL PROGRAM, AND PROJECTION SYSTEM | |
JP5414379B2 (en) | Optical wireless communication apparatus, optical wireless communication method, and program | |
JP7059635B2 (en) | Projection image control device, projection image control system, and projection image control method | |
JP2012053603A (en) | Information display system | |
JP2020160808A (en) | Position detection method, position detection device, and interactive projector | |
CN108351684B (en) | Operation detection device, operation detection method and image display system | |
JP2019117322A (en) | Projection type display unit, method of controlling the same, and program | |
US10055026B2 (en) | Interactive projector and method of controlling interactive projector | |
JP6340860B2 (en) | POSITION DETECTION DEVICE, PROJECTOR, POSITION DETECTION SYSTEM, AND POSITION DETECTION DEVICE CONTROL METHOD | |
JP4340760B2 (en) | Hands free pointing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150206 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20150206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181030 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6604528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |