JP2017037190A - Projection device, image processing device, image processing program and image distribution system - Google Patents
Projection device, image processing device, image processing program and image distribution system Download PDFInfo
- Publication number
- JP2017037190A JP2017037190A JP2015158426A JP2015158426A JP2017037190A JP 2017037190 A JP2017037190 A JP 2017037190A JP 2015158426 A JP2015158426 A JP 2015158426A JP 2015158426 A JP2015158426 A JP 2015158426A JP 2017037190 A JP2017037190 A JP 2017037190A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- correction
- image data
- optical path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000009826 distribution Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 183
- 230000003287 optical effect Effects 0.000 claims abstract description 145
- 238000003702 image correction Methods 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims description 125
- 238000000034 method Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 235000019646 color tone Nutrition 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 238000005286 illumination Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、投影装置、画像処理装置、画像処理プログラムおよび画像配信システムに関する。 The present invention relates to a projection device, an image processing device, an image processing program, and an image distribution system.
近年、プロジェクタの技術進歩に伴って、プロジェクタを用いた映像演出がより身近なものとなりつつある。プロジェクションマッピングに代表されるプロジェクタを用いた映像演出は、種々のイベントを賑わしている。
また、プロジェクタ機器の小型化および低価格化も進んでおり、大画面で映像コンテンツを鑑賞するのみならず、インテリアの観点から家庭にプロジェクタを導入するユーザーも増えている。
In recent years, with the technical progress of projectors, video effects using projectors are becoming more familiar. Video production using projectors typified by projection mapping is crowded with various events.
In addition, projector devices are becoming smaller and cheaper, and not only viewing video content on a large screen, but also increasing the number of users who introduce projectors to the home from an interior perspective.
このような社会情勢を鑑みて、より手軽に日常生活においてプロジェクタを利用すること（プロジェクタのパーソナル化）を念頭においた技術が種々開発・提案されている。この種の技術の一例として下記の特許文献１を例示する。
In view of such a social situation, various technologies have been developed and proposed in consideration of using projectors in daily life more easily (personalization of projectors). The following
特許文献１には、既存の照明装置取付具（電球ソケット）に装着する照明機能と画像投写機能とを兼ね備えた照明装置である。これにより一つの照明装置が、照明としてもプロジェクタとしても機能する。また、照明装置取付具が備え付けられている場所は主に天井であり、比較的広い領域を照射することができるため、画像投影の位置に適している。
さらに、特許文献１の照明装置は、スクリーンではない場所（特許文献１の図４では調理台）への画像投影、ユーザーの動作（ジェスチャー）に応じて操作可能、投影面までの距離を測距して自動的に焦点距離を調整、といったユーザーフレンドリーな機能を種々備えている。
Japanese Patent Application Laid-Open No. 2004-228561 is an illumination device that has both an illumination function to be mounted on an existing illumination device fixture (bulb socket) and an image projection function. Thereby, one illumination device functions as both illumination and a projector. Further, the place where the lighting device fixture is provided is mainly the ceiling, which can irradiate a relatively wide area, and is suitable for the position of image projection.
Furthermore, the illumination device of
特許文献１の照明装置は、上記のような利点を有している反面、既存の照明装置取付具に装着するため投影可能な位置に必ずしも投影に適した平面があるとは限らない。従って、投影面が歪な場合、または、投影面が投影部に正対していない場合には、当該照明装置は正常な映像を投影することができない。
While the lighting device of
また、特許文献１の照明装置に限らず一般的なプロジェクタであっても、投影する領域が広域であるほどその投影に適した広い平面を確保することは難しく、投影面に何らかの歪な面が含まれるケースが多くなる。
Further, even in a general projector as well as the illumination device of
本発明は、上記の課題に鑑みなされたものであり、投影面が歪であっても観賞に堪えられる画像投影を実現する投影装置、または、当該投影装置に関する画像処理装置、画像処理プログラムおよび画像配信システムを提供するものである。 The present invention has been made in view of the above problems, and a projection device that realizes image projection that can be appreciated even if the projection surface is distorted, or an image processing device, an image processing program, and an image related to the projection device A distribution system is provided.
本発明によれば、発光する光源部と、複数のピクセルから構成される画像データを入力する画像入力部と、前記画像入力部に入力された前記画像データを補正して補正画像データを生成する画像補正部と、前記画像補正部によって生成された前記補正画像データから投影面に投影する投影画像を形成する投影画像形成部と、前記投影画像形成部によって形成された前記投影画像を、前記光源部が発光する光を用いて前記投影面に投影する投影部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、を備え、前記画像補正部は、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記補正画像データを生成する投影装置が提供される。 According to the present invention, a light source unit that emits light, an image input unit that inputs image data including a plurality of pixels, and the image data input to the image input unit are corrected to generate corrected image data. An image correction unit, a projection image forming unit that forms a projection image to be projected onto a projection plane from the corrected image data generated by the image correction unit, and the projection image formed by the projection image formation unit is used as the light source. A projection unit that projects light onto the projection plane using light emitted from the unit, and an optical path that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image A length information acquisition unit, wherein the image correction unit associates the pixel and the minute region included in the image data, and the optical path of the minute region associated with the pixel Geometric correction and color tone correcting performed by projection device configured to generate the corrected image data is provided to the image data based on the information.
また、本発明によれば、発光する光源部の光を用いて投影画像を投影面に投影する際に、前記投影画像の元となる画像コンテンツを生成する画像処理装置であって、複数のピクセルから構成される画像データを入力する画像入力部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、を備える画像処理装置が提供される。 In addition, according to the present invention, when projecting a projection image onto a projection plane using light from a light source that emits light, the image processing apparatus generates an image content that is a source of the projection image. And an optical path length information acquisition unit for acquiring optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image. And the pixels included in the image data are associated with the minute regions, and geometric correction and tone correction are performed on the image data based on the optical path length information of the minute regions associated with the pixels. An image processing apparatus is provided that includes an image correction unit that generates the image content.
また、本発明によれば、発光する光源部の光を用いて投影画像を投影面に投影する際に、前記投影画像の元となる画像コンテンツを生成するための画像処理をコンピュータに実行させる画像処理プログラムであって、複数のピクセルから構成される画像データを入力する画像入力処理と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得処理と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正処理と、をコンピュータに実行させる画像処理プログラムが提供される。 In addition, according to the present invention, when a projection image is projected onto a projection plane using light from a light source unit that emits light, an image that causes a computer to execute image processing for generating image content that is the basis of the projection image. An image input process for inputting image data composed of a plurality of pixels, and an optical path length indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image An optical path length information acquisition process for acquiring information, the pixel included in the image data and the micro area are associated with each other, and the image data based on the optical path length information of the micro area associated with the pixel There is provided an image processing program for causing a computer to execute an image correction process for generating the image content by performing geometric correction and color tone correction.
また、本発明によれば、発光する光源部の光を用いて投影画像を投影面に投影する投影装置に対して、前記投影画像の元となる画像コンテンツを配信する画像配信システムであって、複数のピクセルから構成される画像データを入力する画像入力部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、前記画像補正部によって生成された前記画像コンテンツを、通信回線を介して配信する画像配信部と、を備える画像配信システムが提供される。 In addition, according to the present invention, there is provided an image distribution system that distributes image content that is a source of a projection image to a projection device that projects the projection image onto a projection plane using light from a light source that emits light. An image input unit that inputs image data composed of a plurality of pixels, and an optical path length that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image An information acquisition unit, the pixel included in the image data and the minute region are associated with each other, and geometric correction and tone correction are performed on the image data based on the optical path length information of the minute region associated with the pixel. An image correction unit that generates the image content by performing an image processing, and an image distribution unit that distributes the image content generated by the image correction unit via a communication line. Image delivery system is provided.
上記発明によれば、投影画像に関する光路長情報を所定の微小領域ごとに取得し、補正対象の画像データに含まれるピクセルを光路長情報に対応付けて当該画像データに幾何補正および色調補正を施す。従って、繊細な画像補正が実行され、たとえ投影面が歪であってもユーザーにとって違和感のない画像投影を実現することができる。 According to the above invention, the optical path length information related to the projection image is acquired for each predetermined minute area, and the pixels included in the image data to be corrected are associated with the optical path length information, and the image data is subjected to geometric correction and color correction. . Therefore, delicate image correction is executed, and even if the projection surface is distorted, it is possible to realize an image projection that does not feel strange to the user.
本発明によれば、投影面が歪であっても観賞に堪えられる画像投影を実現する投影装置、または、当該投影装置に関する画像処理装置、画像処理プログラムおよび画像配信システムが提供される。 According to the present invention, there is provided a projection device that realizes image projection that can be enjoyed even if the projection surface is distorted, or an image processing device, an image processing program, and an image distribution system related to the projection device.
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same components are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
＜第一実施形態の投影装置１００の全体構成について＞
第一実施形態の投影装置１００の全体構成について、図１、図２および図４を用いて以下説明する。
図１は、投影装置１００の機能構成を示す機能ブロック図である。図２は、投影装置１００の外観図である。図４は、微小領域を割り当てた投影画像（テスト投影画像Ｐ１）を理想平面に投影した様子を示す模式図である。
<Overall Configuration of
The overall configuration of the
FIG. 1 is a functional block diagram showing a functional configuration of the
本実施形態の投影装置１００は、いわゆるプロジェクタ装置であり、画像入力部１１０、画像補正部１２０、光路長情報取得部１３０、光源部１４０、投影画像形成部１５０および投影部１６０を備える。
光源部１４０は、発光する機能を有している。
画像入力部１１０は、複数のピクセルから構成される画像データを入力する。
画像補正部１２０は、画像入力部１１０に入力された画像データを補正して補正画像データを生成する。
投影画像形成部１５０は、画像補正部１２０によって生成された補正画像データから投影面に投影する投影画像を形成する。
投影部１６０は、投影画像形成部１５０によって形成された投影画像を、光源部１４０が発光する光を用いて投影面に投影する。
光路長情報取得部１３０は、投影画像に定めた複数の微小領域ごとに基準点から投影面までの光路の距離を示す光路長情報を取得する。
なお、画像補正部１２０は、画像データに含まれるピクセルと微小領域とを対応付けて、ピクセルに対応付けられた微小領域の光路長情報に基づいて画像データに幾何補正および色調補正を行って補正画像データを生成することを特徴とする。
以下、投影装置１００の有する各機能の説明を行う。
The
The
The
The
The projection
The
The optical path length
Note that the
Hereinafter, each function of the
図２に図示しているように、投影装置１００は、本体部１８０とベース部１７０とを備えており、外観がいわゆるスポットライトのような形状をしている。このような外観であることにより、投影装置１００は、違和感なく既存の室内照明と置換可能となっている。
なお、ここで図示する投影装置１００の形状は一例であり、本発明はこの例に限定されるものではない。
As shown in FIG. 2, the
Note that the shape of the
ベース部１７０は、電球ソケットまたはシーリング取付具（図示せず）に装着可能な給電部１７２を備えており、投影装置１００（本体部１８０に含まれる各種機能）は給電部１７２から取得される電力によって動作する。これにより、天井面や壁面等に投影装置１００を容易に設置することができ、別途の配線工事を行なわずとも投影装置１００に電力を供給することができる。
また、ベース部１７０は、本体部１８０の基端部との接合箇所に回転軸１７４を備えており、回転軸１７４を中心に本体部１８０を回転させることによって、投影レンズ１８２の正面方向を自在に変えることができる。これによって、投影装置１００は、投影レンズ１８２によって生成される投影画像を所望の方向に投射することができる。
The
Further, the
本体部１８０は、投影装置１００の主要な機能を有している構成要素であり、投影画像を所望の方向に投射するための投影レンズ１８２を備えている。
本体部１８０が有している主要な機能とは、図１に図示しているように、具体的には画像入力部１１０と画像補正部１２０と光路長情報取得部１３０と光源部１４０と投影画像形成部１５０と投影部１６０のことをいう。
なお、図１において、光源部１４０から投影画像形成部１５０への矢印、投影画像形成部１５０から投影部１６０の矢印、および、投影部１６０から投影装置１００の外部（投影面）への経路を中抜きの矢印で示している。これは、これらの矢印が示す経路が、他の経路と異なり光学系の経路であることを意味している。
また、図１において、細線で示される矢印はデジタルデータの経路を意味しており、太線で示される矢印は電力経路を意味している。
The
As shown in FIG. 1, the main functions of the
In FIG. 1, an arrow from the
Further, in FIG. 1, arrows indicated by thin lines indicate digital data paths, and arrows indicated by thick lines indicate power paths.
光源部１４０は、いわゆるランプであり、投影画像の投影に用いられる光を提供する。具体的には、光源部１４０には高圧水銀ランプ、ハロゲンランプ、ＬＥＤランプ等が用いられる。なお、図１では光源部１４０は単一であるかのように図示しているが、必ずしも一つである態様に限られず、光源部１４０が投影装置１００の内部に複数存在する態様であってもよい。
The
投影部１６０は、光源部１４０が発光する光を投影画像形成部１５０に形成された投影画像に投写し、その投写光の反射光（または透過光）を投影装置１００の外部に投写する機能を有している。すなわち、投影部１６０は光源部１４０が発光した光を所望の経路に導く機能であり、具体的には、ミラー、プリズム、レンズ等から構成される。なお、本実施形態においては、投影部１６０を構成するレンズの一つとして投影レンズ１８２が含まれている。
The
光路長情報取得部１３０は、光路長情報を微小領域ごとに取得する。ここで光路長情報は、基準点から投影面までの光路の距離をいう。基準点は光源部１４０から投影面までのいずれかの位置に定めればよい。本実施形態においては、投影部１６０に含まれる投影レンズの位置を基準点として説明する。
The optical path length
光路長情報取得部１３０が光路長情報を取得する態様は種々の態様を採りうる。例えば、基準点に測距センサ（図示せず）を設置し、当該測距センサから投影面上の各点までの距離を光路長情報として用いてもよい。また、任意の位置に測距センサを設置し、当該位置から投影面上の各点までの距離を測距した後に、その測距結果と基準点の位置とに基づいて光路長情報を演算する演算装置（図示せず）から取得してもよい。後者の態様は、本実施形態のように、基準点を既存の物体（投影レンズ１８２）の位置として取り扱うため、当該位置に測距センサが設置できない場合に好適である。
なお、ここで述べた測距センサは、赤外線センサを用いたものであってもよく、音響センサを用いたものであってもよく、これらを組み合わせたものであってもよい。
また、ここで述べた測距センサおよび演算装置は、投影装置１００の内部に包含されてもよく、投影装置１００の外部機器であってもよい。
The mode in which the optical path length
Note that the distance measuring sensor described here may be one using an infrared sensor, one using an acoustic sensor, or a combination thereof.
Further, the distance measuring sensor and the calculation device described here may be included in the
画像入力部１１０は、デジタル方式の画像データを入力し、画像補正部１２０または投影画像形成部１５０に当該画像データを供給する機能を有している。当該画像データの入力先は、投影装置１００の外部装置であってもよいし、または、投影装置１００内の記憶領域（図示せず）であってもよい。
また、画像入力部１１０による画像データの入力は、画像入力部１１０が主体的に画像データを取得する（読み出す）方式であってよいし、他の装置が出力した画像データを受動的に受け付ける方式であってもよい。
画像入力部１１０への画像データの入力先が他の装置である場合、その経路は有線通信であってもよく、無線通信であってもよい。
The
The image data input by the
When the input destination of the image data to the
投影画像形成部１５０は、画像入力部１１０から供給された画像データ、または、画像補正部１２０によって生成された補正画像データを元に投影画像を形成する機能を有している。すなわち、投影画像形成部１５０は、コンピュータによって処理される画像データを、光学系の画像に変換する機能である。
より具体的には、投影装置１００が液晶ディスプレイ方式のプロジェクタ装置であれば、投影画像形成部１５０は液晶パネルを含む。また、投影装置１００がＤＬＰ（登録商標）方式のプロジェクタ装置であれば、投影画像形成部１５０はデジタルミラーデバイスを含む。なお、ＤＬＰ（登録商標）とはDigital Light Processingの略である。
The projection
More specifically, if the
画像補正部１２０は、画像入力部１１０に入力された画像データを補正して補正画像データ（画像コンテンツ）を生成し、生成した補正画像データを投影画像形成部１５０に供給する機能である。画像補正部１２０は、ＲＯＭ（図示せず）等の記憶領域に格納されている画像処理プログラムをＣＰＵ（図示せず）が実行することによって実現される。
The
前段で述べた画像処理プログラムについて、詳細に説明すると以下のようになる。
当該画像処理プログラムは、発光する光源部１４０の光を用いて投影画像を投影面に投影する際に、投影画像の元となる画像コンテンツを生成するための画像処理をＣＰＵ（コンピュータ）に実行させるものである。
当該画像処理プログラムは、画像入力処理と、光路長情報取得処理と、画像補正処理と、が含まれる。画像入力処理では、複数のピクセルから構成される画像データを入力する。光路長情報取得処理では、投影画像に定めた複数の微小領域ごとに基準点から投影面までの光路の距離を示す光路長情報を取得する。画像補正処理では、画像データに含まれるピクセルと微小領域とを対応付けて、ピクセルに対応付けられた微小領域の光路長情報に基づいて画像データに幾何補正および色調補正を行って画像コンテンツを生成する。
The image processing program described in the previous section will be described in detail as follows.
The image processing program causes a CPU (computer) to execute image processing for generating image content that is the basis of a projection image when a projection image is projected onto a projection plane using light from the
The image processing program includes an image input process, an optical path length information acquisition process, and an image correction process. In the image input process, image data composed of a plurality of pixels is input. In the optical path length information acquisition process, optical path length information indicating the distance of the optical path from the reference point to the projection plane is acquired for each of a plurality of minute regions defined in the projection image. In the image correction process, the pixel included in the image data is associated with the minute area, and image content is generated by performing geometric correction and color correction on the image data based on the optical path length information of the minute area associated with the pixel. To do.
ここで幾何補正とは、補正対象となるピクセルの位置座標を、その前後で変動させる処理をいう。具体的には、幾何補正には、ピクセルの移動、拡大、縮小、反転、せん断、回転等が含まれる。
また、ここで色調補正とは、補正対象となるピクセルの色について所定の表色系で定量的に示される値（階調値）を、その前後で変動させる処理をいう。具体的には、色調補正には、いわゆる明度補正、コントラスト補正、輝度補正、ガンマ補正等が含まれる。
Here, geometric correction refers to a process of changing the position coordinates of a pixel to be corrected before and after. Specifically, the geometric correction includes pixel movement, enlargement, reduction, inversion, shear, rotation, and the like.
Here, the color tone correction is a process of changing a value (gradation value) quantitatively shown in a predetermined color system about the color of a pixel to be corrected before and after that. Specifically, the tone correction includes so-called brightness correction, contrast correction, luminance correction, gamma correction, and the like.
なお、本実施形態では「所定の表色系」として、代表的な加法混合のカラーモデルであるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）を用いて説明する。一つのピクセルに対して２４ビットの色情報が含まれ、各色相（Ｒ、Ｇ、Ｂ）に８ビットずつ割り当てられ、２５６段階の階調値によって表現されるものとする。
ここでＲＧＢは表色系の一例であり、その他のカラーモデルを表色系とする態様であってもよい。
In the present embodiment, description will be made using RGB (R: red, G: green, B: blue), which is a representative additive color model, as the “predetermined color system”. It is assumed that 24-bit color information is included for one pixel, 8 bits are assigned to each hue (R, G, B), and expressed by 256 gradation values.
Here, RGB is an example of a color system, and another color model may be used as the color system.
ここでピクセルとは、コンピュータで画像データを扱うとき、色情報を持つ最小単位をいう。また、以下の説明に用いるドットとは、投影画像形成部１５０に形成される投影画像における描画表現の最小単位をいう。
ピクセルが情報の最小単位であるのに対して、ドットはデバイスの物理的な最小単位を示す点においてピクセルと異なる。
Here, the pixel means a minimum unit having color information when image data is handled by a computer. Further, the dot used in the following description refers to the minimum unit of drawing expression in the projection image formed in the projection
A pixel is the smallest unit of information, whereas a dot differs from a pixel in that it represents the physical smallest unit of a device.
微小領域とは、一または複数のドットから構成される投影画像上の領域をいう。図４では投影画像を８×６の正方形マスに分割しており、その矩形マスのそれぞれが微小領域である。従って、仮に投影画像が１２８０×９６０の解像度である場合、微小領域は１６０×１６０＝２５６００個のドットから構成されている。
なお、図２は理解しやすいように少ない数の微小領域を設定したが、実際にはより多数の微小領域を投影画像に設定することが好ましい。投影画像に設定される微小領域の数は、光路長情報取得部１３０によって取得される光路長情報の精度に主に依存して決定される。光路長情報が十分に高水準の精度を維持できるならば、一つのドットが一つの微小領域である態様であってもよい。すなわち、仮に投影画像が１２８０×９６０の解像度である場合は１２８０×９６０＝１２２８８００個の微小領域を設定してもよい。
また、図４に示す投影画像に含まれる各微小領域の輪郭は着色されており、当該投影画像を投影面に投影した状態を撮像して生成される画像データに対して解析処理を行うことによって、微小領域の輪郭が判別できるようになっている。
A micro area refers to an area on a projected image composed of one or a plurality of dots. In FIG. 4, the projected image is divided into 8 × 6 square cells, and each of the rectangular cells is a minute region. Therefore, if the projected image has a resolution of 1280 × 960, the minute area is composed of 160 × 160 = 25600 dots.
In FIG. 2, a small number of minute regions are set for easy understanding, but actually, it is preferable to set a larger number of minute regions in the projection image. The number of minute regions set in the projection image is determined mainly depending on the accuracy of the optical path length information acquired by the optical path length
Further, the outline of each minute region included in the projection image shown in FIG. 4 is colored, and by performing analysis processing on image data generated by imaging the state in which the projection image is projected onto the projection plane The contour of the minute area can be discriminated.
図４に示すように、本実施形態においては投影画像をメッシュ状に分割し、分割された複数のメッシュのそれぞれを微小領域として設定している。そして、投影画像に含まれる全てのドットがいずれかの微小領域に内包される態様としているが、必ずしもこれに限定する必要はなく、投影画像に含まれる一部のドットがいずれの微小領域にも含まれない態様を採ってもよい。
また、本実施形態において微小領域の形状は正方形として説明するが、必ずしもこの態様に限らず、長方形やひし形、矩形以外の多角形、円形等を、種々の形状を採りうる。
また、図４においては、一の投影画像に対して全ての微小領域が同一の形状・大きさであるように図示したが、それぞれの微小領域が異なる形状・大きさである態様であってもよい。
As shown in FIG. 4, in the present embodiment, the projection image is divided into meshes, and each of the divided meshes is set as a minute region. In addition, although all the dots included in the projection image are included in any one of the minute regions, it is not necessarily limited to this, and some dots included in the projection image are not included in any one of the minute regions. You may take the aspect which is not included.
In the present embodiment, the shape of the minute region is described as a square. However, the shape is not limited to this, and various shapes such as a rectangle, a rhombus, a polygon other than a rectangle, and a circle can be adopted.
Further, in FIG. 4, all the minute regions are illustrated as having the same shape and size with respect to one projection image. However, even if each minute region has a different shape and size, Good.
画像入力部１１０に入力された画像データのピクセルと投影画像の微小領域との対応付けについて、画像補正部１２０は以下のように処理する。
画像入力部１１０で入力された画像データのピクセル数と、投影画像形成部１５０で形成される投影画像のドット数と、が一致するのであれば、画像補正部１２０は、位置座標が一致するピクセルとドットを一対一で対応付け、対応付けたドットを包含する微小領域と当該ドットに対応付けられたピクセルとを対応付ける。
また、画像入力部１１０で入力された画像データのピクセル数と、投影画像形成部１５０で形成される投影画像のドット数と、が一致しないのであれば、当該画像データを拡大または縮小して画像データのピクセル数と投影画像のドット数とを一致させた後に、上述の処理を行う。
The
If the number of pixels of the image data input by the
If the number of pixels of the image data input by the
＜画像補正部１２０による幾何補正および色調補正の原理＞
画像補正部１２０による幾何補正および色調補正の原理について図３を用いて説明する。図３は、投影装置１００を用いて段差７０に円形の投影画像８０を投影した状態を示す模式図しており、（ａ）は斜視図、（ｂ）は正面図である。なお、ここでは便宜的に投影装置１００を図示していない。
<Principle of Geometric Correction and Tone Correction by
The principles of geometric correction and color correction by the
図３（ａ）に示すとおり、近位面７１には投影画像８０の一部である左半円８１が投影されている。遠位面７３には投影画像８０の一部である右半円８３が投影されている。段差面７２には投影画像８０の一部である台形８２が投影されている。
投影画像８０は光源（投影装置１００）から投影面までの距離に比例して大きくなるため、段差７０に投影画像８０を投影したとき、左半円８１の方が右半円８３より大きくなる。そして、台形８２は近位面７１から遠位面７３に近づくにつれて広がるテーパー形状になっている。
また、光源から離れるほど色調は薄まって暗くなり、近いほど色調は濃くなって明るくなるため、右半円８３の色調は左半円８１より薄暗くなる。
As shown in FIG. 3A, a
Since the
Further, since the color tone becomes darker and darker as the distance from the light source increases, the color tone becomes darker and brighter as the distance from the light source increases. Therefore, the color tone of the
ここで光源から近位面７１までの距離をＬ、光源から遠位面７３までの距離をＬ＋ｄで表すとき、左半円８１の径Ｒ１と右半円８３の径Ｒ２の比率は、式（１）のように表すことができる。
図３（ｂ）に示すとおり、正面から視ると、左半円８１と右半円８３の形状および色調が不連続となっており、投影画像８０が本来は一体であるとは認識しがたい。
ここで、投影画像８０の元となる画像データの形状を補正し、近位面７１に投影される左半円８１の部分を予め拡大して色調を暗くする補正、または、遠位面７３に投影される右半円８３の部分を予め縮小して色調を明るくする補正、のいずれか少なくとも一方を行う。これにより、投影画像８０を正面から視ると純粋な円形であるように観測者に認識させうる。
As shown in FIG. 3B, when viewed from the front, the shape and color tone of the
Here, the shape of the image data that is the basis of the
前段で述べた原理で画像補正部１２０は、画像入力部１１０に入力された画像データを補正し、投影面が歪であっても観賞に堪えられる画像投影を実現することができる。
具体的には、画像補正部１２０は、補正処理の基準となる基準距離を定め、補正対象となるピクセルに対応付けられた微小領域の光路長情報が基準距離より小さいとき、幾何補正として当該ピクセルによって形成される集合部分を拡大し、かつ、色調補正として当該ピクセルの階調値を小さくする。また、画像補正部１２０は、補正対象となるピクセルに対応付けられた微小領域の光路長情報が基準距離より大きいとき、幾何補正として当該ピクセルによって形成される集合部分を縮小し、かつ、色調補正として当該ピクセルの階調値を大きくする。
ここで基準距離として、予め定めた一定の距離であってもよいし、投影装置１００から所定の位置（例えば、投影面の一部）までの距離であってもよい。
The
Specifically, the
Here, the reference distance may be a predetermined distance, or may be a distance from the
ここで、画像補正部１２０が幾何補正を行うとき、補正対象となるピクセルによって形成される集合部分の拡大率が、基準距離に対する当該ピクセルに対応付けられた微小領域の光路長情報が示す距離の比率と負の相関にあることが好ましい。
例えば、右半円８３を縮小して左半円８１に合わせる場合、右半円８３の径Ｒ２を径Ｒ１に補正するので、その比率は式（１）の右辺の逆数と等しくなる。
なお、画像補正部１２０による幾何補正については、以下で述べる実施例に基づいて詳述する。
Here, when the
For example, when the
The geometric correction performed by the
また、画像補正部１２０が色調補正を行うとき、補正対象となるピクセルの階調値の変化率が、基準距離に対する当該ピクセルに対応付けられた微小領域の光路長情報が示す距離の比率と正の相関にあることが好ましい。
なお、画像補正部１２０による色調補正についても、以下で述べる実施例に基づいて詳述する。
Further, when the
The tone correction by the
＜投影装置１００による画像投影の第一の実施例＞
続いて、投影装置１００による画像投影の実施例に基づいてより具体的に説明する。この説明では、図４〜図９を用いる。
図４は、微小領域を割り当てた投影画像（テスト投影画像Ｐ１）を理想平面に投影した様子を示す模式図である。
図５は、投影装置１００および撮像装置２００の設置例を示す模式図である。なお、図５の視点は壁面４０を正面としている。
図６は、投影装置１００の位置から図５のＸＹＺ座標の原点を視る視点からの模式図である。
図７は、図４に示す投影画像を投影面に投影した状態を示す図である。（ａ）は投影面の正面から視た図であり、（ｂ）は投影装置１００の位置から視た状態を示す図である。
図８は、図４に示す投影画像（テスト投影画像Ｐ１）の元となる画像データを補正して形成される投影画像Ｐ２を理想平面に投影した様子を示す模式図である。
図９は、図８に示す投影画像Ｐ２を投影面に投影した状態を示す図である。（ａ）は投影面の正面から視た図であり、（ｂ）は投影装置１００の位置から視た状態を示す図である。
図１０は、投影装置１００が行う処理の手順を示すフローチャートである。
<First Example of Image Projection by
Next, a more specific description will be given based on an example of image projection by the
FIG. 4 is a schematic diagram showing a state in which a projection image (test projection image P1) to which a minute region is assigned is projected onto an ideal plane.
FIG. 5 is a schematic diagram illustrating an installation example of the
FIG. 6 is a schematic view from the viewpoint of viewing the origin of the XYZ coordinates in FIG. 5 from the position of the
FIG. 7 is a diagram showing a state in which the projection image shown in FIG. 4 is projected on the projection plane. (A) is the figure seen from the front of the projection surface, (b) is the figure which shows the state seen from the position of the
FIG. 8 is a schematic diagram showing a state in which a projection image P2 formed by correcting the original image data of the projection image (test projection image P1) shown in FIG. 4 is projected onto an ideal plane.
FIG. 9 is a diagram showing a state in which the projection image P2 shown in FIG. 8 is projected onto the projection plane. (A) is the figure seen from the front of the projection surface, (b) is the figure which shows the state seen from the position of the
FIG. 10 is a flowchart showing a procedure of processing performed by the
ここでは、図５に示すように、投影装置１００を天井面１０に設置し、投影装置１００から壁面３０に投影画像を投影する事例について説明する。
壁面３０に当接するようにソファ５０が設置されており、図７や図９に示すように、投影装置１００によって生成された投影画像は、壁面３０とソファ５０に跨がるように投影される。
また、投影装置１００の直下であって、ソファ５０および壁面３０の正面である位置に、撮像装置２００と三脚２１０が設置されている。撮像装置２００は、投影装置１００によって生成された投影画像を、ソファ５０および壁面３０の正面から撮像することができる。なお、三脚２１０は床面２０から撮像装置２００の高さを調整し、調整した高さで撮像装置２００の撮像位置を固定するために設置している。
Here, as shown in FIG. 5, a case where the
The
In addition, the
図６に示している床面２０と壁面３０と壁面４０とは互いに直交しており、その直交点をＸＹＺ座標の原点としたとき、床面２０はＺＸ平面、壁面３０はＹＺ平面、壁面４０はＸＹ平面、として扱うことができる。以下の説明において述べる方向については、このＸＹＺ座標を基準として説明する。
The
以下、図１０のフローチャートを用いて、投影装置１００による処理手順を説明する。
まず、画像入力部１１０は、テスト投影用の画像データを入力する（ステップＳ１０２）。
投影画像形成部１５０は、画像入力部１１０に入力されたテスト投影用の画像データ（一の画像データ）からテスト投影画像Ｐ１を形成する（ステップＳ１０３）。
投影部１６０は、投影画像形成部１５０によって形成されたテスト投影画像Ｐ１を投影面（壁面３０およびソファ５０）に投影する（ステップＳ１０４）。
画像補正部１２０は、投影部１６０がテスト投影画像Ｐ１を投影面に投影している状態で、当該投影面を撮像して生成されるテスト画像データを取得する（ステップＳ１０５）。
光路長情報取得部１３０は、テスト画像データに設定されている微小領域ごとに光路長情報を取得する（ステップＳ１０６）。
投影装置１００は、所望のテスト画像データが揃うまでテスト投影を継続し（ステップＳ１０７のＮＯ）、ステップＳ１０２からステップＳ１０６の処理を繰り返す。また、投影装置１００は、所望のテスト画像データが揃ったときテスト投影を終了する（ステップＳ１０７のＹＥＳ）。そして、画像補正部１２０は、ステップＳ１０５で取得されたテスト画像データと、ステップＳ１０６で光路長情報取得部１３０よって取得された光路長情報と、に基づいて幾何補正および色調補正に用いる補正パラメータを生成する（ステップＳ１０８）。
ステップＳ１０８で補正パラメータを生成した後に、画像入力部１１０がテスト投影用の画像データとは異なる他の画像データを入力したとき（ステップＳ１０９）、画像入力部１１０に入力された他の画像データを補正する際に、生成された補正パラメータを用いて幾何補正（ステップＳ１１０）および色調補正（ステップＳ１１１）を行う。
ステップＳ１１０とステップＳ１１１による補正処理で生成された補正画像データを元にして、投影画像形成部１５０は投影面に投影する投影画像を生成し（ステップＳ１１２）、生成された投影画像を投影部１６０は投影面に投影する（ステップＳ１１３）。
投影装置１００による画像投影が継続している間は（ステップＳ１１４のＮＯ）、ステップＳ１０９からステップＳ１１３までの処理を繰り返して、連続的に投影面に投影画像を投影する。すなわち、投影装置１００は動画投影を行うことができる。そして、投影装置１００による投影が終了するとき（ステップＳ１１４のＹＥＳ）、上記の一連のフローは終了する。
Hereinafter, the processing procedure by the
First, the
The projection
The
The
The optical path length
The
After the correction parameters are generated in step S108, when the
Based on the corrected image data generated by the correction processing in step S110 and step S111, the projection
While the image projection by the
上記のように、テスト投影を事前に行って補正パラメータを生成し、補正パラメータを生成した後は、それを反復的に用いることによって、その都度補正パラメータを生成しなくとも持続的に投影画像を投影面に投影することができる。これにより、補正処理の処理負荷が軽減される。 As described above, a test projection is performed in advance to generate a correction parameter, and after the correction parameter is generated, the projection image is continuously used by repeatedly using the correction parameter without generating the correction parameter each time. It can project on a projection surface. Thereby, the processing load of the correction process is reduced.
なお、上記で説明した図１０の処理手順は、その記載の順番は複数の処理を実行する順番やタイミングを限定するものではない。例えば、その複数の処理の順番は内容的に支障のない範囲で変更することができ、また複数の処理の実行タイミングの一部または全部が互いに重複していてもよい。
以下、上記の処理手順に含まれる各処理について、より詳細に説明する。
In the processing procedure of FIG. 10 described above, the order of description does not limit the order or timing of executing a plurality of processes. For example, the order of the plurality of processes can be changed as long as there is no problem in content, and some or all of the execution timings of the plurality of processes may overlap each other.
Hereinafter, each process included in the above processing procedure will be described in more detail.
ステップＳ１０２で入力し、ステップＳ１０３で処理されるテスト投影用の画像データとは、理想平面に投影すれば図４に示す投影画像となる画像データであり、所定数の矩形マス（メッシュ）に分割されている。また、上述したように、各矩形マスが微小領域として設定されている。
テスト投影用の画像データは、投影装置１００が備えている記憶装置（図示せず）に予め格納されていることが好ましい。なぜならば、自前でテスト投影用の画像データを保有していることで、画一的なテスト投影を容易に実行することができ、補正処理の精度を一定の水準で保つことができるからである。
The image data for test projection input in step S102 and processed in step S103 is image data that becomes a projection image shown in FIG. 4 when projected onto an ideal plane, and is divided into a predetermined number of rectangular cells (mesh). Has been. Further, as described above, each rectangular cell is set as a minute region.
The image data for test projection is preferably stored in advance in a storage device (not shown) provided in the
ステップＳ１０４で投影されるテスト投影画像Ｐ１は、各視点から視ると図７に示すようになる。図７（ａ）は投影面の正面から、すなわち撮像装置２００から視たテスト投影画像Ｐ１である。図７（ｂ）は投影装置１００から視たテスト投影画像Ｐ１である。なお、図７における斜線部分（微小領域Ｐ１１から微小領域Ｐ１６）は、説明に該当する微小領域を示すために斜線を引くものであり、実際の見た目がそのようになっている必要はない。
The test projection image P1 projected in step S104 is as shown in FIG. 7 when viewed from each viewpoint. FIG. 7A shows a test projection image P1 viewed from the front of the projection plane, that is, from the
図７で図示しているように、テスト投影画像Ｐ１は全体として、天井面１０に近い側（Ｙ軸の正方向側）が狭く、かつ、床面２０に近い側（Ｙ軸の負方向側）が広い台形状の画像となる。
ここで、テスト投影画像Ｐ１において、投影軸と交差する位置を交差点Ｂ１とする。ここで投影軸とは、投影レンズ１８２の光軸のことである。図４および図７では交差点Ｂ１をテスト投影画像Ｐ１の中央に示す。
As shown in FIG. 7, the test projection image P1 as a whole has a narrower side closer to the ceiling surface 10 (Y-axis positive direction side) and a side closer to the floor surface 20 (Y-axis negative direction side). ) Is a wide trapezoidal image.
Here, in the test projection image P1, a position that intersects the projection axis is defined as an intersection B1. Here, the projection axis is the optical axis of the
ソファ５０の背もたれ部分で壁面３０と略並行な面５２に投影される微小領域Ｐ１１（交差点Ｂ１を基準として左に１列目、下に２行目）は、壁面３０に投影されている同じ行の微小領域Ｐ１２（交差点Ｂ１を基準として左に４列目、下に２行目）よりも投影装置１００に近接しているので、微小領域Ｐ１２よりも小さくなる。
なお、微小領域Ｐ１１および微小領域Ｐ１２は、Ｙ軸の正方向から負方向へと拡大する台形状となる。
The minute region P11 (the first column on the left and the second row on the bottom with respect to the intersection B1) projected on the
The minute region P11 and the minute region P12 have a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction.
上記の面５２およびソファ５０の背もたれ部分で床面２０と略並行な面５１に跨がって投影される微小領域Ｐ１３（交差点Ｂ１を基準として左に１列目、下に１行目）は、面５１と面５２に跨がっているので、壁面３０に投影されている同じ行の微小領域Ｐ１４（交差点Ｂ１を基準として右に４列目、下に１行目）よりも正面から視ると小さくなる。
より詳細には、微小領域Ｐ１３のうち面５２に投影されている部分領域Ｐ１３２の下辺と微小領域Ｐ１４の下辺とを比べると、部分領域Ｐ１３２の方が小さく、また、部分領域Ｐ１３２の方が高い位置（Ｙ軸の正方向側）にある。
一方で、微小領域Ｐ１３のうち面５１に投影されている部分領域Ｐ１３１の上辺と微小領域Ｐ１４の上辺とを比べると、その寸法は略等しい。より正確には、部分領域Ｐ１３１の上辺の方が、投影装置１００に対してやや近いので、微小領域Ｐ１４の上辺よりやや小さい。
なお、部分領域Ｐ１３１は、Ｘ軸の正方向から負方向へと拡大する台形状となる。また、部分領域Ｐ１３２は、Ｙ軸の正方向から負方向へと拡大する台形状となる。また、微小領域Ｐ１４は、Ｙ軸の正方向から負方向へと拡大する台形状となる。
The minute region P13 (first column on the left and the first row on the lower side with respect to the intersection B1) projected on the
More specifically, when the lower side of the partial region P132 projected on the
On the other hand, when the upper side of the partial region P131 projected on the
The partial region P131 has a trapezoidal shape that expands from the positive direction of the X axis to the negative direction. Further, the partial region P132 has a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction. Further, the minute region P14 has a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction.
ソファ５０の腰掛け部分で床面２０と略平行な面５３に投影される微小領域Ｐ１５（交差点Ｂ１を基準として右に１列目、下に３行目）は、投影装置１００（投影レンズ１８２）から微小領域Ｐ１５への入射線と面５３とがなす角度が４５度であることを前提とすれば、壁面３０に投影されている同じ行の微小領域Ｐ１６（交差点Ｂ１を基準として右に４列目、下に３行目）と略同じ大きさとなる。また、当該角度が４５度より鋭角である場合には、微小領域Ｐ１５は微小領域Ｐ１６より大きくなる。また、当該角度が４５度より鈍角である場合には、微小領域Ｐ１５は微小領域Ｐ１６より小さくなる。ただし、微小領域Ｐ１５は面５３に投影されるので、壁面３０およびソファ５０の正面から見えない。
なお、微小領域Ｐ１５は、Ｘ軸の正方向から負方向へと拡大する台形状となる。また、微小領域Ｐ１６は、Ｙ軸の正方向から負方向へと拡大する台形状となる。
The minute region P15 (first row on the right and third row on the lower side with respect to the intersection B1) projected onto the
Note that the minute region P15 has a trapezoidal shape that expands from the positive direction of the X axis to the negative direction. The minute region P16 has a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction.
壁面３０に投影される微小領域Ｐ１７（交差点Ｂ１を基準として左に１列目、上に３行目）は、テスト投影画像Ｐ１の中で最も投影装置１００に近い微小領域である。微小領域Ｐ１７は、他の微小領域と比べて投影装置１００に近接しているため、他の領域より小さい。
なお、微小領域Ｐ１７は、Ｙ軸の正方向から負方向へと拡大する台形状となる。
A micro area P17 projected on the wall surface 30 (the first column on the left and the third line on the upper side with respect to the intersection B1) is the micro area closest to the
The minute region P17 has a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction.
ステップＳ１０６において、光路長情報取得部１３０は、光路長情報を微小領域の頂点ごとに取得することがより好ましい。すなわち、図４に示すように、微小領域が矩形である場合には、一つの微小領域に四つの光路長情報を対応付けることになる。これにより、より精密な画像補正が可能となる。
In step S106, it is more preferable that the optical path length
ステップＳ１０７の判定について、具体的には、所望のテスト画像データが揃うか否かによって判定する。当該判定は、投影装置１００が自律的に判定する手段を備えていてもよいし、投影装置１００の利用者が任意に行ってもよい。
ここで所望のテスト画像データとは、具体的には、画像入力部１１０に入力される画像データの各色調（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ））のうち一つのみが最大値で、残りの二つが最小値に設定されたテスト用画像データを投影したときに得られる三種類のテスト画像データと、全ての色調が最大値に設定された（白色の）テスト用画像データを投影したときに得られるテスト画像データと、全ての色調が最小値に設定された（黒色の）テスト用画像データを投影したときに得られるテスト画像データと、をいう。
上記の五種類のテスト画像データのうち全てを揃えなくとも補正処理は可能であるが、特に色調補正（ステップＳ１１１）を高精度に行うためには、五種類が揃っていることが好ましい。
Specifically, the determination in step S107 is performed based on whether or not desired test image data is prepared. The determination may include a means for the
Here, specifically, the desired test image data is only one of the color tones (red (R), green (G), blue (B)) of the image data input to the
Correction processing can be performed without arranging all of the above five types of test image data, but in order to perform color tone correction (step S111) with high accuracy, it is preferable that the five types are prepared.
ステップＳ１０８で生成される補正パラメータは、ステップＳ１１０の幾何補正およびステップＳ１１１の色調補正に用いられる。 The correction parameter generated in step S108 is used for geometric correction in step S110 and color tone correction in step S111.
以下、本実施形態の画像補正部１２０が幾何補正に用いる補正パラメータＣ１について説明する。
まず、画像補正部１２０は、ステップＳ１０５で取得されるテスト画像データのいずれかを選択する。ここで選択するテスト画像データの種別は特に限定されないが、各微小領域の輪郭が画像処理によって解析可能な程度に明瞭に撮像されているテスト画像データを選択することが好ましい。
画像補正部１２０は、交差点Ｂ１を座標の中心とし、ステップＳ１０６で取得した光路長情報とテスト画像データに撮像されている各微小領域の頂点の位置座標を決定する。この決定に関して、光路長情報も加味しているので、テスト画像データに撮像されていない微小領域（例えば、図７における微小領域Ｐ１５）についても位置座標を決定することができる。
Hereinafter, the correction parameter C1 used by the
First, the
The
画像補正部１２０は、以上の処理によって得られた交差点および各微小領域の頂点の位置座標に基づいて、補正後のテスト画像データを投影面に投影した場合に以下の条件を満たす微小領域が可能な限り多くなるように、各微小領域の頂点の補正後の位置座標を決定する。
（ｉ）各微小領域が等しい大きさの正方形（本来の微小領域の形状）に近似させる
（ｉｉ）同じ行を構成している各微小領域を補正して投影面に投影したとき、それぞれの縦方向（図７においてはＹ軸方向）の位置座標を近似させる
（ｉｉｉ）同じ列を構成している各微小領域を補正して投影面に投影したとき、それぞれの横方向（図７においてはＺ軸方向）の位置座標が近似する
ここで縦方向および横方向とは、補正対象の画像データを理想平面に投影画像した場合における概念であって、必ずしも現実空間の座標軸で示される方向と一致するものではない。
以上の処理で得られるテスト画像データの補正後の位置座標を、画像補正部１２０は補正パラメータＣ１として生成する。当然ながら、画像補正部１２０によって生成される補正パラメータＣ１には、交差点Ｂ２の位置座標も含まれる。
Based on the intersection and the position coordinates of the vertices of each minute area obtained by the above processing, the
(I) Each micro area is approximated to a square of the same size (original micro area shape). (Ii) When each micro area constituting the same row is corrected and projected onto the projection plane, Approximate the position coordinates in the direction (Y-axis direction in FIG. 7) (iii) When each minute region constituting the same column is corrected and projected onto the projection plane, each lateral direction (Z in FIG. Here, the vertical direction and the horizontal direction are the concepts when the image data to be corrected is projected onto the ideal plane, and do not necessarily coincide with the direction indicated by the coordinate axis in the real space. It is not a thing.
The
前段で述べた幾何補正のパラメータを用いたステップＳ１１０の幾何補正によって形成される投影画像Ｐ２を図８に示す。また、図８の投影画像Ｐ２を、投影面（壁面３０およびソファ５０）に投影した様子を図９に示す。
FIG. 8 shows a projection image P2 formed by the geometric correction in step S110 using the geometric correction parameters described in the previous stage. FIG. 9 shows a state in which the projection image P2 of FIG. 8 is projected onto the projection plane (the
図８に示すように、投影画像Ｐ２は全体として上側が広く、下側が小さい略台形状の画像となる。すなわち、図７で図示したテスト投影画像Ｐ１とは狭い側と広い側とが逆転している。
また、交差点Ｂ２を中心としており、各微小領域は全体的に交差点Ｂ２に寄せるように縮小されているため、投影画像Ｐ２の輪郭近傍には微小領域が割り当てられていない部分が存在する。
As shown in FIG. 8, the projection image P2 is a substantially trapezoidal image having a wide upper side and a small lower side as a whole. That is, the narrow side and the wide side are reversed with respect to the test projection image P1 illustrated in FIG.
Further, since each minute area is reduced so as to approach the intersection B2 as a whole centering on the intersection B2, there is a portion to which no minute area is assigned in the vicinity of the outline of the projection image P2.
図８の投影画像Ｐ２を壁面３０およびソファ５０に投影すると、図９で示すように、全体としては天井面１０に近い側（Ｙ軸の正方向側）が狭く、かつ、床面２０に近い側（Ｙ軸の負方向側）が広い台形状の画像となる点では、補正前のテスト投影画像Ｐ１と同様であるが、微小領域が割り当てられている部分については概ね矩形状になっている。
When the projected image P2 of FIG. 8 is projected onto the
壁面３０と略並行な面５２に投影される微小領域Ｐ２１（投影画像Ｐ２の右下隅を基準として左に５列目、上に２行目）は、壁面３０に投影されている同じ行の微小領域Ｐ１２（交差点Ｂ１を基準として左に８列目、上に２行目）よりも投影装置１００に近接しているので、微小領域Ｐ１２よりも小さくなる。
なお、微小領域Ｐ１１および微小領域Ｐ１２は、Ｙ軸の正方向から負方向へと拡大する台形状となる。
The minute region P21 projected on the
The minute region P11 and the minute region P12 have a trapezoidal shape that expands from the positive direction of the Y axis to the negative direction.
面５２に投影される微小領域Ｐ２１（交差点Ｂ２を基準として左に１列目、下に２行目）は、壁面３０に投影されている同じ行の微小領域Ｐ２２（交差点Ｂ２を基準として左に４列目、下に２行目）よりも投影装置１００に近接しているが、共に略等しい大きさの正方形になっている。
また、微小領域Ｐ２１は、壁面３０に投影されている同じ列の微小領域Ｐ２７（交差点Ｂ２を基準として左に１列目、上に３行目）よりも投影装置１００に遠方に位置しているが、共に略等しい大きさの正方形になっている。
The minute region P21 projected on the surface 52 (first column on the left with respect to the intersection B2 and the second row below) is projected to the left with respect to the minute region P22 on the same row projected on the wall surface 30 (based on the intersection B2). The fourth column and the second row below) are closer to the
The minute region P21 is located farther from the
面５１および面５２に跨がって投影される微小領域Ｐ２３（交差点Ｂ２を基準として左に１列目、下に１行目）は、面５１と面５２に跨がっているが、壁面３０に投影されている同じ行の微小領域Ｐ２４（交差点Ｂ１を基準として右に４列目、下に１行目）と略等しい大きさになっている。
より詳細には、微小領域Ｐ２３のうち面５２に投影されている部分領域Ｐ２３２の下辺と微小領域Ｐ１４の下辺とを比べると、その寸法は略等しく、かつ、略同じ高さになっている（Ｙ軸方向の位置座標が近似している）。
また、微小領域Ｐ２３のうち面５１に投影されている部分領域Ｐ２３１の上辺と微小領域Ｐ１４の上辺とを比べても、その寸法は略等しく、かつ、略同じ高さになっている（Ｙ軸方向の位置座標が近似している）。
ただし、部分領域Ｐ２３２の上辺、すなわち部分領域Ｐ２３１の下辺は、上記の各辺より小さくなっているため、微小領域Ｐ２３は正方形にはなっていない。
The minute region P23 projected across the
More specifically, when the lower side of the partial region P232 projected on the
Further, even if the upper side of the partial region P231 projected on the
However, since the upper side of the partial region P232, that is, the lower side of the partial region P231 is smaller than the above-described sides, the minute region P23 is not square.
面５３に投影される微小領域Ｐ１５（交差点Ｂ２を基準として右に１列目、下に３行目）は、投影装置１００（投影レンズ１８２）から微小領域Ｐ２５への入射線と面５３とがなす角度が４５度であることを前提とすれば、壁面３０に投影されている同じ行の微小領域Ｐ２６（交差点Ｂ２を基準として右に４列目、下に３行目）と略同じ大きさの正方形となる。
The minute region P15 projected on the surface 53 (first row on the right and third row on the lower side with respect to the intersection B2) has an incident line from the projection device 100 (projection lens 182) to the minute region P25 and the
続いて、本実施形態の画像補正部１２０が色調補正に用いる補正パラメータＣ２について説明する。本実施形態の画像補正部１２０は二通りの色調補正を実行することができ、それぞれについて以下で説明する。
Subsequently, the correction parameter C2 used by the
ステップＳ１０２において、画像入力部１１０は、均一な階調値のピクセルから構成されるテスト投影用の画像データ（一の画像データ）を入力する。
ステップＳ１０３において、投影画像形成部１５０は、入力されたテスト投影用の画像データからテスト投影画像を形成する。
ステップＳ１０４において、投影部１６０は、テスト投影画像を投影面に投影し、撮像装置２００を用いて当該投影面を撮像する。
ステップＳ１０５において、画像補正部１２０は、当該テスト投影画像が投影されている投影面を撮像して生成されるテスト画像データを取得する。
ステップＳ１０６において、光路長情報取得部１３０は、テスト画像データに対して予め設定されている微小領域ごとに光路長情報を取得する。
In step S102, the
In step S103, the projection
In step S <b> 104, the
In step S105, the
In step S <b> 106, the optical path length
ステップＳ１０７の判定は、赤、緑、青、白、黒の五種類のテスト投影用の画像データを用いてテスト投影し、それぞれについてテスト画像データを取得するまで否定される。
すなわち、ステップＳ１０４では、上記の五種類のテスト撮影用の画像データそれぞれに基づいてテスト投影画像を投影面に投影し、それぞれについて当該投影面を撮像することが好ましい。
このように処理することによって、各色相について精度の高い色調補正が可能となる。
The determination in step S107 is negative until test projection is performed using image data for five types of test projections of red, green, blue, white, and black, and test image data is acquired for each.
That is, in step S104, it is preferable to project a test projection image on the projection plane based on each of the above five types of image data for test shooting, and to capture the projection plane for each.
By performing the processing in this way, it is possible to perform color tone correction with high accuracy for each hue.
なお、赤の画像データとは、Ｒの階調値が最大（２５５）を示し、かつ、ＧとＢの階調値が最小（０）を示す画像データである。
緑の画像データとは、Ｇの階調値が最大（２５５）を示し、かつ、ＲとＢの階調値が最小（０）を示す画像データである。
青の画像データとは、Ｂの階調値が最大（２５５）を示し、かつ、ＧとＲの階調値が最小（０）を示す画像データである。
白の画像データとは、ＲとＧとＢの階調値が共に最大（２５５）を示す画像データである。
黒の画像データとは、ＲとＧとＢの階調値が共に最小（０）を示す画像データである。
The red image data is image data in which the gradation value of R shows the maximum (255) and the gradation values of G and B show the minimum (0).
The green image data is image data in which the G gradation value indicates the maximum (255) and the R and B gradation values indicate the minimum (0).
The blue image data is image data in which the gradation value of B is maximum (255) and the gradation values of G and R are minimum (0).
White image data is image data in which the gradation values of R, G, and B are all maximum (255).
Black image data is image data in which the gradation values of R, G, and B are all minimum (0).
図１４は、赤の画像データをテスト投影して取得されるテスト画像データに含まれる各ピクセルの階調値（Ｒ）と、各ピクセルの位置座標との関係を示す図である。なお、図１４は、説明のために模擬的に示すものであって、各値は必ずしも正確なものではない。 FIG. 14 is a diagram illustrating the relationship between the gradation value (R) of each pixel included in the test image data obtained by test projection of red image data and the position coordinates of each pixel. Note that FIG. 14 is shown as a simulation for explanation, and each value is not necessarily accurate.
図１４に示すように、テスト投影の元となった画像データにおいてはＲの階調値が最大（２５５）であるにも関わらず、そのテスト投影の投影面を撮像して取得されるテスト画像データに含まれるＲの階調値は２５５になるとは限らず、かつ位置座標ごとにピクセルの階調値が異なる。
これは、投影面に光の一部が吸収されるので、その投影面の位置座標ごとに反射光の強弱が異なることに起因するものである。
As shown in FIG. 14, the test image obtained by imaging the projection plane of the test projection even though the R gradation value is the maximum (255) in the image data that is the basis of the test projection. The gradation value of R included in the data is not necessarily 255, and the gradation value of the pixel differs for each position coordinate.
This is because a part of the light is absorbed by the projection surface, and thus the intensity of the reflected light differs for each position coordinate of the projection surface.
ステップＳ１０８において、画像補正部１２０は、取得されたテスト画像データに含まれるピクセルのいずれかを導出し、導出されたピクセルの階調値を基準として、当該テスト画像データに含まれる他のピクセルの階調値を基準に近づける補正パラメータＣ２（または補正パラメータＣ３）を生成する。
その後繰り返し実行されうるステップＳ１１１においては、ステップＳ１０８で生成された補正パラメータＣ２（または補正パラメータＣ３）を用いて色調補正を行う。
In step S108, the
In step S111, which can be repeatedly executed thereafter, color correction is performed using the correction parameter C2 (or correction parameter C3) generated in step S108.
図１５は、図１４で示したテスト画像データを補正するための補正パラメータＣ２または補正パラメータＣ３を示す図である。 FIG. 15 is a diagram showing the correction parameter C2 or the correction parameter C3 for correcting the test image data shown in FIG.
補正パラメータＣ２は、以下の（２）式で表される値の集合体である。ここでＭは、テスト画像データに含まれる各ピクセルの階調値である。また、Ｉｍｉｎは、テスト画像データに含まれるピクセルの階調値の中で最も低い値（最低値）である。
式（２）は、最低値Ｉｍｉｎを示すピクセルの階調値を基準として、そのテスト画像データに含まれる他のピクセルの階調値を最低値Ｉｍｉｎに近づける関数の一例である。
より詳細には、式（２）は、各ピクセルの階調値Ｍを反転した値（２５５−Ｍ）と、最低値Ｉｍｉｎと合算し、その合算値について階調値の最大値（２５５）を１として規格化する関数である。
Equation (2), based on the tone value of the pixels for the minimum value I min, which is an example of a function to approximate the tone values of other pixels contained in the test image data to the minimum value I min.
More specifically, the expression (2) is obtained by adding the value (255-M) obtained by inverting the gradation value M of each pixel and the minimum value Imin, and regarding the total value, the maximum value (255) of the gradation value. Is a function that normalizes as 1.
次に、補正パラメータＣ３は、以下の（３）式で表される値の集合体である。ここで、Ｉｍａｘは、テスト画像データに含まれるピクセルの階調値の中で最も高い値（最高値）である。
式（３）は、最低値Ｉｍｉｎを示すピクセルの階調値を下限とし、最高値Ｉｍａｘおよび最低値Ｉｍｉｎの間の値、例えば中間値（Ｉｍａｘ＋Ｉｍｉｎ／２）を上限とするように、図１４に示す各階調値をならす関数の一例である。
換言すれば、式（３）は、最低値Ｉｍｉｎを示すピクセルの階調値を基準として、そのテスト画像データに含まれる他のピクセルの階調値のばらつきを低減させる関数であり、他のピクセルの階調値を最低値Ｉｍｉｎに近づける関数の一例といってもよい。
In the expression (3), the gradation value of the pixel indicating the minimum value I min is set as a lower limit, and a value between the maximum value I max and the minimum value I min , for example, an intermediate value (I max + I min / 2) is set as an upper limit. Thus, it is an example of a function that smoothes the gradation values shown in FIG.
In other words, the expression (3) is a function that reduces the variation in gradation values of other pixels included in the test image data with reference to the gradation value of the pixel indicating the minimum value I min . It may be an example of a function that brings the gradation value of a pixel closer to the minimum value Imin .
図１５に示すように、補正パラメータＣ２または補正パラメータＣ３における各値の大小関係は、図１４に示すテスト画像データにおける各階調値の大小関係の逆になる。これは、式（２）および式（３）にテスト画像データの反転処理（２５５−Ｍ）が含まれていることに起因する。 As shown in FIG. 15, the magnitude relationship between the values in the correction parameter C2 or the correction parameter C3 is opposite to the magnitude relationship between the gradation values in the test image data shown in FIG. This is because the test image data inversion process (255-M) is included in the expressions (2) and (3).
図１６は、図１４に示すテスト画像データを、補正パラメータＣ２または補正パラメータＣ３を用いた補正によって得られる補正画像データＤ２、Ｄ３を示す図である。補正画像データＤ２は、図１４に示すテスト画像データを、補正パラメータＣ２を用いて補正して得られるものである。また、補正画像データＤ３は、図１４に示すテスト画像データを、補正パラメータＣ３を用いて補正して得られるものである。 FIG. 16 is a diagram showing corrected image data D2 and D3 obtained by correcting the test image data shown in FIG. 14 using the correction parameter C2 or the correction parameter C3. The corrected image data D2 is obtained by correcting the test image data shown in FIG. 14 using the correction parameter C2. The corrected image data D3 is obtained by correcting the test image data shown in FIG. 14 using the correction parameter C3.
図１６に示すとおり、補正画像データＤ２は概ね一定の階調値になり、これはテスト画像データに含まれる階調値の最低値Ｉｍｉｎに略等しい。
また、図１４と図１６とを比較すればわかるように、補正画像データＤ３における各階調値のばらつきは、図１４に示すテスト画像データにおける各階調値のばらつきより低減しており、概ね半分になっている。
As shown in FIG. 16, the corrected image data D2 has a substantially constant gradation value, which is substantially equal to the minimum value I min of the gradation values included in the test image data.
Further, as can be seen by comparing FIG. 14 and FIG. 16, the variation of the gradation values in the corrected image data D3 is reduced from the variation of the gradation values in the test image data shown in FIG. It has become.
なお、上記に挙げた実施例のように、本発明の色調補正に用いる補正パラメータ（例えば補正パラメータＣ２や補正パラメータＣ３）の生成の基準となるピクセルは、テスト画像データにおける階調値の中でも低いもの（最低値Ｉｍｉｎを示すピクセル）を用いることが好ましい。
階調値が最大である画像を投影し、その反射光を撮像して得られる階調値がその位置座標において最低値Ｉｍｉｎを示す位置座標に対する色調補正において発色可能な限度はその最低値Ｉｍｉｎであり、それ以上の発色（階調値）は望めない。従って他の位置座標における階調値を最低値Ｉｍｉｎ合わせるのが妥当だからである。
Note that, as in the above-described embodiment, the pixel used as a reference for generating correction parameters (for example, the correction parameter C2 and the correction parameter C3) used for the color tone correction of the present invention is low among the tone values in the test image data. it is preferable to use things (pixels exhibiting the minimum value I min).
An image having the maximum gradation value is projected and the reflected light is picked up, and the gradation value obtained by imaging the reflected light has the minimum value I min. Min and color development (tone value) beyond that cannot be expected. Therefore, it is appropriate to adjust the gradation value at other position coordinates to the minimum value I min .
画像補正部１２０によってテスト画像データから導出されるピクセル（補正パラメータの生成における基準）は、そのテスト画像データの全部を解析して、そのうち階調値が最低値を示すピクセルを導出する方式でも構わないが、より好ましくは以下の方式を用いるとよい。
例えば、画像補正部１２０は、光路長情報取得部１３０によって取得された光路長情報のうち最大の距離を示す光路長情報を示す微小領域に対応しているピクセルを基準として導出してもよい。
上記のように、光路長が長くなるほど、その微小領域における発色は暗くなりやすい。従って、最大の距離を示す微小領域に対応しているピクセルの中に、そのテスト画像データにおける最低値Ｉｍｉｎを示すピクセルが含まれる蓋然性が高い。従って、画像補正部１２０による解析範囲をその微小領域に限定すれば、より軽負荷で補正パラメータ生成の基準を定めることができる。
The pixel derived from the test image data by the image correction unit 120 (reference in generating correction parameters) may be a method of analyzing all of the test image data and deriving a pixel having the lowest gradation value. However, it is preferable to use the following method.
For example, the
As described above, the longer the optical path length, the darker the color developed in the minute region. Therefore, there is a high probability that the pixel corresponding to the minute area indicating the maximum distance includes the pixel indicating the lowest value I min in the test image data. Therefore, if the analysis range by the
上記のような原理に基づく色調補正を、赤（Ｒ）だけではなく、緑（Ｇ）、青（Ｇ）のそれぞれについて行うことで、投影面自体の色や投影部１６０からの距離に起因してばらつく投影画像の色調を、より滑らかにすることができる。
また、白や黒についても三原色と同様に補正パラメータを生成することによって、白い投影画像をより白らしく発色させ、黒い投影画像をより黒らしく発色させる補正処理が可能となる。
すなわち、上記の色調補正を実行することによって、投影画像の観測者から見て違和感の少ない投影画像を実現することができる。
By performing color tone correction based on the above principle not only on red (R) but also on each of green (G) and blue (G), it is caused by the color of the projection surface itself and the distance from the
In addition, by generating correction parameters for white and black as in the case of the three primary colors, it is possible to perform a correction process in which a white projected image is colored more white and a black projected image is colored more black.
In other words, by executing the above-described color tone correction, it is possible to realize a projected image that is less uncomfortable when viewed from the observer of the projected image.
なお、上記の実施例では、赤、緑、青、白、黒の五種類のテスト投影用の画像データを投影した状態で撮像した画像データをテスト画像データとして扱う例を述べたが、他の画像データ、例えば自然光で投影面を照らして撮像される画像データ等もテスト画像データとして用いてもよい。 In the above embodiment, an example has been described in which image data captured in a state in which five types of image data for test projection of red, green, blue, white, and black are projected is treated as test image data. Image data such as image data captured by illuminating the projection surface with natural light may also be used as the test image data.
また、上記の実施例では、式（２）や式（３）を用いて補正パラメータを生成するように説明したが、上記の原理に基づく一例であって、本発明の実施をこれに限定する必要はない。 In the above embodiment, the correction parameters are generated using the equations (2) and (3). However, this is an example based on the above principle, and the embodiment of the present invention is limited to this. There is no need.
＜投影装置１００による画像投影の第二の実施例＞
続いて、これまで説明した実施例とは異なる第二の実施例に基づいて、投影装置１００を具体的に説明する。この説明では、図４から図６、図１０から図１２を用いる。
図４は、微小領域を割り当てた投影画像（テスト投影画像Ｐ１）を理想平面に投影した様子を示す模式図である。
図５は、投影装置１００および撮像装置２００の設置例を示す模式図である。
図６は、投影装置１００の位置から図５のＸＹＺ座標の原点を視る視点からの模式図である。
図１０は、投影装置１００が行う処理の手順を示すフローチャートである。
図１１は、図４に示す投影画像（テスト投影画像Ｐ１）を投影面（床面２０と壁面３０と壁面４０）に投影し、投影装置１００の位置から視た状態を示す図である。
図１２は、図４に示す投影画像の元となる画像データを補正して形成される投影画像Ｐ３を投影面（床面２０と壁面３０と壁面４０）に投影し、投影装置１００の位置から視た状態を示す図である。
<Second Example of Image Projection by
Next, the
FIG. 4 is a schematic diagram showing a state in which a projection image (test projection image P1) to which a minute region is assigned is projected onto an ideal plane.
FIG. 5 is a schematic diagram illustrating an installation example of the
FIG. 6 is a schematic view from the viewpoint of viewing the origin of the XYZ coordinates in FIG. 5 from the position of the
FIG. 10 is a flowchart showing a procedure of processing performed by the
FIG. 11 is a diagram illustrating a state in which the projection image (test projection image P1) illustrated in FIG. 4 is projected onto the projection plane (the
12 projects a projection image P3 formed by correcting the image data that is the basis of the projection image shown in FIG. 4 onto the projection plane (the
本実施例では、第一の実施例における投影装置１００の配置は変えず、投影面を変更している。具体的には、投影装置１００は、図４に示すテスト投影画像Ｐ１を、図５および図６に示している床面２０と壁面３０と壁面４０との三面に跨がるように投影している。
図１１に図示しているように、テスト投影画像Ｐ１は、三面に跨がって投影されているので、投影装置１００の位置からは各面の境目で歪んでいるように見える。
微小領域Ｐ３１のように、複数の面（図１１においては壁面３０と壁面４０）に跨がって投影され、複数の部分領域（図１１においては部分領域Ｐ３１１と部分領域Ｐ３１２）に分かれている微小領域は、本来の形状（正方形）とはかけ離れた形状に変形している。
In the present embodiment, the projection plane is changed without changing the arrangement of the
As illustrated in FIG. 11, the test projection image P1 is projected across three surfaces, and thus appears to be distorted at the boundary between the surfaces from the position of the
Like the minute region P31, the projection is performed across a plurality of surfaces (the
前段のように投影されているテスト投影画像Ｐ１を、図１０を用いて説明した処理手順で補正し、形成される投影画像Ｐ３を床面２０と壁面３０と壁面４０との三面に跨がるように投影させると、図１２のようになる。
図１２で図示しているように、投影画像Ｐ３を三面に跨がるように投影させても各面において矩形状に見える。なお、図１２の視点からは各面に対して正面を向いていないので、各微小領域が縦方向に縮小した矩形に見えるが、正面から見れば略正方形になっている。
また、図１２に図示される各微小領域は、床面２０と壁面３０と壁面４０（ＸＹＺ軸の原点）に近接側が大きく、遠方側が小さく図示されているが、これは図１２を遠近法によって図示したことに起因するものであり、実際には各微小領域は略等しい大きさになっている。
The test projection image P1 projected as in the previous stage is corrected by the processing procedure described with reference to FIG. 10, and the formed projection image P3 extends over the three surfaces of the
As shown in FIG. 12, even if the projection image P3 is projected so as to straddle three surfaces, it looks rectangular in each surface. In addition, from the viewpoint of FIG. 12, since it does not face the front with respect to each surface, each minute area looks like a rectangle reduced in the vertical direction, but when viewed from the front, it is a substantially square.
In addition, each minute region illustrated in FIG. 12 is illustrated with the
補正前の投影（図１１に示す投影）においては、壁面３０と壁面４０とに跨がっていた微小領域Ｐ３１に対応する微小領域Ｐ４１の配置は、画像補正部１２０による補正処理によって交差点Ｂ３に寄せられる。従って、微小領域Ｐ４１は、補正後の投影（図１２に示す投影）において床面２０と壁面３０とに跨がる位置に移動する。また、微小領域Ｐ４１は、壁面３０に投影されている部分領域Ｐ４１１と、床面２０に投影されている部分領域Ｐ４１２とに分かれている。部分領域Ｐ４１１と部分領域Ｐ４１２とは単体で見れば台形状や三角形状であるが、微小領域Ｐ４１は全体としては略正方形になっている。
In the projection before the correction (projection shown in FIG. 11), the arrangement of the minute region P41 corresponding to the minute region P31 straddling the
本実施例について、これまで幾何補正について説明した。当然ながら、投影装置１００入力された画像データに対して色調補正も行うが、第一の実施例で説明した内容に相当するものであり、本実施例での説明は省略する。
In the present embodiment, the geometric correction has been described so far. Naturally, although tone correction is also performed on the image data input to the
以上のように、複数の面に跨がる投影面に投影画像を投影した場合であっても、また、各面に投影装置１００（投影レンズ１８２）が正対していない場合であっても、投影装置１００は観賞に堪えうる投影画像を投影することができる。
As described above, even when a projection image is projected on a projection surface extending over a plurality of surfaces, or even when the projection device 100 (projection lens 182) is not directly facing each surface, The
以上、説明したように、本実施形態の投影装置１００は、投影画像の元となる画像データを投影面に合わせて適切に幾何補正および色調補正を行うことができる。従って、たとえ投影面が歪な形状であっても、投影面が複数面に跨がる場合であっても、投影装置１００が投影面に正対していない場合であっても、投影装置１００は観賞に堪えられる画像投影を実現することができる。
また、投影装置１００の外観は、いわゆるスポットライトに類似する形状になっており、ベース部１７０（給電部１７２）が既存の電球ソケットやシーリング取付具に装着可能に形成されているので、既存設備と違和感なく置き換えることができる。
As described above, the
Further, the external appearance of the
上記のような二つの特徴点を有しているので、投影装置１００は利用環境に合わせて画像コンテンツ（静止画・動画）を投影することができる。
例えば、室内で投影装置１００を利用する場合、室内の壁面や家具の天面に、朝食時は湖畔や海岸など気分を爽やかにするような画像コンテンツを投影し、夕飯時はレストランやバーなど落ち着いた雰囲気を醸し出す画像コンテンツを投影し、入浴中は露天風呂を連想させるような画像コンテンツを投影するような利用方法もある。
また、特に画像コンテンツの投影を必要としない場合であっても、光源部１４０の光を直接、または、白色の投影画像を投影することによって、照明と兼用することも可能である。
Since it has the two feature points as described above, the
For example, when the
Even if it is not particularly necessary to project the image content, it is possible to use the light of the
一方、屋外で利用する場合には、壁面や地面に、看板やポスターに代わる映像広告を投影することもできる。通常の街頭広告と違って撤去作業および設置作業は、画像入力部１１０から入力する画像データの差し替えによって実現できるので、これらの作業にかかる経済コストおよび時間コストを削減することができる。
また、本発明の投影装置１００による映像広告であれば、内容の差し替えに限らず、一時的に投影を停止することも容易である。従って、例えば、屋外収録を行っている最中に企業広告が収録画像に入り込まないように、当該企業広告の投影を停止するといった対応も容易となる。
On the other hand, when using outdoors, a video advertisement replacing a signboard or a poster can be projected on the wall or ground. Unlike ordinary street advertisements, the removal work and the installation work can be realized by replacing the image data input from the
Moreover, if it is a video advertisement by the
＜投影装置１００と同様の機能を備えた変形例＞
これまで投影装置１００について説明してきたが、以下においては投影装置１００に備えられる各種機能に相当する機能を含んでいる画像処理装置５００および画像配信システム１０００について、図１３を用いて説明する。
図１３は、画像処理装置５００および画像配信システム１０００の機能構成を示す機能ブロック図である。
<Modification with the same function as the
The
FIG. 13 is a functional block diagram illustrating functional configurations of the
画像配信システム１０００に含まれる各構成要素について説明する。
画像配信システム１０００は、発光する光源部６１０の光を用いて投影画像を投影面に投影する投影装置６００に対して、投影画像の元となる画像コンテンツを配信するシステムである。
画像処理装置５００は、発光する光源部６１０の光を用いて投影画像を投影面に投影する際に、投影画像の元となる画像コンテンツを生成する装置であって、画像入力部５１０と光路長情報取得部５３０と画像補正部５２０と画像配信部５４０とを有している。
画像入力部５１０は、複数のピクセルから構成される画像データを入力する。
光路長情報取得部５３０は、投影画像に定めた複数の微小領域ごとに基準点から投影面までの光路の距離を示す光路長情報を取得する。
画像補正部５２０は、画像データに含まれるピクセルと微小領域とを対応付けて、ピクセルに対応付けられた微小領域の光路長情報に基づいて画像データに幾何補正および色調補正を行って画像コンテンツを生成する。
画像配信部５４０は、画像補正部５２０によって生成された画像コンテンツを、通信回線７００を介して配信する。
Each component included in the
The
The
The
The optical path length
The
The
前段で説明した画像入力部５１０と画像補正部５２０と光路長情報取得部５３０とは、前述した実施例における画像入力部１１０と画像補正部１２０と光路長情報取得部１３０とに相当する機能であり、同様の処理を行うことができる。ここで同様の処理とは、図１０で説明したフローチャートに含まれる各フローと同等の処理をいう。
The
通信回線７００は、インターネット、電話通信網（携帯電話通信網を含む）、ＬＡＮ（Local Area Network）等の種々のコンピュータネットワーク又はその組合せで構成することができる。また、各構成要素とネットワークとの通信接続は、有線通信であってもよいし、無線通信であってもよい。
The
さらに、画像配信システム１０００は、統括制御部４００と投影装置６００と撮像装置８００と測距センサ９００とを備えている。
統括制御部４００は、本変形例の投影装置６００と撮像装置８００と測距センサ９００とを統括的に制御する情報処理装置である。統括制御部４００は、撮像装置８００と測距センサ９００とから所望の環境情報（例えば、上記の実施例で説明した光路長情報、テスト画像データ等）を取得し、取得した環境情報を画像処理装置５００に提供する。また、統括制御部４００は、画像処理装置５００による補正処理で生成された画像コンテンツの配信を受け付け、受け付けた画像コンテンツを投影装置６００に提供し、当該画像コンテンツに基づいて投影画像を行わせる。
Furthermore, the
The
本変形例の統括制御部４００は、画像配信システム１０００に特化した専用の情報処理装置であってもよいし、汎用のコンピュータ装置にアプリケーションソフトをインストールすることによって実現される情報処理装置であってもよい。なお、汎用のコンピュータ装置とは、いわゆるパーソナルコンピュータ、スマートフォン、タブレット端末等が挙げられる。
The
本変形例の撮像装置８００と測距センサ９００は、前述した実施例における撮像装置２００および測距センサ（図示せず）に相当する構成要素であり、同様の処理を行うことができる。すなわち、撮像装置８００は投影面にテスト撮影された状態で撮像される種々の画像データ（テスト画像データ）を生成することができる。また、測距センサ９００は投影画像に定められた微小領域ごとに、基準点から投影面までの距離を示す光路長情報を取得することができる。
The
本変形例の投影装置６００は、いわゆるプロジェクタ装置である。投影装置６００は、光源部６１０と投影画像形成部６２０と投影部６３０を備えている。これらの機能は、前述した実施例における光源部１４０と投影画像形成部１５０と投影部１６０とに相当する機能であり、同様の処理を行うことができる。
The
なお、図１３においては統括制御部４００と投影装置６００と撮像装置８００と測距センサ９００とは、別の構成要素として記載しているが、これらのうち二つ以上が一体となっていてもよい。例えば、統括制御部４００が汎用的なスマートフォンであれば、当該スマートフォンに搭載されているカメラ機能を撮像装置８００として利用することも可能であり、統括制御部４００と撮像装置８００とが一体になっているともいえる。
In FIG. 13, the
以上で説明したように、画像配信システム１０００は、投影装置６００の周囲環境を示す情報（例えば、上記の実施例で説明した光路長情報、テスト画像データ等）を、通信回線７００を介して取得する。また、画像配信システム１０００は、画像処理装置５００（画像補正部５２０）で補正処理を行って画像コンテンツを生成し、生成した画像コンテンツを投影装置６００に配信することができる。
通信回線７００がインターネットである場合には、画像配信システム１０００は利用者側から提供された種々の環境情報に基づいて画像コンテンツを生成して配信するウェブサービスということもできる。
As described above, the
When the
ここまで実施例および変形例を示して本発明を説明したが、これらの例に本発明は限られない。また、本発明の各種の構成要素は、個々に独立した存在である必要はなく、複数の構成要素が単一の構成要素として構成されていること、一つの構成要素が複数の構成要素に分割されて形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。
また、上述した各種の構成要素は、必ずしも必須の構成要素ではなく、本発明の効果を阻害しない程度に省いても構わないし、同等に機能又は作用する他の構成要素に代えてもよい。
So far, the present invention has been described with reference to examples and modifications, but the present invention is not limited to these examples. In addition, the various components of the present invention do not have to be independent of each other, a plurality of components are configured as a single component, and one component is divided into a plurality of components. It is permitted that a certain component is a part of another component, a part of a certain component overlaps a part of another component, and the like.
Moreover, the various components described above are not necessarily essential components, and may be omitted to the extent that the effects of the present invention are not impaired, or may be replaced with other components that function or function in an equivalent manner.
例えば、投影装置１００は、テスト画像データを撮像する位置（視点）を一箇所として説明したが、複数箇所から撮像しても構わない。
これにより、微小領域Ｐ１５のように、一部の視点からは撮像されない微小領域も撮像することが可能となり、幾何補正および色調補正に加味することができる。
For example, the
As a result, it is possible to image a minute region that is not captured from a part of the viewpoint, such as the minute region P15, and this can be added to geometric correction and color tone correction.
また、上記の実施例の投影装置１００は、投影画像の観測者の視点から投影面までの光路の距離を示す視点情報を、光路長情報に対応付けて取得する視点情報取得部を備えてもよい。この場合、画像補正部１２０は、画像データに含まれるピクセルに対応付けられた微小領域の光路長情報および当該光路長情報に対応付けられた視点情報に基づいて画像データに幾何補正および色調補正を行って補正画像データを生成することができる。従って、より高精度な幾何補正および色調補正を実現することができる。
Further, the
また、上記の実施例の投影装置１００において、図１０に示すとおり、補正パラメータの生成（ステップＳ１０８）を一度の処理で済ませる実施例で説明したが、これに限られない。例えば、幾何補正用の補正パラメータＣ１と、色調補正用の補正パラメータＣ２、Ｃ３、Ｃ４と、を分けて生成してもよい。より詳細に言えば、まず、一度目のテスト投影（ステップＳ１０２からステップＳ１０７の一連の処理）で補正パラメータＣ１を生成する。次に、生成された補正パラメータＣ１を用いて幾何補正を行ったテスト用投影画像を用いて二度目のテスト投影を行い、当該テスト投影で補正パラメータＣ２、Ｃ３、Ｃ４を生成する。
このように補正パラメータを生成することにより、幾何補正後の投影位置に基づいて色調補正用の補正パラメータＣ２、Ｃ３、Ｃ４を生成することができ、より色調補正の精度を向上させうる。
Further, in the
By generating correction parameters in this way, correction parameters C2, C3, and C4 for color tone correction can be generated based on the projected position after geometric correction, and the accuracy of color tone correction can be further improved.
画像配信システム１０００において、画像処理装置５００にのみ光路長情報取得部５３０が備えられる態様を説明したが、光路長情報取得部５３０の一部処理を統括制御部４００に行わせてもよい。
例えば、図１０のフローチャートにおけるステップＳ１０８で生成される補正パラメータＣ１、Ｃ２、Ｃ３、Ｃ４に相当する補正パラメータを生成する処理を画像処理装置５００で行い、当該補正パラメータを用いて画像データを補正する処理は統括制御部４００で行ってもよい。
このような構成にすることにより統括制御部４００に内蔵されている画像データ、または、統括制御部４００に入力される画像データを用いて投影装置６００は画像投影を行うことができる。利用者としては比較的自由に補正対象となる画像データを選択することができ、利用者の利便性が向上する。
In the
For example, the
With such a configuration, the
また、画像配信システム１０００において、画像処理装置５００と統括制御部４００とが別の装置であって、通信回線７００を介して通信接続する態様で説明したが、統括制御部４００と画像処理装置５００とは一体の装置であってもよい。
すなわち、投影装置６００に付属する装置が上記の画像コンテンツを生成し、投影装置６００はその画像コンテンツを投影してもよい。
Further, in the
That is, a device attached to the
本実施形態は以下の技術思想を包含する。
（１）発光する光源部と、複数のピクセルから構成される画像データを入力する画像入力部と、前記画像入力部に入力された前記画像データを補正して補正画像データを生成する画像補正部と、前記画像補正部によって生成された前記補正画像データから投影面に投影する投影画像を形成する投影画像形成部と、前記投影画像形成部によって形成された前記投影画像を、前記光源部が発光する光を用いて前記投影面に投影する投影部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、を備え、前記画像補正部は、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記補正画像データを生成する投影装置。
（２）前記画像補正部は、補正処理の基準となる基準距離を定め、補正対象となる前記ピクセルに対応付けられた前記微小領域の前記光路長情報が前記基準距離より小さいとき、前記幾何補正として当該ピクセルによって形成される集合部分を拡大し、かつ、前記色調補正として当該ピクセルの階調値を小さくし、補正対象となる前記ピクセルに対応付けられた前記微小領域の前記光路長情報が前記基準距離より大きいとき、前記幾何補正として当該ピクセルによって形成される集合部分を縮小し、かつ、前記色調補正として当該ピクセルの階調値を大きくする（１）に記載の投影装置。
（３）前記画像補正部が前記幾何補正を行うとき、補正対象となる前記ピクセルによって形成される集合部分の拡大率が、前記基準距離に対する当該ピクセルに対応付けられた前記微小領域の前記光路長情報が示す距離の比率と負の相関にある（２）に記載の投影装置。
（４）前記画像補正部が前記色調補正を行うとき、補正対象となる前記ピクセルの階調値の変化率が、前記基準距離に対する当該ピクセルに対応付けられた前記微小領域の前記光路長情報が示す距離の比率と正の相関にある（２）または（３）に記載の投影装置。
（５）前記投影画像形成部は、前記画像入力部に入力された一の前記画像データからテスト投影画像を形成し、前記投影部は、前記投影画像形成部によって形成された前記テスト投影画像を前記投影面に投影し、前記画像補正部は、前記テスト投影画像を前記投影面に投影している状態で当該投影面を撮像して生成されるテスト画像データを取得し、前記光路長情報取得部は、前記テスト投影画像に設定されている前記微小領域ごとに前記光路長情報を取得し、前記画像補正部は、取得された前記テスト画像データと、前記光路長情報取得部よって取得された前記光路長情報と、に基づいて前記幾何補正および前記色調補正に用いる補正パラメータを生成し、前記画像入力部に入力された他の前記画像データを補正する際に、生成された前記補正パラメータを用いて前記幾何補正および前記色調補正を行う（１）から（４）のいずれか一つに記載の投影装置。
（６）前記投影画像形成部は、均一な階調値の前記ピクセルから構成される前記一の画像データから前記テスト投影画像を形成し、前記画像補正部は、当該テスト投影画像が投影されている投影面を撮像して生成される前記テスト画像データを取得し、取得された前記テスト画像データに含まれる前記ピクセルのいずれかを基準として導出し、導出された前記ピクセルの階調値に、当該テスト画像データに含まれる他の前記ピクセルの階調値を近づける前記補正パラメータを生成し、前記補正パラメータを用いて前記色調補正を行う（５）に記載の投影装置。
（７）前記画像補正部は、前記光路長情報取得部によって取得された前記光路長情報のうち最大の距離を示す前記光路長情報を示す前記微小領域に対応している前記ピクセルを基準として導出する（６）に記載の投影装置。
（８）前記投影画像の観測者の視点から前記投影面までの光路の距離を示す視点情報を、前記光路長情報に対応付けて取得する視点情報取得部を備え、前記画像補正部は、前記画像データに含まれる前記ピクセルに対応付けられた前記微小領域の前記光路長情報および当該光路長情報に対応付けられた前記視点情報に基づいて前記画像データに前記幾何補正および前記色調補正を行って前記補正画像データを生成する（１）から（７）のいずれか一つに記載の投影装置。
（９）電球ソケットまたはシーリング取付具に装着可能な給電部を備え、前記給電部から取得される電力によって動作する（１）から（８）のいずれか一つに記載の投影装置。
（１０）発光する光源部の光を用いて投影画像を投影面に投影する際に、前記投影画像の元となる画像コンテンツを生成する画像処理装置であって、複数のピクセルから構成される画像データを入力する画像入力部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、を備える画像処理装置。
（１１）発光する光源部の光を用いて投影画像を投影面に投影する際に、前記投影画像の元となる画像コンテンツを生成するための画像処理をコンピュータに実行させる画像処理プログラムであって、複数のピクセルから構成される画像データを入力する画像入力処理と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得処理と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正処理と、をコンピュータに実行させる画像処理プログラム。
（１２）発光する光源部の光を用いて投影画像を投影面に投影する投影装置に対して、前記投影画像の元となる画像コンテンツを配信する画像配信システムであって、複数のピクセルから構成される画像データを入力する画像入力部と、前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、前記画像補正部によって生成された前記画像コンテンツを、通信回線を介して配信する画像配信部と、を備える画像配信システム。
This embodiment includes the following technical ideas.
(1) A light source unit that emits light, an image input unit that inputs image data including a plurality of pixels, and an image correction unit that corrects the image data input to the image input unit to generate corrected image data. The light source unit emits the projection image forming unit that forms a projection image to be projected onto the projection plane from the corrected image data generated by the image correction unit, and the projection image formed by the projection image forming unit. A projection unit that projects light onto the projection plane using light to be obtained, and optical path length information acquisition that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image The image correction unit associates the pixel included in the image data with the minute region, and based on the optical path length information of the minute region associated with the pixel. There are a projection device for generating the corrected image data by performing geometrical correction and color correction on the image data.
(2) The image correction unit determines a reference distance serving as a reference for correction processing, and the geometric correction is performed when the optical path length information of the minute region associated with the pixel to be corrected is smaller than the reference distance. The optical path length information of the minute area associated with the pixel to be corrected is enlarged as the set portion formed by the pixel is expanded and the gradation value of the pixel is decreased as the color correction. The projection apparatus according to (1), wherein when the distance is larger than a reference distance, a set portion formed by the pixel is reduced as the geometric correction, and a gradation value of the pixel is increased as the color correction.
(3) When the image correction unit performs the geometric correction, an enlargement ratio of a set portion formed by the pixels to be corrected is an optical path length of the minute region associated with the pixel with respect to the reference distance. The projection apparatus according to (2), which has a negative correlation with a distance ratio indicated by the information.
(4) When the image correction unit performs the color tone correction, the change rate of the gradation value of the pixel to be corrected is the optical path length information of the minute region associated with the pixel with respect to the reference distance. The projection apparatus according to (2) or (3), which is positively correlated with a ratio of the distance shown.
(5) The projection image forming unit forms a test projection image from the one image data input to the image input unit, and the projection unit generates the test projection image formed by the projection image forming unit. Projecting onto the projection plane, the image correction unit acquires test image data generated by imaging the projection plane while projecting the test projection image onto the projection plane, and acquires the optical path length information The unit acquires the optical path length information for each of the micro regions set in the test projection image, and the image correction unit is acquired by the acquired test image data and the optical path length information acquisition unit. Based on the optical path length information, the correction parameters used for the geometric correction and the color tone correction are generated, and the other generated image data input to the image input unit is corrected. Projection apparatus according to any one of the positive parameter using perform the geometrical correction and the color correction from (1) (4).
(6) The projection image forming unit forms the test projection image from the one image data composed of the pixels having uniform gradation values, and the image correction unit projects the test projection image. To obtain the test image data generated by imaging the projection surface, and derive the reference of any of the pixels included in the acquired test image data, to the derived gradation value of the pixel, The projection apparatus according to (5), wherein the correction parameter that approximates the gradation values of the other pixels included in the test image data is generated, and the color tone correction is performed using the correction parameter.
(7) The image correction unit is derived with reference to the pixel corresponding to the minute region indicating the optical path length information indicating the maximum distance among the optical path length information acquired by the optical path length information acquisition unit. The projection device according to (6).
(8) A viewpoint information acquisition unit that acquires viewpoint information indicating a distance of an optical path from an observer's viewpoint of the projection image to the projection plane in association with the optical path length information, and the image correction unit includes Performing the geometric correction and the color tone correction on the image data based on the optical path length information of the minute region associated with the pixel included in the image data and the viewpoint information associated with the optical path length information. The projection apparatus according to any one of (1) to (7), which generates the corrected image data.
(9) The projection apparatus according to any one of (1) to (8), including a power supply unit that can be attached to the light bulb socket or the ceiling fixture, and operating with electric power acquired from the power supply unit.
(10) An image processing apparatus that generates an image content that is a source of a projection image when projecting the projection image onto a projection plane using light of a light source unit that emits light, and an image configured by a plurality of pixels An image input unit that inputs data; an optical path length information acquisition unit that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image; and the image data Generating the image content by associating the pixel and the minute region included in the image, and performing geometric correction and color correction on the image data based on the optical path length information of the minute region associated with the pixel. An image correction unit.
(11) An image processing program for causing a computer to execute image processing for generating image content that is a source of a projected image when projecting a projected image on a projection plane using light from a light source unit that emits light. An image input process for inputting image data composed of a plurality of pixels, and an optical path for acquiring optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image Length information acquisition processing, the pixel included in the image data and the minute area are associated with each other, and geometric correction and color tone are applied to the image data based on the optical path length information of the minute area associated with the pixel. An image processing program that causes a computer to execute an image correction process that performs correction to generate the image content.
(12) An image distribution system that distributes image content that is a source of a projection image to a projection device that projects light onto a projection plane using light from a light source that emits light, and includes a plurality of pixels An image input unit that inputs image data to be obtained, an optical path length information acquisition unit that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image, The pixel included in the image data is associated with the minute region, and the image data is subjected to geometric correction and color tone correction based on the optical path length information of the minute region associated with the pixel. An image distribution system comprising: an image correction unit that generates content; and an image distribution unit that distributes the image content generated by the image correction unit via a communication line. Beam.
１００ 投影装置
１１０ 画像入力部
１２０ 画像補正部
１３０ 光路長情報取得部
１４０ 光源部
１５０ 投影画像形成部
１６０ 投影部
１７０ ベース部
１７２ 給電部
１７４ 回転軸
１８０ 本体部
１８２ 投影レンズ
２００ 撮像装置
２１０ 三脚
４００ 統括制御部
５００ 画像処理装置
５１０ 画像入力部
５２０ 画像補正部
５３０ 光路長情報取得部
５４０ 画像配信部
６００ 投影装置
６１０ 光源部
６２０ 投影画像形成部
６３０ 投影部
７００ 通信回線
８００ 撮像装置
９００ 測距センサ
１０００ 画像配信システム
Ｐ１ テスト投影画像
Ｐ２、Ｐ３ 投影画像
Ｄ２、Ｄ３ 補正画像データ
Ｂ１、Ｂ２、Ｂ３ 交差点
Ｐ１１〜Ｐ１７、Ｐ２１〜Ｐ２７、Ｐ３１、Ｐ４１ 微小領域
Ｐ１３１、Ｐ１３２、Ｐ２３１、Ｐ２３２、Ｐ３１１、Ｐ３１２、Ｐ４１１、Ｐ４１２ 部分領域
１０ 天井面
２０ 床面
３０ 壁面
４０ 壁面
５０ ソファ
５１、５２、５３ 面
７０ 段差
７１ 近位面
７２ 段差面
７３ 遠位面
８０ 投影画像
８１ 左半円
８２ 台形
８３ 右半円
DESCRIPTION OF
Claims (12)
複数のピクセルから構成される画像データを入力する画像入力部と、
前記画像入力部に入力された前記画像データを補正して補正画像データを生成する画像補正部と、
前記画像補正部によって生成された前記補正画像データから投影面に投影する投影画像を形成する投影画像形成部と、
前記投影画像形成部によって形成された前記投影画像を、前記光源部が発光する光を用いて前記投影面に投影する投影部と、
前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、を備え、
前記画像補正部は、前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記補正画像データを生成する投影装置。 A light source that emits light;
An image input unit for inputting image data composed of a plurality of pixels;
An image correcting unit that corrects the image data input to the image input unit to generate corrected image data;
A projection image forming unit that forms a projection image to be projected onto a projection plane from the corrected image data generated by the image correction unit;
A projection unit configured to project the projection image formed by the projection image forming unit onto the projection plane using light emitted from the light source unit;
An optical path length information acquisition unit that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of micro regions defined in the projection image;
The image correction unit associates the pixel included in the image data with the minute region, and performs geometric correction and color tone adjustment on the image data based on the optical path length information of the minute region associated with the pixel. A projection apparatus that performs correction to generate the corrected image data.
補正処理の基準となる基準距離を定め、
補正対象となる前記ピクセルに対応付けられた前記微小領域の前記光路長情報が前記基準距離より小さいとき、前記幾何補正として当該ピクセルによって形成される集合部分を拡大し、かつ、前記色調補正として当該ピクセルの階調値を小さくし、
補正対象となる前記ピクセルに対応付けられた前記微小領域の前記光路長情報が前記基準距離より大きいとき、前記幾何補正として当該ピクセルによって形成される集合部分を縮小し、かつ、前記色調補正として当該ピクセルの階調値を大きくする請求項１に記載の投影装置。 The image correction unit
Set a reference distance that will be the basis for correction processing,
When the optical path length information of the minute region associated with the pixel to be corrected is smaller than the reference distance, the set portion formed by the pixel is expanded as the geometric correction, and the color correction is performed as the color correction. Decrease the pixel gradation value,
When the optical path length information of the minute region associated with the pixel to be corrected is larger than the reference distance, the set portion formed by the pixel is reduced as the geometric correction, and the color correction is performed as the color correction. The projection apparatus according to claim 1, wherein the gradation value of the pixel is increased.
前記投影部は、前記投影画像形成部によって形成された前記テスト投影画像を前記投影面に投影し、
前記画像補正部は、前記テスト投影画像を前記投影面に投影している状態で当該投影面を撮像して生成されるテスト画像データを取得し、
前記光路長情報取得部は、前記テスト投影画像に設定されている前記微小領域ごとに前記光路長情報を取得し、
前記画像補正部は、
取得された前記テスト画像データと、前記光路長情報取得部よって取得された前記光路長情報と、に基づいて前記幾何補正および前記色調補正に用いる補正パラメータを生成し、
前記画像入力部に入力された他の前記画像データを補正する際に、生成された前記補正パラメータを用いて前記幾何補正および前記色調補正を行う請求項１から４のいずれか一項に記載の投影装置。 The projection image forming unit forms a test projection image from the one image data input to the image input unit,
The projection unit projects the test projection image formed by the projection image forming unit onto the projection plane,
The image correction unit obtains test image data generated by imaging the projection plane in a state where the test projection image is projected on the projection plane;
The optical path length information acquisition unit acquires the optical path length information for each minute region set in the test projection image,
The image correction unit
Based on the acquired test image data and the optical path length information acquired by the optical path length information acquisition unit, generate correction parameters used for the geometric correction and the color tone correction,
5. The geometric correction and the color tone correction are performed using the generated correction parameter when correcting the other image data input to the image input unit. 6. Projection device.
均一な階調値の前記ピクセルから構成される前記一の画像データから前記テスト投影画像を形成し、
前記画像補正部は、
当該テスト投影画像が投影されている投影面を撮像して生成される前記テスト画像データを取得し、
取得された前記テスト画像データに含まれる前記ピクセルのいずれかを基準として導出し、
導出された前記ピクセルの階調値に、当該テスト画像データに含まれる他の前記ピクセルの階調値を近づける前記補正パラメータを生成し、前記補正パラメータを用いて前記色調補正を行う請求項５に記載の投影装置。 The projection image forming unit includes:
Forming the test projection image from the one image data composed of the pixels having uniform gradation values;
The image correction unit
Obtaining the test image data generated by imaging the projection surface on which the test projection image is projected,
Deriving one of the pixels included in the acquired test image data as a reference,
6. The correction parameter for generating a gradation value of another pixel included in the test image data close to the derived gradation value of the pixel, and performing the color correction using the correction parameter. The projection device described.
前記画像補正部は、前記画像データに含まれる前記ピクセルに対応付けられた前記微小領域の前記光路長情報および当該光路長情報に対応付けられた前記視点情報に基づいて前記画像データに前記幾何補正および前記色調補正を行って前記補正画像データを生成する請求項１から７のいずれか一項に記載の投影装置。 A viewpoint information acquisition unit that acquires viewpoint information indicating a distance of an optical path from an observer's viewpoint of the projection image to the projection plane in association with the optical path length information;
The image correction unit corrects the geometric correction to the image data based on the optical path length information of the minute area associated with the pixel included in the image data and the viewpoint information associated with the optical path length information. The projection apparatus according to claim 1, wherein the correction image data is generated by performing the color correction.
前記給電部から取得される電力によって動作する請求項１から８のいずれか一項に記載の投影装置。 It has a power supply that can be attached to a light bulb socket or ceiling fixture,
The projection apparatus according to claim 1, wherein the projection apparatus is operated by electric power acquired from the power supply unit.
複数のピクセルから構成される画像データを入力する画像入力部と、
前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、
前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、を備える画像処理装置。 An image processing apparatus that generates an image content that is a source of a projection image when projecting a projection image on a projection plane using light from a light source that emits light,
An image input unit for inputting image data composed of a plurality of pixels;
An optical path length information acquisition unit that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image;
The pixel included in the image data is associated with the minute region, and the image data is subjected to geometric correction and color tone correction based on the optical path length information of the minute region associated with the pixel. An image processing apparatus comprising: an image correction unit that generates content.
複数のピクセルから構成される画像データを入力する画像入力処理と、
前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得処理と、
前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正処理と、をコンピュータに実行させる画像処理プログラム。 An image processing program for causing a computer to execute image processing for generating image content that is a source of a projected image when projecting a projected image on a projection plane using light from a light source that emits light,
Image input processing for inputting image data composed of a plurality of pixels;
An optical path length information acquisition process for acquiring optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of micro regions defined in the projection image;
The pixel included in the image data is associated with the minute region, and the image data is subjected to geometric correction and color tone correction based on the optical path length information of the minute region associated with the pixel. An image processing program for causing a computer to execute image correction processing for generating content.
複数のピクセルから構成される画像データを入力する画像入力部と、
前記投影画像に定めた複数の微小領域ごとに基準点から前記投影面までの光路の距離を示す光路長情報を取得する光路長情報取得部と、
前記画像データに含まれる前記ピクセルと前記微小領域とを対応付けて、前記ピクセルに対応付けられた前記微小領域の前記光路長情報に基づいて前記画像データに幾何補正および色調補正を行って前記画像コンテンツを生成する画像補正部と、
前記画像補正部によって生成された前記画像コンテンツを、通信回線を介して配信する画像配信部と、を備える画像配信システム。 An image distribution system that distributes image content that is a source of a projection image to a projection device that projects a projection image onto a projection plane using light from a light source that emits light,
An image input unit for inputting image data composed of a plurality of pixels;
An optical path length information acquisition unit that acquires optical path length information indicating a distance of an optical path from a reference point to the projection plane for each of a plurality of minute regions defined in the projection image;
The pixel included in the image data is associated with the minute region, and the image data is subjected to geometric correction and color tone correction based on the optical path length information of the minute region associated with the pixel. An image correction unit for generating content;
An image distribution system comprising: an image distribution unit that distributes the image content generated by the image correction unit via a communication line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015158426A JP6730787B2 (en) | 2015-08-10 | 2015-08-10 | Projection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015158426A JP6730787B2 (en) | 2015-08-10 | 2015-08-10 | Projection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017037190A true JP2017037190A (en) | 2017-02-16 |
| JP6730787B2 JP6730787B2 (en) | 2020-07-29 |
Family
ID=58049350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015158426A Active JP6730787B2 (en) | 2015-08-10 | 2015-08-10 | Projection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6730787B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097165A (en) * | 2016-12-14 | 2018-06-21 | カシオ計算機株式会社 | Projection device, projection method, and program |
| JP2019047312A (en) * | 2017-09-01 | 2019-03-22 | セイコーエプソン株式会社 | Image projection system and control method thereof |
| KR20210131084A (en) * | 2020-04-23 | 2021-11-02 | 한국광기술원 | Apparatus and method for corerecting color of projector |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003085586A (en) * | 2001-06-27 | 2003-03-20 | Namco Ltd | Image display, image displaying method, information storage medium, and image displaying program |
| JP2004013043A (en) * | 2002-06-11 | 2004-01-15 | Nec Viewtechnology Ltd | Projector-mounting device |
| JP2005099588A (en) * | 2003-09-26 | 2005-04-14 | Sanyo Electric Co Ltd | Projection type image display system and connector device |
| JP2005229415A (en) * | 2004-02-13 | 2005-08-25 | Nec Viewtechnology Ltd | Projector equipped with a plurality of cameras |
| JP2005227640A (en) * | 2004-02-16 | 2005-08-25 | Casio Comput Co Ltd | Projecting device, range finding processing method, and program therefor |
| JP2005277743A (en) * | 2004-03-24 | 2005-10-06 | Seiko Epson Corp | Projector |
| JP2008294961A (en) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | Video display apparatus |
| JP2014119688A (en) * | 2012-12-19 | 2014-06-30 | Seiko Epson Corp | Projector and control method thereof |
| US20150189248A1 (en) * | 2014-01-02 | 2015-07-02 | Electronics And Telecommunications Research Institute | Apparatus and method for correcting image for image projection device with cognitive function on user and environment |
| JP2015139087A (en) * | 2014-01-22 | 2015-07-30 | 株式会社リコー | Projection device |
-
2015
- 2015-08-10 JP JP2015158426A patent/JP6730787B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003085586A (en) * | 2001-06-27 | 2003-03-20 | Namco Ltd | Image display, image displaying method, information storage medium, and image displaying program |
| JP2004013043A (en) * | 2002-06-11 | 2004-01-15 | Nec Viewtechnology Ltd | Projector-mounting device |
| JP2005099588A (en) * | 2003-09-26 | 2005-04-14 | Sanyo Electric Co Ltd | Projection type image display system and connector device |
| JP2005229415A (en) * | 2004-02-13 | 2005-08-25 | Nec Viewtechnology Ltd | Projector equipped with a plurality of cameras |
| JP2005227640A (en) * | 2004-02-16 | 2005-08-25 | Casio Comput Co Ltd | Projecting device, range finding processing method, and program therefor |
| JP2005277743A (en) * | 2004-03-24 | 2005-10-06 | Seiko Epson Corp | Projector |
| JP2008294961A (en) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | Video display apparatus |
| JP2014119688A (en) * | 2012-12-19 | 2014-06-30 | Seiko Epson Corp | Projector and control method thereof |
| US20150189248A1 (en) * | 2014-01-02 | 2015-07-02 | Electronics And Telecommunications Research Institute | Apparatus and method for correcting image for image projection device with cognitive function on user and environment |
| JP2015139087A (en) * | 2014-01-22 | 2015-07-30 | 株式会社リコー | Projection device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097165A (en) * | 2016-12-14 | 2018-06-21 | カシオ計算機株式会社 | Projection device, projection method, and program |
| JP2019047312A (en) * | 2017-09-01 | 2019-03-22 | セイコーエプソン株式会社 | Image projection system and control method thereof |
| KR20210131084A (en) * | 2020-04-23 | 2021-11-02 | 한국광기술원 | Apparatus and method for corerecting color of projector |
| KR102355776B1 (en) * | 2020-04-23 | 2022-01-27 | 한국광기술원 | Apparatus and method for corerecting color of projector |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6730787B2 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100335942C (en) | Displaying device and its light regulation method | |
| US20120182416A1 (en) | Image projection system and semiconductor integrated circuit | |
| KR101640090B1 (en) | Image processing device, projector, and method of controlling projector | |
| TW201602556A (en) | Camera shooting method achieved through camera shooting elements | |
| JP6459194B2 (en) | Projector and projected image control method | |
| JP2012530263A (en) | Projection type display device and use thereof | |
| JP6658520B2 (en) | Image processing apparatus and method | |
| KR20130035682A (en) | Method and apparatus for controlling of image output in projector | |
| JP2017156581A (en) | Projection device and control method of the same | |
| JP6730787B2 (en) | Projection device | |
| WO2015136658A1 (en) | Light control device, display device, multi-monitor system, light control method, and program | |
| EP1480465A3 (en) | Display device and projector | |
| JP2008187362A (en) | Projector and projected image adjustment method | |
| JP2010078854A (en) | Lighting system | |
| US11983381B2 (en) | Display method, display system, and non-transitory computer-readable storage medium storing program | |
| JP2016058987A (en) | Light projection device and luminaire using the same | |
| US20230308600A1 (en) | Display method, display system, and non-transitory computer-readable storage medium storing program | |
| JP2016161882A (en) | Light projection device | |
| KR101621201B1 (en) | Wearable projection apparatus and projection method | |
| JP6106969B2 (en) | Projection device, pointer device, and projection system | |
| CN109326242B (en) | Gray scale modulation method and computer readable storage medium | |
| JP7113302B2 (en) | Spatial production system | |
| JP2015133220A (en) | Control device and lighting system | |
| JP7219460B2 (en) | Lighting device, lighting method and lighting system | |
| JP2018163282A (en) | Stereoscopic video display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200703 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6730787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |