JP6429414B2 - Projection mapping method - Google Patents
Projection mapping method Download PDFInfo
- Publication number
- JP6429414B2 JP6429414B2 JP2017056546A JP2017056546A JP6429414B2 JP 6429414 B2 JP6429414 B2 JP 6429414B2 JP 2017056546 A JP2017056546 A JP 2017056546A JP 2017056546 A JP2017056546 A JP 2017056546A JP 6429414 B2 JP6429414 B2 JP 6429414B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- viewing angle
- model
- angle direction
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、映像又は画像を３Ｄ物体に投影するプロジェクションマッピング方法に関し、特に、被投影実体がプロファイル又は方位が変化する時、電子装置によってイメージ画面を迅速に補正することができる投影方法に関する。 The present invention relates to a projection mapping method for projecting a video or an image onto a 3D object, and more particularly, to a projection method capable of quickly correcting an image screen by an electronic device when a profile or orientation of a projection target changes.
プロジェクションマッピングは、投影機器を利用して映像を実際の物体に投影する投影技術であり、一般は、芸術又は広告方面の表現方面に使用され、物体表面に設計された映像を投影し、被投影の実際の物体、例えば、建築物の壁、舞台、展示場、又は比較的大型の製品、自動車等の表面に色の変化、模様の変化又はその他の様々な視覚特殊効果等を表現し、非常に人気のある視覚表現技術であり、近年では各種大きさのショーイベントに普及し始めている。 Projection mapping is a projection technology that uses a projection device to project an image onto an actual object. In general, projection mapping is used for the expression of art or advertising, and projects the image designed on the object surface. To express the color change, pattern change or other various visual special effects on the surface of actual objects such as building walls, stages, exhibition halls, or relatively large products, cars, etc. It is a popular visual expression technology, and in recent years it has begun to spread to show events of various sizes.
現在既知のプロジェクションマッピング技術は、投影機の実際の物体に対する視角を先に記録し、該視角に対して該相対視角に適合する投影映像を設計し、実際の物体の該投影映像に対応する位置及びプロファイルを計算し、投影映像中の実体物体以外の部分を黒塗りした後、設計した投影映像を対応する投影機で放映し、実際の物体表面が映像を放映しているかのようにさせる。 The currently known projection mapping technique records the viewing angle of the projector with respect to the actual object first, designs a projection image that matches the relative viewing angle with respect to the viewing angle, and positions the actual object corresponding to the projection image. Then, the profile is calculated, and the portions other than the real object in the projected image are blacked out, and then the designed projected image is broadcasted by the corresponding projector, so that the actual object surface is projected as an image.
但し、該投影技術は、幾つかの主な制限があり、そのうち１つは、投影機の実際物体に相対する視角を先に決定した後、該視角に対応する投影映像を作り、故に投影機と実際の物体の視角が固定されて変更することができず、一旦視角が変化すると投影映像全体を設計し直す必要がある。同様の理由で、実際の物体のプロファイル及び位置と映像設計時の両者とに差異がある場合、映像を設計し直す必要があり、十分に面倒である。また、同じく、先に視角を決定した後、該視角に対応して観測される、被投影物体に合わせた三次元プロファイルを二次元に投影する時の投影映像を設計し、従って、同一物体上に複数の異なる映像を投射したい場合、映像を製作し直す必要がある。 However, the projection technique has some main limitations, one of which is to determine the viewing angle relative to the actual object of the projector before making a projection image corresponding to the viewing angle. The actual viewing angle of the object is fixed and cannot be changed, and once the viewing angle changes, it is necessary to redesign the entire projection image. For the same reason, if there is a difference between the actual object profile and position and the image design time, it is necessary to redesign the image, which is troublesome enough. Similarly, after the viewing angle is determined in advance, a projection image when projecting a three-dimensional profile in accordance with the projection object to be projected in two dimensions, corresponding to the viewing angle, is designed. If you want to project several different images, you need to recreate the images.
本発明の目的は、投射装置及び実際の被投影物体の視角、位置、角度、更には被投影物体のプロファイルが変化する時、電子装置に簡単な操作を行い、各種異なる変化に合わせて投影する映像を設定し直すことができ、マッピング映像を設計し直す時間及びコストを低減するプロジェクションマッピング方法を提供することにある。 The object of the present invention is to perform a simple operation on an electronic device when the viewing angle, position, and angle of the projection device and the actual object to be projected change, and also the profile of the object to be projected, and project it according to various changes. An object of the present invention is to provide a projection mapping method capable of resetting an image and reducing time and cost for redesigning a mapping image.
本発明のもう１つの目的は、使用者が投影時に被投影実体のプロファイルにより生じる死角を減少させることを望み、同一投影実体に対して異なる投影方向にそれぞれ複数のマッピング映像を製作する必要がある時、該複数のマッピング映像を迅速に生成することができるようにすることである。 Another object of the present invention is that the user desires to reduce the blind spot caused by the profile of the projection entity during projection, and it is necessary to produce a plurality of mapping images respectively in different projection directions for the same projection entity. In some cases, the plurality of mapping videos can be generated quickly.
本発明のもう１つの目的は、被投影実体の表面全体をマッピングの表現領域とすることができるようにすることを望み、複数のマッピング映像を異なる方向から共同で投射して合成する必要がある時、被投射実体の全体表面に投射する複数のマッピング映像を迅速に製作させることができるようにすることである。 Another object of the present invention is to make it possible to make the entire surface of an entity to be projected as a mapping expression area, and it is necessary to project and synthesize a plurality of mapping images from different directions. In other words, a plurality of mapping images projected on the entire surface of the projection entity can be quickly produced.
上記の目的を達成する為、本発明が提供するプロジェクションマッピング方法は、映像を投影実体上に投影し、モデリング工程、取得工程、投射工程、調整工程、変換工程、投影工程、再取得工程及び再投射工程を含む。 In order to achieve the above object, the projection mapping method provided by the present invention projects an image on a projection entity, and performs a modeling process, an acquisition process, a projection process, an adjustment process, a conversion process, a projection process, a re-acquisition process, and a re-acquisition process. Including a projection step.
該モデリング工程において、電子装置を利用して３Ｄモデルを作成又はインポートし、該３Ｄモデルの作成方式は制限せず、従来の３Ｄ製図ソフトウェアによりエンジニアが被投影実体の実際の写真に基づいて人工モデリングを行うか、レーザ、超音波等のスキャン方式を用いるか、又は空中撮影機を使用して撮影した後モデリングすることができる。 In the modeling process, a 3D model is created or imported using an electronic device, and the creation method of the 3D model is not limited, and the conventional 3D drafting software allows an engineer to perform artificial modeling based on an actual photograph of the projected object. Modeling using a scanning method such as laser, ultrasound, or using an aerial camera.
該取得工程において、該電子装置は、少なくとも１つの視角方向に基づいて該３Ｄモデルを含むイメージ画面を取得する。 In the obtaining step, the electronic device obtains an image screen including the 3D model based on at least one viewing angle direction.
その後、該イメージ画面を作成した後、続いて投射工程及び調整工程を行う。該投射工程において、投射装置を利用して該視角方向から該該イメージ画面を該投影実体に投射し、そのうち、実施時、該投射装置の数量及び種類は、特殊な制限を有していない。 Thereafter, after the image screen is created, a projection process and an adjustment process are subsequently performed. In the projection step, the image screen is projected onto the projection entity from the viewing angle direction using a projection device, and among them, the quantity and type of the projection device do not have any special restriction during implementation.
該調整工程において、該電子装置中の該３Ｄモデルに対して回転、変位、縮小拡大のうち少なくとも１種の動作を行い、該投射装置が投射する該イメージ画面中の該３Ｄモデルのプロファイルを該被投影実体のプロファイルに完全に合わせ、そのうち、該投影モデルのプロファイルが該被投影実体のプロファイルに完全に合っているかを判定する方式は、制限しない。 In the adjustment step, at least one of rotation, displacement, and reduction / enlargement is performed on the 3D model in the electronic device, and the profile of the 3D model in the image screen projected by the projection device is obtained. There is no limitation on a method for perfectly matching the profile of the projection entity, and determining whether the profile of the projection model perfectly matches the profile of the projection entity.
プロファイルを再確認した後、該変換工程において、該電子装置に映像データを作成又はインポートし（幾つかの実施例ではマッピングパターンである）、該映像データを付加イメージに変換し、該投影工程において、該付加イメージを調整した後の該３Ｄモデルの表面に設置し、投影モデルを共同で形成し、そのうち、本発明は、該変換工程及び該投影工程以外の各工程間の先後の順序を制限しない。 After reconfirming the profile, in the conversion step, video data is created or imported into the electronic device (which is a mapping pattern in some embodiments), the video data is converted into an additional image, and in the projection step The additional image is adjusted and installed on the surface of the 3D model, and a projection model is jointly formed. Of these, the present invention limits the order of the previous and subsequent steps between the conversion step and the projection step. do not do.
続いて、該再取得工程及び再投射工程を行う。該再取得工程において、該電子装置は、該視角方向から該投影モデルを含む投影イメージ画面を取得し、該再投射工程において、該投射装置を利用して該視角方向から該投射イメージ画面を該投影実体上に投射する。 Subsequently, the reacquisition step and the reprojection step are performed. In the re-acquisition step, the electronic device acquires a projection image screen including the projection model from the viewing angle direction, and in the re-projection step, the electronic device converts the projection image screen from the viewing angle direction using the projection device. Project onto a projection entity.
また、上記目的を達成する為、本発明が提供する他のプロジェクションマッピング方法は、イメージを投影実体に投影し、モデリング工程、変換工程、投影工程、取得工程、投射工程及び調整工程を含む。 In order to achieve the above object, another projection mapping method provided by the present invention projects an image onto a projection entity, and includes a modeling step, a conversion step, a projection step, an acquisition step, a projection step, and an adjustment step.
そのうち、本方法及び前記方法の差異は、本方法において、先ず該モデリング工程を行い、該変換工程及び該投影工程後、その他の該取得工程、該投射工程及び該調整工程を行い、該再取得工程及び該再投射工程を有さないことにある。但し、このような順序の変化は、依然として該モデリング工程、該変換工程及及び前記方法中の該モデリング工程、該変換工程の内容と一致し、故にここでは、再度説明せず、差異に対して説明を行う。 Among these, the difference between the method and the method is that the modeling step is first performed, the conversion step and the projection step are followed by the other acquisition step, the projection step, and the adjustment step, and the re-acquisition. There is no process and the reprojection process. However, such a change in order is still consistent with the modeling process, the conversion process, and the modeling process in the method, and the contents of the conversion process. Give an explanation.
本方法の該投影工程において、先ず該付加イメージを該３Ｄモデルの表面に設置し、投影モデルを共同で形成し、該取得工程において、該電子装置は、少なくとも１つの視角方向から該投影モデルを含むイメージ画面を含み、該投射工程において、投射装置を利用して該視角の方向から該投影モデルを含む該イメージ画面を該被投影実体上に投射する。 In the projection step of the method, the additional image is first placed on the surface of the 3D model to jointly form a projection model, and in the acquisition step, the electronic device extracts the projection model from at least one viewing angle direction. In the projecting step, the image screen including the projection model is projected onto the projection entity from the direction of the viewing angle using a projection device.
最後に、調整工程において、該電子装置中の該投影モデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該投射装置が投射する該イメージ画面中の該投影モデルのプロファイルを該被投影実体のプロファイルに完全に適合させる。 Finally, in the adjustment step, at least one of rotation, displacement, and reduction / enlargement is performed on the projection model in the electronic apparatus, and the profile of the projection model in the image screen projected by the projection apparatus is calculated. Fit perfectly to the profile of the projected entity.
また、該２種の方法の実施例において、該プロジェクションマッピング方法は、更に再調整工程を含み、該投射装置、該投影実体の互いに相対して方向、角度又は位置の少なくとも１つが変化する時、該投影モデルに対して調整を再度行い、該投射装置が投射する該イメージ画面中の該投影モデルを再度該被投影実体のプロファイルに合わせる。そのうち、如何に該投射装置、該投影実体の間の位置、方向、角度関係を検出、感知するかは、制限しない。 In an embodiment of the two methods, the projection mapping method further includes a readjustment step, and when at least one of a direction, an angle, or a position of the projection apparatus and the projection entity changes relative to each other, The projection model is adjusted again, and the projection model in the image screen projected by the projection apparatus is again matched with the profile of the projection entity. Of these, how the position, direction, and angular relationship between the projection apparatus and the projection entity are detected and sensed is not limited.
また、該２種の方法の実施例において、該プロジェクションマッピング方法は、再モデリング工程を更に含み、該被投影実体をオリジナルプロファイルから変形プロファイルに変化させ、その後、その他の後続工程を再度行い、該変化後の３Ｄモデルを利用して生じる該イメージ画面に該被投影実体のプロファイルを再度適合させる。 In the two method embodiments, the projection mapping method further includes a remodeling step, and changes the projection entity from the original profile to the deformation profile, and then performs other subsequent steps again, The profile of the projection entity is again adapted to the image screen generated by using the changed 3D model.
該２種の方法の幾つかの実施例において、該取得工程において、該イメージ画面は、更に、背景削除処理によって該視角により取得できる該投影モデル又は該３Ｄモデルのプロファイル及びパターンのみを有し、該方法によって該イメージ画面中の不要な部分を減少し、該投射装置が投影するイメージ品質を向上するか、幾つかの実施例において、該電子装置がプログラムを利用して該投影モデルの該３Ｄモデルのプロファイルを判断することができる。 In some embodiments of the two methods, in the acquisition step, the image screen further comprises only the profile or pattern of the projection model or the 3D model that can be acquired with the viewing angle by a background removal process; The method reduces unwanted portions in the image screen and improves the image quality projected by the projection device, or in some embodiments, the electronic device uses a program to program the 3D of the projection model. The model profile can be determined.
投射装置が発生する変化の応用に対して、該２種の方法の幾つかの実施例において、該取得工程において、該投射装置は、第１投射ユニット及び該２投射ユニットを含み、該視角方向は、第１視角方向及び第２視角方向を含み、該第１投射ユニットは、該第１視角方向から該被投影実体に対して第１イメージ画面を投射し、該第２投射ユニットは、該第２視角方向から該被投影実体に対して第２イメージ画面を投射し、該被投影実体上に該第１イメージ画面及び該第２イメージ画面が共同投射する共同投射領域を発生させ、該共同投射領域において、該被投影実体のプロファイル凹凸によって単一方向の投影時に生じる死角を減少する。 In some embodiments of the two methods for application of changes generated by a projection device, in the acquisition step, the projection device includes a first projection unit and the two projection units, and the viewing angle direction. Includes a first viewing angle direction and a second viewing angle direction, the first projection unit projects a first image screen from the first viewing angle direction to the projection entity, and the second projection unit includes the second viewing angle direction, A second image screen is projected on the projection entity from a second viewing angle direction, and a joint projection area is generated on the projection entity to jointly project the first image screen and the second image screen. In the projection area, the blind spot generated during projection in a single direction is reduced by the profile unevenness of the projection entity.
もう１種の変化方式は、該２種の方向の幾つかの実施例において、該取得工程において、該視角方向は、第１視角方向、第２視角方向及び第３視角方向を含み、該投射装置は、第１投射ユニット、第２投射ユニット及び第３投射ユニットを含み、該第１、第２及び第３投射ユニットは、該被投影実体を囲うように設置され、それぞれ該第１視角方向、該第２視角方向及び該第３視角方向により、該被投影実体に対して第１投影画面、第２投影画面及び第３投影画面を投射し、該第１、第２、第３投影画面は、該被投影実体の側表面全体を共同に囲い、該被投影実体に投射する該付加イメージの面積を増加する。 Another type of change method is that in some embodiments of the two types of directions, in the obtaining step, the viewing angle direction includes a first viewing angle direction, a second viewing angle direction, and a third viewing angle direction, and the projection The apparatus includes a first projection unit, a second projection unit, and a third projection unit, and the first, second, and third projection units are installed so as to surround the projection target, and each of the first viewing angle directions. The first projection screen, the second projection screen, and the third projection screen are projected on the projection entity according to the second viewing angle direction and the third viewing angle direction, and the first, second, and third projection screens are projected. Jointly encloses the entire side surface of the projected entity and increases the area of the additional image projected onto the projected entity.
以上の説明から分かるように、本発明が提供する２種の方法の特徴は、何れも被投影実体及び投射装置の間の角度、位置、方向の変化時に迅速に投影映像を設計し直すことができるようにするためであり、方法上、何れも先ず該モデリング工程中の電子装置に３Ｄモデルを設置し、その後、表現したい映像データを付加イメージに製作し、該３Ｄモデルの表面に設置し、投影モデルを生成した後、最後に視角方向に基づいて該投影モデルを含むイメージを取得し、該投射装置に該被投射実体のイメージ画面を投射させ、従来技術の先ず映像の視角を決定し、その他の後続処理を行う技術と異なる。本発明を被投影実体及び投射装置の間の角度、位置、方向上の変化に対して投影映像を設定し直す必要がある時、被投影実体及び投射装置の間の相対変化に合わせて調整を行って設定し直した視角方向により該投影モデルの該イメージ画面を取得し、設定を完成することができる。 As can be seen from the above description, the features of the two kinds of methods provided by the present invention are that the projected image can be quickly redesigned when the angle, position, and direction between the projection entity and the projection apparatus change. In order to be able to do this, in each method, a 3D model is first installed in the electronic device in the modeling process, and then video data to be expressed is produced as an additional image and installed on the surface of the 3D model. After generating the projection model, finally obtain an image including the projection model based on the viewing angle direction, project the image screen of the projection entity on the projection device, first determine the viewing angle of the image of the prior art, Different from other subsequent processing techniques. When it is necessary to reset the projection image with respect to changes in the angle, position, and direction between the projection entity and the projection apparatus, the present invention is adjusted according to the relative change between the projection entity and the projection apparatus. The image screen of the projection model is acquired by the viewing angle direction that has been performed and reset, and the setting can be completed.
また、被投影実体のプロファイルが変化する時、該モデリング工程において、該３Ｄモデルの外形を変化後の被投影実体のプロファイルに対応して取得工程及び後続の投射工程を再度行い、前記従来技術のような視角方向を選択する工程を用いず、該映像データの再製作を開始する。 Further, when the profile of the projection entity changes, in the modeling process, the acquisition process and the subsequent projection process are performed again in accordance with the profile of the projected entity after changing the outline of the 3D model. The reproduction of the video data is started without using the step of selecting the viewing angle direction.
最後に、該被投影実体の該付加映像を呈現できる面積を増加させるか、投射時の死角を減少する必要がある場合、該投射装置中の複数の投射ユニットを利用し、該取得工程において、複数の異なる該視角方向に取得される複数の異なるイメージデータを取得した後、該被投影実体の表面に共同投影することができる。 Finally, when it is necessary to increase the area that can display the additional image of the entity to be projected or to decrease the blind spot at the time of projection, using a plurality of projection units in the projection device, in the acquisition step, After acquiring a plurality of different image data acquired in a plurality of different viewing angles, it can be jointly projected onto the surface of the projection entity.
本発明のプロジェクションマッピング方法は、投射装置及び実際の被投影物体の視角、位置、角度、更には被投影物体のプロファイルが変化する時、電子装置に簡単な操作を行い、各種異なる変化に合わせて投影する映像を設定し直すことができ、マッピング映像を設計し直す時間及びコストを低減する。 According to the projection mapping method of the present invention, when the viewing angle, position, and angle of the projection apparatus and the actual object to be projected, as well as the profile of the object to be projected, change, the electronic apparatus is simply operated to adapt to various changes. The image to be projected can be reset, reducing the time and cost for redesigning the mapping image.
本発明の構造、使用及びその特徴についてより一層明確に、詳しく認識及び理解するため、好適実施例を挙げ、図面を合わせて以下に詳細を説明する。 For a clearer and more detailed understanding and understanding of the structure, use and features of the present invention, a preferred embodiment will be given and described in detail below in conjunction with the drawings.
図１〜図６を参照し、図１に示すように、本発明が提供するプロジェクションマッピング方法は、イメージを被投影実体１０上に投影し、そのうち1つの方法において、モデリング工程２０、取得工程２１、投射工程２２、調整工程２３、変換工程２４及び投影工程２５、再取得工程２６及び再投射工程２７を含む。以下に各工程の内容に対して図２〜図４の実施例とあわせて詳細に説明を行う。 Referring to FIGS. 1 to 6, as shown in FIG. 1, the projection mapping method provided by the present invention projects an image onto a projection entity 10, and in one of them, a modeling step 20 and an acquisition step 21. , Projection process 22, adjustment process 23, conversion process 24 and projection process 25, reacquisition process 26 and reprojection process 27. The contents of each process will be described in detail below together with the embodiments of FIGS.
図１及び図２に示すように、該モデリング工程２０において、先ず電子装置２０１としてのパソコンのプログラムを利用して３Ｄモデル２０２を作成するか、又はその他のパソコンから作成済の３Ｄモデル２０２をインポートする。そのうち、該３Ｄモデル２０２及び該被投影実体１０のプロファイルはほぼ同じであり、その理由は、該３Ｄモデル２０２の完全性は、後述のイメージ画面２１０を生成するとき、異なる投射状況に対応する能力に関係する。該３Ｄモデル２０２が該被投影実体１０のプロファイルに接近するほど、後述のイメージ画面２１０を生成する時に対応可能な角度、相対位置、方向上において変化能力が好ましくなれる。特に説明すべきこととして、該３Ｄモデル２０２は、必ずしも３つの次元の立体モデルを指すのではなく、該被投影実体１０は、平面であってもよく（例えば、フラグ時）、該３Ｄモデル２０２は、平面状のモデルであることができ、３Ｄと称するのは、ただ３つの次元の角度から該取得工程２１を行うことができるからである。 As shown in FIGS. 1 and 2, in the modeling step 20, a 3D model 202 is first created using a program of a personal computer as the electronic device 201, or a 3D model 202 already created from another personal computer is imported. To do. Among them, the profiles of the 3D model 202 and the projected entity 10 are almost the same because the integrity of the 3D model 202 is the ability to cope with different projection situations when generating the image screen 210 described below. Related to. The closer the 3D model 202 is to the profile of the entity 10 to be projected, the better the ability to change in the angle, relative position, and direction that can be handled when generating the image screen 210 described later. It should be particularly explained that the 3D model 202 does not necessarily indicate a three-dimensional solid model, and the projected entity 10 may be a plane (for example, when flagged), and the 3D model 202 Can be a planar model and is referred to as 3D because the acquisition step 21 can be performed from angles of only three dimensions.
そのうち、本発明は、該電子装置２０１の種類を制限せず、一般の家庭用デスクトップパソコン、ノートパソコン、携帯電話及び平板装置等の装置は、何れも該電子装置２０１の範疇に含まれる。また、本発明も該３Ｄモデル２０２の作成方式も制限せず、故に実際の応用において、現在の公知の３Ｄ製図ソフトウェアによりエンジニアが実際の実物写真に基づいてモデリングを行うか、レーザ、超音波等走査方式又は空中撮影機を利用して囲って撮影した後にモデリングし、その他の現在詳細に記載していないが、該電子装置２０１に被投影実体１０の３Ｄモデル２０２を発生することに用いる方式は、何れも本発明の範疇に属する。 Of these, the present invention does not limit the type of the electronic device 201, and any device such as a general home desktop personal computer, notebook computer, mobile phone, and flat plate device is included in the category of the electronic device 201. In addition, the present invention and the method of creating the 3D model 202 are not limited. Therefore, in actual application, an engineer performs modeling based on an actual actual photograph using currently known 3D drafting software, or laser, ultrasonic waves, etc. A method used for generating the 3D model 202 of the projection entity 10 in the electronic apparatus 201 is modeled after being enclosed and photographed using a scanning method or an aerial imager, and other methods are not described in detail at present. These belong to the category of the present invention.
該３Ｄモデル２０２を作成した後、該取得工程２１を行う。該取得工程２１において、該電子装置２０１としての該パソコンは、視角方向２２２により該３Ｄモデル２０２を含むイメージ画面２１０を取得し、該パソコンのスクリーンでブラウジング確認を行うことができる。そのうち、該視角方向２２２は、実際の必要に応じて自由に選択を行うことができる。且つ本実施例において、該視角方向２２２は、これに制限するものではないが、該電子装置２０１の該スクリーン上で表示される角度方向であり、但し表示に便利にするため、図２は、該視角方向２２２を示していない。 After the 3D model 202 is created, the acquisition step 21 is performed. In the acquisition step 21, the personal computer as the electronic apparatus 201 can acquire the image screen 210 including the 3D model 202 in the viewing angle direction 222 and perform browsing confirmation on the screen of the personal computer. Of these, the viewing angle direction 222 can be freely selected according to actual needs. In the present embodiment, the viewing angle direction 222 is not limited to this, but is an angle direction displayed on the screen of the electronic device 201. However, for convenience of display, FIG. The viewing angle direction 222 is not shown.
また、本実施例の取得工程２１において、該イメージ画面２１０は、更に、背景除去処理２１ａによって、該視角方向２２２から取得できる該３Ｄモデルのプロファイルのみを見ることができ、そのうち、背景除去処理２１ａの方式は、制限せず、従来の安置ブラック処理、又はその他のイメージ中の物体に背景除去を行う技術を使用し、図３、図４において、該イメージ画面２１０で見ることができ部分のプロファイルは、該３Ｄモデル２０２と一致する。但し、本発明は、該取得工程２１において、必ずしも該背景除去処理２１ａを有するように制限するものではなく、故に、幾つかの実施例において、その他の工程において、該背景除去処理２１ａを行うことができ、更には、該背景除去処理２１ａを行わなくともよい。また、幾つかの実施の応用において、該投射装置に該パソコンにイメージを入力できる撮像ユニットを結合し、使用者は、該パソコンにおいて、該投射装置２２０から該被投影実体１０へ向かう状況を直接確認することができ、取得後の該イメージ画面２１０が該被投影実体１０に投射される様子を模擬表示することができる。 Further, in the acquisition step 21 of the present embodiment, the image screen 210 can further view only the profile of the 3D model that can be acquired from the viewing angle direction 222 by the background removal process 21a, of which the background removal process 21a This method is not limited, and the conventional archival black processing or other technique for removing the background of the object in the image is used. In FIGS. 3 and 4, the profile of the portion that can be seen on the image screen 210 is used. Is consistent with the 3D model 202. However, the present invention does not necessarily limit the acquisition step 21 to include the background removal processing 21a. Therefore, in some embodiments, the background removal processing 21a is performed in other steps. Furthermore, the background removal process 21a need not be performed. Further, in some embodiments, an imaging unit capable of inputting an image to the personal computer is coupled to the projection apparatus, and the user directly views the situation from the projection apparatus 220 toward the projection entity 10 on the personal computer. It can be confirmed, and the appearance of the acquired image screen 210 projected onto the projection entity 10 can be displayed in a simulated manner.
図１及び図３に示すように、該イメージ画面２１０を作成した後、該投射工程２２において、該投射装置２２０の投射ユニット２２１を利用して該視角方向２２２から該イメージ画面２１０を該被投影実体１０上に投射する。そのうち、本発明は、該投射ユニット２２１の数量及び種類に対して特殊な制限を行うことはなく、イメージを投射することに用いる投射機器は、何れも本発明に応用することができる。 As shown in FIG. 1 and FIG. 3, after the image screen 210 is created, in the projection step 22, the image screen 210 is projected from the viewing angle direction 222 using the projection unit 221 of the projection device 220. Project onto entity 10. Of these, the present invention does not place any special restrictions on the quantity and type of the projection units 221, and any projection device used for projecting an image can be applied to the present invention.
その後、図１、図３及び図４を参考とし、投射ユニット２２１から投射されるイメージ画面２１０中の該３Ｄモデル２０２のプロファイルが実際に該被投影実体１０に投射される時、機器、場所の関係又はその他の要素によって実際の被投影実体１０と差異を生じる可能性があり、故に該イメージ画面２１０中の該３Ｄモデル２０２に対して関連する回転、変位、縮小拡大等の調整を行う必要があり、該調整工程２３に移行する。 Thereafter, referring to FIGS. 1, 3, and 4, when the profile of the 3D model 202 in the image screen 210 projected from the projection unit 221 is actually projected onto the projection entity 10, The relationship or other factors may cause a difference from the actual projection entity 10, and therefore, it is necessary to make adjustments such as rotation, displacement, reduction and enlargement related to the 3D model 202 in the image screen 210. Yes, the process proceeds to the adjustment step 23.
該調整工程において、該パソコンを利用して該３Ｄモデル２０２に対して回転、変位、縮小拡大のうちの少なくとも１つの動作を行い、該投射ユニット２２１が投射する該イメージ画面２１０中の該３Ｄモデル２０２のプロファイルを該被投影実体１０のプロファイルに完全に合わせ、その後、後続のその他の工程を再度行う。 In the adjustment step, at least one of rotation, displacement, and reduction / enlargement is performed on the 3D model 202 using the personal computer, and the 3D model in the image screen 210 projected by the projection unit 221 is used. The profile of 202 is completely matched with the profile of the entity 10 to be projected, and then the subsequent other steps are performed again.
但し、特に説明すべきこととして、本実施例において、該超絵師工程２３は、該電子装置２０１を利用して該電子装置２０１のスクリーン上で見られる該３Ｄモデル２０２に対して直接回転、変位、縮小拡大の工程（そのうち、該回転、変位、縮小拡大の動作は、３Ｄモデル２０２の自身又は画面中の観察点を変化する位置に対することができる）を行い、該視角方向２２２が取得した該３Ｄモデル２０２に影響を及ぼし、直接該投射ユニット２２１が投射する該３Ｄモデル２０２に対して回転、変位、縮小拡大を行うものではない。 However, it should be particularly explained that in the present embodiment, the super painter process 23 uses the electronic device 201 to directly rotate and displace the 3D model 202 seen on the screen of the electronic device 201. , A reduction / enlargement step (of which the rotation, displacement, and reduction / enlargement operations can be performed on the 3D model 202 itself or a position where the observation point on the screen changes), and the viewing angle direction 222 is acquired. The 3D model 202 is not affected, and the 3D model 202 directly projected by the projection unit 221 is not rotated, displaced, or reduced or enlarged.
また、本発明は、該３Ｄモデル２０２のプロファイルが該被投影実体１０のプロファイルに合っているかを以下に判定するかの方式は、制限しない。該例において、使用者から直接人工方式で該イメージ画面２１０中の該3Dモデル２０２のプロファイルが該被投影実体１０と一致するかを判断する。但し、幾つかの実施例において、使用者は、該パソコンにおいて、関連のプログラムのイメージ分析等によって、該撮影ユニットが直接取得する該投射ユニット２２１が投射する該イメージ画面２１０、及び該投射ユニット２２１がある位置で観察できる該被投射実体１０のイメージに合わせて両者間のプロファイルの判定及び関連補正を自動でリアルタイムに行う。 Further, the present invention does not limit the method of determining whether the profile of the 3D model 202 matches the profile of the projection entity 10 below. In this example, it is determined whether or not the profile of the 3D model 202 in the image screen 210 matches that of the projection entity 10 by an artificial method directly from the user. However, in some embodiments, the user can use the personal computer to analyze the image screen 210 and the projection unit 221 that the projection unit 221 directly acquires by the imaging unit through image analysis of a related program. In accordance with the image of the projected entity 10 that can be observed at a certain position, profile determination and related correction between the two are automatically performed in real time.
続いて、図１及び図５に示すように、該変換工程２４において、該電子装置２０１としてのパソコンで作成するか、その他のデータ供給元から映像データ２４１をインポートし、その後、該映像データ２４１を、従来のDirectX又はOpenGLの技術を利用して該映像データ２４１を材質として付加イメージ２４２に変換する。そのうち、本発明は、該映像データ２４１を該付加イメージ２４２に変換する方式を制限せず、該文章で提示されるDirectX又はOpenGLの技術は、説明のためであって制限するものではない。また、本発明は、該映像データ２４１の詳細な種類も制限せず、幾つかの実施例において、該映像データ２４１は、静的な画像イメージであることができ、その他の実施例において、該映像データ２４１は、動的に変化する映像データであることができる。 Subsequently, as shown in FIGS. 1 and 5, in the conversion step 24, the video data 241 is created by a personal computer as the electronic device 201 or video data 241 is imported from another data supply source, and the video data 241 is then imported. Is converted into the additional image 242 using the video data 241 as a material by using the conventional DirectX or OpenGL technology. Of these, the present invention does not limit the method of converting the video data 241 into the additional image 242, and the DirectX or OpenGL technology presented in the text is for explanation and not for limitation. In addition, the present invention does not limit the detailed types of the video data 241, and in some embodiments, the video data 241 can be a static image, and in other embodiments, the video data 241 The video data 241 can be video data that changes dynamically.
図１、図５及び図６に示すように、該付加イメージ２４２を生成した後、該投影工程２５に移行する。該投影工程２５において、該付加イメージ２４２を該調整工程２３で調製された該３Ｄモデル２０２の表面に設置し、投影モデル２４３を共同形成し、続いて、再取得工程２６及び再投射工程２７を行う。 As shown in FIGS. 1, 5, and 6, after the additional image 242 is generated, the process proceeds to the projection step 25. In the projection step 25, the additional image 242 is placed on the surface of the 3D model 202 prepared in the adjustment step 23 to co-form the projection model 243, followed by a re-acquisition step 26 and a re-projection step 27. Do.
該再取得工程２６において、該電子装置２０１により該視角方向２２２から該投影モデル２４３を含む投影イメージ画面２１１を取得し、該投射ユニット２２１により該視角方向から該投影イメージ画面２１１を該被投影実体１０に投影し、該投射ユニット２２１に投射された該イメージ画面２１０中の３Ｄモデル２０２を該投影モデル２４３に変換する。これにより、該投影実体１０に該付加イメージ２４２を呈現する。 In the re-acquisition step 26, the electronic device 201 acquires the projection image screen 211 including the projection model 243 from the viewing angle direction 222, and the projection unit 221 converts the projection image screen 211 from the viewing angle direction to the projection entity. 10, and the 3D model 202 in the image screen 210 projected onto the projection unit 221 is converted into the projection model 243. As a result, the additional image 242 is presented on the projection entity 10.
以上の説明から分かるように、該投影ユニット２２１の最後に該イメージ画面２１０中に投影する該投影モデル２４３が呈現する該付加イメージ２４２のプロファイルは、該投影工程２５において、該３Ｄモデル２０２の表面プロファイルを合わせて組み合わせを行い、使用者が該投射装置２２０が投射する該映像データ２４１を変化させたい時、該使用者は、直接該投影モデル２４３上に付加する該付加イメージ２４２に対して交換調整を行い、変化を反映させ、映像を設定し直す必要がない。 As can be seen from the above description, the profile of the additional image 242 represented by the projection model 243 projected onto the image screen 210 at the end of the projection unit 221 is the surface of the 3D model 202 in the projection step 25. When the user wants to change the video data 241 projected by the projection device 220 by combining the profiles, the user exchanges the additional image 242 directly added on the projection model 243. There is no need to make adjustments, reflect changes, and reset the video.
また、以上の図１〜図６の説明は、ただ本発明が提供する方法の多種の実施例のうち１種であり、本発明が提供する他種のプロジェクションマッピング方法について、図７〜図１１に示すように、該方法は、同様に、イメージを被投影実体１０に投影し、モデリング工程２０、変換工程２４、投影工程２５、取得工程２１、投射工程２２及び調整工程２３を含む。 The above description of FIGS. 1 to 6 is just one of various embodiments of the method provided by the present invention, and other types of projection mapping methods provided by the present invention will be described with reference to FIGS. As shown, the method similarly projects an image onto the projection entity 10, and includes a modeling step 20, a conversion step 24, a projection step 25, an acquisition step 21, a projection step 22, and an adjustment step 23.
そのうち、本方法と前記段落で記載される方法の最大の差異は、該方法は、先ず該調整工程２３を行った後、該変換工程２４及び該投影工程２５を行い、該再取得工程２６及び該再投射工程２７を行う。但し、本方法は、該モデリング工程２０後に該変換工程２４及び該投影工程２５を行い、且つ該再取得工程２６及び該再投射工程２７を実行しない。なぜならば、本方法において、順序以外、該モデリング工程２０、該変換工程２４の実際の内容及び前記方法と略同じであり、故にここでは、該モデリング工程２０及び該変換工程２４の内容に対しては説明せず、直接該投影工程２５により説明を開始する。 Among them, the greatest difference between the present method and the method described in the paragraph is that the method first performs the adjustment step 23, then performs the conversion step 24 and the projection step 25, and the reacquisition step 26 and The reprojection step 27 is performed. However, this method performs the conversion step 24 and the projection step 25 after the modeling step 20, and does not execute the reacquisition step 26 and the reprojection step 27. This is because, in this method, except for the order, the actual contents of the modeling process 20 and the conversion process 24 and the contents of the method are substantially the same. Will not be described, and the description starts directly by the projection step 25.
図８に示すようなモデリング工程２０及び図９に示すような変換工程２４を経た後、同様に図９を参考とし、該投影工程２５において、該付加イメージ２４２を該３Ｄモデル２０２の表面に設置し、投影モデル２４３を共同で形成し、特に注意すべきこととして、本方法の本工程において、該３Ｄモデル２０２は、該調整工程２３を経て如何なる調整も行っていない。 After the modeling step 20 as shown in FIG. 8 and the conversion step 24 as shown in FIG. 9, similarly, referring to FIG. 9, the additional image 242 is placed on the surface of the 3D model 202 in the projection step 25. However, the projection model 243 is jointly formed, and it should be particularly noted that the 3D model 202 does not perform any adjustment through the adjustment step 23 in this step of the method.
該取得工程２１において、該電子装置２０１としての該パソコンのスクリーン上に表示される角度方向（同様に、本実施例において、該視角方向２２２は、これに限定するものではないが、該電子装置２０１のスクリーン上に表示される角度方向であり、但し、表示に便利であるため、図９には同様に該視角方向２２２を示していない）から該投影モデル２４３を含むイメージ画面２１０を取得する。 In the acquisition step 21, the angle direction displayed on the screen of the personal computer as the electronic device 201 (similarly, in the present embodiment, the viewing angle direction 222 is not limited to this, but the electronic device The image screen 210 including the projection model 243 is acquired from the angle direction displayed on the screen 201, however, for convenience of display, the viewing angle direction 222 is not shown in FIG. 9. .
図７、図１０を参考とし、該投射工程２２において、該投射装置２２０の投射ユニット２２１を利用し、該視角方向２２２から該投影モデル２４３を含む該イメージ画面２１０を該被投影実体１０上に投射する。前記方法のように、投射ユニット２２１により投射されるイメージ画面２１０中の該投影モデル２４３のプロファイルが実際に該被投影実体１０上に投射される時、設備、場所の関係又はその他の要素等によって実際の被投影実体１０と差異を有する可能性があるので、該調整工程２３の部分に移行する。 With reference to FIGS. 7 and 10, in the projection step 22, the projection unit 221 of the projection device 220 is used to display the image screen 210 including the projection model 243 on the projection entity 10 from the viewing angle direction 222. Project. As in the above method, when the profile of the projection model 243 in the image screen 210 projected by the projection unit 221 is actually projected on the projection target 10, it may depend on equipment, location, or other factors. Since there is a possibility of a difference from the actual projection entity 10, the process proceeds to the adjustment step 23.
図１１に示すように、該調整工程２３において、該パソコンのスクリーン上で見られて取得される該イメージ画面２１０の該投影モデル２４３に対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該投射ユニット２２１が投射する該イメージ画面２１０中の該投影モデル２４３のプロファイルを該被投影実体１０のプロファイルと完全に一致させ、詳細な調整方式及び確認方法は、前記段落中の説明を参考にすることができる。 As shown in FIG. 11, in the adjustment step 23, at least one of rotation, displacement, and reduction / enlargement is performed on the projection model 243 of the image screen 210 obtained by being seen on the screen of the personal computer. The profile of the projection model 243 in the image screen 210 projected by the projection unit 221 is made to completely match the profile of the entity 10 to be projected, and the detailed adjustment method and confirmation method are referred to the description in the paragraph. Can be.
図１２に示すように、本発明の他の幾つかの実施例において、更に多く実際の使用時に遭遇する各種状況に合わせ、該プロジェクションマッピング方法は、更に、再調整工程２８及び再モデリング工程２９を含み、該イメージ画面２１０において、該調整工程２３を経て設定完成後、該投射装置２２０、該被投射実体１０が相互に相対的に方向、角度又は位置の少なくとも１つが変化するか、該被投射実体１０のプロファイル及び該３Ｄモデル２０２が偏差を有するとしても該投影モデル２４３に対して調整を行い直し、該投射装置２２０が投射する該イメージ画面２１０中の該投影モデル２４３を再度該被投影実体１０のプロファイルに合わせることができる。但し、同様に、本発明は、該状況を判定する方法及び調整方式に対して如何なる制限も有さず、関連内容は、前記段落中の説明を参考にすることができる。 As shown in FIG. 12, in some other embodiments of the present invention, the projection mapping method further includes a readjustment step 28 and a remodeling step 29 in accordance with various situations encountered during actual use. In the image screen 210, after the setting is completed through the adjustment step 23, at least one of the direction, angle, or position of the projection device 220 and the projection entity 10 changes relative to each other, or the projection target Even if the profile of the entity 10 and the 3D model 202 have a deviation, the projection model 243 is adjusted again, and the projection model 243 in the image screen 210 projected by the projection apparatus 220 is again used as the projection entity. It can be adjusted to 10 profiles. However, similarly, the present invention does not have any limitation on the method and the adjustment method for determining the situation, and the related contents can be referred to the description in the paragraph.
そのうち、図１２は、前記段落において、図７の記載を合わせ、先ず該変換工程２４及び該投影工程２５を行い、その後、該調整工程２３の方法を行うことを基礎とし、該再調整工程２８及び該再モデリング工程２９を増加することによって説明を行い、但し、本発明は、該再調整工程２８及び該再モデリング工程２９が図７に示すような方法で行うことに制限するものではなく、図１に示すような方法に応用し、該再投射工程２７後に行うこともできる。 Among them, FIG. 12 is based on the fact that the conversion step 24 and the projection step 25 are performed first, followed by the method of the adjustment step 23 based on the description of FIG. And the remodeling step 29 is increased, however, the present invention is not limited to the reconditioning step 28 and the remodeling step 29 performed in the manner shown in FIG. It can be applied to the method shown in FIG.
図１２に示すように、該調整工程２３の後、該投射装置２２０、該被投射実体１０の間の位置、方向、角度関係の何れか１つが変化を発生する時、該再調整工程２８を実行する。該再調整工程２８において、該取得工程２１に戻り、該投影モデル２４３に対して該投射装置２２０、該被投影実体１０の間の位置、方向、角度関係のうちの少なくとも１つの変化を合わせて改めて補正を行い、該投射装置２２０が投射する該イメージ画面２１０中の該投影モデル２４３のプロファイルを変化後の該被投影実体１０のプロファイルを一致させ、取得を改めて行う。そのうち、該投射装置２２０、該被投影実体１０の位置、方向、角度関係の間の変化を如何に検出、感知するかは、制限せず、従来の装置、例えば、該投影実体１０周囲又はその上の位置に設置するセンサ、角度を検出する回転盤、又は人の眼で観察する等を用いることができる。 As shown in FIG. 12, after the adjustment step 23, when any one of the position, direction, and angle relationship between the projection device 220 and the projection entity 10 changes, the readjustment step 28 is performed. Run. In the readjustment step 28, the process returns to the acquisition step 21, and changes in at least one of the position, direction, and angular relationship between the projection device 220 and the projection entity 10 are combined with the projection model 243. The correction is performed again, the profile of the projection model 243 in the image screen 210 projected by the projection device 220 is matched with the profile of the projection entity 10 after the change, and the acquisition is performed again. Of these, how to detect and sense a change between the position, direction, and angular relationship of the projection device 220 and the projection entity 10 is not limited. A sensor installed at an upper position, a rotating disk for detecting an angle, observation with a human eye, or the like can be used.
また、該再調整工程２８を行った後（但し必須であると制限するものではない）依然として該イメージ画面２１０中の該投影モデル２４３のプロファイル及び該被投影実体１０のプロファイルを一致させることができない場合、要因は該モデリング工程２０で使用する該被投影実体１０のプロファイル及び実際の投影時のプロファイルが、オリジナルプロファイル２０３から変形プロファイル２０４に変化することにあり、故に該再モデリング工程２９を行う時、図１２、図１３に示すように、該３Ｄモデル２０２の外型を該変形プロファイル２０４及び該オリジナルプロファイル２０３間の変化に対応し、該３Ｄモデル２０２のプロファイルを該変形プロファイル２０４に補正し、その後、再度後続の取得工程２１等のその他の工程を再度行う。最後に投射される該イメージ画面２１０中の該投影モデル２４３のプロファイルを該被投射実体１０のプロファイルに再度一致させ、そのうち、如何に該３Ｄモデル２０２を補正する方式は限定せず、人工方式、又は被投影実体１０上にセンサ等の非人工の方式で補正することができる。 Further, after the readjustment step 28 is performed (however, it is not limited to essential), the profile of the projection model 243 and the profile of the projection entity 10 in the image screen 210 cannot be matched. In this case, the factor is that the profile of the projection entity 10 used in the modeling step 20 and the profile at the time of actual projection are changed from the original profile 203 to the deformation profile 204, and therefore when the remodeling step 29 is performed. 12 and 13, the outer shape of the 3D model 202 corresponds to the change between the deformation profile 204 and the original profile 203, and the profile of the 3D model 202 is corrected to the deformation profile 204. After that, another process such as the subsequent acquisition process 21 is performed again. Cormorant. The method of re-matching the profile of the projection model 243 in the image screen 210 to be projected last with the profile of the projection entity 10 is not limited, and the method of correcting the 3D model 202 is not limited, and an artificial method, Or it can correct | amend on the to-be-projected entity 10 by non-artificial methods, such as a sensor.
最後に、本発明の方法の実際の応用上の細節について、ここで補充を加える。幾つかの実施例において、前記二種の方法の実施例に類似し、該取得工程２１時、該投影モデル２４３のプロファイルを判断することに便利にするか、或いは、幾つかの実施例において、該イメージ画面２１０中に投射する不必要な部分を減少し、該投射装置２２０が投射するイメージ品質を向上する。該イメージ画面２１０が該投射工程２２を実際に行う前、該背景除去処理２１ａによって該イメージ画面２１０を該視角方向２２２により取得できる該投影モデル２４３のプロファイル及びパターンのみをもたせる。 Finally, supplementation is added here for practical application subsections of the method of the invention. In some embodiments, similar to the two method embodiments described above, it may be useful to determine the profile of the projection model 243 during the acquisition step 21, or in some embodiments, Unnecessary portions projected onto the image screen 210 are reduced, and the image quality projected by the projection device 220 is improved. Before the image screen 210 actually performs the projection step 22, the background removal process 21 a has only the profile and pattern of the projection model 243 that can be acquired in the viewing angle direction 222.
また、該投射装置２２０の変化応用について、図１４及び図１５に示すように、幾つかの実施例において、該被投影実体１０のプロファイルの凹凸１０１によって単一方向から投影時に発生し得る投影死角を減少するため、該投射装置２２０の該投射ユニット２２１は、第１投射ユニット２２１ａ及び第２投射ユニット２２１ｂを含み、該取得工程２１において、該視角方向２２２は、第１視角方向２２２ａ及び第２視角方向２２２ｂを含み、該第１投射ユニット２２１ａは、該第１視角方向２２２ａから該被投影実体１０から第１イメージ画面２１２ａを投射し、該第２投射ユニット２２１ｂは、該第２視角方向２２２ｂから該被投射実体１０に対して第２イメージ画面２１２ｂを投射し、該被投射実体１０上に該第１イメージ画面２１２ａ及び該第２イメージ画面２１２ｂにより共同で投射する共同投射領域３０を生成する。該共同投射領域３０に対して異なる方向から該第１イメージ画面２１２ａ及び該第２イメージ画面２１０ａを投影し、該被投射実体１０上に投射する映像データ２４１を共同合成し、該被投射実体１０のプロファイルにより凹凸１０１によって単一方向の投影時に起こる死角を減少させる。 In addition, as shown in FIGS. 14 and 15, with respect to the change application of the projection device 220, in some embodiments, the projection blind spot that can be generated during projection from a single direction due to the unevenness 101 of the profile of the projection entity 10. The projection unit 221 of the projection device 220 includes a first projection unit 221a and a second projection unit 221b. In the acquisition step 21, the viewing angle direction 222 is changed to the first viewing angle direction 222a and the second projection angle 221b. The first projection unit 221a projects the first image screen 212a from the projection entity 10 from the first viewing angle direction 222a, and the second projection unit 221b includes the second viewing angle direction 222b. The second image screen 212b is projected from the projection entity 10 to the projection entity 10, and the first image screen 212 is projected onto the projection entity 10. And generating a joint projection region 30 for projecting jointly by the second image screen 212b. The first image screen 212a and the second image screen 210a are projected from different directions with respect to the joint projection area 30, and the video data 241 projected onto the projection entity 10 is jointly synthesized. According to the above profile, the unevenness 101 reduces the blind spot that occurs during projection in a single direction.
他の変化方式は、該被投射実体１０上に呈現することができる該映像データ２４１の面積を増加させるため、鑑賞者に各種異なる角度から該被投影実体１０上を呈現する該付加イメージ２４２（図示せず）を見せている。図７及び図１５に示すように、幾つかの実施例において、該取得工程２１において、該視角方向２２２は、第１視角方向２２２ａ、第２視角方向２２２ｂ及び第３視角方向２２２ｃを含み、該第１視角方向２２２ａ、第２視角方向２２２ｂ及び第３視角方向２２２ｃに合わせてそれぞれ３種の異なる視角方向に対応する第１投影画面２１３ａ、第２投影画面２１３ｂ及び第３投影画面２１３ｃを生成する。該投射装置２２０の該投射ユニット２２１は、第１投射ユニット２２１ａ、第２投射ユニット２２１ｂを含み、更に第３投射ユニット２２１ｃを含み、該第１、第２及び第３投射ユニット２２１ａ、２２１ｂ、２２１ｃは、図に示すように、該被投影実体１０を囲うように設置され、それぞれ該第１、第２及び第３視角方向２２２ａ、２２２ｂ、２２２ｃから該投影画面２１３ａ、２１３ｂ、２１３ｃは、該被投影実体１０の全側表面１０２を共同で囲う。 Another change method is to increase the area of the video data 241 that can be displayed on the projected entity 10, so that the viewer can view the additional image 242 (presented on the projected entity 10 from various angles). (Not shown). As shown in FIGS. 7 and 15, in some embodiments, in the obtaining step 21, the viewing angle direction 222 includes a first viewing angle direction 222a, a second viewing angle direction 222b, and a third viewing angle direction 222c, A first projection screen 213a, a second projection screen 213b, and a third projection screen 213c corresponding to three different viewing angle directions are generated in accordance with the first viewing angle direction 222a, the second viewing angle direction 222b, and the third viewing angle direction 222c. . The projection unit 221 of the projection device 220 includes a first projection unit 221a and a second projection unit 221b, further includes a third projection unit 221c, and the first, second and third projection units 221a, 221b and 221c. As shown in the figure, the projection screens 213a, 213b, and 213c are installed from the first, second, and third viewing angle directions 222a, 222b, and 222c, respectively. The entire surface 102 of the projection entity 10 is jointly enclosed.
なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。 In the present invention, the preferred embodiments have been disclosed as described above, but these are not intended to limit the present invention in any way, and anyone who is familiar with the technology can make an equivalent scope without departing from the spirit and scope of the present invention. Of course, various fluctuations and hydration colors can be added.
１０ 被投影実体
１０１ プロファイル凹凸
１０２ 側表面
２０ モデリング工程
２０１ 電子装置
２０２ ３Ｄモデル
２０３ オリジナルプロファイル
２０４ 変形プロファイル
２１ 取得工程
２１ａ 背景除去処理
２１０ イメージ画面
２１１ 投影イメージ画面
２１２ａ 第１イメージ画面
２１２ｂ 第２イメージ画面
２１３ａ 第１投影画面
２１３ｂ 第２投影画面
２１３ｃ 第３投影画面
２２ 投射工程
２２０ 投射装置
２２１ 投射ユニット
２２１ａ 第１投射ユニット
２２１ｂ 第２投射ユニット
２２１ｃ 第３投射ユニット
２２２ 視角方向
２２２ａ 第１視角方向
２２２ｂ 第２視角方向
２２２ｃ 第３視角方向
２３ 調整工程
２４ 変換工程
２４１ 映像データ
２４２ 付加イメージ
２４３ 投影モデル
２５ 投影工程
２６ 再取得工程
２７ 再投射工程
２８ 再調整工程
２９ 再モデリング工程
３０ 共同投射領域
10 Projected entity 101 Profile unevenness 102 Side surface 20 Modeling process 201 Electronic device 202 3D model 203 Original profile 204 Deformed profile 21 Acquisition process 21a Background removal process 210 Image screen 211 Projection image screen 212a First image screen 212b Second image screen 213a First projection screen 213b Second projection screen 213c Third projection screen 22 Projection process 220 Projection device 221 Projection unit 221a First projection unit 221b Second projection unit 221c Third projection unit 222 Viewing angle direction 222a First viewing angle direction 222b Second viewing angle Direction 222c Third viewing angle direction 23 Adjustment process 24 Conversion process 241 Video data 242 Additional image 243 Projection model 25 Projection process 26 Re-acquisition process 27 Re-projection process 28 Re-adjustment process 9 remodeling process 30 joint projection region
Claims (12)
電子装置を利用して、そのプロファイルが該被投影実体のプロファイルとほぼ同一である３Ｄモデルを作成又はインポートするモデリング工程と、
該電子装置により自由に選択した視角方向から該３Ｄモデルを含むイメージ画面を取得する取得工程と、
投射装置を利用し、該電子装置中の該視角方向から取得した該イメージ画面を該被投影実体上に投射する投射工程と、
該電子装置中の該３Ｄモデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該視角方向から取得した該イメージ画面中の３Ｄモデルのプロファイルを変化させ、該投射装置が投射する該３Ｄモデルのプロファイルを該被投影実体のプロファイルに完全に一致するまで変化させる調整工程と、
該電子装置に映像データを作成又はインポートし、該映像データを付加イメージに変換する変換工程と、
該付加イメージを調整後の該３Ｄモデルの表面に設置し、投影モデルを共同形成する投影工程と、
該電子装置により該視角方向から該投影モデルを含む投影イメージ画面を取得する再取得工程と、
該投射装置を利用して該視角方向から該投影イメージ画面を該被投影実体上に投射する再投射工程と、
を含むプロジェクションマッピング方法。 A projection mapping method for projecting an image onto a projection entity,
A modeling step using an electronic device to create or import a 3D model whose profile is approximately the same as the profile of the projected entity;
An acquisition step of acquiring an image screen including the 3D model from a viewing angle direction freely selected by the electronic device;
A projection step of projecting the image screen acquired from the viewing angle direction in the electronic device onto the projection entity using a projection device;
At least one of rotation, displacement, and reduction / enlargement is performed on the 3D model in the electronic apparatus, the profile of the 3D model in the image screen acquired from the viewing angle direction is changed, and the projection apparatus projects an adjustment step of changing the profile of the 3D model to exactly match the profile of the該被projection entity that,
A conversion step of creating or importing video data into the electronic device and converting the video data into an additional image;
A projection step of installing the additional image on the surface of the adjusted 3D model and co-forming a projection model;
A reacquisition step of acquiring a projection image screen including the projection model from the viewing angle direction by the electronic device;
A reprojection step of projecting the projection image screen onto the projection entity from the viewing angle direction using the projection device;
Projection mapping method including:
電子装置を利用して、そのプロファイルが該被投影実体のプロファイルとほぼ同一である３Ｄモデルを作成又はインポートするモデリング工程と、
該電子装置に映像データを作成又はインポートし、該映像データを付加イメージに変換する変換工程と、
該付加イメージを該３Ｄモデルの表面に設置し、投影モデルを共同形成する投影工程と、
該電子装置により自由に選択した視角方向から該投影モデルを含むイメージ画面を取得する取得工程と、
投射装置を利用し、該電子装置中の該視角方向から取得した該イメージ画面を該被投影実体上に投射する投射工程と、
該電子装置中の該投影モデルに対して回転、変位、縮小拡大の少なくとも１つの動作を行い、該視角方向から取得した該イメージ画面中の投影モデルのプロファイルを変化させ、該投射装置が投射する該投影モデルのプロファイルを該被投影実体のプロファイルに完全に一致するまで変化させる調整工程と、
を含むプロジェクションマッピング方法。 A projection mapping method for projecting an image onto a projection entity,
A modeling step using an electronic device to create or import a 3D model whose profile is approximately the same as the profile of the projected entity;
A conversion step of creating or importing video data into the electronic device and converting the video data into an additional image;
A projection step of placing the additional image on the surface of the 3D model and co-forming a projection model;
An acquisition step of acquiring an image screen including the projection model from a viewing angle direction freely selected by the electronic device;
A projection step of projecting the image screen acquired from the viewing angle direction in the electronic device onto the projection entity using a projection device;
At least one of rotation, displacement, and reduction / enlargement is performed on the projection model in the electronic apparatus, the profile of the projection model in the image screen acquired from the viewing angle direction is changed, and the projection apparatus projects an adjustment step of changing the profile of the projection model to exactly match the profile of the該被projection entity that,
Projection mapping method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017056546A JP6429414B2 (en) | 2017-03-22 | 2017-03-22 | Projection mapping method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017056546A JP6429414B2 (en) | 2017-03-22 | 2017-03-22 | Projection mapping method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018159795A JP2018159795A (en) | 2018-10-11 |
| JP6429414B2 true JP6429414B2 (en) | 2018-11-28 |
Family
ID=63794993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017056546A Expired - Fee Related JP6429414B2 (en) | 2017-03-22 | 2017-03-22 | Projection mapping method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6429414B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4379532B2 (en) * | 2007-07-26 | 2009-12-09 | パナソニック電工株式会社 | Lighting device |
| JP2015192310A (en) * | 2014-03-28 | 2015-11-02 | セイコーエプソン株式会社 | Projection system, portable equipment, program, and control method of portable equipment |
| JPWO2015170680A1 (en) * | 2014-05-09 | 2017-04-20 | コニカミノルタ株式会社 | Projection system |
| JP6420077B2 (en) * | 2014-06-30 | 2018-11-07 | 株式会社バンダイナムコエンターテインメント | Game system |
| JP6636252B2 (en) * | 2015-03-19 | 2020-01-29 | 株式会社メガチップス | Projection system, projector device, imaging device, and program |
-
2017
- 2017-03-22 JP JP2017056546A patent/JP6429414B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018159795A (en) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240153143A1 (en) | Multi view camera registration | |
| JP6883608B2 (en) | Depth data processing system that can optimize depth data by aligning images with respect to depth maps | |
| WO2021031781A1 (en) | Method and device for calibrating projection image and projection device | |
| JP5465708B2 (en) | Projection system and method | |
| JP2000350239A (en) | Camera.calibration device and method, image processing unit and method, program serving medium and camera | |
| CN105308503A (en) | System and method for calibrating a display system using a short throw camera | |
| CN108028900A (en) | Projector equipment, projecting method and program recorded medium | |
| CN104574355B (en) | Calibration system of stereo camera and calibration method of stereo camera | |
| KR101793192B1 (en) | Apparatus for realizing augmented reality using multiple projector and method thereof | |
| JP6846661B2 (en) | Projection methods and devices for three-dimensional projection objects | |
| EP3322181B1 (en) | Method and system for screen correction | |
| US20200045277A1 (en) | Projection device, projection system and an image calibration method | |
| US20100149319A1 (en) | System for projecting three-dimensional images onto a two-dimensional screen and corresponding method | |
| US20150229916A1 (en) | Method for automatically correcting a video projection with the aid of inverse telecine | |
| KR100854281B1 (en) | Apparatus for alining curved-screen type and system and method for controlling as the same | |
| US20180213196A1 (en) | Method of projection mapping | |
| JP6429414B2 (en) | Projection mapping method | |
| Zoido et al. | Optimized methods for multi-projector display correction | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| KR20180091794A (en) | Method of projection mapping | |
| TWI621356B (en) | Method of Projection Mapping | |
| CN112070904A (en) | Augmented reality display method applied to museum | |
| Ahmed et al. | Projector primary-based optimization for superimposed projection mappings | |
| TW201438469A (en) | Image processing method for curved surface projection and its system | |
| CN108346127A (en) | Light carves projecting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6429414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |