JP2023044838A - 投射方法、及び投射システム - Google Patents
投射方法、及び投射システム Download PDFInfo
- Publication number
- JP2023044838A JP2023044838A JP2021152923A JP2021152923A JP2023044838A JP 2023044838 A JP2023044838 A JP 2023044838A JP 2021152923 A JP2021152923 A JP 2021152923A JP 2021152923 A JP2021152923 A JP 2021152923A JP 2023044838 A JP2023044838 A JP 2023044838A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- projector
- dimensional position
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 133
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 111
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 32
- 239000011159 matrix material Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000011960 computer-aided design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
図1は、本開示の第1実施形態による投射システム1Aの構成例を示す図である。図1に示されるように、投射システム1Aには、制御装置10Aと、投射対象物PSに投射画像を投射するためのプロジェクター20と、投射対象物PSを撮像するためのカメラ30と、が含まれる。投射対象物PSは3次元形状を有する物体である。図1に示されるように、本実施形態における投射対象物PSは直方体状の物体である。
図8は、本開示の第2実施形態による投射システム1Bの構成例を示す図である。本実施形態では、図9に示されるように、投射対象物PSを模擬した仮想物体VPS及びプロジェクター20を模擬した仮想プロジェクターVPJを含む仮想空間VSにおいてユーザーにより設定された視点VPから当該仮想物体VPSを見た画像に基づいて投射画像が生成される点が第1実施形態と異なる。この仮想空間VSには、任意の3次元座標系が設定される。また、仮想空間VSに設定される3次元座標系は仮想空間座標系と称される。本実施形態では、仮想空間座標系における仮想物体VPSと仮想プロジェクターVPJとの相対3次元位置は、実空間座標系における投射対象物PSとプロジェクター20との相対3次元位置に応じて定まる。具体的には、仮想空間座標系における仮想物体VPSと仮想プロジェクターVPJとの相対3次元位置は、実空間座標系における投射対象物PSとプロジェクター20との相対3次元位置と同じである。本実施形態では、実空間座標系におけるプロジェクター20と投射対象物PSとの相対3次元位置、及びプロジェクター20の光軸の向きは既知である。投射対象物PSの形状がCAD(Computer-Aided Design)によりデザインされる場合、仮想空間VSの具体例としては、このCAD空間が挙げられる。
上記各実施形態は、以下のように変形され得る。
(1)上記第2実施形態において、第2オブジェクト情報により3次元空間における3次元位置が表される描画オブジェクトがテクスチャとして仮想物体VPSの表面に張り付けられてもよい。本態様によれば、投射対象物PSの移動に伴って仮想物体VPSが移動する場合に仮想撮像画像上での描画オブジェクトの再描画を行うことなく、描画オブジェクトを表面に配置済の仮想物体VPSの仮想撮像画像を表示装置110に表示させることが可能になる。第1実施形態に関しても同様に撮像画像に代えて仮想撮像画像を用いるようにすれば、投射対象物PSが移動する場合に描画オブジェクトの再描画を行うことなく、描画オブジェクトを表面に配置済の仮想物体VPSの仮想撮像画像を表示装置110に表示させることが可能になる。
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
Claims (12)
- 投射対象物をカメラによって撮像することにより得られた第1画像を取得することと、
前記第1画像においてユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第1画像における前記描画オブジェクトの2次元位置を示す第1オブジェクト情報を生成することと、
前記カメラと前記投射対象物との相対3次元位置を示す第1位置情報、及び前記カメラの光軸の向きを示す第1姿勢情報に基づいて、前記第1オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの3次元位置を示す第2オブジェクト情報に変換することと、
プロジェクターと前記投射対象物との相対3次元位置を示す第2位置情報、及び前記プロジェクターの光軸の向きを示す第2姿勢情報に基づいて、前記第2オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの位置を示す第3オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、
を含む投射方法。 - 前記第1位置情報、前記第1姿勢情報、前記第2位置情報、及び前記第2姿勢情報を生成すること、を更に含む、
請求項1に記載の投射方法。 - 前記投射対象物の表面には、各々の3次元位置が既知の複数のマーカーが配置され、
前記第1位置情報、前記第1姿勢情報、前記第2位置情報、及び前記第2姿勢情報を生成することは、
前記第1画像における前記複数のマーカーの各々の2次元位置に基づいて前記第1位置情報及び前記第1姿勢情報を生成すること、
前記カメラと前記プロジェクターとの相対3次元位置を示す第3位置情報と前記第1位置情報とに基づき前記第2位置情報を生成すること、及び、
前記カメラと前記プロジェクターとの相対姿勢を示す第3姿勢情報と前記第1姿勢情報とに基づき前記第2姿勢情報を生成すること、を含む、
請求項2に記載の投射方法。 - 前記第1位置情報、前記第1姿勢情報、前記第2位置情報、及び前記第2姿勢情報を生成することは、
前記第1画像に写っている前記投射対象物の表面に各々位置し、且つ各々の3次元位置が既知の複数の特徴点を選択する操作を受け付けること、
前記第1画像における前記複数の特徴点の各々の2次元位置に基づいて前記第1位置情報及び前記第1姿勢情報を生成すること、
前記カメラと前記プロジェクターとの相対3次元位置を示す第3位置情報と前記第1位置情報とに基づき前記第2位置情報を生成すること、及び、
前記カメラと前記プロジェクターとの相対姿勢を示す第3姿勢情報と前記第1姿勢情報とに基づき前記第2姿勢情報を生成すること、を含む、
請求項2に記載の投射方法。 - 投射対象物を模擬した仮想物体及び前記投射対象物に画像を投射するプロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対3次元位置が前記投射対象物と前記プロジェクターとの相対3次元位置に応じて定まる仮想空間において、ユーザーによって設定された視点から前記仮想物体を見た第1画像を取得することと、
前記第1画像において前記ユーザーが描画オブジェクトを描画する操作を受け付けることによって、前記第1画像における前記描画オブジェクトの2次元位置を示す第1オブジェクト情報を生成することと、
前記視点と前記仮想物体との相対3次元位置を示す第1位置情報に基づき、前記第1オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの3次元位置を示す第2オブジェクト情報に変換することと、
前記仮想プロジェクターと前記仮想物体との相対3次元位置を示す第2位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第2オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの2次元位置を示す第3オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、
を含む投射方法。 - 前記視点の3次元位置を設定する操作を受け付けることを、更に含む、
請求項5に記載の投射方法。 - 前記視点は、前記仮想物体を正対視する3次元位置にある請求項5に記載の投射方法。
- 前記第1位置情報及び前記第2位置情報を生成すること、を更に含む、
請求項5乃至7のうちの何れか1項に記載の投射方法。 - 前記投射対象物の表面には、各々の3次元位置が既知の複数のマーカーが配置され、
前記第1位置情報及び前記第2位置情報を生成することは、
前記複数のマーカーが表面に配置された前記投射対象物を前記視点に対応する3次元位置に設置されたカメラによって撮像することにより得られる第2画像を取得すること、
前記第2画像における前記複数のマーカーの各々の2次元位置に基づいて前記第1位置情報を生成すること、及び、
前記カメラと前記プロジェクターとの相対3次元位置を示す第3位置情報と前記第1位置情報とに基づき前記第2位置情報を生成すること、を含む、
請求項8に記載の投射方法。 - 前記第1位置情報及び前記第2位置情報を生成することは、
前記投射対象物を前記視点に対応する3次元位置に設置されたカメラによって撮像することにより得られる第2画像を取得すること、
前記第2画像に写っている前記投射対象物の表面に各々位置し、且つ各々の3次元位置が既知の複数の特徴点を選択する操作を受け付けること、
前記第2画像における前記複数の特徴点の各々の2次元位置に基づいて前記第1位置情報を生成すること、及び、
前記カメラと前記プロジェクターとの相対3次元位置を示す第3位置情報と前記第1位置情報とに基づき、前記第2位置情報を生成すること、を含む、
請求項8に記載の投射方法。 - 投射対象物に画像を投射するプロジェクターと、
ユーザーの操作を受け付ける入力装置と、
処理装置と、を含み、
前記処理装置は、
前記投射対象物をカメラによって撮像することにより得られた第1画像を取得することと、
前記第1画像において描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第1画像における前記描画オブジェクトの2次元位置を示す第1オブジェクト情報を生成することと、
前記カメラと前記投射対象物との相対3次元位置を示す第1位置情報、及び前記カメラの光軸の向きを示す第1姿勢情報に基づいて、前記第1オブジェクト情報を、前記投射対象物の表面に前記描画オブジェクトが配置された場合の前記描画オブジェクトの3次元位置を示す第2オブジェクト情報に変換することと、
前記プロジェクターと前記投射対象物との相対3次元位置を示す第2位置情報、及び前記プロジェクターの光軸の向きを示す第2姿勢情報に基づいて、前記第2オブジェクト情報を、前記プロジェクターから投射する画像上の前記描画オブジェクトの2次元位置を示す第3オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する、
投射システム。 - 投射対象物に画像を投射するプロジェクターと、
ユーザーの操作を受け付ける入力装置と、
処理装置と、を含み、
前記処理装置は、
前記投射対象物を模擬した仮想物体及び前記プロジェクターを模擬した仮想プロジェクターを含み、前記仮想物体と前記仮想プロジェクターとの相対3次元位置が前記投射対象物と前記プロジェクターとの相対3次元位置に応じて定まる仮想空間において、前記入力装置に対する操作によって設定された視点から前記仮想物体を見た第1画像を取得することと、
前記第1画像において前記ユーザーが描画オブジェクトを描画する操作を前記入力装置によって受け付けることによって、前記第1画像における前記描画オブジェクトの2次元位置を示す第1オブジェクト情報を生成することと、
前記視点と前記仮想物体との相対3次元位置を示す第1位置情報に基づき、前記第1オブジェクト情報を、前記仮想物体の表面に前記描画オブジェクトが配置された場合に、前記投射対象物の表面に配置された前記描画オブジェクトの3次元位置を示す第2オブジェクト情報に変換することと、
前記仮想プロジェクターと前記仮想物体との相対3次元位置を示す第2位置情報、及び前記仮想プロジェクターの光軸の向きを示す姿勢情報に基づいて、前記第2オブジェクト情報を、前記仮想プロジェクターから投射する画像上の前記描画オブジェクトの2次元位置を示す第3オブジェクト情報に変換することによって、前記描画オブジェクトを含む投射画像を前記プロジェクターから前記投射対象物へ投射することと、を実行する、
投射システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152923A JP7380661B2 (ja) | 2021-09-21 | 2021-09-21 | 投射方法、及び投射システム |
CN202211134743.9A CN115842905B (zh) | 2021-09-21 | 2022-09-19 | 投射方法以及投射*** |
US17/948,820 US20230092033A1 (en) | 2021-09-21 | 2022-09-20 | Projection method and projection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152923A JP7380661B2 (ja) | 2021-09-21 | 2021-09-21 | 投射方法、及び投射システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023044838A true JP2023044838A (ja) | 2023-04-03 |
JP7380661B2 JP7380661B2 (ja) | 2023-11-15 |
Family
ID=85571742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152923A Active JP7380661B2 (ja) | 2021-09-21 | 2021-09-21 | 投射方法、及び投射システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230092033A1 (ja) |
JP (1) | JP7380661B2 (ja) |
CN (1) | CN115842905B (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013192189A (ja) * | 2012-03-15 | 2013-09-26 | Casio Comput Co Ltd | 画像処理装置、投影システム、プログラム及び画像処理方法 |
JP2017085234A (ja) * | 2015-10-23 | 2017-05-18 | セイコーエプソン株式会社 | 携帯端末、プロジェクター、投写システム、投写システムの制御方法およびプログラム |
WO2017179432A1 (ja) * | 2016-04-13 | 2017-10-19 | パナソニックIpマネジメント株式会社 | 3次元的な投影対象のための画像投影方法及び画像投影装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003115055A (ja) * | 2001-10-05 | 2003-04-18 | Canon Inc | 画像生成装置 |
JP2010034720A (ja) * | 2008-07-28 | 2010-02-12 | Fuji Xerox Co Ltd | 指示システム、指示装置、端末装置、指示プログラム及び端末用プログラム |
JP5200800B2 (ja) * | 2008-09-16 | 2013-06-05 | 富士ゼロックス株式会社 | 撮影装置及び撮影システム |
JP5615651B2 (ja) * | 2010-09-28 | 2014-10-29 | 京セラ株式会社 | 電子機器および投影システム |
US9578076B2 (en) * | 2011-05-02 | 2017-02-21 | Microsoft Technology Licensing, Llc | Visual communication using a robotic device |
US9304582B1 (en) * | 2013-12-19 | 2016-04-05 | Amazon Technologies, Inc. | Object-based color detection and correction |
WO2016194191A1 (ja) * | 2015-06-04 | 2016-12-08 | 日立マクセル株式会社 | 投射型映像表示装置および映像表示方法 |
US10574956B2 (en) * | 2015-08-07 | 2020-02-25 | Christie Digital Systems Usa, Inc. | System and method for automatic alignment and projection mapping |
JP2018056924A (ja) * | 2016-09-30 | 2018-04-05 | 匡佑 安本 | 画像表示装置、及びこれを用いた仮想現実インタフェースデバイス |
JP7088530B2 (ja) * | 2018-02-08 | 2022-06-21 | 元治 藤垣 | 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 |
KR20200028532A (ko) * | 2018-09-06 | 2020-03-17 | 주식회사 비즈모델라인 | 영상 투영 기능을 구비한 카메라장치 |
DE112019006855T5 (de) * | 2019-02-13 | 2021-11-04 | Mitsubishi Electric Corporation | Simulationsvorrichtung und simulationsverfahren |
US11206294B2 (en) * | 2020-03-31 | 2021-12-21 | Konica Minolta Business Solutions U.S.A., Inc. | Method for separating local and remote content in a camera-projector based collaborative system |
WO2022080260A1 (ja) * | 2020-10-13 | 2022-04-21 | パナソニックIpマネジメント株式会社 | 設置情報取得方法、補正方法、プログラム、及び設置情報取得システム |
-
2021
- 2021-09-21 JP JP2021152923A patent/JP7380661B2/ja active Active
-
2022
- 2022-09-19 CN CN202211134743.9A patent/CN115842905B/zh active Active
- 2022-09-20 US US17/948,820 patent/US20230092033A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013192189A (ja) * | 2012-03-15 | 2013-09-26 | Casio Comput Co Ltd | 画像処理装置、投影システム、プログラム及び画像処理方法 |
JP2017085234A (ja) * | 2015-10-23 | 2017-05-18 | セイコーエプソン株式会社 | 携帯端末、プロジェクター、投写システム、投写システムの制御方法およびプログラム |
WO2017179432A1 (ja) * | 2016-04-13 | 2017-10-19 | パナソニックIpマネジメント株式会社 | 3次元的な投影対象のための画像投影方法及び画像投影装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230092033A1 (en) | 2023-03-23 |
JP7380661B2 (ja) | 2023-11-15 |
CN115842905A (zh) | 2023-03-24 |
CN115842905B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4677273B2 (ja) | 情報処理方法および情報処理装置 | |
JP6344050B2 (ja) | 画像処理システム、画像処理装置、プログラム | |
WO2019062619A1 (zh) | 对图像内目标物体进行自动标注的方法、装置及*** | |
JP5777786B1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4253567B2 (ja) | データオーサリング処理装置 | |
EP3330928A1 (en) | Image generation device, image generation system, and image generation method | |
US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
JP7005224B2 (ja) | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
JP6438995B2 (ja) | 図面投影システム、図面投影方法及びプログラム | |
CN109740487B (zh) | 点云标注方法、装置、计算机设备和存储介质 | |
JP5387668B2 (ja) | 情報処理端末、情報処理方法、およびプログラム | |
KR20210086837A (ko) | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 | |
JP2015233266A (ja) | 画像処理システム、情報処理装置、プログラム | |
JP2011248443A (ja) | 拡張現実映像の提示装置及び提示方法 | |
RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
JP2013231607A (ja) | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム | |
JP7380661B2 (ja) | 投射方法、及び投射システム | |
JP2010086193A (ja) | プレゼンテーション資料配信システム、及びプレゼンテーション資料上の指示位置データの配信システム | |
JP2008040913A (ja) | 情報処理方法、情報処理装置 | |
JP2019046096A (ja) | 情報処理装置及びその方法 | |
WO2020208974A1 (ja) | 基準位置設定方法及び操作検出装置 | |
WO2020067204A1 (ja) | 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム | |
JP2009259254A (ja) | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム | |
JP2021060856A (ja) | 画像合成装置、画像合成装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7380661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |