JP2022073496A - 射影変換行列の決定方法、プロジェクターおよび決定システム - Google Patents
射影変換行列の決定方法、プロジェクターおよび決定システム Download PDFInfo
- Publication number
- JP2022073496A JP2022073496A JP2020183521A JP2020183521A JP2022073496A JP 2022073496 A JP2022073496 A JP 2022073496A JP 2020183521 A JP2020183521 A JP 2020183521A JP 2020183521 A JP2020183521 A JP 2020183521A JP 2022073496 A JP2022073496 A JP 2022073496A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projected
- feature points
- projection
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 48
- 230000009466 transformation Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 26
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000003825 pressing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 229910000906 Bronze Inorganic materials 0.000 description 3
- 239000010974 bronze Substances 0.000 description 3
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 3
- 229930091051 Arenine Natural products 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Projection Apparatus (AREA)
Abstract
【課題】有効な射影変換行列を決定できる技術を提供する。【解決手段】決定方法は、第1領域へ4つの特徴点を示す第1投写画像をプロジェクターが投写する状況で4つの特徴点の位置関係を変更する変更指示を受け取り、変更指示に応じて第1領域へ4つの特徴点を示す第2投写画像をプロジェクターに投写させ、第2投写画像における4つの特徴点の座標と、第2投写画像が投写される第1領域をカメラが撮影することによって生成される第1撮像画像における4つの特徴点の座標と、に基づき、プロジェクターが投写する画像における座標を表すプロジェクター座標系と、カメラが生成する画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する。第2投写画像の4つの特徴点の位置関係は第1投写画像の4つの特徴点の位置関係と異なる。【選択図】図8
Description
本発明は、射影変換行列の決定方法、プロジェクターおよび決定システムに関する。
特許文献1は、射影変換行列を決定する手法を開示する。特許文献1に記載の射影変換行列は、プロジェクターからスクリーンに投写される投写画像における位置と、投写画像が投写されているスクリーンをカメラが撮像することによって得られる撮像画像における位置と、を相互に対応づける。
射影変換行列を決定するためには、投写画像が少なくとも4つの特徴点を有し、特徴点ごとに、当該特徴点の投写画像における座標と、当該特徴点の撮像画像における座標と、の対応関係が必要になる。さらに、投写画像における各特徴点は、同一平面の表示面に投写される必要がある。
しかしながら、店舗などでサイネージ等を目的として投写画像が壁等の同一平面の表示面に投写される状況において表示面の前に銅像等の立体物が存在する場合、投写画像における特徴点のいずれかが、表示面に投写されずに、立体物に投写される虞がある。この場合、投写画像における各特徴点が同一平面の表示面に投写されないため、投写画像における位置と撮像画像における位置とを相互に対応づける射影変換行列を決定できない虞がある。
本発明に係る射影変換行列の決定方法の一態様は、第1領域へ、4つの特徴点を示す第1投写画像をプロジェクターが投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取り、前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記プロジェクターに投写させ、前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域をカメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記プロジェクターが投写する投写画像における座標を表すプロジェクター座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定することを含み、前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる。
本発明に係るプロジェクターの一態様は、第1領域へ、4つの特徴点を示す第1投写画像を前記投写部が投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取る受取部と、前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記投写部に投写させる投写制御部と、前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域をカメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記投写部が投写する投写画像における座標を表す投写座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する決定部と、を含み、前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる。
本発明に係る決定システムの一態様は、画像を投写するプロジェクターと、撮像を実行するカメラと、前記プロジェクターと前記カメラとを制御する制御装置と、を含み、前記制御装置は、第1領域へ、4つの特徴点を示す第1投写画像を前記プロジェクターが投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取る受取部と、前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記プロジェクターに投写させる投写制御部と、前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域を前記カメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記プロジェクターが投写する投写画像における座標を表すプロジェクター座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する決定部と、を含み、前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる。
A:第1実施形態
A1:決定システム1
図1は、第1実施形態に係る決定システム1を示す図である。決定システム1は、プロジェクター100と、カメラ200と、を含む。
A1:決定システム1
図1は、第1実施形態に係る決定システム1を示す図である。決定システム1は、プロジェクター100と、カメラ200と、を含む。
プロジェクター100は、投写画像cを被投写物300に投写する。投写画像cには、プロジェクター座標系J1が適用される。プロジェクター座標系J1は、投写画像cにおける座標を表す。プロジェクター座標系J1は、投写座標系の一例である。
被投写物300は、平面状の表示面400と、立体物500と、を含む。表示面400は、壁である。表示面400は、壁に限らず、例えば、スクリーン、テーブルの甲板、床、天井、ホワイトボードまたは扉でもよい。立体物500は、銅像である。立体物500は、銅像に限らず、例えば、人形、柱または棚でもよい。被投写物300において投写画像cが投写される領域は、第1領域の一例である。
カメラ200は、被投写物300において投写画像cが投写される領域を含む領域を撮像することによって、撮像画像を生成する。撮像画像には、カメラ座標系J2が適用される。カメラ座標系J2は、撮像画像における座標を表す。カメラ200は、撮像画像を示す撮像データbを生成する。カメラ200は、撮像データbをプロジェクター100に提供することによって、撮像画像をプロジェクター100に提供する。
プロジェクター100は、投写画像cと撮像画像とを用いることによって、プロジェクター座標系J1とカメラ座標系J2とを相互に対応づける射影変換行列Hを決定する。
A2:投写画像c
図2は、投写画像cの一例である第1投写画像c1を示す図である。第1投写画像c1は、黒色の背景に存在する白色の4つのドットd1~d4を示す。第1投写画像c1におけるドットd1~d4の位置関係は、第1の位置関係の一例である。
図2は、投写画像cの一例である第1投写画像c1を示す図である。第1投写画像c1は、黒色の背景に存在する白色の4つのドットd1~d4を示す。第1投写画像c1におけるドットd1~d4の位置関係は、第1の位置関係の一例である。
第1投写画像c1において、背景の色は、黒色に限らずドットd1~d4の色と異なる色であればよい。ドットd1~d4の色は、白色に限らず、背景の色と異なる色であればよい。第1投写画像c1における4つのドットd1~d4の位置関係は、図2に示される位置関係に限らず適宜変更可能である。ドットd1~d4の各々は、特徴点の一例である。特徴点は、ドットに限らず、例えば、バツ印、多角形、楕円、複数の線の交差部分、または複数の図形の交差部分でもよい。特徴点の数は4に限らず、5以上でもよい。4つのドットd1~d4は、4つの特徴点の一例、さらに言えば、少なくとも4つの特徴点の一例である。
図3は、投写画像cの他の例である第2投写画像c2を示す図である。第2投写画像c2は、第1投写画像c1と同様に、黒色の背景に存在する白色の4つのドットd1~d4を示す。第2投写画像c2におけるドットd1~d4の位置関係は、第2の位置関係の一例である。
第2投写画像c2において、背景の色は、黒色に限らずドットd1~d4の色と異なる色であればよい。第2投写画像c2において、ドットd1~d4の色は、白色に限らず、背景の色と異なる色であればよい。第2投写画像c2によって示されるドットの数は、第1投写画像c1が示すドットの数と等しい。
第2投写画像c2における4つのドットd1~d4の位置関係は、第1投写画像c1における4つのドットd1~d4の位置関係と異なる。4つのドットd1~d4の位置関係が異なるとは、4つのドットd1~d4のうち1つ以上のドットの位置が、第1投写画像c1と第2投写画像c2とで異なることを示す。例えば、図2および図3に示されるように、4つのドットd1~d4のうちドットd3の位置のみが、第1投写画像c1と第2投写画像c2とで異なっている状態を、第2投写画像c2における4つのドットd1~d4の位置関係と、第1投写画像c1における4つのドットd1~d4の位置関係とが異なることを示す。第2投写画像c2における4つのドットd1~d4の位置関係は、第1投写画像c1における4つのドットd1~d4の位置関係と異なっていれば、図3に示される位置関係に限らず適宜変更可能である。
プロジェクター100は、第1投写画像c1と第2投写画像c2とを個別に被投写物300に投写可能である。
A3:プロジェクター100とカメラ200
図4は、プロジェクター100の一例とカメラ200の一例とを示す図である。プロジェクター100は、操作部110と、記憶部120と、処理部130と、投写部140と、を含む。
図4は、プロジェクター100の一例とカメラ200の一例とを示す図である。プロジェクター100は、操作部110と、記憶部120と、処理部130と、投写部140と、を含む。
操作部110は、操作ボタンとタッチパネルのうち少なくとも一方を有する。ユーザーは、操作部110を操作することによって、操作部110に種々の指示を入力する。操作部110は、ユーザーから入力された指示を受け取る。操作部110は、不図示のリモコンを介してユーザーから指示を受け取ってもよい。操作部110は、指示入力部の一例である。
記憶部120は、処理部130が読み取り可能な記録媒体である。記憶部120は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)およびEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。
記憶部120は、処理部130によって実行されるプログラムPと、処理部130が使用する各種のデータと、を記憶する。
処理部130は、1または複数のCPU(Central Processing Unit)によって構成される。1または複数のCPUは、1または複数のプロセッサーの一例である。プロセッサーおよびCPUの各々は、コンピューターの一例である。
処理部130は、記憶部120からプログラムPを読み取る。処理部130は、プログラムPを実行することによって、種々の機能を実現する。例えば、処理部130は、投写画像cを示す画像データaを投写部140に提供することによって、投写部140に投写画像を投写させる。画像データaは、電圧によって表される。処理部130は、カメラ200から、撮像画像、さらに言えば、撮像データbを受け取る。処理部130は、投写画像cと撮像画像とを用いることによって、プロジェクター座標系J1とカメラ座標系J2とを相互に対応づける射影変換行列Hを決定する。
処理部130が有する機能の一部又は全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路で実現されてもよい。
処理部130は、制御装置の一例である。
処理部130は、制御装置の一例である。
投写部140は、投写画像cを被投写物300に投写する。投写部140は、光源141と、液晶ライトバルブ142と、投写レンズ143と、を含む。
光源141は、LED(Light Emitting Diode)である。光源141は、LEDに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。
液晶ライトバルブ142は、一対の透明基板間に液晶が存在する液晶パネルによって構成される。液晶ライトバルブ142は、図5に示されるように矩形の画素領域142aを有する。画素領域142aは、マトリクス状に位置する複数の画素142pを含む。
液晶ライトバルブ142には、プロジェクター座標系J1が適用される。プロジェクター座標系J1は、x軸とy軸とによって定められる。
x軸とy軸は、液晶ライトバルブ142の向きに応じて決定される。x軸は、液晶ライトバルブ142の水平方向と平行、すなわち、液晶ライトバルブ142の横方向と平行である。y軸は、x軸と直交する。y軸は、液晶ライトバルブ142の垂直方向と平行、すなわち、液晶ライトバルブ142の縦方向と平行である。
液晶ライトバルブ142では、画像データaを表す電圧が、画素142pごとに液晶に印加される。画素142pは、画像データaに基づく光透過率に設定される。
図4において、光源141から出射された光は、液晶ライトバルブ142の画素領域142aによって変調される。液晶ライトバルブ142は、光変調装置の一例である。液晶ライトバルブ142によって変調された光は、投写レンズ143に向かう。投写レンズ143は、液晶ライトバルブ142によって変調された光、すなわち投写画像cを被投写物300に投写する。
なお、少なくとも投写部140を含む構成、例えば、プロジェクター100から操作部110と記憶部120と処理部130とが省略された構成は、プロジェクターとして機能する。このため、投写部140は、プロジェクターとも称され得る。
カメラ200は、プロジェクター100とは別の構成である。カメラ200は、プロジェクター100に組み込まれてもよい。カメラ200は、撮像レンズ210と、イメージセンサー220と、を含む。
撮像レンズ210は、被投写物300上の投写画像cを含む光学像をイメージセンサー220に結像する。投写画像cを含む光学像は、撮像画像である。
イメージセンサー220は、CCD(Charge Coupled Device)イメージセンサーである。イメージセンサー220は、CCDイメージセンサーに限らず、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサーでもよい。イメージセンサー220は、撮像レンズ210によって結像される光学像に基づいて、撮像画像を示す撮像データbを生成する。イメージセンサー220は、図6に示されるように、矩形の撮像領域220aを有する。撮像領域220aは、マトリクス状に位置する複数の受光用のセル220pを含む。
イメージセンサー220には、カメラ座標系J2が適用される。カメラ座標系J2は、u軸とv軸とによって定められる。
u軸とv軸は、イメージセンサー220の向きに応じて決定される。u軸は、イメージセンサー220の水平方向と平行、すなわち、イメージセンサー220の横方向と平行である。v軸は、u軸と直交する。v軸は、イメージセンサー220の垂直方向と平行、すなわち、イメージセンサー220の縦方向と平行である。
A4:処理部130の一例
図4において、処理部130は、プログラムPを実行することによって、投写制御部131、受取部132、撮像制御部133、決定部134および動作制御部135として機能する。なお、動作制御部135は、省略されてもよい。
図4において、処理部130は、プログラムPを実行することによって、投写制御部131、受取部132、撮像制御部133、決定部134および動作制御部135として機能する。なお、動作制御部135は、省略されてもよい。
投写制御部131は、投写部140を制御する。投写制御部131は、被投写物300に対して投写画像cを投写部140に投写させる。投写制御部131は、投写画像cを示す画像データaを投写部140に提供することによって、被投写物300に対して投写画像cを投写部140に投写させる。例えば、投写制御部131は、第1投写画像c1を示す画像データa1を投写部140に提供することによって、被投写物300に対して第1投写画像c1を投写部140に投写させる。また、投写制御部131は、第2投写画像c2を示す画像データa2を投写部140に提供することによって、被投写物300に対して第2投写画像c2を投写部140に投写させる。
受取部132は、操作部110から種々の指示を受け取る。例えば、受取部132は、投写部140が被投写物300へ第1投写画像c1を投写する状況において、ドットd1~d4の位置関係を変更する変更指示e1を受け取る。例えば、変更指示e1は、第1投写画像c1におけるドットd1~d4の位置関係を第1の位置関係から第2の位置関係に変更する指示である。
投写部140が被投写物300へ第1投写画像c1を投写する状況において受取部132が変更指示e1を受け取ると、投写制御部131は、変更指示e1に応じて、第1投写画像c1に代えて被投写物300へ第2投写画像c2を投写部140に投写させる。投写部140が被投写物300へ第2投写画像c2を投写する状況において受取部132が変更指示e1を受け取ると、投写制御部131は、変更指示e1に応じて、第2投写画像c2に代えて被投写物300へ第1投写画像c1を投写部140に投写させる。
撮像制御部133は、カメラ200を制御する。撮像制御部133は、被投写物300に投写された投写画像cをカメラ200に撮像させることによってカメラ200に撮像画像を生成させる。例えば、撮像制御部133は、被投写物300において第2投写画像c2が投写される領域を含む領域をカメラ200に撮像させることによって、カメラ200に撮像画像f1を生成させる。撮像画像f1は、第1撮像画像の一例である。図7は、撮像画像f1の一例を示す図である。図7に示される撮像画像f1は、ドットd1~d4のいずれも、立体物500には投写されずに表示面400に投写される状態を示す。
図4において、決定部134は、第2投写画像c2におけるドットd1~d4の座標と、撮像画像f1におけるドットd1~d4の座標と、に基づいて、射影変換行列Hを決定する。
動作制御部135は、射影変換行列Hを用いることによって、プロジェクター100の動作を制御する。例えば、撮像画像が、表示面400を指示する指等の指示体を示す場合、動作制御部135は、射影変換行列Hを用いることによって、カメラ座標系J2における指示体の座標を、プロジェクター座標系J1における指示体の座標に変換する。続いて、動作制御部135は、プロジェクター座標系J1における指示体の座標に線等の絵を有する画像を示す画像データを生成する。投写制御部131は、動作制御部135が生成した画像データを投写部140に提供することによって、プロジェクター座標系J1における指示体の座標に線等の絵を有する画像を、投写部140に投写させる。
A5:射影変換行列H
射影変換行列Hは、8つの係数に基づいて特定される。このため、決定部134は、8つの係数を特定することによって、射影変換行列Hを決定する。以下、この点について説明する。
射影変換行列Hは、8つの係数に基づいて特定される。このため、決定部134は、8つの係数を特定することによって、射影変換行列Hを決定する。以下、この点について説明する。
プロジェクター座標系J1によって表される平面上の座標(x、y)と、当該座標(x,y)をカメラ座標系J2によって表される平面上に射影変換した座標(u、v)とは、以下の式1および式2で示される関係を有する。
式1と式2には、α0、α1、α2、β0、β1、β2、γ0、γ1およびγ2の9つの係数が存在する。しかしながら、式1と式2のいずれも分数であるため、9つの係数のうち1つの係数を任意の値に決定できる。このため、独立した未知の係数の数は8つとなる。したがって、射影変換行列Hは、独立した未知の8つの係数に基づいて特定可能である。
決定部134は、プロジェクター座標系J1におけるドットd1~d4の座標と、カメラ座標系J2におけるドットd1~d4の座標とを、式1および式2に代入することによって、8元連立方程式を生成する。決定部134は、当該8元連立方程式を解くことによって、独立した未知の8つの係数を決定する。決定部134は、決定した8つの係数に基づいて、プロジェクター座標系J1の座標(x、y)をカメラ座標系J2の座標(u、v)に射影変換する射影変換行列Hを決定する。
決定部134は、カメラ座標系J2の座標(u、v)をプロジェクター座標系J1の座標(x、y)に射影変換する射影変換行列H-1を、射影変換行列Hに基づいて決定する。動作制御部135は、射影変換行列Hに基づいて決定された射影変換行列H-1を用いることによって、カメラ座標系J2における指示体の座標を、プロジェクター座標系J1における指示体の座標に変換する。
決定部134は、射影変換行列Hを決定する前に射影変換行列H-1を決定してもよい。この場合、決定部134は、射影変換行列H-1に基づいて射影変換行列Hを決定する。
射影変換行列Hおよび射影変換行列H-1のいずれも、プロジェクター座標系J1とカメラ座標系J2とを相互に対応づける射影変換行列である。
射影変換行列Hを定めるために使用される式1および式2は、プロジェクター座標系J1によって表される平面上の座標(x、y)と、当該座標(x,y)をカメラ座標系J2によって表される平面上に射影変換した座標(u、v)と、の関係を示す。このため、決定部134が式1と式2を用いて射影変換行列Hを決定する場合、プロジェクター座標系J1におけるドットd1~d4の座標が同一平面上に存在し、かつ、カメラ座標系J2におけるドットd1~d4の座標が同一平面上に存在する必要がある。
プロジェクター座標系J1におけるドットd1~d4の座標は、投写画像c上に存在するため、同一平面上に存在する。カメラ座標系J2におけるドットd1~d4の座標は、投写画像cにおける4つのドットd1~d4のいずれもが平面状の表示面400に投写される場合、同一平面上に存在する。投写画像cにおける4つのドットd1~d4の一部が平面状の表示面400に投写され、投写画像cにおける4つのドットd1~d4の残りが立体物500に投写される場合、カメラ座標系J2におけるドットd1~d4の座標は、同一平面上に存在しない。このため、投写画像cにおける4つのドットd1~d4の一部が平面状の表示面400に投写され、かつ、投写画像cにおける4つのドットd1~d4の残りが立体物500に投写される場合、有効な射影変換行列Hの決定は困難となる。
本実施形態では、第1投写画像c1における4つのドットd1~d4の一部が平面状の表示面400に投写され、かつ、第1投写画像c1における4つのドットd1~d4の残りが立体物500に投写される場合、変更指示e1に応じて、第1投写画像c1を、第1投写画像c1とは4つのドットd1~d4の位置関係が異なる第2投写画像c2に変更できる。このため、第1投写画像c1を切換え不能な構成に比べて、投写画像cにおける4つのドットd1~d4のいずれもが平面状の表示面400に投写される状況を生じやすくできる。
A6:動作の説明
図8は、決定システム1の動作を説明するための図である。ユーザーは、操作部110を操作することによって、操作部110に開始指示を入力する。操作部110は、開始指示を受けると、開始指示を処理部130に提供する。
図8は、決定システム1の動作を説明するための図である。ユーザーは、操作部110を操作することによって、操作部110に開始指示を入力する。操作部110は、開始指示を受けると、開始指示を処理部130に提供する。
処理部130が開始指示を受けると、ステップS101において投写制御部131は、被投写物300に対して第1投写画像c1を投写部140に投写させる。
ステップS101では、投写制御部131は、第1投写画像c1を示す画像データa1を投写部140に提供する。画像データa1が、記憶部120に記憶されている場合、投写制御部131は、記憶部120から画像データa1を読み取る。投写制御部131は、記憶部120から読み取った画像データa1を、投写部140に提供する。投写制御部131は、プログラムPに基づいて画像データa1を生成してもよい。この場合、投写制御部131は、生成した画像データa1を、投写部140に提供する。投写部140は、画像データa1を受け取ると、画像データa1が示す第1投写画像c1を被投写物300に投写する。
ここで、図9に示されるように、第1投写画像c1によって示される4つのドットd1~d4のうちドットd3のみが、表示面400ではなく、立体物500に投写される場合、決定部134は、有効な射影変換行列Hを決定できない。
そこで、ユーザーは、操作部110を操作することによって、ドットd1~d4の位置関係を変更する変更指示e1を操作部110に入力する。変更指示e1は、例えば、立体物500に投写されている第1投写画像c1において4つのドットd1~d4のうち少なくとも1つのドットの位置を変更する指示である。第1投写画像c1において4つのドットd1~d4のうち少なくとも1つのドットは、例えば、ドットd3である。
操作部110が図10に示されるように選択ボタン111と方向ボタン112とを有する場合における変更指示e1の入力例を説明する。
この場合、変更指示e1は、ドットを選択する選択指示と、ドットの移動方向を指定する方向指示と、ドットの移動距離を指定する距離指示と、を含む。選択ボタン111は、選択指示の入力に用いられる。方向ボタン112は、方向指示の入力と、距離指示の入力と、に用いられる。
選択ボタン111は、ドットd1に対応する第1選択ボタン111aと、ドットd2に対応する第2選択ボタン111bと、ドットd3に対応する第3選択ボタン111cと、ドットd4に対応する第4選択ボタン111dと、を含む。
第1選択ボタン111aの押下は、ドットd1を選択する選択指示を入力するための操作である。押下は、操作の一例である。第2選択ボタン111bの押下は、ドットd2を選択する選択指示を入力するための操作である。第3選択ボタン111cの押下は、ドットd3を選択する選択指示を入力するための操作である。第4選択ボタン111dの押下は、ドットd4を選択する選択指示を入力するための操作である。
方向ボタン112は、上方向に対応する上方向ボタン112aと、下方向に対応する下方向ボタン112bと、右方向に対応する右方向ボタン112cと、左方向に対応する左方向ボタン112dと、を含む。
上方向ボタン112aの押下は、ドットの上方向への移動を指定する方向指示を入力するための操作である。下方向ボタン112bの押下は、ドットの下方向への移動を指定する方向指示を入力するための操作である。右方向ボタン112cの押下は、ドットの右方向への移動を指定する方向指示を入力するための操作である。左方向ボタン112dの押下は、ドットの左方向への移動を指定する方向指示を入力するための操作である。
上方向ボタン112a、下方向ボタン112b、右方向ボタン112cおよび左方向ボタン112dの各々の1回の押下操作は、液晶ライトバルブ142における5画素分の移動距離を指定する距離指示を入力するための操作である。5画素は、所定数の画素の一例である。所定数の画素は、5画素に限らず、6画素以上でもよいし、1画素以上5画素未満でもよい。
図9に示されるように立体物500に投写されているドットd3の位置を、図7に示されるように表示面400において立体物500の右に位置する右領域に移動するために、ユーザーは、まず、第3選択ボタン111cの押下によって、ドットd3を選択する選択指示を操作部110に入力する。
続いて、ユーザーは、右方向ボタン112cの1回以上の押下によって、ドットの右方向への移動を指定する方向指示と、ドットの右領域までの移動距離を指定する距離指示と、を操作部110に入力する。
操作部110は、ユーザーから、選択指示と方向指示と距離指示とを含む変更指示e1を受け取ると、変更指示e1を処理部130に提供する。
続いて、ステップS102において処理部130の受取部132は、操作部110から変更指示e1を受け取る。
受取部132が変更指示e1を受け取ると、ステップS103において、投写制御部131は、第1投写画像c1における4つのドットd1~d4の位置関係を変更指示e1に応じて変更することによって、第2投写画像c2における4つのドットd1~d4の位置関係を決定する。
例えば、投写制御部131は、液晶ライトバルブ142上の第1投写画像c1におけるドットd1~d4の各座標のうちドットd3の座標のみを、プロジェクター座標系J1において右方向、すなわちx軸と平行な方向のうちx座標の値が増加する方向に、距離指示が示す距離だけ移動する。投写制御部131は、ドットd3の座標の移動によって、第2投写画像c2における4つのドットd1~d4の位置関係を決定する。
続いて、ステップS104において投写制御部131は、ステップS103で決定された位置関係を有する4つのドットd1~d4を示す第2投写画像c2を、被投写物300に対して、投写部140に投写させる。
ステップS104では、投写制御部131は、まず、第2投写画像c2を示す画像データa2を生成する。続いて、投写制御部131は、画像データa2を投写部140に提供する。投写部140は、画像データa2を受け取ると、画像データa2が示す第2投写画像c2を被投写物300に投写する。
ユーザーは、第2投写画像c2における4つのドットd1~d4のいずれもが表示面400に投写されていることを確認すると、操作部110を操作することによって、操作部110に撮像指示を入力する。操作部110は、撮像指示を受けると、撮像指示を処理部130に提供する。
処理部130が撮像指示を受けると、ステップS105において撮像制御部133は、被投写物300において第2投写画像c2が投写される領域を含む領域をカメラ200に撮像させることによって、カメラ200に撮像画像f1を生成させる。カメラ200は、撮像画像f1を示す撮像データbを、処理部130に提供する。
続いて、ステップS106において決定部134は、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標と、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標と、を特定する。
例えば、決定部134は、第2投写画像c2を示す画像データa2を解析することによって、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標を特定する。決定部134は、撮像画像f1を示す撮像データbを解析することによって、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標を特定する。
続いて、ステップS107において決定部134は、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標と、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標と、に基づいて、射影変換行列Hを決定する。
例えば、決定部134は、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標と、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標とを、上述の式1および式2に代入することによって、8元連立方程式を生成する。決定部134は、当該8元連立方程式を解くことによって、独立した未知の8つの係数を決定する。決定部134は、決定した8つの係数に基づいて、プロジェクター座標系J1の座標をカメラ座標系J2の座標に射影変換する射影変換行列Hを決定する。
決定部134は、上述の式1および式2を用いることによって、射影変換行列Hの代わりに、射影変換行列H-1を決定してもよい。
なお、例えば、第1投写画像c1におけるドットd1~d4の全てが表示面400に投写される状況においてユーザーが操作部110に撮像指示を入力する場合、以下の動作が実行される。ステップS102~S104が省略される。ステップS106において決定部134は、第1投写画像c1に示されるドットd1~d4のプロジェクター座標系J1における座標と、第1投写画像c1を示す撮像画像に示されるドットd1~d4のカメラ座標系J2における座標と、を特定する。ステップS107において決定部134は、第1投写画像c1に示されるドットd1~d4のプロジェクター座標系J1における座標と、第1投写画像c1を示す撮像画像に示されるドットd1~d4のカメラ座標系J2における座標と、に基づいて、射影変換行列Hを決定する。
A7:第1実施形態のまとめ
投写制御部131は、変更指示e1に応じて、被投写物300に対して、第1投写画像c1に代えて第2投写画像c2を投写部140に投写させる。第2投写画像c2におけるドットd1~d4の位置関係は、第1投写画像c1におけるドットd1~d4の位置関係と異なる。このため、第1投写画像c1におけるドットd1~d4のいずれかが表示面400に投写されなくても、第2投写画像c2におけるドットd1~d4の全てが表示面400に投写される可能性が生じる。決定部134は、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標と、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標と、に基づいて、射影変換行列Hを決定する。したがって、第1投写画像c1におけるドットd1~d4のいずれかが表示面400に投写されなくても、決定部134は、有効な射影変換行列Hを決定できる。
投写制御部131は、変更指示e1に応じて、被投写物300に対して、第1投写画像c1に代えて第2投写画像c2を投写部140に投写させる。第2投写画像c2におけるドットd1~d4の位置関係は、第1投写画像c1におけるドットd1~d4の位置関係と異なる。このため、第1投写画像c1におけるドットd1~d4のいずれかが表示面400に投写されなくても、第2投写画像c2におけるドットd1~d4の全てが表示面400に投写される可能性が生じる。決定部134は、第2投写画像c2に示されるドットd1~d4のプロジェクター座標系J1における座標と、撮像画像f1に示されるドットd1~d4のカメラ座標系J2における座標と、に基づいて、射影変換行列Hを決定する。したがって、第1投写画像c1におけるドットd1~d4のいずれかが表示面400に投写されなくても、決定部134は、有効な射影変換行列Hを決定できる。
変更指示e1として、第1投写画像c1において4つのドットd1~d4のうち少なくとも1つのドットの位置を変更する指示が用いられる場合、ユーザーは、同一平面にないドットに位置を他のドットが存在する同一平面に変更するという直感的に認識しやすい指示を行うことができる。
決定部134は、第1投写画像c1における4つのドットd1~d4の位置関係を、変更指示e1に応じて変更することによって、第2投写画像c2における4つのドットd1~d4の位置関係を決定する。このため、第2投写画像c2における4つのドットd1~d4の位置関係を、ユーザーが意図する位置関係に決定できる。
受取部132は、ユーザーによって指示が入力される操作部110を介して変更指示e1を受け取る。このため、ユーザーは、操作部110に変更指示e1を入力することによって、4つのドットd1~d4の位置関係を変更できる。
B:変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
B1:第1変形例
第1実施形態において、操作部110は、選択ボタン111と方向ボタン112とを有する構成に限らず適宜変更可能である。
第1実施形態において、操作部110は、選択ボタン111と方向ボタン112とを有する構成に限らず適宜変更可能である。
操作部110は、選択ボタン111の代わりに、選択ボタン111と同様の機能を有する選択スイッチを有してもよい。操作部110は、方向ボタン112の代わりに、方向ボタン112と同様の機能を有する方向スイッチを有してもよい。
操作部110は、選択ボタン111および方向ボタン112をGUI(Graphical User Interface)によって実現するタッチパネルを含んでもよい。この場合、物理的な選択ボタン111および物理的な方向ボタン112は省略されてもよい。
操作部110は、選択ボタン111および方向ボタン112のいずれも示さないタッチパネルを含んでもよい。この場合、操作部110のタッチパネルは、第1投写画像c1を表示する。ユーザーは、タッチパネルが表示する第1投写画像c1において第2投写画像c2に表示させるべきドットd1~d4の位置をタッチすることによって、第2投写画像c2に表示させるべきドットd1~d4の位置を示す変更指示e1を、操作部110に入力する。操作部110は、当該変更指示e1を、処理部130に提供する。受取部132は、当該変更指示e1を、操作部110から受け取る。
操作部110が、第1投写画像c1を表示するタッチパネルを含む場合、ユーザーは、タッチパネルへのフリック操作によって、タッチパネル上の第1投写画像c1のドットを、第2投写画像c2において表示させるべき位置までドラッグし当該位置でドットをドロップしてもよい。ユーザーによるフリック操作によって、ドラッグされたドットの元の位置をドロップされた位置に変更する変更指示e1が、操作部110に入力される。操作部110は、当該変更指示e1を、処理部130に提供する。受取部132は、当該変更指示e1を、操作部110から受け取る。
操作部110は、マイクと、音声認識部と、を含んでもよい。音声認識部は、例えば、音声認識機能を有するプロセッサー、または、音声認識機能を有する専用回路である。
この場合、ユーザーは、まず、ドットd1~d4の中から変更ドットを選択する。続いて、ユーザーは、変更ドットの名称を音声でマイクに入力する。ドットd1~d4の各々の名称は、例えば、第1投写画像c1に示されているとする。
続いて、ユーザーは、上下左右のいずれかを変更方向として音声でマイクに入力する。上下左右のいずれかの一回の発話は、液晶ライトバルブ142における特定数の画素分の移動距離を意味する。特定数の画素は、例えば、5画素である。特定数の画素は、5画素に限らず、6画素以上でもよいし、5画素未満でもよい。音声認識部は、マイクに入力された音声を文字列に変換する。
ユーザーによる音声入力によって、変更ドットの位置を変更方向に上下左右のいずれかの発話の数に応じた画素数だけ移動させる変更指示e1が、操作部110に入力される。操作部110は、当該変更指示e1を、処理部130に提供する。受取部132は、当該変更指示e1を、操作部110から受け取る。
操作部110は、カメラと、ジェスチャー認識部と、を含んでもよい。ジェスチャー認識部は、例えば、ジェスチャー認識機能を有するプロセッサー、または、ジェスチャー認識を有する専用回路である。
この場合、ユーザーは、まず、ドットd1~d4の中から変更ドットを選択する。続いて、ユーザーは、変更ドットに対応するジェスチャーを、操作部110のカメラに向かって実行する。ドットd1~d4の各々に1対1で対応するジェスチャーは、予め設定されているとする。
操作部110のカメラは、変更ドットに対応するジェスチャーを撮像することによって、当該ジェスチャーを示す第1ジェスチャー撮像データを生成する。
続いて、ユーザーは、上下左右のいずれかを変更方向として選択する。続いて、ユーザーは、変更方向に対応するジェスチャーを、操作部110のカメラに向かって実行する。上下左右の各々に1対1で対応するジェスチャーは、予め設定されているとする。変更方向に対応する1回のジェスチャーは、液晶ライトバルブ142における既定数の画素分の移動距離を意味する。既定数の画素は、例えば、5画素である。既定数の画素は、5画素に限らず、6画素以上でもよいし、5画素未満でもよい。
操作部110のカメラは、変更方向に対応するジェスチャーを撮像することによって、当該ジェスチャーを示す第2ジェスチャー撮像データを生成する。
ジェスチャー認識部は、第1ジェスチャー撮像データに基づいて、第1ジェスチャー撮像データが示すジェスチャーに対応する変更ドットを特定する。ジェスチャー認識部は、第2ジェスチャー撮像データに基づいて、第2ジェスチャー撮像データが示すジェスチャーに対応する変更方向と、移動距離と、を特定する。
このため、ユーザーによるジェスチャー入力によって、変更ドットの位置を変更方向に、変更方向に対応するジェスチャーの数に応じた画素数だけ移動させる変更指示e1が、操作部110に入力される。操作部110は、当該変更指示e1を、処理部130に提供する。受取部132は、当該変更指示e1を、操作部110から受け取る。
第1変形例によれば、受取部132は、種々の変更指示e1を受け取ることができる。
B2:第2変形例
第1実施形態および第1変形例において、変更指示e1は、第1投写画像c1におけるドットd1~d4の位置関係とは異なる位置関係を有するドットd1~d4を示す複数の候補画像の中から、1つの候補画像を第2投写画像c2として選択する指示でもよい。
第1実施形態および第1変形例において、変更指示e1は、第1投写画像c1におけるドットd1~d4の位置関係とは異なる位置関係を有するドットd1~d4を示す複数の候補画像の中から、1つの候補画像を第2投写画像c2として選択する指示でもよい。
第1投写画像c1におけるドットの数は4以上であればよく、複数の候補画像の各々が示すドットの数は、第1投写画像c1におけるドットの数と同数である。
第2変形例では、1つの候補画像を第2投写画像c2として選択する変更指示e1が、操作ボタン、タッチパネル、マイクまたはカメラ等の操作部110の構成要素に入力される。操作部110は、当該変更指示e1を、処理部130に提供する。受取部132は、当該変更指示e1を、操作部110から受け取る。
受取部132が、1つの候補画像を第2投写画像c2として選択する入力指示を受け取ると、投写制御部131は、第2投写画像c2として選択された1つの候補画像を示す画像データを、第2投写画像c2を示す画像データa2として投写部140に提供する。
第2投写画像c2として選択された1つの候補画像を示す画像データが、記憶部120に記憶されている場合、投写制御部131は、記憶部120から当該画像データを読み取る。投写制御部131は、記憶部120から読み取った画像データを、投写部140に提供する。投写制御部131は、第2投写画像c2として選択された1つの候補画像を示す画像データを、プログラムPに基づいて生成してもよい。この場合、投写制御部131は、生成した画像データを、投写部140に提供する。
第2変形例によれば、ユーザーは、ドットの選択およびドットの移動を行うことなく、第1投写画像c1を第2投写画像c2に変更できる。このため、ユーザーの操作負担を減らすことができる。
B3:第3変形例
第1実施形態および第1変形例において、決定システム1は、ドットd1~d4が同一平面上に投写されることをユーザーに促してもよい。
第1実施形態および第1変形例において、決定システム1は、ドットd1~d4が同一平面上に投写されることをユーザーに促してもよい。
例えば、投写制御部131は、ドットd1~d4が同一平面上に投写されることをユーザーに促すガイド画像を、OSD(On Screen Display)画像として、第1投写画像c1に重畳する。ガイド画像は、例えば、「ドットが同一平面に位置するように、ドット位置を変更してください」という表示である。ガイド画像は、上述の表示に限らず適宜変更可能である。ガイド画像は、少なくとも4つの特徴点が同一平面上に投写されることを促す画像の一例である。
図11に示すようにプロジェクター100aがスピーカー150を有する場合、動作制御部135は、第1投写画像c1が投写されている状況において、ドットd1~d4が同一平面上に投写されることをユーザーに促す音声ガイドを、スピーカー150から出力させてもよい。音声ガイドは、例えば、「ドットが同一平面に位置するように、ドット位置を変更してください」という音声である。音声ガイドは、上述の音声に限らず適宜変更可能である。音声ガイドは、少なくとも4つの特徴点が同一平面上に投写されることを促す音声の一例である。
第3変形例によれば、ドットd1~d4が同一平面上に投写されることをユーザーに実行させやすくなる。
B4:第4変形例
第1実施形態および第1~第3変形例において、決定システム1は、図12に示されるように、プロジェクター100bと、カメラ200と、制御装置600と、を含んでもよい。
第1実施形態および第1~第3変形例において、決定システム1は、図12に示されるように、プロジェクター100bと、カメラ200と、制御装置600と、を含んでもよい。
プロジェクター100bは、操作部110と記憶部120と処理部130とを含まずに、投写部140を含む。制御装置600は、例えば、PC(Personal Computer)、タブレット、またはスマートフォンである。制御装置600は、操作部110と記憶部120と処理部130とを含む。カメラ200は、プロジェクター100bおよび制御装置600のいずれとも異なる物体でもよいし、プロジェクター100bおよび制御装置600のいずれか一方に搭載されてもよい。制御装置600は、プロジェクター100bに画像データaを提供するため、画像供給装置とも称され得る。
第4変形例によれば、第1実施形態および第1~第3変形例に比べて、プロジェクターにおける処理の負荷を低減できる。
B5:第5変形例
第1実施形態および第1~第4変形例において、光変調装置の一例として液晶ライトバルブ142が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。また、液晶パネルおよびDMD以外にも、光源141が発した光を変調可能な構成は、光変調装置として採用できる。
第1実施形態および第1~第4変形例において、光変調装置の一例として液晶ライトバルブ142が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。また、液晶パネルおよびDMD以外にも、光源141が発した光を変調可能な構成は、光変調装置として採用できる。
1…決定システム、100,100a,100b…プロジェクター、110…操作部、120…記憶部、130…処理部、131…投写制御部、132…受取部、133…撮像制御部、134…決定部、135…動作制御部、140…投写部、141…光源、142…液晶ライトバルブ、143…投写レンズ、150…スピーカー、200…カメラ、210…撮像レンズ、220…イメージセンサー、300…被投写物、400…表示面、500…立体物、600…制御装置。
Claims (10)
- 射影変換行列の決定方法であって、
第1領域へ、4つの特徴点を示す第1投写画像をプロジェクターが投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取り、
前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記プロジェクターに投写させ、
前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域をカメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記プロジェクターが投写する投写画像における座標を表すプロジェクター座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する、
ことを含み、
前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる、
決定方法。 - 前記変更指示は、前記第1投写画像において前記4つの特徴点のうち1つの特徴点の位置を変更する指示である、
請求項1に記載の決定方法。 - 前記第1投写画像における前記4つの特徴点の位置関係を第1の位置関係から第2の位置関係に変更する前記変更指示を受け付け、前記第2投写画像における前記4つの特徴点の位置関係を前記第2の位置関係とする、
ことをさらに含む請求項2に記載の決定方法。 - 前記変更指示は、前記第1投写画像における前記4つの特徴点の位置関係とは異なる位置関係を有する前記4つの特徴点を示す複数の候補画像の中から、1つの候補画像を前記第2投写画像として選択する指示である、
請求項1に記載の決定方法。 - ユーザーによって指示が入力される指示入力部を介して前記変更指示を受け取る、
請求項1から4のいずれか1項に記載の決定方法。 - 前記4つの特徴点が同一平面上に投写されることを促す、
ことをさらに含む請求項1から5のいずれか1項に記載の決定方法。 - 前記第1投写画像は、さらに、前記4つの特徴点が同一平面上に投写されることを促す画像を示す、
請求項6に記載の決定方法。 - 前記4つの特徴点が同一平面上に投写されることを音声で促す、
請求項6に記載の決定方法。 - 画像を投写する投写部と、
第1領域へ、4つの特徴点を示す第1投写画像を前記投写部が投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取る受取部と、
前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記投写部に投写させる投写制御部と、
前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域をカメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記投写部が投写する投写画像における座標を表す投写座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する決定部と、
を含み、
前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる、
プロジェクター。 - 画像を投写するプロジェクターと、撮像を実行するカメラと、前記プロジェクターと前記カメラとを制御する制御装置と、を含み、
前記制御装置は、
第1領域へ、4つの特徴点を示す第1投写画像を前記プロジェクターが投写する状況において、前記4つの特徴点の位置関係を変更する変更指示を受け取る受取部と、
前記変更指示に応じて、前記第1領域へ、前記4つの特徴点を示す第2投写画像を前記プロジェクターに投写させる投写制御部と、
前記第2投写画像における前記4つの特徴点の座標と、前記第2投写画像が投写される前記第1領域を前記カメラが撮影することによって生成される第1撮像画像における前記4つの特徴点の座標と、に基づいて、前記プロジェクターが投写する投写画像における座標を表すプロジェクター座標系と、前記カメラが生成する撮像画像における座標を表すカメラ座標系と、を相互に対応づける射影変換行列を決定する決定部と、を含み、
前記第2投写画像における前記4つの特徴点の位置関係は、前記第1投写画像における前記4つの特徴点の位置関係と異なる、
決定システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020183521A JP2022073496A (ja) | 2020-11-02 | 2020-11-02 | 射影変換行列の決定方法、プロジェクターおよび決定システム |
US17/516,782 US11698575B2 (en) | 2020-11-02 | 2021-11-02 | Projective transformation matrix determination method, projector, and determination system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020183521A JP2022073496A (ja) | 2020-11-02 | 2020-11-02 | 射影変換行列の決定方法、プロジェクターおよび決定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022073496A true JP2022073496A (ja) | 2022-05-17 |
JP2022073496A5 JP2022073496A5 (ja) | 2023-09-01 |
Family
ID=81381076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020183521A Pending JP2022073496A (ja) | 2020-11-02 | 2020-11-02 | 射影変換行列の決定方法、プロジェクターおよび決定システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11698575B2 (ja) |
JP (1) | JP2022073496A (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5261287B2 (ja) | 2009-05-22 | 2013-08-14 | パナソニック株式会社 | 照明システム、空間演出システム、投影画像生成方法 |
JP2010283674A (ja) | 2009-06-05 | 2010-12-16 | Panasonic Electric Works Co Ltd | 投影システム及び投影方法 |
JP5592834B2 (ja) | 2011-05-26 | 2014-09-17 | 日本電信電話株式会社 | 光学投影制御装置、光学投影制御方法、及びプログラム |
JP6334861B2 (ja) | 2013-07-16 | 2018-05-30 | 株式会社キーエンス | 外観検査装置、外観検査方法及び外観検査プログラム並びにコンピュータで読み取り可能な記録媒体 |
JP6253368B2 (ja) | 2013-11-25 | 2017-12-27 | キヤノン株式会社 | 三次元形状計測装置およびその制御方法 |
JP6510213B2 (ja) | 2014-02-18 | 2019-05-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 投影システム、半導体集積回路、および画像補正方法 |
JP2015206753A (ja) | 2014-04-23 | 2015-11-19 | 株式会社ニコン | マーク投影装置、マーク投影方法、形状測定装置、形状測定システム、形状測定方法、構造物製造システム、構造物製造方法、及び形状測定プログラム |
JP2016217833A (ja) | 2015-05-19 | 2016-12-22 | 株式会社リコー | 画像処理システム及び画像処理方法 |
JP6867766B2 (ja) | 2016-09-05 | 2021-05-12 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
JP2018189443A (ja) | 2017-04-28 | 2018-11-29 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
JP7088530B2 (ja) | 2018-02-08 | 2022-06-21 | 元治 藤垣 | 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 |
JP6642610B2 (ja) | 2018-03-22 | 2020-02-05 | カシオ計算機株式会社 | 投影制御装置、投影装置、投影制御方法及びプログラム |
JP6787375B2 (ja) * | 2018-08-29 | 2020-11-18 | セイコーエプソン株式会社 | 表示システム、制御装置、表示システムの制御方法、およびプログラム |
-
2020
- 2020-11-02 JP JP2020183521A patent/JP2022073496A/ja active Pending
-
2021
- 2021-11-02 US US17/516,782 patent/US11698575B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11698575B2 (en) | 2023-07-11 |
US20220137494A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102423175B1 (ko) | 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법 | |
JP4838694B2 (ja) | 電子的手書入力装置 | |
US8827461B2 (en) | Image generation device, projector, and image generation method | |
CN103186293A (zh) | 显示装置、显示***以及显示装置的数据供给方法 | |
CN107272923A (zh) | 显示装置、投影仪、显示***以及设备的切换方法 | |
KR101691880B1 (ko) | 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법 | |
WO2016147629A1 (ja) | プロジェクターおよび表示制御方法 | |
JP7163943B2 (ja) | 情報生成方法、情報生成システム、及びプログラム | |
JP6349811B2 (ja) | 映像信号出力装置、映像信号出力方法、及びプログラム | |
JP2022114697A (ja) | 表示方法および表示システム | |
JP6451225B2 (ja) | 表示装置、プロジェクターおよび表示制御方法 | |
JP2020135096A (ja) | 表示方法、表示装置、及び、インタラクティブプロジェクター | |
JP2015139087A (ja) | 投影装置 | |
JP2022073496A (ja) | 射影変換行列の決定方法、プロジェクターおよび決定システム | |
JP6269227B2 (ja) | 表示装置、プロジェクター、および表示制御方法 | |
JP5550111B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP7347205B2 (ja) | 投写システムの制御方法、投写システム及び制御プログラム | |
JP2021005168A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
JP7302640B2 (ja) | 表示装置の動作方法および表示装置 | |
JP5061762B2 (ja) | 書画カメラ装置、画像処理方法及びプログラム | |
JP6608080B1 (ja) | プロジェクタシステム | |
JP7342501B2 (ja) | 表示装置、表示方法、プログラム | |
US20230260079A1 (en) | Display method for and display apparatus | |
US10860144B2 (en) | Projector and method for controlling projector | |
JP5488584B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |