JPWO2017006779A1 - 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 - Google Patents
情報処理装置および方法、並びに、投影撮像装置および情報処理方法 Download PDFInfo
- Publication number
- JPWO2017006779A1 JPWO2017006779A1 JP2017527173A JP2017527173A JPWO2017006779A1 JP WO2017006779 A1 JPWO2017006779 A1 JP WO2017006779A1 JP 2017527173 A JP2017527173 A JP 2017527173A JP 2017527173 A JP2017527173 A JP 2017527173A JP WO2017006779 A1 JPWO2017006779 A1 JP WO2017006779A1
- Authority
- JP
- Japan
- Prior art keywords
- projection
- unit
- imaging
- posture
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 748
- 230000010365 information processing Effects 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title abstract description 122
- 238000001514 detection method Methods 0.000 claims description 182
- 230000008859 change Effects 0.000 claims description 127
- 206010034719 Personality change Diseases 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 134
- 238000012937 correction Methods 0.000 abstract description 122
- 238000005516 engineering process Methods 0.000 abstract description 26
- 230000006870 function Effects 0.000 abstract description 11
- 230000036544 posture Effects 0.000 description 194
- 230000008569 process Effects 0.000 description 98
- 238000004891 communication Methods 0.000 description 28
- 239000003086 colorant Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/20—Lamp housings
- G03B21/2006—Lamp housings characterised by the light source
- G03B21/2033—LED or laser light sources
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
- G09G2340/0471—Vertical positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
- G09G2340/0478—Horizontal positioning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
1.第1の実施の形態(投影撮像システム)
2.第2の実施の形態(対応点検出処理)
3.第3の実施の形態(投影撮像システム)
<投影撮像システム>
本技術を適用した情報処理装置の一実施の形態である制御装置や、本技術を適用した投影撮像装置の一実施の形態である投影撮像装置を適用した投影撮像システムの主な構成例を、図1に示す。図1に示される投影撮像システム100は、複数の投影撮像装置102を用いて画像を投影するシステムである。
図1において、投影面104の投影画像105−1は、投影撮像装置102−1の投影部111−1に投影された画像である。また、投影画像105−2は、投影撮像装置102−2の投影部111−2により投影された画像である。投影画像105−3は、投影撮像装置102−3の投影部111−3により投影された画像である。投影画像105−4は、投影撮像装置102−4の投影部111−4により投影された画像である。これらの投影画像105−1乃至投影画像105−4を互いに区別して説明する必要が無い場合、投影画像105と称する。
制御装置101は、各投影撮像装置102を制御して、所謂プロジェクションマッピングを行うことができる。例えば、制御装置101は、各投影撮像装置102から画像を投影させ、上述した1つの投影領域に1つの投影画像として投影されるようにすることができる。
このように投影画像を合成させる際に、各投影部111により投影される投影画像同士が違和感なく適切に合成されて1枚の投影画像(補正された投影画像107)が形成されるようにするために、制御装置101は、各投影撮像装置102が投影する各画像に対して、位置合わせ、幾何補正、画質補正(例えば輝度、色、解像度等)等の補正処理を行う。特に、複数の投影部111から投影されるオーバーラップ領域に対しては、違和感の無い画像にするためにブレンディング処理等が行われる。
これらの補正において画像をどのように補正するかは、各投影撮像装置102(投影部111)の姿勢(位置(並進成分)や方向(回転成分))や投影面104の形状等に応じて設定される。つまり、制御装置101は、各投影撮像装置102(投影部111)の姿勢や投影面104の形状を推定し、その推定結果に基づいて、各画像をどのように補正するかを設定する(どのように設定するかを示す設定情報を設定する)。
以上のようなプロジェクションマッピングを行う場合、制御装置101は、コンテンツ等の画像を投影させる前に、全ての投影撮像装置102について、投影部111と撮像部112との画素の対応関係を求め、投影撮像装置102(投影部111)の姿勢や投影面104の形状を推定し、補正情報を設定する。そして、制御装置101は、コンテンツ等の画像を投影する際に、その補正情報に従って画像の補正を行う。
以上のように、予め設定された補正情報に従って投影する画像が補正されることにより、補正された投影画像107が実現されている。したがって、画像投影中に環境が変化すると補正情報が不適切な値になり、補正された投影画像107の画質が低減してしまう可能性があった。
以上のように、複数の投影撮像装置102を用いて1つの映像を投影する際には、各投影部111の投影が投影面104において重畳している部分、すなわち、オーバーラップ領域を、撮像部112を用いてセンシングして、どのようにオーバーラップしているかを把握する必要がある。
しかしながら、この方法では画素の対応関係を取得するために、例えば図6に示されるようなパターン画像を投影する必要があり、その都度、画像投影を中断しなければならなかった。すなわち、投影画像を見る観察者による視聴を妨げなければならなかった。そこで、コンテンツ等の画像を投影しながら画素の対応関係を取得する「オンラインセンシング」という技術が考えられる。このオンラインセンシングとしては、例えば、投影画像にグレイコードなどを埋め込む方式、SIFT等の画像特徴量を利用した方式、Infrared(赤外光)等の不可視光を利用した方式等が考えられる。
そこで、図7に示される表のように、幾何補正等に用いられる補正情報の更新に関する処理として実行する処理を、変化要因に応じて選択するようにする。
図10は、本技術を適用した情報処理装置の一実施の形態である制御装置101の主な構成例を示すブロック図である。
図11に投影撮像装置102の外観の例を示す。投影撮像装置102は、上述したように投影部111と撮像部112を有しており、その筐体には、画像を投影するための投射口(レンズ機構)301や、被写体を撮像するための撮像口(レンズ機構)302等の光学デバイスが設けられている。また、投影撮像装置102は、どのような大きさの装置であってもよいが、例えば、携帯型(小型)の装置としてもよい。その場合、図11に示されるように、投影撮像装置102の筐体にバッテリ303を設けるようにしてもよい。バッテリ303を設けることにより、外部電源なしに投影撮像装置102を駆動させることができるので、その設置位置の自由度を向上させることができる。
図12は、投影撮像装置102の主な構成例を示すブロック図である。
図13は、投影部111の主な構成例を示すブロック図である。図13に示されるように、投影部111は、ビデオプロセッサ351、レーザドライバ352、レーザ出力部353−1、レーザ出力部353−2、レーザ出力部353−3、ミラー354−1、ミラー354−2、ミラー354−3、MEMS(Micro Electro Mechanical Systems)ドライバ355、および、MEMSミラー356を有する。
次に、図15のフローチャートを参照して、制御装置101の制御部201により実行される補正情報更新処理の流れの例を説明する。
次に、図16のフローチャートを参照して、図15のステップS104において実行される対応点検出処理の流れの例を説明する。
次に、図17のフローチャートを参照して、図15のステップS106において実行される投影面形状推定処理の流れの例を説明する。
次に、図18のフローチャートを参照して、図15のステップS108において実行される対応点検出処理の流れの例を説明する。
次に、図19のフローチャートを参照して、図15のステップS109において実行される投影面形状推定処理の流れの例を説明する。
<対応点検出処理>
なお、以上においては、投影撮像装置102間で投影部111と撮像部112との画素の対応点を求める際に、他の投影撮像装置102の投影部111からパターン画像を投影させ、処理対象の投影撮像装置102の撮像部112によりその投影画像を撮像させるように説明したが、この画像の投影と撮像とは互いに逆であってもよい。すなわち、処理対象の投影撮像装置102の投影部111からパターン画像を投影させ、他の投影撮像装置102の撮像部112によりその投影画像を撮像させるようにしてもよい。つまり、他の投影撮像装置102の撮像部112の画素と、処理対象の投影撮像装置102の投影部111の画素との対応点を検出するようにしてもよい。処理対象の投影撮像装置102の姿勢は、この対応点からも、第1の実施の形態の場合と同様に推定することができる。
<投影撮像システムの構成例>
なお、本技術を適用した投影撮像装置や投影撮像システムの構成例は、上述した例に限定されない。例えば、図21のAに示される投影撮像システム400のように、制御装置101を省略するようにしてもよい。つまり、幾何補正等に用いられる補正情報の更新に関する処理は、制御装置101以外の装置で行われるようにしてもよい。例えば、投影撮像装置102が行うようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
(1) 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える情報処理装置。
(2) 前記対応点検出部は、姿勢が変化していない前記投影撮像装置の前記投影部の画素と、姿勢が変化した前記投影撮像装置の前記撮像部の画素との対応点を検出する
(1)に記載の情報処理装置。
(3) 前記対応点検出部は、姿勢が変化した前記投影撮像装置の前記投影部の画素と、姿勢が変化していない前記投影撮像装置の前記撮像部の画素との対応点を検出する
(1)または(2)に記載の情報処理装置。
(4) 前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記投影撮像装置が有する位置および方向の少なくともいずれか1つを検出するセンサ部のセンサ出力に基づいて、前記投影撮像装置の姿勢変化を検出する姿勢変化検出部と、
前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置の姿勢が変化したか否かを判定する変化判定部と
をさらに備え、
前記対応点検出部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置と、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置との間で前記対応点を検出するように構成され、
前記相対姿勢推定部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置の、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置に対する相対姿勢を推定するように構成される
(1)乃至(3)のいずれかに記載の情報処理装置。
(5) 前記対応点検出部は、さらに、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
(1)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記対応点検出部は、さらに、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
(1)乃至(5)のいずれかに記載の情報処理装置。
(7) 前記投影面形状推定部は、前記投影面の、姿勢が変化した前記投影撮像装置の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
(5)または(6)に記載の情報処理装置。
(8) 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する
情報処理方法。
(9) 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える情報処理装置。
(10) 前記投影面形状推定部は、形状が未知の部分について前記投影面の形状を推定する
(9)に記載の情報処理装置。
(11) 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する
情報処理方法。
(12) 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える投影撮像装置。
(13) 前記対応点検出部は、前記他の投影撮像装置の前記投影部の画素と、前記投影撮像装置自身の前記撮像部の画素との対応点を検出する
(12)に記載の投影撮像装置。
(14) 前記対応点検出部は、前記投影撮像装置自身の前記投影部の画素と、前記他の投影撮像装置の前記撮像部の画素との対応点を検出する
(12)または(13)に記載の投影撮像装置。
(15) 前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記センサ部のセンサ出力に基づいて、前記投影撮像装置自身の姿勢変化を検出する姿勢変化検出部と
をさらに備え、
前記判定部は、前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置自身の姿勢が変化したか否かを判定するように構成される
(12)乃至(14)のいずれかに記載の投影撮像装置。
(16) 前記対応点検出部は、さらに、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
(12)乃至(15)のいずれかに記載の投影撮像装置。
(17) 前記投影面形状推定部は、前記投影面の、前記投影撮像装置自身の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
(16)に記載の投影撮像装置。
(18) 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する
情報処理方法。
(19) 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える投影撮像装置。
(20) 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記投影面の形状を推定する
情報処理方法。
Claims (20)
- 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える情報処理装置。 - 前記対応点検出部は、姿勢が変化していない前記投影撮像装置の前記投影部の画素と、姿勢が変化した前記投影撮像装置の前記撮像部の画素との対応点を検出する
請求項1に記載の情報処理装置。 - 前記対応点検出部は、姿勢が変化した前記投影撮像装置の前記投影部の画素と、姿勢が変化していない前記投影撮像装置の前記撮像部の画素との対応点を検出する
請求項1に記載の情報処理装置。 - 前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記投影撮像装置が有する位置および方向の少なくともいずれか1つを検出するセンサ部のセンサ出力に基づいて、前記投影撮像装置の姿勢変化を検出する姿勢変化検出部と、
前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置の姿勢が変化したか否かを判定する変化判定部と
をさらに備え、
前記対応点検出部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置と、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置との間で前記対応点を検出するように構成され、
前記相対姿勢推定部は、前記変化判定部により姿勢が変化したと判定された前記投影撮像装置の、前記変化判定部により姿勢が変化していないと判定された前記投影撮像装置に対する相対姿勢を推定するように構成される
請求項1に記載の情報処理装置。 - 前記対応点検出部は、さらに、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化した前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
請求項1に記載の情報処理装置。 - 前記対応点検出部は、さらに、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
請求項1に記載の情報処理装置。 - 前記投影面形状推定部は、前記投影面の、姿勢が変化した前記投影撮像装置の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
請求項5または請求項6に記載の情報処理装置。 - 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化した前記投影撮像装置と姿勢が変化していない前記投影撮像装置との間の、前記投影部の画素と前記撮像部の画素との対応点に基づいて、姿勢が変化した前記投影撮像装置の、姿勢が変化していない前記投影撮像装置に対する相対姿勢を推定する
情報処理方法。 - 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える情報処理装置。 - 前記投影面形状推定部は、形状が未知の部分について前記投影面の形状を推定する
請求項9に記載の情報処理装置。 - 画像を投影面に投影する投影部と前記投影面を撮像する撮像部とを有する投影撮像装置について、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された、姿勢が変化していない前記投影撮像装置の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する
情報処理方法。 - 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する相対姿勢推定部と
を備える投影撮像装置。 - 前記対応点検出部は、前記他の投影撮像装置の前記投影部の画素と、前記投影撮像装置自身の前記撮像部の画素との対応点を検出する
請求項12に記載の投影撮像装置。 - 前記対応点検出部は、前記投影撮像装置自身の前記投影部の画素と、前記他の投影撮像装置の前記撮像部の画素との対応点を検出する
請求項12に記載の投影撮像装置。 - 前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点の変化を検出する対応点変化検出部と、
前記センサ部のセンサ出力に基づいて、前記投影撮像装置自身の姿勢変化を検出する姿勢変化検出部と
をさらに備え、
前記判定部は、前記対応点変化検出部の検出結果と前記姿勢変化検出部の検出結果とに基づいて、前記投影撮像装置自身の姿勢が変化したか否かを判定するように構成される
請求項12に記載の投影撮像装置。 - 前記対応点検出部は、さらに、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出するように構成され、
前記対応点検出部により検出された前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点に基づいて、前記投影面の形状を推定する投影面形状推定部をさらに備える
請求項12に記載の投影撮像装置。 - 前記投影面形状推定部は、前記投影面の、前記投影撮像装置自身の前記投影部により画像が投影される範囲内の、形状が未知の部分について、前記投影面の形状を推定する
請求項16に記載の投影撮像装置。 - 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化したと判定された場合、姿勢が変化していない、前記投影部、前記撮像部、および前記センサ部を備える他の投影撮像装置との間で、前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記他の投影撮像装置に対する相対姿勢を推定する
情報処理方法。 - 画像を投影面に投影する投影部と、
前記投影面を撮像する撮像部と、
位置および方向の少なくともいずれか一方を検出するセンサ部と、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定する判定部と、
前記判定部により姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出する対応点検出部と、
前記対応点検出部により検出された前記対応点に基づいて、前記投影面の形状を推定する投影面形状推定部と
を備える投影撮像装置。 - 画像を投影面に投影する投影部と、前記投影面を撮像する撮像部と、位置および方向の少なくともいずれか一方を検出するセンサ部とを備える投影撮像装置の情報処理方法であって、
前記センサ部のセンサ出力に基づいて姿勢が変化したか否かを判定し、
姿勢が変化していないと判定された場合、前記投影撮像装置自身の前記投影部の画素と前記撮像部の画素との対応点を検出し、
検出された前記対応点に基づいて、前記投影面の形状を推定する
情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136727 | 2015-07-08 | ||
JP2015136727 | 2015-07-08 | ||
PCT/JP2016/068753 WO2017006779A1 (ja) | 2015-07-08 | 2016-06-24 | 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017006779A1 true JPWO2017006779A1 (ja) | 2018-04-19 |
JP6915537B2 JP6915537B2 (ja) | 2021-08-04 |
Family
ID=57685152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527173A Active JP6915537B2 (ja) | 2015-07-08 | 2016-06-24 | 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10802384B2 (ja) |
JP (1) | JP6915537B2 (ja) |
WO (1) | WO2017006779A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10506206B2 (en) | 2015-05-06 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
JP2019040003A (ja) * | 2017-08-24 | 2019-03-14 | セイコーエプソン株式会社 | プロジェクターおよびプロジェクターの制御方法 |
US11109006B2 (en) * | 2017-09-14 | 2021-08-31 | Sony Corporation | Image processing apparatus and method |
WO2020218028A1 (ja) * | 2019-04-25 | 2020-10-29 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
JP7103387B2 (ja) | 2020-06-16 | 2022-07-20 | セイコーエプソン株式会社 | 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置 |
JP7200978B2 (ja) * | 2020-06-23 | 2023-01-10 | セイコーエプソン株式会社 | 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005079939A (ja) * | 2003-09-01 | 2005-03-24 | Mitsubishi Electric Corp | プロジェクター装置 |
JP2005229282A (ja) * | 2004-02-12 | 2005-08-25 | Seiko Epson Corp | プロジェクタおよびマルチプロジェクションディスプレイ |
JP2007295375A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 投影映像補正装置及び投影映像補正プログラム |
JP2009290412A (ja) * | 2008-05-28 | 2009-12-10 | Nikon Corp | プロジェクタ及びマルチプロジェクションシステム |
JP2011170174A (ja) * | 2010-02-19 | 2011-09-01 | Nippon Telegr & Teleph Corp <Ntt> | 光学投影安定化装置、光学投影安定化方法およびプログラム |
JP2012173378A (ja) * | 2011-02-18 | 2012-09-10 | Seiko Epson Corp | プロジェクター及びその制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3994290B2 (ja) * | 2005-01-17 | 2007-10-17 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
US7857461B2 (en) * | 2007-11-06 | 2010-12-28 | Panasonic Corporation | Projector and projection method |
US9369658B2 (en) * | 2014-01-20 | 2016-06-14 | Lenovo (Singapore) Pte. Ltd. | Image correction of surface projected image |
JP2016100698A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社リコー | 校正装置、校正方法、プログラム |
-
2016
- 2016-06-24 JP JP2017527173A patent/JP6915537B2/ja active Active
- 2016-06-24 WO PCT/JP2016/068753 patent/WO2017006779A1/ja active Application Filing
- 2016-06-24 US US15/573,050 patent/US10802384B2/en active Active
-
2020
- 2020-07-29 US US16/942,220 patent/US11526072B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005079939A (ja) * | 2003-09-01 | 2005-03-24 | Mitsubishi Electric Corp | プロジェクター装置 |
JP2005229282A (ja) * | 2004-02-12 | 2005-08-25 | Seiko Epson Corp | プロジェクタおよびマルチプロジェクションディスプレイ |
JP2007295375A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 投影映像補正装置及び投影映像補正プログラム |
JP2009290412A (ja) * | 2008-05-28 | 2009-12-10 | Nikon Corp | プロジェクタ及びマルチプロジェクションシステム |
JP2011170174A (ja) * | 2010-02-19 | 2011-09-01 | Nippon Telegr & Teleph Corp <Ntt> | 光学投影安定化装置、光学投影安定化方法およびプログラム |
JP2012173378A (ja) * | 2011-02-18 | 2012-09-10 | Seiko Epson Corp | プロジェクター及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017006779A1 (ja) | 2017-01-12 |
US10802384B2 (en) | 2020-10-13 |
US20200355994A1 (en) | 2020-11-12 |
US20180164670A1 (en) | 2018-06-14 |
JP6915537B2 (ja) | 2021-08-04 |
US11526072B2 (en) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017006779A1 (ja) | 情報処理装置および方法、並びに、投影撮像装置および情報処理方法 | |
JP6798491B2 (ja) | 情報処理装置および方法、並びにプログラム | |
US10250789B2 (en) | Electronic device with modulated light flash operation for rolling shutter image sensor | |
US9407837B2 (en) | Depth sensor using modulated light projector and image sensor with color and IR sensing | |
US10038893B2 (en) | Context-based depth sensor control | |
EP3242274B1 (en) | Method and device for displaying three-dimensional objects | |
JP6646652B2 (ja) | 走査型レーザ平面度検出 | |
US9142019B2 (en) | System for 2D/3D spatial feature processing | |
EP3018903A2 (en) | Method and system for projector calibration | |
US20140240469A1 (en) | Electronic Device with Multiview Image Capture and Depth Sensing | |
US11156843B2 (en) | End-to-end artificial reality calibration testing | |
JP6658520B2 (ja) | 画像処理装置および方法 | |
KR20180042030A (ko) | 외부 디스플레이 장치의 화면 보정 장치 및 방법 | |
US11727597B2 (en) | Calibrating volumetric rig with structured light | |
US20230300315A1 (en) | Information processing apparatus, information processing method, program, and display apparatus | |
WO2022185719A1 (ja) | 情報処理装置、情報処理方法、及び、表示装置 | |
WO2022044807A1 (ja) | 情報処理装置および方法 | |
US20240112315A1 (en) | Distortion correction via analytical projection | |
JP2018164168A (ja) | 表示装置、表示方法及びプログラム | |
JP2023021670A (ja) | 画像処理装置、撮像システム、及び照明装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6915537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |