JP5849522B2 - 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 - Google Patents
画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP5849522B2 JP5849522B2 JP2011178810A JP2011178810A JP5849522B2 JP 5849522 B2 JP5849522 B2 JP 5849522B2 JP 2011178810 A JP2011178810 A JP 2011178810A JP 2011178810 A JP2011178810 A JP 2011178810A JP 5849522 B2 JP5849522 B2 JP 5849522B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- image processing
- projector
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、画像処理装置の一例を示す概略構成図である。
画像処理装置の機能の一例を、図2を用いて、説明する。
測距手段が、撮像手段のステレオカメラで取得した2つの撮像データに基づいて、対応点を抽出する動作について、図3及び図4を用いて説明する。
測距手段が、撮像手段のステレオカメラにより、撮像手段(画像処理装置)から対応点(投影対象物)までの距離に関する距離データを算出する動作について、図5を用いて説明する。
平面推定手段が投影対象物に対応する平面を推定する動作について、図6を用いて説明する。
範囲特定手段が投影対象物の投影可能範囲を特定する動作について、図7乃至図12を用いて説明する。
本発明のプログラムPrは、投影対象物を含む領域を撮像し、撮像データを取得する工程と、撮像データから対象物と撮像した位置との離間距離に関する距離データを算出する工程と、距離データから対象物に対応する平面を推定する工程と、撮像データから領域に関する画像データを生成する工程と、画像データと平面に関する情報とに基づき、対象物の投影可能範囲を特定する工程と、を実行する。
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
プロジェクタは、画像を投影する装置である。プロジェクタは、本実施例では、I/F手段、投影手段、オートフォーカス手段、及び、投影画像生成手段、を含む。また、プロジェクタは、画像処理装置として、制御手段、撮像手段、測距手段、平面推定手段、画像生成手段、及び、範囲特定手段を含む。
プロジェクタが、投影する画像を校正する動作について、図14を用いて説明する。
図15は、本実施例のプロジェクタの概略構成図の一例である。
投影中に投影対象物が移動した場合に、または、プロジェクタが移動した場合に、フォーカス等を調整する動作について、図16を用いて説明する。
図17は、本実施例のプロジェクタシステムの概略構成図の一例である。
図18は、本実施例のプロジェクタシステムの概略構成図の一例である。図18のプロジェクタシステム600の構成において、基本的な構成は実施例3と同様のため、説明を省略する。
130 : 測距手段
141 : 平面推定手段
142 : 画像生成手段
143 : 範囲特定手段
334 : 投影用画像変形手段
100 : 画像処理装置
300、400: プロジェクタ
500、600: プロジェクタシステム
Pr : プログラム
Md : 記録媒体
Pk : 所定のパターン(校正パターン)
AF : オートフォーカス手段
Claims (20)
- 画像が投影されている対象物を含む領域を撮像するステレオカメラと、
前記ステレオカメラが取得した撮像データから、前記対象物と前記ステレオカメラとの離間距離に関する距離データを複数の対応点である三次元点群を抽出して算出する測距手段と、
前記撮像データの全領域の三次元点群の点の数に対する撮像した領域の中心から所定の範囲に存在する三次元点群の点の数の割合を算出して、算出した前記割合と、所定の割合とを比較して、平面を推定する平面推定手段と、
前記撮像データから前記領域に関する画像データを生成し、前記画像データと、前記平面を示す方程式を含む情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、
を有することを特徴とする画像処理装置。 - 前回の平面の推定時に推定した平面と前記平面推定手段によって推定された平面における位置の差分が所定の値以上であった場合に校正を行う校正手段を更に有する請求項1に記載の画像処理装置。
- 前記平面推定手段は、前記方程式に下記数式を用いて前記平面を推定する請求項1又は2に記載の画像処理装置。
- 前記範囲特定手段は、色、明るさ、及び、エッジ強度に関する前記画像データの情報のうちの少なくとも1つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記測距手段は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出し、
前記平面推定手段は、前記複数の位置における前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を近似する、
ことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。 - 請求項1乃至5のいずれか一項に記載の画像処理装置を有するプロジェクタであって、
所定のパターンを投影する投影手段を有することを特徴とするプロジェクタ。 - 前記距離データ及び/または前記平面を示す方程式を含む情報に基づき、投影する画像のフォーカスを調整するオートフォーカス手段を有することを特徴とする請求項6に記載のプロジェクタ。
- 前記投影可能範囲に基づいて、投影する画像を補正する投影用画像変形手段を有することを特徴とする請求項6または7に記載のプロジェクタ。
- 前記投影用画像変形手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項8に記載のプロジェクタを有するプロジェクタシステム。
- 画像が投影されている対象物を含む領域をステレオカメラによって撮像し、撮像データを取得する工程と、
前記撮像データから、前記対象物と前記撮像した位置との離間距離に関する距離データを複数の対応点である三次元点群を抽出して算出する工程と、
前記撮像データの全領域の三次元点群の点の数に対する撮像した領域の中心から所定の範囲に存在する三次元点群の点の数の割合を算出して、算出した前記割合と、所定の割合とを比較して、平面を推定する工程と、
前記撮像データから、前記領域に関する画像データを生成する工程と、
前記画像データと、前記平面を示す方程式を含む情報とに基づき、前記対象物の投影可能範囲を特定する工程と、
を含むことを特徴とする画像処理方法。 - 前回の平面の推定時に推定した平面と前記平面を推定する工程によって推定された平面における位置の差分が所定の値以上であった場合に校正を行う工程を更に有する請求項10に記載の画像処理方法。
- 前記平面を推定する工程は、前記方程式に下記数式を用いて前記平面を推定する請求項10又は11に記載の画像処理方法。
- 前記投影可能範囲を特定する工程は、色、明るさ、及び、エッジ強度の情報に関する前記画像データの情報のうちの少なくとも1つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項10乃至12のいずれか一項に記載の画像処理方法。
- 前記距離データを算出する工程は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出する工程を含み、
前記平面を推定する工程は、前記複数の位置において前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を近似する工程を含む、
ことを特徴とする請求項10乃至13のいずれか一項に記載の画像処理方法。 - 請求項10乃至14のいずれか一項に記載の画像処理方法と、
所定のパターンを投影する工程と、
を含むことを特徴とするプロジェクタの画像処理方法。 - 前記距離データ及び/または前記平面を示す方程式を含む情報に基づき、投影する画像のフォーカスを調整する工程を含むことを特徴とする請求項15に記載のプロジェクタの画像処理方法。
- 前記投影可能範囲に基づいて、投影する画像を補正する工程を含むことを特徴とする請求項15または16に記載のプロジェクタの画像処理方法。
- 前記投影する画像を補正する工程は、無線または有線により、前記プロジェクタと通信する工程を含むことを特徴とする請求項17に記載のプロジェクタを有するプロジェクタシステムの画像処理方法。
- 請求項10乃至18のいずれか一項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 請求項19に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178810A JP5849522B2 (ja) | 2011-08-18 | 2011-08-18 | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
EP12824662.6A EP2745292A4 (en) | 2011-08-18 | 2012-08-03 | IMAGE PROCESSING DEVICE, PROJECTOR AND IMAGE PROCESSING METHOD |
CN201280039739.2A CN103733248B (zh) | 2011-08-18 | 2012-08-03 | 图像处理装置、投影仪和图像处理方法 |
US14/235,281 US9696613B2 (en) | 2011-08-18 | 2012-08-03 | Image processing apparatus, projector and image processing method |
AU2012295854A AU2012295854B2 (en) | 2011-08-18 | 2012-08-03 | Image processing apparatus, projector and image processing method |
PCT/JP2012/070412 WO2013024794A1 (en) | 2011-08-18 | 2012-08-03 | Image processing apparatus, projector and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011178810A JP5849522B2 (ja) | 2011-08-18 | 2011-08-18 | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013041167A JP2013041167A (ja) | 2013-02-28 |
JP5849522B2 true JP5849522B2 (ja) | 2016-01-27 |
Family
ID=47715113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011178810A Expired - Fee Related JP5849522B2 (ja) | 2011-08-18 | 2011-08-18 | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9696613B2 (ja) |
EP (1) | EP2745292A4 (ja) |
JP (1) | JP5849522B2 (ja) |
CN (1) | CN103733248B (ja) |
AU (1) | AU2012295854B2 (ja) |
WO (1) | WO2013024794A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179698A (ja) * | 2013-03-13 | 2014-09-25 | Ricoh Co Ltd | プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体 |
JP6550688B2 (ja) * | 2014-01-22 | 2019-07-31 | 株式会社リコー | 投影装置 |
JP2015167341A (ja) | 2014-02-13 | 2015-09-24 | 株式会社リコー | マルチプロジェクションシステム |
JP6326646B2 (ja) * | 2014-08-28 | 2018-05-23 | 株式会社国際電気通信基礎技術研究所 | 減衰特性関数推定装置、減衰特性関数推定方法、及びプログラム |
JP2016065422A (ja) * | 2014-09-26 | 2016-04-28 | 株式会社日立製作所 | 外界認識装置および外界認識装置を用いた掘削機械 |
US10432902B2 (en) | 2015-03-17 | 2019-10-01 | Sony Corporation | Information processing device and information processing method |
JP2019047312A (ja) * | 2017-09-01 | 2019-03-22 | セイコーエプソン株式会社 | 画像投写システム及びその制御方法 |
CN111669557B (zh) * | 2020-06-24 | 2022-05-13 | 歌尔光学科技有限公司 | 投影图像校正方法和校正装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3198630B2 (ja) | 1992-07-13 | 2001-08-13 | セイコーエプソン株式会社 | プロジェクター |
JP4150924B2 (ja) * | 2003-07-02 | 2008-09-17 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP4961628B2 (ja) * | 2000-08-11 | 2012-06-27 | 日本電気株式会社 | 投射映像補正システム及びその方法 |
JP2002247614A (ja) * | 2001-02-15 | 2002-08-30 | Ricoh Co Ltd | プロゼェクタ |
JP4048870B2 (ja) * | 2002-08-06 | 2008-02-20 | セイコーエプソン株式会社 | プロジェクタシステム |
JP2004088169A (ja) * | 2002-08-22 | 2004-03-18 | Nisca Corp | 画像表示装置 |
JP2005033703A (ja) * | 2003-07-11 | 2005-02-03 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP3772870B2 (ja) * | 2003-08-25 | 2006-05-10 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
JP4055010B2 (ja) * | 2003-09-26 | 2008-03-05 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP2005181726A (ja) | 2003-12-19 | 2005-07-07 | Seiko Precision Inc | プロジェクタ装置および投影画像調整方法 |
US7125122B2 (en) | 2004-02-02 | 2006-10-24 | Sharp Laboratories Of America, Inc. | Projection system with corrective image transformation |
JP3880582B2 (ja) * | 2004-02-13 | 2007-02-14 | Necビューテクノロジー株式会社 | 複数のカメラを備えたプロジェクタ |
JP3928623B2 (ja) * | 2004-02-27 | 2007-06-13 | カシオ計算機株式会社 | 投影装置、測距処理方法及びプログラム |
JP3741136B2 (ja) * | 2004-04-08 | 2006-02-01 | 松下電器産業株式会社 | 障害物適応投射型表示装置 |
JP4211694B2 (ja) | 2004-06-24 | 2009-01-21 | セイコーエプソン株式会社 | 光源駆動方法およびプロジェクタ |
JP3994290B2 (ja) * | 2005-01-17 | 2007-10-17 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP2007094036A (ja) * | 2005-09-29 | 2007-04-12 | Casio Comput Co Ltd | 投影装置、投影方法及びプログラム |
JP2007142495A (ja) * | 2005-11-14 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 平面投影装置、及び平面投影プログラム |
JP2009276073A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Industries Corp | 平面推定方法、曲面推定方法、および平面推定装置 |
JP5256899B2 (ja) * | 2008-07-18 | 2013-08-07 | セイコーエプソン株式会社 | 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム |
JP5239611B2 (ja) * | 2008-08-14 | 2013-07-17 | セイコーエプソン株式会社 | 投写型表示装置および画像の補正方法 |
JP5266954B2 (ja) * | 2008-08-19 | 2013-08-21 | セイコーエプソン株式会社 | 投写型表示装置および表示方法 |
JP2010128133A (ja) * | 2008-11-27 | 2010-06-10 | Univ Of Tokyo | 移動式情報重畳システム及び情報重畳方法 |
JP5531836B2 (ja) | 2009-11-10 | 2014-06-25 | 株式会社リコー | 画像処理装置及びプログラム |
-
2011
- 2011-08-18 JP JP2011178810A patent/JP5849522B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-03 CN CN201280039739.2A patent/CN103733248B/zh not_active Expired - Fee Related
- 2012-08-03 US US14/235,281 patent/US9696613B2/en active Active
- 2012-08-03 EP EP12824662.6A patent/EP2745292A4/en not_active Withdrawn
- 2012-08-03 WO PCT/JP2012/070412 patent/WO2013024794A1/en active Application Filing
- 2012-08-03 AU AU2012295854A patent/AU2012295854B2/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
AU2012295854A1 (en) | 2014-01-30 |
CN103733248B (zh) | 2016-10-26 |
WO2013024794A1 (en) | 2013-02-21 |
US20140168376A1 (en) | 2014-06-19 |
EP2745292A1 (en) | 2014-06-25 |
JP2013041167A (ja) | 2013-02-28 |
AU2012295854B2 (en) | 2015-05-21 |
EP2745292A4 (en) | 2014-09-10 |
CN103733248A (zh) | 2014-04-16 |
US9696613B2 (en) | 2017-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5834615B2 (ja) | プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
JP5849522B2 (ja) | 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
JP6585006B2 (ja) | 撮影装置および車両 | |
CN109831660B (zh) | 深度图像获取方法、深度图像获取模组及电子设备 | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
CN107808398B (zh) | 摄像头参数算出装置以及算出方法、程序、记录介质 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
JP2009284188A (ja) | カラー撮像装置 | |
JP2016100698A (ja) | 校正装置、校正方法、プログラム | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP2023115356A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP6088864B2 (ja) | キャリブレーションシステム、およびキャリブレーション方法 | |
KR101996226B1 (ko) | 피사체의 3차원 위치 측정 장치 및 그 방법 | |
JP2017215851A (ja) | 画像処理装置および画像処理方法、造形システム | |
JP5191772B2 (ja) | 撮像装置および3次元形状計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5849522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |