JP2018088654A - 投影システム、画像処理装置およびプログラム - Google Patents
投影システム、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2018088654A JP2018088654A JP2016232010A JP2016232010A JP2018088654A JP 2018088654 A JP2018088654 A JP 2018088654A JP 2016232010 A JP2016232010 A JP 2016232010A JP 2016232010 A JP2016232010 A JP 2016232010A JP 2018088654 A JP2018088654 A JP 2018088654A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- calibration
- correction
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000012937 correction Methods 0.000 claims abstract description 144
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000005452 bending Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 13
- 238000002156 mixing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000010354 integration Effects 0.000 description 10
- 239000003550 marker Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008602 contraction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001290864 Schoenoplectus Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
図1は、本実施形態による映像投影システム100の全体構成を示す概略図である。図1に示す映像投影システム100は、システムの全体制御を行う画像処理装置110と、1以上のプロジェクタ150と、カメラ160と、入力装置170とを含み構成される。なお、説明する実施形態では、映像投影システム100は、上下2台のプロジェクタ150a,150bの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。
図2は、本実施形態による映像投影システム100の機能ブロック図である。図2に示すシステム100は、画像処理装置110上で動作する複数の機能ブロックを含む。画像処理装置110は、コンテンツ格納部112と、プロジェクタ毎の補正処理部114a,114bと、プロジェクタ毎の投影画像出力部116a,116bと、プロジェクタ毎の切替部122a,122bとを含み構成される。画像処理装置110は、さらに、校正用画像格納部124と、校正用撮像画像入力部126と、校正パラメータ入力部128と、補正係数算出部130とを含み構成される。
以下、本実施形態による校正処理について、図6に示すフローチャートおよび図7に示す校正用投影シーンを参照しながら、全体的な流れを説明する。図6は、本実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図6に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップS100から開始される。
以下、撮像時の透視変換による垂直方向および水平方向のスケールの伸縮を補正する処理の概要について説明する。なお、ここでは、図8(A)に示すように、縦円筒形状のスクリーン102に対し、天地に設置した2台のプロジェクタ150a,150bで縦連結投影する場合を一例として説明する。
以下、本実施形態による校正処理におけるユーザによる調整作業について、図9に示すフローチャートおよび図10に示す表を参照しながら説明する。図9は、本実施形態による校正処理における調整作業の流れを示すフローチャートである。図10は、本実施形態による調整作業における校正パラメータの調整の仕方を説明する表である。
以下、図11〜図14を参照しながら、近接撮像した格子点座標を、円筒面を展開した平面座標へ変換する円筒補正処理について、より詳細を説明する。まず、以下、図11および図12を参照しながら、x軸方向の補正について説明する。
上記式(7)において、以下場合分けして検討する。
[1]u=a‐x0またはu=−(a+x0)の場合:
この場合は、左右カーソル位置に対応する座標であるため、奥行きd=0であるはずであり、実際d=0は上記2次方程式(7)の解になっている。このため、u=a‐x0またはu=−(a+x0)の場合は、決め打ちでd=0とすればよい。
左右カーソルの間の座標であるため、d>0となる実数解を持つはずである。実際にu+x0+a>0,u+x0−a<0になるため、C<0であり、また、常にA>0であるから、判別式B2−AC>0で、実数解を持つ。解と係数の関係によりC<0であるならば2つの解は異符号である。よって、この場合は大きい方の解を採用すればよく、すなわち、下記式により計算することができる。
格子点が、左右カーソルの外側のu座標まで取り得るため、このケースも考察しておく必要がある。
ここで、u→x変換を少し別の観点から考えると、撮像画像上の位置uとレンズ中心を通る直線(=図12(B)のL,Jを通る直線)と円弧を360度まで延長した全円との交点を求める問題に帰着することになる。ここで、判別式<0は、この直線と全円が交点を持たないということを意味する。撮像距離が、曲率直径2Rを超えて遠くなると現実的に発生し得る。この場合は、d=不能ということにする。
dに対応する交点が「上半円」に含まれる場合に対応する。この場合は、上記[2]の自然な拡張としてX方向もY方向も[2]と同じように処理して問題ない。X方向は、スケールを保つよう、不動のカーソル位置に向かって「寄っていく」ような変換がかかることになる。一方、Y方向は、上記式(4)が負となるので、y0に向かって「寄っていく」ような変換がかかることになり、曲がりを真っすぐにする効果が得られる。なお、プログラム実装上、d<−sよりもっと条件を厳しくしたほうが好ましい。
dに対応する交点が「下半円」に含まれる場合に対応する。この場合は、そのまま上記[2]のロジックをあてはめると、交点のx座標が|x|<Rとなり、さらには|x|<aとなり、上記[2]のケースの結果に重なりあってしまうおそれがある。円筒に沿ったx’座標で表現することにより重なりを回避できるとも考えられるが、コンテンツが投影されないカーソル領域外であまり煩雑なことをしても仕方がないため、簡便に、XもYも変換しない対応とすることができる。不動のカーソル位置やy0に向かって寄っていく変換をしないだけであるため、格子点の全列行内の座標値の大小関係を壊すことはなく、後続の処理に不都合はないと考えられる。
以下、図15を参照しながら、上述までの実施形態における画像処理装置110のハードウェア構成について説明する。画像処理装置110は、典型的には、汎用コンピュータ装置として構成される。図15は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。
Claims (10)
- 1以上の投影手段により、少なくとも1つの方向で曲がりを有する被投影面上に像を投影するための投影システムであって、
準備された1以上の校正用撮像画像各々から、前記1以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
前記格子点データおよび前記幾何学情報に基づいて、前記1以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
を含む、投影システム。 - 前記補正係数計算手段は、前記1以上の校正用撮像画像の元座標系から、前記被投影面の形状に応じた補正後座標系へ補正する補正手段を含む、請求項1に記載の投影システム。
- 前記補正手段は、前記曲がりを有する前記少なくとも1つの方向に関し、
仮想被投影平面上の座標値による前記元座標上の点と前記被投影面上の座標上の点との対応関係に基づいて、前記元座標系の値から前記仮想被投影平面上の座標の値を求める手段と、
前記仮想被投影平面と前記被投影面との前記少なくとも1つの方向での前記曲がりに応じた幾何学的関係に基づいて、前記仮想被投影平面上の座標の値から前記被投影面上の座標の値を求める手段と、
線形変換に基づいて、前記被投影面上の座標の値から前記補正後座標系の値を求める手段と
を含み、さらに、前記少なくとも1つの方向と直交する方向に関し、
前記少なくとも1つの方向での前記曲がりによる光学的な効果をキャンセルするように前記元座標系の値から、前記補正後座標系への値を求める手段
を含む、請求項2に記載の投影システム。 - 前記補正係数計算手段は、前記1以上の投影手段による全体投影領域の外形を規定する複数の基準点に基づいて、前記複数の基準点が規定する外形が所定の規格化された形状となるような射影変換を求める手段を含む、請求項2または3に記載の投影システム。
- 前記補正係数計算手段は、前記格子点抽出手段により抽出された格子点データに対し前記射影変換を施し、射影変換後の格子点データに前記元座標系から前記補正後座標系への補正を施し、前記補正後の格子点データにさらに前記射影変換の逆変換を施して、前記射影変換後、かつ、前記補正後、かつ、前記逆変換後の格子点データに基づいて前記補正係数を計算することを特徴とする、請求項4に記載の投影システム。
- 前記被投影面は、略円筒面の少なくとも一部であり、前記幾何学情報は、前記被投影面のサイズ情報、前記被投影面の前記撮像手段からの距離情報および前記被投影面の前記撮像手段との中心のずれ情報を含む、請求項1〜5のいずれか1項に記載の投影システム。
- 前記情報入力手段は、さらに、前記幾何学情報の微調整量の入力を受けており、前記補正係数計算手段は、前記幾何学情報に前記微調整量を加味して補正係数を再計算することを特徴とする、請求項1〜6のいずれか1項に記載の投影システム。
- 前記複数の校正用撮像画像から抽出された投影手段各々の格子点データを、共通する座標系上に変換する格子点変換手段と、
前記補正係数計算手段で計算された複数の投影手段各々に対する補正係数に基づき補正された複数の補正画像を各々対応する複数の投影手段により投影する画像出力手段と
をさらに含む、請求項1〜7のいずれか1項に記載の投影システム。 - 1以上の投影手段により少なくとも1つの方向で曲がりを有する被投影面上に像を投影するための画像処理装置であって、
準備された1以上の校正用撮像画像各々から、前記1以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
前記格子点データおよび前記幾何学情報に基づいて、前記1以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
を含む、画像処理装置。 - 1以上の投影手段により少なくとも1つの方向で曲がりを有する被投影面上に像を投影するためのプログラムであって、コンピュータを、
準備された1以上の校正用撮像画像各々から、前記1以上の投影手段各々について投影像の歪みを示す格子点データを抽出する格子点抽出手段と、
前記校正用撮像画像の撮像手段との相対的な位置関係を含む前記被投影面の幾何学情報の入力を受ける情報入力手段と、
前記格子点データおよび前記幾何学情報に基づいて、前記1以上の投影手段各々に対する補正係数を計算する補正係数計算手段と
をして機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232010A JP6790766B2 (ja) | 2016-11-30 | 2016-11-30 | 投影システム、画像処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232010A JP6790766B2 (ja) | 2016-11-30 | 2016-11-30 | 投影システム、画像処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018088654A true JP2018088654A (ja) | 2018-06-07 |
JP6790766B2 JP6790766B2 (ja) | 2020-11-25 |
Family
ID=62494611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232010A Active JP6790766B2 (ja) | 2016-11-30 | 2016-11-30 | 投影システム、画像処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6790766B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148171A (zh) * | 2019-04-18 | 2019-08-20 | 北京森焱精创科技有限公司 | 动态投影方法、***、计算机设备和存储介质 |
CN114567763A (zh) * | 2022-02-22 | 2022-05-31 | 湖南泊湾科技有限公司 | 一种可任意加点的双线性几何校正方法及*** |
JP7493774B2 (ja) | 2020-08-21 | 2024-06-03 | 株式会社ソーシャル・キャピタル・デザイン | トンネル壁面投影システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004320662A (ja) * | 2003-04-18 | 2004-11-11 | Nec Viewtechnology Ltd | 投射映像の幾何学補正における近似式補正方式 |
JP2011182078A (ja) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 |
JP2015103891A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像投影システム、画像処理装置、画像投影方法およびプログラム |
JP2015126340A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 画像処理方法並びに画像投影装置 |
JP2015200760A (ja) * | 2014-04-08 | 2015-11-12 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの制御方法、および、プログラム |
JP2015219679A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社リコー | 画像処理システム、情報処理装置、プログラム |
-
2016
- 2016-11-30 JP JP2016232010A patent/JP6790766B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004320662A (ja) * | 2003-04-18 | 2004-11-11 | Nec Viewtechnology Ltd | 投射映像の幾何学補正における近似式補正方式 |
JP2011182078A (ja) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 |
JP2015103891A (ja) * | 2013-11-22 | 2015-06-04 | 株式会社リコー | 画像投影システム、画像処理装置、画像投影方法およびプログラム |
JP2015126340A (ja) * | 2013-12-26 | 2015-07-06 | ソニー株式会社 | 画像処理方法並びに画像投影装置 |
JP2015200760A (ja) * | 2014-04-08 | 2015-11-12 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの制御方法、および、プログラム |
JP2015219679A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社リコー | 画像処理システム、情報処理装置、プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148171A (zh) * | 2019-04-18 | 2019-08-20 | 北京森焱精创科技有限公司 | 动态投影方法、***、计算机设备和存储介质 |
CN110148171B (zh) * | 2019-04-18 | 2021-03-23 | 北京森焱精创科技有限公司 | 动态投影方法、***、计算机设备和存储介质 |
JP7493774B2 (ja) | 2020-08-21 | 2024-06-03 | 株式会社ソーシャル・キャピタル・デザイン | トンネル壁面投影システム |
CN114567763A (zh) * | 2022-02-22 | 2022-05-31 | 湖南泊湾科技有限公司 | 一种可任意加点的双线性几何校正方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP6790766B2 (ja) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6569742B2 (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
TWI637230B (zh) | 投影系統以及顯示影像的校正方法 | |
US9818377B2 (en) | Projection system, image processing apparatus, and correction method | |
KR100653200B1 (ko) | 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치 | |
TWI719493B (zh) | 投影系統、投影裝置以及其顯示影像的校正方法 | |
US10296783B2 (en) | Image processing device and image display device | |
JP2015026992A (ja) | 投影システム、画像処理装置、投影方法およびプログラム | |
US8571345B2 (en) | Method and device for correcting image, and method and device for generating correction table for use in correction of image | |
TWI244335B (en) | Projector and compensation method for the tilt of projector | |
US20190005607A1 (en) | Projection device, projection method and program storage medium | |
CN111694528B (zh) | 显示墙的排版辨识方法以及使用此方法的电子装置 | |
US10863154B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR20120021149A (ko) | 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 | |
US11962946B2 (en) | Image processing apparatus, display system, image processing method, and medium | |
JP6790766B2 (ja) | 投影システム、画像処理装置およびプログラム | |
JP7296712B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6318576B2 (ja) | 画像投影システム、画像処理装置、画像投影方法およびプログラム | |
KR20130043300A (ko) | 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법 | |
JP2017055346A (ja) | 投影システム、画像処理装置およびプログラム | |
KR20220162595A (ko) | 전자 장치 및 그 제어 방법 | |
JP2012113244A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006109088A (ja) | マルチプロジェクションシステムにおける幾何補正方法 | |
WO2019163449A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2023546037A (ja) | 画像記録装置 | |
JP2019146004A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201019 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6790766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |