CN103533278A - 一种大幅面自由表面多投影自动拼接方法 - Google Patents
一种大幅面自由表面多投影自动拼接方法 Download PDFInfo
- Publication number
- CN103533278A CN103533278A CN201310495590.5A CN201310495590A CN103533278A CN 103533278 A CN103533278 A CN 103533278A CN 201310495590 A CN201310495590 A CN 201310495590A CN 103533278 A CN103533278 A CN 103533278A
- Authority
- CN
- China
- Prior art keywords
- image space
- free surface
- projection
- projector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 108091026890 Coding region Proteins 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种大幅面自由表面多投影自动拼接方法。使用本发明能够在凹凸不平的大幅面自由表面上进行自动投影拼接融合。本发明根据有效投影区域和待投影区域的位置，建立相机图像空间与显示图像空间之间的对应关系；使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系；进而得到各投影机图像空间与显示图像空间之间的对应关系，由此可以将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。本发明能够广泛应用于大型演出、大型活动、城市形象宣传等领域，解决了传统手动自由表面拼接***对人员要求高、调整时间长等弊端，能够代替国外的纯手动自由表面拼接***，大大降低文化演出产品的制作成本。
Description
技术领域
本发明涉及投影拼接显示技术，具体涉及一种大幅面自由表面多投影自动拼接方法。
背景技术
随着工程投影机技术的进步以及人们对视觉体验要求的不断地提升，大幅面投影技术在大型活动、展览展示、新产品发布等领域得到了广泛的应用。大幅面自由表面凹凸不平，目前其投影完全靠人工调整，对人员要求高、调整时间长。一个大型的户外建筑投影项目实施需要两三个月，手动拼接融合的时间就需要一周以上的时间。大幅面自由表面投影的软件基本由国外垄断，售价高昂，且大幅面自由表面投影技术刚刚起步，具有非常高的科研和商业价值，因此急切需要一套应用于大幅面自由表面投影的自动投影拼接方法。
发明内容
有鉴于此，本发明提供了一种大幅面自由表面多投影自动拼接方法，能够在凹凸不平的大幅面自由表面上进行自动投影拼接融合。
本发明的大幅面自由表面多投影自动拼接方法包括以下步骤：
步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域；
步骤2，在观众的观看位置设置一个相机，该相机能拍摄到整个大幅面自由表面；
步骤3，投影区域由各投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系HD；
步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系；
步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系Mi，i=1，2，…，N，N为投影机数量；
步骤6，对待投影图像进行颜色校正以及融合区域亮度衰减；
步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。
其中，所述步骤3中有效投影区域获取方法为：首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化方法求取投影区域，将投影区域的最大内接矩形作为有效投影区域。
所述步骤4中，采用的应用于大幅面自由表面投影拼接的编码结构光扫描方法，具体步骤如下：
步骤4.1，控制投影机先后投射白色和黑色的图像，通过图像差分以及二值化图像处理得到有效编码区域；
步骤4.2，对有效编码区域进行纵向编码和横向编码；
步骤4.3，使用随机抽样一致算法除去错误编码点，即外点排除；
步骤4.4，网格化以及网格点拟合：将相机图像空间划分为m×n个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在投影图像空间中的对应点位置。
有益效果：
本发明提出的大幅面自由表面投影拼接技术能够广泛应用于大型演出、大型活动、城市形象宣传等领域，解决了传统手动自由表面拼接***对人员要求高、调整时间长等弊端，能够代替国外的纯手动自由表面拼接***，大大降低文化演出产品的制作成本。
附图说明
图1为本发明实施的***构成图。
图2为编码结构光扫描方法流程图。
其中，101-大幅面自由表面；102-投影机；103-相机；104-融合服务器，105-自动投影拼接服务器，106-渲染控制服务器。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种大幅面自由表面多投影自动拼接方法，包括以下步骤：
步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域；并且，根据投影表面的材质、现场光照条件以及投影亮度要求等确定投影机型号、投影机镜头以及所使用的投影机数量。
步骤2，在观众的观看位置设置相机，选择合适的相机镜头及镜头焦距，使相机能够拍摄到整个大幅面自由表面投影区域。
步骤3，投影区域由投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系HD；其中有效投影区域获取方法为：首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化求取投影区域，即对上述两张照片对应位置的像素做差值，对差值图像进行二值化处理，白色部分为投影区域，黑色部分为非投影区域。将投影区域的最大内接矩形作为有效投影区域。
步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，在自动投影拼接服务器上使用编码结构光扫描的方法建立各投影机图像空间与相机图像之间的对应关系。
使用如图2所示的Gray Code+Phase Shifting编码结构光扫描方法求取第i台投影机图像空间与相机图像空间之间的对应关系Gi，i=1，2，…，N，N为投影机数量，其中，投影机每次投射图像后，均用相机进行拍照。编码结构光扫描方法步骤如下：
步骤4.1，有效编码区域获取：测量过程中由于物体表面的部分遮挡，存在测量死角，投影机的光线打不到这些区域，同时测量过程中相机拍到目标实物的同时也会拍到无关背景，这部分背景和测量死角均可能造成后期的错误匹配，同时增加***的计算量。本发明使用投影机先后投射一副白色和黑色的图像，通过简单的图像差分以及二值化图像处理即可得到有效编码区域；
步骤4.2，分别对每台投影机的有效投影区域进行纵向编码：
步骤4.2.1，二值化编码图像获取：由于投影不是在全黑环境下进行，受环境光和实物本身颜色影响，投影在实物上的黑白条纹区分度不是很高，造成边缘模糊，图像识别有难度，采用差分法可有效解决边缘模糊问题，对黑白条纹进行有效识别。接着采用图像二值化方法（例如最大类间差（OTSU）方法、自动阈值方法、固定阈值方法等）对差分图像进行二值化；
步骤4.2.2，编码：图像编码是对于投影上任意一点，如果在某一时刻处于该时刻二值化差分图像的黑色区域，则编码为0，反之则编码为1，经过9次Gray code编码之后就形成了9位二进制编码，把整个屏幕区域分成512个区域。之后通过4次Phase Shifting编码最终把屏幕分为1024个区域。
步骤4.3，同步骤4.2，对图像进行横向编码，从而使每个投影图像空间中任意处于有效投影区域内的点都完成编码操作。
步骤4.4，外点排除：经过上述操作得到的编码可能出现很多错误的编码点，即外点，通过使用随机抽样一致（RANSAC）算法等方法除去外点。
步骤4.5，网格化以及网格点拟合：网格化是通过将相机图像空间划分为m×n个网格，通过上述编码找到网格交点在投影图像空间中的对应点。对网格内的点使用双线性差值的方法计算其对应点位置。
步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系Mi，i=1，2，…，N，N为投影机数量，即求取需要显示的图像中每个像素在各投影机图像中的位置。
步骤6，对待投影图像进行颜色校正，并使用非线性权值分配方法进行融合区域亮度衰减。
步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了大幅面自由表面投影的自动拼接。其中，映射过程如下：通过渲染控制服务器渲染整个显示图像空间中的图像，通过Mi找到显示图像空间中的点(xd,yd)在每台投影机图像空间中的位置(x'pi,y'pi)，使用三维渲染引擎的Shader直接对(x'pi,y'pi)赋值为显示图像空间中(xd,yd)位置的颜色值，其中(xd,yd)与(x'pi,y'pi)均采用归一化坐标。
步骤8，渲染需要投影的视频，进行现场投影展示。使用融合服务器自动投影拼接服务器中生成的校正数据，并根据该数据高效地生成及显示扭曲之后的图像，同时使用渲染控制服务器，利用TCP/IP协议同步所有融合服务器播放的视频从而实现大幅面自由表面投影。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种大幅面自由表面多投影自动拼接方法，其特征在于，包括以下步骤：
步骤1，现场安装架设投影机，调整各台投影机参数及位置使所有投影机投影充满整个选定的待投影区域；
步骤2，在观众的观看位置设置一个相机，该相机能拍摄到整个大幅面自由表面；
步骤3，投影区域由各投影机投影组成，计算投影区域的最大内接矩形作为有效投影区域，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系HD；
步骤4，针对每台投影机投影所覆盖的大幅面自由表面区域，使用编码结构光扫描的方法建立各投影机图像空间与相机图像空间之间的对应关系；
步骤5，结合步骤3以及步骤4得到的关系求得各投影机图像空间与显示图像空间之间的对应关系Mi，i=1，2，…，N，N为投影机数量；
步骤6，对待投影图像进行颜色校正以及融合区域亮度衰减；
步骤7，根据步骤5得到的各投影机图像空间与显示图像空间之间的关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置。
2.如权利要求1所述的一种大幅面自由表面多投影自动拼接方法，其特征在于，所述步骤3中有效投影区域获取方法为：首先控制所有投影机投射白色及黑色图像，通过图像差分以及二值化方法求取投影区域，将投影区域的最大内接矩形作为有效投影区域。
3.如权利要求1所述的一种大幅面自由表面多投影自动拼接方法，其特征在于，所述步骤4中，采用的应用于大幅面自由表面投影拼接的编码结构光扫描方法，具体步骤如下：
步骤4.1，控制投影机先后投射白色和黑色的图像，通过图像差分以及二值化图像处理得到有效编码区域；
步骤4.2，对有效编码区域进行纵向编码和横向编码；
步骤4.3，使用随机抽样一致算法除去错误编码点，即外点排除；
步骤4.4，网格化以及网格点拟合：将相机图像空间划分为m×n个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在投影图像空间中的对应点位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310495590.5A CN103533278B (zh) | 2013-10-21 | 2013-10-21 | 一种大幅面自由表面多投影自动拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310495590.5A CN103533278B (zh) | 2013-10-21 | 2013-10-21 | 一种大幅面自由表面多投影自动拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103533278A true CN103533278A (zh) | 2014-01-22 |
| CN103533278B CN103533278B (zh) | 2016-08-17 |
Family
ID=49934906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310495590.5A Expired - Fee Related CN103533278B (zh) | 2013-10-21 | 2013-10-21 | 一种大幅面自由表面多投影自动拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103533278B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778658A (zh) * | 2015-04-01 | 2015-07-15 | 北京理工大学 | 一种多投影机投影图像全自动几何拼接校正方法 |
| CN104853127A (zh) * | 2014-02-13 | 2015-08-19 | 株式会社理光 | 多机投影*** |
| CN109672870A (zh) * | 2018-12-23 | 2019-04-23 | 吉林大学 | 一种建筑投影自动拼接方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10251217B3 (de) * | 2002-10-31 | 2004-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Autokalibierung von Multiprojektorsystemen |
| CN101132535A (zh) * | 2007-09-12 | 2008-02-27 | 浙江大学 | 基于转台的多投影大屏拼接方法 |
| CN101321303A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 非平面多投影显示的几何与光学校正方法 |
| CN103019643A (zh) * | 2012-12-30 | 2013-04-03 | 中国海洋大学 | 一种即插即用的大屏幕投影自动校正与拼接显示方法 |
| CN103200409A (zh) * | 2013-04-10 | 2013-07-10 | 苏州展科光电科技有限公司 | 多投影仪显示***的颜色校正方法 |
-
2013
- 2013-10-21 CN CN201310495590.5A patent/CN103533278B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10251217B3 (de) * | 2002-10-31 | 2004-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Autokalibierung von Multiprojektorsystemen |
| CN101132535A (zh) * | 2007-09-12 | 2008-02-27 | 浙江大学 | 基于转台的多投影大屏拼接方法 |
| CN101321303A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 非平面多投影显示的几何与光学校正方法 |
| CN103019643A (zh) * | 2012-12-30 | 2013-04-03 | 中国海洋大学 | 一种即插即用的大屏幕投影自动校正与拼接显示方法 |
| CN103200409A (zh) * | 2013-04-10 | 2013-07-10 | 苏州展科光电科技有限公司 | 多投影仪显示***的颜色校正方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104853127A (zh) * | 2014-02-13 | 2015-08-19 | 株式会社理光 | 多机投影*** |
| CN104853127B (zh) * | 2014-02-13 | 2018-05-11 | 株式会社理光 | 多机投影*** |
| CN104778658A (zh) * | 2015-04-01 | 2015-07-15 | 北京理工大学 | 一种多投影机投影图像全自动几何拼接校正方法 |
| CN109672870A (zh) * | 2018-12-23 | 2019-04-23 | 吉林大学 | 一种建筑投影自动拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103533278B (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6983082B2 (en) | Reality-based light environment for digital imaging in motion pictures | |
| JP4698831B2 (ja) | 画像変換および符号化技術 | |
| CN103019643B (zh) | 一种即插即用的大屏幕投影自动校正与拼接显示方法 | |
| US10750141B2 (en) | Automatic calibration projection system and method | |
| US7999862B2 (en) | Method and apparatus for an automated background lighting compensation system | |
| KR101941801B1 (ko) | Led 디스플레이에 이용되는 영상 처리 방법 및 장치 | |
| CN105308503A (zh) | 利用短程相机校准显示***的***和方法 | |
| CN103533318A (zh) | 一种建筑外表面投影方法 | |
| WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN105787920B (zh) | 球幕标定方法、标定***及控制设备 | |
| CN104794748A (zh) | 基于Kinect视觉技术的三维空间地图构建方法 | |
| CN111770326B (zh) | 一种全景视频投射的室内三维监控方法 | |
| CN103533276A (zh) | 一种平面多投影快速拼接方法 | |
| Aliaga et al. | A virtual restoration stage for real-world objects | |
| CN103533277A (zh) | 一种曲面多投影拼接方法 | |
| CN103500438A (zh) | 一种互动的建筑物表面投影方法 | |
| CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| CN108090877A (zh) | 一种基于图像序列的rgb-d相机深度图像修复方法 | |
| CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
| CN115578970A (zh) | 一种球形led屏幕校正方法、装置、***及电子设备 | |
| CN103533278A (zh) | 一种大幅面自由表面多投影自动拼接方法 | |
| CN101729739A (zh) | 一种图像纠偏处理方法 | |
| Zhou et al. | Light field projection for lighting reproduction | |
| JP2002117413A (ja) | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 | |
| CN110874862A (zh) | 用于三维重建的***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 |