JP2012527787A - 画像から高速に立体構築を行なう方法 - Google Patents
画像から高速に立体構築を行なう方法 Download PDFInfo
- Publication number
- JP2012527787A JP2012527787A JP2012511112A JP2012511112A JP2012527787A JP 2012527787 A JP2012527787 A JP 2012527787A JP 2012511112 A JP2012511112 A JP 2012511112A JP 2012511112 A JP2012511112 A JP 2012511112A JP 2012527787 A JP2012527787 A JP 2012527787A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- computer
- homography matrix
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【選択図】 図2
Description
C1およびC2:カメラ
O1およびO2:2つのカメラのカメラ中心(軸の交差点)
b:2つのカメラの間のベースライン
l1およびl2:C1およびC2が撮像した画像
P:3Dポイント
P1、P2:3DポイントPを画像面に投影したもの
E1、E2:P1およびP2を通るエピ極線
π:ポイントPにおける3Dモデル面の接平面
n:接平面のPにおける法線ベクトル(方向)
H:平面πによって行なわれるホモグラフィー(平面射影)
x=P1
T(x):基礎画像におけるテンプレートウィンドウ
W(x,p):並進後の画像におけるホモグラフィー・ワープ・ウィンドウ
Claims (22)
- コンピュータで実施される方法であって、
画像対に対して立体マッチングを実行する段階と、
前記画像対を修正して、エピ極線が水平または垂直の何れかになるようにする段階と、
修正された前記画像対に立体マッチングを適用する段階と、
基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成する段階と、
対応ポイントを三角測量して、3次元シーンを生成する段階と、
前記3次元シーンを表示用に提供する段階と
を備える方法。 - 前記立体マッチングを適用する段階は、正規化相互相関(NCC)を適用する段階を有する請求項1に記載の方法。
- 逆構成画像アラインメント(ICIA)を用いてホモグラフィー行列変換を生成する段階をさらに備える請求項1に記載の方法。
- ホモグラフィー行列変換を生成する段階と、
前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義する段階と、
前記ワープウィンドウの光一貫性を改善する段階と
をさらに備える請求項1に記載の方法。 - 前記基礎画素から並進後画素を生成する段階は、ホモグラフィー・フィッティングを利用して、前記基礎画素と前記並進後画素との間の光一貫性を改善する段階を有する請求項1に記載の方法。
- 複数の立体画像対から一の3次元シーンを生成する段階をさらに備える請求項1に記載の方法。
- 命令を格納しているコンピュータ可読媒体であって、
前記命令をコンピュータで実行すると、前記コンピュータは、
画像対に対して立体マッチングを実行し、
前記画像対を修正し、
修正された前記画像対に立体マッチングを適用し、
基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
対応ポイントを三角測量して、3次元シーンを生成し、
前記3次元シーンを表示用に提供するコンピュータ可読媒体。 - 前記コンピュータは、前記立体マッチングを適用する場合、正規化相互相関(NCC)を適用する請求項8に記載のコンピュータ可読媒体。
- 前記コンピュータで実行すると、前記コンピュータが、逆構成画像アラインメント(ICIA)を用いて前記ホモグラフィー行列変換を生成する、命令をさらに備える請求項8に記載のコンピュータ可読媒体。
- 前記コンピュータで実行すると、前記コンピュータが、
ホモグラフィー行列変換を生成し、
前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
前記ワープウィンドウの光一貫性を改善する、
命令をさらに備える請求項8に記載のコンピュータ可読媒体。 - 前記コンピュータは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項8に記載のコンピュータ可読媒体。
- 基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
対応ポイントを三角測量して、3次元シーンを生成し、
前記3次元シーンを表示用に提供する
プロセッサを備える装置。 - 前記プロセッサは、マルチコアプロセッサおよびグラフィクスプロセッシングユニットのうち少なくとも1つである請求項14に記載の装置。
- 前記プロセッサは、逆構成画像アラインメント(ICIA)を用いて前記ホモグラフィー行列変換を生成する請求項14に記載の装置。
- 前記プロセッサは、ホモグラフィー行列を適用すべく、
ホモグラフィー行列変換を生成し、
前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
前記ワープウィンドウの光一貫性を改善する
請求項14に記載の装置。 - 前記コンピュータは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項14に記載の装置。
- 表示デバイスと、
前記表示デバイスに通信可能に結合されているコンピュータシステムと
を備え、
前記コンピュータシステムは、
基礎画素にホモグラフィー行列変換を適用して、前記基礎画素から並進後画素を生成し、
対応ポイントを三角測量して、3次元シーンを生成し、
前記3次元シーンを表示用に提供する
システム。 - 前記コンピュータシステムは、逆構成画像アラインメント(ICIA)を用いて前記ホモグラフィー行列変換を生成する請求項19に記載のシステム。
- 前記プロセッサは、ホモグラフィー行列を適用すべく、
ホモグラフィー行列変換を生成し、
前記ホモグラフィー行列変換の陰関数として、基礎画像と並進後画像のワープウィンドウとの間における光一貫性を定義し、
前記ワープウィンドウの光一貫性を改善する
請求項19に記載のシステム。 - 前記コンピュータシステムは、基礎画素から並進後画素を生成するべく、前記基礎画素と前記並進後画素との間の光一貫性を改善する請求項19に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2009/000554 WO2010133007A1 (en) | 2009-05-21 | 2009-05-21 | Techniques for rapid stereo reconstruction from images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012527787A true JP2012527787A (ja) | 2012-11-08 |
JP5442111B2 JP5442111B2 (ja) | 2014-03-12 |
Family
ID=43125706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012511112A Expired - Fee Related JP5442111B2 (ja) | 2009-05-21 | 2009-05-21 | 画像から高速に立体構築を行なう方法 |
Country Status (8)
Country | Link |
---|---|
US (2) | US9053550B2 (ja) |
JP (1) | JP5442111B2 (ja) |
KR (1) | KR101310589B1 (ja) |
DE (1) | DE112009005074T8 (ja) |
ES (1) | ES2400277B1 (ja) |
GB (1) | GB2482447B (ja) |
SG (1) | SG175393A1 (ja) |
WO (1) | WO2010133007A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2400277B1 (es) | 2009-05-21 | 2014-04-24 | Intel Corporation | Técnicas para reconstrucción estéreo rápida a partir de imágenes |
KR101608253B1 (ko) * | 2011-08-09 | 2016-04-01 | 인텔 코포레이션 | 이미지 기반 멀티 뷰 3d 얼굴 생성 |
US8564608B2 (en) | 2011-10-28 | 2013-10-22 | Palm, Inc. | Display of visual images by fractional color gradient increments |
US8923558B2 (en) * | 2012-05-15 | 2014-12-30 | Raytheon Company | Moving object detection using stereo rectified images acquired from a moving aircraft |
CN102842118A (zh) * | 2012-07-17 | 2012-12-26 | 刘怡光 | 一种鲁棒的立体像对矫正新方法 |
US20140043447A1 (en) * | 2012-08-09 | 2014-02-13 | Sony Corporation | Calibration in the loop |
WO2014035204A1 (ko) * | 2012-08-30 | 2014-03-06 | (주)지에스엠솔루션 | 뷰 포인트에 따른 입체화 방법 |
WO2015035566A1 (en) * | 2013-09-11 | 2015-03-19 | Intel Corporation | Integrated presentation of secondary content |
US9813730B2 (en) * | 2013-12-06 | 2017-11-07 | Mediatek Inc. | Method and apparatus for fine-grained motion boundary processing |
CN104463949B (zh) * | 2014-10-24 | 2018-02-06 | 郑州大学 | 一种基于光场数字重聚焦的快速三维重建方法及其*** |
US10142613B2 (en) | 2015-09-03 | 2018-11-27 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing system, and image processing method |
TWI592020B (zh) * | 2016-08-23 | 2017-07-11 | 國立臺灣科技大學 | 投影機的影像校正方法及影像校正系統 |
JP7013144B2 (ja) * | 2016-10-12 | 2022-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10438362B2 (en) * | 2017-05-31 | 2019-10-08 | Here Global B.V. | Method and apparatus for homography estimation |
CN108399630B (zh) * | 2018-01-22 | 2022-07-08 | 北京理工雷科电子信息技术有限公司 | 一种复杂场景下感兴趣区域内目标快速测距方法 |
CN108470150A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征四维数据采集方法及装置 |
DE202018003266U1 (de) | 2018-07-13 | 2018-08-22 | Siemens Schweiz Ag | Überwachungseinrichtung für einen Brandmelder sowie Brandmelder mit einer derartigen Überwachungseinrichtung |
CN111294584B (zh) * | 2020-02-21 | 2020-11-20 | 当家移动绿色互联网技术集团有限公司 | 三维场景模型的展示方法、装置、存储介质及电子设备 |
CN117455767B (zh) * | 2023-12-26 | 2024-05-24 | 深圳金三立视频科技股份有限公司 | 全景图像拼接方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635392A (ja) * | 1992-07-20 | 1994-02-10 | Fujitsu Ltd | 立体表示装置 |
JPH06265322A (ja) * | 1993-03-11 | 1994-09-20 | Canon Inc | 複数画像からの視差検出方法 |
JP2006042361A (ja) * | 2004-07-27 | 2006-02-09 | Microsoft Corp | パターンを利用せずに画像間ホモグラフィによって複数のカメラを校正するためのシステムおよび方法 |
JP2006285609A (ja) * | 2005-03-31 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2008097444A (ja) * | 2006-10-13 | 2008-04-24 | Toyota Motor Corp | 画像処理装置 |
JP2008123019A (ja) * | 2006-11-08 | 2008-05-29 | Tokyo Institute Of Technology | 3次元サーフェス生成方法 |
WO2008156450A1 (en) * | 2007-06-20 | 2008-12-24 | Thomson Licensing | System and method for stereo matching of images |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
KR100755450B1 (ko) * | 2006-07-04 | 2007-09-04 | 중앙대학교 산학협력단 | 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법 |
DE102007013431B4 (de) * | 2007-03-15 | 2018-07-05 | Seereal Technologies S.A. | Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene mit korrigierter Sichtbarkeit |
JP4958610B2 (ja) * | 2007-04-06 | 2012-06-20 | キヤノン株式会社 | 画像防振装置、撮像装置及び画像防振方法 |
JP2010524383A (ja) * | 2007-04-09 | 2010-07-15 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
WO2009023044A2 (en) * | 2007-04-24 | 2009-02-19 | 21 Ct, Inc. | Method and system for fast dense stereoscopic ranging |
KR100899422B1 (ko) | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
CN101354796B (zh) * | 2008-09-05 | 2010-08-11 | 浙江大学 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
CN101383051B (zh) * | 2008-09-27 | 2011-03-23 | 四川虹微技术有限公司 | 一种基于图像重投影的视图合成方法 |
ES2400277B1 (es) | 2009-05-21 | 2014-04-24 | Intel Corporation | Técnicas para reconstrucción estéreo rápida a partir de imágenes |
-
2009
- 2009-05-21 ES ES201190072A patent/ES2400277B1/es not_active Expired - Fee Related
- 2009-05-21 DE DE112009005074T patent/DE112009005074T8/de active Active
- 2009-05-21 WO PCT/CN2009/000554 patent/WO2010133007A1/en active Application Filing
- 2009-05-21 SG SG2011079506A patent/SG175393A1/en unknown
- 2009-05-21 US US13/321,537 patent/US9053550B2/en active Active
- 2009-05-21 GB GB1118808.3A patent/GB2482447B/en active Active
- 2009-05-21 KR KR1020117030654A patent/KR101310589B1/ko active IP Right Grant
- 2009-05-21 JP JP2012511112A patent/JP5442111B2/ja not_active Expired - Fee Related
-
2015
- 2015-06-05 US US14/732,053 patent/US9652849B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635392A (ja) * | 1992-07-20 | 1994-02-10 | Fujitsu Ltd | 立体表示装置 |
JPH06265322A (ja) * | 1993-03-11 | 1994-09-20 | Canon Inc | 複数画像からの視差検出方法 |
JP2006042361A (ja) * | 2004-07-27 | 2006-02-09 | Microsoft Corp | パターンを利用せずに画像間ホモグラフィによって複数のカメラを校正するためのシステムおよび方法 |
JP2006285609A (ja) * | 2005-03-31 | 2006-10-19 | Canon Inc | 画像処理方法、画像処理装置 |
JP2008097444A (ja) * | 2006-10-13 | 2008-04-24 | Toyota Motor Corp | 画像処理装置 |
JP2008123019A (ja) * | 2006-11-08 | 2008-05-29 | Tokyo Institute Of Technology | 3次元サーフェス生成方法 |
WO2008156450A1 (en) * | 2007-06-20 | 2008-12-24 | Thomson Licensing | System and method for stereo matching of images |
Also Published As
Publication number | Publication date |
---|---|
KR101310589B1 (ko) | 2013-09-23 |
US9652849B2 (en) | 2017-05-16 |
GB201118808D0 (en) | 2011-12-14 |
US20150348266A1 (en) | 2015-12-03 |
US20120127171A1 (en) | 2012-05-24 |
ES2400277A2 (es) | 2013-04-08 |
JP5442111B2 (ja) | 2014-03-12 |
US9053550B2 (en) | 2015-06-09 |
DE112009005074T8 (de) | 2012-12-27 |
SG175393A1 (en) | 2011-12-29 |
GB2482447A (en) | 2012-02-01 |
DE112009005074T5 (de) | 2012-11-22 |
WO2010133007A1 (en) | 2010-11-25 |
ES2400277B1 (es) | 2014-04-24 |
ES2400277R1 (es) | 2013-07-16 |
KR20120093063A (ko) | 2012-08-22 |
GB2482447B (en) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5442111B2 (ja) | 画像から高速に立体構築を行なう方法 | |
JP7181977B2 (ja) | 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム | |
US9013482B2 (en) | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
US8452081B2 (en) | Forming 3D models using multiple images | |
US8447099B2 (en) | Forming 3D models using two images | |
US9098930B2 (en) | Stereo-aware image editing | |
US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
US20120293693A1 (en) | Image processing system, image processing method, and program | |
CN103810685A (zh) | 一种深度图的超分辨率处理方法 | |
KR101681095B1 (ko) | 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 | |
US9147279B1 (en) | Systems and methods for merging textures | |
WO2020237492A1 (zh) | 三维重建方法、装置、设备及存储介质 | |
US8670606B2 (en) | System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency | |
US8633926B2 (en) | Mesoscopic geometry modulation | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、*** | |
KR101454780B1 (ko) | 3d 모델의 텍스쳐 생성 방법 및 장치 | |
WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
TWI489859B (zh) | 影像形變方法及其電腦程式產品 | |
KR20110055032A (ko) | 전자기기에서 3차원 컨텐츠 생성 방법 및 장치 | |
WO2018014324A1 (zh) | 一种实时虚拟视点合成的方法及装置 | |
CN111899293B (zh) | Ar应用中的虚实遮挡处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5442111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |