JP2015508584A - 非同期センサに依存するシーンの3d再構成の方法 - Google Patents
非同期センサに依存するシーンの3d再構成の方法 Download PDFInfo
- Publication number
- JP2015508584A JP2015508584A JP2014545307A JP2014545307A JP2015508584A JP 2015508584 A JP2015508584 A JP 2015508584A JP 2014545307 A JP2014545307 A JP 2014545307A JP 2014545307 A JP2014545307 A JP 2014545307A JP 2015508584 A JP2015508584 A JP 2015508584A
- Authority
- JP
- Japan
- Prior art keywords
- event
- sensors
- events
- sensor
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 12
- 239000007787 solid Substances 0.000 claims abstract description 7
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサの実現であって、センサの各々は、シーンから生じる基本受信器によって受信した信号の物理的な特性に応答することと、
センサによって生成された信号を用いるセンサの各々の基本受信器の整合を行うステップを含む3Dアルゴリズムの実現と、
を含むシーンの3D再構成の方法を提案する。
量eが変化した値を有する画素の識別を可能にするデータ、この場合、対応する画素Pxyの座標x,yと、
値の変化の瞬時と、
画素によって検知された信号の変化の指標、この場合、この変化の際に量eによって到達した値(−1;1)を取り出すこと(以後、イベントの値)と、
によって識別することができる。
選択した右側イベントの各々に対して、対応する画素と右側カメラの焦点面のエピポーラ線L1との間の距離を算出し、それは、左側イベントにリンクした画素P1に対応する。したがって、このように決定した距離が所定の制限Dより上である右側イベントの全てが除外される。好適には、考慮する距離はユークリッド距離である。
左側イベントと同一の値を有しない選択した右側イベントの全てを除外する。したがって、左側イベントが光度の増大に対応する場合、光度の増大に対応する右側イベントのみを保持する。
一意性の原理の適用に従って、既に整合が行われた選択した右側イベントの全てを除外する。
Claims (9)
- 個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサ(C1,C2)の実現であって、前記センサの各々は、前記シーンから生じる前記基本受信器によって受信した信号の物理的な特性に応答することと、
前記センサによって生成された信号を用いる前記センサの各々の前記基本受信器の整合を行うステップを含む3Dアルゴリズムの実現と、
を含むシーンの3D再構成の方法において、
所定の瞬時に前記基本受信器の一つによって受信した信号の変化をそれぞれ表すイベント(Ei)の非同期ストリームを出すようにそれぞれが適合されたセンサの使用を含み、前記整合は、センサの各々によって生成されたイベントを時間的に近接するイベントを選択することによって互いに整合することからなることを特徴とする方法。 - 各イベントは、
生成したイベントを有する前記基本受信器を識別することができるデータと、
前記基本受信器によって検知されるとともに前記基本受信器によって受信した信号が増大した場合の第1の値及び前記基本受信器によって受信した信号が減少した場合の第2の値を少なくともとる、前記信号の変化の標識と、
前記信号の変化の発生の瞬時と、
を備える請求項1に記載の方法。 - 前記整合は、発生の所定の瞬時での第1のセンサによって生成されたソースイベントに対する、第2のセンサによって生成されるとともに前記ソースイベントの発生の瞬時(t)の周辺の所定の幅(ΔT)の時間窓で生じる任意のイベントの選択を備える請求項2に記載の方法。
- 前記センサは焦点面を有し、選択したイベントの各々に対して、前記選択したイベントを有する前記基本受信器に対応する前記第2のセンサの焦点面のポイントと前記生成されたソースイベントを有する前記第1のセンサの前記基本受信器に関連する前記焦点面のエピポーラ線との間の距離を算出し、その後、そのように決定した距離が所定の制限Dより上である前記選択したイベントの全てを除外する請求項3に記載の方法。
- 標識が前記ソースイベントと同一の値を有しない前記選択したイベントの全てを除外する請求項3に記載の方法。
- 整合が既に行われた前記選択したイベントの全てを除外する請求項3に記載の方法。
- 少なくとも三つの非同期センサ(C1,C2,C3)を実現し、時間的な選択後、センサの各々によって生成されたイベントを保持し、保持されたイベントの各々が、対応する焦点面における他の保持されたイベントによって生成されたエピポーラ線の交点で見つけられる請求項1に記載の方法。
- 前記センサは、前記非同期ストリームを生成するように適合された後処理と組み合わせられるCCD又はCMOS型のカメラを備える請求項1に記載の方法。
- 前記センサは、イベントの非同期ストリームを供給するようイベントを生成するために光度の相対変化を独立して連続的に定量化する受信器を含むタイプのものとする請求項1に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1161320 | 2011-12-08 | ||
FR1161320A FR2983998B1 (fr) | 2011-12-08 | 2011-12-08 | Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones |
PCT/EP2012/074989 WO2013083848A1 (fr) | 2011-12-08 | 2012-12-10 | Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015508584A true JP2015508584A (ja) | 2015-03-19 |
JP6087947B2 JP6087947B2 (ja) | 2017-03-01 |
Family
ID=47324168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014545307A Active JP6087947B2 (ja) | 2011-12-08 | 2012-12-10 | 非同期センサに依存するシーンの3d再構成の方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US9628777B2 (ja) |
EP (1) | EP2789166B1 (ja) |
JP (1) | JP6087947B2 (ja) |
KR (1) | KR101601263B1 (ja) |
CN (1) | CN104205822B (ja) |
AU (1) | AU2012350230B2 (ja) |
CA (1) | CA2858278C (ja) |
FR (1) | FR2983998B1 (ja) |
WO (1) | WO2013083848A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102302A1 (ja) * | 2020-11-10 | 2022-05-19 | ソニーセミコンダクタソリューションズ株式会社 | 形状測定システム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2983998B1 (fr) * | 2011-12-08 | 2016-02-26 | Univ Pierre Et Marie Curie Paris 6 | Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones |
EP2887009A1 (en) | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
FR3033973A1 (fr) * | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie Paris 6 | Procede de reconstruction 3d d'une scene |
CN105203045B (zh) * | 2015-07-02 | 2018-07-06 | 天津师范大学 | 一种基于异步时域视觉传感器的产品形状完整性检测***及检查方法 |
US11080523B2 (en) * | 2016-09-09 | 2021-08-03 | Centre National de la Recherche Scientifique—CNRS | Method for pattern recognition in a plurality of signals |
EP3694202A1 (en) | 2019-02-11 | 2020-08-12 | Prophesee | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor |
JP2022532410A (ja) * | 2019-05-16 | 2022-07-14 | プロフジー | オブジェクトのモーションをキャプチャするための方法、およびモーションキャプチャシステム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04191607A (ja) * | 1990-11-26 | 1992-07-09 | Toshiba Corp | 3次元計測方法 |
JPH0719832A (ja) * | 1993-06-21 | 1995-01-20 | Canon Inc | 複数画像の対応点抽出方法 |
JPH0749944A (ja) * | 1993-08-04 | 1995-02-21 | Canon Inc | 画像処理方法およびその装置 |
JP2004234423A (ja) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
JP2005244916A (ja) * | 1998-08-28 | 2005-09-08 | Imax Corp | 画像処理装置 |
JP2010510732A (ja) * | 2006-11-23 | 2010-04-02 | エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8150100B2 (en) * | 2006-11-13 | 2012-04-03 | University Of Connecticut, Center For Science And Technology Commercialization | System and method for recognition of a three-dimensional target |
FR2983998B1 (fr) * | 2011-12-08 | 2016-02-26 | Univ Pierre Et Marie Curie Paris 6 | Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones |
US9786253B2 (en) * | 2012-01-25 | 2017-10-10 | Lumenco, Llc | Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses |
US9386298B2 (en) * | 2012-11-08 | 2016-07-05 | Leap Motion, Inc. | Three-dimensional image sensors |
-
2011
- 2011-12-08 FR FR1161320A patent/FR2983998B1/fr not_active Expired - Fee Related
-
2012
- 2012-12-10 AU AU2012350230A patent/AU2012350230B2/en not_active Ceased
- 2012-12-10 JP JP2014545307A patent/JP6087947B2/ja active Active
- 2012-12-10 WO PCT/EP2012/074989 patent/WO2013083848A1/fr active Application Filing
- 2012-12-10 US US14/363,681 patent/US9628777B2/en active Active
- 2012-12-10 CN CN201280067033.7A patent/CN104205822B/zh active Active
- 2012-12-10 KR KR1020147018454A patent/KR101601263B1/ko active IP Right Grant
- 2012-12-10 EP EP12798309.6A patent/EP2789166B1/fr active Active
- 2012-12-10 CA CA2858278A patent/CA2858278C/fr not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04191607A (ja) * | 1990-11-26 | 1992-07-09 | Toshiba Corp | 3次元計測方法 |
JPH0719832A (ja) * | 1993-06-21 | 1995-01-20 | Canon Inc | 複数画像の対応点抽出方法 |
JPH0749944A (ja) * | 1993-08-04 | 1995-02-21 | Canon Inc | 画像処理方法およびその装置 |
JP2005244916A (ja) * | 1998-08-28 | 2005-09-08 | Imax Corp | 画像処理装置 |
JP2004234423A (ja) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
JP2010510732A (ja) * | 2006-11-23 | 2010-04-02 | エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ |
Non-Patent Citations (1)
Title |
---|
JPN5015001623; BENOSMAN RYAD: 'ASYNCHRONOUS EVENT-BASED HEBBIAN EPIPOLAR GEOMETRY' IEEE TRANSACTIONS ON NEURAL NETWORKS V22 N11, 20111101, P1723-1734, IEEE SERVICE CENTER * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102302A1 (ja) * | 2020-11-10 | 2022-05-19 | ソニーセミコンダクタソリューションズ株式会社 | 形状測定システム |
Also Published As
Publication number | Publication date |
---|---|
AU2012350230B2 (en) | 2017-03-30 |
WO2013083848A1 (fr) | 2013-06-13 |
CA2858278A1 (fr) | 2013-06-13 |
AU2012350230A1 (en) | 2014-07-03 |
JP6087947B2 (ja) | 2017-03-01 |
KR20140109406A (ko) | 2014-09-15 |
EP2789166B1 (fr) | 2017-02-08 |
CN104205822B (zh) | 2016-10-19 |
US20140333730A1 (en) | 2014-11-13 |
FR2983998A1 (fr) | 2013-06-14 |
KR101601263B1 (ko) | 2016-03-08 |
FR2983998B1 (fr) | 2016-02-26 |
CA2858278C (fr) | 2017-08-01 |
US9628777B2 (en) | 2017-04-18 |
EP2789166A1 (fr) | 2014-10-15 |
CN104205822A (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6087947B2 (ja) | 非同期センサに依存するシーンの3d再構成の方法 | |
US11615546B2 (en) | Systems and methods for depth estimation using generative models | |
CN107396080B (zh) | 产生深度信息的方法及*** | |
WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
JP6551743B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010113720A (ja) | 距離情報を光学像と組み合わせる方法及び装置 | |
CN105376484A (zh) | 一种图像处理方法及终端 | |
JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
WO2019146510A1 (ja) | 画像処理装置 | |
CN112470189B (zh) | 光场***的遮挡消除 | |
TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
CN108805921A (zh) | 图像获取***及方法 | |
WO2014171438A1 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP6305232B2 (ja) | 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。 | |
JP6602412B2 (ja) | 情報処理装置及び方法、情報処理システム、ならびにプログラム。 | |
JP2006302195A (ja) | 画像処理方法及び画像処理装置 | |
CN115598744A (zh) | 一种基于微透镜阵列的高维光场事件相机及提取方法 | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
CN110068308B (zh) | 一种基于多目相机的测距方法及测距*** | |
CN105491277B (zh) | 图像处理方法和电子设备 | |
CN110274573B (zh) | 双目测距方法、装置、设备、存储介质及计算设备 | |
TWI785332B (zh) | 基於光標籤的場景重建系統 | |
CN109556574B (zh) | 一种基于小凹***的位姿检测*** | |
JP2011182325A (ja) | 撮像装置 | |
TWM600974U (zh) | 基於光標籤的場景重建系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6087947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |