JP2022522504A - 画像の奥行きマップの処理 - Google Patents
画像の奥行きマップの処理 Download PDFInfo
- Publication number
- JP2022522504A JP2022522504A JP2021551897A JP2021551897A JP2022522504A JP 2022522504 A JP2022522504 A JP 2022522504A JP 2021551897 A JP2021551897 A JP 2021551897A JP 2021551897 A JP2021551897 A JP 2021551897A JP 2022522504 A JP2022522504 A JP 2022522504A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- depth map
- image
- value
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000008878 coupling Effects 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 16
- 238000005859 coupling reaction Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 1
- 238000013459 approach Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
Description
は、ステップ501について説明されたように少なくとも1つが生成される候補奥行き値zi
のセットの加重平均であってもよい。この場合、重み付け結合は、以下のように与えられるフィルタ関数に対応し得る。
ここで、
はビューkのピクセル位置(u, v)における更新された奥行き値であり、ziはi番目の入力候補奥行き値であり、wiは i番目の入力候補奥行き値の重みである。
1.画像座標(u,v)lは、カメラ(l)のカメラ固有のパラメータ(焦点距離、主点)を用いて、3D空間(x,y,z)l中のz_lを用いて投影解除される。
2.カメラ(l)の座標系(x,y,z)lにある未投影の点は、それらの相対的な外部パラメータ(カメラ回転行列Rと並進ベクトルt)を用いて、カメラ(k)の座標系(x,y,z)kに変換される。
3.最後に、(kのカメラ固有値を使用して)点(x,y,z)kがカメラ(k)の画像平面に投影され、画像座標(u,v)kが得られる。
ここで、ekl(zi)は、候補ziを所与としたビューkとビューlとの間のマッチ誤差である。マッチ誤差は、例えば、単一ピクセルに対する色差に依存し得るか、あるいは、ピクセル位置(u,v)の周りの空間平均として計算され得る。ビュー(l≠k)にわたる最小のマッチ誤差を計算する代わりに、平均値や中央値などを使用してもよい。多くの実施形態では、この評価関数は、好ましくは、遮蔽によって引き起こされるマッチ誤差異常値に対してロバストである。
ここで、f((u,v)l; zl)は、奥行き値zlを用いた隣接するビューlからビューkへ逆投影された画像座標を示す。ノルム
は、L1またはL2、あるいは任意の他のノルムであってもよい。信頼値は、この値の単調減少関数として決定されることができる。
Claims (15)
- 奥行きマップを処理する方法であって、
異なるビューポーズからのシーンを表す複数の画像および対応する奥行きマップを受信するステップと、
前記対応する奥行きマップのうちの第1奥行きマップの奥行き値を、前記対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて更新するステップであって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、ステップと、
を有し、
前記更新するステップは、
前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、
前記第1奥行きマップ位置のための複数の奥行き候補値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、
を有し、
前記第1奥行き値を決定するステップは、
前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、
前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、
前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、
前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、
を有する、方法。 - 前記第1候補奥行き値を決定するステップが、前記第2値および前記第1奥行きマップの第1の元の奥行き値のうちの少なくとも1つに基づく前記第1画像の第1ビューポーズと前記第2画像の第2ビューポーズとの間の投影により、前記第1奥行きマップ位置に対する前記第2奥行きマップ位置を決定することを含む、請求項1に記載の方法。
- 前記重み付け結合が、前記第1奥行きマップ位置に応じて決定された前記第2奥行きマップの領域から決定された候補奥行き値を含む、請求項1または2に記載の方法。
- 前記第2奥行きマップの前記領域が前記第2奥行きマップ位置の周りの領域として決定され、前記第2奥行きマップ位置が、前記第1奥行きマップ中の前記第1奥行きマップ位置に等しい前記第2奥行きマップ中の奥行きマップ位置として決定される、請求項3に記載の方法。
- 前記第2奥行きマップの前記領域が、前記第1奥行きマップ位置における前記第1奥行きマップ中の元の奥行き値に基づく前記第1奥行きマップ位置からの投影により決定される前記第2奥行きマップ中の位置の周りの領域として決定される
請求項3に記載の方法。 - 前記第2奥行きマップ位置に対する前記第2画像中の画像ピクセル値と前記第1奥行きマップ位置に対する前記第1画像中の前記画像ピクセル値との間の差を示す第2マッチ誤差指標を決定するステップをさらに有し、前記第1重みを決定するステップが、前記第2マッチ誤差指標にも応じて行われる、請求項1から請求項5のいずれか一項に記載の方法。
- 前記第1奥行きマップ位置に対応する奥行きマップ位置に対する他の画像中の画像ピクセル値と前記第1奥行きマップ位置に対する前記第1画像中の前記画像ピクセル値との間の差を示す追加のマッチ誤差指標を決定するステップをさらに有し、前記第1重みを決定するステップが、前記追加のマッチ誤差指標にも応じて行われる、請求項1から請求項6のいずれか一項に記載の方法。
- 前記重み付け結合が、前記第1奥行きマップ位置の周りの領域における前記第1奥行きマップの奥行き値を含む、請求項1から請求項7のいずれか一項に記載の方法。
- 前記第1重みが、前記第1候補奥行き値の信頼値に依存する、請求項1から請求項8のいずれか一項に記載の方法。
- 信頼値が閾値を下回る前記第1奥行きマップの奥行き値のみが更新される、請求項1から請求項9のいずれか一項に記載の方法。
- 前記重み付け結合に含めるために、前記第2奥行きマップの奥行き値のセットを、当該奥行き値のセットの奥行き値が閾値以上の信頼値を有していなければならないという要件に従って、選択するステップをさらに有する、請求項1から請求項10のいずれか一項に記載の方法。
- 所与の奥行きマップ中の所与の奥行き値に対する所与の奥行きマップ位置を、複数の前記対応する奥行きマップ中の対応する位置に投影するステップと、
前記所与の奥行き値と前記複数の前記対応する奥行きマップ中の前記対応する位置における奥行き値とを有する奥行き値のセットに対する変動尺度を決定するステップと、
前記変動尺度に応じて前記所与の奥行きマップ位置に対する信頼値を決定するステップと、
をさらに有する、請求項1から請求項11のいずれか一項に記載の方法。 - 所与の奥行きマップ中の所与の奥行き値に対する所与の奥行きマップ位置を、他の奥行きマップ中の対応する位置に投影するステップであって、当該投影が、前記所与の奥行き値に基づく、ステップと、
前記他の奥行きマップ中の前記対応する位置を、前記所与の奥行きマップ中のテスト位置に投影するステップであって、当該投影が、前記他の奥行きマップ中の前記対応する位置における奥行き値に基づくステップと、
前記所与の奥行きマップ位置と前記テスト位置との間の距離に応じて前記所与の奥行きマップ位置に対する信頼値を決定するステップと、
をさらに有する、請求項1から請求項12のいずれか一項に記載の方法。 - 奥行きマップを処理するための装置であって、
異なるビューポーズからのシーンを表す複数の画像と対応する奥行きマップとを受信するための受信機と、
前記対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて、前記対応する奥行きマップのうちの第1奥行きマップの奥行き値を更新するステップを実行するための更新器であって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、更新器と、
を有し、
前記更新するステップは、前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、
前記第1奥行きマップ位置のための複数の候補奥行き値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、
を有し、
前記第1奥行き値を決定するステップは、
前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、
前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、
前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、
前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、
を有する装置。 - コンピュータにより実行され、当該コンピュータに請求項1から請求項13のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19160805.8 | 2019-03-05 | ||
EP19160805.8A EP3706070A1 (en) | 2019-03-05 | 2019-03-05 | Processing of depth maps for images |
PCT/EP2020/055565 WO2020178289A1 (en) | 2019-03-05 | 2020-03-03 | Processing of depth maps for images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022522504A true JP2022522504A (ja) | 2022-04-19 |
JP7480163B2 JP7480163B2 (ja) | 2024-05-09 |
Family
ID=65729098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551897A Active JP7480163B2 (ja) | 2019-03-05 | 2020-03-03 | 画像の奥行きマップの処理 |
Country Status (9)
Country | Link |
---|---|
US (1) | US12026903B2 (ja) |
EP (2) | EP3706070A1 (ja) |
JP (1) | JP7480163B2 (ja) |
KR (1) | KR20210134956A (ja) |
CN (1) | CN113795863A (ja) |
BR (1) | BR112021017545A2 (ja) |
CA (1) | CA3131980A1 (ja) |
TW (1) | TW202101374A (ja) |
WO (1) | WO2020178289A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4013049A1 (en) | 2020-12-09 | 2022-06-15 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
US20230083014A1 (en) * | 2021-09-14 | 2023-03-16 | Black Sesame Technologies Inc. | Depth estimation based on data fusion of image sensor and depth sensor frames |
EP4344237A1 (en) * | 2022-09-21 | 2024-03-27 | Koninklijke Philips N.V. | Generation of depth maps for images |
CN117805607B (zh) * | 2024-02-29 | 2024-05-07 | 山西漳电科学技术研究院(有限公司) | 发电厂直流***直流级差配合试验方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010087955A1 (en) | 2009-01-30 | 2010-08-05 | Thomson Licensing | Coding of depth maps |
US20120274626A1 (en) * | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
JP5949314B2 (ja) | 2012-08-20 | 2016-07-06 | 株式会社日本自動車部品総合研究所 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
SG11201500910RA (en) * | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
GB2524478A (en) * | 2014-03-20 | 2015-09-30 | Nokia Technologies Oy | Method, apparatus and computer program product for filtering of media content |
GB2532003A (en) * | 2014-10-31 | 2016-05-11 | Nokia Technologies Oy | Method for alignment of low-quality noisy depth map to the high-resolution colour image |
JP7054803B2 (ja) | 2017-07-21 | 2022-04-15 | パナソニックIpマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
US11024046B2 (en) * | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
FR3088510A1 (fr) * | 2018-11-09 | 2020-05-15 | Orange | Synthese de vues |
-
2019
- 2019-03-05 EP EP19160805.8A patent/EP3706070A1/en not_active Withdrawn
-
2020
- 2020-03-03 EP EP20706553.3A patent/EP3935602A1/en active Pending
- 2020-03-03 JP JP2021551897A patent/JP7480163B2/ja active Active
- 2020-03-03 KR KR1020217031762A patent/KR20210134956A/ko unknown
- 2020-03-03 CN CN202080033592.0A patent/CN113795863A/zh active Pending
- 2020-03-03 CA CA3131980A patent/CA3131980A1/en active Pending
- 2020-03-03 BR BR112021017545A patent/BR112021017545A2/pt unknown
- 2020-03-03 US US17/436,097 patent/US12026903B2/en active Active
- 2020-03-03 WO PCT/EP2020/055565 patent/WO2020178289A1/en unknown
- 2020-03-05 TW TW109107250A patent/TW202101374A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
BR112021017545A2 (pt) | 2021-11-09 |
KR20210134956A (ko) | 2021-11-11 |
US20220148207A1 (en) | 2022-05-12 |
JP7480163B2 (ja) | 2024-05-09 |
EP3706070A1 (en) | 2020-09-09 |
WO2020178289A1 (en) | 2020-09-10 |
EP3935602A1 (en) | 2022-01-12 |
CN113795863A (zh) | 2021-12-14 |
US12026903B2 (en) | 2024-07-02 |
TW202101374A (zh) | 2021-01-01 |
CA3131980A1 (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7480163B2 (ja) | 画像の奥行きマップの処理 | |
JP7480065B2 (ja) | 画像データストリームを生成するための装置および方法 | |
KR102546358B1 (ko) | 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법 | |
US11694390B2 (en) | Apparatus and method for generating images of a scene | |
CN113170213A (zh) | 图像合成 | |
CN113366825B (zh) | 用于生成表示场景的图像信号的装置和方法 | |
EP3932081B1 (en) | Apparatus and method of generating an image signal | |
JP7471307B2 (ja) | シーンの画像表現 | |
TWI846808B (zh) | 表示場景之影像信號 | |
EP4114008A1 (en) | Image generation | |
US20220174259A1 (en) | Image signal representing a scene | |
JP2022504883A (ja) | 画像生成装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7480163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |