JP7509509B2 - 被写体シルエット抽出装置、方法及びプログラム - Google Patents
被写体シルエット抽出装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7509509B2 JP7509509B2 JP2021008631A JP2021008631A JP7509509B2 JP 7509509 B2 JP7509509 B2 JP 7509509B2 JP 2021008631 A JP2021008631 A JP 2021008631A JP 2021008631 A JP2021008631 A JP 2021008631A JP 7509509 B2 JP7509509 B2 JP 7509509B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- silhouette
- model
- error
- error estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 74
- 238000000605 extraction Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000000916 dilatatory effect Effects 0.000 claims 2
- 230000010339 dilation Effects 0.000 claims 2
- 230000008602 contraction Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 230000007850 degeneration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011410 subtraction method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
なお、基準値Brefの設定が小さすぎる場合などには、繰り返しを重ねてもボクセル数差ΔBが基準値Bref以下に収束しない可能性もあるので、繰り返し回数が所定の上限値に達した時点で処理を打ち切るようにしてもよい。
Claims (14)
- カメラで撮影した動画像から被写体のシルエットを抽出する被写体シルエット抽出装置において、
動画像からカメラごとに被写体のシルエットを取得する手段と、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成する手段と、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算する手段と、
前記膨張量の計算結果に基づいて、カメラごとにシルエットの輪郭を膨張させる手段とを具備し、
前記誤差推定用3Dモデルを生成する手段が、
N台のカメラから抽出したシルエットに基づいて全カメラ3Dモデルを生成する手段と、
誤差推定対象カメラを切り換えながら当該誤差推定対象カメラを除く残りN-1台のカメラから抽出したシルエットに基づいて計N個の一部カメラ3Dモデルを生成する手段とを具備し、
前記膨張量を計算する手段は、全カメラ3Dモデルと各一部カメラ3Dモデルとの生成量差が大きいほど、各一部カメラ3Dモデルの生成に用いなかった誤差推定対象カメラの前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出装置。 - 前記膨張量を計算する手段は、前記カメラパラメータの推定誤差が最大値を示した誤差最大カメラの膨張量を計算し、
前記シルエットの輪郭を膨張させる手段は、前記誤差最大カメラの膨張量に基づいて当該誤差最大カメラのシルエットの輪郭を膨張させ、
前記全カメラ3Dモデルを生成する手段および一部カメラ3Dモデルを生成する手段は、前記誤差最大カメラのシルエットを、前記輪郭を膨張させたシルエットに更新して各3Dモデルを再生成し、
前記カメラパラメータの推定誤差の最大値が所定の基準値を下回るまで、前記誤差最大カメラのシルエット更新を繰り返すことを特徴とする請求項1に記載の被写体シルエット抽出装置。 - カメラで撮影した動画像から被写体のシルエットを抽出する被写体シルエット抽出装置において、
動画像からカメラごとに被写体のシルエットを取得する手段と、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成する手段と、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算する手段と、
前記膨張量の計算結果に基づいてカメラごとにシルエットの輪郭を膨張させる手段とを具備し、
前記膨張量を計算する手段は、誤差推定対象カメラを切り換えながら前記誤差推定用3Dモデルを各誤差推定対象カメラのカメラ平面へ投影してシェイプマスクを生成し、誤差推定対象カメラごとに、シルエットと前記シェイプマスクとの一致率が低いほど前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出装置。 - 前記膨張量を計算する手段は、カメラパラメータの推定誤差が最大値を示した誤差最大カメラの膨張量を計算し、
前記シルエットの輪郭を膨張させる手段は、前記誤差最大カメラの膨張量に基づいて当該誤差最大カメラのシルエットの輪郭を膨張させ、
前記誤差推定用3Dモデルを生成する手段は、前記誤差最大カメラのシルエットを、前記輪郭を膨張させたシルエットに更新して誤差推定用3Dモデルを再生成し、
前記カメラパラメータの推定誤差の最大値が所定の基準値を下回るまで、前記誤差最大カメラのシルエット更新を繰り返すことを特徴とする請求項3に記載の被写体シルエット抽出装置。 - 前記誤差推定用3Dモデルを生成する手段は、誤差推定対象カメラを含むN台のカメラから抽出したシルエットに基づいて全カメラ3Dモデルを生成することを特徴とする請求項3または4に記載の被写体シルエット抽出装置。
- 前記誤差推定用3Dモデルを生成する手段は、誤差推定対象カメラを除くN-1台のカメラから抽出したシルエットに基づいて計N個の一部カメラ3Dモデルを生成し、
前記膨張量を計算する手段は、誤差推定対象カメラから抽出したシルエットと当該誤差推定対象カメラから抽出したシルエットを用いずに生成した一部カメラ3Dモデルのシェイプマスクとの一致率が低いほど当該誤差推定対象カメラのカメラパラメータの推定誤差が大きいとすることを特徴とする請求項3または4に記載の被写体シルエット抽出装置。 - 前記誤差推定用3Dモデルを被写体ごとに分割する手段を更に具備し、
各被写体の3Dモデルを各カメラのカメラ平面に投影して各誤差推定用3Dモデルのシェイプマスクを生成し、
前記各3Dモデルを内包するバウンディングボックスの重心位置を前記各カメラ平面に投影し、
カメラごとに各シルエットの周辺領域内に属する各画素位置に、当該画素位置との距離が最も近い重心位置を有するバウンディングボックスとの関係に応じたカメラパラメータの推定誤差を採用することを特徴とする請求項3ないし6のいずれかに記載の被写体シルエット抽出装置。 - 前記各シルエットの周辺領域内に属する各画素位置に、当該画素位置との距離が最も近い重心位置を有するバウンディングボックスの3Dモデルに関するシェイプマスクと前記シルエットとの一致率に応じたカメラパラメータの推定誤差を採用することを特徴とする請求項7に記載の被写体シルエット抽出装置。
- 前記各シルエットの周辺領域内に属する各画素位置に、当該画素位置との距離が最も近い重心位置との当該距離に応じたカメラパラメータの推定誤差を採用することを特徴とする請求項7に記載の被写体シルエット抽出装置。
- 前記シルエットの輪郭を膨張させる手段が更に、被写体シルエットの輪郭を所定量だけ縮退させる輪郭縮退処理手段を具備し、
被写体シルエットの輪郭に対して縮退および膨張の各処理を当該順序で少なくとも一回繰り返すことを特徴とする請求項1ないし9のいずれかに記載の被写体シルエット抽出装置。 - カメラで撮影した動画像から被写体のシルエットをコンピュータが抽出する被写体シルエット抽出方法において、
動画像からカメラごとに被写体のシルエットを取得し、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成し、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算し、
前記膨張量の計算結果に基づいて、カメラごとにシルエットの輪郭を膨張させ、
前記誤差推定用3Dモデルの生成では、
N台のカメラから抽出したシルエットに基づいて全カメラ3Dモデルを生成し、
誤差推定対象カメラを切り換えながら当該誤差推定対象カメラを除く残りN-1台のカメラから抽出したシルエットに基づいて計N個の一部カメラ3Dモデルを生成し、
前記膨張量の計算では、全カメラ3Dモデルと各一部カメラ3Dモデルとの生成量差が大きいほど、各一部カメラ3Dモデルの生成に用いなかった誤差推定対象カメラの前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出方法。 - カメラで撮影した動画像から被写体のシルエットを抽出する被写体シルエット抽出プログラムにおいて、
動画像からカメラごとに被写体のシルエットを取得する手順と、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成する手順と、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算する手順と、
前記膨張量の計算結果に基づいて、カメラごとにシルエットの輪郭を膨張させる手順と、をコンピュータに実行させ、
前記誤差推定用3Dモデルを生成する手順が、
N台のカメラから抽出したシルエットに基づいて全カメラ3Dモデルを生成する手順と、
誤差推定対象カメラを切り換えながら当該誤差推定対象カメラを除く残りN-1台のカメラから抽出したシルエットに基づいて計N個の一部カメラ3Dモデルを生成する手順とを含み、
前記膨張量を計算する手順は、全カメラ3Dモデルと各一部カメラ3Dモデルとの生成量差が大きいほど、各一部カメラ3Dモデルの生成に用いなかった誤差推定対象カメラの前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出プログラム。 - カメラで撮影した動画像から被写体のシルエットをコンピュータが抽出する被写体シルエット抽出方法において、
動画像からカメラごとに被写体のシルエットを取得し、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成し、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算し、
前記膨張量の計算結果に基づいてカメラごとにシルエットの輪郭を膨張させ、
前記膨張量の計算では、誤差推定対象カメラを切り換えながら前記誤差推定用3Dモデルを各誤差推定対象カメラのカメラ平面へ投影してシェイプマスクを生成し、誤差推定対象カメラごとに、シルエットと前記シェイプマスクとの一致率が低いほど前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出方法。 - カメラで撮影した動画像から被写体のシルエットを抽出する被写体シルエット抽出プログラムにおいて、
動画像からカメラごとに被写体のシルエットを取得する手順と、
各シルエットの前景部分を、カメラごとに推定したカメラパラメータを用いて3次元ワールド座標に投影して生成した視錐体に基づいて誤差推定用3Dモデルを生成する手順と、
前記誤差推定用3Dモデルの形状に基づいて、カメラごとにシルエットの輪郭を膨張させる際の膨張量を計算する手順と、
前記膨張量の計算結果に基づいてカメラごとにシルエットの輪郭を膨張させる手順と、をコンピュータに実行させ、
前記膨張量を計算する手順は、誤差推定対象カメラを切り換えながら前記誤差推定用3Dモデルを各誤差推定対象カメラのカメラ平面へ投影してシェイプマスクを生成し、誤差推定対象カメラごとに、シルエットと前記シェイプマスクとの一致率が低いほど前記カメラパラメータの推定誤差が大きいものとして、当該推定誤差が大きいほど膨張量が多くなるように計算することを特徴とする被写体シルエット抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021008631A JP7509509B2 (ja) | 2021-01-22 | 2021-01-22 | 被写体シルエット抽出装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021008631A JP7509509B2 (ja) | 2021-01-22 | 2021-01-22 | 被写体シルエット抽出装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022112724A JP2022112724A (ja) | 2022-08-03 |
JP7509509B2 true JP7509509B2 (ja) | 2024-07-02 |
Family
ID=82656991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021008631A Active JP7509509B2 (ja) | 2021-01-22 | 2021-01-22 | 被写体シルエット抽出装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7509509B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067726A (ja) | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2018205788A (ja) | 2017-05-30 | 2018-12-27 | Kddi株式会社 | シルエット抽出装置、方法およびプログラム |
-
2021
- 2021-01-22 JP JP2021008631A patent/JP7509509B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067726A (ja) | 2001-08-27 | 2003-03-07 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2018205788A (ja) | 2017-05-30 | 2018-12-27 | Kddi株式会社 | シルエット抽出装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022112724A (ja) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109636732B (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
CN100514367C (zh) | 基于彩色分割的立体3d重构***和方法 | |
CN106875437B (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
WO2018082185A1 (zh) | 图像处理方法和装置 | |
EP0952552A2 (en) | Method for generating 2-D images from 3-D video data | |
CN110189339A (zh) | 深度图辅助的主动轮廓抠图方法及*** | |
CN114693760A (zh) | 图像校正方法、装置及***、电子设备 | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
CN103310420B (zh) | 基于纹理与几何相似性的彩色图像空洞修复方法及*** | |
CN111914913B (zh) | 一种新型立体匹配优化方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
CN110866882A (zh) | 基于深度置信度的分层联合双边滤波深度图修复算法 | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及*** | |
CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与*** | |
JP2001076161A (ja) | 画像処理方法及び装置並びに記憶媒体 | |
CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN113344941A (zh) | 一种基于聚焦图像的深度估计方法及图像处理装置 | |
JP7509509B2 (ja) | 被写体シルエット抽出装置、方法及びプログラム | |
CN114677393B (zh) | 深度图像处理方法、装置、摄像设备、会议***及介质 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
JP7491830B2 (ja) | 被写体シルエット抽出装置、方法及びプログラム | |
CN113888614B (zh) | 深度恢复方法、电子设备和计算机可读存储介质 | |
CN115631223A (zh) | 基于自适应学习和聚合的多视图立体重建方法 | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
CN110490877B (zh) | 基于Graph Cuts的双目立体图像对目标分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240619 |