JP5295044B2 - マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム - Google Patents
マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム Download PDFInfo
- Publication number
- JP5295044B2 JP5295044B2 JP2009196502A JP2009196502A JP5295044B2 JP 5295044 B2 JP5295044 B2 JP 5295044B2 JP 2009196502 A JP2009196502 A JP 2009196502A JP 2009196502 A JP2009196502 A JP 2009196502A JP 5295044 B2 JP5295044 B2 JP 5295044B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- pixel
- mask
- image
- voxel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 claims description 55
- 238000010276 construction Methods 0.000 claims description 28
- 230000007547 defect Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
Description
(1)被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、単純な背景差分を適用することで初期のマスク画像を取得した上で、視体積交差法を適用することで初期のボクセルデータを構築する。
(2)上記で得られたボクセルデータからスライス画像を抽出し、各スライス画像にメディアンフィルタをかけることにより、ボクセルデータの穴を埋めていき、この穴埋めに用いられた各ボクセルをマスク画像に投影し、当該ピクセルを白色ピクセルにすることで各マスク画像の穴を埋める。
(3)上記の穴埋め処理されたボクセルデータ全体を各撮影視点に投影した画像と、上記のマスク画像の双方が白色であるピクセルのみを、各撮影視点における新たなマスク画像の白色ピクセルとすることで、上記穴埋めされた各マスク画像の不要部を除去する。
√{(r1−r2)2+(g1−g2)2+(b1−b2)2}
で表される。y座標が0〜255であった場合、一定の閾値は、例えば、50とする。
Claims (12)
- 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出する方法であって、
前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像をプロセッサが抽出する第1の抽出ステップと、
前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータをプロセッサが構築する第1の構築ステップと、
前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータをプロセッサが構築する第2の構築ステップと、
前記第2の3次元ボクセルデータを基に、前記複数の第1のマスク画像の欠損を充填する及び/又はノイズを除去する、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像をプロセッサが抽出する第2の抽出ステップと、
を含み、
前記第2の抽出ステップは、前記第2の3次元ボクセルデータにおいて、欠損が充填された3次元座標を各撮影視点に投影し、前記複数の第1のマスク画像における対応画素が欠損を生じている場合は充填して複数の第1のサブマスク画像を抽出し、前記第2の3次元ボクセルデータを各撮影視点に投影し、複数の第2のサブマスク画像を抽出し、該複数の第2のサブマスク画像にフィルタ処理を施し、フィルタ処理された複数の第2のサブマスク画像と前記複数の第1のサブマスク画像の両画像において充填されている画素のみを被写体存在を表す領域とし、それ以外の画素を被写体が存在しない領域とすることで、複数の第3のサブマスク画像を抽出し、該複数の第3のサブマスク画像を閉領域に分割し、所定の条件を満たす閉領域を除去することで、複数の第4のサブマスク画像を抽出し、該複数の第4のサブマスク画像について、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出するステップであり、
前記色情報をもとにした加工は、
前記第2の3次元ボクセルデータの床面から一定の高さ以下であるボクセルを撮影視点に投影することで前記第4のサブマスク画像中の第1の不要部除去候補を決定するサブステップと、
前記第1の不要部除去候補に含まれる各画素について、画素値を色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を第2の不要部除去候補とするサブステップと、
前記第2の不要部除去候補に含まれる各画素について光線を探索し、前記第3の3次元ボクセルデータとの交点が床面から一定の高さ以下である画素を不要画素とするサブステップと、
前記不要画素を前記第4のサブマスク画像から除去するサブステップと、
を含むことを特徴とする複数のマスク画像を抽出する方法。 - 前記色情報をもとにした加工は、
前記第4のサブマスク画像から輪郭を抽出し、第1の不要部除去候補を決定するサブステップと、
前記第1の不要部除去候補に含まれる各画素について、画素値を色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を第2の不要部除去候補とするサブステップと、
前記第2の不要部除去候補に含まれる各画素について、該画素の両隣の視点における前記第2の不要部除去候補の対応画素を決定するサブステップと、
前記第2の不要部除去候補の対応画素について、画素値を前記色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を不要画素とするサブステップと、
前記不要画素を前記第4のサブマスク画像から除去するサブステップと、
を含むことを特徴とする請求項1に記載の複数のマスク画像を抽出する方法。 - 複数枚の被写体画像を予め色情報に基づき領域分割し、各撮影視点のマスク画像中における前記不要画素が属する領域を除去するサブステップをさらに含むことを特徴とする請求項1または2に記載の複数のマスク画像を抽出する方法。
- 前記色情報に基づく特徴空間は、RGB空間またはHSV空間であることを特徴とする請求項1から3のいずれか1項に記載の複数のマスク画像を抽出する方法。
- 前記不要画素とするサブステップは、
前記第2の不要部除去候補の対応画素について、被写体画像及び/又は背景画像の色補正を行い、画素値を前記色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を不要画素とし、該閾値は前記色補正に基づいて変化することを特徴とする請求項2に記載の複数のマスク画像を抽出する方法。 - 前記複数の第2のマスク画像を、前記第1の構築ステップにおける複数の第1のマスク画像とすることで、前記第1の構築ステップから前記第2の抽出ステップまでを所定の回数繰り返すことを特徴とする請求項1から5のいずれか1項に記載の複数のマスク画像を抽出する方法。
- 前記第2の構築ステップは、
前記第1の3次元ボクセルデータの複数の第1のスライス画像を、x軸、y軸及びz軸方向から獲得するサブステップと、
前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理の結果に基づき第2の3次元ボクセルデータを構築するサブステップと、
を含むことを特徴とする請求項1から6のいずれか1項に記載の複数のマスク画像を抽出する方法。 - 前記第2の3次元ボクセルデータを構築するサブステップは、
前記複数の第1のスライス画像にフィルタ処理を施し、該フィルタ処理により白色になった画素を求め、該画素に対応する前記第1の3次元ボクセルデータの3次元座標を埋めることで、第2の3次元ボクセルデータを構築するステップであることを特徴とする請求項7に記載の複数のマスク画像を抽出する方法。 - 前記第2の抽出ステップ後に、前記複数の第5のマスク画像にフィルタ処理を施すステップをさらに含むことを特徴とする請求項1から8のいずれか1項に記載の複数のマスク画像を抽出する方法。
- 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体の存在を表す複数のマスク画像を抽出するためのコンピュータを、
前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、
前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、
前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、
前記第2の3次元ボクセルデータを基に、前記複数の第1のマスク画像の欠損を充填する及び/又はノイズを除去する、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出する第2の抽出手段と、
して機能させ、
前記第2の抽出手段は、前記第2の3次元ボクセルデータにおいて、欠損が充填された3次元座標を各撮影視点に投影し、前記複数の第1のマスク画像における対応画素が欠損を生じている場合は充填して複数の第1のサブマスク画像を抽出し、前記第2の3次元ボクセルデータを各撮影視点に投影し、複数の第2のサブマスク画像を抽出し、該複数の第2のサブマスク画像にフィルタ処理を施し、フィルタ処理された複数の第2のサブマスク画像と前記複数の第1のサブマスク画像の両画像において充填されている画素のみを被写体存在を表す領域とし、それ以外の画素を被写体が存在しない領域とすることで、複数の第3のサブマスク画像を抽出し、該複数の第3のサブマスク画像を閉領域に分割し、所定の条件を満たす閉領域を除去することで、複数の第4のサブマスク画像を抽出し、該複数の第4のサブマスク画像について、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出する手段であり、
前記色情報をもとにした加工は、
前記第2の3次元ボクセルデータの床面から一定の高さ以下であるボクセルを撮影視点に投影することで前記第4のサブマスク画像中の第1の不要部除去候補を決定する手段と、
前記第1の不要部除去候補に含まれる各画素について、画素値を色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を第2の不要部除去候補とする手段と、
前記第2の不要部除去候補に含まれる各画素について光線を探索し、前記第3の3次元ボクセルデータとの交点が床面から一定の高さ以下である画素を不要画素とする手段と、
前記不要画素を前記第4のサブマスク画像から除去する手段と、
を含む、複数のマスク画像を抽出することを特徴とするプログラム。 - 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築する方法であって、
前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像をプロセッサが抽出する第1の抽出ステップと、
前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータをプロセッサが構築する第1の構築ステップと、
前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータをプロセッサが構築する第2の構築ステップと、
前記第2の3次元ボクセルデータを基に、前記複数の第1のマスク画像の欠損を充填する及び/又はノイズを除去する、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像をプロセッサが抽出する第2の抽出ステップと、
前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータをプロセッサが構築する第3の構築ステップと、
を含み、
前記第2の抽出ステップは、前記第2の3次元ボクセルデータにおいて、欠損が充填された3次元座標を各撮影視点に投影し、前記複数の第1のマスク画像における対応画素が欠損を生じている場合は充填して複数の第1のサブマスク画像を抽出し、前記第2の3次元ボクセルデータを各撮影視点に投影し、複数の第2のサブマスク画像を抽出し、該複数の第2のサブマスク画像にフィルタ処理を施し、フィルタ処理された複数の第2のサブマスク画像と前記複数の第1のサブマスク画像の両画像において充填されている画素のみを被写体存在を表す領域とし、それ以外の画素を被写体が存在しない領域とすることで、複数の第3のサブマスク画像を抽出し、該複数の第3のサブマスク画像を閉領域に分割し、所定の条件を満たす閉領域を除去することで、複数の第4のサブマスク画像を抽出し、該複数の第4のサブマスク画像について、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出するステップであり、
前記色情報をもとにした加工は、
前記第2の3次元ボクセルデータの床面から一定の高さ以下であるボクセルを撮影視点に投影することで前記第4のサブマスク画像中の第1の不要部除去候補を決定するサブステップと、
前記第1の不要部除去候補に含まれる各画素について、画素値を色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を第2の不要部除去候補とするサブステップと、
前記第2の不要部除去候補に含まれる各画素について光線を探索し、前記第3の3次元ボクセルデータとの交点が床面から一定の高さ以下である画素を不要画素とするサブステップと、
前記不要画素を前記第4のサブマスク画像から除去するサブステップと、
を含むことを特徴とする3次元ボクセルデータを構築する方法。 - 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、3次元ボクセルデータを構築するためのコンピュータを、
前記複数の被写体画像と前記複数の背景画像とから背景差分により、複数の第1のマスク画像を抽出する第1の抽出手段と、
前記複数の第1のマスク画像から視体積交差法により、第1の3次元ボクセルデータを構築する第1の構築手段と、
前記第1の3次元ボクセルデータに対して、欠損を充填する及び/又はノイズを除去する加工を施し、第2の3次元ボクセルデータを構築する第2の構築手段と、
前記第2の3次元ボクセルデータを基に、前記複数の第1のマスク画像の欠損を充填する及び/又はノイズを除去する、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出する第2の抽出手段と、
前記複数の第2のマスク画像から視体積交差法により、第3の3次元ボクセルデータを構築する第3の構築手段と、
して機能させ、
前記第2の抽出手段は、前記第2の3次元ボクセルデータにおいて、欠損が充填された3次元座標を各撮影視点に投影し、前記複数の第1のマスク画像における対応画素が欠損を生じている場合は充填して複数の第1のサブマスク画像を抽出し、前記第2の3次元ボクセルデータを各撮影視点に投影し、複数の第2のサブマスク画像を抽出し、該複数の第2のサブマスク画像にフィルタ処理を施し、フィルタ処理された複数の第2のサブマスク画像と前記複数の第1のサブマスク画像の両画像において充填されている画素のみを被写体存在を表す領域とし、それ以外の画素を被写体が存在しない領域とすることで、複数の第3のサブマスク画像を抽出し、該複数の第3のサブマスク画像を閉領域に分割し、所定の条件を満たす閉領域を除去することで、複数の第4のサブマスク画像を抽出し、該複数の第4のサブマスク画像について、被写体画像及び/又は背景画像の色情報をもとにした加工を施し、複数の第2のマスク画像を抽出する手段であり、
前記色情報をもとにした加工は、
前記第2の3次元ボクセルデータの床面から一定の高さ以下であるボクセルを撮影視点に投影することで前記第4のサブマスク画像中の第1の不要部除去候補を決定する手段と、
前記第1の不要部除去候補に含まれる各画素について、画素値を色情報に基づく特徴空間に射影し、被写体画像の画素と背景画像の画素との間で差異を計算し、差異が閾値以下の画素を第2の不要部除去候補とする手段と、
前記第2の不要部除去候補に含まれる各画素について光線を探索し、前記第3の3次元ボクセルデータとの交点が床面から一定の高さ以下である画素を不要画素とする手段と、
前記不要画素を前記第4のサブマスク画像から除去する手段と、
を含む、3次元ボクセルデータを構築することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009196502A JP5295044B2 (ja) | 2009-08-27 | 2009-08-27 | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009196502A JP5295044B2 (ja) | 2009-08-27 | 2009-08-27 | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011048627A JP2011048627A (ja) | 2011-03-10 |
JP5295044B2 true JP5295044B2 (ja) | 2013-09-18 |
Family
ID=43834877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009196502A Active JP5295044B2 (ja) | 2009-08-27 | 2009-08-27 | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5295044B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6736422B2 (ja) * | 2016-08-23 | 2020-08-05 | キヤノン株式会社 | 画像処理装置、画像処理の方法およびプログラム |
ES2756677T3 (es) | 2016-09-26 | 2020-04-27 | Canon Kk | Aparato de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa |
JP6851551B2 (ja) * | 2018-06-11 | 2021-03-31 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
CN111275696B (zh) * | 2020-02-10 | 2023-09-15 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理的方法、图像处理的方法及装置 |
JP7211994B2 (ja) * | 2020-03-06 | 2023-01-24 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250692A (ja) * | 2004-03-02 | 2005-09-15 | Softopia Japan Foundation | 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 |
JP2008217593A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2009074836A (ja) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2011043879A (ja) * | 2009-08-19 | 2011-03-03 | Kddi Corp | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム |
-
2009
- 2009-08-27 JP JP2009196502A patent/JP5295044B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011048627A (ja) | 2011-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11847738B2 (en) | Voxelization of mesh representations | |
CN109409335B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
CN105741265B (zh) | 深度图像的处理方法及装置 | |
JP2008530595A (ja) | 地形モデル化のためのデジタル標高モデル(dem)を向上させる方法および装置 | |
EP3756163B1 (en) | Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics | |
CN109636890B (zh) | 纹理融合方法和装置、电子设备、存储介质、产品 | |
JP5295044B2 (ja) | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム | |
JP6914734B2 (ja) | シルエット抽出装置、方法およびプログラム | |
JP2008530594A (ja) | 地形モデル化のために植生から建物を区別する方法および装置 | |
CN114359412B (zh) | 一种面向建筑数字孪生的相机外参自动标定方法及*** | |
CN109035423B (zh) | 一种房屋的虚拟三维模型的楼层分割方法及装置 | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
KR20130118105A (ko) | 평면 기반의 3차원 공간 표현 방법 및 장치 | |
WO2018039936A1 (en) | Fast uv atlas generation and texture mapping | |
JP6736422B2 (ja) | 画像処理装置、画像処理の方法およびプログラム | |
JP2011043879A (ja) | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム | |
CN106558057B (zh) | 一种医学图像分割方法 | |
CN112348755A (zh) | 图像内容修复方法、电子设备及存储介质 | |
CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
JP5218034B2 (ja) | マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム | |
CN115457206A (zh) | 三维模型生成方法、装置、设备及存储介质 | |
KR20120118462A (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
JPH09204532A (ja) | 画像認識方法および画像表示方法 | |
RU2470368C2 (ru) | Способ обработки изображений |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
TRDD | Decision of grant or rejection written | ||
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130509 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5295044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |