JP2018163468A - 前景抽出装置及びプログラム - Google Patents
前景抽出装置及びプログラム Download PDFInfo
- Publication number
- JP2018163468A JP2018163468A JP2017059555A JP2017059555A JP2018163468A JP 2018163468 A JP2018163468 A JP 2018163468A JP 2017059555 A JP2017059555 A JP 2017059555A JP 2017059555 A JP2017059555 A JP 2017059555A JP 2018163468 A JP2018163468 A JP 2018163468A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- foreground
- visual volume
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
(1)初期領域Rのワールド座標系における矩形としてのサイズ及び位置の決定
(2)上記により矩形として決定された初期領域Rの解像度の決定
以下、これらをそれぞれ説明する。
図2及び図3は当該決定手法を説明するための模式図である。図2では、カメラkのカメラ中心(ck(x),ck(y),ck(z))から画像Pk(t)の4頂点へと向かうベクトル(光線)がそれぞれlk 1,lk 2,lk 3,lk 4として、当該矩形の右上頂点に対応するlk 1から始まる時計回りの順で示されている。なお、任意の画像Pk(t)において、lk 1,lk 2,lk 3,lk 4はこのように時計回りの順で定めるものとする。画像Pk+1(t)においても同様の記号でその4頂点に向かうベクトルlk+1 1,lk+1 2,lk+1 3,lk+1 4が示されている。図2に示すように、カメラk+1の光線lk+1 1,lk+1 2によって平面P(k,k+1)が張られる(図示するように、その法線ベクトルを(n1,n2,n3)とする)と共に、当該平面P(k,k+1)とカメラkの光線lk 3,lk 4との交点としてそれぞれ点p3 (k,k+1)(x,y,z)及び点p4 (k,k+1)(x,y,z)が得られる。以上の表記により、当該交点p3 (k,k+1)(x,y,z)及び点p4 (k,k+1)(x,y,z)をそれぞれ以下の式(1),(2)のように求めることができる。
当該決定する解像度とは、後段側の視体積交差部4でワールド座標系におけるボクセル空間において視体積交差法を適用する際の、ボクセルの解像度である。図5を参照して、解像度の決定についてその考え方から説明する。視錐体(Visual Cone;すなわち、カメラ中心を頂点としてカメラ撮影面へ延びる母線で形成される錐体)と初期領域R(矩形としてのbounding box)とで形成される断面を考えると、図5の[1]〜[3]に示すような3つの類型が考えられ、それぞれ以下の通りである。なお、(x,y,z)は前述の通りワールド座標系である。
(第一類型)カメラ画像面が初期領域Rにおけるxy平面と平行になる。すなわち、図5の[1]に模式的に示すように、カメラC1におけるカメラ画像面P1が初期領域Rのxy平面向きの面RC10と平行となる。
(第二類型)カメラ画像面が初期領域Rにおけるyz平面と平行になる。すなわち、図5の[2]に模式的に示すように、カメラC2におけるカメラ画像面P2が初期領域Rのyz平面向きの面RC20と平行になる。
(第三類型)カメラ画像面が初期領域Rにおけるxy平面ともyz平面とも平行にはならない。例えば、このような場合として、図5の[3]に模式的に示すように、上記xy平面と平行な場合とyz平面と平行な場合の中間的な場合として、初期領域Rの形成する直方体のうちy方向と、zx平面上の対角線方向と、によって辺の方向が規定される面RC30と、カメラC3におけるカメラ画像面P3と、が平行になる場合が挙げられる。
なおここでは、次のことを前提としている。すなわち、式(4)で説明したように、ワールド座標系(x,y,z)はy軸方向が垂直方向であり且つ平面y=0が地面であるものとして設定しておき、各カメラ画像は当該地面に対して水平方向を向いて撮影されているという前提である。換言すれば、各カメラ画像の画像座標系(u,v)において、横軸u方向はワールド座標系における水平方向となっており、縦軸v方向はワールド座標系における垂直方向となっているという前提である。このような前提のもとで初期領域Rの解像度の設定を考察する場合、上記の3つの類型を考えれば十分である。
sqrt{( xmax-xmin)2+( zmax-zmin)2}
(1)視体積VH(t)から各カメラ画像Pk(t)へ逆射影を行い、逆射影画像を得る。
(2)逆射影画像において欠損補完処理を行うことで、第二の前景画像FGk(t)を得る。
以下、これらをそれぞれ説明する。
ワールド座標系(ボクセル空間)O(x,y,z,w)から各カメラ画像Pk(t)の画像平面Ip k(u,v)へと、以下の式(12)のようにホモグラフィ行列T34 kによって変換を行うことができる。ここで、ホモグラフィ行列T34 kは当該視点kについて既知のカメラパラメータから求めることができる。
上記得られた逆射影画像に対して、モルフォロジー処理を適用することで、欠損が補完された2値領域画像としての第二の前景画像FGk(t)を得る。モルフォロジー処理に関しては既存手法であり、膨張(opening)処理や収縮処理(closing)等の組み合わせによって高速に欠損補完を行うことができる。図7では[6]の欠損を含む逆射影の領域画像について、モルフォロジー処理を施した第二の前景画像が[7]に示されており、欠損が補完されていることを見て取ることができる。
(1)多視点画像における高速な前景抽出が可能である。
(2)GPU等に実装可能な並列演算に適した構成となっている。
(3)例えばグラフカット等におけるような人手による指定作業は不要である。
(4)背景差分部3及び視体積交差部4を組み合わせることで、互いにデメリットを補いつつ、双方のメリットを活かすことが可能である。
Claims (8)
- 多視点画像の各視点の画像について背景差分法を適用することで各視点の第一前景画像を得る背景差分部と、
前記各視点の第一前景画像に対して視体積交差法を適用することで視体積を得る視体積交差部と、
前記視体積を多視点画像の各視点の画像平面へと逆射影することにより、各視点の第二前景画像を得る復元部と、を備えることを特徴とする前景抽出装置。 - 前記復元部は、前記逆射影したうえでさらに、欠損補完処理を行うことよって各視点の第二前景画像を得ることを特徴とする請求項1に記載の前景抽出装置。
- 前記視体積交差部では、多視点画像の各視点の画像ペアにおいて求まる、一方の画像のカメラ中心と一方の画像の一辺の2頂点とが張る平面と、他方の画像のカメラ中心から他方の画像の一辺の2頂点に向かう2直線と、の2交点を用いて、一連の画像ペア間における当該2交点をワールド座標系において包含することで定まる空間領域を初期領域として利用し、当該初期領域において前記視体積交差法を適用することを特徴とする請求項1または2に記載の前景抽出装置。
- 前記視体積交差部では、前記初期領域を、多視点画像の各視点の画像の解像度に基づく所定解像度でボクセルに分割したうえで、前記視体積交差法を適用することを特徴とする請求項3に記載の前景抽出装置。
- 前記視体積交差部では、前記包含することで空間領域として定まる初期領域において、多視点画像の各視点の画像に映る対象が存在しえない領域が存在する場合に、当該存在しえない領域を除外したものとしての初期領域を、前記視体積交差法の適用対象とすることを特徴とする請求項3または4に記載の前景抽出装置。
- 前記視体積交差部では、互いに垂直なx、y及びz軸方向で定義され、y軸方向が垂直方向として定義されるワールド座標系において、各辺の方向が当該x、y及びz軸のいずれかに平行となるよう配置された直方体領域を、前記視体積交差法を適用するための初期領域として利用し、
前記多視点画像の各視点の画像は横軸方向がワールド座標系の水平方向に該当し縦軸方向がワールド座標系の垂直方向に該当するものとして撮影されたものであり、
前記視体積交差部では、前記直方体領域としての初期領域におけるx、y及びz軸方向の解像度をそれぞれ前記多視点画像の各視点の画像の横軸方向解像度、縦軸方向解像度及び横軸方向解像度として、当該初期領域をボクセルに分割したうえで、前記視体積交差法を適用することを特徴とする請求項3ないし5のいずれかに記載の前景抽出装置。 - 前記背景差分部、前記視体積交差部及び前記復元部のうち少なくとも1つは、GPU(グラフィック処理装置)による並列処理で実現されることを特徴とする請求項1ないし6のいずれかに記載の前景抽出装置。
- コンピュータを請求項1ないし7のいずれかに記載の前景抽出装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059555A JP6901885B2 (ja) | 2017-03-24 | 2017-03-24 | 前景抽出装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059555A JP6901885B2 (ja) | 2017-03-24 | 2017-03-24 | 前景抽出装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018163468A true JP2018163468A (ja) | 2018-10-18 |
JP6901885B2 JP6901885B2 (ja) | 2021-07-14 |
Family
ID=63860130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017059555A Active JP6901885B2 (ja) | 2017-03-24 | 2017-03-24 | 前景抽出装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6901885B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020095602A (ja) * | 2018-12-14 | 2020-06-18 | ヤフー株式会社 | 表示プログラム、表示装置および表示方法 |
KR102393801B1 (ko) * | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
JP2022550639A (ja) * | 2019-12-20 | 2022-12-02 | 馭勢科技(浙江)有限公司 | 3次元再構成方法、装置、システム及び記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236522A (ja) * | 1999-12-17 | 2001-08-31 | Canon Inc | 画像処理装置 |
JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
JP2008217593A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
-
2017
- 2017-03-24 JP JP2017059555A patent/JP6901885B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236522A (ja) * | 1999-12-17 | 2001-08-31 | Canon Inc | 画像処理装置 |
JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
JP2008217593A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2009064445A (ja) * | 2007-09-05 | 2009-03-26 | Sony United Kingdom Ltd | 画像処理装置及び方法 |
Non-Patent Citations (1)
Title |
---|
三功 浩嗣 他: "視点間の整合性を考慮した3次元モデルフィードバック型背景分離方式の不要部除去拡張", 電子情報通信学会技術研究報告, vol. 第109巻 第206号, JPN6020017202, 17 September 2009 (2009-09-17), JP, pages 75 - 80, ISSN: 0004389746 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020095602A (ja) * | 2018-12-14 | 2020-06-18 | ヤフー株式会社 | 表示プログラム、表示装置および表示方法 |
JP2022550639A (ja) * | 2019-12-20 | 2022-12-02 | 馭勢科技(浙江)有限公司 | 3次元再構成方法、装置、システム及び記憶媒体 |
JP7245574B2 (ja) | 2019-12-20 | 2023-03-24 | 馭勢科技(浙江)有限公司 | 3次元再構成方法、装置、システム及び記憶媒体 |
US12026827B2 (en) | 2019-12-20 | 2024-07-02 | Uisee Technologies (Zhejiang) Ltd. | Method, apparatus, system, and storage medium for 3D reconstruction |
KR102393801B1 (ko) * | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6901885B2 (ja) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104574501B (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
KR101199475B1 (ko) | 3차원 모델 생성 방법 및 장치 | |
TWI524734B (zh) | 產生深度圖的方法及裝置 | |
KR100721536B1 (ko) | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 | |
Jancosek et al. | Multi-view reconstruction preserving weakly-supported surfaces | |
US8270704B2 (en) | Method and apparatus for reconstructing 3D shape model of object by using multi-view image information | |
US9105117B2 (en) | Methods and apparatus for coherent manipulation and stylization of stereoscopic images | |
CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
CN103810685A (zh) | 一种深度图的超分辨率处理方法 | |
CN113012293A (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
TW202037169A (zh) | 基於視訊的點雲壓縮的區塊分段的方法及裝置 | |
TWI716874B (zh) | 影像處理裝置、影像處理方法、及影像處理程式 | |
JP6901885B2 (ja) | 前景抽出装置及びプログラム | |
Böhm et al. | Model refinement by integrated processing of laser scanning and photogrammetry | |
Takai et al. | Harmonised texture mapping | |
KR102358854B1 (ko) | 얼굴 이미지 색상 합성 장치 및 방법 | |
CN111275804B (zh) | 图像光照去除方法、装置、存储介质和计算机设备 | |
PP et al. | Efficient 3D visual hull reconstruction based on marching cube algorithm | |
Deepu et al. | 3D Reconstruction from Single 2D Image | |
JP2021033682A (ja) | 画像処理装置、方法及びプログラム | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
CN117501313A (zh) | 基于深度神经网络的毛发渲染*** | |
Wang et al. | Identifying and filling occlusion holes on planar surfaces for 3-D scene editing | |
Lai et al. | Surface-based background completion in 3D scene | |
Chen et al. | A quality controllable multi-view object reconstruction method for 3D imaging systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6901885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |