JP5633345B2 - 画像処理装置、画像表示システムおよび画像処理プログラム - Google Patents
画像処理装置、画像表示システムおよび画像処理プログラム Download PDFInfo
- Publication number
- JP5633345B2 JP5633345B2 JP2010270182A JP2010270182A JP5633345B2 JP 5633345 B2 JP5633345 B2 JP 5633345B2 JP 2010270182 A JP2010270182 A JP 2010270182A JP 2010270182 A JP2010270182 A JP 2010270182A JP 5633345 B2 JP5633345 B2 JP 5633345B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional object
- dimensional
- shape data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Description
さらに、上記課題を解決するために、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る画像処理装置の構成例およびその動作を示す図である。図1に示す画像処理装置1は、画像出力部2と画像合成部3とを備える。
図2に示す物体11,12は、それぞれ上記の第1の3次元物体および第2の3次元物体の例である。物体11は、方向が互いに異なる2つの平板11a,11bが組み合わされた形状をなす。物体12は、物体11の2カ所が除去されることで3つの部位12a,12b,12cに分割された形状をなす。
物体11を複数の部位に分割しない状態のまま、背景画像13に対して半透明状態で合成した場合、図3に示す合成画像15が生成される。合成画像15では、例えば、物体11と背景画像13上の背景物体13aとの重複領域では、物体11だけでなく背景物体13aの形状も視認できる。しかしながら、この重複領域では、透過処理により、背景物体13aの色値や濃淡値は、背景物体13aの元の色値や濃淡値とは異なるものとなる。このため、合成する物体同士の明るさ、色、形状などの組合せによっては、背景の物体が視認しにくい場合がある。
第1の3次元物体を互いに平行な平面に沿って分割する処理では、まず、第1の3次元物体の形状データが定義された3次元座標空間における任意の基準平面が選択される。そして、この基準平面20に平行な複数の分割面に沿って第1の3次元物体が切断され、互いに隣接する2つの分割面に挟まれたストライプ状の領域が除去される。
図5では、図4に示した分割面21〜24によって切断された切断線を、物体12上に太線によって示す。物体11を平面に沿って分割することで、例えば、元の物体11の表面のうちの平滑な面において切断線が現れるようになり、この切断線によって元の物体11の表面形状を把握しやすくなる。
図6は、第2の実施の形態に係る画像表示システムの構成例を示す図である。図6に示す画像表示システムは、撮像装置110、画像処理装置200および表示装置120を備える。
合成パラメータ265には、データ変換部240からの出力データに基づく3次元物体の画像を画像合成部220で合成するための各種パラメータが設定される。合成パラメータ265は、例えば、3次元物体の表示色および透過率を含む。なお、合成パラメータ265に含まれる少なくとも一部のパラメータは、ユーザの設定操作などに応じて任意に設定可能であってもよい。
データ変換部240は、分割処理部230から出力された、ストライプ状物体の形状データを、カメラパラメータ263および物体表示パラメータ264に基づいて変換する。このデータ変換部240での変換処理により、ストライプ状物体を定義した多角形パッチの各頂点の3次元座標が、画像入力部210からの出力画像が定義された2次元座標空間における座標に変換される。
分割処理部230は、形状データDB261内の形状データに基づく3次元物体を、形状データが定義された3次元座標空間上に任意に設定した基準平面に平行な複数の分割面に沿って分割する。基準平面は、例えば、形状データが定義された3次元座標空間における2軸方向に沿った平面とされる。分割処理部230は、3次元物体から、隣接する分割面に挟まれたストライプ状の領域を除去することで、ストライプ状物体を生成する。
L=n*t+PB ・・・(1)
式(1)のtは、基準平面の法線方向に対する基準平面からのオフセット量を示す位置パラメータである。そして、分割面のそれぞれについての位置パラメータは、式(1)のtの値として与えられる。すなわち、tの値が決定されれば、着目する分割面の3次元座標上の位置が確定される。分割面は、式(1)で与えられる3次元座標の点を通り、法線方向(ベクトルnの方向)に沿った平面となる。このような分割面は、次の式(2)のような平面式で与えられる。なお、式(2)において、nTはベクトルnの転置行列を示す。
nT*(x−L)=0 ・・・(2)
記憶部260には、分割パラメータ262の例として、分割面のそれぞれについての式(1)におけるtの値が設定される。例えば、形状データDB261内の形状データに基づく3次元物体をm個(ただし、mは2以上の偶数)の分割面に沿って分割する場合、分割パラメータ262は、t1,t2,・・・,tmというm個の位置パラメータを含む。
図7に示す物体面301は、形状データDB261内の形状データに基づく3次元物体の表面を、基準平面に平行な方向から見たものである。また、図7では、形状データDB261内の形状データに基づく3次元物体を、基準平面にそれぞれ平行な6つの分割面311〜316によって分割する場合の例を示す。この場合、分割パラメータ262として、分割面311〜316にそれぞれ対応する位置パラメータt1〜t6が、記憶部260に設定される。そして、物体面301のうち、分割面311と分割面312との間の領域、分割面313と分割面314との間の領域、分割面315と分割面316との間の領域をそれぞれ除去することで、4つのストライプ状物体面302a〜302dを有するように分割されたストライプ状物体が得られる。
カメラパラメータ263には、焦点距離fc、視点位置Pcおよび視線方向Ncが設定され、物体表示パラメータ264には、ストライプ状物体についての物***置Pmおよび回転方向Rmが設定されるものとする。ストライプ状物体の表面を構成する多角形パッチの各頂点の3次元座標をq_i(ただし、iは多角形パッチの頂点を識別する添え字)とすると、多角形パッチの各頂点は、次の式(3)を用いて仮想的な3次元座標空間に射影される。なお、式(3)において、r_iは、仮想的な3次元座標空間におけるq_iの射影位置の座標を示す。
r_i=Rm*q_i+Pm ・・・(3)
式(3)に基づいて射影されたストライプ状物体を、焦点距離fcで撮像位置の中心を視点位置Pcに置いた仮想カメラで観測したときの仮想撮像画像での2次元空間に射影する。仮想撮像画像での2次元位置は、仮想カメラのレンズのモデルにもよるが、ここでは、通常のレンズに相当する透視射影によるカメラを仮定した場合の例を示す。仮想撮像画像での座標s_iは、次の式(4)および式(5)で求められる。
s_i(x)=fc_x*r_i(x)/r_i(z) ・・・(4)
s_i(y)=fc_y*r_i(y)/r_i(z) ・・・(5)
ただし、s_i(x),s_i(y)は、それぞれ座標s_iのx座標およびy座標を示し、fc_x,fc_yは、それぞれ焦点距離fcのx成分およびy成分を示し、r_i(x),r_i(y),r_i(z)は、それぞれ座標r_iのx座標、y座標、z座標を示す。
図9は、第3の実施の形態に係る画像表示システムの構成例を示す図である。なお、図9では、図6に対応する構成要素には同じ符号を付して示す。
図10は、第4の実施の形態に係る画像表示システムの構成例を示す図である。なお、図10では、図6に対応する構成要素には同じ符号を付して示す。
パラメータ設定部270が出力するカメラパラメータを、焦点距離fc、視点位置Pcおよび視線方向Ncとし、パラメータ設定部270が出力する物体表示パラメータを、物***置Pmおよび回転方向Rmとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ncに投射したときの長さ(距離W)は、次の式(6)で表される。なお、式(6)において、NcTは、視線方向Ncの転置行列を示す。
W=NcT(Pm−Pc)/|Nc| ・・・(6)
仮想カメラによって撮像された仮想撮像画像においてストライプ状物体が映る大きさEは、幾何学的な関係より、次の式(7)で表される。なお、式(7)において、定数E0には代表的な大きさが設定されればよい。
E=E0*fc/W ・・・(7)
式(7)より、大きさEは、焦点距離fcに比例し、距離Wに反比例することがわかるので、以下、焦点距離fcおよび距離Wを用いた演算式を利用する。ストライプ状物体が撮像画像上で基準となる所定の大きさで映るときの分割パラメータを、T_1,T_2,・・・T_m(ただし、mは分割面の数であり、2以上の偶数)として、次の式(8)のようにt_kを定義する。
t_k=T_k*G*W/fc ・・・(8)
式(8)において、Gは、基準距離および基準焦点距離での分割面の数をT_kと同じにするための定数である。このとき、使用する分割パラメータの最大数cを、次の式(9)のように定める。
図12は、第5の実施の形態に係る画像表示システムの構成例を示す図である。なお、図12では、図10に対応する構成要素には同じ符号を付して示す。
形状データDB261cには、元の3次元物体をそれぞれ異なる分割パラメータを用いて分割して得られたNB個のストライプ状物体のそれぞれについての形状データが登録される。一方、第4の実施の形態の説明と同様に、パラメータ設定部270が出力するカメラパラメータを、焦点距離fc、視点位置Pcおよび視線方向Ncとし、パラメータ設定部270が出力する物体表示パラメータを、物***置Pmおよび回転方向Rmとする。このとき、仮想カメラからストライプ状物体までの距離を視線方向Ncに投射したときの距離Wは、前述の式(6)で表される。
WL={W_1,W_2,・・・,W_Nw}(ただし、W1=W_min,W_Nw=W_max) ・・・(10)
fL={fc_1,fc_2,・・・,fc_Nf}(ただし、fc_1=fc_min,fc_Nf=fc_max) ・・・(11)
距離群のリストWL内の要素と焦点距離群のリストfL内の要素とのすべての組合せを、次の式(12)に示す組合せリストPLで定義する。
PL={(W_1,fc_1),(W_1,fc_2),・・・,(W_1,fc_Nf),(W_2,fc_1),(W_2,fc_2),・・・,(W_2,fc_Nf),・・・・・・,(W_Nw,fc_1),(W_Nw,fc_2),・・・,(W_Nw,fc_Nf)} ・・・(12)
このとき、組合せリストPL内の要素数は(Nw*Nf)個となり、この個数が上記のNBに相当する。組合せリストPLの先頭要素から順に1を起点とした整数番号を振り、i番目の要素を(W_u,fc_v)とするとき(ただし、u,vはそれぞれ要素番号)、iは次の式(13)で表される。また、式(13)を基に、u,vはそれぞれ式(14)、式(15)で表される。なお、式(14)のF1は切り捨てを表し、式(15)のF2は剰余を表す。
i=u*Nw+v ・・・(13)
u=F1(i/Nw) ・・・(14)
v=F2(i/Nw) ・・・(15)
形状データDB261cには、上記の組合せリストPLが登録される。
t_ki=T_k*G*W_u/fc_v ・・・(16)
このとき、組合せリストPLのi番目の要素(W_u,fc_v)についての分割パラメータの最大数c_iを、次の式(17)のように定める。
式(16)および式(17)より、組合せリストPLのi番目の要素(W_u,fc_v)についての分割パラメータの集合tLiを、次の式(18)のように定義する。
tLi={t_1i,t_2i,・・・,t_c_ii} ・・・(18)
集合tLiは、組合せリストPLのi番目の要素のそれぞれについて定義される。集合tLiを用いて、前述の式(2)より各分割パラメータに対応する分割面が求められる。そして、求められた分割面に沿って、元の3次元物体をストライプ状に分割することで、i番目の要素のそれぞれに対応するストライプ状物体の形状データHiが求められる。形状データHiは、例えば、ストライプ状物体の表面形状を構成する多角形パッチの頂点座標を含む。
HL={H1,H2,・・・,HNB} ・・・(19)
図13は、第5の実施の形態に係る画像処理装置の処理を示すフローチャートである。この図13のフローチャートは、1フレーム分の合成画像が出力される際の処理を示す。なお、図13では、図8と同じ処理が行われる処理ステップには同じ符号を付して示す。
図14は、コンピュータのハードウェア構成例を示す図である。
通信I/F408には、撮像装置408aが接続されている。通信I/F408は、撮像装置408aから出力された画像信号を、CPU401に対して出力する。なお、撮像装置408aからの出力画像信号がアナログ信号である場合、通信I/F408は、撮像装置408aからの出力画像信号をデジタル化する機能を備えていてもよい。
(付記1) 第1の3次元物体の一部が除去されることによって前記第1の3次元物体が複数の部位に分割された第2の3次元物体の表面形状を示す第1の画像を出力する画像出力部と、
前記画像出力部から出力された前記第1の画像を半透明状態で第2の画像に合成する画像合成部と、
を有することを特徴とする画像処理装置。
前記画像出力部は、前記記憶装置から読み出した形状データを基に前記第1の画像を出力することを特徴とする付記1〜7のいずれか1つに記載の画像処理装置。
前記画像出力部から出力された前記第1の画像を半透明状態で第2の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有することを特徴とする画像表示システム。
前記第2の画像は、前記撮像画像に基づく画像である、
ことを特徴とする付記10記載の画像表示システム。
第1の3次元物体の一部が除去されることによって前記第1の3次元物体が複数の部位に分割された第2の3次元物体の表面形状を示す第1の画像を、第2の画像に対して半透明状態で合成する、
処理を実行させることを特徴とする画像処理プログラム。
2 画像出力部
3 画像合成部
11,12 物体
11a,11b 平板
12a〜12c 部位
13 背景画像
13a 背景物体
14 合成画像
20 基準平面
21〜24 分割面
Claims (7)
- 第1の3次元物体の一部が除去されることによって前記第1の3次元物体が複数の部位に分割された第2の3次元物体の表面形状を示す第1の画像を出力する画像出力部と、
前記画像出力部から出力された前記第1の画像を半透明状態で第2の画像に合成する画像合成部と、
を有し、
前記第1の3次元物体から除去される領域の切断面は、前記第1の3次元物体の表面形状を定義した第1の3次元形状データが定義された3次元座標空間における所定の基準平面に沿うように設定され、
前記画像出力部は、前記第1の3次元形状データと前記基準平面から前記切断面までの距離を示す距離パラメータとに基づいて、前記第2の3次元物体の第2の3次元形状データを算出し、前記第2の3次元形状データを基に前記第1の画像を出力する、
ことを特徴とする画像処理装置。 - 前記第2の3次元物体の表面は、前記基準平面に平行な複数の分割面に沿って、前記第1の3次元物体の表面がストライプ状に除去された形状をなすことを特徴とする請求項1記載の画像処理装置。
- 前記画像出力部は、前記画像合成部から出力される画像における前記第2の3次元物体の見え方を決定するパラメータに基づいて、前記第2の3次元物体において前記第1の3次元物体から除去された領域の数を決定することを特徴とする請求項2記載の画像処理装置。
- 前記画像出力部は、前記画像合成部から出力される画像に現れる前記第1の画像の大きさを決定するパラメータに基づいて、前記第2の3次元物体において前記第1の3次元物体から除去された領域の数を決定することを特徴とする請求項3記載の画像処理装置。
- 第1の3次元物体の一部が除去されることによって前記第1の3次元物体が複数の部位に分割された第2の3次元物体の表面形状を示す第1の画像を出力する画像出力部と、
前記画像出力部から出力された前記第1の画像を半透明状態で第2の画像に合成する画像合成部と、
を有する画像処理装置と、
前記画像合成部によって合成された画像を表示する表示装置と、
を有し、
前記第1の3次元物体から除去される領域の切断面は、前記第1の3次元物体の表面形状を定義した第1の3次元形状データが定義された3次元座標空間における所定の基準平面に沿うように設定され、
前記画像出力部は、前記第1の3次元形状データと前記基準平面から前記切断面までの距離を示す距離パラメータとに基づいて、前記第2の3次元物体の第2の3次元形状データを算出し、前記第2の3次元形状データを基に前記第1の画像を出力する、
ことを特徴とする画像表示システム。 - 画像を撮像し、撮像画像を前記画像処理装置に入力する撮像装置をさらに有し、
前記第2の画像は、前記撮像画像に基づく画像である、
ことを特徴とする請求項5記載の画像表示システム。 - コンピュータに、
第1の3次元物体の一部が除去されることによって前記第1の3次元物体が複数の部位に分割された第2の3次元物体の表面形状を示す第1の画像を出力し、
前記第1の画像を第2の画像に対して半透明状態で合成する、
処理を実行させ、
前記第1の3次元物体から除去される領域の切断面は、前記第1の3次元物体の表面形状を定義した第1の3次元形状データが定義された3次元座標空間における所定の基準平面に沿うように設定され、
前記第1の画像の出力では、前記第1の3次元形状データと前記基準平面から前記切断面までの距離を示す距離パラメータとに基づいて、前記第2の3次元物体の第2の3次元形状データを算出し、前記第2の3次元形状データを基に前記第1の画像を出力する、
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270182A JP5633345B2 (ja) | 2010-12-03 | 2010-12-03 | 画像処理装置、画像表示システムおよび画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270182A JP5633345B2 (ja) | 2010-12-03 | 2010-12-03 | 画像処理装置、画像表示システムおよび画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012118910A JP2012118910A (ja) | 2012-06-21 |
JP5633345B2 true JP5633345B2 (ja) | 2014-12-03 |
Family
ID=46501621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010270182A Expired - Fee Related JP5633345B2 (ja) | 2010-12-03 | 2010-12-03 | 画像処理装置、画像表示システムおよび画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5633345B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0883298A (ja) * | 1994-09-12 | 1996-03-26 | Mitsubishi Heavy Ind Ltd | ソリッド形状からの3次元梁形状生成装置 |
JP4537557B2 (ja) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | 情報呈示システム |
US6697761B2 (en) * | 2000-09-19 | 2004-02-24 | Olympus Optical Co., Ltd. | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system |
JP2002248692A (ja) * | 2001-02-23 | 2002-09-03 | Minolta Co Ltd | 三次元造形システム、三次元造形センター、プログラム、記憶媒体および三次元造形の発注方法 |
JP4154452B2 (ja) * | 2003-03-28 | 2008-09-24 | 有限会社アート・コア | 広告宣伝用のパース画の作成方法。 |
JP2005339377A (ja) * | 2004-05-28 | 2005-12-08 | Canon Inc | 画像処理方法、画像処理装置 |
EP1717757A1 (de) * | 2005-04-28 | 2006-11-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs |
JP2007025929A (ja) * | 2005-07-14 | 2007-02-01 | Ricoh Co Ltd | 三次元形状表示支援装置、三次元形状表示支援方法、並びに、プログラムおよび記録媒体 |
JP5134504B2 (ja) * | 2008-11-06 | 2013-01-30 | クラリオン株式会社 | 車両周辺監視システム |
-
2010
- 2010-12-03 JP JP2010270182A patent/JP5633345B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012118910A (ja) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10349033B2 (en) | Three-dimensional map generating and displaying apparatus and method | |
CN112513712B (zh) | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 | |
US11012679B2 (en) | Generating apparatus, generating method, and storage medium | |
JP4966431B2 (ja) | 画像処理装置 | |
JP5388534B2 (ja) | 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 | |
KR102359978B1 (ko) | 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 | |
JP5011224B2 (ja) | 任意視点映像生成装置及び任意視点映像生成プログラム | |
JP7058277B2 (ja) | 再構成方法および再構成装置 | |
JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
KR101334187B1 (ko) | 다시점 렌더링 장치 및 방법 | |
KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
AU2016336030A1 (en) | Volumetric depth video recording and playback | |
US11995784B2 (en) | Image processing device and image processing method | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2018040789A (ja) | 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム | |
JP6762570B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2020208976A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP3352454B2 (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
JP5633345B2 (ja) | 画像処理装置、画像表示システムおよび画像処理プログラム | |
JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
JP2019144958A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US20220284544A1 (en) | Vehicle undercarriage imaging | |
JP2009205522A (ja) | プログラム、情報記憶媒体、情報変換システム | |
JP2010152529A (ja) | 頂点テクスチャマッピング装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140827 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140929 |
|
LAPS | Cancellation because of no payment of annual fees |