JP6608165B2 - 画像処理装置及び方法、並びにコンピュータプログラム - Google Patents
画像処理装置及び方法、並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP6608165B2 JP6608165B2 JP2015097380A JP2015097380A JP6608165B2 JP 6608165 B2 JP6608165 B2 JP 6608165B2 JP 2015097380 A JP2015097380 A JP 2015097380A JP 2015097380 A JP2015097380 A JP 2015097380A JP 6608165 B2 JP6608165 B2 JP 6608165B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- model
- time
- shape
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
最近では、視覚的な術者の負担を軽減するために、複数の内視鏡カメラから立体視画像を作成する立体内視鏡を用いることで、3次元的な術部の提示が試みられている。
例えば、特許文献1には、アレイ状に配置されたカメラによって取得される多視点画像から、臓器等の対象物の3次元形状を復元するシステムが開示されている。
また、特許文献1には、複数のカメラから撮影した画像を用いて視体積交差法により臓器の3次元モデルを生成し、仮想的な視点から臓器を観察することも開示されている。しかし、視体積交差法を用いてより正確な3次元モデルを生成するには、多くのカメラが必要となる。特許文献1記載の技術では、多数のカメラを有する撮影装置を変形させることによって、体腔内の制限された空間に多くのカメラを配置することを可能にしているが、構造が極めて特殊となる。
第1の時刻における対象物の3次元モデルを記憶する記憶部と、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における対象物の形状として前記3次元モデルを更新する解析部と、を備えているものである。
例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられる。したがって、解析用モデル上の対応箇所を探索する際に、第1の時刻における3次元モデルから所定の範囲内に配置されていることを条件とすることで、大きな形状の変化を排除することができる。
解析用モデル上において、カメラの視線方向に略垂直な法線を有する箇所は、第2の時刻における対象物が内接する箇所である可能性が高い。そのため、解析用モデル上の対応箇所を探索する際に、カメラの視線方向に略垂直な法線を有することを条件とすることで、変形後の対象物上の箇所又はそれに近い箇所を探索することができる。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられるので、3次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所から最も近いことを条件とすることで、第1の時刻における3次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないので、3次元モデルと解析用モデルとが対応する箇所においては、法線ベクトルも近似していると考えられる。そのため、3次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所と法線ベクトルが近似することを条件とすることで、第1の時刻における3次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
この構成によれば、3次元モデル及び解析用モデルに、予め色、模様、又はテクスチャの情報を付与しておけば、これらが互いに近似する箇所を、3次元モデルと解析用モデルとが対応する箇所として設定することができる。なお、テクスチャとは、対象物の表面の材質や凹凸等を表す質感をいう。
このような構成によって、形状の変化を適切に反映した3次元モデルの更新を行うことができる。
コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第1の時刻における対象物の3次元モデルを記憶するステップと、
前記コンピュータが、前記第1の時刻よりも後の第2の時刻における対象物の画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成するステップと、
前記コンピュータが、前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新するステップとを含むものである。
第1の時刻における対象物の3次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部、及び
前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新する解析部、としてコンピュータを機能させるものである。
[画像処理システムの全体構成]
図1は、本発明の実施形態に係る画像処理システムの説明図である。
本実施形態の画像処理システム10は、解析対象物を画像を撮影するカメラ(撮像装置)11と、カメラ11により撮影された画像を処理する画像処理装置12と、画像処理装置12の出力結果を表示する表示装置13とを備えている。
また、処理部22は、変形後の対象物を撮影したカメラ11の画像から解析用モデルを生成する生成部31と、解析用モデルを用いて対象物の変形(変位)を推定し、変形後の対象物の3次元モデルを生成する解析部32とを備えている。記憶部23は、パーソナルコンピュータのメモリーやハードディスク等によって構成される。
以下、画像処理装置12における処理部22の生成部31及び解析部32の具体的な処理を詳細に説明する。
図2は、画像処理装置12による変形推定処理の流れを示す図である。
本実施形態の画像処理装置12は、臓器等の対象物を3次元でモデル化し、そのモデルを用いて時間の経過に伴う対象物の変形を推定し、推定された変位によってモデルの形状を随時更新する処理を行う。本実施形態では、3次元モデルとして、対象物の表面を三角形のメッシュ(ポリゴンメッシュ)により表現したメッシュモデルMが用いられる。そして、現時刻t(第1の時刻)における3次元モデルM(t)から、次時刻t+1(第2の時刻)における変形後の3次元モデルM(t+1)が生成される。この対象物の変位の推定のために、カメラ11によって撮影されたN枚の画像Ik(t+1)(k=1,…,N)が利用される。
画像処理装置12における生成部31は、カメラ11によって撮影された複数の画像Ik(t+1)からビジュアルハル(Visual hull)を生成する。図3には、時刻tにおける3次元モデルM(t)と、時刻t+1における3次元モデルM(t+1)と、ビジュアルハルH(t+1)との関係が示されている。
ビジュアルハルHをコンピュータ上で生成するには、例えば図6(a)に示すように、256×256×256個の各ボクセルに初期値として1を与えたボリュームデータを用意し、カメラ11の位置及び視線の情報を用いて、各ボクセルを各シルエット画像G2上へ投影する。そして、投影された点が全てシルエット内部に位置する場合は、ボクセル値を1とし、それ以外は0に変更する。これによって得られる2値のボリュームデータ(図6(b)参照)に対して、公知のマーチングキューブ法を適用することにより、三角形メッシュモデルを生成し、これをビジュアルハルHとする。
1.シルエット情報から復元できる形状の中で体積が最大である。
2.原理的に必ず凸形状を有する。
3.対象物を必ず内包する。
4.シルエット境界近傍の対象物の表面上の点における法線ベクトルは、なめらかな形状であればカメラの視線ベクトル(視線方向)と直交する。なお、視線ベクトルとは、カメラ11のレンズ中心からカメラ11の焦点へ向かうベクトルである。
本実施形態では、上記3及び4の性質を利用し、ビジュアルハルH(t+1)と3次元モデルM(t)のそれぞれに対して接点候補を算出し対応付けることで、3次元モデルM(t+1)を推定するための制約条件である視体積制約とする。
(ステップ1)N枚のカメラ画像Ik(t+1)(k=1,…,N)の各シルエット画像からビジュアルハルH(t+1)を生成する。
(ステップ2)現時刻の3次元モデルM(t)により形状記述子L(t)を算出する。
(ステップ3)形状記述子L(t)をできるだけ保持しつつ、H(t+1)から得られる制約条件を満たす3次元モデルM(t+1)の推定形状を算出する。
次に、上記アルゴリズムのステップ3における3次元モデルM(t+1)の推定形状の算出方法について、より詳細に説明する。このステップ3は、主に、次の5つの手順からなる。
(手順1)vdの探索
(手順2)vsの探索
(手順3)位置制約の設定
(手順4)形状保持制約の適用
(手順5)反復試行
前述したように、ビジュアルハルは、視線ベクトルと直交する法線を有する対象物の表面上の点は、真の形状とビジュアルハルとの接点、あるいはその近傍である可能性が高い、という性質を有する。このような性質を用い、3次元モデルM(t+1)との接点である可能性が高いビジュアルハルH(t+1)上の点vdの集合Vdを算出する。
条件1:vdは、各カメラの視線ベクトルekに概ね垂直(90°±ε(ただし、εはごく小さい任意の実数))な法線ndを有する。
条件2:vdは、3次元モデルM(t)の表面上の少なくとも1点から距離dth以内にある。
次に、集合Vdの各点vdごとに3次元モデルM(t)上の接点(対応点)vsを求め、その集合Vsを算出する。これは、上述したように、滑らかな形状であれば、真の形状とビジュアルハルとの接点において法線ベクトルは一致している、という事実に基づく。
集合Vsを算出するとき、以下の指標を用いる。
(指標1)3次元モデルM(t)上の各点が、vdからどれだけ近いか
(指標2)3次元モデルM(t)上の各点の法線ベクトルnsと、vdの法線ベクトルndの差分がどれだけ小さいか。
手順2で求めた、vsとvdとの対応関係を用い、3次元モデルM(t)がビジュアルハルH(t+1)に接するような位置制約を与える。
図8は、内接条件を示す模式図である。特に、図8(a)は、内接条件を二次元で示したもの、図8(b)は、内接条件を3次元で示したものである。
また、本実施形態では、vsの過度の変位を抑制するために変位量に所定のパラメータを設定している。具体的には、次の式(5)を用いて、点vsをuiの位置に変位させる。
手順4においては、解析対象物の変形前後の離散ラプラシアンのずれ(差)を最小化する形状を、位置制約を満たすように最小二乗法に基づいて更新する。反復試行の中では、常に反復試行を行う前の離散ラプラシアンL(t)とのずれを用いて形状を更新していく。更新後の頂点座標viは、次の式(6)によって求めることができる。
また、wiは、離散ラプラシアンに対する重み付け、λiは、位置制約に対する重み付けである。wi及びλiは、試行実験結果に基づいて定めることができ、例えば、wi=1.0、λi=1.0とすることができる。
手順5においては、試行前からの形状の差分が、所定の閾値以下になった時点で更新を終了し、その時点での形状をM(t+1)として出力し、そうでなければ再び手順1から試行を行う。この閾値は、例えば、変位が5〜30mm程度を想定した場合に十分小さいとみなせる、0.001mm程度とすることができる。
本出願の発明者は、上記において説明したアルゴリズムの有効性を確認するため、評価実験を行った。この評価実験では、時刻t=0における対象物の初期形状を既知とし、時刻t=1における変形した対象物の形状を、2〜4台のカメラにより撮影してシルエット画像を取得し、このシルエット画像から生成した解析用モデル(ビジュアルハル)を用いて変位を推定した。また、後述する推定誤差を算出し、その誤差により推定精度を検証した。
図9には、評価の対象となる臓器としての肝臓及び腎臓と、直方体形状の角材との3種類の3次元モデルを示す。この評価実験では、背景を黒とし、3次元モデルのサーフェスを白とすることで、シルエット画像を取得しやすい状態とした。図9の左側には、3次元モデルを+y方向から見た形状、右側には、3次元モデルを−z方向から見た形状をそれぞれ示す。
(a)初期形状の四面体メッシュモデルM(0)を予めを用意した。
(b)有限要素法に基づいて初期形状の3次元モデルM(0)の一端に−z方向に、一定の外力を与え、変形した3次元モデル(真の形状)を作成した。
(c)複数台のカメラの配置を想定した各視点から変形後の3次元モデルの形状をキャプチャし、ビジュアルハル(解析用モデル)H(1)を取得した。
(d)上記に説明したアルゴリズムに基づいて、初期形状の3次元モデルM(0)と、ビジュアルハルH(1)とから推定される3次元モデルM(1)を算出した。
(e)推定された3次元モデルM(1)と真の形状の3次元モデルとの間で推定誤差を求め、評価した。
図10(b)においては、xy平面上に原点を中心に視野角±30°で2台のカメラを配置し、xz平面と平行な面上で、前記2台のカメラと正三角形の配置となるように3台目のカメラを配置した。この配置を、「カメラ位置(2)」という。
図10(d)においては、xy平面上で視野角±30°をなす2台のカメラと、yz平面上で視野角30°をなす2台のカメラとを配置し、合計4台のカメラを十字状に配置した。この配置を、「カメラ位置(3−b)」という。
まず、アルゴリズムの手順1で用いる閾値dthを5.0mm、7.5mm、10.0mm、12.5mmの4段階に設定した。また、初期形状の3次元モデルM(0)に外力を与えた点の変位量を5mm〜30mmの間で6段階に設定した。したがって、閾値dthと変位量の各段階を組み合わせて、合計24通りのパターンで評価実験を行った。
また、各パターンについて、カメラの配置を、カメラ位置(1),(2),(3−a),(3−b)の4通りとした。
また、アルゴリズムの手順5で行う反復試行は、推定誤差の差分が0.00256mm以下になるまで繰り返した。また、反復試行が1000回に達したら停止することとした。推定誤差には、次の式(7)に示すRMS(Root Mean Square)を採用した。
検証では、推定前の誤差・推定後の誤差それぞれを記録し、推定前後の誤差の減少分をもって評価した。
図11(b)には、カメラ位置(1),(2),(3−a),(3−b)の4つのパターンにおいて、視線+y方向からビジュアルハルH(1)を見たもの(図11(b)の上側)、及び、視線−z方向からビジュアルハルH(1)を見たもの(図11(b)の下側)を示す。各ビジュアルハルH(1)の内部に白い点で示されるものは、探索されたvdである。閾値dthは10mmに設定している。
図12及び図13に示すように、(I)の形状推定前(初期形状)のメッシュモデルは、変形後の真の形状であるサーフェスデータの内部に埋もれていたり、外側に離れている領域が多く存在しているが、(II)〜(IV)の形状推定後のメッシュモデルは、(I)に比べて、真の形状のサーフェスデータに沿って配置される領域が増大している。また、(II)〜(IV)のそれぞれにおいて、カメラ2台の場合と4台の場合とを比較すると、特に丸で囲んだ領域において、4台のカメラを用いた方が、より形状推定後のメッシュモデルが真の形状のサーフェスデータに沿って配置されていることがわかる。
また、これらの条件に加えて、又は代えて、他の条件を適用してもよい。例えば、解析用モデルと3次元モデルとの頂点に、色、模様、テクスチャ等の少なくとも1つの追加情報を付与しておき、解析用モデルと3次元モデルとの追加情報の近似性を利用して、頂点vd,vsを探索してもよい。ただし、上述したように、色、模様、テクスチャ等は照明や陰影の影響で変化しやすいため、少なくとも両頂点vd,vsの距離及び法線ベクトルの近似性のいずれか一方を用いることがより好ましい。
11 :カメラ
12 :画像処理装置
23 :記憶部
31 :生成部
32 :解析部
A :対象物
G1 :画像
G2 :シルエット画像
H :ビジュアルハル(解析用モデル)
Ik :カメラ画像
M :メッシュモデル(三次元モデル)
dth :閾値
ek :視線ベクトル
nd :法線ベクトル
ns :法線ベクトル
vd :頂点
vs :頂点
Claims (8)
- 第1の時刻における対象物の3次元モデルを記憶する記憶部と、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における対象物の形状として前記3次元モデルを更新する解析部と、を備えている、画像処理装置。 - 前記解析用モデル上の前記対応箇所は、前記第1の時刻における前記3次元モデルから所定の範囲内に配置されることを条件として探索される、請求項1に記載の画像処理装置。
- 前記解析用モデル上の前記対応箇所は、前記画像を撮影するカメラの視線方向に対して略垂直な法線を有することを条件として探索される、請求項1又は2に記載の画像処理装置。
- 前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所から最も近いことを条件として探索される、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所と近似する法線ベクトルを有することを条件として探索される、請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記3次元モデルと前記解析用モデルとの対応箇所は、色、模様、及びテクスチャの少なくとも一つが互いに近似していることを条件として探索される、請求項1に記載の画像処理装置。
- コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第1の時刻における対象物の3次元モデルを記憶するステップと、
前記コンピュータが、前記第1の時刻よりも後の第2の時刻における対象物の画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成するステップと、
前記コンピュータが、前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新するステップとを含む、画像処理方法。 - 第1の時刻における対象物の3次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部、及び
前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新する解析部、としてコンピュータを機能させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015097380A JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015097380A JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016209399A JP2016209399A (ja) | 2016-12-15 |
JP6608165B2 true JP6608165B2 (ja) | 2019-11-20 |
Family
ID=57549015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015097380A Expired - Fee Related JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6608165B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7005622B2 (ja) * | 2017-07-12 | 2022-01-21 | 株式会社ソニー・インタラクティブエンタテインメント | 認識処理装置、認識処理方法及びプログラム |
JP2019128641A (ja) | 2018-01-22 | 2019-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7349158B2 (ja) * | 2018-09-13 | 2023-09-22 | 国立大学法人京都大学 | 機械学習装置、推定装置、プログラム及び学習済みモデル |
CN114450719A (zh) * | 2019-09-30 | 2022-05-06 | Oppo广东移动通信有限公司 | 人体模型重建方法、重建***及存储介质 |
JP7487266B2 (ja) | 2022-08-15 | 2024-05-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4395689B2 (ja) * | 2001-02-09 | 2010-01-13 | コニカミノルタホールディングス株式会社 | 画像データ処理方法およびモデリング装置 |
JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | 3次元形状モデルの評価方法および生成方法並びに装置 |
JP4981335B2 (ja) * | 2006-03-08 | 2012-07-18 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
JP2007287037A (ja) * | 2006-04-19 | 2007-11-01 | Mitsubishi Electric Corp | 物体認識装置 |
JP2007315777A (ja) * | 2006-05-23 | 2007-12-06 | Ditect:Kk | 三次元形状計測システム |
JP5206366B2 (ja) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | 3次元データ作成装置 |
JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
JP5736285B2 (ja) * | 2011-09-21 | 2015-06-17 | Kddi株式会社 | 被写体の3次元形状を復元する装置、方法およびプログラム |
US20150178988A1 (en) * | 2012-05-22 | 2015-06-25 | Telefonica, S.A. | Method and a system for generating a realistic 3d reconstruction model for an object or being |
-
2015
- 2015-05-12 JP JP2015097380A patent/JP6608165B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016209399A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6608165B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
JP5355074B2 (ja) | 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム | |
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
KR102099415B1 (ko) | Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치 | |
US9367914B2 (en) | Imaging system and method for use of same to determine metric scale of imaged bodily anatomy | |
Özgür et al. | Preoperative liver registration for augmented monocular laparoscopy using backward–forward biomechanical simulation | |
TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
JP2008534181A (ja) | 手術前予測のための方法及びシステム | |
EP3622481B1 (en) | Method and system for calibrating a velocimetry system | |
CN108369736A (zh) | 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和*** | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
KR20160004865A (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
CN110443884B (zh) | 手部运动重建方法和装置 | |
Saito et al. | [POSTER] deformation estimation of elastic bodies using multiple silhouette images for endoscopic image augmentation | |
JP6493877B2 (ja) | 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム | |
WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
JP4527471B2 (ja) | 3次元眼底画像の構築・表示装置 | |
JP2006212294A (ja) | 画像処理装置及びそれに用いられるプログラム | |
JP4910478B2 (ja) | モデリング装置、モデリング方法およびプログラム | |
Paulus et al. | Surgical augmented reality with topological changes | |
WO2021039642A1 (ja) | 3次元再構成装置、方法及びプログラム | |
JP2002034925A (ja) | 多方向から撮影した眼底画像の重合せによる眼底3次元パターンの復元法及び装置 | |
KR20230021543A (ko) | 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
JP6545847B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5904976B2 (ja) | 3次元データ処理装置、3次元データ処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6608165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |