JP5354494B2 - 3次元画像生成装置、3次元画像生成方法、及びプログラム - Google Patents
3次元画像生成装置、3次元画像生成方法、及びプログラム Download PDFInfo
- Publication number
- JP5354494B2 JP5354494B2 JP2009103217A JP2009103217A JP5354494B2 JP 5354494 B2 JP5354494 B2 JP 5354494B2 JP 2009103217 A JP2009103217 A JP 2009103217A JP 2009103217 A JP2009103217 A JP 2009103217A JP 5354494 B2 JP5354494 B2 JP 5354494B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional image
- dimensional
- coordinates
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Endoscopes (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態1の3次元画像生成装置は、2次元画像から3次元画像を生成する。具体的には、本実施形態においては、内視鏡を用いて撮影された映像(「内視鏡画像」と言う。)を平面的に展開することにより2次元画像を生成し、その2次元画像を用いて元の内視鏡画像を再現した画像である仮想内視鏡画像(3次元画像)を生成する。より具体的には、本実施形態においては、2次元画像の被写体の形状が事前に分かっており、その被写体に応じた計算式を用いて、3次元形状を復元する。
図1に、本発明の実施形態1の3次元画像生成装置の構成を示す。本実施形態の3次元画像生成装置は、内視鏡スコープにより撮影された画像から内視鏡画像データを生成する内視鏡装置200と、内視鏡画像データから2次元展開画像を生成するとともに、その2次元展開画像から3次元画像を生成する情報処理装置100と、を有する。
2−1.2次元画像の生成
情報処理装置100による2次元展開画像の生成処理は、国際公開WO2007/139187パンフレットに開示された画像構築技術を利用する。この画像構築技術について説明する。情報処理装置100は、内視鏡装置200から内視鏡スコープ21によって撮影された管状構造物内壁の内視鏡画像(動画または複数の静止画)を取得し、管状構造物内壁を平面的に展開した2次元展開画像を生成する。具体的には、図2(a)に示すように、動画または複数の静止画を構成する各画像F1、F2、F3、・・・上に試験線Rを設定し、その試験線R上の画素のみを抽出し、各画像について抽出した画素を一次元的に展開した画素列データ画像R1、R2、R3、・・・を生成する。その後、図2(b)に示すように、一次元的に展開した画素列データ画像R1、R2、R3、・・・を、連続する複数画像分合成することで管状構造物内壁を平面的に展開した2次元画像Pを生成する。図2(c)は、図2(a)に示すような連続した内視鏡画像から生成される、管状構造物内壁を平面的に展開した画像Pの一例を示した図である。このように、国際公開WO2007/139187パンフレットには、管状構造物内壁を平面的に展開した2次元画像Pを生成する技術が開示されている。本実施形態の情報処理装置100は上記の機能を有する。
図3及び図4を用いて、2次元画像から3次元画像を生成する方法について説明する。図3は、情報処理装置100の制御部11cによる3次元画像の生成方法を示すフローチャートである。図4は、2次元画像の被写体が管状構造物である場合の、2次元画像から3次元画像への変換方法を説明するための図である。図3を参照し、まず、生成する3次元画像(図4(b))に対し、ユーザが任意に指定する頂点数を制御部11cへ設定することにより、2次元画像の頂点数(すなわち、空間解像度)を設定する制御部11cは、設定された頂点数を入力する(S301)。ここでは、2次元画像の水平方向(図4(a)のU軸方向)と垂直方向(図4(a)のV軸方向)のそれぞれについての分割数が同時に設定される。制御部11cは、設定された頂点数(分割数)に基づいて、図4(a)に示すように、2次元画像を格子状に分割する(S302)。制御部11cは、格子状に分割された2次元画像の2次元座標(u,v)(テクスチャ座標)を設定する(S303)。制御部11cは、2次元画像における、各座標上の輝度情報を算出し、その輝度情報に基づいて、3次元座標(x、y、z)(モデル空間座標)を算出する(S304)。制御部11cは、3次元座標に基づいて、3次元モデルを生成する(S305)。「3次元モデル」は、図4(b)に示すように、近接3頂点で構成される三角形を連続した構成(TRIANGLE-STRIP)を備えた仮想3次元空間上に生成される物体のことである。制御部11cは、2次元座標と3次元座標に基づいて、3次元モデルに2次元画像のテクスチャを貼り付ける(S306)。図4(a)(b)においては、U軸をZ方向、V軸をX−Y平面の円周方向に割り当てることにより、2次元画像のテクスチャを3次元モデルに貼り付ける。
L=0.298912×R+0.586611×G+0.114478×B・・・(1)
(R:赤色の輝度値、G:緑色の輝度値、B:青色の輝度値)
(kd:物体の拡散反射率、Iq:光源光度、θ:光線の入射角、γ:表示部のガンマ特性)
上記式(2)で示すように、本実施形態においては、内視鏡装置200のガンマ特性を考慮して、非線形な信号を線形な信号に補正するために、2次元画像の各画素の輝度値に対して、ガンマ補正を行っている。
(R’のとりうる範囲:「0.0〜∞」)
処理2:「R’−1.0」をR’値全体の最大値で割る。
(R’のとりうる範囲:「0.0〜1.0」)
処理3:「所定の最小値min(>0.0)〜1.0」の範囲内に圧縮する。
(R’のとりうる範囲:「min〜1.0」)
本実施形態によれば、内視鏡画像から得られた2次元画像のテクスチャを用いて3次元画像を生成しているため、元のテクスチャの色情報が得られると共に高い解像度が得られる。そのため、本実施形態により生成された3次元画像は有用性が高い。よって、本実施形態により生成された3次元画像を用いて、組織全体の性状や立体的な組織間の位置関係などの把握を行うことが可能となる。また、任意の断面で画像を表示したり、対象臓器を任意に回転させながら全体を眺めたりすることにより、病変の検出精度が向上する。
本実施形態では、3次元座標の算出(S304)の別の方法を説明する。本実施形態の構成は、実施形態1と同様である。本実施形態では、2次元画像の被写体の形状が知られていない場合でも、画像の輝度情報に基づきz座標を算出する場合について説明する。具体的には、2次元画像に奥行き(z方向)を持たせることにより、2次元画像から3次元画像を生成する。より具体的には、3次元座標(x、y、z)を算出する際に、x座標及びy座標については、元の2次元座標の値(u,v)を用い、z座標のみを輝度値から算出する。なお、本実施形態において、3次元画像生成装置の構成は実施形態1と同一であるが、内視鏡画像200はなくてもよい。
11a 入出力インターフェース
11b 記憶部
11c 制御部
12 表示部
13 操作部
13a マウス
13b キーボード
21 内視鏡スコープ
22 制御ユニット
22a 制御部
22b 信号処理部
22c 光源部
100 情報処理装置
200 内視鏡装置
Claims (6)
- 3次元形状を有する被写体の2次元画像を入力する入力手段と、
前記入力された2次元画像を格納する記憶手段と、
前記記憶手段から前記2次元画像を読み出し、読み出した2次元画像から前記被写体の3次元画像を生成する制御手段とを有し、
前記制御手段は、前記2次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、その差分に基づき各画素の第3の座標軸上の座標を算出して3次元座標を求め、前記3次元座標に基づいて前記被写体の3次元画像を生成する、
3次元画像生成装置。 - 前記2次元画像は、内視鏡により撮影された画像を平面的に展開することにより生成された画像である、請求項1に記載の3次元画像生成装置。
- 情報処理装置を用いて3次元形状を有する被写体の2次元画像から3次元画像を生成する方法であって、
前記情報処理装置の制御手段が、
被写体を撮像した2次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第3の座標軸上の座標を算出して、3次元座標を求めるステップと、
前記2次元画像内の各画素の3次元座標に基づいて前記被写体の3次元画像を生成するステップと
を含む、
3次元画像生成方法。 - 前記2次元画像は、内視鏡により撮影された画像を平面的に展開することにより生成された画像である、請求項3に記載の3次元画像生成方法。
- 情報処理装置に、3次元形状を有する被写体の2次元画像から3次元画像を生成させるためのプログラムであって、
前記情報処理装置の制御手段に、
被写体を撮像した2次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第3の座標軸上の座標を算出して、3次元座標を求めるステップと、
前記2次元画像内の各画素の3次元座標に基づいて前記被写体の3次元画像を生成するステップと
を実行させる、3次元画像生成プログラム。 - 前記2次元画像は、内視鏡により撮影された画像を平面的に展開することにより生成された画像である、請求項5に記載の3次元画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009103217A JP5354494B2 (ja) | 2009-04-21 | 2009-04-21 | 3次元画像生成装置、3次元画像生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009103217A JP5354494B2 (ja) | 2009-04-21 | 2009-04-21 | 3次元画像生成装置、3次元画像生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010256988A JP2010256988A (ja) | 2010-11-11 |
JP5354494B2 true JP5354494B2 (ja) | 2013-11-27 |
Family
ID=43317866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009103217A Expired - Fee Related JP5354494B2 (ja) | 2009-04-21 | 2009-04-21 | 3次元画像生成装置、3次元画像生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5354494B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230099A1 (ja) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
US10354436B2 (en) | 2016-03-15 | 2019-07-16 | Olympus Corporation | Image processing apparatus, image processing system and image processing apparatus operation method |
WO2021176664A1 (ja) * | 2020-03-05 | 2021-09-10 | オリンパス株式会社 | 検査支援システム、検査支援方法、及び、プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015049962A1 (ja) | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
CN108135453B (zh) * | 2015-09-28 | 2021-03-23 | 奥林巴斯株式会社 | 内窥镜***和图像处理方法 |
WO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000111635A (ja) * | 1998-08-04 | 2000-04-21 | Japan Radio Co Ltd | 3次元レ―ダ装置 |
JP2007029460A (ja) * | 2005-07-27 | 2007-02-08 | Topcon Corp | 眼科画像処理装置及び眼科画像処理プログラム |
US7612773B2 (en) * | 2006-05-22 | 2009-11-03 | Magnin Paul A | Apparatus and method for rendering for display forward-looking image data |
EP2030558B1 (en) * | 2006-05-31 | 2017-05-03 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
JP5478103B2 (ja) * | 2009-04-15 | 2014-04-23 | 興和株式会社 | 画像処理方法 |
-
2009
- 2009-04-21 JP JP2009103217A patent/JP5354494B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354436B2 (en) | 2016-03-15 | 2019-07-16 | Olympus Corporation | Image processing apparatus, image processing system and image processing apparatus operation method |
WO2018230099A1 (ja) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
CN110769731A (zh) * | 2017-06-15 | 2020-02-07 | 奥林巴斯株式会社 | 内窥镜***、内窥镜***的工作方法 |
US11432707B2 (en) | 2017-06-15 | 2022-09-06 | Olympus Corporation | Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion |
WO2021176664A1 (ja) * | 2020-03-05 | 2021-09-10 | オリンパス株式会社 | 検査支援システム、検査支援方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2010256988A (ja) | 2010-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8913110B2 (en) | Endoscope apparatus and measurement method | |
KR102087595B1 (ko) | 내시경 시스템 및 그 제어방법 | |
JP5354494B2 (ja) | 3次元画像生成装置、3次元画像生成方法、及びプログラム | |
US9157728B2 (en) | Endoscope apparatus and method | |
US9723971B2 (en) | Image processing apparatus, method, and program | |
US20190051039A1 (en) | Image processing apparatus, image processing method, program, and surgical system | |
US20110187824A1 (en) | Endoscope apparatus and measurement method | |
JP6141559B1 (ja) | 医療装置、医療画像生成方法及び医療画像生成プログラム | |
WO2014168128A1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JPWO2009116465A1 (ja) | 医用画像表示装置及び医用画像表示方法 | |
JP6206869B2 (ja) | 内視鏡観察支援装置 | |
JP2006519631A (ja) | 仮想内視鏡法の実行システムおよび実行方法 | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
JP2016039874A (ja) | 内視鏡画像診断支援装置、システム、方法およびプログラム | |
US20190104921A1 (en) | Endoscopic system | |
JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
JP2017225700A (ja) | 観察支援装置及び内視鏡システム | |
US20220409030A1 (en) | Processing device, endoscope system, and method for processing captured image | |
Dimas et al. | Endoscopic single-image size measurements | |
EP4177664A1 (en) | Program, information processing method, and endoscope system | |
JP2006061274A (ja) | プログラム、及び内視鏡システム | |
WO2018230099A1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
JP2017205343A (ja) | 内視鏡装置、内視鏡装置の作動方法 | |
JP2011172692A (ja) | 医用画像処理装置、及び医用画像処理プログラム | |
JP2011170276A (ja) | 内視鏡装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5354494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |