JP3632862B2 - Three-dimensional image display method and apparatus - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、三次元原画像の内視鏡的映像化を行う疑似三次元画像の形成方法及び装置、表示方法及び装置に関する。
【０００２】
【従来の技術】
医用画像は、Ｘ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像より成る。疑似三次元画像を得るには、Ｘ線ＣＴ画像では断層面の画像を積み上げるやり方をとる。ＭＲＩ画像では三次元的な画像計測を行うことができるため、それらを配列処理することで三次元原画像を得る。
【０００３】
一方、視点と投影面とを与えて、視点と投影面との間に存在する三次元原画像を、その投影面に、視点からみたように投影する投影法が存在する。投影法には、平行投影法と中心投影法とが知られている。平行投影法は、視点が面又は線で構成されており、この視点から平行に投影面に投影を行うものであり、三次元画像化した臓器などの対象物をその外側からみた画像として構成する映像化には適している。中心投影法は、数学上では知られているが、疑似三次元画像化した医用画像の投影法としては、未だ採用されていない。
【０００４】
【発明が解決しようとする課題】
医用疑似三次元画像の映像化にあっては、外形的な形状も大切であるが内視鏡的な観察を行ったような映像化も必要である。平行投影法ではその実現は困難であった。そこで、本件出願人は、先に、中心投影法を採用した三次元画像構成法について出願を行った（特願平６−３４９２号）。
この先願は、三次元画像に対して視点を面や線ではなく点とし、且つこの点としての視点を中心として位置づけ、視点と投影面との間に存在する三次元原画像を、視点を中心位置として中心投影して投影面に投影しようとしたものである。投影面が二次元表示面とすれば、二次元表示面には、視点から中心投影法で得た三次元画像が二次元化されて表示される。
【０００５】
ここで、内視鏡的に観察できる理由は以下の通りである。三次元原画像が腸内部を含む画像であるとすると、視点をこの腸内部に持ってくる。そして視点からその腸内部に向けて視線を移せば、視点から奥側にある腸内部は拡がりを持って観察できるはずである。こうした様相を実現するために、視点を中心位置として、視点よりも奥側を、中心投影法により、投影面である表示面に投影すれば、この表示面の投影画像は丁度内視鏡で腸内部を観察したかの如き映像となる。これが先願の主たる特徴である。
【０００６】
更に上記先願では、中心投影法による投影結果をそのまま表示したのでは、画素の遠近が考慮されず、且つ三次元原画像上での視点からみての手前側と奥側との区別もつかないものとなり、画像のリアルティがなくなる。そこで、先願では、画素の遠近を考慮すべく陰影づけアルゴリズム法を開示した。例えば、デプス法の例では、視点と各画素との距離Ｒを考慮し、投影後の画素濃度（階調度）Ｉを下記の如くとる。Ｃは定数、Ｉ_ｍａｘは最大階調度（設定した定数）である。
【数１】

これによって、距離Ｒが大きい程暗くなり、小さい程明るくなる。
【０００７】
一方、手前側と奥側との区別は、例えばＺバッファ法を採用する。Ｚバッファ法とは、隠れた面を消去する方法であり、過去には平行投影法で採用されていた。平行投影法において、各画素から投影面に垂線を下し、その交点と画素までの距離Ｚ（これは、垂線方向がＺ軸と定義していたためであり、このＺ軸成分が距離Ｚとなる。距離Ｚは奥行き距離とも呼ばれている）を求める。そして、投影面上の同一位置に２つ以上の画素が重なって存在する場合には、各画素のＺをみて、最小のＺの値をＺバッファメモリに記憶し、その他の画素は陰れ画素として消去する。かくして、最小のＺ、即ち一番手前側の画素のみが選択され、これを表示することで、手前側の画素のみが観察できる。この平行投影法のＺバッファ法を、中心投影法としても採用できる。即ち、Ｚバッファの中味のデータをＺとするのではなく、点としての視点と投影面の各画素位置との距離Ｒとする。これにより、投影面の画素位置に、２つ以上の画素が重なって投影されている場合には、距離Ｒの最小の画素を選び、残りの画素は消去する。この結果を表示すれば、隠面処理された二次元画像が表示面上に得られる。勿論、デプス法やＺバッファは一例にすぎない。
【０００８】
ここで、中心投影法を図２を用いて説明する。簡単のため、２つの平行な面ＰＬ_１、ＰＬ_２を考える。手前の面ＰＬ_１が三次元原画像を構成する１つの面であり、いわゆる被投影面である。奥側の面ＰＬ_２が投影面である。手前の面ＰＬ_１の更に手前に点としての視点Ｅを与える。視点Ｅから投影面ＰＬ_２にむけて中心投影を行うと、視点Ｅから投影面ＰＬ_２にむけて放射状にのびる数多くの中心投影線Ｐ（Ｐ_１、Ｐ_２、……）が得られる。中心投影線Ｐと被投影面との交点Ｑ（Ｑ_１、Ｑ_２、……）が被投影画素位置となる。そして交点Ｑをつきぬけて投影面ＰＬ_２と交わる。その交点Ｎ（Ｎ_１、Ｎ_２、……）が、被投影画素位置Ｑの投影画素位置となる。被投影画素位置Ｑと投影画素位Ｎとは、視点Ｅと被投影面ＰＬ_１と投影面ＰＬ_２とが幾何学的に定まれば座標変換を示す関数で規定できる。
【０００９】
図２は理解しやすくするための図であり、一般的には、図３の如く面ＰＬ_１とＰＬ_２とは平行とは限らず、視点Ｅの位置も種々である。しかし、いずれの態様であれ、ＥとＰＬ_１とＰＬ_２とは幾何学的に規定できるものであり、座標変換関数も、一義的に数式で規定できる故、何ら問題はない。そして、投影後の画素位置に関してはコンピュータを利用して座標変換の処理を行い、画素濃度については、デプス法やＺバッファ法を利用することでリアルティを持たせることで、二次元表示画面上には、疑似三次元画像を内視鏡的にみた映像がリアルティを持って表示できることになった。
【００１０】
尚、三次元原画像は、２値化した画像の例もあれば、多階調の画像の例もある。２値化画像とは、関心領域のみを“１”とし、他は“０”とする如き例である。そして“１”となっている部位のみを（数１）使って陰影処理を行い、Ｚバッファ処理を行う。多階調の画像とは、２値化する前の画像である。
【００１１】
更に出願人は、腸などの内視鏡的な画像表示のための第２の先願である特許出願を行っている（特願平５−２５９５８１号）。この先願は、腸などの折れ曲がった画像を動画として表示しようとするものであり、視点を前進させてその腸に沿って内視鏡であたかも観察するかの如き表示を行わせる。前進ではなく、後退して表示させる例も開示する。更に、腸の折れ曲がりに沿って追跡してゆく例も開示する。これらの動画を得るために、三次元原画像を平行投影法で投影して投影画像を得、動画表示に際してはそれらの投影画像を動画として選択するやり方も開示する。
【００１２】
第１の先願である特願平６−３４９２号は、視点位置をマウスやトラックボールを使って人間の指示によって動かす例を開示する。これによって腸などの内部を内視鏡を動かしながら見ているような投影画像が得られる。
しかし、第１の先願は、視点位置の移動にあたって、忠実に腸などの内部を内視鏡で追従させるやり方については開示していない。
【００１３】
第２の先願である特願平５−２５９５８１号は、内視鏡で観察する如き投影画像の動画表示について開示し、その投影画像の平行投影は述べているが、中心投影法による記載はない。
【００１４】
本発明はこうした先願を発展させたものであって、その目的は、点としての視点位置を腸などの内部に沿って忠実に移動可能にする疑似三次元画像形成法及び装置を提供するものである。
【００１５】
更に本発明の目的は、中心投影法を採用して視点位置の腸などの内部に沿って忠実に移動可能にする疑似三次元画像形成法及び装置を提供するものである。
【００１６】
【課題を解決するための手段】
本発明は、視点、複数の断層像を積み上げた積上げ画像及び投影面の順にそれぞれ配置し、その積上げ画像の内部に前記視点を設定するステップと、
前記視点と前記投影面との位置関係を維持しながら前記視点と前記投影面の位置を順次更新するステップと、
該順次更新された位置の視点から見た積上げ画像を投影面に中心投影法により順次投影するステップと、
前記投影面に投影された積上げ画像情報に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得るステップと、
該順次得られた擬似三次元画像を順次表示するステップと、
前記順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択するステップと、
前記選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定するステップと、
前記設定された更新視点から中心投影法により更新された擬似三次元画像を構成し、表示するステップと、
前記断層像を選択するステップ乃至更新された擬似三次元画像を構成し、表示するステップを繰り返し、更新された各視点から中心投影法により更新された擬似三次元画像を構成、表示することを特徴とする三次元画像表示方法を開示する。
【００１７】
更に本発明は、視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び視点毎の疑似三次元画像を得て、表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の構成に寄与する複数の断層像のうち、前記更新前の視点からの距離が最大値又は極大値となる画像位置を有する断層像を選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記設定された更新視点からこの更新視点に対応する投影面への、中心投影法により、疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法を開示する。
【００１８】
更に本発明は、視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び陰影処理を行って視点毎の疑似三次元画像を得て表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の最小濃度の画素位置を検索する検索ステップと、
前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を前記積上げ画像から選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記更新視点からこの更新視点に対応する更新投影面への、中心投影法により、更新された疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法を開示する。
【００１９】
更に本発明は、前記表示ステップは、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする三次元画像表示方法を開示する。
【００２０】
更に本発明は、前記表示ステップは前記疑似三次元画像を得る処理ステップを有すると共に、この処理ステップは、その時の視点位置からそれの投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について視点から前記投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得ることを特徴とする三次元画像表示方法を開示する。
【００２１】
更に本発明は、複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置を開示する。
【００２２】
更に本発明は、複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、陰影処理を行って前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記疑似三次元画像の最小濃度の画素位置を検索し、前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置を開示する。
【００２３】
更に本発明は、前記表示手段は、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする三次元画像表示装置を開示する。
【００２４】
更に本発明は、前記制御手段は、前記更新視点位置からその更新視点と対応する更新投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について前記更新視点から前記更新投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行うことを特徴とする三次元画像表示装置を開示する。
【００２５】
【実施例】
本実施例で使用する各用語を先ず説明する。
三次元原画像…立体的に形成された画像のすべてを指し、具体的には、立体的な各位置と各位置毎の画素濃度とでデータ化された画像を云う。医用画像にあっては、複数のＣＴ画像（スライス画像とも云う）を積み上げて得た積み上げ三次元画像、ＭＲＩで得た三次元画像、超音波で得た三次元画像等がある。これらの三次元画像のデータには、計測して得られたものの他に、計測内容から補間して得られた三次元画素データを含む。
中心投影法…図２で述べたやり方をとる。更に、三次元原画像に対して、点としての視点とこの視点からの視線方向と投影面とを対にして更新する。
単位三次元画像…更新毎に定まる視点と投影面との間に介在する三次元原画像を指す。単位三次元画像は三次元原画像の一部であり、更新毎に単位三次元画像も更新し、変更される。
【００２６】
視点とこの視点からの視線方向と投影面との対にしての更新…これは、三次元原画像に対してその奥行き方向に点としての視点を移しながら更新する、との意味である。例えば、奥行き方向に管路（腸や気管）が形成されている如き三次元原画像に対して、その管路の奥側を内視鏡的にみたい場合、奥行き方向に画像を追って観察できるようにすれば都合がよい。その奥行き方向へ画像を追うために、視点と視線方向と投影面とを対にして更新してゆくのである。投影面は視線方向に直角になるように定めることが好ましい。視線方向に直角とは、視線方向の中心線が投影面の垂線となる如く、投影面を定めることである。更新ピッチ距離は大きくとると粗く進み、小さくとると細かく進む。これらは観察目的に応じて定める。更新ピッチ時間は短い程よいが、更新毎に所定のデータ処理（視点と視線方向と投影面との更新処理、陰影化処理、隠面化処理等）を行うだけの時間は必要である。
擬似三次元画像…単位三次元画像の中心投影画像を陰影化処理及び隠面化処理して得た二次元配列の画像である。擬似とは、陰影化処理と隠面化処理により、あたかも三次元の如き奥行き感のあるリアルティで得た画像が得られるために使った用語である。
【００２７】
図１は、本発明の処理フローを示す。図１（イ）が操作者とのインターフェースを受け持つプログラムの手順、図１（ハ）が単位三次元画像、擬似三次元画像を得るためのプログラムの手順を示す。図１（ロ）は、図１（イ）と図１（ハ）のプログラムの処理の中継を行う共有メモリ９である。
先ず、図１（イ）の各ステップを説明する。
ステップ１…擬似三次元画像の初期画像を表示するステップである。この初期画像の表示にあっては、視点と視線方向と投影面とは初期設定されたものである。この初期画面には、「自動アイコン、手動アイコン、終了アイコン」のアイコンモードと、「複数ポイント選択アイコン」（ポイントとは点の他に領域を含む）とが表示されている。アイコンモードにおける「手動アイコン」とは、これをＯＮすることで手動によって視点、視線方向、投影面とを対にして更新可能な状態にする表示スイッチである。「自動アイコン」とは、これをＯＮすることで自動によって視点、視線方向、投影面とを対にして更新可能な状態にする表示スイッチである。「終了アイコン」とは、これをＯＮすることで図１（イ）のプログラムが終了することを指す表示スイッチである。「複数ポイント選択アイコン」とは、奥行き方向に進むべきポイントが複数個（例えばＰ_１、Ｐ_２）存在するときに、その番号を（例えば１、２）表示しておき、どれか１つを選択させるアイコンである。進むべきポイントが複数個存在すると、内視鏡的な自動更新が不可となり、どれか１つを選択させることにしたのある。この選択は操作者が行う。図４には、その一例を示す。
【００２８】
図４において、表示画面１００には擬似三次元画像１０１を表示してある。この画像１０１には、２つの異なる奥行き方向のポイントＰ_１とＰ_２とが存在する例を示してある。例えば、気管支が２つに分岐する部位の画像や２つの血管が近接して走っている部位の画像が相当する。こうした画像の表示に併せて、アイコン１０２、１０３を表示しておく。アイコン１０２では３つのアイコン「自動、手動、終了」の中のいずれかをＯＮすることで、それに該当するフラグが“１”となる。アイコン１０３では、Ｐ_１を選択しようとすれば「１」をＯＮにし、Ｐ_２を選択しようとすれば「２」をＯＮにする。これらのＯＮにより計算機内では、対応するフラグが“１”となる。尚、１０４はマウスである。
【００２９】
ステップ２…視点、視線方向、投影面の対による更新を、自動で行うか手動で行うかの指示を操作者にさせるステップである。１ビットの自動フラグを与えておき、これが“１”であれば自動、“０”であれば手動とのやり方をとる。この手動か自動かの指示は、図４の手動アイコンか自動アイコンかのいずれかをＯＮすることで行う。
ステップ３…自動か手動かの判定を、自動フラグが“１”か“０”かをみることで行う。手動であればステップ４に移り、自動であればステップ５に移る。
ステップ４…手動による視点、視線方向、投影面の更新を行って擬似三次元画像を得る処理を行う。この手動による処理とはマウスを使っての対話形式による更新を云う。
【００３０】
ステップ５…自動の指示であれば、終了アイコンがＯＮしているか否かをチェックする。これは終了フラグが“１”か“０”かでわかる。“１”であれば、処理を終了する。ステップ４内でも終了アイコンがＯＮか否かのチェックを行っていることはいうまでもない。
ステップ６…共有メモリ９からのステータスの読み込みを行う。ステータスとは、図１（ハ）のプログラムによってセットされるものであって、奥行き方向が複数個あるか否か、複数個ある場合の状態を示すデータである。具体的には、選択フラグ（複数個あれば“１”、１個であれば“０”となるフラグのこと）、選択数、選択肢１、２、…より成る。選択肢１、２、…とは、図４のＰ_１、Ｐ_２、…に相当する。選択数は総数であり、図４では２となる。
ステップ７…ステータスを画面に表示させて、どの奥行き方向を選ぶかの選択を操作者に行わせる。
ステップ８…その選択結果を図１（ロ）の共有メモリ９に書き込む。
【００３１】
図１（ハ）のプログラムのステップを説明する。
ステップ１０…共有メモリ９上の自動フラグを読み込む。
ステップ１１…自動フラグが“１”か否かをチェックする。“１”であれば図１（ハ）のプログラムの全体が走り出す。尚、図１（ハ）の開始条件に、自動フラグが“１”であることを加味してもよい。
ステップ１２…共有メモリ９上の終了フラグを読み込む。
ステップ１３、１４…終了フラグが“１”であればステップ１４で図１（ハ）のプログラムの走りを停止する。
【００３２】
ステップ１５…疑似三次元画像をサーチして、その時の視点から最も遠い距離にある画素位置を自動的に見つける。この疑似三次元画像とは、初期時ではステップ１で設定した画面上の画像、それ以降においては更新毎に得られる疑似三次元画像である。ここで、視点から最も遠い距離とは、視点から最も遠い画面上の位置との意味ではなく、疑似三次元画像即ち隠面化処理で得た画像の画素濃度が視点からの距離で示していることから（正確な表現としては視点からの距離が大きい程画素濃度を小さくしていること）、この距離が最も大きい、隠面化処理画像上の画素位置を選び出すとの意である。このステップ１５の処理内容は後述の図５に示す通りである。
【００３３】
ステップ１６…ステップ１５で得た視点から最も遠い距離が予め規定した一定値以下か否かを自動的にチェックする。これは更新の結果、三次元原画像の最も奥まで更新してしまった場合にはそれ以上の奥行きには画像は存在しないので、このことを距離が一定値以内か否かで判定するのである。また、着目した管路がある画素位置で終了しそれ以上の先は存在しない時にも、このステップ１６の処理でわかる。一定値以下になれば、処理は終了する。
【００３４】
ステップ１８…管路が複数領域に分かれているか否かを自動的に見つける。複数領域に分かれているとは図４のＰ_１、Ｐ_２の如き例である。このＰ_１、Ｐ_２の如き例を自動的にみつけるには、ステップ１５によって視点からの距離を、疑似三次元画像の全画素について求めておき、その中の最大遠距離と思われるものが２個以上存在するときに、複数領域が存在すると判定する。ここで、最大距離とはあるしきい値内の値とすることが好ましい。しきい値を考慮すれば、最大距離とは極大値でもよい。複数領域に分かれていればステップ１９へ移り、分かれていなければ（即ち１個の管路のみ）、ステップ２０へ移る。
【００３５】
ステップ１９，１９Ａ…複数領域存在時には、それに関するステータスを共有メモリ９にセットする。ステータスとは、選択フラグを“１”とし、選択数を領域数分セットし、選択肢をその番号でセットした内容を指す。このステータスに対しては図１（イ）のステップ７で操作者が選択する。ステップ１９Ａで選択結果を読み込む。
ステップ２０…図１（イ）ステップ７で選択したステータスの選択結果で選ばれた１つの領域又は、単一の領域の時のその領域上の最大遠距離画素位置に近づくように、視点、視線方向、投影面を自動的に更新する。この詳細フローは後述の図５に詳述する。
【００３６】
ステップ２１…ステップ２０で更新された視点、視線方向、投影面に従って、この視点と投影面との間に新しく介在することになった単位三次元画像に対して中心投影処理を行い、中心投影画像を得る。更に、中心投影画像に対して陰影化処理及び隠面化処理を行い、擬似三次元画像を得る。この詳細フローは後述の図６に示す。
ステップ２２…ステップ２１で算出した擬似三次元画像を階調ウィンドレベルに従って表示画面に表示する。ここで、階調ウィンドレベルレベルとは表示装置の表示階調と擬似三次元画像の画素階調との関係を規定したものである。表示階調数が６４階調とした場合、この６４階調で表示できるように擬似三次元画像の画素階調を変換する。この変換式は擬似三次元階調を横軸で表示し、縦軸に表示階調を示した場合、一次関数であったり、折れ線関数であったり、二次関数であったりの種々の関数となる。
【００３７】
以上の図１（ハ）の処理を繰り返すことで更新が行われ、その更新の都度、擬似三次元画像が得られ、表示画面に表示される。そして、更新ピッチ時間が無視できる程小さい時には、更新した擬似三次元画像を次々に表示すれば、動画的表示となる。この他の動画的表示を実現するには、上記更新した擬似三次元画像を補助メモリに格納しておき、先の第２の先願である特願平５−２５９５８１号の発明を利用するやり方がある。
【００３８】
図５は図１（ハ）のステップ１５とステップ２０との具体的処理フローを示す図である。簡単化のため省略しているが、図１（ハ）のステップ１６〜１９Ａは、実際上は図５のステップ３１と３２との間に挿入するのが好ましい。図５の各ステップを説明する。
ステップ３０…擬似三次元画像を形成し、表示画面に表示するステップである。この画像は、図１（イ）のステップ１の初期画面の画像又は、図１（ハ）のステップ２１の処理で得た画像のいずれかである。
ステップ３１…ステップ３０で表示した画像の全画素をチェックして、その時の視点から奥行き方向への距離Ｒの最大値又は極大値Ｒ_ｍａｘを求める。これは、表示中の画像は、陰影化処理し隠面化処理した画像であり、各画素濃度Ｉには、Ｉ＝Ｉ_ｍａｘ−Ｃ・Ｒの式に従う距離Ｒが保存されていることから、この距離ＲをＲ＝（Ｉ_ｍａｘ−Ｉ）／Ｃで求めることで、最大値又は極大値を求める。最大値とは奥行き方向に一画素のみが続いている場合に利用し、奥行き方向に複数画素が続いている場合や複数領域（図１（ハ）のステップ１８）に分かれている場合には極大値を利用する。
【００３９】
ステップ３２…複数領域があれば選択（図１（イ）のステップ７）にしてこのステップに入る。ステップ３２では、画面中心から最大値点又は極大値点までの距離ｄＸ、ｄＹを算出する。距離ｄＸ、ｄＹの基準位置を画面中心としたのは、この擬似三次元画像を算出したとき、その視点からの視線方向に対して、投影面を直角になるように設定したことによる。視線方向に対して投影面が直角とは、視線が視点からの中心投影線に相当していることからこの中心投影線の真中の位置にある中心線に対して、直角になるように投影面を定めたことを意味する。更に、中心線は投影面の中心位置に交わるようにしてある。この時の投影面を、表示画面そのものに対応させておけば、表示画面の中心が視線からの中心投影の中心線に一致する。従って、画面中心からの距離ｄＸ、ｄＹを算出することで、視線の中心からどれだけ最大値点又は極大値点がずれているかをみつける。このずれ量は新しい視点と視線方向の算出に利用する。尚、ｄＸ、ｄＹのＸ、Ｙとは、投影面の座標系である。
【００４０】
図７は、視点ｅ_１と投影面との座標関係を示す図である。
ＣＴ画像は、現視点ｅ_１と投影面との間に介在する単位三次元画像の一部を示すものである。絶対座標系としてｘ、ｙ、ｚを使用し、投影面がＸ、Ｙ座標系としている。現視点ｅ_１からの放射状に広がる多数の投影線の中で、その中央に位置する中心線が、投影面の中心位置に交わり且つその交わり方が直角になるように、投影面を選ぶ。中心線は視点ｅ_１からの垂線である。投影面は表示面に一致させたものとする。こうした状態で、ステップ３１、３２で最大値点又は極大値点を求めてｄＸ、ｄＹを算出したとすると、その様子を図７に示す。最大値点又は極大値点Ｃ_１′が奥行きの座標位置であり、これに向けて視点及び視線方向及び投影面を更新する。この更新のフローを示したのが後述のステップ３３〜３７である。図７では更新後の新視点をｅ_２で示している。尚、現視点ｅ_１が投影面の中心位置でないように見えるが、実際上は投影面の中心位置に現視点ｅ_１が存在する。
【００４１】
図７を用いて更新の考え方を説明する。現在の投影面は図７に示した通りである。これに対して現視点ｅ_１からの最大値点又は極大値点Ｃ_１′が投影面の中心位置からずれた。そこで、視点を現視点ｅ_１から最大値点又は極大値点Ｃ_１′に近づくように、新視点ｅ_２を定める。更に、この視点ｅ_２から新視線方向を決定する。新視線方向は、新視点ｅ_２から最大値点又は極大値点Ｃ_１′へ中心投影線の中心線が点Ｃ_１′を通るようにする。更に、この中心線と点Ｃ_１′で直交するように且つこの新しい投影面の中心位置が点Ｃ_１′になるように、新投影面を設定する。
【００４２】
尚、図７で図９と同様にａ、ｂ、ｃは投影面とｘｙｚ座標系との位置関係を示す数値であり、ａは投影面とｘ軸との交わる点のｘ軸成分、ｂは投影面とｙ軸との交わる点のｙ軸成分、ｃは投影面とｚ軸との交わり点のｚ軸成分である。更に、図７に関しては、ｘｙｚ座標系の原点から投影面に下した垂線を、ｚ−ｘ面に投影した線がｘ軸となす角（これをαとする）、及びこの垂線がｘ−ｚ面となす角（これをβとする）を求めておくことが必要である。これによって、ａ、ｂ、ｃと異なる次元のα、βで投影面とｘｙｚ座標系との関係を律することができる。
【００４３】
ステップ３３…新交点Ｃ_１′のｘｙｚ座標系での位置を求める。先ず図８において、旧交点Ｃ_１から新交点Ｃ_１′への変位分を求めると、以下となる。
【数２】

（数２）は、投影面（表示画面）上の座標系（ＸＹ）で画面中央からｄＸ、ｄＹの変位があった場合のｘｙｚ座標系での変位ｄｘ、ｄｙ、ｄｚを示す。次に、旧交点Ｃ_１の座標を（ｘ_ｃ１、ｙ_ｃ１、ｚ_ｃ１）としたとき、近似的新交点Ｃ_１′の座標（ｘ_ｃ１′、ｙ_ｃ１′、ｚ_ｃ１′）を下式で求める。
【数３】

【００４４】
ステップ３４…新たな視点位置ｅ_２を決める。新視点位置ｅ_２は、現視点ｅ_１と新交点Ｃ_１′を結ぶ直線Ｌ上であって新交点Ｃ_１′に近づくような位置に設定する。新視点位置ｅ_２（ｘ_１′、ｙ_１′、ｚ_１′）は下記で求める。
【数４】

ここで、ｘ_１、ｙ_１、ｚ_１は現視点ｅ_１の座標であり、Ｌ_１は直線Ｌの長さ（長さがｈでないので新交点Ｃ_１′は一時的使用のための近似点である。後述するように正確な新直交点は新ａ、ｂ、ｃを使って求める値）、Ｑは交点Ｃ_１′の最大値又は極大値Ｒ_ｍａｘに対してある割合率ｍを乗算して得た値である。
【数５】

ｍは予めキー入力した値である。１＞ｍ＞０に選ぶ。これによって、ｅ_１よりも奥側のｍで定まる位置に新視点ｅ_２が定まる。
【００４５】
ステップ３５…新視点からの視線方向を定めるステップである。先ず図７の説明で示した角度α、βの変化量を下記で求める。
【数６】

ここで、ｄｘ、ｄｙ、ｄｚは（数２）で求めた値である。ｄαを｜β｜が９０゜に近づく時に小さくする理由は、図８の（ロ）の視点１から視点２に近づくにつれて、ｄｘが変化してもαに対する効果が少なくなるからである（小さくしたいこと）。
ステップ３６…角度α、βの前回の値をα_１、 β_１とすると、今回の変化分による角度α、βは
【数７】

となる。これによって新視点からの視線方向が定まる。
【００４６】
ステップ３７…このステップでは、新視線方向の中心線に直交する投影面を求める。投影面は図７に示したようにａ、ｂ、ｃで表わされることから、このａ、ｂ、ｃを求める処理がステップ３７である。即ち、新視点（ｘ_１′、ｙ_１′、ｚ_１′）から視線方向がα、βの直線と距離ｈで直交する投影面のｘ、ｙ、ｚ軸と交わる点ａ、ｂ、ｃは下記となる。
【数８】

新ａ、ｂ、ｃが決まることにより、正確な新直交点は（数１２）により求まる。前述したように以前に求めたＣ_１′は一時的使用のための新交点である。
【００４７】
図６は、図１（ハ）のステップ２１の詳細フローである。即ち、視点と視線方向と投影面とが定まると、視点と投影面との間に介在する、新たな三次元原画像の一部の画像が、新しい単位三次元画像となる。この新しい単位三次元画像をその視点から視線方向に向けて中心投影し、その中心投影画像を陰影化処理し、隠面化処理し、新しい擬似三次元画像を得る。これを実現するのが図６の処理フローである。
ステップ４０…投影面のメモリの全画素濃度をゼロクリアする（初期化する）。
ステップ４１…投影面から表示画面を切り出す。投影面のサイズと表示画面のサイズとが同一であれば、投影面は表示画面と一致する。しかし、投影面のサイズは、表示画面のサイズより大きくしている例が多く、その場合には、投影面から表示画面相当分の切り出しが必要となる。また、両サイズが一致している場合でも、投影面の一部の領域のみを表示画面に表示したいこともある。こうした場合も、投影面からの切り出しが必要となる。そこで、ステップ４１では、切り出し中心位置（Ｘ_ｃ、Ｙ_ｃ）を与えて、この中心から表示画面の切り出しサイズ（例えば表示画面の大きさの切り出しであれば画面サイズ）相当分を切り出すことにした。ここで切り出し中心位置を交点Ｃ_１′とすれば、奥行き方向が表示画面の中心となり、好ましい。このステップ４１を設けたことで、表示メモリのアドレス（Ｘ、Ｙ）が指定可能となる。最初に指定するアドレス（Ｘ、Ｙ）は、この切り出しサイズ相当の投影面領域の左上である。アドレス更新は左から右、上から下へのラスタスキャンに従って行う（ステップ４８、５０）。
【００４８】
ステップ４２…単位三次元画像の投影のためのスキャン開始ステップである。以下、単位三次元画像を、ＣＴ画像の積み上げ三次元原画像の一部とした例で説明する。この例を図９に示す。新視点ｅに対して投影面２１が与えられ、その間に単位三次元画像が介在する。単位三次元画像は、ＣＴ画像を積み上げて得た三次元原画像の一部であり、複数枚のＣＴ画像を積み上げて得たものである。そして、その中の視点に最も近い１枚のＣＴ画像２３（＃１）を先ず選ぶ。この際積み上げＣＴ画像は、絶対座標系ｘ、ｙ、ｚに対してｙ軸に平行に積み上げたものとしている。この視点に最も近いＣＴ断層像は、ＣＴ断層像番号がわかることから、ｙ成分もＣＴ断層番号から自動的にわかる。これをｙ_０とする。
【００４９】
ステップ４３…視点に最も近いＣＴ断層像の画素の中から、表示メモリのアドレス（Ｘ、Ｙ）に投影される、断層像の対応する画素位置（ｘ_０、ｙ_０、ｚ_０）を算出する。但し、ｙ_０はスライス像をｙ軸上に並べたので、予めわかっている（計測時には「スライス間隔」として相対的な値がわかる）。従って実際にはｘ_０とｚ_０とを算する。この算出は、中心投影変換式（数９）によって行う。表示メモリの全アドレス（Ｘ、Ｙ）について、対応する画素位置（ｘ_０、ｙ_０、ｚ_０）を算出する。ここで、図９において、投影面２１上のＰ点が表示メモリのアドレス（Ｘ、Ｙ）に相当し、断層像２３上のＳ点が、対応する断層像の画素位置に相当する。但し、図９では投影面上の任意点Ｐは、絶対座標系ｘｙｚの座標（ｘ、ｙ、ｚ）で示している。また、Ｃ_１点（ｘ_ｃ１、ｙ_ｃ１、ｚ_ｃ１）は投影面２３への視点ｅからの垂線交点である。その他、α、β、ａ、ｂ、ｃは図７の定義と同じである。
中心投影変換式は、大きく２つに分かれる。第１は、Ｘ、Ｙ座標系からｘｙｚ系への変換式であり、第２はＳ点の座標の決定式である。Ｘ、Ｙ系からｘｙｚ系への変換が（数９）である。
【数９】

即ち、（数９）の（１）からｙを取り出し、これを（数９）の（２）にｙとして代入し、ｘ、ｚを求め、且つそれからｙを求めると（数９）の（３）が得られる。更に、投影面２１は、
【数１０】

で表現し、ｅ点（ｘ_１、ｙ_１、ｚ_１）とＰ点（ｘ、ｙ、ｚ）を通る直線２２は、
【数１１】

で表現する。
尚、Ｃ_１点（ｘ_ｃ１、ｙ_ｃ１、ｚ_ｃ１）には、例えば視点ｅ（ｘ_１、ｙ_１、ｚ_１）から投影面２１に下した垂線と投影面２１との交わる点（この点と視点ｅ間の距離ｈ）として、
【数１２】

を使ってもよい。
【００５０】
投影された画像を投影面２１に相当する表示画面（図示せず）上に、縦５１２画素×横５１２画素で表示するとき、Ｘ、Ｙは−２５６から＋２５６までの値を取る。それぞれのＸ、Ｙに対して上掲（数９）式によりｘ、ｙ、ｚが決まる。ｅ点のｘ_１、ｙ_１、ｚ_１は手動モードの時、キー入力等により任意に与えるもので、（数１３）式により、ｙ_０＝ｄ_０の断層像上で画素Ｓ点の座標ｘ_０、ｚ_０が決まる。これがｘ_０、ｚ_０の決定式である。
【数１３】

以上は１枚の断層像＃１の例であったが、実際上は断層像は複数（＃１、＃２、…）であって、ｄ_０も複数個であるので、１組のＸ、Ｙに対して複数の投影すべき点ｘ_０、ｚ_０が決まる。この中から１つの断層像の投影すべき点ｘ_０、ｚ_０を選ぶ。選び方は、Ｚバッファ法（但し、Ｚ成分の代わりに距離Ｒを使う）を使ってもよいが、本実施例では別のやり方を使う。そこで、ステップ４４、４５、４６を設けておく。
【００５１】
ステップ４４、４５、４６…ステップ４４では画素点（ｘ_０、ｚ_０）のしきい値処理をする。これは、関心部位を抽出するためであり、しきい値はその抽出用のしきい値である。関心部位とは、例えば臓器の種類（腸とか気管支とか）であり、臓器抽出用のしきい値を与えておくことで、関心臓器の自動抽出がなされる。その画素点（ｘ_０、ｚ_０）でしきい値を満足しなければ、ステップ４５で次のＣＴ画像（即ち、視点からみて次に近いＣＴ画像）＃２を指定し、ステップ４１で指定したアドレス（Ｘ、Ｙ）に対応するｙ＝ｙ_０での画素点（ｘ_０、ｚ_０）をステップ４３で見つけ出し（ｙ_０は指定ＣＴ画像から自動算出）、ステップ４４で再びしきい値以上の画素濃度か否かを判定する。しきい値の範囲外の画素濃度であれば再びステップ４５で次に近いＣＴ画像を指定する。以下、ステップ４１で指示した（Ｘ、Ｙ）に投影する、全ＣＴ画像にしきい値範囲内の画素濃度がなければ、ステップ４６を経てステップ４７へ移る。しきい値範囲内の画素濃度があるＣＴ画像＃ｉのｙ＝ｙ_０での画素点（ｘ_０、ｚ_０）が存在すれば、それ以上の奥側のＣＴ画像＃（ｉ＋１）、＃（ｉ＋２）、…はサーチしない。そしてステップ４７へと移る。
【００５２】
ステップ４７…ステップ３４で作った新視点（ｘ_１′、ｙ_１′、ｚ_１′）とｙ＝ｙ_０での画素点（ｘ_０、ｚ_０）との距離Ｒを下記で求める。
【数１４】

算出したＲから濃度Ｉを下記で求める。
【数１５】

ここでＩ_ｍａｘは規定の最大値である。この濃度Ｉはデプス法による濃度であるが同時に一種のＺバッファで処理された隠面処理後の濃度である。かくして、１点（Ｘ、Ｙ）についての陰影処理及び隠面処理がなされ、これをメモリアドレス（Ｘ、Ｙ）に擬似三次元画像の画素濃度として格納する。
ステップ４８…表示切り出しアドレスＸを＋１更新する。
ステップ４９…Ｘが表示切り出しアドレスの最大値になったかをチェックする。最大値に達していなければ、ステップ４２へ戻る。最大値に達していれば、ステップ５０へ移る。
ステップ５０…表示切り出しアドレスのＸが最大値に達したことにより、アドレスを１行更新すべく、表示切り出しアドレスのＹを１だけ更新する。アドレスＸも初期値へと戻す。
ステップ５１…表示切り出しアドレスのＹが最大値に達したか否かをチェックし、達していなければステップ４２に戻り、達していれば全体の処理を終了する。
【００５３】
図１０（イ）は、投影面２１と平行に複数の断層面２３Ａ〜２３Ｅより成る三次元原画像（これは積み上げ三次元原画像である）の、中心投影を説明する図である。複数の断層面２３Ａ〜２３Ｅの中で中心投影に利用するのは、断層面２３Ａ〜２３Ｄであり、これが単位三次元画像となる。２３Ｅは視点ｅよりも外側（手前側）にあるため、中心投影の対象からはずす。今、断層面２３ＢにはＢ_１、Ｂ_２、Ｂ_３の如き映像があり、断層面２３ＣにはＣ_１、Ｃ_２の如き映像があるものとする。ここで、映像とは、着目臓器であり、その臓器抽出用のしきい値を与えて、しきい値範囲内の濃度の画素を着目臓器として抽出し、その抽出画素に“１”を与えた画像である。抽出臓器以外の画素は“０”にする。視点ｅからの視線方向を決定し、これに直交する投影面を決定する。視線方向は、視点から投影面へ中心投影する方向であり、具体的には、視線方向の中心線０が投影面の垂線となるように、視線方向を定める。この視線方向と投影面との関係は、視点と視線方向と投影面とが更新されても、その更新毎に成り立つようにしている。即ち、視点から視線方向を定め、この定まった視線方向の中心線が投影面の垂線となるように投影面を定めることにしたものである。
【００５４】
図１０（イ）において、視線方向からの中心投影像は、投影面２１上では図のように、視点から放射状に投影して得られる。Ｂ_１→Ｂ_１′、Ｂ_２→Ｂ_２′、Ｂ_３→Ｂ_３′、Ｃ_１→Ｃ_１′、Ｃ_２→Ｃ_２′となって、投影像Ｂ_１′、Ｂ_２′、Ｂ_３′、Ｃ_１′、Ｃ_２が得られる。尚、図でＢ_３′、Ｃ_２′とが若干の距離を隔てて表記しているが、これは、投影像をわかりやすくするためであって、実際上は重なったものとなる。尚、図１０で使用したＣ_１、Ｃ_１′は図８、９で使用したものとは意味が異なる。更に、図１０（イ）で断層面２３Ａ〜２３Ｅは計測ＣＴ断層像の面の他に、補間等の計算処理で求めた断層面を含む。
【００５５】
図１０（ロ）は、複数の断層面２３Ａ〜２３Ｅと投影面２１とが図３のようにある傾きを持った関係にある場合の図である。図２のような単純な関係にするには、断層面２３Ａ〜２３Ｅを、視線方向の中心線０に直交するような断層面２３ａ〜２３ｅとし、投影面２１に投影させる。断層面２３ａ〜２３ｅは、断層面２３Ａ〜２３Ｅ（及び他の断層面も含まれる）からの計算処理で求める。この計算処理には、断層面の画素位置計算とその画素位置への画素濃度計算とがある。画素濃度計算は、補間処理を利用する。
【００５６】
以上の図１０（イ）は、図１のステップ１での初期画面の時に用いられる。視点と投影面とが奥行き方向に更新してゆく本実施例にあっては、この初期画面以降の更新毎の、視点と投影面と単位三次元画像とはほとんどが図１０（ロ）の如き関係となる。
【００５７】
図１１は、管路を持つ三次元原画像に対し奥行き方向に視点と投影面とを更新してゆくことの模式図である。最初に視点１と視線方向１と投影面１とを与えて、投影面１に視点１からの中心投影像を得る。この中心投影像は投影面１に挟まれた単位三次元画像１を中心投影したものである。次に、視点１よりも奥行き方向に近づく位置に視点２を与え、視線方向２を求め、対向する投影面２に中心投影像を得る。以下、同様にして視点と視線方向と投影面とを、画像の奥行き方向に更新してゆく。視点ｉはその任意の更新位置を示している。更に、視点ｊは、管路が２つに分岐した例を示す。これは図４に示した例に該当する。どちらか一方を選択することになる。図１で説明した通りである。
【００５８】
図１２は投影面と表示面との関係を示す図である。投影面とは、数学的には投影されるべき面であるが、画像処理上では、二次元配列のバッファメモリを該当させている。一方、表示面とはＣＲＴ等の表示画面であるが、実際上は、二次元配列の表示メモリの内容をそのままスキャンして表示することから、この二次元配列の表示メモリが該当するとみてよい。投影面である二次元配列のバッファメモリと二次元配列の表示メモリとは、そのサイズ（縦×横の大きさ）によって、以下の如き使い方がある。
（イ）、第１は、バッファメモリサイズと表示メモリサイズとが同一である場合。
これは、図１２（イ）に示す例であり、実線の投影面と点線の表示面とが互いに全く重なった関係にある。この場合には、投影面に得た中心投影像をすべて表示面に表示させて使う。尚、同一サイズでも表示切取りサイズがバッファメモリの一部であって、これを表示メモリの対応した一部又は対応しない一部に表示させる例もある。
（ロ）、第２は、バッファメモリサイズが表示メモリサイズよりも大きい場合。
これは、図１２（ロ）に示す例である。この場合には、表示すべき対象を選択することになる。表示面１とは左上側を選択した例、表示面２とは中央よりも右下側を選択した例である。中央付近を選択する例もありうる。この選択は、自動も手動もありうる。
【００５９】
図１１、及び図１２での投影面への中心投影像は、単位三次元画像をそのまま投影したものではなく、単位三次元画像に陰影処理を施して得た陰影処理画像である。この陰影処理とは、視点から投影対象となる画素位置までの距離Ｒを求め、この距離Ｒに逆比例するように、その画素位置の投影濃度Ｉを決定する処理である。例えば（数１）で計算する。
【００６０】
更に、図１１、図１２の投影面に相当するバッファには、その画素位置に、２つ以上の濃度が重なって投影されることがある。図１０（イ）のＢ_３′とＣ_２′とが一部重複している画素位置の如き場合である。こうした場合、距離Ｒの手前の画素位置の濃度を残し、その他の遠い画素位置のものは消去する。これは一種のＺバッファ法である。図１０（イ）の例では、重複している画素位置にあってはＣ_２′が手前の距離のため、Ｃ_２′を残すことになる。こうしたＺバッファ法で処理された二次元配列の画像が最終的に投影面に相当するバッファメモリに得られる。こうした最終的に投影面に相当するバッファメモリに得られた二次元配列画像が表示対象となり、図１２（イ）や（ロ）に従って表示される。
【００６１】
投影面は、位置と傾きで規定する。以下の態様がある。
（１）、投影面の位置…投影面の中心位置を図７のｘｙｚ座標系のどの位置におくかを決めるやり方がある。その他に、投影面の右上端位置等の特徴的な位置をｘｙｚ座標系のどの位置におくかを決めるやり方もある。いずれでも、新視点とこの位置との距離が一定値になるように決める。かくして更新毎に、その時の新視点が得られれば、自動的に投影面の位置が定まる。
（２）、投影面の傾き…どの位置を基準にして傾きを定義するかが前提である。この基準位置は、（１）で述べた投影面の位置を使うことが好ましい。投影面の傾きは、本来任意の値であってよいが、視線方向に直交するような値とすることが好ましい。
【００６２】
図１のステップ１５で述べた最も遠い点（又は極大値点）について追記する。最も遠い部分が点ではなく一定の広がりを持った領域や面として得られている例がある。こうした場合、最も遠い点がその領域や面に沿って複数個存在することが考えられる。そこで、統計的な処理を行って、その領域や面の中の中心位置や重心位置を求め、これを最も遠い点として決めるやり方もある。例えば、図４で領域Ｐ１とＰ２に大きな極大値点があり、領域Ｐ１付近をさらに細かくみると極大値点が複数個（Ｐ１１、Ｐ１２、Ｐ１３、……）存在し、領域Ｐ２付近にも極大値点が複数個（Ｐ２１、Ｐ２２、Ｐ２３、……）存在する場合（いずれも図示せず）である。極大値点の数を減らす一方法は画像の平滑化である。これを次に記す。
【００６３】
平滑化画像は例えば、横５画素、縦５画素の合計１５画素の画素値をくわえて２５で割り、５ｘ５画素領域の中心画素の新たな画素値とする（もちろん、平滑化まえのメモリと平滑化後のメモリは異なる）ことで得られる。極大値点の数が減ったところで、極大値点の間の距離を求める。この相互の距離のうち、予め設定した値（例えば、気管支を見ている場合は、見たい気管支の直径の１ｃｍ程度）より小さいものがあれば、さらに平滑化をする。前記のすべての距離が、予め設定した値より大きければ、そこで改めて極大値点が幾つかあるかを調べる。一つなら自動更新が可能であり、複数個なら操作者に問い合わせる。また最初に見つかった任意の一点のみを選んで最も遠い点とするやり方もある。
関心領域について述べる。関心領域には以下の態様がある。
（１）、臓器そのものを関心領域とする例である。
（２）、病巣部を関心領域とする例である。
（３）、表示画面に切り取る対象を、関心領域とする例である。
【００６４】
図１のステップ４での手動による画面更新では、三次元原画像を表示させながらマウスやキーボードを使って、操作員の指示に従って行う。例えば、図５のステップ３２のｄＸ、ｄＹを手動で入力する。またはもっと簡単にα、βとｈをキー入力する。
尚、陰影づけのアルゴリズムとしては、ボリュームレンダリング法（例えば Ｍａｅｃ Ｌｅｖｏｙ著「Ｄｉｓｐｌａｙ ｏｆ Ｓｕｒｆａｃｅｓ ｆｒｏｍ Ｖｏｌｕｍｅ Ｄａｔｅ」、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ Ｍａｙ １９８８、２９〜３７Ｐ）を用いてもよい。これは、第１の先願である特願平６−３４９２号の図６で述べたものである。
【００６５】
図１３には、本発明の表示装置の実施例を示す。図１３において、ＣＰＵ１は、全体の管理及び更新処理（図１、図５、図６）を行うものであり、主メモリ２はそれに必要なプログラムのラッチ及び各種の作業用データを記憶する。磁気ディスク３は、三次元原画像を記憶しており、これをＣＰＵ１に送り更新処理の対象とする。また更新の処理後の擬似三次元画像を含む各種の処理経過画像が再利用すべき各種の画像を記憶する。マウス８は、コントローラ７を介してＣＲＴ上にマウスの表示を行わせ、自動更新や手動更新に利用される。表示メモリ５は、ＣＲＴ６に表示するための画像や各種マイコンをラッチする。共通バス４はそれらの共通インターフェース線である。
【００６６】
オペレーション上の特殊な場合について、図８で説明する。
図１４（イ）でｄＹを変化させるとβが変化し、断層像（ＣＴ像）をＧ_３、Ｇ_４方向に傾けたと同じ効果が得られる（β変化する）。同じ効果をｄＸにも持たせたい。本来、ｄＸは画像をｙ軸の回りに回転させる（αが変化する）効果を持つが、全く別の意味を持たせたい場合がある。即ち、ｄＸを変化させたときＧ_３、Ｇ_４とは直角方向のＧ_１、Ｇ_２方向に傾ける効果を持たせたいときがある。しかも画像は、あまり回転させたくない。これに対する、近似的で便宜的な手段を以下に説明する。例えば、ｄＹ＝０、ｄＸがゼロでないとき、Ｇ_１、Ｇ_２方向に傾けるには、投影面をα方向に９０度回転させて（βはそのまま）、ｄＹの大きさをｄＸと等しくし、強制的にｄＸ＝０と置き換えると、ｄＸはゼロなのでｙ軸の回りに回せず（αはそのまま）、しかもｄＹは大きさがゼロでなくなり方向がＧ_１、Ｇ_２の方向をむくのでＧ_１、Ｇ_２の方向に傾いた（βが変化する）疑似三次元画像が得られることになる。但し、上記のように投影面を回転させて、見る方向を９０度回転させたので、疑似三次元画像の構成後にｘ＝ｙ＝ｚ＝０の投影点のまわりに回転して元に戻さなければならない。通常はｄＸ、ｄＹともにゼロでないので、以下のように近似的な処理をする。図１４（ロ）のように、ｄＹをｓｑｒｔ（ｄＸ^２＋ｄＹ^２）、ｄＸをゼロと置き換えて、同時にα方向に−ξだけ回転しておいて（ここで、ξ＝ａｒｃｔａｎ（ｄＸ／ｄＹ）である）、疑似三次元画像を構成する。これによりＧ_５、Ｇ_６方向の傾きが含まれることになる。但し、−ξだけ角度を回転させているので、疑似三次元画像を構成したあとで、原点ｘ＝ｙ＝ｚ＝０の投影点のまわりに＋ξだけ回転して元に戻す必要がある。図１５にはこの手順を示す。
【００６７】
尚、各実施例では、奥行き方向への視点の更新例としたが、これとは逆に奥から手前の視点の更新をも、ほぼ同じ考え方で可能であることは云うまでもない。
【００６８】
図１６は、視点及び投影面の更新例の説明図である。人間の気管支の断層像（ＣＴ画像）＃１〜＃ｋを用意しておき、これに気管支の手前から内視鏡的に近づき、分岐した気管支Ａ、Ｂの一方の気管支Ｂ内を更に内視鏡的に進ときの様子を示している。視点１→２→３が断層面に直角方向に視点を更新した例であり、視点４→５が気管支Ｂ内を進むときの視点の更新例を示す。これらの視点１〜５に合わせて投影面１〜５も更新される。
【００６９】
図１７〜図２１には、図１６での視点１〜５による具体的な表示画像例を示す。尚、図で補間とは補間処理で得た画像とのことであり、図に示す個所以外にも図の精度上から適当に作られて表示に使われる。
【００７０】
【発明の効果】
本発明によれば、点としての視点位置が、腸などの内部に沿って忠実に移動なように更新することができるようになった。
更に視点からの中心投影を行わせたことで、腸などの内部であたかも移動するような擬似三次元画像を得ることができた。
【図面の簡単な説明】
【図１】本発明の視点自動更新のフローチャートである。
【図２】中心投影を説明する図である。
【図３】中心投影を説明する図である。
【図４】選択画像が２つの存在する例を示す図である。
【図５】本発明の視点、視線方向、投影面の更新のフローチャートである。
【図６】本発明の陰影化、隠面化処理のフローチャートである。
【図７】視点と投影面との関係を示す図である。
【図８】現視点と新視点との位置関係を示す図である。
【図９】視点と投影面との関係を示す図である。
【図１０】視点と投影面と単位三次元画像とを示す図である。
【図１１】奥行き方向に視点を更新する説明図である。
【図１２】投影面と表示面との各種対応例図である。
【図１３】本発明の表示装置の実施例図である。
【図１４】本発明の他の実施例図である。
【図１５】この他の実施例の処理フローチャートである。
【図１６】視点と投影面との更新例を示す図である。
【図１７】視点１による表示画像例図である。
【図１８】視点２による表示画像例図である。
【図１９】視点３による表示画像例図である。
【図２０】視点４による表示画像例図である。
【図２１】視点５による表示画像例図である。
【符号の説明】
１ ＣＰＵ
２ 主メモリ
３ 補助メモリ
４ 共通バス
５ 表示メモリ
６ ＣＲＴ
７ コントローラ
８ マウス
１００ 表示画面
１０２、１０３ アイコン[0001]
[Industrial application fields]
The present invention relates to a pseudo three-dimensional image forming method and apparatus, and a display method and apparatus for performing endoscopic imaging of a three-dimensional original image.
[0002]
[Prior art]
The medical image includes various images such as an X-ray CT image, an MRI image, and an ultrasonic tomographic image. In order to obtain a pseudo 3D image, an X-ray CT image is obtained by stacking tomographic images. Since three-dimensional image measurement can be performed with an MRI image, a three-dimensional original image is obtained by arraying them.
[0003]
On the other hand, there is a projection method in which a viewpoint and a projection plane are given and a three-dimensional original image existing between the viewpoint and the projection plane is projected onto the projection plane as seen from the viewpoint. As the projection method, a parallel projection method and a central projection method are known. In the parallel projection method, the viewpoint is configured by a plane or a line, and projection is performed on the projection plane in parallel from this viewpoint, and an object such as a three-dimensional image is viewed from the outside. Suitable for visualization. The central projection method is known in mathematics, but has not yet been adopted as a method for projecting a medical image obtained as a pseudo three-dimensional image.
[0004]
[Problems to be solved by the invention]
In the visualization of a medical pseudo 3D image, the external shape is important, but it is also necessary to visualize it as if it had been observed endoscopically. The parallel projection method has been difficult to realize. Therefore, the present applicant has previously filed an application for a three-dimensional image construction method employing the central projection method (Japanese Patent Application No. 6-3492).
This prior application uses a viewpoint as a point instead of a plane or line for a three-dimensional image, and positions the viewpoint as the center, and a three-dimensional original image existing between the viewpoint and the projection plane as a center. The center projection is performed as the position, and the projection is performed on the projection plane. If the projection surface is a two-dimensional display surface, a three-dimensional image obtained from the viewpoint by the central projection method is two-dimensionally displayed on the two-dimensional display surface.
[0005]
Here, the reason why it can be observed endoscopically is as follows. If the three-dimensional original image is an image including the inside of the intestine, the viewpoint is brought into the inside of the intestine. If the line of sight is shifted from the viewpoint toward the inside of the intestine, the inside of the intestine on the far side from the viewpoint should be able to be observed with a spread. In order to realize such an aspect, if the viewpoint is the central position and the back side of the viewpoint is projected onto the display surface, which is the projection surface, by the central projection method, the projected image on the display surface is just an intestine with an endoscope. The image looks as if the inside was observed. This is the main feature of the prior application.
[0006]
Furthermore, in the above-mentioned prior application, if the projection result by the central projection method is displayed as it is, the perspective of the pixel is not considered, and there is no distinction between the near side and the far side from the viewpoint on the three-dimensional original image. The realism of the image is lost. Therefore, in the prior application, a shading algorithm method was disclosed in order to consider the perspective of the pixels. For example, in the example of the depth method, the pixel density (gradation degree) I after projection is taken as follows in consideration of the distance R between the viewpoint and each pixel. C is a constant, I _max Is the maximum gradation (set constant).
[Expression 1]

As a result, the distance R becomes darker as the distance R becomes larger, and becomes brighter as the distance R becomes smaller.
[0007]
On the other hand, for example, the Z buffer method is used to distinguish between the near side and the far side. The Z buffer method is a method for erasing a hidden surface, and has been adopted in the parallel projection method in the past. In the parallel projection method, a perpendicular is drawn from each pixel to the projection plane, and the distance Z between the intersection and the pixel (this is because the perpendicular direction is defined as the Z-axis, and this Z-axis component becomes the distance Z. (Distance Z is also called depth distance). When two or more pixels are overlapped at the same position on the projection plane, the minimum Z value is stored in the Z buffer memory by looking at the Z of each pixel, and the other pixels are shadow pixels. Erase as. Thus, only the smallest Z, that is, the foremost pixel is selected, and by displaying this, only the foreground pixel can be observed. This parallel projection Z-buffer method can also be adopted as the central projection method. That is, the content data of the Z buffer is not Z, but is the distance R between the viewpoint as a point and each pixel position on the projection plane. As a result, when two or more pixels are projected at the pixel position on the projection surface, the pixel with the smallest distance R is selected and the remaining pixels are erased. If this result is displayed, a two-dimensional image subjected to hidden surface processing can be obtained on the display surface. Of course, the depth method and the Z buffer are only examples.
[0008]
Here, the center projection method will be described with reference to FIG. For simplicity, two parallel planes PL ₁ , PL ₂ think of. Front side PL ₁ Is one surface constituting the three-dimensional original image, which is a so-called projection surface. Back side PL ₂ Is the projection plane. Front side PL ₁ A viewpoint E as a point is given in front of. Projection plane PL from viewpoint E ₂ When the central projection is performed toward the projection plane PL from the viewpoint E ₂ A number of central projection lines P (P ₁ , P ₂ , ……) is obtained. Intersection point Q (Q between the central projection line P and the projection surface ₁ , Q ₂ ,... Is the projected pixel position. Then, through the intersection Q, the projection plane PL ₂ Interact with. Its intersection N (N ₁ , N ₂ ,... Is the projection pixel position of the projection pixel position Q. The projection pixel position Q and the projection pixel position N are the viewpoint E and the projection plane PL. ₁ And projection plane PL ₂ Can be defined by a function indicating coordinate transformation.
[0009]
FIG. 2 is a diagram for facilitating understanding, and in general, the surface PL as shown in FIG. ₁ And PL ₂ Is not always parallel, and the position of the viewpoint E is various. However, in any aspect, E and PL ₁ And PL ₂ Can be defined geometrically, and the coordinate conversion function can also be uniquely defined by mathematical formulas, so there is no problem. Then, the pixel position after projection is subjected to coordinate conversion processing using a computer, and the pixel density is realized on the two-dimensional display screen by providing realism by using the depth method or the Z buffer method. In this case, it is now possible to display a real 3D image of a pseudo 3D image.
[0010]
The three-dimensional original image may be a binarized image or a multi-tone image. A binarized image is an example in which only a region of interest is set to “1” and the others are set to “0”. Then, only the part that is “1” is used (Equation 1) to perform the shading process and perform the Z buffer process. A multi-tone image is an image before binarization.
[0011]
Further, the applicant has filed a patent application as a second prior application for displaying an endoscopic image of the intestine (Japanese Patent Application No. 5-259581). In this prior application, a bent image of the intestine or the like is to be displayed as a moving image, and the viewpoint is advanced to display the image as if it was observed with an endoscope along the intestine. An example of displaying backward instead of forward is also disclosed. In addition, an example of tracing along the intestinal fold is disclosed. In order to obtain these moving images, a method is also disclosed in which a three-dimensional original image is projected by a parallel projection method to obtain a projected image, and when the moving image is displayed, these projected images are selected as a moving image.
[0012]
Japanese Patent Application No. 6-3492, the first prior application, discloses an example in which the viewpoint position is moved by a human instruction using a mouse or a trackball. As a result, a projection image can be obtained as if the inside of the intestine or the like is viewed while moving the endoscope.
However, the first prior application does not disclose how to faithfully follow the inside of the intestine or the like with an endoscope when moving the viewpoint position.
[0013]
Japanese Patent Application No. 5-259581 which is the second prior application discloses a moving image display of a projected image as observed with an endoscope, and describes parallel projection of the projected image. Absent.
[0014]
The present invention is an extension of such a prior application, and an object thereof is to provide a pseudo three-dimensional image forming method and apparatus capable of faithfully moving the viewpoint position as a point along the inside of the intestine or the like. It is.
[0015]
It is a further object of the present invention to provide a pseudo three-dimensional image forming method and apparatus that employs the central projection method and can be moved faithfully along the inside of the intestine at the viewpoint position.
[0016]
[Means for Solving the Problems]
The present invention includes a viewpoint, a stacked image obtained by stacking a plurality of tomographic images, and a projection plane, respectively, and setting the viewpoint within the stacked image; and
Sequentially updating the position of the viewpoint and the projection plane while maintaining the positional relationship between the viewpoint and the projection plane;
Sequentially projecting the stacked image viewed from the viewpoint of the sequentially updated position on the projection surface by a central projection method;
Sequentially obtaining a pseudo three-dimensional image inside the stacked image viewed from the viewpoint updated sequentially by performing shading processing based on the stacked image information projected on the projection plane;
Sequentially displaying the sequentially obtained pseudo three-dimensional images;
Selecting a tomographic image having a pixel position at which the distance from the updated viewpoint is the maximum value or the maximum value among the stacked images contributing to the configuration of the sequentially displayed pseudo three-dimensional image;
Setting an updated viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint;
Configuring and displaying a pseudo three-dimensional image updated by a central projection from the set update viewpoint; and
The step of selecting the tomographic image or constructing and displaying the updated pseudo three-dimensional image is repeated, and the pseudo three-dimensional image updated by the central projection method is constructed and displayed from each updated viewpoint. A three-dimensional image display method is disclosed.
[0017]
Further, according to the present invention, a viewpoint, a plurality of tomographic images, and a projection plane are arranged in this order, and the position of the viewpoint and the projection plane are sequentially updated and a pseudo three-dimensional image for each viewpoint is maintained while maintaining the positional relationship between the viewpoint and the projection plane. A three-dimensional image display method for obtaining and displaying,
Among a plurality of tomographic images obtained from the viewpoint before updating and contributing to the configuration of the pseudo three-dimensional image being displayed on the screen, the tomographic image having an image position at which the distance from the viewpoint before updating becomes the maximum value or the maximum value. A selection step to select,
A setting step of setting an update viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint before update;
A display step of obtaining and displaying a pseudo three-dimensional image by a central projection method from the set update viewpoint to a projection plane corresponding to the update viewpoint;
A three-dimensional image display method is disclosed.
[0018]
Further, according to the present invention, the viewpoint, the plurality of tomographic images, and the projection plane are arranged in this order, and the position of the viewpoint is sequentially updated and the shadow process is performed while maintaining the positional relationship between the viewpoint and the projection plane. A three-dimensional image display method for obtaining and displaying a pseudo three-dimensional image,
A search step for searching for the pixel position of the minimum density of the pseudo 3D image obtained from the viewpoint before update and displayed on the screen;
A selection step of selecting a tomographic image having a pixel position corresponding to the searched pixel position of the minimum density from the stacked image;
A setting step of setting an update viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint before update;
A display step of obtaining and displaying an updated pseudo three-dimensional image by a central projection method from the updated viewpoint to the updated projection plane corresponding to the updated viewpoint;
A three-dimensional image display method is disclosed.
[0019]
Further, the present invention discloses a three-dimensional image display method characterized in that the display step sets a line of sight together with the updated viewpoint, and sets an update projection plane perpendicular to the line of sight.
[0020]
Furthermore, in the present invention, the display step includes a processing step of obtaining the pseudo three-dimensional image, and the processing step includes a display range of a projection image with a perpendicular position that is lowered from the viewpoint position at that time to the projection plane as a central position. The cut-out projection image is subjected to a shading process based on the distance from the viewpoint to the pixel position of the tomographic image projected onto the projection plane, and the pseudo image inside the stacked image viewed from the viewpoint updated sequentially. Disclosed is a 3D image display method characterized by sequentially obtaining 3D images.
[0021]
Furthermore, the present invention provides a storage means for storing a stacked image obtained by stacking a plurality of tomographic images,
Via the stacked image stored in the storage means, a viewpoint is set inside the projection plane and the stacked image, and the position of the viewpoint is determined while maintaining the positional relationship between the set viewpoint and the projection plane. Control means for sequentially updating, sequentially projecting the stacked images viewed from the sequentially updated viewpoint on the projection plane by a central projection method, and sequentially obtaining a pseudo three-dimensional image of the stacked images;
Display means for sequentially displaying pseudo three-dimensional images sequentially obtained by the control means;
Selecting means for selecting a tomographic image having a pixel position at which the distance from the updated viewpoint becomes the maximum value or the maximum value among the stacked images contributing to the configuration of the pseudo three-dimensional image sequentially displayed by the display means; ,
Setting means for setting an updated viewpoint at a desired position on a straight line connecting the pixel position and the viewpoint of the tomographic image selected by the selection means;
The control means selects the tomographic image by the selection means, constructs a pseudo three-dimensional image by the central projection method from the updated viewpoint set by the setting means, and displays the constructed pseudo three-dimensional image on the display means. Disclosed is a three-dimensional image display device characterized in that a pseudo three-dimensional image is constructed and displayed from each updated viewpoint by repeating each display operation.
[0022]
Furthermore, the present invention provides a storage means for storing a stacked image obtained by stacking a plurality of tomographic images,
Via the stacked image stored in the storage means, a viewpoint is set inside the projection plane and the stacked image, and the position of the viewpoint is determined while maintaining the positional relationship between the set viewpoint and the projection plane. A control means for sequentially updating, sequentially projecting the stacked image viewed from the sequentially updated viewpoint on the projection plane by a central projection method, and performing a shading process to sequentially obtain a pseudo three-dimensional image of the stacked image;
Display means for sequentially displaying pseudo three-dimensional images sequentially obtained by the control means;
Among the stacked images contributing to the configuration of the pseudo three-dimensional image sequentially displayed by the display means, the pixel position of the minimum density of the pseudo three-dimensional image is searched, and the pixel corresponding to the searched pixel position of the minimum density Selecting means for selecting a tomographic image having a position;
Setting means for setting an updated viewpoint at a desired position on a straight line connecting the pixel position and the viewpoint of the tomographic image selected by the selection means;
The control means selects the tomographic image by the selection means, constructs a pseudo three-dimensional image by the central projection method from the updated viewpoint set by the setting means, and displays the constructed pseudo three-dimensional image on the display means. Disclosed is a three-dimensional image display device characterized in that a pseudo three-dimensional image is constructed and displayed from each updated viewpoint by repeating each display operation.
[0023]
Furthermore, the present invention discloses a three-dimensional image display device in which the display means sets a line of sight together with the updated viewpoint, and sets an update projection plane perpendicular to the line-of-sight direction.
[0024]
Further, according to the present invention, the control means cuts out a display range of a projection image from the updated viewpoint position with a perpendicular position lowered on the update projection plane corresponding to the updated viewpoint as a center position, and the update is performed on the cut projection image. Disclosed is a three-dimensional image display device that performs shadow processing based on a distance from a viewpoint to a pixel position of a tomographic image projected on the update projection plane.
[0025]
【Example】
Each term used in this embodiment will be described first.
Three-dimensional original image: refers to all images formed in a three-dimensional manner, specifically, an image that has been converted into data at each three-dimensional position and pixel density at each position. Medical images include a stacked three-dimensional image obtained by stacking a plurality of CT images (also referred to as slice images), a three-dimensional image obtained by MRI, a three-dimensional image obtained by ultrasound, and the like. These three-dimensional image data include three-dimensional pixel data obtained by interpolation from the measurement contents, in addition to those obtained by measurement.
Central projection method: The method described in FIG. Further, the viewpoint as a point, the line-of-sight direction from this viewpoint, and the projection plane are updated for the three-dimensional original image.
Unit 3D image: Refers to a 3D original image that is interposed between the viewpoint and the projection plane determined at each update. The unit three-dimensional image is a part of the three-dimensional original image, and the unit three-dimensional image is also updated and changed every time it is updated.
[0026]
Update as a pair of the viewpoint, the viewing direction from this viewpoint, and the projection plane ... This means that the update is performed while moving the viewpoint as a point in the depth direction of the three-dimensional original image. For example, for a three-dimensional original image in which a duct (intestine or trachea) is formed in the depth direction, if the back side of the duct is viewed endoscopically, the image can be observed following the depth direction. This is convenient. In order to follow the image in the depth direction, the viewpoint, line-of-sight direction, and projection plane are updated in pairs. The projection plane is preferably determined so as to be perpendicular to the viewing direction. The term “perpendicular to the line-of-sight direction” means that the projection plane is determined so that the center line in the line-of-sight direction is a perpendicular to the projection plane. When the update pitch distance is large, it proceeds coarsely, and when it is small, it proceeds finely. These are determined according to the observation purpose. The shorter the update pitch time, the better. However, it takes time to perform predetermined data processing (viewpoint, line-of-sight direction and projection surface update processing, shading processing, hidden surface processing, etc.) for each update.
Pseudo three-dimensional image: a two-dimensional array image obtained by shading and concealing a central projection image of a unit three-dimensional image. “Pseudo” is a term used to obtain an image obtained with realism with a sense of depth, such as three-dimensionality, by shading and hiding.
[0027]
FIG. 1 shows a processing flow of the present invention. FIG. 1 (a) shows the procedure of the program responsible for the interface with the operator, and FIG. 1 (c) shows the procedure of the program for obtaining the unit 3D image and the pseudo 3D image. FIG. 1B is a shared memory 9 that relays the processing of the programs of FIGS. 1A and 1C.
First, each step in FIG. 1A will be described.
Step 1 is a step of displaying an initial image of a pseudo three-dimensional image. In the display of the initial image, the viewpoint, the line-of-sight direction, and the projection plane are initially set. In this initial screen, an “automatic icon, a manual icon, an end icon” icon mode and a “multiple point selection icon” (a point includes an area in addition to a point) are displayed. The “manual icon” in the icon mode is a display switch that is turned on to manually update the viewpoint, line-of-sight direction, and projection plane in pairs. The “automatic icon” is a display switch that is automatically turned on when it is turned on to set the viewpoint, line-of-sight direction, and projection plane in pairs. The “end icon” is a display switch indicating that the program shown in FIG. The “multi-point selection icon” means that there are a plurality of points (eg P ₁ , P ₂ ) When there is an icon, the number (for example, 1 or 2) is displayed and one of the icons is selected. When there are a plurality of points to be advanced, it is impossible to automatically update the endoscope, and one of them is selected. This selection is made by the operator. An example is shown in FIG.
[0028]
In FIG. 4, a pseudo three-dimensional image 101 is displayed on the display screen 100. This image 101 has two different points P in the depth direction. ₁ And P ₂ An example in which and exist is shown. For example, an image of a part where the bronchus branches into two and an image of a part where two blood vessels run close to each other correspond. The icons 102 and 103 are displayed together with the display of such images. In the icon 102, by turning on any of the three icons “automatic, manual, end”, the corresponding flag becomes “1”. In icon 103, P ₁ If you want to select "1" ON, P ₂ If it is going to select, "2" is turned ON. When these are turned ON, the corresponding flag becomes “1” in the computer. Reference numeral 104 denotes a mouse.
[0029]
Step 2 is a step in which the operator is instructed to automatically or manually update the viewpoint, line-of-sight direction, and projection plane. A 1-bit automatic flag is given, and if this is “1”, automatic is used, and if it is “0”, manual is used. This manual or automatic instruction is performed by turning on either the manual icon or the automatic icon in FIG.
Step 3... Whether automatic or manual is determined by checking whether the automatic flag is “1” or “0”. If it is manual, the process proceeds to step 4; if it is automatic, the process proceeds to step 5.
Step 4: Processing for obtaining a pseudo three-dimensional image by manually updating the viewpoint, line-of-sight direction, and projection plane is performed. This manual processing refers to an interactive update using a mouse.
[0030]
Step 5: If it is an automatic instruction, it is checked whether or not the end icon is ON. This can be recognized by whether the end flag is “1” or “0”. If “1”, the process is terminated. It goes without saying that whether or not the end icon is ON is also checked in step 4.
Step 6... Read the status from the shared memory 9. The status is set by the program shown in FIG. 1 (c), and is data indicating whether or not there are a plurality of depth directions and the state when there are a plurality of depth directions. Specifically, it includes a selection flag (a flag that is “1” if there are a plurality of flags, “0” if it is one), the number of selections, choices 1, 2,. Options 1, 2,... ₁ , P ₂ Corresponds to. The number of selections is the total number, which is 2 in FIG.
Step 7: The status is displayed on the screen and the operator selects which depth direction to select.
Step 8 ... The selection result is written in the shared memory 9 in FIG.
[0031]
The steps of the program shown in FIG.
Step 10: Read the automatic flag on the shared memory 9.
Step 11: Check whether the automatic flag is "1". If “1”, the entire program shown in FIG. In addition, you may consider that an automatic flag is "1" in the start conditions of FIG.
Step 12: The end flag on the shared memory 9 is read.
Steps 13, 14... If the end flag is “1”, the running of the program of FIG.
[0032]
Step 15... The pseudo three-dimensional image is searched to automatically find a pixel position at the farthest distance from the current viewpoint. This pseudo three-dimensional image is an image on the screen set in step 1 at the initial time, and a pseudo three-dimensional image obtained after each update thereafter. Here, the farthest distance from the viewpoint does not mean the position on the screen farthest from the viewpoint, but the pixel density of the pseudo three-dimensional image, that is, the image obtained by the hidden surface processing, is indicated by the distance from the viewpoint. For this reason (in terms of accurate representation, the greater the distance from the viewpoint, the smaller the pixel density), and this means that the pixel position on the concealed image that has the largest distance is selected. The processing content of step 15 is as shown in FIG.
[0033]
Step 16 ... It is automatically checked whether the distance farthest from the viewpoint obtained in Step 15 is equal to or less than a predetermined value. As a result of updating, if the 3D original image has been updated to the innermost depth, there is no image beyond that depth, so this is determined by whether the distance is within a certain value or not. . Further, even when the focused pipeline ends at a certain pixel position and there is no further point, it can be understood by the processing of step 16. If it is below a certain value, the process ends.
[0034]
Step 18: Automatically find out whether the pipeline is divided into a plurality of areas. It is divided into a plurality of areas as shown in FIG. ₁ , P ₂ This is an example. This P ₁ , P ₂ In order to automatically find such an example, the distance from the viewpoint is obtained for all the pixels of the pseudo three-dimensional image in step 15, and when there are two or more of them that are considered to be the longest distance among them. It is determined that there are a plurality of areas. Here, the maximum distance is preferably a value within a certain threshold. In consideration of the threshold value, the maximum distance may be a maximum value. If it is divided into a plurality of areas, the process proceeds to step 19, and if it is not divided (that is, only one pipe line), the process proceeds to step 20.
[0035]
Steps 19, 19 A... When there are a plurality of areas, the status relating thereto is set in the shared memory 9. The status refers to the content in which the selection flag is set to “1”, the number of selections is set for the number of areas, and the options are set with the numbers. This status is selected by the operator in step 7 of FIG. In step 19A, the selection result is read.
Step 20: FIG. 1 (a) View point, line of sight so as to approach the maximum far-field pixel position on one region selected from the status selection result selected in Step 7 or a single region. The direction and projection plane are automatically updated. This detailed flow will be described in detail later with reference to FIG.
[0036]
Step 21: According to the viewpoint, line-of-sight direction, and projection plane updated in Step 20, a central projection process is performed on the unit three-dimensional image newly interposed between the viewpoint and the projection plane, and a central projection image is obtained. Get. Furthermore, a shading process and a hidden surface process are performed on the central projection image to obtain a pseudo three-dimensional image. This detailed flow is shown in FIG.
Step 22: The pseudo three-dimensional image calculated in step 21 is displayed on the display screen according to the gradation window level. Here, the gradation window level level defines the relationship between the display gradation of the display device and the pixel gradation of the pseudo three-dimensional image. When the display gradation number is 64 gradations, the pixel gradation of the pseudo three-dimensional image is converted so that the display can be performed with the 64 gradations. This conversion formula displays pseudo three-dimensional gradation on the horizontal axis, and when the vertical axis indicates the display gradation, various functions such as a linear function, a polygonal line function, and a quadratic function can be used. Become.
[0037]
Updating is performed by repeating the process of FIG. 1C, and a pseudo three-dimensional image is obtained and displayed on the display screen each time the update is performed. When the update pitch time is so small that it can be ignored, if the updated pseudo three-dimensional images are displayed one after another, a moving image display is obtained. In order to realize the other moving image display, the updated pseudo three-dimensional image is stored in the auxiliary memory, and the method of using the invention of Japanese Patent Application No. 5-259581 which is the second prior application. There is.
[0038]
FIG. 5 is a diagram showing a specific processing flow of step 15 and step 20 in FIG. Although omitted for simplification, steps 16 to 19A in FIG. 1C are preferably inserted between steps 31 and 32 in FIG. Each step of FIG. 5 will be described.
Step 30 is a step of forming a pseudo three-dimensional image and displaying it on the display screen. This image is either the image of the initial screen in step 1 of FIG. 1A or the image obtained by the process of step 21 of FIG.
Step 31: All pixels of the image displayed in Step 30 are checked, and the maximum value or maximum value R of the distance R in the depth direction from the viewpoint at that time is checked. _max Ask for. This is because the image being displayed is an image that has been shaded and hidden, and each pixel density I has I = I _max Since the distance R according to the formula of -C · R is stored, this distance R is expressed as R = (I _max -I) The maximum value or the maximum value is obtained by obtaining by / C. The maximum value is used when only one pixel continues in the depth direction, and is maximized when multiple pixels continue in the depth direction or when divided into multiple regions (step 18 in FIG. 1 (c)). Use the value.
[0039]
Step 32... If there are a plurality of regions, select (step 7 in FIG. 1 (a)) and enter this step. In step 32, distances dX and dY from the center of the screen to the maximum value point or maximum value point are calculated. The reason why the reference positions of the distances dX and dY are set as the center of the screen is that when the pseudo three-dimensional image is calculated, the projection plane is set to be perpendicular to the viewing direction from the viewpoint. The projection plane is perpendicular to the line-of-sight direction. Since the line of sight corresponds to the central projection line from the viewpoint, the projection plane is perpendicular to the center line at the center of the central projection line. Means that Further, the center line intersects the center position of the projection plane. If the projection plane at this time corresponds to the display screen itself, the center of the display screen coincides with the center line of the central projection from the line of sight. Accordingly, by calculating the distances dX and dY from the center of the screen, how much the maximum value point or the maximum value point is deviated from the center of the line of sight is found. This shift amount is used to calculate a new viewpoint and line-of-sight direction. Note that X and Y in dX and dY are the coordinate system of the projection plane.
[0040]
FIG. 7 shows the viewpoint e. ₁ It is a figure which shows the coordinate relationship between and a projection surface.
CT image shows current viewpoint e ₁ And a part of the unit three-dimensional image interposed between the projection plane and the projection plane. X, y, z are used as the absolute coordinate system, and the projection plane is the X, Y coordinate system. Current viewpoint e ₁ The projection plane is selected so that the center line located at the center of the projection lines extending radially from the crossing line intersects the center position of the projection plane and the intersection is perpendicular. Center line is viewpoint e ₁ The vertical line from The projection plane is assumed to be coincident with the display plane. In this state, assuming that the maximum value point or the maximum value point is obtained in steps 31 and 32 and dX and dY are calculated, the state is shown in FIG. Maximum point or maximum point C ₁ 'Is the coordinate position of the depth, and the viewpoint, the line-of-sight direction, and the projection plane are updated toward this. This update flow is shown in steps 33 to 37 described later. In FIG. 7, the updated new viewpoint is e. ₂ Is shown. The current viewpoint e ₁ Does not appear to be the center position of the projection plane, but in reality, the current viewpoint e is at the center position of the projection plane. ₁ Exists.
[0041]
The concept of updating will be described with reference to FIG. The current projection plane is as shown in FIG. In contrast, the current viewpoint e ₁ Maximum point or maximum point C from ₁ ′ Is deviated from the center position of the projection plane. Therefore, the viewpoint is the current viewpoint ₁ To maximum value point or local maximum point C ₁ New viewpoint e to approach ' ₂ Determine. Furthermore, this viewpoint e ₂ To determine the new gaze direction. New gaze direction is new viewpoint e ₂ To maximum value point or local maximum point C ₁ The center line of the center projection line to ′ is point C ₁ Let's pass through. Furthermore, this center line and point C ₁ 'And the center position of this new projection plane is point C ₁ A new projection plane is set so as to become ′.
[0042]
In FIG. 7, as in FIG. 9, a, b, and c are numerical values indicating the positional relationship between the projection plane and the xyz coordinate system, a is the x-axis component at the intersection of the projection plane and the x-axis, and b is The y-axis component of the point where the projection plane and the y-axis intersect, and c is the z-axis component of the intersection of the projection plane and the z-axis. Further, with reference to FIG. 7, an angle formed by a line projected from the origin of the xyz coordinate system to the projection plane on the z-x plane and the line projected on the x-axis (referred to as α), and this perpendicular is represented by xz. It is necessary to find the angle formed by the surface (this is β). Accordingly, the relationship between the projection plane and the xyz coordinate system can be regulated by α and β having dimensions different from a, b, and c.
[0043]
Step 33 ... New intersection C ₁ The position of ′ in the xyz coordinate system is obtained. First, in FIG. 8, the old intersection C ₁ From new intersection C ₁ The displacement to ′ is obtained as follows.
[Expression 2]

(Equation 2) indicates displacements dx, dy, dz in the xyz coordinate system when there is a displacement of dX, dY from the center of the screen in the coordinate system (XY) on the projection plane (display screen). Next, the old intersection C ₁ The coordinates of (x _c1 , Y _c1 , Z _c1 ), The approximate new intersection C ₁ Coordinates of ′ (x _c1 ', Y _c1 ′ 、 Z _c1 ′) Is obtained by the following equation.
[Equation 3]

[0044]
Step 34 ... New viewpoint position e ₂ Decide. New viewpoint position e ₂ Is the current viewpoint e ₁ And new intersection C ₁ On line L connecting ′ and new intersection C ₁ Set the position so that it approaches ′. New viewpoint position e ₂ (X ₁ ', Y ₁ ′ 、 Z ₁ ′) Is determined below.
[Expression 4]

Where x ₁ , Y ₁ , Z ₁ Is the current viewpoint ₁ Coordinates of L ₁ Is the length of the straight line L (the new intersection C because the length is not h) ₁ ′ Is an approximate point for temporary use. As will be described later, an accurate new orthogonal point is a value obtained using the new a, b, and c), and Q is an intersection C ₁ Maximum value or maximum value R of ′ _max Is a value obtained by multiplying a certain percentage m with respect to.
[Equation 5]

m is a value previously key-input. Choose 1>m> 0. As a result, e ₁ New viewpoint e at a position determined by m on the back side ₂ Is determined.
[0045]
Step 35 is a step of determining the line-of-sight direction from the new viewpoint. First, the change amounts of the angles α and β shown in the description of FIG.
[Formula 6]

Here, dx, dy, and dz are values obtained by (Equation 2). The reason why dα is reduced when | β | approaches 90 ° is that, as dx changes, the effect on α decreases as it approaches from viewpoint 1 to viewpoint 2 in FIG. about).
Step 36 ... The previous values of the angles α and β are α ₁ , Β ₁ Then, the angles α and β due to this change are
[Expression 7]

It becomes. This determines the line-of-sight direction from the new viewpoint.
[0046]
Step 37: In this step, a projection plane orthogonal to the center line in the new line-of-sight direction is obtained. Since the projection plane is represented by a, b, and c as shown in FIG. 7, the process for obtaining a, b, and c is step 37. That is, the new viewpoint (x ₁ ', Y ₁ ′ 、 Z ₁ ′), Points a, b, and c intersecting the x, y, and z axes of the projection plane orthogonal to the straight line α, β with the distance h from the following.
[Equation 8]

By determining the new a, b, and c, an accurate new orthogonal point can be obtained by (Equation 12). As previously mentioned, C previously obtained ₁ 'Is a new intersection for temporary use.
[0047]
FIG. 6 is a detailed flow of step 21 in FIG. That is, when the viewpoint, the line-of-sight direction, and the projection plane are determined, a part of the new three-dimensional original image interposed between the viewpoint and the projection plane becomes a new unit three-dimensional image. The new unit 3D image is centrally projected from the viewpoint toward the line of sight, and the center projection image is shaded and hidden to obtain a new pseudo 3D image. This is realized by the processing flow of FIG.
Step 40: All pixel densities in the memory on the projection plane are cleared to zero (initialized).
Step 41: The display screen is cut out from the projection plane. If the size of the projection plane and the size of the display screen are the same, the projection plane matches the display screen. However, there are many examples in which the size of the projection plane is larger than the size of the display screen. In this case, it is necessary to cut out the projection screen from the projection plane. In addition, even when both sizes match, it may be desired to display only a partial area of the projection plane on the display screen. Even in such a case, it is necessary to cut out from the projection plane. Therefore, in step 41, the cutting center position (X _c , Y _c ) And a portion corresponding to the cut-out size of the display screen (for example, the screen size if cut-out of the size of the display screen) is cut out from this center. Here, the cut-out center position is the intersection point C. ₁ If it is set to ′, the depth direction becomes the center of the display screen, which is preferable. By providing this step 41, the address (X, Y) of the display memory can be designated. The address (X, Y) designated first is the upper left of the projection plane area corresponding to this cut-out size. The address update is performed according to a raster scan from left to right and from top to bottom (steps 48 and 50).
[0048]
Step 42 is a scan start step for projecting a unit three-dimensional image. Hereinafter, an example in which a unit 3D image is a part of a stacked 3D original image of CT images will be described. An example of this is shown in FIG. A projection plane 21 is provided for the new viewpoint e, and a unit three-dimensional image is interposed therebetween. The unit three-dimensional image is a part of a three-dimensional original image obtained by stacking CT images, and is obtained by stacking a plurality of CT images. Then, the first CT image 23 (# 1) closest to the viewpoint is selected. At this time, the stacked CT images are stacked in parallel to the y axis with respect to the absolute coordinate system x, y, z. Since the CT tomographic image closest to this viewpoint knows the CT tomographic image number, the y component is also automatically known from the CT tomographic number. This is y ₀ And
[0049]
Step 43... Corresponding to the pixel position (x of the tomographic image projected from the pixel of the CT tomographic image closest to the viewpoint to the address (X, Y) of the display memory ₀ , Y ₀ , Z ₀ ) Is calculated. However, y ₀ Since the slice images are arranged on the y-axis, they are known in advance (a relative value is known as “slice interval” at the time of measurement). So actually x ₀ And z ₀ And This calculation is performed by the central projection conversion formula (Equation 9). For all addresses (X, Y) of the display memory, the corresponding pixel position (x ₀ , Y ₀ , Z ₀ ) Is calculated. Here, in FIG. 9, the point P on the projection plane 21 corresponds to the address (X, Y) of the display memory, and the point S on the tomographic image 23 corresponds to the pixel position of the corresponding tomographic image. However, in FIG. 9, the arbitrary point P on the projection plane is indicated by coordinates (x, y, z) of the absolute coordinate system xyz. C ₁ Point (x _c1 , Y _c1 , Z _c1 ) Is a perpendicular intersection from the viewpoint e to the projection plane 23. In addition, α, β, a, b, and c are the same as those in FIG.
The central projection conversion formula is roughly divided into two. The first is a conversion formula from the X, Y coordinate system to the xyz system, and the second is a formula for determining the coordinates of the S point. The transformation from X, Y system to xyz system is (Equation 9).
[Equation 9]

That is, y is extracted from (1) of (Equation 9) and is substituted as y in (2) of (Equation 9) to obtain x and z, and y is obtained from (3) of (Equation 9). ) Is obtained. Further, the projection surface 21 is
[Expression 10]

E point (x ₁ , Y ₁ , Z ₁ ) And point P (x, y, z) 22
[Expression 11]

It expresses with.
C ₁ Point (x _c1 , Y _c1 , Z _c1 ) Includes, for example, the viewpoint e (x ₁ , Y ₁ , Z ₁ ) To the projection plane 21 and a point where the projection plane 21 intersects (a distance h between this point and the viewpoint e),
[Expression 12]

May be used.
[0050]
When a projected image is displayed on a display screen (not shown) corresponding to the projection plane 21 with 512 pixels vertically × 512 pixels horizontally, X and Y take values from −256 to +256. For each X and Y, x, y and z are determined by the above equation (Equation 9). x of point e ₁ , Y ₁ , Z ₁ Is given arbitrarily by key input or the like in the manual mode. ₀ = D ₀ The coordinate x of the pixel S point on the tomographic image of ₀ , Z ₀ Is decided. This is x ₀ , Z ₀ Is a determinant of
[Formula 13]

The above is an example of one tomographic image # 1, but in practice there are a plurality of tomographic images (# 1, # 2,...), And d ₀ Since there are a plurality of points, a plurality of points x to be projected with respect to one set of X and Y ₀ , Z ₀ Is decided. Point x to be projected from one of these tomographic images ₀ , Z ₀ Select. The selection method may use the Z buffer method (however, the distance R is used instead of the Z component), but another method is used in this embodiment. Therefore, steps 44, 45, and 46 are provided.
[0051]
Steps 44, 45, 46... ₀ , Z ₀ ) Threshold processing. This is for extracting a region of interest, and the threshold value is a threshold value for the extraction. The region of interest is, for example, the type of organ (intestine or bronchi), and the organ of interest is automatically extracted by providing a threshold for organ extraction. The pixel point (x ₀ , Z ₀ If the threshold value is not satisfied in step), the next CT image (that is, the next closest CT image as viewed from the viewpoint) # 2 is designated in step 45 and corresponds to the address (X, Y) designated in step 41. y = y ₀ Pixel point at (x ₀ , Z ₀ ) In step 43 (y ₀ Is automatically calculated from the designated CT image), and in step 44, it is determined again whether the pixel density is equal to or higher than the threshold value. If the pixel density is outside the threshold range, the next closest CT image is designated in step 45 again. Thereafter, if there is no pixel density within the threshold range in all CT images projected to (X, Y) instructed in step 41, the process proceeds to step 47 through step 46. Y = y of CT image #i having a pixel density within the threshold range ₀ Pixel point at (x ₀ , Z ₀ ) Exists, no further CT images # (i + 1), # (i + 2),... Then, the process proceeds to step 47.
[0052]
Step 47 ... The new viewpoint created in Step 34 (x ₁ ', Y ₁ ′ 、 Z ₁ ′) And y = y ₀ Pixel point at (x ₀ , Z ₀ The distance R to) is determined below.
[Expression 14]

The concentration I is obtained from the calculated R as follows.
[Expression 15]

Where I _max Is the specified maximum value. This density I is a density obtained by the depth method, but at the same time, is a density after the hidden surface processing that is processed by a kind of Z buffer. Thus, shading processing and hidden surface processing are performed for one point (X, Y), and this is stored as the pixel density of the pseudo three-dimensional image at the memory address (X, Y).
Step 48: The display cut-out address X is updated by +1.
Step 49 ... It is checked whether X has reached the maximum value of the display cut-out address. If the maximum value has not been reached, the process returns to step 42. If the maximum value has been reached, the process proceeds to step 50.
Step 50: When the display cut-out address X reaches the maximum value, the display cut-out address Y is updated by 1 in order to update the address by one line. Address X is also returned to the initial value.
Step 51 ... It is checked whether or not Y of the display cut-out address has reached the maximum value. If it has not reached, the process returns to Step 42, and if it has reached, the entire processing is ended.
[0053]
FIG. 10A is a diagram for explaining central projection of a three-dimensional original image (this is a stacked three-dimensional original image) composed of a plurality of tomographic planes 23A to 23E in parallel with the projection plane 21. FIG. Among the plurality of tomographic planes 23A to 23E, the tomographic planes 23A to 23D are used for central projection, and this becomes a unit three-dimensional image. Since 23E is on the outer side (near side) than the viewpoint e, it is removed from the center projection target. Now, B on the fault plane 23B ₁ , B ₂ , B ₃ And there is C on the fault plane 23C. ₁ , C ₂ Suppose there is a video like Here, the image is a target organ, a threshold value for extracting the organ is given, a pixel having a density within the threshold range is extracted as the target organ, and “1” is given to the extracted pixel. It is an image. Pixels other than the extracted organ are set to “0”. A line-of-sight direction from the viewpoint e is determined, and a projection plane perpendicular to the direction is determined. The line-of-sight direction is a direction for central projection from the viewpoint onto the projection plane, and specifically, the line-of-sight direction is determined so that the center line 0 of the line-of-sight direction is a perpendicular to the projection plane. The relationship between the line-of-sight direction and the projection plane is established every time the viewpoint, the line-of-sight direction, and the projection plane are updated. That is, the line-of-sight direction is determined from the viewpoint, and the projection plane is determined such that the center line of the determined line-of-sight direction is a perpendicular to the projection plane.
[0054]
In FIG. 10A, the central projection image from the line-of-sight direction is obtained by projecting radially from the viewpoint on the projection plane 21 as shown in the figure. B ₁ → B ₁ ', B ₂ → B ₂ ', B ₃ → B ₃ ', C ₁ → C ₁ ', C ₂ → C ₂ ′, Projection image B ₁ ', B ₂ ', B ₃ ', C ₁ ', C ₂ Is obtained. In the figure, B ₃ ', C ₂ ′ Is described with a slight distance, but this is for easy understanding of the projected image, and is actually an overlap. In addition, C used in FIG. ₁ , C ₁ 'Has a different meaning from that used in FIGS. Further, in FIG. 10A, the tomographic planes 23A to 23E include a tomographic plane obtained by calculation processing such as interpolation in addition to the plane of the measured CT tomographic image.
[0055]
FIG. 10B is a diagram in the case where the plurality of tomographic planes 23A to 23E and the projection plane 21 are in a relationship having a certain inclination as shown in FIG. In order to achieve a simple relationship as shown in FIG. 2, the tomographic planes 23 </ b> A to 23 </ b> E are tomographic planes 23 a to 23 e that are orthogonal to the center line 0 in the viewing direction, and are projected onto the projection plane 21. The tomographic planes 23a to 23e are obtained by calculation processing from the tomographic planes 23A to 23E (and other fault planes are also included). This calculation processing includes pixel position calculation on the tomographic plane and pixel density calculation at the pixel position. The pixel density calculation uses an interpolation process.
[0056]
FIG. 10A is used for the initial screen in step 1 of FIG. In the present embodiment in which the viewpoint and the projection plane are updated in the depth direction, the viewpoint, the projection plane, and the unit 3D image are almost as shown in FIG. It becomes a relationship.
[0057]
FIG. 11 is a schematic diagram of updating the viewpoint and the projection plane in the depth direction with respect to a three-dimensional original image having a pipeline. First, a viewpoint 1, a line-of-sight direction 1, and a projection plane 1 are given, and a central projection image from the viewpoint 1 is obtained on the projection plane 1. This central projection image is a central projection of the unit three-dimensional image 1 sandwiched between the projection planes 1. Next, the viewpoint 2 is given to a position closer to the depth direction than the viewpoint 1, the line-of-sight direction 2 is obtained, and a central projection image is obtained on the opposing projection plane 2. In the same manner, the viewpoint, the line-of-sight direction, and the projection plane are updated in the depth direction of the image. The viewpoint i indicates the arbitrary update position. Furthermore, the viewpoint j shows an example in which the pipeline branches into two. This corresponds to the example shown in FIG. Either one will be selected. This is as described in FIG.
[0058]
FIG. 12 is a diagram showing the relationship between the projection plane and the display plane. The projection plane is a plane to be projected mathematically, but a two-dimensional array buffer memory is used in image processing. On the other hand, the display surface is a display screen such as a CRT. In practice, the contents of the two-dimensional array display memory are scanned and displayed as they are. The two-dimensional array buffer memory and the two-dimensional array display memory, which are projection planes, can be used as follows depending on the size (vertical × horizontal size).
(A) The first is when the buffer memory size and the display memory size are the same.
This is an example shown in FIG. 12 (a), in which the solid line projection plane and the dotted line display plane are completely overlapped with each other. In this case, all the central projection images obtained on the projection surface are displayed on the display surface. In some cases, even if the size is the same, the display cut-out size is a part of the buffer memory, and this is displayed on a part corresponding to or not corresponding to the display memory.
(B) Second, the buffer memory size is larger than the display memory size.
This is an example shown in FIG. In this case, an object to be displayed is selected. The display surface 1 is an example in which the upper left side is selected, and the display surface 2 is an example in which the lower right side is selected from the center. There may be an example in which the vicinity of the center is selected. This selection can be automatic or manual.
[0059]
The central projection image on the projection plane in FIGS. 11 and 12 is not a direct projection of the unit three-dimensional image, but is a shadow processing image obtained by performing a shadow process on the unit three-dimensional image. This shading process is a process for obtaining the distance R from the viewpoint to the pixel position to be projected, and determining the projection density I at that pixel position so as to be inversely proportional to the distance R. For example, it is calculated by (Equation 1).
[0060]
Furthermore, in the buffer corresponding to the projection plane in FIGS. 11 and 12, two or more densities may be projected at the pixel position. B in FIG. ₃ 'And C ₂ This is the case where the pixel position partially overlaps with ′. In such a case, the density at the pixel position before the distance R is left, and the pixels at other far pixel positions are deleted. This is a kind of Z buffer method. In the example of FIG. 10 (a), it is C for the overlapping pixel position. ₂ Because ′ is the distance in front, C ₂ 'Will be left. A two-dimensional array image processed by such a Z-buffer method is finally obtained in a buffer memory corresponding to the projection plane. The two-dimensional array image finally obtained in the buffer memory corresponding to the projection plane is a display target, and is displayed according to FIGS.
[0061]
The projection plane is defined by position and inclination. There are the following aspects.
(1) Position of projection plane: There is a method of determining which position in the xyz coordinate system of FIG. In addition, there is a method of determining which position in the xyz coordinate system a characteristic position such as the upper right end position of the projection plane is placed. In either case, the distance between the new viewpoint and this position is determined to be a constant value. Thus, for each update, the position of the projection plane is automatically determined if a new viewpoint at that time is obtained.
(2) Inclination of projection plane: It is premised on which position the inclination is defined as a reference. As the reference position, it is preferable to use the position of the projection plane described in (1). The inclination of the projection plane may be an arbitrary value originally, but is preferably a value that is orthogonal to the line-of-sight direction.
[0062]
The farthest point (or local maximum point) described in step 15 of FIG. There is an example in which the farthest part is obtained as a region or surface having a certain spread instead of a point. In such a case, it is conceivable that there are a plurality of farthest points along the region or surface. Therefore, there is a method in which statistical processing is performed to determine the center position and the center of gravity position in the area or surface, and to determine this as the farthest point. For example, in FIG. 4, there are large local maximum points in the regions P1 and P2, and when the vicinity of the region P1 is observed in more detail, there are a plurality of local maximum points (P11, P12, P13,...) And the local maximum is also in the vicinity of the region P2. This is the case where there are a plurality of value points (P21, P22, P23,...) (All not shown). One method of reducing the number of local maximum points is image smoothing. This is described next.
[0063]
For example, the smoothed image is obtained by dividing the pixel value of a total of 15 pixels of 5 pixels in the horizontal direction and 5 pixels in the vertical direction by 25 and dividing it by 25 to obtain a new pixel value of the central pixel in the 5 × 5 pixel region (of course, the memory and smoothing before smoothing) Memory after conversion is different). When the number of local maximum points decreases, the distance between the local maximum points is obtained. If there is a distance smaller than a preset value (for example, about 1 cm of the diameter of the desired bronchus when viewing the bronchi), the distance is further smoothed. If all the distances are larger than a preset value, it is checked again whether there are some local maximum points. If there is one, automatic updating is possible, and if there are more than one, the operator is inquired. There is also a way to select only one point found first and make it the farthest point.
Describe the area of interest. The region of interest has the following modes.
(1) This is an example in which the organ itself is the region of interest.
(2) This is an example in which a lesion is a region of interest.
(3) This is an example in which a target to be cut out on the display screen is a region of interest.
[0064]
The manual screen update in step 4 of FIG. 1 is performed in accordance with an operator's instruction using a mouse or a keyboard while displaying a three-dimensional original image. For example, dX and dY in step 32 in FIG. 5 are manually input. Or more simply key in α, β and h.
As a shading algorithm, a volume rendering method (for example, “Display of Surfaces from Volume Date” by Maec Levoy, IEEE Computer Graphics & Applications May 1988, 29-37P) may be used. This is the one described in FIG. 6 of Japanese Patent Application No. 6-3492, which is the first prior application.
[0065]
FIG. 13 shows an embodiment of the display device of the present invention. In FIG. 13, the CPU 1 performs overall management and update processing (FIGS. 1, 5, and 6), and the main memory 2 stores program latches and various work data necessary for it. The magnetic disk 3 stores a three-dimensional original image, which is sent to the CPU 1 for update processing. Also, various processing progress images including the pseudo three-dimensional image after the update processing are stored as various images to be reused. The mouse 8 displays the mouse on the CRT via the controller 7 and is used for automatic update or manual update. The display memory 5 latches an image to be displayed on the CRT 6 and various microcomputers. The common bus 4 is a common interface line for them.
[0066]
A special case of operation will be described with reference to FIG.
When dY is changed in FIG. 14A, β changes, and a tomographic image (CT image) is represented by G. ₃ , G ₄ The same effect is obtained when tilted in the direction (changes β). I want dX to have the same effect. Originally, dX has the effect of rotating the image around the y-axis (α changes), but there are cases where it is desired to have a completely different meaning. That is, when dX is changed, G ₃ , G ₄ Is perpendicular to G ₁ , G ₂ There are times when you want to have the effect of tilting in the direction. And I don't want to rotate the image too much. An approximate and convenient means for this will be described below. For example, when dY = 0 and dX is not zero, G ₁ , G ₂ To tilt in the direction, rotate the projection plane 90 degrees in the α direction (β remains the same), make dY equal to dX, and forcibly replace dX = 0. Do not turn around (α remains as it is), and dY is not zero in magnitude and the direction is G ₁ , G ₂ Because I peel the direction of G ₁ , G ₂ A pseudo three-dimensional image tilted in the direction (β changes) is obtained. However, since the projection plane is rotated as described above and the viewing direction is rotated 90 degrees, it must be rotated around the projection point of x = y = z = 0 after the construction of the pseudo 3D image and returned to the original position. I must. Since both dX and dY are normally not zero, the approximate processing is performed as follows. As shown in FIG. 14B, dY is changed to sqrt (dX ² + DY ² ), Replacing dX with zero, and simultaneously rotating in the α direction by −ξ (where ξ = arctan (dX / dY)) to form a pseudo three-dimensional image. G ₅ , G ₆ The inclination of the direction will be included. However, since the angle is rotated by −ξ, after the pseudo three-dimensional image is formed, it is necessary to rotate it by + ξ around the projection point of the origin x = y = z = 0 and restore it. FIG. 15 shows this procedure.
[0067]
In each embodiment, the viewpoint is updated in the depth direction. On the contrary, it is needless to say that updating the viewpoint from the back to the front is possible with substantially the same concept.
[0068]
FIG. 16 is an explanatory diagram of an example of updating the viewpoint and the projection plane. Human bronchial tomographic images (CT images) # 1 to #k are prepared, approached endoscopically from the front of the bronchi, and further endoscopically viewed in one of the bronchi A and B. It shows the situation when proceeding mirrored. The viewpoint 1 → 2 → 3 is an example in which the viewpoint is updated in a direction perpendicular to the tomographic plane, and an example of updating the viewpoint when the viewpoint 4 → 5 advances in the bronchus B is shown. The projection planes 1 to 5 are also updated according to these viewpoints 1 to 5.
[0069]
17 to 21 show specific display image examples from viewpoints 1 to 5 in FIG. Interpolation in the figure refers to an image obtained by interpolation processing, and other than the part shown in the figure, it is appropriately created from the accuracy of the figure and used for display.
[0070]
【The invention's effect】
According to the present invention, the viewpoint position as a point can be updated so as to move faithfully along the inside of the intestine or the like.
Furthermore, by performing central projection from the viewpoint, it was possible to obtain a pseudo three-dimensional image that moved as if inside the intestine or the like.
[Brief description of the drawings]
FIG. 1 is a flowchart of automatic viewpoint update according to the present invention.
FIG. 2 is a diagram illustrating central projection.
FIG. 3 is a diagram illustrating central projection.
FIG. 4 is a diagram illustrating an example in which there are two selected images.
FIG. 5 is a flowchart of updating the viewpoint, line-of-sight direction, and projection plane according to the present invention.
FIG. 6 is a flowchart of shading and hiding processing according to the present invention.
FIG. 7 is a diagram illustrating a relationship between a viewpoint and a projection plane.
FIG. 8 is a diagram showing a positional relationship between a current viewpoint and a new viewpoint.
FIG. 9 is a diagram illustrating a relationship between a viewpoint and a projection plane.
FIG. 10 is a diagram showing a viewpoint, a projection plane, and a unit three-dimensional image.
FIG. 11 is an explanatory diagram for updating the viewpoint in the depth direction;
FIG. 12 is a diagram illustrating various correspondence examples between a projection surface and a display surface.
FIG. 13 is a diagram showing an embodiment of a display device according to the present invention.
FIG. 14 is another embodiment of the present invention.
FIG. 15 is a processing flowchart of another embodiment.
FIG. 16 is a diagram illustrating an example of updating a viewpoint and a projection plane.
FIG. 17 is an example of a display image from viewpoint 1.
FIG. 18 is a view showing an example of a display image from viewpoint 2.
FIG. 19 is a display image example view according to viewpoint 3.
FIG. 20 is a view showing an example of a display image from the viewpoint 4;
FIG. 21 is a view showing an example of a display image from the viewpoint 5;
[Explanation of symbols]
1 CPU
2 Main memory
3 Auxiliary memory
4 common buses
5 Display memory
6 CRT
7 Controller
8 Mouse
100 display screen
102, 103 icons

Claims (13)

視点、複数の断層像を積み上げた積上げ画像及び投影面の順にそれぞれ配置し、その積上げ画像の内部に前記視点を設定するステップと、
前記視点と前記投影面との位置関係を維持しながら前記視点と前記投影面の位置を順次更新するステップと、
該順次更新された位置の視点から見た積上げ画像を投影面に中心投影法により順次投影するステップと、
前記投影面に投影された積上げ画像情報に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得るステップと、
該順次得られた擬似三次元画像を順次表示するステップと、
前記順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択するステップと、
前記選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定するステップと、
前記設定された更新視点から中心投影法により更新された擬似三次元画像を構成し、表示するステップと、
前記断層像を選択するステップ乃至更新された擬似三次元画像を構成し、表示するステップを繰り返し、更新された各視点から中心投影法により更新された擬似三次元画像を構成、表示することを特徴とする三次元画像表示方法。A step of arranging a viewpoint, a stacked image in which a plurality of tomographic images are stacked, and a projection plane, respectively, and setting the viewpoint within the stacked image; and
Sequentially updating the position of the viewpoint and the projection plane while maintaining the positional relationship between the viewpoint and the projection plane;
Sequentially projecting the stacked image viewed from the viewpoint of the sequentially updated position on the projection surface by a central projection method;
Sequentially obtaining a pseudo three-dimensional image inside the stacked image viewed from the viewpoint updated sequentially by performing shading processing based on the stacked image information projected on the projection plane;
Sequentially displaying the sequentially obtained pseudo three-dimensional images;
Selecting a tomographic image having a pixel position at which the distance from the updated viewpoint is the maximum value or the maximum value among the stacked images contributing to the configuration of the sequentially displayed pseudo three-dimensional image;
Setting an updated viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint;
Configuring and displaying a pseudo three-dimensional image updated by a central projection from the set update viewpoint; and
The step of selecting the tomographic image or constructing and displaying the updated pseudo three-dimensional image is repeated, and the pseudo three-dimensional image updated by the central projection method is constructed and displayed from each updated viewpoint. 3D image display method. 視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び視点毎の疑似三次元画像を得て、表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の構成に寄与する複数の断層像のうち、前記更新前の視点からの距離が最大値又は極大値となる画像位置を有する断層像を選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記設定された更新視点からこの更新視点に対応する投影面への、中心投影法により、疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法。Arrange the viewpoint, multiple tomographic images and projection plane in order, and update the viewpoint position sequentially and obtain and display the pseudo three-dimensional image for each viewpoint while maintaining the positional relationship between the viewpoint and the projection plane. A three-dimensional image display method,
Among a plurality of tomographic images obtained from the viewpoint before updating and contributing to the configuration of the pseudo three-dimensional image being displayed on the screen, the tomographic image having an image position at which the distance from the viewpoint before updating becomes the maximum value or the maximum value. A selection step to select,
A setting step of setting an update viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint before update;
A display step of obtaining and displaying a pseudo three-dimensional image by a central projection method from the set update viewpoint to a projection plane corresponding to the update viewpoint;
A three-dimensional image display method characterized by the above. 視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び陰影処理を行って視点毎の疑似三次元画像を得て表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の最小濃度の画素位置を検索する検索ステップと、
前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を前記積上げ画像から選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記更新視点からこの更新視点に対応する更新投影面への、中心投影法により、更新された疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法。A viewpoint, a plurality of tomographic images, and a projection plane are arranged in that order, and the position of the viewpoint and the projection plane are maintained, and the position of the viewpoint is sequentially updated and shadow processing is performed to generate a pseudo three-dimensional image for each viewpoint. A three-dimensional image display method for obtaining and displaying,
A search step for searching for the pixel position of the minimum density of the pseudo 3D image obtained from the viewpoint before update and displayed on the screen;
A selection step of selecting a tomographic image having a pixel position corresponding to the searched pixel position of the minimum density from the stacked image;
A setting step of setting an update viewpoint at a desired position on a straight line connecting the pixel position of the selected tomographic image and the viewpoint before update;
A display step of obtaining and displaying an updated pseudo three-dimensional image by a central projection method from the updated viewpoint to the updated projection plane corresponding to the updated viewpoint;
A three-dimensional image display method characterized by the above. 前記表示ステップは、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする請求項２又は３に記載の三次元画像表示方法。The three-dimensional image display method according to claim 2 or 3, wherein the display step sets a line of sight together with the updated viewpoint, and sets an update projection plane perpendicular to the line of sight. 前記表示ステップは前記疑似三次元画像を得る処理ステップを有すると共に、この処理ステップは、その時の視点位置からそれの投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について視点から前記投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得ることを特徴とする請求項２又は３に記載の三次元画像表示方法。The display step includes a processing step for obtaining the pseudo three-dimensional image. In this processing step, the display range of the projected image is cut out from the viewpoint position at that time, with the perpendicular position drawn on the projection plane as the center position. The pseudo three-dimensional image inside the stacked image viewed from the viewpoint that has been sequentially updated by performing shading processing based on the distance from the viewpoint to the pixel position of the tomographic image projected on the projection plane is sequentially The three-dimensional image display method according to claim 2, wherein the three-dimensional image display method is obtained. 前記選択ステップにあっては、前記最大値又は極大値が２つ以上存在するときにはその旨の情報を表示するステップを備えたことを特徴とする請求項２に記載の三次元画像表示方法。3. The three-dimensional image display method according to claim 2, wherein the selection step includes a step of displaying information to that effect when there are two or more maximum values or maximum values. 4. 前記選択ステップは、最小値が２つ以上存在するときにはその旨の情報を表示するステップを備えた請求項３に記載の三次元画像表示方法。The three-dimensional image display method according to claim 3, wherein the selection step includes a step of displaying information indicating that there are two or more minimum values. 前記設定ステップは投影面を設定するステップを具え、このステップは距離の最大値又は極大値の画素位置が投影面の中心位置となるように更新投影面を設定することを特徴とする請求項２に記載の三次元画像表示方法。3. The setting step includes a step of setting a projection plane, and this step sets the update projection plane so that the pixel position having the maximum value or the maximum value of the distance becomes the center position of the projection plane. The three-dimensional image display method described in 1. 前記設定ステップは投影面を設定するステップを具え、このステップは、最小濃度の画素位置が投影面の中心位置となるように更新投影面を設定することを特徴とする請求項３に記載の三次元画像表示方法。4. The tertiary according to claim 3, wherein the setting step includes a step of setting a projection plane, and this step sets the update projection plane so that the pixel position of the minimum density becomes the center position of the projection plane. Original image display method. 複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置。Storage means for storing stacked images obtained by stacking a plurality of tomographic images;
Via the stacked image stored in the storage means, a viewpoint is set inside the projection plane and the stacked image, and the position of the viewpoint is determined while maintaining the positional relationship between the set viewpoint and the projection plane. Control means for sequentially updating, sequentially projecting the stacked images viewed from the sequentially updated viewpoint on the projection plane by a central projection method, and sequentially obtaining a pseudo three-dimensional image of the stacked images;
Display means for sequentially displaying pseudo three-dimensional images sequentially obtained by the control means;
Selecting means for selecting a tomographic image having a pixel position at which the distance from the updated viewpoint becomes the maximum value or the maximum value among the stacked images contributing to the configuration of the pseudo three-dimensional image sequentially displayed by the display means; ,
Setting means for setting an updated viewpoint at a desired position on a straight line connecting the pixel position and the viewpoint of the tomographic image selected by the selection means;
The control means selects the tomographic image by the selection means, constructs a pseudo three-dimensional image by the central projection method from the updated viewpoint set by the setting means, and displays the constructed pseudo three-dimensional image on the display means. A three-dimensional image display device characterized in that a pseudo three-dimensional image is constructed and displayed from each updated viewpoint by repeating each display operation. 複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、陰影処理を行って前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記疑似三次元画像の最小濃度の画素位置を検索し、前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置。Storage means for storing stacked images obtained by stacking a plurality of tomographic images;
Via the stacked image stored in the storage means, a viewpoint is set inside the projection plane and the stacked image, and the position of the viewpoint is determined while maintaining the positional relationship between the set viewpoint and the projection plane. A control means for sequentially updating, sequentially projecting the stacked image viewed from the sequentially updated viewpoint on the projection plane by a central projection method, and performing a shading process to sequentially obtain a pseudo three-dimensional image of the stacked image;
Display means for sequentially displaying pseudo three-dimensional images sequentially obtained by the control means;
Among the stacked images contributing to the configuration of the pseudo three-dimensional image sequentially displayed by the display means, the pixel position of the minimum density of the pseudo three-dimensional image is searched, and the pixel corresponding to the searched pixel position of the minimum density Selecting means for selecting a tomographic image having a position;
Setting means for setting an updated viewpoint at a desired position on a straight line connecting the pixel position and the viewpoint of the tomographic image selected by the selection means;
The control means selects the tomographic image by the selection means, constructs a pseudo three-dimensional image by the central projection method from the updated viewpoint set by the setting means, and displays the constructed pseudo three-dimensional image on the display means. A three-dimensional image display device characterized in that a pseudo three-dimensional image is constructed and displayed from each updated viewpoint by repeating each display operation. 前記表示手段は、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする請求項１０又は１１に記載の三次元画像表示装置。The three-dimensional image display apparatus according to claim 10 or 11, wherein the display unit sets a line of sight together with the update viewpoint, and sets an update projection plane perpendicular to the line-of-sight direction. 前記制御手段は、前記更新視点位置からその更新視点と対応する更新投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について前記更新視点から前記更新投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行うことを特徴とする請求項１０又は１１に記載の三次元画像表示装置。The control means cuts out a display range of a projected image from the updated viewpoint position with a perpendicular position on the updated projection plane corresponding to the updated viewpoint as a center position, and the updated projection from the updated viewpoint for the extracted projection image The three-dimensional image display device according to claim 10 or 11, wherein shadow processing is performed based on a distance to a pixel position of a tomographic image projected on a surface.

Images