JP2000245700A - Instrument for measuring eyeground and recording medium for recording measurement program - Google Patents
Instrument for measuring eyeground and recording medium for recording measurement programInfo
- Publication number
- JP2000245700A JP2000245700A JP11052208A JP5220899A JP2000245700A JP 2000245700 A JP2000245700 A JP 2000245700A JP 11052208 A JP11052208 A JP 11052208A JP 5220899 A JP5220899 A JP 5220899A JP 2000245700 A JP2000245700 A JP 2000245700A
- Authority
- JP
- Japan
- Prior art keywords
- fundus
- image
- dimensional shape
- nipple
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、眼底ステレオ画像
から眼底三次元形状を計測する眼底計測装置及び眼底計
測プログラムを記録した記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a fundus measuring device for measuring a three-dimensional shape of a fundus from a fundus stereo image and a recording medium storing a fundus measuring program.
【０００２】[0002]
【従来技術】視機能障害の一つとして知られる緑内障の
診断として、眼底像による視神経乳頭部（以下、単に乳
頭という）の観察が重要であるといわれている。近年で
は、立体眼底カメラで撮影した眼底ステレオ画像から眼
底三次元形状を計測し、乳頭陥凹部（ｃｕｐ）や乳頭周
辺部を定量的に解析する装置が提案されている。2. Description of the Related Art It is said that observation of the optic papilla (hereinafter simply referred to as the papilla) using a fundus image is important as a diagnosis of glaucoma, which is known as one of visual impairment. In recent years, an apparatus has been proposed which measures the three-dimensional shape of the fundus from a fundus stereo image captured by a stereoscopic fundus camera and quantitatively analyzes a nipple recess (cup) and a nipple peripheral portion.
【０００３】眼底ステレオ画像から眼底の三次元情報を
計測する手法は、一般的にステレオマッチング法として
知られており、左右画像の対応点を抽出した後、この情
報に基づいて高さ（深度）情報を算出している。[0003] A method of measuring three-dimensional information of the fundus from a fundus stereo image is generally known as a stereo matching method. After extracting corresponding points of left and right images, a height (depth) is determined based on the extracted information. Information is being calculated.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、従来の
ステレオマッチング法では、カラー撮影されたステレオ
画像であってもグレースケール画像（白黒画像）に変換
した後にマッチング処理を行っているため、カラーのス
テレオ画像に含まれる色情報が十分に活用されていなか
った。すなわち、眼底撮影には照明光として複数の波長
の光から構成される白色光が利用されるため、眼底の色
合いによって波長による反射が異なり、特定の波長に対
して特徴的に撮影される眼底像は、複数の波長の照明光
による眼底像が重なり合っている。このため、通常のグ
レースケール画像を用いた処理では、特徴的に撮影され
た色情報を含む画像情報を見落としている可能性があ
る。However, in the conventional stereo matching method, even if a color-captured stereo image is converted into a gray-scale image (black-and-white image), the matching process is performed, so that a color stereo image is obtained. The color information contained in the image was not fully utilized. That is, since fundus photography uses white light composed of light of a plurality of wavelengths as illumination light, the reflection depending on the wavelength differs depending on the color of the fundus, and the fundus image characteristically photographed at a specific wavelength. , The fundus images by the illumination light of a plurality of wavelengths overlap each other. For this reason, in the process using the normal grayscale image, there is a possibility that the image information including the color information that is characteristically captured is overlooked.
【０００５】さらに、眼底乳頭部では濃淡情報の変化が
少なく、深度情報を得るための対応点抽出の際に、眼底
周辺部と同様に対応点抽出を行おうとしても、精度よく
抽出することが困難であった。[0005] Further, in the fundus nipple, there is little change in shading information, and when extracting corresponding points for obtaining depth information, it is possible to extract the corresponding points with high accuracy even when trying to extract corresponding points in the same manner as in the peripheral portion of the fundus. It was difficult.
【０００６】本発明は上記問題点を鑑み、眼底ステレオ
画像からの眼底三次元形状計測を、より精度良く行うこ
とができる眼底計測装置及び眼底計測プログラムを記録
した記録媒体を提供することを技術課題とする。SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide a fundus measuring apparatus and a recording medium on which a fundus measuring program is recorded, which can more accurately measure the three-dimensional shape of the fundus from a fundus stereo image. And
【０００７】[0007]
【課題を解決するための手段】上記課題を解決するため
に、本発明は以下のような構成を備えることを特徴とす
る。Means for Solving the Problems In order to solve the above problems, the present invention is characterized by having the following configuration.
【０００８】（１） 眼底ステレオ画像から眼底三次元
形状を計測する眼底計測装置において、眼底ステレオ画
像を入力する画像入力手段と、入力された眼底ステレオ
画像から波長の異なる少なくとも２つのスペクトル画像
を作成するスペクトル画像作成手段と、作成された各ス
ペクトル画像に基づいて眼底の深度情報を得て眼底の三
次元形状を算出する三次元形状算出手段と、を備えたこ
とを特徴とする （２） （１）の眼底計測装置において、前記スペクト
ル画像作成手段により作成された各スペクトル画像にお
ける左右画像の対応点を抽出する対応点抽出手段と、該
対応点抽出手段による対応点情報に基づいて各スペクト
ル画像毎の眼底の深度情報を得る深度算出手段を備え、
前記三次元形状算出手段は前記深度算出手段により得ら
れた各スペクトル画像毎の眼底の深度情報を合成して眼
底の三次元形状を算出することを特徴とする。(1) In a fundus measuring device for measuring a three-dimensional shape of a fundus from a fundus stereo image, image input means for inputting a fundus stereo image and at least two spectrum images having different wavelengths from the input fundus stereo image are created. (2) (3) a spectral image creating means for obtaining the depth information of the fundus based on each created spectral image and calculating a three-dimensional shape of the fundus. In the fundus measuring apparatus of 1), corresponding point extracting means for extracting corresponding points of the left and right images in each spectral image created by the spectral image creating means, and each spectral image based on corresponding point information by the corresponding point extracting means. Depth calculation means for obtaining depth information of each fundus,
The three-dimensional shape calculating means calculates a three-dimensional shape of the fundus by combining fundus depth information for each spectral image obtained by the depth calculating means.
【０００９】（３） （２）の眼底計測装置において、
前記三次元形状算出手段は前記各スペクトル画像毎の眼
底の深度情報を合成する際に、眼底の領域別に深度情報
の重み付けを行うことを特徴とする。(3) In the fundus measuring device of (2),
When the three-dimensional shape calculating means synthesizes fundus depth information for each of the spectral images, the three-dimensional shape calculating means weights the depth information for each fundus region.
【００１０】（４） （３）の眼底計測装置において、
さらに前記スペクトル画像から眼底乳頭部を抽出する乳
頭部抽出手段を備え、前記三次元形状算出手段は前記乳
頭部抽出手段により抽出された眼底乳頭部と該眼底乳頭
部を除いた眼底周辺部とに眼底の領域を別けて前記深度
情報の重み付けを行うことを特徴とする。(4) In the fundus measuring device of (3),
Further, a nipple extracting means for extracting a fundus nipple from the spectral image, wherein the three-dimensional shape calculating means includes a fundus nipple extracted by the nipple extracting means and a peripheral portion of the fundus excluding the fundus nipple. The depth information is weighted separately from the fundus region.
【００１１】（５） （４）の乳頭部抽出手段は、前記
スペクトル画像の濃度値による累積度数分布に基づいて
眼底乳頭部を抽出することを特徴とする。(5) The nipple extracting means (4) extracts a fundus nipple based on a cumulative frequency distribution based on density values of the spectral image.
【００１２】（６） （１）の眼底計測装置において、
前記スペクトル画像作成手段は光の三原色であるＲＧＢ
に色分解したスペクトル画像を作成することを特徴とす
る。(6) In the fundus measuring apparatus of (1),
The above-mentioned spectrum image creating means uses three primary colors of light, RGB,
A spectral image is obtained by color separation.
【００１３】（７） （１）の眼底計測装置は、被検眼
の眼底をカラー撮影する立体眼底カメラをも備えること
を特徴とする。(7) The fundus measuring apparatus of (1) is further provided with a stereoscopic fundus camera for photographing the fundus of the eye to be examined in color.
【００１４】（８） 眼底ステレオ画像から眼底三次元
形状を計測する眼底計測装置において、眼底ステレオ画
像を入力する画像入力手段と、入力された眼底ステレオ
画像における左右画像の対応点を抽出する対応点抽出手
段であって眼底の領域別に異なる形式により対応点を抽
出する対応点抽出手段と、抽出された対応点情報に基づ
いて眼底の深度情報を得て眼底の三次元形状を算出する
三次元形状算出手段と、を備えたことを特徴とする。(8) In a fundus measuring apparatus for measuring a three-dimensional shape of a fundus from a fundus stereo image, image input means for inputting a fundus stereo image, and corresponding points for extracting corresponding points of left and right images in the input fundus stereo image. Corresponding point extracting means for extracting corresponding points in different formats for each fundus region, and a three-dimensional shape for calculating the three-dimensional shape of the fundus by obtaining fundus depth information based on the extracted corresponding point information Calculation means.
【００１５】（９） （８）の眼底計測装置において、
前記対応点抽出手段はテンプレートマッチング方法によ
るものであり、眼底の領域別に異なる形状のテンプレー
トを使用することを特徴とする。(9) In the fundus measuring apparatus of (8),
The corresponding point extracting means is based on a template matching method, and uses a template having a different shape for each fundus region.
【００１６】（１０） （８）の眼底計測装置は、さら
に眼底乳頭部を抽出する乳頭部抽出手段を備え、前記対
応点抽出手段は抽出された乳頭部領域と該眼底乳頭部を
除いた眼底周辺部とに眼底の領域を別けて対応点を抽出
する形式を異ならせることを特徴とする。(10) The fundus measuring apparatus according to (8) further comprises a nipple extracting means for extracting a nipple of the fundus, and the corresponding point extracting means comprises a region of the extracted nipple and a fundus excluding the nipple of the fundus. It is characterized in that the format of extracting the corresponding point is different by separating the fundus region from the peripheral portion.
【００１７】（１１） 入力された眼底ステレオ画像か
ら眼底三次元形状を計測する眼底計測プログラムを記録
した記録媒体において、入力された眼底ステレオ画像か
ら波長の異なる少なくとも２つのスペクトル画像を作成
するスペクトル画像作成段階と、作成された各スペクト
ル画像に基づいて眼底の深度情報を得て眼底の三次元形
状を算出する三次元形状算出段階と、を備えたことを特
徴とする。(11) A spectral image for creating at least two spectral images having different wavelengths from the input fundus stereo image on a recording medium storing a fundus measurement program for measuring the three-dimensional shape of the fundus from the input fundus stereo image. And a three-dimensional shape calculating step of obtaining fundus depth information based on each of the generated spectral images and calculating a three-dimensional shape of the fundus.
【００１８】（１２） （１１）の眼底計測プログラム
を記録した記録媒体において、前記スペクトル画像作成
段階により作成された各スペクトル画像における左右画
像の対応点を抽出する対応点抽出段階と、該対応点抽出
段階による対応点情報に基づいて各スペクトル画像毎の
眼底の深度情報を得る深度算出段階を備え、前記三次元
形状算出段階は前記深度算出段階により得られた各スペ
クトル画像毎の眼底の深度情報を合成して眼底の三次元
形状を算出することを特徴とする。(12) In a recording medium storing the fundus measurement program of (11), a corresponding point extracting step of extracting corresponding points of the left and right images in each spectral image created in the spectral image creating step, A depth calculation step of obtaining fundus depth information for each spectrum image based on the corresponding point information in the extraction step, wherein the three-dimensional shape calculation step includes fundus depth information for each spectrum image obtained in the depth calculation step Are combined to calculate the three-dimensional shape of the fundus.
【００１９】（１３） （１２）の三次元形状算出段階
は、前記各スペクトル画像毎の眼底の深度情報を合成す
る際に、眼底の領域別に深度情報の重み付けを行うこと
を特徴とする。(13) The three-dimensional shape calculation step of (12) is characterized in that when synthesizing the fundus depth information for each of the spectral images, the depth information is weighted for each fundus region.
【００２０】（１４） 入力された眼底ステレオ画像か
ら眼底三次元形状を計測する眼底計測プログラムを記録
した記録媒体において、入力された眼底ステレオ画像に
おける左右画像の対応点を抽出する対応点抽出段階であ
って眼底の領域別に異なる形式により対応点を抽出する
対応点抽出段階と、抽出された対応点情報に基づいて眼
底の深度情報を得て眼底の三次元形状を算出する三次元
形状算出段階と、を備えたことを特徴とする。(14) In a recording medium storing a fundus measurement program for measuring the three-dimensional shape of the fundus from the input fundus stereo image, a corresponding point extracting step of extracting corresponding points of the left and right images in the input fundus stereo image is performed. A corresponding point extraction step of extracting corresponding points in different formats for each fundus region, and a three-dimensional shape calculating step of calculating a three-dimensional shape of the fundus by obtaining depth information of the fundus based on the extracted corresponding point information. , Is provided.
【００２１】[0021]
【発明の実施の形態】以下、本発明の実施形態につい
て、図面を基に説明する。図１は本実施形態である眼底
計測装置の概略構成図である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic configuration diagram of a fundus measuring device according to the present embodiment.
【００２２】眼底計測装置１は、演算解析部２、キーボ
ードやマウス等の指示入力部３、眼底画像や計測結果等
を表示するディスプレイ４、印刷出力するプリンタ５、
画像入力部としての画像読取装置７を備える。画像読取
装置７は立体眼底カメラ６でカラー撮影された左右一対
の眼底ステレオ画像を読み取り、演算解析部２に入力す
る。計測装置１としては市販のパーソナルコンピュータ
及び周辺機器が利用できる。The fundus measuring device 1 includes an arithmetic analysis unit 2, an instruction input unit 3 such as a keyboard and a mouse, a display 4 for displaying fundus images and measurement results, a printer 5 for printing and outputting,
An image reading device 7 as an image input unit is provided. The image reading device 7 reads a pair of right and left fundus stereo images captured by the stereoscopic fundus camera 6 in color, and inputs the images to the arithmetic analysis unit 2. As the measuring device 1, a commercially available personal computer and peripheral devices can be used.
【００２３】立体眼底カメラ６は、眼底で反射した光束
を二孔絞りにより２つの光束に分け、左右一対の眼底ス
テレオ画像を得る。立体眼底カメラ６はスライドフィル
ムに撮影するものや、ＣＣＤカメラにより撮影するタイ
プのものがある。前者の場合、立体眼底カメラ６により
撮影された眼底ステレオ画像は画像読取装置７によりデ
ィジタル画像データに変換され、演算解析部２に入力さ
れる。後者の場合、眼底画像は静止画像として眼底カメ
ラ６のメモリ等に記憶された後、直接あるいはフロッピ
ーディスク等の記録媒体を介して演算解析部２に入力す
ることもできる。The stereoscopic fundus camera 6 divides the light beam reflected by the fundus into two light beams by a two-hole aperture to obtain a pair of right and left fundus stereo images. The stereoscopic fundus camera 6 includes a type that photographs on a slide film and a type that photographs by a CCD camera. In the former case, the fundus stereo image captured by the stereoscopic fundus camera 6 is converted into digital image data by the image reading device 7 and input to the arithmetic analysis unit 2. In the latter case, the fundus image may be stored as a still image in the memory of the fundus camera 6 or the like, and then input to the arithmetic analysis unit 2 directly or via a recording medium such as a floppy disk.
【００２４】図２は演算解析部２による眼底三次元形状
の計測手順を示すフローチャート図である。以下、眼底
三次元形状の計測について説明する。FIG. 2 is a flow chart showing the procedure for measuring the three-dimensional shape of the fundus oculi by the arithmetic analysis unit 2. Hereinafter, measurement of the three-dimensional shape of the fundus will be described.
【００２５】ステレオ眼底カメラ６により撮影された被
検眼の眼底像は、左画像PhL、右画像PhRが左右並んだ状
態で（図３参照）撮影され、眼底ステレオ写真１０とし
て得られる。眼底ステレオ写真１０には、撮影日等のコ
メントが記されるコメントエリア１１が設けられてお
り、左画像PhL、右画像PhR、コメントエリア１１を除い
た背景部分は黒色等の低輝度情報で構成されている。The fundus image of the subject's eye photographed by the stereo fundus camera 6 is photographed with the left image Ph L and the right image Ph R side by side (see FIG. 3), and is obtained as a fundus stereo photograph 10. The fundus stereophotograph 10 is provided with a comment area 11 in which a comment such as a shooting date is recorded. The background image excluding the left image Ph L , the right image Ph R , and the comment area 11 has low luminance information such as black. It is composed of
【００２６】まず、眼底ステレオ写真１０を画像読取装
置７により読み込む。画像読取装置７により読み込まれ
た眼底ステレオ写真１０はディジタル画像データに変換
され、演算解析部２にステレオ画像ファイルとして入力
される。ディジタル化されたステレオ画像データは、光
の３原色（より詳しくは、加法混色の３原色）であるＲ
（赤）、Ｇ（緑）、Ｂ（青）ごとの色情報に色分解さ
れ、各点の濃度値（例えば、輝度値）が数値化された画
素の集合として構成されており、ＲＧＢ濃度情報
（ｒij，ｇij，ｂij）として演算解析部２内の図示なき
メモリに記憶される。ここで、ｒ，ｇ，ｂは０〜２５５
の２５６段階で数値化された各濃度情報を示し、ｉ，ｊ
は画素の位置情報を示す。位置（画素）情報ｉ，ｊは図
３に示すように、左上の画素を（０，０）、右下の画素
を（ｍ，ｎ）として、ｉ＝０，１，２、……ｍ、ｊ＝
０，１，２、……ｎの範囲で示される。First, the fundus stereo photograph 10 is read by the image reading device 7. The fundus stereo photograph 10 read by the image reading device 7 is converted into digital image data, and is input to the arithmetic analysis unit 2 as a stereo image file. The digitized stereo image data is represented by R, which is three primary colors of light (more specifically, three primary colors of additive color mixture).
(Red), G (Green), and B (Blue) are separated into color information, and a density value (for example, a luminance value) of each point is formed as a set of pixels that are digitized. It is stored as (r ij , g ij , b ij ) in a memory (not shown) in the operation analysis unit 2. Here, r, g, and b are 0 to 255.
Indicates the respective density information quantified in 256 steps of i, j
Indicates pixel position information. As shown in FIG. 3, the position (pixel) information i, j is, assuming that the upper left pixel is (0, 0) and the lower right pixel is (m, n), i = 0, 1, 2,. j =
.., N.
【００２７】操作者は、指示入力部３を操作して眼底三
次元形状の計測プログラムを実行するように演算解析部
２に指示する。演算解析部２では以下のステップで眼底
ステレオ画像から眼底三次元形状が計測される。The operator operates the instruction input unit 3 to instruct the arithmetic analysis unit 2 to execute a fundus three-dimensional shape measurement program. The arithmetic analysis unit 2 measures the three-dimensional shape of the fundus from the fundus stereo image in the following steps.
【００２８】STEP１では、画像部分とそれ以外の部分を
分離、認識するための背景分離処理を行う。背景分離処
理をするに当たり、ＲＧＢ濃度情報を基にグレースケー
ル画像（白黒画像）を作成する。グレースケール画像の
濃度情報ｗijはＲＧＢ濃度情報の平均値として求めら
れ、（ｗij）＝｛（ｒij＋ｇij＋ｂij）／３｝となる。In STEP 1, a background separation process for separating and recognizing an image portion and other portions is performed. In performing the background separation processing, a grayscale image (black and white image) is created based on the RGB density information. The density information w ij of the grayscale image is obtained as an average value of the RGB density information, and becomes (w ij ) = {(r ij + g ij + b ij ) / 3}.
【００２９】背景分離処理は図４に示すように、作成し
たグレースケール画像データのＸＹ方向（横方向と縦方
向）のそれぞれについて濃度値の積分処理（周辺分布を
求める処理）を行った後、得られた積分値（周辺分布）
ItX，ItYに対して閾値SLを設け、この閾値SLより高い濃
度値の部分を画像部分として認識する。眼底ステレオ写
真１０は画像部分以外の背景部が黒色等の低輝度情報で
構成されているため、濃度値が閾値より低い背景部と、
高い画像部分とに比較的容易に分離することができる。In the background separation process, as shown in FIG. 4, after performing density value integration processing (processing for obtaining a marginal distribution) in each of the XY directions (horizontal direction and vertical direction) of the created grayscale image data, Obtained integral value (marginal distribution)
A threshold value SL is provided for It X and It Y , and a portion having a density value higher than the threshold value SL is recognized as an image portion. Since the background portion other than the image portion of the fundus stereophotograph 10 is composed of low-brightness information such as black, a background portion whose density value is lower than the threshold value,
It can be relatively easily separated into high image parts.
【００３０】閾値SLは予め設定しておくことも可能であ
るが、本実施形態では次式のように、積分値（周辺分
布）の平均値と濃度値の最小値との中間値を閾値SLとし
て各積分値データごとに独立して設定している。Although the threshold value SL can be set in advance, in the present embodiment, the intermediate value between the average value of the integral value (peripheral distribution) and the minimum value of the density value is set to the threshold value SL as shown in the following equation. Is set independently for each integral value data.
【００３１】閾値SL＝｛（積分値Itの平均値）＋（濃度
値の最小値）｝／２ Ｘ方向の積分値ItX及びＹ方向の積分値ItYに対する閾値
SLとの各交点の座標をX1、X2、X3、X4、Y1、Y2とする
と、X1、X2、Y1、Y2により区分けされる矩形が左眼底画
像IMLとなり、X3、X4、Y1、Y2により区分けされる矩形
が右眼底画像IMRとなる。Threshold value SL = {(average value of integral value It) + (minimum value of density value)} / 2 Threshold value for integral value It X in X direction and integral value It Y in Y direction
When each intersection coordinates between SL and X1, X2, X3, X4, Y1, Y2, X1, X2, Y1, rectangle left fundus image IM L next to be divided by Y2, the X3, X4, Y1, Y2 rectangle to be divided is the right fundus image IM R.
【００３２】STEP２では、撮影眼の屈折力等による視差
（画像ずれ）を測定する。背景分離によって得られた左
右画像には、ステレオ眼底カメラ６の撮影光学系の影響
による縦視差、撮影眼の屈折異常などによる横視差が生
じる。三次元形状の計測に当たっては、その計算式のパ
ラメータを補正する必要があるため、予め視差を測定し
ておく。また、後述するSTEP5での対応点抽出前に縦横
の視差が分かれば、対応点探索の初期値に視差０の点を
設定でき（視差分をシフトして対応点探索を行える）、
さらに画像周辺部の対応点が存在しない部分を対応点抽
出から除外できる。視差の測定は次のように行う。In STEP 2, the parallax (image shift) due to the refractive power of the photographing eye and the like is measured. In the left and right images obtained by the background separation, a vertical parallax due to the influence of the photographing optical system of the stereo retinal camera 6 and a horizontal parallax due to a refraction abnormality of the photographing eye occur. In measuring the three-dimensional shape, it is necessary to correct the parameters of the calculation formula, so that the parallax is measured in advance. Also, if the vertical and horizontal disparities are known before the corresponding point extraction in STEP 5 described later, a point of disparity 0 can be set as the initial value of the corresponding point search (corresponding point search can be performed by shifting the disparity).
Further, a portion where there is no corresponding point in the peripheral portion of the image can be excluded from the corresponding point extraction. The measurement of parallax is performed as follows.
【００３３】まず、STEP１で認識した左右画像IML、IMR
の濃度情報に対して、それぞれＸＹ方向に積分処理を行
い積分値を求める。この際、横視差の測定は乳頭部の影
響を受けないようにするため、画像中央部（乳頭陥凹
部）を除いた周辺分布を基に行う。具体的には左右画像
IML、IMRの上側１／３と下側１／３の領域のみを積分処
理し、積分値を求める。一方、縦視差（Ｘ方向積分）の
測定は乳頭部を基準にするため、これを含めて積分処理
を行う。First, the left and right images IM L and IM R recognized in STEP 1
Are integrated in the X and Y directions to obtain the integrated values. At this time, the measurement of the horizontal parallax is performed based on the peripheral distribution excluding the central part of the image (the nipple recess) so as not to be affected by the nipple. Specifically, left and right images
Only the upper 1/3 and lower 1/3 regions of IM L and IM R are subjected to integration processing to obtain integrated values. On the other hand, since the measurement of the vertical parallax (integration in the X direction) is based on the papilla, the integration processing is performed including the papilla.
【００３４】それぞれの積分値が求まったら、各積分値
に対して微分処理を行い微分値を求める。図５に示すよ
うに、左右画像IML、IMRの微分値をそれぞれDfXL、D
fXR、Df YL、DfYRとする。Once the respective integral values are obtained, the respective integral values
Is differentiated to obtain a differential value. As shown in FIG.
Sea urn image IML, IMRIs the differential value of DfXL, D
fXR, Df YL, DfYRAnd
【００３５】ＸＹ方向の微分値DfXL、DfXR、DfYL、DfYR
を求めたら、これらの波形からそれぞれ縦・横方向の微
分値同士の最大相互相関値をとり、この最大相互相関値
に基づいて縦方向及び横方向の視差（画像ずれ量）を得
る（一般的に、相互相関係数法として知られている）。
視差の測定で着目するのは照度分布や眼底の反射率に支
配される大域的な構造でなく、血管等に由来する構造で
あるので、このような微分値の波形を用いることによ
り、コントラストが悪い眼底画像であっても血管等の特
徴構造を精度良く捉えることができる。また、縦・横視
差をそれぞれ独立に測定するので、２次元的に視差を求
める場合に比べて計算量を抑えて処理時間を短縮でき
る。Differential values Df XL , Df XR , Df YL , Df YR in the XY directions
Is obtained, the maximum cross-correlation value between the vertical and horizontal differential values is obtained from these waveforms, and the vertical and horizontal disparity (image shift amount) is obtained based on the maximum cross-correlation value (general amount). , Known as the cross-correlation coefficient method).
The focus of the parallax measurement is not on the global structure governed by the illuminance distribution and the reflectance of the fundus, but on the structure derived from blood vessels and the like. Even if it is a bad fundus image, it is possible to accurately capture a characteristic structure such as a blood vessel. In addition, since the vertical and horizontal parallaxes are measured independently of each other, the amount of calculation can be suppressed and the processing time can be reduced as compared with the case where the parallax is obtained two-dimensionally.
【００３６】STEP３では、以降の処理で使用する左右画
像領域を切り出す処理を行う。具体的には、STEP２によ
り得られた縦方向及び横方向の視差（画像ずれ量）に基
づいて周辺部の対応点が存在しない部分、つまり左画像
IMLあるいは右画像IMRのみにしか撮影されていない部分
を除外し、以降の対応点抽出処理に使用する左画像領域
IML′及び右画像領域IMR′が対応するように切り出す。
このように視差の影響を除去した左右画像を切り出すこ
とにより、対応点抽出を容易にすることができる。In STEP 3, a process of cutting out left and right image regions used in the subsequent processes is performed. Specifically, based on the parallax (image shift amount) in the vertical direction and the horizontal direction obtained in STEP 2, a portion where there is no corresponding point in the peripheral portion, that is, a left image
The left image area to be used for subsequent corresponding point extraction processing, excluding the part captured only in IM L or right image IM R
The clipping is performed so that IM L ′ and the right image area IM R ′ correspond to each other.
By extracting the left and right images from which the influence of parallax has been removed in this way, it is possible to easily extract corresponding points.
【００３７】STEP４では、STEP３で切り出された左右画
像領域に対応する画素情報を基に、メモリに記憶されて
いるＲＧＢ濃度情報からＲ、Ｇ、Ｂの各々に色分解され
たマルチスペクトル画像を作成する。各スペクトル画像
の作成は、ＲＧＢ濃度情報（ｒij，ｇij，ｂij）から各
々の濃度情報ｒij、ｇij、ｂijを抽出することにより行
う。Ｒ画像は（ｒij），Ｇ画像は（ｇij），Ｂ画像は
（ｂij）で構成される。図６は眼底撮影像の各ＲＧＢ画
像を示しており、（ａ）がＲ画像、（ｂ）がＧ画像、
（ｃ）がＢ画像である。Ｒ画像では、乳頭部（中央の白
色部分）領域のテクスチャ（模様）や血管の走行情報が
少ないのに対して、Ｇ画像やＢ画像では乳頭部領域のテ
クスチャや血管の走行情報が特徴的に観察される。逆
に、Ｇ画像やＢ画像では、眼底周辺部（乳頭部以外の部
分）の血管以外の網膜部分のテクスチャ情報はほとんど
見られないが、Ｒ画像では極めて特徴的に観察される。In STEP 4, a multi-spectral image color-separated into R, G, and B is created from the RGB density information stored in the memory based on the pixel information corresponding to the left and right image regions cut out in STEP 3. I do. Each spectral image is created by extracting each density information r ij , g ij , b ij from the RGB density information (r ij , g ij , b ij ). The R image is composed of (r ij ), the G image is composed of (g ij ), and the B image is composed of (b ij ). 6A and 6B show respective RGB images of a fundus photographed image, wherein FIG. 6A shows an R image, FIG.
(C) is a B image. In the R image, the texture (pattern) of the nipple region (white portion at the center) and the travel information of the blood vessel are small, whereas in the G image and the B image, the texture of the nipple region and the travel information of the blood vessel are characteristic. To be observed. Conversely, in the G image and the B image, the texture information of the retinal portion other than the blood vessels in the peripheral portion of the fundus (the portion other than the nipple) is hardly seen, but is extremely characteristically observed in the R image.
【００３８】STEP５では、切り出した左右画像領域に重
畳するノイズを低減するため、メディアン・フィルタ
（中間値フィルタ）等のノイズ除去フィルタによるノイ
ズ除去処理を各ＲＧＢ画像に対して行う。また、以降の
処理を円滑に行うために、エッジ強調等の各種フィルタ
を使用してもよい。In STEP 5, in order to reduce the noise superimposed on the extracted left and right image areas, noise removal processing using a noise removal filter such as a median filter (intermediate value filter) is performed on each of the RGB images. Further, various filters such as edge enhancement may be used to smoothly perform the subsequent processing.
【００３９】STEP６では眼底乳頭部の抽出処理を行う。
乳頭部抽出処理では、乳頭部領域と周辺部の濃度差が比
較的明確であり、乳頭部内の情報が少ないＲ画像のう
ち、左右画像のどちらか一方を利用する。図７は濃度値
のヒストグラム分布（濃度値別の画素数の頻度分布）及
びその累積（積分値）度数分布を示している。At STEP 6, an extraction process of the fundus papilla is performed.
In the nipple extraction processing, one of the right and left images is used among R images in which the density difference between the nipple region and the peripheral portion is relatively clear and the information in the nipple is small. FIG. 7 shows a histogram distribution of density values (frequency distribution of the number of pixels for each density value) and its cumulative (integral value) frequency distribution.
【００４０】ヒストグラム分布では濃度値の３０〜１５
０付近に観察される比較的正規分布に近い分布と、濃度
値の２００以上の部分で観察される平坦な分布が観察さ
れる。前者の比較的正規分布に近いものは眼底周辺部の
濃度分布を示しており、後者の平坦な分布はＲ画像にお
いて非常に高い濃度値を持つ乳頭部領域内の濃度分布を
示している。Ｒ画像では乳頭部領域内の血管情報等がほ
とんど見られず、比較的濃度値が近く一様なため、前者
の正規分布と後者の平坦な分布を分ける閾値を設定する
ことにより容易に乳頭部を特定することができる。In the histogram distribution, the density values of 30 to 15
A distribution close to a normal distribution observed near 0 and a flat distribution observed in a portion where the density value is 200 or more are observed. The former relatively close to the normal distribution indicates the density distribution around the fundus, and the latter flat distribution indicates the density distribution in the nipple region having a very high density value in the R image. Since the blood vessel information and the like in the nipple region are hardly seen in the R image and the density values are relatively close and uniform, the nipple can be easily set by setting a threshold value for separating the former normal distribution and the latter flat distribution. Can be specified.
【００４１】通常の眼底カメラでは、眼底撮影像に対す
る乳頭部の大きさが大きく変化することはないため、撮
像画像（全画素数）に対する乳頭部の割合を設定するこ
とで閾値を設定する。本実施形態においては各濃度値の
度数を累積した最大積分値（全画素数）に対する割合が
９４％となる濃度値を閾値Ｔとして設定する。また、割
合の設定は指示入力部３からの入力により変更できるよ
うにしてもよいし、撮影に使用した眼底カメラの種類に
対応した設定割合のテーブルを予め記憶させ、その種類
を指示入力部３から入力することで自動的に割合を設定
するようにしてもよい。In a normal fundus camera, since the size of the nipple relative to the fundus photographed image does not greatly change, the threshold value is set by setting the ratio of the nipple to the captured image (total number of pixels). In the present embodiment, the threshold value T is set to a density value at which the ratio of the frequency of each density value to the maximum integrated value (the total number of pixels) is 94%. Further, the setting of the ratio may be changed by input from the instruction input unit 3, or a table of the setting ratio corresponding to the type of the fundus camera used for photographing is stored in advance, and the type is stored in the instruction input unit 3. The ratio may be automatically set by inputting from.
【００４２】閾値Ｔの濃度値より高い濃度値を示す画素
を抽出することで、乳頭部を特定することができる。ま
た、撮影条件によりヒストグラム分布は変化するが、乳
頭部の濃度値は周辺部の濃度値に対して高い値を持つた
め、正規分布と平坦な分布の見分けのつかないようなヒ
ストグラム分布に対しても、高精度に乳頭部を抽出する
ことができる。By extracting a pixel having a density value higher than the density value of the threshold value T, the nipple can be specified. Although the histogram distribution changes depending on the imaging conditions, the density value of the nipple has a higher value than the density value of the peripheral part, so that the histogram distribution is indistinguishable between a normal distribution and a flat distribution. In addition, the nipple can be extracted with high accuracy.
【００４３】閾値Ｔより高い濃度値を示す部分の多くは
乳頭部に存在するが、ノイズとして乳頭部以外の場所に
存在する場合、ノイズ処理フィルタ等により除去するこ
とができる。また、抽出した乳頭部の画素情報に基づい
て乳頭部の中心位置と平均半径を求め、乳頭部を円近似
することで特定することもできる。Most of the portions exhibiting a density value higher than the threshold value T are present in the nipple, but when they exist as noise in places other than the nipple, they can be removed by a noise processing filter or the like. Also, the center position and average radius of the nipple can be determined based on the extracted pixel information of the nipple, and the nipple can be identified by circular approximation.
【００４４】このように、乳頭部内の血管情報がほとん
ど見られないＲ画像を用いることによって、精度良く乳
頭部を抽出することができる。また、閾値を積分値に対
応させて設定するため、撮影条件に左右されず、高精度
の乳頭部の特定ができる。As described above, the nipple can be accurately extracted by using the R image in which the blood vessel information in the nipple is hardly seen. Further, since the threshold value is set in accordance with the integral value, the nipple can be identified with high accuracy regardless of the imaging conditions.
【００４５】STEP７では、ＲＧＢの各スペクトル画像の
左右画像に対してテンプレートマッチング法により対応
点抽出処理を行う。本実施形態のテンプレートマッチン
グ法では図８に示すように、STEP６で特定した乳頭部
（図中の枠線ＬC内）に対しては、横長の長方形のマト
リクスを持つ抽出領域ＭR（長方形テンプレート）によ
り対応点抽出を行い、眼底周辺部に対しては正方形のマ
トリクスを持つ抽出領域ＭS（正方形テンプレート）を
用いる。正方形テンプレートＭS及び長方形テンプレー
トＭRを、対応点を抽出する位置に応じて使い分けなが
らSTEP６で乳頭部を特定した方の画像をベースとしてテ
ンプレートを作成し、他方の画像において同一の大きさ
のテンプレートを走査させ、最も良く一致する場所を探
索する。In STEP 7, corresponding point extraction processing is performed on the left and right images of each of the RGB spectral images by the template matching method. In the template matching method according to the present embodiment, as shown in FIG. 8, the extraction region M R (rectangular template) having a horizontally long rectangular matrix is applied to the nipple identified in STEP 6 (within the frame line L C in the figure). ), Corresponding points are extracted, and an extraction area M S (square template) having a square matrix is used for the periphery of the fundus. While using the square template M S and the rectangle template M R properly according to the position where the corresponding point is extracted, a template is created based on the image in which the nipple is specified in STEP 6, and the template of the same size is used in the other image. To search for the best match.
【００４６】ところで、テンプレートマッチング法では
テンプレートの設定サイズが対応点抽出の精度に大きく
影響する。特に、左右画像のマッチングでは縦幅より
も、横幅の影響が大きい。テンプレートサイズが小さす
ぎる場合は、空間分解能が向上する代わりに周波数分解
能が下がるため、対応点の特定がしにくくなり、ミスマ
ッチングが生じ易い。逆に、テンプレートサイズが大き
すぎる場合は、周波数分解能が向上する代わりに空間分
解能が下がるため、位置の不確定性が増大し、対応点の
特定ができても深度方向の分解能が低いので深度情報に
誤差を含みやすくなる。このことを考慮して、本発明者
らがテンプレートサイズの設定について実験をした結
果、対応点抽出を行う場所の濃度情報に応じてテンプレ
ートの形状を変化させ、それぞれ最適な形状と大きさに
することが好ましいことが分かった。By the way, in the template matching method, the set size of the template greatly affects the accuracy of the corresponding point extraction. In particular, in the matching of the left and right images, the influence of the horizontal width is greater than the vertical width. If the template size is too small, the spatial resolution is improved, but the frequency resolution is reduced. Therefore, it is difficult to specify the corresponding point, and mismatching is likely to occur. Conversely, if the template size is too large, the spatial resolution is reduced instead of improving the frequency resolution, which increases the uncertainty of the position. Is likely to contain errors. In consideration of this, the present inventors conducted an experiment on the setting of the template size, and as a result, changed the shape of the template according to the density information of the place where the corresponding point was extracted, to obtain the optimum shape and size, respectively. Was found to be preferable.
【００４７】そこで、本形態では図８に示したように、
乳頭部領域では長方形テンプレートＭRを、乳頭部領域
を除いた眼底周辺部では正方形テンプレートＭSを使用
する。本実施形態では、正方形テンプレートＭSと長方
形テンプレートＭRは同程度の画素数に設定している。
乳頭部領域では濃淡情報の変化が少なく、マッチングの
為の情報量が少ないため、横方向に長い長方形テンプレ
ートＭRを用いることで、濃淡情報変化の大きい乳頭部
輪郭線ＬC付近（乳頭部と周辺部の境界部分）の情報を
加味することができ、対応点の抽出精度を向上させるこ
とができるようになる。さらに、長方形テンプレートＭ
Rの両端の情報を重視し、重みを加えてマッチングを行
うことによって、テンプレートの片隅に乳頭部輪郭線Ｌ
C付近（乳頭部と周辺部の境界部分）の情報が入った場
合でのマッチング精度をより向上させることができる。Therefore, in this embodiment, as shown in FIG.
The rectangular template M R a papillary area, using a square template M S is the fundus peripheral portion excluding the nipple area. In the present embodiment, the square template M S and the rectangular template M R are set to have approximately the same number of pixels.
Little change in the shading information in papillary region, because the amount of information for matching is small, by using a long rectangular template M R in the lateral direction, a large papilla contour L C near (papilla of shading information change It is possible to take into account the information of the peripheral part (boundary part) and improve the accuracy of extracting corresponding points. Furthermore, the rectangular template M
By emphasizing the information at both ends of R and performing matching by adding weights, the nipple outline L at one corner of the template
It is possible to further improve the matching accuracy when information around C (the boundary portion between the nipple and the periphery) is included.
【００４８】なお、テンプレートを移動させる領域は画
像全域でなくとも、対応点の存在が想定される幅分だけ
行えば良い。また、縦方向については予めSTEP２で測定
した縦視差を除去しておくことにより探索を省くことが
できる。Ｒ画像の対応点抽出が終了したら、続いて、Ｇ
画像、Ｂ画像についても同様に、対応点抽出を行う。The area where the template is moved is not limited to the whole area of the image, but may be moved by the width in which the existence of the corresponding point is assumed. In the vertical direction, the search can be omitted by removing the vertical parallax measured in advance in STEP2. After the corresponding point extraction of the R image is completed,
Similarly, corresponding point extraction is performed for the image and the B image.
【００４９】STEP８では、STEP７で抽出された対応点情
報に基づいて各画像毎の眼底の高さ（深度）情報を算出
し、各スペクトル画像毎の三次元データの生成を行う。
三次元データの生成には既知の共線条件式を用いること
ができ、STEP２で得られた視差情報から撮影眼の屈折力
に影響する倍率を補正して実際の三次元データとする。
この補正のための倍率は、予め視差（ずれ量）と補正倍
率との関係のテーブルをメモリに記憶させておけば容易
に得ることができる。In STEP 8, the fundus height (depth) information for each image is calculated based on the corresponding point information extracted in STEP 7, and three-dimensional data for each spectrum image is generated.
A known collinear condition equation can be used to generate the three-dimensional data, and a magnification affecting the refractive power of the photographing eye is corrected from the parallax information obtained in STEP 2 to obtain actual three-dimensional data.
The magnification for this correction can be easily obtained by storing a table of the relationship between the parallax (amount of displacement) and the correction magnification in a memory in advance.
【００５０】STEP９の内挿処理は、STEP８で生成された
三次元データの補間をスペクトル画像毎に行い、格子座
標（ｘ，ｙ座標）上の深度データとして情報の整理を行
う。内挿処理を行うことにより滑らかな三次元図形、分
かり易い等高線図、三次元鳥瞰図等を作成することがで
きる。In the interpolation processing in STEP 9, interpolation of the three-dimensional data generated in STEP 8 is performed for each spectrum image, and information is organized as depth data on grid coordinates (x, y coordinates). By performing the interpolation processing, a smooth three-dimensional figure, an easy-to-understand contour map, a three-dimensional bird's-eye view, and the like can be created.
【００５１】STEP１０のＲＧＢ深度の合成処理では、内
挿処理した三次元データ（深度情報）を基に１つの眼底
三次元形状に合成する。前述したように、ＲＧＢの各ス
ペクトル画像は各々眼底像を特徴的に撮像している部分
があり、次式のように領域に応じてＲＧＢ画像の各深度
情報に重みを付け、合成することによって、グレースケ
ール画像では得られなかった色情報を含む精度良い三次
元形状を得ることができる。In the RGB depth synthesizing process in STEP 10, the image is synthesized into one fundus three-dimensional shape based on the interpolated three-dimensional data (depth information). As described above, each of the RGB spectral images has a portion that characteristically captures a fundus image, and the depth information of each of the RGB images is weighted and combined according to the region as shown in the following equation, and is synthesized. In addition, it is possible to obtain a three-dimensional shape with high accuracy including color information that cannot be obtained with a grayscale image.
【００５２】[0052]
【数１】 ここで、ＤT(x,y)，Ｄr(x,y)，Ｄg(x,y)，Ｄb(x,y)は座
標（ｘ，ｙ）における深度情報を示し、Ｒ画像における
深度情報Ｄr(x,y)、Ｇ画像における深度情報Ｄ g(x,y)、
Ｂ画像における深度情報Ｄb(x,y)、合成三次元形状にお
ける深度情報Ｄ T(x,y)である。α，β，γは各深度情報
の重み係数であり、（ｘ，ｙ）の位置情報に応じて重み
係数の値を変化させることにより、特徴的に撮影されて
いる画像の深度情報を重視することができる。本実施形
態においては、Ｇ画像、Ｂ画像で情報量の多い乳頭部領
域では重み係数をα＜β≒γの関係とし、Ｒ画像で特徴
的な情報を持つ眼底周辺部では重み係数をα＞β＞γの
関係の値としている。(Equation 1)Where DT (x, y), Dr (x, y), Dg (x, y), Db (x, y)Is
Indicates depth information at the target (x, y),
Depth information Dr (x, y), Depth information D in the G image g (x, y),
Depth information D in B imageb (x, y), To composite three-dimensional shapes
Depth information D T (x, y)It is. α, β, γ are depth information
Weighting coefficient, and is weighted according to the (x, y) position information.
By changing the value of the coefficient,
The depth information of the existing image can be emphasized. This embodiment
In the state, the nipple region with a large amount of information in the G image and the B image
In the range, the weighting factor is set to α <β ≒ γ,
Weight factor is α> β> γ
The value of the relationship.
【００５３】このように、ＲＧＢに色分解した各スペク
トル画像を作成し、その各々について深度情報を得た
後、合成することによって、グレースケール画像では得
られなかった色情報を含む三次元形状を算出することが
できる。また、ＲＧＢ画像で算出した各深度情報を基
に、特徴的に撮影されている領域に重みを付けて合成す
ることにより、特徴的に撮像されている部分は強調さ
れ、十分な色情報を含んだ精度の良い三次元形状を算出
することができる。As described above, each of the spectral images separated into RGB is created, depth information is obtained for each of them, and then the three-dimensional shape including the color information that cannot be obtained in the gray scale image is obtained by combining the spectral images. Can be calculated. Further, by combining the depth information calculated from the RGB images with weighting the characteristically photographed region, the characteristically photographed portion is emphasized, and sufficient color information is included. A highly accurate three-dimensional shape can be calculated.
【００５４】以上のようにしてＲＧＢ深度情報を合成
し、最終的な眼底の三次元形状が算出されると、眼底の
三次元図形及び正射投影図がディスプレイ４に表示され
る。さらに操作者が指示入力部３により視神経乳頭部解
析のプログラムの実行を指令すると、演算解析部２は三
次元形状データに基づいてその解析処理を行い、解析結
果がディスプレイ４に表示される。When the RGB depth information is synthesized as described above and the final three-dimensional shape of the fundus is calculated, a three-dimensional figure of the fundus and an orthographic projection are displayed on the display 4. Further, when the operator instructs the execution of the optic disc analysis program by the instruction input unit 3, the arithmetic analysis unit 2 performs the analysis processing based on the three-dimensional shape data, and the analysis result is displayed on the display 4.
【００５５】上述の実施形態では、光の３原色であるＲ
ＧＢの３つのスペクトル画像を作成して三次元計測を説
明したが、ＲＧＢ画像の内、２つの画像のみ（例えば、
Ｒ画像とＧ画像）で同様の処理を行っても良いし、ＲＧ
Ｂ以外の異なる波長による撮影像（例えば、赤外領域）
を対象とした画像を作成して同様の処理を行っても良
い。In the above embodiment, the three primary colors of light, R,
Although the three-dimensional measurement was described by creating three spectral images of GB, only two of the RGB images (for example,
The same processing may be performed on the R image and the G image.
Photographed images with different wavelengths other than B (for example, infrared region)
The same processing may be performed by creating an image for.
【００５６】また、特定領域を乳頭部領域と眼底周辺部
の２つに分け、重み付けによる合成やテンプレートの形
状変化を行ったが、より多くの領域に分割して細かく処
理を行うことも可能であり、分岐点主導型の構造マッチ
ングや弛緩方を用いたポイントパターンマッチング等の
異なる対応点抽出手法を領域ごとに使い分けることも可
能である。Although the specific region is divided into two parts, that is, the nipple region and the peripheral part of the fundus, the composition by weighting and the change in the shape of the template are performed. In addition, it is also possible to use different corresponding point extraction methods such as branch point-driven structure matching and point pattern matching using a relaxation method for each region.
【００５７】さらに、本実施形態で説明した眼底カメラ
は２孔絞りにより２枚の眼底画像を得るものとしたが、
撮影軸の異なる３枚以上の複数の眼底画像を撮影し、こ
れらの眼底画像から２枚をステレオ画像として選択し、
解析処理を行ってもよい。Further, the fundus camera described in the present embodiment obtains two fundus images by a two-hole aperture.
Three or more fundus images with different imaging axes are photographed, and two of these fundus images are selected as stereo images,
Analysis processing may be performed.
【００５８】[0058]
【発明の効果】以上説明したように本発明によれば、眼
底ステレオ画像からの眼底三次元形状計測を、より精度
良く行うことができる。As described above, according to the present invention, it is possible to more accurately measure the three-dimensional shape of the fundus from a fundus stereo image.
【図１】本実施形態である三次元形状測定装置の概略構
成図である。FIG. 1 is a schematic configuration diagram of a three-dimensional shape measuring apparatus according to an embodiment.
【図２】三次元形状算出のためのフローチャート図であ
る。FIG. 2 is a flowchart for calculating a three-dimensional shape.
【図３】撮像された眼底ステレオ画像の配置例及び画素
情報の説明図である。FIG. 3 is an explanatory diagram of an arrangement example of captured fundus stereo images and pixel information.
【図４】背景分離処理を説明する説明図である。FIG. 4 is an explanatory diagram illustrating a background separation process.
【図５】縦・横視差の測定処理を説明する説明図であ
る。FIG. 5 is an explanatory diagram for explaining vertical / horizontal parallax measurement processing.
【図６】カラー撮影された眼底像をＲＧＢに色分解した
各ＲＧＢ画像例である。FIG. 6 is an example of each RGB image obtained by color-separating a fundus image captured in color into RGB.
【図７】Ｒ画像における濃度ヒストグラム分布図であ
る。FIG. 7 is a density histogram distribution diagram in an R image.
【図８】テンプレートマッチングの説明図である。FIG. 8 is an explanatory diagram of template matching.
２ 演算解析部 ６ 立体眼底カメラ ＬC 乳頭部輪郭線 ＭR 長方形テンプレート ＭS 正方形テンプレート Ｔ 閾値2 arithmetic analyzer 6 stereoscopic fundus camera L C papilla contour M R rectangular template M S square template T threshold
Claims (14)
計測する眼底計測装置において、眼底ステレオ画像を入
力する画像入力手段と、入力された眼底ステレオ画像か
ら波長の異なる少なくとも２つのスペクトル画像を作成
するスペクトル画像作成手段と、作成された各スペクト
ル画像に基づいて眼底の深度情報を得て眼底の三次元形
状を算出する三次元形状算出手段と、を備えたことを特
徴とする眼底計測装置。1. A fundus measuring apparatus for measuring a three-dimensional shape of a fundus from a fundus stereo image, an image input means for inputting a fundus stereo image, and at least two spectral images having different wavelengths from the input fundus stereo image. A fundus measuring apparatus comprising: a spectrum image creating unit; and a three-dimensional shape calculating unit that obtains fundus depth information based on each created spectral image to calculate a three-dimensional shape of the fundus.
スペクトル画像作成手段により作成された各スペクトル
画像における左右画像の対応点を抽出する対応点抽出手
段と、該対応点抽出手段による対応点情報に基づいて各
スペクトル画像毎の眼底の深度情報を得る深度算出手段
を備え、前記三次元形状算出手段は前記深度算出手段に
より得られた各スペクトル画像毎の眼底の深度情報を合
成して眼底の三次元形状を算出することを特徴とする眼
底計測装置。2. A fundus measuring apparatus according to claim 1, wherein corresponding point extracting means for extracting corresponding points of left and right images in each spectrum image created by said spectrum image creating means, and corresponding point information by said corresponding point extracting means. Depth information of the fundus for each spectrum image based on the three-dimensional shape calculation means, and the three-dimensional shape calculation means synthesizes the depth information of the fundus for each spectrum image obtained by the depth calculation means, A fundus measuring device for calculating a three-dimensional shape.
三次元形状算出手段は前記各スペクトル画像毎の眼底の
深度情報を合成する際に、眼底の領域別に深度情報の重
み付けを行うことを特徴とする眼底計測装置。3. The fundus measuring apparatus according to claim 2, wherein the three-dimensional shape calculating means weights the depth information for each fundus region when synthesizing the fundus depth information for each of the spectral images. Fundus measuring device.
に前記スペクトル画像から眼底乳頭部を抽出する乳頭部
抽出手段を備え、前記三次元形状算出手段は前記乳頭部
抽出手段により抽出された眼底乳頭部と該眼底乳頭部を
除いた眼底周辺部とに眼底の領域を別けて前記深度情報
の重み付けを行うことを特徴とする眼底計測装置。4. The fundus oculi measurement device according to claim 3, further comprising a nipple extraction means for extracting a fundus nipple from the spectrum image, wherein the three-dimensional shape calculating means is a fundus nipple extracted by the nipple extraction means. A fundus measuring device, wherein the depth information is weighted by dividing a fundus region into a portion and a peripheral portion of the fundus excluding the fundus papilla.
クトル画像の濃度値による累積度数分布に基づいて眼底
乳頭部を抽出することを特徴とする眼底計測装置。5. The fundus oculi measurement device according to claim 4, wherein the nipple extraction means extracts a fundus nipple based on a cumulative frequency distribution based on density values of the spectrum image.
スペクトル画像作成手段は光の三原色であるＲＧＢに色
分解したスペクトル画像を作成することを特徴とする眼
底計測装置。6. The fundus measuring apparatus according to claim 1, wherein said spectrum image creating means creates a spectrum image which is separated into three primary colors of light, RGB.
底をカラー撮影する立体眼底カメラをも備えることを特
徴とする眼底計測装置。7. The fundus measuring apparatus according to claim 1, further comprising a stereoscopic fundus camera for photographing the fundus of the eye to be examined in color.
計測する眼底計測装置において、眼底ステレオ画像を入
力する画像入力手段と、入力された眼底ステレオ画像に
おける左右画像の対応点を抽出する対応点抽出手段であ
って眼底の領域別に異なる形式により対応点を抽出する
対応点抽出手段と、抽出された対応点情報に基づいて眼
底の深度情報を得て眼底の三次元形状を算出する三次元
形状算出手段と、を備えたことを特徴とする眼底計測装
置。8. A fundus measurement device for measuring a three-dimensional shape of a fundus from a fundus stereo image, an image input means for inputting a fundus stereo image, and a corresponding point extraction for extracting corresponding points of left and right images in the input fundus stereo image. Corresponding point extraction means for extracting corresponding points in different formats for each fundus region, and three-dimensional shape calculation for obtaining three-dimensional shape of the fundus by obtaining depth information of the fundus based on the extracted corresponding point information A fundus measurement device comprising:
対応点抽出手段はテンプレートマッチング方法によるも
のであり、眼底の領域別に異なる形状のテンプレートを
使用することを特徴とする眼底計測装置。9. The fundus measuring apparatus according to claim 8, wherein said corresponding point extracting means is based on a template matching method, and uses a template having a different shape for each fundus region.
底乳頭部を抽出する乳頭部抽出手段を備え、前記対応点
抽出手段は抽出された乳頭部領域と該眼底乳頭部を除い
た眼底周辺部とに眼底の領域を別けて対応点を抽出する
形式を異ならせることを特徴とする眼底計測装置。10. The fundus oculi measuring device according to claim 8, further comprising a nipple extracting means for extracting a fundus nipple, wherein the corresponding point extracting means includes an extracted nipple region and a periphery of the fundus excluding the fundus nipple. A fundus measuring apparatus characterized in that a form of extracting a corresponding point is made different by separating a fundus region into a part of the fundus.
三次元形状を計測する眼底計測プログラムを記録した記
録媒体において、入力された眼底ステレオ画像から波長
の異なる少なくとも２つのスペクトル画像を作成するス
ペクトル画像作成段階と、作成された各スペクトル画像
に基づいて眼底の深度情報を得て眼底の三次元形状を算
出する三次元形状算出段階と、を備えたことを特徴とす
る眼底計測プログラムを記録した記録媒体。11. A spectrum image creation method for creating at least two spectrum images having different wavelengths from an input fundus stereo image on a recording medium storing a fundus measurement program for measuring a three-dimensional shape of the fundus from the input fundus stereo image. Recording medium storing a fundus measurement program, comprising: a step of calculating a three-dimensional shape of the fundus by obtaining depth information of the fundus based on each of the generated spectral images. .
録した記録媒体において、前記スペクトル画像作成段階
により作成された各スペクトル画像における左右画像の
対応点を抽出する対応点抽出段階と、該対応点抽出段階
による対応点情報に基づいて各スペクトル画像毎の眼底
の深度情報を得る深度算出段階を備え、前記三次元形状
算出段階は前記深度算出段階により得られた各スペクト
ル画像毎の眼底の深度情報を合成して眼底の三次元形状
を算出することを特徴とする眼底計測プログラムを記録
した記録媒体。12. A corresponding point extracting step of extracting corresponding points of left and right images in each of the spectral images created in the spectral image creating step, on a recording medium storing the fundus measuring program according to claim 11. A depth calculation step of obtaining fundus depth information for each spectrum image based on the corresponding point information according to the step, wherein the three-dimensional shape calculation step calculates fundus depth information for each spectrum image obtained in the depth calculation step. A recording medium storing a fundus measurement program, wherein the fundus measurement program is synthesized to calculate a three-dimensional shape of the fundus.
前記各スペクトル画像毎の眼底の深度情報を合成する際
に、眼底の領域別に深度情報の重み付けを行うことを特
徴とする眼底計測プログラムを記録した記録媒体。13. The three-dimensional shape calculation step according to claim 12,
A recording medium storing a fundus measurement program, wherein the depth information is weighted for each fundus region when synthesizing the fundus depth information for each spectral image.
三次元形状を計測する眼底計測プログラムを記録した記
録媒体において、入力された眼底ステレオ画像における
左右画像の対応点を抽出する対応点抽出段階であって眼
底の領域別に異なる形式により対応点を抽出する対応点
抽出段階と、抽出された対応点情報に基づいて眼底の深
度情報を得て眼底の三次元形状を算出する三次元形状算
出段階と、を備えたことを特徴とする眼底計測プログラ
ムを記録した記録媒体。14. A corresponding point extracting step of extracting corresponding points of left and right images in an input fundus stereo image on a recording medium storing a fundus measurement program for measuring a three-dimensional fundus from an input fundus stereo image. A corresponding point extraction step of extracting corresponding points in different formats for each fundus region, and a three-dimensional shape calculation step of calculating a three-dimensional shape of the fundus by obtaining depth information of the fundus based on the extracted corresponding point information, A recording medium on which a fundus measurement program is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11052208A JP2000245700A (en) | 1999-03-01 | 1999-03-01 | Instrument for measuring eyeground and recording medium for recording measurement program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11052208A JP2000245700A (en) | 1999-03-01 | 1999-03-01 | Instrument for measuring eyeground and recording medium for recording measurement program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000245700A true JP2000245700A (en) | 2000-09-12 |
| JP2000245700A5 JP2000245700A5 (en) | 2004-09-02 |
Family
ID=12908360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11052208A Withdrawn JP2000245700A (en) | 1999-03-01 | 1999-03-01 | Instrument for measuring eyeground and recording medium for recording measurement program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000245700A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005253796A (en) * | 2004-03-12 | 2005-09-22 | Yokohama Tlo Co Ltd | Ophthalmoscope |
| JP2007252707A (en) * | 2006-03-24 | 2007-10-04 | Gifu Univ | Image analysis apparatus and program |
| JP2008073188A (en) * | 2006-09-21 | 2008-04-03 | Gifu Univ | Image analysis system and image analysis program |
| JP2008200378A (en) * | 2007-02-22 | 2008-09-04 | Gifu Univ | Image processing system |
| WO2008111550A1 (en) * | 2007-03-13 | 2008-09-18 | Gifu University | Image analysis system and image analysis program |
| JP2009119107A (en) * | 2007-11-16 | 2009-06-04 | Kowa Co | Method and apparatus for processing image |
| WO2010098215A1 (en) * | 2009-02-26 | 2010-09-02 | 国立大学法人北海道大学 | Target detecting device and radiation therapy apparatus |
| WO2010119790A1 (en) | 2009-04-15 | 2010-10-21 | 興和株式会社 | Image processing method and image processing apparatus |
| JP2012244355A (en) * | 2011-05-18 | 2012-12-10 | Oki Data Corp | Image processing apparatus, program, and image formation apparatus |
| JP2020501652A (en) * | 2016-12-15 | 2020-01-23 | ノバルティス アーゲー | Adaptive image registration for ophthalmic surgery |
| US10765316B2 (en) | 2017-06-27 | 2020-09-08 | Topcon Corporation | Ophthalmic information processing system, ophthalmic information processing method, and recording medium |
-
1999
- 1999-03-01 JP JP11052208A patent/JP2000245700A/en not_active Withdrawn
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7500751B2 (en) | 2004-03-12 | 2009-03-10 | Yokohama Tlo Company Ltd. | Ocular fundus portion analyzer and ocular fundus portion analyzing method |
| WO2005087087A1 (en) | 2004-03-12 | 2005-09-22 | Yokohama Tlo Company Ltd. | Fundus portion analyzing instrument and fundus portion analyzing method |
| EP1723902A1 (en) * | 2004-03-12 | 2006-11-22 | Yokohama TLO Company, Ltd. | Fundus portion analyzing instrument and fundus portion analyzing method |
| JP2005253796A (en) * | 2004-03-12 | 2005-09-22 | Yokohama Tlo Co Ltd | Ophthalmoscope |
| JP4574195B2 (en) * | 2004-03-12 | 2010-11-04 | よこはまティーエルオー株式会社 | Fundus diagnosis device |
| EP1723902A4 (en) * | 2004-03-12 | 2009-07-22 | Yokohama Tlo Company Ltd | Fundus portion analyzing instrument and fundus portion analyzing method |
| JP2007252707A (en) * | 2006-03-24 | 2007-10-04 | Gifu Univ | Image analysis apparatus and program |
| JP2008073188A (en) * | 2006-09-21 | 2008-04-03 | Gifu Univ | Image analysis system and image analysis program |
| JP2008200378A (en) * | 2007-02-22 | 2008-09-04 | Gifu Univ | Image processing system |
| JP2008220617A (en) * | 2007-03-13 | 2008-09-25 | Gifu Univ | Image analysis system and program |
| WO2008111550A1 (en) * | 2007-03-13 | 2008-09-18 | Gifu University | Image analysis system and image analysis program |
| US8265398B2 (en) | 2007-03-13 | 2012-09-11 | Kowa Company, Ltd. | Image analysis system and image analysis program |
| JP2009119107A (en) * | 2007-11-16 | 2009-06-04 | Kowa Co | Method and apparatus for processing image |
| WO2010098215A1 (en) * | 2009-02-26 | 2010-09-02 | 国立大学法人北海道大学 | Target detecting device and radiation therapy apparatus |
| WO2010119790A1 (en) | 2009-04-15 | 2010-10-21 | 興和株式会社 | Image processing method and image processing apparatus |
| JP2010246695A (en) * | 2009-04-15 | 2010-11-04 | Kowa Co | Image processing method and image processing apparatus |
| JP2012244355A (en) * | 2011-05-18 | 2012-12-10 | Oki Data Corp | Image processing apparatus, program, and image formation apparatus |
| JP2020501652A (en) * | 2016-12-15 | 2020-01-23 | ノバルティス アーゲー | Adaptive image registration for ophthalmic surgery |
| JP7249278B2 (en) | 2016-12-15 | 2023-03-30 | アルコン インコーポレイティド | Adaptive image registration for ophthalmic surgery |
| US10765316B2 (en) | 2017-06-27 | 2020-09-08 | Topcon Corporation | Ophthalmic information processing system, ophthalmic information processing method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6276799B1 (en) | Stereo optic disc analyzer | |
| US9224193B2 (en) | Focus stacking image processing apparatus, imaging system, and image processing system | |
| US6714672B1 (en) | Automated stereo fundus evaluation | |
| US20160014328A1 (en) | Image processing device, endoscope apparatus, information storage device, and image processing method | |
| JP4915737B2 (en) | Image analysis system and image analysis program | |
| WO2020183799A1 (en) | Medical image processing device, medical image processing method, and program | |
| JP3798161B2 (en) | Fundus measurement device and recording medium recording fundus measurement program | |
| CN106456292B (en) | Systems, methods, devices for collecting color information related to an object undergoing a 3D scan | |
| CN102509093B (en) | Close-range digital certificate information acquisition system | |
| KR20110016896A (en) | System and method for generating a multi-dimensional image | |
| EP2360641B1 (en) | Image processing method and image processing device | |
| US10620417B2 (en) | Method for generating a reflection-reduced contrast image and corresponding device | |
| JP2020166813A (en) | Medical image processing device, medical image processing method, and program | |
| US20120026310A1 (en) | Image processing method and image processing apparatus | |
| JP2008232776A (en) | Three-dimensional shape measuring device and method, and program | |
| JP2000245700A (en) | Instrument for measuring eyeground and recording medium for recording measurement program | |
| JP4574195B2 (en) | Fundus diagnosis device | |
| US10970921B2 (en) | Apparatus and method for constructing a virtual 3D model from a 2D ultrasound video | |
| CN110533709A (en) | Depth image acquisition method, apparatus and system, image capture device | |
| JP4699064B2 (en) | Stereoscopic fundus image processing method and processing apparatus | |
| JP2008237840A (en) | Image analysis system and image analysis program | |
| TWI462027B (en) | Image processing device and image processing method thereof | |
| JP4803148B2 (en) | Binocular position detection method and detection apparatus for human face image | |
| JP4017157B2 (en) | Hollow organ blood vessel extraction method, hollow organ blood vessel extraction processing program, and image processing apparatus | |
| JP2001004370A (en) | Parallax image picking-up device, and method therefor parallax image processing device and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050518 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20050719 |