JP2006061196A - Constructing/displaying device for three-dimensional eye fundus image - Google Patents

Constructing/displaying device for three-dimensional eye fundus image Download PDF

Info

Publication number
JP2006061196A
JP2006061196A JP2004243978A JP2004243978A JP2006061196A JP 2006061196 A JP2006061196 A JP 2006061196A JP 2004243978 A JP2004243978 A JP 2004243978A JP 2004243978 A JP2004243978 A JP 2004243978A JP 2006061196 A JP2006061196 A JP 2006061196A
Authority
JP
Japan
Prior art keywords
image
fundus
dimensional
images
eye fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004243978A
Other languages
Japanese (ja)
Other versions
JP4527471B2 (en
Inventor
Zhi-Gang Sun
智 剛 孫
Hideo Yokota
田 秀 夫 横
Tadakatsu Nojo
條 忠 克 野
Yukimi Murakami
上 幸 己 村
Toru Ito
藤 徹 伊
Takashi In
峻 殷
Ryutaro Himeno
龍太郎 姫野
Akitake Makinouchi
昭武 牧野内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Simulation Technology Of Mechanics R & D Co Ltd
RIKEN Institute of Physical and Chemical Research
Advanced Simulation Technology Inc
Original Assignee
Advanced Simulation Technology Of Mechanics R & D Co Ltd
RIKEN Institute of Physical and Chemical Research
Advanced Simulation Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Simulation Technology Of Mechanics R & D Co Ltd, RIKEN Institute of Physical and Chemical Research, Advanced Simulation Technology Inc filed Critical Advanced Simulation Technology Of Mechanics R & D Co Ltd
Priority to JP2004243978A priority Critical patent/JP4527471B2/en
Publication of JP2006061196A publication Critical patent/JP2006061196A/en
Application granted granted Critical
Publication of JP4527471B2 publication Critical patent/JP4527471B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a constructing/displaying device for a three-dimensional eye fundus image which can be applied even when the eye fundus shape has been deformed from a spherical surface, does not require a special device, can acquire a plurality of eye fundus images by a normal clinical photographing method, can accurately determine parameters such as an accurate reduced scale, a projection position, and an angle without modeling a complicated optical system of a living eye by a single lens, and thus, can construct and display an accurate three-dimensional eye fundus image having a precise image reduced scale and a space position from a plurality of the eye fundus images. <P>SOLUTION: This device has an ultrasonic wave measuring means 12, an eye fundus image acquiring means 14, an actual distance measuring means 16, an eye fundus image constructing means 18, and a displaying means 20. In this case, the ultrasonic wave measuring means 12 oscillates/receives an ultrasonic wave to the eye fundus surface 1a of a subject 1 from a probe by regulating the motion of the probe 12b by using a tool 12c, and acquires an ultrasonic tomographic image 2 of the eye fundus. The eye fundus image acquiring means 14 photographs a plurality of images of the eye fundus surfaces 1a from different directions, and stores them as a plurality of eye fundus images 3 including a central image. The actual distance measuring means 16 measures an actual distance (dr) between recognizable areas on the central image. The eye fundus image constructing means 18 constructs a three-dimensional eye fundus image by projecting a plurality of eye fundus images by a correct reduced scale on the three-dimensional eye fundus surface. The displaying means 20 displays the three-dimensional eye fundus image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、眼底写真から３次元眼底画像を構築し表示する装置に関する。   The present invention relates to an apparatus for constructing and displaying a three-dimensional fundus image from a fundus photograph.

眼底とは眼球の内面部のことであり、そこは血管や神経が光学的な手段で直接見ることが可能な、人体内では数少ない部分の一つである。この眼底を観察し、眼底およびそこに存在する血管、神経の形態の情報を獲得するのは眼内腫瘍、黄斑疾患などの眼科疾患、さらに高血圧、動脈硬化症、糖尿病といった循環系疾患、内分泌疾患などを含めた全身疾患の臨床診断にとても有用である。   The fundus is the inner surface of the eyeball, which is one of the few parts in the human body where blood vessels and nerves can be seen directly by optical means. Observing the fundus and acquiring information on the fundus and the blood vessels and nerves present in the fundus are ophthalmic diseases such as intraocular tumors and macular diseases, as well as cardiovascular diseases such as hypertension, arteriosclerosis and diabetes, and endocrine diseases. It is very useful for clinical diagnosis of systemic diseases including

眼底を観察する手段として従来から眼底カメラが用いられている。眼底カメラは患者の瞳を通して眼内を照明し、同時に眼底の一部を銀塩フイルムやＣＣＤに撮影するものである。
しかし、眼底カメラの視野角は５０度と狭く、１回の撮影だけで獲得できる情報は満足できるものではない。そこで、眼球内部を出来るだけ広くカバーするように多方向から眼底写真を撮影して、平面上に手作業で、または画像処理により半自動的に合成して１枚のパノラマ写真を作成するように工夫されている。
また、電子カルテへの対応のために、コンピュータと接続した眼底カメラが開発され、画像のファイリングを行うことも可能となっている。しかし、それは立体的な眼底の異なる部位を撮影した、眼球の光学系によって既に変形されている画像を無理に平面上に繋げ合わせたものであるため、画像同士の連続性が保証されない一方、血管の形態、眼底疾患の位置と範囲などに関する正確で定量的な情報の提供に限度があった。また最近臨床では重要視されている患者へのインフォームドコンセントにも対応しにくかった。 Conventionally, a fundus camera has been used as means for observing the fundus. The fundus camera illuminates the inside of the eye through the pupil of the patient, and simultaneously photographs a part of the fundus onto a silver salt film or a CCD.
However, the viewing angle of the fundus camera is as narrow as 50 degrees, and the information that can be acquired by only one shooting is not satisfactory. In order to cover the interior of the eyeball as widely as possible, we devised to take a fundus photo from multiple directions and create a single panoramic photo manually on a flat surface or semi-automatically by image processing. Has been.
In addition, a fundus camera connected to a computer has been developed to support electronic medical records, and image filing is also possible. However, it is an image obtained by photographing different parts of the three-dimensional fundus and forcing the images already deformed by the optical system of the eyeballs onto a flat surface. There was a limit to the provision of accurate and quantitative information on the morphology of the eye, the location and extent of fundus disease, etc. In addition, it has been difficult to respond to informed consent for patients who have recently been regarded as important in clinical practice.

しかし、眼底は立体形状であり、これを撮像した眼底写真はその一部を平面上に展開したものであるため、繋ぎ合わせた眼底写真は立体形状上の３次元情報を２次元に撮影していることから、画像同士の連続性はなく、正確に繋ぎ合わせることはできなかった。
また、このように繋ぎ合わせた眼底写真は眼底を平面に展開した形になっていることから、眼球の構造を習熟している専門医師であっても正確に判断することは困難であり、専門外の医師や患者がその画像を理解することは困難であった。
さらに、眼底の血管の異常、網膜剥離、腫瘍の有無などを専門医師が判断できても、眼底写真上の画像は既に変形されているため、血管や剥離領域などの大きさや位置を定量的にデータ化し、患者の時系列データや疫学的データベースとして役立てることは出来なかった。 However, since the fundus has a three-dimensional shape, and a fundus photograph obtained by capturing the fundus image is a part of the fundus photograph developed on a plane, the joined fundus photograph is obtained by photographing three-dimensional information on the three-dimensional shape in two dimensions. Because of this, there was no continuity between images, and it was not possible to connect them accurately.
In addition, since the fundus photographs connected in this way are in the form of a flattened fundus, it is difficult for even a specialist doctor who is familiar with the structure of the eyeball to judge accurately. It was difficult for outside doctors and patients to understand the images.
Furthermore, even if a specialist doctor can judge abnormalities in the blood vessels of the fundus, retinal detachment, tumors, etc., the image on the fundus photo has already been deformed, so the size and position of blood vessels and exfoliation areas can be quantitatively determined. It was not possible to use the data as a time series data or epidemiological database of patients.

上述した問題点を解決するために、特許文献１〜３が開示されている。   In order to solve the above-described problems, Patent Documents 1 to 3 are disclosed.

［特許文献１］の「眼底画像システム」は、図１２に示すように、患者の眼底を撮影した眼底画像５１と、眼底の形状を模擬し予め作成された眼底形状モデル５２と、眼底画像の撮影条件を表すパラメータである画像平面パラメータを計算するための画像平面パラメータ計算手段５３と、画像平面パラメータにしたがって眼底画像を眼底形状モデル上に投影し眼底モデルを作成するための眼底モデル生成手段５４と、その眼底モデル５５を表示するための眼底モデル表示手段５６とを有するものである。   As shown in FIG. 12, the “fundus image system” of [Patent Document 1] includes a fundus image 51 obtained by photographing a fundus of a patient, a fundus shape model 52 created in advance by simulating the fundus shape, and a fundus image Image plane parameter calculation means 53 for calculating image plane parameters, which are parameters representing imaging conditions, and fundus model generation means 54 for creating a fundus model by projecting a fundus image on the fundus shape model according to the image plane parameters. And a fundus model display means 56 for displaying the fundus model 55.

また、［特許文献２］の「生体眼のレンズを単レンズでモデル化し、眼底の形状を球面と仮定すると、単レンズによる眼底の像は２次曲面となり、カメラはこの２次曲面を様々な方向から撮影したものとみなせることから、図１３に示すように、複数の眼底画像に共通に含まれている特徴点を２次曲面で重ね合うように最適化計算をすることにより、２次曲面の形状と各画像を撮影した時のカメラのそれぞれの位置・姿勢を同時に推定し、２次曲面の形状から単レンズのパラメータを求め、眼底の形状を復元する方法である。   Further, in [Patent Document 2], assuming that a living eye lens is modeled with a single lens and the fundus shape is assumed to be a spherical surface, the image of the fundus with a single lens becomes a quadratic curved surface, and the camera uses various secondary curved surfaces. Since it can be considered that the image was taken from the direction, as shown in FIG. 13, by performing optimization calculation so that the feature points that are commonly included in a plurality of fundus images are superimposed on the quadric surface, This is a method for simultaneously estimating the shape and the position and orientation of the camera when each image is taken, obtaining the parameters of the single lens from the shape of the quadric surface, and restoring the shape of the fundus.

さらに、［特許文献３］の「眼底の立体表示および座標計測方法と装置」は、図１４に示すように、予め超音波などの測定データを用いて生体眼の形状を作成し、生体眼の形状に対して、視線を微小角度動かしたことによるカメラ眼底写真上の特徴点（血管分岐点など）の移動量をもとに投影パラメータを求め、このパラメータを用いて、３次元眼底への投影を行い、微小なズレなどに対してはマニュアルで調整を行い眼底の形状を復元する手段である。   Furthermore, as shown in FIG. 14, “Patent Document 3 Display and Coordinate Measurement Method and Device” in [Patent Document 3] creates a shape of a living eye in advance using measurement data such as ultrasonic waves, and Projection parameters are determined based on the amount of movement of feature points (blood vessel branching points, etc.) on the camera fundus photograph when the line of sight is moved by a small angle with respect to the shape, and projection to the three-dimensional fundus using these parameters It is a means to restore the shape of the fundus by performing manual adjustment for small deviations.

特開２０００−２１０２６０号公報、「眼底画像システム」Japanese Patent Application Laid-Open No. 2000-210260, “fundus image system” 特開２００２−３４９２５号公報、「多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置」Japanese Patent Laid-Open No. 2002-34925, “Method and apparatus for restoring fundus three-dimensional pattern by superimposing fundus images taken from multiple directions” 特開２００４−２４７３９号公報、「眼底の立体表示および座標計測方法と装置」Japanese Patent Application Laid-Open No. 2004-24739, “3D fundus stereoscopic display and coordinate measuring method and apparatus”

しかし、特許文献１の手段は、眼底の形状を模擬するために「予め用意した複数種類の眼底形状モデル」を用いるが、実際の眼底形状は、年齢や生別により相違し、さらに、眼内腫瘍、黄斑疾患などの眼科疾患がある場合には、正常な眼底とは大きく相違することが知られている。そのため、対象者の実際の眼底形状を正確に計測できない限り、正確な眼底形状を模擬することができなかった。   However, the means of Patent Document 1 uses “a plurality of types of fundus shape models prepared in advance” in order to simulate the shape of the fundus, but the actual fundus shape differs depending on age and sex, It is known that when there is an ophthalmic disease such as a tumor or macular disease, it is greatly different from a normal fundus. Therefore, an accurate fundus shape cannot be simulated unless the actual fundus shape of the subject can be accurately measured.

また、特許文献２の手段は、以下のような問題点が存在しており、汎用性、復元精度に課題が残っている。
（１）健全な眼球の眼底形状はほぼ球面とみなせるが、強度の近視や遠視、緑内障眼などの場合には眼底形状が球面から変形しているので汎用性はない。
（２）複雑な生体眼の光学系が単レンズでモデル化できるという仮定を前提としているので、たとえ実際の眼底形状が球面である場合でも、最適化計算により得られた眼底形状は実際に合わないことが考えられる。 Further, the means of Patent Document 2 has the following problems, and there remain problems in versatility and restoration accuracy.
(1) Although the fundus shape of a healthy eyeball can be regarded as a substantially spherical surface, in the case of high myopia, farsightedness, glaucomatous eyes, etc., the fundus shape is deformed from the spherical surface, so there is no versatility.
(2) Since it is assumed that a complex living eye optical system can be modeled with a single lens, even if the actual fundus shape is a spherical surface, the fundus shape obtained by the optimization calculation actually matches. It is possible that there is not.

さらに、特許文献３の手段は、
（３）撮影位置を微小角度ずらす量の正確な規定が困難である。
（４）生体眼球とカメラとの距離、撮影角度などの投影パラメータ決定が困難である。
（５）３次元眼底に投影した眼底画像をマニュアルで微調整するのは容易ではない、等の問題点があった。 Furthermore, the means of patent document 3 is:
(3) It is difficult to accurately define the amount by which the photographing position is shifted by a minute angle.
(4) It is difficult to determine projection parameters such as the distance between the living eyeball and the camera and the imaging angle.
(5) There is a problem that it is not easy to finely adjust the fundus image projected on the three-dimensional fundus manually.

本発明は、かかる問題点を解決するために創案されたものである。すなわち、本発明の目的は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる３次元眼底画像の構築・表示装置を提供することにある。   The present invention has been developed to solve such problems. In other words, the object of the present invention can be applied even when the fundus shape is deformed from a spherical surface, no special device is required, and a plurality of fundus images can be obtained by a normal clinical imaging method, and a complex living eye optical system can be obtained. It is possible to accurately determine parameters such as an accurate scale ratio, projection position, and angle of each fundus image without modeling with a lens, and thereby an accurate 3 having a precise image scale ratio and spatial position from a plurality of fundus images. An object of the present invention is to provide a 3D fundus image construction / display device capable of constructing and displaying a 3D fundus image.

本発明によれば、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置が提供される。 According to the present invention, an ultrasonic measurement unit that regulates the movement of the probe using a jig, oscillates and receives ultrasonic waves from the probe toward the fundus of the subject, and acquires an ultrasonic cross-sectional image of the fundus;
Fundus image acquisition means for capturing a plurality of fundus images from different directions and storing them as a plurality of fundus images including a central image;
An actual distance measuring means for measuring an actual distance dr between recognizable parts on the central image;
Fundus image construction means for constructing a three-dimensional fundus image by projecting the plurality of fundus images on the three-dimensional fundus at a correct scale rate;
An apparatus for constructing and displaying a three-dimensional fundus image, comprising: display means for displaying a three-dimensional fundus image is provided.

上記本発明の装置によれば、超音波測定手段で、被験者の眼底の超音波断面画像を取得するので、被験者の眼球が正確な球面から変形している場合でも、正確な３次元眼底面を生成することができる。
また、眼底画像取得手段で、眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。
さらに、実距離計測手段で中心画像上の認識可能な部位間の実距離ｄｒを計測するので、中心画像との対応でその縮尺率Ｓｃを正確に決定することができる。
また、眼底画像構築手段で、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築するので、この３次元眼底画像を表示手段で表示することにより、当該被験者の眼底の３次元画像を正確に表示し、定量的な眼底情報を提示すると同時に、専門医師以外の医師や患者の理解（インフォームドコンセント）に役立てることができる。 According to the apparatus of the present invention, since the ultrasonic cross-sectional image of the fundus of the subject is acquired by the ultrasonic measurement means, an accurate three-dimensional fundus can be obtained even when the eyeball of the subject is deformed from an accurate spherical surface. Can be generated.
In addition, since the fundus image acquisition means captures a plurality of fundus images from different directions and stores them as a plurality of fundus images including the central image, a wide range of fundus images that cannot be covered by a single image can be accurately represented as a three-dimensional fundus image. Can be projected.
Further, since the actual distance dr between the recognizable parts on the center image is measured by the actual distance measuring means, the scale ratio Sc can be accurately determined in correspondence with the center image.
In addition, since the fundus image construction unit projects a plurality of fundus images onto the three-dimensional fundus image at a correct scale ratio to construct a three-dimensional fundus image, the subject can be displayed by displaying the three-dimensional fundus image on the display unit. It is possible to accurately display a three-dimensional image of the fundus and present quantitative fundus information, and at the same time, it can be used for understanding (informed consent) of doctors and patients other than specialist doctors.

本発明の好ましい実施形態によれば、 前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い、縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる。 According to a preferred embodiment of the present invention, the fundus image construction means is
A fundus oculi generating means for generating a three-dimensional fundus oculi expressed by a triangular mesh having three-dimensional coordinates using the plurality of acquired ultrasonic cross-sectional images,
An on-image distance measuring means for measuring a distance dp on the image between recognizable parts on the central image;
Center scale determining means for determining the scale ratio Sc of the center image from the distance dp and the actual distance dr on the image;
Center image projecting means for scaling the center image using the determined scale ratio and projecting the scaled center image onto the three-dimensional fundus in the direction of the eye axis;
An adjacent image associating means for associating adjacent images using blood vessel branch points of a plurality of fundus images as feature points;
Parameter calculating means for obtaining a parameter for projecting a peripheral image other than the central image on the three-dimensional fundus from corresponding points between the images;
Based on the obtained parameters, it comprises peripheral image projecting means for projecting the peripheral image at a correct scale and constructing a three-dimensional fundus image.

この構成により、眼底面生成手段で３次元座標を有する３角形メッシュにより３次元眼底面を正確に表現できる。また、中心縮尺決定手段で中心画像の縮尺率Ｓｃを正確に決定し、中心画像投影手段で、縮尺した中心画像を前記３次元眼底面へ正確に投影することができる。
また、隣接画像対応付け手段で複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行うので、対応点同士を重ねあわせることができる。
さらにパラメータ算出手段で前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得ることができ、これを用いて周辺画像投影手段で前記周辺画像を正しい縮尺率で投影することができる。
従って、複数の眼底画像を正しい縮尺率で３次元眼底面に投影して３次元眼底画像を構築し、これを表示するので、１枚の画像ではカバーできない広い範囲の眼底画像を正確な３次元眼底面に投影することができる。 With this configuration, the three-dimensional fundus can be accurately represented by the triangular mesh having the three-dimensional coordinates by the fundus oculi generation means. Further, the center scale determining means can accurately determine the scale ratio Sc of the center image, and the center image projecting means can accurately project the scaled center image onto the three-dimensional fundus.
Further, since the adjacent image association unit uses the blood vessel branch points of a plurality of fundus images as feature points and performs association between adjacent images, the corresponding points can be overlapped.
Further, the parameter calculating means can obtain parameters for projecting the peripheral image other than the central image on the three-dimensional fundus from the corresponding points between the images, and using this, the peripheral image projecting means can correct the peripheral image. Can be projected at a reduced scale.
Accordingly, a plurality of fundus images are projected onto the 3D fundus at the correct scale to construct and display the 3D fundus image, so that a wide range of fundus images that cannot be covered by a single image can be accurately captured in 3D. It can be projected onto the fundus.

さらに本発明によれば、上述した手段をコンピュータに実行させるためのプログラムと、このプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。
このプログラム及び記憶媒体により、コンピュータを用いて上記手段を実施することができる。 Furthermore, according to the present invention, there are provided a program for causing a computer to execute the above-described means, and a computer-readable storage medium storing the program.
With the program and the storage medium, the above means can be implemented using a computer.

上述したように、本発明の３次元眼底画像の構築・表示装置は、眼底形状が球面から変形していても適用でき、特別な工夫は要らず、通常の臨床撮影方法で眼底画像を複数取得でき、複雑な生体眼の光学系を単レンズでモデル化することなく各眼底画像の正確な縮尺率、投影位置、角度などのパラメータを正確に決定でき、これにより複数の眼底画像から精密な画像の縮尺率と空間位置を持つ正確な３次元眼底画像を構築し表示することができる、等の優れた効果を有する。   As described above, the three-dimensional fundus image construction / display apparatus of the present invention can be applied even when the fundus shape is deformed from a spherical surface, requires no special device, and obtains a plurality of fundus images by a normal clinical imaging method. It is possible to accurately determine parameters such as the exact scale ratio, projection position, and angle of each fundus image without modeling a complex living eye optical system with a single lens. It is possible to construct and display an accurate three-dimensional fundus image having a scale ratio and a spatial position.

以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し、重複した説明を省略する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each figure, common portions are denoted by the same reference numerals, and redundant description is omitted.

図１は、本発明の３次元眼底画像の構築・表示装置の全体構成図である。この図に示すように、本発明の３次元眼底画像の構築・表示装置１０は、超音波測定手段１２、眼底画像取得手段１４、実距離計測手段１６、眼底画像構築手段１８、及び表示手段２０を備える。   FIG. 1 is an overall configuration diagram of a three-dimensional fundus image construction / display apparatus according to the present invention. As shown in this figure, the three-dimensional fundus image construction / display apparatus 10 of the present invention includes an ultrasonic measurement unit 12, a fundus image acquisition unit 14, an actual distance measurement unit 16, a fundus image construction unit 18, and a display unit 20. Is provided.

超音波測定手段１２は、超音波測定機１２ａ、プローブ１２ｂ及びプローブガイド１２ｃからなり、プローブ１２ｂの動きをプローブガイド１２ｃ（ジグ）を用いて規制しプローブから被験者１の眼底面１ａに向けて超音波を発振・受信し、眼底面の超音波断面画像２を取得する。
眼底画像取得手段１４は、眼底カメラ１４ａとこれを案内するカメラガイド１４ｂからなり、同一の被験者１の眼底面１ａを異なる方向から複数撮影して中心画像を含む複数の眼底画像３として記憶する。
実距離計測手段１６は、ＯＣＴ装置（光学的干渉断層計）１６ａであり、近赤外線低干渉ビームを観察光として用いて、同一の被験者１の眼底面１ａの中心画像上の認識可能な部位間の実距離ｄｒを計測する。中心画像上の認識可能な部位とは、血管の分岐点、中心窩、神経乳頭などである。 The ultrasonic measurement means 12 includes an ultrasonic measurement device 12a, a probe 12b, and a probe guide 12c. The movement of the probe 12b is regulated by using the probe guide 12c (jig), and is superposed from the probe toward the fundus 1a of the subject 1. A sound wave is oscillated and received, and an ultrasonic cross-sectional image 2 of the fundus is acquired.
The fundus image acquisition unit 14 includes a fundus camera 14a and a camera guide 14b for guiding the fundus camera 14a. The fundus image acquisition unit 14 captures a plurality of fundus images 1a of the same subject 1 from different directions and stores them as a plurality of fundus images 3 including a center image.
The actual distance measuring means 16 is an OCT apparatus (optical coherence tomography) 16a, and uses a near-infrared low-interference beam as observation light to recognize between recognizable parts on the central image of the fundus 1a of the same subject 1. The actual distance dr is measured. Recognizable parts on the central image are blood vessel branch points, fovea, nerve papilla, and the like.

眼底画像構築手段１８は、記憶装置に記憶したプログラムにより、複数の眼底画像３を正しい縮尺率で３次元眼底面に投影して３次元眼底画像４を構築する。眼底画像構築手段１８は、中央処理装置（ＣＰＵ）、記憶装置（ＲＡＭ，ＲＯＭ，ＨＤ）、入出力装置（キーボード、マウス、ＣＤドライブ、ＦＤドライブ、プリンタ等）、通信制御装置等からなり、例えばパソコン（ＰＣ）や汎用コンピュータである。
表示手段２０は、コンピュータのディスプレイ装置であり、眼底画像構築手段１８で構築した３次元眼底画像を表示する。 The fundus image constructing means 18 constructs the three-dimensional fundus image 4 by projecting a plurality of fundus images 3 on the three-dimensional fundus with a correct scale ratio by a program stored in the storage device. The fundus image construction means 18 includes a central processing unit (CPU), a storage device (RAM, ROM, HD), an input / output device (keyboard, mouse, CD drive, FD drive, printer, etc.), a communication control device, and the like. A personal computer (PC) or a general-purpose computer.
The display means 20 is a computer display device, and displays the three-dimensional fundus image constructed by the fundus image construction means 18.

図２は、本発明における眼底画像の取得手段を示す模式図である。この図に示すように、眼底画像取得手段１４では、眼軸方向をＺ軸とする全体座標系Ｘ-Ｙ-Ｚに対し、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。   FIG. 2 is a schematic diagram illustrating a fundus image acquisition unit according to the present invention. As shown in this figure, the fundus image acquisition means 14 uses the local coordinate system xy to represent the projection direction and position of the image with respect to the overall coordinate system XYZ having the optic axis direction as the Z axis. Introduce -z.

図３は、本発明の装置で実行する方法を示すフロー図である。以下、このフロー図に沿って、本発明を説明する。
Ｓ１（超音波波断層画像の取得）では、正確な測定断面の位置情報を得るためにプローブガイド（ジグ）１２ｃを用いてプローブ１２ｂの動きを規制し、超音波測定手段１２のＢモードで測定を行う。取得した断面動画像はパソコン（コンピュータ）１８に取り込み、静止画に変換し記憶する。
Ｓ２（３角形メッシュにより表現した眼底面の生成）では、取得した超音波静止断面画像を用いて眼底輪郭上のポイントを自動的に検出したうえ、断面画像の位置情報に合わせて各ポイントの３次元座標を生成する。これに基づいて３角形メッシュにより表現した３次元眼底面４を生成する。 FIG. 3 is a flow diagram illustrating a method performed by the apparatus of the present invention. The present invention will be described below with reference to this flowchart.
In S1 (acquisition of ultrasonic wave tomographic image), the movement of the probe 12b is regulated using the probe guide (jig) 12c in order to obtain accurate position information of the measurement cross section, and measurement is performed in the B mode of the ultrasonic measurement means 12. I do. The acquired cross-sectional moving image is taken into a personal computer (computer) 18 and converted into a still image and stored.
In S2 (generation of the fundus oculi expressed by a triangular mesh), points on the fundus contour are automatically detected using the acquired ultrasonic still cross-sectional image, and 3 of each point is matched with the positional information of the cross-sectional image. Generate dimensional coordinates. Based on this, a three-dimensional fundus oculi 4 expressed by a triangular mesh is generated.

Ｓ３（眼底画像の取得）では、眼底カメラ１４ａを用いて、眼底面１ａをできるだけ広くカバーするように異なる方向から複数枚の眼底画像３を撮影し、眼底カメラ１４ａと接続しているパソコン１８に取り込み、ピクセル画像として記憶する。眼底カメラ１４ａには撮影部の移動により撮影方向を決めるタイプ、内部あるいは外部固視標を凝視することによって撮影方向を決めるタイプの二つのタイプがあり、いずれの場合でも中心画像を眼軸方向に撮影することができる。
Ｓ４（隣接画像間の対応点の検出）では、特徴点として各画像上の血管の分岐点を手動であるいは自動的に検出する。さらに特徴点の隣接画像間の対応付けを行う。
Ｓ５（中心画像上の部位間距離の計測）では、中心画像上に認識可能な部位（血管の分岐点、中心窩、神経乳頭など）間の画像上の距離ｄｐを計測する。
Ｓ６（ＯＣＴなどによる部位間実距離の計測）では、ＯＣＴ装置（光学的干渉断層計）などによりＳ５と対応する部位間の実距離ｄｒを計測する。 In S3 (acquisition of the fundus image), the fundus camera 14a is used to take a plurality of fundus images 3 from different directions so as to cover the fundus oculi 1a as widely as possible, and the image is transferred to the personal computer 18 connected to the fundus camera 14a. Capture and store as pixel image. There are two types of fundus camera 14a: a type that determines the shooting direction by moving the shooting unit, and a type that determines the shooting direction by staring at an internal or external fixation target. In either case, the center image is oriented in the direction of the eye axis. You can shoot.
In S4 (detection of corresponding points between adjacent images), a blood vessel branch point on each image is detected manually or automatically as a feature point. Further, association between adjacent images of feature points is performed.
In S5 (measurement of the distance between the parts on the central image), the distance dp on the image between the parts that can be recognized on the central image (blood vessel branch point, fovea, nerve papilla, etc.) is measured.
In S6 (measurement of actual distance between parts by OCT or the like), an actual distance dr between parts corresponding to S5 is measured by an OCT apparatus (optical coherence tomography) or the like.

Ｓ７（中心画像縮尺率の決定）では、Ｓ５とＳ６で計測された距離ｄｐ、ｄｒを用いて中心画像の縮尺率Ｓｃを［数１］の式（１）のように決定する。
In S7 (determination of the center image scale ratio), the scale ratio Sc of the center image is determined as shown in Equation (1) of [Equation 1] using the distances dp and dr measured in S5 and S6.

Figure 2006061196
Figure 2006061196

Ｓ８（既知の眼底面への中心画像の投影）では、Ｓ７で決定した縮尺率Ｓｃを利用して中心画像の縮尺を行い、眼軸方向においてＳ２で生成された３次元眼底面４への投影を行う。   In S8 (projection of the center image on the known fundus), the center image is scaled using the scale factor Sc determined in S7, and projected onto the three-dimensional fundus 4 generated in S2 in the direction of the eye axis. I do.

Ｓ９（中心画像以外の画像の投影）では、眼底カメラ１４ａの撮影範囲の狭さから、中心画像を含めた各眼底画像は異なる角度から撮影部位を画像面に弱中心射影することによってできた画像と見なせる。したがって、各画像は撮影部位の実物が射影方向と垂直な面内に縮尺率ｓにより縮尺され、そして画像面に正射影されることによってできた画像として扱える。
このように、投影（射影）方向、投影位置また縮尺率が既知であれば、上記の中心画像と同様に各画像を既知の眼底面に投影することができ、３次元眼底画像が構築できる。
こうしたことから、上記で投影された中心画像を核として、投影が完了した隣接画像との重複領域での対応点の、Ｓ２で生成された既知の３次元眼底面４における空間位置が一致するように後述する計算手段を利用して各画像の投影方向、投影位置また縮尺率を順次に求め投影する（図２Ｂ）。 In S9 (projection of an image other than the central image), each fundus image including the central image is obtained by performing a weak central projection of the imaging region on the image plane from a different angle because of the narrow imaging range of the fundus camera 14a. Can be considered. Therefore, each image can be handled as an image formed by the actual part of the imaging region being scaled by a scale factor s in a plane perpendicular to the projection direction and orthogonally projected on the image plane.
Thus, if the projection (projection) direction, the projection position, and the scale ratio are known, each image can be projected onto a known fundus similarly to the above-described central image, and a three-dimensional fundus image can be constructed.
For this reason, the spatial position of the corresponding point in the overlapping area with the adjacent image that has been projected is matched in the known three-dimensional fundus 4 generated in S2 with the central image projected above as the nucleus. Then, the projection means, projection position, and scale factor of each image are sequentially obtained and calculated using the calculation means described later (FIG. 2B).

以下、この計算手段を説明する。
Ｓ９の（ａ）（投影方向、位置および縮尺率の決定）では、図２Ａに示したように、画像の投影方向、位置を表すために、局所座標系ｘ-ｙ-ｚを導入する。これは全体座標系Ｘ-Ｙ-Ｚを回転、平行移動させることにより得られたものとする。従って、二つの座標系の間の座標変換には［数２］の式（２）が成立する。
この式（２）において、ｓは縮尺率を表す．またＲは回転行列、Ｔは平行移動ベクトルであり、それぞれ［数２］の式（３）（４）で示される。 Hereinafter, this calculation means will be described.
In S9 (a) (determination of projection direction, position and scale ratio), as shown in FIG. 2A, a local coordinate system xyz is introduced to represent the projection direction and position of the image. This is obtained by rotating and translating the global coordinate system XYZ. Therefore, Equation (2) in [Equation 2] is established for coordinate conversion between the two coordinate systems.
In this formula (2), s represents a scale factor. R is a rotation matrix and T is a translation vector, which are expressed by equations (3) and (4) in [Equation 2], respectively.

Figure 2006061196
Figure 2006061196

ここで、α、β、γはＺ-Ｙ-Ｚオイラー角を、ＴＸ、ＴＹはＺ座標面内における移動量を表す。
このように、画像を３次元眼底面に投影するために、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めばよい。 Here, α, β, and γ represent ZYZ Euler angles, and T X and T Y represent amounts of movement in the Z coordinate plane.
Thus, in order to project an image on the three-dimensional fundus, six parameters s, α, β, γ, T X , and T Y may be obtained.

いま、画像上のｎ個の特徴点は投影が完了した隣接画像上の特徴点と対応付けられたと仮定する。その内の第ｉ番目の特徴点の局所座標系における座標をｘｉ、ｙｉ、０、それと対応する隣接画像上の特徴点の、全体座標系における３次元座標をＸＲ ｉ、ＹＲ ｉ、ＺＲ ｉ（既知）とし、またそれが位置する眼底面上の三角形メッシュの平面方程式を［数３］の式（５）（６）とする。ただし、Ｘｅ ｉ、Ｙｅ ｉ、Ｚｅ ｉは三角形の頂点座標を表す。 Now, it is assumed that n feature points on an image are associated with feature points on an adjacent image that has been projected. Among them, the coordinates of the i-th feature point in the local coordinate system are xi, yi, 0, and the corresponding three-dimensional coordinates in the global coordinate system of the feature point on the adjacent image are X R i , Y R i , Z Let R i (known) and the plane equation of the triangular mesh on the fundus where it is located be the equations (5) and (6) in [Equation 3]. However, X e i , Y e i , and Z e i represent the vertex coordinates of the triangle.

Figure 2006061196
Figure 2006061196

当特徴点の全体座標系における座標は式（２）に基づき［数４］の式（７）のように求められ、
また、当特徴点を通り、投影方向（ｚ軸方向）と同じ方向の直線方程式は［数４］の式（８）のようになる。 The coordinates of this feature point in the global coordinate system are obtained as in Equation (7) of [Equation 4] based on Equation (2).
In addition, the linear equation passing through the feature point and in the same direction as the projection direction (z-axis direction) is expressed by Equation (8) in [Equation 4].

Figure 2006061196
Figure 2006061196

したがって、これと以上の平面との交点座標、つまり当特徴点の、投影された後の全体座標は［数５］の式（９）（１０）のように得られる．   Therefore, the intersection coordinates between this and the above plane, that is, the overall coordinates of the feature point after the projection are obtained as in the equations (9) and (10) of [Equation 5].

Figure 2006061196
Figure 2006061196

そこで、評価関数を［数６］の式（１１）のように定義する。   Therefore, the evaluation function is defined as in Expression (11) of [Equation 6].

Figure 2006061196
Figure 2006061196

これを最小化することによって、ｓ、α、β、γ、ＴＸ、ＴＹの６個のパラメータを求めることができる。 By minimizing this, six parameters of s, α, β, γ, T X and T Y can be obtained.

ここで、便宜上、次のようにｕｉ（ｉ＝１、．．．、６）を導入する。
ｕ１＝α、ｕ２＝β、ｕ３＝γ、ｕ４＝ＴＸ、ｕ５＝ＴＹ、ｕ６＝ｓ・・・（１１ａ） Here, for convenience, u i (i = 1,..., 6) is introduced as follows.
u 1 = α, u 2 = β, u 3 = γ, u 4 = T X , u 5 = T Y , u 6 = s (11a)

Фの最小化条件は、［数７］の式（１２）（１３）のように示される。   The condition for minimizing Ф is expressed by the equations (12) and (13) in [Equation 7].

Figure 2006061196
Figure 2006061196

式（１３）は６個の未知量を変数とする６個の方程式を表し、これを解けば未知量が求まる．しかしながら、これはこれらの未知量に関する非線形方程式なのでそのままでは解けない．そこで、Ｎｅｗｔｏｎ-Ｒａｐｈｓｏｎ法を用いて解くことにする。   Equation (13) represents six equations with six unknowns as variables, and solving them yields the unknowns. However, since this is a nonlinear equation for these unknowns, it cannot be solved as it is. Therefore, it will be solved using the Newton-Raphson method.

式（１３）をＴａｙｌｏｒ展開して線形化すると［数８］の式（１４）（１５）の線形方程式が得られる。各繰り返しステップにおいて方程式（１４）を解き、各未知変数を［数８］の式（１６）のように更新する。これをΔul kが十分小さくなるまで繰り返すことによって６個の未知変数ｕｌ（ｌ＝１、．．．、６）を得ることができる。 When equation (13) is linearized by Taylor expansion, linear equations of equations (14) and (15) in [Equation 8] are obtained. In each iteration step, equation (14) is solved, and each unknown variable is updated as in equation (16) of [Equation 8]. By repeating this until Δu l k becomes sufficiently small, six unknown variables u l (l = 1,..., 6) can be obtained.

Figure 2006061196
Figure 2006061196

Ｓ９の（ｂ）（既知眼底面への投影）では、以上で求められたパラメータｕｌ（ｌ＝１、．．．、６）、すなわち回転角度（α、β、γ）、平行移動ベクトル（ＴＸ、ＴＹ）、縮尺率ｓの６要素を用いて式（２）の逆変換を行うことにより得られた眼底面上の３角形メッシュ頂点の画像上の位置情報をもとに、画像上のピクセルと３角メッシュの位置関係を獲得し画像の投影を行う。 In (b) of S9 (projection to the known fundus), the parameters u l (l = 1,..., 6) obtained as described above, that is, rotation angles (α, β, γ), translation vector ( Based on the positional information on the image of the triangular mesh vertex on the fundus obtained by performing the inverse transformation of Equation (2) using the six elements of T X , T Y ), and the scale s The positional relationship between the upper pixel and the triangular mesh is acquired and the image is projected.

Ｓ１０（３次元眼底画像の表示）では、ズームイン・ズームアウト、回転、切断表示などの機能を持つ可視化ソフトを用いてコンピュータの上で３次元眼底画像を表示する。
構築した３次元眼底画像は、コンピュータグラフィック（ＣＧ）を利用して立体的に可視化することができる。ＣＧを利用した可視化では特別な知識なしに眼底の構造を理解できることからインフォームドコンセントに役立たせることができる。
また、構築した３次元眼底画像は計測することが可能であり、この３次元眼底画像を基に医師、技師または自動判別により血管、網膜剥離の範囲、腫瘍などの部位を指定して３次元座標を求めることができる。この設定には可視化した２次元に投影した（モニター上）の画像から２次元の位置をマウスなどで指定した情報を基に３次元座標を算出することが容易である。
In S10 (display of a three-dimensional fundus image), a three-dimensional fundus image is displayed on a computer using visualization software having functions such as zoom-in / zoom-out, rotation, and cutting display.
The constructed three-dimensional fundus image can be visualized stereoscopically using computer graphics (CG). Visualization using CG can be used for informed consent because the structure of the fundus can be understood without any special knowledge.
In addition, the constructed 3D fundus image can be measured. Based on this 3D fundus image, a doctor, an engineer, or an automatic discrimination can be used to specify a region such as a blood vessel, a retinal detachment range, or a tumor. Can be requested. For this setting, it is easy to calculate the three-dimensional coordinates from the visualized two-dimensional projected image (on the monitor) based on the information specifying the two-dimensional position with a mouse or the like.

以下、本発明の実施例を図４〜図１１を参照して説明する。
（１） 超音波測定機（図４）を使用して生体眼球の３次元眼底面を作成した。
超音波測定機１２のＢモード測定（眼底形状を測定できるモード）を利用し、複数の断面測定を行った。
得られた複数断面のピクセル画像から画像処理技術を用いて、図２における角膜先端を原点Ｏとする３次元座標系Ｘ-Ｙ-Ｚに関する座標データをそれぞれ眼底輪郭上において３点以上収集した。
ついで、この眼底面の収集された座標データから３角形メッシュで表現された眼底面（図５）を作成した。 Embodiments of the present invention will be described below with reference to FIGS.
(1) A three-dimensional fundus of a living eyeball was created using an ultrasonic measuring device (FIG. 4).
A plurality of cross-sectional measurements were performed using the B-mode measurement (mode in which the fundus shape can be measured) of the ultrasonic measuring device 12.
Using the image processing technique, three or more coordinate data on the three-dimensional coordinate system XYZ having the origin of the cornea in FIG.
Next, the fundus oculi (FIG. 5) represented by a triangular mesh was created from the coordinate data collected on the fundus oculi.

（２） 眼底写真の取得（図６）
眼底カメラ１４を使用して、中心画像（中心窩を含んだ中心の画像）を含め、眼底画像を異なる角度から９枚撮影した。
（３） ＯＣＴ測定機１６（図７）によるデータ収集及び中心映像の投影
ＯＣＴ測定機１６（光学干渉断層計）を使用して、中心窩と視神経乳頭辺縁の実測を行い、中心映像の縮尺率を求め、三角形メッシュ眼底への投影を行った（図９）。
（４） 特徴点データの収集（図８）
眼底画像間の重複する領域での対応する特徴点（重複する眼底血管の分岐点など）の座標を収集した。 (2) Acquisition of fundus photo (Fig. 6)
Using the fundus camera 14, nine fundus images including a central image (a central image including the fovea) were taken from different angles.
(3) Data collection and center image projection by the OCT measuring device 16 (FIG. 7) Using the OCT measuring device 16 (optical coherence tomography), the fovea and the optic disc margin were measured, and the scale of the center image was reduced. The ratio was calculated and projected onto the triangular mesh fundus (FIG. 9).
(4) Collection of feature point data (Figure 8)
Coordinates of corresponding feature points (such as bifurcation points of overlapping fundus blood vessels) in overlapping regions between fundus images were collected.

（５） 中心映像以外の映像の投影（図９、１０）
（３）で投影された中心画像を核として、（４）で収集された特徴点と（１）での眼底面３角形メッシュの情報を利用して各画像の投影パラメータを順次に求め既知の眼底への投影を行った．
（６）３次元眼底画像の表示（図１１）
図１１は得られた眼球のビュアー像である。 (5) Projection of images other than the central image (Figs. 9 and 10)
Using the center image projected in (3) as a nucleus, the projection parameters of each image are sequentially obtained using the feature points collected in (4) and the fundus triangle mesh information in (1). Projection to the fundus was performed.
(6) Display of 3D fundus image (FIG. 11)
FIG. 11 is a viewer image of the obtained eyeball.

上述したように、本発明は超音波測定により取得した生体眼球断面画像から３角形メッシュで離散化表現された３次元眼底形状を生成し、これを既知とする。また、各眼底画像を異なる角度からの弱中心射影による画像と見なす。このように、まず眼軸方向に撮影された中心画像をＯＣＴ（光学干渉断層計）などにより実測された中心窩と神経乳頭縁、あるいは血管分岐点の間の実距離をもとに算出した縮尺率を用いて既知の眼底面に投影する。そして、これを核として、それ以外の各画像について、それぞれと隣り合い、かつ投影が完了した画像（一番目画像の場合は中心画像のみ）との重複領域での対応する特徴点の既知の３次元眼底面上における空間位置が一致することと３角形メッシュの情報をもとに計算工学手法を利用して、投影方向、位置および縮尺率を順次に求め、それらを眼底面に投影し、３次元眼底画像を構築するものである。
したがって、本発明は撮影方法の工夫、３次元空間での画像の位置調整は必要なく、かつ任意形状を持つ３次元眼底に対処可能な、血管の連続性が保たれた３次元眼底画像を構築する汎用的な特徴を有する。 As described above, the present invention generates a three-dimensional fundus shape discretely expressed with a triangular mesh from a biological eyeball cross-sectional image acquired by ultrasonic measurement, and makes this known. Further, each fundus image is regarded as an image obtained by weak central projection from different angles. As described above, the scale image is calculated based on the actual distance between the fovea and the nerve papillary margin or the blood vessel bifurcation point, which is measured by an OCT (optical coherence tomography) or the like. Projecting onto the known fundus using the rate. Then, with this as a core, for each of the other images, the known feature points corresponding to each other in the overlapping region with the image adjacent to each other and the projection completed (only the central image in the case of the first image) are known. Using the computational engineering method based on the coincidence of the spatial position on the three-dimensional fundus and the information on the triangular mesh, the projection direction, position and scale factor are sequentially obtained, and these are projected onto the fundus. A dimensional fundus image is constructed.
Therefore, the present invention is a method of photographing, and it is not necessary to adjust the position of the image in the three-dimensional space, and a three-dimensional fundus image that maintains the continuity of blood vessels that can handle a three-dimensional fundus having an arbitrary shape is constructed. It has general-purpose features.

なお、本発明は上述した実施形態及び実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。   Note that the present invention is not limited to the above-described embodiments and examples, and it is needless to say that various modifications can be made without departing from the gist of the present invention.

本発明の３次元眼底画像の構築・表示装置の全体構成図である。1 is an overall configuration diagram of a three-dimensional fundus image construction / display apparatus according to the present invention. 本発明における眼底画像の取得手段を示す模式図である。It is a schematic diagram which shows the acquisition means of the fundus image in the present invention. 本発明の装置で実行する方法を示すフロー図である。FIG. 3 is a flow diagram illustrating a method performed by the apparatus of the present invention. 測定装置による断面映像の模式図である。It is a schematic diagram of the cross-sectional image by a measuring device. ３角形メッシュにより表現した３次元眼底面の例である。It is an example of a three-dimensional fundus represented by a triangular mesh. 無散瞳眼底カメラによる眼底画像である。It is a fundus image by a non-mydriatic fundus camera. ＯＣＴ測定機の図である。It is a figure of an OCT measuring machine. 特徴点の付加画像である。It is an additional image of a feature point. 眼球画像への投影を示す模式図である。It is a schematic diagram which shows the projection to an eyeball image. 眼球画像への投影を示す正面図である。It is a front view which shows the projection to an eyeball image. 眼球のビュアーである。It is an eyeball viewer. ［特許文献１］の「眼底画像システム」の模式図である。FIG. 3 is a schematic diagram of a “fundus image system” of [Patent Document 1]. ［特許文献２］の手段の模式図である。It is a schematic diagram of the means of [patent document 2]. ［特許文献３］の手段の模式図である。It is a schematic diagram of the means of [patent document 3].

符号の説明Explanation of symbols

１ 被験者、１ａ 眼底面、２ 超音波断面画像、３ 眼底画像、
４ ３次元眼底面、１０ ３次元眼底画像の構築・表示装置、
１２ 超音波測定手段、１２ｂ プローブ、１２ｃ プローブガイド（ジグ）、
１４ 眼底画像取得手段、１４ａ 眼底カメラ、１４ｂ カメラガイド、
１６ 実距離計測手段、１６ａ ＯＣＴ装置（光学的干渉断層計）、
１８ 眼底画像構築手段 （コンピュータ）、２０ 表示手段（ディスプレイ装置）
1 subject, 1a fundus, 2 ultrasound cross-sectional image, 3 fundus image,
4 3D fundus, 10 3D fundus image construction / display device,
12 ultrasonic measurement means, 12b probe, 12c probe guide (jig),
14 fundus image acquisition means, 14a fundus camera, 14b camera guide,
16 Actual distance measuring means, 16a OCT apparatus (optical coherence tomography),
18 fundus image construction means (computer), 20 display means (display device)

Claims (6)

プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定手段と、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得手段と、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測手段と、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築手段と、
３次元眼底画像を表示する表示手段とを有することを特徴とする３次元眼底画像の構築・表示装置。 An ultrasonic measuring means that regulates the movement of the probe using a jig, oscillates and receives ultrasonic waves from the probe toward the fundus of the subject, and acquires an ultrasonic cross-sectional image of the fundus;
Fundus image acquisition means for capturing a plurality of fundus images from different directions and storing them as a plurality of fundus images including a central image;
An actual distance measuring means for measuring an actual distance dr between recognizable parts on the central image;
Fundus image construction means for constructing a three-dimensional fundus image by projecting the plurality of fundus images on the three-dimensional fundus at a correct scale rate;
An apparatus for constructing and displaying a three-dimensional fundus image, comprising: display means for displaying a three-dimensional fundus image. 前記眼底画像構築手段は、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成手段と、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測手段と、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定手段と、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影手段と、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付け手段と、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出手段と、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影手段とからなる、ことを特徴とする請求項１に記載の３次元眼底画像の構築・表示装置。 The fundus image construction means includes:
A fundus oculi generating means for generating a three-dimensional fundus oculi expressed by a triangular mesh having three-dimensional coordinates using the plurality of acquired ultrasonic cross-sectional images,
An on-image distance measuring means for measuring a distance dp on the image between recognizable parts on the central image;
Center scale determining means for determining the scale ratio Sc of the center image from the distance dp and the actual distance dr on the image;
Center image projecting means for scaling the center image using the determined scale ratio and projecting the scaled center image onto the three-dimensional fundus in the axial direction;
An adjacent image associating means for associating adjacent images using blood vessel branch points of a plurality of fundus images as feature points;
Parameter calculating means for obtaining a parameter for projecting a peripheral image other than the central image on the three-dimensional fundus from corresponding points between the images;
The three-dimensional fundus image construction unit according to claim 1, further comprising peripheral image projecting means for projecting the peripheral image at a correct scale ratio to construct a three-dimensional fundus image based on the obtained parameters. -Display device. コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラム。 An ultrasonic measurement step for obtaining a cross-sectional image of the fundus of the fundus by oscillating and receiving ultrasonic waves from the probe toward the fundus of the subject, and controlling the movement of the probe using a jig on the computer;
A fundus image acquisition step of capturing a plurality of fundus images from different directions and storing them as a plurality of fundus images including a central image;
An actual distance measuring step of measuring an actual distance dr between recognizable parts on the central image;
A fundus image constructing step of constructing a three-dimensional fundus image by projecting the plurality of fundus images to the three-dimensional fundus at a correct scale rate;
A 3D fundus image construction / display program for executing a display step of displaying a 3D fundus image. 前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項３に記載の３次元眼底画像の構築・表示プログラム。 The fundus image construction step includes
A fundus oculi generating step for generating a three-dimensional retinal fundus expressed by a triangular mesh having three-dimensional coordinates using the plurality of acquired ultrasonic cross-sectional images;
An on-image distance measuring step for measuring a distance dp on the image between recognizable parts on the central image;
A center scale determining step for determining a scale ratio Sc of the center image from the distance dp and the actual distance dr on the image;
A center image projecting step for scaling the center image using the determined scale ratio and projecting the scaled center image onto the three-dimensional fundus in the direction of the eye axis;
An adjacent image associating step for associating adjacent images using blood vessel branch points of a plurality of fundus images as feature points;
A parameter calculating step for obtaining a parameter for projecting a peripheral image other than the central image on the three-dimensional fundus from corresponding points between the images;
4. The construction of a three-dimensional fundus image according to claim 3, further comprising: a peripheral image projection step of projecting the peripheral image at a correct scale based on the obtained parameters to construct a three-dimensional fundus image. -Display program. コンピュータに、プローブの動きをジグを用いて規制しプローブから被験者の眼底面に向けて超音波を発振・受信し、眼底の超音波断面画像を取得する超音波測定ステップと、
眼底面を異なる方向から複数撮影して中心画像を含む複数の眼底画像として記憶する眼底画像取得ステップと、
前記中心画像上の認識可能な部位間の実距離ｄｒを計測する実距離計測ステップと、
前記複数の眼底画像を正しい縮尺率で前記３次元眼底面に投影して３次元眼底画像を構築する眼底画像構築ステップと、
３次元眼底画像を表示する表示ステップとを実行させるための３次元眼底画像の構築・表示プログラムを記憶したコンピュータ読み取り可能な記憶媒体。 An ultrasonic measurement step for obtaining a cross-sectional image of the fundus of the fundus by oscillating and receiving ultrasonic waves from the probe toward the fundus of the subject, and controlling the movement of the probe using a jig on the computer;
A fundus image acquisition step of capturing a plurality of fundus images from different directions and storing them as a plurality of fundus images including a central image;
An actual distance measuring step of measuring an actual distance dr between recognizable parts on the central image;
A fundus image constructing step of constructing a three-dimensional fundus image by projecting the plurality of fundus images to the three-dimensional fundus at a correct scale rate;
A computer-readable storage medium storing a 3D fundus image construction / display program for executing a display step of displaying a 3D fundus image. 前記眼底画像構築ステップは、
取得した複数の前記超音波断面画像を用いて３次元座標を有する３角形メッシュにより表現した３次元眼底面を生成する眼底面生成ステップと、
前記中心画像上の認識可能な部位間の画像上の距離ｄｐを計測する画像上距離計測ステップと、
前記画像上の距離ｄｐと実距離ｄｒから中心画像の縮尺率Ｓｃを決定する中心縮尺決定ステップと、
決定した縮尺率を利用して中心画像の縮尺を行い，縮尺した中心画像を前記３次元眼底面へ眼軸方向に投影する中心画像投影ステップと、
複数の眼底画像の血管分岐点を特徴点として用い、隣接する画像間の対応付けを行う隣接画像対応付けステップと、
前記画像間の対応点から中心画像以外の周辺画像を前記３次元眼底面に投影するためのパラメータを得るパラメータ算出ステップと、
得られたパラメータを基に、前記周辺画像を正しい縮尺率で投影し３次元眼底画像を構築する周辺画像投影ステップとからなる、ことを特徴とする請求項５に記載のコンピュータ読み取り可能な記憶媒体。 The fundus image construction step includes
A fundus oculi generating step for generating a three-dimensional retinal fundus expressed by a triangular mesh having three-dimensional coordinates using the plurality of acquired ultrasonic cross-sectional images;
An on-image distance measuring step for measuring a distance dp on the image between recognizable parts on the central image;
A center scale determining step for determining a scale ratio Sc of the center image from the distance dp and the actual distance dr on the image;
A center image projecting step for scaling the center image using the determined scale ratio and projecting the scaled center image onto the three-dimensional fundus in the direction of the eye axis;
An adjacent image associating step for associating adjacent images using blood vessel branch points of a plurality of fundus images as feature points;
A parameter calculating step for obtaining a parameter for projecting a peripheral image other than the central image on the three-dimensional fundus from corresponding points between the images;
6. The computer-readable storage medium according to claim 5, further comprising a peripheral image projecting step of projecting the peripheral image at a correct scale ratio based on the obtained parameter to construct a three-dimensional fundus image. .
JP2004243978A 2004-08-24 2004-08-24 3D fundus image construction and display device Expired - Fee Related JP4527471B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004243978A JP4527471B2 (en) 2004-08-24 2004-08-24 3D fundus image construction and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004243978A JP4527471B2 (en) 2004-08-24 2004-08-24 3D fundus image construction and display device

Publications (2)

Publication Number Publication Date
JP2006061196A true JP2006061196A (en) 2006-03-09
JP4527471B2 JP4527471B2 (en) 2010-08-18

Family

ID=36108183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004243978A Expired - Fee Related JP4527471B2 (en) 2004-08-24 2004-08-24 3D fundus image construction and display device

Country Status (1)

Country Link
JP (1) JP4527471B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009183332A (en) * 2008-02-04 2009-08-20 Topcon Corp Fundus observation apparatus, fundus image processing device, and program
JP2011011052A (en) * 2009-06-02 2011-01-20 Nidek Co Ltd Ophthalmic photographing apparatus
WO2013031536A1 (en) * 2011-08-30 2013-03-07 大日本印刷株式会社 Image analysis device for ophthalmic disease, image analysis method for ophthalmic disease, and image analysis program for ophthalmic disease
US9943225B1 (en) * 2016-09-23 2018-04-17 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
WO2019074077A1 (en) * 2017-10-13 2019-04-18 株式会社ニコン Ophthalmology system, image signal output method, image signal output device, program, and three-dimensional oculus fundi image generation method
WO2019172232A1 (en) * 2018-03-05 2019-09-12 富士フイルム株式会社 Ultrasound diagnosis device and method for controlling ultrasound diagnosis device
WO2019203314A1 (en) * 2018-04-18 2019-10-24 株式会社ニコン Image processing method, program, and image processing device
JP2020000472A (en) * 2018-06-28 2020-01-09 眞 竹田 Fundus image spherical face projection system
CN111686378A (en) * 2020-07-14 2020-09-22 上海联影医疗科技有限公司 Bed body movement precision detection method, device, equipment and storage medium
CN112233118A (en) * 2020-12-15 2021-01-15 南京可信区块链与算法经济研究院有限公司 Eye fundus lesion image identification method and system based on incremental learning
WO2021079504A1 (en) * 2019-10-25 2021-04-29 株式会社ニコン Image processing method, image processing device, and program
WO2021149430A1 (en) * 2020-01-22 2021-07-29 株式会社トプコン Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program
CN117297642A (en) * 2023-11-16 2023-12-29 广州卫视博生物科技有限公司 Method for measuring ocular axis of disease, size model of foldable artificial vitreous body saccule, method for determining injection amount of silicone oil, and storage medium
JP7503909B2 (en) 2020-01-22 2024-06-21 株式会社トプコン Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3893717A4 (en) * 2018-12-12 2022-09-14 Tesseract Health, Inc. Biometric identification techniques
US11737665B2 (en) 2019-06-21 2023-08-29 Tesseract Health, Inc. Multi-modal eye imaging with shared optical path

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0747055A (en) * 1992-03-17 1995-02-21 Lentec Corp Method for permanently recording visible image and topographic image of terminal optic nerve of eye
JPH08150119A (en) * 1994-11-30 1996-06-11 Canon Inc Image processor for ophthalmology
JPH10179517A (en) * 1996-12-27 1998-07-07 Topcon Corp Ophthalmic image processing device and ophthalmic image processing method
JP2000189387A (en) * 1998-12-28 2000-07-11 Topcon Corp Ophthalmic imaging device
JP2004024739A (en) * 2002-06-28 2004-01-29 Inst Of Physical & Chemical Res Method and apparatus for three-dimensional display and coordinate measurement of fundus oculi

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0747055A (en) * 1992-03-17 1995-02-21 Lentec Corp Method for permanently recording visible image and topographic image of terminal optic nerve of eye
JPH08150119A (en) * 1994-11-30 1996-06-11 Canon Inc Image processor for ophthalmology
JPH10179517A (en) * 1996-12-27 1998-07-07 Topcon Corp Ophthalmic image processing device and ophthalmic image processing method
JP2000189387A (en) * 1998-12-28 2000-07-11 Topcon Corp Ophthalmic imaging device
JP2004024739A (en) * 2002-06-28 2004-01-29 Inst Of Physical & Chemical Res Method and apparatus for three-dimensional display and coordinate measurement of fundus oculi

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009183332A (en) * 2008-02-04 2009-08-20 Topcon Corp Fundus observation apparatus, fundus image processing device, and program
JP2011011052A (en) * 2009-06-02 2011-01-20 Nidek Co Ltd Ophthalmic photographing apparatus
WO2013031536A1 (en) * 2011-08-30 2013-03-07 大日本印刷株式会社 Image analysis device for ophthalmic disease, image analysis method for ophthalmic disease, and image analysis program for ophthalmic disease
JP2013048696A (en) * 2011-08-30 2013-03-14 Dainippon Printing Co Ltd Image analysis device for ophthalmic disease, image analysis method for ophthalmic disease, and image analysis program for ophthalmic disease
US9943225B1 (en) * 2016-09-23 2018-04-17 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
US10098533B2 (en) * 2016-09-23 2018-10-16 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
WO2019074077A1 (en) * 2017-10-13 2019-04-18 株式会社ニコン Ophthalmology system, image signal output method, image signal output device, program, and three-dimensional oculus fundi image generation method
WO2019172232A1 (en) * 2018-03-05 2019-09-12 富士フイルム株式会社 Ultrasound diagnosis device and method for controlling ultrasound diagnosis device
US11576648B2 (en) 2018-03-05 2023-02-14 Fujifilm Corporation Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
JPWO2019172232A1 (en) * 2018-03-05 2021-02-04 富士フイルム株式会社 Ultrasonic diagnostic device and control method of ultrasonic diagnostic device
WO2019203314A1 (en) * 2018-04-18 2019-10-24 株式会社ニコン Image processing method, program, and image processing device
JP2020000472A (en) * 2018-06-28 2020-01-09 眞 竹田 Fundus image spherical face projection system
JP7472914B2 (en) 2019-10-25 2024-04-23 株式会社ニコン IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS, AND PROGRAM
WO2021079504A1 (en) * 2019-10-25 2021-04-29 株式会社ニコン Image processing method, image processing device, and program
JPWO2021079504A1 (en) * 2019-10-25 2021-04-29
WO2021149430A1 (en) * 2020-01-22 2021-07-29 株式会社トプコン Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program
JP7503909B2 (en) 2020-01-22 2024-06-21 株式会社トプコン Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program
CN111686378A (en) * 2020-07-14 2020-09-22 上海联影医疗科技有限公司 Bed body movement precision detection method, device, equipment and storage medium
CN112233118A (en) * 2020-12-15 2021-01-15 南京可信区块链与算法经济研究院有限公司 Eye fundus lesion image identification method and system based on incremental learning
CN117297642A (en) * 2023-11-16 2023-12-29 广州卫视博生物科技有限公司 Method for measuring ocular axis of disease, size model of foldable artificial vitreous body saccule, method for determining injection amount of silicone oil, and storage medium

Also Published As

Publication number Publication date
JP4527471B2 (en) 2010-08-18

Similar Documents

Publication Publication Date Title
JP4527471B2 (en) 3D fundus image construction and display device
NL1027673C2 (en) Method for generating result images of a research object.
KR101609025B1 (en) Image processing apparatus, image processing method, and storage medium
CN102727258B (en) Image processing apparatus, ultrasonic photographing system, and image processing method
CN109008972A (en) The motion tracking system of real-time adaptive motion compensation in biomedical imaging
JP2009273597A (en) Alignment processing device, aligning method, program and storage medium
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
JP7334621B2 (en) OPHTHALMIC SYSTEM, IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS, AND PROGRAM
CN105046644B (en) Ultrasonic and CT image registration method and system based on linear correlation
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP3625064B2 (en) Fundus stereoscopic display and coordinate measuring device
JP2012161595A (en) Image processor and image processing method
JP2010259629A (en) Image processor, control method for the same, and program
KR20120112119A (en) Information processing apparatus, imaging system, and information processing method
JP6493877B2 (en) Reference point evaluation apparatus, method and program, and alignment apparatus, method and program
JP6038438B2 (en) Fundus image analysis apparatus, fundus image analysis method and program
JP7267337B2 (en) Image data processing of the eye
JP2016209399A (en) Image processing device and method, and computer program
CN111989030B (en) Image processing method, program, and image processing apparatus
EP1995695B1 (en) Projection image generation apparatus, method and program
JP2002034925A (en) Method and device for restoring three-dimensional fundus pattern from superposition of fundus images photographed from many directions
JP2015089477A (en) Image analysis device and method for determining ophthalmologic disease
JP6392190B2 (en) Image registration device, method of operating image registration device, and program
Galantucci et al. New 3D digitizer for human faces based on digital close range photogrammetry: Application to face symmetry analysis
EP4321101A1 (en) Patient motion detection in diagnostic imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100603

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees