JP6711617B2 - Image forming apparatus, image forming method and program thereof - Google Patents
Image forming apparatus, image forming method and program thereof Download PDFInfo
- Publication number
- JP6711617B2 JP6711617B2 JP2015256147A JP2015256147A JP6711617B2 JP 6711617 B2 JP6711617 B2 JP 6711617B2 JP 2015256147 A JP2015256147 A JP 2015256147A JP 2015256147 A JP2015256147 A JP 2015256147A JP 6711617 B2 JP6711617 B2 JP 6711617B2
- Authority
- JP
- Japan
- Prior art keywords
- confocal
- image
- signal
- calculation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 117
- 238000012545 processing Methods 0.000 claims description 113
- 238000012937 correction Methods 0.000 claims description 45
- 238000009826 distribution Methods 0.000 claims description 20
- 210000004204 blood vessel Anatomy 0.000 description 83
- 230000008569 process Effects 0.000 description 56
- 230000003287 optical effect Effects 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 210000001210 retinal vessel Anatomy 0.000 description 12
- 230000004075 alteration Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 8
- 210000001927 retinal artery Anatomy 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000000608 photoreceptor cell Anatomy 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 5
- 210000002565 arteriole Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 206010020772 Hypertension Diseases 0.000 description 3
- 238000010226 confocal imaging Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 210000004126 nerve fiber Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 2
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000008069 Geographic Atrophy Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 229940030600 antihypertensive agent Drugs 0.000 description 1
- 239000002220 antihypertensive agent Substances 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000012292 cell migration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000005130 cone cell inner segment Anatomy 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001711 oxyntic cell Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Description
本発明は画像形成装置、画像形成方法及びそのプログラムに関する。 The present invention relates to an image forming apparatus, an image forming method and a program thereof.
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。眼部の検査では、共焦点レーザー顕微鏡の原理を利用した眼科装置として走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）が用いられている。ＳＬＯは、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。また、ＳＬＯでは、開口部（ピンホール）内を通過した光のみを検出することで、特定の深度位置の戻り光のみを画像化でき、眼底カメラ等に比べてコントラストの高い画像を取得できる。 2. Description of the Related Art Eye examinations are widely performed for the purpose of early diagnosis of lifestyle-related diseases and diseases that are the leading causes of blindness. Scanning laser ophthalmoscope (SLO: Scanning Laser Ophthalmoscope) is used as an ophthalmologic apparatus utilizing the principle of a confocal laser microscope in the examination of the eye. The SLO is a device that raster-scans a fundus as a measurement light on the fundus and obtains a plane image with high resolution and high speed from the intensity of the returned light. Further, in SLO, by detecting only the light that has passed through the opening (pinhole), only the return light at a specific depth position can be imaged, and an image with a higher contrast than that of a fundus camera or the like can be acquired.
以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。 Hereinafter, an apparatus that captures such a plane image will be referred to as an SLO apparatus, and the plane image will be referred to as an SLO image.
近年、ＳＬＯ装置において、測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。 In recent years, it has become possible to obtain an SLO image of the retina with improved lateral resolution by increasing the beam diameter of measurement light in an SLO device. However, with the increase in the beam diameter of the measurement light, a decrease in the S/N ratio and the resolution of the SLO image due to the aberration of the eye to be examined has become a problem in acquiring the SLO image of the retina.
この問題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する、測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発されている。補償光学（ＡＯ：Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ）ＳＬＯ装置（ＡＯ−ＳＬＯ装置）を用いることで、高横分解能なＳＬＯ画像の取得することができる。 In order to solve this problem, the adaptive optics having an adaptive optics system in which the aberration of the eye to be inspected is measured in real time by the wavefront sensor and the aberration of the measurement light or its returning light generated in the eye is corrected by the wavefront correction device. SLO devices have been developed. By using an adaptive optics (AO: Adaptive Optics) SLO device (AO-SLO device), a high lateral resolution SLO image can be acquired.
このような高横分解能なＳＬＯ画像は動画像として取得することができる。そのため、例えば、血流動態を非侵襲に観察するために、動画像の各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などを計測することもできる。また、ＳＬＯ画像を用いて被検眼の毛細血管等と視機能との関連を評価するために、視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測を行うこともできる。図１は、このような高横分解能なＳＬＯ画像の概略的な例を示す。図１を参照すると、視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。 Such a high lateral resolution SLO image can be acquired as a moving image. Therefore, for example, in order to observe the blood flow dynamics non-invasively, it is possible to extract the retinal blood vessels from each frame of the moving image and then measure the blood cell migration speed in the capillaries. Further, in order to evaluate the relationship between the capillaries and the like of the eye to be examined and the visual function using the SLO image, it is possible to detect the photoreceptor cells P and then measure the density distribution and arrangement of the photoreceptor cells P. FIG. 1 shows a schematic example of such a high lateral resolution SLO image. Referring to FIG. 1, a low brightness area Q corresponding to the positions of photoreceptor cells P and capillaries and a high brightness area W corresponding to the positions of white blood cells can be observed.
ここで、図２に網膜を構成する各層を示す。ＳＬＯ画像において視細胞Ｐを観察する場合には、フォーカス位置を網膜外層(図２のＢ５)付近に設定して図１に示すようなＳＬＯ画像を撮影する。一方、網膜内層(図２のＢ２からＢ４)には網膜血管や分岐した毛細血管が走行している。そのため、フォーカス位置を網膜内層に設定して補償光学ＳＬＯ画像を取得すると、例えば網膜血管壁を直接観察できる。 Here, each layer which comprises a retina is shown in FIG. When observing the photoreceptor cells P in the SLO image, the focus position is set near the outer layer of the retina (B5 in FIG. 2) and an SLO image as shown in FIG. 1 is captured. On the other hand, retinal blood vessels and branched capillaries run in the inner layer of the retina (B2 to B4 in FIG. 2). Therefore, when the adaptive optics SLO image is acquired with the focus position set to the inner layer of the retina, for example, the retinal blood vessel wall can be directly observed.
しかし、網膜内層を撮影した共焦点画像では、神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。 However, in the confocal image of the inner layer of the retina, the noise signal is strong due to the influence of the light reflected from the nerve fiber layer, which may make it difficult to observe the blood vessel wall or detect the wall boundary.
そこで、近年は受光部手前にあるピンホールの径や形状、位置を変えることにより取得した散乱光に基づく非共焦点画像を観察する方法（Ｏｆｆｓｅｔ Ｐｉｎｈｏｌｅ法）が用いられるようになってきている。非共焦点画像ではフォーカス深度が大きいため、血管のように深度方向に凹凸のある物体の観察がしやすく、また神経線維層からの反射光を直接受光しにくくなることからノイズが低減される。 Therefore, in recent years, a method (Offset Pinhole method) for observing a non-confocal image based on scattered light acquired by changing the diameter, shape, and position of the pinhole in front of the light receiving unit has been used. Since the depth of focus is large in a non-confocal image, it is easy to observe an object having irregularities in the depth direction such as a blood vessel, and it becomes difficult to directly receive the reflected light from the nerve fiber layer, so that noise is reduced.
非特許文献１は、このようなＡＯ−ＳＬＯ装置のピンホールの開口部の位置や径を手動で調節した上で散乱光を受光することにより、網膜血管壁を可視化する非共焦点撮影技術を開示している。 Non-Patent Document 1 discloses a non-confocal imaging technique that visualizes the retinal blood vessel wall by receiving scattered light after manually adjusting the position and diameter of the opening of the pinhole of such an AO-SLO device. Disclosure.
また、同様の目的で、ピンホールなどの開口部を２分割して２種類の散乱光を略同時に取得する非共焦点撮影法（Ｓｐｌｉｔ Ｄｅｔｅｃｔｉｏｎ法）も開発されている。これに関連し、非特許文献２は、ＡＯ−ＳＬＯ装置のピンホールの開口部を円周方向に８か所等間隔に移動させて視細胞を撮影する技術を開示している。 For the same purpose, a non-confocal imaging method (Split Detection method) has also been developed in which an opening such as a pinhole is divided into two and two types of scattered light are acquired substantially at the same time. In this regard, Non-Patent Document 2 discloses a technique of moving a pinhole of an AO-SLO device at eight equal intervals in the circumferential direction to photograph photoreceptor cells.
一方、ＡＯ−ＳＬＯ装置で観察される網膜動脈は、血管径が約１０〜１００μｍ程度の細動脈であり、その壁は内膜・中膜・外膜から構成されている。さらに中膜は、平滑筋細胞で構成されており、血管の周囲方向へコイル状に走行している。高血圧症などを背景として網膜動脈壁にかかる圧力が増大すると、平滑筋が収縮して網膜動脈壁の壁厚が増加する。この時点では、降圧剤を服用するなどして血圧を下げれば網膜動脈壁の形状は元に戻る。しかし、高血圧のまま長期間放置すると、中膜を構成する平滑筋細胞が壊死するとともに中外膜の繊維性肥厚が生じて動脈の壁厚が増加していく。この場合には、既に網膜動脈壁に器質的（非可逆）な障害が生じており、細動脈障害がこれ以上進行しないように継続的に治療を行う必要がある。 On the other hand, the retinal artery observed by the AO-SLO device is an arteriole having a blood vessel diameter of about 10 to 100 μm, and its wall is composed of an intima, a media and an adventitia. Furthermore, the media is composed of smooth muscle cells, and runs in a coil shape in the circumferential direction of blood vessels. When the pressure applied to the retinal artery wall increases due to hypertension or the like, the smooth muscle contracts and the wall thickness of the retinal artery wall increases. At this point, the shape of the retinal artery wall will return to its original shape if the blood pressure is lowered by taking an antihypertensive agent. However, if left as it is for a long time with hypertension, smooth muscle cells composing the media are necrotized and fibrous thickening of the media adventitia is caused to increase the wall thickness of the artery. In this case, organic (irreversible) damage has already occurred in the retinal artery wall, and continuous treatment must be performed to prevent further progression of arteriole damage.
網膜動脈は全身の細動脈のうち直接観察可能な唯一の組織である。そのため、高血圧や糖尿病などの有病者の体内における細動脈の器質的変化の有無や程度を推定するために、ＡＯ−ＳＬＯ装置では網膜動脈の壁や膜を明瞭に描出することが望まれている。 The retinal artery is the only directly observable tissue in the arterioles of the whole body. Therefore, in order to estimate the presence or absence and the degree of organic change of arterioles in the body of a person suffering from hypertension, diabetes, etc., it is desired to clearly delineate the walls and membranes of retinal arteries with the AO-SLO device. There is.
しかしながら、Ｏｆｆｓｅｔ Ｐｉｎｈｏｌｅ法においては、１回の撮影では血管の走行方向から見て左右に存在する血管壁のうち片側の血管壁しか明瞭に描出できないという問題があった。この点に関し、非特許文献１にも、左右両側の血管壁を明瞭に描出する技術については開示されていない。なお、以下において、血管壁に関する左右とは、撮影された画像における血管の走行方向から見た左右を意味するものとして記載する。 However, the Offset Pinhole method has a problem that only one blood vessel wall among the blood vessel walls existing on the left and right when viewed from the running direction of the blood vessel can be clearly drawn in one imaging. In this regard, Non-Patent Document 1 also does not disclose a technique for clearly depicting the blood vessel walls on the left and right sides. In the following, the left and right with respect to the blood vessel wall will be described as meaning the left and right as seen from the running direction of the blood vessel in the captured image.
また、同様に、Ｓｐｌｉｔ Ｄｅｔｅｃｔｉｏｎ法においても、１種類の非共焦点信号では左右両側の血管壁のうち片側の血管壁しか明瞭に描出されないという問題があった。この点に関し、非特許文献２にも、左右両側の血管壁を明瞭に描出する技術については開示されていない。 Similarly, in the Split Detection method, there is a problem in that one type of non-confocal signal can clearly depict only one blood vessel wall of the left and right blood vessel walls. In this regard, Non-Patent Document 2 also does not disclose a technique for clearly depicting the blood vessel walls on the left and right sides.
本発明は上記の問題に鑑みてなされたものであり、血管壁領域が左右両側とも明瞭に描出された画像を形成する画像形成装置、画像形成方法及びそのプログラムを提供する。 The present invention has been made in view of the above problems, and provides an image forming apparatus, an image forming method, and a program for forming an image in which a blood vessel wall region is clearly drawn on both left and right sides.
本発明の一実施態様による画像形成装置は、画像を形成する画像形成装置であって、それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得する信号取得部と、前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する補正部と、前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行う演算部と、演算部による演算結果に基づいて、形成する画像の各画素値を決定する決定部とを備え、前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である。 The image forming apparatus according to an embodiment of the present invention is an image forming apparatus for forming an image, each of which forms a non-confocal image of the eye, the first that area dividing returned light from the eye A signal acquisition unit that acquires a non-confocal signal and a second non-confocal signal, a first non-confocal image generated from the first non-confocal signal, and a second non-confocal signal And a correction unit that corrects the positional relationship between the first non-confocal signal and the second non-confocal signal so that the positions of the pixels of the second non-confocal image are adjusted. A calculation unit that performs a maximum value calculation using the first non-confocal signal and the second non-confocal signal, and a determination that determines each pixel value of the image to be formed based on the calculation result by the calculation unit. The first non-confocal signal and the second non-confocal signal, which are provided with a section and whose positional relationship is corrected, are signals acquired at the same time.
また、本発明の一実施態様による画像処理方法は、画像を形成する画像形成方法であって、それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得することと、前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正することと、前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行うことと、前記最大値演算の演算結果に基づいて、形成する画像の各画素値を決定することを含み、前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である。
The image processing method according to an embodiment of the present invention is an image forming method for forming an image, each of which forms a non-confocal image of the eye, the said divided into regions the return light from the eye Acquiring a first non-confocal signal and a second non-confocal signal, and generating a first non-confocal image generated from the first non-confocal signal and the second non-confocal signal And correcting the positional relationship between the first non-confocal signal and the second non-confocal signal so that the positions of the respective pixels of the second non-confocal image are adjusted. Performing a maximum value calculation using the first non-confocal signal and the second non-confocal signal, and determining each pixel value of an image to be formed based on the calculation result of the maximum value calculation. And the first non-confocal signal and the second non-confocal signal whose positional relationship is corrected are signals that are simultaneously acquired.
本発明によれば、血管壁領域が左右両側とも明瞭に描出された画像を形成できる画像形成装置、画像形成方法及びそのプログラムが提供される。 According to the present invention, there are provided an image forming apparatus, an image forming method, and a program thereof capable of forming an image in which a blood vessel wall region is clearly drawn on both left and right sides.
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。さらに、以下において、分割された非共焦点信号をそれぞれ、異なる種類の非共焦点信号といい、当該異なる種類の非共焦点信号に基づく非共焦点画像を、異なる種類の非共焦点画像という。これに関し、例えば、４つに分割された非共焦点信号を４種類の非共焦点信号という。また、例えば、４つに分割された非共焦点信号のうち２つを合わせて得た非共焦点信号も１種類の非共焦点信号として扱う。さらに、分割された非共焦点信号のことをそれぞれ、信号種ともいう。さらに、演算する値のうちより大きい値を選択する（求める）演算を最大値演算という。 Hereinafter, exemplary embodiments for carrying out the present invention will be described in detail with reference to the drawings. However, dimensions, materials, shapes, relative positions of constituent elements, and the like described in the following embodiments are arbitrary and can be changed according to the configuration of the apparatus to which the present invention is applied or various conditions. Also, in the drawings, the same reference numerals are used in the drawings to denote the same or functionally similar elements. Further, hereinafter, the divided non-confocal signals are referred to as different types of non-confocal signals, and non-confocal images based on the different types of non-confocal signals are referred to as different types of non-confocal images. In this regard, for example, the four non-confocal signals divided into four are referred to as four types of non-confocal signals. Further, for example, a non-confocal signal obtained by combining two out of four non-confocal signals is also treated as one type of non-confocal signal. Further, each of the divided non-confocal signals is also referred to as a signal type. Further, a calculation for selecting (determining) a larger value among the calculated values is called maximum value calculation.
［第１実施形態］
本発明の第１実施形態に係る画像形成装置は、共焦点画像と２種類の非共焦点画像を取得するＳＬＯ装置を用いて網膜血管壁の画像を形成する場合に、以下の処理を行う。すなわち、２種類の非共焦点画像間の視差を低減するために両画像を位置合わせした後、各画素位置で両画像の画素値について最大値演算した結果に基づいて画像を形成する。これにより、本実施形態に係る画像形成装置は、画像内にぼけや偽像が発生するのを抑制しつつ、左右両側の血管壁の視認性が高い画像を形成することができる。
[First Embodiment]
The image forming apparatus according to the first embodiment of the present invention performs the following processing when forming an image of a retinal blood vessel wall using an SLO device that acquires a confocal image and two types of non-confocal images. That is, both images are aligned in order to reduce the parallax between the two types of non-confocal images, and then an image is formed based on the result of the maximum value calculation of the pixel values of both images at each pixel position. As a result, the image forming apparatus according to the present embodiment can form an image with high visibility of blood vessel walls on the left and right sides while suppressing blurring and false images in the image.
（全体構成）
図３は、本実施形態に係る画像形成装置１０を含むシステムの概略的な構成例を示す。図３に示すように、画像形成装置１０は、ＳＬＯ装置２０、データサーバ４０及び時相データ取得装置５０とＬＡＮ（ローカル・エリア・ネットワーク）３０を介して接続されている。ＬＡＮ３０は、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成される。なお、これらの機器の接続は、インターネット等の外部ネットワークを介した接続であってもよいし、あるいは直接的な接続であってもよい。
(overall structure)
FIG. 3 illustrates a schematic configuration example of a system including the image forming apparatus 10 according to the present exemplary embodiment. As shown in FIG. 3, the image forming apparatus 10 is connected to the SLO device 20, the data server 40, and the temporal data acquisition device 50 via a LAN (Local Area Network) 30. The LAN 30 is composed of an optical fiber, USB, IEEE 1394, or the like. The connection of these devices may be via an external network such as the Internet, or may be a direct connection.
ＳＬＯ装置２０は、眼部の広画角画像Ｄｌ、並びに高倍率な画像である共焦点画像Ｄｃ及び非共焦点画像Ｄｎを撮像する。ＳＬＯ装置２０は、広画角画像Ｄｌ、共焦点画像Ｄｃ及び非共焦点画像Ｄｎ、並びにその撮影時に用いた固視標位置Ｆｌ，Ｆｃｎの情報を画像形成装置１０及びデータサーバ４０へ送信する。 The SLO device 20 captures a wide-angle image Dl of the eye part, and a high-magnification confocal image Dc and a non-confocal image Dn. The SLO device 20 transmits the wide-angle image Dl, the confocal image Dc, the non-confocal image Dn, and the fixation target positions Fl and Fcn used at the time of imaging to the image forming device 10 and the data server 40.
時相データ取得装置５０は、自律的に変化する生体信号データ(時相データ)を取得する装置であり、例えば脈波計もしくは心電計を含む。時相データ取得装置５０は、不図示の操作者による操作に応じて、ＳＬＯ装置２０による広画角画像Ｄｌや共焦点画像Ｄｃ及び非共焦点画像Ｄｎの取得と同時に時相データＰｉを取得する。時相データ取得装置５０は、得られた時相データＰｉを画像形成装置１０及びデータサーバ４０へ送信する。なお、時相データ取得装置５０は、ＳＬＯ装置２０に直接接続されてもよい。 The time phase data acquisition device 50 is a device that acquires biological signal data (time phase data) that changes autonomously, and includes, for example, a pulse wave meter or an electrocardiograph. The time-phase data acquisition device 50 acquires the time-phase data Pi at the same time when the SLO device 20 acquires the wide-angle image Dl, the confocal image Dc, and the non-confocal image Dn according to an operation by an operator (not shown). .. The time phase data acquisition device 50 transmits the obtained time phase data Pi to the image forming apparatus 10 and the data server 40. The time phase data acquisition device 50 may be directly connected to the SLO device 20.
ここで、各画像を異なる撮影位置で取得する場合には、各撮像位置で取得された画像を広画角画像Ｄｌｉや共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｋ等のように表す。すなわち、これら参照符号のｉ，ｊ，ｋは各々撮影位置（撮影位置番号）を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘ、ｋ＝１，２，．．．，ｋｍａｘとする。 Here, when each image is acquired at a different shooting position, the image acquired at each imaging position is represented as a wide-angle image Dli, a confocal image Dcj, a non-confocal image Dnk, or the like. That is, these reference symbols i, j, and k are variables indicating the shooting position (shooting position number), and i=1, 2,. ． ． , Imax, j=1, 2,. ． ． , Jmax, k=1, 2,. ． ． , Kmax.
データサーバ４０は、ＳＬＯ装置２０が出力する被検眼の広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、及びその撮影時に用いた固視標位置Ｆｌ，Ｆｃｎのような撮像条件データなどを保持する。また、データサーバ４０は、時相データ取得装置５０が出力する時相データＰｉ、及び画像形成装置１０が出力する眼部の画像や当該眼部の画像特徴なども保持する。本実施形態では眼部の画像特徴として、網膜血管、網膜血管壁、網膜血管の中心線及び血管壁を構成する膜や壁細胞に関する画像特徴を扱う。また、データサーバ４０は、画像形成装置１０からの要求に応じ、保持している広画角画像Ｄｌ、共焦点画像Ｄｃ、非共焦点画像Ｄｎ、時相データＰｉ及び眼部の画像特徴を画像形成装置１０に送信する。 The data server 40 includes imaging condition data such as the wide-angle image Dl of the eye to be inspected, the confocal image Dc, the non-confocal image Dn output by the SLO device 20, and the fixation target positions Fl and Fcn used during the imaging. And so on. The data server 40 also holds the time phase data Pi output by the time phase data acquisition device 50, the image of the eye part output by the image forming apparatus 10, the image feature of the eye part, and the like. In this embodiment, the image features of the retinal blood vessel, the retinal blood vessel wall, the center line of the retinal blood vessel, and the membranes and parietal cells constituting the blood vessel wall are handled as the image features of the eye part. In addition, the data server 40, in response to a request from the image forming apparatus 10, images the wide-angle image Dl, the confocal image Dc, the non-confocal image Dn, the time phase data Pi, and the image features of the eye portion that are held. It is transmitted to the forming device 10.
画像形成装置１０は、ＳＬＯ装置２０で取得された共焦点画像Ｄｃや非共焦点画像Ｄｎ、データサーバ４０に保持されたデータ並びに時相データ取得装置５０で取得された時相データＰｉ等を用いて、網膜血管壁を含む画像を形成する。形成した画像は、不図示の画像表示装置に表示したり、データサーバ４０に保存することができる。 The image forming apparatus 10 uses the confocal image Dc and the non-confocal image Dn acquired by the SLO apparatus 20, the data held in the data server 40, the time phase data Pi acquired by the time phase data acquisition apparatus 50, and the like. To form an image including the retinal blood vessel wall. The formed image can be displayed on an image display device (not shown) or stored in the data server 40.
次に、図４及び５を用いて、補償光学系を適用したＳＬＯ装置２０を説明する。ＳＬＯ装置２０には、ＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）２０１、ビームスプリッタ２０２，２０３、補償光学系２０４及びＸ−Ｙ走査ミラー２０５が設けられている。ＳＬＯ装置２０にはさらに、シャックハルトマン波面センサ２０６、フォーカスレンズ２０９、絞り２１０、光センサ２１１、画像形成部２１２及び出力部２１３が設けられている。 Next, an SLO device 20 to which an adaptive optics system is applied will be described with reference to FIGS. The SLO device 20 is provided with an SLD (Super Luminescent Diode) 201, beam splitters 202 and 203, an adaptive optical system 204, and an XY scanning mirror 205. The SLO device 20 is further provided with a Shack-Hartmann wavefront sensor 206, a focus lens 209, a diaphragm 210, an optical sensor 211, an image forming unit 212, and an output unit 213.
ＳＬＤ２０１は光源であり、ＳＬＤ２０１から出射された光は被検眼Ｅの眼底Ｅｒで反射される。眼底Ｅｒからの戻り光の一部は、第二のビームスプリッタ２０３を経由してシャックハルトマン波面センサ２０６へ入力され、それ以外の戻り光は第一のビームスプリッタ２０２を経由して光センサ２１１へ入力される。 The SLD 201 is a light source, and the light emitted from the SLD 201 is reflected by the fundus Er of the eye E to be examined. Part of the return light from the fundus Er is input to the Shack-Hartmann wavefront sensor 206 via the second beam splitter 203, and the other return light is input to the optical sensor 211 via the first beam splitter 202. Is entered.
Ｘ−Ｙ走査ミラー２０５は、ＳＬＤ２０１から出射された光の眼底上での走査位置を制御することができる。 The XY scanning mirror 205 can control the scanning position on the fundus of the light emitted from the SLD 201.
シャックハルトマン波面センサ２０６には、レンズアレイ２０７及びＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０８が設けられており、ＣＣＤ２０８はレンズアレイ２０７に接続されている。 The Shack-Hartmann wavefront sensor 206 is provided with a lens array 207 and a CCD (Charge-Coupled Device) 208, and the CCD 208 is connected to the lens array 207.
シャックハルトマン波面センサ２０６への入射光がレンズアレイ２０７を透過するとＣＣＤ２０８に輝点群が現れる。シャックハルトマン波面センサ２０６は、ＣＣＤ２０８に投影された輝点の所定位置からの位置ずれに基づいて、被検眼Ｅの波面収差を測定する。また、シャックハルトマン波面センサ２０６は、測定した波面収差に関する情報を補償光学系２０４に送る。 When the light incident on the Shack-Hartmann wavefront sensor 206 passes through the lens array 207, a bright spot group appears on the CCD 208. The Shack-Hartmann wavefront sensor 206 measures the wavefront aberration of the subject's eye E based on the displacement of the bright spot projected on the CCD 208 from the predetermined position. The Shack-Hartmann wavefront sensor 206 also sends information about the measured wavefront aberration to the adaptive optics 204.
補償光学系２０４には、既知の収差補正デバイスである、可変形状ミラー又は空間光位相変調器が設けられている。補償光学系２０４は、シャックハルトマン波面センサ２０６から受け取った波面収差に関する情報に基づき、収差補正デバイスを駆動して、被検眼Ｅからの戻り光に含まれる被検眼Ｅの収差を補正する。補償光学系２０４によって被検眼Ｅの収差が補正された戻り光は、フォーカスレンズ２０９及び絞り２１０を経由し光センサ２１１にて受光される。 The adaptive optics 204 is provided with a known aberration correction device such as a deformable mirror or a spatial light phase modulator. The adaptive optics system 204 drives the aberration correction device based on the information about the wavefront aberration received from the Shack-Hartmann wavefront sensor 206, and corrects the aberration of the eye E included in the return light from the eye E. The return light in which the aberration of the subject's eye E is corrected by the adaptive optical system 204 is received by the optical sensor 211 via the focus lens 209 and the diaphragm 210.
光センサ２１１は、被検眼Ｅからの戻り光を受光して電気信号を生成し、画像形成部２１２に送る。 The optical sensor 211 receives the return light from the eye E to be examined, generates an electric signal, and sends the electric signal to the image forming unit 212.
なお、ＳＬＯ装置２０は、不図示の入力装置等を介して、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。 The SLO device 20 acquires the data of the imaging target area and time (frame rate×number of frames) designated in advance by the operator via an input device (not shown) or the like.
画像形成部２１２は、当該撮影対象領域等のデータを用いて、走査速度のばらつきに起因する画像歪みの補正や輝度値の補正を行って、光センサ２１１からの受け取った電気信号から画像データ（動画像もしくは静止画像）を形成する。画像形成部２１２は、形成した画像を出力部２１３に送る。 The image forming unit 212 performs correction of image distortion due to variations in scanning speed and luminance value correction using the data of the imaging target area and the like, and the image data (from the electric signal received from the optical sensor 211 A moving image or a still image). The image forming unit 212 sends the formed image to the output unit 213.
出力部２１３は、画像形成部２１２から受け取った画像データを画像形成装置１０やデータサーバ４０等に出力する。なお、出力部２１３は、ＳＬＯ装置２０に設けられた不図示の画像表示装置に当該画像を表示させてもよい。 The output unit 213 outputs the image data received from the image forming unit 212 to the image forming apparatus 10, the data server 40, or the like. The output unit 213 may display the image on an image display device (not shown) provided in the SLO device 20.
ＳＬＯ装置２０において、共焦点画像Ｄｃと非共焦点画像Ｄｎを取得可能な構成であれば、図４に示すような絞り２１０及び光センサ２１１の部分は任意の構成にしてよい。本実施形態では、絞り２１０及び光センサ２１１の部分は、図５に示すように、遮光部２１０−１及び光センサ２１１−１、２１１−２、２１１−３を含む。ここで、図５は、本実施形態におけるＳＬＯ装置２０の絞り２１０及び光センサ２１１の概略的な構成を示す。 As long as the SLO device 20 has a configuration capable of acquiring the confocal image Dc and the non-confocal image Dn, the diaphragm 210 and the optical sensor 211 as shown in FIG. 4 may have arbitrary configurations. In the present embodiment, the diaphragm 210 and the optical sensor 211 portion include a light shielding unit 210-1 and optical sensors 211-1 211-2, 211-3 as shown in FIG. Here, FIG. 5 shows a schematic configuration of the diaphragm 210 and the optical sensor 211 of the SLO device 20 in the present embodiment.
図６（ａ）を参照して本実施形態における遮光部２１０−１を説明する。図６（ａ）乃至（ｈ）は、絞り２１０（遮光部２１０−１）の構成例を示す。なお、図６（ａ）乃至（ｈ）において、本実施形態に係る遮光部２１０−１を図６（ａ）に示し、絞り２１０（遮光部２１０−１）の変形例を図６（ｂ）乃至（ｈ）に示す。 The light shielding unit 210-1 in this embodiment will be described with reference to FIG. 6A to 6H show a configuration example of the diaphragm 210 (light blocking portion 210-1). 6A to 6H, the light shielding unit 210-1 according to the present embodiment is shown in FIG. 6A, and a modified example of the diaphragm 210 (light shielding unit 210-1) is shown in FIG. 6B. To (h).
本実施形態における遮光部２１０−１は、反射領域２１０−１−１、透過領域２１０−１−２，２１０−１−３及び透過領域を分割する遮光領域（太線部分）で形成される。遮光部２１０−１は、図５に示すように、ＳＬＯ光学系の結像面に配置され、遮光部２１０−１の中心が戻り光ＲＬの光軸中心に位置するように配置される。遮光部２１０−１は、戻り光ＲＬの光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを有する。 The light shielding unit 210-1 in the present embodiment is formed of a reflection region 210-1-1, transmission regions 210-1-2 and 210-1-3, and a light shielding region (thick line portion) dividing the transmission region. As shown in FIG. 5, the light shielding unit 210-1 is arranged on the image plane of the SLO optical system, and is arranged so that the center of the light shielding unit 210-1 is located at the optical axis center of the return light RL. The light blocking unit 210-1 has an elliptical pattern that is circular when viewed obliquely from the optical axis of the return light RL when viewed from the optical axis direction.
図５に示すように、結像面に配置された遮光部２１０−１に入射した戻り光ＲＬの一部は、遮光部２１０−１の中心部分に位置する反射領域２１０−１−１によって反射されて光センサ２１１−１に入射する。一方、遮光部２１０−１の透過領域２１０−１−２及び２１０−１−３を通過した戻り光ＲＬは、結像面に配置されたプリズム２１０−２によって分割され、図５に示すように、光センサ２１１−２，２１１−３へそれぞれ入射する。 As shown in FIG. 5, a part of the return light RL that is incident on the light blocking section 210-1 arranged on the image plane is reflected by the reflection region 210-1-1 located in the central portion of the light blocking section 210-1. It is incident on the optical sensor 211-1. On the other hand, the return light RL that has passed through the transmissive regions 210-1-2 and 210-1-3 of the light blocking unit 210-1 is split by the prism 210-2 arranged on the image plane, as shown in FIG. , And enters the optical sensors 211-2 and 211-3, respectively.
各光センサ２１１−１，２１１−２，２１１−３は戻り光ＲＬを受光し電圧信号を生成する。各光センサ２１１−１，２１１−２，２１１−３で生成された電圧信号は画像形成部２１２に送られ、画像形成部２１２内のＡＤボードにてデジタル値に変換された後に２次元画像に変換される。 Each of the optical sensors 211-1, 211-2, 211-3 receives the return light RL and generates a voltage signal. The voltage signal generated by each of the optical sensors 211-1, 211-2, 211-3 is sent to the image forming unit 212, converted into a digital value by the AD board in the image forming unit 212, and then converted into a two-dimensional image. To be converted.
ここで、光センサ２１１−１に入射された光に基づいて生成されたデジタル信号は深度方向における特定の狭い範囲に焦点を合わせた共焦点信号となり、当該共焦点信号から形成された画像が共焦点画像である。また、光センサ２１１−２及び２１１−３に入射された光に基づいて生成されたデジタル信号は、深度方向における広い範囲に焦点を合わせた非共焦点信号となり、当該非共焦点信号から形成された画像が非共焦点画像である。従って、ＳＬＯ装置２０は、遮光部２１０−１を用いて、被検眼Ｅからの戻り光を分割し、分割した光から共焦点画像及び２種類の非共焦点画像を取得する。 Here, the digital signal generated based on the light incident on the optical sensor 211-1 becomes a confocal signal focused on a specific narrow range in the depth direction, and an image formed from the confocal signal is co-focused. It is a focused image. Further, the digital signal generated based on the light incident on the optical sensors 211-2 and 211-3 becomes a non-confocal signal focused in a wide range in the depth direction, and is formed from the non-confocal signal. The image is a non-confocal image. Therefore, the SLO device 20 divides the return light from the eye E by using the light shielding unit 210-1, and acquires a confocal image and two types of non-confocal images from the divided light.
なお、非共焦点信号の分割方法はこれに限られるものではなく、非共焦点信号を２以上の任意の数に分割し、分割数に応じた数の光センサを用いる構成としてよい。例えば、図６（ｂ）に示すように透過領域を４つに分割した遮光部を用いて非共焦点信号を４つに分割したり、図６（ｃ）に示すような透過領域を８つに分割した遮光部を用いて非共焦点信号を８つに分割してもよい。また、反射領域を設けずに、図６（ｄ）、（ｅ）及び（ｆ）にそれぞれ示すように透過領域を２つ、４つ又は８つに分割し、複数の種類の非共焦点信号のみを略同時に取得するよう構成してもよい。 The method for dividing the non-confocal signal is not limited to this, and the non-confocal signal may be divided into an arbitrary number of 2 or more and the number of photosensors according to the division number may be used. For example, as shown in FIG. 6B, a non-confocal signal is divided into four by using a light-shielding portion obtained by dividing the transmission area into four, or eight transmission areas as shown in FIG. The non-confocal signal may be divided into eight using the light-shielding portion divided into. Further, without providing a reflective area, the transmissive area is divided into two, four, or eight as shown in FIGS. 6D, 6E, and 6F, respectively, and a plurality of types of non-confocal signals are obtained. It may be configured such that only the above are acquired substantially at the same time.
さらに、共焦点信号及び非共焦点信号を取得する方法はこれに限定されるものではない。例えば、絞り２１０（開口部）の径や位置を可変としてもよい。この場合、例えば、図６（ｇ）に示すように開口部の径を小さくし共焦点信号を取得したり、図６（ｈ）に示すように開口部の径を大きくし非共焦点信号を取得するように、開口部の径や位置を調節することができる。なお、開口部の径や移動量は任意に設定してよい。例えば、図６（ｇ）に示すように開口部の径を１ＡＤＤ（Ａｉｒｙ Ｄｉｓｃ Ｄｉａｍｅｔｅｒ）程度に設定したり、図６（ｈ）に示すように開口部の径を１０ＡＤＤ程度に設定したり、移動量を６ＡＤＤ程度に設定することができる。 Furthermore, the method of acquiring the confocal signal and the non-confocal signal is not limited to this. For example, the diameter and position of the diaphragm 210 (opening) may be variable. In this case, for example, the diameter of the opening is reduced to obtain a confocal signal as shown in FIG. 6(g), or the diameter of the opening is increased to obtain a non-confocal signal as shown in FIG. 6(h). The diameter and position of the openings can be adjusted to obtain. The diameter of the opening and the amount of movement may be set arbitrarily. For example, as shown in FIG. 6(g), the diameter of the opening is set to about 1 ADD (Airy Disc Diameter), or as shown in FIG. 6(h), the diameter of the opening is set to about 10 ADD. The amount can be set to about 6 ADD.
本実施形態では、非共焦点信号は２つに分割されるため、非共焦点信号は２種類ある。そのため、以下においては便宜上、片側の非共焦点信号から形成される非共焦点画像をＲチャンネルの非共焦点画像Ｄｎｒとし、もう一方の非共焦点信号から形成される非共焦点画像をＬチャンネルの非共焦点画像Ｄｎｌとする。また、非共焦点画像Ｄｎと表記する場合は、Ｒチャンネルの非共焦点画像Ｄｎｒ及びＬチャンネルの非共焦点画像Ｄｎｌの両方を指す。 In this embodiment, since the non-confocal signal is divided into two, there are two types of non-confocal signals. Therefore, in the following, for convenience, the non-confocal image formed from the non-confocal signal on one side will be referred to as the R channel non-confocal image Dnr, and the non-confocal image formed from the other non-confocal signal will be referred to as the L channel. Non-confocal image Dnl. In addition, when described as a non-confocal image Dn, it refers to both the R-channel non-confocal image Dnr and the L-channel non-confocal image Dnl.
また、図４に示す走査光学系（Ｘ−Ｙ走査ミラー２０５）の振り角を大きくし、補償光学系２０４が収差補正を行わないよう指示することによって、ＳＬＯ装置２０は通常のＳＬＯ装置として動作し、広画角画像を取得することもできる。 Further, by increasing the swing angle of the scanning optical system (XY scanning mirror 205) shown in FIG. 4 and instructing the adaptive optical system 204 not to perform aberration correction, the SLO device 20 operates as a normal SLO device. However, it is also possible to acquire a wide-angle image.
なお、以下では、高倍率な画像である共焦点画像Ｄｃ及び非共焦点画像Ｄｎよりも低倍率で、画像形成装置１０がＳＬＯ装置２０から取得した画像の中で最も低倍率な画像のことを広画角画像Ｄｌ（Ｄｌｃ、Ｄｌｎ）とする。広画角画像Ｄｌは、補償光学が適用されたＳＬＯ画像の場合もあるし、単なるＳＬＯ画像の場合も含まれる。 In the following, the image with the lowest magnification among the images acquired from the SLO device 20 by the image forming apparatus 10 has a lower magnification than the confocal image Dc and the non-confocal image Dn that are high-magnification images. A wide-angle image Dl (Dlc, Dln) is set. The wide-angle image Dl may be an SLO image to which adaptive optics is applied, or may be a simple SLO image.
次に、図７を用いて画像形成装置１０のハードウェア構成について説明する。図７に示すように、画像形成装置１０には、中央演算処理装置（ＣＰＵ）３０１、メモリ（ＲＡＭ）３０２、制御メモリ（ＲＯＭ）３０３、外部記憶装置３０４、モニタ３０５、キーボード３０６、マウス３０７及びインターフェース３０８が設けられている。 Next, the hardware configuration of the image forming apparatus 10 will be described with reference to FIG. As shown in FIG. 7, the image forming apparatus 10 includes a central processing unit (CPU) 301, a memory (RAM) 302, a control memory (ROM) 303, an external storage device 304, a monitor 305, a keyboard 306, a mouse 307, and An interface 308 is provided.
外部記憶装置３０４は、本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータを記憶している。ＣＰＵ３０１は、バス３０９を通じて、外部記憶装置３０４に記憶されたこれらの制御プログラムやデータを適宜ＲＡＭ３０２に取り込み、制御プログラムを実行することで、以下に説明する各部として機能する。 The external storage device 304 stores a control program for realizing the image processing function according to the present embodiment and data used when the control program is executed. The CPU 301 functions as each unit described below by fetching these control programs and data stored in the external storage device 304 into the RAM 302 via the bus 309 and executing the control programs.
図８を参照して、本実施形態に係る画像形成装置１０の機能構成例を説明する。図８は画像形成装置１０の概略的な機能構成例を示すブロック図である。画像形成装置１０には、信号取得部１１０、記憶部１２０、画像処理部１３０及び指示取得部１４０が設けられている。 An example of the functional configuration of the image forming apparatus 10 according to this embodiment will be described with reference to FIG. 8. FIG. 8 is a block diagram showing a schematic functional configuration example of the image forming apparatus 10. The image forming apparatus 10 includes a signal acquisition unit 110, a storage unit 120, an image processing unit 130, and an instruction acquisition unit 140.
信号取得部１１０には、共焦点データ取得部１１１、非共焦点データ取得部１１２及び時相データ取得部１１３が設けられている。共焦点データ取得部１１１はＳＬＯ装置２０に対して高倍率な画像である共焦点画像Ｄｃｊの取得を要求する。また、非共焦点データ取得部１１２は、同様に、ＳＬＯ装置２０に対して高倍率な画像である非共焦点画像Ｄｎｒｋ，Ｄｎｌｋの取得を要求する。なお、信号取得部１１０は、ＳＬＯ装置２０に対し、これらの画像に対応する固視標位置Ｆｌ，Ｆｃｎの取得も併せて要求する。時相データ取得部１１３は、時相データ取得装置５０に対して生体信号に関する時相データＰｉの取得を要求する。信号取得部１１０は、取得したこれらの画像及びデータを記憶部１２０に格納する。 The signal acquisition unit 110 is provided with a confocal data acquisition unit 111, a non-confocal data acquisition unit 112, and a time phase data acquisition unit 113. The confocal data acquisition unit 111 requests the SLO device 20 to acquire a confocal image Dcj that is a high-magnification image. Similarly, the non-confocal data acquisition unit 112 requests the SLO device 20 to acquire non-confocal images Dnrk and Dnlk, which are high-magnification images. The signal acquisition unit 110 also requests the SLO device 20 to acquire the fixation target positions Fl and Fcn corresponding to these images. The time phase data acquisition unit 113 requests the time phase data acquisition device 50 to acquire the time phase data Pi regarding the biological signal. The signal acquisition unit 110 stores these acquired images and data in the storage unit 120.
画像処理部１３０には、位置合わせ部１３１、補正部１３２、演算部１３３、特徴量算出部１３４、決定部１３５、表示制御部１３６及び保存部１３７が設けられている。 The image processing unit 130 is provided with a registration unit 131, a correction unit 132, a calculation unit 133, a feature amount calculation unit 134, a determination unit 135, a display control unit 136, and a storage unit 137.
位置合わせ部１３１は、記憶部１２０に格納された各動画像のフレーム間の位置合わせを行う。 The alignment unit 131 aligns the frames of each moving image stored in the storage unit 120.
補正部１３２には、異種信号位置合わせ部１３２１及び輝度補正部１３２２が設けられている。異種信号位置合わせ部１３２１は、取得した２種類の非共焦点画像に関し、位置合わせ部１３１でフレーム間の位置合わせが行われた動画像から生成された、それぞれの重ね合わせ画像間の位置合わせを行う。輝度補正部１３２２は、これら画像間の輝度分布が大きく異なっている場合に、両画像間の輝度分布を揃えるように調整する。 The correction unit 132 is provided with a heterogeneous signal alignment unit 1321 and a brightness correction unit 1322. The heterogeneous signal alignment unit 1321 performs alignment between the respective superimposed images generated from the moving images in which the alignment between the frames has been performed by the alignment unit 131 with respect to the acquired two types of non-confocal images. To do. The brightness correction unit 1322 adjusts the brightness distributions of both images to be uniform when the brightness distributions of these images are significantly different.
演算部１３３は、補正部１３２によって画像間の位置合わせがなされた２種類の非共焦点画像の各画素位置において、該画素位置に対応する非共焦点信号間の演算処理を行う。本実施形態では、当該非共焦点信号間で最大値演算を行う。 The calculation unit 133 performs calculation processing between the non-confocal signals corresponding to the pixel positions at each pixel position of the two types of non-confocal images whose positions have been adjusted by the correction unit 132. In this embodiment, the maximum value calculation is performed between the non-confocal signals.
決定部１３５は、演算部１３３による演算結果に基づいて、各画素位置における画素値を決定し、左右両側の血管壁が明瞭に描出された画像を形成する。 The determination unit 135 determines the pixel value at each pixel position based on the calculation result of the calculation unit 133, and forms an image in which the blood vessel walls on the left and right sides are clearly drawn.
表示制御部１３６は、ＳＬＯ装置２０で取得された動画像や決定部１３５によって画素値を決定することで形成された画像、及び広画角画像Ｄｌに高倍率な画像である共焦点画像Ｄｃや非共焦点画像Ｄｎを貼り合わせた画像などをモニタ３０５に表示する。 The display control unit 136 includes a moving image acquired by the SLO device 20, an image formed by determining the pixel value by the determination unit 135, and a confocal image Dc that is a high-magnification image for the wide-angle image Dl. An image obtained by combining the non-confocal images Dn is displayed on the monitor 305.
保存部１３７は、これらの画像や、画像形成時に用いた位置合わせパラメータ等の値をデータサーバ４０等へ保存する際の制御を行う。 The storage unit 137 controls the storage of these images and the values of the alignment parameters used during image formation in the data server 40 and the like.
特徴量算出部１３４は、位置合わせ部１３１で位置合わせされた動画像から生成された、それぞれの重ね合わせ画像を形成する非共焦点信号に関する輝度のコントラストや空間微分値などの特徴量を算出する。なお、本実施形態においては、演算部１３３によって非共焦点信号間で信号値（輝度値）の最大値演算を行うため、特徴量算出部１３４は設けられなくてもよい。これに対し、演算部１３３で、特徴量に対する演算を行う場合には、決定部１３５は、特徴量算出部１３４で求めた特徴量を用いて非共焦点信号間の演算を行う。 The feature amount calculation unit 134 calculates a feature amount such as a brightness contrast and a spatial differential value regarding the non-confocal signals that form each of the superimposed images generated from the moving images that are aligned by the alignment unit 131. .. In the present embodiment, the calculation unit 133 calculates the maximum value of the signal value (luminance value) between the non-confocal signals, and thus the feature amount calculation unit 134 may not be provided. On the other hand, when the calculation unit 133 performs the calculation on the feature amount, the determination unit 135 performs the calculation between the non-confocal signals using the feature amount calculated by the feature amount calculation unit 134.
指示取得部１４０は、キーボード３０６やマウス３０７を介して操作者により入力される指示を取得する。当該指示は、例えば、上記画像等のデータサーバ４０への保存を行うか否かを含む。 The instruction acquisition unit 140 acquires an instruction input by the operator via the keyboard 306 or the mouse 307. The instruction includes, for example, whether to save the image or the like in the data server 40.
以下、図９のフローチャートを参照して、画像形成装置１０による処理について説明する。 Hereinafter, the processing by the image forming apparatus 10 will be described with reference to the flowchart of FIG.
画像形成装置１０による処理が開始されると、ステップＳ９１０が実行される。 When the process by the image forming apparatus 10 is started, step S910 is executed.
＜ステップＳ９１０＞
ステップＳ９１０において、信号取得部１１０の共焦点データ取得部１１１及び非共焦点データ取得部１１２は、ＳＬＯ装置２０に対して高倍率な画像(共焦点画像Ｄｃｊ及び非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ)の取得を要求する。また、信号取得部１１０は、これらの画像に対応する固視標位置Ｆｌ，Ｆｃｎの取得を要求する。
<Step S910>
In step S910, the confocal data acquisition unit 111 and the non-confocal data acquisition unit 112 of the signal acquisition unit 110 generate high-magnification images (the confocal image Dcj and the non-confocal images Dnrk and Dnlk) for the SLO device 20. Request acquisition. The signal acquisition unit 110 also requests acquisition of the fixation target positions Fl and Fcn corresponding to these images.
ＳＬＯ装置２０は該取得要求に応じて広画角画像Ｄｌ、共焦点画像Ｄｃｊや非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ、画角やフレームレートなどのこれら画像に対応する属性データ及び固視標位置Ｆｌ，Ｆｃｎを取得し、画像形成装置１０に送信する。信号取得部１１０は、ＳＬＯ装置２０からＬＡＮ３０を介して広画角画像Ｄｌ、共焦点画像Ｄｃｊ、非共焦点画像Ｄｎｒｋ，Ｄｎｌｋ、属性データ及び固視標位置Ｆｌ，Ｆｃｎ等を受信し、記憶部１２０に格納する。 In response to the acquisition request, the SLO device 20 receives the wide-angle image Dl, the confocal image Dcj, the non-confocal images Dnrk, Dnlk, the attribute data corresponding to these images such as the angle of view and the frame rate, and the fixation target position Fl, Fcn is acquired and transmitted to the image forming apparatus 10. The signal acquisition unit 110 receives the wide-angle image Dl, the confocal image Dcj, the non-confocal images Dnrk and Dnlk, the attribute data and the fixation target positions Fl and Fcn from the SLO device 20 via the LAN 30, and the storage unit. It is stored in 120.
ここで、網膜血管を撮影した場合の共焦点画像Ｄｃ及び非共焦点画像Ｄｎｒ，Ｄｎｌの例を、それぞれ図１０(ａ)乃至（ｃ）に示す。図１０(ａ)乃至（ｃ）はそれぞれ、撮像された共焦点画像Ｄｃ及び非共焦点画像Ｄｎｒ，Ｄｎｌを示す。図１０（ａ）に示すように、共焦点画像Ｄｃでは背景の神経線維層の反射が強く、血管壁付近のコントラストが低くなりやすい。また、図１０（ｂ）に示すようにＲチャンネルの非共焦点画像Ｄｎｒでは、右側の血管壁のコントラストが高くなる。一方、図１０（ｃ）に示すように、Ｌチャンネルの非共焦点画像Ｄｎｌでは、左側の血管壁のコントラストが高くなる。 Here, examples of the confocal image Dc and the non-confocal images Dnr and Dnl when the retinal blood vessels are imaged are shown in FIGS. 10A to 10C, respectively. FIGS. 10A to 10C show the captured confocal image Dc and the non-confocal images Dnr and Dnl, respectively. As shown in FIG. 10A, in the confocal image Dc, the reflection of the nerve fiber layer in the background is strong and the contrast in the vicinity of the blood vessel wall tends to be low. Further, as shown in FIG. 10B, in the R channel non-confocal image Dnr, the contrast of the right blood vessel wall is high. On the other hand, as shown in FIG. 10C, in the non-confocal image Dnl of the L channel, the contrast of the blood vessel wall on the left side is high.
なお、高倍率な画像である共焦点画像Ｄｃや非共焦点画像Ｄｎの撮像対象の位置は、眼底Ｅｒの任意の位置であってよい。例えば、共焦点画像Ｄｃや非共焦点画像Ｄｎは視神経乳頭部周囲について取得されてもよいし、網膜血管アーケードに沿って取得されてもよい。 The confocal image Dc or the non-confocal image Dn, which is a high-magnification image, may be captured at any position on the fundus Er. For example, the confocal image Dc and the non-confocal image Dn may be acquired around the optic papilla or may be acquired along the retinal blood vessel arcade.
また、時相データ取得部１１３は、時相データ取得装置５０に対し生体信号に関する時相データＰｉの取得を要求する。本実施形態では、時相データ取得装置５０として脈波計を用い、被検者の耳垂(耳たぶ)から脈波データを取得する。ここで脈波データは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ点列として表現される。 Further, the time phase data acquisition unit 113 requests the time phase data acquisition device 50 to acquire the time phase data Pi regarding the biological signal. In the present embodiment, a pulse wave meter is used as the time phase data acquisition device 50, and pulse wave data is acquired from the ear lobe (ear lobe) of the subject. Here, the pulse wave data is expressed as a sequence of points having the acquisition time on one axis and the pulse wave signal value measured by the pulse wave meter on the other axis.
時相データ取得装置５０は、該取得要求に応じて時相データＰｉを取得し画像形成装置１０に送信する。時相データ取得部１１３は、時相データ取得装置５０からＬＡＮ３０を介して時相データＰｉである脈波データを受信する。時相データ取得部１１３は受信した時相データＰｉを記憶部１２０に格納する。 The time phase data acquisition device 50 acquires the time phase data Pi in response to the acquisition request and transmits it to the image forming apparatus 10. The time phase data acquisition unit 113 receives the pulse wave data, which is the time phase data Pi, from the time phase data acquisition device 50 via the LAN 30. The time phase data acquisition unit 113 stores the received time phase data Pi in the storage unit 120.
ここで、本実施形態では共焦点データ取得部１１１及び非共焦点データ取得部１１２による画像の取得要求、並びに時相データ取得部１１３による時相データＰｉの取得要求後、直ちに画像と時相データＰｉの取得を開始する。これに対し、時相データ取得部１１３からの要求に従って時相データ取得装置５０が取得する時相データＰｉのある位相に合わせて、共焦点データ取得部１１１及び非共焦点データ取得部１１２がＳＬＯ装置２０からの画像取得を開始してもよい。 Here, in the present embodiment, immediately after the image acquisition request by the confocal data acquisition unit 111 and the non-confocal data acquisition unit 112 and the acquisition of the time phase data Pi by the time phase data acquisition unit 113, the image and the time phase data are immediately acquired. Start to get Pi. On the other hand, the confocal data acquisition unit 111 and the non-confocal data acquisition unit 112 perform SLO in accordance with a certain phase of the time phase data Pi acquired by the time phase data acquisition device 50 according to a request from the time phase data acquisition unit 113. Image acquisition from the device 20 may be started.
信号取得部１１０は、時相データ取得部１１３又は記憶部１２０から各画像取得時の時相データＰｉを取得し、各々の時相データＰｉの極値を検出して心拍動の周期及び心時相の相対値(ｒｅｌａｔｉｖｅ ｃａｒｄｉａｃ ｃｙｃｌｅ)を算出する。なお、心時相の相対値は、心拍動の周期を１とした場合に０から１までの浮動小数点数で表わされる相対値である。ここで、各々の時相データＰｉは取得された各画像と略同時に取得されるため、互いに対応関係を有する。そのため、心時相の相対値は、心拍動の周期における、画像及び時相データを取得したタイミングを示す。信号取得部１１０は、算出した心拍動の周期及び心時相の相対値を記憶部１２０に格納する。 The signal acquisition unit 110 acquires the time phase data Pi at the time of acquiring each image from the time phase data acquisition unit 113 or the storage unit 120, detects the extreme value of each time phase data Pi, and detects the heartbeat cycle and heart time. The relative value of the phase (relative cardial cycle) is calculated. The relative value of the cardiac phase is a relative value represented by a floating point number from 0 to 1 when the heartbeat cycle is 1. Here, since each time phase data Pi is acquired at substantially the same time as each acquired image, they have a corresponding relationship. Therefore, the relative value of the cardiac time phase indicates the timing at which the image and the time phase data are acquired in the heartbeat cycle. The signal acquisition unit 110 stores the calculated relative value of the cardiac cycle and the cardiac phase in the storage unit 120.
＜ステップＳ９２０＞
ステップＳ９２０において、位置合わせ部１３１は、ステップＳ９１０で取得した各動画像のフレーム間位置合わせを行う。具体的なフレーム間位置合わせ法として、本実施形態では以下の方法を実行する。
<Step S920>
In step S920, the alignment unit 131 performs inter-frame alignment of the moving images acquired in step S910. In the present embodiment, the following method is executed as a specific interframe alignment method.
ｉ）位置合わせ部１３１は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いてよい。 i) The alignment unit 131 sets a reference frame that serves as a reference for alignment. In this embodiment, the frame having the smallest frame number is used as the reference frame. The reference frame setting method is not limited to this, and any setting method may be used.
ｉｉ）位置合わせ部１３１は、設定された基準フレームを用いて、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。 ii) The alignment unit 131 uses the set reference frame to roughly associate the frames (coarse alignment). Although any registration method can be used, in this embodiment, rough registration is performed using a correlation coefficient as an inter-image similarity evaluation function and Affine conversion as a coordinate conversion method.
ｉｉｉ）位置合わせ部１３１は、ｉｉ）で得られたフレーム間の大まかな位置の対応関係のデータに基づいて、フレーム間の精密位置合わせを行う。本実施形態では、ｉｉ）で得られた粗位置合わせ済み動画像に対し、非剛***置合わせ手法の一種であるＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いてよい。 iii) The alignment unit 131 performs precision alignment between frames based on the data of the rough positional correspondence between frames obtained in ii). In the present embodiment, the coarse registration-completed moving image obtained in ii) is subjected to precise registration between frames using an FFD (Free Form Deformation) method, which is a kind of non-rigid registration method. The precision alignment method is not limited to this, and any alignment method may be used.
また、本実施形態では動画像毎にフレーム間位置合わせを行ったが、フレーム間位置合わせの方法はこれに限定されない。例えば、位置合わせ部１３１は、共焦点画像Ｄｃに対してフレーム間位置合わせを行うことによって得られる位置合わせパラメータを、非共焦点画像Ｄｎのフレーム間位置合わせパラメータとして用いてもよい。あるいは、非共焦点画像Ｄｎ（非共焦点画像Ｄｎｒ，Ｄｎｌや、これらの画像間の演算処理により得られる画像も含む）のフレーム間位置合わせによって得られる位置合わせパラメータを、共焦点画像Ｄｃのフレーム間位置合わせパラメータとして用いてもよい。 Further, in the present embodiment, the inter-frame alignment is performed for each moving image, but the inter-frame alignment method is not limited to this. For example, the alignment unit 131 may use the alignment parameter obtained by performing the inter-frame alignment on the confocal image Dc as the inter-frame alignment parameter of the non-confocal image Dn. Alternatively, the alignment parameter obtained by the inter-frame alignment of the non-confocal images Dn (including the non-confocal images Dnr, Dnl and the images obtained by the arithmetic processing between these images) is used as the frame of the confocal image Dc. It may be used as an inter-position alignment parameter.
なお、位置合わせ部１３１は、当該フレーム間位置合わせの間に、各フレームの輝度値やノイズ、各フレームと基準フレームとの間の変位量に基づいて、取得された各動画像における例外フレームを判定することもできる。例えば、フレーム全体の輝度値が所定の閾値よりも低いフレームやノイズが所定の閾値よりも多いフレーム、基準フレームからの変位量が所定の閾値よりも大きいフレームを後述の処理において用いられる動画像から除外される例外フレームとして判定する。この場合、位置合わせ部１３１によって例外フレームとして判定されたフレームは、後述の処理から除外される。 Note that the alignment unit 131 determines the exceptional frame in each acquired moving image based on the luminance value and noise of each frame and the displacement amount between each frame and the reference frame during the inter-frame alignment. It can also be determined. For example, a frame in which the luminance value of the entire frame is lower than a predetermined threshold value, a frame in which noise is higher than a predetermined threshold value, or a frame whose displacement amount from the reference frame is higher than a predetermined threshold value is determined from a moving image used in the processing described below. Judge as an exception frame to be excluded. In this case, the frame determined as the exceptional frame by the alignment unit 131 is excluded from the processing described below.
位置合わせ部１３１は、このようにしてフレーム間で位置合わせを行った動画像を記憶部１２０に格納する。 The alignment unit 131 stores, in the storage unit 120, the moving image thus aligned between the frames.
＜ステップＳ９３０＞
ステップＳ９３０において、画像処理部１３０は、以下の手順で両側の血管壁の視認性が高い画像Ｄｆを形成する。
<Step S930>
In step S930, the image processing unit 130 forms an image Df with high visibility of the blood vessel walls on both sides by the following procedure.
ｉ）動画像単位での重ね合わせ画像生成
画像処理部１３０は、ステップＳ９２０でフレーム間位置合わせ済みの各動画像を平均値投影することで各重ね合わせ画像を生成する。本実施形態では、共焦点画像の重ね合わせ画像と２種類の非共焦点重ね合わせ画像を生成する。
i) Overlaid image generation for each moving image The image processing unit 130 generates each overlaid image by projecting each moving image that has undergone inter-frame registration in step S920 on an average value. In the present embodiment, a superimposed image of confocal images and two types of non-confocal superimposed images are generated.
ｉｉ）異種画像間の位置合わせ・輝度調整
異種信号位置合わせ部１３２１は、ｉ）において生成された２種類の非共焦点重ね合わせ画像間の視差を低減するため、当該非共焦点重ね合わせ画像間の位置合わせを行う。具体的には、異種信号位置合わせ部１３２１は、非共焦点重ね合わせ画像間の位置を合わせるように、両画像の非共焦点信号を補正する。なお、本明細書においては、視差という用語を「観測位置の違いによって生じる対象物の結像位置の差異」という意味で用いる。
ii) Positioning/brightness adjustment between heterogeneous images The heterogeneous signal alignment unit 1321 reduces the parallax between the two types of non-confocal superimposed images generated in i), so Align the. Specifically, the heterogeneous signal alignment unit 1321 corrects the non-confocal signals of both images so that the positions of the non-confocal superimposed images are aligned. In this specification, the term “parallax” is used to mean “difference in imaging position of an object caused by difference in observation position”.
被検眼Ｅに対する遮光部２１０−１の両透過領域(２１０−１−２，２１０−１−３)の相対位置が異なっていることが原因となり、Ｒチャンネルの非共焦点画像ＤｎｒとＬチャンネルの非共焦点画像Ｄｎｌとの間には視差が生じる。そのため、Ｒチャンネルの非共焦点画像Ｄｎｒを重ね合わせて得た非共焦点重ね合わせ画像、及びＬチャンネルの非共焦点画像Ｄｎｌを重ね合わせて得た非共焦点重ね合わせ画像の間にも視差が生じる。 This is because the relative positions of both transmission regions (210-1-2, 210-1-3) of the light shielding unit 210-1 with respect to the eye E to be inspected are different, which causes non-confocal image Dnr of R channel and L channel. Parallax occurs between the non-confocal image Dnl. Therefore, parallax also exists between the non-confocal superimposed image obtained by superimposing the R channel non-confocal image Dnr and the non-confocal superimposed image obtained by superimposing the L channel non-confocal image Dnl. Occurs.
例として、図１０（ｂ）に示すＲチャンネルの非共焦点画像Ｄｎｒと、図１０（ｃ）に示すＬチャンネルの非共焦点画像Ｄｎｌの同一位置(点線部)で取得した輝度プロファイルを図１１（ａ）に示す。図１１（ａ）において、実線はＲチャンネルの非共焦点画像Ｄｎｒについての輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像Ｄｎｌについての輝度プロファイルを示す。図１１（ａ）を参照すると、両輝度プロファイル間で視差が生じていることがわかる。 As an example, the luminance profile acquired at the same position (dotted line portion) of the R channel non-confocal image Dnr shown in FIG. 10B and the L channel non-confocal image Dnl shown in FIG. It shows in (a). In FIG. 11A, the solid line shows the luminance profile for the R channel non-confocal image Dnr, and the dotted line shows the luminance profile for the L channel non-confocal image Dnl. With reference to FIG. 11A, it can be seen that parallax occurs between both luminance profiles.
上述のように、非共焦点画像Ｄｎｒ，Ｄｎｌではそれぞれに対応する片側の血管壁のみ高コントラストな画像となる。このため、左右両側の血管壁の視認性を同程度にする演算として、例えばＲチャンネルの非共焦点重ね合わせ画像とＬチャンネルの非共焦点重ね合わせ画像の加算平均演算を行うことが考えられる。しかしながら、両画像に対し単に加算平均演算を行っても、絞り２１０における透過領域(２１０−１−２，２１０−１−３)の相対位置が異なることに起因する両画像間の視差が原因で、ぼけた画像が生成されてしまう。また、左右両側の血管壁の視認性を同程度にする別の演算として、例えばＲチャンネルの非共焦点重ね合わせ画像とＬチャンネルの非共焦点重ね合わせ画像の最大値演算を行うことが考えられる。しかしながら、両画像に対し単に最大値演算を行っても、上述の両画像間の視差が原因で血柱反射(血管の中心に延在する高輝度領域)が実際よりも太く描出されてしまう。このような視差を含む画像同士の演算によって生じる「ぼけ」や偽像（アーチファクト）を防ぐには、両非共焦点画像間での視差を低減する必要がある。 As described above, in the non-confocal images Dnr and Dnl, only the corresponding blood vessel wall on one side has high contrast. For this reason, it is conceivable to perform, for example, the arithmetic mean calculation of the R-channel non-confocal superimposed image and the L-channel non-confocal superimposed image as a calculation for making the visibility of the blood vessel walls on the left and right sides comparable. However, even if only the averaging calculation is performed on both images, the parallax between the images due to the relative positions of the transmissive regions (210-1-2, 210-1-3) in the aperture 210 being different causes , A blurred image is generated. Further, as another calculation for making the visibility of the blood vessel walls on the left and right sides comparable, for example, it is conceivable to calculate the maximum value of the R channel non-confocal superimposed image and the L channel non-confocal superimposed image. .. However, even if the maximum value is simply calculated for both images, the blood column reflection (high-intensity region extending to the center of the blood vessel) is rendered thicker than it actually is due to the parallax between the images. In order to prevent "blurring" and false images (artifacts) caused by the calculation of images including such parallax, it is necessary to reduce the parallax between both non-confocal images.
そこで、異種信号位置合わせ部１３２１は、両画像間の演算処理を行う前に両非共焦点重ね合わせ画像間での位置合わせを行うことで当該視差を低減する。上述のように図１０（ｂ）に示すＲチャンネルの非共焦点画像Ｄｎｒと、図１０（ｃ）に示すＬチャンネルの非共焦点画像Ｄｎｌ内の同一位置(点線部)で取得した、図１１（ａ）に示すような輝度プロファイルでは視差が生じている。これに対し、両非共焦点重ね合わせ画像間で位置合わせを行うことで図１１（ｂ）に示すように視差を低減する。図１１（ｂ）は、両非共焦点重ね合わせ画像の位置合わせ後の図１１（ａ）に対応する輝度プロファイルを示す。なお、位置合わせ方法は任意の公知の位置合わせ手法を適用可能であるが、本実施形態ではステップＳ９２０で用いた非剛***置合わせ手法と同じ手法を用いる。 Therefore, the heterogeneous signal alignment unit 1321 reduces the parallax by performing alignment between the non-confocal superimposed images before performing the arithmetic processing between the images. As described above, the R channel non-confocal image Dnr shown in FIG. 10B and the L channel non-confocal image Dnl shown in FIG. 10C are acquired at the same position (dotted line portion). Parallax occurs in the luminance profile as shown in (a). On the other hand, the parallax is reduced as shown in FIG. 11B by performing the alignment between the non-confocal superimposed images. FIG. 11( b) shows the brightness profile corresponding to FIG. 11( a) after alignment of both non-confocal superimposed images. Although any known registration method can be applied as the registration method, the same method as the non-rigid body registration method used in step S920 is used in this embodiment.
異種信号位置合わせ部１３２１は、当該位置合わせが行われた非共焦点重ね合わせ画像を記憶部１２０に格納する。 The heterogeneous signal alignment unit 1321 stores the non-confocal superimposed image that has undergone the alignment in the storage unit 120.
また、輝度補正部１３２２は、図１１（ｃ）に示すように何らかの原因で異なる種類の非共焦点重ね合わせ画像間で輝度分布が大きく異なっている場合に、位置合わせされた非共焦点重ね合わせ画像の輝度分布特性を揃えるように調整（階調変換処理）する。これにより、輝度補正部１３２２は、後述する非共焦点重ね合わせ画像間の演算結果において、特定の種類の非共焦点信号の影響が過度に大きくなることを防止できる。輝度補正部１３２２は、輝度分布を調整した非共焦点重ね合わせ画像を記憶部１２０に格納する。なお、図１１（ｃ）は、異なる種類の非共焦点重ね合わせ画像間で輝度分布が大きく異なっている場合の各画像の輝度プロファイルの例を示す。図１１（ｃ）において、実線はＲチャンネルの非共焦点画像Ｄｎｒについての輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像Ｄｎｌについての輝度プロファイルを示す。 In addition, as shown in FIG. 11C, the brightness correction unit 1322 performs the aligned non-confocal overlay when the brightness distributions of the different types of non-confocal overlay images are largely different from each other for some reason. The brightness distribution characteristics of the image are adjusted (gradation conversion processing). Accordingly, the brightness correction unit 1322 can prevent the influence of a specific type of non-confocal signal from becoming excessively large in the calculation result between non-confocal superimposed images described below. The brightness correction unit 1322 stores the non-confocal superimposed image with adjusted brightness distribution in the storage unit 120. Note that FIG. 11C shows an example of the brightness profile of each image when the brightness distributions are greatly different between different types of non-confocal superimposed images. In FIG. 11C, the solid line shows the luminance profile for the R channel non-confocal image Dnr, and the dotted line shows the luminance profile for the L channel non-confocal image Dnl.
ｉｉｉ）注目画素位置における非共焦点信号間の演算
演算部１３３は、左右両側の血管壁の視認性が高い画像を生成するために、形成される画像の各画素位置について、当該画素位置に対応する、２種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行う。本実施形態では、演算部１３３は、形成する画像における画素値を決めるべき画素（注目画素）位置において、ｉｉ）で位置合わせした２種類の非共焦点重ね合わせ画像の非共焦点信号同士で最大値演算（第１の演算）を行う。その後、決定部１３５が演算部１３３による最大値演算の演算結果に基づいて、各画素位置における画素値を決定する。これにより、画像形成装置１０は、左右両側の血管壁の視認性が高い画像Ｄｆを形成する。なお、当該画像形成処理における具体的な処理については、図１２（ａ）に示すステップＳ１２１０〜ステップＳ１２５０を用いて後述する。決定部１３５は、形成した画像Ｄｆを記憶部１２０に格納する。
iii) Calculation between non-confocal signals at the target pixel position The calculation unit 133 corresponds to each pixel position of the formed image in order to generate an image in which the blood vessel walls on the left and right sides are highly visible. Yes, the arithmetic processing is performed between the non-confocal signals of the two types of non-confocal superimposed images. In the present embodiment, the calculation unit 133 determines the maximum between the non-confocal signals of the two types of non-confocal superimposed images aligned in ii) at the pixel (pixel of interest) position where the pixel value in the image to be formed is to be determined. A value calculation (first calculation) is performed. After that, the determination unit 135 determines the pixel value at each pixel position based on the calculation result of the maximum value calculation by the calculation unit 133. Thereby, the image forming apparatus 10 forms the image Df in which the blood vessel walls on the left and right sides are highly visible. Note that specific processing in the image forming processing will be described later using steps S1210 to S1250 shown in FIG. The determination unit 135 stores the formed image Df in the storage unit 120.
＜ステップＳ９４０＞
次にステップＳ９４０では、位置合わせ部１３１は、広画角画像ＤｌとステップＳ９３０で生成した高倍率な画像Ｄｆとの位置合わせを行い、広画角画像Ｄｌ上での該高倍率な画像Ｄｆの相対位置を求める。その後、位置合わせ部１３１は、求めた相対位置に基づいて、広画角画像Ｄｌと画像Ｄｆの貼り合わせを行う。具体的には、以下のように相対位置を求め、画像の貼り合わせを行う。
<Step S940>
Next, in step S940, the alignment unit 131 aligns the wide-angle image Dl and the high-magnification image Df generated in step S930, and the high-magnification image Df on the wide-angle image Dl is aligned. Find the relative position. Then, the alignment unit 131 attaches the wide-angle image Dl and the image Df based on the obtained relative position. Specifically, the relative position is obtained and the images are pasted as follows.
位置合わせ部１３１は、記憶部１２０から高倍率な共焦点画像Ｄｃｊの撮影時に用いた固視標位置Ｆｃｎを取得し、広画角画像Ｄｌと高倍率な画像Ｄｆとの位置合わせにおける位置合わせパラメータの探索初期点とする。位置合わせ部１３１は、該パラメータ値の組み合わせを変化させながら広画角画像Ｄｌと高倍率な画像Ｄｆとの位置合わせを行う。 The alignment unit 131 acquires from the storage unit 120 the fixation target position Fcn used when capturing the high-magnification confocal image Dcj, and the alignment parameter in the alignment between the wide-angle image Dl and the high-magnification image Df. Is the initial point of the search. The alignment unit 131 aligns the wide-angle image Dl and the high-magnification image Df while changing the combination of the parameter values.
位置合わせ部１３１は、広画角画像Ｄｌと画像Ｄｆとの類似度が最も高い位置合わせパラメータ値の組み合わせを、広画角画像Ｄｌに対する画像Ｄｆの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いてよい。 The alignment unit 131 determines the combination of the alignment parameter values having the highest similarity between the wide-angle image Dl and the image Df as the relative position of the image Df with respect to the wide-angle image Dl. The alignment method is not limited to this, and any alignment method may be used.
位置合わせ部１３１は、このようにして求めた位置合わせパラメータの値に基づいて、広画角画像Ｄｌ上に画像Ｄｆを貼り合わせる。位置合わせ部１３１は、貼り合わせを行った画像を記憶部１２０に格納する。 The alignment unit 131 attaches the image Df on the wide-angle image Dl based on the value of the alignment parameter thus obtained. The alignment unit 131 stores the combined image in the storage unit 120.
また、位置合わせ部１３１は、広画角画像Ｄｌと画像Ｄｆに対し求めた位置合わせパラメータ値を用いて、ステップＳ９１０で取得した共焦点画像Ｄｃや非共焦点画像Ｄｎを広画角画像Ｄｌ上に貼り合わせてもよい。 In addition, the alignment unit 131 uses the alignment parameter values obtained for the wide-angle image Dl and the image Df to set the confocal image Dc and the non-confocal image Dn acquired in step S910 on the wide-angle image Dl. It may be attached to.
なお、広画角画像ＤｌとステップＳ９１０で取得した共焦点画像Ｄｃｊ（もしくは非共焦点画像Ｄｎｒ，Ｄｎｌ）に対して位置合わせパラメータ値を求めて、これらを貼り合わせてもよい。また、この場合、広画角画像ＤｌとステップＳ９１０で取得した画像に対して求めた位置合わせパラメータ値を、画像Ｄｆの貼り合わせに対しても適用することで広画角画像Ｄｌ上の高倍率な画像Ｄｆの相対位置を決定してもよい。 The wide-angle image Dl and the confocal image Dcj (or the non-confocal images Dnr and Dnl) obtained in step S910 may be obtained by aligning the alignment parameter values and may be combined. Further, in this case, the high-magnification image on the wide-angle-of-view image Dl is obtained by applying the alignment parameter value obtained for the wide-angle-of-view image Dl and the image acquired in step S910 to the bonding of the images Df. The relative position of the image Df may be determined.
＜ステップＳ９５０＞
ステップＳ９５０において、表示制御部１３６は、ステップＳ９１０で取得した画像やステップＳ９３０で生成した画像Ｄｆ、ステップＳ９４０で貼り合わせ処理した画像をモニタ３０５に表示する。
<Step S950>
In step S950, the display control unit 136 displays on the monitor 305 the image acquired in step S910, the image Df generated in step S930, and the image subjected to the combining process in step S940.
本実施形態では、表示制御部１３６は、ステップＳ９２０でフレーム間位置合わせを行った動画像、及び後述する、フレーム間位置合わせを行った動画像における脈波の特定の位相に対応するフレームを選択して重ね合わせた画像をモニタ３０５に表示する。 In the present embodiment, the display control unit 136 selects a frame corresponding to a specific phase of a pulse wave in a moving image subjected to inter-frame alignment in step S920 and a moving image subjected to inter-frame alignment, which will be described later. Then, the superimposed image is displayed on the monitor 305.
また、表示制御部１３６は、ステップＳ９３０で生成した画像Ｄｆをモニタ３０５に表示する。 The display control unit 136 also displays the image Df generated in step S930 on the monitor 305.
さらに、表示制御部１３６は、貼り合わせ画像(広画角画像ＤｌとステップＳ９１０で取得した画像とを貼り合わせ処理した画像、もしくは広画角画像ＤｌとステップＳ９３０で生成した画像Ｄｆとを貼り合わせ処理した画像)をモニタ３０５に表示する。 Further, the display control unit 136 combines the combined image (the image obtained by combining the wide-angle image Dl and the image acquired in step S910, or the wide-angle image Dl and the image Df generated in step S930). The processed image) is displayed on the monitor 305.
＜ステップＳ９６０＞
ステップＳ９６０において、指示取得部１４０は、ステップＳ９１０で取得した画像やステップＳ９３０で生成した画像Ｄｆ、位置合わせパラメータ等の値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は、例えばキーボード３０６やマウス３０７を介して操作者により入力される。画像処理部１３０は、保存が指示された場合はステップＳ９７０へ処理を進め、保存が指示されなかった場合はステップＳ９８０へと処理を進める。
<Step S960>
In step S960, the instruction acquisition unit 140 externally acquires an instruction as to whether or not to save the image acquired in step S910, the image Df generated in step S930, and the values of alignment parameters in the data server 40. This instruction is input by the operator via the keyboard 306 or the mouse 307, for example. The image processing unit 130 advances the processing to step S970 when the saving is instructed, and advances the processing to step S980 when the saving is not instructed.
＜ステップＳ９７０＞
ステップＳ９７０において、保存部１３７は、検査日時や被検眼を同定する情報と、ステップＳ９６０で決定した保存対象の画像や固視位置、位置合わせパラメータ値とを関連付けてデータサーバ４０へ送信する。
<Step S970>
In step S970, the storage unit 137 associates the examination date/time and information for identifying the eye to be examined with the image to be stored, the fixation position, and the alignment parameter value determined in step S960, and transmits them to the data server 40.
＜ステップＳ９８０＞
ステップＳ９８０において、指示取得部１４０は、画像形成装置１０による画像形成処理を終了するか否かの指示を外部から取得する。この指示はキーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはステップＳ９１０に処理を戻し、次の被検眼に対する処理（又は同一被検眼に対する再処理を）行う。
<Step S980>
In step S980, the instruction acquisition unit 140 externally acquires an instruction as to whether or not to end the image forming processing by the image forming apparatus 10. This instruction is input by the operator via the keyboard 306 or the mouse 307. When the processing end instruction is acquired, the processing ends. On the other hand, when the instruction to continue the process is acquired, the process is returned to step S910, and the process for the next eye to be inspected (or the re-process for the same eye to be inspected) is performed.
さらに、図９、図１１及び図１２（ａ）を参照しながら、ステップＳ９３０で実行される画像形成処理の詳細について説明する。図１２（ａ）は、ステップＳ９３０で実行される画像形成処理のフローチャートである。以下、図１２（ａ）に示すフローチャートに沿って、当該画像形成処理について説明する。 Further, the details of the image forming process executed in step S930 will be described with reference to FIGS. 9, 11, and 12A. FIG. 12A is a flowchart of the image forming process executed in step S930. The image forming process will be described below with reference to the flowchart shown in FIG.
＜ステップＳ１２１０＞
ステップＳ９３０で画像形成処理が実行されると、ステップＳ１２１０において、画像処理部１３０が、ステップＳ９２０でフレーム間位置合わせした各動画像を平均値投影することで重ね合わせ画像を生成する。なお、重ね合わせ処理する場合には、心拍動の影響により血管壁を構成する膜境界の位置が変化するのを避けるために、脈波の特定の位相に対応するフレームを選択して重ね合わせ処理することが望ましい。この場合、画像処理部１３０は、ステップＳ９１０で算出した心時相の相対値に基づいて、脈波の特定の位相に対応するフレームを選択することができる。
<Step S1210>
When the image forming process is executed in step S930, in step S1210, the image processing unit 130 averages the moving images aligned in the frames in step S920 to generate a superimposed image. When performing the superimposing process, in order to avoid changing the position of the membrane boundary forming the blood vessel wall due to the influence of heartbeat, the superimposing process is performed by selecting the frame corresponding to the specific phase of the pulse wave. It is desirable to do. In this case, the image processing unit 130 can select the frame corresponding to the specific phase of the pulse wave based on the relative value of the cardiac phase calculated in step S910.
本実施形態では、画像処理部１３０は、共焦点画像の重ね合わせ画像Ｄａｃと２種類の非共焦点重ね合わせ画像（Ｄａｒ，Ｄａｌ）を生成する。また、画像処理部１３０は、生成した画像を記憶部１２０に格納する。 In the present embodiment, the image processing unit 130 generates a superimposed image Dac of confocal images and two types of non-confocal superimposed images (Dar, Dal). The image processing unit 130 also stores the generated image in the storage unit 120.
＜ステップＳ１２２０＞
上述のように、ステップＳ１２１０で生成した各重ね合わせ画像（Ｄａｃ，Ｄａｒ，Ｄａｌ）の間には視差が生じている。そのため、ステップＳ１２２０において、異種信号位置合わせ部１３２１は、該視差を低減するために異なる種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で非剛***置合わせ処理を行う。具体的には、異種信号位置合わせ部１３２１が非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で位置を合わせるように両画像の非共焦点信号を補正する。ステップＳ９３０にて説明したように、位置合わせ方法は任意の公知の位置合わせ手法を適用可能であるが、本実施形態ではステップＳ９２０で用いた非剛***置合わせ手法と同じ手法を用いる。異種信号位置合わせ部１３２１は、位置合わせを行った非共焦点重ね合わせ画像を記憶部１２０に記憶する。
<Step S1220>
As described above, parallax occurs between the superimposed images (Dac, Dar, Dal) generated in step S1210. Therefore, in step S1220, the heterogeneous signal alignment unit 1321 performs non-rigid body alignment processing between different types of non-confocal superimposed images Dar and Dal in order to reduce the parallax. Specifically, the heterogeneous signal alignment unit 1321 corrects the non-confocal signals of both images so that the non-confocal superimposed images Dar and Dal are aligned. As described in step S930, any known registration method can be applied as the registration method, but in the present embodiment, the same method as the non-rigid body registration method used in step S920 is used. The heterogeneous signal alignment unit 1321 stores the non-confocal superimposed image that has been aligned in the storage unit 120.
なお、本実施形態では共焦点画像の重ね合わせ画像を基準画像として、該基準画像に対して非共焦点画像（Ｄａｒ及びＤａｌ）を位置合わせする。これに限らず、２種類の非共焦点画像同士のいずれかを基準画像として異なる種類の非共焦点画像間で直接位置合わせしてもよい。 In this embodiment, the non-confocal images (Dar and Dal) are aligned with the reference image using the superimposed image of the confocal images as the reference image. The invention is not limited to this, and one of the two types of non-confocal images may be used as a reference image to perform direct alignment between different types of non-confocal images.
また、図１１（ｃ）に示すように、異なる種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌ間で輝度分布が大きく異なっている場合がある。この場合には、輝度補正部１３２２が、特定の非共焦点重ね合わせ画像の信号成分が過度に演算結果に影響するのを防ぐために、両非共焦点重ね合せ画像の非共焦点信号間における演算の前に階調変換処理により、非共焦点重ね合わせ画像の輝度分布特性を揃える。 In addition, as shown in FIG. 11C, the brightness distributions may differ greatly between different types of non-confocal superimposed images Dar and Dal. In this case, the brightness correction unit 1322 performs calculation between the non-confocal signals of both non-confocal superimposed images in order to prevent the signal component of the specific non-confocal superimposed image from excessively affecting the calculation result. Before, the gradation conversion processing is performed to make the luminance distribution characteristics of the non-confocal superimposed image uniform.
輝度分布の補正方法は任意の公知の手法を適用可能である。本実施形態では一方の画像Ｘの平均輝度Ｘａと輝度の標準偏差Ｓｘを、他方の画像Ｙの平均輝度Ｙａや輝度の標準偏差Ｓｙと一致するように線形変換する手法を用いるものとする。当該手法では、例えば、係数ａがａ＝Ｓｙ／Ｓｘであり、係数ｂがｂ＝Ｙａ−（Ｓｙ／Ｓｘ）・Ｘａであるような、線形変換Ｙ＝ａＸ＋ｂを行う。 Any known method can be applied to the method of correcting the luminance distribution. In the present embodiment, a method of linearly converting the average luminance Xa and the standard deviation Sx of the luminance of one image X so as to match the average luminance Ya and the standard deviation Sy of the luminance of the other image Y is used. In this method, for example, the linear conversion Y=aX+b is performed such that the coefficient a is a=Sy/Sx and the coefficient b is b=Ya−(Sy/Sx)·Xa.
例えば、図１１（ｃ）に示すような輝度プロファイルは、異種信号位置合わせ部１３２１による非共焦点信号間の非剛***置合わせ処理によって、図１１（ｄ）に示すように互いに位置合わせされる。さらに、輝度補正部１３２２による輝度補正処理によって図１１（ｅ）に示すように輝度分布が補正される。図１１（ｅ）に示される輝度プロファイルから、両非共焦点重ね合わせ画像の信号間の最大値を選択すること（最大値演算）により、左右両側の血管壁の視認性が向上した画像になることがわかる。ここで、図１１（ｄ）は、図１１（ｃ）に示される輝度プロファイルが互いに非剛***置合わせ処理によって位置合わせされたものを示し、図１１（ｅ）は、図１１（ｄ）に示された輝度プロファイルについて輝度分布の補正が行われたものを示す。 For example, the brightness profiles as shown in FIG. 11C are aligned with each other as shown in FIG. 11D by the non-rigid body alignment processing between the non-confocal signals by the heterogeneous signal alignment unit 1321. Further, the brightness correction processing by the brightness correction unit 1322 corrects the brightness distribution as shown in FIG. By selecting the maximum value between the signals of both non-confocal superimposed images (maximum value calculation) from the brightness profile shown in FIG. 11E, an image with improved visibility of the blood vessel walls on the left and right sides is obtained. I understand. Here, FIG. 11D shows that the luminance profiles shown in FIG. 11C are aligned with each other by the non-rigid body alignment processing, and FIG. 11E is shown in FIG. 11D. The corrected luminance distribution is shown for the generated luminance profile.
輝度補正部１３２２は、このように輝度補正（階調変換）処理を行った画像を記憶部１２０に格納する。 The brightness correction unit 1322 stores the image thus subjected to the brightness correction (gradation conversion) processing in the storage unit 120.
＜ステップＳ１２３０＞
ステップＳ１２３０において、演算部１３３は、左右両側の血管壁の視認性が高い画像を形成するために、形成する画像の各画素位置において、異なる種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行い、演算結果を決定部１３５に送る。本実施形態では、ステップＳ１２２０で位置合わせや輝度補正を行った２種類の非共焦点重ね合わせ画像の非共焦点信号の信号値同士で最大値演算を行う。そして、決定部１３５が演算部１３３の演算結果に基づいて各画素位置における画素値を決定する。当該処理を全画素位置について行うことにより、図１０（ｅ）に示すような、画像内のぼけや偽像が抑制された左右両側の血管壁の視認性が高い画像Ｄｆを形成することができる。図１０（ｅ）は、左右両側の血管壁の視認性が高い画像Ｄｆの例を示す。
<Step S1230>
In step S1230, in order to form an image in which the blood vessel walls on both the left and right sides are highly visible, the calculation unit 133 sets the pixel positions of the images to be formed between the non-confocal signals of different types of non-confocal superimposed images. Then, the calculation processing is performed and the calculation result is sent to the determining unit 135. In the present embodiment, the maximum value calculation is performed between the signal values of the non-confocal signals of the two types of non-confocal superimposed images that have undergone the positioning and the luminance correction in step S1220. Then, the determination unit 135 determines the pixel value at each pixel position based on the calculation result of the calculation unit 133. By performing the processing for all pixel positions, it is possible to form an image Df with high visibility of the left and right blood vessel walls in which blurring and false images in the image are suppressed, as shown in FIG. .. FIG. 10E shows an example of an image Df in which the blood vessel walls on the left and right sides are highly visible.
＜ステップＳ１２４０＞
ステップＳ１２４０において、画像処理部１３０は、全画素において非共焦点信号間の演算処理が完了していればステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１２５０へと処理を進める。
<Step S1240>
In step S1240, the image processing unit 130 advances the process to step S940 if the arithmetic processing between the non-confocal signals has been completed for all pixels, and if there are still pixels for which the arithmetic processing is not completed, The process proceeds to step S1250.
＜ステップＳ１２５０＞
ステップＳ１２５０において、画像処理部１３０は、非共焦点信号間の演算処理が未了の隣接する画素位置へ移動した上で、ステップＳ１２３０へと処理を進める。
<Step S1250>
In step S1250, the image processing unit 130 moves to an adjacent pixel position for which the calculation processing between the non-confocal signals has not been completed, and then advances the processing to step S1230.
上記のように、本実施形態による画像形成装置１０は、それぞれが被写体の非共焦点画像Ｄｎを形成する、複数の種類の非共焦点信号を取得する信号取得部１１０を備える。また、画像形成装置１０は、非共焦点画像Ｄｎ間の位置を合わせるように、複数の種類の非共焦点信号を補正する補正部１３２を備える。さらに、画像形成装置１０は、補正された複数の種類の非共焦点信号を用いて最大値演算を行う演算部１３３と、演算部１３３による演算結果に基づいて、形成する画像の各画素値を決定する決定部１３５とを備える。ここで、最大値演算とは、演算に用いる値のうちより大きい値を選択する演算である。なお、複数の種類の非共焦点信号は、開口部の領域が複数に分割された絞りを用いて取得される。 As described above, the image forming apparatus 10 according to the present embodiment includes the signal acquisition unit 110 that acquires a plurality of types of non-confocal signals, each of which forms the non-confocal image Dn of the subject. The image forming apparatus 10 also includes a correction unit 132 that corrects a plurality of types of non-confocal signals so that the positions of the non-confocal images Dn are matched. Furthermore, the image forming apparatus 10 calculates the maximum value using a plurality of types of non-confocal signals that have been corrected, and calculates each pixel value of the image to be formed based on the calculation result by the calculation unit 133. And a determining unit 135 for determining. Here, the maximum value operation is an operation for selecting a larger value among the values used for the operation. It should be noted that the plurality of types of non-confocal signals are acquired using a diaphragm in which the area of the opening is divided into a plurality of areas.
上記構成によれば、画像形成装置１０は、ＳＬＯ装置２０を用いて取得した２種類の非共焦点画像Ｄｎｒ，Ｄｎｌに基づいて網膜血管壁の画像を形成する。この際に、画像形成装置１０は、当該２種類の非共焦点画像Ｄｎｒ，Ｄｎｌ間の視差を低減するために両画像を位置合わせした後、形成する画像の各画素位置について非共焦点信号間で最大値演算した結果に基づいて画像を形成する。これにより、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。 According to the above configuration, the image forming apparatus 10 forms an image of the retinal blood vessel wall based on the two types of non-confocal images Dnr and Dnl acquired using the SLO device 20. At this time, the image forming apparatus 10 aligns both images in order to reduce the parallax between the two types of non-confocal images Dnr and Dnl, and then, between the non-confocal signals for each pixel position of the image to be formed. An image is formed on the basis of the result of the maximum value calculation in. As a result, the image forming apparatus 10 can form an image in which the blood vessel walls on the left and right sides are highly visible.
また、本実施形態による画像形成装置１０における補正部１３２は、非共焦点画像Ｄｎｒ，Ｄｎｌ間の輝度分布特性を揃える（類似させる）ように、非共焦点画像Ｄｎｒ，Ｄｎｌの非共焦点信号を補正する。例えば、輝度補正部１３２２は、非共焦点画像Ｄｎｒ，Ｄｎｌ間の輝度分布のスケールを揃えるように、非共焦点画像Ｄｎｒ，Ｄｎｌの非共焦点信号を補正する。これにより、画像形成装置１０は、特定の非共焦点重ね合わせ画像の信号成分が演算部１３３による演算結果に過度に影響するのを防ぐことができる。 Further, the correction unit 132 in the image forming apparatus 10 according to the present embodiment changes the non-confocal signals of the non-confocal images Dnr and Dnl so that the luminance distribution characteristics between the non-confocal images Dnr and Dnl are aligned (similar to each other). to correct. For example, the brightness correction unit 1322 corrects the non-confocal signals of the non-confocal images Dnr and Dnl so that the scale of the brightness distribution between the non-confocal images Dnr and Dnl is made uniform. Accordingly, the image forming apparatus 10 can prevent the signal component of the specific non-confocal superimposed image from excessively affecting the calculation result by the calculation unit 133.
なお、本実施形態に係る画像形成装置１０では、２種類の非共焦点重ね合わせ画像を位置合わせした後に、各画素位置で最大値演算をした結果に基づいて画素値を決定している。これに対し、２種類の非共焦点重ね合わせ画像間の位置合わせをせずに、各画素位置で最大値演算を行う場合でも、輝度値の高い領域についての視認性を向上させた画像を形成することができる。そのため、この場合であっても、左右両側の血管壁の視認性を向上させた画像を形成することができる。 In the image forming apparatus 10 according to the present embodiment, the pixel value is determined based on the result of maximum value calculation at each pixel position after aligning two types of non-confocal superimposed images. On the other hand, even when the maximum value calculation is performed at each pixel position without performing alignment between the two types of non-confocal superimposed images, an image with improved visibility in a region having a high luminance value is formed. can do. Therefore, even in this case, it is possible to form an image with improved visibility of the blood vessel walls on the left and right sides.
しかしながら、上述のように、２種類の非共焦点重ね合わせ画像間には視差が存在するため、両画像は当該視差に基づいて互いに対してずれている。そのため、当該２種類の非共焦点重ね合わせ画像間の位置合わせをせずに各画素位置で最大値演算を行うと、互いにずれた高輝度の領域について最大値演算が行われるため、高輝度の領域が実際より太く描出されてしまう場合がある。従って、この場合には、例えば図１０（ｂ）に示される画像において血管の中央に延在する、いわゆる血柱反射によって高輝度を有する領域などが最大値演算によって太く描写されてしまい、実際の被検眼Ｅの状態に即した画像が得られない可能性がある。 However, as described above, since there is a parallax between the two types of non-confocal superimposed images, both images are displaced from each other based on the parallax. Therefore, if the maximum value calculation is performed at each pixel position without performing alignment between the two types of non-confocal superimposed images, the maximum value calculation is performed on high-luminance regions that are offset from each other. The area may be drawn thicker than it actually is. Therefore, in this case, for example, in the image shown in FIG. 10B, a region having high brightness due to so-called blood column reflection, which extends to the center of the blood vessel, is rendered thick by the maximum value calculation, and is actually drawn. An image suitable for the state of the eye E to be inspected may not be obtained.
これに対し、本実施形態に係る画像形成装置１０では、２種類の非共焦点重ね合わせ画像間の位置合わせを行うことで、両画像間の視差を低減することができる。そのため、画像形成装置１０では、例えば、両画像間のずれに基づいて、高輝度の領域が太く描写されること等による偽像（アーチファクト）やぼけが生じることを抑制し、より明瞭な画像を形成することができる。 On the other hand, in the image forming apparatus 10 according to this embodiment, the parallax between the two images can be reduced by performing the alignment between the two types of non-confocal superimposed images. Therefore, in the image forming apparatus 10, for example, it is possible to suppress the occurrence of false images (artifacts) and blurring due to the high-intensity region being drawn thick based on the shift between the two images, and to obtain a clearer image. Can be formed.
また、本実施形態に係る画像形成処理では、非共焦点信号間の最大値演算によって各画素位置における画素値を決定した。しかしながら、画素値を決定するための演算部１３３による非共焦点信号間の演算はこれに限られない。例えば、非共焦点信号間で加算平均演算を行ってもよい。この場合には、低輝度に描出される片方の血管壁がより明確に描出されることができ、従来の画像形成処理と比べて、当該画像形成処理によって画像内にぼけが生じるのを抑制しながら左右両側の血管壁が明確に描出される画像を形成することができる。 Further, in the image forming process according to the present embodiment, the pixel value at each pixel position is determined by the maximum value calculation between the non-confocal signals. However, the calculation between the non-confocal signals by the calculation unit 133 for determining the pixel value is not limited to this. For example, arithmetic mean calculation may be performed between non-confocal signals. In this case, one of the blood vessel walls, which is rendered with low brightness, can be rendered more clearly, and the occurrence of blurring in the image due to the image forming process is suppressed as compared with the conventional image forming process. However, it is possible to form an image in which the blood vessel walls on both the left and right sides are clearly depicted.
なお、本実施形態ではＳｐｌｉｔ Ｄｅｔｅｃｔｉｏｎ法により略同時に取得した複数種の非共焦点信号に基づく画像を用いて、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、複数の種類の非共焦点信号を取得する方法はこれに限定されない。例えば、Ｏｆｆｓｅｔ Ｐｉｎｈｏｌｅ法によって異なる種類の非共焦点信号を取得してもよい。 Note that, in the present embodiment, a case has been described in which images based on a plurality of types of non-confocal signals acquired at substantially the same time by the Split Detection method are used to form an image in which the visibility of blood vessel walls on the left and right sides is improved. However, the method of acquiring a plurality of types of non-confocal signals is not limited to this. For example, different types of non-confocal signals may be acquired by the Offset Pinhole method.
また、本実施形態では、異なる非共焦点重ね合わせ画像の非共焦点信号間の演算に、非共焦点信号の信号値（輝度値）自体を用いて、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、非共焦点信号間の演算に用いられるものは非共焦点信号の信号値に限定されない。例えば、図１２（ｂ）に示すような手順で、異なる種類の非共焦点信号の特徴量（輝度のコントラストもしくは空間微分の絶対値）が最大の信号を選択して画素値を決定し、血管壁の視認性を向上させた画像を形成してもよい。 Further, in the present embodiment, the signal value (luminance value) of the non-confocal signal itself is used for the calculation between the non-confocal signals of different non-confocal superimposed images to improve the visibility of the left and right blood vessel walls. The case of forming the allowed image has been described. However, what is used for the calculation between the non-confocal signals is not limited to the signal value of the non-confocal signal. For example, in the procedure as shown in FIG. 12B, the pixel value is determined by selecting the signal having the maximum feature amount (contrast of brightness or absolute value of spatial differentiation) of different types of non-confocal signals, and determining the pixel value. You may form the image which improved the visibility of the wall.
図１２（ｂ）は、最大値演算を行う対象として非共焦点重ね合わせ画像における特徴量を用いた場合の画像形成処理のフローチャートを示す。図１２（ｂ）に示すフローチャートは、ステップＳ１２３１以外、図１２（ａ）に示すフローチャートと同様であるため、相違点であるステップＳ１２３１を中心として説明し、他の箇所について説明を省略する。 FIG. 12B shows a flowchart of the image forming process when the feature amount in the non-confocal superimposed image is used as the target for the maximum value calculation. The flowchart shown in FIG. 12B is the same as the flowchart shown in FIG. 12A except step S1231, and therefore the description will be centered on step S1231, which is the difference, and the description of other parts will be omitted.
＜ステップＳ１２３１＞
ステップＳ１２３１では、特徴量算出部１３４が、ステップＳ１２２１で位置合わせや輝度補正が行われた２種類の非共焦点重ね合わせ画像Ｄａｒ，Ｄａｌについて特徴量（輝度のコントラストもしくは空間微分）を算出し、特徴量を記憶部１２０に格納する。
<Step S1231>
In step S1231, the feature amount calculation unit 134 calculates the feature amount (luminance contrast or spatial derivative) for the two types of non-confocal superimposed images Dar and Dal subjected to the alignment and the luminance correction in step S1221. The feature amount is stored in the storage unit 120.
演算部１３３は、形成する画像の各画素位置において、特徴量算出部１３４によって算出された２種類の非共焦点画像の非共焦点信号の特徴量同士について最大値演算を行い、演算結果を決定部１３５に送る。そして、決定部１３５が演算部１３３の演算結果に基づいて、特徴量がより大きい非共焦点画像の画素値を、形成する画像における各画素位置の画素値として決定する。当該処理を全画素位置について行うことにより、図１０（ｅ）に示すような左右両側の血管壁の視認性が高い画像Ｄｆを形成することができる。 The calculation unit 133 performs maximum value calculation on the feature amounts of the non-confocal signals of the two types of non-confocal images calculated by the feature amount calculation unit 134 at each pixel position of the image to be formed, and determines the calculation result. Send to section 135. Then, the determining unit 135 determines the pixel value of the non-confocal image having a larger feature amount as the pixel value of each pixel position in the image to be formed, based on the calculation result of the calculating unit 133. By performing the process for all pixel positions, it is possible to form an image Df with high visibility of the blood vessel walls on the left and right sides as shown in FIG.
例えば、特徴量として輝度値の空間微分値の絶対値を用いる場合には、図１０（ｂ）や同図（ｃ）に示す非共焦点画像Ｄｎｒ，Ｄｎｌを空間微分処理した上で、点線部で該微分画像の輝度プロファイルを生成すると図１１（ｆ）に示す輝度プロファイルになる。そして、ステップＳ１２２１で非剛***置合わせや輝度補正処理を行うと、輝度プロファイルは図１１（ｇ）に示すようになり、微分の絶対値がより大きい方の信号値を画素値として選択し、決定する。形成する画像の全画素位置について当該処理を行うことで、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。なお、図１１（ｆ）及び（ｇ）において、実線はＲチャンネルの非共焦点画像の微分画像の輝度プロファイルを示し、点線はＬチャンネルの非共焦点画像の微分画像の輝度プロファイルを示す。 For example, when the absolute value of the spatial differential value of the brightness value is used as the feature amount, the non-confocal images Dnr and Dnl shown in FIG. 10B and FIG. Then, when the brightness profile of the differential image is generated, the brightness profile shown in FIG. Then, when non-rigid body alignment and brightness correction processing are performed in step S1221, the brightness profile becomes as shown in FIG. 11G, and the signal value having the larger absolute value of the differential is selected as the pixel value and determined. To do. By performing the process for all pixel positions of the image to be formed, the image forming apparatus 10 can form an image with high visibility of the blood vessel walls on the left and right sides. 11F and 11G, the solid line shows the brightness profile of the differential image of the R channel non-confocal image, and the dotted line shows the brightness profile of the differential image of the L channel non-confocal image.
また、特徴量として輝度値のコントラストを用いる場合には、図１０（ｂ）や同図（ｃ）の非共焦点画像Ｄｎｒ，Ｄｎｌの点線部でコントラストを算出すると図１１（ｈ）に示すコントラストプロファイルになる。そして、ステップＳ１２２１で非剛***置合わせ及び輝度補正処理を行うと、コントラストプロファイルは図１１（ｉ）に示すようになり、コントラスト値がより大きい方の信号値を画素値として選択し、決定する。形成する画像の全画素位置について当該処理を行うことで、画像形成装置１０は、左右両側の血管壁の視認性が高い画像を形成することができる。なお、図１１（ｈ）及び（ｉ）において、実線はＲチャンネルの非共焦点画像のコントラストプロファイルを示し、点線はＬチャンネルの非共焦点画像のコントラストプロファイルを示す。 Further, when the contrast of the brightness value is used as the feature amount, when the contrast is calculated at the dotted line portions of the non-confocal images Dnr and Dnl in FIG. 10B and FIG. 10C, the contrast shown in FIG. Become a profile. Then, when non-rigid body alignment and luminance correction processing is performed in step S1221, the contrast profile becomes as shown in FIG. 11I, and the signal value having the larger contrast value is selected and determined as the pixel value. By performing the process for all pixel positions of the image to be formed, the image forming apparatus 10 can form an image in which the blood vessel walls on the left and right sides are highly visible. 11(h) and 11(i), the solid line shows the contrast profile of the R channel non-confocal image, and the dotted line shows the contrast profile of the L channel non-confocal image.
このような構成では演算部１３３は、補正された複数の種類の非共焦点信号の値に関する特徴量を用い最大値演算を行う。非共焦点信号の信号値に代えて、画像の特徴量を用いて非共焦点重ね合わせ画像間の演算を行い、形成する画像における各画素位置の画素値を決定することでも、左右両側の血管壁の視認性が高い画像を形成することができる。 In such a configuration, the calculation unit 133 performs the maximum value calculation using the characteristic amounts related to the corrected values of the plurality of types of non-confocal signals. Instead of the signal value of the non-confocal signal, the feature values of the images are used to perform the calculation between the non-confocal superimposed images to determine the pixel value at each pixel position in the image to be formed. An image with high visibility of the wall can be formed.
［第２実施形態］
第１実施形態に係る画像形成装置１０では、従来のＯｆｆｓｅｔ Ｐｉｎｈｏｌｅ法やＳｐｌｉｔ Ｄｅｔｅｃｔｏｒ法を用いた画像形成装置における、上記片側の血管壁しか明瞭に描出できないという問題に対処した。これに対し、従来のＯｆｆｓｅｔ Ｐｉｎｈｏｌｅ法では、当該問題に加え、撮像対象領域内に蛇行や分岐、交叉等により走行方向の異なる血管が存在する場合には血管枝の走行方向によって明瞭に血管壁を描出できない場合が生じるという問題があった。また同様に、従来のＳｐｌｉｔ Ｄｅｔｅｃｏｔｒ法では、ピンホールなどの開口部の分割方向と血管の走行方向が大きく異なっている場合に血管壁が明瞭に描出しにくくなるという問題があった。
[Second Embodiment]
The image forming apparatus 10 according to the first embodiment has dealt with the problem that only the blood vessel wall on one side can be clearly drawn in the image forming apparatus using the conventional Offset Pinhole method or the Split Detector method. On the other hand, in the conventional Offset Pinhole method, in addition to the above problem, when there are blood vessels having different traveling directions due to meandering, bifurcation, crossover, etc. in the imaging target region, the blood vessel wall is clearly defined by the traveling direction of the blood vessel branch. There was a problem that it could not be drawn. Similarly, the conventional Split Detecotr method has a problem that it is difficult to clearly depict the blood vessel wall when the dividing direction of the opening such as a pinhole and the traveling direction of the blood vessel are greatly different from each other.
この点に関し、非特許文献１は、蛇行や分岐・交叉した血管に適した非共焦点撮影・画像生成技術については開示していない。また、非特許文献２も、ＳＬＯ装置のピンホールの開口部を円周方向に８か所等間隔に移動させて視細胞を撮影することを開示しているが、蛇行や分岐、交差した血管に適した画像を生成するために８種類の画像を適応的に選択する技術については開示していない。 In this regard, Non-Patent Document 1 does not disclose a non-confocal imaging/image generation technique suitable for a meandering, branched, or crossed blood vessel. Non-Patent Document 2 also discloses that the opening of the pinhole of the SLO device is moved at eight equal intervals in the circumferential direction to photograph photoreceptor cells. However, meandering, bifurcating, or intersecting blood vessels are disclosed. No technique is disclosed for adaptively selecting eight types of images in order to generate an image suitable for.
上記事情に鑑み、本発明の第２実施形態では、血管の走行方向に関わらず血管壁領域を明瞭に描出する画像形成装置及び画像形成方法を提供する。 In view of the above circumstances, the second embodiment of the present invention provides an image forming apparatus and an image forming method for clearly depicting a blood vessel wall region regardless of the traveling direction of the blood vessel.
本実施形態に係る画像形成装置は、３種以上の非共焦点画像を取得するＳＬＯ装置で撮影した異なる種類の非共焦点画像の非共焦点信号間で演算処理を行い、演算結果である演算値が最大となる信号種の組み合わせを選択する。さらに、画像形成装置は、選択した信号種の組み合わせ間での最大値演算を実行する。これにより、本実施形態に係る画像形成装置は、血管走行方向に関わらず壁の視認性の高い画像を形成することができる。 The image forming apparatus according to the present embodiment performs a calculation process between non-confocal signals of different types of non-confocal images captured by an SLO device that acquires three or more types of non-confocal images, and calculates the calculation result. Select the combination of signal types that maximizes the value. Further, the image forming apparatus executes maximum value calculation between the selected combinations of signal types. As a result, the image forming apparatus according to the present embodiment can form an image with high wall visibility regardless of the blood vessel traveling direction.
以下、図１３及び１４（ａ）を参照して、本実施形態に係る画像形成装置６０について説明する。本実施形態に係る画像形成装置６０と接続される機器の構成は、第１実施形態に係る画像形成装置１０に接続される機器の構成と同様であるので説明を省略する。 The image forming apparatus 60 according to the present exemplary embodiment will be described below with reference to FIGS. The configuration of the device connected to the image forming apparatus 60 according to the present embodiment is the same as the configuration of the device connected to the image forming apparatus 10 according to the first embodiment, and thus the description thereof will be omitted.
本実施形態に係る画像形成装置６０の機能構成例を図１３に示す。図１３は、画像形成装置６０の概略的な機能構成例を示すブロック図である。本実施形態に係る画像形成装置６０は、補正部１３２に代えて画像処理部６３０に選択部６３８を備え、演算部６３３が、選択部６３８による選択のために異なる種類の非共焦点重ね合わせ画像の非共焦点信号間で演算処理を行う点が第１実施形態と異なっている。なお、信号取得部１１０等の他の構成要素に関しては、第１実施形態に係る画像形成装置６０における構成要素と同様であるため、同じ参照符号を付し、説明を省略する。以下、本実施形態に係る画像形成装置６０を、第１の実施形態に係る画像形成装置１０との相違点を中心に説明する。 FIG. 13 shows a functional configuration example of the image forming apparatus 60 according to the present exemplary embodiment. FIG. 13 is a block diagram showing a schematic functional configuration example of the image forming apparatus 60. The image forming apparatus 60 according to the present embodiment includes a selection unit 638 in the image processing unit 630 instead of the correction unit 132, and the calculation unit 633 causes the selection unit 638 to select different types of non-confocal superimposed images. The difference from the first embodiment is that arithmetic processing is performed between the non-confocal signals. The other components such as the signal acquisition unit 110 are the same as those of the image forming apparatus 60 according to the first embodiment, and therefore, the same reference numerals are given and the description thereof will be omitted. Hereinafter, the image forming apparatus 60 according to the present exemplary embodiment will be described focusing on differences from the image forming apparatus 10 according to the first exemplary embodiment.
本実施形態に係る画像形成装置６０は、画像処理部６３０に演算部６３３及び選択部６３８を備える。 The image forming apparatus 60 according to the present embodiment includes an arithmetic unit 633 and a selection unit 638 in the image processing unit 630.
演算部６３３は、異なる種類の非共焦点画像の非共焦点信号間で、差分強調処理などの演算処理を行い、演算結果となる演算値を選択部６３８に送る。また、演算部６３３は、形成する画像の各画素位置において、選択部６３８によって選択された異なる種類の非共焦点信号の組み合わせに対して演算を行い、演算結果を決定部１３５に送る。なお、決定部１３５は、選択部６３８によって選択された異なる種類の非共焦点信号の組み合わせに対する演算の結果に基づいて、第１実施形態における決定部１３５と同様に、形成する画像の各画素位置における画素値を決定する。 The calculation unit 633 performs a calculation process such as a difference enhancement process between the non-confocal signals of different types of non-confocal images, and sends the calculated value as the calculation result to the selection unit 638. In addition, the calculation unit 633 calculates at each pixel position of the image to be formed for the combination of different types of non-confocal signals selected by the selection unit 638, and sends the calculation result to the determination unit 135. Note that the determination unit 135, based on the calculation result for the combination of different types of non-confocal signals selected by the selection unit 638, similarly to the determination unit 135 in the first embodiment, each pixel position of the image to be formed. To determine the pixel value at.
選択部６３８は、演算部６３３から受け取った演算値に基づいて、形成する画像の各画素位置における画素値を決定するための演算に用いられる、非共焦点信号の種類の組み合わせを選択する。具体的には、選択部６３８は、演算部６３３から受け取った演算値の比較を行い、演算部６３３で演算処理を行った非共焦点信号の種類（信号種）の組み合わせのうち演算値が最大となる信号種の組み合わせを選択する。 The selection unit 638 selects a combination of types of non-confocal signals, which is used in the calculation for determining the pixel value at each pixel position of the image to be formed, based on the calculation value received from the calculation unit 633. Specifically, the selection unit 638 compares the calculation values received from the calculation unit 633, and the calculation value is the maximum among the combinations of the types (signal types) of the non-confocal signals processed by the calculation unit 633. Select the combination of signal types.
次に、本実施形態に係る画像形成装置６０における画像処理フローについて説明する。なお、当該画像処理フローは、第１実施形態と同様であり、図９に示すステップＳ９３０における画像形成処理以外は、第１実施形態の場合と同様であるので説明は省略する。 Next, an image processing flow in the image forming apparatus 60 according to this embodiment will be described. The image processing flow is the same as that of the first embodiment, and is the same as that of the first embodiment except for the image forming processing in step S930 shown in FIG. 9, so description thereof will be omitted.
＜ステップＳ９３０＞
本実施形態に係るステップＳ９３０において、画像処理部６３０は、以下の手順で血管の走行方向に関わらず血管壁の視認性が高い画像を形成する。
<Step S930>
In step S930 according to the present embodiment, the image processing unit 630 forms an image with high visibility of the blood vessel wall regardless of the traveling direction of the blood vessel by the following procedure.
ｉ）動画像単位での重ね合わせ画像生成
第１実施形態の場合と同様に、画像処理部６３０はステップＳ９２０でフレーム間位置合わせを行った各動画像を平均値投影することで重ね合わせ画像を生成する。
i) Overlaid image generation in moving image units As in the case of the first embodiment, the image processing unit 630 projects the overlaid images by projecting the moving images subjected to the inter-frame alignment in step S920 on an average value. To generate.
ｉｉ）各非共焦点信号間の演算値算出
演算部６３３は、形成する画像の各画素（注目画素）を含む小領域内の各画素において、異なる種類の非共焦点重ね合わせ画像における当該画素に対応する各非共焦点信号間で演算処理を行う。ここで、「注目画素を含む小領域」とは画素値を決定すべき画素（注目画素）位置の近傍領域を指し、「注目画素を含む小領域」として任意の大きさや形状の領域を設定することができる。例えば、「注目画素を含む小領域」は、半径ｒの円形領域でもよいし、矩形領域でもよい。あるいは、「注目画素を含む小領域」は、「注目画素及びその４近傍画素」でもよいし、「注目画素及びその８近傍画素」でもよい。あるいは、「注目画素を含む小領域」は、注目画素のみ（面積が１）でもよい。
ii) Calculation of Calculation Value Between Non-confocal Signals The calculation section 633 determines that the pixels in the small area including each pixel (pixel of interest) of the image to be formed are different from each other in the non-confocal superimposed images of different types. Arithmetic processing is performed between the corresponding non-confocal signals. Here, the "small area including the pixel of interest" refers to an area near the position of the pixel (pixel of interest) whose pixel value is to be determined, and an area of any size or shape is set as the "small area including the pixel of interest". be able to. For example, the “small area including the pixel of interest” may be a circular area having a radius r or a rectangular area. Alternatively, the “small area including the pixel of interest” may be the “pixel of interest and its four neighboring pixels” or the “pixel of interest and its eight neighboring pixels”. Alternatively, the “small area including the target pixel” may be only the target pixel (the area is 1).
本実施形態に係るＳＬＯ装置２０及び画像形成装置６０は、図６（ｂ）に示すような、透過領域が４つに分けられた絞りを用いて４種類の非共焦点信号ＮＣ１，ＮＣ２，ＮＣ３，ＮＣ４を取得するものとする。図６（ｂ）に示す絞りは、反射領域２１０−１−１、４つの透過領域２１０−１−４，２１０−１−５，２１０−１−６，２１０−１−７及び透過領域を分割する遮光領域（太線部分）を備える。なお、非共焦点信号ＮＣ１，ＮＣ２，ＮＣ３，ＮＣ４は各々、図６（ｂ）に示す絞りの透過領域２１０−１−４，２１０−１−５，２１０−１−６，２１０−１−７を透過した光に基づいて取得される非共焦点信号とする。 The SLO device 20 and the image forming device 60 according to the present embodiment use four types of non-confocal signals NC1, NC2, NC3 by using a diaphragm having four transmission regions as shown in FIG. 6B. , NC4. The diaphragm shown in FIG. 6B divides the reflection area 210-1-1, four transmission areas 210-1-4, 210-1-5, 210-1-6, 210-1-7 and the transmission area. The light-shielding area (thick line portion) is provided. Note that the non-confocal signals NC1, NC2, NC3, NC4 are respectively transmission regions 210-1-4, 210-1-5, 210-1-6, 210-1-7 of the diaphragm shown in FIG. 6B. Is a non-confocal signal acquired based on the light that has passed through.
演算部６３３は、非共焦点信号の組み合わせを選択するための演算処理として、各注目画素を含む小領域内の各画素において、異なる非共焦点信号（ＮＣ１〜ＮＣ４）間での差分強調処理（Ｓｐｌｉｔ Ｄｅｔｅｃｔｉｏｎ処理）を行う。演算部６３３は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分（Ｓｐｌｉｔ Ｄｅｔｅｃｔｉｏｎ）値の絶対値を演算値として求め、当該小領域内における演算値の総和を算出する。ただし、差分強調処理に限られず、任意の公知の演算処理を適用してよい。 As a calculation process for selecting a combination of non-confocal signals, the calculation unit 633 performs difference enhancement processing between different non-confocal signals (NC1 to NC4) in each pixel in the small region including each target pixel. (Split Detection processing) is performed. The calculation unit 633 calculates the absolute value of the difference (Split Detection) value obtained by the difference emphasis process as a calculated value for each combination of the signal types used in the difference emphasis process, and calculates the sum of the calculated values in the small region. To do. However, it is not limited to the difference emphasis process, and any known arithmetic process may be applied.
ｉｉｉ）各非共焦点信号間で算出した演算値の比較に基づく信号種の選択
選択部６３８は、ｉｉ）で算出した値（演算値の総和）を比較して、異なる種類の非共焦点信号のうち、当該算出した値が最大となる信号種の組み合わせを注目画素毎に選択する。
iii) Selection of signal type based on comparison of calculated values calculated between the respective non-confocal signals The selection unit 638 compares the values calculated in ii) (sum of calculated values) to determine different types of non-confocal signals. Of these, the combination of signal types that maximizes the calculated value is selected for each pixel of interest.
ｉｖ）選択した信号種間演算による画素値の決定
演算部６３３は、選択部６３８が選択した信号種間の演算を行う。そして、決定部１３５が、演算部６３３の演算結果に基づいて、画像形成装置６０が形成する画像における各注目画素の画素値を決定する。本実施形態では、演算部６３３が、ｉｉｉ）で選択した信号種間で最大値演算を行った値を求め、決定部１３５が当該最大値演算の演算結果を形成する画像における注目画素の画素値として決定する。
iv) Determination of Pixel Value by Calculation Between Selected Signal Types The calculation unit 633 calculates between the signal types selected by the selection unit 638. Then, the determining unit 135 determines the pixel value of each target pixel in the image formed by the image forming apparatus 60 based on the calculation result of the calculating unit 633. In the present embodiment, the calculation unit 633 obtains a value obtained by performing the maximum value calculation between the signal types selected in iii), and the determination unit 135 determines the pixel value of the pixel of interest in the image forming the calculation result of the maximum value calculation. To decide.
なお、本実施形態では、ｉｉ）で算出した小領域内における信号種間の差分の絶対値の総和をｉｉｉ）で比較して、当該総和が最大となる信号種の組み合わせを選択した。しかしながら、信号種の組み合わせを選択するために対比される信号種間の演算は、これに限定されない。例えば、ｉｉ）において、演算部が、小領域内の差分の絶対値の総和を算出せず、差分値の絶対値を算出する。そして、ｉｉｉ）では、選択部が、小領域内の各画素位置において、演算部が算出した差分値の絶対値の大小に基づいて信号種を仮選択し、最も多く仮選択された信号種の組み合わせを注目画素毎に選択する。その後、ｉｖ）で、演算部が選択された信号種の組み合わせに対して演算を行い、決定部が当該演算結果に基づいて各注目画素の画素値を決定する。このような信号種間の演算処理を用いて信号種の組み合わせを選択し、注目画素の画素値を求めてもよい。 In the present embodiment, the sum of the absolute values of the differences between the signal types in the small area calculated in ii) is compared in iii) and the combination of signal types that maximizes the sum is selected. However, the operation between the signal types compared for selecting the combination of the signal types is not limited to this. For example, in ii), the calculation unit calculates the absolute value of the difference value without calculating the total sum of the absolute values of the differences in the small area. Then, in iii), the selection unit tentatively selects a signal type at each pixel position in the small region based on the magnitude of the absolute value of the difference value calculated by the calculation unit, and selects the most tentatively selected signal type. A combination is selected for each pixel of interest. After that, in iv), the calculation unit performs a calculation on the selected combination of signal types, and the determination unit determines the pixel value of each target pixel based on the calculation result. A pixel value of the target pixel may be obtained by selecting a combination of signal types by using such arithmetic processing between signal types.
以下、図１４（ａ）を参照して、画像形成装置６０における画像処理フローのステップＳ９３０において行われる画像形成処理について説明する。図１４（ａ）は、画像形成装置６０によって実行される画像形成処理を示すフローチャートである。ただし、ステップＳ１４１０については、第１実施形態に係るステップＳ１２１０と同様であるので説明は省略する。 The image forming process performed in step S930 of the image processing flow in the image forming apparatus 60 will be described below with reference to FIG. FIG. 14A is a flowchart showing the image forming process executed by the image forming apparatus 60. However, step S1410 is the same as step S1210 according to the first embodiment, so description thereof will be omitted.
＜ステップＳ１４２０＞
ステップＳ１４２０において、演算部６３３は、各注目画素を含む小領域内の各画素において各非共焦点信号間での演算値を算出する。本実施形態に係る演算部６３３は、各注目画素を含む小領域内の各画素において、異なる非共焦点信号（ＮＣ１〜ＮＣ４）間での差分演算として、同じスケールで平滑化した非共焦点信号（ＮＣ１〜ＮＣ４）を用いて差分強調処理を行う。演算部６３３は、差分強調処理に用いた信号種の組み合わせ毎に、当該小領域内における、異なる非共焦点信号間の差分強調処理によって求めた差分値の絶対値の総和を算出する。
<Step S1420>
In step S1420, operation unit 633 calculates the operation value between each non-confocal signal in each pixel in the small area including each target pixel. The calculation unit 633 according to the present embodiment performs a non-confocal signal smoothed on the same scale as a difference calculation between different non-confocal signals (NC1 to NC4) in each pixel in the small area including each target pixel. Difference enhancement processing is performed using (NC1 to NC4). The calculation unit 633 calculates, for each combination of signal types used for the difference enhancement processing, the sum of absolute values of the difference values obtained by the difference enhancement processing between different non-confocal signals in the small region.
なお、第１実施形態のように、非共焦点画像(Ｒ，Ｌ)間に視差が生じている場合には、両画像間で差分強調処理(（Ｌ−Ｒ）／（Ｒ＋Ｌ）)を行うと、同一画像内で空間微分処理（異なる座標間での輝度値の差分処理）を行った場合と類似した画像が得られる。ここで、演算部６３３によって差分強調処理が施された画像の例として、図１０（ｄ）に、平滑化したＳｐｌｉｔ Ｄｅｔｅｃｔｏｒ画像を示す。 When parallax occurs between the non-confocal images (R, L) as in the first embodiment, difference enhancement processing ((LR)/(R+L)) is performed between both images. Then, an image similar to the case where spatial differentiation processing (brightness value difference processing between different coordinates) is performed in the same image is obtained. Here, as an example of the image subjected to the difference enhancement processing by the calculation unit 633, FIG. 10D illustrates a smoothed Split Detector image.
本実施形態に係る演算部６３３は、以下の計４つの種類の異なる非共焦点信号間の差分強調演算処理を行い、注目画素を含む小領域内における絶対値の総和を算出する。 The calculation unit 633 according to the present embodiment performs a difference emphasis calculation process between the following four types of different non-confocal signals, and calculates the sum of absolute values in the small area including the pixel of interest.
ａ）横方向の差分（透過領域の分割線：縦方向）
（（ＮＣ１＋ＮＣ２）／２ − （ＮＣ３＋ＮＣ４）／２）
／（（ＮＣ１＋ＮＣ２）／２ ＋ （ＮＣ３＋ＮＣ４）／２）
a) Lateral difference (transparent area dividing line: vertical direction)
((NC1+NC2)/2-(NC3+NC4)/2)
/((NC1+NC2)/2 + (NC3+NC4)/2)
ｂ）斜め方向(左上と右下)の差分（透過領域の分割線：右上から左下に向かう方向）
（ＮＣ１−ＮＣ３）／（ＮＣ１＋ＮＣ３）
b) Diagonal difference (upper left and lower right) (division line of transparent area: direction from upper right to lower left)
(NC1-NC3)/(NC1+NC3)
ｃ）縦方向の差分（透過領域の分割線：横方向）
（（ＮＣ１＋ＮＣ４）／２ − （ＮＣ２＋ＮＣ３）／２）
／（（ＮＣ１＋ＮＣ４）／２ ＋ （ＮＣ２＋ＮＣ３）／２）
c) Vertical difference (transparent area dividing line: horizontal direction)
((NC1+NC4)/2-(NC2+NC3)/2)
/((NC1+NC4)/2 + (NC2+NC3)/2)
ｄ）斜め方向(右上と左下)の差分（透過領域の分割線：右下から左上に向かう方向）
（ＮＣ４−ＮＣ２）／（ＮＣ４＋ＮＣ２）
d) Difference between diagonal directions (upper right and lower left) (transparent area dividing line: direction from lower right to upper left)
(NC4-NC2)/(NC4+NC2)
なお、非共焦点信号間の演算処理に用いられる非共焦点信号は、任意の組み合わせであってよい。これに関し、当該演算処理に用いられる非共焦点信号に対応する絞りの透過部は、正反対の位置にあり、かつ透過領域の面積が同じである必要はない。例えば、ＮＣ１と（ＮＣ３＋ＮＣ４）／２のように、正反対の位置になかったり、面積の和が異なる透過領域を透過した光に基づく非共焦点信号間で演算処理した結果に基づいて、画像形成に用いる信号種の組み合わせを選択してもよい。ここで、画像形成に用いる信号種の組み合わせとは、決定部１３５による画素値の決定のために、演算部６３３によって演算される非共焦点信号の組み合わせを指す。 Note that the non-confocal signals used for the arithmetic processing between the non-confocal signals may be any combination. In this regard, the transmissive portions of the diaphragm corresponding to the non-confocal signal used in the arithmetic processing need not be at the diametrically opposite positions and have the same transmissive area. For example, based on the result of the arithmetic processing between the non-confocal signals based on the light transmitted through the transmissive regions having different sums of areas, such as NC1 and (NC3+NC4)/2, the image formation is not performed. The combination of signal types used may be selected. Here, the combination of signal types used for image formation refers to a combination of non-confocal signals calculated by the calculation unit 633 in order to determine the pixel value by the determination unit 135.
演算部６３３は、算出した非共焦点信号間の差分値の絶対値の総和を選択部６３８に送る。 The calculation unit 633 sends the calculated sum of absolute values of the difference values between the non-confocal signals to the selection unit 638.
＜ステップＳ１４３０＞
ステップＳ１４３０において、選択部６３８は、ステップＳ１４２０で算出した値同士を比較して、当該値が最大となる信号種の組み合わせを選択する。本実施形態では、上述の非共焦点信号間の差分値の絶対値の総和同士を比較して最大となる信号種の組み合わせを選択する。例えば、上記ａ）〜ｄ）の演算を行い、ｂ）の演算による、注目画素を含む小領域における非共焦点信号間の差分値の絶対値の総和が、当該４つの演算値の中で最大であれば、非共焦点信号ＮＣ１と非共焦点信号ＮＣ３の組み合わせを選択する。
<Step S1430>
In step S1430, the selection unit 638 compares the values calculated in step S1420 and selects the combination of signal types that maximizes the value. In the present embodiment, the sum of the absolute values of the difference values between the non-confocal signals described above is compared with each other, and the combination of the maximum signal types is selected. For example, the sum of the absolute values of the difference values between the non-confocal signals in the small area including the pixel of interest obtained by performing the operations a) to d) and the operation b) is the maximum among the four operation values. If so, the combination of the non-confocal signal NC1 and the non-confocal signal NC3 is selected.
ここで、本実施形態では、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の総和を用いたが、これに限定されない。例えば、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の最大値や平均値、所定の閾値以上の演算値の和を用いてもよい。 Here, in the present embodiment, the sum of the calculated values is used as the value used for selecting the combination of signal types used for image formation, but the present invention is not limited to this. For example, as a value used for selecting a combination of signal types used for image formation, a maximum value or an average value of calculated values, or a sum of calculated values equal to or larger than a predetermined threshold may be used.
選択部６３８は、選択した非共焦点信号の種類（信号種）の組み合わせを演算部６３３に送る。 The selection unit 638 sends the combination of the types (signal types) of the selected non-confocal signals to the calculation unit 633.
＜ステップＳ１４４０＞
ステップＳ１４４０において、演算部６３３は、ステップＳ１４３０で選択した信号種の組み合わせ間の演算を行い、演算結果を決定部１３５に送る。決定部１３５は、演算部６３３の演算結果に基づいて、画像形成装置１０が形成する画像の注目画素の画素値を決定する。
<Step S1440>
In step S1440, the calculation unit 633 calculates between the combinations of signal types selected in step S1430 and sends the calculation result to the determination unit 135. The determination unit 135 determines the pixel value of the target pixel of the image formed by the image forming apparatus 10 based on the calculation result of the calculation unit 633.
本実施形態では、演算部６３３は、ステップＳ１４３０で選択した信号種の組み合わせ間で、注目画素に対応する非共焦点信号の信号値について最大値演算した値を決定部１３５に送る。決定部１３５は、当該最大値演算した値を注目画素の画素値として決定する。 In the present embodiment, the calculation unit 633 sends to the determination unit 135 the maximum-value-calculated value of the signal value of the non-confocal signal corresponding to the pixel of interest between the combinations of signal types selected in step S1430. The determining unit 135 determines the value calculated by the maximum value as the pixel value of the target pixel.
＜ステップＳ１４５０＞
ステップＳ１４５０で、画像処理部６３０は、全画素において非共焦点信号間の演算処理が完了していれば、図９に示すステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１４６０へと処理を進める。
<Step S1450>
In step S1450, the image processing unit 630 advances the processing to step S940 shown in FIG. 9 if the calculation processing between the non-confocal signals is completed for all the pixels, and the pixels for which the calculation processing is not completed remain. If so, the process advances to step S1460.
＜ステップＳ１４６０＞
ステップＳ１４６０において、画像処理部６３０は、非共焦点信号間の演算が未了の隣接する画素位置へ移動した上で、ステップＳ１４２０へと処理を進める。
<Step S1460>
In step S1460, the image processing unit 630 moves to an adjacent pixel position for which calculation between the non-confocal signals has not been completed, and then advances the process to step S1420.
上記のように、本実施形態による画像形成装置６０は、それぞれが被写体の非共焦点画像を形成する、複数の種類の非共焦点信号ＮＣ１〜ＮＣ４を取得する信号取得部１１０を備える。また、画像形成装置６０は、形成する画像の画素値を決定する際に用いられる非共焦点信号の組み合わせを複数の種類の非共焦点信号ＮＣ１〜Ｎ４の中から選択する選択部６３８を備える。さらに、画像形成装置６０は、選択部６３８によって選択された非共焦点信号の組み合わせについて、複数の種類の非共焦点信号を用いて最大値演算を行う演算部６３３を備える。加えて、画像形成装置６０は、演算部６３３による最大値演算の演算結果に基づいて、形成する画像の各画素値を決定する決定部１３５を備える。また、演算部６３３は、複数の種類の非共焦点信号間で差分強調処理を行って演算値を算出し、選択部６３８は、複数の種類の非共焦点信号間の当該演算値に基づいて、非共焦点信号の組み合わせを選択する。 As described above, the image forming apparatus 60 according to the present embodiment includes the signal acquisition unit 110 that acquires a plurality of types of non-confocal signals NC1 to NC4, each of which forms a non-confocal image of a subject. The image forming apparatus 60 also includes a selection unit 638 that selects a combination of non-confocal signals used when determining the pixel value of the image to be formed from a plurality of types of non-confocal signals NC1 to N4. Further, the image forming apparatus 60 includes a calculation unit 633 that performs maximum value calculation using a plurality of types of non-confocal signals for the combination of non-confocal signals selected by the selection unit 638. In addition, the image forming apparatus 60 includes a determination unit 135 that determines each pixel value of the image to be formed based on the calculation result of the maximum value calculation by the calculation unit 633. In addition, the calculation unit 633 performs difference emphasis processing between the plurality of types of non-confocal signals to calculate a calculation value, and the selection unit 638 based on the calculation value between the plurality of types of non-confocal signals. , Select a combination of non-confocal signals.
このような構成によれば、画像形成装置６０は、ＳＬＯ装置２０で撮影した３種以上の非共焦点画像の非共焦点信号間で演算処理（差分強調処理）を行う。画像形成装置６０は、当該演算処理による演算値が最大となる信号種の組み合わせを選択した上で、選択した信号種の組み合わせに対し最大値演算を実行する。これにより、本実施形態による画像形成装置６０は、血管走行方向に関わらず壁の視認性の高い画像を形成することができる。 With such a configuration, the image forming apparatus 60 performs arithmetic processing (difference enhancement processing) between the non-confocal signals of three or more types of non-confocal images captured by the SLO apparatus 20. The image forming apparatus 60 selects a combination of signal types that maximizes the calculated value by the calculation process, and then performs maximum value calculation on the selected combination of signal types. As a result, the image forming apparatus 60 according to the present embodiment can form an image with high wall visibility regardless of the blood vessel traveling direction.
本実施形態では、図６（ｂ）に示すような絞りを用いて４種類の非共焦点信号を取得する場合について説明したが、非共焦点信号は３種類以上であれば任意の数の種類の非共焦点信号を取得してよい。例えば、図６（ｃ）もしくは（ｆ）に示すような絞りを用いて、８種類の非共焦点信号（ＮＣ１〜ＮＣ８）を取得して、選択部６３８が８種類の非共焦点信号間の演算値に基づいて画像形成に用いる信号種の組み合わせを選択してもよい。 In the present embodiment, a case has been described in which four types of non-confocal signals are acquired using a diaphragm as shown in FIG. 6B, but any number of types of non-confocal signals can be used as long as there are three or more types. May be obtained. For example, eight kinds of non-confocal signals (NC1 to NC8) are acquired by using a diaphragm as shown in FIG. 6C or 6F, and the selecting unit 638 selects between the eight kinds of non-confocal signals. A combination of signal types used for image formation may be selected based on the calculated value.
ここで、非共焦点信号ＮＣ１〜ＮＣ８を、各々図６（ｃ）に示す絞りの透過領域２１０−１−９〜２１０−１−１６を透過した光から取得される非共焦点信号とする。この場合、以下のｉ）〜ｉｉｉ)のいずれかの手法により、形成する画像の注目画素の画素値を決定することもできる。 Here, the non-confocal signals NC1 to NC8 are non-confocal signals acquired from the light transmitted through the transmission regions 210-1-9 to 210-1-16 of the diaphragm shown in FIG. 6C, respectively. In this case, the pixel value of the target pixel of the image to be formed can be determined by any one of the following methods i) to iii).
ｉ）演算部が、非共焦点信号ＮＣ１とＮＣ５、ＮＣ２とＮＣ６、ＮＣ３とＮＣ７、ＮＣ４とＮＣ８の間で差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。 i) The calculation unit performs difference calculation between the non-confocal signals NC1 and NC5, NC2 and NC6, NC3 and NC7, and NC4 and NC8. The selection unit selects the combination having the largest sum of the absolute values of the differences as a combination of the signal types used for image formation, the calculation unit performs the maximum value calculation between the selected signal types, and the determination unit determines the calculation result. The pixel value of the pixel of interest is determined based on
ｉｉ）演算部が、（ＮＣ１＋ＮＣ２）／２と（ＮＣ５＋ＮＣ６）／２、（ＮＣ２＋ＮＣ３）／２と（ＮＣ６＋ＮＣ７）／２、（ＮＣ３＋ＮＣ４）／２と（ＮＣ７＋ＮＣ８）／２、（ＮＣ４＋ＮＣ５）／２と（ＮＣ８＋ＮＣ１）／２間で差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。 ii) The calculation unit is (NC1+NC2)/2 and (NC5+NC6)/2, (NC2+NC3)/2 and (NC6+NC7)/2, (NC3+NC4)/2 and (NC7+NC8)/2, (NC4+NC5)/2 and (NC8+)NC. )/2 is calculated. The selection unit selects the combination having the largest sum of the absolute values of the differences as a combination of the signal types used for image formation, the calculation unit performs the maximum value calculation between the selected signal types, and the determination unit determines the calculation result. The pixel value of the pixel of interest is determined based on
ｉｉｉ）演算部が、（ＮＣ１＋ＮＣ２＋ＮＣ３＋ＮＣ４）／４と（ＮＣ５＋ＮＣ６＋ＮＣ７＋ＮＣ８）／４、（ＮＣ２＋ＮＣ３＋ＮＣ４＋ＮＣ５）／４と（ＮＣ６＋ＮＣ７＋ＮＣ８＋ＮＣ１）／４間で各々差分演算を行う。これに加えて、演算部が、（ＮＣ３＋ＮＣ４＋ＮＣ５＋ＮＣ６）／４と（ＮＣ７＋ＮＣ８＋ＮＣ１＋ＮＣ２）／４、（ＮＣ４＋ＮＣ５＋ＮＣ６＋ＮＣ７）／４と（ＮＣ８＋ＮＣ１＋ＮＣ２＋ＮＣ３）／４間で各々差分演算を行う。選択部は、当該差分の絶対値の総和が最も大きい組み合わせを画像形成に用いる信号種の組み合わせとして選択し、演算部が選択された信号種間の最大値演算を行い、決定部が当該演算結果に基づいて注目画素の画素値を決定する。 iii) The calculation unit performs difference calculation between (NC1+NC2+NC3+NC4)/4 and (NC5+NC6+NC7+NC8)/4, and (NC2+NC3+NC4+NC5)/4 and (NC6+NC7+NC8+NC1)/4. In addition to this, the calculation unit performs difference calculation between (NC3+NC4+NC5+NC6)/4 and (NC7+NC8+NC1+NC2)/4, and (NC4+NC5+NC6+NC7)/4 and (NC8+NC1+NC2+NC3)/4. The selection unit selects the combination having the largest sum of the absolute values of the differences as a combination of the signal types used for image formation, the calculation unit performs the maximum value calculation between the selected signal types, and the determination unit determines the calculation result. The pixel value of the pixel of interest is determined based on
なお、非共焦点信号間の演算処理に用いられる非共焦点信号は、任意の組み合わせであってよい。これに関し、当該演算処理に用いられる非共焦点信号に対応する絞りの透過部は、透過領域２１０−１−９と透過領域２１０−１−１３のように、正反対の位置にあり、かつ透過領域の面積が同じである必要はない。例えば、（ＮＣ１＋ＮＣ２）／２と（ＮＣ４＋ＮＣ５＋ＮＣ６）／３のように正反対の位置になかったり、面積の和が異なる透過領域を透過した光に基づく信号種間で演算処理した結果に基づいて画像形成に用いる信号種の組み合わせを選択してもよい。このことからも、８種類の非共焦点信号の組み合わせ間の演算が上記ｉ）〜ｉｉｉ）に限られず、任意の組み合わせ間の演算を行ってよいことが理解される。 Note that the non-confocal signals used for the arithmetic processing between the non-confocal signals may be any combination. In this regard, the transmissive part of the diaphragm corresponding to the non-confocal signal used in the arithmetic processing is at the opposite positions, such as the transmissive region 210-1-9 and the transmissive region 210-1-13, and is in the transmissive region. The areas need not be the same. For example, when image formation is performed based on the result of calculation processing between signal types based on light transmitted through transmissive regions that are not in opposite positions such as (NC1+NC2)/2 and (NC4+NC5+NC6)/3, or have different sums of areas. The combination of signal types used may be selected. From this, it is understood that the calculation between the combinations of the eight types of non-confocal signals is not limited to the above i) to iii), and the calculation between any combination may be performed.
また、本実施形態では、異なる種類の非共焦点信号の信号値（輝度値）自体を用いて、血管の走行方向に関係なく血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、非共焦点信号の組み合わせの選択及び画素値を決定するための演算に用いられる値は非共焦点信号の信号値に限定されない。例えば、図１４（ｂ）に示すような手順で、異なる種類の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)が最大の信号種の組み合わせに基づいて、画像形成に用いる信号種の組み合わせを選択してもよい。また、当該信号種の組み合わせについて、非共焦点信号に関する特徴量に基づいて画素値を決定し、血管壁の視認性を向上させた画像を形成してもよい。 Further, in the present embodiment, the case has been described in which the signal values (luminance values) of different types of non-confocal signals themselves are used to form an image in which the visibility of the blood vessel wall is improved regardless of the traveling direction of the blood vessel. .. However, the values used for the selection of the combination of non-confocal signals and the calculation for determining the pixel value are not limited to the signal values of the non-confocal signal. For example, according to the procedure as shown in FIG. 14B, it is used for image formation based on a combination of signal types having the largest feature amount (contrast of brightness or absolute value of spatial differentiation) regarding different types of non-confocal signals. A combination of signal types may be selected. In addition, for the combination of the signal types, a pixel value may be determined based on a feature amount related to a non-confocal signal, and an image with improved visibility of the blood vessel wall may be formed.
図１４（ｂ）は、信号種の組み合わせの選択や画素値を決定するための最大値演算に非共焦点信号に関する特徴量を用いた場合の画像形成処理のフローチャートを示す。図１４（ｂ）に示すフローチャートは、ステップＳ１４２１乃至Ｓ１４４１以外、図１４（ａ）に示すフローチャートと同様であるため、相違点であるステップＳ１４２１乃至Ｓ１４４１を中心として説明し、他の箇所について説明を省略する。 FIG. 14B shows a flowchart of the image forming process when the feature amount related to the non-confocal signal is used for the maximum value calculation for selecting the combination of signal types and determining the pixel value. The flowchart shown in FIG. 14B is similar to the flowchart shown in FIG. 14A except for steps S1421 to S1441. Therefore, description will be given centering on steps S1421 to S1441 which are different points, and other parts will be described. Omit it.
＜ステップＳ１４２１＞
ステップＳ１４２１では、特徴量算出部１３４が、各非共焦点重ね合わせ画像の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)を算出し、算出した特徴量を演算部６３３に送る。なお、当該特徴量は記憶部１２０に格納されてもよい。
<Step S1421>
In step S1421, the feature amount calculation unit 134 calculates the feature amount (contrast of brightness or absolute value of spatial differentiation) regarding the non-confocal signal of each non-confocal superimposed image, and the calculated feature amount is provided to the calculation unit 633. send. The feature amount may be stored in the storage unit 120.
演算部６３３は、注目画素を含む小領域において、特徴量算出部１３４から受け取った各非共焦点信号に関する特徴量を用いて演算処理を行い、演算値を算出する。なお、当該演算処理としては、非共焦点信号の組み合わせの選択に適切な任意の演算処理を行ってよく、例えば、各特徴量同士の加算を行ってもよい。 The calculation unit 633 performs calculation processing using the feature amount regarding each non-confocal signal received from the feature amount calculation unit 134 in the small area including the target pixel, and calculates the calculated value. As the calculation process, any calculation process suitable for selection of a combination of non-confocal signals may be performed, and for example, feature amounts may be added together.
＜ステップＳ１４３１＞
ステップＳ１４３１において、選択部６３８は、ステップＳ１４２１で算出した値同士を比較して、当該値が最大となる信号種の組み合わせを選択する。本実施形態では、上述の演算値の絶対値の総和同士を比較して、該総和が最大となる信号種の組み合わせを選択する。
<Step S1431>
In step S1431, the selection unit 638 compares the values calculated in step S1421 and selects the combination of signal types having the maximum value. In the present embodiment, the sum totals of the absolute values of the above-described calculated values are compared with each other, and the combination of signal types having the maximum sum is selected.
ここで、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の総和を用いたが、これに限定されない。例えば、画像形成に用いる信号種の組み合わせの選択に用いる値として、演算値の最大値や平均値、所定の閾値以上の演算値の和を用いてもよい。 Here, the sum of the calculated values is used as the value used for selecting the combination of the signal types used for image formation, but the present invention is not limited to this. For example, as a value used for selecting a combination of signal types used for image formation, a maximum value or an average value of calculated values, or a sum of calculated values equal to or larger than a predetermined threshold may be used.
選択部６３８は、選択した非共焦点信号の種類（信号種）の組み合わせを演算部６３３に送る。 The selection unit 638 sends the combination of the types (signal types) of the selected non-confocal signals to the calculation unit 633.
＜ステップＳ１４４１＞
ステップＳ１４４１では、演算部６３３が、注目画素において、ステップＳ１４３１で選択された信号種の組み合わせ間で非共焦点信号に関する特徴量同士で最大値演算を行い、演算結果を決定部１３５に送る。そして、決定部１３５が演算部６３３の演算結果に基づいて、特徴量がより大きい非共焦点画像の画素値を、形成する画像における注目画素の画素値として決定する。
<Step S1441>
In step S1441, the calculation unit 633 calculates the maximum value between the feature amounts of the non-confocal signals between the combinations of signal types selected in step S1431 in the target pixel, and sends the calculation result to the determination unit 135. Then, the determining unit 135 determines the pixel value of the non-confocal image having a larger feature amount as the pixel value of the target pixel in the image to be formed, based on the calculation result of the calculating unit 633.
このように、非共焦点信号の信号値に代えて、非共焦点信号に関する特徴量を用いて非共焦点信号間の演算処理を行い、画像形成に用いる信号種の組み合わせを選択した場合でも、血管の走行方向に関わらず血管壁の視認性が高い画像を形成することができる。また、非共焦点信号に関する特徴量を用いて、形成する画像における各画素位置の画素値を決定した場合でも血管の走行方向に関わらず血管壁の視認性が高い画像を形成することができる。 As described above, even when the calculation process between the non-confocal signals is performed by using the feature amount related to the non-confocal signal instead of the signal value of the non-confocal signal, and the combination of the signal types used for image formation is selected, An image with high visibility of the blood vessel wall can be formed regardless of the running direction of the blood vessel. Further, even when the pixel value at each pixel position in the image to be formed is determined using the feature amount related to the non-confocal signal, it is possible to form an image with high visibility of the blood vessel wall regardless of the traveling direction of the blood vessel.
［その他の実施形態］
第１実施形態では、補正部１３２を備える画像形成装置１０によって、左右両側の血管壁の視認性を向上させた画像を形成する場合について説明した。また、第２実施形態では、選択部６３８を備える画像形成装置６０によって、血管の走行方向に関わらず血管壁の視認性を向上させた画像を形成する場合について説明した。上記においては、これら実施形態を異なる実施形態として説明したが、これらを組み合わせて画像を形成してもよい。すなわち、画像処理部に補正部と選択部の双方を設けることで、血管の走行方向に関わらず両側の血管壁の視認性の高い画像を形成することができる。
[Other Embodiments]
In the first embodiment, the case where the image forming apparatus 10 including the correction unit 132 forms an image in which the visibility of the blood vessel walls on the left and right sides is improved is described. Further, in the second embodiment, the case where the image forming apparatus 60 including the selection unit 638 forms an image in which the visibility of the blood vessel wall is improved regardless of the traveling direction of the blood vessel has been described. In the above, these embodiments have been described as different embodiments, but these may be combined to form an image. That is, by providing both the correction unit and the selection unit in the image processing unit, it is possible to form an image with high visibility of the blood vessel walls on both sides regardless of the blood vessel traveling direction.
このような変形例による画像形成装置７０の機能構成例を図１５に示す。図１５は、画像形成装置７０の概略的な機能構成例を示すブロック図である。図１５においては、第１実施形態及び第２実施形態による画像形成装置１０及び６０における構成要素と同様の構成要素について、同じ参照符号を付している。また、以下において、第１実施形態及び第２実施形態に係る構成及び画像処理フローと同様の構成及び画像処理フローについては、説明を省略し、これらとの相違点を中心に、本変形例による画像形成装置７０について説明する。 FIG. 15 shows a functional configuration example of the image forming apparatus 70 according to such a modification. FIG. 15 is a block diagram showing a schematic functional configuration example of the image forming apparatus 70. In FIG. 15, the same components as those in the image forming apparatuses 10 and 60 according to the first and second embodiments are designated by the same reference numerals. Further, in the following, the description of the configuration and the image processing flow similar to the configuration and the image processing flow according to the first embodiment and the second embodiment will be omitted, and the differences between them will be mainly described according to the present modification. The image forming apparatus 70 will be described.
画像形成装置７０は、第１実施形態による画像形成装置１０に対し、第２実施形態に係る選択部６３８が加えられた構成である。なお、これらの機能は第１実施形態及び第２実施形態における構成要素と同様であるため、説明を省略する。なお、画像処理部７３０の演算部７３３は、選択部６３８による信号種の組み合わせの選択及び補正部１３２による非共焦点重ね合わせ画像間の位置合わせや輝度調整が行われた非共焦点信号や非共焦点画像に関する演算を行う。 The image forming apparatus 70 has a configuration in which the selecting unit 638 according to the second embodiment is added to the image forming apparatus 10 according to the first embodiment. Note that these functions are similar to the constituent elements in the first embodiment and the second embodiment, so description thereof will be omitted. Note that the calculation unit 733 of the image processing unit 730 selects the non-confocal signal or the non-confocal signal for which the selection of the combination of the signal types by the selection unit 638 and the non-confocal superimposed images by the correction unit 132 have been performed or the brightness adjustment has been performed. Perform calculations on confocal images.
以下、このような画像形成装置７０による画像形成処理について図１６（ａ）を参照して説明する。図１６（ａ）は、画像形成装置７０において実行される画像形成処理を示すフローチャートである。なお、当該画像形成処理におけるステップＳ１６１０、Ｓ１６６０及びＳ１６７０は、第１実施形態による画像形成装置１０において実行される画像形成処理のステップＳ１２１０、Ｓ１２４０及びＳ１２５０とそれぞれ同様であるため、説明を省略する。 The image forming process by the image forming apparatus 70 will be described below with reference to FIG. FIG. 16A is a flowchart showing the image forming process executed by the image forming apparatus 70. Note that steps S1610, S1660, and S1670 in the image forming process are the same as steps S1210, S1240, and S1250 of the image forming process executed in the image forming apparatus 10 according to the first embodiment, and thus description thereof will be omitted.
＜ステップＳ１６２０＞
ステップＳ１６２０では、演算部７３３が、第２実施形態における演算部６３３と同様に、注目画素を含む小領域内の各画素において、異なる非共焦点信号間での差分強調処理（演算処理）を行う。演算部７３３は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分値の絶対値を演算値として求め（第２の演算）、当該小領域内における演算値の総和を算出し、選択部６３８に送る。
<Step S1620>
In step S1620, the calculation unit 733 performs difference enhancement processing (calculation processing) between different non-confocal signals in each pixel in the small area including the target pixel, as in the calculation unit 633 in the second embodiment. .. The calculation unit 733 calculates the absolute value of the difference value calculated by the difference emphasis process as a calculated value for each combination of the signal types used for the difference emphasis process (second calculation), and sums the calculated values in the small region. Is calculated and sent to the selection unit 638.
＜ステップＳ１６３０＞
ステップＳ１６３０では、選択部６３８が、ステップＳ１６２０で算出した差分値の絶対値の総和同士を比較して、当該総和が最大となる信号種の組み合わせを選択し、補正部１３２及び演算部７３３に送る。
<Step S1630>
In step S1630, the selection unit 638 compares the sums of the absolute values of the difference values calculated in step S1620, selects the combination of signal types that maximizes the sum, and sends the combination to the correction unit 132 and the calculation unit 733. ..
＜ステップＳ１６４０＞
ステップＳ１６４０では、異種信号位置合わせ部１３２１が、第１実施形態に係るステップＳ１２２０と同様に、選択部６３８によって選択された信号種の組み合わせに対応する非共焦点重ね合わせ画像間での位置合わせを行うことで両画像間の視差を低減する。異種信号位置合わせ部１３２１は、当該位置合わせが行われた非共焦点重ね合わせ画像を記憶部１２０に格納する。
<Step S1640>
In step S1640, the heterogeneous signal alignment unit 1321 aligns the non-confocal superimposed images corresponding to the combination of the signal types selected by the selection unit 638, as in step S1220 according to the first embodiment. By doing so, the parallax between both images is reduced. The heterogeneous signal alignment unit 1321 stores the non-confocal superimposed image that has undergone the alignment in the storage unit 120.
また、輝度補正部１３２２は、当該信号種の組み合わせに対応する非共焦点重ね合わせ画像間で何らかの原因で輝度分布が大きく異なっている場合に、位置合わせされた非共焦点重ね合わせ画像間での輝度分布特性を揃えるように調整する。調整する手法は第１実施形態に係るステップＳ１２２０と同様である。輝度補正部１３２２は、輝度補正が行われた非共焦点重ね合せ画像を記憶部１２０に格納する。 In addition, the brightness correction unit 1322 determines that the non-confocal overlapped images that have been registered are matched when the brightness distributions of the non-confocal overlapped images corresponding to the combination of the signal types are significantly different from each other for some reason. Adjust so that the brightness distribution characteristics are uniform. The method of adjusting is the same as step S1220 according to the first embodiment. The brightness correction unit 1322 stores the non-confocal superimposed image for which brightness correction has been performed in the storage unit 120.
＜ステップＳ１６５０＞
ステップＳ１６５０では、演算部７３３が、注目画素について、補正された各非共焦点重ね合わせ画像の非共焦点信号の組み合わせ間で最大値演算（第１の演算）を行い、演算結果を決定部１３５に送る。決定部１３５は、演算結果に基づいて、形成する画像における注目画素の画素値を決定する。
<Step S1650>
In step S1650, the calculation unit 733 performs the maximum value calculation (first calculation) between the combinations of the non-confocal signals of the corrected non-confocal superimposed images for the target pixel, and the calculation result is determined by the determination unit 135. Send to. The determination unit 135 determines the pixel value of the target pixel in the image to be formed based on the calculation result.
上記のように、本変形例による画像形成装置７０は、第１実施形態による画像形成装置１０の構成に加え、画素値を決定する際に用いられる非共焦点信号の組み合わせを複数の種類の非共焦点信号の中から選択する選択部６３８をさらに備える。演算部７３３は、複数の種類の非共焦点信号間で差分強調処理を行って演算値として差分値の絶対値を算出し、選択部６３８は、算出された複数の種類の非共焦点信号間の演算値に基づいて、非共焦点信号の組み合わせを選択する。そして、補正部１３２は、選択された非共焦点信号の組み合わせに対して、当該非共焦点信号によって形成される非共焦点画像間の位置を合わせるように、補正を行う。その後、演算部７３３が、選択部６３８によって選択された非共焦点信号の組み合わせについて、補正された複数の種類の非共焦点信号を用いて最大値演算を行い、該演算結果に基づいて決定部１３５が注目画素の画素値を決定する。 As described above, in the image forming apparatus 70 according to the present modification, in addition to the configuration of the image forming apparatus 10 according to the first embodiment, a plurality of types of non-confocal signal combinations used when determining pixel values are used. A selection unit 638 that selects from confocal signals is further provided. The calculation unit 733 performs difference emphasis processing between the plurality of types of non-confocal signals to calculate the absolute value of the difference value as a calculation value, and the selection unit 638 determines the calculated difference between the plurality of types of non-confocal signals. A combination of non-confocal signals is selected based on the calculated value of. Then, the correction unit 132 corrects the selected combination of non-confocal signals so that the positions of the non-confocal images formed by the non-confocal signals are matched. After that, the calculation unit 733 performs maximum value calculation on the combination of the non-confocal signals selected by the selection unit 638 using the corrected plurality of types of non-confocal signals, and the determination unit based on the calculation result. 135 determines the pixel value of the pixel of interest.
このように、本変形例による画像形成装置７０では、選択部６３８は、異なる信号種間の差分処理を行い該差分の絶対値の総和が最大となる信号種の組み合わせを選択する。その上で、補正部１３２が、該選択された信号種の組み合わせに対応する非共焦点重ね合わせ画像間で位置合わせや輝度分布を補正する。そして、演算部７３３が、該補正した信号対間の最大値演算により画素値を決定する。 As described above, in the image forming apparatus 70 according to the present modification, the selection unit 638 performs difference processing between different signal types and selects a combination of signal types that maximizes the sum of absolute values of the differences. Then, the correction unit 132 corrects the alignment and the brightness distribution between the non-confocal superimposed images corresponding to the selected combination of signal types. Then, the calculation unit 733 determines the pixel value by calculating the maximum value between the corrected signal pairs.
当該構成によれば、画像形成装置７０は血管の走行方向に関わらず左右両側の血管壁の視認性を向上させた画像を形成することができる。 With this configuration, the image forming apparatus 70 can form an image in which the visibility of the left and right blood vessel walls is improved regardless of the traveling direction of the blood vessel.
当該変形例による画像形成装置７０では、選択部６３８が信号種の組み合わせを選択した後に、補正部１３２が当該信号種の組み合わせに対応する非共焦点重ね合わせ画像の位置合わせ等を行った。これに対し、補正部１３２が異なる非共焦点画像間の視差や輝度分布を補正した上で、選択部６３８が信号種の組み合わせを選択してもよい。 In the image forming apparatus 70 according to the modified example, after the selection unit 638 selects a combination of signal types, the correction unit 132 performs alignment of non-confocal superimposed images corresponding to the combination of signal types. On the other hand, the correction unit 132 may correct the parallax or luminance distribution between different non-confocal images, and then the selection unit 638 may select the combination of signal types.
この場合には、演算部７３３が、補正された複数の種類の非共焦点信号間で差分強調処理を行って演算値として差分値の絶対値を算出し、選択部６３８が、補正された複数の種類の非共焦点信号間の演算値に基づいて、非共焦点信号の組み合わせを選択する。 In this case, the calculation unit 733 performs difference enhancement processing between the plurality of types of corrected non-confocal signals to calculate the absolute value of the difference value as a calculation value, and the selection unit 638 causes the corrected plurality of corrected non-confocal signals. A combination of non-confocal signals is selected based on the calculated value between the non-confocal signals of
当該構成によっても、画像形成装置７０は、血管の走行方向に関わらず左右両側の血管壁の視認性を向上させた画像を形成することができる。 With this configuration as well, the image forming apparatus 70 can form an image in which the visibility of the left and right blood vessel walls is improved regardless of the traveling direction of the blood vessel.
また、本変形例では、信号種を選択するための演算処理や画素値を決定するための非共焦点信号間の演算に、非共焦点信号の信号値（輝度値）自体を用いて、血管の走行方向に関係なく血管壁の視認性を向上させた画像を形成する場合について説明した。しかしながら、信号種を選択するための演算処理や画素値を決定するための非共焦点信号間の演算に用いられるものは非共焦点信号の信号値に限定されない。例えば、異なる種類の非共焦点信号に関する特徴量(輝度のコントラストもしくは空間微分の絶対値)の演算値が最大となる信号種の組み合わせを選択し、当該特徴量が最大である非共焦点信号に基づいて画素値を決定してもよい。 Further, in the present modification, the signal value (luminance value) itself of the non-confocal signal is used for the calculation process for selecting the signal type and the calculation between the non-confocal signals for determining the pixel value. The case of forming an image in which the visibility of the blood vessel wall is improved regardless of the traveling direction of the blood vessel has been described. However, what is used for the calculation process for selecting the signal type and the calculation between the non-confocal signals for determining the pixel value is not limited to the signal value of the non-confocal signal. For example, select a combination of signal types that maximizes the calculated value of the feature amount (contrast of brightness or absolute value of spatial differentiation) relating to different types of non-confocal signals, and select the non-confocal signal with the maximum feature amount. The pixel value may be determined based on the above.
この場合、演算部７３３は複数の種類の非共焦点信号の値に関する特徴量を用いて、差分強調処理や特徴量の加算等を行い、演算結果として演算値を算出する。また、補正部１３２が異なる非共焦点画像間の視差や輝度分布を補正した上で、選択部６３８が信号種の組み合わせを選択する場合には、演算部７３３が補正された複数の種類の非共焦点信号の値に関する特徴量を用いて同様の演算を行い、演算値を算出する。そして、選択された非共焦点信号の組み合わせについて、演算部７３３が非共焦点信号に関する特徴量について最大値演算を行い、決定部１３５が当該演算結果に基づいて画素値を決定する。これらの場合であっても、画像形成装置７０は、血管の走行方向にかかわらず左右両側の血管壁の視認性を向上させた画像を形成することができる。 In this case, the calculation unit 733 performs difference emphasis processing, addition of the characteristic amounts, and the like using the characteristic amounts regarding the values of the plurality of types of non-confocal signals, and calculates the calculated value as the calculation result. Further, when the correction unit 132 corrects the parallax and the luminance distribution between different non-confocal images, and the selection unit 638 selects a combination of signal types, the calculation unit 733 corrects a plurality of types of non-corrected images. The same calculation is performed using the feature amount related to the value of the confocal signal, and the calculated value is calculated. Then, with respect to the selected combination of non-confocal signals, the calculation unit 733 performs maximum value calculation on the feature amount regarding the non-confocal signals, and the determination unit 135 determines the pixel value based on the calculation result. Even in these cases, the image forming apparatus 70 can form an image with improved visibility of the left and right blood vessel walls regardless of the running direction of the blood vessel.
また、上述の第２実施形態や変形例では、選択部６３８が画素値を決定すべき画素（注目画素）毎に信号種の組み合わせを選択する場合について説明したが、本発明はこれに限定されない。例えば、画像内の小領域毎に信号種の組み合わせ選択を行ったり、画像全体の輝度値を用いて画像に対して一様に信号種の選択を行ったりする場合も本発明に含まれる。 Further, in the above-described second embodiment and modified example, the case where the selection unit 638 selects a combination of signal types for each pixel (pixel of interest) whose pixel value should be determined has been described, but the present invention is not limited to this. .. For example, the present invention also includes a case where a combination of signal types is selected for each small area in an image, or a signal type is uniformly selected for an image using the brightness value of the entire image.
また、上述の第２実施形態や変形例では、選択部６３８が画像全体の画素値（輝度値）に対して信号種の組み合わせの選択処理を行い、画像全体について血管壁の視認性を向上させた画像を形成した。しかしながら、信号種の組み合わせの選択処理や血管壁の視認性を向上させた画像の形成領域はこれに限定されない。例えば、図１６（ｂ）に示すような手順で、画像処理部が特徴抽出処理を行って１以上の関心領域を指定し、当該関心領域内で算出した非共焦点信号間の演算値が最大となる信号種の組み合わせを選択し、関心領域内の画像を形成する場合も本発明に含まれる。図１６（ｂ）は、このような場合の画像形成処理を示すフローチャートである。なお、ステップＳ１６１１は図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６１０と同様であるため、説明を省略する。 In addition, in the above-described second embodiment and modification, the selection unit 638 performs a selection process of a combination of signal types for pixel values (luminance values) of the entire image to improve the visibility of the blood vessel wall in the entire image. Formed image. However, the selection processing of the combination of signal types and the image formation area in which the visibility of the blood vessel wall is improved are not limited to this. For example, in the procedure as shown in FIG. 16B, the image processing unit performs the feature extraction processing to specify one or more regions of interest, and the calculated value between the non-confocal signals calculated in the region of interest is the maximum. The present invention also includes the case of selecting a combination of the following signal types and forming an image in the region of interest. FIG. 16B is a flowchart showing the image forming process in such a case. Note that step S1611 is the same as step S1610 of the image forming process in the image forming apparatus 70 according to the modification shown in FIG.
図１６（ｂ）に示す画像形成処理は、ステップＳ１６１２，Ｓ１６２１及びＳ１６６１以外、図１６（ａ）に示す画像形成処理と同様であるため、当該相違点を中心に説明する。 The image forming process shown in FIG. 16B is the same as the image forming process shown in FIG. 16A except for steps S1612, S1621, and S1661, and therefore the difference will be mainly described.
＜ステップＳ１６１２＞
当該変形例におけるステップＳ１６１２では、画像処理部が公知の特徴抽出処理により、血管の特徴を抽出し、抽出した特徴に基づいて関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を決定する。画像処理部は、決定したＲＯＩを演算部に送る。
<Step S1612>
In step S1612 in the modified example, the image processing unit extracts a blood vessel feature by a well-known feature extraction process, and determines a region of interest (ROI) based on the extracted feature. The image processing unit sends the determined ROI to the calculation unit.
＜ステップＳ１６２１＞
ステップＳ１６２１では、演算部が、第２実施形態係るステップＳ１４２０と同様に、決定されたＲＯＩ内における注目画素を含む小領域について、異なる非共焦点信号間での差分強調処理を行う。演算部は、差分強調処理に用いた信号種の組み合わせ毎に、差分強調処理によって求めた差分値の絶対値を演算値として求め、当該小領域内における演算値の総和を算出し、選択部に送る。
<Step S1621>
In step S1621, the calculation unit performs difference enhancement processing between different non-confocal signals for a small region including the pixel of interest in the determined ROI, as in step S1420 according to the second embodiment. The calculation unit, for each combination of signal types used in the difference emphasis process, obtains the absolute value of the difference value obtained by the difference emphasis process as a calculation value, calculates the sum of the calculation values in the small area, and outputs it to the selection unit. send.
ステップＳ１６３１乃至ステップＳ１６５１については、図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６３０乃至Ｓ１６５０と同様であるため、説明を省略する。 Steps S1631 to S1651 are the same as steps S1630 to S1650 of the image forming process in the image forming apparatus 70 according to the modification shown in FIG.
＜ステップＳ１６６１＞
ステップＳ１６６１では、画像処理部が、ＲＯＩ内の全画素において非共焦点信号間の演算処理が完了していれば、図９に示すステップＳ９４０へと処理を進め、まだ演算処理が未了の画素が残っている場合にはステップＳ１６７１へと処理を進める。なお、ステップＳ１６７１は図１６（ａ）に示す、上記変形例による画像形成装置７０における画像形成処理のステップＳ１６７０と同様であるため、説明を省略する。
<Step S1661>
In step S1661, the image processing unit advances the processing to step S940 shown in FIG. 9 if the calculation processing between the non-confocal signals is completed for all the pixels in the ROI, and the pixels for which the calculation processing is not completed yet. If is left, the process proceeds to step S1671. Note that step S1671 is the same as step S1670 of the image forming process in the image forming apparatus 70 according to the modification shown in FIG.
このようにして、画像全体ではなく、特定の関心領域内の画素について、信号種の組み合わせを選択し、血管壁の視認性を向上させた画像を形成してもよい。なお、第１実施形態による画像形成装置１０のように、信号種の組み合わせを選択しない構成であっても同様である。 In this way, a combination of signal types may be selected not for the entire image but for pixels in a specific region of interest to form an image with improved visibility of the blood vessel wall. The same applies to a configuration in which the combination of signal types is not selected as in the image forming apparatus 10 according to the first embodiment.
なお、当該変形例においては、画像処理部が特徴抽出処理を行って１以上の関心領域を指定したが、例えば、操作者がキーボード３０６やマウス３０７等を用いて手動で関心領域を指定してもよい。 In the modification, the image processing unit performs the feature extraction process to specify one or more regions of interest. However, for example, the operator manually specifies the regions of interest using the keyboard 306, the mouse 307, or the like. Good.
また、上述の実施形態では、予め指定された撮影対象領域について、選択部６３８が選択した信号種間で演算処理した結果を用いて画像を形成する場合について説明した。しかしながら、撮影対象領域の決定はこれに限定されない。例えば、選択部６３８が選択した信号種に基づいて血管の走行方向情報を取得した上で、血管の走行方向情報に基づいて撮影対象領域を決定してもよい。 Further, in the above-described embodiment, a case has been described in which an image is formed using the result of arithmetic processing between the signal types selected by the selection unit 638 for the previously designated imaging target area. However, the determination of the shooting target area is not limited to this. For example, the imaging target area may be determined based on the blood vessel traveling direction information after acquiring the blood vessel traveling direction information based on the signal type selected by the selection unit 638.
上述の実施形態では信号取得部１１０に共焦点データ取得部１１１と非共焦点データ取得部１１２を両方とも含む場合について説明したが、非共焦点データを２種以上取得可能な構成であれば、信号取得部１１０に共焦点データ取得部１１１を含まなくてもよい。 In the above-described embodiment, the case where the signal acquisition unit 110 includes both the confocal data acquisition unit 111 and the non-confocal data acquisition unit 112 has been described. However, as long as two or more types of non-confocal data can be acquired, The signal acquisition unit 110 may not include the confocal data acquisition unit 111.
さらに、以上では各実施形態に係る画像形成装置について述べたが、本発明の実施形態は画像形成装置のみに限定されない。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。なお、このようなプログラムを記憶した記憶媒体も本発明の趣旨に含まれる。 Furthermore, although the image forming apparatus according to each embodiment has been described above, the embodiment of the present invention is not limited to the image forming apparatus. The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. A storage medium storing such a program is also included in the scope of the present invention.
なお、上記実施形態では、共焦点画像及び非共焦点画像が動画像である場合について述べた。しかしながら、共焦点画像及び非共焦点画像は静止画であってもよい。この場合には、これらの画像はフレーム毎に位置合わせをすることなく、それぞれ画像形成に用いられる。そのため、演算部において、重ね合わせ画像ではなく、それぞれの静止画に対して演算を行って形成する画像の注目画素について演算を行い、決定部が当該演算結果に基づいて画素値を決定する。この場合に構成された画像形成装置であっても、第１実施形態や第２実施形態に係る画像形成装置と同様の効果を奏することができる。 In the above embodiment, the case where the confocal image and the non-confocal image are moving images has been described. However, the confocal image and the non-confocal image may be still images. In this case, these images are used for image formation without aligning each frame. Therefore, the calculation unit calculates not the superimposed images but the respective still images, and calculates the pixel of interest of the image to be formed, and the determination unit determines the pixel value based on the calculation result. Even the image forming apparatus configured in this case can achieve the same effects as those of the image forming apparatuses according to the first and second embodiments.
また、上記実施形態では、被測定物が眼の場合について述べた。しかしながら、本発明に係る画像形成装置及び画像形成方法は、眼以外の皮膚や臓器等を被測定物として検査する検査装置にも適用することが可能である。そのため、眼科装置以外の、例えば内視鏡等の医療機器に本発明に係る画像形成装置を用いることもできる。 Moreover, in the said embodiment, the case where the to-be-measured object was an eye was described. However, the image forming apparatus and the image forming method according to the present invention can also be applied to an inspection apparatus that inspects skin, organs, and the like other than the eye as an object to be measured. Therefore, the image forming apparatus according to the present invention can be used for medical equipment such as an endoscope other than the ophthalmologic apparatus.
以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。 Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above exemplary embodiments. The present invention includes inventions modified within a range not departing from the spirit of the present invention and inventions equivalent to the present invention. Further, the above-described respective embodiments can be appropriately combined without departing from the spirit of the present invention.
１０：画像形成装置、１１０：信号取得部、１３２：補正部、１３５：決定部 10: image forming apparatus, 110: signal acquisition unit, 132: correction unit, 135: determination unit
Claims (13)
それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得する信号取得部と、
前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する補正部と、
前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行う演算部と、
前記演算部による演算結果に基づいて、形成する画像の各画素値を決定する決定部と、を備え
前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である、画像形成装置。 An image forming apparatus for forming an image,
Each of which forms a non-confocal image of the eye, a signal acquisition unit that acquires a first non-confocal signal and the second non-confocal signal returning light was divided into regions from the subject's eye,
The first non-confocal image generated from the first non-confocal signal and the second non-confocal image generated from the second non-confocal signal are aligned in position between pixels, A correction unit that corrects the positional relationship between the first non-confocal signal and the second non-confocal signal,
An arithmetic unit that performs a maximum value operation using the corrected first non-confocal signal and the second non-confocal signal;
A determination unit that determines each pixel value of an image to be formed based on a calculation result by the calculation unit, and the first non-confocal signal and the second non-confocal signal whose positional relationship is corrected. Is an image forming apparatus, which is a signal acquired at the same time.
前記演算部は、前記選択部によって選択された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて前記最大値演算を行う、請求項１又は２に記載の画像形成装置。 The first non-confocal signal and the second non-confocal signal used for the maximum value calculation are selected from four non-confocal signals obtained by dividing the return light into four regions. Further provided with a selection unit,
The image forming apparatus according to claim 1, wherein the calculation unit performs the maximum value calculation using the first non-confocal signal and the second non-confocal signal selected by the selection unit. ..
前記演算部は、前記補正された４つの非共焦点信号間で差分強調処理演算を行って演算値を算出し、
前記選択部は、前記演算値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項３に記載の画像形成装置。 The correction unit corrects the positional relationship of the four non-confocal signals so that the positions of the pixels in the four non-confocal signals are matched.
The calculation unit performs a difference emphasis processing calculation between the corrected four non-confocal signals to calculate a calculation value,
The image forming apparatus according to claim 3, wherein the selection unit selects the first non-confocal signal and the second non-confocal signal based on the calculated value.
前記選択部は、算出された演算値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択し、
前記補正部は、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正する、請求項３に記載の画像形成装置。 The calculation unit performs a difference emphasis processing calculation between the four non-confocal signals to calculate a calculation value,
The selecting unit selects the first non-confocal signal and the second non-confocal signal based on the calculated calculation value;
The image forming apparatus according to claim 3, wherein the correction unit corrects a positional relationship between the first non-confocal signal and the second non-confocal signal.
前記選択部は、前記所定の領域内における前記演算値の平均値に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項４又は５に記載の画像形成装置。 The calculating unit calculates the calculated value by performing the difference emphasis processing calculation with respect to the non-confocal signal corresponding to a predetermined region including a pixel whose pixel value is to be determined,
The said selection part selects the said 1st non-confocal signal and the said 2nd non-confocal signal based on the average value of the said calculation value in the said predetermined area|region. Image forming apparatus.
前記選択部は、前記所定の領域内における前記演算値のうち、所定の閾値を超える前記演算値の和に基づいて、前記第１の非共焦点信号と前記第２の非共焦点信号を選択する、請求項４又は５に記載の画像形成装置。 The calculating unit calculates the calculated value by performing the difference emphasis processing calculation with respect to the non-confocal signal corresponding to a predetermined region including a pixel whose pixel value is to be determined,
The selection unit selects the first non-confocal signal and the second non-confocal signal based on the sum of the calculated values that exceed a predetermined threshold value among the calculated values in the predetermined region. The image forming apparatus according to claim 4, wherein the image forming apparatus comprises:
それぞれが被検眼の非共焦点画像を形成する、前記被検眼からの戻り光を領域分割した第１の非共焦点信号と第２の非共焦点信号を取得することと、
前記第１の非共焦点信号から生成される第１の非共焦点画像と前記第２の非共焦点信号から生成される第２の非共焦点画像の各画素間の位置を合わせるように、前記第１の非共焦点信号と前記第２の非共焦点信号の位置関係を補正することと、
前記補正された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて最大値演算を行うことと、
前記最大値演算の演算結果に基づいて、形成する画像の各画素値を決定することと、
を含み、
前記位置関係を補正される前記第１の非共焦点信号と前記第２の非共焦点信号は、同時に取得された信号である、画像形成方法。 An image forming method for forming an image,
And that each forms a non-confocal image of the eye to obtain a first non-confocal signal and the second non-confocal signal returning light was divided into regions from the subject's eye,
The first non-confocal image generated from the first non-confocal signal and the second non-confocal image generated from the second non-confocal signal are aligned in position between pixels, Correcting the positional relationship between the first non-confocal signal and the second non-confocal signal;
Performing a maximum value calculation using the corrected first non-confocal signal and the second non-confocal signal;
Determining each pixel value of the image to be formed based on the calculation result of the maximum value calculation;
Including,
The image forming method, wherein the first non-confocal signal and the second non-confocal signal whose positional relationship is corrected are signals that are simultaneously acquired.
前記最大値演算を行うことは、前記選択された前記第１の非共焦点信号と前記第２の非共焦点信号を用いて前記最大値演算を行うことを含む、請求項１１に記載の画像形成方法。 The first non-confocal signal and the second non-confocal signal used for the maximum value calculation are selected from four non-confocal signals obtained by dividing the return light into four regions. Further including
The image according to claim 11, wherein performing the maximum value calculation includes performing the maximum value calculation using the selected first non-confocal signal and the second non-confocal signal. Forming method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015256147A JP6711617B2 (en) | 2015-12-28 | 2015-12-28 | Image forming apparatus, image forming method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015256147A JP6711617B2 (en) | 2015-12-28 | 2015-12-28 | Image forming apparatus, image forming method and program thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017118919A JP2017118919A (en) | 2017-07-06 |
| JP2017118919A5 JP2017118919A5 (en) | 2019-01-10 |
| JP6711617B2 true JP6711617B2 (en) | 2020-06-17 |
Family
ID=59271298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015256147A Expired - Fee Related JP6711617B2 (en) | 2015-12-28 | 2015-12-28 | Image forming apparatus, image forming method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6711617B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07299039A (en) * | 1994-03-23 | 1995-11-14 | Topcon Corp | Medical image processing device |
| JP5278984B2 (en) * | 2006-03-24 | 2013-09-04 | 興和株式会社 | Image analysis apparatus and image analysis program |
| JP6061619B2 (en) * | 2012-10-30 | 2017-01-18 | オリンパス株式会社 | Microscope system |
| JP6603074B2 (en) * | 2015-08-25 | 2019-11-06 | 株式会社トプコン | Fundus photographing device |
-
2015
- 2015-12-28 JP JP2015256147A patent/JP6711617B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017118919A (en) | 2017-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5822485B2 (en) | Image processing apparatus, image processing method, image processing system, SLO apparatus, and program | |
| US9613419B2 (en) | Image generating device and image generating method | |
| JP5947561B2 (en) | Image forming apparatus and image forming method | |
| US9351650B2 (en) | Image processing apparatus and image processing method | |
| JP2017046975A (en) | Ophthalmic imaging apparatus and ophthalmic imaging program | |
| US10799106B2 (en) | Image processing apparatus and image processing method | |
| US10383514B2 (en) | Ophthalmologic imaging apparatus, operation method thereof, and computer program | |
| JP6611593B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2017033669A1 (en) | Blood flow measurement device | |
| WO2017069019A1 (en) | Blood flow measurement device | |
| JP6468907B2 (en) | Image processing apparatus, image processing method, and program | |
| US10674902B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
| US10388012B2 (en) | Image processing apparatus, image processing method, and program for identifying cells of blood vessel wall | |
| JP6711617B2 (en) | Image forming apparatus, image forming method and program thereof | |
| US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
| US10264960B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
| US10470652B2 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160302 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181120 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200528 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6711617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |