JPH0567208A - Image synthesis method and image pickup device - Google Patents

Image synthesis method and image pickup device

Info

Publication number
JPH0567208A
JPH0567208A JP17005491A JP17005491A JPH0567208A JP H0567208 A JPH0567208 A JP H0567208A JP 17005491 A JP17005491 A JP 17005491A JP 17005491 A JP17005491 A JP 17005491A JP H0567208 A JPH0567208 A JP H0567208A
Authority
JP
Japan
Prior art keywords
image
small area
fundus
images
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17005491A
Other languages
Japanese (ja)
Inventor
Akio Sakurai
桜井明男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP17005491A priority Critical patent/JPH0567208A/en
Publication of JPH0567208A publication Critical patent/JPH0567208A/en
Pending legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

PURPOSE:To provide an image synthesis method which can synthesize images at short time. CONSTITUTION:The image synthesis method is to overlap the same parts in a first image which is image-picked up by an image pickup element 16 and is stored in a first frame memory 51 and a second image stored in a second frame memory 52 so that they are overlapped to be coincident and to synthesize them into the continuous image. A controller 53 pattern-matches small area image data in the small area part of a prescribed position in the same part of the first image and image data in respective small areas in the same part in the second image. The position of the small area part of the second image whose correlation coefficient of pattern matching becomes the largest is obtained and the position of the small area part is made to coincide with the prescribed position of the first image so as to synthesize the first image and the second image.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、一部分が重なるよう
にして撮像された所定画像と他の画像をその同一部分を
一致させて重ねることにより連続した画像に合成する画
像合成方法と、連続した画像を撮像する画像撮像装置に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing method for synthesizing a predetermined image captured so that a part thereof overlaps with another image into a continuous image by superimposing the same part on the same image. The present invention relates to an image capturing device that captures an image.

【0002】[0002]

【従来の技術】従来、例えば眼底カメラで眼底を撮像す
る場合、眼底カメラの画角はほぼ50度であるから、一回
の撮像で眼底全体を撮像することができない。このた
め、眼底の撮像箇所をずらせながら、一部分が重なるよ
うに連続撮像していくことにより眼底全体を撮像してい
る。
2. Description of the Related Art Conventionally, for example, when a fundus camera is used to image the fundus, the angle of view of the fundus camera is approximately 50 degrees, and therefore it is not possible to image the entire fundus with one image capture. Therefore, the entire fundus of the eye is imaged by shifting the imaging position of the fundus while continuously capturing images so as to partially overlap each other.

【0003】そして、撮像した1つの眼底像と他の眼底
像の重なる部分内の数点をそれぞれにプロットして、そ
れらの数点を一致させて画像を合成し、さらに、他の各
画像についても同様に行なって各画像を合成することに
より連続した全眼底像を得ている。
[0003] Then, several points in the overlapping portion of one captured fundus image and another captured fundus image are plotted respectively, and these several points are matched to synthesize an image. The same procedure is performed to synthesize each image to obtain a continuous whole fundus image.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、各画像
の共通する部分の数点をプロットする作業が手作業であ
るため非常に厄介であり、画像を合成するのに多くの手
間と時間を費やさなければならないという問題があっ
た。
However, it is very troublesome to plot several points of a common part of each image, which is very troublesome, and it takes a lot of time and effort to synthesize the images. There was a problem that it had to be.

【0005】また、眼底の撮像箇所をずらせて撮影する
場合、指標を光軸と直交する方向へ移動させて被検眼の
向きを変えているが、その指標の移動方向や移動量は検
者が感で決めているので、画像の重なる部分の面積がま
ちまちとなり、このため合成が非常に行いにくく、しか
も、隅々まで撮像したパノラマ画像を得ることが難しい
等の問題があった。
Further, in the case of photographing by shifting the imaged portion of the fundus, the index is moved in the direction orthogonal to the optical axis to change the direction of the eye to be inspected. Since it is decided by the feeling, the areas of the overlapping portions of the images are different, which makes it very difficult to combine the images, and it is difficult to obtain a panoramic image in which every corner is picked up.

【0006】そこで、この発明は、上記問題点に鑑みて
なされたもので、その目的は、短時間で画像の合成を行
なうことのできる画像合成方法と、画像の重なる部分の
面積を一様にするとともに隅々まで撮像したパノラマ画
像を得ることのできる撮像装置を提供することにある。
Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide an image synthesizing method capable of synthesizing images in a short time and to make the areas of overlapping portions of images uniform. Another object of the present invention is to provide an imaging device capable of obtaining a panoramic image in which every corner is captured.

【0007】[0007]

【課題を解決するための手段】この発明は、上記目的を
達成するために、一部分が重なるようにして撮像された
第1画像と第2画像をそれらの同一部分を一致させて重
ねることにより連続した画像に合成する画像合成方法で
あって、第1画像の前記同一部分内における所定位置の
小領域部分の小領域画像データと、第2画像の前記同一
部分内における各小領域部分の画像データとをパターン
マッチングして、このパターンマッチングの相関係数が
最大となる第2画像の小領域部分位置を求め、この小領
域部分位置と第1画像の前記所定位置とを一致させて第
1画像と第2画像とを合成することを特徴とする。
SUMMARY OF THE INVENTION In order to achieve the above object, the present invention continuously connects a first image and a second image which are imaged so as to partially overlap with each other so that the same parts thereof are overlapped with each other. And a small area image data of a small area portion at a predetermined position within the same portion of the first image, and image data of each small area portion within the same portion of the second image. And the pattern matching is performed to obtain a small area partial position of the second image where the correlation coefficient of the pattern matching is maximum, and the small area partial position and the predetermined position of the first image are matched to each other to obtain the first image. And the second image are combined.

【0008】また、この発明は、中心画像から所定距離
はなれた周辺画像を、その一部分が前記中心画像と重な
るように撮像可能とする撮像箇所変更手段を備えている
ことを特徴とする。
Further, the present invention is characterized in that it is provided with an image pickup portion changing means capable of picking up an image of a peripheral image which is separated from the central image by a predetermined distance so that a part thereof overlaps with the central image.

【0009】[0009]

【作用】この発明は、上記構成により、第1画像の同一
部分内における小領域部分の小領域画像データと、第2
画像の同一部分内における各小領域部分の画像データと
のパターンマッチングが行なわれ、パターンマッチング
の相関係数が最大となる第2画像の小領域部分位置が求
められ、この小領域部分位置と第1画像の小領域部分位
置とを一致させて第1画像と第2画像とが合成される。
According to the present invention, the small area image data of the small area portion within the same portion of the first image and the second area image are formed by the above structure.
The pattern matching is performed with the image data of each small area portion within the same portion of the image, and the small area portion position of the second image having the maximum correlation coefficient of the pattern matching is obtained. The first image and the second image are combined by matching the positions of the small regions of one image.

【0010】また、撮像箇所変更手段が、一部分が中心
画像と重なるように中心画像から所定距離はなれた周辺
画像を撮像可能にする。
Further, the imaged part changing means is capable of picking up a peripheral image which is apart from the central image by a predetermined distance so that a part thereof overlaps with the central image.

【0011】[0011]

【実施例】以下、この発明に係わる画像合成方法によっ
て眼底像を合成する眼底カメラ(撮像装置)の実施例を
図面に基づいて説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a fundus camera (imaging device) for synthesizing a fundus image by an image synthesizing method according to the present invention will be described below with reference to the drawings.

【0012】図1はかかる眼底カメラの光学系の配置を
示したもので、図1において、1は被検眼Eの眼底Er
を照明する照明光学系、2は照明された眼底Erを撮影
する撮影光学系、30は被検眼Eに指標を投影する指標
投影光学系である。
FIG. 1 shows the arrangement of the optical system of such a fundus camera. In FIG. 1, 1 is the fundus Er of the eye E to be examined.
Is an illumination optical system for illuminating the eye fundus, 2 is a photographing optical system for photographing the illuminated fundus Er, and 30 is an index projection optical system for projecting an index on the eye E to be inspected.

【0013】照明光学系1は、観察用被検眼照明光源と
してのハロゲンランプ3と、コンデンサレンズ6と、被
検眼Eの瞳孔と共役位置にあるリング状絞り7と、リレ
ーレンズ8と、全反射ミラー9と、リレーレンズ10
と、孔空きミラー12と、対物レンズ11等とから構成
されている。
The illumination optical system 1 includes a halogen lamp 3 as a light source for illuminating an eye to be inspected, a condenser lens 6, a ring-shaped diaphragm 7 at a position conjugate with the pupil of the eye E, a relay lens 8, and total reflection. Mirror 9 and relay lens 10
, An aperture mirror 12, an objective lens 11 and the like.

【0014】指標投影光学系30は、指標板31と、コ
リメータレンズ37とハーフミラー35と、リレーレン
ズ8と、全反射ミラー9と、リレーレンズ10と、孔空
きミラー12と、対物レンズ11等から構成されてい
る。そして、指標板31には、図2に示すように、指標
となる発光ダイオード31a〜31iが31aを中心に円
状に配置されている。
The index projection optical system 30 includes an index plate 31, a collimator lens 37, a half mirror 35, a relay lens 8, a total reflection mirror 9, a relay lens 10, a perforated mirror 12, an objective lens 11 and the like. It consists of Then, on the index plate 31, as shown in FIG. 2, light emitting diodes 31a to 31i serving as indexes are arranged in a circle around 31a.

【0015】撮影光学系2は、対物レンズ11と、孔空
きミラー12と、合焦レンズ13と、結像レンズ14
と、クイックリターンミラー15と、CCD等からなる
撮像素子16とから構成されている。20は接眼光学系
で、全反射ミラー21と、接眼レンズ22等とから構成
される。観察時には、ハロゲンランプ3の照明光が、コ
ンデンサレンズ6、リング状絞り7、リレーレンズ8、
全反射ミラー9、リレーレンズ10、孔空きミラー1
2、対物レンズ11を通って被検眼Eに導かれ、被検眼
Eの眼底Erを照明する。その照明光は被検眼Eの瞳孔
36を通過する際にリング状照明光となる。
The photographing optical system 2 includes an objective lens 11, a perforated mirror 12, a focusing lens 13, and an imaging lens 14.
And a quick return mirror 15 and an image sensor 16 such as a CCD. An eyepiece optical system 20 is composed of a total reflection mirror 21, an eyepiece lens 22 and the like. At the time of observation, the illumination light of the halogen lamp 3 causes the condenser lens 6, the ring diaphragm 7, the relay lens 8,
Total reflection mirror 9, relay lens 10, perforated mirror 1
2. It is guided to the eye E through the objective lens 11 and illuminates the fundus Er of the eye E. The illumination light becomes ring-shaped illumination light when passing through the pupil 36 of the eye E to be inspected.

【0016】眼底Erからの反射光束は、対物レンズ1
1を介して孔空きミラー12に導かれ、その孔部12
a、合焦レンズ13、結像レンズ14を介してクイック
リターンミラー15に至る。クイックリターンミラー1
5は、観察時に撮影光学系2の光路に挿入され、眼底E
rからの光束は、そのクイックリターンミラー15によ
り反射されて、接眼光学系20のミラー21、接眼レン
ズ22を介して検者の眼25に入る。これによって、被
検眼Eの眼底Erが観察される。撮像時、すなわち、図
示しない撮影スイッチを押すとクイックリターンミラー
15が破線位置へ跳ね上がり、眼底像が撮像素子16に
よって撮像される。
The reflected light flux from the fundus Er is the objective lens 1.
1 is guided to the perforated mirror 12 and the hole 12
A, the focusing lens 13, and the imaging lens 14 reach the quick return mirror 15. Quick return mirror 1
5 is inserted into the optical path of the photographing optical system 2 during observation,
The light flux from r is reflected by the quick return mirror 15 and enters the eye 25 of the examiner via the mirror 21 and the eyepiece lens 22 of the eyepiece optical system 20. As a result, the fundus Er of the eye E is observed. At the time of imaging, that is, when a shooting switch (not shown) is pressed, the quick return mirror 15 jumps up to the position of the broken line, and the fundus image is captured by the imaging element 16.

【0017】他方、指標投影光学系30によって指標が
眼底Erに投影され、この指標を被検眼者が視認するこ
とによりに被検眼Eが所定方向を向き、検者は眼底Er
の所定箇所の観察や眼底Erの所定箇所を撮像すること
ができる。観察箇所や撮像箇所を変える場合には、指標
板31の発光ダイオード31a〜31iの点灯を変えれば
よい。例えば、発光ダイオード31aを点灯すれば、図
3に示すように、眼底Erの中央部Eaを観察することが
でき、発光ダイオード31bを発光させれば、眼底Erの
下部Ebを観察することができるようになっている。同
様に発光ダイオード31c〜31iを発光させれば、眼底
Erの部分Ec〜Eiを観察することができ、それらの箇
所を撮像することができる。
On the other hand, the index projection optical system 30 projects the index onto the fundus Er, and the eye E is directed in a predetermined direction by the eye of the eye to be inspected by the eye E.
It is possible to observe a predetermined part of the eye and image a predetermined part of the fundus Er. When the observation location or the imaging location is changed, the lighting of the light emitting diodes 31a to 31i of the index plate 31 may be changed. For example, if the light emitting diode 31a is turned on, the central portion Ea of the fundus Er can be observed as shown in FIG. 3, and if the light emitting diode 31b emits light, the lower portion Eb of the fundus Er can be observed. It is like this. Similarly, if the light emitting diodes 31c to 31i are caused to emit light, the portions Ec to Ei of the fundus Er can be observed, and those portions can be imaged.

【0018】発光ダイオード31a〜31iは、眼底Er
の各部分Ea〜Eiの重なる面積が一様となるようそれぞ
れ互いの距離が設定されて配置されており、これによ
り、眼底Erの隅々まで一様に撮像したパノラマ画像を
得ることができる。
The light emitting diodes 31a to 31i are connected to the fundus Er.
The portions Ea to Ei are arranged such that their overlapping areas are uniform and the distances therebetween are set, whereby a panoramic image in which every corner of the fundus Er is evenly captured can be obtained.

【0019】図4は眼底カメラの制御系の構成を示した
ブロック図であり、図4において、51,52は撮像素
子16で撮像された眼底像を記憶する第1,第2フレー
ムメモリ、53は第1,第2フレームメモリ51,52に
記憶された眼底像のパターンマッチングや合成等の画像
データの処理を行なう制御装置であり、この制御装置5
3はマイクロコンピュータなどから構成されている。ま
た、制御装置53は撮像素子16の制御や発光ダイオー
ド31a〜31iの点灯制御等をも行なうようになってい
る。
FIG. 4 is a block diagram showing the constitution of the control system of the fundus camera. In FIG. 4, reference numerals 51 and 52 denote first and second frame memories 53 for storing the fundus images picked up by the image pickup device 16. Is a control device that performs image data processing such as pattern matching and composition of fundus images stored in the first and second frame memories 51 and 52.
Reference numeral 3 is composed of a microcomputer and the like. The control device 53 also controls the image sensor 16 and the lighting of the light emitting diodes 31a to 31i.

【0020】54は光デイスク等からなる記憶装置で、
制御装置53によって処理された眼底像や、第1,第2
フレームメモリ51,52に記憶された眼底像等を記憶
する。55は撮像素子16に撮像されている眼底像,第
1,第2フレームメモリに記憶されている眼底像や記憶
装置に記憶されている眼底像の表示等を行なうディスプ
レイである。56は発光ダイオード31a〜31iの点灯
の切換操作や他の動作を行なわせるキーボードである。
Reference numeral 54 is a storage device including an optical disk,
The fundus image processed by the control device 53 and the first and second images.
The fundus images and the like stored in the frame memories 51 and 52 are stored. Reference numeral 55 denotes a display for displaying a fundus image captured by the image sensor 16, a fundus image stored in the first and second frame memories, a fundus image stored in the storage device, and the like. Reference numeral 56 denotes a keyboard for switching the lighting of the light emitting diodes 31a to 31i and other operations.

【0021】次に、上記の眼底カメラの動作について図
10に示すフロー図を参照しながら説明する。
Next, the operation of the above fundus camera will be described with reference to the flow chart shown in FIG.

【0022】先ず、キーボード56を操作してハロゲン
ランプ3を発光させ眼底Erを照明するとともに、発光
ダイオード31aのみを点灯させて被検者に指標(発光
ダイオード31a)を視認させる。この視認により被検
眼Eが正面を向き、図3に示すように、眼底Erの中央
部Eaが検者に観察される。そして、図示しない撮影ス
イッチを押すと眼底Erの中央部Eaが撮像素子16によ
って撮像され(ステップ1:図面ではステップをSとし
て記す)、その画像が第1フレームメモリ51に記憶さ
れる(ステップ2)。
First, the keyboard 56 is operated to cause the halogen lamp 3 to emit light to illuminate the fundus Er, and only the light emitting diode 31a is turned on to allow the subject to visually recognize the index (light emitting diode 31a). By this visual recognition, the eye E to be examined faces the front, and as shown in FIG. 3, the examiner observes the central portion Ea of the fundus Er. Then, when a photographing switch (not shown) is pressed, the central portion Ea of the fundus Er is imaged by the image sensor 16 (step 1: step in the drawing is referred to as S), and the image is stored in the first frame memory 51 (step 2). ).

【0023】この場合、第1フレームメモリ51を多数
設けておけば、同一指標での撮影を数回行なって、それ
らの画像を第1フレームメモリ51にそれぞれ記憶させ
て、それらの画像の取捨選択を行なうことができる。
In this case, if a large number of first frame memories 51 are provided, images are taken with the same index several times, and those images are stored in the first frame memory 51, respectively, and selection of those images is performed. Can be done.

【0024】次に、キーボード56の操作により発光ダ
イオード31aを消灯させて発光ダイオード31bを点灯
させ、被検者に発光ダイオード31bを視認させる。キ
ーボード56の操作中、第1フレームメモリ51に記憶
された画像が制御装置53によって記憶装置54に転送
され、該記憶装置54に記憶される(ステップ3)。
Next, by operating the keyboard 56, the light emitting diode 31a is turned off and the light emitting diode 31b is turned on so that the subject can visually recognize the light emitting diode 31b. During operation of the keyboard 56, the image stored in the first frame memory 51 is transferred to the storage device 54 by the control device 53 and stored in the storage device 54 (step 3).

【0025】他方、発光ダイオード31bの点灯によ
り、眼底Erの下部Ebが観察される。そして、図示しな
い撮影スイッチを押すと眼底Erの下部Ebが撮像素子1
6に撮像されて(ステップ4)、その画像が第2フレー
ムメモリ52に記憶される(ステップ5)。
On the other hand, when the light emitting diode 31b is turned on, the lower part Eb of the fundus Er is observed. When a photographing switch (not shown) is pressed, the lower part Eb of the fundus Er is moved to the image sensor 1
The image is captured at 6 (step 4), and the image is stored in the second frame memory 52 (step 5).

【0026】次いで、キーボード56の操作により発光
ダイオード31bを消灯させて発光ダイオード31cを点
灯させる。そして、被検者に発光ダイオード31cを視
認させる。これにより、眼底Erの斜め下部Ecが観察さ
れる。
Then, the keyboard 56 is operated to turn off the light emitting diode 31b and turn on the light emitting diode 31c. Then, the subject is made to visually recognize the light emitting diode 31c. As a result, the oblique lower portion Ec of the fundus Er is observed.

【0027】一方、ステップ6では、第2フレームメモ
リに記憶されている画像が記憶装置54に転送され、該
記憶装置54に記憶される。ステップ7では、各発光ダ
イオード31a〜31iが順次点灯されて撮像が9回実行
されたか否かが判断され、ノーであれば、ステップ1へ
戻り、イエスであればステップ8へ進む。
On the other hand, in step 6, the image stored in the second frame memory is transferred to the storage device 54 and stored in the storage device 54. In step 7, it is determined whether or not each of the light emitting diodes 31a to 31i is sequentially turned on and imaging is performed 9 times. If NO, the process returns to step 1, and if YES, the process proceeds to step 8.

【0028】ここまでの説明では撮像は2回実行された
だけなので、ステップ1へ戻る。そして、撮像が9回実
行されるまで、ステップ1〜ステップ7の動作が繰り返
し行なわれる。すなわち、キーボード56の操作により
発光ダイオード31a〜31iを順次点灯させ、眼底Er
の部分Ea〜Eiを順次撮像していくと、それらの画像が
第1フレームメモリ51あるいは第2フレームメモリ5
2を介して記憶装置54に記憶されていく。
In the above description, since the image pickup has been executed only twice, the process returns to step 1. Then, the operations of step 1 to step 7 are repeated until the imaging is performed 9 times. That is, the light emitting diodes 31a to 31i are sequentially turned on by operating the keyboard 56, and the fundus Er
When the portions Ea to Ei are sequentially imaged, those images are displayed in the first frame memory 51 or the second frame memory 5
It is stored in the storage device 54 via 2.

【0029】眼底Erの撮像が9回実行されると、記憶
装置54から眼底Erの中央部Eaの画像Ea1が読み出さ
れて第1フレームメモリ51に記憶される。同様に、第
2フレームメモリに眼底Erの下部Ebの画像Eb1が記憶
される。そして、中央部Eaの画像Ea1と下部Ebの画像
Eb1との合成位置がパターンマッチングによって求めら
れる。
When the imaging of the fundus Er is performed nine times, the image Ea1 of the central portion Ea of the fundus Er is read from the storage device 54 and stored in the first frame memory 51. Similarly, the image Eb1 of the lower part Eb of the fundus Er is stored in the second frame memory. Then, the composite position of the image Ea1 of the central portion Ea and the image Eb1 of the lower portion Eb is obtained by pattern matching.

【0030】このパターンマッチングは、濃度パターン
等を比較して行なうものである。例えば、図5に示すよ
うに、画像Ea1と画像Eb1とが重なる画像Ea1の範囲S
H1内における所定位置の小領域部分SEaと、形状大き
さが同一のSEbを、図6に示すように、画像Ea1と重な
る画像Eb1の範囲内SH2を上下左右に移動させてい
き、その移動した各位置におけるSEbの画像データの濃
度パターンと小領域部分SEaの画像データの濃度パター
ンとの相関係数が最大となるSEbの位置(合成位置)を
求めるものである。
This pattern matching is performed by comparing density patterns and the like. For example, as shown in FIG. 5, a range S of the image Ea1 in which the image Ea1 and the image Eb1 overlap each other
As shown in FIG. 6, a small area portion SEa at a predetermined position in H1 and an SEb having the same shape size are moved vertically and horizontally in the area SH2 of the image Eb1 overlapping the image Ea1. The position (combined position) of SEb at which the correlation coefficient between the density pattern of the image data of SEb and the density pattern of the image data of the small area portion SEa at each position is maximum is obtained.

【0031】画像の明るさに違いがあるとき、前処理と
して重なり合った部分の濃度を同じぐらいにするとよ
い。例えば、画像Eb1の部分SH2の各点の濃度の平均
値とSH1の各点の濃度の平均値が同じになるようにS
H2の濃度に修正を加える。
When there is a difference in image brightness, it is advisable to make the densities of the overlapped portions approximately the same as preprocessing. For example, S is set so that the average value of the densities of the points of the portion SH2 of the image Eb1 and the average value of the densities of the points of the SH1 are the same.
Make corrections to the H2 concentration.

【0032】次ぎに、合成位置が求まったら、第2フレ
ームメモリ52に画像Ec1を読み出し、画像Ea1と画像
Ec1との合成位置を同様にしてパターンマッチングによ
って求める。そして、画像Ea1と他の各画像Ed1〜Ei1
との合成位置を同様にしてそれぞれ求めていく(ステッ
プ8)。
Next, when the combined position is obtained, the image Ec1 is read into the second frame memory 52, and the combined position of the images Ea1 and Ec1 is similarly obtained by pattern matching. Then, the image Ea1 and each of the other images Ed1 to Ei1
Similarly, the composite positions of and are obtained respectively (step 8).

【0033】次に、図7に示すように、画像Ea1と画像
Eb1とをパターンマッチングによって求めた合成位置と
SEaとを一致させて画像Eb1と画像Ea1とを合成する
(ステップ9)。この合成の際に、画像Eb1からSH2
の部分の画像データを予めカットしておく。すなわち、
SH2をカットした画像Eb1と画像Ea2とを合成するも
のである。そして、これら画像Ea1とEb2とに濃度差が
あると境界線L1が生じる。
Next, as shown in FIG. 7, the image Ea1 and the image Eb1 are combined with each other by matching the combining position SEa obtained by the pattern matching and the image Eb1 and the image Ea1 (step 9). During this synthesis, images Eb1 to SH2
The image data of the part is cut in advance. That is,
The image Eb1 obtained by cutting SH2 and the image Ea2 are combined. Then, if there is a density difference between these images Ea1 and Eb2, a boundary line L1 is generated.

【0034】いま、図7に示すX上の画像Ea1の濃度レ
ベルを図8に示すようにM1とし、画像Eb1の濃度レベ
ルM2とする。そして、画像Eb1の点ObからX方向へ行
くにしたがって画像Eb1の濃度を図8の破線で示すよう
に濃度処理していく。この濃度処理は、例えば次式によ
って行なう。
Now, assume that the density level of the image Ea1 on X shown in FIG. 7 is M1 as shown in FIG. 8 and the density level of the image Eb1 is M2. Then, the density of the image Eb1 is processed as shown by the broken line in FIG. 8 from the point Ob of the image Eb1 in the X direction. This density processing is performed by the following equation, for example.

【0035】 MN={(M1−M2)((R1ーr1)/R1)2}+M2 ただし、r1は点ObからのX方向の距離、MNはr1点に
おける濃度、R1は点Obから画像Ebの周端までのX方
向の距離である。
MN = {(M1-M2) ((R1-r1) / R1) 2 } + M2 where r1 is the distance in the X direction from the point Ob, MN is the density at the point r1, and R1 is the image Eb from the point Ob. Is the distance in the X direction to the peripheral edge of.

【0036】そして、境界線L1上の各点を起点にして
X方向へ同様な修正処理を行なうことにより境界線L1
を消すものである(ステップ10)。
Then, the same correction processing is performed in the X direction starting from each point on the boundary line L1 as a starting point, and the boundary line L1
Is erased (step 10).

【0037】そして、ステップ11では、全画像につい
て合成処理と濃度処理が行なわれたか否かが判断され
る。ノーであれば、ステップ9へ戻り、図9に示すよう
に、濃度処理した画像(Ea1+Eb1)に画像Ec1を合成
する。この合成の際に、画像Ea1と画像Ec1とをパター
ンマッチングによって求めた位置SEcとSEa1とを一致
させ、さらに、画像(Ea1+Eb1)と画像Ec1とが重な
る部分SH2を画像Ec1から予めカットしておいて合成
する。
Then, in step 11, it is judged whether or not the combination processing and the density processing have been performed for all the images. If NO, the process returns to step 9, and as shown in FIG. 9, the image Ec1 is combined with the image (Ea1 + Eb1) subjected to the density processing. At the time of this composition, the positions SEc and SEa1 obtained by pattern matching the images Ea1 and Ec1 are made to coincide with each other, and further, the portion SH2 where the image (Ea1 + Eb1) and the image Ec1 overlap is cut from the image Ec1 in advance. And synthesize.

【0038】これら合成画像には、図9に示すように、
濃度差により境界線L2が生じるが、Y方向について上
記と同様な濃度処理(ステップ10)をすることにより
境界線L2を消す。同様に、ステップ9,10を繰り返し
実行することにより画像Ed〜Eiを順次合成し濃度処理
してパノラマ画像を作成するものである。
In these composite images, as shown in FIG.
Although the boundary line L2 is generated due to the difference in density, the boundary line L2 is erased by performing the same density processing (step 10) as described above in the Y direction. Similarly, steps 9 and 10 are repeatedly executed to sequentially combine the images Ed to Ei and perform density processing to create a panoramic image.

【0039】全画像について合成や濃度処理が行なわれ
ると、ステップ12へ進み、合成されたパノラマ画像が
記憶装置に記憶され、ステップ13でパノラマ画像がデ
ィスプレイ55に表示される。
When all the images are combined and the density processing is performed, the process proceeds to step 12, the combined panoramic image is stored in the storage device, and the panoramic image is displayed on the display 55 in step 13.

【0040】このように、画像の合成は、制御装置がパ
ターンマッチングによって各画像の合成位置を求め、さ
らに合成位置を一致させて各画像を合成していくもので
あるから、その合成は短時間で行なうことができる。ま
た、従来のように、各画像の共通部分における3点をプ
ロットする必要がなく、そのプロットのための厄介な手
作業を必要としないので、非常に便利なものとなる。
As described above, in the image synthesis, the control device obtains the synthesis position of each image by pattern matching, and the synthesis positions are matched to synthesize each image. Can be done at. Further, unlike the conventional case, it is not necessary to plot the three points in the common portion of each image, and the troublesome manual work for the plotting is not required, which is very convenient.

【0041】図11は他の実施例を示したものであり、
これは、指標板61に発光ダイオード31aのみを設
け、指標板61をX,Y方向へ移動させるようにしたも
のである。指標板61は図示しないモータによってガイ
ドレール62に沿ってX方向へ移動し、そして、ガイド
レール62はステージ板63に設けられており、このス
テージ板63はガイドレール64に沿ってY方向へ図示
しないモータによって移動するものである。X,Y方向
の移動量はエンコーダ66,67によって検出される。
FIG. 11 shows another embodiment,
In this structure, only the light emitting diode 31a is provided on the index plate 61, and the index plate 61 is moved in the X and Y directions. The index plate 61 is moved in the X direction along the guide rail 62 by a motor (not shown), and the guide rail 62 is provided on the stage plate 63, and the stage plate 63 is illustrated in the Y direction along the guide rail 64. Not move by a motor. The movement amounts in the X and Y directions are detected by the encoders 66 and 67.

【0042】この実施例では、撮影毎に予め定められた
X,Y方向へ指標板61,ステージ板63を移動させ、エ
ンコーダ66,67によって検出される移動量に基づい
てモータを制御することにより、発光ダイオード31a
を図2に示す発光ダイオード31b〜31iの位置と等位
置へ移動させていくものである。
In this embodiment, the index plate 61 and the stage plate 63 are moved in predetermined X and Y directions for each photographing, and the motor is controlled based on the moving amount detected by the encoders 66 and 67. , Light emitting diode 31a
Is moved to the same position as the positions of the light emitting diodes 31b to 31i shown in FIG.

【0043】また、この実施例の場合、眼底をいくつか
に分けるモードスイッチを設けるとともに、モード設定
に応じて指標板61,ステージ板63の移動量を予め定
めておき、そして、モードスイッチのモード設定に応じ
た移動量だけ撮影毎に指標板61,ステージ板63を移
動させるようにしてもよい。
Further, in the case of this embodiment, a mode switch for dividing the fundus into several parts is provided, and the movement amounts of the index plate 61 and the stage plate 63 are predetermined according to the mode setting, and the mode of the mode switch is set. The index plate 61 and the stage plate 63 may be moved for each photographing by the moving amount according to the setting.

【0044】さらに、指標板61,ステージ板63を手
動で移動させるようにするとともに、眼底カメラをその
画像処理部(制御装置53,記憶装置54等)を切り離
したスチルカメラ本体のみの構成とし、撮像したスチル
ビデオに日付等のデータとともにエンコーダ66,67
によって検出される指標板61,ステージ板63の移動
量を写し込む構成としてもよい。この場合、別個な合成
処理装置によって合成を行い、この合成の際にスチルビ
デオに写し込んだ移動量を読み込んで、その移動量から
画像の重なる部分を求め、そして、その部分のパターン
マッチングを行なって合成を行なう。
Further, the index plate 61 and the stage plate 63 are manually moved, and the fundus camera is constituted by only the still camera main body with its image processing section (control device 53, storage device 54, etc.) separated. Encoders 66, 67 along with data such as date in the captured still video
The moving amount of the index plate 61 and the stage plate 63 detected by In this case, combining is performed by a separate combining processing device, the moving amount projected in the still video at the time of this combining is read, the overlapping portion of the image is obtained from the moving amount, and pattern matching of that portion is performed. And synthesize.

【0045】撮影光学系2が変倍光学系を備えている場
合、変倍によって画角が異なるので、倍率を検知する倍
率検知部材を設けておき、この倍率検知部材によって検
知する倍率に基づいて指標板61,ステージ板63の移
動量を演算させ、この演算した移動量だけ、撮影毎に指
標板61,ステージ板63を移動させるようにしてもよ
い。
When the photographing optical system 2 is provided with a variable power optical system, the angle of view differs depending on the variable power, so a magnification detecting member for detecting the magnification is provided and based on the magnification detected by this magnification detecting member. The movement amount of the index plate 61 and the stage plate 63 may be calculated, and the index plate 61 and the stage plate 63 may be moved for each photographing by the calculated movement amount.

【0046】また、指標板61,ステージ板63を任意
に移動できるようにし、その移動量から画像の重なる部
分の面積を演算し、この演算した面積を表示するように
すれば、重なる部分の面積を適正の大きさにした画像の
撮影を行うことができる。
Further, if the index plate 61 and the stage plate 63 can be moved arbitrarily, the area of the overlapping portion of the images is calculated from the movement amount, and the calculated area is displayed, the area of the overlapping portion is displayed. It is possible to take an image with an appropriate size.

【0047】図12は、被検眼を固定して眼底の撮像箇
所を変える例を示したものであり、これは、結像レンズ
を光軸と直交する方向へ移動させて撮像箇所を変えるも
のである。
FIG. 12 shows an example of fixing the eye to be inspected and changing the image pickup location of the fundus. This is to change the image pickup location by moving the imaging lens in the direction orthogonal to the optical axis. is there.

【0048】図12において、71は結像レンズ14を
保持したレンズ保持体で、このレンズ保持体71はガイ
ドレール72に沿って左右方向へモータ81(図13参
照)によって移動するようになっている。ガイドレール
72の両端は摺動部材73によって保持され、この摺動
部材73は上下方向に延びたガイドレール74に沿って
モータ82(図13参照)により摺動移動するようになっ
ている。90,91はレンズ保持体71,摺動部材73の
移動量を検出するエンコーダである。
In FIG. 12, reference numeral 71 denotes a lens holding body which holds the imaging lens 14, and the lens holding body 71 is adapted to be moved in the left-right direction along a guide rail 72 by a motor 81 (see FIG. 13). There is. Both ends of the guide rail 72 are held by sliding members 73, and the sliding members 73 are slidably moved by a motor 82 (see FIG. 13) along the vertically extending guide rails 74. Reference numerals 90 and 91 are encoders that detect the amount of movement of the lens holder 71 and the sliding member 73.

【0049】結像レンズ14の移動量は、眼底の撮像箇
所によって決定されるので、撮像箇所と結像レンズ14
の移動量との関係を示すデータと、エンコーダ90,9
1が検出する移動量とに基づいてモータ81,82を制
御すれば、各画像との重なる部分の面積を一定にしたパ
ノラマ画像を撮像することができる。
Since the amount of movement of the imaging lens 14 is determined by the imaging location of the fundus, the imaging location and the imaging lens 14
Data indicating the relationship with the movement amount of the
If the motors 81 and 82 are controlled based on the movement amount detected by 1, the panoramic image in which the area of the portion overlapping with each image is constant can be captured.

【0050】モータ81,82は図13に示すモータ制
御装置83によって制御されるもので、キーボード56
の操作により眼底Erの撮像箇所を入力すると、制御装
置53は撮像箇所に応じた結像レンズレンズ14の移動
位置を求め、モータ制御装置83がその移動位置とエン
コーダ90,91が検出する移動量とに基づいてモータ
81,82を制御して結像レンズ14をその移動位置へ
移動させるものである。
The motors 81 and 82 are controlled by the motor controller 83 shown in FIG.
When the image pickup location of the fundus Er is input by the operation of, the control device 53 obtains the moving position of the imaging lens lens 14 according to the image pickup location, and the motor control device 83 detects the moving position and the moving amount detected by the encoders 90 and 91. Based on the above, the motors 81 and 82 are controlled to move the imaging lens 14 to the moving position.

【0051】なお、上記実施例では、フレームメモリを
2つ使用しているが、9個使用すれば画像のパターンマ
ッチングの処理を速く行なうことができる。また、上記
実施例では、眼底画像の合成について説明したが他の画
像でもよい。また、9枚の画像の合成について説明して
いるが、これに限らず、例えば2枚の画像を合成する場
合でもよいことは勿論である。
In the above embodiment, two frame memories are used, but if nine frame memories are used, the pattern matching processing of the image can be performed quickly. Further, in the above embodiment, the synthesis of the fundus image is described, but other images may be used. Further, although the synthesis of nine images has been described, the present invention is not limited to this, and it goes without saying that, for example, two images may be synthesized.

【0052】[0052]

【発明の効果】この発明によれば、第1画像の同一部分
内における小領域部分の小領域画像データと、第2画像
の同一部分内における各小領域部分の画像データとのパ
ターンマッチングを行なって、パターンマッチングの相
関係数が最大となる第2画像の小領域部分位置を求め、
この小領域部分位置と第1画像の小領域部分位置とを一
致させて第1画像と第2画像とを合成するので、その合
成は短時間で行なうことができる。また、従来のよう
に、各画像の共通部分における3点をプロットする必要
がなく、そのプロットのための厄介な手作業を必要とし
ないので、非常に便利なものとなる。
According to the present invention, the pattern matching is performed between the small area image data of the small area portion within the same portion of the first image and the image data of each small area portion within the same portion of the second image. Then, the small area partial position of the second image where the correlation coefficient of the pattern matching becomes maximum is obtained,
Since the small area portion position and the small area portion position of the first image are matched and the first image and the second image are combined, the combination can be performed in a short time. Further, unlike the conventional case, it is not necessary to plot the three points in the common portion of each image, and the troublesome manual work for the plotting is not required, which is very convenient.

【0053】また、画像の重なる部分の面積を一様にす
るとともに眼底の隅々まで撮像したパノラマ画像を得る
ことができる。
Further, it is possible to obtain the panoramic image in which the areas of the overlapping portions of the images are made uniform and the corners of the fundus are imaged.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明に係わる眼底カメラの実施例の光学系
の配置を示した光学配置図、
FIG. 1 is an optical layout diagram showing the layout of an optical system of an embodiment of a fundus camera according to the present invention,

【図2】指標板に設けた発光ダイオードの配置状態を示
した平面図、
FIG. 2 is a plan view showing an arrangement state of light emitting diodes provided on an index plate,

【図3】眼底の撮像箇所を示した説明図、FIG. 3 is an explanatory diagram showing an imaged portion of a fundus.

【図4】眼底カメラの制御系の構成を示したブロック
図、
FIG. 4 is a block diagram showing a configuration of a control system of the fundus camera,

【図5】画像Eaと画像Ebとの位置関係を示した説明
図、
FIG. 5 is an explanatory view showing a positional relationship between an image Ea and an image Eb,

【図6】画像Ebと小領域部分との関係を示した説明
図、
FIG. 6 is an explanatory diagram showing a relationship between an image Eb and a small area portion,

【図7】画像Ea1と画像Eb1との合成状態を示した説明
図、
FIG. 7 is an explanatory diagram showing a combined state of an image Ea1 and an image Eb1;

【図8】画像Ea1と画像Eb1との濃度差を示したグラ
フ、
FIG. 8 is a graph showing the density difference between image Ea1 and image Eb1;

【図9】画像Ea1と画像Eb1と画像Ec1との合成状態を
示した説明図である。
FIG. 9 is an explanatory diagram showing a combined state of an image Ea1, an image Eb1, and an image Ec1.

【図10】制御装置の動作を示したフロー図、FIG. 10 is a flowchart showing the operation of the control device,

【図11】指標を移動させる構成を示した説明図、FIG. 11 is an explanatory diagram showing a configuration for moving an index,

【図12】結像レンズを移動させる構成を示した説明
図、
FIG. 12 is an explanatory diagram showing a configuration for moving an imaging lens,

【図13】モータを制御する制御系の構成を示したブロ
ック図である。
FIG. 13 is a block diagram showing a configuration of a control system that controls a motor.

【符号の説明】[Explanation of symbols]

16 撮像素子 50 制御装置 51 フレームメモリ 52 フレームメモリ 16 image sensor 50 control device 51 frame memory 52 frame memory

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 一部分が重なるようにして撮像された第
1画像と第2画像をそれらの同一部分を一致させて重ね
ることにより連続した画像に合成する画像合成方法であ
って、 第1画像の前記同一部分内における所定位置の小領域部
分の小領域画像データと、第2画像の前記同一部分内に
おける各小領域部分の画像データとをパターンマッチン
グして、このパターンマッチングの相関係数が最大とな
る第2画像の小領域部分位置を求め、この小領域部分位
置と第1画像の前記所定位置とを一致させて第1画像と
第2画像とを合成することを特徴とする画像合成方法。
1. An image synthesizing method for synthesizing a first image and a second image, which are imaged so as to partially overlap with each other, by superimposing the same portions of the first image and the second image so that they overlap each other. The small area image data of a small area portion at a predetermined position in the same portion is pattern-matched with the image data of each small area portion in the same portion of the second image, and the correlation coefficient of this pattern matching is maximum. A method of synthesizing a first image and a second image by obtaining a small area portion position of the second image and matching the small area portion position with the predetermined position of the first image. ..
【請求項2】 被写体を一部分が重なるように複数に分
割してこれら各分割部分を撮像し、これら撮像した複数
の画像を同一部分を一致させて重ねることによりパノラ
マ画像を作成する画像合成方法であって、 各画像と他の各画像との同一部分内における各画像の所
定位置の小領域部分の小領域画像データと、他の各画像
の前記同一部分内にける各小領域部分の画像データとを
パターンマッチングして、このパターンマッチングの相
関係数が最大となる他の各画像の小領域部分位置を求
め、これら小領域部分位置と対応する各画像の所定位置
とを一致させて各画像をそれぞれ重ねることによりパノ
ラマ画像を作成することを特徴とする画像合成方法。
2. An image synthesizing method for creating a panoramic image by dividing a subject into a plurality of portions such that a part thereof overlaps, capturing each of these divided portions, and superimposing a plurality of the captured images so that the same portions coincide with each other. Then, the small area image data of the small area portion at a predetermined position of each image in the same portion of each image and each other image, and the image data of each small area portion in the same portion of each other image And the pattern matching is performed to obtain the small area partial positions of the other images for which the correlation coefficient of the pattern matching is maximum, and the small areas partial positions are made to match the predetermined positions of the respective images to match each image. An image synthesizing method characterized in that a panoramic image is created by superimposing each of them.
【請求項3】 中心画像から所定距離はなれた周辺画像
を、その一部分が前記中心画像と重なるように撮像可能
とする撮像箇所変更手段を備えていることを特徴とする
画像撮像装置。
3. An image pickup device, comprising: an image pickup portion changing means capable of picking up an image of a peripheral image separated from a central image by a predetermined distance so that a part of the peripheral image overlaps the central image.
【請求項4】 前記撮像箇所変更手段は、結像レンズを
光軸と直交する任意の方向へ所定距離移動可能に設けて
構成したことを特徴とする請求項3の画像撮像装置。
4. The image pickup device according to claim 3, wherein the image pickup position changing means is configured by providing an imaging lens so as to be movable for a predetermined distance in an arbitrary direction orthogonal to the optical axis.
【請求項5】 前記撮像箇所変更手段は、それぞれ互い
に所定距離離れた複数の指標で構成したことを特徴とす
る請求項3の画像撮像装置。
5. The image pickup device according to claim 3, wherein the image pickup portion changing means is composed of a plurality of indexes which are separated from each other by a predetermined distance.
【請求項6】 前記撮像箇所変更手段は指標を光軸と直
交する任意の方向へ移動できるように構成され、その移
動量を検出する検出手段を設けたことを特徴とする請求
項3の画像撮像装置。
6. The image pickup device according to claim 3, wherein the imaged part changing means is configured so that the index can be moved in an arbitrary direction orthogonal to the optical axis, and a detecting means for detecting the moving amount is provided. Imaging device.
JP17005491A 1991-07-10 1991-07-10 Image synthesis method and image pickup device Pending JPH0567208A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17005491A JPH0567208A (en) 1991-07-10 1991-07-10 Image synthesis method and image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17005491A JPH0567208A (en) 1991-07-10 1991-07-10 Image synthesis method and image pickup device

Publications (1)

Publication Number Publication Date
JPH0567208A true JPH0567208A (en) 1993-03-19

Family

ID=15897771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17005491A Pending JPH0567208A (en) 1991-07-10 1991-07-10 Image synthesis method and image pickup device

Country Status (1)

Country Link
JP (1) JPH0567208A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141237A (en) * 1992-10-22 1994-05-20 Canon Inc Compound eye image pickup device
JPH0990530A (en) * 1995-09-26 1997-04-04 Canon Inc Compositing device and forming method for panoramic image
JP2002165760A (en) * 2000-11-30 2002-06-11 Topcon Corp Apparatus for photographing fundus image
US6885776B2 (en) 2001-04-05 2005-04-26 Fujitsu Limited Image merging apparatus
US7085435B2 (en) 1995-09-26 2006-08-01 Canon Kabushiki Kaisha Image synthesization method
JP2014071867A (en) * 2012-10-02 2014-04-21 Nidec Sankyo Corp Image coupler, image coupling method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141237A (en) * 1992-10-22 1994-05-20 Canon Inc Compound eye image pickup device
JPH0990530A (en) * 1995-09-26 1997-04-04 Canon Inc Compositing device and forming method for panoramic image
US7085435B2 (en) 1995-09-26 2006-08-01 Canon Kabushiki Kaisha Image synthesization method
US7366360B2 (en) 1995-09-26 2008-04-29 Canon Kabushiki Kaisha Image synthesization method
JP2002165760A (en) * 2000-11-30 2002-06-11 Topcon Corp Apparatus for photographing fundus image
JP4570238B2 (en) * 2000-11-30 2010-10-27 株式会社トプコン Fundus image capturing device
US6885776B2 (en) 2001-04-05 2005-04-26 Fujitsu Limited Image merging apparatus
JP2014071867A (en) * 2012-10-02 2014-04-21 Nidec Sankyo Corp Image coupler, image coupling method, and program

Similar Documents

Publication Publication Date Title
US7572009B2 (en) Method and apparatus for processing an eye fundus image
JP3784247B2 (en) Fundus camera
JP5371638B2 (en) Ophthalmic imaging apparatus and method
JPH09313446A (en) Image pickup device for limbi palpebrales section
JP5892409B2 (en) Corneal endothelial cell imaging device
JPH11216117A (en) Camera for front eye part
JP3929721B2 (en) Fundus camera
US5381194A (en) Apparatus for photographing a corneal endothelium
JP3833529B2 (en) Ophthalmic imaging equipment
JPH1033482A (en) Analysis apparatus of profile of anterior part of eye
JPH0567208A (en) Image synthesis method and image pickup device
JP2580467B2 (en) Corneal endothelial cell imaging system
JPH09173298A (en) Ophthalmological camera
JP2580464B2 (en) Corneal endothelial cell imaging system
US9723983B2 (en) Corneal endothelial cell photographing apparatus
JP3262866B2 (en) Ophthalmic equipment
JP4080183B2 (en) Anterior segment imaging device
JP2580500B2 (en) Corneal endothelial cell imaging system
JPH1132993A (en) Ophthalmic device
JP2006116091A (en) Fundus camera
JP4909108B2 (en) Corneal imaging device
JP3672329B2 (en) Stereoscopic fundus camera
JP2580455B2 (en) Corneal endothelial cell imaging system
JPH01170438A (en) Apparatus for synthesizing eyeground image
JP2022157060A (en) Ocular fundus imaging device