JPH04336679A - Picture processing method and system using the same - Google Patents

Abstract

PURPOSE:To obtain synthetic pictures accurately connecting plural pictures to be adhered even when they are arbitrary shaped pictures other than rectangular ones. CONSTITUTION:Masks for deleting unnecessary parts from first and second pictures to be adhered are prepared for each picture and common masks to be overlapped when pictures are adhered are obtained. The outer edge of the common mask is extracted and the connection direction of the picture is decided based on it. The adhesion of picture is performed by deciding the connection line on the line linking the boundary line of this direction.

Description

【発明の詳細な説明】[Detailed description of the invention]

【０００１】0001

【産業上の利用分野】本発明は眼底画像等の医療画像や
リモートセンシング画像等を用いて複数の画像を合成す
る画像処理技術の分野に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to the field of image processing technology for synthesizing a plurality of images using medical images such as fundus images, remote sensing images, and the like.

【０００２】0002

【従来の技術】眼底画像等の医療画像あるいはリモート
センシング画像等の画像処理技術の一つとして、複数枚
の画像同志を接続して合成画像を作成する処理が従来か
ら知られている。これは例えば、Ｏ　ｐｌｕｓ　Ｅ（Ｎ
ｏ．１１１　ｐ．１１５〜１３０　１９８９年）に具体
的なアルゴリズムが記載されている。2. Description of the Related Art As one of image processing techniques for medical images such as fundus images or remote sensing images, a process of connecting a plurality of images to create a composite image has been known. For example, O plus E(N
o. 111 p. 115-130 1989), a specific algorithm is described.

【０００３】0003

【発明が解決しようとする課題】この従来の接続処理（
接線方向の決定）は、貼合わせる２画像は共に矩形形状
であり、横方向または縦方向に傾くことなく並んでいる
ことを前提としていた。そのため任意形状の画像の接続
については考慮されていなかった。[Problem to be solved by the invention] This conventional connection processing (
The determination of the tangential direction was based on the assumption that the two images to be pasted together are rectangular and lined up without being tilted horizontally or vertically. Therefore, connection of arbitrarily shaped images was not considered.

【０００４】本発明は上記課題を解決すべくなされたも
ので、その目的は貼り合わせる複数の画像が、矩形形状
に限らず任意の形状の画像であってもそれらを最適に接
続した精度の高い合成画像を得ることのできる画像処理
方法及びこれを用いたシステムの提供である。The present invention has been made to solve the above problems, and its purpose is to optimally connect multiple images to be combined, even if they are not limited to rectangular shapes but have arbitrary shapes. The present invention provides an image processing method capable of obtaining a composite image and a system using the same.

【０００５】[0005]

【課題を解決するための手段及び作用】上記課題を解決
する本発明の画像処理方法は、第１の画像と第２の画像
の共通マスクを抽出するステップと、該共通マスクを基
に接続線を求めるステップと、該接続線に沿って第１、
第２の画像を貼り合わせるステップを有することを特徴
とする。[Means and operations for solving the problems] An image processing method of the present invention that solves the above problems includes the steps of extracting a common mask of a first image and a second image, and extracting a connection line based on the common mask. a first step along the connecting line;
The method is characterized by comprising a step of pasting together the second images.

【０００６】[0006]

【実施例】以下、本発明を眼科画像処理システムに適用
した実施例を説明する。勿論、これ以外の分野、例えば
リモートセンシング画像の処理システム等にも適用可能
であることは言うまでもない。図１は眼底画像処理シス
テムの全体構成を示す。同図において、１は眼底カメラ
装置であり、内蔵するＣＣＤカメラによってカラー眼底
画像を撮影することができる。２はスライドスキャナで
、既に撮影された眼底写真を読取ってデジタル化して入
力する。３は様々な画像処理や解析診断、さらにはシス
テム全体の制御を行なうコンピュータで、パーソナルコ
ンピュータやワークステーション等が用いられる。４は
大量の画像データや出力結果を保存するための光磁気デ
ィスク等のメモリ装置、５はＣＲＴや液晶のカラーディ
スプレイ、６はプリンタである。７はキーボードやマウ
ス等の入力デバイスであり、オペレータがシステムに様
々な指示を与える。処理された画像は、カラーディスプ
レイ５上に様々な形態で表示出力、あるいはプリンタ６
にてハードコピーをプリント出力する。医師はそれを見
ながら診断を下すことができる。[Embodiment] An embodiment in which the present invention is applied to an ophthalmological image processing system will be described below. Of course, it goes without saying that the present invention can also be applied to other fields, such as remote sensing image processing systems. FIG. 1 shows the overall configuration of a fundus image processing system. In the figure, reference numeral 1 denotes a fundus camera device, which can take a color fundus image using a built-in CCD camera. 2 is a slide scanner that reads the fundus photograph that has already been taken, digitizes it, and inputs it. 3 is a computer that performs various image processing, analysis and diagnosis, and also controls the entire system, and is a personal computer, workstation, or the like. 4 is a memory device such as a magneto-optical disk for storing a large amount of image data and output results; 5 is a CRT or liquid crystal color display; and 6 is a printer. 7 is an input device such as a keyboard or a mouse, through which an operator gives various instructions to the system. The processed image can be displayed in various formats on a color display 5 or output to a printer 6.
Print out a hard copy. Doctors can make a diagnosis by looking at it.

【０００７】眼底カメラ１のＣＣＤカメラで眼底像を撮
影し、得られた眼底像をＡ／Ｄコンバータでデジタル化
してメモリ装置４に格納、あるいは予め撮影した眼底写
真等をスライドスキャナ２で読み取ってメモリ装置４に
格納する。次にコンピュータ３において画像の貼り合わ
せ処理を行なう。本実施例の処理の概要は以下の通りで
ある。[0007] A fundus image is photographed by the CCD camera of the fundus camera 1, and the obtained fundus image is digitized by an A/D converter and stored in the memory device 4, or a previously taken fundus photograph, etc. is read by the slide scanner 2. The data is stored in the memory device 4. Next, the computer 3 performs image stitching processing. An outline of the processing of this embodiment is as follows.

【０００８】まず貼り合わせる第１、第２の眼底画像（
通常は矩形）から、有効な部分のみを残し周辺の不要部
分を削除するためのマスクをそれぞれの画像について作
成する。画像を貼り合わせた時に重なる部分を共通マス
クと呼ぶ。次に共通マスクの外縁を抽出し、それがマス
ク１側にあるかマスク２側にあるかによって、マスク１
とマスク２の共通境界線を決定する。そして共通境界線
及び共通マスクを用いて接続方向を決定し、この方向の
境界線を結ぶ線上で接続線の決定を行ない、この接続線
に沿って貼り合わせ合成を行なう。これにより任意の方
向の接続を行なうことができる。First, the first and second fundus images (
For each image, a mask is created from a rectangular shape (usually a rectangle) to remove unnecessary parts around it while leaving only the valid parts. The overlapping part when images are pasted together is called a common mask. Next, the outer edge of the common mask is extracted, and depending on whether it is on the mask 1 side or the mask 2 side, the mask 1
and the common boundary line of mask 2 is determined. Then, a connection direction is determined using a common boundary line and a common mask, a connection line is determined on a line connecting the boundary lines in this direction, and bonding and synthesis are performed along this connection line. This allows connection in any direction.

【０００９】図２は上記処理の詳細なフローチャート図
である。以下、図２のフローチャートに従って処理手順
を更に詳細に説明する。FIG. 2 is a detailed flowchart of the above processing. Hereinafter, the processing procedure will be explained in more detail according to the flowchart of FIG.

【００１０】（ａ）共通マスクの作成 眼底カメラで得られる眼底画像は、一般に周辺部ほど光
量が少なくなり周辺部では良好な画像が得られないため
、周辺部の画像は削除した方が好ましい場合が多い。 よって貼り合わせるべき２枚の眼底画像（画像１、画像
２）の各々について、有効部分のみを抽出するためのマ
スク１、マスク２（有効部分を１、不要部分を０で表わ
した２値画像）を設定する。同時に２枚のマスクの接続
関係も設定する。マスクの設定はオペレータがディスプ
レイ上に表示される入力眼底画像を見ながらマウス等の
ポインティングデバイスを用いて指定して設定する。あ
るいは眼底カメラの撮影画角等の条件に応じて予め用意
された形状、大きさのマスクを自動的に設定するように
しても良い。(a) Creation of a common mask Fundus images obtained with a fundus camera generally have less light in the periphery, and good images cannot be obtained in the periphery, so there are cases where it is preferable to delete images in the periphery. There are many. Therefore, for each of the two fundus images (Image 1, Image 2) to be pasted together, Mask 1 and Mask 2 are used to extract only the effective parts (binary images in which the effective part is represented by 1 and the unnecessary part is represented by 0). Set. At the same time, the connection relationship between the two masks is also set. The mask settings are specified by the operator using a pointing device such as a mouse while viewing the input fundus image displayed on the display. Alternatively, a mask having a shape and size prepared in advance may be automatically set according to conditions such as the photographing angle of view of the fundus camera.

【００１１】コンピュータはこの設定されたマスク１と
マスク２の両者の論理積を演算することにより、図３（
ａ）の斜線部に示すような共通マスクを抽出する。[0011] The computer calculates the AND of both the mask 1 and the mask 2 that have been set, so that the image shown in FIG. 3 (
A common mask as shown in the shaded area in a) is extracted.

【００１２】（ｂ）共通境界線の決定 コンピュータがこの共通マスクに対して２値デジタル画
像処理の曲線追跡を行なうことにより外縁を抽出する。 そしてそれがマスク１側にあるかマスク２側にあるか調
べることによって、共通境界線及び２つの端点を決定す
る。図３（ｂ）はその説明図である。(b) Determination of common boundary line The computer extracts the outer edge by performing curve tracing using binary digital image processing on this common mask. Then, by checking whether it is on the mask 1 side or the mask 2 side, the common boundary line and the two end points are determined. FIG. 3(b) is an explanatory diagram thereof.

【００１３】（ｃ）接続方向の決定 画像１と画像２の相対的位置関係により接続方向を決定
する。具体的には図４に示すように、マスク１とマスク
２の重心をそれぞれ求め、それら重心１と重心２を結ん
だ方向を接続方向とする。あるいは別法として、図５に
示すように先に求めた２つの端点を結び、その線分と直
交する方向を接続方向としても良い。(c) Determining the connection direction The connection direction is determined based on the relative positional relationship between images 1 and 2. Specifically, as shown in FIG. 4, the centers of gravity of masks 1 and 2 are determined, and the direction in which these centers of gravity 1 and 2 are connected is defined as the connection direction. Alternatively, as shown in FIG. 5, the two previously determined end points may be connected, and the direction perpendicular to the line segment may be set as the connection direction.

【００１４】（ｄ）接続線の決定および接続上記（ｃ）
のステップで求めた接続方向に対して、以下の方法によ
り接続線を決定して２枚の眼底画像を接続する。図３（
ｃ）において、共通マスク中の接続方向をライン方向と
考える。そして共通マスク中の各ラインに注目し、各ラ
イン毎に接合点を決定していく。(d) Determining and connecting connection lines (c) above
With respect to the connection direction obtained in step , a connection line is determined by the following method to connect the two fundus images. Figure 3 (
In c), the connection direction in the common mask is considered to be the line direction. Then, attention is paid to each line in the common mask, and a joining point is determined for each line.

【００１５】接合点の設定は、各ライン中の最小濃度差
を示す位置付近を選ぶ。具体的には１次元のテンプレー
トマッチング処理により行なう。この処理を共通マスク
の接続方向の各ラインに対して行ない、得られた各々の
最小濃度差位置を接合候補点とする。[0015] The junction point is selected near the position showing the minimum density difference in each line. Specifically, this is performed by one-dimensional template matching processing. This process is performed for each line in the connection direction of the common mask, and each obtained minimum density difference position is used as a joining candidate point.

【００１６】この接合候補点はライン毎の処理によって
得られた点であるために、多少のばらつきを有している
。そこで接合候補点の座標値に対して移動平均処理を行
なって平滑化することにより、図３（ｃ）のような滑ら
かな接続線を求めることができる。この接続線に沿って
２枚の画像を精度良く接合することができる。Since these joining candidate points are obtained by line-by-line processing, they have some variation. Therefore, by smoothing the coordinate values of the joining candidate points by performing a moving average process, a smooth connecting line as shown in FIG. 3(c) can be obtained. Two images can be joined with high accuracy along this connection line.

【００１７】なお、以上は画像１と画像２の２枚の画像
の貼り合わせの実施例であるが、３枚以上の画像の貼り
合わせであれば、画像１と画像２を合成した後に、この
合成画像に対して同様のステップで画像３を貼り合わせ
て更なる合成画像を作成し、以下同様に繰り返すことに
より、３枚以上の画像の合成も容易に行なえる。The above is an example of pasting together two images, image 1 and image 2. However, if three or more images are being pasted together, after combining images 1 and 2, By pasting image 3 on the composite image in the same steps to create a further composite image, and repeating the same steps thereafter, it is possible to easily combine three or more images.

【００１８】[0018]

【発明の効果】本発明によれば、任意の形状の画像同志
を接続する時の最適な接続線を求めてこれを基に貼り合
わせを行なうため、画像の形状に拘らず精度の高い貼り
合わせ画像を得ることができる。[Effects of the Invention] According to the present invention, since the optimal connection line for connecting images of arbitrary shapes is found and the stitching is performed based on this, highly accurate stitching is possible regardless of the shape of the images. You can get the image.

【図面の簡単な説明】[Brief explanation of drawings]

【図１】実施例の眼底画像処理システムのシステム構成
図である。FIG. 1 is a system configuration diagram of a fundus image processing system according to an embodiment.

【図２】実施例の画像処理手順を示すフローチャート図
である。FIG. 2 is a flowchart showing the image processing procedure of the embodiment.

【図３】実施例の画像処理の概念図である。FIG. 3 is a conceptual diagram of image processing in the embodiment.

【図４】接続線を求めて貼り合わせる場合の概念図であ
る。FIG. 4 is a conceptual diagram of finding and bonding connection lines.

【図５】接続線を求めて貼り合わせる場合の概念図であ
る。FIG. 5 is a conceptual diagram of finding and bonding connection lines.

【符号の説明】[Explanation of symbols]

１　　眼底カメラ ２　　スライドスキャナ ３　　コンピュータ ４　　メモリ装置 ５　　ディスプレイ ６　　プリンタ ７　　入力デバイス 1 Fundus camera 2 Slide scanner 3 Computer 4 Memory device 5 Display 6. Printer 7 Input device

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】　　第１の画像と第２の画像の共通マスク
を抽出するステップ、該共通マスクを基に接続線を求め
るステップ、該接続線に沿って第１、第２の画像を貼り
合わせるステップを有することを特徴とする画像処理方
法。1. Extracting a common mask between a first image and a second image, determining a connecting line based on the common mask, and pasting together the first and second images along the connecting line. An image processing method comprising steps. 【請求項２】　　複数枚の画像を入力する入力手段と、
入力した複数枚の画像を接続して合成画像を作成する処
理手段と、該合成画像を出力する出力手段と、を有し、
前記処理手段は、第１の画像と第２の画像の共通マスク
を抽出する処理部と、該共通マスクを基に接続線を求め
る処理部と、該接続線に沿って第１、第２の画像を貼り
合わせる処理部とを有することを特徴とする画像処理シ
ステム。[Claim 2] Input means for inputting a plurality of images;
comprising a processing means for connecting a plurality of input images to create a composite image, and an output means for outputting the composite image,
The processing means includes a processing unit that extracts a common mask between the first image and the second image, a processing unit that obtains a connecting line based on the common mask, and a processing unit that extracts a common mask of the first image and the second image, a processing unit that calculates a connecting line based on the common mask, and a processing unit that extracts a common mask of the first image and the second image, a processing unit that calculates a connecting line based on the common mask, and a processing unit that extracts a common mask of the first image and the second image. An image processing system comprising: a processing unit that stitches images together. 【請求項３】　　前記入力した画像を記憶する記憶手段
を有する請求項２記載の画像処理システム。3. The image processing system according to claim 2, further comprising storage means for storing the input image. 【請求項４】　　前記入力手段は医療用の画像入力装置
を有する請求項２記載の画像処理システム。4. The image processing system according to claim 2, wherein the input means includes a medical image input device. 【請求項５】　　前記出力手段はディスプレイ又はプリ
ンタを有する請求項２記載の画像処理システム。5. The image processing system according to claim 2, wherein the output means includes a display or a printer.