JP5050128B2

JP5050128B2 - Image processing apparatus and method

Info

Publication number: JP5050128B2
Application number: JP2011272158A
Authority: JP
Inventors: 健史北村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-12-13
Filing date: 2011-12-13
Publication date: 2012-10-17
Anticipated expiration: 2021-02-22
Also published as: JP2012075925A

Description

本発明は、たとえば眼科医院等において用いられる画像処理装置およびその方法に関するものである。 The present invention relates to an image processing apparatus and method used in, for example, an ophthalmic clinic.

眼底カメラで撮影した被検眼の画像を、ビデオキャプチャボードを内蔵したパーソナルコンピュータで電子ファイルとして管理する形態が増えてきている。ここで、撮影画像をディスプレイ上に表示するレイアウトしては、図１２に示すように撮影順に縮小したサムネイル画像を順に並べて表示する、或いは図１３に示すように撮影画像を１枚単独で表示することが一般的に行われている。 A form of managing an image of an eye to be inspected with a fundus camera as an electronic file by a personal computer with a built-in video capture board is increasing. Here, the layout for displaying the photographed image on the display is such that thumbnail images reduced in order of photographing are arranged in order as shown in FIG. 12, or one photographed image is displayed alone as shown in FIG. It is generally done.

ここで、蛍光撮影時など、左右両眼を複数撮影する撮影方法では、撮影中に頻繁に被検眼の左眼、右眼を変更しながら撮影を行うが、表示は撮影順であるため、表示された画像が右眼か左眼か一見しただけでは判読できない場合がある。
本発明の目的は、従来の眼科装置の更なる改良を主目的とし、具体的な目的の１つはディスプレイに表示する眼画像の表示レイアウトを改良して優れたユーザビリティを達成する眼科装置を提供することにある。 Here, in shooting methods that shoot multiple images of both the left and right eyes, such as during fluorescent shooting, shooting is frequently performed while changing the left and right eyes of the subject's eye during shooting, but the display is in order of shooting. There is a case where it is not readable by looking at whether the displayed image is the right eye or the left eye.
An object of the present invention is to further improve the conventional ophthalmic apparatus, and one of the specific objects is to provide an ophthalmic apparatus that achieves excellent usability by improving the display layout of the eye image displayed on the display. There is to do.

本発明に係る画像処理装置は、
被検者の左眼を異なるタイミングで撮影して得た複数の左眼画像と、該被検者の右眼を異なるタイミングで撮影して得た複数の右眼画像とを取得する取得手段と、
前記複数の左眼画像を表示手段の左眼表示領域に並べて表示させ、前記複数の右眼画像を該表示手段の右眼表示領域に並べて表示させる表示制御手段と、
を有することを特徴とする。 An image processing apparatus according to the present invention includes:
Acquisition means for acquiring a plurality of left eye images obtained by photographing the left eye of the subject at different timings and a plurality of right eye images obtained by photographing the right eye of the subject at different timings; ,
Display control means for displaying the plurality of left eye images side by side in the left eye display area of the display means, and for displaying the plurality of right eye images side by side in the right eye display area of the display means;
It is characterized by having.

本発明に係る画像処理装置およびその方法によれば、例えば、ユーザビリティに優れた表示レイアウトでディスプレイに眼画像を表示させることができる。 According to the image processing apparatus and method of the present invention, for example, an eye image can be displayed on a display with a display layout having excellent usability.

第１の実施の形態の説明図である。It is explanatory drawing of 1st Embodiment. ストロボ露光による画像取込みタイミングの説明図である。It is explanatory drawing of the image taking-in timing by strobe exposure. サムネイル表示のレイアウトの説明図である。It is explanatory drawing of the layout of a thumbnail display. ディスプレイ上の眼底像表示例である。It is an example of a fundus image display on a display. 画像表示位置を判断するフローチャート図である。It is a flowchart figure which judges an image display position. ディスプレイ上の撮影画像表示レイアウトの説明図である。It is explanatory drawing of the picked-up image display layout on a display. ディスプレイ上の眼底像表示の正面図である。It is a front view of a fundus oculi image display on a display. 第２の実施の形態の構成図である。It is a block diagram of 2nd Embodiment. 第２の実施の形態による撮影画像表示レイアウトの説明図である。It is explanatory drawing of the picked-up image display layout by 2nd Embodiment. 第３の実施の形態の構成図である。It is a block diagram of 3rd Embodiment. 第３の実施の形態による撮影画像のパノラマ表示レイアウトの説明図である。It is explanatory drawing of the panorama display layout of the picked-up image by 3rd Embodiment. 画像表示の従来例の説明図である。It is explanatory drawing of the prior art example of an image display. 画像表示の従来例の説明図である。It is explanatory drawing of the prior art example of an image display.

本発明を実施するための形態について、図１〜図１１を用いて詳細に説明する。 The form for implementing this invention is demonstrated in detail using FIGS. 1-11.

（第１の実施形態）
図１は第１の実施の形態による眼底カメラの構成図である。被検眼Ｅの前方には対物レンズ１が配置され、その後方の光路上には孔開きミラー２、この孔開きミラー２の孔に配置された撮影絞り３、蛍光撮影時に光路に挿入されるバリアフィルタ４、一部をフォーカスのために移動可能な撮影レンズ５、可動ミラー６、撮像器７が配列されている。また、可動ミラー６の反射方向にはミラー８、接眼レンズ９が配置されている。また、孔あきミラー２への照明光の入射方向には、ハロゲンランプ等の可視光を発する観察光源１０、コンデンサレンズ１１、蛍光撮影時に光路に挿入されるエキサイタフィルタ１２、可視光の閃光を発するストロボ光源１３、リング状開口を有する絞り１４、レンズ１５が配列されている。 (First embodiment)
FIG. 1 is a configuration diagram of a fundus camera according to the first embodiment. The objective lens 1 is disposed in front of the eye E, a perforated mirror 2 is disposed on the optical path behind the objective lens E, a photographing aperture 3 is disposed in the hole of the perforated mirror 2, and a barrier is inserted into the optical path during fluorescent photographing. A filter 4, a photographing lens 5 that can be partially moved for focusing, a movable mirror 6, and an imager 7 are arranged. Further, a mirror 8 and an eyepiece lens 9 are disposed in the reflection direction of the movable mirror 6. Further, in the incident direction of the illumination light to the perforated mirror 2, an observation light source 10 that emits visible light, such as a halogen lamp, a condenser lens 11, an exciter filter 12 that is inserted into the optical path during fluorescent photographing, and a visible light flash. A strobe light source 13, a diaphragm 14 having a ring-shaped opening, and a lens 15 are arranged.

撮像器７の出力はフレームメモリを含む画像処理器２１に接続され、画像処理器２１はシステムコントローラ２２に接続されている。システムコントローラ２２には眼底カメラの左右眼スイッチ２３が接続され、システムコントローラ２２の出力はストロボ発光コントローラ２４を介してストロボ光源１３に接続されている。また、画像処理器２１には入力デバイス２５、表示メディアであるディスプレイ２６、メモリ装置２７が接続されている。なお、画像処理器２１の例としてビデオキャプチャボードを内蔵したコンピュータを用いてもよい。なお、表示メディアとしてディスプレイ２６の他にプリンタを付加してもよい。 The output of the image pickup device 7 is connected to an image processor 21 including a frame memory, and the image processor 21 is connected to a system controller 22. A left and right eye switch 23 of a fundus camera is connected to the system controller 22, and an output of the system controller 22 is connected to the strobe light source 13 via a strobe light emission controller 24. The image processor 21 is connected with an input device 25, a display 26 as a display medium, and a memory device 27. As an example of the image processor 21, a computer with a built-in video capture board may be used. In addition to the display 26, a printer may be added as a display medium.

対物レンズ１、撮影絞り３、バリアフィルタ３、撮影レンズ５により、眼底撮影光学系が構成され、撮像器７と共に被検眼Ｅの眼底Ｅｒを撮像する眼底撮像器が構成されている。更に、可動ミラー６、ミラー８、接眼レンズ９により観察光学系が構成され、観察眼ｅに眼底像を提示するようになっている。更に観察光源１０から穴開きミラー２の光路によって照明光学系が構成されている。 The objective lens 1, the imaging aperture 3, the barrier filter 3, and the imaging lens 5 constitute a fundus imaging optical system, and together with the imaging device 7, a fundus imaging device that images the fundus Er of the eye E to be examined. Furthermore, an observation optical system is configured by the movable mirror 6, the mirror 8, and the eyepiece lens 9, and a fundus image is presented to the observation eye e. Further, an illumination optical system is configured by the optical path of the perforated mirror 2 from the observation light source 10.

先ず、オペレータ（撮影者又は診断者）は、撮影前に被検者のＩＤ番号、氏名、生年月目、性別等の患者情報を入力デバイス２５から画像処理器２１に入力する。次に、オペレータは対物レンズ１の正面に被検眼Ｅを位置させ、眼底撮影のためのアライメントを行う。 First, an operator (photographer or diagnostician) inputs patient information such as a subject's ID number, name, birth date, and sex from the input device 25 to the image processor 21 before imaging. Next, the operator positions the eye E in front of the objective lens 1 and performs alignment for fundus photography.

観察光源１０を点灯すると、その光はコンデンサレンズ１１により集光され、ストロボ光源１３、絞り１４、レンズ１５を通り、孔開きミラー２のミラー部により左方に反射され、対物レンズ１を通り被検眼Ｅの瞳Ｅｐを介して眼底Ｅｒを照明する。そして、観察光で照明された眼底Ｅｒの像は、再び対物レンズ１、孔開きミラー２の孔の中の撮影絞り３、撮影レンズ５を通り可動ミラー６により上方に反射され、更にミラー８により右方に反射され接眼レンズ９を介して観察眼ｅに達する。オペレータは眼底像を見ながら、被検眼Ｅと眼底カメラとの精密な位置合わせ、ピント合わせ及び撮影範囲の確認を行う。 When the observation light source 10 is turned on, the light is collected by the condenser lens 11, passes through the strobe light source 13, the diaphragm 14, and the lens 15, is reflected to the left by the mirror portion of the perforated mirror 2, and passes through the objective lens 1. The fundus Er is illuminated through the pupil Ep of the optometry E. Then, the image of the fundus Er illuminated with the observation light is again reflected upward by the movable mirror 6 through the objective lens 1, the photographing aperture 3 in the hole of the aperture mirror 2, and the photographing lens 5, and further by the mirror 8. It is reflected rightward and reaches the observation eye e through the eyepiece 9. The operator performs precise positioning, focusing, and confirmation of the photographing range between the eye E and the fundus camera while viewing the fundus image.

オペレータは撮影範囲、位置、ピント合わせが良好であることを確認した後に、図示しない撮影スイッチを操作し静止画撮影を行う。撮影スイッチの入力を検知したシステムコントローラ２２は、可動ミラー６を跳ね上げて光路外に退避させると同時に、画像処理器２１に撮影開始信号を出力した後に、画像処理器２１からのストロボ光源１３に対する発光タイミング信号を待つ。 After confirming that the shooting range, position, and focusing are good, the operator operates a shooting switch (not shown) to take a still image. The system controller 22 that has detected the input of the photographing switch raises the movable mirror 6 and retracts it from the optical path. At the same time, after outputting a photographing start signal to the image processor 21, the system controller 22 Wait for the light emission timing signal.

ここで、撮像器７と同期を取ったストロボ光源１３による発光タイミング信号について説明する。ストロボ発光で静止画像を撮影する場合に、眼底像のように比較的動きの無い画像を対象とする際には、なるべくは高解像度で撮影するために、通常ではＣＣＤ等の撮像素子のフレーム蓄積モードによりテレビカメラを駆動する。 Here, a light emission timing signal by the strobe light source 13 synchronized with the image pickup device 7 will be described. When shooting a still image with strobe light emission, if the target is an image with relatively little movement such as a fundus image, it is usually stored in a frame of an image sensor such as a CCD in order to capture as high resolution as possible. The TV camera is driven according to the mode.

図２に示すように、フレーム蓄積モードの場合に、１フレームは第１、第２の２つのフィールドで構成され、その各フィールド画像の光蓄積期間は、各フィールド画像出力の直前の１フレーム期間になる。つまり、２つのフィールドの蓄積期間は１フィールド分ずれている。そのため、１回のストロボ発光で１フレーム画像を取得するためには、１フレームを構成する２フィールドに共通の蓄積期間中にストロボ光源１３を発光させなければならない。画像処理器２１は図２のＡに示すタイミングでストロボ発光をシステムコントローラ２２に指示する。 As shown in FIG. 2, in the frame accumulation mode, one frame is composed of first and second fields, and the light accumulation period of each field image is one frame period immediately before each field image output. become. That is, the accumulation periods of the two fields are shifted by one field. Therefore, in order to acquire one frame image with one flash emission, the strobe light source 13 must emit light during an accumulation period common to two fields constituting one frame. The image processor 21 instructs the system controller 22 to emit the strobe light at the timing shown in FIG.

撮像器７としてＣＣＤを用いたディジタルカメラの場合は、画像処理器２１はシステムコントローラ２２から撮影開始信号を受け取ると、撮像器７に対し光蓄積開始信号を出力する。同時に、システムコントローラ２２に対しストロボ光源１３の発光タイミング信号を出力する。 In the case of a digital camera using a CCD as the image pickup device 7, the image processor 21 outputs a light accumulation start signal to the image pickup device 7 when it receives a shooting start signal from the system controller 22. At the same time, a light emission timing signal of the strobe light source 13 is output to the system controller 22.

システムコントローラ２２は画像処理器２１からストロボ光源１３の発光タイミング信号を受け取ると、遅延なくストロボ制御器２４に発光信号を送り、ストロボ光源１３を発光する。ストロボ光源１３から発した光束は、観察光と同様に絞り１４のリング状開口を通過し、レンズ１５を通り、孔開きミラー２の周辺のミラー部により左方に反射され、対物レンズ１を介して被検眼Ｅの瞳孔Ｅｐから眼底Ｅｒを照明する。このように照明された眼底像は、再び対物レンズ１、孔開きミラー２の孔の中の撮影絞り３、撮影レンズ５を通り、撮像器７の撮像面に結像し、撮像器７がテレビカメラの場合はテレビ信号、撮像器７がディジタルカメラの場合は画像信号となって画像処理器２１に出力される。 When the system controller 22 receives the light emission timing signal of the strobe light source 13 from the image processor 21, it sends a light emission signal to the strobe controller 24 without delay and emits the strobe light source 13. The luminous flux emitted from the strobe light source 13 passes through the ring-shaped opening of the diaphragm 14 like the observation light, passes through the lens 15, is reflected to the left by the mirror part around the perforated mirror 2, and passes through the objective lens 1. Then, the fundus Er is illuminated from the pupil Ep of the eye E. The illuminated fundus image passes through the objective lens 1, the photographing aperture 3 in the hole of the perforated mirror 2, and the photographing lens 5 again, and forms an image on the imaging surface of the imaging device 7. When the camera is used, it is output to the image processor 21 as a television signal, and when the image pickup device 7 is a digital camera, it is an image signal.

画像処理器２１は撮像器７が出力する１フレーム分のテレビ信号又は画像信号をストロボ発光と同期をとり、フレームメモリに取り込む。続いて、画像処理器２１は撮影後の撮影機器から左右眼情報等の撮影情報を読み込み、先の患者情報と合わせて、フレームメモリの撮影画像と関連付けられた付帯情報として扱う。そのとき、この付帯情報を画像データと分けてテキスト情報として扱ってもよいし、画像フォーマットのタグ領域に書き込むこともできる。なお、左右眼情報等の撮影情報は、オペレータが入力デバイス２５から画像処理器２１に入力することもできる。 The image processor 21 synchronizes the strobe light emission with one frame of television signal or image signal output from the image pickup device 7 and fetches it into the frame memory. Subsequently, the image processor 21 reads imaging information such as left and right eye information from the imaging device after imaging, and handles it as incidental information associated with the captured image in the frame memory together with the previous patient information. At this time, the incidental information may be handled as text information separately from the image data, or may be written in the tag area of the image format. Note that imaging information such as left and right eye information can also be input from the input device 25 to the image processor 21 by an operator.

画像処理器２１はフレームメモリの画像データを画像表示メモリに書き込む。そのときの付帯情報の内容により、画像データを書き込む表示メモリ上のアドレスを変更する。表示メモリに書き込まれた画像データは、Ｄ／Ａ変換後にディスプレイ２６に出力される。これは撮影後に直ちに行われるため、オペレータは画像付帯情報に基づいた所定のレイアウトで表示された画像を確認しながら撮影を進めることができる。撮影後は撮影画像が直ちに表示される。 The image processor 21 writes the image data in the frame memory into the image display memory. The address on the display memory to which the image data is written is changed according to the contents of the accompanying information at that time. The image data written in the display memory is output to the display 26 after D / A conversion. Since this is performed immediately after photographing, the operator can proceed with photographing while confirming an image displayed in a predetermined layout based on the image supplementary information. The captured image is displayed immediately after shooting.

また、画像処理器２１はメモリ装置２７を介して、ＭＯ、ＭＤ、ＤＶＤ−ＲＡＭ、ＶＴＲテープ、ハードディスク等の記憶保持可能な記録媒体Ｄへの書き込み又は読み出しを行う。 Further, the image processor 21 writes or reads data to / from a recording medium D that can be stored and held such as MO, MD, DVD-RAM, VTR tape, and hard disk via the memory device 27.

付帯情報の内容により、画像メモリ上のアドレスが決定されるまでの判断例を説明すると、蛍光撮影のように同一の患者について複数枚の撮影を行う場合には、一連の撮影画像が一覧できるようにサムネイル画像で表示される。本実施例では、先の付帯情報に含まれる左右眼情報により、サムネイル画像の表示位置が決定される。 An example of determination until the address on the image memory is determined according to the contents of the incidental information will be described. When a plurality of images are taken for the same patient as in fluorescence imaging, a series of captured images can be listed. Are displayed as thumbnail images. In this embodiment, the display position of the thumbnail image is determined based on the left and right eye information included in the previous incidental information.

図３はディスプレイ２６上のサムネイル画像の表示レイアウトを示す。画面左半分が左眼表示エリアＬＥＦＴ、右半分が右眼表示エリアＲＩＧＨＴとされている。左側に複数の左眼画像をサムネイル画像として提示し、右側に前記複数の左眼画像に対応する複数の右眼画像をサムネイル画像として提示している。左眼表示エリアＬＥＦＴでの変数ｉ、右眼表示エリアＲＩＧＨＴでの変数ｊは表示位置を示すパラメータであり、撮影開始時の初期値ｉ、ｊは共に眼科装置及び眼画像の表示方法である。図４はディスプレイ２６上にサムネイルの眼底像が表示されている例を示している。 FIG. 3 shows a display layout of thumbnail images on the display 26. The left half of the screen is the left eye display area LEFT, and the right half is the right eye display area RIGHT. A plurality of left eye images are presented as thumbnail images on the left side, and a plurality of right eye images corresponding to the plurality of left eye images are presented as thumbnail images on the right side. A variable i in the left eye display area LEFT and a variable j in the right eye display area RIGHT are parameters indicating a display position, and initial values i and j at the start of imaging are both an ophthalmologic apparatus and an eye image display method. FIG. 4 shows an example in which a fundus image of a thumbnail is displayed on the display 26.

図５は蛍光撮影時の判断フローチャート図を示す。蛍光タイマが起動し蛍光撮影が開始されると、先ずサムネイル画像を表示させる位置を示すパラメータのｉ、ｊが共にｉ＝０、ｊ＝０にクリアされる。撮影後に、画像の付帯情報により左右眼を判別する。右眼の画像の場合は、ｊの位置にサムネイル画像を表示しパラメータｊをインクリメントする。同様に、左眼の場合はｉの位置にサムネイル画像を表示しパラメータｉをインクリメントする。 FIG. 5 shows a flowchart of determination at the time of fluorescent photographing. When the fluorescence timer is activated and fluorescence imaging is started, parameters i and j indicating the position for displaying the thumbnail image are first cleared to i = 0 and j = 0. After photographing, the left and right eyes are discriminated based on the accompanying information of the image. In the case of the right eye image, the thumbnail image is displayed at the position j and the parameter j is incremented. Similarly, in the case of the left eye, a thumbnail image is displayed at the position i and the parameter i is incremented.

また、健康診断のように左右眼について各１枚撮影する場合は、ディスプレイ２６の画面を２分割し、各画像を表示できる範囲で大きく表示する方法が適している。 In addition, when taking one image for each of the left and right eyes as in a health checkup, a method of dividing the screen of the display 26 into two parts and displaying them in a range that can display each image is suitable.

図６はディスプレイ２６の画面上の画像表示位置を示し、画面左半分が左眼表示エリアＬＥＦＴ、右半分が右眼表示エリアＲＩＧＨＴである。図７はこれらのエリアに左右眼の眼底像がそれぞれ表示されている例を示している。ディスプレイ２６に表示される最終的な画像は、同一のレイアウトで図示しないプリンタにプリントアウトするようにしてもよい。 FIG. 6 shows the image display position on the screen of the display 26. The left half of the screen is the left eye display area LEFT, and the right half is the right eye display area RIGHT. FIG. 7 shows an example in which fundus images of the left and right eyes are displayed in these areas. The final image displayed on the display 26 may be printed out to a printer (not shown) with the same layout.

（第２の実施形態）
図８は第２の実施の形態の構成図であり、パノラマ撮影が可能な無散瞳眼底カメラの例を示している。これは複数の眼底撮影画像を基にパノラマ画像を表示する。図１と同一の符号は同一の部材を示している。近年行われているテレビカメラを撮影媒体に用いた撮影では、被検眼Ｅを照明する撮影光量が従来のフィルム撮影に比べて十分に低光量のため、無散瞳眼底カメラでも複数枚の撮影が可能である。 (Second Embodiment)
FIG. 8 is a block diagram of the second embodiment, showing an example of a non-mydriatic fundus camera capable of panoramic photography. This displays a panoramic image based on a plurality of fundus images. The same reference numerals as those in FIG. 1 denote the same members. In recent photographing using a television camera as a photographing medium, the amount of photographing light for illuminating the eye E is sufficiently low compared to conventional film photographing, so even a non-mydriatic fundus camera can shoot a plurality of images. Is possible.

ここで、照明光学系のフィルタ１２の位置に、可視カットフィルタ３１が挿入されている。また、ミラー８の代りにハーフミラー８’ が配置され、その反射方向にリレーレンズ３２、赤外波長領域に感度を有するテレビカメラ３３に配置され、テレビカメラ３３の出力はディスプレイ３４に接続されている。ハーフミラー８’の透過方向には眼底Ｅｒと共役にした固視灯３５が配置され、被検眼Ｅに固視目標を提示するようにされており、この固視灯３５にはシステムコントローラ２２の出力が接続されている。 Here, a visible cut filter 31 is inserted at the position of the filter 12 of the illumination optical system. Further, a half mirror 8 ′ is arranged in place of the mirror 8 and is arranged in a relay lens 32 in the reflection direction thereof and a television camera 33 having sensitivity in the infrared wavelength region, and an output of the television camera 33 is connected to a display 34. Yes. A fixation lamp 35 conjugated with the fundus Er is arranged in the transmission direction of the half mirror 8 ′, and a fixation target is presented to the eye E to be examined. The output is connected.

固視灯３５はドットマトリクス状に並んだＬＥＤアレイ、又はＬＥＤ等のバックライトとドットマトリクスの液晶シャッタにより構成され、二次元の任意の位置のドットを透過／不透過制御することにより、被検眼Ｅに対し任意の位置に、システムコントローラ２２からの指示により固視目標を提示することができる。また、図では省略しているが、固視位置の変動がない外部固視灯を、撮影光学系と独立して固視灯として用いてもよい。 The fixation lamp 35 is composed of an LED array arranged in a dot matrix, or a backlight such as an LED, and a liquid crystal shutter of a dot matrix. By controlling transmission / non-transmission of dots at two-dimensional arbitrary positions, A fixation target can be presented at an arbitrary position with respect to E by an instruction from the system controller 22. Although not shown in the drawing, an external fixation lamp that does not change the fixation position may be used as a fixation lamp independently of the photographing optical system.

被検眼Ｅの眼底Ｅｒを観察する際に、観察光源１０を発した光は、可視カットフィルタ３１を通過し赤外光のみにされた後は、第１の実施の形態と同様に、コンデンサレンズ１１により集光され、ストロボ光源１３、絞り１４、レンズ１５を通り、孔開きミラー２のミラ一部により左方に反射され、対物レンズ１を通り被検眼瞳Ｅｐを介して眼底Ｅｒを赤外光として照明する。 When observing the fundus Er of the eye E, the light emitted from the observation light source 10 passes through the visible cut filter 31 and becomes only infrared light, and then, as in the first embodiment, a condenser lens 11, passes through the stroboscopic light source 13, the diaphragm 14, and the lens 15, is reflected leftward by a part of the mirror of the aperture mirror 2, passes through the objective lens 1, and infrareds the fundus Er through the eye to be examined Ep. Illuminate as light.

眼底Ｅｒの像は再び対物レンズ１、孔開きミラー２の孔の中の撮影絞り３、撮影レンズ５を通り、可動ミラー６により上方に反射され、更にハーフミラー８’により左方に反射され、リレーレンズ３２を通りテレビカメラ３３に達する。赤外光に感度を有するテレビカメラ３３は、受光した眼底像をテレビ信号に変換してディスプレイ３４に出力する。 The image of the fundus Er passes again through the objective lens 1, the aperture 3 in the aperture of the aperture mirror 2, and the imaging lens 5, reflected upward by the movable mirror 6, and further reflected leftward by the half mirror 8 ′. It reaches the TV camera 33 through the relay lens 32. The television camera 33 having sensitivity to infrared light converts the received fundus image into a television signal and outputs the television signal to the display 34.

オペレータはディスプレイ３４の眼底像を見ながら、目的の撮影部位が画面中央に位置するように、固視灯３５の位置を変化させて眼底撮影に必要なアライメント及びフォーカス調整を行った後に、撮影スイッチを押して撮影を行う。 The operator changes the position of the fixation lamp 35 so that the target imaging region is located in the center of the screen while viewing the fundus image on the display 34, and then performs the alignment and focus adjustment necessary for fundus imaging, and then the imaging switch. Press to shoot.

画像処理器２１が画像データをフレームメモリに取り込むまでは、その動作は第１の実施の形態と同様である。続いて、画像処理器２１はシステムコントローラ２２から、固視灯３５により被検眼Ｅに提示された固視目標の位置を読み取り、第１の実施の形態と同様に固視目標位置を画像の付帯情報として扱う。 Until the image processor 21 fetches the image data into the frame memory, the operation is the same as in the first embodiment. Subsequently, the image processor 21 reads the position of the fixation target presented to the eye E by the fixation lamp 35 from the system controller 22, and the fixation target position is attached to the image as in the first embodiment. Treat as information.

画像データの付帯情報の固視灯３５の位置の変位により、画像メモリ上のアドレスが決定されるまでの判断を図９により説明する。ここで、１枚目の撮影画像は乳頭、黄斑が撮影できる位置に固視灯３５を提示するのが通常であり、表示メモリの上方略中央部に画像データを書き込めばよい。２枚目の撮影画像以降は、固視灯３５の提示位置を変化させた場合について説明する。 The determination until the address on the image memory is determined by the displacement of the position of the fixation lamp 35 in the incidental information of the image data will be described with reference to FIG. Here, in the first photographed image, the fixation lamp 35 is usually presented at a position where the nipple and the macula can be photographed, and image data may be written in the substantially upper central portion of the display memory. A case where the presentation position of the fixation lamp 35 is changed after the second photographed image will be described.

固視灯３５は眼底Ｅｒと共役位置にあり、固視灯３５の提示位置により、眼底Ｅｒの黄斑の位置を誘導する。固視灯３５の変位と撮影画像の部位の変位は画角を共通パラメータと考えると分かり易い。つまり変位を画角で考えると、図９（ａ）の固視灯３５の変位（Δｐ，Δｑ）は、そのまま（ｂ）に示す眼底画像の変位（ΔＰ，ΔＱ）に相当する。結像倍率により画角１度当たりの表示メモリ上でのピクセル数が求まるので、画角１度を表示メモリのｋピクセルに対応させて、（ｃ）に示す表示メモリに書き込む場合を考える。 The fixation lamp 35 is in a conjugate position with the fundus Er, and the position of the macular on the fundus Er is guided by the presentation position of the fixation lamp 35. The displacement of the fixation lamp 35 and the displacement of the part of the captured image are easy to understand when the angle of view is considered as a common parameter. That is, when the displacement is considered in terms of angle of view, the displacement (Δp, Δq) of the fixation lamp 35 in FIG. 9A corresponds to the displacement (ΔP, ΔQ) of the fundus image shown in (b) as it is. Since the number of pixels on the display memory per angle of view is determined by the imaging magnification, consider a case where the angle of view corresponds to k pixels in the display memory and is written in the display memory shown in (c).

固視灯３５の提示位置を画角（Δｐ，Δｑ）相当分だけ変位させると、撮影される眼底像も画角で（ΔＰ，ΔＱ）＝（Δｐ，Δｑ）変位したことになる。従って、表示メモリ上の変位（ΔＸ，ΔＹ）は、（ΔＸ，ΔＹ）＝（ｋΔＰ，ｋΔＱ）で求めることができる。 If the presentation position of the fixation lamp 35 is displaced by an amount corresponding to the angle of view (Δp, Δq), the photographed fundus image is also displaced by the angle of view (ΔP, ΔQ) = (Δp, Δq). Accordingly, the displacement (ΔX, ΔY) on the display memory can be obtained by (ΔX, ΔY) = (kΔP, kΔQ).

また、複数の眼底画像を１枚の表示メモリに書き込む場合には、輪郭のアパーチャマスクを削除して書き込むことが適している。アパーチャマスクの削除方法はここでは詳しく説明はしないが、通常ではアパーチャマスクは位置が固定しているため、フレームメモリからアパーチャマスクの位置に相当するアドレスのデータを読み飛ばす方法、画像データの輝度、色成分が、ほぼ眼科装置及び眼画像の表示方法の部分を読み飛ばす方法により達成できる。 In addition, when writing a plurality of fundus images to a single display memory, it is suitable to delete the contour aperture mask. The method for deleting the aperture mask will not be described in detail here.However, since the position of the aperture mask is usually fixed, a method of skipping the data at the address corresponding to the position of the aperture mask from the frame memory, the brightness of the image data, The color component can be achieved by a method that skips the portion of the display method of the ophthalmic apparatus and the eye image.

固視灯３５の位置に基づいたレイアウトにより、撮影後直ちに表示される画像をオペレータが確認するので、撮影の取り残しがない。更に、オペレータは画像毎に撮影光量が適性であったかどうか、全体での撮影光量にばらつきはないか、フレアは入っていないか等を各画像を重ね合わせたパノラマ画像として撮影中に確認することができる。また、固視灯３５の位置情報により表示メモリ上に格納する画像データのアドレスを決定する方法は、複雑な画像処理が不要なため処理時間が短時間で済む。なお、ディスプレイに表示される最終的な画像は、同一のレイアウトで図示しないプリンタにプリントアウトするようにしてもよい。 With the layout based on the position of the fixation lamp 35, the operator confirms the image displayed immediately after shooting, so there is no leftover of shooting. Furthermore, the operator can confirm whether or not the photographing light amount is appropriate for each image, whether there is no variation in the entire photographing light amount, whether or not there is flare, and the like during photographing as a panoramic image in which the images are superimposed. it can. In addition, the method of determining the address of the image data stored on the display memory based on the position information of the fixation lamp 35 requires a short processing time because complicated image processing is unnecessary. The final image displayed on the display may be printed out to a printer (not shown) with the same layout.

（第３の実施形態）
図１０はパノラマ撮影が可能な眼底カメラの第３の実施の形態の構成図である。複数の眼底撮影画像を基にパノラマ画像を表示する。図１の第１の実施の形態に対して、パンニング機構による眼底カメラ本体の位置の角度変位を検知するポテンショメータ４１、チルティング機構による眼底カメラ本体の位置の角度変位を検知するポテンショメータ４２の出力がシステムコントローラ２２に接続されている。 (Third embodiment)
FIG. 10 is a configuration diagram of a third embodiment of a fundus camera capable of panoramic photography. A panoramic image is displayed based on a plurality of fundus images. Compared to the first embodiment of FIG. 1, there are outputs of a potentiometer 41 for detecting the angular displacement of the position of the fundus camera body by the panning mechanism and the potentiometer 42 for detecting the angular displacement of the position of the fundus camera body by the tilting mechanism. It is connected to the system controller 22.

オペレータは接眼レンズ９を介して眼底像を観察しながら、目的の撮影部位が画面中央に位置するように眼底カメラ本体をチルト操作、パンニング操作及び眼底撮影に必要なアライメント及びフォーカス調整を行った後に、図示しない撮影スイッチを押して撮影を行う。画像処理器２１が画像データをフレームメモリに取り込むまでは、第１の実施の形態と同様の動作がなされる。 After the operator performs tilt operation, panning operation, and alignment and focus adjustment necessary for fundus imaging so that the target imaging region is located at the center of the screen while observing the fundus image through the eyepiece 9 Then, shooting is performed by pressing a shooting switch (not shown). Until the image processor 21 fetches the image data into the frame memory, the same operation as in the first embodiment is performed.

フレームメモリに画像を取り込んだ後に、画像処理器２１はポテンショメータ４１からパンニング機構による眼底カメラ本体の位置の変位、ポテンショメータ４２からチルティング機構による眼底カメラ本体の位置の変位を読み取り、フレームメモリに取り込んだ画像データの付帯情報として扱う。パンニング、チルティング機構は被検眼Ｅの瞳孔中心を軸に行われ、眼底カメラ本体の角度変位はそのまま眼底上の角度変位に相当するため、画像データを表示メモリに書き込む位置を決定する判断は、第２の実施の形態と同様である。 After capturing the image in the frame memory, the image processor 21 reads the displacement of the position of the fundus camera main body by the panning mechanism from the potentiometer 41 and reads the displacement of the position of the fundus camera main body by the tilting mechanism from the potentiometer 42 and captures it in the frame memory. Treated as incidental information of image data. Since the panning and tilting mechanisms are performed around the pupil center of the eye E, and the angular displacement of the fundus camera body is equivalent to the angular displacement on the fundus as it is, the determination of determining the position to write the image data in the display memory is as follows: This is the same as in the second embodiment.

図１１はディスプレイ２６上に複数の撮影画像を合成したパノラマ画像のレイアウトを示している。撮影時には、それまでに合成したパノラマ画像が表示され、オペレータはそれを見て撮影部位を確認した上で撮影を行うことができる。そして、撮影した新たな部分画像は、ディスプレイ上に直ちに合成表示され、新たなパノラマ画像として表示される。ディスプレイに表示される最終的な画像は、同一のレイアウトで図示しないプリンタにプリントアウトするようにしてもよい。 FIG. 11 shows a panoramic image layout obtained by combining a plurality of captured images on the display 26. At the time of imaging, a panoramic image synthesized so far is displayed, and the operator can perform imaging after confirming the imaging region by viewing it. Then, the captured new partial image is immediately synthesized and displayed on the display and displayed as a new panoramic image. The final image displayed on the display may be printed out to a printer (not shown) with the same layout.

（その他の実施形態）
例えば、眼底の広い範囲を撮影し張り合わせ処理を行う時には、オペレータが画像を見て判断し、画像毎に張り合わせる位置を決めているので、作業が非常に困難である。 (Other embodiments)
For example, when photographing a wide range of the fundus and performing the pasting process, the operator makes a judgment by looking at the images and determines the pasting position for each image, which is very difficult.

また、近年では糖尿病網膜症の判定のために、同一眼を複数部位撮影する判定基準が提案されているが、従来の眼科撮影装置では必要な撮影部位の決定が全てオペレータに委ねられていて、オペレータに負担が掛かり、撮影不足、同一部位の多重撮影などの問題が発生している。 Further, in recent years, a criterion for photographing a plurality of parts of the same eye has been proposed for the determination of diabetic retinopathy. There is a burden on the operator, causing problems such as lack of imaging and multiple imaging of the same part.

また、撮影画像を重ね合わせ、広範囲の部位を一覧できるパノラマ表示は、撮影後にのみ可能であり、撮影中に確認することができない。 In addition, panoramic display in which captured images can be overlaid and a wide range of parts can be listed is possible only after imaging, and cannot be confirmed during imaging.

これらの目的を達成するための本発明の別の実施形態に係る眼科装置として、以下が考えられる。例えば、被検眼に提示された固視目標の位置に基づいて、被検眼を撮影するための撮影手段から出力された画像が表示されるディスプレイの画面の位置を求め、当該位置に前記画像を表示させる処理手段を有することが好ましい。また、例えば、被検眼を撮影するための撮影手段のパンニング及びチルティングによる位置に対応して、前記撮影手段から出力される画像が表示されるディスプレイの画面の位置に前記画像を表示させる処理手段を有することが好ましい。 The following can be considered as an ophthalmologic apparatus according to another embodiment of the present invention for achieving these objects. For example, based on the position of the fixation target presented to the eye to be examined, the position of the display screen on which the image output from the photographing means for photographing the eye to be examined is displayed, and the image is displayed at the position. It is preferable to have a processing means. In addition, for example, a processing unit that displays the image at a position on a screen of a display on which an image output from the imaging unit is displayed corresponding to a position by panning and tilting of the imaging unit for imaging the eye to be examined. It is preferable to have.

これらにより、ユーザビリティに優れた表示レイアウトで、撮影後に直ちに撮影画像が表示されるので、オペレータにとって直感的で極めて使い勝手の良い眼科装置が実現できる。また、撮影直後に必要な画像を撮影されたか否かが判断し易く、撮影漏れなどのミスを防ぐことができる。 As a result, a captured image is displayed immediately after shooting with a display layout having excellent usability, and thus an ophthalmologic apparatus that is intuitive and extremely easy to use can be realized. In addition, it is easy to determine whether or not a necessary image has been shot immediately after shooting, and mistakes such as omission of shooting can be prevented.

１対物レンズ
５撮影レンズ
６可動ミラー
７撮像器
１０観察光源
１１コンデンサレンズ
１２エキサイタフィルタ
１３ストロボ光源
１４絞り
１５レンズ
２１画像処理器
２２コントローラ
２３左右眼スイッチ
２４ストロボ発光コントローラ
２５入力デバイス
２６、３４ディスプレイ
２７メモリ装置
３３テレビカメラ
３５固視灯
４１、４２ポテンショメータ DESCRIPTION OF SYMBOLS 1 Objective lens 5 Shooting lens 6 Movable mirror 7 Imaging device 10 Observation light source 11 Condenser lens 12 Exciter filter 13 Strobe light source 14 Aperture 15 Lens 21 Image processor 22 Controller 23 Left and right eye switch 24 Strobe light emission controller 25 Input devices 26 and 34 Display 27 Memory device 33 TV camera 35 Fixation lamp 41, 42 Potentiometer

Claims

被検者の左眼を異なるタイミングで撮影して得た複数の左眼画像と、該被検者の右眼を異なるタイミングで撮影して得た複数の右眼画像とを取得する取得手段と、
前記複数の左眼画像を表示手段の左眼表示領域に並べて表示させ、前記複数の右眼画像を該表示手段の右眼表示領域に並べて表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 Acquisition means for acquiring a plurality of left eye images obtained by photographing the left eye of the subject at different timings and a plurality of right eye images obtained by photographing the right eye of the subject at different timings; ,
Display control means for displaying the plurality of left eye images side by side in the left eye display area of the display means, and for displaying the plurality of right eye images side by side in the right eye display area of the display means;
An image processing apparatus comprising:

前記表示制御手段が、
前記複数の左眼画像を前記左眼表示領域に該複数の左眼画像が撮影された順番に並べて表示させ、
前記複数の右眼画像を前記右眼表示領域に該複数の右眼画像が撮影された順番に並べて表示させることを特徴とする請求項１に記載の画像処理装置。 The display control means is
Displaying the plurality of left eye images side by side in the order in which the plurality of left eye images were captured in the left eye display region;
The image processing apparatus according to claim 1, wherein the plurality of right eye images are displayed in the right eye display region in the order in which the plurality of right eye images are captured.

被検者の左眼の複数の左眼画像と該被検者の右眼の複数の右眼画像とを取得する取得手段と、
前記複数の左眼画像を表示手段の左眼表示領域に該複数の左眼画像が撮影された順番に並べて表示させ、前記複数の右眼画像を該表示手段の右眼表示領域に該複数の右眼画像が撮影された順番に並べて表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 Acquisition means for acquiring a plurality of left eye images of the subject's left eye and a plurality of right eye images of the subject's right eye;
The plurality of left eye images are displayed in the left eye display area of the display unit in the order in which the plurality of left eye images are captured, and the plurality of right eye images are displayed in the right eye display area of the display unit. Display control means for displaying the right-eye images in the order in which they were taken; and
An image processing apparatus comprising:

前記表示制御手段が、
前記左眼を示す表示形態を前記左眼表示領域に表示させ、
前記右眼を示す表示形態を前記右眼表示領域に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 The display control means is
Displaying the left eye display form in the left eye display area;
The image processing apparatus according to claim 1, wherein a display form indicating the right eye is displayed in the right eye display area.

被検者の左眼の複数の左眼画像と該被検者の右眼の複数の右眼画像とを取得する取得手段と、
前記複数の左眼画像と前記左眼を示す表示形態とを表示手段の左眼表示領域に表示させ、前記複数の右眼画像と前記右眼を示す表示形態とを該表示手段の右眼表示領域に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。 Acquisition means for acquiring a plurality of left eye images of the subject's left eye and a plurality of right eye images of the subject's right eye;
The plurality of left eye images and the display form indicating the left eye are displayed in a left eye display area of a display unit, and the plurality of right eye images and the display form indicating the right eye are displayed on the right eye of the display unit. Display control means for displaying in the area;
An image processing apparatus comprising:

前記表示制御手段が、
前記左眼を示す表示形態を前記左眼表示領域における前記複数の左眼画像の上側に表示させ、
前記右眼を示す表示形態を前記右眼表示領域における前記複数の右眼画像の上側に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The display control means is
Displaying a display form indicating the left eye above the plurality of left eye images in the left eye display region;
The image processing apparatus according to claim 1, wherein a display form indicating the right eye is displayed above the plurality of right eye images in the right eye display region.

前記左眼表示領域は、前記表示手段の画面を左右に２分割された一方の領域であり、
前記右眼表示領域は、前記２分割された他方の領域であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The left eye display area is one area obtained by dividing the screen of the display means into left and right parts,
The image processing apparatus according to claim 1, wherein the right-eye display area is the other area divided into two.

前記表示制御手段が、
前記複数の左眼画像を前記左眼表示領域に該複数の左眼画像が撮影された順番に上から並べて表示させ、
前記複数の右眼画像を前記右眼表示領域に該複数の右眼画像が撮影された順番に上から並べて表示させることを特徴とする請求項７に記載の画像処理装置。 The display control means is
Displaying the plurality of left eye images side by side in the order in which the plurality of left eye images were captured in the left eye display region;
The image processing apparatus according to claim 7, wherein the plurality of right eye images are displayed in the right eye display region side by side in the order in which the plurality of right eye images are captured.

前記複数の左眼画像は、前記左眼の眼底像であり、
前記複数の右眼画像は、前記右眼の眼底像であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The plurality of left eye images are fundus images of the left eye,
The image processing apparatus according to claim 1, wherein the plurality of right eye images are fundus images of the right eye.

前記複数の左眼画像は、前記左眼の乳頭と黄斑とのうち少なくとも一方の画像であり、
前記複数の右眼画像は、前記右眼の乳頭と黄斑とのうち少なくとも一方の画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 The plurality of left eye images are images of at least one of the nipple and the macula of the left eye,
The image processing apparatus according to claim 1, wherein the plurality of right-eye images are at least one of a right nipple and a macula.

前記複数の左眼画像は、前記左眼を蛍光撮影して得た一連の撮影画像であり、
前記複数の右眼画像は、前記右眼を蛍光撮影して得た一連の撮影画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。 The plurality of left eye images are a series of captured images obtained by fluorescence imaging the left eye,
The image processing apparatus according to claim 1, wherein the plurality of right-eye images are a series of captured images obtained by fluorescently photographing the right eye.

前記表示手段に表示されたレイアウトでプリントアウトする制御手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a control unit that prints out the layout displayed on the display unit.

被検者の左眼を異なるタイミングで撮影して得た複数の左眼画像と、該被検者の右眼を異なるタイミングで撮影して得た複数の右眼画像とを取得する工程と、
前記複数の左眼画像を表示手段の左眼表示領域に並べて表示させ、前記複数の右眼画像を該表示手段の右眼表示領域に並べて表示させる工程と、
を有することを特徴とする画像処理方法。 Obtaining a plurality of left eye images obtained by photographing the left eye of the subject at different timings, and a plurality of right eye images obtained by photographing the right eye of the subject at different timings;
Displaying the plurality of left eye images side by side in the left eye display area of the display means, and displaying the plurality of right eye images side by side in the right eye display area of the display means;
An image processing method comprising:

前記表示させる工程では、
前記複数の左眼画像を前記左眼表示領域に該複数の左眼画像が撮影された順番に並べて表示させ、
前記複数の右眼画像を前記右眼表示領域に該複数の右眼画像が撮影された順番に並べて表示させることを特徴とする請求項１３に記載の画像処理方法。 In the displaying step,
Displaying the plurality of left eye images side by side in the order in which the plurality of left eye images were captured in the left eye display region;
The image processing method according to claim 13, wherein the plurality of right eye images are displayed in the right eye display region in the order in which the plurality of right eye images are captured.

前記表示させる工程では、
前記左眼を示す表示形態を前記左眼表示領域における前記複数の左眼画像の上側に表示させ、
前記右眼を示す表示形態を前記右眼表示領域における前記複数の右眼画像の上側に表示させることを特徴とする請求項１３あるいは１４に記載の画像処理方法。 In the displaying step,
Displaying a display form indicating the left eye above the plurality of left eye images in the left eye display region;
The image processing method according to claim 13 or 14, wherein a display form indicating the right eye is displayed above the plurality of right eye images in the right eye display region.

請求項１３乃至１５のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。 A program causing a computer to execute each step of the image processing method according to any one of claims 13 to 15.