JP5875567B2 - Ophthalmic imaging apparatus and control method thereof - Google Patents

Ophthalmic imaging apparatus and control method thereof Download PDF

Info

Publication number
JP5875567B2
JP5875567B2 JP2013225501A JP2013225501A JP5875567B2 JP 5875567 B2 JP5875567 B2 JP 5875567B2 JP 2013225501 A JP2013225501 A JP 2013225501A JP 2013225501 A JP2013225501 A JP 2013225501A JP 5875567 B2 JP5875567 B2 JP 5875567B2
Authority
JP
Japan
Prior art keywords
imaging
image
light
eye
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013225501A
Other languages
Japanese (ja)
Other versions
JP2014039874A (en
Inventor
松本 和浩
和浩 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013225501A priority Critical patent/JP5875567B2/en
Publication of JP2014039874A publication Critical patent/JP2014039874A/en
Application granted granted Critical
Publication of JP5875567B2 publication Critical patent/JP5875567B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、眼科医院、集団健診等において用いられる眼科撮影装置及びその制御方法に関する。   The present invention relates to an ophthalmologic photographing apparatus used in ophthalmic clinics, group medical examinations, and the like, and a control method thereof.

従来から、様々な撮影媒体に記録する無散瞳眼底カメラが知られている。無散瞳眼底カメラは被検者を自然散瞳の状態で赤外光により観察アライメントし、ストロボ光源等が発する可視光の閃光によってカラー眼底像の静止画記録を行う。従って、撮影光が眩しいと被検者の瞳孔は縮瞳するため、続けて撮影する場合には、瞳孔が自然散瞳するまで10分程度の時間待たなければならない。   Conventionally, a non-mydriatic fundus camera that records on various photographing media is known. A non-mydriatic fundus camera observes and aligns the subject with infrared light in a natural mydriatic state, and records a still image of a color fundus image with a flash of visible light emitted from a strobe light source or the like. Accordingly, since the pupil of the subject dilates when the photographing light is dazzling, when photographing continuously, it is necessary to wait for about 10 minutes until the pupil spontaneously dilates.

集団健診の眼底撮影においては、多人数の左右眼を撮影することが求められる。そこで、片眼の撮影が終わり、他眼の撮影まで被検者を待たせておくことは、時間的、スペース的にも効率が悪い。従って、左右眼を連続して撮影できる程度の低光量での撮影が望まれる。   In fundus photography for group medical examination, it is required to photograph a large number of left and right eyes. Therefore, it is inefficient in terms of time and space to wait for the subject to wait until photographing of one eye is completed and photographing of the other eye. Therefore, it is desired to shoot with a light amount that is low enough to continuously shoot the left and right eyes.

近年では、電子記録式のカメラを用いて眼底像を記録する方式が増えてきているが、このようなカメラを用いて少ない照明光量で撮影する場合には、カメラの撮影感度を高く設定して撮影している。   In recent years, there are an increasing number of methods for recording fundus images using electronic recording cameras. However, when shooting with such a camera with a small amount of illumination, the camera's shooting sensitivity should be set high. Shooting.

また、集団健診の画像は専門の読影者が読影する場合が多いが、読影の時間短縮を図るため、ネットワーク回線を使って画像を遠隔地に転送する方式が用いられている。そのためには、画像サイズが大きいと転送に時間がかかり、読影の効率が低下するため、特許文献1のように画像圧縮技術を用いて画像情報の容量を減らす方式が用いられている。また、特許文献2には、眼底像部分だけを切り出して転送する技術が記載されている。   In addition, images of group medical examinations are often read by specialized interpreters, but in order to shorten the time for interpretation, a system is used in which images are transferred to a remote location using a network line. For this purpose, if the image size is large, the transfer takes time and the interpretation efficiency is lowered. Therefore, a method of reducing the volume of image information using an image compression technique as in Patent Document 1 is used. Japanese Patent Application Laid-Open No. 2004-228561 describes a technique for cutting out and transferring only the fundus image portion.

特開平6−098859号公報JP-A-6-098858 特開平4−084932号公報JP-A-4-084932

しかし上記の従来方法では、撮影感度を高く設定して撮影した眼底像は、暗電流等のノイズも増幅されるため、色むら等が発生し画質が低下する。また、圧縮技術を用いて画像サイズを小さくするには、非可逆圧縮を用いなければならず、画像に独特のパターンが現れたり、色情報が失われたりするため、画質特にコントラストが低下する。   However, in the above-described conventional method, noise such as dark current is amplified in a fundus image captured with a high imaging sensitivity, resulting in color unevenness and image quality. In order to reduce the image size using the compression technique, lossy compression must be used, and a unique pattern appears in the image or color information is lost, so that the image quality, particularly the contrast, is lowered.

医用画像の場合には、加工を施さない生画像(RAWデータ)が求められ、圧縮画像は診断用画像として認められない場合もある。眼底像部分だけを切り出したのでは、画像の形状が円形又は小判型のように特殊になり、一般のビュワソフトでは正しく再生できない。また、小さく結像したことにより、増加してしまった余白部分を取り除くために、モニタに表示する際に拡大して表示しなければならない。   In the case of a medical image, a raw image (RAW data) that is not processed is required, and the compressed image may not be recognized as a diagnostic image. If only the fundus image portion is cut out, the shape of the image becomes special, such as a circle or an oval shape, and cannot be correctly reproduced by general viewer software. Further, in order to remove the blank portion that has increased due to the small image formation, the image must be enlarged when displayed on the monitor.

本発明の目的は、上述の問題点を解消し、変倍に際しても画像劣化のない眼科撮影装置及びその制御方法を提供することにある。   An object of the present invention is to provide an ophthalmologic photographing apparatus which eliminates the above-described problems and does not deteriorate image even when zooming, and a control method therefor.

上記目的を達成するための本発明に係る眼科撮影装置は、
被検眼を撮影するための撮影光を発生させる撮影光源と、
照明光学系を介して前記撮影光で照明した前記被検眼からの戻り光を撮影光学系を介して撮像素子に異なる結像倍率で結像する結像手段と、
集団検診モードと詳細診断モードとを含むモード群のうち1つのモードを選択する選択手段と、
前記集団検診モードが選択されたことを検知すると、前記詳細診断モードが選択されたことを検知する場合よりも前記結像倍率が低くなるように前記結像手段の結像倍率を制御し且つ前記撮影光の光量が低くなるように前記撮影光源の発光量を制御し、前記結像倍率及び前記発光量が制御された後に前記撮像素子により出力された前記被検眼の画像データから、前記結像倍率を低くして前記被検眼を撮像した場合に増加する余分な領域を取り除き、前記被検眼の眼底画像全てを含み矩形を維持した画像データを切り出す制御手段と、を有する。
To achieve the above object, an ophthalmologic photographing apparatus according to the present invention provides:
An imaging light source that generates imaging light for imaging the eye to be examined;
An imaging means for imaging the return light from the eye to be inspected illuminated with the imaging light via an illumination optical system on the imaging element with different imaging magnifications via the imaging optical system;
A selection means for selecting one mode from a group of modes including a group examination mode and a detailed diagnosis mode;
When detecting that the group examination mode has been selected , the imaging magnification of the imaging means is controlled so that the imaging magnification is lower than when detecting that the detailed diagnosis mode has been selected, and controlling the light emission amount of the imaging light source as the light amount of the imaging light is low, the image data of the eye which is output by the image pickup device after the imaging magnification and the light emission amount is controlled, the imaging And a control unit that removes an extra area that increases when the eye is imaged at a low magnification and cuts out image data that includes all the fundus images of the eye and maintains a rectangle .

また、上記目的を達成するための本発明に係る眼科撮影装置の制御方法は、
被検眼を撮影するための撮影光を発生させる撮影光源と、照明光学系を介して前記撮影光で照明した前記被検眼からの戻り光を撮影光学系を介して撮像素子に異なる結像倍率で結像する結像手段と、前記結像手段の結像倍率及び前記撮影光源の発光量を制御する制御手段とを有する眼科撮影装置の制御方法であって、
前記制御手段が、
集団検診モードが選択されたことを検知すると、前記詳細診断モードが選択されたことを検知する場合よりも前記結像倍率が低くなるように前記結像手段の結像倍率を制御し且つ前記撮影光の光量が低くなるように前記撮影光源の発光量を制御する工程と、
前記結像倍率及び前記発光量が制御された後に前記撮像素子により出力された前記被検眼の画像データから、前記結像倍率を低くして前記被検眼を撮像した場合に増加する余分な領域を取り除き、前記被検眼の眼底画像全てを含み矩形を維持した画像データを切り出す工程と、を有する。
In addition, a method for controlling an ophthalmologic photographing apparatus according to the present invention for achieving the above object is as follows:
An imaging light source that generates imaging light for imaging the eye to be inspected, and return light from the eye to be inspected that has been illuminated by the imaging light via an illumination optical system with different imaging magnifications on the image sensor via the imaging optical system An ophthalmologic photographing apparatus control method comprising: an image forming unit that forms an image; and a control unit that controls an image forming magnification of the image forming unit and a light emission amount of the imaging light source,
The control means is
When it is detected that the group examination mode is selected, the imaging magnification of the imaging unit is controlled so that the imaging magnification is lower than when the detailed diagnosis mode is detected, and the imaging is performed. Controlling the light emission amount of the photographing light source so that the amount of light is reduced;
From the image data of the eye to be examined output by the imaging device after the imaging magnification and the light emission amount are controlled , an extra area that increases when the eye to be examined is imaged with the imaging magnification lowered. Removing the image data including all the fundus images of the eye to be examined and maintaining the rectangle .

本発明に係る眼科撮影装置及びその制御方法によれば、低光量で撮影しサイズの小さな画像が得られ、画像の診断価値を低下させることなく、転送、保存等の利便性を向上することができる。   According to the ophthalmologic photographing apparatus and the control method thereof according to the present invention, it is possible to obtain a small-sized image by photographing with a low light amount, and to improve convenience of transfer, storage, etc. without deteriorating the diagnostic value of the image. it can.

実施例1の眼底カメラの構成図である。1 is a configuration diagram of a fundus camera of Example 1. FIG. 切出領域の説明図である。It is explanatory drawing of a cutting-out area | region. 切出領域の説明図である。It is explanatory drawing of a cutting-out area | region. 実施例2の眼底カメラの構成図である。6 is a configuration diagram of a fundus camera of Example 2. FIG.

本発明を図示の実施例に基づいて詳細に説明する。   The present invention will be described in detail based on the embodiments shown in the drawings.

図1は、眼科撮影装置の一例である眼底カメラの構成図である。可視光及び赤外光の定常光を発するハロゲンランプ等の観察光源1から対物レンズ2に至る間には、コンデンサレンズ3、可視光を遮断し赤外光を透過する可視カットフィルタ4、撮影光の一例である閃光を発生させる撮影光源の一例であるストロボ光源5、リング状の開口を有する絞り6、挿入離脱自在に配置された赤外光を遮断する赤外カットフィルタ7、リレーレンズ8、孔あきミラー9が、照明光学系として配列されている。   FIG. 1 is a configuration diagram of a fundus camera that is an example of an ophthalmologic photographing apparatus. A condenser lens 3, a visible cut filter 4 that blocks visible light and transmits infrared light, and imaging light are provided between the observation light source 1 such as a halogen lamp that emits visible light and infrared light and the objective lens 2. A strobe light source 5 that is an example of a photographing light source that generates flash light, an aperture 6 having a ring-shaped opening, an infrared cut filter 7 that blocks infrared light that can be freely inserted and removed, a relay lens 8, Perforated mirrors 9 are arranged as an illumination optical system.

対物レンズ2の後方には、孔あきミラー9の孔部に配置された撮影絞り10、光軸上を(光軸方向に沿って)移動可能なフォーカスレンズ11、撮影レンズ12、跳ね上げミラー13、絞り14、フィールドレンズ15、択一的に光路中に挿入されるリレーレンズ16a、16b、撮像素子17aを有するデジタルカメラ17が配列され、撮影光学系として、眼底撮影手段が構成されている。   Behind the objective lens 2 is a photographing aperture 10 disposed in the hole of the perforated mirror 9, a focus lens 11, a photographing lens 12, and a flip-up mirror 13 that can move on the optical axis (along the optical axis direction). A diaphragm 14, a field lens 15, relay lenses 16 a and 16 b that are alternatively inserted in the optical path, and a digital camera 17 having an image sensor 17 a are arranged, and a fundus photographing unit is configured as a photographing optical system.

跳ね上げミラー13の反射方向には、視野絞り18、フィールドレンズ19、ミラー20、撮像レンズ21、撮像素子22aを有する撮像手段22が配列され、撮影手段22の出力はモニタ23に接続され、眼底観察手段が構成されている。   In the reflection direction of the flip-up mirror 13, an imaging means 22 having a field stop 18, a field lens 19, a mirror 20, an imaging lens 21, and an imaging element 22a is arranged. The output of the imaging means 22 is connected to a monitor 23, and the fundus An observation means is configured.

デジタルカメラ17によるデジタル画像データの出力は画像制御回路31に接続され、画像制御回路31はA/D変換器32a、デジタル画像データを記憶する記憶手段である画像メモリ32bを有する画像ボード32、画像制御手段33、ビデオRAM34により構成されている。画像制御手段33には、画像記録手段35が接続され、ビデオRAM34には制御手段36、モニタ37が接続されている。記録手段35には、Mo、MD、DVD、カードメモリ、ハードディスク等の外部より電力供給がなくとも記憶を保持可能な記録媒体Dへの書き込み、又は読み出しを行うドライブ装置が用いられている。   Output of digital image data by the digital camera 17 is connected to an image control circuit 31. The image control circuit 31 has an A / D converter 32a, an image board 32 having an image memory 32b as storage means for storing digital image data, and an image. It comprises a control means 33 and a video RAM 34. An image recording means 35 is connected to the image control means 33, and a control means 36 and a monitor 37 are connected to the video RAM 34. As the recording means 35, a drive device that performs writing to or reading from the recording medium D that can retain the memory without power supply from the outside, such as Mo, MD, DVD, card memory, and hard disk, is used.

制御手段36には、撮影スイッチ38、スイッチ39S、39Dを有する撮影モード選択スイッチ39(複数のモード群からいずれか1つを選択可能)、ストロボ制御回路40が接続されている。なお、制御手段36は、本実施例の機能を実現するソフトウェア(プログラム)を読み出して実行することができる。ストロボ光源5はストロボ制御回路40により発光を制御され、発光量はストロボ制御回路40のコンデンサ40aに印加される電圧により制御されるようになっている。   The control means 36 is connected with a photographing mode selection switch 39 (which can select any one of a plurality of mode groups) having a photographing switch 38, switches 39S and 39D, and a strobe control circuit 40. The control means 36 can read and execute software (program) that realizes the functions of the present embodiment. The strobe light source 5 is controlled to emit light by a strobe control circuit 40, and the amount of light emission is controlled by the voltage applied to the capacitor 40a of the strobe control circuit 40.

撮影に際しては、撮影者は被検者を眼底カメラの正面に着座させ、先ず被検眼Eの眼底Erを赤外光で観察しながら、被検眼Eと眼底カメラとの位置合わせを行う。この観察状態において、赤外カットフィルタ7は光路外に待避しており、観察光源1を発した光はコンデンサレンズ3により集光され、可視カットフィルタ4により赤外光のみが透過し、ストロボ光源5、絞り6のリング状開口を通過し、レンズ8を通り、孔あきミラー9の周辺のミラー部により左方に反射され、対物レンズ2、被検眼Eの瞳孔Epを介して眼底Erを照明する。   When photographing, the photographer seats the subject in front of the fundus camera, and first aligns the eye E with the fundus camera while observing the fundus Er of the eye E with infrared light. In this observation state, the infrared cut filter 7 is retracted outside the optical path, and the light emitted from the observation light source 1 is collected by the condenser lens 3, and only the infrared light is transmitted by the visible cut filter 4. 5. Passes through the ring-shaped aperture of the diaphragm 6, passes through the lens 8, is reflected leftward by the mirror part around the perforated mirror 9, and illuminates the fundus Er through the objective lens 2 and the pupil Ep of the eye E to be examined To do.

このように、赤外光で照明された眼底Erの像は、再び対物レンズ2、撮影絞り10、フォーカスレンズ11、撮影レンズ12を通り、光路内に配置された跳ね上げミラー13により上方に反射され、視野絞り18の付近に一旦結像し、更にフィールドレンズ19により集光され、ミラー20により左方に反射され、撮像レンズ21により撮像手段22の撮像素子22a上に結像する。撮像手段22において取得された眼底画像は、映像信号に変換されモニタ23に表示される。撮影者はこのモニタ23に映った眼底像23aを見ながら、図示しない操作手段を用いて被検眼Eとの位置合わせ、及びフォーカスレンズ11を動かしてピント合わせ及び撮影範囲の確認を行う。   In this way, the image of the fundus Er illuminated with infrared light passes through the objective lens 2, the photographing aperture 10, the focus lens 11, and the photographing lens 12 again, and is reflected upward by the flip-up mirror 13 disposed in the optical path. Then, an image is once formed in the vicinity of the field stop 18, further condensed by the field lens 19, reflected leftward by the mirror 20, and imaged on the imaging element 22 a of the imaging means 22 by the imaging lens 21. The fundus image acquired by the imaging means 22 is converted into a video signal and displayed on the monitor 23. While observing the fundus image 23a reflected on the monitor 23, the photographer uses the operation means (not shown) to position the subject eye E and move the focus lens 11 to check the focus and the photographing range.

撮影者はモニタ23に表示された眼底像23aを観察し、撮影範囲、位置、ピント合わせが略良好であることを確認した後に、スクリーニング撮影するために、撮影モード選択スイッチ39のスイッチ39Sを操作する(集団検診モードを選択する)。スイッチ39Sへの入力を検知した制御手段36は、リレーレンズ16bに対し縮小結像を行うリレーレンズ16aを光路内に挿入し、ストロボ制御回路40のコンデンサ40aに、リレーレンズ16bを用いて撮影する場合よりも低い電圧を印加し、少ない電荷を充電する。   The photographer observes the fundus oculi image 23a displayed on the monitor 23 and confirms that the photographing range, position, and focusing are substantially good, and then operates the switch 39S of the photographing mode selection switch 39 to perform screening photographing. Yes (select group screening mode). The control means 36 that has detected the input to the switch 39S inserts the relay lens 16a that performs reduction image formation on the relay lens 16b into the optical path, and takes an image using the relay lens 16b on the capacitor 40a of the strobe control circuit 40. Apply a lower voltage than the case and charge a small amount of charge.

例えば、リレーレンズ16aを用いた場合には、リレーレンズ16bを用いた場合に対し、1/m倍の倍率に結像されるのであれば、発光する光量は1/m2で同等の明るさの眼底画像が取得される。そして、撮影スイッチ38を操作し眼底の撮影を行う。   For example, when the relay lens 16a is used, if the image is formed at a magnification of 1 / m compared to the case where the relay lens 16b is used, the emitted light amount is 1 / m2 and the brightness is equivalent. A fundus image is acquired. Then, the photographing switch 38 is operated to photograph the fundus.

撮影スイッチ38への入力を検知した制御手段36は、先ず赤外光を遮断する赤外カットフィルタ7を光路内に挿入し、デジタルカメラ17の光蓄積を開始し、ストロボ制御回路40に発光信号を送る。発光信号を受けたストロボ制御回路40はストロボ光源5にトリガ信号を送り、コンデンサ40aに蓄えられた電荷を放電し発光する。   The control means 36 that has detected the input to the photographing switch 38 first inserts an infrared cut filter 7 for blocking infrared light into the optical path, starts light accumulation in the digital camera 17, and sends a light emission signal to the strobe control circuit 40. Send. Upon receiving the light emission signal, the strobe control circuit 40 sends a trigger signal to the strobe light source 5 to discharge the electric charge stored in the capacitor 40a and emit light.

ストロボ光源5を発した光束は観察光と同様に、絞り6のリング状開口を通過し、赤外カットフィルタ7により赤外光は除去され、残りの可視光はリレーレンズ8を通り、孔あきミラー9の周辺のミラー部により左方に反射され、対物レンズ2を介して瞳孔Epを介して眼底Erを照明する。   Similar to the observation light, the light beam emitted from the strobe light source 5 passes through the ring-shaped opening of the diaphragm 6, the infrared light is removed by the infrared cut filter 7, and the remaining visible light passes through the relay lens 8 and is perforated. The light is reflected leftward by the mirror part around the mirror 9 and illuminates the fundus Er via the objective lens 2 and the pupil Ep.

このように照明された眼底像は、再び対物レンズ2、撮影絞り10、フォーカスレンズ11、撮影レンズ12を通り、跳ね上げられたミラー13の下方を通過し、視野絞り14付近に一旦結像し、フィールドレンズ15により集光され、リレーレンズ16aを介してデジタルカメラ17の撮像素子17aに結像する。デジタルカメラ17は撮像素子17aの全域の画像情報をデジタル画像データに変換し、画像制御回路31に出力する。   The fundus image illuminated in this way passes through the objective lens 2, the photographing aperture 10, the focus lens 11, and the photographing lens 12 again, passes below the raised mirror 13, and forms an image once near the field stop 14. The light is condensed by the field lens 15 and forms an image on the image sensor 17a of the digital camera 17 through the relay lens 16a. The digital camera 17 converts image information of the entire area of the image sensor 17 a into digital image data and outputs the digital image data to the image control circuit 31.

画像制御回路31の画像制御手段33は次に説明する方法で、予め演算された範囲の画像(結像倍率に対応する大きさの画像)を切り出し、メモリ32bに記憶する。この画像データは記録手段35により記録媒体Dに保存され、同時にモニタ37に再生される。   The image control means 33 of the image control circuit 31 cuts out an image in a previously calculated range (an image having a size corresponding to the imaging magnification) by the method described below, and stores it in the memory 32b. This image data is stored in the recording medium D by the recording means 35 and simultaneously reproduced on the monitor 37.

図2は画像の切出領域を演算する方法を示し、例えばデジタルカメラ17の撮像素子17aは、縦2000×3000の600万画素の正方画素であり、有効部の大きさを縦20mm×横30mmとする。   FIG. 2 shows a method for calculating a cutout area of an image. For example, the image sensor 17a of the digital camera 17 is a square pixel of 6 million pixels of 2000 × 3000 in length, and the size of the effective portion is 20 mm in length × 30 mm in width. And

観察モードにおける眼底像のイメージサイズの直径を9.6mmとすると、図2に示すように眼底像17bは撮像素子17aの有効撮像領域(20×30)に対し小さく撮像される。ただし、被検眼Eの撮影範囲は撮影者がモニタ23で観察した範囲と等しい。そして、画像制御手段33は撮像範囲を含む矩形領域17cを切り出す。この切出領域17cの計算方法は次のように行うが、矩形である必要はない。   If the diameter of the image size of the fundus image in the observation mode is 9.6 mm, the fundus image 17b is captured smaller than the effective imaging area (20 × 30) of the image sensor 17a as shown in FIG. However, the imaging range of the eye E is equal to the range observed by the photographer on the monitor 23. Then, the image control means 33 cuts out the rectangular area 17c including the imaging range. The calculation method of the cutout region 17c is performed as follows, but does not have to be rectangular.

撮像素子17aの左上のアドレスを(0,0)とし、縦方向をX、横方向をYとし、画像データのアドレスを(X,Y)と表すと、直径9.6mmの眼底像を含む縦2対横3の相似の矩形領域の大きさは、上下に0.2mmずつの余白を考慮すると、縦10mm×横15mm=1000×1500画素(1画素=20/2000=0.01mm)であり、センタアドレス(光軸)は(1000,1500)となる。   When the upper left address of the image sensor 17a is (0, 0), the vertical direction is X, the horizontal direction is Y, and the address of the image data is (X, Y), a vertical image including a fundus image having a diameter of 9.6 mm is included. The size of a rectangular region similar to 2 to 3 is 10 mm long × 15 mm wide = 1000 × 1500 pixels (1 pixel = 20/2000 = 0.01 mm), considering margins of 0.2 mm above and below. The center address (optical axis) is (1000, 1500).

従って、このセンタアドレスを中心として矩形領域を切り出せばよいので、アドレスP1(500,750)、P2(1500,750)、P3(500,2250)、P4(1500,2250)の4点で囲まれた領域を切り出せばよい。   Therefore, the rectangular area may be cut out with the center address as the center, and is surrounded by four points of addresses P1 (500, 750), P2 (1500, 750), P3 (500, 2250), and P4 (1500, 2250). Cut out the area.

画像制御手段33は切り出した領域を記録手段35に記録し、更に必要に応じて通信手段を通じて、外部に画像を転送する。このように画像を矩形状に切り出しているため、外部PC(パーソナルコンピュータ)により汎用のビュアソフトを使用して、撮影画像を見ることも可能である。   The image control means 33 records the cut-out area in the recording means 35, and further transfers the image to the outside through the communication means as necessary. Since the image is cut out in a rectangular shape in this way, it is also possible to view the captured image using general-purpose viewer software with an external PC (personal computer).

このように、撮像素子17aに画像を小さく結像することにより、撮像面での照度を上げることができるため、少ない照明光量で撮影することができる。例えば、リレーレンズ16bを用いた場合のイメージサイズの直径を19.2mmとすると、照明光量は1/4で等しい明るさの眼底像が得られる。これにより、複数枚の連続撮影、両眼の連続撮影が可能になるため、撮影効率を向上することができる。また、少ない領域の画像のみを取り出して保存するため、圧縮等の加工を施さない生画像のままでもメモリを節約でき、記録時間、転送時間を短縮することができる。   Thus, since the illuminance on the imaging surface can be increased by forming a small image on the imaging element 17a, it is possible to capture with a small amount of illumination light. For example, if the diameter of the image size when the relay lens 16b is used is 19.2 mm, the fundus image having the same brightness with the illuminating light quantity being ¼ can be obtained. As a result, continuous shooting of a plurality of images and continuous shooting of both eyes are possible, so that shooting efficiency can be improved. Further, since only an image of a small area is extracted and stored, the memory can be saved even if the raw image is not subjected to processing such as compression, and the recording time and transfer time can be shortened.

このように撮影した画像を観察して、詳細な診断が必要と判断した場合には、撮影モード選択スイッチ39の詳細診断モードを選択するスイッチ39Dを操作する。撮影モード選択スイッチ39のスイッチ39Dへの入力を検知した制御手段36は、リレーレンズ16aを光路外に退避してリレーレンズ16bを挿入し、ストロボ制御回路40を制御し、観察モードの場合よりも多くの光量で被検眼Eを照明できるように、コンデンサ40aの充電電圧を高く設定する。そして、撮影スイッチ38を操作し眼底Erの撮影を行う。   When the photographed image is observed and it is determined that detailed diagnosis is necessary, the switch 39D for selecting the detailed diagnosis mode of the photographing mode selection switch 39 is operated. The control means 36 that has detected the input to the switch 39D of the shooting mode selection switch 39 retreats the relay lens 16a out of the optical path, inserts the relay lens 16b, controls the strobe control circuit 40, and is more than in the observation mode. The charging voltage of the capacitor 40a is set high so that the eye E can be illuminated with a large amount of light. Then, the photographing switch 38 is operated to photograph the fundus oculi Er.

撮影スイッチ38への入力を検知した制御手段36は、先ず赤外カットフィルタ7を光路内に挿入し、デジタルカメラ17の撮像素子17aの光蓄積を開始し、ストロボ制御回路40に発光信号を送る。発光信号を受けたストロボ制御回路40はストロボ光源5にトリガ信号を送り、コンデンサ40aに蓄えられた電荷を放電し発光する。   The control means 36 that has detected the input to the photographing switch 38 first inserts the infrared cut filter 7 into the optical path, starts the light accumulation of the image sensor 17a of the digital camera 17, and sends a light emission signal to the strobe control circuit 40. . Upon receiving the light emission signal, the strobe control circuit 40 sends a trigger signal to the strobe light source 5 to discharge the electric charge stored in the capacitor 40a and emit light.

ストロボ光源5を発した光束は観察光と同様に、絞り6のリング状開口を通過し、赤外カットフィルタ7により赤外光は除去され、残りの可視光はリレーレンズ8を通り、孔あきミラー9の周辺ミラー部により左方に反射され、対物レンズ2を通して被検眼Eの瞳孔Epを介して眼底Erを照明する。   Similar to the observation light, the light beam emitted from the strobe light source 5 passes through the ring-shaped opening of the diaphragm 6, the infrared light is removed by the infrared cut filter 7, and the remaining visible light passes through the relay lens 8 and is perforated. It is reflected leftward by the peripheral mirror part of the mirror 9 and illuminates the fundus Er through the objective lens 2 and the pupil Ep of the eye E to be examined.

このように照明された眼底反射像は、再び対物レンズ2、撮影絞り10、フォーカスレンズ11、撮影レンズ12を通り、跳ね上げられたミラー13の下方を通過し、視野絞り14付近に一旦結像し、フィールドレンズ15により集光され、リレーレンズ16bによりデジタルカメラ17の撮像素子17aに結像し、デジタル画像データに変換される。   The fundus reflection image illuminated in this way passes through the objective lens 2, the photographing aperture 10, the focus lens 11, and the photographing lens 12 again, passes below the mirror 13 that is flipped up, and is once formed near the field aperture 14. Then, the light is condensed by the field lens 15, formed on the image sensor 17 a of the digital camera 17 by the relay lens 16 b, and converted into digital image data.

画像制御手段33は眼底像のデジタル画像データをメモリ32bに記憶する。この画像データは記録手段35により記録媒体Dに保存され、モニタ37に再生される。この画像はスクリーニングモードのときよりも大きく表示される。   The image control means 33 stores the digital image data of the fundus image in the memory 32b. This image data is stored in the recording medium D by the recording means 35 and reproduced on the monitor 37. This image is displayed larger than in the screening mode.

この診断モードにおいては、図3に示すように眼底像17bは撮像素子17a上に大きく結像する。被検眼Eの撮影範囲は、観察モードのときと同様に、撮影者がモニタ23で観察した範囲と等しい。そして、画像制御手段33は画像データの中から特定の領域を切り出すことなく、全ての画像データを記録手段35に記録し、必要に応じて通信手段を通じて外部に画像を転送する。   In this diagnostic mode, as shown in FIG. 3, the fundus image 17b is largely formed on the image sensor 17a. The imaging range of the eye E is equal to the range observed by the photographer on the monitor 23 as in the observation mode. Then, the image control means 33 records all the image data in the recording means 35 without cutting out a specific area from the image data, and transfers the image to the outside through the communication means as necessary.

この場合には画像の容量が大きくなるため、記録、通信に時間がかかり、また被検眼Eに照射する光量も大きいため撮影効率は低下するが、高精細な画像が得られるため、精密診断が可能になり診断の精度が向上する。   In this case, since the capacity of the image becomes large, it takes time for recording and communication, and the amount of light applied to the eye E is large, so that the imaging efficiency is reduced, but a high-definition image can be obtained. This makes it possible to improve the accuracy of diagnosis.

実施例1においては、スクリーニングモード、診断モードと2つのモードを設定し、照明光量、撮影倍率、画像の切り出しを設定したが、図4の実施例2に示すように撮影者の必要性に応じ、所望の画像サイズと撮影光量の関係を設定できれば、更に使い勝手は向上する。   In the first embodiment, the screening mode and the diagnostic mode are set, and the illumination light quantity, shooting magnification, and image clipping are set. However, according to the needs of the photographer as shown in the second embodiment of FIG. If the relationship between the desired image size and photographing light quantity can be set, the usability is further improved.

この場合の図1におけるリレーレンズ16a、16bは、ズームレンズ16cに置換され、制御手段36に接続したレンズ位置制御手段41によりズームレンズ16cの倍率を変更できるようにされている。また、撮影モード選択スイッチ39に代ってモード選択スイッチ42が設けられ、照明光量の強弱を選択できるスイッチ42H、42Lが設けられ、更に選択された照明光量の強度と画像サイズが、表示部42a、42bに表示されるようになっている。   In this case, the relay lenses 16a and 16b in FIG. 1 are replaced with the zoom lens 16c, and the magnification of the zoom lens 16c can be changed by the lens position control means 41 connected to the control means 36. Further, a mode selection switch 42 is provided in place of the shooting mode selection switch 39, switches 42H and 42L that can select the intensity of the illumination light quantity are provided, and the intensity and image size of the selected illumination light quantity are displayed on the display unit 42a. , 42b.

制御手段36は選択された発光エネルギを発するようにストロボ制御回路40のコンデンサ40aの充電電圧を制御する。更に、レンズ位置制御手段41を制御すると、ズームレンズ16cのそれぞれのレンズが光軸方向に移動し、撮像面での画像の結像倍率はこれに伴い連続的に変化する。画像制御手段33はこの結像倍率、即ち画像の大きさに応じた切出領域を演算する。そして、この演算結果に基づいて画像を切り出しメモリ32bに記録する。   The control means 36 controls the charging voltage of the capacitor 40a of the strobe control circuit 40 so as to emit the selected light emission energy. Further, when the lens position control means 41 is controlled, the respective lenses of the zoom lens 16c move in the optical axis direction, and the image forming magnification of the image on the imaging surface continuously changes accordingly. The image control means 33 calculates the cut-out area corresponding to this imaging magnification, that is, the size of the image. Then, based on the calculation result, an image is cut out and recorded in the memory 32b.

このとき、切出領域P1、P2、P3、P4のアドレスは、眼底像のイメージサイズの直径をd(mm)とし、次のように関数化することができる。   At this time, the addresses of the cutout areas P1, P2, P3, and P4 can be functionalized as follows, with the diameter of the fundus image being d (mm).

眼底像に対し切り出す余白の大きさを片側0.2mmとすると、切出領域の大きさは、縦d+0.4mm、横(d+0.4)×3/2mmとなる。前述のように、画素密度を20/2000=0.01mmとすると、切り出す画素サイズは縦(d+0.4)/0.01画素、横(d+0.4)×3/2/0.01画素となり、センタアドレスは、(1000,1500)となる。   If the size of the margin to be cut out from the fundus image is 0.2 mm on one side, the size of the cut-out area is vertical d + 0.4 mm and horizontal (d + 0.4) × 3/2 mm. As described above, when the pixel density is 20/2000 = 0.01 mm, the pixel size to be cut out is vertical (d + 0.4) /0.01 pixel and horizontal (d + 0.4) × 3/2 / 0.01 pixel. The center address is (1000, 1500).

従って、P1{1000−(d+0.4)/0.01/2,1500−(d+0.4)×3/2/0.01/2}
P2{1000+(d+0.4)/0.01/2,1500−(d+0.4)×3/2/0.01/2}
P3{1000−(d+0.4)/0.01/2,1500+(d+0.4)×3/2/0.01/2}
P4{1000+(d+0.4)/0.01/2,1500+(d+0.4)×3/2/0.01/2}となる。
Therefore, P1 {1000− (d + 0.4) /0.01/2,1500− (d + 0.4) × 3/2 / 0.01 / 2}
P2 {1000+ (d + 0.4) /0.01/2,1500− (d + 0.4) × 3/2 / 0.01 / 2}
P3 {1000− (d + 0.4) /0.01/2,1500+ (d + 0.4) × 3/2 / 0.01 / 2}
P4 {1000+ (d + 0.4) /0.01/2,1500+ (d + 0.4) × 3/2 / 0.01 / 2}.

ただし、アドレスP1が(0,0)より小さくなる場合には、切り出しは行わないものとする。   However, when the address P1 is smaller than (0, 0), the cutout is not performed.

1 観察光源
2 対物レンズ
5 ストロボ光源
9 孔あきミラー
13 跳ね上げミラー
17 デジタルカメラ
17a、22a 撮像素子
22 撮像手段
23、37 モニタ
31 画像制御回路
35 記録手段
36 画像制御回路
38 撮影スイッチ
39、42 撮影モード選択スイッチ
40 ストロボ制御回路
41 レンズ位置制御手段
DESCRIPTION OF SYMBOLS 1 Observation light source 2 Objective lens 5 Strobe light source 9 Perforated mirror 13 Bounce mirror 17 Digital camera 17a, 22a Image sensor 22 Imaging means 23, 37 Monitor 31 Image control circuit 35 Recording means 36 Image control circuit 38 Shooting switch 39, 42 Photographing Mode selection switch 40 Strobe control circuit 41 Lens position control means

Claims (12)

被検眼を撮影するための撮影光を発生させる撮影光源と、
照明光学系を介して前記撮影光で照明した前記被検眼からの戻り光を撮影光学系を介して撮像素子に異なる結像倍率で結像する結像手段と、
集団検診モードと詳細診断モードとを含むモード群のうち1つのモードを選択する選択手段と、
前記集団検診モードが選択されたことを検知すると、前記詳細診断モードが選択されたことを検知する場合よりも前記結像倍率が低くなるように前記結像手段の結像倍率を制御し且つ前記撮影光の光量が低くなるように前記撮影光源の発光量を制御し、前記結像倍率及び前記発光量が制御された後に前記撮像素子により出力された前記被検眼の画像データから、前記結像倍率を低くして前記被検眼を撮像した場合に増加する余分な領域を取り除き、前記被検眼の眼底画像全てを含み矩形を維持した画像データを切り出す制御手段と、
を有することを特徴とする眼科撮影装置。
An imaging light source that generates imaging light for imaging the eye to be examined;
An imaging means for imaging the return light from the eye to be inspected illuminated with the imaging light via an illumination optical system on the imaging element with different imaging magnifications via the imaging optical system;
A selection means for selecting one mode from a group of modes including a group examination mode and a detailed diagnosis mode;
When detecting that the group examination mode has been selected , the imaging magnification of the imaging means is controlled so that the imaging magnification is lower than when detecting that the detailed diagnosis mode has been selected, and controlling the light emission amount of the imaging light source as the light amount of the imaging light is low, the image data of the eye which is output by the image pickup device after the imaging magnification and the light emission amount is controlled, the imaging Control means for removing an extra area that increases when imaging the eye to be inspected at a low magnification, and cutting out image data that maintains the rectangle including all the fundus images of the eye to be inspected;
An ophthalmologic photographing apparatus comprising:
前記制御手段が、前記切り出された画像データを記録手段に記録させることを特徴とする請求項1に記載の眼科撮影装置。   The ophthalmologic photographing apparatus according to claim 1, wherein the control unit causes the recording unit to record the cut image data. 前記制御手段が、前記切り出された画像データを外部に転送することを特徴とする請求項1または2に記載の眼科撮影装置。   The ophthalmologic photographing apparatus according to claim 1, wherein the control unit transfers the cut image data to the outside. 前記撮影光学系に設けられ、該撮影光学系の光軸方向に移動するフォーカスレンズを有し、
前記フォーカスレンズが前記撮影光学系の光軸方向に移動されることによりピントが前記被検眼に合った後において、前記制御手段が、前記集団検診モードが選択されたことを検知すると前記結像倍率を低くすることを特徴とする請求項に記載の眼科撮影装置。
A focusing lens that is provided in the photographing optical system and moves in an optical axis direction of the photographing optical system;
After the focus lens is moved in the optical axis direction of the imaging optical system and the focus is on the eye to be examined, the imaging means detects the imaging magnification when the control unit detects that the group examination mode is selected. The ophthalmic photographing apparatus according to claim 1 , wherein
前記結像手段が、レンズと、該レンズを前記撮影光学系の光軸方向に移動する手段とを有することを特徴とする請求項またはに記載の眼科撮影装置。 Said imaging means, lens and ophthalmic photographing apparatus according to claim 1 or 4, characterized in that a means for moving the lens in the optical axis direction of the photographing optical system. 前記結像手段が、複数のレンズと、該複数のレンズのうち少なくとも一つを前記撮影光学系の光路に挿入する手段とを有することを特徴とする請求項またはに記載の眼科撮影装置。 The imaging means comprises a plurality of lenses, ophthalmic imaging apparatus according to claim 1 or 4, characterized in that a means for inserting at least one of the plurality of lenses in the optical path of the imaging optical system . 前記撮影光学系に設けられ、開口を有する視野絞りを有し、
前記結像手段で前記結像倍率を低くした場合に前記戻り光が前記視野絞りで結像して前記開口を通過した後に前記撮像素子に結像することを特徴とする請求項1、4乃至のいずれか1項に記載の眼科撮影装置。
A field stop provided in the photographing optical system and having an aperture;
Claim 1, characterized in that to form an image on the imaging element after the return light when lowered the imaging magnification is passed through the opening imaged by the field stop in the imaging means, 4 to The ophthalmologic photographing apparatus according to any one of 6 .
被検眼を撮影するための撮影光を発生させる撮影光源と、照明光学系を介して前記撮影光で照明した前記被検眼からの戻り光を撮影光学系を介して撮像素子に異なる結像倍率で結像する結像手段と、前記結像手段の結像倍率及び前記撮影光源の発光量を制御する制御手段とを有する眼科撮影装置の制御方法であって、
前記制御手段が、
集団検診モードが選択されたことを検知すると、前記詳細診断モードが選択されたことを検知する場合よりも前記結像倍率が低くなるように前記結像手段の結像倍率を制御し且つ前記撮影光の光量が低くなるように前記撮影光源の発光量を制御する工程と、
前記結像倍率及び前記発光量が制御された後に前記撮像素子により出力された前記被検眼の画像データから、前記結像倍率を低くして前記被検眼を撮像した場合に増加する余分な領域を取り除き、前記被検眼の眼底画像全てを含み矩形を維持した画像データを切り出す工程と、
を有することを特徴とする眼科撮影装置の制御方法。
An imaging light source that generates imaging light for imaging the eye to be inspected, and return light from the eye to be inspected that has been illuminated by the imaging light via an illumination optical system with different imaging magnifications on the image sensor via the imaging optical system An ophthalmologic photographing apparatus control method comprising: an image forming unit that forms an image; and a control unit that controls an image forming magnification of the image forming unit and a light emission amount of the imaging light source,
The control means is
When it is detected that the group examination mode is selected, the imaging magnification of the imaging unit is controlled so that the imaging magnification is lower than when the detailed diagnosis mode is detected, and the imaging is performed. Controlling the light emission amount of the photographing light source so that the amount of light is reduced;
From the image data of the eye to be examined output by the imaging device after the imaging magnification and the light emission amount are controlled , an extra area that increases when the eye to be examined is imaged with the imaging magnification lowered. Removing and cutting out the image data including all the fundus images of the eye to be examined and maintaining a rectangle ;
A control method for an ophthalmologic photographing apparatus, comprising:
前記切り出された画像データを記録手段に記録させる工程を有することを特徴とする請求項に記載の眼科撮影装置の制御方法。 9. The method for controlling an ophthalmologic photographing apparatus according to claim 8 , further comprising a step of causing the recording means to record the cut image data. 前記切り出された画像データを外部に転送する工程を有することを特徴とする請求項またはに記載の眼科撮影装置の制御方法。 The method for controlling an ophthalmologic photographing apparatus according to claim 8 or 9 , further comprising a step of transferring the cut-out image data to the outside. 前記眼科撮影装置が、前記撮影光学系に設けられ、該撮影光学系の光軸方向に移動するフォーカスレンズを更に有し、
前記フォーカスレンズが前記撮影光学系の光軸方向に移動されることによりピントが前記被検眼に合った後において、前記制御手段が、前記制御する工程では、前記集団検診モードが選択されたことを検知すると前記結像倍率を低くすることを特徴とする請求項に記載の眼科撮影装置の制御方法。
The ophthalmologic photographing apparatus further includes a focus lens that is provided in the photographing optical system and moves in an optical axis direction of the photographing optical system,
After the focus lens is moved in the optical axis direction of the imaging optical system and the focus is set on the eye to be examined, the control means has selected that the group examination mode is selected in the controlling step. 9. The method for controlling an ophthalmologic photographing apparatus according to claim 8 , wherein the imaging magnification is lowered upon detection.
請求項乃至1のいずれか1項に記載の眼科撮影装置の制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。 A program for causing a computer to execute each step of the method for controlling an ophthalmologic photographing apparatus according to any one of claims 8 to 11.
JP2013225501A 2013-10-30 2013-10-30 Ophthalmic imaging apparatus and control method thereof Expired - Fee Related JP5875567B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013225501A JP5875567B2 (en) 2013-10-30 2013-10-30 Ophthalmic imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013225501A JP5875567B2 (en) 2013-10-30 2013-10-30 Ophthalmic imaging apparatus and control method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010186064A Division JP5792935B2 (en) 2010-08-23 2010-08-23 Ophthalmic imaging equipment

Publications (2)

Publication Number Publication Date
JP2014039874A JP2014039874A (en) 2014-03-06
JP5875567B2 true JP5875567B2 (en) 2016-03-02

Family

ID=50392624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013225501A Expired - Fee Related JP5875567B2 (en) 2013-10-30 2013-10-30 Ophthalmic imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5875567B2 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5823098B2 (en) * 1977-06-30 1983-05-13 キヤノン株式会社 Ophthalmological device that corrects light intensity according to magnification change
DE2744707C3 (en) * 1977-10-05 1980-07-24 Fa. Carl Zeiss, 7920 Heidenheim Ophthalmological device for stereoscopic examination and photographic fundus
JPS5586439A (en) * 1978-12-22 1980-06-30 Canon Kk Ophthalmic inspecting device
JPS60111566A (en) * 1983-11-21 1985-06-18 Nec Corp Changing device of resolution
JP3058680B2 (en) * 1990-11-30 2000-07-04 株式会社トプコン Fundus image processing device
JP3400024B2 (en) * 1992-08-04 2003-04-28 株式会社トプコン Ophthalmic image processing system
JP2003126041A (en) * 2001-10-22 2003-05-07 Canon Inc Ophthalmologic photographic device
JP2003220030A (en) * 2002-01-31 2003-08-05 Canon Inc Ophthalmic equipment
JP3986350B2 (en) * 2002-04-16 2007-10-03 興和株式会社 Ophthalmic examination equipment
JP2004000748A (en) * 2003-08-25 2004-01-08 Topcon Corp Fundus camera
JP5792935B2 (en) * 2010-08-23 2015-10-14 キヤノン株式会社 Ophthalmic imaging equipment

Also Published As

Publication number Publication date
JP2014039874A (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR100637288B1 (en) Ophthalmic image taking apparatus and ophthalmic image taking method
JP4865257B2 (en) Fundus photographing apparatus and program
JP6112949B2 (en) Ophthalmic apparatus, control method for ophthalmic apparatus, and program
JP3630857B2 (en) Ophthalmic imaging equipment
JP4838590B2 (en) Ophthalmic imaging apparatus and artifact detection method thereof
JP3584246B2 (en) Ophthalmic imaging device
US20120050678A1 (en) Photographing apparatus, and control method and program for the same
KR100684299B1 (en) Ophthalmologic image taking apparatus
JP5792935B2 (en) Ophthalmic imaging equipment
JP4731703B2 (en) Ophthalmic equipment
JP5875567B2 (en) Ophthalmic imaging apparatus and control method thereof
JP5050128B2 (en) Image processing apparatus and method
JP5465210B2 (en) Fundus photographing device
JP2003204939A (en) Ophthalmic imaging system
JP2005118465A (en) Ophthalmologic photographing device and photographing method
JP2013056222A (en) Ophthalmic apparatus and conversion method
JP2005124879A (en) Ocular fundus image processing unit
JP2005278747A (en) Ophthalmologic photography apparatus
JP2005087300A (en) Ophthalmologic photographing apparatus
JP2005006926A (en) Ophthalmologic imaging system
JP5709937B2 (en) Ophthalmic apparatus and conversion method
JP6207209B2 (en) Ophthalmic apparatus, control method for ophthalmic apparatus, and program
JP2003210407A (en) Ophthalmologic photographing device
JP2005278745A (en) Ophthalmologic photographing device
CN115002351A (en) Binocular endoscope, focusing method, storage medium, and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160119

R151 Written notification of patent or utility model registration

Ref document number: 5875567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees