JP2003008982A - Image pickup device for microscope - Google Patents

Image pickup device for microscope

Info

Publication number
JP2003008982A
JP2003008982A JP2001183738A JP2001183738A JP2003008982A JP 2003008982 A JP2003008982 A JP 2003008982A JP 2001183738 A JP2001183738 A JP 2001183738A JP 2001183738 A JP2001183738 A JP 2001183738A JP 2003008982 A JP2003008982 A JP 2003008982A
Authority
JP
Japan
Prior art keywords
exposure time
image pickup
unit
image
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001183738A
Other languages
Japanese (ja)
Other versions
JP4831888B2 (en
Inventor
Hideyuki Masuyama
英之 益山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001183738A priority Critical patent/JP4831888B2/en
Priority to US10/170,529 priority patent/US7199823B2/en
Priority to DE10226588A priority patent/DE10226588B4/en
Publication of JP2003008982A publication Critical patent/JP2003008982A/en
Application granted granted Critical
Publication of JP4831888B2 publication Critical patent/JP4831888B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image pickup device of a microscope, which can ensure a frame rate without losing the framing or focus operability even when a sample is dark and avoid disturbance in sample observation due to deteriorated S/N. SOLUTION: In the image pickup device for a microscope where an amplifier section 14 amplifies the output from an image pickup element 11 for picking up an image of a microscope main body 1 and the amplified image is processed and displayed on a display section 20, a photometric value corresponding to the lightness of the observed image is acquired, an exposure arithmetic means 171 calculates a proper exposure time on the basis of the acquired photometric value, and an exposure time of the image pickup element 11 and the gain of the amplifier section 14 are set on the basis of the result of comparison between the calculated proper exposure time and a preset limit exposure time by an exposure control means 172.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、顕微鏡での観察像
をCCD等の撮像手段により撮像する顕微鏡用撮像装置
に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a microscope image pickup apparatus for picking up an image observed by a microscope by an image pickup means such as a CCD.

【0002】[0002]

【従来の技術】従来、顕微鏡に付属する周辺装置とし
て、顕微鏡の観察像をCCDなどの撮像手段により撮像
可能にした顕微鏡撮像装置が用いられている。
2. Description of the Related Art Conventionally, as a peripheral device attached to a microscope, a microscope image pickup device capable of picking up an observation image of a microscope by an image pickup means such as CCD has been used.

【0003】ところで、このような顕微鏡撮像装置で
は、顕微鏡により得られる観察像を静止画として記録す
る場合、観察像を記録する前のフレーミング操作や合焦
操作のために動画像を表示部に表示するようにしてい
る。この場合、表示部の動画像は、観察する標本の明る
さに応じて、所望の明るさで表示するのに適した露出時
間で撮像されて表示されており、したがって、観察する
標本が暗い場合は、所望の明るさの表示を得るために露
出時間を長くして撮像し、表示部に表示するようにして
いる。
By the way, in such a microscope image pickup apparatus, when an observation image obtained by a microscope is recorded as a still image, a moving image is displayed on a display unit for framing operation or focusing operation before recording the observation image. I am trying to do it. In this case, the moving image on the display unit is imaged and displayed with an exposure time suitable for displaying at a desired brightness according to the brightness of the sample to be observed, and thus when the sample to be observed is dark. In order to obtain a display with a desired brightness, the image is taken with a long exposure time and displayed on the display unit.

【0004】しかしながら、このような撮像装置では、
暗い標本を撮像するために露出時間を長くすると、動画
像を得るためのフレームレートが低くなるため、フレー
ミングや合焦の操作性が著しく損なわれてしまう。
However, in such an image pickup device,
If the exposure time is increased to capture a dark sample, the frame rate for obtaining a moving image is lowered, and the operability of framing and focusing is significantly impaired.

【0005】そこで、このような暗い標本、つまり被写
体を撮影対象とする撮像装置として、例えば特開平11
−164191号公報に開示されたものが考えられてい
る。かかる特開平11−164191号公報では、暗い
被写体を撮像する場合の撮像装置について以下のように
記されている。
Therefore, as an image pickup apparatus for photographing such a dark specimen, that is, a subject, for example, Japanese Patent Laid-Open No.
The one disclosed in Japanese Patent Publication No. 164191 is considered. In Japanese Patent Application Laid-Open No. 11-164191, the following description is made about an image pickup device for picking up an image of a dark subject.

【0006】この場合、まず、被写体の照度を測定し、
この照度を基に得られた測光評価値を予め設定された明
るさの閾値a〜e(但しa>b>c>d>e)と比較す
る。そして、ここでの比較で、測光評価値が閾値a以上
の場合は、撮像素子からの出力の増幅率G0を固定し
て、撮像素子の露出制御を絞りと露出時間で制御する。
一方、測光評価値が閾値a未満の場合は、露出時間を1
/60秒に固定し、測光評価値と明るさの閾値との関係
に応じて予め定義づけられた利得により撮像素子からの
出力を増幅するようにしている。なお、測光評価値がb
以上a未満の時の利得はG1、評価値がc以上a未満の
時の利得はG2、…である。
In this case, first, the illuminance of the subject is measured,
The photometric evaluation value obtained based on this illuminance is compared with preset brightness threshold values a to e (however, a>b>c>d> e). Then, in the comparison here, when the photometric evaluation value is equal to or larger than the threshold value a, the amplification factor G0 of the output from the image sensor is fixed, and the exposure control of the image sensor is controlled by the aperture and the exposure time.
On the other hand, when the photometric evaluation value is less than the threshold value a, the exposure time is set to 1
It is fixed to / 60 seconds, and the output from the image sensor is amplified by a gain that is defined in advance according to the relationship between the photometric evaluation value and the threshold value of brightness. The photometric evaluation value is b
The gain when the value is a or more and less than a is G1, the gain when the evaluation value is c or more and less than a is G2, ....

【0007】[0007]

【発明が解決しようとする課題】このような特開平11
−164191号公報の方法によれば、標本が暗くても
フレームレートが損なわれることがなくなり、フレーミ
ングや合焦の操作性は改善される。
DISCLOSURE OF THE INVENTION Problems to be Solved by the Invention
According to the method of Japanese Patent Laid-Open No. 164191, the frame rate is not impaired even if the sample is dark, and the operability of framing and focusing is improved.

【0008】しかし、表示部に表示される動画像の明る
さは、予め用意される閾値の数により決められる段階的
に変化するものとなり、このため、標本の明るさによら
ず常に所望の明るさで動画像を表示するようなことはで
きない。また、測光評価値が閾値a未満の場合は、露出
時間が1/60秒に固定されてしまうため、本来、1秒
程度の露出時間を要するような被写体については、S/
Nが著しく劣化してしまい、被写体の観察が難しくな
る。
However, the brightness of the moving image displayed on the display unit changes in a stepwise manner determined by the number of thresholds prepared in advance, so that the desired brightness is always maintained regardless of the brightness of the sample. It is not possible to display moving images. Further, when the photometric evaluation value is less than the threshold value a, the exposure time is fixed to 1/60 seconds. Therefore, for a subject that originally requires an exposure time of about 1 second, S /
N is significantly deteriorated, which makes it difficult to observe the subject.

【0009】本発明は、上記事情に鑑みてなされたもの
で、標本が暗い場合でもフレーミングや合焦の操作性を
損なうことのないフレームレートを確保できるととも
に、S/N劣化による標本観察の妨げを回避できる顕微
鏡用撮像装置を提供することを目的とする。
The present invention has been made in view of the above circumstances, and can secure a frame rate that does not impair the operability of framing and focusing even when the sample is dark, and hinders sample observation due to S / N deterioration. An object of the present invention is to provide an imaging device for a microscope that can avoid the above.

【0010】[0010]

【課題を解決するための手段】請求項1記載の発明は、
顕微鏡の観察像を撮像する撮像手段、前記撮像手段から
の出力を増幅する増幅手段、前記増幅手段により増幅さ
れ画像処理された画像を表示する表示手段を有する顕微
鏡用撮像装置において、前記観察像の明るさに応じた測
光値を取得する測光値取得手段と、前記測光手段により
取得された測光値に基づき適正露出時間を演算する露出
演算手段と、前記露出演算手段で演算された適正露出時
間と予め設定された限界露出時間との比較結果に応じて
前記撮像手段の露出時間および前記増幅手段の利得を設
定する露出制御手段とを具備したことを特徴としてい
る。
The invention according to claim 1 is
In a microscope image pickup apparatus having an image pickup unit for picking up an observation image of a microscope, an amplifying unit for amplifying an output from the image pickup unit, and a display unit for displaying an image amplified and processed by the amplifying unit, A photometric value acquisition unit that acquires a photometric value according to brightness, an exposure calculation unit that calculates a proper exposure time based on the photometric value acquired by the photometry unit, and a proper exposure time calculated by the exposure calculation unit. And an exposure control unit for setting the exposure time of the imaging unit and the gain of the amplification unit according to a comparison result with a preset limit exposure time.

【0011】請求項2記載の発明は、請求項1記載の発
明において、前記露出制御手段は、前記適正露出時間が
前記限界露出時間より長い場合、前記撮像手段の露出時
間を前記限界露出時間に設定するとともに、前記増幅手
段を前記適正露出時間と前記限界露出時間の比に前記増
幅手段の標準利得を掛け合わせた利得に設定することを
特徴としている。
According to a second aspect of the present invention, in the first aspect of the invention, the exposure control means sets the exposure time of the image pickup means to the limit exposure time when the proper exposure time is longer than the limit exposure time. In addition to the setting, the amplification means is set to a gain obtained by multiplying the ratio of the proper exposure time and the limit exposure time by the standard gain of the amplification means.

【0012】請求項3記載の発明は、請求項1または2
記載の発明において、前記撮像手段を適正露出時間に設
定するとともに、前記増幅手段を標準利得に設定し、前
記撮像手段により撮像された前記観察像を静止画として
記録手段に記録可能にしたことを特徴としている。
The invention according to claim 3 is the invention according to claim 1 or 2.
In the invention described above, the image pickup unit is set to an appropriate exposure time, the amplification unit is set to a standard gain, and the observation image picked up by the image pickup unit can be recorded as a still image in the recording unit. It has a feature.

【0013】請求項4記載の発明は、請求項1または2
記載の発明において、前記限界露出時間を任意に設定可
能にしたことを特徴としている。
The invention according to claim 4 is the invention according to claim 1 or 2.
In the invention described above, the limit exposure time can be arbitrarily set.

【0014】この結果、本発明によれば、観察したい標
本が暗い場合であっても、フレーミングや合焦の操作性
が損なわれることのないフレームレートを確保した適正
な明るさの動画表示を行うことができ、また、利得増大
にともなう不用意なノイズ増大を回避でき、ノイズ劣化
のない画質を確保できる。
As a result, according to the present invention, even when the sample to be observed is dark, a moving image is displayed with proper brightness while ensuring a frame rate that does not impair the operability of framing and focusing. In addition, it is possible to avoid inadvertent increase in noise due to increase in gain, and it is possible to ensure image quality without noise deterioration.

【0015】また、本発明によれば、増幅手段に設定す
る利得は、適正露出時間と限界露出時間の比より求めて
いるので、連続的な利得設定を行うことができ、標本の
明るさに関係なく常に適正な明るさの動画像を表示でき
る。
Further, according to the present invention, since the gain set in the amplifying means is obtained from the ratio of the proper exposure time and the limit exposure time, continuous gain setting can be performed and the brightness of the sample can be adjusted. Regardless of which, you can always display moving images with appropriate brightness.

【0016】さらに、本発明によれば、標本の明るさに
忠実な静止画を記録保存することができる。
Further, according to the present invention, it is possible to record and save a still image faithful to the brightness of the sample.

【0017】さらにまた、本発明によれば、操作者自身
がフレーミングや合焦操作が行える任意の限界フレーム
レートを設定することができる。
Furthermore, according to the present invention, the operator himself / herself can set an arbitrary limit frame rate at which framing and focusing operations can be performed.

【0018】[0018]

【発明の実施の形態】以下、本発明の実施の形態を図面
に従い説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.

【0019】(第1の実施の形態)図1は、本発明が適用
される顕微鏡用撮像装置の概略構成を示すものである。
(First Embodiment) FIG. 1 shows a schematic structure of a microscope image pickup apparatus to which the present invention is applied.

【0020】図において、10は顕微鏡本体で、この顕
微鏡本体10は、図示しない標本の観察像を目視観察可
能にするとともに、観察光路a1に沿って外部に導出可
能にしている。
In the figure, reference numeral 10 denotes a microscope main body. The microscope main body 10 allows an observation image of a sample (not shown) to be visually observed and can be led out to the outside along an observation optical path a1.

【0021】顕微鏡本体10外部の観察光路a1上に
は、顕微鏡本体10からの観察像が投影される位置に、
撮像手段としてCCDなどの撮像素子11が配置されて
いる。
On the observation optical path a1 outside the microscope body 10, at a position where an observation image from the microscope body 10 is projected,
An image pickup device 11 such as a CCD is arranged as an image pickup means.

【0022】撮像素子11は、撮像素子駆動部12から
の駆動信号に基づいた露出時間で駆動され、出力信号を
前置処理部13に入力する。前置処理部13は、撮像素
子駆動部12から与えられる制御パルスにより撮像素子
11からの出力信号を映像信号化し増幅部14に入力す
る。
The image pickup device 11 is driven for the exposure time based on the drive signal from the image pickup device drive unit 12, and the output signal is input to the preprocessing unit 13. The preprocessing unit 13 converts the output signal from the image pickup device 11 into a video signal by the control pulse given from the image pickup device drive unit 12 and inputs it to the amplification unit 14.

【0023】増幅部14は、制御部17により設定され
る利得で前置処理部13からの出力信号を増幅しA/D
変換部15に出力する。A/D変換部15は、撮像素子
駆動部12からのクロック信号に基づいて増幅部14か
らの出力をデジタル化する。
The amplifying section 14 amplifies the output signal from the preprocessing section 13 with a gain set by the control section 17 and A / D
Output to the conversion unit 15. The A / D conversion unit 15 digitizes the output from the amplification unit 14 based on the clock signal from the image pickup device driving unit 12.

【0024】A/D変換部15でデジタル化された映像
信号は、信号処理部16に入力される。信号処理部16
は、映像信号に対して色補正、階調補正などの信号処理
を行うとともに、映像信号より標本の明るさに応じた測
光値を取得し、バス22を介して制御部17に出力す
る。また、信号処理部16からの出力は、D/A変換部
19によりアナログ信号に変換され、動画像として表示
部20に表示される。
The video signal digitized by the A / D converter 15 is input to the signal processor 16. Signal processing unit 16
Performs signal processing such as color correction and gradation correction on the video signal, acquires a photometric value corresponding to the brightness of the sample from the video signal, and outputs the photometric value to the control unit 17 via the bus 22. The output from the signal processing unit 16 is converted into an analog signal by the D / A conversion unit 19 and displayed on the display unit 20 as a moving image.

【0025】制御部17は、露出演算手段171と露出
制御手段172を有している。ここで、露出演算手段1
71は、信号処理部16により抽出される測光値に基づ
いて撮像素子11の露出時間を演算するものである。ま
た、露出制御手段172は、露出演算手段171での演
算結果により撮像素子11の露出時間を制御するととも
に、この露出時間と予め設定された限界露出時間との比
較結果に応じて増幅部14の利得を設定するようにして
いる。
The control section 17 has an exposure calculation means 171 and an exposure control means 172. Here, the exposure calculation means 1
Reference numeral 71 is for calculating the exposure time of the image sensor 11 based on the photometric value extracted by the signal processing unit 16. Further, the exposure control unit 172 controls the exposure time of the image pickup device 11 based on the calculation result of the exposure calculation unit 171, and the amplification unit 14 of the amplification unit 14 according to the comparison result of this exposure time and the preset limit exposure time. I am trying to set the gain.

【0026】また、制御部17は、操作部18からの指
示により信号処理部16から画像データをバス22介し
て記録手段としての記録部21に静止画像として記録す
る。
Further, the control section 17 records the image data from the signal processing section 16 as a still image in the recording section 21 as a recording means via the bus 22 in accordance with an instruction from the operation section 18.

【0027】次に、このように構成された実施の形態の
動作を説明する。
Next, the operation of the embodiment thus configured will be described.

【0028】この場合、動画像によるフレーミングや合
焦操作が行える限界のフレームレートを、例えば、毎秒
5フレームとして、限界露出時間Tthとして1/5秒
が制御部17に設定されているものとする。
In this case, it is assumed that the limit frame rate at which framing and focusing operations by moving images can be performed is set to 5 frames per second and the limit exposure time Tth is set to 1/5 second in the control unit 17. .

【0029】この状態で、図2に示すフローチャートが
実行される。まず、制御部17は、初期露出時間Tin
iを撮像素子駆動部12に設定し、また標準となる利得
Gvを増幅部14に設定する(ステップ201)。
In this state, the flowchart shown in FIG. 2 is executed. First, the control unit 17 controls the initial exposure time Tin.
i is set in the image pickup device driving unit 12, and the standard gain Gv is set in the amplifying unit 14 (step 201).

【0030】そして、顕微鏡本体10の観察光路a1上
の観察像が撮像素子11に投影されると、撮像素子11
は、撮像素子駆動部12からの駆動信号に基づいた初期
露出時間Tiniで駆動され、撮像素子11に投影され
た観察像を光電変換し電気信号として出力する。
When the observation image on the observation optical path a1 of the microscope body 10 is projected on the image pickup element 11, the image pickup element 11
Is driven for the initial exposure time Tini based on the drive signal from the image sensor drive unit 12, photoelectrically converts the observation image projected on the image sensor 11, and outputs it as an electric signal.

【0031】この撮像素子11からの出力信号は、前置
処理部13に与えられ、撮像素子駆動部12から与えら
れる制御パルスによりサンプリング処理されて映像信号
化される。そして、この映像信号化された出力は、増幅
部14に予め設定されている利得Gvで増幅され、A/
D変換部15を介してデジタル化され信号処理部16に
入力される。
The output signal from the image pickup device 11 is given to the pre-processing unit 13 and is subjected to sampling processing by the control pulse given from the image pickup device driving unit 12 to be converted into a video signal. Then, the output converted into the video signal is amplified by the gain Gv preset in the amplification unit 14, and A /
It is digitized via the D conversion unit 15 and input to the signal processing unit 16.

【0032】信号処理部16は、映像信号に対して色補
正、階調補正などの信号処理を行うとともに、映像信号
より標本の明るさに応じた測光値を取得し、バス22を
介して制御部17に出力する(ステップ202)。
The signal processing unit 16 performs signal processing such as color correction and gradation correction on the video signal, obtains a photometric value according to the brightness of the sample from the video signal, and controls it via the bus 22. It is output to the unit 17 (step 202).

【0033】制御部17は、露出演算手段171におい
て信号処理部16より取得した測光値に基づいた露出演
算を行い(ステップ203)、増幅部14における利得が
Gvの場合の適正露出を得るための適正露出時間Taを
算出する。
The control unit 17 performs an exposure calculation based on the photometric value obtained from the signal processing unit 16 in the exposure calculation unit 171 (step 203) to obtain an appropriate exposure when the gain in the amplification unit 14 is Gv. The appropriate exposure time Ta is calculated.

【0034】次に、制御部17は、露出制御手段172
において露出演算で求められた適正露出時間Taと予め
設定されている限界露出時間Tthとを比較し(ステッ
プ204)。この比較結果に応じて動画表示のための露
出時間Tの設定を行う。
Next, the control section 17 controls the exposure control means 172.
In step 204, the proper exposure time Ta obtained by the exposure calculation is compared with the preset limit exposure time Tth (step 204). The exposure time T for displaying a moving image is set according to the comparison result.

【0035】この場合、標本が明るく適正露出時間Ta
が限界露出時間Tthより短い場合は、ステップ205
に進む。このステップ205では、制御部17は、増幅
部14の利得はGvをそのまま保持し、動画表示のため
の露出時間Tを適正露出時間Taとして撮像素子駆動部
12に設定する。
In this case, the sample is bright and the proper exposure time Ta
Is shorter than the limit exposure time Tth, step 205
Proceed to. In step 205, the control unit 17 holds the gain Gv of the amplification unit 14 as it is, and sets the exposure time T for displaying a moving image in the image sensor drive unit 12 as the proper exposure time Ta.

【0036】これにより、撮像素子駆動部12は、露出
時間が適正露出時間Taになるように撮像素子11を駆
動する。この時の撮像素子11からの出力は、前述した
と同様に前置処理部13、増幅部14、A/D変換部1
5を介して信号処理部16に入力され、ここで色補正や
階調補正が施された後に、D/A変換部19を介して表
示部20に動画像として表示される。
As a result, the image pickup device driving section 12 drives the image pickup device 11 so that the exposure time becomes the proper exposure time Ta. The output from the image pickup device 11 at this time is the same as that described above in the preprocessing unit 13, the amplification unit 14, and the A / D conversion unit 1.
The signal is input to the signal processing unit 16 via 5, and is subjected to color correction and gradation correction here, and then displayed as a moving image on the display unit 20 via the D / A conversion unit 19.

【0037】この時の表示部20に表示される動画像
は、限界露出時間Tthより短い適正露出時間Taで取
り込まれているので、適正な明るさであり、フレーミン
グや合焦の操作性が損なわれることのないフレームレー
トを確保することができる。
Since the moving image displayed on the display unit 20 at this time is captured in the proper exposure time Ta shorter than the limit exposure time Tth, the brightness is proper and the operability of framing and focusing is impaired. It is possible to secure a frame rate that will not occur.

【0038】また、この時の観察像を静止画として記録
したい場合は、操作者が操作部18を操作して記録の指
示を制御部17に与える。この場合は、撮像素子11に
より適正露出時間Taで撮像され、増幅部14により利
得Gvで増幅された画像が信号処理部16を介して記録
部21に送られて保存される。
When the observation image at this time is to be recorded as a still image, the operator operates the operation unit 18 to give a recording instruction to the control unit 17. In this case, the image captured by the image sensor 11 with the proper exposure time Ta and amplified by the gain unit 14 with the gain Gv is sent to the recording unit 21 via the signal processing unit 16 and stored therein.

【0039】一方、制御部17での適正露出時間Taと
限界露出時間Tthとの比較結果が、標本が暗く適正露
出時間Taが限界露出時間Tthより長い場合は、ステ
ップ206に進む。このステップ206では、制御部1
7は、撮像素子駆動部12に限界露出時間Tthを設定
する。また、制御部17は、増幅部14に限界露出時間
Tthとしたことによる補正分を含む利得(Ta/Tt
h)×Gvを設定する(ステップ207)。
On the other hand, when the comparison result of the proper exposure time Ta and the limit exposure time Tth in the controller 17 is dark and the proper exposure time Ta is longer than the limit exposure time Tth, the routine proceeds to step 206. In this step 206, the control unit 1
7 sets the limit exposure time Tth in the image sensor drive unit 12. In addition, the control unit 17 controls the gain (Ta / Tt) including the correction amount by setting the limit exposure time Tth in the amplification unit 14.
h) × Gv is set (step 207).

【0040】これにより、撮像素子駆動部12は、露出
時間が限界露出時間Tthになるように撮像素子11を
駆動する。この時の撮像素子11からの出力は、前述し
たと同様に前置処理部13を介して映像信号化され、増
幅部14において利得(Ta/Tth)×Gvで増幅さ
れる。この場合、増幅部14の出力には、限界露出時間
をTthとしたことによる補正分が加味されているの
で、適正露出時間Taで撮像素子11が駆動され、利得
Gvで増幅された信号と同じ明るさの映像信号となって
いる。
As a result, the image pickup device driving section 12 drives the image pickup device 11 so that the exposure time becomes the limit exposure time Tth. The output from the image pickup device 11 at this time is converted into a video signal through the preprocessing unit 13 as described above, and is amplified by the gain unit (Ta / Tth) × Gv in the amplification unit 14. In this case, since the output of the amplification unit 14 is corrected by the limit exposure time Tth, the image sensor 11 is driven for the proper exposure time Ta and is the same as the signal amplified by the gain Gv. It is a video signal of brightness.

【0041】そして、増幅部14の出力はA/D変換部
15でデジタル化され、信号処理部16に入力され、こ
こで、色補正や階調補正が施された後、D/A変換部1
9を介して表示部20に動画像として表示される。
The output of the amplification section 14 is digitized by the A / D conversion section 15 and input to the signal processing section 16, where color correction and gradation correction are performed, and then the D / A conversion section. 1
It is displayed as a moving image on the display unit 20 via 9.

【0042】この場合、表示部20に表示される動画像
は、限界露出時間Tthにより取り込まれるが、増幅部
14の利得を(Ta/Tth)×Gvにして、限界露出
時間Tthとしたことによる補正分を加味することで、
適正露出時間Taで撮像素子11を駆動し、利得Gvで
増幅したのと同じ明るさの映像信号を得られるようにし
ているので、適正な明るさとなり、フレーミングや合焦
の操作性が損なわれることのないフレームレートを確保
することができる。
In this case, the moving image displayed on the display unit 20 is taken in by the limit exposure time Tth, but the gain of the amplification unit 14 is set to (Ta / Tth) × Gv and the limit exposure time Tth is set. By adding the correction,
Since the image sensor 11 is driven for the proper exposure time Ta and the video signal having the same brightness as that amplified by the gain Gv is obtained, the brightness becomes proper and the operability of framing and focusing is impaired. It is possible to secure a unique frame rate.

【0043】また、この時の観察像を静止画として記録
したい場合は、操作者が操作部18を操作して記録の指
示を制御部17に与える。すると、図3に示すフローチ
ャートが実行され、制御部17は、増幅部14に利得G
vを設定するとともに、撮像素子駆動部12に適正露出
時間Taを設定する(ステップ301、302)。これに
より、撮像素子11により適正露出時間Taで撮像さ
れ、増幅部14により利得Gvで増幅された静止画像が
信号処理部16を介して記録部21に送られ保存される
(ステップ303)。
When the observation image at this time is desired to be recorded as a still image, the operator operates the operation unit 18 to give a recording instruction to the control unit 17. Then, the flowchart shown in FIG. 3 is executed, and the control unit 17 causes the amplification unit 14 to have the gain G
In addition to setting v, the proper exposure time Ta is set in the image pickup device driving unit 12 (steps 301 and 302). As a result, the still image captured by the image sensor 11 with the proper exposure time Ta and amplified by the gain unit 14 with the gain Gv is sent to and stored in the recording unit 21 via the signal processing unit 16.
(Step 303).

【0044】図4は、このような考え方をさらに説明す
るもので、標本の明るさに対応する測光値Lに対する露
出時間Tと利得Gの関係を表している。この場合、標本
が十分に明るく、測光値LがLth以上で、このときの
測光値Lより求められる適正露出時間Taが予め設定さ
れる限界露出時間Tthより短い場合(領域R1)は、増
幅部14の利得Gvは一定に保持され、適正露出時間T
aが撮像素子駆動部12に設定されて観察像の撮像が行
われる。一方、標本が暗くなって測光値LがLth以下
となり、このときの測光値Lより求められる適正露出時
間Taが限界露出時間Tthより長くなる場合(領域R
2)は、限界露出時間Tthが撮像素子駆動部12に設
定され、増幅部14の利得が(Ta/Tth)×Gvに
補正されて観察像の撮像が行われる。
FIG. 4 further explains such an idea, and shows the relationship between the exposure time T and the gain G with respect to the photometric value L corresponding to the brightness of the sample. In this case, if the sample is sufficiently bright, the photometric value L is Lth or more, and the proper exposure time Ta obtained from the photometric value L at this time is shorter than the preset limit exposure time Tth (region R1), The gain Gv of 14 is kept constant, and the proper exposure time T
a is set in the image sensor drive unit 12 to capture an observation image. On the other hand, when the sample becomes dark and the photometric value L becomes equal to or less than Lth, and the proper exposure time Ta obtained from the photometric value L at this time becomes longer than the limit exposure time Tth (region R
In 2), the limit exposure time Tth is set in the image sensor drive unit 12, the gain of the amplification unit 14 is corrected to (Ta / Tth) × Gv, and an observation image is captured.

【0045】従って、このようにすれば、静止画記録前
の表示部20に表示される動画像は、標本が暗い場合で
あっても、撮像素子11により限界露出時間Tthで撮
像され、増幅部14により利得(Ta/Tth)×Gv
で増幅されるので、適正な明るさの表示を行うことがで
きるとともに、フレーミングや合焦の操作性が損なわれ
ることのないフレームレートを確保することができる。
Therefore, in this way, the moving image displayed on the display unit 20 before the still image recording is picked up by the image pickup device 11 for the limit exposure time Tth even when the sample is dark, and the amplifying unit is used. Gain by 14 (Ta / Tth) x Gv
Since it is amplified by, it is possible to perform display with appropriate brightness and to secure a frame rate that does not impair the operability of framing and focusing.

【0046】また、この第1の実施の形態では、限界露
出時間Tthを1/5秒としたことにより、従来の露出
時間の閾値を1/60秒に設定するものと比べて12分
の1の明るさの標本に対しても、増幅部14の利得を標
準の利得Gvのままに設定できるので、例え、標本が暗
くても利得Gvの増大に伴う不用意なノイズ増大を抑制
することができ、S/Nの劣化による標本の観察の妨げ
を確実に回避することができる。
Further, in the first embodiment, the limit exposure time Tth is set to ⅕ second, so that the threshold value of the exposure time is set to 1 / 12th of the conventional one. Since the gain of the amplifying unit 14 can be set to the standard gain Gv even for a sample having a brightness of, even if the sample is dark, it is possible to suppress an inadvertent increase in noise due to an increase in the gain Gv. Therefore, the obstruction of the observation of the sample due to the deterioration of the S / N can be surely avoided.

【0047】さらに、増幅部14に設定する利得は、適
正露出時間Taと限界露出時間Tthとの比より求めて
いるので、連続的な利得設定を行うことができ、標本の
明るさに関係なく常に適正な明るさの動画像を表示する
ことができる。
Further, since the gain set in the amplifying section 14 is obtained from the ratio of the proper exposure time Ta and the limit exposure time Tth, continuous gain setting can be performed regardless of the brightness of the sample. It is possible to always display a moving image with appropriate brightness.

【0048】さらにまた、操作者が操作部18より記録
の指示を与えると、増幅部14が標準の利得Gvに、撮
像素子駆動部12が適正露出時間Taにそれぞれ設定さ
れ、撮像素子11により撮像された観察像が静止画とし
て記録部21に記録できるので、標本の明るさに忠実な
静止画を記録保存することができる。
Furthermore, when the operator gives a recording instruction from the operation unit 18, the amplification unit 14 is set to the standard gain Gv and the image pickup device drive unit 12 is set to the proper exposure time Ta, and the image pickup device 11 picks up an image. Since the observed image thus obtained can be recorded in the recording unit 21 as a still image, a still image faithful to the brightness of the sample can be recorded and saved.

【0049】なお、上述した実施の形態では、標本の明
るさに応じた測光値から適正露出時間Taを演算する自
動露出として記してあるが、手動露出で露出制御を行っ
てもよい。例えば、操作者が操作部18から好みの露出
時間Tbを制御部17に対して設定した場合、制御部1
7では、この設定された露出時間Tbと限界露出時間T
thとを比較し、この比較結果に応じて増幅部14の利
得(Tb/Tth)×Gvを設定し、動画表示のための
露出制御を行うようにすればよい。
In the above-mentioned embodiment, the automatic exposure is calculated by calculating the proper exposure time Ta from the photometric value according to the brightness of the sample, but the exposure control may be performed by manual exposure. For example, when the operator sets the desired exposure time Tb from the operation unit 18 to the control unit 17, the control unit 1
In No. 7, the set exposure time Tb and the limit exposure time T
Th may be compared, and the gain (Tb / Tth) × Gv of the amplification unit 14 may be set according to the comparison result, and exposure control for displaying a moving image may be performed.

【0050】(第2の実施の形態)次に、本発明の第2の
実施の形態を説明する。
(Second Embodiment) Next, a second embodiment of the present invention will be described.

【0051】図5は、本発明の第2の実施の形態の概略
構成を示すもので、図1と同一部分には、同符号を付し
ている。
FIG. 5 shows a schematic configuration of the second embodiment of the present invention. The same parts as those in FIG. 1 are designated by the same reference numerals.

【0052】この場合、制御部17には、設定部23が
接続されている。この設定部23は、操作者自身がフレ
ーミングや合焦操作が行える任意の限界フレームレート
を設定するためのものである。また、制御部17は、設
定部23に設定された限界フレームレートの逆数を限界
露出時間Tthとして設定する。
In this case, the setting unit 23 is connected to the control unit 17. The setting unit 23 is for setting an arbitrary limit frame rate at which the operator himself can perform framing and focusing operations. The control unit 17 also sets the reciprocal of the limit frame rate set in the setting unit 23 as the limit exposure time Tth.

【0053】このようにしても、表示部20に表示され
る動画像は、操作者が任意に設定したフレームレートに
基づく限界露出時間Tthを閾値とする以外は、上述し
た第1の実施の形態と同様な作用を得られるようにな
り、これにより、標本が限界露出時間Tthより長い適
正露出時間を要する明るさであっても、適正な明るさの
表示を行うことができるとともに、フレーミングや合焦
の操作性が損なわれることのないフレームレートを確保
することができる。
Even in this case, the moving image displayed on the display unit 20 is the same as the first embodiment except that the threshold is the limit exposure time Tth based on the frame rate arbitrarily set by the operator. As a result, even if the sample has a brightness that requires an appropriate exposure time longer than the limit exposure time Tth, it is possible to display an appropriate brightness and to perform framing and combination. A frame rate that does not impair the focus operability can be secured.

【0054】(第3の実施の形態)次に、本発明の第3の
実施の形態を説明する。
(Third Embodiment) Next, a third embodiment of the present invention will be described.

【0055】図6は、本発明の第3の実施の形態の概略
構成を示すもので、図1と同一部分には、同符号を付し
ている。
FIG. 6 shows a schematic configuration of the third embodiment of the present invention. The same parts as those in FIG. 1 are designated by the same reference numerals.

【0056】この場合、制御部17には、I/F部31
を介してパーソナルコンピュータ(以下PCと略称す
る。)32が接続されている。このPC32は、図1で
述べたと同様な表示、記録、操作のそれぞれの機能を有
している。
In this case, the control unit 17 includes the I / F unit 31.
A personal computer (hereinafter abbreviated as PC) 32 is connected via the. The PC 32 has the same display, recording, and operation functions as those described with reference to FIG.

【0057】このような構成によると、撮像素子11で
観察像が撮像され、前置処理部13、増幅部14、A/
D変換部15、信号処理部16を介して色補正や階調補
正が施された映像信号が制御部17に入力されると、制
御部17よりI/F部31を介してPC32に出力され
る。PC32では、この映像信号をPC32のモニタに
表示する。
According to such a configuration, an observation image is picked up by the image pickup element 11, and the preprocessing section 13, the amplification section 14, A /
When a video signal subjected to color correction and gradation correction is input to the control unit 17 via the D conversion unit 15 and the signal processing unit 16, the control unit 17 outputs the video signal to the PC 32 via the I / F unit 31. It The PC 32 displays this video signal on the monitor of the PC 32.

【0058】この場合、PC32のモニタに表示される
動画像は、第1の実施の形態で述べたと同様にして得ら
れたものなので、これ以降、制御部17での図2に示す
フローチャートで述べた動作により、標本が限界露出時
間Tthより長い適正露出時間を要する明るさであって
も、適正な明るさの表示を行うことができるとともに、
フレーミングや合焦の操作性が損なわれることのないフ
レームレートを確保することができる。
In this case, the moving image displayed on the monitor of the PC 32 is obtained in the same manner as described in the first embodiment, and hence the control unit 17 will be described below with reference to the flowchart shown in FIG. By the operation described above, even if the sample has a brightness that requires an appropriate exposure time longer than the limit exposure time Tth, it is possible to display an appropriate brightness, and
It is possible to secure a frame rate that does not impair operability for framing and focusing.

【0059】また、この時の観察像を静止画として記録
したい場合は、操作者はPC32において、図示しない
マウスやキーボードにより記録の指示を与える。この指
示は、I/F部31を介して制御部17に与えられ、こ
れにより、制御部17は、第1の実施の形態で述べたと
同様の作用により、撮像素子11で撮像された映像信号
を信号処理部16よりI/F部31を介してPC32に
入力させ、PC32のハードディスク装置などの図示し
ない記録媒体に保存するようになる。
When the observation image at this time is to be recorded as a still image, the operator gives a recording instruction to the PC 32 with a mouse or keyboard (not shown). This instruction is given to the control unit 17 via the I / F unit 31. As a result, the control unit 17 performs the same operation as that described in the first embodiment, and the video signal picked up by the image pickup device 11 is obtained. Is input to the PC 32 from the signal processing unit 16 via the I / F unit 31, and is stored in a recording medium (not shown) such as a hard disk device of the PC 32.

【0060】なお、この第3の実施の形態では、上述し
た第1の実施の形態と同様に制御部17により露出演算
を行っているが、制御部17は、信号処理部16からの
測光値を、I/F部31を介してPC32に入力し、P
C32にて露出演算を行い適正露出時間Taを、I/F
部31を介して制御部17に送るようにしてもよい。
In the third embodiment, the exposure calculation is performed by the control unit 17 as in the first embodiment, but the control unit 17 controls the photometric value from the signal processing unit 16. Is input to the PC 32 via the I / F unit 31, and P
Exposure calculation is performed at C32, and the appropriate exposure time Ta
It may be sent to the control unit 17 via the unit 31.

【0061】なお、本発明は、上記実施の形態に限定さ
れるものでなく、実施段階では、その要旨を変更しない
範囲で種々変形することが可能である。
The present invention is not limited to the above embodiment, and can be variously modified at the stage of carrying out the invention without departing from the spirit of the invention.

【0062】さらに、上記実施の形態には、種々の段階
の発明が含まれており、開示されている複数の構成要件
における適宜な組み合わせにより種々の発明が抽出でき
る。例えば、実施の形態に示されている全構成要件から
幾つかの構成要件が削除されても、発明が解決しようと
する課題の欄で述べた課題を解決でき、発明の効果の欄
で述べられている効果が得られる場合には、この構成要
件が削除された構成が発明として抽出できる。
Furthermore, the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem described in the section of the problem to be solved by the invention can be solved, and it is described in the section of the effect of the invention. In the case where the effect described above is obtained, a configuration in which this constituent element is deleted can be extracted as an invention.

【0063】[0063]

【発明の効果】以上述べたように本発明によれば、標本
が暗い場合でもフレーミングや合焦の操作性を損なうこ
とのないフレームレートを確保できるとともに、S/N
劣化による標本観察の妨げを回避できる顕微鏡用撮像装
置を提供できる。
As described above, according to the present invention, it is possible to secure a frame rate that does not impair the operability of framing and focusing even when the sample is dark, and to improve the S / N ratio.
It is possible to provide a microscope imaging device that can avoid obstruction of specimen observation due to deterioration.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施の形態の概略構成を示す
図。
FIG. 1 is a diagram showing a schematic configuration of a first embodiment of the present invention.

【図2】第1の実施の形態の動作を説明するフローチャ
ート。
FIG. 2 is a flowchart illustrating the operation of the first embodiment.

【図3】第1の実施の形態の動作を説明するフローチャ
ート。
FIG. 3 is a flowchart illustrating the operation of the first embodiment.

【図4】第1の実施の形態の測光値に対する露出時間と
利得の関係を説明する図。
FIG. 4 is a diagram illustrating a relationship between an exposure time and a gain with respect to a photometric value according to the first embodiment.

【図5】本発明の第2の実施の形態の概略構成を示す
図。
FIG. 5 is a diagram showing a schematic configuration of a second embodiment of the present invention.

【図6】本発明の第3の実施の形態の概略構成を示す
図。
FIG. 6 is a diagram showing a schematic configuration of a third embodiment of the present invention.

【符号の説明】 10…顕微鏡本体 11…撮像素子 12…撮像素子駆動部 13…前置処理部 14…増幅部 15…A/D変換部 16…信号処理部 17…制御部 171…露出演算手段 172…露出制御手段 18…操作部 19…D/A変換部 20…表示部 21…記録部 22…バス 23…設定部 31…I/F部 32…PC[Explanation of symbols] 10 ... Microscope body 11 ... Image sensor 12 ... Image sensor drive unit 13 ... Pretreatment unit 14 ... Amplifying unit 15 ... A / D converter 16 ... Signal processing unit 17 ... Control unit 171 ... Exposure calculation means 172 ... Exposure control means 18 ... Operation part 19 ... D / A converter 20 ... Display 21 ... Recording unit 22 ... Bus 23 ... Setting section 31 ... I / F section 32 ... PC

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 顕微鏡の観察像を撮像する撮像手段、前
記撮像手段からの出力を増幅する増幅手段、前記増幅手
段により増幅され画像処理された画像を表示する表示手
段を有する顕微鏡用撮像装置において、 前記観察像の明るさに応じた測光値を取得する測光値取
得手段と、 前記測光手段により取得された測光値に基づき適正露出
時間を演算する露出演算手段と、 前記露出演算手段で演算された適正露出時間と予め設定
された限界露出時間との比較結果に応じて前記撮像手段
の露出時間および前記増幅手段の利得を設定する露出制
御手段とを具備したことを特徴とする顕微鏡用撮像装
置。
1. An image pickup apparatus for a microscope comprising: an image pickup means for picking up an observation image of a microscope; an amplifying means for amplifying an output from the image pickup means; and a display means for displaying an image amplified and processed by the amplifying means. A photometric value acquisition unit that acquires a photometric value according to the brightness of the observed image; an exposure calculation unit that calculates a proper exposure time based on the photometric value acquired by the photometric unit; and a calculation performed by the exposure calculation unit. An image pickup apparatus for a microscope, comprising: an exposure control unit that sets an exposure time of the image pickup unit and a gain of the amplification unit according to a result of comparison between the appropriate exposure time and a preset limit exposure time. .
【請求項2】 前記露出制御手段は、前記適正露出時間
が前記限界露出時間より長い場合、前記撮像手段の露出
時間を前記限界露出時間に設定するとともに、前記増幅
手段を前記適正露出時間と前記限界露出時間の比に前記
増幅手段の標準利得を掛け合わせた利得に設定すること
を特徴とする請求項1記載の顕微鏡用撮像装置。
2. The exposure control means, when the proper exposure time is longer than the limit exposure time, sets the exposure time of the image pickup means to the limit exposure time, and sets the amplification means to the proper exposure time. 2. The image pickup device for a microscope according to claim 1, wherein a gain obtained by multiplying a ratio of a limit exposure time by a standard gain of the amplification means is set.
【請求項3】 前記撮像手段を適正露出時間に設定する
とともに、前記増幅手段を標準利得に設定し、前記撮像
手段により撮像された前記観察像を静止画として記録手
段に記録可能にしたことを特徴とする請求項1または2
記載の顕微鏡用撮像装置。
3. The image pickup means is set to an appropriate exposure time, the amplification means is set to a standard gain, and the observation image picked up by the image pickup means can be recorded in a recording means as a still image. Claim 1 or 2 characterized
The imaging device for a microscope according to the description.
【請求項4】 前記限界露出時間を任意に設定可能にし
たことを特徴とする請求項1または2記載の顕微鏡用撮
像装置。
4. The image pickup device for a microscope according to claim 1, wherein the limit exposure time can be arbitrarily set.
JP2001183738A 2001-06-18 2001-06-18 Microscope imaging device Expired - Lifetime JP4831888B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001183738A JP4831888B2 (en) 2001-06-18 2001-06-18 Microscope imaging device
US10/170,529 US7199823B2 (en) 2001-06-18 2002-06-13 Method and apparatus for improving live view performance of an image pickup apparatus for a microscope
DE10226588A DE10226588B4 (en) 2001-06-18 2002-06-14 Image recording device and image recording method for a microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001183738A JP4831888B2 (en) 2001-06-18 2001-06-18 Microscope imaging device

Publications (2)

Publication Number Publication Date
JP2003008982A true JP2003008982A (en) 2003-01-10
JP4831888B2 JP4831888B2 (en) 2011-12-07

Family

ID=19023636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001183738A Expired - Lifetime JP4831888B2 (en) 2001-06-18 2001-06-18 Microscope imaging device

Country Status (1)

Country Link
JP (1) JP4831888B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221708A (en) * 2004-02-05 2005-08-18 Olympus Corp Microscope photographing apparatus, method and program for adjusting brightness
JP2008147908A (en) * 2006-12-08 2008-06-26 Olympus Corp Imaging apparatus for microscope, imaging program for microscope, and imaging method for microscope
JP2009128648A (en) * 2007-11-26 2009-06-11 Olympus Corp Microscope observation system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221708A (en) * 2004-02-05 2005-08-18 Olympus Corp Microscope photographing apparatus, method and program for adjusting brightness
JP4563693B2 (en) * 2004-02-05 2010-10-13 オリンパス株式会社 Microscope photographing apparatus, brightness adjustment method, and brightness adjustment program
JP2008147908A (en) * 2006-12-08 2008-06-26 Olympus Corp Imaging apparatus for microscope, imaging program for microscope, and imaging method for microscope
US8212865B2 (en) 2006-12-08 2012-07-03 Olympus Corporation Microscope image pickup apparatus, microscope image pickup program product, microscope image pickup program transmission medium and microscope image pickup method
JP2009128648A (en) * 2007-11-26 2009-06-11 Olympus Corp Microscope observation system

Also Published As

Publication number Publication date
JP4831888B2 (en) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4360777B2 (en) Automatic adjustment device for amplification of electronic endoscope
US8023004B2 (en) Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode
JP5043595B2 (en) Imaging apparatus and endoscope system
JP4254841B2 (en) Imaging apparatus, imaging method, image processing apparatus, image processing method, and image processing program
JP4516503B2 (en) Imaging system and control method thereof
JP2002077591A (en) Image processing device and imaging device
JP2007082180A (en) Imaging apparatus and image processing method
JP2003319247A (en) Solid-state video camera and brightness control therefor
US7199823B2 (en) Method and apparatus for improving live view performance of an image pickup apparatus for a microscope
EP2252046B1 (en) Image acquisition apparatus, method for controlling image acquisition apparatus, and microscope system
JP2009088935A (en) Image recording apparatus, image correcting apparatus, and image pickup apparatus
JP2008113337A (en) Imaging apparatus
JP4831888B2 (en) Microscope imaging device
JP2007336258A (en) Video signal processor and video signal processing method
JP2010279526A (en) Endoscopic image processing apparatus, method and program
JPH0346743A (en) Picture quality adjuster of scanning electron microscope, etc.
JP2001238137A (en) Imaging apparatus
JP4033746B2 (en) Microscope equipment
JP2008148049A (en) Shake correction device, imaging apparatus using it, and driving method for shake correction device
JP5147652B2 (en) Imaging apparatus, control method thereof, and program
JP4679175B2 (en) Imaging system and control device
JP2003163833A (en) Microscope use imaging apparatus
JP3886757B2 (en) Electronic endoscope device
JP2011009834A (en) Imager and imaging method
JP3894762B2 (en) Electronic endoscope device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110920

R151 Written notification of patent or utility model registration

Ref document number: 4831888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term