JP2006314616A - Endoscope processor - Google Patents
Endoscope processor Download PDFInfo
- Publication number
- JP2006314616A JP2006314616A JP2005141327A JP2005141327A JP2006314616A JP 2006314616 A JP2006314616 A JP 2006314616A JP 2005141327 A JP2005141327 A JP 2005141327A JP 2005141327 A JP2005141327 A JP 2005141327A JP 2006314616 A JP2006314616 A JP 2006314616A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- image signal
- adjustment
- balance adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は、電子内視鏡により得られる画像のホワイトバランス調整およびブラックバランス調整に関する。 The present invention relates to white balance adjustment and black balance adjustment of an image obtained by an electronic endoscope.
挿入部先端にCCDなどの撮像素子を有する電子内視鏡は、医療用および工業用に用いられている。正確な診断、観察をするためには、電子内視鏡により得られる画像において被写体の色が忠実に再現されることが望まれる。 An electronic endoscope having an image pickup device such as a CCD at the distal end of an insertion portion is used for medical and industrial purposes. In order to perform accurate diagnosis and observation, it is desirable that the color of the subject be reproduced faithfully in an image obtained by an electronic endoscope.
一方、被写体を照射する照明光源の違いや個々の撮像素子の分光感度の違いなどにより、画像の色再現性にばらつきが生じる。そこで、ホワイトバランス調整およびブラックバランス調整を行うことにより、画像において被写体の色を忠実に再現させている。 On the other hand, variations in the color reproducibility of images occur due to differences in illumination light sources that illuminate the subject and differences in spectral sensitivities of individual image sensors. Therefore, the color of the subject is faithfully reproduced in the image by performing white balance adjustment and black balance adjustment.
従来、ホワイトバランス調整とブラックバランス調整を確実に行うための内視鏡撮像装置が開示されている(特許文献1参照)。ホワイトバランス調整のための撮影環境とブラックバランス調整のための撮影環境とは異なっているが、開示されている内視鏡撮像装置では撮影環境がホワイトバランス調整のための環境とブラックバランス調整のための環境とのいずれかを検知して、検知した環境に応じてホワイトバランス調整またはブラックバランス調整を行うものである。 Conventionally, an endoscope imaging apparatus for surely performing white balance adjustment and black balance adjustment has been disclosed (see Patent Document 1). Although the shooting environment for white balance adjustment and the shooting environment for black balance adjustment are different, in the disclosed endoscope imaging device, the shooting environment is for white balance adjustment and black balance adjustment. Is detected, and white balance adjustment or black balance adjustment is performed in accordance with the detected environment.
しかし、ホワイトバランス調整後にブラックバランスの調整が不要であるときもブラックバランスの調整を行い余分な時間を費やすことがあった。一方、ブラックバランスの調整を行わなかったために色の再現性が低下することがあった。 However, even when the black balance adjustment is unnecessary after the white balance adjustment, the black balance adjustment may be performed and extra time may be spent. On the other hand, since the black balance was not adjusted, the color reproducibility sometimes deteriorated.
また、撮影環境を変えてバランス調整スイッチを押すことが必要であり、ホワイトバランス調整およびブラックバランス調整を行うのに余分な時間がかかっていた。
したがって、本発明ではホワイトバランスおよびブラックバランスの調整にかかる時間を短縮化させる内視鏡プロセッサの提供を目的とする。 Therefore, an object of the present invention is to provide an endoscope processor that shortens the time taken to adjust white balance and black balance.
本発明の第1の内視鏡プロセッサは、被写体の光学像を撮像手段に受光させることにより生成される原画像信号を取得する取得部と、原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理部と、第1の調整画像信号のブラックバランスを調整するか否かを判断する判断部と、判断部がブラックバランスの調整を行うと判断する場合に第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部とを備えることを特徴としている。 The first endoscope processor of the present invention includes an acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject, and a white balance of the original image signal to adjust the first balance. A first signal processing unit that generates the adjusted image signal, a determination unit that determines whether or not to adjust the black balance of the first adjusted image signal, and a case where the determination unit determines to adjust the black balance And a second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal.
なお、原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部を備え、判断部はホワイトバランス調整値と所定の判別値とを比較することにより第1の調整画像信号のブラックバランスを調整すると判断することが好ましい。 The image processing apparatus includes a first calculation unit that calculates a white balance adjustment value for adjusting the white balance of the original image signal, and the determination unit compares the white balance adjustment value with a predetermined determination value to perform the first adjustment. It is preferable to determine that the black balance of the image signal is adjusted.
また、ホワイトバランス調整値の算出を開始させる第1のスイッチを備え、第1の演算部は第1のスイッチがONになってから取得される所定のフィールドに相当する原画像信号に基づいてホワイトバランス調整値を算出することが好ましい。 In addition, a first switch for starting the calculation of the white balance adjustment value is provided, and the first calculation unit performs white based on an original image signal corresponding to a predetermined field acquired after the first switch is turned on. It is preferable to calculate a balance adjustment value.
また、原画像信号は第1の色信号と第2の色信号とによって構成され、第2の色信号に対応するホワイトバランス調整値は第2の色信号に乗じる第2の色のゲインであり、第2の色のゲインに対応する所定の判別値である第2の色の閾値を第2の色のゲインが超えるときに第1の調整画像信号のブラックバランスを調整すると判断することが好ましい。 The original image signal is composed of the first color signal and the second color signal, and the white balance adjustment value corresponding to the second color signal is a gain of the second color multiplied by the second color signal. It is preferable to determine that the black balance of the first adjustment image signal is adjusted when the gain of the second color exceeds the threshold of the second color, which is a predetermined discrimination value corresponding to the gain of the second color. .
また、原画像信号は第3の色信号によって構成され、第3の色信号に対応するホワイトバランス調整値は第3の色信号に乗じる第3の色のゲインであり、第3の色のゲインに対応する所定の判別値である第3の色の閾値を第3の色のゲインが超えるときに第1の調整画像信号のブラックバランスを調整すると判断することが好ましい。 The original image signal is composed of the third color signal, and the white balance adjustment value corresponding to the third color signal is the gain of the third color multiplied by the third color signal, and the gain of the third color. It is preferable to determine that the black balance of the first adjusted image signal is to be adjusted when the gain of the third color exceeds the threshold of the third color, which is a predetermined discrimination value corresponding to.
また、第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算部と、第2の信号処理部はブラックバランス調整値に基づいて第1の調整画像信号のブラックバランスを調整することが好ましい。 In addition, the second calculation unit that calculates a black balance adjustment value for performing black balance adjustment on the first adjustment image signal, and the second signal processing unit perform the first adjustment based on the black balance adjustment value. It is preferable to adjust the black balance of the image signal.
また、ブラックバランス調整値の算出を第2の演算部に開始させる第2のスイッチを備え、第2の演算部は第2のスイッチがONになってから取得される所定のフィールドに相当する原画像信号に基づいてブラックバランス調整値を算出することが好ましい。 In addition, the second calculation unit includes a second switch that causes the second calculation unit to start calculating the black balance adjustment value. The second calculation unit corresponds to an original corresponding to a predetermined field acquired after the second switch is turned on. It is preferable to calculate the black balance adjustment value based on the image signal.
また、原画像信号は第2の色信号によって構成され、第1の調整画像信号は第2の色信号に対応する第2の色の第1の調整信号によって構成され、第2の色の第1の調整信号に対応するブラックバランス調整値は第2の色の第1の調整信号に加算または減算する第2の色のシフト量であることが好ましい。 The original image signal is composed of the second color signal, the first adjustment image signal is composed of the first adjustment signal of the second color corresponding to the second color signal, and the second color signal is the second color signal. The black balance adjustment value corresponding to one adjustment signal is preferably a shift amount of the second color to be added to or subtracted from the first adjustment signal of the second color.
また、原画像信号は第3の色信号によって構成され、第1の調整画像信号は第3の色信号に対応する第3の色の第1の調整信号によって構成され、第3の色信号に対応するブラックバランス調整値は第3の色の第1の調整信号に加算または減算する第3の色のシフト量であることが好ましい。 The original image signal is composed of a third color signal, and the first adjustment image signal is composed of a first adjustment signal of a third color corresponding to the third color signal. The corresponding black balance adjustment value is preferably a shift amount of the third color to be added to or subtracted from the first adjustment signal of the third color.
また、第1の信号処理部が原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部と、第1の演算部におけるホワイトバランス調整値の算出をONになってから取得される所定のフィールドに相当する原画像信号に基づいて開始させる第1のスイッチと、被写体に照明光を照射する照明機構から照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力部と、出力部に照明信号を出力させ照明信号の出力後に第1のスイッチをONに切替え第1のスイッチをONに切替えた後の所定の時間の後に出力部に停止信号を出力させ停止信号の出力後に第2のスイッチをONに切替えてブラックバランス調整値の算出を開始させる第3のスイッチとを備え、判断部はホワイトバランス調整値が第1の閾値を超えるときに第1の調整画像信号のブラックバランスを調整すると判断することが好ましい。 Further, the first signal processing unit calculates a white balance adjustment value for adjusting the white balance of the original image signal, and the calculation of the white balance adjustment value in the first calculation unit is turned ON. A first switch that is started based on an original image signal corresponding to a predetermined field acquired after the illumination, and an illumination signal or illumination light for irradiating illumination light from an illumination mechanism that illuminates the subject with illumination light An output unit for outputting a stop signal to stop, and an output unit after a predetermined time after outputting the illumination signal to the output unit and outputting the illumination signal to turn on the first switch and switch on the first switch And a third switch for starting the calculation of the black balance adjustment value by outputting the stop signal and switching the second switch to ON after the stop signal is output. It is preferred that Nsu adjustment value is determined to adjust the black balance of the first adjustment image signal when exceeding the first threshold.
また、第1の調整画像信号または第2の調整画像信号に相当する画像の色調を微調整するための色調補正値を入力するための入力部と、入力部によって入力される色調補正値を記憶するするメモリと、色調補正値に基づいて第1の調整画像信号または第2の調整画像信号に相当する画像の色調を微調整することにより第3の調整画像信号を生成する色調補正部とを備えることが好ましい。 Also, an input unit for inputting a color correction value for finely adjusting the color tone of the image corresponding to the first adjustment image signal or the second adjustment image signal, and a color correction value input by the input unit are stored. And a color correction unit that finely adjusts the color tone of the image corresponding to the first adjustment image signal or the second adjustment image signal based on the color correction value and generates a third adjustment image signal. It is preferable to provide.
また、原画像信号は第2の色信号によって構成され、第1の調整画像信号は第2の色信号に対応する第2の色の第2の調整信号によって構成され、第2の調整画像信号は第2の色信号に対応する第2の色の第2の調整信号によって構成され、第2の色信号に対応する色調補正値は第2の色の第1の調整信号または第2の色の第2の調整信号に加算または減算する第2の色の補正シフト量であることが好ましい。 The original image signal is composed of a second color signal, the first adjustment image signal is composed of a second adjustment signal of a second color corresponding to the second color signal, and the second adjustment image signal Is constituted by the second adjustment signal of the second color corresponding to the second color signal, and the tone correction value corresponding to the second color signal is the first adjustment signal or the second color of the second color. The second color correction shift amount is preferably added to or subtracted from the second adjustment signal.
また、原画像信号は第3の色信号によって構成され、第1の調整画像信号は第3の色信号に対応する第3の色の第1の調整信号によって構成され、第2の調整画像信号は第3の色信号に対応する第3の色の第2の調整信号によって構成され、第3の色信号に対応する色調補正値は第3の色の第1の調整信号または第3の色の第2の調整信号に加算または減算する第3の色の補正シフト量であることが好ましい。 The original image signal is composed of a third color signal, the first adjustment image signal is composed of a first adjustment signal of a third color corresponding to the third color signal, and the second adjustment image signal Is constituted by the second adjustment signal of the third color corresponding to the third color signal, and the tone correction value corresponding to the third color signal is the first adjustment signal of the third color or the third color. The third color correction shift amount is preferably added to or subtracted from the second adjustment signal.
また、第3の調整画像信号に基づいて同一の明るさにおける第3の調整画像信号を構成する複数の色信号の比率を明るさが変化するときでも一定にさせる色バランス調整値を算出する第3の演算部と、色バランス調整値に基づいて第3の調整画像信号に相当する画像の色バランスを調整する色バランス調整部とを備えることが好ましい。 In addition, a color balance adjustment value for calculating a color balance adjustment value that makes the ratio of a plurality of color signals constituting the third adjusted image signal at the same brightness constant even when the brightness changes is based on the third adjusted image signal. 3 and a color balance adjustment unit that adjusts the color balance of the image corresponding to the third adjustment image signal based on the color balance adjustment value.
また、原画像信号は第2の色信号によって構成され、第2の色信号に対応する色バランス調整値は第2の色信号に乗じる第2の色の調整ゲインであることが好ましい。さらに、原画像信号は第3の色信号によって構成され第3の色信号に対応する色バランス調整値は第3の色信号に乗じる第3の色の調整ゲインであることが好ましい。 Preferably, the original image signal is composed of a second color signal, and the color balance adjustment value corresponding to the second color signal is a second color adjustment gain multiplied by the second color signal. Further, it is preferable that the original image signal is composed of the third color signal, and the color balance adjustment value corresponding to the third color signal is an adjustment gain of the third color multiplied by the third color signal.
また、判断部がブラックバランスの調整不要であると判断する場合に調整不要であることを表示する表示部を備えることが好ましい。 In addition, it is preferable to provide a display unit that displays that adjustment is not necessary when the determination unit determines that adjustment of black balance is unnecessary.
また、本発明の第2の内視鏡プロセッサは、被写体の光学像を撮像手段に受光させることにより生成される原画像信号を取得する取得部と、原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理部と、第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部と、原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部と、第1の演算部におけるホワイトバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する原画像信号に基づいて開始させる第1のスイッチと、第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算部と、第2の演算部におけるブラックバランス調整値の算出をONになってから取得される所定のフィールドに相当する原画像信号に基づいて開始させる第2のスイッチと、被写体に照明光を照射する照明機構から照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力部と、出力部に照明信号を出力させ照明信号の出力後に第1のスイッチをONに切替え第1のスイッチをONに切替えた後の所定の時間の後に出力部に停止信号を出力させ停止信号の出力後に第2のスイッチをONに切替えてブラックバランス調整値の算出を開始させる第3のスイッチとを備えることを特徴としている。 In addition, the second endoscope processor of the present invention includes an acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject, and by adjusting a white balance of the original image signal. A first signal processing unit that generates a first adjusted image signal, a second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal, and an original image Corresponding to a first field that calculates a white balance adjustment value for adjusting the white balance of the signal and a calculation of the white balance adjustment value in the first calculation unit after the signal is turned ON A first switch that is started based on the original image signal to be performed, and a second switch that calculates a black balance adjustment value for performing black balance adjustment on the first adjusted image signal A calculation unit; a second switch for starting calculation of a black balance adjustment value in the second calculation unit based on an original image signal corresponding to a predetermined field acquired after turning ON; and illumination light to the subject An output unit that outputs an illumination signal for irradiating illumination light from the illumination mechanism to irradiate or a stop signal for stopping irradiation of illumination light, and outputs the illumination signal to the output unit and turns on the first switch after outputting the illumination signal After a predetermined time after the first switch is turned ON, a stop signal is output to the output unit, and after the stop signal is output, the second switch is turned ON to start calculating the black balance adjustment value. 3 switches.
また、本発明の第1の内視鏡システムは、被写体の光学像を撮像手段に受光させることにより原画像信号を生成する電子内視鏡と、電子内視鏡から出力される原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理部と、第1の調整画像信号のブラックバランスを調整するか否かを判断する判断部と、判断部がブラックバランスの調整を行うと判断する場合に第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部とを備えることを特徴としている。 The first endoscope system of the present invention includes an electronic endoscope that generates an original image signal by causing an imaging unit to receive an optical image of a subject, and an original image signal output from the electronic endoscope. A first signal processing unit that generates a first adjusted image signal by adjusting white balance, a determination unit that determines whether to adjust the black balance of the first adjusted image signal, and a determination unit that is black And a second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal when it is determined that the balance adjustment is to be performed.
また、本発明の第2の内視鏡システムは、被写体の光学像を撮像手段に受光させることにより原画像信号を生成する電子内視鏡と、電子内視鏡から出力される原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理部と、第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部と、原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部と、第1の演算部におけるホワイトバランス調整値の算出をONになってから取得される所定のフィールドに相当する原画像信号に基づいて開始させる第1のスイッチと、第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算部と、第2の演算部におけるブラックバランス調整値の算出をONになってから取得される所定のフィールドに相当する原画像信号に基づいて開始させる第2のスイッチと、被写体に照明光を照射する照明機構から照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力部と、出力部に照明信号を出力させ照明信号の出力後に第1のスイッチをONに切替え第1のスイッチをONに切替えた後の所定の時間の後に出力部に停止信号を出力させ停止信号の出力後に第2のスイッチをONに切替えてブラックバランス調整値の算出を開始させる第3のスイッチとを備えることを特徴としている。 The second endoscope system according to the present invention includes an electronic endoscope that generates an original image signal by causing an imaging unit to receive an optical image of a subject, and an original image signal output from the electronic endoscope. A first signal processing unit that generates a first adjusted image signal by adjusting white balance, and a second signal that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal Acquired after the signal processing unit, the first calculation unit for calculating the white balance adjustment value for adjusting the white balance of the original image signal, and the calculation of the white balance adjustment value in the first calculation unit are turned on. A first switch that is started based on an original image signal corresponding to a predetermined field, and a black balance adjustment value for performing black balance adjustment on the first adjusted image signal. A second switch to be output; a second switch for starting calculation of a black balance adjustment value in the second calculator based on an original image signal corresponding to a predetermined field acquired after turning ON; An output unit that outputs an illumination signal for irradiating illumination light from the illumination mechanism that irradiates the subject with illumination light or a stop signal for stopping illumination light illumination, and outputs an illumination signal to the output unit and outputs the illumination signal after the output of the illumination signal. After the predetermined time after the first switch is switched on and the first switch is switched on, a stop signal is output to the output unit, and after the stop signal is output, the second switch is switched on and the black balance adjustment value is set. And a third switch for starting the calculation.
また、本発明の第1のバランス調整プログラムは、被写体の光学像を撮像手段に受光させることにより生成される原画像信号を取得する取得手段と、原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理手段と、第1の調整画像信号のブラックバランスを調整するか否かを判断する判断手段と、判断部がブラックバランスの調整を行うと判断する場合に第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理手段として内視鏡プロセッサを機能させることを特徴としている。 The first balance adjustment program according to the present invention includes an acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject, and a white balance of the original image signal by adjusting the white balance. A first signal processing unit that generates one adjustment image signal; a determination unit that determines whether or not to adjust a black balance of the first adjustment image signal; and a determination unit that determines that the black balance is adjusted. In this case, the endoscope processor is caused to function as second signal processing means for generating the second adjusted image signal by adjusting the black balance of the first adjusted image signal.
また、本発明の第2のバランス調整プログラムは、被写体の光学像を撮像手段に受光させることにより生成される原画像信号を取得する取得手段と、原画像信号のホワイトバランスを調整することにより第1の調整画像信号を生成する第1の信号処理手段と、第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理手段と、原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算手段と、第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算手段と、被写体に照明光を照射する照明機構から照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力手段と、ホワイトバランス調整を開始するためのスイッチからの開始信号を取得すると出力手段に照明信号を出力させ照明信号の出力後に取得する所定のフィールドに相当する原画像信号に基づいて第1の演算手段にホワイトバランス調整値の算出を開始させホワイトバランス調整値の算出開始から所定の時間経過後に出力手段に停止信号を出力させ停止信号の出力後に取得する所定のフィールドに相当する原画像信号に基づいて第2の演算手段にブラックバランス調整値の算出を開始させる動作制御手段として内視鏡プロセッサを機能させることを特徴としている。 The second balance adjustment program according to the present invention includes an acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject, and a white balance of the original image signal by adjusting the white balance. First signal processing means for generating one adjusted image signal, second signal processing means for generating a second adjusted image signal by adjusting the black balance of the first adjusted image signal, and an original image signal First computing means for calculating a white balance adjustment value for adjusting the white balance, and second computing means for calculating a black balance adjustment value for performing black balance adjustment on the first adjusted image signal Output means for outputting an illumination signal for irradiating illumination light from a lighting mechanism for irradiating the subject with illumination light or a stop signal for stopping illumination light illumination; When the start signal from the switch for starting the light balance adjustment is acquired, the illumination signal is output to the output means, and the white color is supplied to the first calculation means based on the original image signal corresponding to the predetermined field acquired after the output of the illumination signal. Based on an original image signal corresponding to a predetermined field obtained by starting the calculation of the balance adjustment value, outputting a stop signal to the output means after a predetermined time has elapsed from the start of calculation of the white balance adjustment value, and outputting the stop signal. The endoscope processor is made to function as an operation control means for causing the calculation means to start calculating the black balance adjustment value.
本発明によれば、ホワイトバランスの調整後にブラックバランスの調整が必要なときだけブラックバランスの調整が行われるので、調整に要する時間が短縮化される。また、第3のスイッチを一度ONにするだけで、撮影環境を変えることなくホワイトバランスの調整およびブラックバランスの調整が行えるので、調整に要する時間が短縮化される。 According to the present invention, since the black balance is adjusted only when the black balance needs to be adjusted after the white balance is adjusted, the time required for the adjustment is shortened. In addition, the white balance adjustment and the black balance adjustment can be performed by changing the third switch once to ON without changing the shooting environment, so that the time required for the adjustment is shortened.
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を適用した内視鏡プロセッサを有する内視鏡システムの内部構成を概略的に示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram schematically showing an internal configuration of an endoscope system having an endoscope processor to which an embodiment of the present invention is applied.
内視鏡システム10は、内視鏡プロセッサ20、内視鏡40、およびモニタ50によって構成される。内視鏡プロセッサ20は、コネクタ(図示せず)を介して内視鏡40、及びモニタ50に接続される。
The
まず、内視鏡システム10の全体構成について簡潔に説明する。内視鏡プロセッサ20の内部には、被写体(図示せず)を照明するためのランプ21が設けられる。ランプ21から発光される光が、内視鏡40に設けられるライトガイド22を介して被写体に照射される。
First, the overall configuration of the
照射された被写体は、内視鏡40に設けられたCCDなどの撮像素子41により撮像される。撮像された被写体の画像は、原画像信号として内視鏡プロセッサ20に送られる。原画像信号は、内視鏡プロセッサ20において所定の信号処理が行われる。所定の信号処理が行われた原画像信号はモニタ50に送られ、原画像信号に相当する画像がモニタ50に表示される。
The irradiated subject is imaged by an
次に、各部位について詳細に説明する。ランプ21からの照射光をライトガイド22の入射端22aに導くための光路中に絞り23および集光レンズ24が設けられる。ランプ21から照射される略平行な光束の光は、集光レンズ24で集光されて入射端22aに入射される。
Next, each part will be described in detail. A
入射端22aに入射させる光の光量調整は、絞り23を駆動することにより実行される。絞り23は、絞り駆動回路26により動作が制御されるモータMにより駆動される。絞り駆動回路26は、システムコントローラ25を介して前段信号処理回路30に接続される。撮像素子41において生成する原画像信号に基づき、前段信号処理回路30により、撮像した画像の受光量が検出される。絞り駆動回路26により、画像の受光量に応じてモータMの駆動量が求められる。
The adjustment of the amount of light incident on the incident end 22 a is executed by driving the
ランプ21に電力を供給するためのランプ用電源27は、システムコントローラ25に電気的に接続される。被写体へ照明光を照射させるための照射信号および照明光の照射を停止させるための停止信号が、システムコントローラ25からランプ用電源27に出力される。ランプ21の発光と消灯がシステムコントローラ25によって制御される。
A
また、システムコントローラ25からは、撮像素子41を駆動するために必要な駆動信号が撮像素子駆動回路28に出力される。撮像素子41を撮像素子駆動回路28が駆動することにより、原画像信号が生成される。
Further, a drive signal necessary for driving the
また、システムコントローラ25により内視鏡プロセッサ20全体の動作が制御される。後述する映像信号処理回路29も、システムコントローラ25によって動作が制御される。
The operation of the
ライトガイド22の出射端22bから出射する照明光が、配光レンズ42を介して内視鏡40の先端付近に照射される。照明光が照射された被写体からの反射光により形成される被写体の光学像は、対物レンズ43を介して撮像素子41に受光される。
Illumination light emitted from the
撮像素子41に受光される被写体の光学像に相当する1フィールドの原画像信号が、撮像素子41において生成される。生成した原画像信号は、内視鏡プロセッサ20内に設けられる映像信号処理回路29に送られる。
A one-field original image signal corresponding to the optical image of the subject received by the
映像信号処理回路29は、前段信号処理回路30、ホワイトバランス調整回路31、ブラックバランス調整回路32、および後段信号処理回路33によって構成される。
The video
撮像素子41において生成された原画像信号は、前段信号処理回路30に送られる。原画像信号は、前段信号処理回路30において所定の処理が行われる。また、原画像信号に対して色分離処理が行なわれ、R信号(第2の色信号)、G信号(第1の色信号)、B信号(第3の色信号)に分離される。さらに、原画像信号にA/D変換が施されデジタル信号としてホワイトバランス調整回路31に送られる。
The original image signal generated in the
ホワイトバランス調整回路31により、原画像信号のホワイトバランス調整が行われる。なお、後述するバランス調整モードにおいて、ホワイトバランス調整回路31ではホワイトバランス調整を行うためのRゲイン(第2の色のゲイン)およびBゲイン(第3の色のゲイン)が算出される。
The white
また、通常の観察時において、ホワイトバランス調整回路31では算出したRゲインおよびBゲインに基づいて、原画像信号のホワイトバランス調整が行なわれる。すなわち、ホワイトバランス調整回路31では、求められたRゲインが1フィールドを構成する各R信号に乗じられ、第1の調整R信号(第2の色の第1の調整信号)が生成される。また、求められたBゲインが1フィールドを構成する各B信号に乗じられ、第1の調整B信号(第3の色の第1の調整信号)が生成される。
Further, during normal observation, the white
ブラックバランス調整回路32には、ホワイトバランス調整の行われた第1の調整画像信号がホワイトバランス調整回路31から送られる。なお、第1の調整画像信号は、G信号、第1の調整R信号、および第1の調整B信号によって構成される。また、ブラックバランス調整回路32には、RゲインとBゲインとに相当する信号が送られる。
The black
ブラックバランス調整回路32において、第1の調整画像信号のブラックバランス調整を行うか否かの判断が行なわれる。ブラックバランス調整を行うと判断する場合に第1の調整画像信号のブラックバランス調整が行われる。
In the black
ブラックバランス調整を行うか否かは、RゲインおよびBゲインに基づいて行なわれる。ブラックバランス調整回路32には、ROM(図示せず)が接続される。ROMには、ブラックバランス調整を行うか否かを判別するための判別値が記憶されている。Rゲインに対応する第2の色の閾値とBゲインに対応する第3の色の閾値とが、判別値として予め定められている。
Whether or not the black balance adjustment is performed is performed based on the R gain and the B gain. A ROM (not shown) is connected to the black
Rゲインが第2の色の閾値を超えるか否か、あるいはBゲインが第3の色の閾値を超えるか否かがブラックバランス調整回路32において、判断される。いずれかのゲインが閾値を超える場合に、第1の調整画像信号に対してブラックバランス調整を実行することが判断される。
The black
ブラックバランスの調整を実行すると判断する場合は、後述するバランス調整モードにおいてブラックバランス調整回路32では、第1の調整画像信号のブラックバランスを調整するためのR信号シフト量(第2の色のシフト量)およびB信号シフト量(第3の色のシフト量)が求められる。
When it is determined that black balance adjustment is to be performed, the black
また、通常の観察時においてブラックバランスの調整が必要と判断する場合は、ブラックバランス調整回路32ではR信号シフト量およびB信号シフト量に基づいて、第1の調整画像信号のブラックバランス調整が行われる。すなわち、1フィールドを構成する各第1の調整R信号からR信号シフト量を減じることにより、第2の調整R信号(第2の色の第2の調整信号)が生成される。また、1フィールドを構成する各第1の調整B信号からB信号シフト量を減じることにより、第2の調整B信号(第3の色の第3の調整信号)が生成される。
If it is determined that black balance adjustment is necessary during normal observation, the black
ブラックバランスの調整が不要と判断する場合は、ブラックバランスの調整をすることなく第1の調整画像信号、すなわちG信号、第1の調整R信号、および第1の調整B信号が、後段信号処理回路33に出力される。また、ブラックバランスの調整を行った場合は、第2の調整画像信号が後段信号処理回路33に出力される。なお、第2の調整画像信号は、G信号、第2の調整R信号、および第2の調整B信号によって構成される。
When it is determined that the black balance adjustment is unnecessary, the first adjustment image signal, that is, the G signal, the first adjustment R signal, and the first adjustment B signal are processed in the subsequent stage signal processing without adjusting the black balance. It is output to the
第1の調整画像信号あるいは第2の調整画像信号は、後段信号処理回路33において所定の信号処理が行われる。さらに第1の調整画像信号あるいは第2の調整画像信号に対してD/A変換が行なわれ、第1の調整画像信号あるいは第2の調整画像信号はビデオ信号としてモニタ50に出力される。前述のようにモニタ50には、ビデオ信号に相当する画像が表示される。
The first adjustment image signal or the second adjustment image signal is subjected to predetermined signal processing in the post-stage
R、BゲインおよびR、B信号シフト量の算出方法および第2、第3の色の閾値について説明する。R、BゲインおよびR、B信号シフト量は、内視鏡プロセッサ20に内視鏡40を接続するときに初期準備として以下の作業を行なうことにより求められる。
The calculation method of the R, B gain and R, B signal shift amount and the threshold values of the second and third colors will be described. The R and B gains and the R and B signal shift amounts are obtained by performing the following work as an initial preparation when the
システムコントローラ25には、バランス調整スイッチ34が接続される。バランス調整スイッチ34がONに切替えられるとき、内視鏡プロセッサ20の動作モードはバランス調整モードに切り替えられる。バランス調整モードにおいて、システムコントローラ25がホワイトバランス調整回路31、ブラックバランス調整回路32、およびランプ用電源27を制御することにより、R、BゲインおよびR、B信号シフト量が算出される。
A
バランス調整スイッチ34をONにすると、照射信号がシステムコントローラ25からランプ用電源27に出力される。照射信号に基づいてランプ用電源27はランプ21に電力を供給して、ランプ21を発光させる。
When the
内視鏡40の先端部周辺が、照明光により照射される。照明光が照射されているときに、撮像素子41により内視鏡40の先端部周辺の光学像が受光され、原画像信号が生成される。
The periphery of the distal end portion of the
前述のように原画像信号はRGB信号に分離されて、ホワイトバランス調整回路31に入力される。ホワイトバランス調整回路31において、1フィールドを構成する複数のR信号の信号強度、複数のG信号の信号強度、複数のB信号の信号強度それぞれの平均値に基づいてRゲインおよびBゲインが算出される。
As described above, the original image signal is separated into RGB signals and input to the white
すなわち、1フィールドを構成する、複数のR信号の信号強度の平均値を複数のG信号の信号強度の平均値で除すことにより、Rゲインが算出される。また、1フィールドを構成する、複数のB信号の信号強度の平均値を複数のG信号の信号強度の平均値で除すことにより、Bゲインが算出される。 That is, the R gain is calculated by dividing the average value of the signal intensities of the plurality of R signals constituting one field by the average value of the signal intensities of the plurality of G signals. Further, the B gain is calculated by dividing the average value of the signal intensities of the plurality of B signals constituting one field by the average value of the signal intensities of the plurality of G signals.
算出されたRゲインおよびBゲインは、RAM(図示せず)に記憶あるいはホワイトバランス調整回路31に保持される。記憶あるいは保持されたRゲインおよびBゲインは、観察時のホワイトバランス調整に用いられる。
The calculated R gain and B gain are stored in a RAM (not shown) or held in the white
RゲインおよびBゲインの算出を終えると、停止信号がシステムコントローラ25からランプ用電源27に出力される。停止信号に基づいてランプ用電源27はランプ21への電力の供給を停止して、ランプ21を消灯させる。
When the calculation of the R gain and the B gain is finished, a stop signal is output from the
内視鏡41の先端部への照明光の照射が停止される。照明光の照射を停止しているときに、撮像素子41により内視鏡40の先端部周辺の光学像が受光され、原画像信号が生成される。
Irradiation of illumination light to the distal end portion of the
この時点で生成された原画像信号には、記憶または保持されたRゲインおよびBゲインに基づいてホワイトバランス調整が行われる。ホワイトバランス調整により生成する第1の調整画像信号がブラックバランス調整回路32に入力される。また、前述のようにRゲインおよびBゲインもブラックバランス調整回路32に入力される。
The original image signal generated at this time is subjected to white balance adjustment based on the stored or held R gain and B gain. A first adjustment image signal generated by white balance adjustment is input to the black
ブラックバランス調整回路32がブラックバランスの調整を行うと判断すると、1フィールドを構成する複数の第1の調整R信号の信号強度、複数のG信号の信号強度、および複数の第1の調整B信号の信号強度それぞれの平均値に基づいて、R信号シフト量およびB信号シフト量が求められる。
When the black
すなわち、1フィールドを構成する、複数の第1の調整R信号の信号強度の平均値から複数のG信号の信号強度の平均値を減じることにより、R信号シフト量が算出される。また、1フィールドを構成する、複数の第1の調整B信号の信号強度の平均値から複数のG信号の信号強度の平均値を減じることにより、B信号シフト量が算出される。 That is, the R signal shift amount is calculated by subtracting the average value of the signal intensities of the plurality of G signals from the average value of the signal intensities of the plurality of first adjustment R signals constituting one field. Further, the B signal shift amount is calculated by subtracting the average value of the signal intensities of the plurality of G signals from the average value of the signal intensities of the plurality of first adjustment B signals constituting one field.
算出されたR信号シフト量およびB信号シフト量は、RAM(図示せず)に記憶あるいはブラックバランス調整回路32に保持される。記憶あるいは保持されたR信号シフト量およびB信号シフト量は、観察時のブラックバランス調整に用いられる。
The calculated R signal shift amount and B signal shift amount are stored in a RAM (not shown) or held in the black
以上のようなバランス調整モードを実行する間は、図2に示すバランス調整治具60が内視鏡40の先端部に装着される。バランス調整治具60により内視鏡40の先端部が覆われる。内視鏡40の先端部が覆われることにより、バランス調整治具60の外部からの光の撮像素子41への入射が防がれる。なお、バランス調整治具60の内壁は白色である。
During execution of the balance adjustment mode as described above, the
バランス調整スイッチ34をONに切替えると、照明光がバランス調整治具の内壁61に照射される(図3参照)。照射光の反射光を受光して得られる原画像信号を用いて、RゲインおよびBゲインが算出される。ゲインの算出が終わると照明光の照射が停止され、撮像素子41には光が入射しない状態となる。この状態において生成される原画像信号は光学的に黒となる原画像信号であって、ブラックバランスを調整するための輝度値がゼロにおけるRGB信号に分離が可能な信号である。
When the
第2、第3の色の閾値の設定について、図4〜図8を用いて説明する。図4は、ホワイトバランス調整を行う前の輝度―RGB信号強度を示す第1のグラフである。図5は、ホワイトバランス調整を行った後の輝度―RGB信号強度を示す第1のグラフである。図6は、ホワイトバランス調整を行う前の輝度―RGB信号強度を示す第2のグラフである。図7は、ホワイトバランス調整を行った後の輝度―RGB信号強度を示す第2のグラフである。図8は、ブラックバランス調整を行なった後の輝度―RGB信号強度を示すグラフである。 The setting of the threshold values for the second and third colors will be described with reference to FIGS. FIG. 4 is a first graph showing luminance-RGB signal intensity before white balance adjustment. FIG. 5 is a first graph showing luminance-RGB signal intensity after white balance adjustment. FIG. 6 is a second graph showing luminance-RGB signal intensity before white balance adjustment. FIG. 7 is a second graph showing the luminance-RGB signal intensity after white balance adjustment. FIG. 8 is a graph showing luminance-RGB signal intensity after performing black balance adjustment.
1フィールドを構成する複数のR、G、B信号からそれぞれのR、G、B信号に対応する輝度が求められる。1フィールドを構成する複数のR信号の信号強度の平均値および対応する平均の輝度と輝度がゼロであるときのR信号の信号強度とを、輝度―RGB信号強度のグラフにおいて結ぶことによりR信号線Lrが描かれる(図4、図6参照)。 The luminance corresponding to each R, G, B signal is obtained from a plurality of R, G, B signals constituting one field. An R signal is obtained by connecting an average value of signal intensities of a plurality of R signals constituting one field and a corresponding average luminance and a signal intensity of the R signal when the luminance is zero in a luminance-RGB signal intensity graph. A line Lr is drawn (see FIGS. 4 and 6).
同様に、1フィールドを構成する複数のG信号の信号強度の平均値および対応する平均の輝度と輝度がゼロであるときのG信号の信号強度とを、輝度―RGB信号強度のグラフにおいて結ぶことによりG信号線Lgが描かれる。 Similarly, the average value of the signal intensity of a plurality of G signals constituting one field and the corresponding average luminance and the signal intensity of the G signal when the luminance is zero are connected in the luminance-RGB signal intensity graph. Thus, the G signal line Lg is drawn.
また同様に、1フィールドを構成する複数のB信号の信号強度の平均値および対応する平均の輝度と輝度がゼロであるときのB信号の信号強度とを、輝度―RGB信号強度のグラフにおいて結ぶことによりB信号線Lbが描かれる。 Similarly, the average value of the signal intensity of a plurality of B signals constituting one field and the corresponding average luminance and the signal intensity of the B signal when the luminance is zero are connected in a luminance-RGB signal intensity graph. Thus, the B signal line Lb is drawn.
1フィールドを構成する複数のR信号に対応する輝度の平均値、複数のG信号に対応する輝度の平均値、および複数のB信号に対応する輝度の平均値は、輝度平均値Baveに等しい。Rゲインを輝度平均値BaveにおけるR信号に乗じることにより、R信号と輝度平均値BaveにおけるG信号とが一致する。同様に、Bゲインを輝度平均値BaveにおけるB信号に乗じることにより、B信号と輝度平均値BaveにおけるG信号とが一致する。 The average luminance value corresponding to the plurality of R signals constituting one field, the average luminance value corresponding to the plurality of G signals, and the average luminance value corresponding to the plurality of B signals are equal to the average luminance value Bave. By multiplying the R signal by the R gain at the luminance average value Bave, the R signal and the G signal at the luminance average value Bave match. Similarly, by multiplying the B signal by the B gain at the luminance average value Bave, the B signal and the G signal at the luminance average value Bave match.
輝度がゼロのときにおいても、RGB信号の信号強度はゼロを超える光学的黒レベルの信号強度である。したがって、R信号線Lr上のR信号にRゲインを乗じても、G信号線Lgに完全に一致させることは出来ない。また同様に、B信号線Lb上のB信号にBゲインを乗じても、G信号線Lgに完全に一致させることはできない。 Even when the luminance is zero, the signal intensity of the RGB signal is an optical black level signal intensity exceeding zero. Therefore, even if the R signal on the R signal line Lr is multiplied by the R gain, it cannot be completely matched with the G signal line Lg. Similarly, even if the B signal on the B signal line Lb is multiplied by the B gain, it cannot be completely matched with the G signal line Lg.
図4に示すように、ホワイトバランス調整前の輝度平均値BaveにおけるB信号とG信号との差が小さいときは、B信号にBゲインを乗じた第1の調整B信号はG信号と輝度信号全体に渡って、略等しい(図5参照)。このような場合は、ブラックバランスが未調整であっても、十分な色の再現性を得ることが可能である。 As shown in FIG. 4, when the difference between the B signal and the G signal in the luminance average value Bave before white balance adjustment is small, the first adjustment B signal obtained by multiplying the B signal by the B gain is the G signal and the luminance signal. It is substantially equal throughout (see FIG. 5). In such a case, sufficient color reproducibility can be obtained even if the black balance is not adjusted.
一方、図6に示すように、ホワイトバランス調整前の輝度平均値BaveにおけるB信号とG信号との信号強度の差が大きい時は、B信号に乗じるBゲインは大きな値になる。したがって、輝度が0におけるB信号にBゲインを乗じたB信号の信号強度とG信号の信号強度との差が大きくなる(図7参照)。色信号の間の光学的黒レベルの差が大きくなると、色の再現性が損なわれる。 On the other hand, as shown in FIG. 6, when the difference in signal intensity between the B signal and the G signal in the luminance average value Bave before white balance adjustment is large, the B gain multiplied by the B signal becomes a large value. Therefore, the difference between the signal intensity of the B signal, which is obtained by multiplying the B signal at a luminance of 0 by the B gain, and the signal intensity of the G signal increases (see FIG. 7). When the difference in optical black level between color signals becomes large, color reproducibility is impaired.
そこで、画像の色の再現性を損なわせるRゲインまたはBゲインが、それぞれ第2の色の閾値、第3の色の閾値として定められる。なお、図8に示すように、ブラックバランス調整後は、輝度平均値Baveにおいてわずかに色信号の差が生じるが、原画像信号に比べて色の再現性は大幅に向上される。 Therefore, the R gain or the B gain that impairs the color reproducibility of the image is determined as the second color threshold and the third color threshold, respectively. As shown in FIG. 8, after the black balance adjustment, there is a slight color signal difference in the luminance average value Bave, but the color reproducibility is greatly improved compared to the original image signal.
次に、内視鏡プロセッサ20により行なわれるバランス調整の処理について図9、図10のフローチャートを用いて説明する。図9はバランス調整モードにおいて行われるゲインおよびシフト量の算出のフローチャートである。図10は通常観察時に行なわれるホワイトバランス、ブラックバランスの調整のフローチャートである。
Next, the balance adjustment process performed by the
内視鏡40を接続し、内視鏡プロセッサ20の電源をONにすることにより、バランス調整の処理は開始する。ステップS100において、バランス調整スイッチ34がONであるか判断する。ONである場合は、ステップS101に進む。
The balance adjustment process is started by connecting the
バランス調整スイッチ34がOFFのままである場合は、ゲインおよびシフト量の算出の処理を終了する。なお、この場合、通常観察におけるホワイトバランス調整およびブラックバランス調整に用いるR、Bゲインを1、R、B信号シフト量を0に設定してRAMに記憶、またはホワイトバランス調整回路31およびブラックバランス調整回路32において保持する。
If the
ステップS101において、照明光を内視鏡40の先端部の周囲に照射させる。照明光を照射するとステップS102に進み、撮像素子41を駆動して原画像信号を生成する。
In step S <b> 101, illumination light is irradiated around the distal end portion of the
次にステップS103に進み、RゲインおよびBゲインを算出する。算出したR、BゲインをRAMに記憶、またはホワイトバランス調整回路31において保持する。次にステップS104に進む。ステップS104では、Rゲインが第2の色の閾値を超えているか、あるいはBゲインが第3の色の閾値を超えているかの判断を行なう。
In step S103, R gain and B gain are calculated. The calculated R and B gains are stored in the RAM or held in the white
R、Bゲインのいずれもが閾値を下回る場合は、R、B信号シフト量を0に設定してRAMに記憶またはブラックバランス調整回路32において保持して、ゲインおよびシフト量の算出の処理を終了する。R、Bゲインの何れかが閾値を超える場合は、ステップS105に進む。ステップS105では、照明光の照射を停止する。
When both the R and B gains are below the threshold value, the R and B signal shift amounts are set to 0 and stored in the RAM or held in the black
次のステップS106では、再び撮像素子41を駆動して原画像信号を生成して、ステップS107に進む。ステップS107において、R信号シフト量およびB信号シフト量を算出する。算出したR、B信号シフト量をRAMに記憶、またはブラックバランス調整回路32において保持する。ステップS107の終了後、ゲインおよびシフト量の算出の処理を終了する。
In the next step S106, the
ゲインおよびシフト量の算出の処理の終了後、通常の観察におけるバランス調整処理が行われる。通常観察のバランス調整は、ステップS100でバランス調整スイッチ34がOFFのままである場合、ステップS104でR、Bゲインが閾値を下回る場合、あるいはステップS107の処理の終了後に始まる。なお、通常観察時には、ランプ21を発光させて被写体に照明光を照射している。
After completion of the gain and shift amount calculation processing, balance adjustment processing in normal observation is performed. The balance adjustment for normal observation starts when the
始めのステップS200では、撮像素子41を駆動して原画像信号を生成する。次のステップS201では、ステップS200において生成した原画像信号のホワイトバランス調整を行い、第1の調整画像信号を生成する。なお、ステップS201では、ゲインおよびシフト量算出処理において記憶または保持されたR、Bゲインに基づいてホワイトバランス調整を行う。
In the first step S200, the
ホワイトバランスの調整後ステップS202に進む。ステップS202では、ステップS201で生成した第1の調整画像信号に対してブラックバランス調整を行う。なお、ステップS202では、ゲインおよびシフト量算出処理において記憶または保持されたR、B信号シフト量に基づいてブラックバランス調整を行う。 After the white balance adjustment, the process proceeds to step S202. In step S202, black balance adjustment is performed on the first adjusted image signal generated in step S201. In step S202, black balance adjustment is performed based on the R and B signal shift amounts stored or held in the gain and shift amount calculation processing.
ブラックバランス調整の終了後、ステップS203に進む。ステップS203では、通常観察を終了するか否かの確認を行なう。終了しない場合は、ステップS200に戻る。以後、通常観察を終了するまでステップS200〜ステップS203の処理を繰返す。ステップS203で、通常観察を終了する場合にバランス調整の処理を終了する。 After the black balance adjustment is completed, the process proceeds to step S203. In step S203, it is confirmed whether or not the normal observation is terminated. If not, the process returns to step S200. Thereafter, the processes in steps S200 to S203 are repeated until normal observation is terminated. In step S203, the balance adjustment process is terminated when the normal observation is terminated.
以上のような本実施形態の内視鏡プロセッサ20によれば、ブラックバランス調整が必要かどうかの判断を行い、不要である場合にブラックバランス調整を行なわないので、内視鏡40の撮影準備の動作が短縮される。
According to the
また、バランス調整スイッチを一度ONにするだけで、照明光を照射した状態における原画像信号に基づいてホワイトバランス調整のためのR、Bゲインが算出され、次に照明光の照射を停止した状態における原画像信号に基づいてブラックバランス調整のためのR、B信号シフト量が算出される。 In addition, the R and B gains for white balance adjustment are calculated based on the original image signal in a state where the illumination light is irradiated, and the illumination light irradiation is stopped after the balance adjustment switch is turned on once. R and B signal shift amounts for black balance adjustment are calculated based on the original image signal at.
したがって、バランス調整治具60のように光を十分に反射する部材により内視鏡40の先端部を覆ってバランス調整スイッチ34を一度ONにするだけで、従来のように撮影条件を変えて再度バランス調整スイッチの操作を行なうことなく、R、Bゲインと必要に応じてR、B信号シフト量が算出される。すなわち、オペレータの作業工程を減らすことが可能になる。
Therefore, just by turning on the
次に本発明の第2の実施形態を適用した内視鏡プロセッサについて説明する。第2の実施形態は、色調の微調整を行なうための色調微調整係数用メモリと色調補正回路を備える構成において第1の実施形態と異なる。以下、第1の実施形態と異なる点を中心に説明する。なお、第1の実施形態と同じ機能を有する部位には同じ符号を付す。 Next, an endoscope processor to which a second embodiment of the present invention is applied will be described. The second embodiment differs from the first embodiment in a configuration including a color tone fine adjustment coefficient memory for finely adjusting the color tone and a color tone correction circuit. Hereinafter, a description will be given focusing on differences from the first embodiment. In addition, the same code | symbol is attached | subjected to the site | part which has the same function as 1st Embodiment.
図11は、第2の実施形態を適用した内視鏡プロセッサ200を有する内視鏡システム100の内部構成を概略的に示すブロック図である。
FIG. 11 is a block diagram schematically showing an internal configuration of an
第1の実施形態と同様に、内視鏡システム100は、内視鏡プロセッサ200、内視鏡40、モニタ50によって構成される。また、内視鏡プロセッサ20がコネクタを介して内視鏡40およびモニタ50に接続される構成も第1の実施形態と同様である。
As in the first embodiment, the
内視鏡プロセッサ200の内部に設けられるランプ21、集光レンズ24、絞り23、絞り駆動回路26の配置および機能は第1の実施形態と同じである。
The arrangement and functions of the
システムコントローラ25から撮像素子41を駆動するための駆動信号が撮像素子駆動回路28に出力され、撮像素子41が駆動されることにより原画像信号が生成されることも第1の実施形態と同じである。また、原画像信号が映像信号処理回路290に送られることも第1の実施形態と同じである。
The drive signal for driving the
映像信号処理回路290は、前段信号処理回路30、ホワイトバランス調整回路31、ブラックバランス調整回路32、色調補正回路35、および後段信号処理回路33によって構成される。
The video
撮像素子41において生成された原画像信号が、前段信号処理回路30においてRGB信号に分離され、デジタル信号としてホワイトバランス調整回路31に送られることは第1の実施形態と同じである。
As in the first embodiment, the original image signal generated in the
ホワイトバランス調整回路31において、R、Bゲインの算出およびR、Bゲインに基づいて原画像信号にホワイトバランス調整を行い、第1の調整画像信号が生成されることも第1の実施形態と同じである。
The white
ブラックバランス調整回路32において、第1の調整画像信号のブラックバランス調整を行うか否かの判断をすることおよびブラックバランス調整が必要な場合は第1の調整画像信号のブラックバランス調整を行い第2の調整画像信号を生成することは第1の実施形態と同じである。
In the black
第1の調整画像信号あるいは第2の調整画像信号が色調補正回路35に送られる。色調補正回路35では、後述するように第1の調整画像信号あるいは第2の調整画像信号に相当する画像の色調を微調整するための色調補正処理および色バランス処理が行われる。色調補正処理および色バランス処理を行うことにより、第4の調整画像信号が生成される。
The first adjusted image signal or the second adjusted image signal is sent to the color
第4の調整画像信号は、後段信号処理回路33に送られる。第4の調整画像信号は後段信号処理回路33において所定の信号処理が行われる。さらに第4の調整画像信号に対してD/A変換が行なわれ、第4の調整画像信号はビデオ信号としてモニタ50に出力される。第1の実施形態と同様に、モニタ50にはビデオ信号に相当する画像が表示される。
The fourth adjusted image signal is sent to the subsequent
第1の調整画像信号あるいは第2の調整画像信号に相当する画像の色調の微調整について詳細に説明する。システムコントローラ25には色調補正ダイアル36(入力部)が設けられる。色調補正ダイアル36はシステムコントローラ25に接続される。
The fine adjustment of the color tone of the image corresponding to the first adjusted image signal or the second adjusted image signal will be described in detail. The
色調補正ダイアル36により、色調補正処理のための色調補正値がシステムコントローラ25を介して色調補正メモリ37に記憶される。色調補正メモリ37は、色調補正回路35に接続される。色調補正メモリ37に記憶された色調補正値に基づいて、色調補正回路35において第1の調整画像信号あるいは第2の調整画像信号の色調補正処理が行われる。
A color correction value for color correction processing is stored in the
色調補正値は、画像の赤みを調整するためのR信号補正シフト量と画像の青みを調整するためのB信号補正シフト量によって構成される。色調補正回路35において、第1の調整R信号または第2の調整R信号からR信号補正シフト量を減ずることによって、第3の調整R信号が生成される。また同様に、第1の調整B信号または第2の調整B信号からB信号補正シフト量を減ずることによって、第3の調整B信号が生成される。
The tone correction value is composed of an R signal correction shift amount for adjusting the redness of the image and a B signal correction shift amount for adjusting the blueness of the image. In the
また、第3の調整R信号および第3の調整B信号の生成後、色調補正回路35において第3の調整R信号、G信号、第3の調整B信号の色バランス処理が行われる。まず、色調補正回路35において、色バランス処理を行うためのR調整ゲイン(第2の色の調整ゲイン)とB調整ゲイン(第3の色の調整ゲイン)が算出される。
In addition, after the generation of the third adjustment R signal and the third adjustment B signal, the color
第3の調整R信号にR信号シフト量およびR信号補正シフト量を加えることにより、第3の調整R信号がブラックバランス調整を行う前の第1の調整R信号に一旦変換される。第1の調整R信号にR調整ゲインを乗じ、再度R信号シフト量およびR信号補正シフト量を加えることにより、色バランス処理の行われた第4の調整R信号が生成される。 By adding the R signal shift amount and the R signal correction shift amount to the third adjustment R signal, the third adjustment R signal is once converted into the first adjustment R signal before the black balance adjustment. By multiplying the first adjustment R signal by the R adjustment gain and adding the R signal shift amount and the R signal correction shift amount again, the fourth adjustment R signal subjected to the color balance processing is generated.
また同様に、第3の調整B信号にB信号シフト量およびB信号補正シフト量を加えることにより、第3の調整B信号がブラックバランス調整を行う前の第1の調整B信号に一旦変換される。第1の調整B信号にB調整ゲインを乗じ、再度B信号シフト量およびB信号補正シフト量を加えることにより、色バランス処理の行われた第4の調整B信号が生成される。なお、第4の調整R信号、G信号、および第4の調整B信号が。第4の調整画像信号として出力される。 Similarly, by adding the B signal shift amount and the B signal correction shift amount to the third adjustment B signal, the third adjustment B signal is once converted into the first adjustment B signal before the black balance adjustment. The By multiplying the first adjustment B signal by the B adjustment gain and adding the B signal shift amount and the B signal correction shift amount again, the fourth adjustment B signal subjected to the color balance processing is generated. The fourth adjustment R signal, the G signal, and the fourth adjustment B signal. The fourth adjusted image signal is output.
色調補正回路35で行われる色調補正処理と色バランス処理について図12〜図14を用いて説明する。図12は、ブラックバランス調整後の輝度―RGB信号強度を示すグラフである。図13は、色調補正処理後の輝度―RGB信号強度を示すグラフである。図14は、色バランス処理後の輝度―RGB信号強度を示すグラフである。
Color tone correction processing and color balance processing performed by the color
ブラックバランス調整の行われたRGB信号からB信号補正シフト量が減じられることにより、B信号線Lbは下方に平行移動する(図13参照)。G信号線Lgと下方に平行移動したB信号線Lbとを比較すると、異なる輝度におけるG信号に対するB信号の信号強度の比が変わる(図13参照)。 When the B signal correction shift amount is subtracted from the RGB signal subjected to the black balance adjustment, the B signal line Lb is translated downward (see FIG. 13). When comparing the G signal line Lg and the B signal line Lb translated downward, the ratio of the signal intensity of the B signal to the G signal at different luminances changes (see FIG. 13).
それゆえ、輝度の変化によって色合いが変化することになる。そこで、色バランス処理を施して、B信号または第1の調整B信号に乗じるゲインを変え、全輝度においてG信号に対するB信号の信号強度の比を一定にする調整が行われる。 Therefore, the hue changes due to the change in luminance. Therefore, color balance processing is performed to change the gain multiplied by the B signal or the first adjustment B signal, and adjustment is performed to make the ratio of the signal intensity of the B signal to the G signal constant at all luminances.
したがって、輝度がゼロの時および輝度が輝度平均値Baveの時におけるG信号に対する第4の調整B信号の比が同じになるように前述のB調整ゲインは算出される。同様に、輝度がゼロの時および輝度が輝度平均値Baveの時におけるG信号に対する第4の調整R信号の比が同じになるように前述のR調整ゲインは算出される。 Therefore, the B adjustment gain is calculated so that the ratio of the fourth adjustment B signal to the G signal is the same when the luminance is zero and when the luminance is the luminance average value Bave. Similarly, the R adjustment gain is calculated so that the ratio of the fourth adjustment R signal to the G signal is the same when the luminance is zero and when the luminance is the luminance average value Bave.
次に、内視鏡プロセッサ200により行なわれるバランス調整の処理について説明する。本実施形態により行なわれるバランス調整の処理のうちバランス調整モードにおいて行なわれる処理は、第1の実施形態と同じである(図9参照)。本実施形態では、通常観察時に行なわれるホワイトバランス、ブラックバランスの処理が異なっている。以下、通常観察時に行なわれるホワイトバランス、ブラックバランスの処理について図15を用いて説明する。
Next, the balance adjustment process performed by the
まず、ステップS300において、撮像素子41を駆動して原画像信号を生成する。次にステップS301に進み、ステップS300において生成した原画像信号のホワイトバランス調整を行い、第1の調整画像信号を生成する。なお、第1の実施形態と同様にステップS301では、ゲインおよびシフト量算出処理において記憶または保持されたR、Bゲインに基づいてホワイトバランス調整を行う。
First, in step S300, the
ホワイトバランスの調整後ステップS302に進む。ステップS302では、ステップS301で生成した第1の調整画像信号に対してブラックバランス調整を行う。なお、ステップS302では、ゲインおよびシフト量算出処理において記憶または保持されたR、B信号シフト量に基づいてブラックバランス調整を行う。 After the white balance adjustment, the process proceeds to step S302. In step S302, black balance adjustment is performed on the first adjusted image signal generated in step S301. In step S302, black balance adjustment is performed based on the R and B signal shift amounts stored or held in the gain and shift amount calculation processing.
ブラックバランス調整の終了後、ステップS303に進む。ステップS303では、色調補正メモリ37にR信号補正シフト量またはB信号補正シフト量が記憶されているか否か確認する。いずれの補正シフト量ともに記憶されていない場合はステップS306に進む。
After the black balance adjustment is completed, the process proceeds to step S303. In step S303, it is confirmed whether or not the R signal correction shift amount or the B signal correction shift amount is stored in the color
ステップS303で、少なくともいずれかの補正シフト量が記憶されている場合は、ステップS304に進む。ステップS304では、第1の調整画像信号または第2の調整画像信号に対して色調補正処理を行い、第3の調整画像信号を生成する。次のステップS305では、第3の調整画像信号に色バランス処理を行い、ステップS306に進む。 If at least one of the correction shift amounts is stored in step S303, the process proceeds to step S304. In step S304, color correction processing is performed on the first adjusted image signal or the second adjusted image signal to generate a third adjusted image signal. In the next step S305, color balance processing is performed on the third adjusted image signal, and the process proceeds to step S306.
ステップS306では、通常観察を終了するか否かの確認を行なう。終了しない場合は、ステップS300に戻る。以後、通常観察を終了するまでステップS300〜ステップS306の処理を繰返す。ステップS306で、通常観察を終了する場合にバランス調整の処理を終了する。 In step S306, it is confirmed whether or not normal observation is to be terminated. If not, the process returns to step S300. Thereafter, the processes in steps S300 to S306 are repeated until normal observation is terminated. In step S306, the balance adjustment process is terminated when normal observation is terminated.
以上のように本実施形態によれば、第1の実施形態と同様の効果を得ることが可能である。また、一旦設定したオペレータの好みの色調を得ることが可能になる。ホワイトバランス調整およびブラックバランス調整の行われた画像に対して、オペレータの設定したR信号補正シフト量およびB信号補正シフト量に基づく色調補正を行なうからである。 As described above, according to the present embodiment, it is possible to obtain the same effect as that of the first embodiment. It is also possible to obtain the color tone of the operator once set. This is because color correction based on the R signal correction shift amount and the B signal correction shift amount set by the operator is performed on the image on which the white balance adjustment and the black balance adjustment have been performed.
なお第1、第2の実施形態において、原画像信号に対してR、Bゲインを用いてホワイトバランスの調整を行ったが、原画像信号のホワイトバランスを調整するいかなるホワイトバランス調整値を用いてもよい。R、Bゲイン以外のホワイトバランス調整値を用いる場合は、第2の色の閾値および第3の色の閾値に対応する判別値を用いて、ブラックバランス調整を行うか否かの判断を行えばよい。 In the first and second embodiments, the white balance is adjusted using the R and B gains for the original image signal, but any white balance adjustment value for adjusting the white balance of the original image signal is used. Also good. When using white balance adjustment values other than the R and B gains, it is possible to determine whether or not to perform black balance adjustment using the discrimination values corresponding to the second color threshold and the third color threshold. Good.
また第1、第2の実施形態において、第1の調整画像信号に対してR、B信号シフト量を用いてブラックバランスの調整を行ったが、第1の調整画像信号のブラックバランスを調整するいかなるブラックバランス調整値を用いてもよい。 In the first and second embodiments, the black balance is adjusted using the R and B signal shift amounts for the first adjusted image signal. However, the black balance of the first adjusted image signal is adjusted. Any black balance adjustment value may be used.
また第1、第2の実施形態において、1フィールドの原画像信号に基づいてR、BゲインおよびR、B信号シフト量の算出を行なっているが、所定の複数のフィールドの原画像信号を用いてもよい。 In the first and second embodiments, the R, B gain and R, B signal shift amount are calculated based on the original image signal of one field, but the original image signals of a predetermined plurality of fields are used. May be.
また第1、第2の実施形態におけるバランス調整モードでは、バランス調整治具60によって内視鏡の先端を覆ったが、内壁が光を反射する無彩色の部材であって外部から撮像素子41への光の入射を防ぐことが可能なカバーであればいかなるものでもよい。
In the balance adjustment mode in the first and second embodiments, the tip of the endoscope is covered by the
また第1、第2の実施形態におけるバランス調整モードでは、バランス調整治具60の内壁が白色であるが、無彩色であればいかなるものであってもよい。ただし、ホワイトバランスの調整は、検出可能な最大輝度に近いRGB信号により行なわれることが好ましく、白色であれば精密なR、Bゲインが算出可能である。
In the balance adjustment mode in the first and second embodiments, the inner wall of the
なお第2の実施形態において、オペレータの入力によるR信号補正シフト量およびB信号補正シフト量は一組だけでなく、複数の組合せを色調補正メモリ37に記憶させて、観察時に、いずれかの補正シフト量によって色調調整を行うか選択することも可能である。
In the second embodiment, the R signal correction shift amount and the B signal correction shift amount input by the operator are stored not only in one set but also in a plurality of combinations in the
次に、第1、第2の実施形態の第1の変形例について説明する。第1の変形例の構成は、第1、第2の実施形態の構成と略同じであるが、バランス調整モードにおける動作が第1、第2の実施形態と異なる。 Next, a first modification of the first and second embodiments will be described. The configuration of the first modification is substantially the same as that of the first and second embodiments, but the operation in the balance adjustment mode is different from that of the first and second embodiments.
バランス調整モードにおいて、R、Bゲインの算出までの動作は第1、第2の実施形態と同じである。本変形例では、R、Bゲインに基づいてブラックバランスの調整が必要であると判断する場合は、モニタ50あるいは内視鏡プロセッサ20、200の表面に設ける表示部(図示せず)に所定のマークが表示される。所定のマークが表示されるときには、オペレータによってR、B信号シフト量算出のための撮影条件が準備される。
In the balance adjustment mode, the operations up to the calculation of the R and B gains are the same as those in the first and second embodiments. In this modification, when it is determined that black balance adjustment is necessary based on the R and B gains, a predetermined display unit (not shown) provided on the surface of the
所定のマークが表示されない場合は、そのまま通常の観察が可能となる。本変形例によっても、ブラックバランスの調整が不要であるときは、従来オペレータにより行なわれた余分な作業工程を省くことが可能になる。 When the predetermined mark is not displayed, normal observation can be performed as it is. Also according to this modification, when the black balance adjustment is unnecessary, it is possible to omit an extra work process performed by an operator.
なお、本変形例においては、R、BゲインとR、B信号シフト量とを別々に算出するため、R、Bゲインの算出をするための第1のスイッチと、R、B信号シフト量を算出するための第2のスイッチとが必要である。ただし、バランス調整スイッチ34によって兼用することも可能である。
In this modification, since the R and B gains and the R and B signal shift amounts are calculated separately, the first switch for calculating the R and B gains and the R and B signal shift amounts are calculated. A second switch for calculation is required. However, the
なお、第1、第2の実施形態では、システムコントローラ25が、R、Bゲインを算出するための第1のスイッチおよびR、B信号シフト量を算出するための第2のスイッチの機能を果たしている。
In the first and second embodiments, the
さらに、第1、第2の実施形態の第2の変形例について説明する。第1の変形例の構成は、第1、第2の実施形態と同じであるが、ブラックバランス調整回路32がブラックバランスを調整するか否かの判断を行なわない点で第1の実施形態と異なる。
Furthermore, a second modification of the first and second embodiments will be described. The configuration of the first modification is the same as that of the first and second embodiments, but is different from the first embodiment in that the black
本変形例では、ブラックバランスの調整を行わなくてよいときでもブラックバランスを行うが、従来オペレータに行われていた作業を減らすことは可能である。すなわち、バランス調整治具60のように無彩色の部材により内視鏡40の先端部を覆ってバランス調整スイッチ34を一度ONにするだけで、従来のように撮影条件を変えて再度バランス調整スイッチの操作を行なうことなく、R、BゲインとR、B信号シフト量の算出が可能である。
In this modification, the black balance is adjusted even when it is not necessary to adjust the black balance, but the work conventionally performed by the operator can be reduced. In other words, the
また、本実施形態を適用した内視鏡プロセッサは、ランプ21を備える汎用の内視鏡プロセッサにバランス調整処理を行うバランス調整処理プログラムを読込ませて構成することも可能である。
In addition, the endoscope processor to which the present embodiment is applied can be configured by causing a general-purpose endoscope processor including the
10、100 内視鏡システム
20、200 内視鏡プロセッサ
21 ランプ
23 絞り
25 システムコントローラ
29、290 映像信号処理回路
30 前段信号処理回路
31 ホワイトバランス調整回路
32 ブラックバランス調整回路
33 後段信号処理回路
34 バランス調整スイッチ
35 色調補正回路
36 色調補正ダイアル
37 色調補正メモリ
40 内視鏡
41 撮像素子
60 バランス調整治具
10, 100
Claims (24)
前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理部と、
前記第1の調整画像信号のブラックバランスを調整するか否かを判断する判断部と、
前記判断部がブラックバランスの調整を行うと判断する場合に、前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部とを備える
ことを特徴とする内視鏡プロセッサ。 An acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject;
A first signal processing unit that generates a first adjusted image signal by adjusting a white balance of the original image signal;
A determination unit for determining whether to adjust a black balance of the first adjusted image signal;
A second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal when the determining unit determines to adjust the black balance; Endoscopic processor characterized by.
前記判断部は、前記ホワイトバランス調整値と所定の判別値とを比較することにより前記第1の調整画像信号のブラックバランスを調整するか判断する
ことを特徴とする請求項1に記載の内視鏡プロセッサ。 A first calculation unit that calculates a white balance adjustment value for adjusting a white balance of the original image signal;
2. The endoscope according to claim 1, wherein the determination unit determines whether to adjust a black balance of the first adjusted image signal by comparing the white balance adjustment value with a predetermined determination value. Mirror processor.
前記第1の演算部は、前記第1のスイッチがONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて前記ホワイトバランス調整値を算出する
ことを特徴とする請求項2に記載の内視鏡プロセッサ。 A first switch for starting the calculation of the white balance adjustment value;
The said 1st calculating part calculates the said white balance adjustment value based on the said original image signal corresponded to the predetermined field acquired after a said 1st switch turns ON. The endoscope processor according to 2.
前記第2の色信号に対応する前記ホワイトバランス調整値は、前記第2の色信号に乗じる第2の色のゲインであり、
前記第2の色のゲインに対応する前記所定の判別値である第2の色の閾値を、前記第2の色のゲインが超えるときに、前記第1の調整画像信号のブラックバランスを調整すると判断する
ことを特徴とする請求項2または請求項3に記載の内視鏡プロセッサ。 The original image signal is composed of a second color signal,
The white balance adjustment value corresponding to the second color signal is a gain of the second color multiplied by the second color signal;
When the black balance of the first adjustment image signal is adjusted when the gain of the second color exceeds the threshold of the second color, which is the predetermined discrimination value corresponding to the gain of the second color. The endoscope processor according to claim 2 or 3, wherein the determination is made.
前記第3の色信号に対応する前記ホワイトバランス調整値は、前記第3の色信号に乗じる第3の色のゲインであり、
前記第3の色のゲインに対応する前記所定の判別値である第3の色の閾値を、前記第3の色のゲインが超えるときに、前記第1の調整画像信号のブラックバランスを調整すると判断する
ことを特徴とする請求項4に記載の内視鏡プロセッサ。 The original image signal is composed of a third color signal,
The white balance adjustment value corresponding to the third color signal is a gain of a third color multiplied by the third color signal;
When the black balance of the first adjustment image signal is adjusted when the gain of the third color exceeds the threshold of the third color, which is the predetermined discrimination value corresponding to the gain of the third color. The endoscope processor according to claim 4, wherein determination is made.
前記第2の信号処理部は、前記ブラックバランス調整値に基づいて前記第1の調整画像信号のブラックバランスを調整する
ことを特徴とする請求項1に記載の内視鏡プロセッサ。 A second calculation unit for calculating a black balance adjustment value for performing black balance adjustment on the first adjusted image signal;
The endoscope processor according to claim 1, wherein the second signal processing unit adjusts a black balance of the first adjusted image signal based on the black balance adjustment value.
前記第2の演算部は、前記第2のスイッチがONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて前記ブラックバランス調整値を算出する
ことを特徴とする請求項6に記載の内視鏡プロセッサ。 A second switch for causing the second calculation unit to start calculating the black balance adjustment value;
The second calculation unit calculates the black balance adjustment value based on the original image signal corresponding to a predetermined field acquired after the second switch is turned on. The endoscope processor according to 6.
前記第1の調整画像信号は、前記第2の色信号に対応する第2の色の第1の調整信号によって構成され、
前記第2の色の第1の調整信号に対応する前記ブラックバランス調整値は、前記第2の色の第1の調整信号に加算または減算する第2の色のシフト量である
ことを特徴とする請求項6または請求項7に記載の内視鏡プロセッサ。 The original image signal is composed of a second color signal,
The first adjustment image signal is composed of a first adjustment signal of a second color corresponding to the second color signal,
The black balance adjustment value corresponding to the first adjustment signal of the second color is a shift amount of the second color to be added to or subtracted from the first adjustment signal of the second color. The endoscope processor according to claim 6 or 7.
前記第1の調整画像信号は、前記第3の色信号に対応する第3の色の第1の調整信号によって構成され、
前記第3の色信号に対応する前記ブラックバランス調整値は、前記第3の色の第1の調整信号に加算または減算する第3の色のシフト量である
ことを特徴とする請求項8に記載の内視鏡プロセッサ。 The original image signal is composed of a third color signal,
The first adjustment image signal is constituted by a first adjustment signal of a third color corresponding to the third color signal,
The black balance adjustment value corresponding to the third color signal is a shift amount of a third color to be added to or subtracted from the first adjustment signal of the third color. The described endoscope processor.
前記第1の演算部における前記ホワイトバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて開始させる第1のスイッチと、
被写体に照明光を照射する照明機構から、前記照明光を照射するための照明信号または前記照明光の照射を停止する停止信号を出力する出力部と、
前記出力部に前記照明信号を出力させ、前記照明信号の出力後に前記第1のスイッチをONに切替え、前記第1のスイッチをONに切替えた後の所定の時間の後に前記出力部に前記停止信号を出力させ、前記停止信号の出力後に前記第2のスイッチをONに切替えて前記ブラックバランス調整値の算出を開始させる第3のスイッチとを備え、
前記判断部は、前記ホワイトバランス調整値が第1の閾値を超えるときに前記第1の調整画像信号のブラックバランスを調整すると判断する
ことを特徴とする請求項7に記載の内視鏡プロセッサ。 A first arithmetic unit that calculates a white balance adjustment value for adjusting the white balance of the original image signal by the first signal processing unit;
A first switch for starting calculation of the white balance adjustment value in the first arithmetic unit based on the original image signal corresponding to a predetermined field acquired after being turned ON;
An output unit that outputs an illumination signal for irradiating the illumination light or a stop signal for stopping irradiation of the illumination light from an illumination mechanism that irradiates a subject with illumination light;
The output signal is output to the output unit, the first switch is turned ON after the illumination signal is output, and the output unit is stopped after a predetermined time after the first switch is turned ON. A third switch that outputs a signal and switches the second switch to ON after the stop signal is output to start calculation of the black balance adjustment value;
The endoscope processor according to claim 7, wherein the determination unit determines to adjust the black balance of the first adjusted image signal when the white balance adjustment value exceeds a first threshold value.
前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理部と、
前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部と、
前記原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部と、
前記第1の演算部における前記ホワイトバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて開始させる第1のスイッチと、
前記第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算部と、
前記第2の演算部における前記ブラックバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて開始させる第2のスイッチと、
被写体に照明光を照射する照明機構から、前記照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力部と、
前記出力部に前記照明信号を出力させ、前記照明信号の出力後に前記第1のスイッチをONに切替え、前記第1のスイッチをONに切替えた後の所定の時間の後に前記出力部に前記停止信号を出力させ、前記停止信号の出力後に前記第2のスイッチをONに切替えて前記ブラックバランス調整値の算出を開始させる第3のスイッチとを備える
ことを特徴とする内視鏡プロセッサ。 An acquisition unit that acquires an original image signal generated by causing an imaging unit to receive an optical image of a subject;
A first signal processing unit that generates a first adjusted image signal by adjusting a white balance of the original image signal;
A second signal processing unit that generates a second adjusted image signal by adjusting a black balance of the first adjusted image signal;
A first calculation unit for calculating a white balance adjustment value for adjusting a white balance of the original image signal;
A first switch for starting calculation of the white balance adjustment value in the first arithmetic unit based on the original image signal corresponding to a predetermined field acquired after being turned ON;
A second calculation unit for calculating a black balance adjustment value for performing black balance adjustment on the first adjusted image signal;
A second switch for starting calculation of the black balance adjustment value in the second arithmetic unit based on the original image signal corresponding to a predetermined field acquired after being turned ON;
An output unit that outputs an illumination signal for irradiating the illumination light or a stop signal for stopping the illumination light from an illumination mechanism that illuminates the subject with illumination light;
The output signal is output to the output unit, the first switch is turned ON after the output of the illumination signal, and the output unit is stopped after a predetermined time after the first switch is turned ON. An endoscope processor, comprising: a third switch that outputs a signal, and after the stop signal is output, switches the second switch to ON to start calculation of the black balance adjustment value.
前記第1の調整画像信号は、前記第2の色信号に対応する第2の色の第1の調整信号によって構成され、
前記第2の色信号に対応する前記ホワイトバランス調整値は、前記第2の色信号に乗じる第2の色のゲインであり、
前記第2の色信号に対応する前記ブラックバランス調整値は、前記第2の色の第1の調整信号に加算または減算する第2の色のシフト量である
ことを特徴とする請求項10または請求項11に記載の内視鏡プロセッサ。 The original image signal is composed of a second color signal,
The first adjustment image signal is composed of a first adjustment signal of a second color corresponding to the second color signal,
The white balance adjustment value corresponding to the second color signal is a gain of a second color multiplied by the second color signal;
The black balance adjustment value corresponding to the second color signal is a shift amount of the second color to be added to or subtracted from the first adjustment signal of the second color. The endoscope processor according to claim 11.
前記第1の調整画像信号は、前記第3の色信号に対応する第3の色の第1の調整信号によって構成され、
前記第3の色信号に対応する前記ホワイトバランス調整値は、前記第3の色信号に乗じる第3の色のゲインであり、
前記第3の色信号に対応する前記ブラックバランス調整値は、前記第3の色の第1の調整信号に加算または減算する第3の色のシフト量である
ことを特徴とする請求項12に記載の内視鏡プロセッサ。 The original image signal is composed of a third color signal,
The first adjustment image signal is constituted by a first adjustment signal of a third color corresponding to the third color signal,
The white balance adjustment value corresponding to the third color signal is a gain of a third color multiplied by the third color signal;
The black balance adjustment value corresponding to the third color signal is a shift amount of a third color to be added to or subtracted from the first adjustment signal of the third color. The described endoscope processor.
前記入力部によって入力される色調補正値を記憶するするメモリと、
前記色調補正値に基づいて、前記第1の調整画像信号または前記第2の調整画像信号に相当する画像の色調を微調整することにより第3の調整画像信号を生成する色調補正部とを備える
ことを特徴とする請求項1または請求項11に記載の内視鏡プロセッサ。 An input unit for inputting a color correction value for finely adjusting the color tone of the image corresponding to the first adjustment image signal or the second adjustment image signal;
A memory for storing a color correction value input by the input unit;
A color correction unit that generates a third adjustment image signal by finely adjusting the color tone of the image corresponding to the first adjustment image signal or the second adjustment image signal based on the color correction value; The endoscope processor according to claim 1 or 11, characterized in that
前記第1の調整画像信号は、前記第2の色信号に対応する第2の色の第2の調整信号によって構成され、
前記第2の調整画像信号は、前記第2の色信号に対応する第2の色の第2の調整信号によって構成され、
前記第2の色信号に対応する前記色調補正値は、前記第2の色の第1の調整信号または前記第2の色の第2の調整信号に加算または減算する第2の色の補正シフト量である
ことを特徴とする請求項14に記載の内視鏡プロセッサ。 The original image signal is composed of a second color signal,
The first adjustment image signal is constituted by a second adjustment signal of a second color corresponding to the second color signal,
The second adjustment image signal is constituted by a second adjustment signal of a second color corresponding to the second color signal,
The tone correction value corresponding to the second color signal is a correction shift of a second color that is added to or subtracted from the first adjustment signal of the second color or the second adjustment signal of the second color. The endoscope processor according to claim 14, wherein the endoscope processor is a quantity.
前記第1の調整画像信号は、前記第3の色信号に対応する第3の色の第1の調整信号によって構成され、
前記第2の調整画像信号は、前記第3の色信号に対応する第3の色の第2の調整信号によって構成され、
前記第3の色信号に対応する前記色調補正値は、前記第3の色の第1の調整信号または前記第3の色の第2の調整信号に加算または減算する第3の色の補正シフト量である
ことを特徴とする請求項15に記載の内視鏡プロセッサ。 The original image signal is composed of a third color signal,
The first adjustment image signal is constituted by a first adjustment signal of a third color corresponding to the third color signal,
The second adjustment image signal is constituted by a second adjustment signal of a third color corresponding to the third color signal,
The tone correction value corresponding to the third color signal is a third color correction shift that is added to or subtracted from the first adjustment signal of the third color or the second adjustment signal of the third color. The endoscope processor according to claim 15, wherein the endoscope processor is a quantity.
前記色バランス調整値に基づいて、前記第3の調整画像信号に相当する画像の色バランスを調整する色バランス調整部とを備える
ことを特徴とする請求項14に記載の内視鏡プロセッサ。 Based on the third adjusted image signal, a color balance adjustment value for making a ratio of a plurality of color signals constituting the third adjusted image signal at the same brightness constant even when the brightness changes is calculated. A third arithmetic unit to perform,
The endoscope processor according to claim 14, further comprising: a color balance adjustment unit that adjusts a color balance of an image corresponding to the third adjustment image signal based on the color balance adjustment value.
前記電子内視鏡から出力される前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理部と、
前記第1の調整画像信号のブラックバランスを調整するか否かを判断する判断部と、
前記判断部がブラックバランスの調整を行うと判断する場合に、前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部とを備える
ことを特徴とする内視鏡システム。 An electronic endoscope that generates an original image signal by causing an imaging means to receive an optical image of a subject; and
A first signal processing unit that generates a first adjusted image signal by adjusting a white balance of the original image signal output from the electronic endoscope;
A determination unit for determining whether to adjust a black balance of the first adjusted image signal;
A second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal when the determining unit determines to adjust the black balance; Endoscope system characterized by.
前記電子内視鏡から出力される前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理部と、
前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理部と、
前記原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算部と、
前記第1の演算部における前記ホワイトバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて開始させる第1のスイッチと、
前記第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算部と、
前記第2の演算部における前記ブラックバランス調整値の算出を、ONになってから取得される所定のフィールドに相当する前記原画像信号に基づいて開始させる第2のスイッチと、
被写体に照明光を照射する照明機構から、前記照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力部と、
前記出力部に前記照明信号を出力させ、前記照明信号の出力後に前記第1のスイッチをONに切替え、前記第1のスイッチをONに切替えた後の所定の時間の後に前記出力部に前記停止信号を出力させ、前記停止信号の出力後に前記第2のスイッチをONに切替えて前記ブラックバランス調整値の算出を開始させる第3のスイッチとを備える
ことを特徴とする内視鏡システム。 An electronic endoscope that generates an original image signal by causing an imaging means to receive an optical image of a subject; and
A first signal processing unit that generates a first adjusted image signal by adjusting a white balance of the original image signal output from the electronic endoscope;
A second signal processing unit that generates a second adjusted image signal by adjusting a black balance of the first adjusted image signal;
A first calculation unit for calculating a white balance adjustment value for adjusting a white balance of the original image signal;
A first switch for starting calculation of the white balance adjustment value in the first arithmetic unit based on the original image signal corresponding to a predetermined field acquired after being turned ON;
A second calculation unit for calculating a black balance adjustment value for performing black balance adjustment on the first adjusted image signal;
A second switch for starting calculation of the black balance adjustment value in the second arithmetic unit based on the original image signal corresponding to a predetermined field acquired after being turned ON;
An output unit that outputs an illumination signal for irradiating the illumination light or a stop signal for stopping the illumination light from an illumination mechanism that illuminates the subject with illumination light;
The output signal is output to the output unit, the first switch is turned ON after the illumination signal is output, and the output unit is stopped after a predetermined time after the first switch is turned ON. An endoscope system comprising: a third switch for outputting a signal and switching the second switch to ON after outputting the stop signal to start calculation of the black balance adjustment value.
前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理手段と、
前記第1の調整画像信号のブラックバランスを調整するか否かを判断する判断手段と、
前記判断部がブラックバランスの調整を行うと判断する場合に、前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理手段として内視鏡プロセッサを機能させる
ことを特徴とするバランス調整プログラム。 Obtaining means for obtaining an original image signal generated by causing the imaging means to receive an optical image of a subject;
First signal processing means for generating a first adjusted image signal by adjusting a white balance of the original image signal;
Determining means for determining whether to adjust the black balance of the first adjusted image signal;
An endoscope as a second signal processing unit that generates a second adjusted image signal by adjusting the black balance of the first adjusted image signal when the determining unit determines to adjust the black balance. A balance adjustment program characterized by operating a processor.
前記原画像信号のホワイトバランスを調整することにより、第1の調整画像信号を生成する第1の信号処理手段と、
前記第1の調整画像信号のブラックバランスを調整することにより第2の調整画像信号を生成する第2の信号処理手段と、
前記原画像信号のホワイトバランスを調整するためのホワイトバランス調整値を算出する第1の演算手段と、
前記第1の調整画像信号に対してブラックバランス調整を行うためのブラックバランス調整値を算出する第2の演算手段と、
被写体に照明光を照射する照明機構から、前記照明光を照射するための照明信号または照明光の照射を停止する停止信号を出力する出力手段と、
ホワイトバランス調整を開始するためのスイッチからの開始信号を取得すると、前記出力手段に前記照明信号を出力させ、前記照明信号の出力後に取得する所定のフィールドに相当する前記原画像信号に基づいて前記第1の演算手段に前記ホワイトバランス調整値の算出を開始させ、前記ホワイトバランス調整値の算出開始から所定の時間経過後に前記出力手段に前記停止信号を出力させ、前記停止信号の出力後に取得する所定のフィールドに相当する前記原画像信号に基づいて前記第2の演算手段に前記ブラックバランス調整値の算出を開始させる動作制御手段として内視鏡プロセッサを機能させる
ことを特徴とするバランス調整プログラム。
Obtaining means for obtaining an original image signal generated by causing the imaging means to receive an optical image of a subject;
First signal processing means for generating a first adjusted image signal by adjusting a white balance of the original image signal;
Second signal processing means for generating a second adjusted image signal by adjusting a black balance of the first adjusted image signal;
First calculating means for calculating a white balance adjustment value for adjusting a white balance of the original image signal;
Second computing means for calculating a black balance adjustment value for performing black balance adjustment on the first adjusted image signal;
An output means for outputting an illumination signal for irradiating the illumination light or a stop signal for stopping the illumination light from an illumination mechanism for illuminating a subject with illumination light;
When a start signal from a switch for starting white balance adjustment is acquired, the output means outputs the illumination signal, and the output signal is output based on the original image signal corresponding to a predetermined field acquired after the output of the illumination signal. First calculation means starts calculation of the white balance adjustment value, the output means outputs the stop signal after a predetermined time has elapsed from the start of calculation of the white balance adjustment value, and is acquired after the stop signal is output. A balance adjustment program for causing an endoscope processor to function as an operation control means for causing the second calculation means to start calculating the black balance adjustment value based on the original image signal corresponding to a predetermined field.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005141327A JP4657003B2 (en) | 2005-05-13 | 2005-05-13 | Endoscope processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005141327A JP4657003B2 (en) | 2005-05-13 | 2005-05-13 | Endoscope processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006314616A true JP2006314616A (en) | 2006-11-24 |
JP4657003B2 JP4657003B2 (en) | 2011-03-23 |
Family
ID=37535813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005141327A Expired - Fee Related JP4657003B2 (en) | 2005-05-13 | 2005-05-13 | Endoscope processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4657003B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009284849A (en) * | 2008-05-30 | 2009-12-10 | Q P Corp | Method for producing liquid seasoning |
CN105283117A (en) * | 2013-03-15 | 2016-01-27 | 奥利弗医疗公司 | Calibration using distal cap |
JP7516446B2 (en) | 2022-03-17 | 2024-07-16 | キヤノン株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62183293A (en) * | 1986-02-06 | 1987-08-11 | Toshiba Corp | Endoscope device |
JPH03165733A (en) * | 1989-11-27 | 1991-07-17 | Ikegami Tsushinki Co Ltd | Electronic endoscope device |
JPH05292532A (en) * | 1992-04-11 | 1993-11-05 | Sony Corp | Image pickup device |
JPH08152566A (en) * | 1994-11-29 | 1996-06-11 | Toshiba Corp | Endoscope device and color adjusting method for endoscope device |
JPH10211166A (en) * | 1997-01-28 | 1998-08-11 | Olympus Optical Co Ltd | Endoscope imaging device |
JPH11197103A (en) * | 1998-01-13 | 1999-07-27 | Fuji Photo Optical Co Ltd | Electronic endoscope |
-
2005
- 2005-05-13 JP JP2005141327A patent/JP4657003B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62183293A (en) * | 1986-02-06 | 1987-08-11 | Toshiba Corp | Endoscope device |
JPH03165733A (en) * | 1989-11-27 | 1991-07-17 | Ikegami Tsushinki Co Ltd | Electronic endoscope device |
JPH05292532A (en) * | 1992-04-11 | 1993-11-05 | Sony Corp | Image pickup device |
JPH08152566A (en) * | 1994-11-29 | 1996-06-11 | Toshiba Corp | Endoscope device and color adjusting method for endoscope device |
JPH10211166A (en) * | 1997-01-28 | 1998-08-11 | Olympus Optical Co Ltd | Endoscope imaging device |
JPH11197103A (en) * | 1998-01-13 | 1999-07-27 | Fuji Photo Optical Co Ltd | Electronic endoscope |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009284849A (en) * | 2008-05-30 | 2009-12-10 | Q P Corp | Method for producing liquid seasoning |
CN105283117A (en) * | 2013-03-15 | 2016-01-27 | 奥利弗医疗公司 | Calibration using distal cap |
JP2016519593A (en) * | 2013-03-15 | 2016-07-07 | オリーブ・メディカル・コーポレイションOlive Medical Corporation | Frame calibration for white balance and fixed pattern noise using a distal cap |
US11950006B2 (en) | 2013-03-15 | 2024-04-02 | DePuy Synthes Products, Inc. | White balance and fixed pattern noise frame calibration using distal cap |
JP7516446B2 (en) | 2022-03-17 | 2024-07-16 | キヤノン株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM |
Also Published As
Publication number | Publication date |
---|---|
JP4657003B2 (en) | 2011-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100972242B1 (en) | Image processing device, endoscope device, and color balance adjusting method | |
US20040162492A1 (en) | Diagnosis supporting device | |
JP4575720B2 (en) | Electronic endoscope system | |
US7539335B2 (en) | Image data processor, computer program product, and electronic endoscope system | |
JP4390440B2 (en) | Automatic dimming device for endoscope and electronic endoscope device | |
JP3752272B2 (en) | Electronic endoscope device | |
JP2996373B2 (en) | Electronic endoscope device | |
JP2007074328A (en) | Imaging system and method of controlling same | |
JP2007215907A (en) | Endoscope processor, endoscopic system and black balance adjustment program | |
JP4657003B2 (en) | Endoscope processor | |
JP2012085790A (en) | Endoscopic system | |
WO2020049688A1 (en) | Light source control device, endoscopy system, and dimming control method | |
JP2011024901A (en) | Electronic endoscope system and light control signal correcting method | |
JP2001154232A (en) | Photometric device | |
JP3283131B2 (en) | Endoscope device | |
JP2009273676A (en) | Endoscope apparatus capable of detecting color unevenness | |
JP2005169139A (en) | Electronic endoscope apparatus | |
JPH10262922A (en) | Electronic endoscope equipment | |
JP4338406B2 (en) | Video scope of electronic endoscope equipment | |
JP2014023828A (en) | Endoscope apparatus | |
JP4426220B2 (en) | Electronic endoscope device capable of split photometry | |
JP4554891B2 (en) | Electronic endoscope device with adjustable white balance | |
JP2006006921A (en) | Electronic endoscope system | |
JP6335776B2 (en) | Endoscope system | |
JP5336867B2 (en) | Light source device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080304 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |