JP2019122492A - Endoscope device, and operation method and program of endoscope device - Google Patents

Endoscope device, and operation method and program of endoscope device Download PDF

Info

Publication number
JP2019122492A
JP2019122492A JP2018003733A JP2018003733A JP2019122492A JP 2019122492 A JP2019122492 A JP 2019122492A JP 2018003733 A JP2018003733 A JP 2018003733A JP 2018003733 A JP2018003733 A JP 2018003733A JP 2019122492 A JP2019122492 A JP 2019122492A
Authority
JP
Japan
Prior art keywords
luminance
control parameter
brightness
control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018003733A
Other languages
Japanese (ja)
Other versions
JP7023120B2 (en
Inventor
裕介 浜田
Yusuke Hamada
裕介 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018003733A priority Critical patent/JP7023120B2/en
Publication of JP2019122492A publication Critical patent/JP2019122492A/en
Application granted granted Critical
Publication of JP7023120B2 publication Critical patent/JP7023120B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

To provide an endoscope device capable of controlling the brightness more comfortably even in a situation in which a change in incident light quantity occurs repeatedly, and an operation method and a program of the endoscope device.SOLUTION: An endoscope device includes an image pick-up device for generating an image of a subject, an insertion unit provided with the image pick-up device, and a control unit. The control unit evaluates the brightness of the image, sets a control parameter for the brightness so that the brightness approximates a predetermined target value, detects a fluctuation state of at least one of the brightness and the control parameter, and determines the control parameter based on the fluctuation frequency of the fluctuation state.SELECTED DRAWING: Figure 2

Description

本発明は、内視鏡装置、内視鏡装置の作動方法およびプログラムに関する。   The present invention relates to an endoscope apparatus, an operation method of an endoscope apparatus, and a program.

内視鏡装置は、医療分野に限らず産業分野において広く利用されている。内視鏡装置は、細長の挿入部を備え、航空機をはじめとする輸送機器、その他の機器や構造物の内部における損傷、腐食等の観察、検査等のために用いられる。一般に被写体は様々であるため、内視鏡装置には、自動露光（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御機構が搭載されているものがある。ＡＥ制御は、観察条件に応じて画像の明るさを調整する処理であり、撮像される画像の明るさと目標の明るさとの差分に基づいて明るさの制御パラメータを定めるフィードバック制御を含む。   Endoscope apparatuses are widely used not only in the medical field but also in the industrial field. The endoscope apparatus is provided with an elongated insertion portion, and is used for observation, inspection, etc. of damage, corrosion, etc. in the inside of a transport device such as an aircraft and other devices and structures. Generally, there are various types of subjects, and some endoscope apparatuses are equipped with an automatic exposure (AE) control mechanism. AE control is a process of adjusting the brightness of an image according to a viewing condition, and includes feedback control that determines a control parameter of brightness based on the difference between the brightness of a captured image and the brightness of a target.

例えば、特許文献１に記載の内視鏡装置は、カメラの動きに応じて露光時間と感度を切り替える。より具体的には、カメラの動きを検出するとき、１フレームの画像を表示するまでの間に複数の画像を読み出す。このことにより、急激な輝度変化に対する追従性が向上し、より品位の高い画像を取得する。
特許文献２に記載の内視鏡装置では、ハンチングを検出するときＡＥ制御を停止する。 For example, the endoscope apparatus described in Patent Document 1 switches the exposure time and the sensitivity according to the movement of the camera. More specifically, when detecting the motion of the camera, a plurality of images are read out before displaying an image of one frame. As a result, the ability to follow rapid changes in luminance is improved, and a higher quality image is obtained.
In the endoscope apparatus described in Patent Document 2, AE control is stopped when hunting is detected.

特開２００９−１８８６４４号公報JP, 2009-188644, A 特開２００２−３２５７２９号公報JP 2002-325729 A

しかしながら、ＡＥ制御の実行中において、観察対象の被写体が周期的に動作するために、その被写体を表す画像の明るさが周期的に変動することがある。かかる現象は、例えば、工業用内視鏡を用いて発電所内でガスタービンエンジンのタービンブレードを回転させながら撮影した画像に表れることがある。また、挿入部をエンジン空間などの空洞部に挿入するとき、先端に取り付けられたカメラが壁面に近づけたり遠のけたりすることで、撮像された画像の急激な明るさの変動が繰り返されることがある。撮像された画像には、明るさの変化を本来伴わない部分が含まれても、その部分の明るさも変動することとなる。このような明るさの変動は、ユーザにとり、わずらわしく、疲労感をもたらすことがある。   However, while the AE control is being performed, the brightness of the image representing the subject may periodically fluctuate because the subject to be observed operates periodically. Such a phenomenon may appear, for example, in an image taken while rotating a turbine blade of a gas turbine engine in a power plant using an industrial endoscope. In addition, when the insertion portion is inserted into a hollow portion such as an engine space, the camera attached to the tip is brought close to or away from the wall surface, whereby the rapid fluctuation of the brightness of the captured image is repeated. There is. Even if the captured image includes a portion that is not originally accompanied by a change in brightness, the brightness of that portion also changes. Such a change in brightness may cause a user to feel bothersome and tired.

また、特許文献１に記載の内視鏡装置のようにＡＥ制御の追従性を向上しても、カメラへの入射光量の急激な変化が繰り返し発生する状況下では、撮像される画像において各部分の明るさの急激な変化が繰り返し発生することには変わりはない。
また、特許文献２に記載の内視鏡装置では、ＡＥ制御を停止した後、輝度のレベルがさらに変化しても、その輝度のレベルの変化に追従することができない。 In addition, even if the follow-up property of AE control is improved as in the endoscope apparatus described in Patent Document 1, each part of an image to be captured under a situation where rapid changes in the amount of light incident on the camera repeatedly occur. There is no change in the occurrence of sudden changes in the brightness of the.
Moreover, in the endoscope apparatus described in Patent Document 2, even if the luminance level further changes after stopping the AE control, the change in the luminance level can not be followed.

本発明は、上記の課題に鑑みてなされたものであり、入射光量の変化が繰り返し発生する状況においても、より快適に明るさを制御することができる内視鏡装置、内視鏡装置の作動方法およびプログラムを提供することを目的としている。   The present invention has been made in view of the above problems, and an endoscope apparatus capable of controlling brightness more comfortably even in a situation where a change in incident light quantity occurs repeatedly, and an operation of the endoscope apparatus It is intended to provide a method and program.

本発明の一態様は、被写体の画像を生成する撮像素子と、前記撮像素子を備えた挿入部と、制御部と、を備え、前記制御部は、前記画像の輝度を評価し、前記輝度が予め定められた目標値に近づくように前記輝度の制御パラメータを設定し、少なくとも前記輝度と前記制御パラメータの一方の変動状況を検出し、前記変動状況の変動頻度に基づいて、前記制御パラメータを定めることを特徴とする内視鏡装置である。   One aspect of the present invention includes an imaging device that generates an image of a subject, an insertion unit including the imaging device, and a control unit, the control unit evaluates the luminance of the image, and the luminance is A control parameter of the luminance is set to approach a predetermined target value, at least one fluctuation state of the luminance and the control parameter is detected, and the control parameter is determined based on a fluctuation frequency of the fluctuation state. It is an endoscope apparatus characterized by the above.

本発明によれば、入射光量の変化が繰り返し発生する状況においても、より快適に明るさが制御される。   According to the present invention, the brightness is more comfortably controlled even in the situation where the change of the incident light quantity occurs repeatedly.

本実施形態に係る内視鏡装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an endoscope apparatus concerning this embodiment. 本実施形態に係る撮像制御の例を示すフローチャートである。It is a flow chart which shows an example of imaging control concerning this embodiment. 本実施形態による輝度制御の一例を示す図である。It is a figure which shows an example of the brightness control by this embodiment. 本実施形態による輝度制御の他の例を示す図である。It is a figure which shows the other example of the brightness control by this embodiment. 撮像された画像の例を示す図である。It is a figure which shows the example of the imaged image. 本実施形態による輝度制御のさらに他の例を示す図である。It is a figure which shows the further another example of the brightness control by this embodiment. 撮像された画像の他の例を示す図である。It is a figure which shows the other example of the imaged image. 本実施形態による追従性の制御例を示す図である。It is a figure showing the example of control of the flattery nature by this embodiment. ガンマテーブルを例示する図である。It is a figure which illustrates a gamma table.

次に、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る内視鏡装置１の構成例を示すブロック図である。
本実施形態に係る内視鏡装置１は、挿入部１０と、本体部１１とを含んで構成される。挿入部１０は、被写体の内部に挿入され、少なくとも被写体の内部の画像を取得する。被写体の種類は、特に限定されない。被写体は、例えば、エンジン、タービン、ボイラ、などの産業用機器であってもよいし、生体であってもよい。挿入部１０は、屈曲可能であり細長い管状の形状を有する。挿入部１０の長さは、例えば、１〜３０ｍである。 Next, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of an endoscope apparatus 1 according to the present embodiment.
The endoscope apparatus 1 according to the present embodiment is configured to include an insertion unit 10 and a main body unit 11. The insertion unit 10 is inserted inside the subject and acquires at least an image inside the subject. The type of subject is not particularly limited. The subject may be, for example, industrial equipment such as an engine, a turbine, a boiler, or the like, or may be a living body. The insert 10 is bendable and has an elongated tubular shape. The length of the insertion portion 10 is, for example, 1 to 30 m.

挿入部１０は、その先端部において、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）撮像素子１０４、対物レンズ１０５、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、発光ダイオード）１０６、サーミスタ１０７、加速度センサ１０８、ワイヤー固定部１０９、ワイヤー連結部１２４および着脱コネクタ１３４を備える。挿入部１０の長手方向には、４本の湾曲用ワイヤー１２６が挿通されている。   The insertion unit 10 has a CCD (Charge Coupled Device) imaging device 104, an objective lens 105, an LED (Light Emitting Diode) 106, a thermistor 107, an acceleration sensor 108, a wire fixing unit 109 at its tip. , A wire connection portion 124 and a detachable connector 134. In the longitudinal direction of the insertion portion 10, four bending wires 126 are inserted.

ＣＣＤ撮像素子１０４は、被写体からの光を光電変換する。ＣＣＤ撮像素子１０４の撮像面には、画素ごとに受光素子が配列され、各受光素子は到来した光の強度に応じた電圧を生じる。ＣＣＤ撮像素子１０４は、本体部１１から入力される駆動信号が指示するタイミングに基づいて、光電変換により得られる電圧値から画素ごとの信号値を示す撮像信号を生成する。生成された撮像信号は、被写体の画像を示す。ＣＣＤ撮像素子１０４は、生成した撮像信号を本体部１１に出力する。   The CCD image sensor 104 photoelectrically converts light from a subject. On the imaging surface of the CCD imaging device 104, light receiving elements are arrayed for each pixel, and each light receiving element generates a voltage according to the intensity of the incoming light. The CCD imaging device 104 generates an imaging signal indicating a signal value for each pixel from the voltage value obtained by photoelectric conversion based on the timing indicated by the drive signal input from the main body unit 11. The generated imaging signal indicates an image of the subject. The CCD imaging device 104 outputs the generated imaging signal to the main body unit 11.

対物レンズ１０５は、挿入部１０の先端部に入射する光を収束し、被写体の像をＣＣＤ撮像素子の撮像面に結像する。対物レンズ１０５は、当該先端部の受光窓（図示せず）に対向して配置される。   The objective lens 105 converges the light incident on the distal end portion of the insertion portion 10, and forms an image of a subject on the imaging surface of the CCD imaging device. The objective lens 105 is disposed to face the light receiving window (not shown) of the tip.

ＬＥＤ１０６は、本体部１１から供給される駆動電力に基づいて光を発光する光源である。ＬＥＤ１０６は、発光した光を被写体に照射する。   The LED 106 is a light source that emits light based on the driving power supplied from the main body 11. The LED 106 emits the emitted light to the subject.

サーミスタ１０７は、挿入部１０の先端部における温度を検出する温度センサである。サーミスタ１０７は、検出した温度を示すサーミスタ信号を生成し、生成したサーミスタ信号を本体部１１に出力する。   The thermistor 107 is a temperature sensor that detects the temperature at the distal end portion of the insertion portion 10. The thermistor 107 generates a thermistor signal indicating the detected temperature, and outputs the generated thermistor signal to the main body unit 11.

加速度センサ１０８は、挿入部１０の先端部における加速度を検出する。加速度センサ１０８は、例えば、３軸加速度センサである。３軸加速度センサは、３次元空間における互いに直交する３方向のそれぞれの加速度を検出する。加速度センサ１０８は、検出した加速度を示す加速度信号を本体部１１に出力する。   The acceleration sensor 108 detects the acceleration at the tip of the insertion portion 10. The acceleration sensor 108 is, for example, a three-axis acceleration sensor. The three-axis acceleration sensor detects accelerations in three directions orthogonal to one another in a three-dimensional space. The acceleration sensor 108 outputs an acceleration signal indicating the detected acceleration to the main body 11.

ワイヤー固定部１０９は、挿入部１０の先端部に設置されている。ワイヤー固定部１０９には、４本の湾曲用ワイヤー１２６の先端が、挿入部１０の長手方向に直交する２軸方向に交互に傾動可能に接続されている。２軸のそれぞれの方向は、相互に直交する。２軸の方向には、ＵＤ（Ｕｐ−Ｄｏｗｎ）方向とＲＬ（Ｒｉｇｈｔ−Ｌｅｆｔ）方向がある。ＵＤ方向、ＲＬ方向は、撮像面に配列された画素の垂直方向、水平方向に相当する。ＵＤ、ＲＬ方向の湾曲に係る各２本の湾曲用ワイヤーを、それぞれＵＤ、ＲＬワイヤーと呼ぶ。   The wire fixing portion 109 is installed at the tip of the insertion portion 10. The tips of four bending wires 126 are connected to the wire fixing portion 109 so as to be alternately tiltable in two axial directions orthogonal to the longitudinal direction of the insertion portion 10. The directions of each of the two axes are orthogonal to one another. There are UD (Up-Down) directions and RL (Right-Left) directions in the directions of the two axes. The UD direction and the RL direction correspond to the vertical direction and the horizontal direction of the pixels arranged on the imaging surface. The two bending wires for the bending in the UD and RL directions are called UD and RL wires, respectively.

ワイヤー連結部１２４は、挿入部１０の基端部に設置されている。ワイヤー連結部１２４は、本体部１１が備えるワイヤー連結部１２５との連結時において、ワイヤー連結部１２５による牽引に応じて、各湾曲用ワイヤー１２６を挿入部１０の長手方向に牽引する。   The wire connection portion 124 is installed at the proximal end of the insertion portion 10. The wire connecting portion 124 pulls each bending wire 126 in the longitudinal direction of the insertion portion 10 according to the pulling by the wire connecting portion 125 when connecting with the wire connecting portion 125 included in the main body portion 11.

着脱コネクタ１３４は、挿入部１０の基端部に設置されている。着脱コネクタ１３４は、本体部１１が備える着脱コネクタ１３５と着脱可能な機構を備える。着脱コネクタ１３４は、例えば、着脱コネクタ１３５と相互に嵌合する形状を有する。   The detachable connector 134 is installed at the proximal end of the insertion portion 10. The detachable connector 134 includes a detachable connector 135 provided in the main body 11 and a detachable mechanism. The detachable connector 134 has, for example, a shape that mates with the detachable connector 135.

なお、挿入部１０には、撮像制御信号、撮像信号、駆動電力、サーミスタ信号および加速度信号のそれぞれを伝送する接続ケーブルが挿通されている。これらの接続ケーブルは、着脱コネクタ１３４が本体部１１の着脱コネクタ１３５に装着されているときに、それぞれの送信元ならびに送信先の構成要素と電気的に接続される。これらの接続ケーブルは、例えば、複合同軸線である。着脱コネクタ１３４、１３５は、各接続ケーブルの基端と電気的に接続する接点を備える。   A connection cable for transmitting an imaging control signal, an imaging signal, a driving power, a thermistor signal, and an acceleration signal is inserted through the insertion unit 10. These connection cables are electrically connected to respective transmission source and transmission destination components when the detachable connector 134 is attached to the detachable connector 135 of the main body 11. These connection cables are, for example, composite coaxial lines. The detachable connectors 134 and 135 include contacts electrically connected to the proximal end of each connection cable.

本体部１１は、挿入部１０の基端部と当接されうる端部にワイヤー連結部１２５と着脱コネクタ１３５を備える。本体部１１は、システム制御部１１０、ユーザインタフェース部１１１、記憶媒体１１２、パラメータ記憶部１１３、タイミングジェネレータ１１４、ＣＣＤドライブ回路１１５、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）１１８、ＬＥＤ駆動回路１１９、湾曲制御部１２１、ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３、プリアンプ１３６、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１３７および画像処理部１４０を含んで構成される。   The main body portion 11 includes a wire connection portion 125 and a detachable connector 135 at an end portion that can be in contact with the proximal end portion of the insertion portion 10. The main unit 11 includes a system control unit 110, a user interface unit 111, a storage medium 112, a parameter storage unit 113, a timing generator 114, a CCD drive circuit 115, a liquid crystal display (LCD) 118, an LED drive circuit 119, and a curve. A control unit 121, a UD bending motor 122, an RL bending motor 123, a preamplifier 136, an AFE (Analog Front End) 137, and an image processing unit 140 are included.

システム制御部１１０は、内視鏡装置１の全体の動作制御を行う構成要素である。システム制御部１１０には、ユーザインタフェース部１１１、記憶媒体１１２、パラメータ記憶部１１３、ＣＣＤドライブ回路１１５、ＬＣＤ１１８、ＬＥＤ駆動回路１１９、湾曲制御部１２１、着脱コネクタ１３５の接点および画像処理部１４０と接続されている。システム制御部１１０は、ユーザインタフェース部１１１から入力された操作信号、パラメータ記憶部１１３に記憶された各種のパラメータなどに基づいて、内視鏡装置１の各構成要素の動作を制御する。システム制御部１１０は、例えば、ＬＥＤ１０６の点灯／消灯制御、ＣＣＤ撮像素子１０４の撮像動作制御、湾曲制御部１２１の湾曲制御、温度検出制御、などがある。温度検出制御において、システム制御部１１０は、サーミスタ１０７から入力されるサーミスタ信号が示す現在の温度を示す情報をＬＣＤ１１８にＬＣＤコントローラ１１０ｂを介して表示させる。また、システム制御部１１０は、パラメータ記憶部１１３に予め記憶した許容温度の上限または下限に基づいて、現在の温度が、その上限または下限から所定範囲内である場合、上限よりも高い場合または下限よりも低い場合、ＬＣＤ１１８に所定の警告メッセージを表示させる。システム制御部１１０は、画像記録部１１０ａとＬＣＤコントローラ１１０ｂを含んで構成される。   The system control unit 110 is a component that controls the entire operation of the endoscope apparatus 1. The system control unit 110 is connected to the user interface unit 111, the storage medium 112, the parameter storage unit 113, the CCD drive circuit 115, the LCD 118, the LED drive circuit 119, the bending control unit 121, the contacts of the detachable connector 135, and the image processing unit 140 It is done. The system control unit 110 controls the operation of each component of the endoscope apparatus 1 based on the operation signal input from the user interface unit 111, various parameters stored in the parameter storage unit 113, and the like. The system control unit 110 includes, for example, turn on / off control of the LED 106, control of imaging operation of the CCD image sensor 104, control of curvature of the curvature control unit 121, control of temperature detection, and the like. In temperature detection control, the system control unit 110 causes the LCD 118 to display information indicating the current temperature indicated by the thermistor signal input from the thermistor 107 via the LCD controller 110 b. In addition, based on the upper limit or the lower limit of the allowable temperature stored in advance in the parameter storage unit 113, the system control unit 110 determines that the current temperature is higher than the upper limit if the current temperature is within the predetermined range from the upper limit or the lower limit. If lower, the LCD 118 displays a predetermined warning message. The system control unit 110 includes an image recording unit 110 a and an LCD controller 110 b.

画像記録部１１０ａは、ユーザインタフェース部１１１から入力された制御信号に基づいて、画像処理部１４０から入力される画像信号を記憶媒体１１２に記憶する。例えば、画像記録部１１０ａは、制御信号で指示される記録開始時から記録終了時までの画像信号を記憶媒体１１２に記憶する。   The image recording unit 110 a stores the image signal input from the image processing unit 140 in the storage medium 112 based on the control signal input from the user interface unit 111. For example, the image recording unit 110 a stores an image signal from the recording start time to the recording end time instructed by the control signal in the storage medium 112.

ＬＣＤコントローラ１１０ｂは、ユーザインタフェース部１１１から入力された制御信号に基づいて、画像処理部１４０から画像記録部１１０ａを介して入力される画像信号をＬＣＤ１１８に出力する。これにより、ＬＣＤ１１８は、画像処理部１４０が取得した各種の動画像、静止画像を表示することができる。静止画像を表示させる場合、ＬＣＤコントローラ１１０ｂは、その時点で取得されるフレームの画像信号を継続してＬＣＤ１１８に出力する。画像記録部１１０ａは、静止画像として取得される画像信号を記憶媒体１１２に記録してもよい。ＬＣＤコントローラ１１０ｂは、その他、各種の表示情報を示す画像信号をＬＣＤ１１８に出力する。表示情報には、例えば、操作入力等に必要な情報の案内画面などがある。   The LCD controller 110 b outputs an image signal input from the image processing unit 140 via the image recording unit 110 a to the LCD 118 based on the control signal input from the user interface unit 111. Thus, the LCD 118 can display various moving images and still images acquired by the image processing unit 140. When displaying a still image, the LCD controller 110 b continuously outputs the image signal of the frame acquired at that time to the LCD 118. The image recording unit 110 a may record an image signal acquired as a still image on the storage medium 112. In addition, the LCD controller 110 b outputs an image signal indicating various display information to the LCD 118. The display information includes, for example, a guidance screen of information necessary for operation input and the like.

ユーザインタフェース部１１１は、操作部を含んで構成される。操作部は、ユーザによる操作入力を受け付ける。操作部は、例えば、ジョイスティック、操作スイッチ、操作ボタンなどの部材である。ユーザインタフェース部１１１は、受け付けた操作入力に応じた制御信号を生成し、生成した制御信号をシステム制御部１１０に出力する。   The user interface unit 111 includes an operation unit. The operation unit receives an operation input by the user. The operation unit is, for example, a member such as a joystick, an operation switch, or an operation button. The user interface unit 111 generates a control signal according to the received operation input, and outputs the generated control signal to the system control unit 110.

記憶媒体１１２は、画像信号を記憶する記憶媒体である。記憶媒体１１２には、例えば、画像処理部１４０により得られる動画像、静止画像などの画像を示す画像信号が記憶される。   The storage medium 112 is a storage medium for storing an image signal. In the storage medium 112, for example, an image signal indicating an image such as a moving image or a still image obtained by the image processing unit 140 is stored.

パラメータ記憶部１１３は、ユーザインタフェース部１１１への操作入力、画像処理部１４０が実行する各種の画像処理に用いる画像処理パラメータ、湾曲制御部１２１による湾曲制御に関する湾曲制御パラメータなど、ユーザの操作により変更される各種のパラメータを記憶する。また、パラメータ記憶部１１３には、非撮像信号の伝送路長とＣＣＤドライブ回路１１５のドライブ処理のパラメータとの関係などが記憶されている。その他、パラメータ記憶部１１３は、画像処理部１４０によって得られた各種の値、データを記憶してもよい。   The parameter storage unit 113 is changed by user operation such as operation input to the user interface unit 111, image processing parameters used for various image processing performed by the image processing unit 140, and bending control parameters related to bending control by the bending control unit 121. Stores various parameters to be The parameter storage unit 113 also stores the relationship between the transmission path length of the non-imaging signal and the drive processing parameter of the CCD drive circuit 115. In addition, the parameter storage unit 113 may store various values and data obtained by the image processing unit 140.

タイミングジェネレータ１１４は、システム制御部１１０の撮像制御部１４７（後述）から入力された撮像制御信号に基づいてＣＣＤ撮像素子を駆動するタイミング信号を生成する。撮像制御信号には、画像処理部１４０から通知された露光時間などの情報が含まれる。露光時間は、各画素における露光開始から露光終了までの時間であり、シャッター速度の逆数に相当する。従って、露光時間が長いほど１回の読取で得られる信号レベルが高くなる。露光時間は、撮像される画像の明るさを制御するための制御パラメータとして用いられる。ここで、露光時間が長いほど輝度が高くなり、露光時間が短いほど輝度が低くなる。タイミングジェネレータ１１４は、生成したタイミング信号をＣＣＤドライブ回路１１５に出力する。なお、撮像制御部１４７により露光時間の制御が行われない場合には、タイミングジェネレータ１１４は、予め自部に設定された露光時間を用いてタイミング信号を生成してもよい。   The timing generator 114 generates a timing signal for driving a CCD imaging device based on an imaging control signal input from an imaging control unit 147 (described later) of the system control unit 110. The imaging control signal includes information such as the exposure time notified from the image processing unit 140. The exposure time is the time from the start of exposure to the end of exposure at each pixel, and corresponds to the reciprocal of the shutter speed. Therefore, the longer the exposure time, the higher the signal level obtained in one reading. The exposure time is used as a control parameter for controlling the brightness of the captured image. Here, the longer the exposure time, the higher the luminance, and the shorter the exposure time, the lower the luminance. The timing generator 114 outputs the generated timing signal to the CCD drive circuit 115. In addition, when control of exposure time is not performed by the imaging control part 147, the timing generator 114 may produce | generate a timing signal using the exposure time set to the self-part beforehand.

ＣＣＤドライブ回路１１５は、タイミングジェネレータ１１４から入力されたタイミング信号と、システム制御部１１０からの制御信号に基づいて駆動信号を生成する。システム制御部１１０からの制御信号は、撮像動作制御を示す信号である。撮像動作制御として撮像開始、撮像停止、輝度調整などが指示される。ＣＣＤドライブ回路１１５は、生成した駆動信号をＣＣＤ撮像素子１０４に出力する。駆動信号により、フレームレート、各フレームにおいて信号レベルを取得する画素の順序、画素ごとの露光開始ならびに露光終了が指示される。   The CCD drive circuit 115 generates a drive signal based on the timing signal input from the timing generator 114 and the control signal from the system control unit 110. The control signal from the system control unit 110 is a signal indicating imaging operation control. As imaging operation control, imaging start, imaging stop, brightness adjustment and the like are instructed. The CCD drive circuit 115 outputs the generated drive signal to the CCD image sensor 104. The drive signal instructs the frame rate, the order of pixels for acquiring the signal level in each frame, the start of exposure for each pixel, and the end of exposure.

ＬＣＤ１１８は、システム制御部１１０から入力される画像信号に基づく画像を表示する画像表示部である。   The LCD 118 is an image display unit that displays an image based on an image signal input from the system control unit 110.

ＬＥＤ駆動回路１１９は、システム制御部１１０から入力される制御信号に基づいてＬＥＤ１０６の点灯／消灯制御を行う。ＬＥＤ駆動回路１１９は、点灯が指示されるときＬＥＤ１０６への駆動電力の供給を開始し、消灯が指示されるとき駆動電力の供給を停止する。   The LED drive circuit 119 performs on / off control of the LED 106 based on a control signal input from the system control unit 110. The LED drive circuit 119 starts supply of drive power to the LED 106 when lighting is instructed, and stops supply of driving power when lighting off is instructed.

湾曲制御部１２１は、システム制御部１１０から入力される制御信号に基づいてＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３の一方または両方を駆動する。制御信号は、例えば、ユーザインタフェース部１１１が検出した２方向の操作量のそれぞれに対応する湾曲方向ごとの湾曲量を示す。湾曲方向は、上述したＵＤ方向、ＲＬ方向に相当する。湾曲制御部１２１は、制御信号が示すＵＤ方向の湾曲量に対応する駆動量、ＲＬ方向の湾曲量に対応する駆動量をＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３に指示する。   The bending control unit 121 drives one or both of the UD bending motor 122 and the RL bending motor 123 based on a control signal input from the system control unit 110. The control signal indicates, for example, a bending amount for each bending direction corresponding to each of the operation amounts in the two directions detected by the user interface unit 111. The bending direction corresponds to the above-mentioned UD direction and RL direction. The bending control unit 121 instructs the UD bending motor 122 and the RL bending motor 123 a driving amount corresponding to the bending amount in the UD direction indicated by the control signal and a driving amount corresponding to the bending amount in the RL direction.

ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３は、それぞれの回転により湾曲制御部１２１が指示した駆動量でＵＤワイヤー、ＲＬワイヤーをそれぞれ牽引する。
ワイヤー連結部１２５は、着脱コネクタ１３５が挿入部１０の着脱コネクタ１３４に装着された状態であるとき、挿入部１０のワイヤー連結部１２４に連結されたＵＤワイヤー、ＲＬワイヤーを連結する。ＵＤワイヤー、ＲＬワイヤーは、ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３によって牽引される。これにより、ユーザの操作に応じて挿入部１０の先端部が湾曲する。 The UD bending motor 122 and the RL bending motor 123 respectively pull the UD wire and the RL wire by the driving amounts instructed by the bending control unit 121 by the respective rotations.
When the detachable connector 135 is attached to the detachable connector 134 of the insertion unit 10, the wire coupling unit 125 couples the UD wire and the RL wire coupled to the wire coupling unit 124 of the insertion unit 10. The UD wire and the RL wire are pulled by the UD bending motor 122 and the RL bending motor 123. As a result, the distal end portion of the insertion portion 10 is curved according to the user's operation.

着脱コネクタ１３５は、挿入部１０の基端部に当接にされる位置に設置されている。着脱コネクタ１３５は、挿入部１０の着脱コネクタ１３４と着脱可能な機構を備える。着脱コネクタ１３５は、例えば、着脱コネクタ１３４と相互に嵌合する形状を有する。   The detachable connector 135 is installed at a position to be in contact with the proximal end of the insertion portion 10. The detachable connector 135 includes a detachable mechanism with the detachable connector 134 of the insertion portion 10. The detachable connector 135 has, for example, a shape that mates with the detachable connector 134.

プリアンプ１３６は、ＣＣＤ撮像素子１０４から入力される撮像信号を増幅し、増幅した撮像信号をＡＦＥ１３７に出力する。この増幅は、伝送により減衰した信号レベルを補うために行われる。   The preamplifier 136 amplifies the imaging signal input from the CCD imaging device 104, and outputs the amplified imaging signal to the AFE 137. This amplification is performed to compensate for the signal level attenuated by transmission.

ＡＦＥ１３７は、プリアンプから入力されたアナログの撮像信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ、相関二重サンプリング）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ、自動利得制御）処理およびＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ、アナログ／ディジタル）変換処理を行ってディジタルの撮像信号を生成する。なお、ＡＦＥ１３７には、撮像制御部１４７（後述）からゲインを示す撮像制御信号が入力される場合がある。その場合には、ＡＦＥ１３７は、予め自部に設定されたゲインに代え、入力される撮像制御信号が示すゲインをアナログの撮像信号に乗じて、その信号レベルを調整する。ＡＦＥ１３７は、振幅を調整したアナログの撮像信号に対してＡＤ変換処理を行う。ＡＦＥ１３７は、生成したディジタルの撮像信号を画像処理部１４０に出力する。   The AFE 137 processes CDS (Correlated Double Sampling, correlated double sampling), AGC (Automatic Gain Control), and AD (Analog-to-Digital, analog) on an analog imaging signal input from a preamplifier. Digital conversion processing to generate a digital imaging signal. An imaging control signal indicating a gain may be input to the AFE 137 from an imaging control unit 147 (described later). In that case, the AFE 137 adjusts the signal level by multiplying the analog imaging signal by the gain indicated by the input imaging control signal instead of the gain set in advance in the AFE 137. The AFE 137 performs AD conversion processing on an analog imaging signal whose amplitude has been adjusted. The AFE 137 outputs the generated digital imaging signal to the image processing unit 140.

画像処理部１４０は、黒補正部１４２、画素補間・輝度色差変換部１４３、補正処理部１４４、輝度評価部１４５および撮像制御部１４７を含んで構成される。   The image processing unit 140 includes a black correction unit 142, a pixel interpolation / luminance color difference conversion unit 143, a correction processing unit 144, a luminance evaluation unit 145, and an imaging control unit 147.

黒補正部１４２は、入力された撮像信号が示す画素ごとの信号レベルから黒レベルを差し引いて補正後の信号レベルを算出する。黒補正部１４２は、黒レベルとして、例えば、ＬＥＤ１０６の消灯期間中における信号レベル、各フレームまたは所定の期間内における信号レベルの画素間の最低値などを用いてもよい。黒補正部１４２は、画素ごとの補正後の信号レベルを示す撮像信号を画素補間・輝度色差変換部１４３に出力する。   The black correction unit 142 subtracts the black level from the signal level of each pixel indicated by the input imaging signal to calculate the corrected signal level. The black correction unit 142 may use, for example, the signal level during the turn-off period of the LED 106, or the lowest value among the pixels of the signal level within each frame or a predetermined period, as the black level. The black correction unit 142 outputs an image pickup signal indicating the corrected signal level of each pixel to the pixel interpolation / luminance color difference conversion unit 143.

画素補間・輝度色差変換部１４３は、黒補正部１４２から入力された撮像信号について画素補間処理を行う。入力される撮像信号は、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色成分の信号レベルを有する。赤、緑、青に係る画素は、画素が２次元空間内で周期的に配列されている。この配列は、例えば、べイヤー配列である。以下、各１周期の色成分に係る画素の組を画素周期と呼ぶ。画素補間処理において、画素補間・輝度色差変換部１４３は、対象画素ごとに当該対象画素から所定範囲内に配置され、当該対象画素と同一の色成分に係る画素ごとの信号レベルを補間して当該対象画素の信号レベルを算出する。対象画素とは、その時点における処理対象の画素である。フレーム内の各画素が対象画素として扱われる。補間において、例えば、バイリニア補間、バイキュービック補間などの手法を用いることができる。   The pixel interpolation and luminance color difference conversion unit 143 performs pixel interpolation processing on the imaging signal input from the black correction unit 142. The input imaging signal has a signal level of one of red (R), green (G), and blue (B) color components for each pixel. The pixels relating to red, green and blue are periodically arranged in a two-dimensional space. This arrangement is, for example, a Bayer arrangement. Hereinafter, a set of pixels relating to one cycle of color components is referred to as a pixel cycle. In the pixel interpolation process, the pixel interpolation / luminance color difference conversion unit 143 is disposed within a predetermined range from the target pixel for each target pixel, and interpolates the signal level of each pixel related to the same color component as the target pixel. Calculate the signal level of the target pixel. The target pixel is a pixel to be processed at that time. Each pixel in the frame is treated as a target pixel. In interpolation, methods such as bilinear interpolation and bicubic interpolation can be used, for example.

画素補間・輝度色差変換部１４３は、補間により得られる色成分ごとの各画素の信号レベルについて色空間変換を行って、画素周期ごとの輝度レベル（Ｙ）と２つの色差レベル（Ｃｒ）、（Ｃｂ）を算出する。つまり、画素補間・輝度色差変換部１４３は、色空間変換において、ＲＧＢ表色系で表されたＲＧＢ値をＹＣｒＣｂ表色系で表されたＹＣｒＣｂ値に変換する。色空間変換において、例えば、ＩＴＵ−Ｒ ＢＴ．６０１に規定の変換式を用いることができる。色差レベル（Ｃｒ）、（Ｃｂ）は、それぞれ赤系統、青系統の色の色相と彩度を示す。画素補間・輝度色差変換部１４３は、画素周期ごとの輝度レベルを示す輝度信号を補正処理部１４４、および輝度評価部１４５に出力する。画素補間・輝度色差変換部１４３は、画素周期ごとの２つの色差レベル（Ｃｒ）、（Ｃｂ）を示す色差信号を補正処理部１４４に出力する。   The pixel interpolation / brightness / color difference conversion unit 143 performs color space conversion on the signal level of each pixel for each color component obtained by interpolation to obtain a brightness level (Y) for each pixel cycle and two color difference levels (Cr), Calculate Cb). That is, in color space conversion, the pixel interpolation / luminance color difference conversion unit 143 converts RGB values represented by the RGB colorimetric system into YCrCb values represented by the YCrCb colorimetric system. In color space conversion, for example, ITU-R BT. A conversion formula prescribed in 601 can be used. The color difference levels (Cr) and (Cb) indicate the hue and saturation of the red and blue colors, respectively. The pixel interpolation and luminance color difference conversion unit 143 outputs the luminance signal indicating the luminance level for each pixel cycle to the correction processing unit 144 and the luminance evaluation unit 145. The pixel interpolation and luminance color difference conversion unit 143 outputs, to the correction processing unit 144, color difference signals indicating two color difference levels (Cr) and (Cb) for each pixel period.

補正処理部１４４は、画素補間・輝度色差変換部１４３から入力された輝度信号、２つの色差信号のそれぞれについて各種の補正処理を行う。補正処理には、例えば、ガンマ補正、収差補正、ノイズ軽減処理などが含まれる。ガンマ補正とは、入力された信号レベル（以下、「入力レベル」と呼ぶ）の１／γ乗を出力する信号レベル（以下、「出力レベル」と呼ぶ）として変換する処理である。ガンマ補正により、ＣＣＤ撮像素子１０４における入力光量に応じた出力値の特性が補償される。γは、ガンマ値を示す。ガンマ値は、入力レベルの変化に対する出力レベルの変化の割合を示す。一般にガンマ値が大きいほどコントラストが高い画像が得られ、ガンマ値が小さいほどコントラストが低い画像が得られる。なお、撮像制御部１４７（後述）によりガンマ値が設定される場合には、補正処理部１４４は、設定されたガンマ値を予め自部に設定されたガンマ値に代え、入力レベルに作用して出力レベルに変換する。補正処理部１４４は、補正処理により得られた輝度信号、２つの色差信号のそれぞれについて、色空間変換を行って補正後の画素ごとの信号レベルを示す画像信号を生成する。つまり、補正処理部１４４は、色空間変換において、ＹＣｒＣｂ表色系で表されたＹＣｒＣｂ値をＲＧＢ表色系で表されたＲＧＢ値に変換する。この色空間変換処理は、画素補間・輝度色差変換部１４３における色空間変換の逆変換に相当する。補正処理部１４４は、生成した画像信号をシステム制御部１１０に出力する。   The correction processing unit 144 performs various correction processes on each of the luminance signal and the two color difference signals input from the pixel interpolation and luminance color difference conversion unit 143. The correction processing includes, for example, gamma correction, aberration correction, noise reduction processing, and the like. The gamma correction is processing for converting the signal level (hereinafter referred to as "input level") to the 1 / γ power of the input signal level (hereinafter referred to as "output level"). The gamma correction compensates for the characteristics of the output value corresponding to the amount of light input to the CCD image sensor 104. γ indicates a gamma value. The gamma value indicates the ratio of change in output level to change in input level. Generally, an image with high contrast is obtained as the gamma value increases, and an image with low contrast is obtained as the gamma value decreases. When a gamma value is set by the imaging control unit 147 (described later), the correction processing unit 144 replaces the set gamma value with the gamma value set in advance and acts on the input level. Convert to output level. The correction processing unit 144 performs color space conversion on each of the luminance signal and the two color difference signals obtained by the correction processing, and generates an image signal indicating the signal level of each pixel after correction. That is, in the color space conversion, the correction processing unit 144 converts the YCrCb value represented by the YCrCb colorimetric system into the RGB value represented by the RGB colorimetric system. This color space conversion processing corresponds to the inverse conversion of the color space conversion in the pixel interpolation and luminance color difference conversion unit 143. The correction processing unit 144 outputs the generated image signal to the system control unit 110.

輝度評価部１４５は、画素補間・輝度色差変換部１４３から入力された輝度信号から各１フレームの画像全体の輝度を評価する。輝度評価部１４５は、輝度レベルの評価値として、例えば、輝度レベルの１フレーム内の画素周期間の平均値を算出する。輝度の評価値は、必ずしも平均値に限られず、１フレームの画像全体の輝度を代表する値であればよい。例えば、輝度評価部１４５は、中央重点型の評価値、画素周期間の中央値、最頻値のいずれを輝度の評価値として算出してもよい。中央重点型の評価値とは、画像の周縁部よりも中央部における輝度レベルを相対的に重視、もしくは、周縁部における輝度レベルを無視もしくは相対的に軽視して算出された評価値である。輝度評価部１４５は、算出した輝度の評価値を示す評価値情報をパラメータ記憶部１１３に記憶する。   The luminance evaluation unit 145 evaluates the luminance of the entire image of each one frame from the luminance signal input from the pixel interpolation and luminance color difference conversion unit 143. The luminance evaluation unit 145 calculates, for example, an average value between pixel cycles in one frame of the luminance level as the evaluation value of the luminance level. The evaluation value of the luminance is not necessarily limited to the average value, and may be a value representing the luminance of the entire image of one frame. For example, the luminance evaluation unit 145 may calculate any of the central emphasis type evaluation value, the median between pixel cycles, and the most frequent value as the luminance evaluation value. The central emphasis type evaluation value is an evaluation value calculated by relatively emphasizing the luminance level in the central portion rather than the peripheral portion of the image, or ignoring or relatively neglecting the luminance level in the peripheral portion. The luminance evaluation unit 145 stores evaluation value information indicating the calculated evaluation value of luminance in the parameter storage unit 113.

撮像制御部１４７は、フレーム毎に最新の評価値情報をパラメータ記憶部１１３から読み出し、読み出した評価値情報が示す評価値が示す輝度が所定の輝度の目標値に近づくように、その撮像された画像の輝度を制御するための制御パラメータを定める。ここで、撮像制御部１４７は、輝度の評価値と制御パラメータの一方又は両方の変動状況として、例えば、その一方又は両方の周期性や変動の頻度（以下、「変動頻度」と呼ぶ）を検出する。撮像制御部１４７は、その変動状況のケース毎に異なる手法で制御パラメータを定める。制御パラメータとして、露光時間、ゲインのいずれか一方もしくは双方を用いることができる。   The imaging control unit 147 reads the latest evaluation value information from the parameter storage unit 113 for each frame, and is imaged so that the luminance indicated by the evaluation value indicated by the read evaluation value information approaches a target value of a predetermined luminance. Define control parameters for controlling the brightness of the image. Here, the imaging control unit 147 detects, for example, the periodicity of one or both or the frequency of fluctuation (hereinafter referred to as “variation frequency”) as the fluctuation state of one or both of the luminance evaluation value and the control parameter. Do. The imaging control unit 147 determines control parameters by a method different for each case of the fluctuation state. As a control parameter, one or both of exposure time and gain can be used.

制御パラメータが露光時間である場合、撮像制御部１４７は、例えば、次の処理を行って露光時間を定めることができる。
（ケースＣ０１）撮像制御部１４７は、その時点（現時点）までの所定期間内における露光時間の変動頻度が所定の露光時間の変動頻度の閾値よりも高く、かつ、露光時間の変動に周期性を有すると判定する場合、その時点までの最新の１周期内の露光時間の平均値を算出し、算出した平均値を露光時間の制御値として定める。変動頻度、周期性の検出例については後述する。
（ケースＣ０２）撮像制御部１４７は、その時点までの所定期間内における露光時間の変動頻度が所定の変動頻度の閾値よりも高く、かつ、露光時間の変動に周期性を有しないと判定する場合、ＡＥ制御により露光時間を定める。但し、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性よりも低くしてＡＥ制御を行う。ＡＥ制御における追従性の制御例については後述する。 When the control parameter is the exposure time, the imaging control unit 147 can perform the following processing, for example, to determine the exposure time.
(Case C01) The imaging control unit 147 sets the fluctuation frequency of the exposure time within the predetermined period up to that time (current time) higher than the threshold of the fluctuation frequency of the predetermined exposure time, and periodicity in the fluctuation of the exposure time. When it is determined to have, the average value of the exposure time within the latest one cycle up to that point is calculated, and the calculated average value is determined as the control value of the exposure time. An example of detection of fluctuation frequency and periodicity will be described later.
(Case C02) When the imaging control unit 147 determines that the fluctuation frequency of the exposure time in the predetermined period up to that point is higher than the predetermined fluctuation frequency threshold and the fluctuation of the exposure time does not have periodicity. The exposure time is determined by AE control. However, the imaging control unit 147 performs the AE control with the followability at the time of bringing the evaluation value of the brightness close to the target brightness lower than a predetermined followability. An example of control of the followability in AE control will be described later.

（ケースＣ０３）撮像制御部１４７は、その時点までの所定期間内における露光時間の変動頻度が所定の変動頻度の閾値以下であり、かつ、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値以下と判定する場合、ＡＥ制御により露光時間を定める。但し、その場合、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性としてＡＥ制御を行う。 (Case C03) The imaging control unit 147 determines that the variation frequency of the exposure time within the predetermined period up to that point is less than or equal to the predetermined variation frequency threshold, and that the variation frequency of the luminance evaluation value is a variation of the predetermined evaluation value. When it is determined that the frequency is equal to or less than the threshold value, the exposure time is determined by AE control. However, in that case, the imaging control unit 147 performs AE control with the followability when bringing the evaluation value of the luminance close to the target luminance as a predetermined standard followability.

（ケースＣ０４）撮像制御部１４７は、その時点までの所定期間内における露光時間の変動頻度が所定の変動頻度の閾値以下であり、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値よりも高く、かつ、輝度の評価値の変動に周期性を有すると判定する場合、次のようにして露光時間を定める。撮像制御部１４７は、その時点までの最新の１周期内の輝度の評価値の平均値を算出し、算出した評価値の平均値を輝度の制御値として定める。そして、撮像制御部１４７は、定めた輝度の制御値が所定の輝度の目標値に近づくようにＡＥ制御を行って露光時間を定める。 (Case C04) The imaging control unit 147 determines that the variation frequency of the exposure time in the predetermined period up to that point is less than or equal to the predetermined variation frequency threshold, and the variation frequency of the luminance evaluation value is the variation frequency of the predetermined evaluation value. When it is determined that the fluctuation is higher than the threshold and the fluctuation of the evaluation value of the luminance has periodicity, the exposure time is determined as follows. The imaging control unit 147 calculates the average value of the evaluation values of luminance in the latest one cycle up to that point in time, and determines the average value of the calculated evaluation values as the control value of luminance. Then, the imaging control unit 147 performs AE control to determine the exposure time so that the control value of the determined luminance approaches the target value of the predetermined luminance.

（ケースＣ０５）撮像制御部１４７は、その時点までの所定期間内における露光時間の変動頻度が所定の変動頻度の閾値以下であり、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値よりも高く、かつ、輝度の評価値の変動に周期性を有しないと判定する場合、ＡＥ制御により露光時間を定める。その場合、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性よりも低くしてＡＥ制御を行う。 (Case C05) The imaging control unit 147 determines that the variation frequency of the exposure time in the predetermined period up to that point is less than or equal to the predetermined variation frequency threshold, and the variation frequency of the luminance evaluation value is the variation frequency of the predetermined evaluation value. If it is determined that the exposure time is higher than the threshold and that the fluctuation of the evaluation value of the luminance does not have periodicity, the exposure time is determined by AE control. In that case, the imaging control unit 147 performs the AE control with the followability at the time of bringing the evaluation value of the luminance close to the target luminance lower than a predetermined followability.

なお、撮像制御部１４７は、フレーム毎に定めた露光時間を示す撮像制御信号をタイミングジェネレータ１１４に出力する。これにより、定めた露光時間がタイミングジェネレータ１１４に設定される。   The imaging control unit 147 outputs an imaging control signal indicating an exposure time determined for each frame to the timing generator 114. Thereby, the defined exposure time is set to the timing generator 114.

また、撮像制御部１４７は、ゲインについても、その変動頻度と変動の周期性、輝度の評価値の変動頻度と変動の周期性に基づいて該当するケースを露光時間と同様な手法で判定し、判定したケースに応じた方式でそのゲインを定めることができる。
（ケースＣ０１）撮像制御部１４７は、現時点までの所定期間内におけるゲインの変動頻度が所定のゲインの変動頻度の閾値よりも高く、かつ、ゲインの変動に周期性を有すると判定する場合、その時点までの最新の１周期内のゲインの平均値を算出し、算出した平均値をゲインの制御値として定める。
（ケースＣ０２）撮像制御部１４７は、その時点までの所定期間内におけるゲインの変動頻度が所定の変動頻度の閾値よりも高く、かつ、ゲインの変動に周期性を有しないと判定する場合、ＡＥ制御により露光時間を定める。その場合、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性よりも低くしてＡＥ制御を行う。 Further, the imaging control unit 147 also determines the corresponding case with the same method as the exposure time, based on the variation frequency and the periodicity of the variation, the variation frequency of the evaluation value of the luminance and the periodicity of the variation, The gain can be determined according to the determined case.
(Case C01) When the imaging control unit 147 determines that the change frequency of the gain within the predetermined period to the current time is higher than the threshold of the change frequency of the predetermined gain, and the change of the gain has periodicity, The average value of the gains in the latest one cycle until the time point is calculated, and the calculated average value is determined as the control value of the gain.
(Case C02) When the imaging control unit 147 determines that the change frequency of the gain within the predetermined period up to that point is higher than the predetermined change frequency threshold and the change of the gain does not have periodicity, AE The exposure time is determined by control. In that case, the imaging control unit 147 performs the AE control with the followability at the time of bringing the evaluation value of the luminance close to the target luminance lower than a predetermined followability.

（ケースＣ０３）撮像制御部１４７は、その時点までの所定期間内におけるゲインの変動頻度が所定の変動頻度の閾値以下であり、かつ、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値以下と判定する場合、ＡＥ制御によりゲインを定める。その場合、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性としてＡＥ制御を行う。 (Case C03) The imaging control unit 147 determines that the change frequency of the gain within the predetermined period up to that point is less than or equal to the predetermined change frequency threshold, and the change frequency of the brightness evaluation value changes the change frequency of the predetermined evaluation value. If it is determined that the value is equal to or less than the threshold value, the gain is determined by AE control. In that case, the imaging control unit 147 performs AE control with the followability when bringing the evaluation value of the luminance close to the target luminance as a predetermined standard followability.

（ケースＣ０４）撮像制御部１４７は、その時点までの所定期間内におけるゲインの変動頻度が所定の変動頻度の閾値以下であり、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値よりも高く、かつ、輝度の評価値の変動に周期性を有すると判定する場合、その時点までの最新の１周期内の輝度の評価値の平均値を算出し、算出した評価値の平均値を輝度の制御値として定める。そして、撮像制御部１４７は、定めた輝度の制御値が所定の輝度の目標値に近づくようにＡＥ制御によりゲインを定める。 (Case C04) The imaging control unit 147 determines that the change frequency of the gain within the predetermined period up to that point is equal to or less than the predetermined change frequency threshold, and the change frequency of the luminance evaluation value is the change frequency threshold of the predetermined evaluation value. When it is determined that the fluctuation of the evaluation value of luminance is higher than that of the other, the average value of the evaluation values of luminance within the latest one cycle up to that point is calculated, and the average value of the calculated evaluation values As a control value of luminance. Then, the imaging control unit 147 determines the gain by AE control so that the control value of the determined luminance approaches the target value of the predetermined luminance.

（ケースＣ０５）撮像制御部１４７は、その時点までの所定期間内におけるゲインの変動頻度が所定の変動頻度の閾値以下であり、輝度の評価値の変動頻度が所定の評価値の変動頻度の閾値よりも高く、かつ、輝度の評価値の変動に周期性を有しないと判定する場合、ＡＥ制御によりゲインを定める。その場合、撮像制御部１４７は、輝度の評価値を目標輝度に近づける際の追従性を所定の標準の追従性よりも低くしてＡＥ制御を行う。
撮像制御部１４７は、フレーム毎に定めたゲインを示す撮像制御信号をＡＦＥ１３７に出力する。これにより、定めたゲインがＡＦＥ１３７に設定される。 (Case C05) The imaging control unit 147 determines that the change frequency of the gain within the predetermined period up to that point is less than or equal to the predetermined change frequency threshold, and the change frequency of the luminance evaluation value is the change frequency threshold of the predetermined evaluation value. The gain is determined by AE control when it is determined to be higher than that and when it is determined that the fluctuation of the evaluation value of the luminance does not have periodicity. In that case, the imaging control unit 147 performs the AE control with the followability at the time of bringing the evaluation value of the luminance close to the target luminance lower than a predetermined followability.
The imaging control unit 147 outputs an imaging control signal indicating the gain determined for each frame to the AFE 137. Thereby, the determined gain is set to the AFE 137.

（変動頻度の例）
次に、制御パラメータを定める条件を判定するための変動頻度の例について説明する。
撮像制御部１４７は、露光時間やゲインなどの制御パラメータの変動頻度として、例えば、その時点までの所定期間内における制御パラメータの変化傾向が増加から減少に変化する回数と、制御パラメータの変化傾向が減少から増加に変化する回数の合計回数を計数する。所定時間は、制御パラメータの変動周期として想定される変動周期よりも長い期間であればよい。 (Example of fluctuation frequency)
Next, an example of the variation frequency for determining the condition for determining the control parameter will be described.
The imaging control unit 147 determines, for example, the number of times the change tendency of the control parameter changes from increase to decrease and the change tendency of the control parameter as the change frequency of the control parameter such as exposure time and gain. Count the total number of changes from decrease to increase. The predetermined time may be a period longer than the fluctuation period assumed as the fluctuation period of the control parameter.

より具体的には、撮像制御部１４７は、上記の制御パラメータを定める処理を画像のフレーム毎に行い、定めた制御パラメータをパラメータ記憶部１１３に記憶する。撮像制御部１４７は、その時点における最新のフレーム（以下、「現フレーム」と呼ぶ）における制御パラメータと、前フレームにおける制御パラメータとを比較し、制御パラメータの変化傾向として前フレームにおける制御パラメータから現フレームにおける制御パラメータが増加したか又は減少したかを判定する。そして、撮像制御部１４７は、所定期間内における変化傾向が増加から次に減少に転じたイベントと、変化傾向が減少から次に増加に転じたイベントとの合計回数を変動頻度として計数することができる。なお、撮像制御部１４７は、増加したか否かの判定において、制御パラメータの増加量が所定の増加量の閾値よりも大きい場合に制御パラメータが増加したと判定し、減少したか否かの判定において、制御パラメータの減少量が所定の減少量の閾値よりも小さい場合に制御パラメータが減少したと判定してもよい。これにより、制御パラメータの有意な変動に伴う上下変動の回数が変動頻度として計数されるので、制御パラメータに加わる誤差やノイズの影響が低減する。   More specifically, the imaging control unit 147 performs the process of determining the control parameter described above for each frame of the image, and stores the determined control parameter in the parameter storage unit 113. The imaging control unit 147 compares the control parameter in the latest frame (hereinafter referred to as “current frame”) at that point in time with the control parameter in the previous frame, and changes the control parameter in the previous frame from the control parameter in the previous frame. It is determined whether the control parameter in the frame has increased or decreased. Then, the imaging control unit 147 may count, as the variation frequency, the total number of the event in which the change tendency in the predetermined period turns to increase and then to decrease, and the event in which the change tendency turns to decrease and then to increase. it can. Note that the imaging control unit 147 determines that the control parameter has increased when the increase amount of the control parameter is larger than the threshold of the predetermined increase amount in the determination of whether the increase has occurred or not. It may be determined that the control parameter has decreased when the decrease amount of the control parameter is smaller than the predetermined decrease threshold value. As a result, the number of up-and-down fluctuations accompanied by a significant fluctuation of the control parameter is counted as the fluctuation frequency, so the influence of an error or noise added to the control parameter is reduced.

撮像制御部１４７は、輝度の代表値の変動頻度として、例えば、その時点までの所定期間内において輝度の代表値が所定の輝度の目標値よりも大きい状態から小さい状態に変化するイベントと、輝度の代表値が所定の輝度の目標値よりも大きい状態から小さい状態に変化するイベントとの合計回数を計数する。所定時間は、制御パラメータの変動周期として想定される変動周期よりも長い期間であればよい。
なお、撮像制御部１４７には、所定の輝度の目標値よりも大きい第２の目標値と、所定の輝度の目標値よりも小さい第３の目標値を予め設定しておいてもよい。そして、撮像制御部１４７は、輝度の代表値が所定の輝度の第３の目標値よりも小さい状態から次に第２の目標値より大きい状態に変化するイベント、第２の目標値よりも大きい状態から次に第３の目標値よりも小さい状態に変化するイベントの回数を変動頻度として計数してもよい。これにより、所定の目標値からの輝度の有意な変動に伴う上下変動の回数が変動頻度として計数されるので、輝度の目標値に加わる誤差やノイズの影響が低減する。 The imaging control unit 147 determines, as the variation frequency of the representative value of luminance, for example, an event in which the representative value of luminance changes from a state larger than the target value of predetermined luminance to a smaller state within a predetermined period until that time The total number of events with events that change from a state where the representative value of R is greater than the target value of the predetermined luminance to a state where it is smaller is counted. The predetermined time may be a period longer than the fluctuation period assumed as the fluctuation period of the control parameter.
In the imaging control unit 147, a second target value larger than the target value of the predetermined luminance and a third target value smaller than the target value of the predetermined luminance may be set in advance. Then, the imaging control unit 147 generates an event that changes from a state in which the representative value of the luminance is smaller than the third target value of the predetermined luminance to a state larger than the second target value next, larger than the second target value. The number of events changing from the state to the state smaller than the third target value may be counted as the fluctuation frequency. As a result, the number of vertical fluctuations associated with a significant fluctuation in luminance from a predetermined target value is counted as the fluctuation frequency, so the influence of an error or noise on the luminance target value is reduced.

（周期性の検出例）
次に、制御パラメータを定める条件を判定するための周期性の検出例について説明する。
撮像制御部１４７は、例えば、現時点までの所定期間内における制御パラメータについてフーリエ変換を行い、周波数ごとの強度を算出する。撮像制御部１４７は、算出した強度が所定の強度の閾値よりも大きくなる周波数が存在するとき、制御パラメータの時間変化に周期性を有すると判定し、そのような周波数が存在しないとき周期性を有しないと判定する。撮像制御部１４７は、周期性を有すると判定するとき、その周波数の逆数を変動周期として算出することができる。
周期性を検出する際、撮像制御部１４７は、現時点までの制御パラメータと、時間シフトした制御パラメータとの自己相関係数をシフト量毎に算出してもよい。そして、撮像制御部１４７は、自己相関係数が所定の自己相関係数の閾値よりも大きいシフト量が存在するとき、制御パラメータの時間変化に周期性を有すると判定し、そのようなシフト量が存在しないときは、周期性を有しないと判定する。撮像制御部１４７は、周期性を有すると判定するとき、そのシフト量を変動周期として定めることができる。 (Example of detection of periodicity)
Next, a detection example of periodicity for determining a condition for determining control parameters will be described.
The imaging control unit 147 performs, for example, Fourier transform on control parameters in a predetermined period up to the present time to calculate an intensity for each frequency. The imaging control unit 147 determines that the temporal change in the control parameter has periodicity when there is a frequency at which the calculated intensity is larger than the predetermined intensity threshold, and when such a frequency does not exist, the periodicity It is determined not to have. When it is determined that the imaging control unit 147 has periodicity, the imaging control unit 147 can calculate the reciprocal of the frequency as the fluctuation period.
When detecting the periodicity, the imaging control unit 147 may calculate, for each shift amount, an autocorrelation coefficient between the control parameter up to the present time and the control parameter shifted in time. Then, when there is a shift amount whose autocorrelation coefficient is larger than a predetermined autocorrelation coefficient threshold value, the imaging control unit 147 determines that the time change of the control parameter has periodicity, and such shift amount When it does not exist, it determines that it does not have periodicity. When it is determined that the imaging control unit 147 has periodicity, the imaging control unit 147 can determine the shift amount as a fluctuation period.

また、撮像制御部１４７は、制御パラメータの変化が周期性を有すると判定するとき、さらに制御パラメータの振幅に定常性を有するか否かを判定してもよい。定常性の判定において、撮像制御部１４７は、例えば、周期性を有すると判定した区間において周期毎に制御パラメータの極大値と極小値を検出する。そして、撮像制御部１４７は、最新の周期（以下、「現周期」と呼ぶ）における極大値とその直前の周期（以下、「前周期」と呼ぶ）における極大値との差の絶対値が所定の差の閾値未満であり、かつ、現周期における極小値と前周期における極小値との差の絶対値が所定の差の閾値未満であるとき、定常性を有すると判定する。他方、撮像制御部１４７は、現周期における極大値と前周期における極大値との差の絶対値が所定の差の閾値以上であるか、現周期における極小値と前周期における極小値との差の絶対値が所定の差の閾値以上である場合、定常性を有しないと判定する。   In addition, when it is determined that the change of the control parameter has periodicity, the imaging control unit 147 may further determine whether the amplitude of the control parameter has constancy. In the determination of the stationarity, for example, the imaging control unit 147 detects the maximum value and the minimum value of the control parameter for each cycle in the section determined to have periodicity. Then, the imaging control unit 147 determines that the absolute value of the difference between the maximum value in the latest period (hereinafter referred to as the “current period”) and the maximum value in the immediately preceding period (hereinafter referred to as the “previous period”) is If the absolute value of the difference between the minimum value in the current cycle and the minimum value in the previous cycle is less than the threshold of the predetermined difference, it is determined to have constancy. On the other hand, the imaging control unit 147 determines whether the absolute value of the difference between the maximum value in the current cycle and the maximum value in the previous cycle is greater than or equal to a predetermined threshold, or the difference between the minimum value in the current cycle and the minimum value in the previous cycle. If the absolute value of is greater than or equal to the predetermined difference threshold, it is determined that there is no stationarity.

撮像制御部１４７は、上記のケースＣ０１の判定条件として、制御パラメータの変化の周期性に対して、制御パラメータの振幅に定常性を有することを条件としてさらに課してもよい。つまり、さらに制御パラメータの振幅に定常性を有しない場合には、撮像制御部１４７は、ケースＣ０２に準じて制御パラメータを定める。これにより、制御パラメータを１周期の平均値とするケースが、被写体の画像の輝度の変化が周期的かつ振幅が定常的である場合に限られ、被写体の画像の輝度の変化が周期的であっても振幅が非定常的である場合には、制御により得られる輝度の目標値への追従性が失われない。かかる条件判定は、発電所内のガスタービンエンジンのタービンブレードの画像である場合のように、被写体の動作に伴う輝度の変化が周期的かつ振幅が定常的である場合に好適である。   The imaging control unit 147 may further impose, as a determination condition of the above-described case C01, a condition that the amplitude of the control parameter has constancy with respect to the periodicity of the change of the control parameter. That is, when the amplitude of the control parameter further does not have constancy, the imaging control unit 147 determines the control parameter according to case C02. Thereby, the case where the control parameter is an average value of one cycle is limited to the case where the change of the brightness of the image of the subject is periodic and the amplitude is steady, and the change of the brightness of the image of the subject is periodic. Even when the amplitude is non-stationary, the ability to follow the target value of the luminance obtained by the control is not lost. Such condition determination is suitable for the case where the change in luminance accompanying the movement of the subject is periodic and the amplitude is steady, as in the case of an image of a turbine blade of a gas turbine engine in a power plant.

なお、撮像制御部１４７は、輝度の評価値についても制御パラメータと同様な手法により周期性の有無を判定し、周期性を有すると判定する場合には、その周期を定めることができる。撮像制御部１４７は、輝度の評価値についても制御パラメータと同様な手法により振幅の定常性の有無を判定することができる。撮像制御部１４７は、上記のケースＣ０４の判定条件として、輝度の評価値の周期性に対して、さらに輝度の評価値の振幅に定常性を有することを条件として課してもよい。つまり、さらに輝度の評価値の振幅に定常性を有しない場合には、撮像制御部１４７は、ケースＣ０５に準じて制御パラメータを定める。   The imaging control unit 147 can also determine the presence or absence of periodicity in the same manner as the control parameter for the evaluation value of luminance, and can determine the period when it is determined to have periodicity. The imaging control unit 147 can determine the presence or absence of the constancy of the amplitude also for the evaluation value of the luminance by the same method as the control parameter. The imaging control unit 147 may impose, as a determination condition of the above-described case C04, a condition that the amplitude of the evaluation value of luminance has constancy with respect to the periodicity of the evaluation value of luminance. That is, when the amplitude of the evaluation value of luminance does not have constancy, the imaging control unit 147 determines the control parameter according to case C05.

（撮像制御）
次に本実施形態に係る撮像制御の例について説明する。次の説明では、制御パラメータとして、露光時間とゲインの一方又は両方が用いられる場合を例にする。
図２は、本実施形態に係る撮像制御の例を示すフローチャートである。
（ステップＳ１０２）輝度評価部１４５は、画素補間・輝度色差変換部１４３から入力された輝度信号に基づいてその時点で最新の１フレームの画像全体の輝度を示す輝度の評価値を算出し、算出した評価値を示す評価値情報、露光時間およびゲインをパラメータ記憶部１１３に記憶する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）撮像制御部１４７は、パラメータ記憶部１１３に記憶された制御パラメータ情報を参照し、その時点までの所定期間内における露光時間もしくはゲインの変更頻度を計数する。撮像制御部１４７が、変更頻度が所定の変更頻度の閾値よりも高いと判定するとき（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。撮像制御部１４７が、変更頻度が所定の変更頻度の閾値以下であると判定するとき（ステップＳ１０４ ＮＯ）、ステップＳ１２０の処理に進む。 (Imaging control)
Next, an example of imaging control according to the present embodiment will be described. In the following description, a case where one or both of exposure time and gain are used as control parameters will be exemplified.
FIG. 2 is a flowchart showing an example of imaging control according to the present embodiment.
(Step S102) The brightness evaluation unit 145 calculates and calculates a brightness evaluation value indicating the brightness of the entire image of the latest one frame based on the brightness signal input from the pixel interpolation / brightness color difference conversion unit 143. The evaluation value information indicating the evaluated value, the exposure time, and the gain are stored in the parameter storage unit 113. Then, it progresses to the process of step S104.
(Step S104) The imaging control unit 147 refers to the control parameter information stored in the parameter storage unit 113, and counts the change frequency of the exposure time or the gain within the predetermined period up to that point. When the imaging control unit 147 determines that the change frequency is higher than the predetermined change frequency threshold (YES in step S104), the process proceeds to step S106. When the imaging control unit 147 determines that the change frequency is less than or equal to the predetermined change frequency threshold (NO in step S104), the process proceeds to step S120.

（ステップＳ１０６）撮像制御部１４７は、露光時間もしくはゲインの変動が周期性を有するか否かを判定する。撮像制御部１４７は、周期性を有すると判定するとき、さらに露光時間もしくはゲインの振幅に定常性を有するか否かを判定する。撮像制御部１４７は、露光時間もしくはゲインの変動が周期的であり、かつ振幅が定常的であると判定するとき（ステップＳ１０６ ＹＥＳ）、ステップＳ１０８の処理に進む。撮像制御部１４７は、露光時間もしくはゲインの変動が周期的ではない、もしくは周期的であっても振幅が定常的でないと判定するとき（ステップＳ１０６ ＮＯ）、ステップＳ１３０の処理に進む。
（ステップＳ１０８）撮像制御部１４７は、パラメータ記憶部１１３に記憶された制御パラメータ情報を参照し、その時点までの最新の１周期内の露光時間もしくはゲインの平均値を算出する。撮像制御部１４７は、算出した露光時間の平均値をタイミングジェネレータ１１４に設定する、もしくは、算出したゲインの平均値をＡＦＥ１３７に設定する。その後、ステップＳ１１０の処理に進む。
（ステップＳ１１０）撮像制御部１４７は、その時点までに記憶した評価値情報と露光時間もしくはゲインを示す制御パラメータ情報を消去（リセット）する。その後、ステップＳ１１２の処理に進む。 (Step S106) The imaging control unit 147 determines whether or not the fluctuation of the exposure time or the gain has periodicity. When it is determined that the imaging control unit 147 has periodicity, the imaging control unit 147 further determines whether the exposure time or the amplitude of the gain has constancy. When the imaging control unit 147 determines that the fluctuation of the exposure time or the gain is periodic and the amplitude is stationary (YES in step S106), the process proceeds to step S108. When the imaging control unit 147 determines that the variation in the exposure time or the gain is not periodic or that the amplitude is not steady even if periodic (step S106 NO), the process proceeds to step S130.
(Step S108) The imaging control unit 147 refers to the control parameter information stored in the parameter storage unit 113, and calculates the average value of the exposure time or gain within the latest one cycle up to that point. The imaging control unit 147 sets the average value of the calculated exposure times in the timing generator 114, or sets the average value of the calculated gains in the AFE 137. Then, it progresses to the process of step S110.
(Step S110) The imaging control unit 147 erases (resets) the evaluation value information stored up to that time and the control parameter information indicating the exposure time or the gain. Thereafter, the process proceeds to the process of step S112.

（ステップＳ１１２）輝度評価部１４５は、画素補間・輝度色差変換部１４３から入力された輝度信号に基づいてその時点で最新の１フレームの輝度の評価値を算出する。輝度評価部１４５は、算出した評価値を示す評価値情報をパラメータ記憶部１１３に記憶し、撮像制御部１４７は、その時点で設定した露光時間もしくはゲインを示す制御パラメータ情報をパラメータ記憶部１１３に記憶する。その後、ステップＳ１１４の処理に進む。
（ステップＳ１１４）撮像制御部１４７は、パラメータ記憶部１１３を参照して、評価値を示す評価値情報と、露光時間もしくはゲインを示す制御パラメータ情報が少なくとも所定時間分記憶されているか否かを判定する。撮像制御部１４７は、少なくとも所定時間分記憶されていると判定するとき（ステップＳ１１４ ＹＥＳ）、ステップＳ１０２の処理に進み、処理対象のフレームを次のフレームに変更する。撮像制御部１４７は、所定時間分記憶されていないと判定するとき（ステップＳ１１４ ＮＯ）、ステップＳ１１２の処理に進み、処理対象のフレームを次のフレームに変更する。 (Step S112) The luminance evaluation unit 145 calculates the evaluation value of the luminance of the latest one frame at that time based on the luminance signal input from the pixel interpolation / luminance color difference conversion unit 143. The luminance evaluation unit 145 stores evaluation value information indicating the calculated evaluation value in the parameter storage unit 113, and the imaging control unit 147 transmits control parameter information indicating the exposure time or gain set at that time to the parameter storage unit 113. Remember. Thereafter, the process proceeds to the process of step S114.
(Step S114) The imaging control unit 147 determines whether or not evaluation value information indicating an evaluation value and control parameter information indicating an exposure time or a gain are stored for at least a predetermined time with reference to the parameter storage unit 113. Do. When it is determined that the imaging control unit 147 stores at least a predetermined time (YES in step S114), the process proceeds to step S102, and changes the frame to be processed to the next frame. When it is determined that the imaging control unit 147 has not stored the predetermined time (NO in step S114), the imaging control unit 147 proceeds to the process of step S112, and changes the frame to be processed to the next frame.

（ステップＳ１２０）撮像制御部１４７は、パラメータ記憶部１１３に記憶された評価値情報を参照し、その時点までの所定期間内における輝度の評価値の変更頻度を計数する。撮像制御部１４７は、変更頻度が所定の変更頻度の閾値よりも高いか否かを判定する。変更頻度が所定の変更頻度の閾値よりも高いと判定するとき（ステップＳ１２０ ＹＥＳ）、ステップＳ１２２の処理に進む。撮像制御部１４７が、変更頻度が所定の変更頻度の閾値以下であると判定するとき（ステップＳ１２０ ＮＯ）、ステップＳ１４０の処理に進む。
（ステップＳ１２２）撮像制御部１４７は、輝度の評価値の変動が周期性を有するか否かを判定する。撮像制御部１４７は、周期性を有すると判定するとき、さらに評価値の振幅に定常性を有するか否かを判定する。撮像制御部１４７は、評価値の変動が周期的であり、かつ振幅が定常的であると判定するとき（ステップＳ１２２ ＹＥＳ）、ステップＳ１２４の処理に進む。撮像制御部１４７は、評価値の変動が周期的ではない、もしくは周期的であっても振幅が定常的でないと判定するとき（ステップＳ１２２ ＮＯ）、ステップＳ１３０の処理に進む。 (Step S120) The imaging control unit 147 refers to the evaluation value information stored in the parameter storage unit 113, and counts the change frequency of the evaluation value of luminance in a predetermined period up to that point. The imaging control unit 147 determines whether the change frequency is higher than a predetermined change frequency threshold. When it is determined that the change frequency is higher than the predetermined change frequency threshold (YES in step S120), the process proceeds to step S122. When the imaging control unit 147 determines that the change frequency is less than or equal to the predetermined change frequency threshold (NO in step S120), the process proceeds to step S140.
(Step S122) The imaging control unit 147 determines whether or not the fluctuation of the evaluation value of the luminance has periodicity. When it is determined that the imaging control unit 147 has periodicity, the imaging control unit 147 further determines whether the amplitude of the evaluation value has constancy. When the imaging control unit 147 determines that the fluctuation of the evaluation value is periodic and the amplitude is stationary (YES in step S122), the process proceeds to step S124. When the imaging control unit 147 determines that the variation of the evaluation value is not periodic or the amplitude is not steady even if periodic (step S122 NO), the process proceeds to step S130.

（ステップＳ１２４）撮像制御部１４７は、パラメータ記憶部１１３に記憶された評価値情報を参照し、その時点までの最新の１周期内の輝度の評価値の平均値を算出する。撮像制御部１４７は、算出した評価値の平均値を輝度の制御値として定め、定めた輝度の制御値と所定の輝度の目標値に基づいてＡＥ制御を実行して露光時間もしくはゲインを算出する。撮像制御部１４７は、算出した露光時間の平均値をタイミングジェネレータ１１４に設定する、もしくは、算出したゲインの平均値をＡＦＥ１３７に設定する。また、撮像制御部１４７は、算出した露光時間もしくはゲインを示す制御パラメータ情報をパラメータ記憶部１１３に記憶する。その後、ステップＳ１０２の処理に進み、処理対象のフレームを次のフレームに変更する。 (Step S124) The imaging control unit 147 refers to the evaluation value information stored in the parameter storage unit 113, and calculates the average value of the evaluation values of the luminance in the latest one cycle up to that point. The imaging control unit 147 determines an average value of the calculated evaluation values as a control value of luminance, and executes AE control based on the determined control value of luminance and a target value of predetermined luminance to calculate an exposure time or a gain. . The imaging control unit 147 sets the average value of the calculated exposure times in the timing generator 114, or sets the average value of the calculated gains in the AFE 137. Further, the imaging control unit 147 stores control parameter information indicating the calculated exposure time or gain in the parameter storage unit 113. Thereafter, the process proceeds to step S102, and the frame to be processed is changed to the next frame.

（ステップＳ１３０）撮像制御部１４７は、露光時間もしくはゲインを更新するための更新パラメータとして、通常の更新パラメータよりも追従性を低くするための低速用の更新パラメータを設定する。その後、ステップＳ１５０の処理に進む。
（ステップＳ１４０）撮像制御部１４７は、露光時間もしくはゲインを更新するための更新パラメータとして、通常の更新パラメータを設定する。その後、ステップＳ１５０の処理に進む。 (Step S130) The imaging control unit 147 sets, as an update parameter for updating the exposure time or the gain, a low-speed update parameter for making the followability lower than that of the normal update parameter. Then, it progresses to the process of step S150.
(Step S140) The imaging control unit 147 sets a normal update parameter as an update parameter for updating the exposure time or the gain. Then, it progresses to the process of step S150.

（ステップＳ１５０）撮像制御部１４７は、その時点において最新のフレームにおける評価値を輝度の制御値として定め、定めた輝度の制御値と所定の輝度の目標値に基づいてＡＥ制御を実行して露光時間もしくはゲインを算出する。撮像制御部１４７は、算出した露光時間の平均値をタイミングジェネレータ１１４に設定する、もしくは、算出したゲインの平均値をＡＦＥ１３７に設定する。また、撮像制御部１４７は、算出した露光時間もしくはゲインを示す制御パラメータ情報をパラメータ記憶部１１３に記憶する。その後、ステップＳ１０２の処理に進み、処理対象のフレームを次のフレームに変更する。 (Step S150) The imaging control unit 147 determines an evaluation value in the latest frame at that time as a control value of luminance, and performs AE control based on the determined control value of luminance and a target value of predetermined luminance to perform exposure. Calculate time or gain. The imaging control unit 147 sets the average value of the calculated exposure times in the timing generator 114, or sets the average value of the calculated gains in the AFE 137. Further, the imaging control unit 147 stores control parameter information indicating the calculated exposure time or gain in the parameter storage unit 113. Thereafter, the process proceeds to step S102, and the frame to be processed is changed to the next frame.

（輝度制御の例）
次に、本実施形態に係る輝度制御の例について説明する。
図３は、本実施形態による輝度制御の一例を示す図である。
図３において、Ｉ３１、Ｉ３２、Ｉ３３は、それぞれ各時刻における対物レンズ１０５への入射光量、露光時間の逆数、輝度の評価値を示す。この例では、当初回転中の発電所内のガスタービンエンジンのタービンブレードを被写体とする画像のように入射光量Ｉ３１が周期的に変動する。撮像制御部１４７は、通常の更新パラメータを用いてＡＥ制御を行って露光時間を求める（図２、ステップＳ１４０、Ｓ１５０）。ここで、輝度の評価値Ｉ３３と輝度の目標値との差が小さくなるように露光時間が算出される。そのため、入射光量Ｉ３１の変動に露光時間の逆数Ｉ３２に追従し、輝度の評価値Ｉ３３の変動が入射光量Ｉ３１の変動よりも緩和される。輝度の入射光量Ｉ３１の変動に応じて、露光時間も周期的かつ振幅が一定に制御されるため（図２、ステップＳ１０６）、撮像制御部１４７は、時刻ｔ３１において最新の１周期内の露光時間の平均値を算出し、算出した露光時間の平均値をタイミングジェネレータ１１４に設定する（図２、ステップＳ１０８）。そのため、動いている被写体の明るさが変動するものの、動いていない被写体のように本来輝度が変化しない被写体の明るさが一定となるので、ユーザにとってのわずらわしさが低減もしくは解消される。 (Example of brightness control)
Next, an example of the brightness control according to the present embodiment will be described.
FIG. 3 is a view showing an example of the brightness control according to the present embodiment.
In FIG. 3, I31, I32, and I33 indicate the incident light amount to the objective lens 105 at each time, the reciprocal of the exposure time, and the evaluation value of the luminance. In this example, the incident light amount I31 periodically fluctuates as an image in which a turbine blade of a gas turbine engine in a power station which is initially rotating is an object. The imaging control unit 147 performs AE control using a normal update parameter to obtain an exposure time (FIG. 2, steps S140 and S150). Here, the exposure time is calculated so that the difference between the luminance evaluation value I33 and the luminance target value is reduced. Therefore, the fluctuation of the incident light amount I31 is followed by the reciprocal of the exposure time I32, and the fluctuation of the evaluation value of luminance I33 is alleviated more than the fluctuation of the incident light amount I31. In accordance with a variation in incident light quantity I31 brightness, for periodic and amplitude exposure time is controlled to be constant (FIG. 2, step S106), the imaging control unit 147, the exposure of the most recent one cycle at time t 31 The average value of time is calculated, and the average value of the calculated exposure time is set in the timing generator 114 (FIG. 2, step S108). Therefore, although the brightness of the moving subject fluctuates, the brightness of the subject whose brightness does not originally change, such as a non-moving subject, becomes constant, so that the user's inconvenience is reduced or eliminated.

図３に示す例では、設定される露光時間が一定値に固定されるため、入射光量Ｉ３１の変動と輝度の評価値Ｉ３３の変動が同期する。少なくとも時刻ｔ３１から所定時間経過後の時刻ｔ３２までの間、露光時間が一定であるので、その直後の時刻において露光時間の変動頻度が所定の変動頻度以下と判定される（図２、ステップＳ１０４ ＮＯ）。その時点では、評価値の変動頻度が所定の変動頻度よりも高く（図２、ステップＳ１２０ ＹＥＳ）、評価値の変動頻度が周期的かつ振幅が定常的と判定される（図２、ステップＳ１２２ ＹＥＳ）。そのため、撮像制御部１４７は、その時点までの最新の１周期内の評価値の平均値を、その輝度の制御値としたＡＥ制御を開始する（図２、ステップＳ１２４）。従って、入射光量の周期変動に追従した輝度の制御がなされずに、入射光量もしくは輝度の評価値の振幅の変動といった、より巨視的な変化傾向（マクロトレンド）に追従した露光時間の制御がなされる。また、本来輝度が変化しない被写体の明るさの周期変動が生じないので、ユーザにとってのわずらわしさが低減する。 In the example shown in FIG. 3, since the set exposure time is fixed to a fixed value, the fluctuation of the incident light quantity I31 and the fluctuation of the evaluation value of luminance I33 are synchronized. Between at least a time t 31 to time t 32 after a predetermined time, since the exposure time is constant, the variation frequency of the exposure time at the time immediately after it is determined that more than a predetermined variation frequency (Fig. 2, step S104 NO). At that time, the change frequency of the evaluation value is higher than the predetermined change frequency (FIG. 2, step S 120 YES), and the change frequency of the evaluation value is determined to be periodic and the amplitude is steady (FIG. 2, step S 122 YES). ). Therefore, the imaging control unit 147 starts AE control in which the average value of the evaluation values in the latest one cycle up to that point is used as the control value of the luminance (FIG. 2, step S124). Therefore, without controlling the luminance following the periodic fluctuation of the incident light quantity, the control of the exposure time following the macroscopic change tendency (macro trend) such as the fluctuation of the incident light quantity or the amplitude of the evaluation value of the luminance is performed. Ru. In addition, since the periodic fluctuation of the brightness of the subject whose luminance is not originally changed does not occur, the user's confusion is reduced.

時刻ｔ３３では、露光時間の変動頻度が所定の変動頻度以下と判定され（図２、ステップＳ１０４ ＮＯ）、評価値の変動頻度が所定の変動頻度よりも高く（図２、ステップＳ１２０ ＹＥＳ）、評価値の変動頻度が周期的かつ振幅が定常的ではないと判定される（図２、ステップＳ１２２ ＮＯ）。そのため、撮像制御部１４７は、撮像制御部１４７は、低速用の更新パラメータを用いてＡＥ制御を開始して露光時間を求める（図２、ステップＳ１３０、Ｓ１５０）。
時刻ｔ３４では、露光時間の変動頻度が所定の変動頻度以下と判定され（図２、ステップＳ１０８ ＮＯ）、評価値の変動頻度が所定の変動頻度よりも高く（図２、ステップＳ１２０ ＹＥＳ）、評価値の変動頻度が周期的かつ振幅が定常的と判定される（図２、ステップＳ１２２ ＹＥＳ）。その時点までの最新の１周期内の評価値の平均値を、その輝度の制御値としたＡＥ制御を再開する（図２、ステップＳ１２４）。 At time t 33, the variation frequency of the exposure time is determined to be equal to or lower than a predetermined fluctuation frequency (Fig. 2, step S104 NO), the variation frequency of the evaluation value is higher than the predetermined fluctuation frequency (Fig. 2, step S120 YES), It is determined that the variation frequency of the evaluation value is periodic and the amplitude is not stationary (FIG. 2, step S122 NO). Therefore, the imaging control unit 147 starts AE control using the update parameter for low speed and obtains the exposure time (FIG. 2, steps S130 and S150).
At time t 34, the variation frequency of the exposure time is determined to be equal to or lower than a predetermined fluctuation frequency (Fig. 2, step S108 NO), the variation frequency of the evaluation value is higher than the predetermined fluctuation frequency (Fig. 2, step S120 YES), It is determined that the fluctuation frequency of the evaluation value is periodic and the amplitude is stationary (FIG. 2, step S122 YES). AE control is restarted with the average value of the evaluation values within the latest one cycle up to that point as the control value of the luminance (FIG. 2, step S 124).

上述の制御によれば時刻ｔ３１以降において、入射光量の変化傾向と輝度の評価値の変化傾向とが、ほぼ同期する。このことは、撮像された画像のうち、本来明るさが変動する被写体の部分の明るさが、その変動に応じて変動し、本来明るさが変動しない被写体の部分の明るさが変動しないことを示す。従って、ユーザに対して撮像した画像の違和感や疲労感が軽減もしくは解消されることが期待される。 At time t 31 after According to the control described above, the change trend of the evaluation value of the change tendency and brightness of the incident light quantity, substantially synchronized. This means that the brightness of the portion of the subject where the brightness originally changes in the captured image changes according to the variation, and the brightness of the portion of the subject where the brightness does not originally change does not change. Show. Therefore, it is expected that the sense of incongruity and the feeling of fatigue of the captured image can be reduced or eliminated for the user.

図４は、本実施形態による輝度制御の他の例を示す図である。
図４において、Ｉ４１、Ｉ４２は、それぞれ各時刻における対物レンズ１０５への入射光量、露光時間の逆数を示す。この例では、撮像制御部１４７は、通常の更新パラメータを用いてＡＥ制御を行って露光時間を求める場合を仮定している（図２、ステップＳ１４０、Ｓ１５０）。入射光量Ｉ４１がランダムに変動し、周期性を有しない。そのため、露光時間の逆数Ｉ４２が入射光量Ｉ４１に速やかに追従する。但し、上述のように入射光量Ｉ４１や露光時間の変動に周期性を有する場合には、ユーザに対してわずらわしさをもたらすこととなる。 FIG. 4 is a diagram showing another example of the brightness control according to the present embodiment.
In FIG. 4, I 41 and I 42 respectively indicate the amount of light incident on the objective lens 105 at each time and the reciprocal of the exposure time. In this example, it is assumed that the imaging control unit 147 performs AE control using normal update parameters to obtain an exposure time (FIG. 2, steps S140 and S150). The incident light quantity I41 fluctuates randomly and does not have periodicity. Therefore, the reciprocal I42 of the exposure time quickly follows the incident light amount I41. However, as described above, in the case where the fluctuation of the incident light amount I41 and the exposure time have periodicity, the user is bothered.

図５は、撮像された画像の例を示す図である。図５では、通常の更新パラメータを用いてＡＥ制御を行って露光時間を求める場合を仮定している（図２、ステップＳ１４０、Ｓ１５０）。画像Ｉｍ５１−Ｉｍ５５は、パイプの内部に挿入部１０を挿入しているときに撮像された画像である。画像Ｉｍ５１−Ｉｍ５５が撮像された時刻は、その順序である。画像Ｉｍ５１は、パイプの内部に挿入部１０を挿入しているときに撮像された画像である。この例では、挿入部１０の先端がパイプの中央に浮いている。そのため、画面の中央部がその周囲よりも暗くなっている。画像Ｉｍ５２は、挿入部１０の先端部の画面に対して右下部がパイプの内壁面に当て付いている状態で撮像された画像である。そのため、内壁面を表す部分においてハレーションが生ずる。ハレーションとは、画素ごとに検出された輝度が信号値として表現可能な所定の最大値を超えるために、信号値がその最大値に制限される現象である。画像Ｉｍ５３は、挿入部１０の先端部の画面に対して右下部がパイプの内壁面に当て付いたままの状態で撮像された画像である。但し、ＡＥ制御により画像Ｉｍ５２よりも暗くなる。特に、明るさの変化が期待されないパイプの中空を表す部分が暗くなる。画像Ｉｍ５４は、挿入部１０の先端がパイプの中央に浮いている状態で再度撮像された画像である。画像Ｉｍ５４の明るさは、当初撮像された画像Ｉｍ５１と同等となることが期待されるが、ＡＥ制御により画像Ｉｍ５１よりも暗くなる。画像Ｉｍ５５は、挿入部１０の先端が引き続きパイプの中央に浮いている状態で撮像された画像である。画像Ｉｍ５５は、ＡＥ制御により画像Ｉｍ５４よりも明るくなり、画像Ｉｍ５１の明るさと同等となる。このように、挿入部１０の先端がパイプの内壁面に当たったり離れたりすることに伴い、入射光量が変化するとＡＥ制御が働き、輝度の変化が大きいわずらわしい画像となってしまう。特に、画像全体の輝度の変化が周期的である場合には、本来明るさが変化しない部分の明るさが変化してしまうので、わずらわしさが顕著になる。   FIG. 5 is a diagram showing an example of a captured image. In FIG. 5, it is assumed that AE control is performed using normal update parameters to obtain an exposure time (FIG. 2, steps S140 and S150). The images Im51 to Im55 are images captured when the insertion unit 10 is inserted into the pipe. The times at which the images Im51 to Im55 were captured are in that order. The image Im51 is an image captured when the insertion unit 10 is inserted into the pipe. In this example, the tip of the insertion portion 10 floats in the center of the pipe. Therefore, the center of the screen is darker than its surroundings. The image Im 52 is an image captured in a state where the lower right portion is in contact with the inner wall surface of the pipe with respect to the screen of the distal end portion of the insertion portion 10. Therefore, halation occurs in the portion representing the inner wall surface. The halation is a phenomenon in which the signal value is limited to the maximum value because the luminance detected for each pixel exceeds a predetermined maximum value that can be expressed as a signal value. The image Im 53 is an image captured in a state where the lower right portion is in contact with the inner wall surface of the pipe with respect to the screen of the distal end portion of the insertion portion 10. However, it becomes darker than the image Im 52 by the AE control. In particular, the portion representing the hollow of the pipe where a change in brightness is not expected becomes dark. The image Im 54 is an image captured again with the tip of the insertion unit 10 floating in the center of the pipe. The brightness of the image Im54 is expected to be equivalent to that of the initially captured image Im51, but is darker than the image Im51 by AE control. The image Im55 is an image captured in a state where the tip of the insertion portion 10 continues to float in the center of the pipe. The image Im55 becomes brighter than the image Im54 by AE control, and becomes equal to the brightness of the image Im51. As described above, when the amount of incident light changes as the front end of the insertion portion 10 hits or leaves the inner wall surface of the pipe, the AE control works, resulting in an annoying image with large changes in luminance. In particular, when the change of the luminance of the entire image is periodic, the brightness of the portion where the brightness is not originally changed is changed, so the confusion becomes remarkable.

図６は、本実施形態による輝度制御のさらに他の例を示す図である。
図６において、Ｉ６１、Ｉ６２は、それぞれ各時刻における対物レンズ１０５への入射光量、露光時間の逆数を示す。この例では、撮像制御部１４７は、低速用の更新パラメータを用いてＡＥ制御を行って露光時間を求める場合を仮定している（図２、ステップＳ１３０、Ｓ１５０）。入射光量Ｉ５１がランダムに変動し、周期性を有しない。この場合、撮像された画像（ライブ画像）の輝度の変化が抑制されるが、輝度の評価値の目標値に対する乖離が大きくなる。 FIG. 6 is a view showing still another example of the brightness control according to the present embodiment.
In FIG. 6, I61 and I62 respectively indicate the incident light amount to the objective lens 105 at each time and the reciprocal of the exposure time. In this example, it is assumed that the imaging control unit 147 performs AE control using the update parameter for low speed to obtain the exposure time (FIG. 2, steps S130 and S150). The incident light quantity I51 fluctuates randomly and does not have periodicity. In this case, the change in the luminance of the captured image (live image) is suppressed, but the deviation of the evaluation value of the luminance from the target value becomes large.

図７は、撮像された画像の他の例を示す図である。図７では、低速用の更新パラメータを用いてＡＥ制御を行って露光時間を求める場合を仮定している（図２、ステップＳ１３０、Ｓ１５０）。画像Ｉｍ７１−Ｉｍ７５の撮像条件は、更新パラメータを除き画像Ｉｍ５１−Ｉｍ５５の撮像条件とそれぞれ同様である。そのため、画像Ｉｍ７１、Ｉｍ７２、Ｉｍ７５は、画像Ｉｍ５１、Ｉｍ５２、Ｉｍ５５とそれぞれ同様となる。但し、ＡＥ制御における追従性が、図５に示す例よりも低いため、画像Ｉｍ７３においてハレーションが生じている部分が残されるが、画像全体としての画像Ｉｍ７２からの輝度変化が緩和される。また、画像Ｉｍ７４の明るさは、当初の画像Ｉｍ７１の明るさにより近づく。そのため、ユーザに対するわずらわしさが緩和もしくは解消される。   FIG. 7 is a view showing another example of the captured image. In FIG. 7, it is assumed that the exposure time is determined by performing the AE control using the update parameter for low speed (FIG. 2, steps S130 and S150). The imaging conditions of the images Im71 to Im75 are the same as the imaging conditions of the images Im51 to Im55 except for the update parameter. Therefore, the images Im71, Im72, and Im75 are similar to the images Im51, Im52, and Im55, respectively. However, since the followability in AE control is lower than the example shown in FIG. 5, a portion where halation occurs in the image Im 73 is left, but the change in luminance from the image Im 72 as the entire image is alleviated. In addition, the brightness of the image Im74 is closer to the brightness of the original image Im71. Therefore, the burden on the user is alleviated or eliminated.

（追従性の制御例）
次に、ＡＥ制御における追従性の制御例について説明する。
制御パラメータとして、露光時間を定める際、撮像制御部１４７は、例えば、比例制御（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｃｏｎｔｒｏｌ、Ｐ制御）を行う。Ｐ制御では、撮像制御部１４７には、制御により得られる直前の輝度の評価値と目標値の差分である輝度差に所定の比例ゲインを乗じて制御パラメータである露光時間の変化量をフレームごとに算出する。撮像制御部１４７は、算出した変化量を直前の制御パラメータの値（以下、「制御値」と呼ぶ）に加算して、その時点における制御値を定める。比例ゲインは、制御速度を制御するためのパラメータである。比例ゲインが大きいほど制御速度が高く、比例ゲインが小さいほど制御速度が低い。従って、撮像制御部１４７は、追従性を低くする際、予め定めた比例ゲインとして通常の比例ゲインよりも小さい比例ゲインを用いることで露光時間のフレーム当たりの変動量が少なくなるので、追従性を低くすることができる。例えば、図８の曲線Ｉ８１、Ｉ８２は、いずれも時刻ｔ８１において露光時間の制御を開始する場合を示す。但し、曲線Ｉ８２は、標準の追従性を示す曲線Ｉ８１よりも時間経過に対する露光時間の変化量、即ち追従性が低いことを示す。 (Example of tracking control)
Next, a control example of the followability in the AE control will be described.
When determining the exposure time as a control parameter, the imaging control unit 147 performs, for example, proportional control (P control). In P control, the imaging control unit 147 multiplies the predetermined proportional gain by the luminance difference, which is the difference between the evaluation value of the luminance obtained immediately by control and the target value, and changes the amount of change in exposure time, which is a control parameter, for each frame. Calculate to The imaging control unit 147 adds the calculated amount of change to the value of the immediately preceding control parameter (hereinafter referred to as “control value”) to determine the control value at that time. The proportional gain is a parameter for controlling the control speed. The larger the proportional gain, the higher the control speed, and the smaller the proportional gain, the lower the control speed. Therefore, the imaging control unit 147 uses the proportional gain smaller than the normal proportional gain as the predetermined proportional gain when reducing the followability, and therefore the amount of fluctuation per frame of the exposure time is reduced. It can be lowered. For example, the curve I81, I82 in Figure 8, both show the case of starting the control of the exposure time at time t 81. However, curve I 82 indicates that the amount of change in exposure time with respect to time, that is, the followability is lower than curve I 81 which shows the standard followability.

また、撮像制御部１４７には、追従性を低くする際、制御速度を低くすることに代え、第１の不感領域と、第１の不感領域よりも広い第２の不感領域を設定することにより、ヒステリシスを設けてもよい。第１の不感領域はＡＥ制御を停止する輝度の範囲であるのに対し、第２の不感領域は、ＡＥ制御を開始しない輝度の範囲、即ち、その領域外でＡＥ制御を開始する輝度の範囲である。ここで、追従性を低くするほど、第１の不感領域に対する第２の不感領域の範囲を広くする。このように、ＡＥ制御を開始する輝度の範囲と停止する輝度の範囲に差を設けることで、輝度の目標値と評価値の乖離が大きくなるのでＡＥ制御の開始が遅れることになる。図８に示す例では、Ｅ８、Ｅ８’は、それぞれＡＥ制御を停止する第１の不感領域の下限と上限を示す。但し、追従性に関わらず第１の不感領域は一定である。Ａ８１、Ａ８３は、それぞれ標準の追従性に係るＡＥ制御を開始しない第２の不感領域、追従性を低くする場合におけるＡＥ制御を停止する第２の不感領域を示す。第２の不感領域Ａ８１、Ａ８３の中央値は、それぞれ輝度の目標値Ｅ０である。Ｅ８１、Ｅ８１’は、それぞれ第２の不感領域Ａ８１の下限、上限を示す。Ｅ８３、Ｅ８３’は、それぞれ第２の不感領域Ａ８３の下限、上限を示す。   Further, in order to lower the follow-up performance, the imaging control unit 147 sets the first insensitive area and the second insensitive area wider than the first insensitive area instead of reducing the control speed. And hysteresis may be provided. The first dead zone is the range of brightness at which AE control is stopped, while the second dead zone is the range of brightness at which AE control is not started, ie, the range of brightness at which AE control is started outside that zone It is. Here, the lower the followability, the wider the range of the second dead zone with respect to the first dead zone. Thus, by providing a difference between the range of luminance for starting AE control and the range of luminance for stopping, the difference between the target value of luminance and the evaluation value becomes large, so the start of AE control is delayed. In the example shown in FIG. 8, E <b> 8 and E <b> 8 ′ respectively indicate the lower limit and the upper limit of the first blind area for stopping the AE control. However, the first blind area is constant regardless of the followability. A81 and A83 respectively indicate a second dead zone where AE control relating to standard follow-up performance is not started, and a second dead zone where AE control is stopped when the follow-up performance is lowered. The medians of the second blind areas A81 and A83 are the target value E0 of luminance. E81 and E81 'respectively indicate the lower limit and the upper limit of the second dead zone A81. E83 and E83 'indicate the lower limit and the upper limit of the second dead zone A83, respectively.

曲線Ｃ８１は、標準の追従性が設定されている場合における各時刻の輝度の評価値を示す。撮像制御部１４７は、当初（時刻ｔ８１）から輝度の評価値が第２の不感領域Ａ８１の上限Ｅ８１’を上回っているのでＡＥ制御を開始し、評価値が第１の不感領域の上限Ｅ８’に達した時点でＡＥ制御を停止する。これに対し、曲線Ｃ８３は、追従性を低くする場合における各時刻の輝度の評価値を示す。撮像制御部１４７は、輝度の評価値が第２の不感領域Ａ８３の上限Ｅ８３’を超えた時刻ｔ８３においてＡＥ制御を開始し、評価値が第１の不感領域の上限Ｅ８’に達したときにＡＥ制御を停止する。
なお、撮像制御部１４７は、ゲインについても露光時間と同様に追従速度もしくは不感領域を制御することによって輝度の追従性を制御することができる。 A curve C81 represents the evaluation value of the luminance at each time when the standard followability is set. The imaging control unit 147 starts the AE control because the evaluation value of the luminance initially exceeds the upper limit E81 'of the second insensitive area A81 from the beginning (time t 81 ), and the evaluation value becomes the upper limit E8 of the first insensitive area. Stop AE control when reaching '. On the other hand, the curve C83 shows the evaluation value of the luminance at each time when the followability is lowered. The imaging control unit 147, 'the AE control is started at time t 83 beyond the evaluation value is an upper limit E8 of the first dead area' evaluation value of the luminance upper limit E83 of the second dead region A83 when reaching To stop AE control.
The imaging control unit 147 can also control the followability of the brightness by controlling the follow-up speed or the insensitive section as well as the exposure time for the gain.

（輝度の制御例）
なお、輝度の評価値の変動量が所定の変動量の閾値よりも大きいとき、撮像制御部１４７は、補正処理部１４４における出力レベルの範囲を予め定めた標準の範囲よりも狭くしてもよい。出力レベルの範囲を狭くする際、撮像制御部１４７は、その範囲に応じた１つのガンマテーブルを決定する。撮像制御部１４７には、複数通りの出力レベルの範囲のそれぞれに対応するガンマテーブルを予め設定しておく。個々のガンマテーブルは、複数の入力レベルのそれぞれについて、各入力レベルに対応する出力レベルを対応付けて構成される。補正処理部１４４は、撮像制御部１４７により決定されるガンマテーブルを参照することにより、ガンマ補正を行って出力レベルを取得する。補正処理部１４４には、ガンマ補正において、入力レベルに対応する出力レベルを特定する。図９は、ガンマテーブルを例示する図である。曲線Ｉ９１、Ｉ９２は、それぞれ標準のガンマテーブルを示し、より出力レベルの範囲が小さいガンマテーブルを示す。Ｉ９２のガンマテーブルが用いられることで、出力レベルの範囲Ｄｇ９２は、標準の出力レベルの範囲Ｄｇ９１よりも狭くなる。従って、輝度の変動が著しい場合には、Ｉ９２のガンマテーブルを用いてガンマ補正することで各１フレーム画像の明るさの変動も抑制される。そのため、画像の明るさの変動によるわずらわしさが低減する。また、挿入部１０の検査対象物への挿入中など、詳細な観察を必ずしも要しない場合には、このような出力レベルの範囲Ｄｇ９１の縮小が許容されうる。 (Example of control of brightness)
When the variation amount of the evaluation value of luminance is larger than the predetermined variation threshold value, the imaging control unit 147 may make the range of the output level in the correction processing unit 144 narrower than a predetermined standard range. . When narrowing the range of the output level, the imaging control unit 147 determines one gamma table according to the range. In the imaging control unit 147, a gamma table corresponding to each of a plurality of output level ranges is set in advance. Each gamma table is configured to associate output levels corresponding to each input level with respect to each of a plurality of input levels. The correction processing unit 144 performs gamma correction by referring to the gamma table determined by the imaging control unit 147 to acquire an output level. The correction processing unit 144 specifies an output level corresponding to the input level in the gamma correction. FIG. 9 is a diagram illustrating a gamma table. Curves I91 and I92 show standard gamma tables, respectively, and show gamma tables with a smaller range of output levels. By using the gamma table of I92, the range Dg92 of output levels is narrower than the range Dg91 of standard output levels. Therefore, when the change in luminance is significant, the change in brightness of each one-frame image is also suppressed by performing gamma correction using the gamma table of I92. Therefore, the complexity caused by the fluctuation of the brightness of the image is reduced. In addition, when the detailed observation is not necessarily required, such as during the insertion of the insertion unit 10 into the inspection object, the reduction of the output level range Dg 91 may be permitted.

なお、撮像制御部１４７は、湾曲動作など挿入部１０の動作に対する操作を検出するとき、制御パラメータまたは輝度の評価値の変動頻度もしくは周期性にかかわらずＡＥ制御における輝度の追従性を低下させずに、予め定めた通常の追従性に維持してもよい。これは、ユーザの意図した操作に伴う入射光量の変化に対しては、むしろ撮像された画像の明るさが即座に目標値に追従することが期待されるためである。撮像制御部１４７は、システム制御部１１０を介してユーザインタフェース部１１１から入力された制御信号に基づいて操作の有無を検出してもよい。撮像制御部１４７は、例えば、挿入部１０の湾曲などの動作を指示する制御信号が入力されるとき、動作に対する操作を検出していると判定し、動作を示す制御信号が入力されないとき、動作に対する操作を検出していないと判定してもよい。   When the imaging control unit 147 detects an operation on the operation of the insertion unit 10 such as a bending operation, the imaging control unit 147 does not reduce the followability of the luminance in AE control regardless of the change frequency or periodicity of the control parameter or the evaluation value of the luminance. In addition, it may be maintained to a predetermined normal follow-up ability. This is because it is expected that the brightness of the captured image immediately follows the target value with respect to the change of the incident light amount caused by the operation intended by the user. The imaging control unit 147 may detect the presence or absence of the operation based on the control signal input from the user interface unit 111 via the system control unit 110. For example, when a control signal instructing an operation such as bending of the insertion unit 10 is input, the imaging control unit 147 determines that an operation on the operation is detected, and when a control signal indicating an operation is not input, the operation It may be determined that the operation on the is not detected.

以上に説明したように、本実施形態に係る内視鏡装置１は、被写体の画像を生成するＣＣＤ撮像素子１０４と、ＣＣＤ撮像素子１０４を備えた挿入部１０と、画像処理部１４０と、を備える。画像処理部１４０は、画像の輝度を評価する輝度評価部１４５と、評価した輝度が予め定められた目標値に近づくように輝度の制御パラメータを設定する撮像制御部１４７を備える。撮像制御部１４７は、少なくとも評価した輝度と設定した制御パラメータの一方の変動状況を検出し、変動状況の変動頻度に基づいて、当該制御パラメータを定める。
この構成により、撮像された画像の輝度と制御された制御パラメータの少なくとも一方の変動状況の周期性に基づいて画像の輝度が制御される。従って、変動状況の変動頻度が考慮されずに一律に輝度を制御する場合よりも、画像の輝度の周期変動などの変動要因によるユーザに対するわずらわしさなどの不快感が抑制又は解消され、撮像された画像の明るさがユーザにとってより快適に制御される。 As described above, the endoscope apparatus 1 according to the present embodiment includes the CCD imaging device 104 that generates an image of a subject, the insertion unit 10 including the CCD imaging device 104, and the image processing unit 140. Prepare. The image processing unit 140 includes a brightness evaluation unit 145 that evaluates the brightness of the image, and an imaging control unit 147 that sets a control parameter of the brightness so that the evaluated brightness approaches a predetermined target value. The imaging control unit 147 detects at least the evaluated luminance and the fluctuation state of one of the set control parameters, and determines the control parameter based on the fluctuation frequency of the fluctuation state.
According to this configuration, the luminance of the image is controlled based on the periodicity of the fluctuation state of at least one of the luminance of the captured image and the controlled control parameter. Therefore, rather than the case where the luminance is uniformly controlled without considering the fluctuation frequency of the fluctuation state, it is possible to suppress or eliminate the discomfort such as the user's discomfort due to the fluctuation factor such as the periodic fluctuation of the luminance of the image. The brightness of the image is more comfortably controlled for the user.

また、撮像制御部１４７は、制御パラメータの変動に周期性を有すると判定するとき、現時点までの周期における当該制御パラメータの平均値を現時点の制御パラメータとして定めてもよい。
この構成により、制御パラメータの変動に周期性を有する場合、制御パラメータが周期内の平均値に定められる。そのため、制御パラメータの周期変動によって得られた画像のうち本来輝度の変化を生じない部分における明るさの周期変動が解消される。従って、画像の明るさの周期変動に伴う不快感が解消され、より適切な明るさ制御がなされる。 In addition, when it is determined that the fluctuation of the control parameter has periodicity, the imaging control unit 147 may determine the average value of the control parameter in the cycle up to the current time as the current control parameter.
According to this configuration, when the fluctuation of the control parameter has periodicity, the control parameter is set to the average value in the period. Therefore, the periodic fluctuation of the brightness in the portion where the change of the luminance does not originally occur in the image obtained by the periodic fluctuation of the control parameter is eliminated. Therefore, the unpleasant feeling accompanying the periodic fluctuation of the brightness of the image is eliminated, and more appropriate brightness control is performed.

また、撮像制御部１４７は、輝度の変動に周期性を有すると判定するとき、輝度の現時点までの周期における平均値が輝度の目標値に近づくように制御パラメータを決定してもよい。この構成により、輝度の大局的な変動に対する追従性を完全に失わせずに、輝度の周期変動に対する追従性が緩和もしくは解消される。従って、画像の明るさの周期変動に伴う不快感が解消され、より快適に画像の明るさが制御される。   In addition, when it is determined that the variation in luminance has periodicity, the imaging control unit 147 may determine the control parameter such that the average value of the periods up to the current time of luminance approaches the target value of luminance. According to this configuration, the followability to the periodic fluctuation of the brightness is alleviated or eliminated without completely losing the followability to the global change of the brightness. Therefore, the unpleasant feeling accompanying the periodic fluctuation of the brightness of the image is eliminated, and the brightness of the image is controlled more comfortably.

また、撮像制御部１４７は、制御パラメータもしくは輝度の変動に周期性を有しないと判定するとき、輝度の目標値への追従性を所定の追従性よりも低下させて制御パラメータを定めてもよい。この構成により制御パラメータの変動に伴う画像の明るさの変動が緩和されるため、画像の明るさの非周期的な変動に伴う不快感が低減し、より快適に明るさが制御される。   Further, when it is determined that the control parameter or the variation of the luminance does not have periodicity, the imaging control unit 147 may determine the control parameter by making the followability of the luminance to the target value lower than a predetermined followability. . With this configuration, the change in brightness of the image due to the change in control parameter is alleviated, so that the discomfort associated with the non-periodic change in brightness of the image is reduced, and the brightness is controlled more comfortably.

また、撮像制御部１４７は、輝度の目標値への追従性を所定の追従性よりも低下させるとき、制御パラメータの変化量を少なくしてもよい。この構成により、明るさの制御を完全に停止せずに、画像の明るさ非周期的な変動に伴う不快感を低減することができる。   Further, the imaging control unit 147 may reduce the change amount of the control parameter when making the followability of the luminance to the target value lower than the predetermined followability. With this configuration, it is possible to reduce the discomfort associated with the non-periodic fluctuation of the brightness of the image without completely stopping the control of the brightness.

また、撮像制御部１４７は、輝度の目標値への追従性を所定の追従性よりも低下させるとき、制御パラメータの変化を開始させない輝度の範囲を大きくしてもよい。この構成により、撮像される画像の輝度とその目標値との差を大きくして追従性を低下させるので、制御パラメータを更新するための処理を変更せずに画像の明るさの非周期的な変動に伴う不快感を低減することができる。   Further, the imaging control unit 147 may enlarge the range of the luminance in which the change of the control parameter is not started when the followability of the luminance to the target value is lower than the predetermined followability. According to this configuration, the difference between the brightness of the image to be captured and the target value is increased to reduce the followability, and therefore the non-periodicity of the brightness of the image is not changed without changing the process for updating the control parameter. The discomfort associated with the fluctuation can be reduced.

また、撮像制御部１４７は、制御パラメータの変動頻度を検出し、制御パラメータの変動頻度が所定の制御パラメータの変動頻度よりも高いとき、制御パラメータの変動に周期性を有するか否かを判定してもよい。
この構成により、制御パラメータの変動が比較的著しいとき、その制御パラメータの周期性の有無に応じて制御パラメータが設定される。そのため、制御パラメータの変動に起因した画像の明るさの変動に伴う不快感を、その変動の周期性の有無に応じた手法で低減することができる。 Further, the imaging control unit 147 detects the variation frequency of the control parameter, and determines whether the variation of the control parameter has periodicity when the variation frequency of the control parameter is higher than the variation frequency of the predetermined control parameter. May be
With this configuration, when the variation of the control parameter is relatively significant, the control parameter is set according to the presence or absence of the periodicity of the control parameter. Therefore, it is possible to reduce the discomfort caused by the change in the brightness of the image due to the change in the control parameter by a method according to the presence or absence of the periodicity of the change.

また、撮像制御部１４７は、制御パラメータの変動頻度が所定の制御パラメータの変動頻度以下であるとき、輝度の変動頻度を検出し、輝度の変動頻度が所定の変動頻度よりも高いとき、輝度の変動に周期性を有するか否かを判定してもよい。
この構成により、制御パラメータの変動が比較的緩やかであっても、輝度の変動が比較的著しいとき、輝度の変動に周期性を有するか否かが判定され、周期性の有無に応じた制御パラメータを設定することができる。そのため、制御パラメータの変動が比較的穏やかであるときであっても、画像の明るさの変動が比較的著しいとき、その変動の周期性の有無に応じた不快感を低減することができる。 Further, the imaging control unit 147 detects the variation frequency of the brightness when the variation frequency of the control parameter is equal to or less than the variation frequency of the predetermined control parameter, and when the variation frequency of the brightness is higher than the predetermined variation frequency, It may be determined whether or not the fluctuation has periodicity.
With this configuration, even if the change of the control parameter is relatively gentle, when the change of the brightness is relatively significant, it is determined whether or not the change of the brightness has periodicity, and the control parameter according to the presence or absence of the periodicity Can be set. Therefore, even when the variation of the control parameter is relatively mild, when the variation of the brightness of the image is relatively significant, the discomfort depending on the presence or absence of the periodicity of the variation can be reduced.

また、撮像制御部１４７は、挿入部１０の動作を検出するとき、輝度の目標値に対する追従性を所定の追従性に維持して前記制御パラメータを定める。この構成により、挿入部１０の動作が検出されるとき、そのため、わずらわしさの要因となる制御後の画像の明るさの変化が許容される状況において、目標値への追従性を低下させずに撮像された画像の明るさが制御される。   Further, when detecting the operation of the insertion unit 10, the imaging control unit 147 maintains the followability of the luminance to the target value to a predetermined followability to determine the control parameter. With this configuration, when the operation of the insertion unit 10 is detected, therefore, the followability to the target value is not reduced in a situation where the change in the brightness of the image after control, which causes the troublesomeness, is allowed. The brightness of the captured image is controlled.

なお、上記の実施形態では、挿入部１０の先端に備わる撮像素子がＣＣＤ撮像素子１０４である場合を例にしたが、これには限られない。挿入部１０は、ＣＣＤ撮像素子１０４に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子を備えてもよい。ＣＭＯＳ撮像素子を備える場合には、本体部１１は、タイミングジェネレータ１１４、ＣＣＤドライブ回路１１５、プリアンプ１３６及びＡＦＥ１３７が省略されてもよい。そこで、撮像制御部１４７は、撮像に用いる制御パラメータとして露光時間に応じた各素子の駆動タイミングとゲインを示す撮像制御信号を生成し、生成した撮像制御信号をＣＭＯＳ撮像素子に出力する。ＣＭＯＳ撮像素子は、撮像制御信号で指示された駆動タイミングで画素ごとの信号値を示す撮像信号を生成し、生成した撮像信号を撮像制御信号で指示されたゲインで増幅する。ＣＭＯＳ撮像素子は、増幅した撮像信号を画像処理部１４０の黒補正部１４２に出力する。   In the above embodiment, although the case where the imaging device provided at the tip of the insertion portion 10 is the CCD imaging device 104 is exemplified, it is not limited thereto. The insertion unit 10 may include a complementary metal-oxide-semiconductor (CMOS) imaging device instead of the CCD imaging device 104. When the CMOS imaging device is provided, the timing generator 114, the CCD drive circuit 115, the preamplifier 136 and the AFE 137 may be omitted in the main body unit 11. Therefore, the imaging control unit 147 generates an imaging control signal indicating drive timing and gain of each element according to the exposure time as a control parameter used for imaging, and outputs the generated imaging control signal to the CMOS imaging element. The CMOS imaging device generates an imaging signal indicating a signal value for each pixel at a drive timing instructed by the imaging control signal, and amplifies the generated imaging signal with a gain instructed by the imaging control signal. The CMOS imaging device outputs the amplified imaging signal to the black correction unit 142 of the image processing unit 140.

また、上記のケースＣ０１では、撮像制御部１４７が、その時点までの最新の１周期内の制御パラメータの平均値を算出し、算出した平均値を輝度の制御に用いる場合を例にしたが、これには限られない。撮像制御部１４７が、その時点までの過去の１周期もしくは複数周期内の制御パラメータの平均値を算出し、算出した平均値を輝度の制御に用いてもよい。
また、撮像制御部１４７は、その時点までの最新の１周期内の輝度の評価値の平均値を輝度の制御値として算出する場合を例にしたが、その時点までの過去の複数周期内の輝度の評価値の平均値を輝度の制御値として算出してもよい。 In the above case C01, the imaging control unit 147 calculates the average value of control parameters in the latest one cycle up to that point, and uses the calculated average value for luminance control as an example. It is not restricted to this. The imaging control unit 147 may calculate an average value of control parameters in the past one or more cycles until that time, and use the calculated average value for control of luminance.
Further, the imaging control unit 147 has been described by way of example in which the average value of the evaluation values of the luminance within the latest one cycle up to that point is calculated as the control value of luminance, but in the past plural cycles until that point The average value of the evaluation values of luminance may be calculated as the control value of luminance.

なお、上記の実施形態では、ＡＥ制御において、主にＰ制御を採用する場合を例にしたが、制御量と目標量の差分の大きさを小さくするように露光時間などの制御変数を算出する手法であれば、いかなる手法を用いてもよい。例えば、ＰＩ（Ｐｒｏｐｏｒｔｉｏｎａｌ−Ｉｎｔｅｇｒａｌ Ｃｏｎｔｒｏｌ）制御、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ−Ｉｎｔｅｇｒａｌ−Ｄｉｆｆｅｒｅｎｔｉａｌ Ｃｏｎｔｒｏｌ）制御が用いられてもよい。
ＬＥＤ１０６は、本体部１１に備えられてもよい。その場合には、ＬＥＤ１０６からの光を対物レンズ１０５に伝達し、挿入部１０の先端部から出射させるライトガイドが挿入部１０に備えられてもよい。また、システム制御部１１０からの画像信号を受信し、受信した画像信号に基づく画像を表示することができれば、ＬＣＤ１１８は、本体部１１において省略されてもよい。
なお、上記の実施形態では、ＡＥ制御における制御対象として露光時間とゲインである場合を例にしたが、撮像素子が受光する光量を制御するための手段として、例えば、メカニカルシャッターのパラメータ（例えば、露光時間、絞りなど）やフィルターのパラメータ（例えば、フィルター係数など）などをＡＥ制御の制御対象に含んでもよい。 In the above embodiment, the P control is mainly adopted in the AE control. However, the control variable such as the exposure time is calculated so as to reduce the difference between the control amount and the target amount. Any method may be used as long as it is a method. For example, Proportional-Integral Control (PI) control or Proportional-Integral-Differential Control (PID) control may be used.
The LED 106 may be provided to the main body 11. In that case, the insertion portion 10 may be provided with a light guide for transmitting the light from the LED 106 to the objective lens 105 and emitting the light from the distal end portion of the insertion portion 10. In addition, the LCD 118 may be omitted in the main body unit 11 as long as the image signal from the system control unit 110 can be received and an image based on the received image signal can be displayed.
In the above embodiment, the exposure time and the gain are used as control targets in AE control, but as a means for controlling the amount of light received by the imaging device, for example, a parameter of a mechanical shutter (for example, The exposure time, the aperture, etc.), the parameters of the filter (eg, filter coefficient, etc.), etc. may be included in the control object of the AE control.

なお、上記の実施形態に係る内視鏡装置１の一部、例えば、システム制御部１１０と画像処理部１４０は、それぞれもしくは全体として、１個又は複数のプロセッサ、メモリ、入出力インタフェース及びコンピュータ読み取り可能な記録媒体などからなるコンピュータで実現するようにしてもよい。その場合、システム制御部１１０と画像処理部１４０それぞれもしくは全体の機能を実現するためのプログラムを記録媒体に記録しておき、記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、「コンピュータシステム」とは、内視鏡装置１に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのいずれであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）（登録商標）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Note that a part of the endoscope apparatus 1 according to the above embodiment, for example, the system control unit 110 and the image processing unit 140, each or as a whole, includes one or more processors, a memory, an input / output interface, and a computer reading It may be realized by a computer comprising possible recording media and the like. In that case, a program for realizing the respective functions of the system control unit 110 and the image processing unit 140 or the entire function is recorded in a recording medium, and the recorded program is read and executed by a computer system. It is also good. The “computer system” is a computer system built in the endoscope apparatus 1 and includes an OS (Operating System) and hardware such as peripheral devices. The processor may be any of a central processing unit (CPU), a graphics processing unit (GPU), and a programmable logic device (PLD).
In addition, “computer readable recording medium” means portable media such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD (Compact Disc) (registered trademark) -ROM, etc., and a computer system. It refers to a storage device such as a hard disk. Furthermore, the “computer-readable recording medium” is one that holds a program dynamically for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case may also include one that holds a program for a certain period of time. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.

また、上述した実施形態に係る内視鏡装置１の一部、例えば、システム制御部１１０と画像処理部１４０のそれぞれもしくは組み合わせ、または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路として実現してもよい。内視鏡装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部の組、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   In addition, a part of the endoscope apparatus 1 according to the embodiment described above, for example, each or a combination of the system control unit 110 and the image processing unit 140, or all of them can be LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit) Etc.) may be realized. Each functional block of the endoscope apparatus 1 may be individually processorized, or some set or all may be integrated and processorized. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. In the case where an integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology, integrated circuits based on such technology may also be used.

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments and their modifications. Additions, omissions, substitutions, and other modifications of the configuration are possible without departing from the spirit of the present invention.
Also, the present invention is not limited by the above description, and is limited only by the scope of the attached claims.

１…内視鏡装置、１０…挿入部、１１…本体部、１０４…ＣＣＤ撮像素子、１０５…対物レンズ、１０６…ＬＥＤ、１０７…サーミスタ、１０８…加速度センサ、１０９…ワイヤー固定部、１１０…システム制御部、１１０ａ…画像記録部、１１０ｂ…ＬＣＤコントローラ、１１１…ユーザインタフェース部、１１２…記憶媒体、１１３…パラメータ記憶部、１１４…タイミングジェネレータ、１１５…ＣＣＤドライブ回路、１１８…ＬＣＤ、１１９…ＬＥＤ駆動回路、１２１…湾曲制御部、１２２…ＵＤ湾曲モータ、１２３…ＲＬ湾曲モータ、１２４、１２５…ワイヤー連結部、１２６…湾曲用ワイヤー、１３４、１３５…着脱コネクタ、１３６…プリアンプ、１３７…ＡＦＥ、１４０…画像処理部（制御部）、１４２…黒補正部、１４３…画素補間・輝度色差変換部、１４４…補正処理部、１４５…輝度評価部、１４７…撮像制御部 DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus, 10 ... Insertion part, 11 ... Body part, 104 ... CCD image sensor, 105 ... Objective lens, 106 ... LED, 107 ... Thermistor, 108 ... Acceleration sensor, 109 ... Wire fixing part, 110 ... System Control unit 110a: Image recording unit 110b: LCD controller 111: User interface unit 112: Storage medium 113: Parameter storage unit 114: Timing generator 115: CCD drive circuit 118: LCD 119: LED drive Circuit, 121: curving control unit, 122: UD curving motor, 123: RL curving motor, 124, 125: wire connecting portion, 126: wire for curving, 134, 135: detachable connector, 136: preamp, 137: AFE, 140 ... image processing unit (control unit) 142 ... black correction unit 143 Pixel interpolation-luminance color difference conversion unit, 144 ... correction processing unit, 145 ... luminance evaluation unit, 147 ... imaging control unit

Claims (12)

被写体の画像を生成する撮像素子と、
前記撮像素子を備えた挿入部と、
制御部と、を備え、
前記制御部は、
前記画像の輝度を評価し、
前記輝度が予め定められた目標値に近づくように前記輝度の制御パラメータを設定し、
少なくとも前記輝度と前記制御パラメータの一方の変動状況を検出し、
前記変動状況の変動頻度に基づいて、前記制御パラメータを定める
ことを特徴とする内視鏡装置。 An imaging device that generates an image of a subject;
An insertion portion provided with the imaging element;
And a control unit,
The control unit
Evaluate the brightness of the image,
Setting the control parameter of the luminance such that the luminance approaches a predetermined target value;
Detecting at least one variation condition of the brightness and the control parameter;
An endoscope apparatus characterized in that the control parameter is determined based on the change frequency of the change situation. 前記制御部は、
前記制御パラメータの変動に周期性を有すると判定するとき、現時点までの周期における前記制御パラメータの平均値を現時点の前記制御パラメータとして定める
ことを特徴とする請求項１に記載の内視鏡装置。 The control unit
The endoscope apparatus according to claim 1, wherein when it is determined that the fluctuation of the control parameter has periodicity, an average value of the control parameter in the period up to the present time is determined as the control parameter at the present time. 前記制御部は、
前記輝度の変動に周期性を有すると判定するとき、前記輝度の現時点までの周期における平均値が前記目標値に近づくように前記制御パラメータを決定する
ことを特徴とする請求項１に記載の内視鏡装置。 The control unit
When it is determined that the variation in luminance has periodicity, the control parameter is determined so that the average value in the period up to the current time of the luminance approaches the target value. Endoscope device. 前記制御部は、
前記制御パラメータもしくは前記輝度の変動に周期性を有しないと判定するとき、前記輝度の前記目標値への追従性を所定の追従性よりも低下させて前記制御パラメータを定める
ことを特徴とする請求項２に記載の内視鏡装置。 The control unit
When it is determined that the control parameter or the variation of the luminance does not have periodicity, the control parameter is determined by making the followability of the luminance to the target value lower than a predetermined followability. The endoscope apparatus according to Item 2. 前記制御部は、
前記追従性を低下させるとき、前記制御パラメータの変化量を少なくする
ことを特徴とする請求項４に記載の内視鏡装置。 The control unit
The endoscope apparatus according to claim 4, wherein the amount of change in the control parameter is reduced when the followability is reduced. 前記制御部は、
前記追従性を低下させるとき、前記制御パラメータの変化を開始させない輝度の範囲を大きくする
請求項５に記載の内視鏡装置。 The control unit
The endoscope apparatus according to claim 5, wherein when decreasing the followability, a range of luminance not causing change of the control parameter is increased. 前記制御部は、
前記制御パラメータの変動頻度を検出し、
前記制御パラメータの変動頻度が所定の制御パラメータの変動頻度よりも高いとき、前記制御パラメータの変動に周期性を有するか否かを判定する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の内視鏡装置。 The control unit
Detecting the change frequency of the control parameter;
It is determined whether or not the fluctuation of the control parameter has periodicity when the fluctuation frequency of the control parameter is higher than the fluctuation frequency of a predetermined control parameter. The endoscope apparatus according to one item. 前記制御部は、
前記制御パラメータの変動頻度が所定の制御パラメータの変動頻度以下であるとき、前記輝度の変動頻度を検出し、
前記輝度の変動頻度が所定の変動頻度よりも高いとき、前記輝度の変動に周期性を有するか否かを判定する
ことを特徴とする請求項７に記載の内視鏡装置。 The control unit
When the fluctuation frequency of the control parameter is equal to or less than the fluctuation frequency of a predetermined control parameter, the fluctuation frequency of the luminance is detected;
The endoscope apparatus according to claim 7, wherein when the variation frequency of the brightness is higher than a predetermined variation frequency, it is determined whether or not the variation of the brightness has periodicity. 前記制御部は、
前記挿入部の動作を検出するとき、
前記輝度の前記目標値への追従性を所定の追従性に維持して前記制御パラメータを定める
ことを特徴とする請求項１から請求項８のいずれか一項に記載の内視鏡装置。 The control unit
When detecting the operation of the insertion unit,
The endoscope apparatus according to any one of claims 1 to 8, wherein the control parameter is determined while maintaining the followability of the luminance to the target value to a predetermined followability. 被写体の画像を生成する撮像素子と、
前記撮像素子を備えた挿入部と、
制御部と、を備える内視鏡装置の作動方法であって、
前記画像の輝度を評価し、
前記輝度が予め定められた目標値に近づくように前記輝度の制御パラメータを設定し、
少なくとも前記輝度と前記制御パラメータの一方の変動状況を検出し、
前記変動状況の変動頻度に基づいて、前記制御パラメータを定める
ことを特徴とする内視鏡装置の作動方法。 An imaging device that generates an image of a subject;
An insertion portion provided with the imaging element;
A control method of an endoscope apparatus comprising:
Evaluate the brightness of the image,
Setting the control parameter of the luminance such that the luminance approaches a predetermined target value;
Detecting at least one variation condition of the brightness and the control parameter;
The operation method of an endoscope apparatus, wherein the control parameter is determined based on the fluctuation frequency of the fluctuation state. 被写体の画像を生成する撮像素子と、
前記撮像素子を備えた挿入部と、
を備える内視鏡装置のコンピュータに、
前記画像の輝度を評価する手順と、
前記輝度が予め定められた目標値に近づくように前記輝度の制御パラメータを設定する手順と、
少なくとも前記輝度と前記制御パラメータの一方の変動状況を検出する手順と、
前記変動状況の変動頻度に基づいて、前記制御パラメータを定める手順と
を実行させるためのプログラム。 An imaging device that generates an image of a subject;
An insertion portion provided with the imaging element;
To the computer of the endoscopic device comprising
Evaluating the brightness of the image;
Setting a control parameter of the brightness so that the brightness approaches a predetermined target value;
A procedure for detecting at least one of the brightness and the variation condition of the control parameter;
A program for causing the control parameter to be determined based on the change frequency of the change situation. 被写体の画像を生成する撮像素子と、
前記撮像素子を備えた挿入部と、
を備える内視鏡装置のコンピュータに、
前記画像の輝度を評価する手順と、
前記輝度が予め定められた目標値に近づくように前記輝度の制御パラメータを設定する手順と、
少なくとも前記輝度と前記制御パラメータの一方の変動状況を検出する手順と、
前記変動状況の変動頻度に基づいて、前記制御パラメータを定める手順と
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。 An imaging device that generates an image of a subject;
An insertion portion provided with the imaging element;
To the computer of the endoscopic device comprising
Evaluating the brightness of the image;
Setting a control parameter of the brightness so that the brightness approaches a predetermined target value;
A procedure for detecting at least one of the brightness and the variation condition of the control parameter;
A computer readable storage medium storing a program for executing the steps of determining the control parameter based on the change frequency of the change situation.
JP2018003733A 2018-01-12 2018-01-12 Endoscope device, operation method and program of the endoscope device Active JP7023120B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018003733A JP7023120B2 (en) 2018-01-12 2018-01-12 Endoscope device, operation method and program of the endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018003733A JP7023120B2 (en) 2018-01-12 2018-01-12 Endoscope device, operation method and program of the endoscope device

Publications (2)

Publication Number Publication Date
JP2019122492A true JP2019122492A (en) 2019-07-25
JP7023120B2 JP7023120B2 (en) 2022-02-21

Family

ID=67398165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018003733A Active JP7023120B2 (en) 2018-01-12 2018-01-12 Endoscope device, operation method and program of the endoscope device

Country Status (1)

Country Link
JP (1) JP7023120B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830731A (en) * 2019-11-13 2020-02-21 盛斌 Endoscope camera and self-adaptive dynamic imaging method thereof
WO2020262259A1 (en) 2019-06-28 2020-12-30 富士フイルム株式会社 Method for producing peptide compound, reagent for forming protective group, and fused polycyclic compound
JP2021078046A (en) * 2019-11-12 2021-05-20 キヤノン株式会社 Imaging apparatus and control method thereof, and program
WO2022138605A1 (en) 2020-12-22 2022-06-30 富士フイルム株式会社 Method for producing peptide, reagent for forming protective group, and fused polycyclic compound

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117486A (en) * 2005-10-28 2007-05-17 Olympus Corp Endoscope system and endoscope control device
US20100091176A1 (en) * 2008-10-09 2010-04-15 Samsung Electronics Co., Ltd. System and method for automatic exposure
JP2016049260A (en) * 2014-08-29 2016-04-11 アルプス電気株式会社 In-vehicle imaging apparatus
JP2017192115A (en) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 Visible recognition apparatus for vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117486A (en) * 2005-10-28 2007-05-17 Olympus Corp Endoscope system and endoscope control device
US20100091176A1 (en) * 2008-10-09 2010-04-15 Samsung Electronics Co., Ltd. System and method for automatic exposure
JP2016049260A (en) * 2014-08-29 2016-04-11 アルプス電気株式会社 In-vehicle imaging apparatus
JP2017192115A (en) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 Visible recognition apparatus for vehicle

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262259A1 (en) 2019-06-28 2020-12-30 富士フイルム株式会社 Method for producing peptide compound, reagent for forming protective group, and fused polycyclic compound
JP2021078046A (en) * 2019-11-12 2021-05-20 キヤノン株式会社 Imaging apparatus and control method thereof, and program
JP7414480B2 (en) 2019-11-12 2024-01-16 キヤノン株式会社 Imaging device and its control method and program
CN110830731A (en) * 2019-11-13 2020-02-21 盛斌 Endoscope camera and self-adaptive dynamic imaging method thereof
WO2022138605A1 (en) 2020-12-22 2022-06-30 富士フイルム株式会社 Method for producing peptide, reagent for forming protective group, and fused polycyclic compound

Also Published As

Publication number Publication date
JP7023120B2 (en) 2022-02-21

Similar Documents

Publication Publication Date Title
JP7023120B2 (en) Endoscope device, operation method and program of the endoscope device
JP4804062B2 (en) Endoscope system
JP5953187B2 (en) Focus control device, endoscope system, and focus control method
US9313403B2 (en) Image processing device, image processing method, and program
WO2009049324A1 (en) Method and device for reducing the fixed pattern noise of a digital image
JPWO2016185763A1 (en) Light source control device, light source control method, and imaging system
JP6767383B2 (en) Image processing equipment, image processing methods and programs
JP5953373B2 (en) Endoscope device
US20190239725A1 (en) Endoscope apparatus, control method of endoscope apparatus, and recording medium
US20160210731A1 (en) Image processing device, endoscope apparatus, image processing method, and program
US11033174B2 (en) Medical image processing device and medical observation device
JP6489644B2 (en) Imaging system
CN110337260B (en) Electronic endoscope device
JP6337228B2 (en) Endoscope
WO2021075235A1 (en) Endoscope system
JP5847484B2 (en) Imaging apparatus, control method thereof, and program
JP2009273691A (en) Apparatus and method of endoscope image processing
JP6027793B2 (en) Endoscope device
JP2011024901A (en) Electronic endoscope system and light control signal correcting method
JP2018007880A (en) Endoscope apparatus and control method
JP4708603B2 (en) Electronic endoscope device with automatic dimming function to prevent halation
JP7229210B2 (en) Endoscope processor and endoscope system
US20220225857A1 (en) Medical control device and medical observation system
JP3898896B2 (en) Endoscope system with photometric range
CN116829046A (en) Endoscope system and method for operating endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220208

R151 Written notification of patent or utility model registration

Ref document number: 7023120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350