JP2014124263A - Endoscope apparatus - Google Patents

Endoscope apparatus Download PDF

Info

Publication number
JP2014124263A
JP2014124263A JP2012281686A JP2012281686A JP2014124263A JP 2014124263 A JP2014124263 A JP 2014124263A JP 2012281686 A JP2012281686 A JP 2012281686A JP 2012281686 A JP2012281686 A JP 2012281686A JP 2014124263 A JP2014124263 A JP 2014124263A
Authority
JP
Japan
Prior art keywords
line
phase shift
lines
rotary shutter
endoscope apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012281686A
Other languages
Japanese (ja)
Other versions
JP6063733B2 (en
Inventor
Toshio Tachibana
俊雄 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2012281686A priority Critical patent/JP6063733B2/en
Publication of JP2014124263A publication Critical patent/JP2014124263A/en
Application granted granted Critical
Publication of JP6063733B2 publication Critical patent/JP6063733B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent deterioration of image quality caused by synchronization shift between a rotary shutter and read timing, in an endoscope apparatus using an X-Y address type imaging element.SOLUTION: In an endoscope apparatus in which a CMOS type image sensor is provided on a scope distal end part, and an exposure period can be adjusted by performing rotational phase control of a pair of rotary shutters, a line read order is changed mutually with respect to lines E1, E2, E3 and E4 in an upper area TA and a lower area TB of a light-receiving area. Further, phase shift is detected by mutually comparing line groups G1, G3 which are adjacent to each other on line arrangement and are separated from each other in the line read order, and/or a signal distribution state of line groups G2, G4.

Description

本発明は、スコープによって器官内壁などの被写体を撮像し、観察画像をモニタに表示する電子内視鏡装置に関し、特に、ロータリーシャッタを使用した露光制御に関する。   The present invention relates to an electronic endoscope apparatus that images a subject such as an inner wall of an organ with a scope and displays an observation image on a monitor, and particularly relates to exposure control using a rotary shutter.

内視鏡装置では、ロータリーシャッタを用いて露光期間、画像明るさを調整する構成が知られており、遮光部と開口部から構成されるロータリーシャッタを1フィールド/フレーム期間に同期させながら回転させる(特許文献1、2参照)。   Endoscope apparatuses are known to use a rotary shutter to adjust the exposure period and image brightness, and the rotary shutter composed of a light-shielding part and an opening is rotated while being synchronized with one field / frame period. (See Patent Documents 1 and 2).

そこでは、同じ周方向長さをもつ弧状開口部をそれぞれ設けた1組のロータリーシャッタ対を対向配置させ、同じ回転速度で回転させる。これにより、開口部が周期的に光路を通過する。そして、相対的に位相をシフトさせることによって、開口部が光路を通過する期間、すなわち露光期間を変化させる。露光期間調整は、被写体像の調光処理、あるいは静止画像撮影時のシャッタスピード調整などを目的として行われる。   In this case, a pair of rotary shutter pairs each having an arcuate opening having the same circumferential length are arranged opposite to each other and rotated at the same rotational speed. Thereby, an opening part passes an optical path periodically. Then, by relatively shifting the phase, the period during which the opening passes the optical path, that is, the exposure period is changed. The exposure period adjustment is performed for the purpose of dimming the subject image or adjusting the shutter speed during still image shooting.

一方、スコープ先端部には、CCDなどの電荷転送型撮像素子だけでなく、CMOSなどのX−Yアドレス型撮像素子を設ける内視鏡装置も知られており、撮像素子とともに周辺回路を同一基板上に配置することが可能となる。この場合、1水平ラインごとに信号電荷(画素信号)が順次読み出される(たとえば、特許文献3参照)。   On the other hand, an endoscope apparatus is known in which not only a charge transfer type image pickup device such as a CCD but also an XY address type image pickup device such as a CMOS is provided at the distal end of the scope. It becomes possible to arrange on top. In this case, signal charges (pixel signals) are sequentially read for each horizontal line (see, for example, Patent Document 3).

特開2002−119464号公報JP 2002-119464 A 特開2008−104614号公報JP 2008-104614 A 特開2011−250926号公報JP 2011-250926 A

ロータリーシャッタを使用した露光期間調整の場合、ロータリーシャッタの位相が電荷読み出しのタイミングとずれると、ラインによっては画素信号読み出し前に次の開口部通過が開始される。その結果、同一ライン上で二度に渡る露光が行わることになり、画質が低下する。   In the case of adjusting the exposure period using the rotary shutter, if the phase of the rotary shutter deviates from the charge readout timing, the passage of the next opening is started before pixel signal readout depending on the line. As a result, the exposure is performed twice on the same line, and the image quality is deteriorated.

しかしながら、位相ずれを検出するためには、複数のフレームメモリを用意して、複雑な画像解析を行う必要がある。これでは、位相ずれを迅速に解消することができない。   However, in order to detect a phase shift, it is necessary to prepare a plurality of frame memories and perform complex image analysis. With this, it is impossible to quickly eliminate the phase shift.

したがって、ロータリーシャッタの位相と電荷読み出しのタイミングの同期ずれを容易に検知し、また同期ずれを解消することが求められる。   Therefore, it is required to easily detect a synchronization shift between the phase of the rotary shutter and the charge readout timing and to eliminate the synchronization shift.

本発明の内視鏡装置は、スコープ先端部に設けられたX−Yアドレス型撮像素子と、開口部と遮光部を有し、開口部が光源の光路を通過するように回転するロータリーシャッタと、画素信号の読み出し禁止期間を設け、1フィールドもしくはフレーム期間に従い、撮像素子から1フィールド/フレーム分の画素信号をラインごとに読み出す露光制御手段と、ロータリーシャッタを回転制御し、開口部の光路通過期間を読み出し禁止期間内に収めるロータリーシャッタ位相制御手段と、読み出した1フィールド/フレーム分の画素信号に基づき、読み出し禁止期間に対するロータリーシャッタの位相ずれを検出する位相ずれ検出手段とを備える。   An endoscope apparatus according to the present invention includes an XY address type image sensor provided at a distal end portion of a scope, a rotary shutter having an opening and a light shielding portion, and rotating so that the opening passes through an optical path of a light source. The pixel signal readout prohibition period is provided, and the exposure control means for reading out the pixel signals for one field / frame from the image sensor for each line according to one field or frame period, and the rotary shutter are rotationally controlled to pass through the optical path of the opening. Rotary shutter phase control means for keeping the period within the read prohibition period, and phase shift detection means for detecting the phase shift of the rotary shutter with respect to the read prohibition period based on the read pixel signal for one field / frame.

そして、露光制御手段は、撮像素子の受光エリアにおいて上部および下部に位置する1つもしくは複数のラインに対し、読み出し順を相互に入れ替え、位相ずれ検出手段は、ライン配列上隣り合う一方で読み出し順が離れた1つもしくは複数から成るラインの画素信号同士から、位相ずれを検知する。   Then, the exposure control means interchanges the reading order with respect to one or a plurality of lines positioned at the upper and lower portions in the light receiving area of the image sensor, and the phase shift detection means is adjacent to the line array while being in the reading order. The phase shift is detected from pixel signals of one or a plurality of lines separated from each other.

1つのラインもしくは複数のライン(ライン群)は、上部および下部の少なくとも一方に位置するラインであり、例えば、上から1〜30番目までの範囲、最後尾から30番目の範囲内のラインを取り上げることが可能である。そして、ロータリーシャッタ位相制御手段は、検出された位相ずれを解消するように、ロータリーシャッタを回転制御するようにすればよい。   One line or a plurality of lines (line group) is a line located in at least one of the upper part and the lower part. For example, the lines in the first to 30th range from the top and the 30th range from the last are taken up. It is possible. Then, the rotary shutter phase control means may control the rotation of the rotary shutter so as to eliminate the detected phase shift.

位相ずれ検出手段は、上記のような1つのラインもしくはライン群に関し、配列上隣り合っていて読み出し順が離れた画素信号同士を比較することにより、位相ずれを検知する。特定のライン上の画素信号を比較する簡単な処理によって、二重露光発生を確実に検知することができる。   The phase shift detection means detects the phase shift by comparing pixel signals that are adjacent to each other in the array and have a different reading order with respect to one line or line group as described above. The occurrence of double exposure can be reliably detected by a simple process of comparing pixel signals on a specific line.

例えば、位相ずれ検出手段は、上部、下部でそれぞれ隣り合う2組のライン対について読み出し順を対ごとに入れ替えることができる。2つのラインに基づいて位相ずれを検出することで確実に相違しているか判断することが可能となる。   For example, the phase shift detection means can change the reading order for each pair of two pairs of lines adjacent to each other in the upper part and the lower part. By detecting a phase shift based on the two lines, it is possible to determine whether or not there is a difference.

1フィールド/フレーム分の画素信号に基づいて観察画像を生成する画像処理手段を設けた場合、画像処理手段は、画質劣化を防ぐため、読み出し順の入れ替えられたラインの画素信号を、観察画像形成に利用しないようにすることができる。   When an image processing means for generating an observation image based on a pixel signal for one field / frame is provided, the image processing means uses the pixel signals of the lines whose reading order has been changed to form an observation image in order to prevent image quality deterioration. You can avoid using it.

このように本発明によれば、X−Yアドレス型撮像素子を使用した内視鏡装置において、ロータリーシャッタと読み出しタイミングの同期ずれによる画質低下を防ぐことができる。   As described above, according to the present invention, in an endoscope apparatus using an XY address type image pickup device, it is possible to prevent deterioration in image quality due to a synchronization shift between a rotary shutter and readout timing.

本実施形態である電子内視鏡装置のブロック図である。It is a block diagram of the electronic endoscope apparatus which is this embodiment. ロータリーシャッタ対から成るシャッタ機構の概略的平面図である。It is a schematic top view of the shutter mechanism which consists of a rotary shutter pair. CMOS型イメージセンサにおける露光期間と画素信号読み出しを示した図である。It is the figure which showed the exposure period and pixel signal reading in a CMOS type image sensor. 画素信号の読み出しライン順を示した図である。It is the figure which showed the read-out line order of a pixel signal. 読み出した画素信号のラインに沿った信号分布状態を示した図である。It is the figure which showed the signal distribution state along the line of the read pixel signal. システムコントロール回路によって実行される位相ずれ検出処理のフローチャートである。It is a flowchart of the phase shift detection process performed by a system control circuit.

以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。   Hereinafter, the electronic endoscope apparatus according to the present embodiment will be described with reference to the drawings.

図1は、本実施形態である電子内視鏡装置のブロック図である。図2は、ロータリーシャッタ対から成るシャッタ機構の概略的平面図である。   FIG. 1 is a block diagram of an electronic endoscope apparatus according to this embodiment. FIG. 2 is a schematic plan view of a shutter mechanism including a rotary shutter pair.

電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ10と、プロセッサ20とを備え、ビデオスコープ10はプロセッサ20に着脱自在に接続される。プロセッサ20には、モニタ50が接続されている。   The electronic endoscope apparatus includes a video scope 10 whose insertion portion is inserted into the body, and a processor 20, and the video scope 10 is detachably connected to the processor 20. A monitor 50 is connected to the processor 20.

プロセッサ20は、キセノンランプなどの光源22を備え、光源22から放射された照明光は、集光レンズ28を介してビデオスコープ10内に設けられたライトガイド11に入射し、ライトガイド11を通ってスコープ先端部から被写体(観察対象)に向けて照射される。   The processor 20 includes a light source 22 such as a xenon lamp. Illumination light emitted from the light source 22 is incident on a light guide 11 provided in the video scope 10 via a condenser lens 28, and passes through the light guide 11. Then, the light is irradiated from the distal end of the scope toward the subject (observation target).

被写体に反射した照明光は、スコープ先端部に設けられた対物レンズ(図示せず)を通り、これによって被写体像がイメージセンサ(撮像素子)12の受光面(受光エリア)に形成される。イメージセンサ12は、X−Yアドレス型撮像素子であり、ここではCMOSイメージセンサが適用される。イメージセンサ12には、Cy、Ye、G、MgあるいはR、G、B等から成る色要素をモザイク配列させた色フィルタが配設されている。   The illumination light reflected by the subject passes through an objective lens (not shown) provided at the distal end portion of the scope, whereby a subject image is formed on the light receiving surface (light receiving area) of the image sensor (imaging device) 12. The image sensor 12 is an XY address type image sensor, and a CMOS image sensor is applied here. The image sensor 12 is provided with a color filter in which color elements made of Cy, Ye, G, Mg or R, G, B, etc. are arranged in a mosaic pattern.

イメージセンサ12では、1フレーム分の画素信号が、撮像素子駆動回路32からの駆動信号に従い、所定のフレーム時間間隔(ここでは1/30秒間隔)で読み出される。画素信号読み出し方式としては、ローリングシャッタ方式が採用されており、ラインごとに順番に読み出される。   In the image sensor 12, pixel signals for one frame are read at predetermined frame time intervals (here, 1/30 second intervals) in accordance with a drive signal from the image sensor drive circuit 32. As a pixel signal readout method, a rolling shutter method is adopted, and readout is performed in order for each line.

イメージセンサ12から読み出された1フレーム分の画素信号は、プロセッサ20の初期回路34においてデジタル化、ノイズ除去処理などが施され、画像処理回路36へ送られる。なお、イメージセンサ12の傍に設置された信号処理回路においてデジタル化処理等を行ってもよい。また、撮像素子駆動回路32をイメージセンサ12の傍に配置してもよい。   The pixel signal for one frame read from the image sensor 12 is digitized and noise-removed in the initial circuit 34 of the processor 20 and sent to the image processing circuit 36. Note that digitization processing or the like may be performed in a signal processing circuit installed near the image sensor 12. In addition, the image sensor driving circuit 32 may be disposed beside the image sensor 12.

画像処理回路36では、入力された1フレーム分の画素信号に対し、ホワイトバランス処理、ガンマ補正処理などの信号処理が施される。これにより、カラー画像信号が生成される。生成されたカラー画像信号が映像信号としてモニタ50に出力されることにより、観察画像がリアルタイムの動画像としてモニタ50に表示される。システムコントロール回路30は、画像処理回路36などへ制御信号を出力し、プロセッサ20全体の動作を制御する。   The image processing circuit 36 performs signal processing such as white balance processing and gamma correction processing on the input pixel signal for one frame. Thereby, a color image signal is generated. The generated color image signal is output as a video signal to the monitor 50, whereby the observation image is displayed on the monitor 50 as a real-time moving image. The system control circuit 30 outputs a control signal to the image processing circuit 36 and the like, and controls the operation of the entire processor 20.

光源22とライトガイド11との間には、一対のロータリーシャッタ27、29を同軸に対面配置させたシャッタ機構24が設けられている。ロータリーシャッタ対27、29は、図2に示すように、円盤状板にそれぞれ弧状の開口部27A、29Aを形成したシャッタ部材であり、開口部27A、29A以外が遮光部として構成される。   Between the light source 22 and the light guide 11, a shutter mechanism 24 is provided in which a pair of rotary shutters 27 and 29 are coaxially arranged facing each other. As shown in FIG. 2, the rotary shutter pairs 27 and 29 are shutter members in which arc-shaped openings 27A and 29A are respectively formed in a disk-like plate, and the portions other than the openings 27A and 29A are configured as light shielding portions.

ロータリーシャッタ対27、29は、そのサイズが同一であって、開口部27A、29Aの周方向長さは、ともに半周分長さとなっている。ロータリーシャッタ対27、29は、図示しないモータなどのシャッタ駆動機構によって駆動される。   The sizes of the rotary shutter pairs 27 and 29 are the same, and the circumferential lengths of the openings 27A and 29A are both half the length. The rotary shutter pairs 27 and 29 are driven by a shutter driving mechanism such as a motor (not shown).

ロータリーシャッタ27、29それぞれの回転により、光源22から放射される光の光路LBには、遮光部と透過部が交互に通過する。これによって被写体へ照射される露光期間が調整される。ロータリーシャッタ対27、29は、1フレーム期間に合わせて一定速度で回転する。   By rotation of each of the rotary shutters 27 and 29, the light shielding portion and the transmission portion alternately pass through the optical path LB of the light emitted from the light source 22. This adjusts the exposure period during which the subject is irradiated. The rotary shutter pairs 27 and 29 rotate at a constant speed in accordance with one frame period.

さらに、ロータリーシャッタ対27、29は、互いに位相シフトさせて回転すること可能であり、ロータリーシャッタ27に対するロータリーシャッタ29の位相を相対的に早め、あるいは遅くすることによって、開口部27Aの一部がロータリーシャッタ29の遮光部と重なる(図2参照)。その結果、光路LBが開口部27A、29A両方を通過する遮光期間、すなわち露光期間が変化する。   Further, the rotary shutter pairs 27 and 29 can be rotated while being phase-shifted with each other, and by making the phase of the rotary shutter 29 relative to the rotary shutter 27 relatively faster or slower, a part of the opening 27A can be made. It overlaps the light shielding part of the rotary shutter 29 (see FIG. 2). As a result, the light shielding period in which the optical path LB passes through both the openings 27A and 29A, that is, the exposure period changes.

オペレータは、例えば、フリーズ操作によって静止画像を記録する場合、あるいは光源の出力特性などに応じて露光期間を調整したい場合、キーボード60などの入力部材を操作することにより、露光期間を調整することができる。   For example, the operator can adjust the exposure period by operating an input member such as the keyboard 60 when recording a still image by a freeze operation or when adjusting the exposure period according to the output characteristics of the light source. it can.

モニタに表示される被写体像の明るさは、絞り26の開閉によって行われる。ここでは、被写体像の明るさが基準となる輝度レベルとなるようにシステムコントロール回路30によって自動調光処理が行われる。   The brightness of the subject image displayed on the monitor is determined by opening / closing the diaphragm 26. Here, the automatic light control processing is performed by the system control circuit 30 so that the brightness of the subject image becomes a reference luminance level.

ただし、ロータリーシャッタ対27、29によって明るさ調整を行うことも可能である。この場合、一方のロータリーシャッタの位相を相対的に進める、あるいは遅らせる位相制御を続けることにより、光量を連続的に増減させることが可能である。   However, the brightness can be adjusted by the rotary shutter pairs 27 and 29. In this case, the amount of light can be increased or decreased continuously by continuing phase control that relatively advances or delays the phase of one rotary shutter.

また、2つのロータリーシャッタから構成されるシャッタ機構を採用する代わりに、1枚のロータリーシャッタの回転を読み出しタイミングに応じて位相シフト制御することにより、露光期間を調整することも可能である。   Further, instead of employing a shutter mechanism including two rotary shutters, the exposure period can be adjusted by controlling the phase shift of the rotation of one rotary shutter in accordance with the read timing.

図3は、CMOS型イメージセンサにおける、ロータリーシャッターを使用する場合の露光期間と画素信号読み出しを示した図である。以下、図3を用いて、ロータリーシャッタの位相と画素信号読み出しタイミングの同期ずれについて説明する。   FIG. 3 is a diagram showing an exposure period and pixel signal readout when a rotary shutter is used in a CMOS image sensor. Hereinafter, the synchronization shift between the phase of the rotary shutter and the pixel signal readout timing will be described with reference to FIG.

CMOS型イメージセンサ12の通常画素信号読み出し方式であるローリングシャッタ方式では、受光面における上方のラインから下方のラインに向けて画素信号がラインごとに順次読み出される。図3では、説明のため便宜上ライン数を16としている。   In the rolling shutter system, which is a normal pixel signal readout system of the CMOS image sensor 12, pixel signals are sequentially read out line by line from the upper line to the lower line on the light receiving surface. In FIG. 3, the number of lines is 16 for convenience of explanation.

ロータリーシャッタ27、29の開口部27A、29Aを光が通過する期間(以下、照射期間という)MAは、1フレーム期間FA内に収まるように、画素信号を読み出さない期間(以下、読み出し禁止期間という)SAに合わせて設定される。ここでは、照射期間MAと読み出し禁止期間SAが一致している。各ラインの順次読み出し走査タイミングは、1フレーム期間FAに従って調整されている。   A period during which light passes through the openings 27A and 29A of the rotary shutters 27 and 29 (hereinafter referred to as an irradiation period) MA is a period during which the pixel signal is not read (hereinafter referred to as a read prohibition period) so as to be within one frame period FA. ) Set according to SA. Here, the irradiation period MA coincides with the read prohibition period SA. The sequential readout scanning timing of each line is adjusted according to one frame period FA.

照射期間MA、すなわち露光期間中に画素信号が読み出されず、全ラインの画素信号を読み出すのにかかる読み出し期間SBは、ロータリーシャッタ27、29による遮光期間と重なり、実質的に露光されない。この場合、ロータリーシャッタ27、29の位相と画素信号読み出しタイミングは、同期しているものとみなす。   The pixel period is not read during the irradiation period MA, that is, the exposure period, and the readout period SB required to read out the pixel signals of all lines overlaps the light shielding period by the rotary shutters 27 and 29 and is not substantially exposed. In this case, the phase of the rotary shutters 27 and 29 and the pixel signal readout timing are considered to be synchronized.

一方、ロータリーシャッタ27、29の回転制御のフィードバック制御追従性の問題等により、ロータリーシャッタ27、29の位相と画素信号読み出しタイミングとの間で同期ずれが生じる場合がある。その結果、画素信号読み出し期間SBと照射期間MAが部分的に重なる。図3では、ロータリーシャッタ27、29の位相が進んだ場合の状態を示している。   On the other hand, due to the problem of feedback control followability of the rotation control of the rotary shutters 27 and 29, a synchronization shift may occur between the phase of the rotary shutters 27 and 29 and the pixel signal readout timing. As a result, the pixel signal readout period SB and the irradiation period MA partially overlap. FIG. 3 shows a state where the phases of the rotary shutters 27 and 29 are advanced.

このような同期/位相ずれが生じると、一部ライン上の画素に対して次のフレーム期間における照射期間MAが開始されることによって、二重露光が生じてしまう。図3では、下部の第13〜16ラインに該当するエリアが二重露光となっている。   When such synchronization / phase shift occurs, double exposure occurs due to the start of the irradiation period MA in the next frame period for pixels on some lines. In FIG. 3, the area corresponding to the lower 13th to 16th lines is double exposure.

そこでは、本実施形態では、一部ラインの画素信号読み出しラインを入れ替えることによって、1フレーム分の画素信号全体を解析することなく、位相ずれを検出する。以下、これについて説明する。   Therefore, in the present embodiment, the phase shift is detected without analyzing the entire pixel signal for one frame by exchanging the pixel signal readout lines of some lines. This will be described below.

図4は、画素信号の読み出しライン順を示した図である。図5は、読み出した画素信号のラインに沿った信号分布状態を示した図である。   FIG. 4 is a diagram illustrating the pixel signal readout line order. FIG. 5 is a diagram illustrating a signal distribution state along the line of the read pixel signal.

通常のローリングシャッタ方式に従って上のラインから下のラインに向けて画素信号を順番に読み出す一方、受光面の上部エリアTAと、下部エリアTBに関して読み出し順を変更する。この上部エリアTA、下部エリアTBは、二重露光が発生する領域として定められている。   In accordance with a normal rolling shutter system, pixel signals are sequentially read from the upper line toward the lower line, while the reading order is changed with respect to the upper area TA and lower area TB of the light receiving surface. The upper area TA and lower area TB are defined as areas where double exposure occurs.

ロータリーシャッタ27、29の位相が進んだ場合、図4に示すように下部エリアTBにおいて二重露光が発生する。位相が遅れた場合、上部エリアTAにおいて二重露光が発生する。そのため、上部エリアTA、下部エリアTBを実際の観察画像には使用せず、位相ずれ検出のみに利用し、第5〜12ライン間の画素信号によって観察画像を生成される。   When the phases of the rotary shutters 27 and 29 are advanced, double exposure occurs in the lower area TB as shown in FIG. When the phase is delayed, double exposure occurs in the upper area TA. Therefore, the upper area TA and the lower area TB are not used for the actual observation image, but are used only for phase shift detection, and the observation image is generated by the pixel signal between the fifth to twelfth lines.

上部エリアTAについては、隣り合う第1、第2ラインE1と、第3、第4ラインE2とが位相ずれ検出のため1つのライン群となり、下部エリアTBについては、第13、14ラインE3と、第15、16ラインE4とがまとまったライン群として定められている。   For the upper area TA, the adjacent first and second lines E1, and the third and fourth lines E2 form one line group for phase shift detection, and for the lower area TB, the thirteenth and fourteenth lines E3 and The 15th and 16th lines E4 are defined as a group of lines.

そして、画素信号を読み出すとき、第15、16ラインE4の画素信号を、第1、第2ラインE1の代わりに最初に読み出す。その後、第3〜12ライン、および第13、14ラインまでは、通常と同じように上から下に順番に画素信号を読み出す。そして、第1、第2ラインE1の画素信号を、最後に読み出す。   Then, when reading out the pixel signal, the pixel signal of the fifteenth and sixteenth lines E4 is read out first instead of the first and second lines E1. Thereafter, for the third to twelfth lines and the thirteenth and fourteenth lines, the pixel signals are read in order from the top to the bottom as usual. Then, the pixel signals of the first and second lines E1 are read last.

このような画素信号読み出し後、ライン配列上隣り合うライン群同士の信号分布を比較する。図4に示すように、ライン配列に基づいてライン群を並べてみると、第15、16ラインE4に相当するライン群G1と第13、14ラインE3に相当するライン群G3は読み出し順において一方が先頭、もう一方が末尾近くとなっている。   After reading out such pixel signals, the signal distributions of adjacent line groups on the line array are compared. As shown in FIG. 4, when line groups are arranged based on the line arrangement, one of the line group G1 corresponding to the fifteenth and sixteenth lines E4 and the line group G3 corresponding to the thirteenth and fourteenth lines E3 are in the reading order. The top and the other are near the end.

図3のようにロータリーシャッタ27、29の位相が進んでいる場合、上記読み出しライン順で画素信号を読み出すと、第13、14ラインE3に相当するライン群G3は二重露光発生となるが、第15、16ラインE4に相当するライン群G1は、一番初めに読み出されているため、二重露光が発生しない。   When the phases of the rotary shutters 27 and 29 are advanced as shown in FIG. 3, when the pixel signals are read out in the order of the readout lines, the line group G3 corresponding to the thirteenth and fourteenth lines E3 causes double exposure. Since the line group G1 corresponding to the fifteenth and sixteenth lines E4 is read first, no double exposure occurs.

図5には、ライン群G1、G2、G3、G4のライン上に沿った信号分布、すなわち輝度レベル分布が図示されている。位相が進んでいる場合、読み出し順の変更されていないライン群G3と、読み出し順が変更されたライン群G1とを比較すると、画素信号分布に違いが生じる。同様に、最後に読み出されるライン群G4(第1、2ラインE1)と、読み出し変更されないライン群G2(第3、4ラインE2)とを比較すると、ライン群G2は二重露光が発生せず、ライン群G4には二重露光が発生するため、画素信号分布に違いが生じる。   FIG. 5 shows signal distributions along the lines of the line groups G1, G2, G3, and G4, that is, luminance level distributions. When the phase is advanced, when the line group G3 whose reading order is not changed and the line group G1 whose reading order is changed are compared, a difference occurs in the pixel signal distribution. Similarly, when the line group G4 (first and second lines E1) to be read last is compared with the line group G2 (third and fourth lines E2) that is not changed, the line group G2 does not generate double exposure. Since the double exposure occurs in the line group G4, the pixel signal distribution differs.

そのため、ライン群G1とG3、G2とG4との間には、輝度分布に相違が生じる。したがって、ライン配列に関しては互いに隣り合うライン群である一方、読み出し順に関して離れているライン群同士について、画素信号分布状態を相互比較することにより、位相ずれを検出することができる。   Therefore, a difference occurs in the luminance distribution between the line groups G1 and G3, and G2 and G4. Therefore, a phase shift can be detected by comparing the pixel signal distribution states of the line groups that are adjacent to each other with respect to the line arrangement and that are separated with respect to the reading order.

これは、ロータリーシャッタ27、29の位相が遅れた場合も同様である。   The same applies to the case where the phases of the rotary shutters 27 and 29 are delayed.

図6は、システムコントロール回路30によって実行される位相ずれ検出処理のフローチャートである。   FIG. 6 is a flowchart of the phase shift detection process executed by the system control circuit 30.

撮像中、上述したようなライン順で画素信号を読み出すように、システムコントロール回路30が撮像素子駆動回路32へ制御信号を出力し、イメージセンサ12が駆動される。所定の1フレーム分の画素信号を初期回路34から取得すると(S101)、ライン群G1、G2、G3、G4のライン上に沿った信号分布特性を検出する(S102〜S105)。信号分布特性としては、ここではラインに沿った輝度分布を抽出する。なお、ヒストグラムデータ、最大値、最少値、平均値などによって、輝度分布特性を検出してもよい。以下、その特性値をF(G1)、F(G2)、F(G3)、F(G4)と表す。   During imaging, the system control circuit 30 outputs a control signal to the imaging element driving circuit 32 so that the pixel signals are read in the line order as described above, and the image sensor 12 is driven. When pixel signals for a predetermined frame are acquired from the initial circuit 34 (S101), signal distribution characteristics along the lines of the line groups G1, G2, G3, and G4 are detected (S102 to S105). As the signal distribution characteristic, here, the luminance distribution along the line is extracted. Note that the luminance distribution characteristics may be detected based on histogram data, a maximum value, a minimum value, an average value, and the like. Hereinafter, the characteristic values are represented as F (G1), F (G2), F (G3), and F (G4).

F(G1)、F(G3)あるいはF(G2)、F(G4)いずれか一方が一致しない場合、F(G3)と、F(G1)の大小を比較する(S106〜S109)。F(G3)の方がF(G1)よりも大きい場合、二重露光が下部エリアTBにおいて発生している、すなわち、図5のように位相が進んでいると判断する。そして、ロータリーシャッタ29の位相を相対的に遅らせ、照射開始タイミングを遅らせる(S109)。   If any one of F (G1), F (G3) or F (G2), F (G4) does not match, F (G3) and F (G1) are compared in magnitude (S106 to S109). When F (G3) is larger than F (G1), it is determined that double exposure has occurred in the lower area TB, that is, the phase has advanced as shown in FIG. Then, the phase of the rotary shutter 29 is relatively delayed, and the irradiation start timing is delayed (S109).

一方、F(G1)の方がF(G3)よりも大きい場合、二重露光が上部エリアTAにおいて発生している、すなわち位相が遅れていると判断する。そして、ロータリーシャッタ29の位相を相対的に進ませ、照射開始タイミング進ませる(S110、S111)。   On the other hand, when F (G1) is larger than F (G3), it is determined that double exposure occurs in the upper area TA, that is, the phase is delayed. Then, the phase of the rotary shutter 29 is relatively advanced to advance the irradiation start timing (S110, S111).

このような位相ずれ検出と遮光開始タイミングの調整をフィードバック制御することにより、同期ずれを解消することができる。なお、F(G1)とF(G3)とを比較する代わりに、F(G2)とF(G4)とを比較してもよい。あるいは、両方を比較してもよい。   By performing feedback control on the detection of the phase shift and the adjustment of the light shielding start timing, the synchronization shift can be eliminated. Note that F (G2) and F (G4) may be compared instead of comparing F (G1) and F (G3). Alternatively, both may be compared.

このように本実施形態によれば、スコープ先端部にCMOS型イメージセンサを設け、一対のロータリーシャッタを回転位相制御することによって露光期間を調整可能な内視鏡装置において、受光エリアの上部エリアTA、下部エリアTBのラインE1、E2、E3、E4に対し、ライン読み出し順を相互に入れ替える。そして、ラインの配列上隣り合う一方でライン読み出し順に関して離れているライン群G1、G3、あるいはライン群G2、G4の信号分布状態を相互比較することにより、位相ずれを検出する。   As described above, according to the present embodiment, in the endoscope apparatus in which the CMOS type image sensor is provided at the distal end of the scope and the exposure period can be adjusted by controlling the rotational phase of the pair of rotary shutters, the upper area TA of the light receiving area. The line reading order for the lines E1, E2, E3, and E4 in the lower area TB is interchanged. Then, the phase shift is detected by comparing the signal distribution states of the line groups G1 and G3, or the line groups G2 and G4, which are adjacent to each other on the line array but separated in the line reading order.

高度な画像解析処理をすることなく、ロータリーシャッタとイメージセンサにおける露光タイミングの同期ずれを検知することができる。また、読み出し順を入れ替えたラインについては観察画像形成に利用しないため、画質に影響を及ぼさない。さらに、ライン全体に渡った信号レベル分布を抽出するため、二重露光発生を確実に検知することができる。   It is possible to detect a deviation in exposure timing between the rotary shutter and the image sensor without performing advanced image analysis processing. In addition, since the line in which the reading order is changed is not used for observation image formation, the image quality is not affected. Furthermore, since the signal level distribution over the entire line is extracted, it is possible to reliably detect the occurrence of double exposure.

ラインの読み出し順の入れ替えについては、上記方式に限定されない。例えば、第1〜Nラインまである場合、N、2、N−2、・・・・、3、N−1、1という順で、1つずつラインを互い違いに入れ替えた読み出し順にしてもよい。また、第1〜Mライン、第N−M+1〜Nラインを一塊のラインとし、読み出し順を入れ替えるようにしてもよい。また、1フィールド期間の読み出し方式に適用してもよい。   The switching of the line reading order is not limited to the above method. For example, when there are 1st to 1st N lines, the reading order may be changed by alternating the lines one by one in the order of N, 2, N-2, ..., 3, N-1, 1. . Alternatively, the first to M lines and the N−M + 1 to N lines may be a single line, and the reading order may be changed. Further, it may be applied to a reading method in one field period.

10 ビデオスコープ
12 イメージセンサ(X−Yアドレス型撮像素子)
20 プロセッサ
24 シャッタ機構
27、29 ロータリーシャッタ
30 システムコントロール回路
10 Videoscope 12 Image sensor (XY addressing image sensor)
20 Processor 24 Shutter mechanism 27, 29 Rotary shutter 30 System control circuit

Claims (5)

スコープ先端部に設けられたX−Yアドレス型撮像素子と、
開口部と遮光部を有し、前記開口部が前記光源の光路を通過するように回転するロータリーシャッタと、
画素信号の読み出し禁止期間を設け、1フィールド/フレーム期間に従い、前記撮像素子から1フィールド/フレーム分の画素信号をラインごとに読み出す露光制御手段と、
前記ロータリーシャッタを回転制御し、前記開口部の光路通過期間を読み出し禁止期間内に収めるロータリーシャッタ位相制御手段と、
読み出した1フィールド/フレーム分の画素信号に基づき、読み出し禁止期間に対する前記ロータリーシャッタの位相ずれを検出する位相ずれ検出手段とを備え、
前記露光制御手段が、前記撮像素子の受光エリアにおいて上部および下部に位置する1つもしくは複数のラインに対し、読み出し順を相互に入れ替え、
前記位相ずれ検出手段が、ライン配列上隣り合う一方で読み出し順が離れた1つもしくは複数から成るラインであって、上部および下部の少なくとも一方のライン上に沿った画素信号同士から、位相ずれを検知することを特徴とする内視鏡装置。
An XY address type image sensor provided at the distal end of the scope;
A rotary shutter having an opening and a light-shielding part, and rotating so that the opening passes through an optical path of the light source;
An exposure control means for providing a pixel signal readout prohibition period and reading out one field / frame worth of pixel signals from the image sensor for each line according to one field / frame period;
Rotary shutter phase control means for controlling the rotation of the rotary shutter, and keeping the optical path passage period of the opening within a readout prohibition period;
Phase shift detection means for detecting a phase shift of the rotary shutter with respect to the read prohibition period based on the read pixel signal for one field / frame,
The exposure control means interchanges the reading order with respect to one or a plurality of lines located at the upper and lower portions in the light receiving area of the image sensor,
The phase shift detection means is a line composed of one or a plurality of lines that are adjacent to each other on the line array but are separated from each other in the readout order, and the phase shift is detected from pixel signals along at least one of the upper and lower lines. An endoscope apparatus characterized by detecting.
前記位相ずれ検出手段が、ライン上に沿った画素信号分布を比較することによって位相ずれを検知することを特徴とする請求項1に記載の内視鏡装置。   The endoscope apparatus according to claim 1, wherein the phase shift detection unit detects a phase shift by comparing pixel signal distributions along the line. 前記位相ずれ検出手段が、上部、下部でそれぞれ隣り合う2組のライン対について読み出し順を対ごとに入れ替えることを特徴とする請求項1乃至2のいずれかに記載の内視鏡装置。   The endoscope apparatus according to any one of claims 1 to 2, wherein the phase shift detection unit switches the reading order for each of two pairs of line pairs adjacent to each other in the upper part and the lower part. 前記1フィールド/フレーム分の画素信号に基づいて観察画像を生成する画像処理手段をさらに有し、
前記画像処理手段が、読み出し順の入れ替えられたラインの画素信号を、観察画像形成に利用しないことを特徴とする請求項1乃至3のいずれかに内視鏡装置。
Image processing means for generating an observation image based on the pixel signal for one field / frame;
The endoscope apparatus according to any one of claims 1 to 3, wherein the image processing unit does not use pixel signals of lines whose reading order is changed for observation image formation.
前記ロータリーシャッタ位相制御手段が、検出された位相ずれを解消するように、前記ロータリーシャッタを回転制御することを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。



The endoscope apparatus according to any one of claims 1 to 4, wherein the rotary shutter phase control means controls the rotation of the rotary shutter so as to eliminate the detected phase shift.



JP2012281686A 2012-12-25 2012-12-25 Endoscope device Active JP6063733B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012281686A JP6063733B2 (en) 2012-12-25 2012-12-25 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012281686A JP6063733B2 (en) 2012-12-25 2012-12-25 Endoscope device

Publications (2)

Publication Number Publication Date
JP2014124263A true JP2014124263A (en) 2014-07-07
JP6063733B2 JP6063733B2 (en) 2017-01-18

Family

ID=51404290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012281686A Active JP6063733B2 (en) 2012-12-25 2012-12-25 Endoscope device

Country Status (1)

Country Link
JP (1) JP6063733B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015019697A (en) * 2013-07-16 2015-02-02 Hoya株式会社 Stroboscope and larynx electronic endoscope
JP2016025509A (en) * 2014-07-22 2016-02-08 オリンパス株式会社 Imaging system and endoscope

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136447A (en) * 2007-12-05 2009-06-25 Hoya Corp Light source control system, shutter control system, endoscope processor and endoscope system
JP2010213220A (en) * 2009-03-12 2010-09-24 Fujifilm Corp Imaging apparatus, and imaging control method
JP2011030985A (en) * 2009-08-06 2011-02-17 Hoya Corp Endoscope system and endoscope
JP2011206336A (en) * 2010-03-30 2011-10-20 Fujifilm Corp Endoscopic system
JP2013046672A (en) * 2011-08-29 2013-03-07 Toshiba Corp Imaging apparatus and endoscope apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136447A (en) * 2007-12-05 2009-06-25 Hoya Corp Light source control system, shutter control system, endoscope processor and endoscope system
JP2010213220A (en) * 2009-03-12 2010-09-24 Fujifilm Corp Imaging apparatus, and imaging control method
JP2011030985A (en) * 2009-08-06 2011-02-17 Hoya Corp Endoscope system and endoscope
JP2011206336A (en) * 2010-03-30 2011-10-20 Fujifilm Corp Endoscopic system
JP2013046672A (en) * 2011-08-29 2013-03-07 Toshiba Corp Imaging apparatus and endoscope apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015019697A (en) * 2013-07-16 2015-02-02 Hoya株式会社 Stroboscope and larynx electronic endoscope
JP2016025509A (en) * 2014-07-22 2016-02-08 オリンパス株式会社 Imaging system and endoscope

Also Published As

Publication number Publication date
JP6063733B2 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
JP4873949B2 (en) Electronic endoscope device
US8730373B2 (en) Image forming apparatus
JP4646655B2 (en) Solid-state imaging device, driving method thereof, and imaging system
JP5361535B2 (en) Imaging device
JP2006239052A (en) Electronic endoscope apparatus
JP5942053B1 (en) Endoscope system
JP2008085738A (en) Imaging apparatus
JP2009244858A (en) Image capturing apparatus and image processing method
US9979876B2 (en) Imaging apparatus, imaging method, and storage medium
JP2009124260A (en) Imaging apparatus
JP6063733B2 (en) Endoscope device
JP4398562B2 (en) Focus adjustment mechanism of 3D image detector
JP2015115527A (en) Solid state image pickup device and camera system
WO2016103745A1 (en) Imaging element, focal point detecting device, and focal point detecting method
JP2007209511A (en) Electronic endoscopic apparatus
JP2008104614A (en) Endoscope with automatic dimming function
JP6272116B2 (en) Imaging apparatus and control method thereof
JP5863439B2 (en) Endoscope device
JP5726502B2 (en) Imaging device
JP2012118154A (en) Imaging device
JP6125159B2 (en) Endoscope device
JP2013255746A (en) Endoscope apparatus
JP5647851B2 (en) Endoscope apparatus, endoscope apparatus processor, endoscope apparatus diaphragm control unit
JP2539375B2 (en) Imaging device
JP2007209506A (en) Electronic endoscopic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R150 Certificate of patent or registration of utility model

Ref document number: 6063733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250