JP3302379B2 - Imaging device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は内視鏡や顕微鏡等に組み
込まれる撮像装置に係り、特に、被写体に対する撮像部
のぶれを補正する機能を有する撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup apparatus incorporated in an endoscope, a microscope, and the like, and more particularly, to an image pickup apparatus having a function of correcting a shake of an image pickup section with respect to a subject.

【０００２】[0002]

【従来の技術】近年、固体撮像素子の小形化に伴い、そ
れを用いた撮像装置を内視鏡や顕微鏡等に組み込んで、
被検体等の被写体像を電子的に撮像入力し、その被写体
像をテレビジョン受像機等を用いてモニタリングするこ
とが種々試みられている。また、このようにして撮像入
力された被写体像を、電子スチル画像として、例えばフ
ロッピーディスクやメモリカード等の記録媒体に記録す
ることも種々試みられている。2. Description of the Related Art In recent years, with the downsizing of solid-state imaging devices, imaging devices using the same have been incorporated into endoscopes, microscopes, and the like.
Various attempts have been made to electronically capture and input a subject image such as a subject and monitor the subject image using a television receiver or the like. In addition, various attempts have been made to record a subject image captured and input as described above as an electronic still image on a recording medium such as a floppy disk or a memory card.

【０００３】このような内視鏡や顕微鏡等に組み込まれ
た撮像装置による被写体像の撮像記録は基本的には、次
のようにして行なわれる。即ち、操作者は、撮像装置に
て連続的に撮像入力される被写体像をモニタしながら、
撮像装置の撮像部を被写体に対して位置合わせする。そ
して、目的とする被写体像が得られた時点で、操作者
は、フリーズ操作を行なう。つまり、操作者は、被写体
像をモニタしながら撮像位置決め機構を操作して被写体
に対する撮像部の位置決めを行い、所望とする被写体を
捕らえた時点で、その被写体像の取り込み（記録）を行
なわせる。[0003] Basically, imaging and recording of a subject image by an imaging device incorporated in such an endoscope or a microscope are performed as follows. That is, the operator monitors the subject image continuously captured and input by the imaging device,
The imaging unit of the imaging device is aligned with the subject. Then, at the point in time when the intended subject image is obtained, the operator performs a freeze operation. That is, the operator operates the imaging positioning mechanism while monitoring the subject image to position the imaging unit relative to the subject, and captures (records) the desired subject image when the desired subject is captured.

【０００４】具体的には、内視鏡の場合には、撮像部が
組み込まれた体腔内挿入部材の先端部が、アングルワイ
ヤー等を用いた撮像部位置決め機構の駆動操作により、
その光軸に直交する面内で移動変位される。これによっ
て、検査対象部位が被写体像として捕らえられることが
できるように、被写体に対する撮像部の位置合わせが行
なわれる。この場合、撮像部を被写体に徐々に近づけな
がら、その位置合わせがなされることもある。[0004] Specifically, in the case of an endoscope, the distal end portion of the body cavity insertion member in which the imaging unit is incorporated is driven by a driving operation of an imaging unit positioning mechanism using an angle wire or the like.
It is moved and displaced in a plane perpendicular to the optical axis. Thus, the position of the imaging unit with respect to the subject is adjusted so that the inspection target part can be captured as the subject image. In this case, the positioning may be performed while the imaging unit is gradually approaching the subject.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、撮像部
を被写体に向けて追尾操作する際、その撮像部の進退移
動に伴って、撮像部にぶれが生じることが否めない。し
かも、必ずしも被写体が静止状態にあるとは限らず、被
写体の動きが撮像部の相対的なぶれとして生じることも
多々ある。このような被写体に対する撮像部のぶれは、
モニタ出力される被写体像のぶれにそのままつながり、
モニタ画像が不鮮明化して、非常に見苦しくなることが
否めない。このため、撮像部の追尾操作自体が非常に困
難化するという問題がある。しかも、このようなぶれが
存在する状態で、被写体像の記録を行なうと、撮像記録
される被写体像信号自体が、画像のぶれのある非常に不
鮮明なものとなる。However, it is unavoidable that, when a tracking operation is performed on the image pickup unit toward the subject, the image pickup unit is shaken as the image pickup unit moves forward and backward. In addition, the subject is not always in a stationary state, and the motion of the subject often occurs as a relative blur of the imaging unit. Such blurring of the imaging unit with respect to the subject
It leads directly to the blur of the subject image output on the monitor,
It is unavoidable that the monitor image becomes unclear and becomes very unsightly. For this reason, there is a problem that the tracking operation itself of the imaging unit becomes extremely difficult. In addition, if a subject image is recorded in the presence of such a blur, the subject image signal to be imaged and recorded becomes very blurred with the image blurring.

【０００６】本発明は上記の点に鑑みて成されたもの
で、被写体に対する撮像部のぶれを効果的に補正して、
鮮明度の高い被写体像を得ることができる実用性の高い
撮像装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and effectively corrects a blur of an image pickup unit with respect to a subject.
It is an object of the present invention to provide a highly practical imaging device capable of obtaining a subject image with high definition.

【０００７】[0007]

【課題を解決するための手段】本発明による撮像装置
は、軸方向に交差する方向に変位可能な一方の端部を有
し、この一方の端部が体腔内に挿入される体腔内挿入部
（１）と、前記体腔内挿入部の他方の端部に設けられ、
前記体腔内挿入部の一方の端部を変位させてこの一方の
端部の位置決めを行うための位置決め機構を有する操作
部（２）と、前記体腔内挿入部の一方の端部に、その一
方の端部に対してその一方の端部の軸方向に交差する方
向に変位可能に設けられ、体腔内の被写体を電子的に撮
像入力する撮像部（１２；１８）と、前記撮像部の変位
を電気的に操作する変位手段（３６）と、被写体と前記
撮像部との相対的なずれ量を、前記撮像部にて連続的に
撮像入力される被写体像間の相関から検出する検出手段
（２２，２３）と、前記検出手段にて検出されたずれ量
に応じて、前記位置決め機構若しくは前記変位手段の少
なくとも一方を制御することにより、前記撮像部を前記
被写体のずれ変位に追尾させる追尾手段（３５；４ｘ，
４ｙ）とを備え、前記変位手段は、前記位置決め機構よ
りも相対的にずれ量の周期が速い成分に係るずれ量に応
じて制御されることを特徴とするものである。An imaging apparatus according to the present invention has one end which is displaceable in a direction intersecting the axial direction, and this one end is inserted into a body cavity.
(1) provided at the other end of the body cavity insertion portion,
An operation section (2) having a positioning mechanism for displacing one end of the body cavity insertion portion to position the one end, and one end of the body cavity insertion section, An imaging unit (12; 18) that is provided so as to be displaceable in a direction intersecting the axial direction of one end with respect to an end of the imaging unit, and electronically captures and inputs a subject in a body cavity ; (36) for electrically operating the object, and detecting means for detecting a relative shift amount between a subject and the imaging unit from a correlation between subject images continuously imaged and input by the imaging unit.
(22, 23) and controlling at least one of the positioning mechanism or the displacement means in accordance with the displacement amount detected by the detection means to cause the imaging unit to follow the displacement displacement of the subject. Means (35; 4x,
4y) , wherein the displacement means is controlled in accordance with a shift amount related to a component having a cycle of the shift amount relatively faster than that of the positioning mechanism.

【０００８】[0008]

【作用】本発明によれば、検出手段により被写体像間の
相関から検出される被写体と撮像部とのずれ量に応じ
て、追尾手段により、例えば、周期がゆっくりとしたず
れ量に対しては、位置決め機構を駆動して被写体の動き
に体腔内挿入部の一方の端部を追従させて被写体と撮像
部とのずれを補正し、一方、周期が速いずれ量に対して
は、変位手段を駆動して撮像部自体を変位させてずれを
補正するので、目的とする被写体を常に撮像部に捉えつ
つ、精度の高いずれ補正を応答性良く行うことが可能と
なり、画像にぶれがなく、また色ずれも防ぐことができ
るので、より良い診断を行うことができるようになる。 According to the present invention, depending on the amount of deviation between the subject and the imaging unit to be detected from the correlation between the subject image by the detecting means
The tracking means , for example,
For that amount, and drives the positioning mechanism so as to follow one end of the body cavity insertion unit corrects the misalignment between the subject and the imaging unit to the motion of the subject, whereas the period is to fast shift amount hand
Drives the displacement means to displace the imaging unit itself and
Correction, so that the target
And it is possible to perform highly accurate correction with good responsiveness
No blurring in the image and also prevents color misregistration.
Therefore, a better diagnosis can be performed.

【０００９】なお、前記体腔内挿入部の一方の端部の外
筐と前記撮像部との間に配置されて、前記体腔内挿入部
の一方の端部と前記撮像部との相対的なずれ量を検出す
る変位検出センサ（３１，３２）を更に具備し、前記追
尾手段は、前記変位手段については前記変位検出センサ
からのずれ量を用いて追尾させるようにしても良い。こ
のように、変位検出センサからの出力でもって変位手段
のずれを補正することで、より応容性良くずれを補正す
ることができる。また、前記ずれ量から、前記変位手段
を制御する際に用いられる周期を有するずれ量を抽出す
る第１の抽出手段（４５ｘ，４５ｙ）と、前記ずれ量か
ら、前記位置決め機構を制御する際に用いられる周期を
有するずれ量を抽出する第２の抽出手段（４４ｘ，４４
ｙ）とを更に具備しても良い。このようにすることで、
検出手段を変位手段、位置決め機構毎に設ける必要がな
く、構成がより簡易なものとすることができる。[0009] Incidentally, before SL is disposed between the outer casing and the imaging unit of the one end of the body cavity insertion portion, relative to the the one end of the body cavity insertion section and the imaging section The apparatus may further include a displacement detection sensor (31, 32) for detecting a displacement amount, and the tracking means may track the displacement means using a displacement amount from the displacement detection sensor. As described above, by correcting the displacement of the displacement means using the output from the displacement detection sensor, the displacement can be corrected with higher responsiveness. A first extracting unit (45x, 45y) for extracting a shift amount having a cycle used for controlling the displacement unit from the shift amount; and a first extracting unit for controlling the positioning mechanism based on the shift amount. Second extracting means (44x, 44x ) for extracting a shift amount having a cycle used.
y) may be further provided. By doing this,
There is no need to provide the detecting means for each of the displacement means and the positioning mechanism, and the configuration can be simplified.

【００１０】[0010]

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.

【００１１】図１は、本発明の第１の実施例の撮像装置
を組み込んで構成される内視鏡を示しており、この内視
鏡は、体腔内挿入部１，操作部２，及び信号処理本体部
３で構成されている。この内視鏡は、操作部２に組み込
まれた位置決め機構であるｘ方向アングルワイヤー駆動
部４ｘ及びｙ方向アングルワイヤー駆動部４ｙによりア
ングルワイヤー５ｘ，５ｙを進退移動させ、これらのア
ングルワイヤー５ｘ，５ｙの先端部が固定されている前
記体腔内挿入部１の先端を、その軸方向に対し直交する
面内で、ｘ方向及びｙ方向にそれぞれ変位させ得る構造
を有している。上記ｘ方向アングルワイヤー駆動部４ｘ
及びｙ方向アングルワイヤー駆動部４ｙは、基本的には
アングル手動ノブ６ｘ，６ｙの操作により駆動される。FIG. 1 shows an endoscope incorporating an image pickup apparatus according to a first embodiment of the present invention. The endoscope includes an insertion unit 1, an operation unit 2, and a signal The processing main unit 3 is configured. In this endoscope, the angle wires 5x, 5y are moved forward and backward by an x-direction angle wire drive unit 4x and a y-direction angle wire drive unit 4y, which are positioning mechanisms incorporated in the operation unit 2, and these angle wires 5x, 5y are moved. Has a structure capable of displacing the distal end of the body cavity insertion section 1 to which the distal end is fixed in the x direction and the y direction in a plane perpendicular to the axial direction. The x direction angle wire driving unit 4x
The y-direction angle wire driving unit 4y is basically driven by operating the angle manual knobs 6x and 6y.

【００１２】このｘ方向アングルワイヤー駆動部４ｘ及
びｙ方向アングルワイヤー駆動部４ｙによる体腔内挿入
部１の先端の変位制御は、光ファイバ束を用いて被検体
部を観察する従来一般的な内視鏡と同様にして、被検体
を観察しながらアングル手動ノブ６ｘ，６ｙを操作して
行なわれる。The displacement control of the distal end of the insertion unit 1 in the body cavity by the x-direction angle wire driving unit 4x and the y-direction angle wire driving unit 4y is performed by a conventional general endoscope for observing a subject using an optical fiber bundle. The operation is performed by operating the angle manual knobs 6x and 6y while observing the subject in the same manner as the mirror.

【００１３】この内視鏡は、光ファイバ束を用いて被検
体部を観察することに代えて、前記体腔内挿入部１の先
端部に、被検体を電子的に撮像入力する撮像部７を組み
込み、この撮像部７にて撮像された被写体像の信号（映
像信号）を前記信号処理本体部３に電気的に導くように
構成されている。この映像信号は、信号処理部３にて所
謂ＴＶ（テレビジョン）信号に変換され、ＴＶ受像機等
に出力されて、画像が表示される。つまり、この内視鏡
は、体腔内挿入部１の先端部に組み込まれた撮像部７に
て被検体の像を撮像入力し、これをＴＶ受像機等にてモ
ニタ表示するように構成されている。In this endoscope, instead of observing the subject using an optical fiber bundle, an imaging section 7 for electronically capturing and inputting the subject is provided at the distal end of the insertion section 1 in the body cavity. A signal (video signal) of a subject image picked up by the image pickup unit 7 is electrically guided to the signal processing main unit 3. This video signal is converted into a so-called TV (television) signal by the signal processing unit 3 and output to a TV receiver or the like, where an image is displayed. That is, the endoscope is configured to capture and input an image of the subject by the imaging unit 7 incorporated in the distal end of the body cavity insertion unit 1 and display the image on a monitor such as a TV receiver. I have.

【００１４】撮像部７は、基本的には、撮影光学レンズ
系と、この撮影光学レンズ系を介して結像される被写体
像を電子的に撮像する固体撮像素子とを具備する。具体
的には、本実施例では、撮影光学レンズ系としてズーム
レンズ１１が用いられている。また、このズームレンズ
１１を介して結像される被写体像を電子的に撮像する固
体撮像素子として、ＣＣＤ（電荷結合素子）１２が用い
られている。ズームレンズ１１とＣＣＤ１２との間の光
路上には、合焦調整機構１３が設けられている。この合
焦調整機構１３は、後述するように、例えばその光学レ
ンズ系に於けるリレーレンズ等をその光軸方向に高速度
に進退駆動してその焦点深度範囲の拡大を図るものであ
る。The imaging section 7 basically includes a photographic optical lens system and a solid-state image sensor for electronically capturing a subject image formed through the photographic optical lens system. More specifically, in the present embodiment, the zoom lens 11 is used as a photographic optical lens system. A CCD (Charge Coupled Device) 12 is used as a solid-state imaging device for electronically capturing a subject image formed via the zoom lens 11. A focusing adjustment mechanism 13 is provided on an optical path between the zoom lens 11 and the CCD 12. As will be described later, the focus adjustment mechanism 13 drives, for example, a relay lens or the like in the optical lens system at a high speed in the optical axis direction to extend the depth of focus range.

【００１５】前述したｘ方向アングルワイヤー駆動部４
ｘ及びｙ方向アングルワイヤー駆動部４ｙは、このよう
な撮像部７を組み込んだ体腔内挿入部１の先端を、その
軸方向（光軸方向）に直交する面内で変位させ、被検体
（被写体）と撮像部７とのずれを補正するよう動作す
る。The aforementioned x-direction angle wire driving unit 4
The x and y direction angle wire driving unit 4y displaces the distal end of the body cavity insertion unit 1 in which the imaging unit 7 is incorporated in a plane orthogonal to the axial direction (optical axis direction) of the subject (subject). ) And the imaging unit 7 are corrected.

【００１６】前記ＣＣＤ１２にて電気的に撮像された被
検体の被写体信号は、体腔内挿入部１内に付設された信
号線を介して信号処理本体部３に導かれる。この信号処
理本体部３には、ＣＣＤ１２にて撮像された被写体像信
号をディジタル符号化して取り込むＡ／Ｄ（アナログ／
ディジタル）変換器１４や、このＡ／Ｄ変換器１４を介
して取り込まれた映像信号（被写体像信号）に所定の信
号処理を施し、輝度信号成分Ｙと２種類の色差信号（Ｒ
−Ｙ），（Ｂ−Ｙ）とに分解するビデオプロセッサ１５
が設けられている。このビデオプロセッサ１５にて分解
された輝度信号成分Ｙは、特願平１−４４０２１号等に
て本出願人が提唱した回復処理装置１６を介して、その
成分補償が行なわれた後、前述した色差信号（Ｒ−
Ｙ），（Ｂ−Ｙ）と共にビデオ信号発生部としてのＮＴ
ＳＣ信号発生部１７に与えられる。このＮＴＳＣ信号発
生部１７により前記輝度信号成分Ｙと２種類の色差信号
（Ｒ−Ｙ），（Ｂ−Ｙ）とからＮＴＳＣ標準方式のＴＶ
信号が生成され、図示しない画像モニタ（ＴＶ受像機）
に表示出力される。The subject signal of the subject electrically imaged by the CCD 12 is guided to the signal processing main unit 3 via a signal line provided in the body cavity insertion unit 1. An A / D (analog / analog) which digitally encodes and captures a subject image signal captured by the CCD 12 is provided in the signal processing main unit 3.
A predetermined signal processing is performed on a video signal (subject image signal) taken in through the A / D converter 14 and the A / D converter 14, and a luminance signal component Y and two types of color difference signals (R
−Y) and (BY) video processor 15
Is provided. The luminance signal component Y decomposed by the video processor 15 is subjected to component compensation via a recovery processing device 16 proposed by the present applicant in Japanese Patent Application No. Hei. Color difference signal (R-
Y) and (BY) together with NT as a video signal generator
The signal is supplied to the SC signal generator 17. The NTSC signal generator 17 converts the luminance signal component Y and the two types of color difference signals (RY) and (BY) into an NTSC standard TV.
A signal is generated, and an image monitor (TV receiver) not shown
Is displayed and output.

【００１７】本実施例の内視鏡は、ＣＣＤ１２にて所定
の周期で撮像入力された被写体像信号の上述した如くビ
デオプロセッサ１５から回復処理装置１６を介して求め
られた輝度信号成分Ｙを用いて、被検体（被写体）に対
する撮像部７のずれを被写体像のずれとして求めるよう
にしている。そして、その検出されたずれ量に応じて、
前述したｘ方向アングルワイヤー駆動部４ｘ及びｙ方向
アングルワイヤー駆動部４ｙをそれぞれ負帰還制御によ
り駆動し、被写体に対する撮像部７のずれに追尾させ
て、当該撮像部７をその光軸（体腔内挿入部１の軸方
向）と直交する平面内で変位させ、これによってそのず
れ補正を行なう。The endoscope of this embodiment uses the luminance signal component Y of the subject image signal captured and input at a predetermined cycle by the CCD 12 from the video processor 15 via the recovery processor 16 as described above. Thus, the displacement of the imaging unit 7 with respect to the subject (subject) is determined as the displacement of the subject image. Then, according to the detected shift amount,
The aforementioned x-direction angle wire driving unit 4x and y-direction angle wire driving unit 4y are respectively driven by negative feedback control to track the displacement of the imaging unit 7 with respect to the subject, and to move the imaging unit 7 to its optical axis (inserted into the body cavity). (The axial direction of the portion 1), and the displacement is corrected by this.

【００１８】図示しない操作部より、被写体と撮像部７
とのずれに対する自動追尾の指令が与えられ且つ被写体
像のどの部分を目標としてずれに対する自動追尾を行な
うかのウィンドウ指定（部分領域指定）がなされると、
アドレス発生部２１は、当該部分領域の映像信号（輝度
信号成分Ｙ）をフレームメモリ２２に取り込むよう、メ
モリアドレス制御を行なう。このアドレス発生部２１の
動作により、上記ウィンドウ指定された被写体像部分
（内視鏡による観察対象部位）の映像信号（輝度信号成
分Ｙ）がフレームメモリ２２に取り込まれる。A subject and an image pickup unit 7 are operated by an operation unit (not shown).
When a command for automatic tracking for the deviation is given and a window designation (partial region designation) is performed to specify which part of the subject image is targeted for automatic tracking for the deviation.
The address generator 21 performs memory address control so that the video signal (luminance signal component Y) of the partial area is taken into the frame memory 22. By the operation of the address generation unit 21, the video signal (luminance signal component Y) of the subject image portion (the part to be observed by the endoscope) specified by the window is loaded into the frame memory 22.

【００１９】２次元相関回路２３は、上述した如くフレ
ームメモリ２２に取り込まれた映像信号と、その後に前
記ＣＣＤ１２にて撮像入力される当該部分領域の映像信
号との２次元相関値を求め、当該部分画像間でのずれ量
を、その画像平面内でのｘ方向のずれ量ｄｘ及びｙ方向
のずれ量ｄｙとしてそれぞれ求める。この２次元相関演
算は、従来より種々提唱される演算アルゴリズムに従っ
て行なわれるが、基本的には、２枚の画像間の相関値が
最も高くなる変位量を求めることによりなされる。ま
た、部分画像間でのずれ量を求めるために、この２次元
相関回路２３には、特に図示してはいないが、指定され
たウィンドウ（部分領域）に関する情報が与えられてお
り、回復処理装置１６を介してビデオプロセッサ１５か
ら与えられる映像信号から当該部分領域を含み当該部分
領域よりも広い領域の映像信号を選択して、フレームメ
モリ２２に取り込まれた指定部分領域の映像信号との２
次元相関値を求めることができるように構成されてい
る。The two-dimensional correlation circuit 23 calculates a two-dimensional correlation value between the video signal fetched into the frame memory 22 as described above and the video signal of the partial area which is imaged and input by the CCD 12 thereafter. The shift amount between the partial images is obtained as a shift amount dx in the x direction and a shift amount dy in the y direction in the image plane. The two-dimensional correlation calculation is performed in accordance with various conventionally proposed calculation algorithms, but is basically performed by obtaining a displacement amount at which the correlation value between two images becomes the highest. Although not shown, the two-dimensional correlation circuit 23 is provided with information on a specified window (partial area) in order to determine the amount of deviation between partial images. 16, a video signal of a region including the partial region and wider than the partial region is selected from the video signal supplied from the video processor 15 via
It is configured so that a dimensional correlation value can be obtained.

【００２０】具体的には、例えば図２に示すように、フ
レームメモリ２２に取り込まれた被写体像がｆ１である
場合、その像信号をｙ方向及びｘ方向にそれぞれ投射し
た射影成分はｇ１，ｈ１となる。一方、時間の経過に伴
い、所定の周期後に得られる被写体像がｆ２である場合
には、その被写体像ｆ２に対する射影成分はそれぞれｇ
２，ｈ２となる。つまり、被写体像ｆ１がｆ２に示すよ
うにｘ方向及びｙ方向にずれると、その分だけその射影
成分もｇ１，ｈ１からｇ２，ｈ２へとそれぞれｘ方向及
びｙ方向にずれることになる。Specifically, for example, as shown in FIG. 2, when the subject image fetched into the frame memory 22 is f1, the projected components obtained by projecting the image signal in the y and x directions are g1 and h1. Becomes On the other hand, if the subject image obtained after a predetermined period is f2 with the passage of time, the projected components for the subject image f2 are g
2, h2. That is, when the subject image f1 is shifted in the x direction and the y direction as shown by f2, the projected components are also shifted in the x direction and the y direction from g1, h1 to g2, h2, respectively.

【００２１】２次元相関回路２３は、このような各方向
についての射影成分の相関信号を求めることで、前記被
写体像ｆ１，ｆ２間の相関信号を求めている。例えば、
その相関信号として前記各射影成分の差の２乗和を求め
れば、その相関信号は画像上のあるずれ位置でピークを
とる。従って、このような相関信号を最小とする位置ｄ
ｘ，ｄｙを求めれば、その値を前記被写体像のｘ方向及
びｙ方向に対するずれ量としてそれぞれ求めることが可
能となる。The two-dimensional correlation circuit 23 obtains a correlation signal of the projected component in each of such directions, thereby obtaining a correlation signal between the subject images f1 and f2. For example,
If the sum of squares of the difference between the projection components is obtained as the correlation signal, the correlation signal has a peak at a certain shift position on the image. Therefore, the position d at which such a correlation signal is minimized
When x and dy are obtained, the values can be obtained as the amounts of displacement of the subject image in the x and y directions, respectively.

【００２２】２次元相関回路２３では、基本的には、上
述したような演算アルゴリズムに基づく２次元相関演算
により、前述した被写体像信号の輝度成分Ｙから簡易に
且つ高速にＣＣＤ１２の撮像面に結像される被写体像の
ずれ量を表わす相関信号を検出している。このような２
次元相関回路２３による相関信号検出は、ＣＣＤ１２か
ら所定の周期で被写体像信号が読出される都度行なわれ
る。In the two-dimensional correlation circuit 23, basically, the two-dimensional correlation operation based on the above-described operation algorithm is used to easily and quickly connect the above-described luminance component Y of the subject image signal to the imaging surface of the CCD 12. A correlation signal indicating a shift amount of a subject image to be formed is detected. Such 2
The detection of the correlation signal by the dimensional correlation circuit 23 is performed every time the subject image signal is read from the CCD 12 at a predetermined cycle.

【００２３】２次元相関回路２３にて求められる被写体
像のｘ変位及びｙ変位の相関信号の系列は、補間回路２
４ｘ，２４ｙを介してそれぞれ補間処理され、正確なｘ
変位とｙ変位とが求められる。求められたｘ変位及びｙ
変位は、自動追尾用のスイッチ２５ｘ，２５ｙを介して
ｘ方向アングルワイヤー駆動部４ｘ及びｙ方向アングル
ワイヤー駆動部４ｙにそれぞれ与えられる。これらのア
ングルワイヤー駆動部４ｘ，４ｙは、与えられた変位に
応じてｘ方向アングルワイヤー５ｘ及びｙ方向アングル
ワイヤー５ｙとをそれぞれ駆動し、これにより撮像部７
が被写体に対してｘ方向及びｙ方向の変位を補正する向
きに変位駆動される。このような変位制御の下で、撮像
部７により被写体像が撮像入力され、その被写体像の信
号が前述した如くＮＴＳＣ信号に変換されて出力され
る。A series of correlation signals of x displacement and y displacement of the subject image obtained by the two-dimensional correlation circuit 23
4x and 24y, respectively.
The displacement and the y displacement are determined. The calculated x displacement and y
The displacement is given to the x-direction angle wire drive unit 4x and the y-direction angle wire drive unit 4y via the switches 25x and 25y for automatic tracking. These angle wire driving units 4x and 4y respectively drive the x-direction angle wire 5x and the y-direction angle wire 5y according to the given displacement, and thereby the imaging unit 7
Is driven in a direction to correct the displacement in the x direction and the y direction with respect to the subject. Under such displacement control, a subject image is captured and input by the imaging unit 7, and a signal of the subject image is converted into an NTSC signal and output as described above.

【００２４】なお、補間回路２４ｘ，２４ｙは、フレー
ムメモリ２２に取り込まれた被写体像と所定の周期毎に
撮像入力される被写体像との２次元相関演算により求め
られる相関信号に対して、例えば図３に模式的に示すよ
うな直線補間処理を施す。即ち、図３に示すように、ピ
クセル単位での変位（ずれ量）ｘ０，ｘ１，ｘ２に於け
る相関出力がそれぞれＰ０，Ｐ１，Ｐ２として与えられ
るとき、その正確な変位（ずれ量）Ｘを、 として求める。このような直線補間処理により、サブピ
クセルでの変位（ずれ量）までが高精度に検出されるこ
とができる。なお、このような直線補間処理に代えて、
従来より種々提唱されている補間処理の手法を適宜用い
ることも勿論可能である。The interpolation circuits 24x and 24y apply, for example, to a correlation signal obtained by a two-dimensional correlation operation between the subject image fetched into the frame memory 22 and the subject image picked up and input at predetermined intervals. 3 is subjected to a linear interpolation process as schematically shown. That is, as shown in FIG. 3, when the correlation outputs at displacements (displacement amounts) x0, x1, and x2 in pixel units are given as P0, P1, and P2, respectively, the exact displacement (displacement amount) X is calculated as follows. , Asking. By such a linear interpolation process, a displacement (amount of displacement) in a sub-pixel can be detected with high accuracy. In addition, instead of such a linear interpolation process,
Of course, it is of course possible to appropriately use interpolation methods that have been conventionally proposed.

【００２５】このように、本実施例の内視鏡は、体腔内
挿入部１の先端に組み込まれた撮像部７にて所定の周期
で逐次撮像入力される観察対象部位の被写体像間の２次
元相関から、その被写体像間のずれ量を求め、これを撮
像部７と被写体との間のずれとして検出している。そし
て、この検出されたずれ量に従って、アングルワイヤー
駆動部４ｘ，４ｙにて体腔内挿入部１の先端を変位させ
るアングルワイヤー５ｘ，５ｙをそれぞれ駆動し、その
ずれを補正する向きに体腔内挿入部１の先端部を変位さ
せている。このような検出ずれ量に従い、そのずれを補
正する向きに体腔内挿入部１の先端部を変位させる負帰
還制御により、体腔内挿入部１の先端に組み込まれた撮
像部７が観察対象部位（被写体）の動き（ずれ）に追尾
して変位することになり、被写体と撮像部７との位置関
係が一定に保たれることになる。そして、被写体との位
置関係が一定に保たれた状態に制御される撮像部７にて
被写体の像が所定の周期で撮像入力され、ＴＶ受像機等
による画像出力（モニタ出力）に供される。As described above, according to the endoscope of this embodiment, the distance between the subject images of the observation target site, which is sequentially imaged and input at a predetermined cycle by the imaging unit 7 incorporated in the distal end of the body cavity insertion unit 1, is set. The shift amount between the subject images is obtained from the dimensional correlation, and this is detected as a shift between the imaging unit 7 and the subject. The angle wires 5x and 5y for displacing the distal end of the body cavity insertion portion 1 are respectively driven by the angle wire driving portions 4x and 4y according to the detected amount of displacement, and the body cavity insertion portion is oriented in a direction to correct the displacement. 1 is displaced. In accordance with such a detected deviation amount, the negative feedback control for displacing the distal end portion of the intracorporeal insertion section 1 in a direction to correct the deviation allows the imaging section 7 incorporated at the distal end of the intracorporeal insertion section 1 to change the observation target region ( The displacement is tracked by the movement (deviation) of the subject), and the positional relationship between the subject and the imaging unit 7 is kept constant. Then, the image of the subject is captured and input at a predetermined cycle by the image capturing unit 7 controlled so that the positional relationship with the subject is kept constant, and is provided for image output (monitor output) by a TV receiver or the like. .

【００２６】ところで、本実施例の内視鏡では、前述し
た撮像部７に、ズームレンズ１１及びＣＣＤ１２の変位
を各別に検出する加速度センサ３１，３２がそれぞれ設
けられている。これらの加速度センサ３１，３２は、ズ
ームレンズ１１及びＣＣＤ１２の各取付け位置に於ける
ずれ変位を、そのずれ移動の加速度として前述したｘ方
向及びｙ方向にそれぞれ検出する。In the endoscope according to the present embodiment, the above-described imaging unit 7 is provided with acceleration sensors 31 and 32 for detecting displacements of the zoom lens 11 and the CCD 12, respectively. These acceleration sensors 31 and 32 detect the displacement at each of the mounting positions of the zoom lens 11 and the CCD 12 as the acceleration of the displacement in the x direction and the y direction, respectively.

【００２７】即ち、ズームレンズ１１の取付け位置に設
けられる加速度センサ３１は、当該ズームレンズ１１の
水平方向の変位を検出するための加速度センサｘ１と、
垂直方向の変位を検出するための加速度センサｙ１とか
らなる。これらの加速度センサｘ１，ｙ１は、ズームレ
ンズ１１の光軸Ｍからｒなる距離を隔てた位置にそのセ
ンシングの向きを互いに直交させて設けられる。That is, the acceleration sensor 31 provided at the mounting position of the zoom lens 11 includes an acceleration sensor x1 for detecting a horizontal displacement of the zoom lens 11,
And an acceleration sensor y1 for detecting a displacement in the vertical direction. These acceleration sensors x1 and y1 are provided at positions separated by a distance r from the optical axis M of the zoom lens 11 with their sensing directions orthogonal to each other.

【００２８】また、ＣＣＤ１２の取付け位置に設けられ
る加速度センサ３２は、当該ＣＣＤ１２の水平方向の変
位を検出するための加速度センサｘ２と、垂直方向の変
位を検出するための加速度センサｙ２とからなる。これ
らの加速度センサｘ２，ｙ２は、ＣＣＤ１２の光軸Ｍか
らｒなる距離を隔てた位置にそのセンシングの向きを互
いに直交させて、且つ光軸Ｍを中心として前記加速度セ
ンサｘ１，ｙ１に対して対象な位置に設けられる。The acceleration sensor 32 provided at the mounting position of the CCD 12 includes an acceleration sensor x2 for detecting a horizontal displacement of the CCD 12, and an acceleration sensor y2 for detecting a vertical displacement. These acceleration sensors x2 and y2 have their sensing directions orthogonal to each other at a distance r from the optical axis M of the CCD 12 and are symmetrical with respect to the acceleration sensors x1 and y1 about the optical axis M. It is provided in a suitable position.

【００２９】図４は、上記各加速度センサｘ１，ｘ２，
ｙ１，ｙ２の具体例として電磁誘導を利用した動電形の
加速度センサ１００を示している。即ち、この加速度セ
ンサ１００は、例えば前記ズームレンズ１１又はＣＣＤ
１２側に支持ばね１０１を介して設けられたコイル１０
２と、このコイル１０２を収納する磁気回路１０３の永
久磁石１０３ａ部との間に手振れによって生じる相対位
置関係の変化に応じた起電力を、コイル１０２の両端部
に接続した抵抗Ｒを介して加速度信号として取出すよう
にしたものである。FIG. 4 shows the acceleration sensors x1, x2,
As a specific example of y1 and y2, an electrodynamic acceleration sensor 100 using electromagnetic induction is shown. That is, the acceleration sensor 100 is, for example, the zoom lens 11 or the CCD.
The coil 10 provided on the side 12 via a support spring 101
2 and the permanent magnet 103a of the magnetic circuit 103 accommodating the coil 102, an electromotive force corresponding to a change in the relative positional relationship caused by camera shake is accelerated through a resistor R connected to both ends of the coil 102. It is designed to be extracted as a signal.

【００３０】このような構成を有する加速度センサｘ
１，ｘ２，ｙ１，ｙ２により検出された加速度の情報
は、差分器３３を介してｘ方向及びｙ方向の偏差分とし
て抽出され、積分器３４を介して撮像部７に於けるロー
カルなずれ変位として求められる。このようにして、上
記加速度センサ３１，３２（ｘ１，ｘ２，ｙ１，ｙ２）
を用いて検出されたずれ量に従ってアクチュエータ駆動
部３５を作動させ、前記ＣＣＤ１２を支持するｘｙアク
チュエータ３６を駆動することで前記ズームレンズ１１
に対するＣＣＤ１２の光学的位置関係が変位される。そ
して、このＣＣＤ１２の変位によるズームレンズ１１と
の光学的位置関係の変位により、被写体に対するズーム
レンズ１１とＣＣＤ１２との光学的位置関係が変更され
てＣＣＤ１２の撮像面上に結像する被写体像のずれが補
正される。The acceleration sensor x having such a configuration
1, x2, y1, y2, information on the acceleration detected is extracted as a deviation in the x direction and the y direction via a differentiator 33, and a local displacement in the imaging unit 7 via an integrator 34. Is required. Thus, the acceleration sensors 31, 32 (x1, x2, y1, y2)
By operating the actuator driving unit 35 in accordance with the amount of displacement detected by using the XY actuator 36 that supports the CCD 12, the zoom lens 11
Is displaced. The displacement of the optical position relationship between the zoom lens 11 and the CCD 12 due to the displacement of the CCD 12 changes the optical position relationship between the zoom lens 11 and the CCD 12 with respect to the subject, so that the subject image formed on the imaging surface of the CCD 12 is displaced. Is corrected.

【００３１】図５は、上記ｘｙアクチュエータ３６の具
体例を示している。このｘｙアクチュエータ３６は、Ｃ
ＣＤ１２を水平方向に第１及び第２のムービングコイル
１１１，１１２を介して、また垂直方向に第３及び第４
のムービングコイル１１３，１１４を介して支持する支
持体１１５を有している。即ち、このｘｙアクチュエー
タ３６は、ＣＣＤ１２に対し第１及び第２のムービング
コイル１１１，１１２によりｘ方向の変位を伝達し、第
３及び第４のムービングコイル１１３，１１４によりｙ
方向の変位を伝達するものである。なお、ムービングコ
イルは、各方向について１個ずつ用いるようにしても良
い。FIG. 5 shows a specific example of the xy actuator 36. This xy actuator 36 has C
The CD 12 is moved in the horizontal direction through the first and second moving coils 111 and 112, and vertically in the third and fourth moving coils 111 and 112.
Has a support 115 that is supported via the moving coils 113 and 114. That is, the xy actuator 36 transmits the displacement in the x direction to the CCD 12 by the first and second moving coils 111 and 112, and the y and y are moved by the third and fourth moving coils 113 and 114 to the CCD 12.
It transmits the displacement in the direction. Note that one moving coil may be used in each direction.

【００３２】前述したような加速度センサ３１，３２を
用いて検出される撮像部７のずれ検出に基づく撮像光学
系の変位制御によるずれ補正は、その検出ずれ量に従っ
て高速に、しかも応答性良く行なわれる。つまり、撮像
入力された被写体像の相関に基づく前述したアングルワ
イヤー５ｘ，５ｙの制御とは別個に、その撮像部７での
直接的なずれ検出に従って高速度な追従制御により、上
記撮像光学系の変位制御によるずれ補正が応答性良く行
なわれる。このようなずれ補正により、被写体の動きに
追従して撮像部７との位置関係が補正された上で、その
撮像部７の光学系のずれ補正がなされ、手振れ等に起因
するＣＣＤ１２の撮像面に結像される被写体像のずれが
高精度に補正される。The displacement correction by the displacement control of the image pickup optical system based on the displacement detection of the image pickup unit 7 detected by using the acceleration sensors 31 and 32 described above is performed at high speed and with high responsiveness according to the detected displacement amount. It is. In other words, separately from the above-described control of the angle wires 5x and 5y based on the correlation between the captured and input subject images, the high-speed tracking control according to the direct shift detection by the imaging unit 7 enables the above-described imaging optical system to be controlled. Deviation correction by displacement control is performed with good responsiveness. With such displacement correction, the positional relationship with the imaging unit 7 is corrected following the movement of the subject, and then the displacement of the optical system of the imaging unit 7 is corrected, and the imaging surface of the CCD 12 due to camera shake or the like is corrected. Is accurately corrected.

【００３３】かくして、このようなずれ補正の制御系を
備えた本実施例の内視鏡によれば、体腔内挿入部１の先
端に組み込まれた撮像部７にて被検体を撮像入力し、そ
の被写体像をＴＶ受像機上でモニタしながら上記撮像部
７を観察目標とする被検体部位に位置合わせする際、図
６に示すような動作が行なわれる。Thus, according to the endoscope of this embodiment provided with such a control system for correcting deviation, the subject is imaged and input by the imaging unit 7 incorporated at the tip of the insertion unit 1 in the body cavity. When the imaging unit 7 is positioned with respect to an object to be observed while monitoring the subject image on a TV receiver, an operation as shown in FIG. 6 is performed.

【００３４】即ち、体腔内挿入部１を被検体に挿入し
（ステップＳ１）、このとき得られる初期画面に於いて
観察目的とする被検体部位が存在する部分領域をウィン
ドウ指定し、自動追尾指令を与える（ステップＳ２）
と、被写体のずれ量を検出して、これを補正するように
アングルワイヤー５ｘ，５ｙの制御が行なわれる（ステ
ップＳ３）。つまり、先ず、当該初期画面上の上記ウィ
ンドウ指定された部分領域の被写体像がフレームメモリ
２２に格納される。すると、撮像部７にて所定の周期で
撮像入力される被写体像と前記フレームメモリ２２に格
納された被検体像との２次元相関演算によりその被写体
像間のずれが求められ、その検出ずれ量に従ってアング
ルワイヤー駆動部４ｘ，４ｙがそれぞれ駆動される。こ
のアングルワイヤー駆動部４ｘ，４ｙの駆動によって前
述したアングルワイヤー５ｘ，５ｙがそれぞれ操作さ
れ、検出されたずれの向きと逆向きに撮像部７が変位さ
れる。この撮像部７の変位によって被検体とのずれが補
正され、被検体に対して撮像部７は一定の位置関係でそ
の像を撮像入力することになる。That is, the body cavity insertion section 1 is inserted into the subject (step S1), and a partial area where the subject part to be observed exists on the initial screen obtained at this time is window-designated, and an automatic tracking command is issued. (Step S2)
Then, the angle wires 5x and 5y are controlled so as to detect the displacement of the subject and correct the displacement (step S3). That is, first, the subject image of the partial area designated by the window on the initial screen is stored in the frame memory 22. Then, a shift between the subject images is obtained by a two-dimensional correlation operation between the subject image captured and input at a predetermined cycle in the imaging unit 7 and the subject image stored in the frame memory 22, and the detected shift amount , The angle wire driving units 4x and 4y are respectively driven. By driving the angle wire driving units 4x and 4y, the above-described angle wires 5x and 5y are respectively operated, and the imaging unit 7 is displaced in a direction opposite to the direction of the detected shift. The displacement of the imaging unit 7 is corrected for a deviation from the subject, and the imaging unit 7 captures and inputs an image of the subject in a fixed positional relationship.

【００３５】なお、この撮像部７の変位制御は位相制御
を行ない、ずれ検出量に従って変位される撮像部７の向
きがそのずれの向きと必ず逆向きとなる負帰還制御系を
構成して行なわれる。即ち、撮像部７にて所定の周期で
撮像される被検体の２次元相関を求めてずれ補正を行な
う場合、被検体像の入力周期内に被検体の動きの向きが
反転することが想定される。このような動きの向きに反
転が生じた場合、前述したアングルワイヤー５ｘ，５ｙ
の操作による撮像部７の変位の向きが上記被検体の動き
の向きと等しくなり、そのずれを増長することになる。
このような不具合を解消すべく、その制御系を構成する
に際しては、例えば撮像部７の変位制御に位相補償を施
し、正帰還を防止して常に安定に被写体の動きに追従し
てそのずれ補正を行なうような工夫がなされる。The displacement control of the image pickup unit 7 is performed by performing a phase control, and constructing a negative feedback control system in which the direction of the image pickup unit 7 displaced in accordance with the displacement detection amount is always opposite to the direction of the displacement. It is. That is, when the imaging unit 7 calculates the two-dimensional correlation of the subject imaged at a predetermined cycle and performs the shift correction, it is assumed that the motion direction of the subject is reversed within the input cycle of the subject image. You. When the direction of such a movement is reversed, the angle wires 5x and 5y described above are used.
The direction of displacement of the imaging unit 7 due to the operation described above becomes equal to the direction of movement of the subject, and the deviation is increased.
In order to solve such a problem, when constructing the control system, for example, phase compensation is applied to the displacement control of the imaging unit 7 to prevent positive feedback and always follow the movement of the subject stably to correct the deviation. Is done.

【００３６】しかして上述したような撮像部７の変位制
御（追尾制御）の下で前述した加速度センサ３１，３２
を用いた撮像部７の撮像光学系でのずれ補正を高速度に
行い、手振れのような前述した所定の周期で行なわれる
ずれ補正では追従することのできないずれに対する補正
が、撮像部７の内部にて応答性良く行なわれる。Under the displacement control (tracking control) of the imaging unit 7 as described above, the acceleration sensors 31 and 32 described above are used.
Is performed at a high speed by the imaging optical system of the imaging unit 7 using the camera, and the correction for the deviation that cannot be followed by the deviation correction performed at the above-described predetermined cycle, such as camera shake, is performed inside the imaging unit 7. Is performed with good responsiveness.

【００３７】この結果、上述したずれ補正により、撮像
部７のＣＣＤ１２上には常に一定の被写体像が結像する
ことになり、所謂画像ぶれのない鮮明で解像度の高い被
写体像をモニタ出力することが可能となる。そして、こ
のようにして撮像される被写体像を電子的に記録するに
際しても、そのフリーズ期間に亙ってずれのない被写体
像を得ることができることから、鮮明な被写体像の撮像
記録を行なうことが可能となる。As a result, a fixed subject image is always formed on the CCD 12 of the image pickup section 7 by the above-described displacement correction, and a clear and high-resolution subject image without image blurring is output to the monitor. Becomes possible. When electronically recording the subject image thus captured, a clear subject image can be obtained over the freeze period, so that a clear subject image can be captured and recorded. It becomes possible.

【００３８】なお、上述したような被写体像をモニタし
ながら体腔内層入部１をさらに挿入してその先端に組み
込まれた撮像部７を被検体に近づける場合（ステップＳ
４）にも、同様にして上述したずれ補正が行なわれる。
この場合には、指定されたウィンドウ領域を適宜更新し
ながらそのずれ検出を行なったり、被検体への接近に伴
って拡大される観察対象部位の領域を、その拡大率に従
って狭め、観察対象部位を絞り込みながらそのずれ検出
とずれ補正とが行なわれる（ステップＳ５）。In the case where the body cavity layer insertion part 1 is further inserted while monitoring the above-mentioned subject image, and the imaging part 7 incorporated at the tip thereof is brought closer to the subject (step S).
4), the above-described misalignment correction is performed in the same manner.
In this case, the shift is detected while appropriately updating the designated window region, or the region of the observation target portion that is enlarged in accordance with the approach to the subject is narrowed according to the enlargement ratio, and the observation target portion is reduced. While narrowing down, the shift detection and shift correction are performed (step S5).

【００３９】そして、被検体部位に対して体腔内層入部
１の先端が近接し、例えば被検体照明光を遮る等の理由
によりこれ以上その先端部を被検体に近づけることがで
きなくなったような場合には、適宜前記ズームレンズ１
１に対してズーミング指令が発せられてその拡大撮影が
行なわれる（ステップＳ４）。このような撮像部７の被
検体への近接操作と、前記ズームレンズ１１のズーミン
グ効果とにより、本実施例の内視鏡では、容易に被検体
の拡大像を、ずれ補正された状態で鮮明に、解像度良く
得ることが可能となっている。この結果、内視鏡の取扱
いを非常に簡易なものとすることができる等の多大な効
果が奏せられる。In the case where the tip of the intracorporeal cavity insertion part 1 is close to the subject site, and the tip cannot be brought closer to the subject any longer, for example, because the subject illumination light is blocked. The zoom lens 1
A zooming command is issued to 1 and the enlarged photographing is performed (step S4). The endoscope according to the present embodiment can easily provide an enlarged image of the subject in a state in which the displacement has been corrected by the operation of approaching the imaging unit 7 to the subject and the zooming effect of the zoom lens 11. In addition, it is possible to obtain a high resolution. As a result, a great effect can be obtained such that handling of the endoscope can be made very simple.

【００４０】また、被検体の動きのみならず、上述した
撮像部７の被検体への近接操作に伴う撮像部７自体のぶ
れが生じた場合でも、これに起因するずれを同様にして
補正することができる。従って、内視鏡の操作性を飛躍
的に高めることが可能となる。Further, not only the movement of the subject, but also the blurring of the imaging unit 7 itself due to the above-described operation of approaching the imaging unit 7 to the subject, the displacement caused by this is similarly corrected. be able to. Therefore, the operability of the endoscope can be dramatically improved.

【００４１】ところで、上述した第１の実施例の撮像装
置を適用した内視鏡では、加速度センサ３１，３２を用
いて撮像部７でのずれ変位を検出したが、例えば、高速
度に被写体を撮像入力可能なＡＭＩ（増幅型ＭＯＳイメ
ージャ）１８を前述したＣＣＤ１２に代えて用いること
で、撮像部７にて高速に求められる被写体像だけから撮
像部７での光学的変位を含めたずれ検出を行ない、撮像
部７の変位を制御することも可能である。By the way, in the endoscope to which the image pickup apparatus of the first embodiment is applied, the displacement of the image pickup section 7 is detected by using the acceleration sensors 31 and 32. By using an AMI (amplification type MOS imager) 18 capable of inputting an image in place of the above-described CCD 12, it is possible to detect a shift including an optical displacement in the image pickup unit 7 only from a subject image obtained at a high speed in the image pickup unit 7. It is also possible to control the displacement of the imaging unit 7 by performing the control.

【００４２】図７及び図８は、このようなＡＭＩ１８を
用いて構成される本発明の第２の実施例の撮像装置を適
用した内視鏡の概略構成図であり、前述した図１に示す
第１の実施例の内視鏡と基本的には同一の部分には同一
符号を付して示してある。FIGS. 7 and 8 are schematic structural views of an endoscope to which the imaging apparatus according to the second embodiment of the present invention constituted by using such an AMI 18 is applied, and is shown in FIG. The same parts as those of the endoscope of the first embodiment are denoted by the same reference numerals.

【００４３】この図７及び図８に示す第２の実施例の内
視鏡が特徴とするところは、撮像部７に於ける撮像素子
としてＡＭＩ１８を用い、このＡＭＩ１８にてＴＶレー
トよりも十分に高速な周期で被検体像を撮像入力するよ
うにし、被検体像間の相関に基づくずれ検出と、検出ず
れ量に従う撮像部７の変位制御を高速度に応答性良く行
なうようにした点にある。A feature of the endoscope of the second embodiment shown in FIGS. 7 and 8 is that an AMI 18 is used as an image pickup device in the image pickup section 7, and the AMI 18 has a function sufficiently higher than a TV rate. The object image is input and captured at a high-speed cycle, and the shift detection based on the correlation between the object images and the displacement control of the imaging unit 7 according to the detected shift amount are performed at high speed with good responsiveness. .

【００４４】しかしてこの場合には、ＡＭＩ１８により
高速度に撮像入力される被検体像の信号レベルが、その
露光時間が短い分だけ低く似ることから、これを補償す
るべく加算器４１ａ，４１ｂ，４１ｃとフレームメモリ
４２ａ，４２ｂ，４２ｃとを用いて前述した輝度信号成
分Ｙ及び色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）毎に各別に、
その信号成分をＴＶレートに亙って累積加算する。そし
て、これらの累積加算された各信号成分を、前記ＮＴＳ
Ｃ信号発生部１７に与え、ＴＶ受像機にて画像表示する
ためのＴＶ信号に変換する。In this case, however, the signal levels of the subject image captured and input at a high speed by the AMI 18 are similar due to the shorter exposure time, so that the adders 41a, 41b, 41c and the frame memories 42a, 42b, and 42c, respectively, for the luminance signal component Y and the color difference signals (RY) and (BY) respectively.
The signal components are cumulatively added over the TV rate. Then, each of the signal components obtained by the cumulative addition is referred to as the NTS.
The signal is supplied to a C signal generator 17 and converted into a TV signal for displaying an image on a TV receiver.

【００４５】この際、前述した２次元相関回路２３にて
被写体像信号の相関から求められるずれ量に従って前述
したフレームメモリ４２ａ，４２ｂ，４２ｃからの各信
号成分の読み出しを制御し、これによって累積加算され
る各信号成分に対するずれ補正がなされる。At this time, the reading of each signal component from the frame memories 42a, 42b and 42c is controlled by the two-dimensional correlation circuit 23 in accordance with the amount of deviation obtained from the correlation of the subject image signal, whereby the cumulative addition is performed. The deviation correction for each signal component to be performed is performed.

【００４６】かくしてこのように構成された第２の実施
例の内視鏡によれば、撮像部７にて高速度に連続して撮
像入力される被写体像間の相関から被検体と撮像部７と
のずれを高速度に検出し、そのずれ補正を行なうことが
可能となる。しかも、撮像入力される被写体像信号をず
れ補正しながら累積加算することでＴＶレートに亙って
ずれのない被写体像を効果的に得ることが可能となる。According to the endoscope of the second embodiment thus constructed, the subject and the imaging section 7 are determined based on the correlation between the subject images continuously imaged and input at a high speed by the imaging section 7. Can be detected at a high speed, and the deviation can be corrected. In addition, by subjecting the image signals of the subject to be imaged and input to cumulative addition while correcting the deviation, it is possible to effectively obtain a subject image having no deviation over the TV rate.

【００４７】この結果、前述した第１の実施例の内視鏡
と同様に、被検体の動きに高速度に追従して、被検体と
撮像部７とのずれを補正し、画像ぶれのない鮮明で解像
度の高い被写体像を得ることが可能となる。そして、画
像ぶれのない鮮明な被写体像をモニタリングしながら内
視鏡を効果的に操作することを可能とし、その操作性を
十分高めることが可能となる。As a result, similarly to the endoscope of the first embodiment described above, the displacement between the subject and the imaging section 7 is corrected by following the movement of the subject at a high speed, and the image is not blurred. It is possible to obtain a clear and high-resolution subject image. Then, it is possible to effectively operate the endoscope while monitoring a clear subject image without image blur, and it is possible to sufficiently improve the operability.

【００４８】また、本発明は次のようにして実施するこ
とも可能である。即ち、第１の実施例の撮像装置を適用
した内視鏡では、アクチュエータ３６を用いてＣＣＤ１
２を変位制御し、その撮像光学系自体の光学的位置関係
を変位させることで、ＣＣＤ１２上に結像される被写体
像のずれ補正を行なうようにしたが、第２の実施例の撮
像装置を適用した内視鏡に於いてもこのような制御機能
を組み込むことが可能である。The present invention can be implemented as follows. That is, in the endoscope to which the imaging device of the first embodiment is applied, the CCD 1
2, the displacement of the subject image formed on the CCD 12 is corrected by displacing the optical positional relationship of the imaging optical system itself. Such a control function can be incorporated in an endoscope to which the present invention is applied.

【００４９】図９及び図１０は、ＡＭＩ１８を用い、更
にこのＡＭＩ１８自体をアクチュエータ３６を用いて変
位制御するようにした本発明の第３の実施例の撮像装置
を適用した内視鏡を示している。FIGS. 9 and 10 show an endoscope to which an image pickup apparatus according to a third embodiment of the present invention in which the AMI 18 is used and the AMI 18 itself is subjected to displacement control using an actuator 36 is used. I have.

【００５０】本第３の実施例では、２次元相関回路２３
にて求められるずれ量に従って、アングルワイヤー駆動
部４ｘ，４ｙ及びアクチュエータ駆動部３５をそれぞれ
制御するための位相補償作用を異ならせるようにする。
具体的には、アングルワイヤー駆動部４ｘ，４ｙの制御
用として設けた位相補償回路４４ｘ，４４ｙの時定数を
大きく設定し、撮像部７のずれに対する追尾作用の正帰
還を防止し、そのバックラッシュを防ぐようにする。こ
れに対して、アクチュエータ駆動部３５の制御用として
設ける位相補償回路４５ｘ，４５ｙについては、その回
路時定数を十分に小さくし、被写体の変位に対して瞬時
に追従し得るようにその応答性を十分に高めておく。In the third embodiment, the two-dimensional correlation circuit 23
The phase compensating operation for controlling each of the angle wire driving units 4x and 4y and the actuator driving unit 35 is made different in accordance with the deviation amount obtained in.
More specifically, the time constants of the phase compensating circuits 44x and 44y provided for controlling the angle wire driving units 4x and 4y are set to be large to prevent the positive feedback of the tracking action for the displacement of the imaging unit 7 and its backlash. Try to prevent. On the other hand, the phase compensating circuits 45x and 45y provided for controlling the actuator driving unit 35 have sufficiently small circuit time constants, and the responsiveness of the phase compensating circuits 45x and 45y so that they can instantaneously follow the displacement of the subject. Keep it high enough.

【００５１】このようにして、同じずれ検出量に従って
帰還制御される２系統のずれ補償系であるといえども、
その位相補償の回路時定数を異ならせておくことによ
り、ここではアングルワイヤー駆動部４ｘ，４ｙの制御
による撮像部７の全体的な変位制御によりずれに対する
祖調整を行ない、その上でアクチュエータ駆動部３５の
制御によるＡＭＩ１８の変位制御により上記ずれに対す
る微調整を行なうことが可能となる。In this way, even though it is a two-system deviation compensation system that is feedback-controlled according to the same deviation detection amount,
By making the circuit time constants of the phase compensation different, here, the displacement adjustment is performed by the overall displacement control of the imaging unit 7 under the control of the angle wire driving units 4x and 4y. By the displacement control of the AMI 18 under the control of 35, it is possible to make fine adjustments to the above-mentioned deviation.

【００５２】この結果、これらの２系統のずれ補正によ
り被検体と撮像部７とのずれを効果的に補正してずれの
ない良好な被写体像を効果的に得ることが可能となる。As a result, it is possible to effectively correct a shift between the subject and the imaging unit 7 by these two systems of shift correction and effectively obtain a good subject image without any shift.

【００５３】図１１は、本発明の第４の実施例の撮像装
置を適用した手持ち型顕微鏡の構成を示す図で、前述し
た実施例と基本的に同一の部分には同一の符号を付して
示してある。FIG. 11 is a diagram showing the configuration of a hand-held microscope to which the imaging apparatus according to the fourth embodiment of the present invention is applied. The same reference numerals are given to basically the same parts as those in the above-described embodiment. Shown.

【００５４】本第４の実施例は、手持ち型の顕微鏡に於
いて、目的被写体を追尾しながら拡大撮像を可能とした
もので、画面の動きベクトルを基に動きの補正を制御す
ることを特徴とするものである。The fourth embodiment enables enlarged imaging while tracking a target object in a hand-held microscope, and is characterized in that motion correction is controlled based on a screen motion vector. It is assumed that.

【００５５】具体的には、本第４の実施例の手持ち型顕
微鏡は、撮像部７が組み込まれている内部筐体４６と、
当該手持ち型顕微鏡の本体となっている外部筐体４７
と、これら内部筐体４６と外部筐体４７の相対的位置関
係を変化させることによりズームレンズ１１の撮像方向
を自由な方向に変えることを可能とする高速応答可能な
アクチュエータ４８を具備している。外部筐体４７内に
は、上記内部筐体４６に加え、図１２の（Ａ）に示すよ
うな構成の信号処理部４９と、この信号処理部４９から
出力されるｘ，ｙ方向の動き補正量に基づき上記アクチ
ュエータ４８を駆動するアクチュエータ駆動部５０が内
蔵されている。また、上記信号処理部４９には、この信
号処理部４９から出力される映像信号を表示するための
ＥＶＦ（電子ビューファインダー）５１が接続されてい
る。このＥＶＦ５１は、外部筐体４７とは分離されてい
る。Specifically, the hand-held microscope according to the fourth embodiment has an internal housing 46 in which the imaging section 7 is incorporated,
External housing 47 that is the main body of the hand-held microscope
And an actuator 48 capable of high-speed response by changing the relative positional relationship between the inner housing 46 and the outer housing 47 so that the imaging direction of the zoom lens 11 can be freely changed. . In the outer housing 47, in addition to the inner housing 46, a signal processing unit 49 having a configuration as shown in FIG. 12A, and motion correction in the x and y directions output from the signal processing unit 49. An actuator driving unit 50 that drives the actuator 48 based on the amount is built in. An EVF (Electronic Viewfinder) 51 for displaying a video signal output from the signal processing unit 49 is connected to the signal processing unit 49. This EVF 51 is separated from the external housing 47.

【００５６】信号処理部４９は、図１２の（Ａ）に示す
ように、ＣＣＤ１２の映像信号の複数位置での動きベク
トルを検出する動きベクトル検出回路５２を備えてい
る。この動きベクトル検出回路５２は、現フレームと前
フレームとの相関演算により画像の動きを検出するもの
である。図１２の（Ｂ）は、その複数位置での動きベク
トルを示しており、中央の位置を特に追尾エリアと称す
る。動きベクトル検出回路５２で検出された動きベクト
ルは、制御回路５３に与えられる。この制御回路５３
は、この動きベクトルと、図示しない操作部から与えら
れる被写体追尾命令とからアクチュエータ４８の駆動を
制御する回路であり、図１３及び図１４に示すようなア
ルゴリズムに基づいて制御を行なう。As shown in FIG. 12A, the signal processing section 49 includes a motion vector detecting circuit 52 for detecting motion vectors at a plurality of positions of the video signal of the CCD 12. The motion vector detection circuit 52 detects the motion of an image by performing a correlation operation between the current frame and the previous frame. FIG. 12B shows the motion vectors at the plurality of positions, and the center position is particularly called a tracking area. The motion vector detected by the motion vector detection circuit 52 is given to the control circuit 53. This control circuit 53
Is a circuit for controlling the driving of the actuator 48 from the motion vector and a subject tracking command given from an operation unit (not shown), and performs control based on an algorithm as shown in FIGS.

【００５７】即ち、先ず撮影が始まると、撮影者は、写
したい被写体を捕らえるべく当該顕微鏡を被写体の方向
へ向ける。この時は、被写体を見つけ易くするために、
ズームレンズ１１は広角側にしておくのが好ましい。That is, when photographing starts, the photographer turns the microscope toward the subject in order to capture the subject to be photographed. At this time, to make it easier to find the subject,
Preferably, the zoom lens 11 is on the wide angle side.

【００５８】そして、写したい被写体を画面中央に捕ら
えるまでは、手振れの補正は行なうが、パンニングと区
別するために、次のような処理を行なう。先ず、全画面
の各位置での動きベクトルを検出する（ステップＳ１
１）。この動きベクトルは、現フレームと前フレームと
の相関演算から検出される。Until the subject to be photographed is captured in the center of the screen, the camera shake is corrected, but the following processing is performed to distinguish it from panning. First, a motion vector at each position on the entire screen is detected (step S1).
1). This motion vector is detected from a correlation operation between the current frame and the previous frame.

【００５９】この動きベクトルの方向が各位置でかなり
違う場合は、手振れだけでなく動いている被写体が存在
している場合であり（ステップＳ１２）、この場合には
特に動き補正は行なわない（ステップＳ１３）。If the direction of the motion vector is significantly different at each position, it means that not only a camera shake but also a moving subject is present (step S12). In this case, no particular motion correction is performed (step S12). S13).

【００６０】また、動きベクトルの方向がほぼ一致して
いる場合は、手振れか又は顕微鏡をパンニングしている
場合である。そして、この動きベクトルの方向が数フレ
ームに亙り同じ場合はパンニングであり、それ以外の場
合は手振れであると考えられる。The case where the directions of the motion vectors are substantially the same is a case where camera shake or panning of the microscope is performed. When the direction of the motion vector is the same over several frames, panning is considered, and in other cases, it is considered as camera shake.

【００６１】以上のことから、制御回路５３は次のよう
に制御する。From the above, the control circuit 53 controls as follows.

【００６２】 （１）動ベクトルの方向が各位置でかなり違う場合 →
動体が存在し、動き補正は行なわない。(1) When the direction of the motion vector is significantly different at each position →
There is a moving object, and no motion correction is performed.

【００６３】 （２）動きベクトルの方向が各位置でほぼ一致し、且つ
数フレーム時間以上その方向が同じ場合 → パンニン
グと判断し、動き補正は行なわない。(2) When the direction of the motion vector is substantially the same at each position and the direction is the same for more than a few frame time → It is determined to be panning, and no motion correction is performed.

【００６４】 （３）動きベクトルの方向が各位置でほぼ一致するが、
数フレーム時間以内にその方向が変わる場合 → 手振
れと判断し（ステップＳ１２）、動きベクトルの方向に
従い、これを補正するようにアクチュエータ４８を駆動
制御する（ステップＳ１４）。(3) Although the direction of the motion vector is substantially the same at each position,
If the direction changes within several frame times → It is determined that the camera shake is occurring (step S12), and the drive of the actuator 48 is controlled according to the direction of the motion vector so as to correct it (step S14).

【００６５】ここで、フレーム数は焦点距離等に応じ適
当に設定するものとする。Here, the number of frames is set appropriately according to the focal length and the like.

【００６６】このように、手振れ補正を行ないながら
（手振れ補正動作と称する）写したい被写体画面中央の
追尾エリアに捕らえたときに、操作者は、図示しない操
作部より追尾命令を発する（ステップＳ１５）。As described above, when the camera is captured in the tracking area at the center of the subject screen to be photographed while performing camera shake correction (referred to as camera shake correction operation), the operator issues a tracking command from an operation unit (not shown) (step S15). .

【００６７】そして、フレームメモリ２２には、この追
尾命令を発した瞬間の画像が記憶され、以後、この画像
と現フレーム画像との相関が求められて、動きベクトル
が検出される（ステップＳ１６）。追尾命令が発せられ
ている間は、追尾エリアでの動きベクトルの方向に従
い、この動きを補正するようにアクチュエータを駆動す
る（ステップＳ１７）。また、必要に応じズームレンズ
１１の焦点距離を長くし、拡大撮影を行なう（ステップ
Ｓ１８）。このように焦点距離を変えた場合は、フレー
ムメモリ２２の画像を更新する（追尾動作と称する）。The image at the moment when the tracking command is issued is stored in the frame memory 22, and thereafter, the correlation between this image and the current frame image is obtained, and a motion vector is detected (step S16). . While the tracking command is being issued, the actuator is driven so as to correct the motion according to the direction of the motion vector in the tracking area (step S17). Further, if necessary, the focal length of the zoom lens 11 is increased, and enlarged photographing is performed (step S18). When the focal length is changed in this way, the image in the frame memory 22 is updated (referred to as a tracking operation).

【００６８】このように、追尾エリアでの動きベクトル
に対して動き補正を行なうため、手振れや被写体の動き
のある場合も目的被写体の追尾が可能である。As described above, since the motion correction is performed on the motion vector in the tracking area, the target object can be tracked even when there is camera shake or movement of the object.

【００６９】もし、被写体の動きが大きく、アクチュエ
ータ４８で補正しきれなくなった場合（ステップＳ１
９）、被写体は追尾エリアから外れて動き出す（ステッ
プＳ２０）。この場合は、追尾命令を停止する（ステッ
プＳ２１）と共に、手振れ補正動作（前述したステップ
Ｓ１１〜ステップＳ１５）に戻り、操作者は、被写体を
中央に捕らえるべく顕微鏡を動かす。この時、必要に応
じて焦点距離を広角側にする。そして再び、目標被写体
を追尾エリアに捕らえたときに追尾命令を発する。以
後、追尾動作（前述したステップＳ１６〜ステップＳ２
１）に入り、こうした一連の動作を繰り返す。If the movement of the subject is so large that it cannot be corrected by the actuator 48 (step S1).
9), the subject moves out of the tracking area (step S20). In this case, the tracking instruction is stopped (Step S21), and the process returns to the camera shake correction operation (Steps S11 to S15 described above), and the operator moves the microscope to capture the subject at the center. At this time, if necessary, the focal length is set to the wide angle side. Then, a tracking command is issued again when the target subject is captured in the tracking area. Thereafter, the tracking operation (steps S16 to S2 described above)
1), and a series of such operations are repeated.

【００７０】このように、被写体の追尾命令を発するま
では全画面各位置での動きベクトルを基に手振れ補正を
行ない、追尾命令を発した後には、追尾エリアの動きベ
クトルを基に追尾を行なう。これにより、写したい被写
体を容易に捕らえ、且つ同じ位置に鮮明に見ることがで
きる。そして、被写体を常に追尾しているために、容易
にズームアップが可能で、手持ち型顕微鏡に於いても簡
単に拡大撮影ができる。さらに、ＥＶＦ５１を外部筐体
４７から分離したために、顕微鏡を自由な場所で自由な
方向で利用できる。もちろん、ＥＶＦ５１を顕微鏡と一
体化しても良い。As described above, the camera shake correction is performed based on the motion vector at each position on the entire screen until the tracking instruction of the subject is issued, and after the tracking instruction is issued, tracking is performed based on the motion vector of the tracking area. . As a result, the subject to be photographed can be easily captured and can be clearly seen at the same position. Since the subject is always tracked, zoom-up can be easily performed, and magnified photography can be easily performed even with a hand-held microscope. Further, since the EVF 51 is separated from the outer casing 47, the microscope can be used in any place and in any direction. Of course, the EVF 51 may be integrated with the microscope.

【００７１】また、本第４の実施例では、動き補正のた
めに、撮像部７を内部筐体４６に組み込んでアクチュエ
ータ４８で駆動するようにしたが、ズームレンズ１１だ
け又はＣＣＤ１２だけをアクチュエータで動かすように
しても良い。さらに、前述した実施例と同様に、画像信
号をフレームメモリに記憶し、動き補正量に応じて、そ
の読み出し位置を変えるようにしても良いし、これらの
手法を兼用して用いても良い。In the fourth embodiment, the imaging section 7 is incorporated in the internal housing 46 and driven by the actuator 48 for motion compensation. However, only the zoom lens 11 or only the CCD 12 is driven by the actuator. You may move it. Further, similarly to the above-described embodiment, the image signal may be stored in the frame memory, and its readout position may be changed according to the amount of motion correction, or these methods may be used in combination.

【００７２】図１５の（Ａ）は、本発明の第５の実施例
の撮像装置の適用された手持ち型顕微鏡に於ける信号処
理部のブロック構成図である。本第５の実施例は、追尾
時に、画像上下左右方向への動きの補正だけでなく、手
振れで生じる画像の拡大・縮小の補正も行い、常に、同
じ位置に同じ大きさの画像を見ることができるようにし
たものである。本第５の実施例の全体構成は、図１１に
示した前述の第４の実施例と同様であり、よってその説
明は省略し、本実施例の特徴である信号処理部４９につ
き説明する。なお、図１５の（Ａ）に於いて、図１２の
（Ａ）と基本的に同一の部分には同一の符号を付して示
してある。FIG. 15A is a block diagram of a signal processing unit in a hand-held microscope to which the imaging apparatus according to the fifth embodiment of the present invention is applied. In the fifth embodiment, during tracking, not only correction of movement in the vertical and horizontal directions of the image but also correction of enlargement / reduction of the image caused by camera shake is performed, and an image of the same size is always viewed at the same position. Is made possible. The overall configuration of the fifth embodiment is the same as that of the above-described fourth embodiment shown in FIG. 11, so that the description thereof will be omitted, and the signal processing unit 49 which is a feature of this embodiment will be described. Note that, in FIG. 15A, the same parts as those in FIG. 12A are denoted by the same reference numerals.

【００７３】本第５の実施例では、信号処理部４９は、
電子ズーム部５４を備えている。この電子ズーム部５４
は、図示しないＲＡＭ等で構成されており、画像信号の
拡大縮小を行なうことができる。画像の拡大又は縮小が
起きると、画像内各位置での動きベクトルは、図１５の
（Ｂ）（拡大時）又は図１５の（Ｃ）（縮小時）のよう
に変化し、この変化から画像の拡大縮小率αを検出す
る。この画像の拡大縮小率αは、例えば、隣合う動きベ
クトルのｘ成分を用いて知ることができる。図１５の
（Ｄ）（拡大時）及び図１５の（Ｅ）（縮小時）は、図
１５の（Ｂ）及び図１５の（Ｃ）の動きベクトルのｘ成
分をエリア１〜８の順に表示したものである。これら図
１５の（Ｄ），（Ｅ）から理解されるように、動きベク
トルのｘ成分は、画像の拡大縮小により極性が変化する
と共に、その絶対値により拡大縮小量が知れ、画像の拡
大縮小率αを求めることができる。In the fifth embodiment, the signal processing unit 49
An electronic zoom unit 54 is provided. This electronic zoom unit 54
Is constituted by a RAM or the like (not shown), and can enlarge or reduce an image signal. When the image is enlarged or reduced, the motion vector at each position in the image changes as shown in FIG. 15 (B) (at the time of enlargement) or FIG. 15 (C) (at the time of reduction). Is detected. The enlargement / reduction ratio α of this image can be known using, for example, the x component of the adjacent motion vector. 15 (D) (at the time of enlargement) and FIG. 15 (E) (at the time of reduction), the x components of the motion vectors of FIGS. 15 (B) and 15 (C) are displayed in the order of areas 1 to 8. It was done. As can be understood from FIGS. 15 (D) and (E), the polarity of the x component of the motion vector changes according to the scaling of the image, and the amount of scaling is known from its absolute value. The rate α can be obtained.

【００７４】もし、像の拡大縮小と、ぶれ等による平行
移動が共に生じる場合は、それぞれの拡大縮小の動きベ
クトルに平行移動による動きベクトルが加えられること
になる。拡大縮小により生じる動きベクトルの総和は、
ゼロと考えられることから、全画面各位置での動きベク
トルの総和は、画面内に動体がない場合は、平行移動に
よる動きベクトルによるものとなる。そこで画像の拡大
縮小率αを検出するには、先ず、全画面各位置での動き
ベクトルの総和から平行移動による動きベクトルを検出
し、次に、全画面各位置の動きベクトルからこの平行移
動による動きベクトルを減算し、拡大縮小だけによる動
きベクトルを得、そのｘ成分の変化から画像の拡大縮小
率αの検出を行なう。If both the enlargement and reduction of the image and the parallel movement due to blurring or the like occur, a motion vector by the parallel movement is added to each of the enlarged and reduced motion vectors. The sum of the motion vectors generated by the scaling is
Since it is considered to be zero, the sum of the motion vectors at each position on the entire screen is based on the motion vector by the parallel movement when there is no moving object in the screen. Therefore, in order to detect the image enlargement / reduction rate α, first, a motion vector due to parallel movement is detected from the sum of the motion vectors at each position on the entire screen. The motion vector is subtracted to obtain a motion vector based only on the scaling, and the scaling factor α of the image is detected from the change in the x component.

【００７５】画面内に動体がある場合は、全画面各位置
での動きベクトルの総和は平行移動による動きベクトル
とはならず、この時に図１５の（Ｄ），（Ｅ）に対応す
るｘ成分の変化は拡大縮小の場合とはかけ離れたものと
なる。こうした場合は、正確な拡大縮小率αは求められ
ないので、拡大縮小はないものと判断する。When there is a moving object in the screen, the sum of the motion vectors at each position on the entire screen does not become a motion vector due to the parallel movement. At this time, the x component corresponding to (D) and (E) in FIG. Is far from the case of scaling. In such a case, since an accurate enlargement / reduction ratio α is not obtained, it is determined that there is no enlargement / reduction.

【００７６】以上をまとめると、図１６のように表わせ
る。即ち、全画面各位置の動きベクトルは平均ベクトル
検出部５５に供給され、平均ベクトルが検出される。こ
の検出された平均ベクトルは、減算器５６にて各動きベ
クトルから減算され、その結果からｘ成分検出器５７に
て動きベクトルのｘ成分Ｖx(i)（ｉは各エリアに対応
し、ｉ＝１〜８）が検出される。ｘ成分検出器５７にて
検出されたｘ成分Ｖx(i)は、乗算器５８にて、拡大縮小
を判定するための関数ｈ(i) と乗算され、加算器５９に
て累積加算されて判定値Ｅが、 Ｅ＝ΣＶx(i)・ｈ(i) として求められる。ここで、上記関数ｈ(i) は図１７に
示すように正弦関数をサンプリングしたものである。The above can be summarized as shown in FIG. That is, the motion vector at each position on the entire screen is supplied to the average vector detection unit 55, and the average vector is detected. The detected average vector is subtracted from each motion vector by a subtractor 56, and from the result, an x component Vx (i) (i corresponds to each area, i = 1 to 8) are detected. The x component Vx (i) detected by the x component detector 57 is multiplied by a function h (i) for judging enlargement / reduction by a multiplier 58, and is cumulatively added by an adder 59 for judgment. The value E is obtained as E = ΣVx (i) · h (i). Here, the function h (i) is obtained by sampling a sine function as shown in FIG.

【００７７】そして、この判定値Ｅが判定部６０で判定
され、拡大縮小率αが出力される。即ち、判定部６０
は、｜Ｅ｜≦ε（εは適当な定数）となる時には画面内
に動体がある場合又は拡大縮小がない場合として判定
し、α＝０を出力する。また、Ｅ＞εの時は拡大と判定
しα＝１＋（Ｅ／Ｌ）を出力し、Ｅ＜−εの時は縮小と
判定しα＝１−（Ｅ／Ｌ）を出力する。ここで、Ｌは画
面の中心から各エリアまでの平均距離である。The judgment value E is judged by the judgment section 60, and the enlargement / reduction ratio α is output. That is, the determination unit 60
When | E | ≦ ε (ε is an appropriate constant), it is determined that there is a moving object in the screen or that there is no enlargement / reduction, and α = 0 is output. When E> ε, it is determined that the image is enlarged, and α = 1 + (E / L) is output. When E <−ε, it is determined that the image is reduced, and α = 1− (E / L) is output. Here, L is the average distance from the center of the screen to each area.

【００７８】本第５の実施例では、制御回路５３は、図
１８に示すような制御アルゴリズムに従って、追尾動作
が実施される。なお、手振れ補正動作は前述した第４の
実施例に於ける図１３のステップＳ１１〜ステップＳ１
５と同様であり、従ってここでは説明は省略する。In the fifth embodiment, the control circuit 53 performs a tracking operation according to a control algorithm as shown in FIG. Note that the camera shake correction operation is performed in steps S11 to S1 of FIG. 13 in the above-described fourth embodiment.
5 and therefore the description is omitted here.

【００７９】即ち、被写体を追尾エリアに捕らえ、追尾
命令を発すると、その瞬間の画像がフレームメモリ２２
に記憶され、以後、この画像との相関が求められる。そ
して、全画面各位置の動きベクトルを用いて、前述のよ
うな方式で拡大縮小率αを検出し（ステップＳ３１）、
これを補正するように電子ズーム部５４を制御する（ス
テップＳ３２）。一方、これと同時に、追尾エリアの動
きベクトルを基に、アクチュエータ４８を介して撮像部
７を動かし、被写体の動き補正を行なう（ステップＳ３
３）。このように、電子ズーム部５４と撮像部７の撮影
方向を制御することにより、撮影者は、常に同じ位置に
同じ大きさの画像を見ることができる。That is, when the subject is captured in the tracking area and a tracking command is issued, the image at that moment is stored in the frame memory 22.
The correlation with this image is obtained thereafter. Then, using the motion vector at each position on the entire screen, the enlargement / reduction ratio α is detected by the method described above (step S31),
The electronic zoom unit 54 is controlled so as to correct this (step S32). On the other hand, at the same time, the imaging unit 7 is moved via the actuator 48 based on the motion vector of the tracking area, and the motion of the subject is corrected (step S3).
3). As described above, by controlling the photographing directions of the electronic zoom unit 54 and the imaging unit 7, the photographer can always see an image of the same size at the same position.

【００８０】もし、被写体像を拡大縮小したい場合に
は、必要に応じてズームレンズ１１を操作して、焦点距
離を変える（ステップＳ３４）。そして、焦点距離を変
化させた場合には、フレームメモリ２２の画像を更新し
て、以後、この画像を基準に拡大縮小，被写体の動き補
正を行なう（追尾動作）。If it is desired to enlarge or reduce the subject image, the zoom lens 11 is operated as necessary to change the focal length (step S34). When the focal length is changed, the image in the frame memory 22 is updated, and thereafter, enlargement / reduction and motion correction of the subject are performed based on this image (tracking operation).

【００８１】このように、画像の位置と大きさの両方を
共に補正するが、この補正が限界を越えた場合（ステッ
プＳ３５）、被写体は追尾エリアから外れて動き出す
か、その大きさが変化し出す（ステップＳ３６）。この
時、追尾命令を停止し（ステップＳ３７）、手振れ補正
動作に戻り、操作者は、被写体を中央に見たい大きさで
捕らえるべく顕微鏡を動かす。そして再び、目標被写体
を追尾エリアに見たい大きさで捕らえた時に追尾命令を
発する。以後、追尾動作に入り、こうした一連の動作を
繰り返す。As described above, both the position and the size of the image are corrected. When the correction exceeds the limit (step S35), the subject moves out of the tracking area or the size changes. It is issued (step S36). At this time, the tracking instruction is stopped (step S37), the operation returns to the camera shake correction operation, and the operator moves the microscope to capture the subject at the desired size in the center. Then, the tracking command is issued again when the target subject is captured in the tracking area at a desired size. Thereafter, a tracking operation is started, and such a series of operations is repeated.

【００８２】このように、被写体の追尾命令を発するま
では手振れ補正を行ない、追尾命令を発した後には、画
像の拡大縮小も含めた動きの補正を行なうため、写した
い被写体を容易に捕らえ、且つ同じ位置に同じ大きさで
鮮明に見ることができる。As described above, camera shake correction is performed until a tracking command for a subject is issued, and after the tracking command is issued, motion correction including enlargement / reduction of an image is performed. Therefore, a subject to be captured is easily captured. And it can be clearly seen at the same position and the same size.

【００８３】また、本第５の実施例では、大きさの補正
のために、電子ズーム部５４を用いたが、ズームレンズ
１１を用いても良いし、撮像部７をその光軸方向に動か
しても良い。また、これらの補正を組み合わせて補正可
能な範囲を広くしても良い。In the fifth embodiment, the electronic zoom unit 54 is used for correcting the size. However, the zoom lens 11 may be used, or the imaging unit 7 may be moved in the optical axis direction. May be. Further, these corrections may be combined to widen the range that can be corrected.

【００８４】さらに、画像の回転を検出してこれを補正
するように、電子ズームを制御したり、撮像部７を駆動
させたりしても良い。なお、合焦調整部１３と回復処理
部１６により、焦点深度の拡大された画像を得たが、別
途合焦調節部材を用いても良い。Further, the electronic zoom may be controlled or the image pickup unit 7 may be driven so that the rotation of the image is detected and corrected. Although an image with an increased depth of focus has been obtained by the focus adjustment unit 13 and the recovery processing unit 16, a separate focus adjustment member may be used.

【００８５】なお、本発明は、上述した第１乃至第５の
実施例に限定されるものではない。上記実施例では、内
視鏡及び手持ち型顕微鏡に適用した例について説明した
が、これらに限定されるものではなく、防振対策を必要
とする顕微鏡等にも同様に適用可能である。また、電子
スチルカメラを用いてマクロ撮影を行なうような場合
や、超望遠レンズを用いた撮影時等にもその被写体像ぶ
れを防ぐ上で同様に適用可能である。The present invention is not limited to the first to fifth embodiments. In the above embodiments, examples in which the present invention is applied to an endoscope and a handheld microscope are described. However, the present invention is not limited to these, and the present invention can be similarly applied to a microscope or the like that requires anti-vibration measures. Further, the present invention can be similarly applied to a case where macro shooting is performed using an electronic still camera, a case where shooting is performed using a super-telephoto lens, and the like, in order to prevent the subject image blurring.

【００８６】また、上述した実施例では、撮像部７のｘ
ｙ変位を補正することを念頭に説明したが、回転ずれが
問題となるような場合には、例えばＣＣＤ１２やＡＭＩ
１８を回転変位させたり、プリズム系を用いて撮像光学
系での被写体像に回転変位を与えることで、その回転ず
れを補正することも可能である。この回転ずれについて
も、前述した加速度センサ３１，３２にて検出される変
位から同様に検出することができ、また被写体像間の相
関からも検出することができる。従って、この場合に
は、ｘｙ方向に変位検出されたずれ量に従って回転ずれ
量を求め、その回転ずれ量を補正した上でｘｙ方向の平
行移動ずれを補正するようにすれば良い。さらには、回
転ずれ量を検出するための専用センサを組み込んでお
き、これに基づいて回転ずれ補正を行なうようにするこ
とも可能である。In the above-described embodiment, x
Although the description has been made in consideration of the correction of the y-displacement, in the case where the rotational displacement becomes a problem, for example, the CCD 12 or the AMI
It is also possible to correct the rotational displacement by rotationally displacing 18 or by applying rotational displacement to the subject image in the imaging optical system using a prism system. This rotational displacement can be similarly detected from the displacements detected by the acceleration sensors 31 and 32, and can also be detected from the correlation between the subject images. Therefore, in this case, the rotational displacement may be obtained in accordance with the displacement detected in the xy directions, and the rotational displacement may be corrected before correcting the translation displacement in the xy direction. Furthermore, it is also possible to incorporate a dedicated sensor for detecting the rotational deviation amount, and to perform the rotational deviation correction based on this.

【００８７】その他、撮像部７自体の構成や信号処理本
体部の構成等、種々変形実施可能である。In addition, various modifications such as the configuration of the imaging unit 7 itself and the configuration of the signal processing main unit are possible.

【００８８】[0088]

【発明の効果】以上詳述したように本発明によれば、被
写体に対する撮像部のぶれを効果的に補正して、鮮明度
の高い被写体像を得ることができる実用性の高い撮像装
置を提供することができる。As described above in detail, according to the present invention, there is provided a highly practical imaging apparatus capable of effectively correcting the blur of the imaging section with respect to the subject and obtaining a high-definition subject image. can do.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１の実施例の撮像装置を適用した内
視鏡の概略構成図である。FIG. 1 is a schematic configuration diagram of an endoscope to which an imaging device according to a first embodiment of the present invention is applied.

【図２】被写体像間の相関によるずれ検出の作用を説明
するための図である。FIG. 2 is a diagram for explaining an operation of detecting a shift based on a correlation between subject images.

【図３】検出ずれ量の補間作用を説明するための図であ
る。FIG. 3 is a diagram for explaining an interpolation operation of a detection shift amount.

【図４】加速度センサの具体例を示す構成図である。FIG. 4 is a configuration diagram showing a specific example of an acceleration sensor.

【図５】ｘｙアクチュエータの具体例を示す構成図であ
る。FIG. 5 is a configuration diagram showing a specific example of an xy actuator.

【図６】第１の実施例の動作を説明するためのフローチ
ャートである。FIG. 6 is a flowchart for explaining the operation of the first embodiment.

【図７】本発明の第２の実施例の撮像装置を適用した内
視鏡の体腔内挿入部及び操作部の概略構成図である。FIG. 7 is a schematic configuration diagram of a body cavity insertion unit and an operation unit of an endoscope to which the imaging device according to the second embodiment of the present invention is applied.

【図８】本発明の第２の実施例の撮像装置を適用した内
視鏡の信号処理本体部の概略構成図である。FIG. 8 is a schematic configuration diagram of a signal processing main unit of an endoscope to which the imaging device according to the second embodiment of the present invention is applied.

【図９】本発明の第３の実施例の撮像装置を適用した内
視鏡の体腔内挿入部及び操作部の概略構成図である。FIG. 9 is a schematic configuration diagram of a body cavity insertion section and an operation section of an endoscope to which the imaging apparatus according to the third embodiment of the present invention is applied.

【図１０】本発明の第３の実施例の撮像装置を適用した
内視鏡の信号処理本体部の概略構成図である。FIG. 10 is a schematic configuration diagram of a signal processing main unit of an endoscope to which an imaging device according to a third embodiment of the present invention is applied.

【図１１】本発明の第４の実施例の撮像装置を適用した
手持ち型顕微鏡の概略構成図である。FIG. 11 is a schematic configuration diagram of a hand-held microscope to which an imaging device according to a fourth embodiment of the present invention is applied.

【図１２】（Ａ）は信号処理部のブロック構成図、
（Ｂ）は追尾エリアを説明するための図である。FIG. 12A is a block diagram of a signal processing unit,
(B) is a diagram for explaining a tracking area.

【図１３】第４の実施例の動作を説明するための一連の
フローチャートの前半部分を示す図である。FIG. 13 is a diagram showing the first half of a series of flowcharts for explaining the operation of the fourth embodiment;

【図１４】第４の実施例の動作を説明するための一連の
フローチャートの後半部分を示す図である。FIG. 14 is a diagram showing the latter half of a series of flowcharts for explaining the operation of the fourth embodiment.

【図１５】（Ａ）は本発明の第５の実施例の撮像装置を
適用した手持ち型顕微鏡に於ける信号処理部のブロック
構成図、（Ｂ）及び（Ｃ）はそれぞれ画像の拡大及び縮
小発生時の画像内各位置での動きベクトルの変化を説明
するための図、（Ｄ）及び（Ｅ）はそれぞれ（Ｂ）及び
（Ｃ）の動きベクトルのｘ成分をエリア１〜８の順に表
示した図である。FIG. 15A is a block diagram of a signal processing unit in a hand-held microscope to which an imaging apparatus according to a fifth embodiment of the present invention is applied, and FIGS. 15B and 15C are enlargements and reductions of an image, respectively. FIGS. 3D and 3E are diagrams for explaining a change of a motion vector at each position in an image at the time of occurrence, and FIGS. 3D and 3E respectively show x components of the motion vectors of FIGS. FIG.

【図１６】拡大縮小率αの決定手法を説明するための図
である。FIG. 16 is a diagram for explaining a method of determining an enlargement / reduction ratio α.

【図１７】拡大縮小を判定するための関数ｈ(i) を説明
するための図である。FIG. 17 is a diagram for explaining a function h (i) for determining enlargement / reduction.

【図１８】第５の実施例の動作を説明するためのフロー
チャートである。FIG. 18 is a flowchart for explaining the operation of the fifth embodiment.

【符号の説明】[Explanation of symbols]

１…体腔内挿入部、２…操作部、３…信号処理本体部、
４ｘ…ｘ方向アングルワイヤー駆動部、４ｙ…ｙ方向ア
ングルワイヤー駆動部、５ｘ…ｘ方向アングルワイヤ
ー、５ｙ…ｙ方向アングルワイヤー、７…撮像部、４８
…アクチュエータ、４９…信号処理部、５０…アクチュ
エータ駆動部、５２…動きベクトル検出回路、５３…制
御回路、５４…電子ズーム部、６０…判定部。DESCRIPTION OF SYMBOLS 1 ... Insert part in a body cavity, 2 ... Operation part, 3 ... Signal processing main body part,
4x: x direction angle wire drive unit, 4y: y direction angle wire drive unit, 5x: x direction angle wire, 5y: y direction angle wire, 7: imaging unit, 48
... actuator, 49 ... signal processing unit, 50 ... actuator drive unit, 52 ... motion vector detection circuit, 53 ... control circuit, 54 ... electronic zoom unit, 60 ... judgment unit.

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 軸方向に交差する方向に変位可能な一方
の端部を有し、この一方の端部が体腔内に挿入される体
腔内挿入部（１）と、 前記体腔内挿入部の他方の端部に設けられ、前記体腔内
挿入部の一方の端部を変位させてこの一方の端部の位置
決めを行うための位置決め機構を有する操作部（２）
と、 前記体腔内挿入部の一方の端部に、その一方の端部に対
してその一方の端部の軸方向に交差する方向に変位可能
に設けられ、体腔内の被写体を電子的に撮像入力する撮
像部（１２；１８）と、 前記撮像部の変位を電気的に操作する変位手段（３６）
と、 被写体と前記撮像部との相対的なずれ量を、前記撮像部
にて連続的に撮像入力される被写体像間の相関から検出
する検出手段（２２，２３）と、 前記検出手段にて検出されたずれ量に応じて、前記位置
決め機構若しくは前記変位手段の少なくとも一方を制御
することにより、前記撮像部を前記被写体のずれ変位に
追尾させる追尾手段（３５；４ｘ，４ｙ）と、 を具備し、 前記変位手段は、前記位置決め機構よりも相対的にずれ
量の周期が速い成分に係るずれ量に応じて制御されるこ
とを特徴とする撮像装置。1. One that is displaceable in a direction intersecting with the axial direction.
Body having one end, one end of which is inserted into a body cavity.
Intracavity insertion section(1)Provided at the other end of the body cavity insertion portion, the body cavity
Displace one end of the insertion section and move the position of this one end
Operation unit with positioning mechanism for making decisions(2)
And one end of the body cavity insertion portion and one end thereof.
And can be displaced in the direction crossing the axial direction of one end
For electronically capturing and inputting a subject in a body cavity.
Image part(12; 18)Displacement means for electrically operating the displacement of the imaging unit(36)
And the relative displacement between the subject and the imaging unit
Detected from the correlation between the subject images continuously captured and input by
Detection means(22,23)And the position according to the amount of displacement detected by the detection means.
Control at least one of the setting mechanism or the displacement means
By doing so, the imaging unit can be moved to the displacement of the subject.
Tracking means to track(35; 4x, 4y)And the displacement means is relatively displaced from the positioning mechanism.
The cycle of the amount is controlled according to the amount of shift related to the fast component.
An imaging device characterized by the following. 【請求項２】 前記体腔内挿入部の一方の端部の外筐と
前記撮像部との間に配置されて、前記体腔内挿入部の一
方の端部と前記撮像部との相対的なずれ量を検出する変
位検出センサ（３１，３２）を更に具備し、 前記追尾手段は、前記変位手段については前記変位検出
センサからのずれ量を用いて追尾させることを特徴とす
る請求項１に記載の撮像装置。2. A are disposed between the front Symbol outer casing and the imaging unit of the one end of the body cavity insertion portion, relative to the one end portion and the imaging portion of the body cavity insertion portion The apparatus according to claim 1, further comprising: a displacement detection sensor (31, 32) for detecting a displacement amount, wherein the tracking means tracks the displacement means using a displacement amount from the displacement detection sensor. An imaging device according to any one of the preceding claims. 【請求項３】 前記ずれ量から、前記変位手段を制御す
る際に用いられる周期を有するずれ量を抽出する第１の
抽出手段（４５ｘ，４５ｙ）と、 前記ずれ量から、前記位置決め機構を制御する際に用い
られる周期を有するずれ量を抽出する第２の抽出手段
（４４ｘ，４４ｙ）と、 を更に具備すること特徴とする請求項１に記載の撮像装
置。3. A first extracting unit (45x, 45y) for extracting a shift amount having a cycle used when controlling the displacement unit from the shift amount, and controlling the positioning mechanism from the shift amount. Extracting means for extracting a shift amount having a cycle used when performing
The imaging apparatus according to claim 1, further comprising: (44x, 44y) .