JPH04211582A - Image pickup device - Google Patents

Abstract

PURPOSE:To obtain a subject having high sharpness by effectively correcting the blur of an image pickup section with respect to the subject. CONSTITUTION:A signal processing body section 3 determines the deviation quantities in the (x) direction and (y) direction of the subject image with respect to the image pickup section 7 from the correlation between the subject images continuously picked up and inputted from the above-mentioned image pickup section 7. Angle wires 5x, 5y for the (x) and (y) directions have the structure that the image pickup section 7 can be displayed in the x and y directions respectively within the plane orthogonal with the axial direction thereof. A driving sections 4x, 4y for the angles wires for the (x) and (y) directions follow up the subject by driving the above-mentioned angle wires 5x, 5y for the (x) and (y) directions in accordance with the deviation quantities in the (x) and (y) directions determined by the signal processing body section 3.

Description

【発明の詳細な説明】[Detailed description of the invention]

【０００１】0001

【産業上の利用分野】本発明は内視鏡や顕微鏡等に組み
込まれる撮像装置に係り、特に、被写体に対する撮像部
のぶれを補正する機能を有する撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging device incorporated into an endoscope, a microscope, etc., and more particularly to an imaging device having a function of correcting blurring of an imaging section relative to a subject.

【０００２】0002

【従来の技術】近年、固体撮像素子の小形化に伴い、そ
れを用いた撮像装置を内視鏡や顕微鏡等に組み込んで、
被検体等の被写体像を電子的に撮像入力し、その被写体
像をテレビジョン受像機等を用いてモニタリングするこ
とが種々試みられている。また、このようにして撮像入
力された被写体像を、電子スチル画像として、例えばフ
ロッピーディスクやメモリカード等の記録媒体に記録す
ることも種々試みられている。[Prior Art] In recent years, with the miniaturization of solid-state imaging devices, imaging devices using them have been incorporated into endoscopes, microscopes, etc.
Various attempts have been made to electronically capture and input an image of a subject, such as a subject, and to monitor the subject image using a television receiver or the like. Furthermore, various attempts have been made to record the subject image input in this manner as an electronic still image on a recording medium such as a floppy disk or a memory card.

【０００３】このような内視鏡や顕微鏡等に組み込まれ
た撮像装置による被写体像の撮像記録は基本的には、次
のようにして行なわれる。即ち、操作者は、撮像装置に
て連続的に撮像入力される被写体像をモニタしながら、
撮像装置の撮像部を被写体に対して位置合わせする。そ
して、目的とする被写体像が得られた時点で、操作者は
、フリーズ操作を行なう。つまり、操作者は、被写体像
をモニタしながら撮像位置決め機構を操作して被写体に
対する撮像部の位置決めを行い、所望とする被写体を捕
らえた時点で、その被写体像の取り込み（記録）を行な
わせる。[0003] Capturing and recording of a subject image using an imaging device incorporated in such an endoscope or microscope is basically carried out as follows. That is, the operator monitors the subject image that is continuously captured and input using the imaging device.
The imaging unit of the imaging device is aligned with the subject. Then, when the desired subject image is obtained, the operator performs a freeze operation. That is, the operator positions the imaging unit with respect to the subject by operating the imaging positioning mechanism while monitoring the subject image, and when the desired subject is captured, the subject image is captured (recorded).

【０００４】具体的には、内視鏡の場合には、撮像部が
組み込まれた体腔内挿入部材の先端部が、アングルワイ
ヤー等を用いた撮像部位置決め機構の駆動操作により、
その光軸に直交する面内で移動変位される。これによっ
て、検査対象部位が被写体像として捕らえられることが
できるように、被写体に対する撮像部の位置合わせが行
なわれる。この場合、撮像部を被写体に徐々に近づけな
がら、その位置合わせがなされることもある。Specifically, in the case of an endoscope, the distal end of a body cavity inserting member incorporating an imaging section is moved by driving an imaging section positioning mechanism using an angle wire or the like.
It is moved and displaced in a plane perpendicular to its optical axis. As a result, the imaging unit is positioned with respect to the subject so that the inspection target region can be captured as a subject image. In this case, the positioning may be performed while gradually bringing the imaging unit closer to the subject.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、撮像部
を被写体に向けて追尾操作する際、その撮像部の進退移
動に伴って、撮像部にぶれが生じることが否めない。し
かも、必ずしも被写体が静止状態にあるとは限らず、被
写体の動きが撮像部の相対的なぶれとして生じることも
多々ある。このような被写体に対する撮像部のぶれは、
モニタ出力される被写体像のぶれにそのままつながり、
モニタ画像が不鮮明化して、非常に見苦しくなることが
否めない。このため、撮像部の追尾操作自体が非常に困
難化するという問題がある。しかも、このようなぶれが
存在する状態で、被写体像の記録を行なうと、撮像記録
される被写体像信号自体が、画像のぶれのある非常に不
鮮明なものとなる。[Problems to be Solved by the Invention] However, when the imaging section is directed toward a subject and is subjected to a tracking operation, it is undeniable that blurring occurs in the imaging section as the imaging section moves forward and backward. Furthermore, the subject is not always in a stationary state, and movement of the subject often occurs as relative blurring of the imaging unit. The shake of the imaging unit for such a subject is
This directly leads to blurring of the subject image output on the monitor.
It is undeniable that the monitor image becomes blurred and becomes very unsightly. Therefore, there is a problem in that the tracking operation itself of the imaging unit becomes extremely difficult. Furthermore, if a subject image is recorded in the presence of such blur, the captured and recorded subject image signal itself will be very blurred with image blur.

【０００６】本発明は上記の点に鑑みて成されたもので
、被写体に対する撮像部のぶれを効果的に補正して、鮮
明度の高い被写体像を得ることができる実用性の高い撮
像装置を提供することを目的とする。The present invention has been made in view of the above points, and provides a highly practical imaging device that can effectively correct the blurring of the imaging unit relative to the object and obtain a highly clear image of the object. The purpose is to provide.

【０００７】[0007]

【課題を解決するための手段】本発明による撮像装置は
、被写体を電子的に撮像入力する撮像部と、前記撮像部
にて連続的に撮像入力される被写体像間の相関から、前
記撮像部に対する被写体像のずれ量を求めるずれ量算出
手段と、前記ずれ量算出手段にて求められたずれ量に従
って前記撮像部を変位させることにより、前記撮像部を
前記被写体のずれ変位に追尾させる追尾手段とを備える
ことを特徴とするものである。[Means for Solving the Problems] An imaging device according to the present invention has an imaging unit that electronically captures and inputs images of a subject, and a correlation between a subject image that is continuously captured and inputted by the imaging unit. a displacement amount calculation means for calculating the amount of displacement of the subject image relative to the object image; and a tracking means for causing the imaging section to track the displacement of the subject by displacing the imaging section according to the amount of displacement determined by the displacement amount calculation means. It is characterized by comprising the following.

【０００８】[0008]

【作用】本発明によれば、ずれ量算出手段により被写体
像間の相関から求められる被写体と撮像部とのずれ量に
従って、追尾手段により例えば被写体に対して撮像部を
位置決めするアングルワイヤー機構等の撮像部位置決め
機構を駆動して被写体の動きに撮像部を追従させ、これ
によって被写体と撮像部とのずれを補正する。従って、
被写体と撮像部との位置関係を保ちながらずれのない被
写体像の入力を行なうことが可能となる。[Operation] According to the present invention, an angle wire mechanism or the like is used to position the imaging section with respect to the object by the tracking means according to the amount of deviation between the object and the imaging section calculated from the correlation between the images of the object by the deviation amount calculation means. The imaging unit positioning mechanism is driven to cause the imaging unit to follow the movement of the subject, thereby correcting the misalignment between the subject and the imaging unit. Therefore,
It becomes possible to input a subject image without deviation while maintaining the positional relationship between the subject and the imaging unit.

【０００９】また、撮像部に組み込まれた加速度センサ
等の変位検出器にて求められる撮像部のずれ量に従って
、例えば被写体に対する撮像光学レンズ系と固体撮像素
子の撮像面との光学的位置関係を変位させて、そのずれ
補正を行なう。従って、前述した被写体の動きに追従し
た撮像部の変位制御と相俟って、精度の高いずれ補正を
応答性良く行なうことが可能となる。Furthermore, the optical positional relationship between the imaging optical lens system and the imaging surface of the solid-state image sensor with respect to the subject, for example, can be determined according to the amount of displacement of the imaging section determined by a displacement detector such as an acceleration sensor incorporated in the imaging section. The displacement is corrected by displacing it. Therefore, in combination with the above-mentioned displacement control of the imaging unit that follows the movement of the subject, it is possible to perform highly accurate deviation correction with good responsiveness.

【００１０】0010

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

【００１１】図１は、本発明の第１の実施例の撮像装置
を組み込んで構成される内視鏡を示しており、この内視
鏡は、体腔内挿入部１，操作部２，及び信号処理本体部
３で構成されている。この内視鏡は、操作部２に組み込
まれた位置決め機構であるｘ方向アングルワイヤー駆動
部４ｘ及びｙ方向アングルワイヤー駆動部４ｙによりア
ングルワイヤー５ｘ，５ｙを進退移動させ、これらのア
ングルワイヤー５ｘ，５ｙの先端部が固定されている前
記体腔内挿入部１の先端を、その軸方向に対し直交する
面内で、ｘ方向及びｙ方向にそれぞれ変位させ得る構造
を有している。上記ｘ方向アングルワイヤー駆動部４ｘ
及びｙ方向アングルワイヤー駆動部４ｙは、基本的には
アングル手動ノブ６ｘ，６ｙの操作により駆動される。FIG. 1 shows an endoscope that incorporates an imaging device according to a first embodiment of the present invention, and this endoscope includes a body cavity insertion section 1, an operation section 2, and a signal It is composed of a processing main body section 3. This endoscope moves angle wires 5x, 5y forward and backward by an x-direction angle wire drive section 4x and a y-direction angle wire drive section 4y, which are positioning mechanisms built into the operating section 2. The body cavity insertion section 1 has a structure in which the distal end of the body cavity insertion section 1, which is fixed, can be displaced in the x direction and the y direction, respectively, within a plane orthogonal to the axial direction. Above x direction angle wire drive section 4x
The y-direction angle wire drive unit 4y is basically driven by operating the angle manual knobs 6x, 6y.

【００１２】このｘ方向アングルワイヤー駆動部４ｘ及
びｙ方向アングルワイヤー駆動部４ｙによる体腔内挿入
部１の先端の変位制御は、光ファイバ束を用いて被検体
部を観察する従来一般的な内視鏡と同様にして、被検体
を観察しながらアングル手動ノブ６ｘ，６ｙを操作して
行なわれる。Displacement control of the distal end of the body cavity insertion section 1 by the x-direction angle wire drive section 4x and the y-direction angle wire drive section 4y is performed using a conventional general endoscopic method in which the subject is observed using an optical fiber bundle. This is done by operating the angle manual knobs 6x, 6y while observing the subject in the same way as with a mirror.

【００１３】この内視鏡は、光ファイバ束を用いて被検
体部を観察することに代えて、前記体腔内挿入部１の先
端部に、被検体を電子的に撮像入力する撮像部７を組み
込み、この撮像部７にて撮像された被写体像の信号（映
像信号）を前記信号処理本体部３に電気的に導くように
構成されている。この映像信号は、信号処理部３にて所
謂ＴＶ（テレビジョン）信号に変換され、ＴＶ受像機等
に出力されて、画像が表示される。つまり、この内視鏡
は、体腔内挿入部１の先端部に組み込まれた撮像部７に
て被検体の像を撮像入力し、これをＴＶ受像機等にてモ
ニタ表示するように構成されている。[0013]Instead of using an optical fiber bundle to observe the subject, this endoscope has an imaging section 7 at the distal end of the body cavity insertion section 1 that electronically captures and inputs an image of the subject. It is constructed so that a signal (video signal) of a subject image captured by the imaging section 7 is electrically guided to the signal processing main body section 3. This video signal is converted into a so-called TV (television) signal by the signal processing section 3, and outputted to a TV receiver or the like to display an image. In other words, this endoscope is configured to capture and input an image of the subject using the imaging section 7 built into the distal end of the body cavity insertion section 1, and display this on a monitor using a TV receiver or the like. There is.

【００１４】撮像部７は、基本的には、撮影光学レンズ
系と、この撮影光学レンズ系を介して結像される被写体
像を電子的に撮像する固体撮像素子とを具備する。具体
的には、本実施例では、撮影光学レンズ系としてズーム
レンズ１１が用いられている。また、このズームレンズ
１１を介して結像される被写体像を電子的に撮像する固
体撮像素子として、ＣＣＤ（電荷結合素子）１２が用い
られている。ズームレンズ１１とＣＣＤ１２との間の光
路上には、合焦調整機構１３が設けられている。この合
焦調整機構１３は、後述するように、例えばその光学レ
ンズ系に於けるリレーレンズ等をその光軸方向に高速度
に進退駆動してその焦点深度範囲の拡大を図るものであ
る。The imaging section 7 basically includes a photographing optical lens system and a solid-state image sensor that electronically photographs a subject image formed through the photographing optical lens system. Specifically, in this embodiment, a zoom lens 11 is used as the photographing optical lens system. Further, a CCD (charge-coupled device) 12 is used as a solid-state image sensor that electronically captures a subject image formed through the zoom lens 11. A focus adjustment mechanism 13 is provided on the optical path between the zoom lens 11 and the CCD 12. As will be described later, the focus adjustment mechanism 13, for example, drives a relay lens or the like in the optical lens system forward and backward at high speed in the direction of its optical axis to expand its depth of focus range.

【００１５】前述したｘ方向アングルワイヤー駆動部４
ｘ及びｙ方向アングルワイヤー駆動部４ｙは、このよう
な撮像部７を組み込んだ体腔内挿入部１の先端を、その
軸方向（光軸方向）に直交する面内で変位させ、被検体
（被写体）と撮像部７とのずれを補正するよう動作する
。The x-direction angle wire drive unit 4 described above
The x- and y-direction angle wire drive section 4y displaces the distal end of the body cavity insertion section 1 incorporating the imaging section 7 in a plane perpendicular to its axial direction (optical axis direction), and ) and the imaging unit 7.

【００１６】前記ＣＣＤ１２にて電気的に撮像された被
検体の被写体信号は、体腔内挿入部１内に付設された信
号線を介して信号処理本体部３に導かれる。この信号処
理本体部３には、ＣＣＤ１２にて撮像された被写体像信
号をディジタル符号化して取り込むＡ／Ｄ（アナログ／
ディジタル）変換器１４や、このＡ／Ｄ変換器１４を介
して取り込まれた映像信号（被写体像信号）に所定の信
号処理を施し、輝度信号成分Ｙと２種類の色差信号（Ｒ
−Ｙ），（Ｂ−Ｙ）とに分解するビデオプロセッサ１５
が設けられている。このビデオプロセッサ１５にて分解
された輝度信号成分Ｙは、特願平１−４４０２１号等に
て本出願人が提唱した回復処理装置１６を介して、その
成分補償が行なわれた後、前述した色差信号（Ｒ−Ｙ）
，（Ｂ−Ｙ）と共にビデオ信号発生部としてのＮＴＳＣ
信号発生部１７に与えられる。このＮＴＳＣ信号発生部
１７により前記輝度信号成分Ｙと２種類の色差信号（Ｒ
−Ｙ），（Ｂ−Ｙ）とからＮＴＳＣ標準方式のＴＶ信号
が生成され、図示しない画像モニタ（ＴＶ受像機）に表
示出力される。The subject signal of the subject electrically imaged by the CCD 12 is guided to the signal processing main unit 3 via a signal line provided within the body cavity insertion section 1. This signal processing main unit 3 includes an A/D (analog/
The video signal (subject image signal) taken in via the digital) converter 14 and this A/D converter 14 is subjected to predetermined signal processing, and the luminance signal component Y and two types of color difference signals (R
-Y), (B-Y)
is provided. The luminance signal component Y decomposed by this video processor 15 is subjected to component compensation via the recovery processing device 16 proposed by the present applicant in Japanese Patent Application No. 1-44021, etc., and then subjected to component compensation as described above. Color difference signal (R-Y)
, (B-Y) together with NTSC as a video signal generator.
The signal generator 17 receives the signal. This NTSC signal generator 17 generates the luminance signal component Y and two types of color difference signals (R
-Y) and (B-Y), an NTSC standard TV signal is generated and output for display on an image monitor (TV receiver), not shown.

【００１７】本実施例の内視鏡は、ＣＣＤ１２にて所定
の周期で撮像入力された被写体像信号の上述した如くビ
デオプロセッサ１５から回復処理装置１６を介して求め
られた輝度信号成分Ｙを用いて、被検体（被写体）に対
する撮像部７のずれを被写体像のずれとして求めるよう
にしている。そして、その検出されたずれ量に応じて、
前述したｘ方向アングルワイヤー駆動部４ｘ及びｙ方向
アングルワイヤー駆動部４ｙをそれぞれ負帰還制御によ
り駆動し、被写体に対する撮像部７のずれに追尾させて
、当該撮像部７をその光軸（体腔内挿入部１の軸方向）
と直交する平面内で変位させ、これによってそのずれ補
正を行なう。The endoscope of this embodiment uses the luminance signal component Y obtained from the video processor 15 via the recovery processing device 16 as described above for the subject image signal input to the CCD 12 at a predetermined period. Thus, the displacement of the imaging unit 7 with respect to the subject (subject) is determined as the displacement of the subject image. Then, depending on the detected amount of deviation,
The aforementioned x-direction angle wire drive section 4x and y-direction angle wire drive section 4y are each driven by negative feedback control to track the deviation of the imaging section 7 with respect to the subject, and the imaging section 7 is moved along its optical axis (intra-body cavity insertion). axial direction of part 1)
The displacement is corrected by displacing it within a plane orthogonal to the plane.

【００１８】図示しない操作部より、被写体と撮像部７
とのずれに対する自動追尾の指令が与えられ且つ被写体
像のどの部分を目標としてずれに対する自動追尾を行な
うかのウィンドウ指定（部分領域指定）がなされると、
アドレス発生部２１は、当該部分領域の映像信号（輝度
信号成分Ｙ）をフレームメモリ２２に取り込むよう、メ
モリアドレス制御を行なう。このアドレス発生部２１の
動作により、上記ウィンドウ指定された被写体像部分（
内視鏡による観察対象部位）の映像信号（輝度信号成分
Ｙ）がフレームメモリ２２に取り込まれる。The subject and the imaging unit 7 are controlled by an operation unit (not shown).
When a command is given to automatically track the deviation from the object image, and a window specification (partial area specification) is made to specify which part of the subject image is to be targeted for automatic tracking of the deviation,
The address generation unit 21 performs memory address control so that the video signal (luminance signal component Y) of the partial area is taken into the frame memory 22. Due to the operation of this address generating section 21, the subject image portion designated by the window (
A video signal (luminance signal component Y) of a region to be observed with an endoscope is captured into the frame memory 22.

【００１９】２次元相関回路２３は、上述した如くフレ
ームメモリ２２に取り込まれた映像信号と、その後に前
記ＣＣＤ１２にて撮像入力される当該部分領域の映像信
号との２次元相関値を求め、当該部分画像間でのずれ量
を、その画像平面内でのｘ方向のずれ量ｄｘ及びｙ方向
のずれ量ｄｙとしてそれぞれ求める。この２次元相関演
算は、従来より種々提唱される演算アルゴリズムに従っ
て行なわれるが、基本的には、２枚の画像間の相関値が
最も高くなる変位量を求めることによりなされる。また
、部分画像間でのずれ量を求めるために、この２次元相
関回路２３には、特に図示してはいないが、指定された
ウィンドウ（部分領域）に関する情報が与えられており
、回復処理装置１６を介してビデオプロセッサ１５から
与えられる映像信号から当該部分領域を含み当該部分領
域よりも広い領域の映像信号を選択して、フレームメモ
リ２２に取り込まれた指定部分領域の映像信号との２次
元相関値を求めることができるように構成されている。The two-dimensional correlation circuit 23 calculates a two-dimensional correlation value between the video signal taken into the frame memory 22 as described above and the video signal of the relevant partial area which is subsequently imaged and inputted by the CCD 12, and The amount of deviation between the partial images is determined as the amount of deviation dx in the x direction and the amount dy of deviation in the y direction within the image plane. This two-dimensional correlation calculation is performed according to various calculation algorithms that have been proposed in the past, but is basically performed by finding the amount of displacement that gives the highest correlation value between the two images. Furthermore, in order to obtain the amount of deviation between partial images, the two-dimensional correlation circuit 23 is given information regarding a specified window (partial area), although not particularly shown, and the recovery processing device A video signal of an area including the partial area and wider than the relevant partial area is selected from the video signal given from the video processor 15 via the video processor 16, and is two-dimensionally combined with the video signal of the specified partial area taken into the frame memory 22. It is configured to be able to obtain correlation values.

【００２０】具体的には、例えば図２に示すように、フ
レームメモリ２２に取り込まれた被写体像がｆ１である
場合、その像信号をｙ方向及びｘ方向にそれぞれ投射し
た射影成分はｇ１，ｈ１となる。一方、時間の経過に伴
い、所定の周期後に得られる被写体像がｆ２である場合
には、その被写体像ｆ２に対する射影成分はそれぞれｇ
２，ｈ２となる。つまり、被写体像ｆ１がｆ２に示すよ
うにｘ方向及びｙ方向にずれると、その分だけその射影
成分もｇ１，ｈ１からｇ２，ｈ２へとそれぞれｘ方向及
びｙ方向にずれることになる。Specifically, as shown in FIG. 2, for example, when the subject image captured in the frame memory 22 is f1, the projected components obtained by projecting the image signal in the y direction and the x direction are g1 and h1. becomes. On the other hand, if the subject image obtained after a predetermined period is f2 as time passes, the projected components for the subject image f2 are g
2, h2. In other words, when the subject image f1 shifts in the x and y directions as shown by f2, its projected components shift from g1 and h1 to g2 and h2, respectively, in the x and y directions.

【００２１】２次元相関回路２３は、このような各方向
についての射影成分の相関信号を求めることで、前記被
写体像ｆ１，ｆ２間の相関信号を求めている。例えば、
その相関信号として前記各射影成分の差の２乗和を求め
れば、その相関信号は画像上のあるずれ位置でピークを
とる。従って、このような相関信号を最小とする位置ｄ
ｘ，ｄｙを求めれば、その値を前記被写体像のｘ方向及
びｙ方向に対するずれ量としてそれぞれ求めることが可
能となる。The two-dimensional correlation circuit 23 obtains a correlation signal between the subject images f1 and f2 by obtaining a correlation signal of the projection components in each direction. for example,
If the sum of squares of the differences between the projection components is calculated as the correlation signal, the correlation signal will peak at a certain shifted position on the image. Therefore, the position d that minimizes such a correlation signal
Once x and dy are determined, their values can be determined as the amount of deviation of the subject image in the x direction and the y direction, respectively.

【００２２】２次元相関回路２３では、基本的には、上
述したような演算アルゴリズムに基づく２次元相関演算
により、前述した被写体像信号の輝度成分Ｙから簡易に
且つ高速にＣＣＤ１２の撮像面に結像される被写体像の
ずれ量を表わす相関信号を検出している。このような２
次元相関回路２３による相関信号検出は、ＣＣＤ１２か
ら所定の周期で被写体像信号が読出される都度行なわれ
る。The two-dimensional correlation circuit 23 basically performs two-dimensional correlation calculation based on the above-mentioned calculation algorithm to easily and quickly focus the luminance component Y of the subject image signal onto the imaging surface of the CCD 12. A correlation signal representing the amount of shift in the imaged object image is detected. 2 like this
Correlation signal detection by the dimensional correlation circuit 23 is performed each time a subject image signal is read out from the CCD 12 at a predetermined period.

【００２３】２次元相関回路２３にて求められる被写体
像のｘ変位及びｙ変位の相関信号の系列は、補間回路２
４ｘ，２４ｙを介してそれぞれ補間処理され、正確なｘ
変位とｙ変位とが求められる。求められたｘ変位及びｙ
変位は、自動追尾用のスイッチ２５ｘ，２５ｙを介して
ｘ方向アングルワイヤー駆動部４ｘ及びｙ方向アングル
ワイヤー駆動部４ｙにそれぞれ与えられる。これらのア
ングルワイヤー駆動部４ｘ，４ｙは、与えられた変位に
応じてｘ方向アングルワイヤー５ｘ及びｙ方向アングル
ワイヤー５ｙとをそれぞれ駆動し、これにより撮像部７
が被写体に対してｘ方向及びｙ方向の変位を補正する向
きに変位駆動される。このような変位制御の下で、撮像
部７により被写体像が撮像入力され、その被写体像の信
号が前述した如くＮＴＳＣ信号に変換されて出力される
。The series of correlation signals of the x-displacement and y-displacement of the subject image obtained by the two-dimensional correlation circuit 23 is processed by the interpolation circuit 2
Interpolated through 4x and 24y respectively to obtain accurate x
The displacement and y-displacement are determined. The determined x displacement and y
The displacement is applied to the x-direction angle wire drive section 4x and the y-direction angle wire drive section 4y, respectively, via automatic tracking switches 25x and 25y. These angle wire drive units 4x, 4y drive the x-direction angle wire 5x and the y-direction angle wire 5y, respectively, according to the given displacement, and thereby the imaging unit 7
is displaced and driven in a direction that corrects the displacement in the x direction and the y direction with respect to the subject. Under such displacement control, a subject image is captured and inputted by the imaging unit 7, and the signal of the subject image is converted into an NTSC signal and output as described above.

【００２４】なお、補間回路２４ｘ，２４ｙは、フレー
ムメモリ２２に取り込まれた被写体像と所定の周期毎に
撮像入力される被写体像との２次元相関演算により求め
られる相関信号に対して、例えば図３に模式的に示すよ
うな直線補間処理を施す。即ち、図３に示すように、ピ
クセル単位での変位（ずれ量）ｘ０，ｘ１，ｘ２に於け
る相関出力がそれぞれＰ０，Ｐ１，Ｐ２として与えられ
るとき、その正確な変位（ずれ量）Ｘを、として求める
。このような直線補間処理により、サブピクセルでの変
位（ずれ量）までが高精度に検出されることができる。 なお、このような直線補間処理に代えて、従来より種々
提唱されている補間処理の手法を適宜用いることも勿論
可能である。Note that the interpolation circuits 24x and 24y perform a correlation signal obtained by a two-dimensional correlation calculation between the subject image taken into the frame memory 22 and the subject image captured and inputted at every predetermined period, for example, as shown in FIG. Linear interpolation processing as schematically shown in 3 is performed. That is, as shown in FIG. 3, when the correlation outputs at displacements (amounts of deviation) x0, x1, and x2 in pixel units are given as P0, P1, and P2, respectively, the exact displacement (amount of deviation) , is obtained as . Through such linear interpolation processing, even the displacement (deviation amount) of sub-pixels can be detected with high precision. Note that, in place of such linear interpolation processing, it is of course possible to appropriately use various interpolation processing techniques that have been proposed in the past.

【００２５】このように、本実施例の内視鏡は、体腔内
挿入部１の先端に組み込まれた撮像部７にて所定の周期
で逐次撮像入力される観察対象部位の被写体像間の２次
元相関から、その被写体像間のずれ量を求め、これを撮
像部７と被写体との間のずれとして検出している。そし
て、この検出されたずれ量に従って、アングルワイヤー
駆動部４ｘ，４ｙにて体腔内挿入部１の先端を変位させ
るアングルワイヤー５ｘ，５ｙをそれぞれ駆動し、その
ずれを補正する向きに体腔内挿入部１の先端部を変位さ
せている。このような検出ずれ量に従い、そのずれを補
正する向きに体腔内挿入部１の先端部を変位させる負帰
還制御により、体腔内挿入部１の先端に組み込まれた撮
像部７が観察対象部位（被写体）の動き（ずれ）に追尾
して変位することになり、被写体と撮像部７との位置関
係が一定に保たれることになる。そして、被写体との位
置関係が一定に保たれた状態に制御される撮像部７にて
被写体の像が所定の周期で撮像入力され、ＴＶ受像機等
による画像出力（モニタ出力）に供される。As described above, the endoscope of the present embodiment has two images of the subject to be observed, which are sequentially captured and input at a predetermined period by the imaging section 7 built into the distal end of the body cavity insertion section 1. The amount of deviation between the subject images is determined from the dimensional correlation, and this is detected as the deviation between the imaging unit 7 and the subject. Then, according to the detected amount of deviation, the angle wire drive units 4x and 4y respectively drive the angle wires 5x and 5y that displace the distal end of the body cavity insertion part 1, so that the body cavity insertion part is directed in a direction that corrects the deviation. 1 is displaced. According to the amount of detected deviation, the imaging unit 7 incorporated in the distal end of the body cavity insertion section 1 is moved to the observation target region ( The positional relationship between the subject and the imaging unit 7 is kept constant, as the object is displaced by tracking the movement (shift) of the subject. Then, an image of the subject is input at a predetermined period to the imaging unit 7, which is controlled to maintain a constant positional relationship with the subject, and is provided for image output (monitor output) by a TV receiver or the like. .

【００２６】ところで、本実施例の内視鏡では、前述し
た撮像部７に、ズームレンズ１１及びＣＣＤ１２の変位
を各別に検出する加速度センサ３１，３２がそれぞれ設
けられている。これらの加速度センサ３１，３２は、ズ
ームレンズ１１及びＣＣＤ１２の各取付け位置に於ける
ずれ変位を、そのずれ移動の加速度として前述したｘ方
向及びｙ方向にそれぞれ検出する。By the way, in the endoscope of this embodiment, the above-mentioned imaging section 7 is provided with acceleration sensors 31 and 32 for detecting the displacements of the zoom lens 11 and the CCD 12, respectively. These acceleration sensors 31 and 32 detect the displacement of the zoom lens 11 and the CCD 12 at their respective mounting positions in the x-direction and y-direction, respectively, as the acceleration of the displacement.

【００２７】即ち、ズームレンズ１１の取付け位置に設
けられる加速度センサ３１は、当該ズームレンズ１１の
水平方向の変位を検出するための加速度センサｘ１と、
垂直方向の変位を検出するための加速度センサｙ１とか
らなる。これらの加速度センサｘ１，ｙ１は、ズームレ
ンズ１１の光軸Ｍからｒなる距離を隔てた位置にそのセ
ンシングの向きを互いに直交させて設けられる。That is, the acceleration sensor 31 provided at the mounting position of the zoom lens 11 includes an acceleration sensor x1 for detecting displacement of the zoom lens 11 in the horizontal direction;
It consists of an acceleration sensor y1 for detecting displacement in the vertical direction. These acceleration sensors x1 and y1 are provided at a distance r from the optical axis M of the zoom lens 11, with their sensing directions perpendicular to each other.

【００２８】また、ＣＣＤ１２の取付け位置に設けられ
る加速度センサ３２は、当該ＣＣＤ１２の水平方向の変
位を検出するための加速度センサｘ２と、垂直方向の変
位を検出するための加速度センサｙ２とからなる。これ
らの加速度センサｘ２，ｙ２は、ＣＣＤ１２の光軸Ｍか
らｒなる距離を隔てた位置にそのセンシングの向きを互
いに直交させて、且つ光軸Ｍを中心として前記加速度セ
ンサｘ１，ｙ１に対して対象な位置に設けられる。The acceleration sensor 32 provided at the mounting position of the CCD 12 includes an acceleration sensor x2 for detecting displacement of the CCD 12 in the horizontal direction, and an acceleration sensor y2 for detecting displacement in the vertical direction. These acceleration sensors x2, y2 are located at a distance r from the optical axis M of the CCD 12, with their sensing directions perpendicular to each other, and are symmetrical to the acceleration sensors x1, y1 with the optical axis M as the center. It is installed in a suitable position.

【００２９】図４は、上記各加速度センサｘ１，ｘ２，
ｙ１，ｙ２の具体例として電磁誘導を利用した動電形の
加速度センサ１００を示している。即ち、この加速度セ
ンサ１００は、例えば前記ズームレンズ１１又はＣＣＤ
１２側に支持ばね１０１を介して設けられたコイル１０
２と、このコイル１０２を収納する磁気回路１０３の永
久磁石１０３ａ部との間に手振れによって生じる相対位
置関係の変化に応じた起電力を、コイル１０２の両端部
に接続した抵抗Ｒを介して加速度信号として取出すよう
にしたものである。FIG. 4 shows the acceleration sensors x1, x2,
As a specific example of y1 and y2, an electrodynamic acceleration sensor 100 using electromagnetic induction is shown. That is, this acceleration sensor 100 includes, for example, the zoom lens 11 or the CCD
Coil 10 provided on the 12 side via a support spring 101
2 and the permanent magnet 103a of the magnetic circuit 103 housing this coil 102, an electromotive force corresponding to a change in the relative positional relationship caused by camera shake is applied to an acceleration via a resistor R connected to both ends of the coil 102. It is designed to be taken out as a signal.

【００３０】このような構成を有する加速度センサｘ１
，ｘ２，ｙ１，ｙ２により検出された加速度の情報は、
差分器３３を介してｘ方向及びｙ方向の偏差分として抽
出され、積分器３４を介して撮像部７に於けるローカル
なずれ変位として求められる。このようにして、上記加
速度センサ３１，３２（ｘ１，ｘ２，ｙ１，ｙ２）を用
いて検出されたずれ量に従ってアクチュエータ駆動部３
５を作動させ、前記ＣＣＤ１２を支持するｘｙアクチュ
エータ３６を駆動することで前記ズームレンズ１１に対
するＣＣＤ１２の光学的位置関係が変位される。そして
、このＣＣＤ１２の変位によるズームレンズ１１との光
学的位置関係の変位により、被写体に対するズームレン
ズ１１とＣＣＤ１２との光学的位置関係が変更されてＣ
ＣＤ１２の撮像面上に結像する被写体像のずれが補正さ
れる。Acceleration sensor x1 having such a configuration
, x2, y1, y2, the information on the acceleration detected by
It is extracted as a deviation in the x direction and the y direction via the subtractor 33, and is determined as a local shift displacement in the imaging unit 7 via the integrator 34. In this way, the actuator drive unit 3
5 and drives the xy actuator 36 that supports the CCD 12, the optical positional relationship of the CCD 12 with respect to the zoom lens 11 is displaced. Then, due to the displacement of the CCD 12 in its optical positional relationship with the zoom lens 11, the optical positional relationship between the zoom lens 11 and the CCD 12 with respect to the subject is changed.
The deviation of the subject image formed on the imaging surface of the CD 12 is corrected.

【００３１】図５は、上記ｘｙアクチュエータ３６の具
体例を示している。このｘｙアクチュエータ３６は、Ｃ
ＣＤ１２を水平方向に第１及び第２のムービングコイル
１１１，１１２を介して、また垂直方向に第３及び第４
のムービングコイル１１３，１１４を介して支持する支
持体１１５を有している。即ち、このｘｙアクチュエー
タ３６は、ＣＣＤ１２に対し第１及び第２のムービング
コイル１１１，１１２によりｘ方向の変位を伝達し、第
３及び第４のムービングコイル１１３，１１４によりｙ
方向の変位を伝達するものである。なお、ムービングコ
イルは、各方向について１個ずつ用いるようにしても良
い。FIG. 5 shows a specific example of the xy actuator 36. This xy actuator 36 is C
The CD 12 is moved horizontally through the first and second moving coils 111, 112, and vertically through the third and fourth moving coils.
It has a support body 115 that supports it via moving coils 113 and 114. That is, this xy actuator 36 transmits displacement in the x direction to the CCD 12 through the first and second moving coils 111 and 112, and transmits displacement in the y direction through the third and fourth moving coils 113 and 114.
It transmits directional displacement. Note that one moving coil may be used in each direction.

【００３２】前述したような加速度センサ３１，３２を
用いて検出される撮像部７のずれ検出に基づく撮像光学
系の変位制御によるずれ補正は、その検出ずれ量に従っ
て高速に、しかも応答性良く行なわれる。つまり、撮像
入力された被写体像の相関に基づく前述したアングルワ
イヤー５ｘ，５ｙの制御とは別個に、その撮像部７での
直接的なずれ検出に従って高速度な追従制御により、上
記撮像光学系の変位制御によるずれ補正が応答性良く行
なわれる。このようなずれ補正により、被写体の動きに
追従して撮像部７との位置関係が補正された上で、その
撮像部７の光学系のずれ補正がなされ、手振れ等に起因
するＣＣＤ１２の撮像面に結像される被写体像のずれが
高精度に補正される。Misalignment correction by displacement control of the imaging optical system based on the detected misalignment of the imaging section 7 detected using the acceleration sensors 31 and 32 as described above is performed at high speed and with good responsiveness according to the amount of detected misalignment. It will be done. In other words, in addition to the control of the angle wires 5x and 5y described above based on the correlation of the subject images input to the imaging unit, the imaging optical system is Misalignment correction by displacement control is performed with good responsiveness. Through such misalignment correction, the positional relationship with the imaging unit 7 is corrected by following the movement of the subject, and then the misalignment of the optical system of the imaging unit 7 is corrected, and the imaging surface of the CCD 12 due to camera shake, etc. The deviation of the subject image formed on the image is corrected with high precision.

【００３３】かくして、このようなずれ補正の制御系を
備えた本実施例の内視鏡によれば、体腔内挿入部１の先
端に組み込まれた撮像部７にて被検体を撮像入力し、そ
の被写体像をＴＶ受像機上でモニタしながら上記撮像部
７を観察目標とする被検体部位に位置合わせする際、図
６に示すような動作が行なわれる。[0033] Thus, according to the endoscope of the present embodiment equipped with such a control system for misalignment correction, the imaging unit 7 incorporated in the distal end of the body cavity insertion section 1 captures and inputs an image of the subject; When positioning the imaging section 7 to the part of the subject to be observed while monitoring the subject image on the TV receiver, the operations shown in FIG. 6 are performed.

【００３４】即ち、体腔内挿入部１を被検体に挿入し（
ステップＳ１）、このとき得られる初期画面に於いて観
察目的とする被検体部位が存在する部分領域をウィンド
ウ指定し、自動追尾指令を与える（ステップＳ２）と、
被写体のずれ量を検出して、これを補正するようにアン
グルワイヤー５ｘ，５ｙの制御が行なわれる（ステップ
Ｓ３）。つまり、先ず、当該初期画面上の上記ウィンド
ウ指定された部分領域の被写体像がフレームメモリ２２
に格納される。すると、撮像部７にて所定の周期で撮像
入力される被写体像と前記フレームメモリ２２に格納さ
れた被検体像との２次元相関演算によりその被写体像間
のずれが求められ、その検出ずれ量に従ってアングルワ
イヤー駆動部４ｘ，４ｙがそれぞれ駆動される。このア
ングルワイヤー駆動部４ｘ，４ｙの駆動によって前述し
たアングルワイヤー５ｘ，５ｙがそれぞれ操作され、検
出されたずれの向きと逆向きに撮像部７が変位される。 この撮像部７の変位によって被検体とのずれが補正され
、被検体に対して撮像部７は一定の位置関係でその像を
撮像入力することになる。That is, the intrabody cavity insertion section 1 is inserted into the subject (
Step S1), on the initial screen obtained at this time, specify a window for the partial area where the object part to be observed exists, and give an automatic tracking command (step S2);
The angle wires 5x and 5y are controlled to detect the amount of deviation of the subject and correct it (step S3). That is, first, the subject image in the partial area specified by the window on the initial screen is stored in the frame memory 22.
is stored in Then, the deviation between the subject images is determined by a two-dimensional correlation calculation between the subject image input at a predetermined period in the imaging unit 7 and the subject image stored in the frame memory 22, and the detected deviation amount is calculated. The angle wire drive units 4x and 4y are driven accordingly. By driving the angle wire drive sections 4x and 4y, the angle wires 5x and 5y described above are operated, respectively, and the imaging section 7 is displaced in a direction opposite to the direction of the detected deviation. This displacement of the imaging unit 7 corrects the deviation from the subject, and the imaging unit 7 captures and inputs an image of the subject in a constant positional relationship.

【００３５】なお、この撮像部７の変位制御は位相制御
を行ない、ずれ検出量に従って変位される撮像部７の向
きがそのずれの向きと必ず逆向きとなる負帰還制御系を
構成して行なわれる。即ち、撮像部７にて所定の周期で
撮像される被検体の２次元相関を求めてずれ補正を行な
う場合、被検体像の入力周期内に被検体の動きの向きが
反転することが想定される。このような動きの向きに反
転が生じた場合、前述したアングルワイヤー５ｘ，５ｙ
の操作による撮像部７の変位の向きが上記被検体の動き
の向きと等しくなり、そのずれを増長することになる。 このような不具合を解消すべく、その制御系を構成する
に際しては、例えば撮像部７の変位制御に位相補償を施
し、正帰還を防止して常に安定に被写体の動きに追従し
てそのずれ補正を行なうような工夫がなされる。The displacement control of the imaging section 7 is carried out by performing phase control and configuring a negative feedback control system in which the direction of the imaging section 7 displaced according to the amount of detected deviation is always opposite to the direction of the deviation. It will be done. That is, when correcting the deviation by determining the two-dimensional correlation of the subject imaged at a predetermined period by the imaging unit 7, it is assumed that the direction of the movement of the subject is reversed within the input period of the subject image. Ru. If a reversal occurs in the direction of movement, the angle wires 5x and 5y mentioned above
The direction of displacement of the imaging unit 7 due to the operation becomes equal to the direction of movement of the subject, increasing the deviation. In order to eliminate such problems, when configuring the control system, for example, phase compensation is applied to the displacement control of the imaging unit 7 to prevent positive feedback, always stably follow the movement of the subject, and correct the deviation. Efforts are being made to do this.

【００３６】しかして上述したような撮像部７の変位制
御（追尾制御）の下で前述した加速度センサ３１，３２
を用いた撮像部７の撮像光学系でのずれ補正を高速度に
行い、手振れのような前述した所定の周期で行なわれる
ずれ補正では追従することのできないずれに対する補正
が、撮像部７の内部にて応答性良く行なわれる。Under the displacement control (tracking control) of the imaging unit 7 as described above, the acceleration sensors 31 and 32 described above
The image pickup optical system of the image pickup unit 7 uses a camera to perform high-speed deviation correction in the image pickup optical system of the image pickup unit 7. This is done with good responsiveness.

【００３７】この結果、上述したずれ補正により、撮像
部７のＣＣＤ１２上には常に一定の被写体像が結像する
ことになり、所謂画像ぶれのない鮮明で解像度の高い被
写体像をモニタ出力することが可能となる。そして、こ
のようにして撮像される被写体像を電子的に記録するに
際しても、そのフリーズ期間に亙ってずれのない被写体
像を得ることができることから、鮮明な被写体像の撮像
記録を行なうことが可能となる。As a result, due to the above-mentioned deviation correction, a constant image of the object is always formed on the CCD 12 of the imaging section 7, and a clear and high-resolution object image without so-called image blur can be output on the monitor. becomes possible. Even when the subject image captured in this way is recorded electronically, it is possible to obtain a subject image without any deviation during the freeze period, so it is possible to capture and record a clear subject image. It becomes possible.

【００３８】なお、上述したような被写体像をモニタし
ながら体腔内層入部１をさらに挿入してその先端に組み
込まれた撮像部７を被検体に近づける場合（ステップＳ
４）にも、同様にして上述したずれ補正が行なわれる。 この場合には、指定されたウィンドウ領域を適宜更新し
ながらそのずれ検出を行なったり、被検体への接近に伴
って拡大される観察対象部位の領域を、その拡大率に従
って狭め、観察対象部位を絞り込みながらそのずれ検出
とずれ補正とが行なわれる（ステップＳ５）。Note that when the body cavity insertion part 1 is further inserted while monitoring the subject image as described above and the imaging part 7 incorporated in the tip thereof is brought closer to the subject (step S
4), the above-described deviation correction is similarly performed. In this case, the specified window area is updated as appropriate to detect its deviation, or the area of the observation target area that is enlarged as the subject approaches is narrowed according to the enlargement rate, and the observation target area is While narrowing down, detection and correction of the deviation are performed (step S5).

【００３９】そして、被検体部位に対して体腔内層入部
１の先端が近接し、例えば被検体照明光を遮る等の理由
によりこれ以上その先端部を被検体に近づけることがで
きなくなったような場合には、適宜前記ズームレンズ１
１に対してズーミング指令が発せられてその拡大撮影が
行なわれる（ステップＳ４）。このような撮像部７の被
検体への近接操作と、前記ズームレンズ１１のズーミン
グ効果とにより、本実施例の内視鏡では、容易に被検体
の拡大像を、ずれ補正された状態で鮮明に、解像度良く
得ることが可能となっている。この結果、内視鏡の取扱
いを非常に簡易なものとすることができる等の多大な効
果が奏せられる。[0039] When the tip of the body cavity insertion part 1 is close to the subject part and it is no longer possible to bring the tip closer to the subject due to, for example, blocking the subject illumination light, etc. , the zoom lens 1 may be used as appropriate.
A zooming command is issued to the image 1, and an enlarged image of the image is taken (step S4). By operating the imaging unit 7 in close proximity to the subject and using the zooming effect of the zoom lens 11, the endoscope of this embodiment can easily provide a clear enlarged image of the subject with the deviation corrected. Therefore, it is possible to obtain high resolution. As a result, great effects such as the ability to extremely simplify the handling of the endoscope can be achieved.

【００４０】また、被検体の動きのみならず、上述した
撮像部７の被検体への近接操作に伴う撮像部７自体のぶ
れが生じた場合でも、これに起因するずれを同様にして
補正することができる。従って、内視鏡の操作性を飛躍
的に高めることが可能となる。[0040] Furthermore, even if not only the movement of the subject but also the above-mentioned movement of the imaging unit 7 itself due to the operation of bringing the imaging unit 7 close to the subject occurs, the deviation caused by this is corrected in the same manner. be able to. Therefore, it becomes possible to dramatically improve the operability of the endoscope.

【００４１】ところで、上述した第１の実施例の撮像装
置を適用した内視鏡では、加速度センサ３１，３２を用
いて撮像部７でのずれ変位を検出したが、例えば、高速
度に被写体を撮像入力可能なＡＭＩ（増幅型ＭＯＳイメ
ージャ）１８を前述したＣＣＤ１２に代えて用いること
で、撮像部７にて高速に求められる被写体像だけから撮
像部７での光学的変位を含めたずれ検出を行ない、撮像
部７の変位を制御することも可能である。By the way, in the endoscope to which the imaging device of the first embodiment is applied, the acceleration sensors 31 and 32 are used to detect the displacement in the imaging section 7. By using an AMI (amplified MOS imager) 18 that can input images in place of the CCD 12 described above, it is possible to detect deviations including optical displacement in the imaging unit 7 from only the subject image that is quickly obtained by the imaging unit 7. It is also possible to control the displacement of the imaging section 7 by doing so.

【００４２】図７及び図８は、このようなＡＭＩ１８を
用いて構成される本発明の第２の実施例の撮像装置を適
用した内視鏡の概略構成図であり、前述した図１に示す
第１の実施例の内視鏡と基本的には同一の部分には同一
符号を付して示してある。FIGS. 7 and 8 are schematic configuration diagrams of an endoscope to which an imaging device according to the second embodiment of the present invention configured using such an AMI 18 is applied, and is similar to that shown in FIG. 1 described above. Components that are basically the same as those in the endoscope of the first embodiment are designated by the same reference numerals.

【００４３】この図７及び図８に示す第２の実施例の内
視鏡が特徴とするところは、撮像部７に於ける撮像素子
としてＡＭＩ１８を用い、このＡＭＩ１８にてＴＶレー
トよりも十分に高速な周期で被検体像を撮像入力するよ
うにし、被検体像間の相関に基づくずれ検出と、検出ず
れ量に従う撮像部７の変位制御を高速度に応答性良く行
なうようにした点にある。The endoscope of the second embodiment shown in FIGS. 7 and 8 is characterized by using an AMI 18 as the imaging element in the imaging section 7, and with this AMI 18, the rate is much higher than the TV rate. The object image is inputted at a high-speed cycle, and the deviation detection based on the correlation between the object images and the displacement control of the imaging unit 7 according to the amount of detected deviation are performed at high speed and with good responsiveness. .

【００４４】しかしてこの場合には、ＡＭＩ１８により
高速度に撮像入力される被検体像の信号レベルが、その
露光時間が短い分だけ低く似ることから、これを補償す
るべく加算器４１ａ，４１ｂ，４１ｃとフレームメモリ
４２ａ，４２ｂ，４２ｃとを用いて前述した輝度信号成
分Ｙ及び色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）毎に各別に、
その信号成分をＴＶレートに亙って累積加算する。そし
て、これらの累積加算された各信号成分を、前記ＮＴＳ
Ｃ信号発生部１７に与え、ＴＶ受像機にて画像表示する
ためのＴＶ信号に変換する。In this case, however, the signal level of the subject image inputted at high speed by the AMI 18 will be low due to the short exposure time, so in order to compensate for this, the adders 41a, 41b, 41c and frame memories 42a, 42b, and 42c for each of the luminance signal component Y and color difference signals (RY) and (B-Y), respectively.
The signal components are cumulatively summed over the TV rate. Then, each of these cumulatively added signal components is
The signal is supplied to the C signal generator 17 and converted into a TV signal for displaying an image on a TV receiver.

【００４５】この際、前述した２次元相関回路２３にて
被写体像信号の相関から求められるずれ量に従って前述
したフレームメモリ４２ａ，４２ｂ，４２ｃからの各信
号成分の読み出しを制御し、これによって累積加算され
る各信号成分に対するずれ補正がなされる。At this time, the aforementioned two-dimensional correlation circuit 23 controls the readout of each signal component from the aforementioned frame memories 42a, 42b, and 42c according to the amount of deviation determined from the correlation of the subject image signals, thereby performing cumulative addition. Shift correction is performed for each signal component.

【００４６】かくしてこのように構成された第２の実施
例の内視鏡によれば、撮像部７にて高速度に連続して撮
像入力される被写体像間の相関から被検体と撮像部７と
のずれを高速度に検出し、そのずれ補正を行なうことが
可能となる。しかも、撮像入力される被写体像信号をず
れ補正しながら累積加算することでＴＶレートに亙って
ずれのない被写体像を効果的に得ることが可能となる。According to the endoscope of the second embodiment configured as described above, it is possible to identify the subject and the image capturing section 7 based on the correlation between the subject images that are continuously captured and inputted at a high speed in the image capturing section 7. It is possible to detect the deviation between the two at high speed and correct the deviation. Moreover, by accumulating and adding the subject image signals input as images while correcting the deviation, it becomes possible to effectively obtain a subject image without deviation over the TV rate.

【００４７】この結果、前述した第１の実施例の内視鏡
と同様に、被検体の動きに高速度に追従して、被検体と
撮像部７とのずれを補正し、画像ぶれのない鮮明で解像
度の高い被写体像を得ることが可能となる。そして、画
像ぶれのない鮮明な被写体像をモニタリングしながら内
視鏡を効果的に操作することを可能とし、その操作性を
十分高めることが可能となる。As a result, similarly to the endoscope of the first embodiment described above, the movement of the subject is followed at high speed, the deviation between the subject and the imaging unit 7 is corrected, and the image is free from blur. It becomes possible to obtain a clear and high-resolution image of the subject. Then, it becomes possible to effectively operate the endoscope while monitoring a clear subject image without image blurring, and it becomes possible to sufficiently improve the operability.

【００４８】また、本発明は次のようにして実施するこ
とも可能である。即ち、第１の実施例の撮像装置を適用
した内視鏡では、アクチュエータ３６を用いてＣＣＤ１
２を変位制御し、その撮像光学系自体の光学的位置関係
を変位させることで、ＣＣＤ１２上に結像される被写体
像のずれ補正を行なうようにしたが、第２の実施例の撮
像装置を適用した内視鏡に於いてもこのような制御機能
を組み込むことが可能である。The present invention can also be implemented as follows. That is, in the endoscope to which the imaging device of the first embodiment is applied, the actuator 36 is used to move the CCD 1
2 and by displacing the optical positional relationship of the imaging optical system itself, the deviation of the subject image formed on the CCD 12 is corrected. It is also possible to incorporate such a control function into the endoscope to which the present invention is applied.

【００４９】図９及び図１０は、ＡＭＩ１８を用い、更
にこのＡＭＩ１８自体をアクチュエータ３６を用いて変
位制御するようにした本発明の第３の実施例の撮像装置
を適用した内視鏡を示している。FIGS. 9 and 10 show an endoscope to which an imaging device according to a third embodiment of the present invention is applied, which uses an AMI 18 and further controls the displacement of the AMI 18 itself using an actuator 36. There is.

【００５０】本第３の実施例では、２次元相関回路２３
にて求められるずれ量に従って、アングルワイヤー駆動
部４ｘ，４ｙ及びアクチュエータ駆動部３５をそれぞれ
制御するための位相補償作用を異ならせるようにする。 具体的には、アングルワイヤー駆動部４ｘ，４ｙの制御
用として設けた位相補償回路４４ｘ，４４ｙの時定数を
大きく設定し、撮像部７のずれに対する追尾作用の正帰
還を防止し、そのバックラッシュを防ぐようにする。こ
れに対して、アクチュエータ駆動部３５の制御用として
設ける位相補償回路４５ｘ，４５ｙについては、その回
路時定数を十分に小さくし、被写体の変位に対して瞬時
に追従し得るようにその応答性を十分に高めておく。In the third embodiment, the two-dimensional correlation circuit 23
The phase compensation action for controlling the angle wire drive units 4x, 4y and the actuator drive unit 35 is made different according to the amount of deviation determined in . Specifically, the time constants of the phase compensation circuits 44x, 44y provided for controlling the angle wire drive units 4x, 4y are set large to prevent positive feedback of the tracking action against the deviation of the imaging unit 7, and to reduce the backlash. Try to prevent this. On the other hand, the phase compensation circuits 45x and 45y provided for controlling the actuator drive unit 35 have sufficiently small circuit time constants and have high responsiveness so that they can instantly follow the displacement of the subject. Keep it high enough.

【００５１】このようにして、同じずれ検出量に従って
帰還制御される２系統のずれ補償系であるといえども、
その位相補償の回路時定数を異ならせておくことにより
、ここではアングルワイヤー駆動部４ｘ，４ｙの制御に
よる撮像部７の全体的な変位制御によりずれに対する祖
調整を行ない、その上でアクチュエータ駆動部３５の制
御によるＡＭＩ１８の変位制御により上記ずれに対する
微調整を行なうことが可能となる。In this way, even though the two systems are feedback-controlled according to the same detected amount of deviation,
By making the circuit time constants of the phase compensation different, here, the deviation is adjusted by controlling the overall displacement of the imaging section 7 by controlling the angle wire drive sections 4x and 4y, and then the actuator drive section By controlling the displacement of the AMI 18 under the control of the AMI 18, it is possible to make fine adjustments to the above-mentioned deviation.

【００５２】この結果、これらの２系統のずれ補正によ
り被検体と撮像部７とのずれを効果的に補正してずれの
ない良好な被写体像を効果的に得ることが可能となる。As a result, by these two systems of deviation correction, it becomes possible to effectively correct the deviation between the subject and the imaging section 7, and to effectively obtain a good image of the subject without any deviation.

【００５３】図１１は、本発明の第４の実施例の撮像装
置を適用した手持ち型顕微鏡の構成を示す図で、前述し
た実施例と基本的に同一の部分には同一の符号を付して
示してある。FIG. 11 is a diagram showing the configuration of a hand-held microscope to which an imaging device according to a fourth embodiment of the present invention is applied. Parts that are basically the same as those in the previous embodiment are designated by the same reference numerals. It is shown.

【００５４】本第４の実施例は、手持ち型の顕微鏡に於
いて、目的被写体を追尾しながら拡大撮像を可能とした
もので、画面の動きベクトルを基に動きの補正を制御す
ることを特徴とするものである。The fourth embodiment is a hand-held microscope that enables magnified imaging while tracking the target object, and is characterized by controlling motion correction based on the motion vector of the screen. That is.

【００５５】具体的には、本第４の実施例の手持ち型顕
微鏡は、撮像部７が組み込まれている内部筐体４６と、
当該手持ち型顕微鏡の本体となっている外部筐体４７と
、これら内部筐体４６と外部筐体４７の相対的位置関係
を変化させることによりズームレンズ１１の撮像方向を
自由な方向に変えることを可能とする高速応答可能なア
クチュエータ４８を具備している。外部筐体４７内には
、上記内部筐体４６に加え、図１２の（Ａ）に示すよう
な構成の信号処理部４９と、この信号処理部４９から出
力されるｘ，ｙ方向の動き補正量に基づき上記アクチュ
エータ４８を駆動するアクチュエータ駆動部５０が内蔵
されている。また、上記信号処理部４９には、この信号
処理部４９から出力される映像信号を表示するためのＥ
ＶＦ（電子ビューファインダー）５１が接続されている
。このＥＶＦ５１は、外部筐体４７とは分離されている
。Specifically, the hand-held microscope of the fourth embodiment includes an internal housing 46 in which the imaging section 7 is incorporated;
The imaging direction of the zoom lens 11 can be freely changed by changing the relative positional relationship between the external housing 47, which is the main body of the handheld microscope, and the internal housing 46 and the external housing 47. The actuator 48 is equipped with an actuator 48 capable of high-speed response. In addition to the internal housing 46, the external housing 47 includes a signal processing unit 49 configured as shown in FIG. An actuator drive unit 50 is built in to drive the actuator 48 based on the amount. The signal processing unit 49 also includes an E for displaying the video signal output from the signal processing unit 49.
A VF (electronic viewfinder) 51 is connected. This EVF 51 is separated from the external housing 47.

【００５６】信号処理部４９は、図１２の（Ａ）に示す
ように、ＣＣＤ１２の映像信号の複数位置での動きベク
トルを検出する動きベクトル検出回路５２を備えている
。この動きベクトル検出回路５２は、現フレームと前フ
レームとの相関演算により画像の動きを検出するもので
ある。図１２の（Ｂ）は、その複数位置での動きベクト
ルを示しており、中央の位置を特に追尾エリアと称する
。動きベクトル検出回路５２で検出された動きベクトル
は、制御回路５３に与えられる。この制御回路５３は、
この動きベクトルと、図示しない操作部から与えられる
被写体追尾命令とからアクチュエータ４８の駆動を制御
する回路であり、図１３及び図１４に示すようなアルゴ
リズムに基づいて制御を行なう。The signal processing section 49 includes a motion vector detection circuit 52 that detects motion vectors at a plurality of positions of the video signal of the CCD 12, as shown in FIG. 12(A). The motion vector detection circuit 52 detects the motion of an image by calculating the correlation between the current frame and the previous frame. FIG. 12(B) shows motion vectors at multiple positions, and the central position is particularly referred to as the tracking area. The motion vector detected by the motion vector detection circuit 52 is given to the control circuit 53. This control circuit 53 is
This circuit controls the drive of the actuator 48 based on this motion vector and a subject tracking command given from an operation section (not shown), and performs control based on an algorithm as shown in FIGS. 13 and 14.

【００５７】即ち、先ず撮影が始まると、撮影者は、写
したい被写体を捕らえるべく当該顕微鏡を被写体の方向
へ向ける。この時は、被写体を見つけ易くするために、
ズームレンズ１１は広角側にしておくのが好ましい。That is, when photography begins, the photographer points the microscope toward the subject in order to capture the subject. At this time, to make it easier to find the subject,
It is preferable to set the zoom lens 11 to the wide-angle side.

【００５８】そして、写したい被写体を画面中央に捕ら
えるまでは、手振れの補正は行なうが、パンニングと区
別するために、次のような処理を行なう。先ず、全画面
の各位置での動きベクトルを検出する（ステップＳ１１
）。この動きベクトルは、現フレームと前フレームとの
相関演算から検出される。Camera shake correction is performed until the subject to be photographed is captured at the center of the screen, but in order to distinguish it from panning, the following processing is performed. First, a motion vector at each position on the entire screen is detected (step S11).
). This motion vector is detected from a correlation calculation between the current frame and the previous frame.

【００５９】この動きベクトルの方向が各位置でかなり
違う場合は、手振れだけでなく動いている被写体が存在
している場合であり（ステップＳ１２）、この場合には
特に動き補正は行なわない（ステップＳ１３）。If the direction of this motion vector is considerably different at each position, this means that there is not only camera shake but also a moving subject (step S12), and in this case no particular motion correction is performed (step S12). S13).

【００６０】また、動きベクトルの方向がほぼ一致して
いる場合は、手振れか又は顕微鏡をパンニングしている
場合である。そして、この動きベクトルの方向が数フレ
ームに亙り同じ場合はパンニングであり、それ以外の場
合は手振れであると考えられる。[0060] If the directions of the motion vectors are almost the same, this is due to camera shake or panning of the microscope. If the direction of this motion vector is the same over several frames, it is considered to be panning, and in other cases, it is considered to be camera shake.

【００６１】以上のことから、制御回路５３は次のよう
に制御する。Based on the above, the control circuit 53 performs control as follows.

【００６２】 （１）動ベクトルの方向が各位置でかなり違う場合　　
→　　動体が存在し、動き補正は行なわない。(1) When the direction of the motion vector is significantly different at each position
→ A moving object exists and no motion compensation is performed.

【００６３】 （２）動きベクトルの方向が各位置でほぼ一致し、且つ
数フレーム時間以上その方向が同じ場合　　→　　パン
ニングと判断し、動き補正は行なわない。(2) When the direction of the motion vector is almost the same at each position and the direction is the same for several frames or more → panning is determined and no motion correction is performed.

【００６４】 （３）動きベクトルの方向が各位置でほぼ一致するが、
数フレーム時間以内にその方向が変わる場合　　→　　
手振れと判断し（ステップＳ１２）、動きベクトルの方
向に従い、これを補正するようにアクチュエータ４８を
駆動制御する（ステップＳ１４）。(3) Although the direction of the motion vector is almost the same at each position,
If the direction changes within a few frames of time →
It is determined that it is a camera shake (step S12), and the actuator 48 is driven and controlled to correct this according to the direction of the motion vector (step S14).

【００６５】ここで、フレーム数は焦点距離等に応じ適
当に設定するものとする。Here, it is assumed that the number of frames is appropriately set depending on the focal length and the like.

【００６６】このように、手振れ補正を行ないながら（
手振れ補正動作と称する）写したい被写体画面中央の追
尾エリアに捕らえたときに、操作者は、図示しない操作
部より追尾命令を発する（ステップＳ１５）。In this way, while performing image stabilization (
When the object to be photographed (referred to as camera shake correction operation) is captured in the tracking area at the center of the screen, the operator issues a tracking command from an operation unit (not shown) (step S15).

【００６７】そして、フレームメモリ２２には、この追
尾命令を発した瞬間の画像が記憶され、以後、この画像
と現フレーム画像との相関が求められて、動きベクトル
が検出される（ステップＳ１６）。追尾命令が発せられ
ている間は、追尾エリアでの動きベクトルの方向に従い
、この動きを補正するようにアクチュエータを駆動する
（ステップＳ１７）。また、必要に応じズームレンズ１
１の焦点距離を長くし、拡大撮影を行なう（ステップＳ
１８）。このように焦点距離を変えた場合は、フレーム
メモリ２２の画像を更新する（追尾動作と称する）。[0067] Then, the image at the moment when this tracking command is issued is stored in the frame memory 22, and thereafter, the correlation between this image and the current frame image is determined, and a motion vector is detected (step S16). . While the tracking command is being issued, the actuator is driven to correct the movement according to the direction of the motion vector in the tracking area (step S17). Also, if necessary, zoom lens 1
Increase the focal length of step 1 and take an enlarged photograph (step S
18). When the focal length is changed in this way, the image in the frame memory 22 is updated (referred to as a tracking operation).

【００６８】このように、追尾エリアでの動きベクトル
に対して動き補正を行なうため、手振れや被写体の動き
のある場合も目的被写体の追尾が可能である。In this way, since motion correction is performed on the motion vector in the tracking area, it is possible to track the target object even when there is camera shake or movement of the object.

【００６９】もし、被写体の動きが大きく、アクチュエ
ータ４８で補正しきれなくなった場合（ステップＳ１９
）、被写体は追尾エリアから外れて動き出す（ステップ
Ｓ２０）。この場合は、追尾命令を停止する（ステップ
Ｓ２１）と共に、手振れ補正動作（前述したステップＳ
１１〜ステップＳ１５）に戻り、操作者は、被写体を中
央に捕らえるべく顕微鏡を動かす。この時、必要に応じ
て焦点距離を広角側にする。そして再び、目標被写体を
追尾エリアに捕らえたときに追尾命令を発する。以後、
追尾動作（前述したステップＳ１６〜ステップＳ２１）
に入り、こうした一連の動作を繰り返す。[0069] If the movement of the subject is large and cannot be fully corrected by the actuator 48 (step S19
), the subject moves out of the tracking area and starts moving (step S20). In this case, the tracking command is stopped (step S21), and the image stabilization operation (step S21 described above) is stopped.
Returning to step S11 to step S15), the operator moves the microscope to capture the subject in the center. At this time, change the focal length to the wide-angle side if necessary. Then, when the target subject is captured in the tracking area, a tracking command is issued again. From then on,
Tracking operation (steps S16 to S21 described above)
and repeat this series of actions.

【００７０】このように、被写体の追尾命令を発するま
では全画面各位置での動きベクトルを基に手振れ補正を
行ない、追尾命令を発した後には、追尾エリアの動きベ
クトルを基に追尾を行なう。これにより、写したい被写
体を容易に捕らえ、且つ同じ位置に鮮明に見ることがで
きる。そして、被写体を常に追尾しているために、容易
にズームアップが可能で、手持ち型顕微鏡に於いても簡
単に拡大撮影ができる。さらに、ＥＶＦ５１を外部筐体
４７から分離したために、顕微鏡を自由な場所で自由な
方向で利用できる。もちろん、ＥＶＦ５１を顕微鏡と一
体化しても良い。In this way, camera shake correction is performed based on the motion vectors at each position on the entire screen until the object tracking command is issued, and after the tracking command is issued, tracking is performed based on the motion vectors of the tracking area. . This allows you to easily capture the subject you want to photograph and clearly see it in the same position. Since the object is always being tracked, it is easy to zoom in, and even with a hand-held microscope, it is easy to take magnified shots. Furthermore, since the EVF 51 is separated from the external housing 47, the microscope can be used at any location and in any direction. Of course, the EVF 51 may be integrated with the microscope.

【００７１】また、本第４の実施例では、動き補正のた
めに、撮像部７を内部筐体４６に組み込んでアクチュエ
ータ４８で駆動するようにしたが、ズームレンズ１１だ
け又はＣＣＤ１２だけをアクチュエータで動かすように
しても良い。さらに、前述した実施例と同様に、画像信
号をフレームメモリに記憶し、動き補正量に応じて、そ
の読み出し位置を変えるようにしても良いし、これらの
手法を兼用して用いても良い。Furthermore, in the fourth embodiment, the imaging unit 7 is built into the internal housing 46 and driven by the actuator 48 for motion correction, but it is also possible to use the actuator to drive only the zoom lens 11 or the CCD 12. You can also move it. Furthermore, as in the embodiments described above, the image signal may be stored in a frame memory and the readout position may be changed depending on the amount of motion correction, or these methods may be used in combination.

【００７２】図１５の（Ａ）は、本発明の第５の実施例
の撮像装置の適用された手持ち型顕微鏡に於ける信号処
理部のブロック構成図である。本第５の実施例は、追尾
時に、画像上下左右方向への動きの補正だけでなく、手
振れで生じる画像の拡大・縮小の補正も行い、常に、同
じ位置に同じ大きさの画像を見ることができるようにし
たものである。本第５の実施例の全体構成は、図１１に
示した前述の第４の実施例と同様であり、よってその説
明は省略し、本実施例の特徴である信号処理部４９につ
き説明する。なお、図１５の（Ａ）に於いて、図１２の
（Ａ）と基本的に同一の部分には同一の符号を付して示
してある。FIG. 15A is a block diagram of a signal processing section in a hand-held microscope to which the imaging device of the fifth embodiment of the present invention is applied. The fifth embodiment not only corrects the movement of the image in the vertical and horizontal directions during tracking, but also corrects the enlargement and reduction of the image caused by camera shake, so that the image is always viewed at the same position and the same size. It was made so that it could be done. The overall configuration of the fifth embodiment is the same as that of the fourth embodiment shown in FIG. 11, so a description thereof will be omitted, and only the signal processing section 49, which is a feature of this embodiment, will be explained. In FIG. 15(A), the same parts as in FIG. 12(A) are designated by the same reference numerals.

【００７３】本第５の実施例では、信号処理部４９は、
電子ズーム部５４を備えている。この電子ズーム部５４
は、図示しないＲＡＭ等で構成されており、画像信号の
拡大縮小を行なうことができる。画像の拡大又は縮小が
起きると、画像内各位置での動きベクトルは、図１５の
（Ｂ）（拡大時）又は図１５の（Ｃ）（縮小時）のよう
に変化し、この変化から画像の拡大縮小率αを検出する
。この画像の拡大縮小率αは、例えば、隣合う動きベク
トルのｘ成分を用いて知ることができる。図１５の（Ｄ
）（拡大時）及び図１５の（Ｅ）（縮小時）は、図１５
の（Ｂ）及び図１５の（Ｃ）の動きベクトルのｘ成分を
エリア１〜８の順に表示したものである。これら図１５
の（Ｄ），（Ｅ）から理解されるように、動きベクトル
のｘ成分は、画像の拡大縮小により極性が変化すると共
に、その絶対値により拡大縮小量が知れ、画像の拡大縮
小率αを求めることができる。In the fifth embodiment, the signal processing section 49
An electronic zoom section 54 is provided. This electronic zoom section 54
is composed of a RAM (not shown), etc., and can scale up and down the image signal. When an image is enlarged or reduced, the motion vector at each position within the image changes as shown in FIG. 15 (B) (when enlarged) or FIG. 15 (C) (when reduced), and from this change Detect the scaling ratio α. The scaling factor α of this image can be determined using, for example, the x components of adjacent motion vectors. (D
) (when enlarged) and (E) in Fig. 15 (when reduced) are shown in Fig. 15.
The x components of the motion vectors in (B) and (C) of FIG. 15 are displayed in the order of areas 1 to 8. These Figure 15
As can be understood from (D) and (E), the polarity of the x component of the motion vector changes as the image is enlarged/reduced, and the amount of enlargement/reduction is known from its absolute value, and the image enlargement/reduction ratio α can be You can ask for it.

【００７４】もし、像の拡大縮小と、ぶれ等による平行
移動が共に生じる場合は、それぞれの拡大縮小の動きベ
クトルに平行移動による動きベクトルが加えられること
になる。拡大縮小により生じる動きベクトルの総和は、
ゼロと考えられることから、全画面各位置での動きベク
トルの総和は、画面内に動体がない場合は、平行移動に
よる動きベクトルによるものとなる。そこで画像の拡大
縮小率αを検出するには、先ず、全画面各位置での動き
ベクトルの総和から平行移動による動きベクトルを検出
し、次に、全画面各位置の動きベクトルからこの平行移
動による動きベクトルを減算し、拡大縮小だけによる動
きベクトルを得、そのｘ成分の変化から画像の拡大縮小
率αの検出を行なう。If image enlargement/reduction and translational movement due to blur etc. occur together, the motion vectors due to the translational movement will be added to the respective enlargement/reduction motion vectors. The sum of motion vectors caused by scaling is
Since it is considered to be zero, the sum of the motion vectors at each position on the entire screen is the motion vector due to parallel movement if there is no moving object within the screen. Therefore, in order to detect the image scaling ratio α, first, the motion vector due to parallel movement is detected from the sum of the motion vectors at each position on the entire screen, and then the motion vector due to this parallel movement is detected from the motion vector at each position on the entire screen. The motion vector is subtracted to obtain a motion vector based only on scaling, and the scaling ratio α of the image is detected from the change in its x component.

【００７５】画面内に動体がある場合は、全画面各位置
での動きベクトルの総和は平行移動による動きベクトル
とはならず、この時に図１５の（Ｄ），（Ｅ）に対応す
るｘ成分の変化は拡大縮小の場合とはかけ離れたものと
なる。こうした場合は、正確な拡大縮小率αは求められ
ないので、拡大縮小はないものと判断する。If there is a moving object within the screen, the sum of the motion vectors at each position on the entire screen will not be a motion vector due to parallel movement, but at this time the x component corresponding to (D) and (E) in FIG. The change will be far different from that in the case of scaling. In such a case, since an accurate scaling ratio α cannot be determined, it is determined that there is no scaling.

【００７６】以上をまとめると、図１６のように表わせ
る。即ち、全画面各位置の動きベクトルは平均ベクトル
検出部５５に供給され、平均ベクトルが検出される。こ
の検出された平均ベクトルは、減算器５６にて各動きベ
クトルから減算され、その結果からｘ成分検出器５７に
て動きベクトルのｘ成分Ｖｘ（ｉ）（ｉは各エリアに対
応し、ｉ＝１〜８）が検出される。ｘ成分検出器５７に
て検出されたｘ成分Ｖｘ（ｉ）は、乗算器５８にて、拡
大縮小を判定するための関数ｈ（ｉ）　と乗算され、加
算器５９にて累積加算されて判定値Ｅが、 Ｅ＝ΣＶｘ（ｉ）・ｈ（ｉ）　 として求められる。ここで、上記関数ｈ（ｉ）　は図１
７に示すように正弦関数をサンプリングしたものである
。The above can be summarized as shown in FIG. That is, the motion vectors at each position on the entire screen are supplied to the average vector detection section 55, and the average vector is detected. This detected average vector is subtracted from each motion vector by a subtractor 56, and from the result, an x component detector 57 uses the x component of the motion vector Vx(i) (i corresponds to each area, i= 1 to 8) are detected. The x component Vx(i) detected by the x component detector 57 is multiplied by a function h(i) for determining scaling in a multiplier 58, and cumulatively added in an adder 59 for determination. The value E is obtained as E=ΣVx(i)·h(i). Here, the above function h(i) is shown in Figure 1.
7, the sine function is sampled.

【００７７】そして、この判定値Ｅが判定部６０で判定
され、拡大縮小率αが出力される。即ち、判定部６０は
、｜Ｅ｜≦ε（εは適当な定数）となる時には画面内に
動体がある場合又は拡大縮小がない場合として判定し、
α＝０を出力する。また、Ｅ＞εの時は拡大と判定しα
＝１＋（Ｅ／Ｌ）を出力し、Ｅ＜−εの時は縮小と判定
しα＝１−（Ｅ／Ｌ）を出力する。ここで、Ｌは画面の
中心から各エリアまでの平均距離である。[0077] Then, this judgment value E is judged by the judgment section 60, and the enlargement/reduction ratio α is outputted. That is, when |E|≦ε (ε is an appropriate constant), the determination unit 60 determines that there is a moving object in the screen or that there is no scaling;
Output α=0. In addition, when E > ε, it is judged as expansion and α
=1+(E/L), and when E<-ε, it is determined to be a reduction and α=1-(E/L) is output. Here, L is the average distance from the center of the screen to each area.

【００７８】本第５の実施例では、制御回路５３は、図
１８に示すような制御アルゴリズムに従って、追尾動作
が実施される。なお、手振れ補正動作は前述した第４の
実施例に於ける図１３のステップＳ１１〜ステップＳ１
５と同様であり、従ってここでは説明は省略する。In the fifth embodiment, the control circuit 53 performs the tracking operation according to a control algorithm as shown in FIG. Note that the camera shake correction operation is performed in steps S11 to S1 in FIG. 13 in the fourth embodiment described above.
5, and therefore the explanation is omitted here.

【００７９】即ち、被写体を追尾エリアに捕らえ、追尾
命令を発すると、その瞬間の画像がフレームメモリ２２
に記憶され、以後、この画像との相関が求められる。そ
して、全画面各位置の動きベクトルを用いて、前述のよ
うな方式で拡大縮小率αを検出し（ステップＳ３１）、
これを補正するように電子ズーム部５４を制御する（ス
テップＳ３２）。一方、これと同時に、追尾エリアの動
きベクトルを基に、アクチュエータ４８を介して撮像部
７を動かし、被写体の動き補正を行なう（ステップＳ３
３）。このように、電子ズーム部５４と撮像部７の撮影
方向を制御することにより、撮影者は、常に同じ位置に
同じ大きさの画像を見ることができる。That is, when a subject is captured in the tracking area and a tracking command is issued, the image at that moment is stored in the frame memory 22.
The image is stored in the image, and the correlation with this image is determined from now on. Then, using the motion vector at each position on the entire screen, the scaling ratio α is detected in the manner described above (step S31),
The electronic zoom unit 54 is controlled to correct this (step S32). Meanwhile, at the same time, based on the motion vector of the tracking area, the imaging unit 7 is moved via the actuator 48 to correct the movement of the subject (step S3
3). In this manner, by controlling the photographing directions of the electronic zoom section 54 and the imaging section 7, the photographer can always view images of the same size at the same position.

【００８０】もし、被写体像を拡大縮小したい場合には
、必要に応じてズームレンズ１１を操作して、焦点距離
を変える（ステップＳ３４）。そして、焦点距離を変化
させた場合には、フレームメモリ２２の画像を更新して
、以後、この画像を基準に拡大縮小，被写体の動き補正
を行なう（追尾動作）。If it is desired to enlarge or reduce the subject image, the zoom lens 11 is operated as necessary to change the focal length (step S34). When the focal length is changed, the image in the frame memory 22 is updated, and thereafter, enlargement/reduction and movement correction of the subject are performed based on this image (tracking operation).

【００８１】このように、画像の位置と大きさの両方を
共に補正するが、この補正が限界を越えた場合（ステッ
プＳ３５）、被写体は追尾エリアから外れて動き出すか
、その大きさが変化し出す（ステップＳ３６）。この時
、追尾命令を停止し（ステップＳ３７）、手振れ補正動
作に戻り、操作者は、被写体を中央に見たい大きさで捕
らえるべく顕微鏡を動かす。そして再び、目標被写体を
追尾エリアに見たい大きさで捕らえた時に追尾命令を発
する。以後、追尾動作に入り、こうした一連の動作を繰
り返す。In this way, both the position and size of the image are corrected, but if this correction exceeds the limit (step S35), the subject moves out of the tracking area or its size changes. (Step S36). At this time, the tracking command is stopped (step S37), the camera shake correction operation is resumed, and the operator moves the microscope to capture the subject at the desired size in the center. Then, when the target object is captured in the tracking area at the desired size, a tracking command is issued again. After that, the tracking operation begins and this series of operations is repeated.

【００８２】このように、被写体の追尾命令を発するま
では手振れ補正を行ない、追尾命令を発した後には、画
像の拡大縮小も含めた動きの補正を行なうため、写した
い被写体を容易に捕らえ、且つ同じ位置に同じ大きさで
鮮明に見ることができる。In this way, image stabilization is performed until the command to track the subject is issued, and after the command is issued, the movement, including image enlargement/reduction, is corrected, making it easy to capture the subject you want to photograph. Moreover, it can be clearly seen in the same position and same size.

【００８３】また、本第５の実施例では、大きさの補正
のために、電子ズーム部５４を用いたが、ズームレンズ
１１を用いても良いし、撮像部７をその光軸方向に動か
しても良い。また、これらの補正を組み合わせて補正可
能な範囲を広くしても良い。Further, in the fifth embodiment, the electronic zoom unit 54 is used for size correction, but the zoom lens 11 may also be used, or the image pickup unit 7 may be moved in the direction of its optical axis. It's okay. Furthermore, the correctable range may be widened by combining these corrections.

【００８４】さらに、画像の回転を検出してこれを補正
するように、電子ズームを制御したり、撮像部７を駆動
させたりしても良い。なお、合焦調整部１３と回復処理
部１６により、焦点深度の拡大された画像を得たが、別
途合焦調節部材を用いても良い。Furthermore, the electronic zoom may be controlled or the imaging section 7 may be driven so as to detect and correct the rotation of the image. Although an image with an expanded depth of focus was obtained by the focus adjustment section 13 and the recovery processing section 16, a separate focus adjustment member may be used.

【００８５】なお、本発明は、上述した第１乃至第５の
実施例に限定されるものではない。上記実施例では、内
視鏡及び手持ち型顕微鏡に適用した例について説明した
が、これらに限定されるものではなく、防振対策を必要
とする顕微鏡等にも同様に適用可能である。また、電子
スチルカメラを用いてマクロ撮影を行なうような場合や
、超望遠レンズを用いた撮影時等にもその被写体像ぶれ
を防ぐ上で同様に適用可能である。Note that the present invention is not limited to the first to fifth embodiments described above. In the above embodiments, examples were explained in which the present invention was applied to endoscopes and hand-held microscopes, but the present invention is not limited to these, and can be similarly applied to microscopes that require anti-vibration measures. Further, the present invention can be similarly applied to prevent subject image blur when performing macro photography using an electronic still camera or when photographing using a super-telephoto lens.

【００８６】また、上述した実施例では、撮像部７のｘ
ｙ変位を補正することを念頭に説明したが、回転ずれが
問題となるような場合には、例えばＣＣＤ１２やＡＭＩ
１８を回転変位させたり、プリズム系を用いて撮像光学
系での被写体像に回転変位を与えることで、その回転ず
れを補正することも可能である。この回転ずれについて
も、前述した加速度センサ３１，３２にて検出される変
位から同様に検出することができ、また被写体像間の相
関からも検出することができる。従って、この場合には
、ｘｙ方向に変位検出されたずれ量に従って回転ずれ量
を求め、その回転ずれ量を補正した上でｘｙ方向の平行
移動ずれを補正するようにすれば良い。さらには、回転
ずれ量を検出するための専用センサを組み込んでおき、
これに基づいて回転ずれ補正を行なうようにすることも
可能である。Furthermore, in the embodiment described above, x of the imaging section 7
Although the explanation has been made with the idea of correcting the y-displacement in mind, if rotational deviation becomes a problem, for example, CCD12 or AMI
It is also possible to correct the rotational deviation by rotationally displacing the lens 18 or by applying a rotational displacement to the subject image in the imaging optical system using a prism system. This rotational shift can be similarly detected from the displacement detected by the acceleration sensors 31 and 32 described above, and can also be detected from the correlation between the subject images. Therefore, in this case, the amount of rotational deviation may be determined according to the amount of deviation detected by displacement in the xy direction, and the translational deviation in the xy direction may be corrected after correcting the amount of rotational deviation. Furthermore, a dedicated sensor for detecting the amount of rotational deviation is incorporated,
It is also possible to perform rotational deviation correction based on this.

【００８７】その他、撮像部７自体の構成や信号処理本
体部の構成等、種々変形実施可能である。In addition, various modifications can be made to the configuration of the imaging section 7 itself, the configuration of the signal processing main body, etc.

【００８８】[0088]

【発明の効果】以上詳述したように本発明によれば、被
写体に対する撮像部のぶれを効果的に補正して、鮮明度
の高い被写体像を得ることができる実用性の高い撮像装
置を提供することができる。As described in detail above, the present invention provides a highly practical imaging device that can effectively correct the blurring of the imaging unit relative to the object and obtain a highly clear image of the object. can do.

【図面の簡単な説明】[Brief explanation of the drawing]

【図１】本発明の第１の実施例の撮像装置を適用した内
視鏡の概略構成図である。FIG. 1 is a schematic configuration diagram of an endoscope to which an imaging device according to a first embodiment of the present invention is applied.

【図２】被写体像間の相関によるずれ検出の作用を説明
するための図である。FIG. 2 is a diagram for explaining the effect of shift detection based on correlation between subject images.

【図３】検出ずれ量の補間作用を説明するための図であ
る。FIG. 3 is a diagram for explaining an interpolation effect of a detected deviation amount.

【図４】加速度センサの具体例を示す構成図である。FIG. 4 is a configuration diagram showing a specific example of an acceleration sensor.

【図５】ｘｙアクチュエータの具体例を示す構成図であ
る。FIG. 5 is a configuration diagram showing a specific example of an xy actuator.

【図６】第１の実施例の動作を説明するためのフローチ
ャートである。FIG. 6 is a flowchart for explaining the operation of the first embodiment.

【図７】本発明の第２の実施例の撮像装置を適用した内
視鏡の体腔内挿入部及び操作部の概略構成図である。FIG. 7 is a schematic configuration diagram of a body cavity insertion section and an operation section of an endoscope to which an imaging device according to a second embodiment of the present invention is applied.

【図８】本発明の第２の実施例の撮像装置を適用した内
視鏡の信号処理本体部の概略構成図である。FIG. 8 is a schematic configuration diagram of a signal processing main body section of an endoscope to which an imaging device according to a second embodiment of the present invention is applied.

【図９】本発明の第３の実施例の撮像装置を適用した内
視鏡の体腔内挿入部及び操作部の概略構成図である。FIG. 9 is a schematic configuration diagram of a body cavity insertion section and an operation section of an endoscope to which an imaging device according to a third embodiment of the present invention is applied.

【図１０】本発明の第３の実施例の撮像装置を適用した
内視鏡の信号処理本体部の概略構成図である。FIG. 10 is a schematic configuration diagram of a signal processing main body section of an endoscope to which an imaging device according to a third embodiment of the present invention is applied.

【図１１】本発明の第４の実施例の撮像装置を適用した
手持ち型顕微鏡の概略構成図である。FIG. 11 is a schematic configuration diagram of a hand-held microscope to which an imaging device according to a fourth embodiment of the present invention is applied.

【図１２】（Ａ）は信号処理部のブロック構成図、（Ｂ
）は追尾エリアを説明するための図である。FIG. 12 (A) is a block diagram of the signal processing unit, (B
) is a diagram for explaining the tracking area.

【図１３】第４の実施例の動作を説明するための一連の
フローチャートの前半部分を示す図である。FIG. 13 is a diagram showing the first half of a series of flowcharts for explaining the operation of the fourth embodiment.

【図１４】第４の実施例の動作を説明するための一連の
フローチャートの後半部分を示す図である。FIG. 14 is a diagram showing the latter half of a series of flowcharts for explaining the operation of the fourth embodiment.

【図１５】（Ａ）は本発明の第５の実施例の撮像装置を
適用した手持ち型顕微鏡に於ける信号処理部のブロック
構成図、（Ｂ）及び（Ｃ）はそれぞれ画像の拡大及び縮
小発生時の画像内各位置での動きベクトルの変化を説明
するための図、（Ｄ）及び（Ｅ）はそれぞれ（Ｂ）及び
（Ｃ）の動きベクトルのｘ成分をエリア１〜８の順に表
示した図である。FIG. 15 (A) is a block diagram of a signal processing unit in a hand-held microscope to which the imaging device of the fifth embodiment of the present invention is applied; (B) and (C) are image enlargement and reduction, respectively; A diagram to explain the change in the motion vector at each position in the image at the time of occurrence, (D) and (E) respectively display the x component of the motion vector in (B) and (C) in the order of areas 1 to 8. This is a diagram.

【図１６】拡大縮小率αの決定手法を説明するための図
である。FIG. 16 is a diagram for explaining a method for determining the enlargement/reduction ratio α.

【図１７】拡大縮小を判定するための関数ｈ（ｉ）　を
説明するための図である。FIG. 17 is a diagram for explaining a function h(i) for determining enlargement/reduction.

【図１８】第５の実施例の動作を説明するためのフロー
チャートである。FIG. 18 is a flowchart for explaining the operation of the fifth embodiment.

【符号の説明】[Explanation of symbols]

１…体腔内挿入部、２…操作部、３…信号処理本体部、
４ｘ…ｘ方向アングルワイヤー駆動部、４ｙ…ｙ方向ア
ングルワイヤー駆動部、５ｘ…ｘ方向アングルワイヤー
、５ｙ…ｙ方向アングルワイヤー、７…撮像部、４８…
アクチュエータ、４９…信号処理部、５０…アクチュエ
ータ駆動部、５２…動きベクトル検出回路、５３…制御
回路、５４…電子ズーム部、６０…判定部。1... Body cavity insertion section, 2... Operation section, 3... Signal processing main body section,
4x...x direction angle wire drive unit, 4y...y direction angle wire drive unit, 5x...x direction angle wire, 5y...y direction angle wire, 7...imaging unit, 48...
Actuator, 49... Signal processing section, 50... Actuator drive section, 52... Motion vector detection circuit, 53... Control circuit, 54... Electronic zoom section, 60... Determining section.

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】　　被写体を電子的に撮像入力する撮像部
と、前記撮像部にて連続的に撮像入力される被写体像間
の相関から、前記撮像部に対する被写体像のずれ量を求
めるずれ量算出手段と、前記ずれ量算出手段にて求めら
れたずれ量に従って前記撮像部を変位させることにより
、前記撮像部を前記被写体のずれ変位に追尾させる追尾
手段とを具備したことを特徴とする撮像装置。1. A deviation amount calculation that calculates the amount of deviation of the subject image with respect to the imaging unit from the correlation between an imaging unit that electronically captures and inputs images of the subject and the subject images that are continuously captured and input by the imaging unit. and tracking means for causing the imaging unit to track the displacement of the subject by displacing the imaging unit according to the displacement amount determined by the displacement amount calculation unit. . 【請求項２】　　被写体を電子的に撮像入力する撮像部
と、前記撮像部を変位させる変位手段と、前記撮像部に
て連続的に撮像入力される被写体像間の相関から、画像
面内の複数位置での前記撮像部に対する被写体像のずれ
量を求めるずれ量算出手段と、前記ずれ量算出手段にて
求められた前記被写体像のずれ量に従って前記撮像部を
変位させるよう前記変位手段を制御することにより被写
体を追尾する制御手段とを具備したことを特徴とする撮
像装置。2. An imaging unit that electronically captures and inputs images of a subject, a displacement unit that displaces the imaging unit, and a correlation between subject images that are continuously captured and input by the imaging unit, a displacement amount calculation means for calculating the displacement amount of the subject image with respect to the imaging section at a plurality of positions; and controlling the displacement means to displace the imaging section according to the displacement amount of the subject image calculated by the displacement amount calculation means. 1. An imaging device comprising: a control means for tracking a subject by tracking the subject. 【請求項３】　　被写体を電子的に撮像入力する撮像部
と、前記撮像部を変位させる変位手段と、前記撮像部に
て連続的に撮像入力される被写体像間の相関から、画像
面内の複数位置での前記撮像部に対する被写体像のずれ
量を求めるずれ量算出手段と、前記撮像部から撮像入力
される被写体像信号の倍率を変化させる倍率変化手段と
、前記倍率変化手段で変化された被写体像信号から表示
用の信号を発生する表示信号発生手段と、前記ずれ量算
出手段にて求められた前記被写体像のずれ量に従って前
記撮像部を変位させるよう前記変位手段を制御すること
により被写体を追尾する制御手段とを具備したことを特
徴とする撮像装置。3. An imaging unit that electronically captures and inputs an image of a subject, a displacement unit that displaces the imaging unit, and a correlation between the subject images that are continuously captured and input by the imaging unit, a deviation amount calculation means for calculating the deviation amount of the subject image with respect to the imaging section at a plurality of positions; a magnification changing means for changing the magnification of the subject image signal input from the imaging section; A display signal generating means for generating a display signal from a subject image signal, and a display signal generating means for generating a display signal from a subject image signal, and controlling the displacement means to displace the imaging unit according to the amount of deviation of the subject image calculated by the deviation amount calculation means. An imaging device characterized by comprising: a control means for tracking.