JP2012088278A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2012088278A JP2012088278A JP2010237511A JP2010237511A JP2012088278A JP 2012088278 A JP2012088278 A JP 2012088278A JP 2010237511 A JP2010237511 A JP 2010237511A JP 2010237511 A JP2010237511 A JP 2010237511A JP 2012088278 A JP2012088278 A JP 2012088278A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- light
- light emitting
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 238000005259 measurement Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000003780 insertion Methods 0.000 claims description 45
- 230000037431 insertion Effects 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000000605 extraction Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000005452 bending Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Focusing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、狭い空間内に挿入されて画像を取得する撮像装置に関する。 The present invention relates to an imaging device that is inserted into a narrow space and acquires an image.
従来、配管(測定対象物)などのような狭い空間内に小径の挿入部を挿入して、管路内部の画像を取得する様々な撮像装置が用いられている。
この撮像装置の一つとして内視鏡装置が知られている。内視鏡装置は、配管の管路の傷、腐食を観察・計測することを主な目的としているので、配管の管路の局所的な画像を取得することが多い。そのため、一つの画像が他の画像とどのような位置関係にあるのか、この画像は管路全体のどの部位の画像なのか、などを内視鏡装置の使用者が推測していた。
2. Description of the Related Art Conventionally, various imaging apparatuses that acquire an image inside a pipeline by inserting a small diameter insertion portion into a narrow space such as a pipe (measuring object) have been used.
An endoscope apparatus is known as one of the imaging apparatuses. Endoscope devices are mainly intended for observing and measuring damage and corrosion of piping pipelines, and thus often acquire local images of piping pipelines. For this reason, the user of the endoscope apparatus has presumed what positional relationship one image has with other images, and what part of the entire conduit is the image.
測定対象物の長さ方向に垂直な断面形状が比較的一定であるトンネルの内部を観察する撮像装置として、特許文献1のような変状調査システムが開示されている。
この変状調査システムは、搬送台車と、搬送台車上で搬送台車の進行方向(トンネル孔軸方向)回りに回動可能に支持されたCCDカメラとを備えている。搬送台車のトンネル孔軸方向の位置を固定した状態で、CCDカメラを軸回りに回転させながらトンネルの内面の画像を撮影する。撮影した画像同士を、一部を重ね合わせるようにして合成する。
CCDカメラの光軸とトンネルの内面である撮影面とが常に垂直になっているとは限らないので、そのままでは画像同士を合成することができない。そこで、変状調査システムでは、CCDカメラの撮影位置に加えて、撮影面の位置と傾き情報を正確に測定できるようになっており、これらの情報をもとに複数の画像を同一縮尺で同一スケールとする幾何学的画像補正を行い、画像同士を合成して、トンネル内面の検査画像を構築している。
また、トンネル内面を帯状に撮影することと、搬送台車をトンネル孔軸方向に移動させることを交互に繰り返すことで、トンネル内面を全体にわたり撮影する。よって、トンネル内面の画像は基本的に、トンネルの入り口側から出口側まで順に取得され、保存されることになる。
As an imaging apparatus for observing the inside of a tunnel in which a cross-sectional shape perpendicular to the length direction of a measurement object is relatively constant, a deformation investigation system as disclosed in Patent Document 1 is disclosed.
This deformation investigation system includes a conveyance carriage and a CCD camera supported on the conveyance carriage so as to be rotatable about the traveling direction of the conveyance carriage (tunnel hole axis direction). An image of the inner surface of the tunnel is taken while the CCD camera is rotated around the axis while the position of the transport carriage in the axial direction of the tunnel hole is fixed. The captured images are combined so that a part of them is overlapped.
Since the optical axis of the CCD camera and the photographing surface, which is the inner surface of the tunnel, are not always perpendicular to each other, the images cannot be synthesized as they are. Therefore, in the deformation investigation system, it is possible to accurately measure the position and tilt information of the photographing surface in addition to the photographing position of the CCD camera, and based on this information, a plurality of images are the same at the same scale. A geometric image correction is performed on the scale, and the images are combined to construct an inspection image of the tunnel inner surface.
In addition, the entire tunnel inner surface is imaged by alternately repeating photographing the inner surface of the tunnel in a strip shape and moving the transport carriage in the direction of the tunnel hole axis. Therefore, the image of the inner surface of the tunnel is basically acquired and stored in order from the entrance side to the exit side of the tunnel.
しかしながら、たとえば工業用の内視鏡装置などの撮像装置を使った検査では、特許文献1に記載された変状調査システムとは異なり、たとえば、地下空洞や被災地の瓦礫下などのように、測定対象物の長さ方向に垂直な断面形状が様々に変化する場合がある。
一般的に、地下空洞などの内部形状は不明確であるとともに、内面には数多くの凹凸が形成されているため、特許文献1に開示された幾何学的画像補正を行いやすいような画像を得ることは難しい。
さらに、内部形状が複雑であるほど、長手方向に順を追って内部形状の画像を取得することが困難になり、既に取得した画像を取得した位置が分かりにくくなる。
However, for example, in an inspection using an imaging apparatus such as an industrial endoscope apparatus, unlike the deformation investigation system described in Patent Document 1, for example, in an underground cavity or under a rubble in a disaster area, The cross-sectional shape perpendicular to the length direction of the measurement object may change variously.
In general, the internal shape of an underground cavity or the like is unclear, and since many irregularities are formed on the inner surface, an image that facilitates the geometric image correction disclosed in Patent Document 1 is obtained. It ’s difficult.
Furthermore, the more complicated the internal shape, the more difficult it becomes to acquire an image of the internal shape in order in the longitudinal direction, and the position where the acquired image has already been acquired becomes difficult to understand.
本発明は、このような問題点に鑑みてなされたものであって、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から観察し直すことが容易な撮像装置を提供することを目的とする。 The present invention has been made in view of such problems, and even when the inside of the measurement object is narrow and the internal shape is complicated, while acquiring the internal image while measuring the internal shape as a whole, An object of the present invention is to provide an imaging device that makes it easy to re-observe an acquired image from a desired line-of-sight direction.
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の撮像装置は、可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が可視光線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
In order to solve the above problems, the present invention proposes the following means.
The imaging device of the present invention detects visible light, acquires an image from the detected visible light, and irradiates the irradiated area of the measurement object with visible light, and applies the visible light to the irradiated area in the measurement object. A light emitting unit that distinguishes at least one of brightness and color of visible light reflected by the irradiated region with respect to an adjacent portion so as to be distinguishable by the image, and light reception for detecting visible light from a predetermined light receiving direction A measuring unit that measures a distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit is visible. A posture measuring unit that measures the direction of irradiating light, a position and direction of the light emitting unit, and a region shape that calculates the position and orientation of the irradiated region based on the distance from the light emitting unit to the irradiated region A calculation unit, an image cutout unit for extracting an area including the irradiated region from the image to create an extracted image, and a small diameter and long unit in which the imaging element, the light emitting unit, and the light receiving unit are arranged on the distal end side A scale insertion unit, a storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit, a direction input unit for inputting a gaze direction, and a virtual space And an image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on the position and the direction based on the line-of-sight direction and displays the image on the display unit.
また、本発明の他の撮像装置は、可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が赤外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。 In addition, another imaging device of the present invention detects visible light and infrared light, acquires an image from the detected visible light and infrared light, and irradiates the irradiated area of the measurement object with infrared light to measure the measurement object. A light emitting unit for distinguishing the intensity of infrared rays reflected by the irradiated region from a portion of the object adjacent to the irradiated region, and a light receiving unit for detecting infrared rays from a predetermined light receiving direction. A measuring unit that measures the distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit that emits infrared rays. An orientation measuring unit that measures the orientation to be performed, a position and direction of the light emitting unit, and a region state that calculates the position and orientation of the irradiated region based on a distance from the light emitting unit to the irradiated region An extraction section, an image cutout section for extracting an area including the irradiated area from the image to create an extracted image, and a small diameter and a long diameter in which the imaging element, the light emitting section, and the light receiving section are arranged on the distal end side A scale insertion unit, a storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit, a direction input unit for inputting a gaze direction, and a virtual space And an image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on the position and the direction based on the line-of-sight direction and displays the image on the display unit.
また、本発明の別の他の撮像装置は、可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が紫外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。 Further, another imaging device of the present invention detects visible light and ultraviolet light, acquires an image from the detected visible light and ultraviolet light, and irradiates the irradiated region of the measurement object with ultraviolet light. A light emitting unit for distinguishing the intensity of ultraviolet rays reflected by the irradiated region with respect to a portion adjacent to the irradiated region in a measurement object, and a light receiving unit that detects ultraviolet rays from a predetermined light receiving direction. A measuring unit that measures the distance from the light emitting unit to the irradiated region, a display unit that displays the image, a position measuring unit that measures the position of the light emitting unit, and the light emitting unit is an ultraviolet ray A position measurement unit that measures the direction of irradiation, a position and direction of the light emitting unit, and a region that calculates the position and orientation of the irradiated region based on the distance from the light emitting unit to the irradiated region A state calculating unit, an image cutout unit that extracts an area including the irradiated region from the image and creates an extracted image, and a small diameter in which the imaging element, the light emitting unit, and the light receiving unit are arranged on the distal end side. A long insertion unit, a storage unit that stores the extracted image in association with the position and the orientation calculated by the region state calculation unit, a direction input unit for inputting a line-of-sight direction, and a virtual space An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit. .
また、上記の撮像装置において、前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることがより好ましい。 Further, in the imaging apparatus, the image cutout unit is copied to the extracted image when a reference plane that passes through the irradiated region and is orthogonal to the direction of the light emitting unit when the image is acquired is defined. More preferably, the extracted image is extracted from the image so that the shapes of the captured images on the reference plane are equal to each other, and the image processing unit displays the extracted image on the display unit.
また、上記の撮像装置において、前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることがより好ましい。 In the imaging apparatus, the image processing unit may already store in the storage unit the same position as the position of the irradiated region of a newly extracted image that is the extracted image newly created by the image cutting unit. When the image obtained by extracting the newly extracted image from the reference extracted image, which is the extracted image that is associated with the same position and already stored in the storage unit, is acquired. More preferably, the line-of-sight converted image converted based on the direction of the light emitting unit and the newly extracted image are displayed on the display unit.
また、上記の撮像装置において、前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることがより好ましい。 In the imaging apparatus, the image processing unit overlaps a range in which the extracted image extracted by the image cutout unit is arranged from the image newly acquired by the imaging element in the entire line-of-sight conversion image. More preferably, a combined arrangement range display image is created and displayed on the display unit, and the image newly acquired by the imaging element is displayed on the display unit.
本発明の撮像装置によれば、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から容易に観察し直すことができる。 According to the imaging apparatus of the present invention, even when the inside of the measurement object is narrow and the internal shape is complicated, the internal image is acquired while measuring the internal shape as a whole, and the acquired image is obtained from the desired line-of-sight direction. It can be easily observed again.
(第1実施形態)
以下、本発明に係る撮像装置の第1実施形態を、撮像装置が内視鏡装置である場合について、図1から図9を参照しながら説明する。内視鏡装置は、地下空洞などに挿入され、内部を観察するとともに地下空洞の内部にある測定対象物までの距離を測定する装置である。
図1に示すように、本内視鏡装置1は、前方を観察するとともに前方の画像を取得可能な小径で長尺の挿入部10と、挿入部10の基端に接続され挿入部10などを操作する操作部40と、操作部40に接続された内視鏡本体50と、挿入部10で取得された画像などを表示する表示部70とを備えている。
(First embodiment)
Hereinafter, a first embodiment of an imaging apparatus according to the present invention will be described with reference to FIGS. 1 to 9 in the case where the imaging apparatus is an endoscope apparatus. An endoscope apparatus is an apparatus that is inserted into an underground cavity or the like to observe the inside and measure the distance to a measurement object inside the underground cavity.
As shown in FIG. 1, the endoscope apparatus 1 includes a small-diameter and
図1および図2に示すように、挿入部10は、先端側に配置された先端硬質部11と、先端硬質部11の基端に接続され湾曲可能な湾曲部12と、湾曲部12の基端に接続され可撓性を有する可撓管部13(図1参照)と、を有している。
一般的に、挿入部の外径として5mm以上15mm以下のものが用いられ、挿入部の長さとして2m以上20m以下のものが用いられる。
図2に示すように、先端硬質部11の先端面には、白色の可視光線を前方に照射する発光ダイオードを有する照明ユニット16および可視光線を集光する観察レンズ17が配置されている。先端硬質部11には、可視光線から画像を取得するCCD(撮像素子)18、内視鏡本体50の後述する通信制御部52との間で信号の送受信を行う通信制御部19、測定対象物Wまでの距離を測定する距離測定部(測定部)20、距離測定部20の後述する発光部26の位置を測定する位置センサ(位置測定部)21、および発光部26がレーザー光L1を照射する向きを測定する姿勢センサ(姿勢測定部)22が内蔵されている。
As shown in FIGS. 1 and 2, the
In general, the outer diameter of the insertion part is 5 mm or more and 15 mm or less, and the length of the insertion part is 2 m or more and 20 m or less.
As shown in FIG. 2, an
CCD18は、可視光線を検出する検出面18aを有していて、検出面18aで検出した可視光線から画像を取得する。
観察レンズ17は、挿入部10の前方における所定の視野角θ1内の可視光線による像を集光し、CCD18の検出面18a上に結像させる。視野角θ1に対応して画像が取得される測定対象物W上の範囲が、表示部70で表示される観察視野となる。
通信制御部19は、通信制御部19に先端が接続され挿入部10内を通る電線25の本数を、たとえば3本にするために、複数の信号を1つの信号に重畳したり分離したりする処理を行う。
The
The
The
本実施形態では、距離測定部20として、レーザー光が照射されてから測定対象物で反射されて検出されるまでの時間に基づいて測定対象物までの距離を測定するTOF(Time Of Flight)型の距離センサが用いられている。
距離測定部20は、赤色のレーザー光L1を前方に照射する発光部26と、通信制御部19からの信号に基づいて発光部26を制御する光制御部27と、赤色の可視光線を検出する受光部28と、受光部28で検出したレーザー光L1の信号を増幅する戻光検出部29と、発光部26から測定対象物Wまでの距離を算出する距離算出部30とを有している。
In the present embodiment, the
The
発光部26および受光部28は、先端硬質部11の先端面に配置されている。CCD18および発光部26は、測定誤差を抑えるために、先端硬質部11の先端面において互いに近い位置に配置されていることが好ましい。
光制御部27は、通信制御部19と電気的に接続されていて、通信制御部19から受信した信号に基づいて、発光部26への電力の供給状態を切替える。
使用者は、発光部26が測定対象物Wの表面の一部である被照射領域W1にレーザー光L1を照射したときに、被照射領域W1が、観察レンズ17の視野角θ1内に位置するように、挿入部10の先端から被照射領域W1までの距離を調節して使用する。
測定対象物Wの表面において、被照射領域W1、および被照射領域W1に隣接する隣接領域W2は、照明ユニット16により白色の可視光線で照明される。発光部26は、赤色のレーザー光L1を被照射領域W1に照射することで、隣接領域W2に対して被照射領域W1が反射する可視光線の色彩を、CCD18が取得する画像により使用者などが識別可能となるように異ならせることができる。
The
The
The user, upon irradiation with a laser beam L1 to the light-emitting
On the surface of the measurement object W, the illuminated area W1 and the adjacent area W2 adjacent to the illuminated area W1 are illuminated with white visible light by the
被照射領域W1と隣接領域W2とが画像により識別可能となるように色彩を異ならせるために、レーザー光L1の色彩は測定対象物Wの表面の色彩と異なるものを用いることが好ましい。また、たとえば、外界の光を遮断して被照射領域W1および隣接領域W2を白色光で100lx(ルクス)の照度で照明したときに、被照射領域W1を照射する赤色のレーザー光L1の単独の照度を150lx以上とすることが好ましい。 In order to make the colors different so that the irradiated area W1 and the adjacent area W2 can be distinguished from each other by image, it is preferable to use a color of the laser light L1 that is different from the color of the surface of the measuring object W. Further, for example, when the irradiated region W1 and the adjacent region W2 are illuminated with white light at an illuminance of 100 lx (lux) while blocking light from the outside world, the red laser light L1 that irradiates the irradiated region W1 alone The illuminance is preferably 150 lx or more.
受光部28には、PSD(Position Sensitive Detector)やCCDなどの、指向性が高く、前方から受光部28に向かう受信方向Dからの赤色の可視光線を検出する素子を適宜選択して用いることができる。
一般的に、発光部26から測定対象物Wまでの距離は、発光部26と受光部28との間の距離に比べて充分大きくなっている。さらに本実施形態では、発光部26と受光部28との相対位置が変わらないように構成されているので、湾曲部12を湾曲したときに、発光部26がレーザー光L1を照射する被照射領域W1から受光部28に向かう方向が受信方向Dとなる。
距離算出部30は、発光部26でレーザー光L1が照射された時から、被照射領域W1で反射されたレーザー光L1が受光部28で受光される時までの時間差に基づいて、発光部26から測定対象物Wの被照射領域W1までの距離を算出し、その結果を信号として通信制御部19に送信する。
For the
In general, the distance from the
The
姿勢センサ22としては、たとえば、加速度センサやジャイロスコープなどを、位置センサ21としては、加速度センサ、および加速度センサで検出される加速度を積分して位置を算出する装置を組み合わせたものを、それぞれ用いることができる。位置センサ21は、後述するように内視鏡本体50に対して定められたグローバル座標(基準座標)における所定の基準位置に対する発光部26の位置を測定する
これまで説明した距離測定部20、姿勢センサ22、および位置センサ21としては、上述のような公知のセンサを適宜用いることができる。
As the
図1に示すように、操作部40には、湾曲部12を湾曲操作するための湾曲操作ボタン41と、内視鏡本体50、および表示部70などを操作するための主操作ボタン42とが設けられている。
As shown in FIG. 1, the
内視鏡本体50は、図1および図2に示すように、ケーシング51と、ケーシング51に内蔵された、通信制御部19との間で信号の送受信を行う通信制御部52、照明ユニット16を制御する照明制御部53、画像から抽出画像を作成する画像切出し部54、被照射領域W1の位置および向きを算出する領域状態算出部55、抽出画像を被照射領域W1の位置および向きに対応付けて記憶する主メモリ(記憶部)56、抽出画像を変換した視線変換全体画像を作成して表示部70に表示させる画像処理部57、内視鏡本体50全体としての制御処理を行う処理部58、および挿入部10や表示部70などに電力を供給する電源部59とを有している。
As shown in FIGS. 1 and 2, the endoscope
前述の電線25は、中間部が操作部40に接続されているとともに、基端が通信制御部52に接続されている。通信制御部52は、通信制御部19と同様に信号の重畳、分離処理を行う。通信制御部52は、照明制御部53、画像切出し部54、領域状態算出部55および電源部59にそれぞれ電気的に接続されている。
画像切出し部54、主メモリ56、および処理部58は、この順で直列となるように接続されている。
画像切出し部54は、CCD18が取得した画像から抽出画像を作成するときに、抽出画像が被照射領域W1を含むように抽出する。抽出画像の抽出方法を図3および図4を用いて説明する。
The
The
The
前述したようにCCD18は、挿入部10に配置された観察レンズ17の視野角θ1内の可視光線による画像を取得する。図3に示すように、測定対象物Wに対して挿入部10が配置された位置によらず視野角θ1は一定である一方で、画像を取得するときの観察レンズ17の位置である撮像位置Piから被照射領域W1の位置である測定位置Qiまでの距離(距離測定部20により測定される測定距離di)は、挿入部10が配置された位置より異なる場合がある。なお、図3には、撮像位置Piなどのiが1から4までの場合の、4種類の撮像位置P1〜P4、および撮像位置P1〜P4に対応する測定位置Q1〜Q4、測定距離d1〜d4をそれぞれ示している。
撮像位置Piで取得される画像に測定位置Qiにおいて写される長さViは、(1)式に従って測定距離diが大きくなるほど大きくなる。
Vi=2di×tanθ1 ・・(1)
As described above, the
The length V i captured at the measurement position Q i in the image acquired at the imaging position P i increases as the measurement distance d i increases according to the equation (1).
V i = 2d i × tan θ 1 (1)
図3に示すように、被照射領域W1の測定位置Qiを通るとともに画像を取得したときの観察レンズ17の光軸(発光部26の向き)に直交する基準面Siを規定する。このときに、画像切出し部54は、図4に示すように、抽出画像に写された像の基準面Si上での形状Kiが互いに等しく、たとえば1辺が30mmの正方形状となるように、画像から抽出画像を抽出する。言い換えれば、基準面Si上で測定位置Qiを含んで互いに同一形状となる形状Kiに対して、CCD18の検出面18aから投影した範囲内の像として、それぞれの画像から抽出画像を抽出する。
本実施形態において、画像および抽出画像は、複数の画素を全体として正方形状に並べることにより構成されている。測定位置Q1〜Q4を通る形状K1〜K4は、それぞれが1辺が30mmの正方形状であるが、たとえば、測定距離d1より測定距離d2の方が長くなっているので、以下に示すように、形状Kiに対する撮像位置Piにおける角度αiを調節する。
すなわち、30mmなどの長さV0を予め定めておき、挿入部10の観察レンズ17が撮像位置Piにあり、距離測定部20により測定された撮像位置Piから測定位置Qiまでの測定距離diに対して、(2)式により得られる角度αiに対応する一辺の長さを有する正方形状の範囲内の画素からなる抽出画像を抽出する。
αi=tan−1(Vi/(2di)) ・・(2)
このため、形状K1を写した抽出画像の1辺の画素数がたとえば200であるのに対して、形状K2を写した抽出画像の一辺の画素数は、200より少ない150となっている。
As shown in FIG. 3, a reference plane S i that passes through the measurement position Q i of the irradiated region W1 and is orthogonal to the optical axis (the direction of the light emitting unit 26) of the
In the present embodiment, the image and the extracted image are configured by arranging a plurality of pixels in a square shape as a whole. Each of the shapes K 1 to K 4 passing through the measurement positions Q 1 to Q 4 has a square shape with one side of 30 mm. For example, the measurement distance d 2 is longer than the measurement distance d 1 . as shown below, to adjust the angle alpha i in the imaging position P i on the shape K i.
That is, a length V 0 such as 30 mm is determined in advance, the
α i = tan −1 (V i / (2d i )) (2)
Thus, while the number of pixels per side of the extracted pictures in the shapes K 1 is 200 for example, number of pixels on one side of the extraction pictures in the shapes K 2 has a 150 less than 200 .
領域状態算出部55は、抽出画像の被照射領域W1の向きとして、被照射領域W1を抽出した画像を取得したときの発光部26のグローバル座標における向きを求める。また、被照射領域W1の位置として、画像を取得したときの発光部26のグローバル座標における位置から前記発光部26の向きに測定距離di移動した位置を算出して求める。領域状態算出部55は、求めた被照射領域W1の位置および向きのデータを主メモリ56に送信する。
主メモリ56は、図5に示すように、領域状態算出部55により送信された被照射領域W1の位置および向きのデータを、被照射領域W1を抽出した抽出画像データに対応付けて1つのデータセットとして記憶する。被照射領域W1の位置データとしては、たとえば直交座標系における座標データ、向きデータとしては、被照射領域W1における正規化された法線ベクトルなどを用いることができる。
画像処理部57が行う処理については、後で詳しく説明する。
図2に示すように、処理部58は、照明制御部53および画像処理部57と電気的に接続されている。
The region
As shown in FIG. 5, the
The processing performed by the image processing unit 57 will be described in detail later.
As shown in FIG. 2, the processing unit 58 is electrically connected to the
図1および図2に示すように、ケーシング51の外面には、処理部58および電源部59に電気的に接続されたコネクタ62と、挿入部10の先端硬質部11が係止されて内視鏡本体50に対して位置決めされる係止部材63と、抽出画像を変換する基準となる視線方向などを入力するためのフロントパネル(方向入力部)64とが取付けられている。
フロントパネル64には、複数の入力ボタン64aが設けられている。入力ボタン64aを操作することで、内視鏡装置1全体としての電源のON/OFF操作を行ったり、視線方向を入力したりすることができる。
As shown in FIGS. 1 and 2, a
The
表示部70は、ケーシング51に着脱自在に配設されている。表示部70は、画像などを表示するLCD71と、コネクタ62に着脱可能な配線72とを有している。
配線72をコネクタ62に接続することで、表示部70は電源部59から所定の電力を供給されるとともに、処理部58から送信された画像などをLCD71に表示することができる。
The
By connecting the
次に、画像処理部57が行う処理について説明する。
画像処理部57は、主メモリ56に記憶された位置および向きに基づいて、図6に示すように、画像切出し部54が抽出した抽出画像E1〜E4を仮想空間Iに配置する。そして、フロントパネル64から入力される視線方向Fに基づいて仮想空間Iに配置された抽出画像E1〜E4を変換して視線変換全体画像を作成する。
画像処理部57は、仮想空間Iにおいて、抽出画像Ei中の被照射領域W1の像が抽出画像Eiに対応付けて記憶された位置に設置されるように抽出画像Eiを配置するとともに、抽出画像Eiが抽出画像Eiに対応付けて記憶された向きに向くように配置する。
視線方向Fに基づいて抽出画像Eiを変換するとは、抽出画像Eiを視線方向Fから見たように公知の方法を用いて投影することを意味する。この投影方法としては、抽出画像を充分遠い位置から見たように表した平行投影、抽出画像が配置された位置の遠近感が表現される透視投影などの公知の方法がある。
視線方向Fが画像を取得したときの先端硬質部11の軸線に平行であって平行投影が用いられる場合には、図7に示すように、LCD71に表示された視線変換全体画像75中の、各抽出画像E1〜E4が変換された画像である視線変換画像G1〜G4の外形形状は全て同一となる。ただし、抽出画像Eiが抽出された画像に対する測定距離diは一部異なっていて、それぞれの視線変換画像Gi中の画素gの数は測定距離diに対応して異なる。
画像処理部57は、たとえばアフィン変換という公知の変換方法を用いて、抽出画像Eiを視線方向Fに基づいて視線変換画像Giに変換する。
Next, processing performed by the image processing unit 57 will be described.
Based on the position and orientation stored in the
The image processing unit 57 arranges the extracted image E i in the virtual space I so that the image of the irradiated area W1 in the extracted image E i is installed at a position stored in association with the extracted image E i. The extracted image E i is arranged so as to face the direction stored in association with the extracted image E i .
Converting the extracted image E i based on the line-of-sight direction F means projecting the extracted image E i using a known method as seen from the line-of-sight direction F. As this projection method, there are known methods such as parallel projection in which the extracted image is viewed from a sufficiently distant position, and perspective projection in which the perspective of the position where the extracted image is arranged is expressed.
When parallel projection is used when the line-of-sight direction F is parallel to the axis of the
The image processing unit 57 converts the extracted image E i into a line-of-sight converted image G i based on the line-of-sight direction F, for example, using a known conversion method called affine transformation.
なお、視線方向Fが画像を取得したときの先端硬質部11の軸線に平行であって透視投影が用いられる場合には、図8に示すように、抽出画像Eiは、視点A1を中心とした所定の半径の球面A2上に投影されるように変換される。このため、図9に示すように、視線変換画像G2〜G4の外形形状は互いに異なり、遠近感が表現される。
In addition, when the perspective direction F is parallel to the axis of the distal end
次に、以上のように構成された内視鏡装置1を地下空洞内に挿入して測定対象物Wを観察するときの動作について説明する。
まず、使用者は、係止部材63に挿入部10の先端硬質部11を係止した状態でフロントパネル64の入力ボタン64aを操作することで、内視鏡装置1全体を電源ON状態、すなわち起動状態にする。このときの内視鏡本体50に対する先端硬質部11の位置が、グローバル座標上で基準位置として認識される。
使用者が、挿入部10を係止部材63から取外して不図示の地下空洞内に挿入すると、位置センサ21は発光部26の位置を、姿勢センサ22は発光部26の向きをそれぞれ測定する。測定結果は表示部70に送信され、LCD71に表示される。
照明ユニット16により前方を照明するとともに発光部26から前方に赤色のレーザー光L1を照射しながら、必要に応じて操作部40の湾曲操作ボタン41を操作して湾曲部12を湾曲させ、挿入部10を地下空洞内に挿入していく。
Next, an operation when observing the measuring object W by inserting the endoscope apparatus 1 configured as described above into an underground cavity will be described.
First, the user operates the
When the user removes the
While illuminating the front by the
使用者は、地下空洞中の所望の位置で、測定対象物Wに挿入部10の先端硬質部11が対向するように位置決めする。そして、操作部40を操作することでCCD18により被照射領域W1が写された測定対象物Wの画像を取得すると同時に、位置センサ21および姿勢センサ22により発光部26の位置および向きが測定され、距離測定部20により発光部26から被照射領域W1までの測定距離diが算出される。
画像切出し部54は、抽出画像Eiに写された像の基準面Si上での形状Kiが互いに等しくなるように、取得された画像から抽出画像Eiを抽出して主メモリ56に送信する。一方で、領域状態算出部55は、発光部26の位置および向き、並びに測定距離diから被照射領域W1の位置および向きを算出して主メモリ56に送信する。主メモリ56は、画像切出し部54から送信された抽出画像Eiを領域状態算出部55から送信された被照射領域W1の位置および向きに対応付けてデータセットとして記憶する。
The user positions the measurement object W at a desired position in the underground cavity so that the distal end
The
測定対象物Wの抽出画像Eiをたとえば複数取得した後で、使用者はフロントパネル64を操作して、これらの抽出画像Eiを見たい視線方向Fを入力する。すると、画像処理部57は、主メモリ56に記憶された複数のデータセットを読み出して仮想空間Iに複数の抽出画像Eiを配置し、視線方向Fに基づいて変換して作成した視線変換全体画像75をLCD71に表示する。
必要に応じて視線方向Fを繰り返してフロントパネル64から入力して、抽出画像Eiを様々な視線方向Fから確認しながら測定対象物Wを観察していく。
For example, after acquiring a plurality of extracted images E i of the measurement object W, the user operates the
The line-of-sight direction F is repeatedly input from the
以上説明したように、本実施形態の内視鏡装置1によれば、使用者は、CCD18で取得した映像を表示部70で確認しながら地下空洞内に挿入部10を挿入していき、測定対象物Wの近傍に挿入部10の先端を配置する。そして、CCD18により可視光線による画像を取得するとともに、発光部26から赤色のレーザー光L1を測定対象物Wの被照射領域W1に照射し、受光部28で被照射領域W1からの可視光線を検出することで距離測定部20により発光部26から被照射領域W1までの距離を測定する。さらに、位置センサ21により発光部26の位置、姿勢センサ22により発光部26の向きをそれぞれ測定する。
画像切出し部54により被照射領域W1を含んだ領域を抽出して抽出画像Eiを作成し、領域状態算出部55により発光部26の位置および向き、並びに発光部26から被照射領域W1まで距離に基づいて、被照射領域W1の位置および向きを算出する。主メモリ56に、算出された被照射領域W1の位置および向きのデータを、この被照射領域W1を含む抽出した抽出画像Eiに対応付けてデータセットとして記憶する。
さらに、画像処理部57により、仮想空間Iに被照射領域W1の位置および向きに基づいて配置された抽出画像Eiをフロントパネル64から入力された視線方向Fに基づいて変換して視線変換全体画像75を作成し、表示部70に表示する。
As described above, according to the endoscope apparatus 1 of the present embodiment, the user inserts the
An area including the irradiated area W1 is extracted by the
Further, the image processing unit 57 converts the extracted image E i arranged in the virtual space I based on the position and orientation of the irradiated region W1 based on the line-of-sight direction F input from the
このように、CCD18が配置されている挿入部10が小径かつ長尺であって、CCD18を測定対象物Wの広範囲の画像を一度に取得する仕様にできない場合であっても、仮想空間Iに複数の抽出画像Eiを配置し、所望の視線方向Fから見たように表示することができる。これにより、地下空洞内の測定対象物Wの各部位の抽出画像Eiおよび位置を取得するとともに、後で、取得した抽出画像Eiを所望の視線方向Fから観察することができる。
As described above, even if the
また、画像切出し部54は、抽出画像Eiに写された像の基準面Si上での形状Kiが互いに等しくなるように画像から抽出画像Eiを抽出し、抽出画像Eiを表示部70に表示する。このため、抽出画像Eiにおける測定対象物Wの大きさの比較を容易に行うことができる。
The
(第2実施形態)
次に、本発明の第2実施形態について図2、および図10から図16を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図2に示すように、本実施形態の内視鏡装置2は、前記第1実施形態の内視鏡装置1の画像処理部57に代えて画像処理部81を備えている。
画像処理部81は、画像切出し部54で新たに作成された新規抽出画像(抽出画像)の被照射領域W1の位置と同一の位置が主メモリ56に既に記憶されていることを検出したときに、以下に説明するような処理を行う。すなわち、この同一の位置に対応付けられて主メモリ56に既に記憶された参照抽出画像(抽出画像)を新規抽出画像を抽出した画像を取得したときの発光部26の向きに基づいて変換した視線変換画像と、新規抽出画像とを表示部70に表示させる。
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. 2 and FIG. 10 to FIG. 16, but the same parts as those of the above-described embodiment are denoted by the same reference numerals, and the description thereof will be omitted. Only the differences will be described.
As shown in FIG. 2, the
When the image processing unit 81 detects that the same position as the irradiated region W1 of the newly extracted image (extracted image) newly created by the
より具体的に説明すると、主メモリ56に、図10に示す参照抽出画像H1〜H4が既に記憶されていて、再び測定対象物Wの新規抽出画像を取得する場合を考える。このような場合としては、たとえば、地下空洞などに挿入部10を挿入していくときに参照抽出画像Hiを主メモリ56に既に記憶していて、この地下空洞などから挿入部10を取出していくときに新規抽出画像を取得する場合や、この参照抽出画像Hiを取得し記憶してからたとえば数週間経過した後で再びこの地下空洞に挿入部10を挿入していきながら新規抽出画像を取得する場合などが挙げられる。
More specifically, let us consider a case where the reference extracted images H 1 to H 4 shown in FIG. 10 are already stored in the
使用者は、地下空洞中の所望の位置で、図10および図11に示すように、測定対象物Wに挿入部10の先端硬質部11が対向するように位置決めする。そして、操作部40を操作することでCCD18により被照射領域W1が写された測定対象物Wの画像を取得し、この画像から抽出した新規抽出画像I3(図11参照)に写された被照射領域W1の位置などを算出する。
画像処理部81は、この算出された位置が、主メモリ56に既に記憶された、たとえば測定位置Q3と同一の位置であると検出すると、測定位置Q3に対応付けて記憶された参照抽出画像H3を新規抽出画像I3を抽出した画像を取得したときの発光部26の向きA3に基づいて変換して視線変換画像を作成する。そして、図12に示すように、この視線変換画像82と新規抽出画像I3とを、表示部70のLCD71に表示させる。
The user positions the measurement object W at the desired position in the underground cavity so that the distal end
The image processing unit 81, this calculated position has already been stored in the
視線変換画像82は、参照抽出画像H3の向きおよび発光部26の向きA3に対応した方向および比率で変形した状態で、LCD71に表示される。図12に示す例では、視線変換画像82は元の形状から一方向に圧縮して表示されている。
Gaze converted
このように構成された本実施形態の内視鏡装置2によれば、測定対象物Wの内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Fから容易に観察し直すことができる
さらに、内視鏡装置2は画像処理部81を備えているため、測定対象物Wの同一の位置を写した新規抽出画像I3と視線変換画像82とを容易に比較することができる。そして、必要に応じて、不要となった一方の画像を主メモリ56から消去して、主メモリ56を効果的に使用することができる。
According to the
なお、本実施形態では、図13に示すように、新規抽出画像I3に写された像の一方の側B1、および、視線変換画像82に写された像の他方の側B2を互いに連続させてLCD71に表示してもよい。このように表示することで、新規抽出画像I3と視線変換画像82とをさらに容易に比較することができる。
In the present embodiment, as shown in FIG. 13, one side B1 of the image that was photographed in the new extracted image I 3, and, together were continuously other side B2 of the image that was photographed in sight converted
また、本実施形態は、内視鏡装置2が、観察レンズ17に代えて、互いに視野角が異なってCCD18の検出面18a上に可視光線の像を結像させるとともに挿入部10の先端に着脱可能な通常観察レンズおよび広角観察レンズをそれぞれ有する通常アダプタおよび広角アダプタを備える場合にも効果的である。
図14(a)および図15(a)に、視野角θ1が比較的狭い通常観察レンズを有する通常アダプタを用いた場合の画像M2と抽出画像E2との範囲を示し、図14(b)および図15(b)に、視野角θ2が比較的広い広角観察レンズを有する広角アダプタを用いた場合の画像M11と抽出画像E11との範囲を示す。
同一のCCD18を用いているため、画像M2および画像M11の画素数は一定であり、さらに、抽出画像E2および抽出画像E11に写された像の基準面S2上での形状K2は互いに等しい。このため、図16に示すように、LCD71に表示された抽出画像E2および抽出画像E11は互いに同一形状となるが、抽出画像E2より抽出画像E11の方が画像が粗くなる。
この場合においても、抽出画像E2と抽出画像E11とを容易に比較することができる。
In this embodiment, the
FIGS. 14A and 15A show ranges of the image M 2 and the extracted image E 2 in the case of using a normal adapter having a normal observation lens having a relatively narrow viewing angle θ 1 . in b) and FIG. 15 (b), the indicating the range of the image M 11 and extraction image E 11 in the case of using a wide-angle adapter having a viewing angle theta 2 is relatively wide angle viewing lens.
Since the
In this case, the extraction image E 2 and extraction image E 11 can be easily compared.
(第3実施形態)
次に、本発明の第3実施形態について図2、図17から図20を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図2に示すように、本実施形態の内視鏡装置3は、前記第1実施形態の内視鏡装置1の画像処理部57に代えて画像処理部91を備えている。
(Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIG. 2 and FIG. 17 to FIG. 20, but the same parts as those in the above-mentioned embodiment will be denoted by the same reference numerals, and the description thereof will be omitted. Only the point will be described.
As shown in FIG. 2, the
図17に示すように、参照抽出画像H1〜H4が既に主メモリ56に記憶されていて、再び測定対象物Wの抽出画像を取得する場合を考える。
画像処理部91は、仮想空間Iに配置された参照抽出画像Hiを視線方向Fから見たように変換した図18に示す視線変換画像G1〜G4を含んだ視線変換全体画像中に、CCD18が新たに取得する画像から画像切出し部54が抽出する抽出画像が配置される抽出画像配置範囲Rを重ね合わせた配置範囲表示画像92を作成してLCD71に表示させる。なお、配置範囲表示画像92中の範囲Xは、まだ抽出画像が取得されていない範囲を示す。
LCD71には、CCD18が新たに取得するライブ画像(画像)93が、配置範囲表示画像92とともに表示される。
As illustrated in FIG. 17, consider a case where reference extracted images H 1 to H 4 are already stored in the
The image processing unit 91 converts the reference extracted image H i arranged in the virtual space I into the entire line-of-sight conversion image including the line-of-sight conversion images G 1 to G 4 shown in FIG. Then, an arrangement
A live image (image) 93 newly acquired by the
このように構成された本実施形態の内視鏡装置3によれば、測定対象物Wの内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Fから観察し直すことができる。
さらに、仮想空間Iにおいて、既に記憶された参照抽出画像Hiの位置および範囲、および、これから取得する抽出画像が配置される抽出画像配置範囲Rを確認しながら抽出画像を取得する。このため、抽出画像の撮り残しを防止することができる。
According to the
Further, in the virtual space I, the extracted image is acquired while confirming the position and range of the reference extracted image H i already stored and the extracted image arrangement range R in which the extracted image to be acquired will be arranged. For this reason, it is possible to prevent unexposed portions of the extracted image.
また、本実施形態は、内視鏡装置3が抽出画像を自動で連続的に取得する場合にも効果的である。たとえば、図19に示すように、測定対象物Wに対して内視鏡装置3の挿入部10を移動させながら、たとえば1秒当たり数枚程度の抽出画像を連続的に取得する場合がある。
この場合、図20に示すように、LCD71には、連続的に取得している画像から抽出された抽出画像を画像処理部91で変換した視線変換画像Gと、CCD18が新たに取得する画像から画像切出し部54が抽出する抽出画像が配置される抽出画像配置範囲Rとが重ね合わせて表示される。
この場合においても、抽出画像を連続的に取得しながら、抽出画像の撮り残しを防止することができる。
The present embodiment is also effective when the
In this case, as shown in FIG. 20, the
Even in this case, it is possible to prevent the extracted image from being left unrecorded while continuously acquiring the extracted image.
以上、本発明の第1実施形態から第3実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更なども含まれる。さらに、各実施形態で示した構成のそれぞれを適宜組み合わせて利用できることは、言うまでもない。
たとえば、前記第1実施形態から第3実施形態では、発光部26が赤色のレーザー光L1を照射し、被照射領域W1と隣接領域W2との色彩を異ならせることで、CCD18が取得する画像により使用者などが識別可能となるように構成した。しかし、発光部が所定の照度以上の白色の可視光線を照射して隣接領域W2より被照射領域W1の明るさを異ならせることで、被照射領域W1と隣接領域W2とを画像により識別可能となるように構成してもよい。
このとき、たとえば、照明ユニット16が被照射領域W1および隣接領域W2を白色光で100lxの照度で照明したときに、発光部26が被照射領域W1を照射する白色光単独の照度を150lx以上とすることが好ましい。
The first to third embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the configuration does not depart from the gist of the present invention. Changes are also included. Furthermore, it goes without saying that the configurations shown in the embodiments can be used in appropriate combinations.
For example, in the first to third embodiments, the
At this time, for example, when the
また、前記第1実施形態から第3実施形態では、発光部26が赤色のレーザー光L1を照射し、CCD18が可視光線を検出するものとし、発光部26は、照射するレーザー光L1により被照射領域W1と隣接領域W2とを使用者などが識別可能となるように色彩を異ならせるとした。
しかし、発光部が赤外線を照射し、挿入部10のCCDが赤外線および可視光線を検出可能なものであり、発光部は、自身が照射する赤外線により被照射領域W1と隣接領域W2とを識別可能となるように赤外線の強度を異ならせるように構成してもよい。同様に、発光部が紫外線を照射し、CCDが紫外線および可視光線を検出可能なものであり、発光部は、自身が照射する紫外線により被照射領域W1と隣接領域W2とを識別可能となるように紫外線の強度を異ならせるように構成してもよい。
In the first to third embodiments, the
However, the light emitting unit emits infrared light, and the CCD of the
また、前記第1実施形態から第3実施形態では、図21に示すように、内視鏡装置が測定対象物Wの表面の傾きを検出し、挿入部10の軸線Cに1対する測定対象物Wの表面の傾きが所定の値以上である場合には、使用者に注意を促す表示を示したり、音声を発したりするように構成してもよい。
注意を促す条件としては、たとえば、挿入部10の可撓管部13の位置を固定した状態で湾曲部12の先端を角度β湾曲させる前後での測定距離d1、d2に対して(3)式の値が所定の閾値を越えるときとすることができる。
|d1−d2|/β ・・(3)
使用者に注意を促す表示としては、図22に示すように、LCD71に測定対象物Wの傾きが大きくなるように従って、正方形から、対向する一辺Z1に対して他辺Z2が短くなる台形に変形する指標Zを用いてもよい。また、使用者に注意を促す音声としては、「挿入部が正面を向くように調整してください」などのような文章を用いることができる。
In the first to third embodiments, as shown in FIG. 21, the endoscope apparatus detects the inclination of the surface of the measurement object W, and the measurement object with respect to the axis C of the
As a condition to call attention, for example, (3) with respect to the measurement distances d 1 and d 2 before and after the distal end of the bending
| D 1 −d 2 | / β (3)
As a display for alerting the user, as shown in FIG. 22, as the inclination of the measuring object W increases on the
前記第1実施形態から第3実施形態では、たとえば、観察レンズ17がピントを調節できる距離の範囲内に距離測定部20が測定する測定距離diが入ったときに、内視鏡装置が自動的に所定の時間間隔で抽出画像を取得するように構成してもよい。また、距離測定部20が測定する測定距離diが、観察レンズ17がピントを調節できる距離よりも長い場合に、「挿入部を測定対象物に近づけて下さい」のような案内の音声を発してもよい。
前記第1実施形態から第3実施形態では、距離測定部20としてTOF型の距離センサを用いた。しかし、内視鏡装置で用いられる距離センサはこれに限ることなく、たとえば、三角測量方式、ステレオ計測方式、そしてマルチレーザポイント方式などの周知の距離センサを用いることができる。
In the first to third embodiments, for example, when the measurement distance d i measured by the
In the first to third embodiments, a TOF type distance sensor is used as the
また、前記第1実施形態から第3実施形態では、撮像装置が内視鏡装置であるとしたが、撮像装置は内視鏡装置に限ることなく、照明部および撮像素子を有する先端ユニットが挿入部の先端に回動可能に支持されたパイプカメラなどでもよい。
前記第1実施形態から第3実施形態では、2つの画像に写されたものの大きさを比較する必要が無い場合は、抽出画像は画像と同じ大きさであってもよい。
In the first to third embodiments, the imaging device is an endoscope device. However, the imaging device is not limited to the endoscope device, and a tip unit having an illumination unit and an imaging element is inserted. A pipe camera or the like supported rotatably at the tip of the part may also be used.
In the first to third embodiments, the extracted image may be the same size as the image when it is not necessary to compare the sizes of the two images.
1、2、3 内視鏡装置(撮像装置)
10 挿入部
18 CCD(撮像素子)
20 距離測定部(測定部)
21 位置センサ(位置測定部)
22 姿勢センサ(姿勢測定部)
26 発光部
28 受光部
54 画像切出し部
55 領域状態算出部
56 主メモリ(記憶部)
57、81、91 画像処理部
64 フロントパネル(方向入力部)
70 表示部
D 受信方向
Ei 抽出画像
F 視線方向
H 参照抽出画像
I 仮想空間
Ii 新規抽出画像
Mi 画像
Si 基準面
W 測定対象物
W1 被照射領域
1, 2, 3 Endoscopic devices (imaging devices)
10
20 Distance measurement unit (measurement unit)
21 Position sensor (position measuring unit)
22 Attitude sensor (Attitude measurement unit)
26
57, 81, 91
70 display unit D receives the direction E i extracted image F gaze direction H reference extract image I virtual space I i new extraction image M i image S i reference plane W measuring object W1 irradiation regions
Claims (6)
測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が可視光線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。 An image sensor that detects visible light and acquires an image from the detected visible light;
Irradiate the irradiated area of the measurement object with visible light, and at least one of the brightness and color of the visible light reflected by the irradiated area with respect to a portion of the measurement object adjacent to the irradiated area is the image A light-emitting unit that can be discriminated differently, and a light-receiving unit that detects visible light from a predetermined light-receiving direction, and a measuring unit that measures the distance from the light-emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
A posture measuring unit that measures the direction in which the light emitting unit emits visible light; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
A small-diameter and long insertion portion in which the imaging element, the light-emitting portion, and the light-receiving portion are disposed on the distal end side;
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit;
An imaging apparatus comprising:
測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が赤外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。 An image sensor that detects visible light and infrared light, and acquires an image from the detected visible light and infrared light,
A light emitting unit that irradiates the irradiated region of the measurement object with infrared rays and distinguishes the intensity of the infrared rays reflected by the irradiated region with respect to a portion adjacent to the irradiated region in the measurement object; And a light receiving unit that detects infrared rays from a predetermined light receiving direction, and a measuring unit that measures a distance from the light emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
A posture measuring unit that measures the direction in which the light emitting unit emits infrared rays; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
A small-diameter and long insertion portion in which the imaging element, the light-emitting portion, and the light-receiving portion are disposed on the distal end side;
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit;
An imaging apparatus comprising:
測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が紫外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。 An imaging device that detects visible light and ultraviolet light, and acquires an image from the detected visible light and ultraviolet light,
A light emitting unit for irradiating the irradiated region of the measurement object with ultraviolet light and distinguishing the intensity of the ultraviolet light reflected by the irradiated region with respect to a portion adjacent to the irradiated region in the measurement object; And a light receiving unit that detects ultraviolet rays from a predetermined light receiving direction, and a measuring unit that measures a distance from the light emitting unit to the irradiated region;
A display unit for displaying the image;
A position measuring unit for measuring the position of the light emitting unit;
An attitude measuring unit that measures the direction in which the light emitting unit emits ultraviolet rays; and
An area state calculation unit that calculates the position and orientation of the irradiated region based on the position and orientation of the light emitting unit and the distance from the light emitting unit to the irradiated region;
An image cutout unit for extracting an area including the irradiated area from the image and creating an extracted image;
A small-diameter and long insertion portion in which the imaging element, the light-emitting portion, and the light-receiving portion are disposed on the distal end side;
A storage unit for storing the extracted image in association with the position and the orientation calculated by the region state calculation unit;
A direction input unit for inputting a gaze direction;
An image processing unit that creates an entire line-of-sight conversion image obtained by converting the extracted image arranged in the virtual space based on the position and the direction based on the line-of-sight direction, and displays the image on the display unit;
An imaging apparatus comprising:
前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。 When the image cutout section defines a reference plane that passes through the irradiated region and is orthogonal to the direction of the light emitting section when the image is acquired, the image cutout section is on the reference plane of the image copied to the extracted image. Extracting the extracted image from the image so that the shapes of
The imaging apparatus according to claim 1, wherein the image processing unit displays each extracted image on the display unit.
前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。 When the image processing unit detects that the same position as the position of the irradiated region of the newly extracted image, which is the extracted image newly created by the image cutout unit, is already stored in the storage unit In addition,
The reference extracted image that is the extracted image that is associated with the same position and is already stored in the storage unit is converted based on the orientation of the light emitting unit when the image obtained by extracting the new extracted image is acquired. The imaging apparatus according to any one of claims 1 to 3, wherein a line-of-sight conversion image and the newly extracted image are displayed on the display unit.
前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。 The image processing unit creates an arrangement range display image in which the range in which the extracted image extracted by the image cutout unit is arranged from the image newly acquired by the imaging device is superimposed on the entire line-of-sight conversion image To display on the display unit,
The imaging apparatus according to claim 1, wherein the image newly acquired by the imaging element is displayed on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010237511A JP5513343B2 (en) | 2010-10-22 | 2010-10-22 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010237511A JP5513343B2 (en) | 2010-10-22 | 2010-10-22 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012088278A true JP2012088278A (en) | 2012-05-10 |
JP2012088278A5 JP2012088278A5 (en) | 2013-12-05 |
JP5513343B2 JP5513343B2 (en) | 2014-06-04 |
Family
ID=46260039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010237511A Expired - Fee Related JP5513343B2 (en) | 2010-10-22 | 2010-10-22 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5513343B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066445A (en) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | The method for generating thermal image and apparatus thereof |
JP2019045710A (en) * | 2017-09-04 | 2019-03-22 | Jfeスチール株式会社 | Piping internal-diagnosis equipment and piping internal-diagnosis method |
-
2010
- 2010-10-22 JP JP2010237511A patent/JP5513343B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066445A (en) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | The method for generating thermal image and apparatus thereof |
KR102290991B1 (en) | 2014-12-02 | 2021-08-18 | 삼성전자주식회사 | The method for generating thermal image and apparatus thereof |
JP2019045710A (en) * | 2017-09-04 | 2019-03-22 | Jfeスチール株式会社 | Piping internal-diagnosis equipment and piping internal-diagnosis method |
Also Published As
Publication number | Publication date |
---|---|
JP5513343B2 (en) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230073561A1 (en) | Device and method for tracking the position of an endoscope within a patient's body | |
US9357945B2 (en) | Endoscope system having a position and posture calculating portion | |
US20190209016A1 (en) | Processing images from annular receptor arrays | |
JP5159995B2 (en) | Endoscope system | |
US20150057498A1 (en) | Endoscope system | |
JPWO2018051680A1 (en) | Endoscope system | |
US20160198982A1 (en) | Endoscope measurement techniques | |
US9848124B2 (en) | Endoscope system and endoscope video processor | |
US8764635B2 (en) | Endoscope apparatus | |
JP2006325741A (en) | Endoscope apparatus for measurement and program for endoscope | |
JP5608503B2 (en) | Imaging device | |
JP5953443B2 (en) | Endoscope system | |
JP2011234871A (en) | Endoscope system | |
JP5513343B2 (en) | Imaging device | |
US9345394B2 (en) | Medical apparatus | |
JP6150579B2 (en) | Insertion device | |
US10912444B2 (en) | Image processing apparatus, image processing method, and endoscope | |
JP2008125996A (en) | Endoscope-subject distance measuring system | |
CN111511282A (en) | Endoscope non-contact measuring device | |
JP2008229219A (en) | Electronic endoscope system | |
JP6400767B2 (en) | Measuring endoscope device | |
JP6120537B2 (en) | Measuring endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131017 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5513343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
LAPS | Cancellation because of no payment of annual fees |