CN101095609A - 体腔内探测装置 - Google Patents

体腔内探测装置 Download PDF

Info

Publication number
CN101095609A
CN101095609A CNA2007101125786A CN200710112578A CN101095609A CN 101095609 A CN101095609 A CN 101095609A CN A2007101125786 A CNA2007101125786 A CN A2007101125786A CN 200710112578 A CN200710112578 A CN 200710112578A CN 101095609 A CN101095609 A CN 101095609A
Authority
CN
China
Prior art keywords
data
body cavity
image
subject
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101125786A
Other languages
English (en)
Other versions
CN101095609B (zh
Inventor
川岛知直
生熊聪一
小幡里织
小室雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN101095609A publication Critical patent/CN101095609A/zh
Application granted granted Critical
Publication of CN101095609B publication Critical patent/CN101095609B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种体腔内探测装置，其可以检测体腔内探测器的***形状和实时图像的方向，并且减小辐射损害，可以生成包括体腔内探测器的***形状和实时图像的方向的引导图像，在***到体腔内的作为体腔内探测器的超声波内窥镜(2)前端的硬性部(21)内，设有获取超声波的回波信号的超声波振子阵列(29)，并在其附近设置图像位置取向检测用线圈(31)，在挠性部(22)的长度方向设置***形状检测用线圈(32)等，生成包括挠性部(22)的***形状、和根据回波信号生成的作为实时图像的超声波断层像的方向等的引导图像。

Description

体腔内探测装置
技术领域
本发明涉及一种使用***体腔内的体腔内探测器诊断体腔内部等的体腔内探测装置。
背景技术
以往公知的内窥镜、超声波内窥镜、细径超声波探测器等体腔内探测器被***消化管、胆胰管、血管等体腔内部，用于进行诊断、治疗。这些体腔内探测器通常在前端设置有CCD摄像机等摄像元件或超声波振子。
并且，这些体腔内探测器的惯例是被用作与处理器为一体的体腔内探测装置，处理器根据从摄像元件或超声波振子得到的信号生成光学像或超声波断层像。
另外，近年来公知的体腔内探测装置具有引导功能，用于辅助这些体腔内探测器容易到达目标部位。
其中，作为第1以往示例的日本特开2004-113629号公报公开的体腔内探测装置，是利用相对于被检体进行超声波收发得到的超声波信号生成超声波图像的超声波诊断装置，其具有：超声波扫描位置检测单元，其用于检测收发超声波的部位的位置；超声波图像生成单元，其根据超声波信号生成超声波图像；以及控制单元，其使与通过超声波扫描位置检测单元得到的位置信息对应的被检体的部位的解剖图像信息，与从具有人体的示意图数据的图像信息保持单元获取的作为引导图像的超声波图像显示在同一画面上。
在该体腔内探测装置中，超声波图像被显示为实时图像。并且，在该体腔内探测装置中，为了检测实际的位置信息，使用产生磁场的发送线圈和接收磁场的接收线圈，其中，某个线圈设在作为体腔内探测器的超声波内窥镜的***端，某个线圈安装在被检体上。因此，该体腔内探测装置可以检测被检体的状态，检测收发超声波的被检体的部位的位置。
另一方面，作为第2以往示例的日本特开2002-306403号公报公开的体腔内探测装置，是检测内窥镜的***形状并获得描画***形状的图像信号的内窥镜装置，其设有：图像生成单元，其预先从在被检体的CT扫描中三维区域连续的切片断层像生成被检体的三维图像；以及显示单元，其将***形状与***形状周围的被检体的三维图像合成并显示。
在该体腔内探测装置中，内窥镜像被显示为实时图像。并且，在该体腔内探测装置中，为了检测实际的***形状，使用填充在内窥镜的挠性管内的辐射γ线的放射性物质，以及组合了通过吸收γ线而发光的闪烁器(scintillator)和感光元件的底部检测部和垂直检测部。
在上述的日本特开2004-113629号公报中，记载着可以生成包括体腔内探测器的***形状和实时图像(在该日本特开2004-113629号公报中为超声波图像)的方向的引导图像。但是，在该公报中用于实施这种技术的结构具有下面所述的不足之处。
第一没有记载检测***形状的结构。因此，存在不能生成包括***形状的引导图像的问题。
第二没有记载检测实时图像的方向的结构。尤其没有记载设在前端的体腔内探测器***端的线圈的安装方法、输出内容、检测自由度。因此，不能检测扫描面相对于体腔内探测器朝向哪个方向。
因此，存在不能生成包括实时图像的方向的引导图像的问题。作为体腔内探测器，在采用日本特开2004-113629号公报记载的电子凸面扫描式超声波内窥镜时，尤其不能检测绕***轴的扭曲角度，所以该问题更明显。
另外，若假定体腔内探测装置构成为组合了日本特开2004-113629号公报和日本特开2002-306403号公报公开的体腔内探测装置时，则上述问题可以整理如下。
第一，关于不能生成包括***形状的引导图像的问题，通过与日本特开2002-306403号公报公开的体腔内探测装置组合，可以获得检测***形状的结构，所以能够生成包括***形状的引导图像。
但是，在该日本特开2002-306403号公报公开的体腔内探测装置中，使用γ线检测***形状，产生放射线对医生和被检体的辐射损害都较大的新问题。
第二，关于不能生成包括实时图像的方向的引导图像的问题，在日本特开2002-306403号公报中也没有记载检测实时图像的方向的结构，不能解决该问题。
发明内容
本发明的第一目的在于提供一种体腔内探测装置，其可以检测体腔内探测器的***形状和实时图像的方向，并且减小辐射损害，可以生成包括两者的引导图像。并且，本发明的第二目的在于提供一种体腔内探测装置，其可以生成包括体腔内探测器的***形状和实时图像的方向的引导图像。
本发明的体腔内探测装置具有：***到被检体的体腔内的体腔内探测器；生成所述体腔内探测器的***形状的***形状生成单元；根据人体的三维数据生成所述人体的三维图像的三维图像生成单元；以及合成所述***形状和所述三维图像的合成单元，所述体腔内探测装置的特征在于，所述体腔内探测器具有：硬性部，其用于将图像信号获取单元固定设置到对所述体腔内的***侧，该图像信号获取单元获取用于生成所述被检体内的图像的信号；以及位于比所述硬性部偏跟前侧的位置的挠性部，所述体腔内探测装置具有：图像生成单元，其根据所述图像信号获取单元获取的信号生成所述被检体内的实时图像；图像位置取向检测用元件，其相对于所述硬性部固定了位置；***形状检测用元件，其沿着所述挠性部设有多个；可以接触到所述被检体的被检体检测用元件；检测单元，其检测所述图像位置取向检测用元件的由位置和取向构成的6个自由度、所述多个***形状检测用元件的各自位置、以及所述被检体检测用元件的位置或取向，并将检测结果作为检测值进行输出；以及图像指标生成单元，其生成表示所述图像生成单元生成的所述被检体内的所述实时图像的位置和取向的图像指标，所述合成单元以所述检测单元输出的检测值为基础，合成所述***形状和所述图像指标以及所述三维图像，生成用于引导所述挠性部和所述实时图像相对于所述被检体的位置和取向的三维引导图像。
根据本发明，可以检测体腔内探测器的***形状和实时图像的方向，并且减小辐射损害，可以生成包括体腔内探测器的***形状和实时图像的方向的引导图像。
本发明的目的及效益根据下述具体说明将更加明确。
附图说明
图1是本发明的实施例1的体腔内探测装置的整体结构图。
图2是通过使用示例表示体表检测用线圈的示意图。
图3是表示体腔内接触探测器的侧视图。
图4是表示图像处理装置的结构的方框图。
图5是表示存储在参照图像存储部内的参照图像数据的说明图。
图6是表示体素(voxel)空间的说明图。
图7是表示为了表示位置/取向数据而在发送天线上设定原点的正交基底的图。
图8是表示将被检体侧的超声波断层像的中心映射到体素空间上的状态等的说明图。
图9是表示将被检体侧的体腔内特征点映射到体素空间上的状态等的说明图。
图10是表示通过图像指标生成电路生成图像指标数据的状态的说明图。
图11是表示通过***形状生成电路生成的***形状数据的状态的说明图。
图12是表示三维人体图像数据的说明图。
图13是表示通过合成电路将图像指标数据和***形状数据嵌入合成存储器内的体素空间中的状态的说明图。
图14是表示从被检体的腹侧观察时的三维引导图像数据的说明图。
图15是表示从被检体的脚侧观察时的三维引导图像数据的说明图。
图16是表示显示在显示装置上的三维引导图像和超声波断层像的图。
图17是表示本实施例的整体处理内容的流程图。
图18是表示图17中的参照图像上的体表特征点、体腔内特征点指定处理的具体处理内容的流程图。
图19是表示图17中的校正值计算处理的具体处理内容的流程图。
图20是图19中的处理的说明图。
图21是表示图17中的超声波断层像、三维引导图像生成/显示处理的具体处理内容的流程图。
图22是表示本发明的实施例2的三维引导图像数据的说明图。
图23是表示本发明的实施例3的三维引导图像数据的说明图。
图24是表示本发明的实施例4的三维引导图像数据的说明图。
图25是表示本发明的实施例5的三维引导图像数据的说明图。
图26是表示本发明的实施例6的图像处理装置的结构的方框图。
图27是表示三维引导图像生成电路A生成的三维引导图像数据的说明图。
图28是表示三维引导图像生成电路B生成的三维引导图像数据的说明图。
图29是表示显示在显示装置上的三维引导图像和光学像的图。
具体实施方式
以下，参照附图说明本发明的各个实施例。
[实施例1]
参照图1～图21说明本发明的实施例1。首先，说明本发明的实施例1的体腔内探测装置1的结构。
如图1所示，实施例1的体腔内探测装置1包括：作为体腔内探测器的电子径向扫描式超声波内窥镜2、光学观察装置3、超声波观测装置4、位置取向计算装置5、发送天线6、体表检测用线圈7、体腔内接触探测器8、A/D单元部9、图像处理装置11、鼠标12、键盘13、和显示装置14，它们通过信号线相连接。
在体腔内探测装置1的外部设有X射线三维螺旋CT装置(X-ray 3dimentional computer tomography system)15、三维MRI装置(3 dimentionalmagnetic resonance imaging system)16、及连接它们的光通信和ADSL等快速网络17。X射线三维螺旋CT装置15和三维MRI装置16经由网络17与该体腔内探测装置1的图像处理装置11连接。
超声波内窥镜2具有：硬性部21，其位于该超声波内窥镜2的前端，利用不锈钢等硬质材料构成；尺寸较长的挠性部22，其位于硬性部21的后端侧，利用具有挠性的材料构成；以及操作部23，其位于挠性部22的后端侧(跟前侧)，利用硬质材料构成，从而该超声波内窥镜2可以***食道、胃、十二指肠等体腔内部。另外，硬性部21和挠性部22形成***体腔内的***部。
在硬性部21上，按照下面所述那样进行光学摄像并获取图像信号的图像信号获取单元固定设置在硬性部21上。
在硬性部21上设有利用玻璃罩形成的光学观察窗24，在该光学观察窗24的内侧设有形成光学像的物镜25、和配置在其成像位置的作为摄像元件的例如CCD(charge coupled device)摄像机26。并且，与该光学观察窗24相邻地设有向体腔内部照射照明光的未图示的照明光照射窗(照明窗)。
CCD摄像机26通过信号线27与光学观察装置3连接。未图示的照明光照射窗构成为照射照明光来对体腔内部进行照明。体腔表面的像从光学观察窗24经由物镜25成像于CCD摄像机26上，来自CCD摄像机26的CCD信号经由信号线27输出给光学观察装置3，所述光学观察装置3为生成光学像的实时图像的图像生成单元。
并且，在该硬性部21上还固定设置有进行带有音频地进行摄像而获取回波(echo)信号作为图像信号的图像信号获取单元。
硬性部21的例如圆柱状前端部分被切断成为细细的长方形状，在***轴的周围设有以环状排列成阵列状的超声波振子群，利用该超声波振子群形成超声波振子阵列29。
构成超声波振子阵列29的各个超声波振子29a分别通过信号线30经由操作部23，与生成基于超声波的实时图像的作为图像生成单元的超声波观测装置4连接。超声波振子阵列29的环的中心是后面叙述的基于径向扫描的超声波束的旋转中心。
在此，按照图1所示定义固定在硬性部21上的标准正交基底(各个方向的单位向量)V、V3、V12。
即，V与硬性部21的长度方向(***轴方向)平行，如后面所述，该V成为超声波断层像的法线方向向量。与该向量V正交的V3是3点方向向量，而V12是12点方向向量。
在硬性部21内，作为图像位置取向检测用元件的图像位置取向检测用线圈31相对于超声波振子阵列29固定设置在超声波振子阵列29的环的中心的极近位置。图像位置取向检测用线圈31被设定为按照指向向量V和V3这两个方向(轴)的方式沿两轴方向卷绕的线圈形成为一体，以便可以检测向量V和V3这两个方向。
在挠性部22内，为了检测构成超声波内窥镜2的***部的该挠性部22的***形状，沿着***轴例如以一定间隔设有多个***形状检测用线圈32。
如图1所示，***形状检测用线圈32是沿一轴方向卷绕的线圈，以使其绕线轴方向与挠性部22的***轴方向一致的方式被固定在挠性部22内部。另外，硬性部21可以根据上述图像位置取向检测用线圈31的位置进行检测。
因此，***形状检测用元件更加准确地讲，由设在硬性部21内的图像位置取向检测用线圈31、和设在挠性部22内的***形状检测用线圈32构成。
另外，用于检测***形状的作为***形状检测用元件的多个***形状检测用线圈32，例如也可以只设在挠性部22的前端侧部分，以检测超声波内窥镜2的***部的前端侧部分的***形状。
在本实施例中，通过采用多个***形状检测用线圈32作为***形状检测用元件，可以使用磁场进行***形状的检测。由此，为了检测***形状，医生和患者(被检体)可以不遭受放射线辐射。
在挠性部22的前端附近设有可自由弯曲的弯曲部的情况居多，也可以只在该弯曲部附近设置多个***形状检测用线圈32。
位置取向计算装置5构成检测图像位置取向检测用线圈31的位置和取向等的检测单元，其通过信号线与发送天线6、构成A/D单元部9的多个A/D单元9a、9b、9c、以及内置了***形状生成单元、三维图像生成单元、合成单元和图像指标生成单元等的图像处理装置11连接。
其中，位置取向计算装置5和图像处理装置11例如通过基于RS-232C规格的电缆33相连接。
发送天线6利用绕线轴的取向不同的多个未图示的发送线圈构成，这些发送线圈例如被一起收纳在长方体的壳体中。多个发送线圈分别与位置取向计算装置5连接。
A/D单元9i(i＝a～c)包括放大所输入的模拟信号的未图示的放大器、和采样所放大的信号并转换为数字数据的未图示的模数转换电路。
A/D单元9a通过信号线34分别与图像位置取向检测用线圈31和多个***形状检测用线圈32相连接。
A/D单元9b通过信号线35与尺寸较长的体腔内接触探测器8连接。A/D单元9c通过信号线36分别与多个体表检测用线圈7连接。
另外，图1和后面叙述的图4中的各个箭头线表示以下所述的信号、数据的流向。
(a)第1：点线为与光学像相关的信号、数据的流向，
(b)第2：虚线为与超声波断层像相关的信号、数据的流向，
(c)第3：实线为与位置相关的信号、数据及对其加工生成的数据的流向，
(d)第4：单点划线为参照图像数据及对其加工生成的数据的流向，
(e)第5：粗线为与将超声波断层像数据(后述)和三维引导图像数据(后述)合成后的最终显示画面相关的信号、数据的流向，
(f)第6：曲线为与除此以外的控制相关的信号、数据的流向。
图2表示形成被检体检测用元件的体表检测用线圈7。
体表检测用线圈7由分别沿一轴方向卷绕的4个线圈构成，各个线圈利用胶带、带子、捆绑带等固定在被检体37的体表上并可以自由装卸，具体地讲固定在腹部体表的具有特征的点上(以下简称为体表特征点)，用于对该体表特征点进行使用了磁场的位置检测。
在正常的上部内窥镜检查中，被检体37采取左侧向下地横躺在床38上的所谓左侧卧位姿势，将内窥镜从口部***，所以在图2中也以该姿势进行描画。
在本实施例中，对于体表特征点，说明骨骼上具有特征的部位“剑突”(xiphoid process)、骨盆(pelvis)左侧的“左骼前上棘”(left anteriorsuperior iliac spine)、骨盆右侧的“右骼前上棘”(right anterior superior iliacspine)、左右骼前上棘中间的脊椎上的“腰椎棘突”(spinous process ofvertebral body)这4点。
医生可以通过触摸这4点来确定位置。并且，这4点不在同一平面上，而形成将以剑突为原点朝向其他特征点的3个向量作为基本向量的斜交坐标系(un-orthogonal reference frame)。在图2中利用粗线表示该斜交坐标系。
图3表示体腔内接触探测器8。体腔内接触探测器8具有利用挠性材料构成的外筒41。在该外筒41内部的前端处固定设有体腔内检测用线圈42，在该外筒41的后端设有连接器43。
如图3所示，体腔内检测用线圈42通过沿一轴方向卷绕的线圈固定在体腔内接触探测器8的前端。体腔内检测用线圈42被固定成为使其绕线轴方向与体腔内接触探测器8的***轴方向一致。并且，该体腔内检测用线圈42用于体腔内接触探测器8的前端接触到的体腔内的关注部位等的位置检测。
如图1所示，超声波内窥镜2在操作部23设置处理器具***口作为第1开口(以下为了简化称为钳子口)44，以便将钳子等从操作部23经过挠性部22一直***到硬性部21，在硬性部21设置具有作为第2开口的突出口45的管状处理器具通道46。
该处理器具通道46构成为使体腔内接触探测器8可以从钳子口44插通，并从突出口45突出来。突出口45的开口方向形成为在体腔内接触探测器8从突出口45突出来时，使体腔内接触探测器8进入光学观察窗24的光学视场范围内。
图4表示内置了***形状生成单元、三维图像生成单元、合成单元和图像指标生成单元等的图像处理装置11。
图像处理装置11具有匹配电路51、图像指标生成电路52、***形状生成电路53、通信电路54、参照图像存储部55、插值电路56、三维人体图像生成电路57、合成电路58、旋转转换电路59、生成不同的两个视线方向的三维引导图像的三维图像生成电路60(以下表述为三维引导图像生成电路A和三维引导图像生成电路B)、混合电路61、显示电路62和控制电路63。
匹配电路51被输入从位置取向计算装置5输出的位置/取向数据，位置取向计算装置5构成检测***形状检测用元件等的位置和取向的检测单元。
并且，该匹配电路51按照规定的转换式映射如后面所述那样在正交坐标轴O-xyz中计算的位置/取向数据，计算在正交坐标轴O′-x′y′z′上的新的位置/取向数据。
并且，匹配电路51把该新的位置/取向数据作为位置/取向映射数据，输出给生成图像指标数据的图像指标生成电路52、和生成***形状数据的***形状生成电路53。
通信电路54在其内部设置有大容量的快速的通信调制解调器，经过网络17与生成人体的三维数据的X射线三维螺旋CT装置15和三维MRI装置16连接。
参照图像存储部55由可以保存大容量数据的硬盘驱动器等构成。参照图像存储部55存储多个参照图像数据作为解剖图像信息。
如图5所示，参照图像数据是从X射线三维螺旋CT装置15和三维MRI装置16经过网络17得到的被检体37的断层像的数据。在本实施例中，以下把参照图像数据设为与被检体37的体轴(从头到脚的轴)垂直、节距为0.5mm～几mm、一边为几十cm的正方形断层像的数据。
在获得被检体37的断层像时，相比于X射线三维螺旋CT装置15，更多地使用三维MRI装置16，由此可以降低或消除被检体37受到的X射线辐射。
为了便于说明，对图5中的参照图像存储部55内的参照图像数据赋予1号到N号的序号。
在此，按照图5所示，关于相对于多个参照图像数据固定的正交坐标轴O′-x′y′z′及其标准正交基底(各个轴方向的单位向量)i′j′k′，将原点O′定义在1号参照图像数据的最左下部，并定义在参照图像数据上。
如图4所示，插值电路56和合成电路58分别内置有海量存储器(volume memory)VM。为了便于说明，以下将设在插值电路56中的海量存储器VM称为插值存储器56a，将设在合成电路58中的海量存储器称为合成存储器58a。
海量存储器VM构成为可以存储大容量的数据。对于海量存储器VM的一部分存储区域分配了体素空间。如图6所示，体素空间由具有对应于正交坐标轴O′-x′y′z′的地址的存储单元(以下称为体素)构成。
图4所示的生成三维人体图像的三维人体图像生成电路57和进行旋转转换的旋转转换电路59，内置有未图示的快速处理器，以便快速进行基于亮度的体素和像素的提取、旋转转换、相似转换、平行移动等图像处理。
显示电路62具有切换其输入的开关62a。开关62a具有输入端子α、输入端子β、输入端子γ和一个输出端子。输入端子α连接在参照图像存储部55上。输入端子β连接在光学观察装置3的未图示的输出端子上。输入端子γ连接在混合电路61上。输出端子连接在显示光学像、超声波断层像和三维引导图像等的显示装置14上。
控制电路63通过未图示的信号线连接在图像处理装置11内的各部分及各个电路上，以便可以向各部分及各个电路输出指令。控制电路63通过控制线直接连接在超声波观测装置4、鼠标12和键盘13上。
如图1所示，在键盘13上设有体腔内特征点指定键65、扫描控制键66、显示切换键13α、显示切换键13β和显示切换键13γ。
在显示切换键13α或13β或13γ被按动后，控制电路63向显示电路62输出将开关62a向输入端子α或β或γ切换的指令。开关62a在显示切换键13α被按动时向输入端子α进行切换，在显示切换键13β被按动时向输入端子β进行切换，在显示切换键13γ被按动时向输入端子γ进行切换。
依次说明上述的(a)第1：至(f)第6：的信号、数据。(a)按照利用点线表示的第1光学像的相关信号、数据的流向，说明本实施例的作用。
硬性部21的未图示的照明光照射窗向光学视场范围侧照射照明光。CCD摄像机26拍摄光学视场范围内的物体并对其进行光电转换而向光学观察装置3输出CCD信号。
光学观察装置3以所输入的CCD信号为基础，生成光学视场范围内的实时图像的数据，将该数据作为光学像数据输出给图像处理装置11内的显示电路62的开关62a的输入端子β。
(b)按照第2超声波断层像的相关信号、数据的流向，说明本实施例的作用。
医生按动扫描控制键66后，控制电路63向超声波观测装置4输出用于指示后面叙述的径向扫描的ON/OFF控制的扫描控制信号。
超声波观测装置4选择构成超声波振子阵列29的超声波振子29a中一部分且为多个的超声波振子29a，发送脉冲电压状的激励信号。
该一部分且为多个的超声波振子29a接收激励信号，并转换为介质的疏密波即超声波。
此时，超声波观测装置4对各个激励信号施加延时，以使各个激励信号到达各个超声波振子29a的时间不同。该延时的值(延时量)被调整成为当各个超声波振子29a所激励的超声波在被检体37内重叠时，使它们形成一个超声波束。
超声波束向超声波内窥镜2外部进行照射，来自被检体37内的反射波沿着与超声波束相反的路径返回各个超声波振子29a。
各个超声波振子29a将反射波转换为电回波信号，按照与激励信号相反的路径向超声波观测装置4传递。
超声波观测装置4重新选择参与超声波束的形成的多个超声波振子29a，并再次发送激励信号，以使超声波束在包括超声波振子阵列29的环的中心的、与硬性部21和挠性部22垂直的平面(以下称为径向扫描面)内旋转。这样，超声波束的发送角度逐渐发生变化。通过反复重复该处理，实现所谓的径向扫描。
此时，超声波观测装置4根据超声波振子29a从反射波转换而得到的回波信号，针对超声波振子阵列29的一次径向扫描，生成与硬性部21的***轴垂直的一个数字化的超声波断层像数据作为实时图像，输出给图像处理装置11的混合电路61。此时，超声波观测装置4将超声波断层像数据加工形成为正方形。
这样，在本实施例中，超声波观测装置4重新选择参与超声波束的形成的多个超声波振子29a，并再次发送激励信号，所以正方形的超声波断层像的例如12点方向是根据超声波观测装置4作为12点方向选择哪个超声波振子29a并发送激励信号来确定。
由此，定义超声波断层像的法线方向向量V、3点方向向量V3、12点方向向量V12。另外，超声波观测装置4在从法线方向向量V的相反方向-V观察的方向生成超声波断层像数据。
基于超声波振子阵列29的径向扫描、基于超声波观测装置4的超声波断层像数据的生成和向混合电路61的输出是实时地进行的。在本实施例中，超声波断层像被生成为实时图像。
(c)下面，按照第3位置的相关信号、数据及将其加工形成的数据的流向，说明本实施例的作用。
位置取向计算装置5激励发送天线6的未图示的发送线圈。发送天线6在空间上形成交替磁场。图像位置取向检测用线圈31利用超声波检测图像信号获取单元的位置和取向(方向)，构成该图像位置取向检测用线圈31的沿向量V和V3方向卷绕的绕线轴相互正交的两个线圈、以及检测挠性部22的***形状的多个***形状检测用线圈32、作为被检体检测用元件的体腔内检测用线圈42和体表检测用线圈7分别检测交替磁场，并将交替磁场转换为各自的位置电信号，输出给A/D单元9a、9b、9c。
A/D单元9a、9b、9c通过放大器放大位置电信号，通过模数转换电路进行采样并转换为数字数据，将数字数据输出给位置取向计算装置5。
然后，位置取向计算装置5以来自A/D单元9a的数字数据为基础，计算图像位置取向检测用线圈31的位置和与其正交的绕线轴的方向、即向量V和V3。然后，位置取向计算装置5计算正交的绕线轴的方向的向量V和V3的外积V×V3，由此计算其余的正交方向即12点方向的向量V12。这样，位置取向计算装置5计算正交的3个方向即向量V、V3、V12。
然后，位置取向计算装置5以来自A/D单元9a～9c的数字数据为基础，计算多个***形状检测用线圈32的各自位置、体表检测用线圈7的各自位置、体腔内检测用线圈42的各自位置。
然后，位置取向计算装置5将图像位置取向检测用线圈31的位置和取向、多个***形状检测用线圈32的各自位置、4个体表检测用线圈7的各自位置、以及体腔内检测用线圈42的各自位置作为位置/取向数据输出给图像处理装置11的匹配电路51。
下面，具体叙述位置/取向数据。
在本实施例中，如图7所示，将原点O定义在发送天线6上，在医生检查被检体37的实际空间上，定义正交坐标轴O-xyz及其标准正交基底(各个轴方向的单位向量)i、j、k。
把图像位置取向检测用线圈31的位置设为O″。图像位置取向检测用线圈31被固定在超声波振子阵列29的环的中心的极近位置，所以位置O″与径向扫描的中心以及超声波断层像的中心一致。
在此，按照下面所述定义位置/取向数据。
正交坐标轴O-xyz上的图像位置取向检测用线圈31的位置O″的位置向量OO″的各方向分量：(x0，y0，z0)；
表示图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向的欧拉角(后面叙述)的各角度分量：(ψ，θ，φ)；
正交坐标轴O-xyz上的多个***形状检测用线圈32的各自位置向量的各方向分量：(xi，yi，zi)(i为1到***形状检测用线圈32的总数的自然数)；
正交坐标轴O-xyz上的4个体表检测用线圈7的各自位置向量的各方向分量：(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)；
正交坐标轴O-xyz上的体腔内检测用线圈42的位置向量的各方向分量：(xp，yp，zp)；
此处所说欧拉角指对图7中的正交坐标轴O-xyz顺序施加绕z轴的旋转、绕y轴的旋转、再次绕沿z轴的旋转而如下面所述那样使各轴的方向一致的角度。
旋转后的i＝V3、旋转后的j＝V12、旋转后的k＝V，ψ表示最初的绕z轴的旋转角度，θ表示绕y轴的旋转角度，φ表示再次绕z轴的旋转角度。
图7中的H表示从位置O″下落至xy平面的垂线与xy平面之间的交点。其欧拉角的各角度分量(ψ，θ，φ)相当于图像位置取向检测用线圈31的取向、即超声波断层像数据的取向。
匹配电路51根据以下的第1、第2、第3和第4的数据组，计算将在正交坐标轴O-xyz上表述的位置/取向映射为在正交坐标轴O′-x′y′z′上表述的体素空间内的位置/取向的转换式。
关于该计算方法将在后面叙述。并且，在下述第1和第2中说明的位置/取向数据根据被检体37的体动而产生变化。转换式也伴随被检体37的体动变化而重新生成。关于该转换式的重新生成也在后面叙述。
第1数据组为在位置/取向数据中的、体表检测用线圈7在正交坐标轴O-xyz上的位置向量的各方向分量(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)，其中，所述体表检测用线圈7分别安装在被检体37的剑突、左骼前上棘、右骼前上棘、腰椎棘突上。
图8表示安装在这些部位的体表检测用线圈7。
第2数据组为在位置/取向数据中的正交坐标轴O-xyz上的体腔内检测用线圈42的位置向量的各方向分量(xp，yp，zp)。
在图9中，利用粗点线表示在前端固定内置有体腔内检测用线圈42的体腔内接触探测器8。
第3数据组为关于1～N号的参照图像数据中任一个数据上的、各个剑突、左骼前上棘、右骼前上棘、腰椎棘突，分别从这些部位起最接近体表的像素在正交坐标轴O′-x′y′z′上的坐标(xa′，ya′，za′)、(xb′，yb′，zb′)、(xc′，yc′，zc′)、(xd′，yd′，zd′)。
这些像素预先由医生在1～N号的参照图像数据中任一个数据上进行指定。关于该指定方法将在后面叙述。
图9利用黑圈●和白圈○表示这些像素。(xa′，ya′，za′)、(xb′，yb′，zb′)、(xc′，yc′，zc′)、(xd′，yd′，zd′)如图4所示，被作为体表特征点坐标而从参照图像存储部55读出到匹配电路51中。
第4数据组为关于1～N号的参照图像数据中任一个数据上的、相当于十二指肠***的像素在正交坐标轴O′-x′y′z′上的坐标(xp″，yp″，zp″)。
这些像素预先由医生在1～N号的参照图像数据中任一个数据上进行指定。
关于该指定方法将在后面叙述。在图9中，利用p″表示该像素。第4像素的坐标(xp″，yp″，zp″)如图4所示，被作为体腔内特征点坐标而从参照图像存储部55读出到匹配电路51中。
然后，匹配电路51按照上述转换式映射在正交坐标轴O-xyz中计算出的位置/取向数据上，计算出在正交坐标轴O′-x′y′z′中的新的位置/取向数据。
然后，匹配电路51把该新的位置/取向数据作为位置/取向映射数据，输出给图像指标生成电路52和***形状生成电路53。
图像指标生成电路52根据在正交坐标轴O-xyz上的图像位置取向检测用线圈31的位置O″的位置向量OO″的各方向分量(x0，y0，z0)、与表示图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向的欧拉角的各角度分量(ψ，θ，φ)的合计6个自由度的位置/取向映射数据，生成图像指标数据，输出给合成电路58。
图10表示该状态。即，根据图10中上侧的位置/取向映射数据，生成图10中下侧所示的图像指标数据。
该图像指标数据是向平行四边形的超声波断层像标记Mu合成了例如蓝色的前端方向标记Md(在图10中表述为蓝)、和黄绿色的箭头状的6点方向标记Mt(在图10中表述为黄绿)而得到的正交坐标轴O′-x′y′z′上的图像数据。
***形状生成电路53根据图像位置取向检测用线圈31的位置O″的位置向量OO″的各方向分量(x0，y0，z0)、与多个***形状检测用线圈32在正交坐标轴O-xyz中的各自位置向量的各方向分量(xi，yi，zi)的位置/取向映射数据，(通过插值及标记生成处理)生成***形状数据，输出给合成电路58。
图11表示该状态。***形状数据是将图像位置取向检测用线圈31和多个***形状检测用线圈32的各自位置顺序连接插值得到的绳状***形状标记Ms、与表示各个线圈位置的线圈位置标记Mc合成而得到的正交坐标轴O′-x′y′z′上的图像数据。
(d)下面，按照第4的参照图像数据和将其加工生成的数据的流向，说明本实施例的作用。
医生事前利用X射线三维螺旋CT装置15和三维MRI装置16，对被检体37获取沿着被检体37的整个腹部的参照图像数据。
医生按动键盘13的规定的键或利用鼠标12选择画面上的菜单，来指示获取参照图像数据。与此同时，医生也指示获取目标。按照该指示，控制电路63指示通信电路54参照图像数据的获取及其获取目标。
例如，在获取目标是X射线三维螺旋CT装置15时，通信电路54从网络17获取多个二维CT图像作为参照图像数据，存储在参照图像存储部55中。
在利用X射线三维螺旋CT装置15进行拍摄时，在拍摄之前，从被检体37的血管注入X射线造影剂，使大动脉(aorta)、肠系膜上静脉(superior mesenteric vein)等血管(广义上讲是脉管)、和包括许多血管的器官在二维CT图像上以高亮度或中亮度进行显示，以便容易与周围的组织之间形成亮度差异。
并且，例如在获取目标是三维MRI装置16时，通信电路54从网络17获取多个二维MRI图像作为参照图像数据，存储在参照图像存储部55中。
在利用三维MRI装置16进行拍摄时，在拍摄之前，从被检体37的血管注入核磁共振的灵敏度较大的MRI用造影剂，使大动脉、肠系膜上静脉等血管、和包括许多血管的器官在二维MRI图像上以高亮度或中亮度进行显示，以便容易与周围的组织之间形成亮度差异。
以后，作为获取目标，医生选择X射线三维螺旋CT装置15时和选择三维MRI装置16时的作用相同，所以只说明选择X射线三维螺旋CT装置15作为获取目标，通信电路54获取多个二维CT图像作为参照图像数据时的作用。
图5表示存储在参照图像存储部55中的参照图像数据的示例。由于X射线造影剂的作用，大动脉、肠系膜上静脉等血管以高亮度进行造影，胰腺(pancreas)等包括许多末梢血管的器官以中亮度进行造影，十二指肠(duodenum)等以低亮度进行造影。
插值电路56从参照图像存储部55读出1号到N号的所有参照图像数据。然后，插值电路56将所读出的参照图像数据嵌入插值存储器56a的体素空间中。
具体地讲，向具有对应于像素的地址的体素输出参照图像数据的各个像素的亮度。然后，插值电路56以相邻的参照图像数据的亮度值为基础进行插值，利用数据填充空着的体素。这样，体素空间内的所有体素被填满了以参照图像数据为基础的数据(以下称为体素数据)。
三维人体图像生成电路57分别按照亮度值域从插值电路56中提取高亮度值的体素(主要是血管)、中亮度值的体素(主要是胰腺等包括许多末梢血管的器官)，按照亮度进行分类并着色。
然后，三维人体图像生成电路57将所提取的体素作为三维人体图像数据嵌入到合成电路58的合成存储器58a的体素空间中。此时，三维人体图像生成电路57在进行嵌入时，使所提取的体素在插值存储器56a内的体素空间中的地址与在合成存储器58a内的体素空间中的地址相同。
图12表示三维人体图像数据的示例。在图12所示的例子中，三维人体图像数据是针对高亮度的血管即大动脉和肠系膜上静脉、及中亮度的器官即胰腺提取的数据，血管被着色为红色，胰腺被着色为绿色，表示把被检体37的头侧作为右侧、把脚侧作为左侧，从腹侧进行观察时的三维数据。
三维人体图像生成电路57也具有提取脏器和血管等的提取单元的功能。另外，也可以将该提取单元设在三维引导图像生成电路A、B侧。并且，在三维引导图像生成电路A、B侧生成三维引导图像时，也可以选择脏器和血管。
合成电路58将图像指标数据和***形状数据嵌入到合成存储器58a内的体素空间中。图13表示该状态。
在图13中，为了便于说明，省略了存在于体素空间的三维人体图像数据(利用图14等表示不省略三维人体图像数据的情况)。这样，合成电路58在相同体素空间内，将三维人体图像数据和图像指标数据以及***形状数据嵌入到相同的合成存储器内，从而将它们合成为一组数据(以下称为合成三维数据)。
旋转转换电路59读出合成三维数据，按照来自控制电路63的旋转指示信号，对合成三维数据实施旋转处理。
三维引导图像生成电路A对合成三维数据实施删除暗面、附加阴影等渲染(rendering)处理，生成可以输出到画面上的图像数据(以下称为三维引导图像数据)。
三维引导图像数据的默认的方向为始于人体腹侧的方向。因此，三维引导图像生成电路A生成从被检体37的腹侧方向进行观察的三维引导图像数据。另外，作为三维引导图像数据的默认的方向，设为始于人体腹侧的方向，但也可以生成始于背侧的方向的三维引导图像数据。并且，还可以生成始于其他方向的三维引导图像数据。
该三维引导图像生成电路A将从被检体腹侧观察到的三维引导图像数据输出给混合电路61。图14表示该三维引导图像数据。图14中的右侧表示被检体头侧，左侧表示被检体脚侧。
在图14所示的三维引导图像数据中，使图像指标数据中的超声波断层像标记Mu成为半透明状，从而可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc。
对于其他脏器，使超声波断层像标记Mu不透明，使得看不到超声波断层像标记Mu的背侧部分。在图14中，利用虚线表示位于超声波断层像标记Mu的背侧、而且与超声波断层像标记Mu重叠的各个标记。
三维引导图像生成电路B对施加了旋转处理的合成三维数据实施删除暗面、附加阴影等渲染处理，生成可以输出到画面上的三维引导图像数据。
在本实施例中，作为一例，表示根据医生利用鼠标12、键盘13进行的输入，使来自控制电路63的旋转指示信号使得三维引导图像数据旋转90度，从而成为从脚侧观察的指示内容的情况。
因此，三维引导图像生成电路B生成在从被检体脚侧的方向观察到的三维引导图像数据。
三维引导图像生成电路B将从被检体脚侧观察到的三维引导图像数据输出给混合电路61。图15表示该三维引导图像数据。图15中的右侧表示被检体右侧，左侧表示被检体左侧。
在图15所示的三维引导图像数据中，使图像指标数据中的超声波断层像标记Mu成为半透明状，从而可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc。
对于其他脏器，使超声波断层像标记Mu不透明，使得看不到超声波断层像标记Mu的背侧部分。在图15中，利用虚线表示位于超声波断层像标记Mu的背侧、而且与超声波断层像标记Mu重叠的各个标记。
另外，图15中的超声波断层像标记Mu的显示是超声波断层像标记Mu的法线与观察视线即显示装置14的画面法线不一致正对的、即非正对的显示。
(e)下面，按照将第5的超声波断层像数据和三维引导图像数据合成后的最终显示画面的相关信号、数据的流向，说明本实施例的作用。
图4中的混合电路61排列来自超声波观测装置4的超声波断层像数据、来自三维引导图像生成电路A的从腹侧观察被检体37时的三维引导图像数据、以及来自三维引导图像生成电路B的从脚侧观察被检体37时的三维引导图像数据，并生成显示用的混合数据。
显示电路62把该混合数据转换为模拟视频信号输出给显示装置14。
显示装置14以该模拟视频信号为基础，排列显示超声波断层像、从脚侧观察被检体37时的三维引导图像数据、和从腹侧观察时的三维引导图像数据，使它们可以得到对比。
如图16所示，显示装置14对表现在三维引导图像上的各个器官，以对应于原来的参照图像数据上的亮度值的颜色，按照器官分颜色显示。
在图16的显示例中，胰腺显示为绿色，大动脉、肠系膜上静脉显示为红色。在图16中，利用虚线表示位于超声波断层像标记Mu的背侧、而且与超声波断层像标记Mu重叠的各个标记。
并且，如图16中利用空心箭头表示的那样，两个三维引导图像与径向扫描面的移动联动着移动。
(f)下面，按照第6的与控制相关的信号、数据的流向，说明本实施例的作用。
图4中的图像处理装置11内的匹配电路51、图像指标生成电路52、***形状生成电路53、通信电路54、参照图像存储部55、插值电路56、三维人体图像生成电路57、合成电路58、旋转转换电路59、三维引导图像生成电路A、三维引导图像生成电路B、混合电路61和显示电路62，按照来自控制电路63的指令得到控制。
关于控制的具体情况将在后面叙述。
以下，按照医生的使用方式，说明本实施例的图像处理装置11、键盘13、鼠标12、显示装置14的整体作用。图17是其整体流程图，步骤S1～S4的各个处理按照该顺序执行。
第一个步骤S1是参照图像数据上的体表特征点、体腔内特征点指定处理。即，在该步骤S1中，进行在参照图像数据上指定体表特征点和体腔内特征点的处理。
在后面的步骤S2中，医生将体表检测用线圈7固定在被检体37上。医生使被检体37保持使其左侧卧躺的***，即所谓的左侧卧位。医生触摸诊断被检体37，将体表检测用线圈7固定在最接近4个体表特征点、即剑突、左骼前上棘、右骼前上棘、以及腰椎棘突的体表上的位置。
后面的步骤S3是校正值计算处理。
在该步骤S3中，图像处理装置11进行以下处理：获取体腔内特征点的位置/取向数据，计算使在正交坐标轴O-xyz上表现的位置/取向数据映射到在正交坐标轴O′-x′y′z′上表现的体素空间内的位置/取向映射数据上的转换式，再根据体腔内特征点的位置/取向数据计算转换式的校正值。
在后面的步骤S4中，进行超声波断层像和三维引导图像生成/显示处理。该步骤S4是生成并显示超声波断层像和三维引导图像的处理。
下面，具体说明图17中的步骤S1的处理、即参照图像数据上的体表特征点、体腔内特征点指定处理。
图18表示图17中的步骤S1所示的在参照图像数据上指定体表特征点和体腔内特征点的处理的具体情况。
在第一个步骤S1-1中，医生按下显示切换键13α。控制电路63向显示电路62输出指令。显示电路62的开关62a根据指令切换到输入端子α上。
在后面的步骤S1-2中，医生使用鼠标12和键盘13，指定1～N号的任一个参照图像数据。
在后面的步骤S1-3中，控制电路63使显示电路62读出存储在参照图像存储部55中的1～N号的任一个参照图像数据中、所指定的参照图像数据。
显示电路62将来自参照图像存储部55的参照图像数据转换为模拟视频信号，向显示装置14输出参照图像数据。显示装置14显示参照图像数据。
在后面的步骤S1-4中，医生使用鼠标12和键盘13，在参照图像数据上指定体表特征点。具体情况如下所述。
医生使得对所显示的参照图像数据映射被检体37的4个体表特征点、即剑突、左骼前上棘、右骼前上棘、以及腰椎棘突中任一方。如果没有映射任一方，则返回步骤S1-2，医生重新指定其他的参照图像数据，重复显示不同的参照图像数据，直到在步骤S1-3中显示出所映射的参照图像数据。
医生使用鼠标12和键盘13，在所显示的参照图像数据上指定相当于最接近被检体37的体表面上的4点、即剑突、左骼前上棘、右骼前上棘、以及腰椎棘突的体表面上的点的像素。
利用图8和图9中的黑圈●和白圈○表示所指定的点。在本实施例中，为了便于说明，说明剑突○映射在n1号(1≤n1≤N)的参照图像数据上，左骼前上棘、右骼前上棘、腰椎棘突●映射在n2号(1≤n2≤N)的参照图像数据上的情况。
在图8和图9中，为了便于说明，在n2号参照图像数据上的相当于剑突的位置，利用○表示了剑突。
在后面的步骤S1-5中，医生使用鼠标12和键盘13指定体腔内特征点P″。在本实施例中，作为体腔内特征点P″，以十二指肠***(胆总管在十二指肠上的开口部：duodenal papilla)为例进行说明。具体情况如下所述。
医生使用鼠标12和键盘13指定1～N号的任一个参照图像数据。
控制电路63使显示电路62通过未图示的信号线读出存储在参照图像存储部55中的1～N号的任一个参照图像数据中、所指定的参照图像数据。
显示电路62将所读出的参照图像数据输出给显示装置14。显示装置14显示该参照图像数据。如果所显示的参照图像数据没有映射被检体37的体腔内特征点即十二指肠***，则医生重新指定其他的参照图像数据，重复显示不同的参照图像数据，直到显示所映射的参照图像数据。
医生使用鼠标12和键盘13，在所显示的参照图像数据上指定相当于被检体37的体腔内的点即十二指肠***的像素。
利用图9中的P″表示所指定的点。在本实施例中，为了便于说明，说明十二指肠***P″映射在n2号(1≤n2≤N)的参照图像数据上的情况。
在后面的步骤S1-6中，控制电路63对于相当于在步骤S1-4中指定的各个体表特征点的各个像素、和相当于在步骤S1-5中指定的体腔内特征点P″的像素，根据在参照图像数据上的地址计算形成于体素空间中的正交坐标轴O′-x′y′z′上的坐标，输出给匹配电路51。
把相当于在步骤S1-4中指定的各个体表特征点的各个像素在正交坐标轴O′-x′y′z′上的坐标的计算值设为(xa′，ya′，za′)、(xb′，yb′，zb′)、(xc′，yc′，zc′)、(xd′，yd′，zd′)。
把相当于在步骤S1-5中指定的体腔内特征点的像素在正交坐标轴O′-x′y′z′上的各个坐标的计算值设为(xp″，yp″，zp″)。
匹配电路51存储该坐标。在该步骤S1-6结束后，转入图17中的步骤S2。并且，在该步骤S2的处理之后，转入图17中的步骤S3的校正值计算处理。
图19表示步骤S3的校正值计算处理的具体情况。如上所述，该步骤S3进行以下处理：获取体腔内特征点的位置/取向数据，计算出使在正交坐标轴O-xyz上表现的位置/取向数据映射到在正交坐标轴O′-x′y′z′上表现的体素空间内的位置/取向映射数据上的转换式，再根据体腔内特征点的位置/取向数据计算转换式的校正值。
在步骤S3的校正值计算处理开始后，在第一个步骤S3-1中，医生按下显示切换键13β。对应于该指示，控制电路63向显示电路62输出指令。显示电路62的开关62a根据指令切换到输入端子β上。
然后，在步骤S3-2中，显示电路62把来自光学观察装置3的光学像数据转换为模拟视频信号，向显示装置14输出光学像。显示装置14显示光学像。
在后面的步骤S3-3中，医生将超声波内窥镜2的硬性部21和挠性部22***到被检体37的体腔内。
在后面的步骤S3-4中，医生一面观察光学像一面移动硬性部21，寻找体腔内特征点。医生发现体腔内特征点后，使硬性部21向体腔内特征点附近移动。
在后面的步骤S3-5中，医生一面观察光学像一面将体腔内接触探测器8从钳子口44***，使其从突出口45突出来。并且，医生在光学像视场下使体腔内接触探测器8的前端接触体腔内特征点。
图20表示该状态。在图20中，在显示画面上显示了光学像。在光学像中，作为体腔内特征点的示例，显示有十二指肠***P和体腔内接触探测器8。
在后面的步骤S3-6中，医生按下体腔内特征点指定键65。
在后面的步骤S3-7中，控制电路63向匹配电路51输出指令。匹配电路51根据指令从位置取向计算装置5获取位置/取向数据并存储。在该位置/取向数据中包含前面叙述的以下两种数据。
正交坐标轴O-xyz上的4个体表检测用线圈7的各自位置向量的各方向分量、即此时为4个体表特征点在正交坐标轴O-xyz中的坐标：(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)；以及
正交坐标轴O-xyz上的体腔内检测用线圈42的位置向量的各方向分量、即此时为体腔内特征点在正交坐标轴O-xyz中的坐标：(xp，yp，zp)。
在后面的步骤S3-8中，匹配电路51根据体表特征点的坐标生成表述第1映射的第1转换式。具体情况如下所述。
首先，匹配电路51存储以下内容。
第一是相当于在步骤S1中指定的各个体表特征点的各个像素在体素空间内的正交坐标轴O′-x′y′z′中的各个坐标：
(xa′，ya′，za′)、(xb′，yb′，zb′)、(xc′，yc′，zc′)、(xd′，yd′，zd′)；
第二是相当于在步骤S1中指定的体腔内特征点的像素在体素空间内的正交坐标轴O′-x′y′z′中的坐标：
(xp″，yp″，zp″)；
第三是在步骤S3-7中获取的体表特征点在正交坐标轴O-xyz中的各个坐标：
(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)；
第四是在步骤S3-7中获取的体腔内特征点在正交坐标轴O-xyz中的坐标：
(xp，yp，zp)。
匹配电路51根据其中第三的各个坐标(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)、和第一的各个坐标(xa′，ya′，za′)、(xb′，yb′，zb′)、(xc′，yc′，zc′)、(xd′，yd′，zd′)，生成表述使正交坐标轴O-xyz上的任意点成为体素空间内的正交坐标轴O′-x′y′z′上的点的第1映射的第1转换式。该第1映射和第1转换式被定义如下。
如图8所示，使用作为体表特征点的剑突、左骼前上棘、右骼前上棘、以及腰椎棘突，在被检体37上和体素空间内(在图8中表述为参照图像数据，而其实是在对这些向量插值得到的数据空间内)假设(设定)把从剑突朝向其他点的3个向量作为基本向量的、两个斜交坐标系。
所说第1映射指从被检体37到体素空间的映射，其中，“正交坐标轴O-xyz上的任意点的、利用被检体37上的斜交坐标系表述的坐标”、和“正交坐标轴O′-x′y′z′上的该任意点映射后的点的、利用体素空间内的斜交坐标系表述的坐标”相同。
并且，所说第1转换式指把“任意点在正交坐标轴O-xyz上的坐标”转换为“体素空间内的第1映射后的点在正交坐标轴O′-x′y′z′上的坐标”的式。
例如图8所示，把图像位置取向检测用线圈31的位置、即径向扫描的中心而且是超声波断层像的中心O″通过第1映射进行映射后的点设为Q′
把点Q′在正交坐标轴O′-x′y′z′上的坐标设为(x0′，y0′，z0′)。如果使用第1转换式，则点O″在正交坐标轴O-xyz上的坐标(x0，y0，z0)被转换为点Q′在正交坐标轴O′-x′y′z′上的坐标(x0′，y0′，z0′)。
在后面的步骤S3-9中，匹配电路51如图9所示，根据第1转换式将体腔内特征点P映射到体素空间内的点P′上。体腔内特征点P在正交坐标轴O-xyz上的坐标是(xp，yp，zp)。把第1映射后的点P′在正交坐标轴O′-x′y′z′上的坐标定义为(xp′，yp′，zp′)。
在后面的步骤S3-10中，匹配电路51根据点P′在体素空间内的正交坐标轴O′-x′y′z′上的坐标(xp′，yp′，zp′)、和相当于在步骤S1中指定的体腔内特征点的点P″在体素空间内的正交坐标轴O′-x′y′z′上的坐标(xp″，yp″，zp″)，按照下面所述计算向量P′P″。
P′P″＝(xp″，yp″，zp″)-(xp′，yp′，zp′)＝(xp″-xp′，yp″-yp′，zp″-zp′)
在后面的步骤S3-11中，匹配电路51存储向量P′P″。向量P′P″在后面的处理中被用作校正第1转换式并生成第2转换式的校正值。在该步骤S3-11结束后，转入后面的步骤S4。
下面，说明该步骤S4的超声波断层像和三维引导图像生成/显示处理。
图21表示在步骤S4生成并显示被检体37的实际超声波断层像和三维引导图像的处理的具体情况。
在步骤S4的处理开始后，在第一个步骤S4-1中，医生按下显示切换键13γ。控制电路63向显示电路62输出指令。显示电路62的开关62a根据该指令切换到输入端子γ上。
在后面的步骤S4-2中，医生按下扫描控制键66。
在后面的步骤S4-3中，控制电路63向超声波观测装置4输出扫描控制信号。并且，超声波振子阵列29开始径向扫描。
在后面的步骤S4-4中，控制电路63向混合电路61输出指令。混合电路61根据该指令，逐次获取对应于来自超声波观测装置4的径向扫描而输入的超声波断层像数据。
在后面的步骤S4-5中，控制电路63向匹配电路51输出指令。匹配电路51根据指令从位置取向计算装置5获取位置/取向数据并存储。该获取是瞬时进行的。因此，匹配电路51获取在步骤S4-4中由混合电路61获取超声波断层像数据的瞬间的包括以下数据的位置/取向数据。
正交坐标轴O-xyz上的图像位置取向检测用线圈31的位置、即径向扫描的中心而且是超声波断层像的中心O″的位置向量OO″的各方向分量：
(x0，y0，z0)；
图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向、即表示超声波断层像的取向的欧拉角的各角度分量：
(ψ，θ，φ)；
正交坐标轴O-xyz上的多个***形状检测用线圈32的各自位置向量的各方向分量：
(xi，yi，zi)(i为1到***形状检测用线圈32的总数的自然数)；
正交坐标轴O-xyz上的4个体表检测用线圈7的各自位置向量的各方向分量：
(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)。
在后面的步骤S4-6中，匹配电路51使用在步骤S4-5中获取的位置/取向数据中、正交坐标轴O-xyz上的4个体表检测用线圈7的各自位置向量的各方向分量(xa，ya，za)、(xb，yb，zb)、(xc，yc，zc)、(xd，yd，zd)，更新在步骤S3中存储的第1转换式。
然后，匹配电路51使基于在步骤S3中存储的向量P′P″的平行移动与更新后的第1转换式对应，来重新生成表述第2映射的第2转换式。
匹配电路51使第1转换式和基于向量P′P″的平行移动相对应，来生成表述第2映射的第2转换式。第2映射的概念如下所述。
第2映射＝第1映射+基于向量P′P″的平行移动
基于向量P′P″的平行移动具有以下所示的校正效果。向量P′P″被用作校正值。
将第1映射设为从被检体37到体素空间的映射，其中，“正交坐标轴O-xyz上的任意点的、利用被检体37上的斜交坐标系表述的坐标”、和“正交坐标轴O′-x′y′z′上的该任意点映射后的点的、利用体素空间内的斜交坐标系表述的坐标”相同。
从理想上希望基于体腔内特征点P在体素空间内的第1映射的映射点P′、与相当于在步骤S1指定的体腔内特征点的点P″一致。但是，实际上很难做到准确一致。
其原因是，因为各种原因使得“正交坐标轴O-xyz上的任意点和被检体37上的斜交坐标系之间的空间位置关系”、以及“相当于解剖学上的任意点的正交坐标轴O′-x′y′z′上的点、和体素空间内的斜交坐标系之间的空间位置关系”不完全一致。
通过本实施例来进行说明时，因为如下原因：虽然能够从骨骼上具有特征的体表特征点的各个坐标求出第1映射和第1转换式，但是作为体腔内特征点的十二指肠***P未必始终处于与骨骼上的体表特征点相同的位置关系。
其原因主要可以列举如下，X射线三维螺旋CT装置15和三维MRI装置16通常以仰卧位进行拍摄，***与进行左侧卧位下的超声波内窥镜2检查时不同，所以被检体37内的各个器官随着重力而产生位移。
因此，通过使基于作为校正值的向量P′P″的平行移动与第1映射对应并形成第2映射，使体腔内特征点P的映射点在体素空间内与相当于体腔内特征点的点P″一致。另外，被检体37的其他点，例如为超声波断层像的中心O″，也通过第2映射实现在解剖学上更加准确的一致。
在后面的步骤S4-7中，匹配电路51使用重新生成的第2转换式，将在步骤S4-5中获取的位置/取向数据中的、正交坐标轴O-xyz上的超声波断层像的中心O″的位置向量OO″的各方向分量(x0，y0，z0)、表示图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向的欧拉角的各角度分量(ψ，θ，φ)、和正交坐标轴O-xyz上的多个***形状检测用线圈32的各自位置向量的各方向分量(xi，yi，zi)(i为1到***形状检测用线圈32的总数的自然数)转换为位置/取向映射数据。
如图8所示，在第1转换式中，超声波断层像的中心O″被映射到体素空间上的点Q′上，但在该步骤中，通过使用重新生成的第2转换式，如图9所示，超声波断层像的中心O″被映射到体素空间上的点Q″上。表示Q′和Q″之间的差异的向量Q′Q″与基于第2映射的平行移动的校正量一致，所以与向量P′P″相同。即，下式成立。
Q′Q″＝P′P″
在后面的步骤S4-8中，图像指标生成电路52生成图像指标数据。***形状生成电路53生成***形状数据。
合成电路58将三维人体图像数据、图像指标数据和***形状数据合成，生成合成三维数据。
旋转转换电路59对合成三维数据实施旋转处理。
三维引导图像生成电路A和三维引导图像生成电路B分别生成三维引导图像数据。
以上各个处理如前面所述。
在后面的步骤S4-9中，混合电路61排列超声波断层像数据和三维引导图像数据，来生成显示用的混合数据。
显示电路62把该混合数据转换为模拟视频信号。
显示装置14以该模拟视频信号为基础，按照图16所示，排列显示超声波断层像、从腹侧观察被检体37时的三维引导图像、和从脚侧观察时的三维引导图像。
以上各个处理如前面所述。
在后面的步骤S4-10中，控制电路63确认在步骤S4-4～步骤S4-9之间，医生是否再次按下扫描控制键66。
在医生再次按下扫描控制键66时，控制电路63在此结束上述处理，向超声波观测装置4输出用于指示径向扫描的控制OFF的扫描控制信号。超声波振子阵列29结束径向扫描。
在医生没有再次按下扫描控制键66时，处理跳到步骤S4-4。
这样，通过重复在步骤S4-4～步骤S4-9中叙述的处理，超声波振子阵列29进行一次径向扫描，超声波观测装置4生成超声波断层像数据，每当从超声波观测装置4向混合电路61输入超声波断层像数据时，生成两个新的三维引导图像，并与新的超声波断层像一起实时地更新显示在显示装置14的显示画面上。
即，如图16所示，与伴随医生对挠性部22、硬性部21的手动操作的径向扫描面的移动联动，图像指标数据上的超声波断层像标记Mu、前端方向标记Md、6点方向标记Mt、以及***形状数据上的***形状标记Ms和线圈位置标记Mc，也在三维人体图像数据上移动或变形。
本实施例具有以下效果。
在本实施例中，超声波内窥镜2设有：硬性部21，其用于在对体腔内的***侧固定设置超声波振子阵列29，该超声波振子阵列29获取用于生成被检体37内的超声波断层像的信号；和位于比硬性部21偏跟前侧的位置的挠性部22，在体腔内探测装置1中，设有根据超声波振子29a获取的回波信号生成被检体37内的超声波断层像的超声波观测装置4，并相对于硬性部21固定空间位置而设置图像位置取向检测用线圈31，沿着挠性部22设置多个***形状检测用线圈32，设置多个可以接触到被检体37的体表检测用线圈7，设置检测出图像位置取向检测用线圈31的位置和取向的6个自由度、多个***形状检测用线圈32的各自位置、体表检测用线圈7的位置或取向而作为位置/取向数据输出的发送天线6和位置取向计算装置5，设置生成表示超声波观测装置4生成的被检体37内的超声波断层像的位置和取向的超声波断层像标记Mu的图像指标生成电路52，合成电路58以位置取向计算装置5输出的位置/取向数据为基础，合成挠性部22的前端侧的***形状和超声波断层像标记Mu以及三维人体图像数据，还设置三维引导图像生成电路A、B，它们引导挠性部22和超声波断层像相对于被检体37的位置和取向。
因此，本实施例可以检测超声波内窥镜2的硬性部21和挠性部22的***形状和超声波断层像的方向，并且减小放射线的辐射损害，可以生成包括两者的三维引导图像。
并且，在本实施例中实现下述结构及作用：图像指标生成电路52生成向超声波断层像标记Mu合成了蓝色的前端方向标记Md和黄绿色箭头状的6点方向标记Mt而得到的图像指标数据，合成电路58在相同体素空间内合成三维人体图像数据、图像指标数据和***形状数据，混合电路61生成显示用的混合数据，以便排列显示来自超声波观测装置4的超声波断层像数据和三维引导图像数据，显示电路62把该混合数据转换为模拟视频信号，显示装置14以该模拟视频信号为基础，排列显示超声波断层像和三维引导图像。
因此，本实施例可以引导超声波断层像与胰腺等关注区域之间的位置关系，并且可以引导超声波内窥镜2的径向扫描面和挠性部22以及硬性部21相对于消化管等的体腔壁成为哪种取向及形状。
因此，医生可以从视觉上掌握它们之间的关系，能够容易进行对关注区域的诊断、处理等。
并且，在本实施例中实现下述结构及作用：匹配电路51重复在步骤S4-4～步骤S4-9中叙述的处理，获取混合电路61获取超声波断层像数据的瞬间的位置/取向数据，使第1转换式和基于向量P′P″的平行移动相对应，重新生成表述第2映射的第2转换式，并重复进行以下处理，即，把正交坐标轴O-xyz上的超声波断层像的中心O″的位置向量OO″的各方向分量(x0，y0，z0)、表示图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向的欧拉角的各角度分量(ψ，θ，φ)、和正交坐标轴O-xyz上的多个***形状检测用线圈32的各自位置向量的各方向分量(xi，yi，zi)(i为1到***形状检测用线圈32的总数的自然数)转换为位置/取向映射数据。
因此，本实施例具有以下效果，即使被检体37的***在超声波内窥镜2的检查中发生变化，只要体表特征点与脏器的之间的位置关系不变，则超声波断层像、挠性部22、硬性部21与三维引导图像上的超声波断层像标记Mu、前端方向标记Md、6点方向标记Mt及***形状标记Ms，可以分别实现在解剖学上准确的一致。
并且，X射线三维螺旋CT装置15和三维MRI装置16通常以仰卧位进行拍摄，***与进行左侧卧位的超声波内窥镜检查时不同，但本实施例实现下述结构及作用：匹配电路51使基于作为校正值的向量P′P″的平行移动与第1映射对应，生成表述第2映射的第2转换式。
因此，本实施例即使在进行左侧卧位的超声波内窥镜检查的情况下，被检体37内的各个器官相比于X射线三维螺旋CT装置15和三维MRI装置16而言随着重力而产生位移，也能够通过第2映射实现在解剖学上的与被检体37的点、例如超声波断层像的中心O″更加准确的一致。所以，三维引导图像能够更加准确地引导超声波断层像。
并且，在本实施例中实现下述结构及作用：三维引导图像生成电路A生成在右侧为被检体头侧、左侧为被检体脚侧的情况下，从被检体37的腹侧方向观察到的三维引导图像数据。被检体37可以在超声波内窥镜检查中通常以左侧卧位的***接受检查。
在本实施例中，三维引导图像也显示为左侧卧位，所以容易对比被检体37和三维引导图像，医生容易明白三维引导图像。因此，本实施例可以提高或者适当辅佐医生进行诊断、处理等时的操作性。
并且，根据本实施例，三维引导图像生成电路A和三维引导图像生成电路B生成在彼此不同的方向上设定视线的三维引导图像，所以能够从多个方向引导超声波断层像与胰腺等关注区域之间的位置关系，并且可以从多个方向引导超声波断层像和超声波内窥镜2的挠性部22以及硬性部21相对于消化管等体腔壁形成哪种取向和形状，所以医生容易明白。
(变形例)
在本实施例中，设置了具有处理器具通道46的超声波内窥镜2、和插通到处理器具通道46中的体腔内接触探测器8，但其结构不限于此。
如果使物镜25的焦点通过光学观察窗24对准体腔内特征点，不使用体腔内探测器8就可使硬性部21自身准确地接触到体腔内特征点，则也可以利用固定设置在硬性部21上的图像位置取向检测用线圈31代替体腔内接触探测器8的体腔内检测用线圈42。
此时，图像位置取向检测用线圈31不仅用作图像位置取向检测用元件，而且也用作体腔内检测用元件。
并且，在本实施例中，使用电子径向扫描式超声波内窥镜2作为超声波探测器，但也可以像现有技术的日本特开2004-113629号公报公开的体腔内探测装置那样，可以是机械扫描式超声波内窥镜、在***轴的一方设置扇状超声波振子群的电子凸面扫描式超声波内窥镜、以及胶囊型的超声波探测器，并且不限于超声波扫描方式。另外，还可以是没有光学观察窗24的超声波探测器。
并且，在本实施例中，在超声波内窥镜2的硬性部21中，将超声波振子切断为细细的长方形状，并在***轴的周围排列成环状阵列，但超声波振子阵列29也可以沿360°的整个圆周进行设置，或者也可以将其缺少一部分。例如，也可以沿着270°或180°部分地形成超声波振子阵列29。
并且，在本实施例中实现以下结构及作用：使用发送天线6和接收线圈作为位置检测单元，利用磁场检测位置和取向，但收发也可以相反。通过利用磁场检测位置和取向，可以利用简单的结构形成位置(取向)检测单元，并且实现低成本及小型化。
但是，位置(取向)检测单元不限于采用磁场的结构，也可以实现利用加速度和其他手段检测位置和取向的结构及作用。
并且，在本实施例中构成为将原点O设定在发送天线6上的特定位置，但也可以构成为将原点O设定在与发送天线6之间的位置关系不变的其他部位。
并且，在本实施例中，将图像位置取向检测用线圈31固定设在硬性部21上，但只要其位置相对于硬性部21是固定(确定)的，也可以不在硬性部21内部。
并且，在本实施例中构成为按照器官分颜色显示三维引导图像上的各个器官，但不限于分颜色(显示色的变更)的方式，也可以采用亮度、明度、色彩度等其他方式。例如，也可以按照器官改变亮度的值等。
并且，在本实施例中实现以下结构及作用：使用利用X射线三维螺旋CT装置15、三维MRI装置16拍摄到的多个二维CT图像和二维MRI图像，作为参照图像数据，但也可以采用使用PET(Positoron EmissionTomography)那样的其他模式事前获取的三维图像数据。并且，也可以采用利用从体外照射超声波的方式的、所谓体外式的体腔内探测装置事前获取的三维图像数据。
并且，在本实施例中实现以下结构及作用：可使用利用X射线三维螺旋CT装置15等从被检体37拍摄到的图像数据，作为参照图像数据，但也可以事前采用体格相似的性别相同的其他人的图像数据。
并且，在本实施例中构成为设置由沿一轴方向卷绕的4个线圈构成的体表检测用线圈7，利用胶带、带子、捆绑带等将它们以相对于多个体表特征点可自由装卸的方式固定在被检体体表上，从而同时获得体表特征点的位置/取向数据，但也可以实现下述的结构及作用，即，取代一个线圈例如体腔内检测用线圈42，在进行超声波内窥镜2的检查之前，使被检体37保持左侧卧位，然后使体腔内接触探测器8的前端依次接触多个体表特征点，并依次获得体表特征点的位置/取向数据。
并且，在本实施例中，位置取向计算单元对体表检测用线圈7计算其位置，作为位置/取向数据，但也可以取代位置而计算绕线轴的方向。并且，还可以计算位置和绕线轴的方向双方。通过对一个体表检测用线圈7增加位置取向计算装置5计算的自由度，可以减少体表检测用线圈7的个数，可以减小在被检体37上固定体表检测用线圈7时和超声波内窥镜检查中的医生和被检体37的负担。
并且，在本实施例中，说明了把体表特征点设为腹部体表的剑突、左骼前上棘、右骼前上棘、以及腰椎棘突，把体腔内特征点设为十二指肠***的情况，但不限于该示例，也可以是胸部体表和胸部体腔内的特征点或其他示例。一般，体表特征点采用与骨骼相关的点时，有关超声波断层像标记Mu的取向的精度较好。
并且，在本实施例中，根据医生利用鼠标12和键盘13进行的输入，来自控制电路63的旋转指示信号使三维引导图像数据旋转90度，从而形成从脚侧观察到的指示内容，三维引导图像生成电路B生成从被检体脚侧的方向观察到的三维引导图像数据，但不限于此，也可以根据医生利用鼠标12和键盘13进行的输入，以任意轴、任意角度使三维引导图像相对于输入实时旋转。
[实施例2]
下面，说明本发明的实施例2。本实施例的结构与实施例1相同。但是，只有三维引导图像生成电路B的作用与实施例1不同。
下面，说明本实施例的作用。
如上所述，本实施例只有三维引导图像生成电路B的作用与实施例1不同。
在实施例1中，如图15所示，三维引导图像生成电路B生成从被检体脚侧的方向观察到的三维引导图像数据，输出给混合电路61。
并且，与伴随医生对挠性部22、硬性部21的手动操作的径向扫描面的移动一起，图像指标数据上的超声波断层像标记Mu、前端方向标记Md、6点方向标记Mt、以及***形状数据上的***形状标记Ms和线圈位置标记Mc在三维人体图像数据上移动或变形。
在本实施例中，如图22所示，三维引导图像生成电路B以位置/取向映射数据为基础，生成针对画面将超声波断层像标记Mu的法线与观察法线即显示装置14的画面法线一致地对齐、而且6点方向标记Mt被设定为朝向显示装置14的画面的下方向的引导图像。
而图22中的三维引导图像数据而言，与伴随医生对挠性部22、硬性部21的手动操作的径向扫描面的移动一起，将图像指标数据上的超声波断层像标记Mu、前端方向标记Md、6点方向标记Mt、以及***形状数据上的***形状标记Ms和线圈位置标记Mc固定在显示装置14的画面上，三维人体图像数据在显示装置14的画面上移动。
在图22的三维引导图像数据中，使图像指标数据中的超声波断层像标记Mu成为半透明状，从而可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc。
对于其他脏器，使超声波断层像标记Mu不透明，使得看不到超声波断层像标记Mu的背侧部分。
其他作用与实施例1相同。
本实施例具有以下效果。
根据本实施例，可以实现以下结构及作用：三维引导图像生成电路B以位置/取向映射数据为基础，生成针对画面将超声波断层像标记Mu的法线与观察法线即显示装置14的画面法线一致地对齐、而且6点方向标记Mt被设定为朝向显示装置14的画面的下方向的三维引导图像，所以该三维引导图像与在显示装置14的画面上排列实时显示的超声波断层像的方向一致。因此，医生容易对比两者，容易进行超声波断层像的解剖分析。
其他效果与实施例1相同。
(变形例)
作为本实施例的变形例，可以适用在实施例1中说明的变形例。
[实施例3]
下面，说明本发明的实施例3。
本实施例的结构与实施例2相同。本实施例只有三维引导图像生成电路B的作用与实施例2不同。
下面，说明本实施例的作用。
如上所述，本实施例只有三维引导图像生成电路B的作用与实施例2不同。
在实施例2中，如图22所示，三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，从而可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，对于其他脏器，使超声波断层像标记Mu不透明，生成看不到超声波断层像标记Mu的背侧部分的三维引导图像数据，输出给混合电路61。
在本实施例中，如图23所示，三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状。并且，三维引导图像生成电路B不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，分别改变超声波断层像标记Mu的表侧和背侧部分的亮度，生成三维引导图像数据，输出给混合电路61。
如果是胰腺，则超声波断层像标记Mu的表侧(跟前侧)部分利用深绿色生成，背侧部分利用浅绿色生成。如果是血管，则超声波断层像标记Mu的表侧(跟前侧)部分利用深红色生成，背侧部分利用浅红色生成。
在图23中，利用虚线表示位于超声波断层像标记Mu的背侧、而且与超声波断层像标记Mu重叠的各个标记和各个器官。
其他作用与实施例2相同。
本实施例具有以下效果。
根据本实施例，可以实现以下结构及作用：三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，分别改变超声波断层像标记Mu的表侧和背侧部分的亮度，生成三维引导图像数据。
因此，医生容易明白怎样进一步移动挠性部22和硬性部21，才能在超声波断层像上显示患部等关注区域，医生容易进行超声波内窥镜2的挠性部22和硬性部21的操作。
尤其像胆囊那样容易在被检体37内部缓慢移动的脏器，虽然可以映射在超声波断层像标记Mu上，但可能映射不到超声波断层像上。本实施例的三维引导图像形成为如果医生稍微移动硬性部21和挠性部22，就可以在超声波断层像上描画胆囊的标记，所以医生容易进行超声波内窥镜2的挠性部22和硬性部21的操作。
其他效果与实施例2相同。
(变形例)
在本实施例中实现以下结构及作用：使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，但作为其变形例，医生也可以根据基于鼠标12和键盘13的选择输入自由变更透明度。
作为其他变形例，可以适用实施例2的变形例。
[实施例4]
下面，说明本发明的实施例4。本实施例的结构与实施例3相同。本实施例只有三维引导图像生成电路B的作用与实施例3不同。
下面，说明本实施例的作用。
如上所述，本实施例的作用中只有三维引导图像生成电路B的作用与实施例3中的作用不同。
在实施例3中，如图23所示，三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，分别改变超声波断层像标记Mu的表侧和背侧部分的亮度，生成三维引导图像数据，输出给混合电路61。
如果是胰腺，则超声波断层像标记Mu的表侧(跟前侧)部分利用深绿色生成，背侧部分利用浅绿色生成。如果是血管，则比超声波断层像标记Mu偏表侧(跟前侧)的位置的部分利用深红色生成，背侧部分利用浅红色生成。
在本实施例中，如图24所示，三维引导图像生成电路B不显示利用图像指标数据中的超声波断层像标记Mu划分的两个区域中的挠性部22的前端侧、即显示装置14的画面跟前侧，生成改变超声波断层像标记Mu上的部分和背侧部分的亮度的三维引导图像数据，输出给混合电路61。
如果是胰腺，则位于超声波断层像标记Mu上的部分利用深绿色生成，位于背侧的部分利用浅绿色生成。如果是血管，则位于超声波断层像标记Mu上的部分利用深红色生成，位于背侧的部分利用浅红色生成。
其他作用与实施例3相同。
本实施例具有以下效果。
在本实施例中实现以下结构及作用：三维引导图像生成电路B不显示利用图像指标数据中的超声波断层像标记Mu划分的两个区域中的挠性部22的前端侧、即显示装置14的画面跟前侧，生成改变超声波断层像标记Mu上的部分和背侧部分的亮度的三维引导图像数据。
因此，根据本实施例，跟前侧的脏器不会成为医生观察三维引导图像的障碍，更加容易对比该三维引导图像和在显示装置14的画面上排列而实时显示的超声波断层像，容易进行超声波断层像的解剖分析。
其他效果与实施例3相同。
(变形例)
本实施例的变形例可以适用实施例3的变形例。
[实施例5]
下面，说明本发明的实施例5。本实施例的结构与实施例1相同。本实施例只有三维引导图像生成电路B的作用与实施例1不同。
下面，说明本实施例的作用。
如上所述，本实施例只有三维引导图像生成电路B的作用与实施例1不同。
在实施例1中，如图15所示，三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，对于其他脏器，使超声波断层像标记Mu不透明，生成看不到超声波断层像标记Mu的背侧部分的三维引导图像数据，输出给混合电路61。
在本实施例中，如图25所示，三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，分别改变超声波断层像标记Mu的表侧和背侧部分的亮度，生成三维引导图像数据，输出给混合电路61。
如果是胰腺，则相比于超声波断层像标记Mu位于前端方向标记Md侧的部分利用深绿色生成，位于相反侧的部分利用浅绿色生成。如果是血管，则相比于超声波断层像标记Mu位于前端方向标记Md侧的部分利用深红色生成，位于相反侧的部分利用浅红色生成。
其他作用与实施例1相同。
本实施例具有以下效果。
根据本实施例，可以实现以下结构及作用：三维引导图像生成电路B使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，分别改变超声波断层像标记Mu的表侧和背侧部分的亮度，生成三维引导图像数据。
因此，医生容易明白怎样进一步移动挠性部22和硬性部21，才能在超声波断层像上显示患部等关注区域，容易进行超声波内窥镜2的操作。
尤其像胆囊那样容易在被检体37内部缓慢移动的脏器，虽然可以映射在超声波断层像标记Mu上，但可能映射不到超声波断层像上。本实施例的三维引导图像形成为如果医生稍微移动硬性部21和挠性部22，就可以在超声波断层像上描画胆囊的标记，所以医生容易进行超声波内窥镜2的操作。
其他效果与实施例1相同。
(变形例)
在本实施例中实现以下结构及作用：使图像指标数据中的超声波断层像标记Mu成为半透明状，不仅可以透视观看图像指标数据的6点方向标记Mt和前端方向标记Md、及***形状数据的***形状标记Ms和线圈位置标记Mc，而且也可以透视观看其他脏器的超声波断层像标记Mu的背侧部分，但作为其变形例，医生也可以利用鼠标12和键盘13自由变更透明度。
作为其他变形例，可以适用实施例1的变形例。
[实施例6]
下面，说明本发明的实施例6。只说明与实施例1不同的部分。
在实施例1的图像处理装置11中，硬性部21将图像位置取向检测用线圈31固定设置在超声波振子阵列29的环的中心极近的位置。
在本实施例中，在硬性部21中，图像位置取向检测用线圈31固定设置在CCD摄像机26的极近位置。
图像位置取向检测用线圈31所固定的方向与实施例1相同。CCD摄像机26的光轴在包括图1中的V和V12的平面内相对于V朝向已知的角度。
图26表示本实施例的图像处理装置11。在实施例1的图像处理装置11中，混合电路61与超声波观测装置4连接。在本实施例中，混合电路61不与超声波观测装置4连接，而连接光学观察装置3上。
其他结构与实施例1相同。
下面，说明本实施例的作用。
在实施例1的图像处理装置11中，说明了医生选择X射线三维螺旋CT装置15作为获取目标，通信电路54获取多个二维CT图像作为参照图像数据，图5所示的参照图像数据被存储在参照图像存储部55中时的作用。作为示例，由于X射线造影剂的作用，大动脉、肠系膜上静脉等血管以高亮度进行造影，胰腺等包括许多末梢血管的器官以中亮度进行造影，十二指肠等以低亮度进行造影。
在本实施例中，说明利用X射线三维螺旋CT装置15非造影地拍摄胸部、特别是气管、支气管、分支气管的示例，说明支气管具有两个分支气管，在分支为分支气管a和分支气管b的部位将超声波内窥镜2***到分支气管a中的示例。
光学观察装置3将光学像的12点方向(上方向)设为与V12在包括图1中的V和V12的平面上的投影方向相反的方向，生成光学像数据。
三维人体图像生成电路57从插值电路56提取高亮度值的体素(主要是气管、支气管、分支气管的壁)并着色。然后，三维人体图像生成电路57将所提取的体素作为三维人体图像数据，嵌入到合成电路58的合成存储器58a的体素空间中。
此时，三维人体图像生成电路57在进行嵌入时，使所提取的体素在插值存储器56a内的体素空间的地址、与在合成存储器内的体素空间的地址相同。三维人体图像数据是高亮度的气管壁、支气管壁、分支气管壁被提取，各个壁被着色为肤色，使被检体头侧为右侧、使脚侧为左侧而从腹侧观察到的三维数据。
图像指标生成电路52根据正交坐标轴O-xyz上的图像位置取向检测用线圈31的位置O″的位置向量OO″的各方向分量(x0，y0，z0)、和表示图像位置取向检测用线圈31相对于正交坐标轴O-xyz的取向的欧拉角的各角度分量(ψ，θ，φ)的合计6个自由度的位置/取向映射数据生成图像指标数据，输出给合成电路58。
图像指标数据是将表示光轴方向的橙色的光学像视场方向标记、和表示光学像的12点方向的黄绿色的光学像up方向标记合成后的正交坐标轴O′-x′y′z′上的图像数据。
***形状生成电路53与实施例1相同，根据图像位置取向检测用线圈31的位置O″的位置向量OO″的各方向分量(x0，y0，z0)、和正交坐标轴O-xyz上的多个***形状检测用线圈32的各自位置向量的各方向分量(xi，yi，zi)的位置/取向映射数据，生成***形状数据，输出给合成电路58。
图11表示该状态。***形状数据是将图像位置取向检测用线圈31和多个***形状检测用线圈32的各自位置顺序连接插值得到的绳状***形状标记Ms、与表示各个线圈位置的线圈位置标记Mc合成后的正交坐标轴O′-x′y′z′上的图像数据。
合成电路58将图像指标数据和***形状数据嵌入到合成存储器58a内的体素空间中。这样，合成电路58在相同体素空间内，将三维人体图像数据、图像指标数据和***形状数据嵌入到相同的合成存储器58a内，从而将它们合成为一组的合成三维数据。
旋转转换电路59读出合成三维数据，按照来自控制电路63的旋转指示信号，对合成三维数据实施旋转处理。
三维引导图像生成电路A对合成三维数据实施删除暗面、附加阴影等渲染处理，生成可以输出到画面上的三维引导图像数据。三维引导图像数据的默认的方向为始于人体腹侧的方向。
因此，三维引导图像生成电路A生成从被检体37的腹侧方向观察到的三维引导图像数据。三维引导图像生成电路A将从被检体腹侧观察到的三维引导图像数据输出给混合电路61。图27表示该三维引导图像数据。图27中的右侧表示被检体头侧，左侧表示被检体脚侧。
在图27所示的三维引导图像数据中，使支气管的壁、其前端的分支气管a和分支气管b的壁成为半透明状，可以观看图像指标数据的光学像视场方向标记和光学像up方向标记、及***形状数据的***形状标记Ms和线圈位置标记Mc。
三维引导图像生成电路B对施加了旋转处理的合成三维数据实施删除暗面、附加阴影等渲染处理，生成可以输出到画面上的三维引导图像数据。
在本实施例中，作为一例，表示根据医生利用鼠标12、键盘13进行的输入，来自控制电路63的旋转指示信号使三维引导图像数据旋转90度，从而成为从脚侧观察到的指示内容的情况。
因此，三维引导图像生成电路B生成在从被检体脚侧的方向观察到的三维引导图像数据。三维引导图像生成电路B将从被检体脚侧观察到的三维引导图像数据输出给混合电路61。图28表示该三维引导图像数据。图28中的右侧表示被检体右侧，左侧表示被检体左侧。
在图28所示的三维引导图像数据中，使支气管的壁、其前端的分支气管a和分支气管b的壁成为半透明状，可以观看图像指标数据的光学像视场方向标记和光学像up方向标记、及***形状数据的***形状标记Ms和线圈位置标记Mc。
混合电路61排列来自光学观察装置3的光学像数据、来自三维引导图像生成电路A的从腹侧观察到被检体37的三维引导图像数据、以及来自三维引导图像生成电路B的从脚侧观察到被检体37的三维引导图像数据，生成显示用的混合数据。
显示电路62把该混合数据转换为模拟视频信号。
显示装置14以该模拟视频信号为基础，排列显示光学像、从脚侧观察到被检体37的三维引导图像数据、和从腹侧观察到的三维引导图像数据。
如图29所示，显示装置14利用肤色显示在三维引导图像上呈现的支气管的壁和分支气管的壁。
在本实施例中，光学像被处理为实时图像。
与实施例1相同，在本实施例中，生成两个新的三维引导图像，并与新的光学像一起实时地更新显示在显示装置14的显示画面上。即，如图29所示，与伴随医生对挠性部22、硬性部21的手动操作的光轴的移动联动，图像指标数据的光学像视场方向标记和光学像up方向标记、以及***形状数据上的***形状标记Ms和线圈位置标记Mc，也在三维人体图像数据上移动或变形。
其他作用与实施例1相同。
本实施例具有以下效果。
根据本实施例，可以实现以下结构及作用：使支气管的壁、其前端的分支气管a和分支气管b的壁成为半透明状，生成可以观看图像指标数据的光学像视场方向标记和光学像up方向标记、及***形状数据的***形状标记Ms和线圈位置标记Mc的三维引导图像数据，混合电路61和显示装置14排列显示光学像、从腹侧观察到被检体37的三维引导图像和从脚侧观察到的三维引导图像。
因此，本实施例可以防止在将超声波内窥镜2(或以下变形例中说明的内窥镜)***到分支气管a时错误地***到分支气管b的情况。
其他效果与实施例1相同。
在此说明了***到支气管的深处侧的情况，而在其他情况下，生成可以观看图像指标数据的光学像视场方向标记和光学像up方向标记、及***形状数据的***形状标记Ms和线圈位置标记Mc的合成后的三维引导图像数据，所以医生能够将体腔内探测器***到体腔内部并顺利进行诊断、处理。因此，可以实现医生能够顺利进行诊断、处理的体腔内探测装置。
(变形例)
根据本实施例，与实施例1相同，作为体腔内探测器使用了设有光学观察***(光学观察窗24、物镜25、CCD摄像机26和未图示的照明光照射窗)的电子径向扫描式超声波内窥镜2，但是作为体腔内探测器，也可以使用只设有光学观察***的内窥镜来代替超声波内窥镜2。
其他变形例可以适用实施例1的变形例。
另外，对上述各个实施例等进行部分组合等构成的实施例等也属于本发明。并且，也可以变更在图4等中示出的图像处理装置11的方框结构。
并且，本发明不限于上述实施方式，当然可以在不脱离本发明宗旨的范围内进行各种变形和应用。
在本发明中，在较大范围内，不同的实施方式当然可以在不脱离发明宗旨和范围的情况下根据本发明构成。本发明除了权利要求的限定之外，不受其特定实施方式的限制。

Claims (7)

1.一种体腔内探测装置，该体腔内探测装置具有：***到被检体的体腔内的体腔内探测器；生成所述体腔内探测器的***形状的***形状生成单元；根据人体的三维数据生成所述人体的三维图像的三维图像生成单元；以及合成所述***形状和所述三维图像的合成单元，所述体腔内探测装置的特征在于，
所述体腔内探测器具有：硬性部，其用于将图像信号获取单元固定设置到对所述体腔内的***侧，该图像信号获取单元获取用于生成所述被检体内的图像的信号；以及位于比所述硬性部偏跟前侧的位置的挠性部，
所述体腔内探测装置具有：
图像生成单元，其根据所述图像信号获取单元获取的信号生成所述被检体内的实时图像；
图像位置取向检测用元件，其相对于所述硬性部固定了位置；
***形状检测用元件，其沿着所述挠性部设有多个；
可以接触到所述被检体的被检体检测用元件；
检测单元，其检测所述图像位置取向检测用元件的由位置和取向构成的6个自由度、所述多个***形状检测用元件的各自位置、以及所述被检体检测用元件的位置或取向，并将检测结果作为检测值进行输出；以及
图像指标生成单元，其生成表示所述图像生成单元生成的所述被检体内的所述实时图像的位置和取向的图像指标，
所述合成单元以所述检测单元输出的检测值为基础，合成所述***形状和所述图像指标以及所述三维图像，生成用于引导所述挠性部和所述实时图像相对于所述被检体的位置和取向的三维引导图像。
2.根据权利要求1所述的体腔内探测装置，其中，所述体腔内探测装置具有接触单元，该接触单元固定地内置有所述被检体检测用元件，同时或依次接触到所述被检体的规定位置，
所述检测单元将所述被检体检测用元件接触到所述被检体而得到的位置中的所述规定位置作为检测值而进行输出，
所述合成单元以所述检测单元输出的检测值为基础，对齐所述***形状和所述图像指标以及所述三维图像的位置而对它们进行合成，生成用于引导所述挠性部和所述实时图像相对于所述被检体的位置和取向的三维引导图像。
3.根据权利要求2所述的体腔内探测装置，其中，所述挠性部具有管状通道，
所述接触单元在其前端固定地内置有所述被检体检测用元件，并且所述接触单元通过插通到所述通道中来接触到所述被检体的所述体腔内的规定位置。
4.根据权利要求1所述的体腔内探测装置，其中，所述三维图像生成单元具有提取单元，该提取单元从根据所述被检体拍摄到的三维数据中提取出与脏器或脉管对应的数据，
所述三维图像生成单元根据所述提取单元提取出的所述被检体的与所述脏器或所述脉管对应的数据，生成用于表现所述脏器或所述脉管的形状和配置的三维图像，所述合成单元以所述检测单元输出的检测值为基础，合成所述***形状和所述图像指标以及所述三维图像，生成用于引导所述挠性部和所述实时图像相对于所述被检体的位置和取向的三维引导图像。
5.根据权利要求1所述的体腔内探测装置，其中，所述图像信号获取单元是对所述被检体内进行拍摄而输出图像信号的摄像元件，
所述图像生成单元根据所述图像信号生成光学像作为所述实时图像。
6.根据权利要求1所述的体腔内探测装置，其中，所述图像信号获取单元是针对所述被检体内进行超声波的收发而输出回波信号的超声波振子，
所述图像生成单元根据所述回波信号生成超声波断层像作为所述实时图像。
7.根据权利要求1所述的体腔内探测装置，其中，所述图像位置取向检测用元件和所述***形状检测用元件以及所述被检体检测用元件是磁场产生器或磁场检测器，
所述检测单元使用磁场而进行所述检测。
CN2007101125786A 2006-06-29 2007-06-21 体腔内探测装置 Expired - Fee Related CN101095609B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006180435 2006-06-29
JP2006-180435 2006-06-29
JP2006180435A JP4868959B2 (ja) 2006-06-29 2006-06-29 体腔内プローブ装置

Publications (2)

Publication Number Publication Date
CN101095609A true CN101095609A (zh) 2008-01-02
CN101095609B CN101095609B (zh) 2011-02-16

Family

ID=38564367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101125786A Expired - Fee Related CN101095609B (zh) 2006-06-29 2007-06-21 体腔内探测装置

Country Status (4)

Country Link
US (1) US20080004529A1 (zh)
EP (1) EP1872707A1 (zh)
JP (1) JP4868959B2 (zh)
CN (1) CN101095609B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102846339A (zh) * 2011-05-10 2013-01-02 通用电气公司 用于图像引导程序的方法和超声成像***
CN103025227A (zh) * 2010-07-28 2013-04-03 富士胶片株式会社 图像处理设备、方法和程序
CN104083142A (zh) * 2014-08-05 2014-10-08 江苏雷奥生物科技有限公司 一种可全程诊查和治疗的内窥镜
WO2015013995A1 (zh) * 2013-07-31 2015-02-05 深圳先进技术研究院 内窥式鼻咽癌超声成像装置及方法
CN105323505A (zh) * 2014-07-30 2016-02-10 Hoya株式会社 电子内窥镜
CN106132267A (zh) * 2014-03-20 2016-11-16 奥林巴斯株式会社 ***形状检测装置
CN109580786A (zh) * 2018-12-04 2019-04-05 广州三瑞医疗器械有限公司 一种超声探头校准方法
CN110288653A (zh) * 2019-07-15 2019-09-27 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、***及电子设备
CN115697178A (zh) * 2020-10-27 2023-02-03 瑞德医疗机器股份有限公司 手术支援装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
JP5291955B2 (ja) * 2008-03-10 2013-09-18 富士フイルム株式会社 内視鏡検査システム
CN102159138B (zh) * 2008-07-15 2013-12-25 株式会社日立医疗器械 超声波诊断装置及超声波诊断装置的显示方法
JP5161013B2 (ja) * 2008-09-18 2013-03-13 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US10433917B2 (en) * 2009-05-29 2019-10-08 Jack Wade System and method for enhanced data analysis with video enabled software tools for medical environments
US10687914B2 (en) * 2009-05-29 2020-06-23 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US20180289443A1 (en) * 2009-05-29 2018-10-11 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US11896196B2 (en) * 2009-05-29 2024-02-13 Jack Wade Method for enhanced data analysis with specialized video enabled software tools for medical environments
US11744668B2 (en) * 2009-05-29 2023-09-05 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US20130170726A1 (en) * 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
JP5959150B2 (ja) * 2011-01-12 2016-08-02 オリンパス株式会社 内視鏡システム
JP5752945B2 (ja) * 2011-01-24 2015-07-22 オリンパス株式会社 内視鏡システム
JP5404981B1 (ja) * 2012-07-04 2014-02-05 オリンパスメディカルシステムズ株式会社 超音波内視鏡
JP2017003335A (ja) * 2015-06-06 2017-01-05 ユニチカガーメンテック株式会社 敷き寝具の沈み込み量測定方法
JP6615603B2 (ja) 2015-12-24 2019-12-04 キヤノンメディカルシステムズ株式会社 医用画像診断装置および医用画像診断プログラム
WO2021111756A1 (ja) * 2019-12-02 2021-06-10 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
GB2591093B (en) * 2020-01-14 2023-08-02 Gyrus Medical Ltd In vitro multi-modal tissue imaging method and system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394875A (en) * 1993-10-21 1995-03-07 Lewis; Judith T. Automatic ultrasonic localization of targets implanted in a portion of the anatomy
JP3683977B2 (ja) * 1996-03-22 2005-08-17 株式会社東芝 医用画像診断装置
JP2002306403A (ja) * 2001-04-18 2002-10-22 Olympus Optical Co Ltd 内視鏡装置
JP2003180697A (ja) * 2001-12-18 2003-07-02 Olympus Optical Co Ltd 超音波診断装置
JP4551051B2 (ja) * 2002-04-17 2010-09-22 オリンパス株式会社 超音波診断装置
JP2004113629A (ja) * 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP4328077B2 (ja) * 2002-09-27 2009-09-09 オリンパス株式会社 超音波診断装置
WO2004028375A1 (ja) * 2002-09-27 2004-04-08 Olympus Corporation 超音波診断装置
EP1523939B1 (en) * 2003-10-14 2012-03-07 Olympus Corporation Ultrasonic diagnostic apparatus
JP4530799B2 (ja) * 2004-10-20 2010-08-25 オリンパス株式会社 超音波診断装置
JP4716716B2 (ja) * 2004-11-25 2011-07-06 オリンパス株式会社 超音波診断装置
JP4681857B2 (ja) * 2004-11-25 2011-05-11 オリンパス株式会社 超音波診断装置
JP2007125179A (ja) * 2005-11-02 2007-05-24 Olympus Medical Systems Corp 超音波診断装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103025227B (zh) * 2010-07-28 2015-11-25 富士胶片株式会社 图像处理设备、方法
CN103025227A (zh) * 2010-07-28 2013-04-03 富士胶片株式会社 图像处理设备、方法和程序
CN102846339A (zh) * 2011-05-10 2013-01-02 通用电气公司 用于图像引导程序的方法和超声成像***
WO2015013995A1 (zh) * 2013-07-31 2015-02-05 深圳先进技术研究院 内窥式鼻咽癌超声成像装置及方法
CN106132267A (zh) * 2014-03-20 2016-11-16 奥林巴斯株式会社 ***形状检测装置
CN105323505A (zh) * 2014-07-30 2016-02-10 Hoya株式会社 电子内窥镜
CN105323505B (zh) * 2014-07-30 2019-06-14 Hoya株式会社 电子内窥镜
CN104083142A (zh) * 2014-08-05 2014-10-08 江苏雷奥生物科技有限公司 一种可全程诊查和治疗的内窥镜
CN109580786A (zh) * 2018-12-04 2019-04-05 广州三瑞医疗器械有限公司 一种超声探头校准方法
CN110288653A (zh) * 2019-07-15 2019-09-27 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、***及电子设备
CN110288653B (zh) * 2019-07-15 2021-08-24 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、***及电子设备
CN115697178A (zh) * 2020-10-27 2023-02-03 瑞德医疗机器股份有限公司 手术支援装置
CN115697178B (zh) * 2020-10-27 2024-05-10 瑞德医疗机器股份有限公司 手术支援装置

Also Published As

Publication number Publication date
JP4868959B2 (ja) 2012-02-01
US20080004529A1 (en) 2008-01-03
EP1872707A1 (en) 2008-01-02
JP2008006108A (ja) 2008-01-17
CN101095609B (zh) 2011-02-16

Similar Documents

Publication Publication Date Title
CN101095609B (zh) 体腔内探测装置
JP5208495B2 (ja) 医療用システム
US8204576B2 (en) Medical guiding system
US10229496B2 (en) Method and a system for registering a 3D pre acquired image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system
US20080281189A1 (en) Medical guiding system
JP5394622B2 (ja) 医用ガイドシステム
EP2430979B1 (en) Biopsy support system
KR100971417B1 (ko) 초음파 영상과 외부 의료영상의 합성 영상 상에 의료용바늘을 디스플레이하기 위한 초음파 시스템
JP4681857B2 (ja) 超音波診断装置
CN101422378B (zh) 超声诊断设备
CN102512209A (zh) 超声诊断设备
CN102781337A (zh) 成像装置
US20150320391A1 (en) Ultrasonic diagnostic device and medical image processing device
CN102793563A (zh) 解剖结构的闪光图
JP2007125179A (ja) 超音波診断装置
JP4869189B2 (ja) 医用ガイドシステム
JP4869197B2 (ja) 医用ガイド装置
JP5226244B2 (ja) 医用ガイドシステム
JP4700434B2 (ja) 超音波診断装置
JP5307357B2 (ja) 超音波診断装置
JP2008301969A (ja) 超音波診断装置
RO127716A0 (ro) Sistem pentru vizualizare şi ghidare în timpul procedurilor de endoscopie

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151124

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Medical Systems Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110216

Termination date: 20180621

CF01 Termination of patent right due to non-payment of annual fee