JPWO2018061383A1 - ３次元画像投影装置および方法並びに３次元画像投影制御プログラム - Google Patents

３次元画像投影装置および方法並びに３次元画像投影制御プログラム Download PDF

Info

Publication number
JPWO2018061383A1
JPWO2018061383A1 JP2018541926A JP2018541926A JPWO2018061383A1 JP WO2018061383 A1 JPWO2018061383 A1 JP WO2018061383A1 JP 2018541926 A JP2018541926 A JP 2018541926A JP 2018541926 A JP2018541926 A JP 2018541926A JP WO2018061383 A1 JPWO2018061383 A1 JP WO2018061383A1
Authority
JP
Japan
Prior art keywords
screen
projection
image
dimensional image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018541926A
Other languages
English (en)
Other versions
JP6628892B2 (ja
Inventor
広貴 伊藤
広貴 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018061383A1 publication Critical patent/JPWO2018061383A1/ja
Application granted granted Critical
Publication of JP6628892B2 publication Critical patent/JP6628892B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

スクリーン上に３次元画像の投影像を投影する場合において、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更可能な３次元画像投影装置および方法並びに３次元画像投影制御プログラムを提供する。任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部１２と、スクリーン認識部１２によって認識されたスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影する投影部３０と、スクリーン認識部１２によって認識されたスクリーンの３次元空間上の姿勢に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部１１とを備える。

Description

本発明は、予め撮影された被検体の３次元画像の投影像をスクリーン上に投影する３次元画像投影装置および方法並びに３次元画像投影制御プログラムに関するものである。
近年、手術対象となる患者を撮影した３次元画像から構成した臓器モデルを術前の手術計画の際に盛んに用いられるようになってきた。さらに、術前計画の際に作成した患者の臓器モデルを術中にも参照したいという要望があり、手術室のモニタにその患者の臓器モデルを表示する方法などが用いられることがある。しかしながら、この場合、術者は、その患者の患部とモニタの間で視線を移すという作業が余計に必要になってしまう。
特開平９−１１７４４６号公報 特開２００８−２４２０８７号公報 特開２００７−２６４３３４号公報 特開２００７−２６４３３４号公報
そこで、術前に手術対象となる患者の３次元画像から作成した臓器モデルをプロジェクタにより患者の臓器に直接重ね合わせて参照する方法が提案されてきている。
しかしながら、複雑な形状で様々な色を含む術野の上に、臓器モデルの投影像を直接投影する場合、投影像を正しく把握することが困難な場合もある。
そこで、たとえば特許文献１に記載のように、ベッドの上に寝ている患者の上にスクリーンを設置し、そのスクリーン上に投影像を投影する方法が考えられる。
しかしながら、上述したようにスクリーンに投影像を投影するようにした場合、たとえばスクリーンに表示された３次元画像の投影像の姿勢を変更して観察したい場合、３次元画像に対して姿勢変更のための３次元画像処理を施すために、３次元画像処理を行う装置においてパラメータの変更指示などを入力する必要がある。このようなパラメータの変更指示を装置に対して手動で設定入力することは、執刀医だけでなく、その他の補助者などであっても衛生上の問題がある。すなわち、執刀医または補助者が、３次元画像処理を行う装置に触れることで汚染される可能性がある。
また、手術中という限られた時間の中で、３次元画像処理を行う装置に対してパラメータの設定変更入力を行うことは、操作が煩雑であり、時間も要する問題がある。
なお、特許文献２〜特許文献３には、スクリーン上の画像を投影するプロジェクタに関する内容が開示されているが、上述したように、３次元画像の投影像をスクリーン上に投影する場合における３次元画像処理のパラメータの変更については何も提案されていない。
本発明は、上記事情に鑑み、スクリーン上に３次元画像の投影像を投影する場合において、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる３次元画像投影装置および方法並びに３次元画像投影制御プログラムを提供することを目的とするものである。
本発明の３次元画像投影装置は、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、スクリーン認識部によって認識されたスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影する投影部と、スクリーン認識部によって認識された、スクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備える。
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、スクリーンの３次元空間上の姿勢に基づいて３次元画像処理のパラメータを変更することによって、３次元画像の投影像の姿勢を変更することができる。
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、スクリーンの３次元空間上の姿勢に基づいて、３次元画像処理のパラメータを変更することによって、３次元画像に対して回転処理を施すことができる。
また、上記本発明の３次元画像投影装置において、回転処理は、スクリーンの投影面に対応する３次元画像の座標系の面内において延びる直線を回転軸とした回転処理とすることができる。
また、上記本発明の３次元画像投影装置においては、スクリーンが移動した場合、スクリーン認識部が、移動後のスクリーンの位置を認識し、投影部は、移動後のスクリーンに対して投影像を投影することができる。
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーンに設けられたマーカを検出することによって、スクリーンの位置および３次元空間上の姿勢を認識することができる。
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーン自体を検出することによって、スクリーンの位置および３次元空間上の姿勢を認識することができる。
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーンに投影された３次元画像の投影像の変化を認識し、３次元画像処理部は、スクリーン認識部によって３次元画像の投影像の変化が認識された場合に、３次元画像処理のパラメータを変更することができる。
また、上記本発明の３次元画像投影装置において、投影部は、スクリーン上に操作マーカの投影像を投影し、スクリーン認識部は、操作マーカの投影像の変化を認識し、３次元画像処理部は、スクリーン認識部によって操作マーカの投影像の変化が認識された場合に、３次元画像処理のパラメータを変更することができる。
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、３次元画像処理のパラメータを変更することによって、３次元画像の透過度を変更することができる。
また、上記本発明の３次元画像投影装置において、投影部は、投影部の投影範囲を示す指標を投影することができる。
また、上記本発明の３次元画像投影装置においては、スクリーンを撮影する撮影部を有し、スクリーン認識部は、撮影部によって撮影された画像に基づいて、スクリーンの位置および３次元空間上の姿勢を認識することができる。
また、上記本発明の３次元画像投影装置においては、投影部と撮影部の配置関係が予め固定されていることが好ましい。
また、上記本発明の３次元画像投影装置において、投影部と撮影部は、投影部と撮影部の光軸が一致し、かつ投影部と撮影部の画角が一致する配置関係であることが好ましい。
また、上記本発明の３次元画像投影装置においては、撮影部および投影部の位置または姿勢を変更可能に構成することができる。
また、上記本発明の３次元画像投影装置において、投影部は、１つの投影範囲内に設置された複数のスクリーンに投影像をそれぞれ投影することができる。
また、上記本発明の３次元画像投影装置において、投影部は、複数のスクリーンに対してそれぞれ異なる投影像を投影することができる。
また、上記本発明の３次元画像投影装置において、投影部は、３次元画像の投影像として、手術用シミュレーション画像の投影像または治療情報を含む画像の投影像をスクリーン上に投影することができる。
また、上記本発明の３次元画像投影装置において、投影部は、スクリーン上にバイタル情報を投影することができる。
本発明の３次元画像投影方法は、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、その認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影し、その認識したスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する。
本発明の３次元画像投影制御プログラムは、コンピュータを、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、投影部を制御することによって、スクリーン認識部によって認識されたスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影させる投影部制御部と、スクリーン認識部によって認識されたスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる。
本発明の３次元画像投影装置および方法並びに３次元画像投影制御プログラムによれば、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、その認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影し、その認識したスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更するようにしたので、ユーザが３次元画像処理を行う装置に直接触れる必要がなく、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる。
本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムの使用状況を説明するための図 スクリーン上に投影される投影像の一例を示す図 医用画像投影システムの概略構成を示すブロック図 スクリーンの構成およびスクリーンの姿勢変更について説明するための図 スクリーンに設けられたマーカに基づく、スクリーンの位置変更の認識について説明するための図 スクリーンに設けられたマーカに基づく、スクリーンの姿勢変更の認識について説明するための図 ３次元画像の回転処理を説明するための図 プロジェクタ装置の概略構成を示す図 本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムの作用を説明するためのフローチャート 投影部の投影範囲を示す指標を投影する例を説明するための図 ３次元画像の投影像の変化を認識して３次元画像処理のパラメータを変更する例を説明するための図 操作マーカの投影像の変化を認識して３次元画像処理のパラメータを変更する例を説明するための図 １つの投影範囲内に設置された複数のスクリーンに対してそれぞれ投影像を投影する例を説明するための図
以下、図面を参照して本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムについて説明する。図１は、本実施形態の医用画像投影システムの使用状況を説明するための図である。
本実施形態の医用画像投影システムは、図１に示すように、術野近傍などに任意に配置されたスクリーンＳ上に、手術対象となる患者の臓器の３次元画像を、プロジェクタ装置３によって投影するものである。本実施形態の医用画像投影システムは、たとえば手術前において、カンファレンスの代表者である執刀医Ｄが、参加者Ａ１〜Ａ４に対して手術に関する各種説明を行う状況などにおいて使用される。図２は、スクリーンＳ上に表示される臓器の３次元画像の一例を示す図である。図２に示すように、たとえば患者の肝臓の手術が行われる場合には、スクリーンＳ上に、その患者の予め撮影された肝臓Ｌの３次元画像６が表示される。なお、スクリーンＳに設けられたマーカＭ１〜Ｍ４については、後で詳述する。
図３は、本実施形態の医用画像投影システムの概略構成を示すブロック図である。本実施形態の医用画像投影システムは、具体的には、図３に示すように、３次元画像投影制御装置１と、医用画像保管サーバ２と、プロジェクタ装置３と、入力装置４とを備えている。
３次元画像投影制御装置１は、コンピュータに本実施形態の３次元画像投影制御プログラムをインストールしたものである。
３次元画像投影制御装置１は、中央処理装置（ＣＰＵ（central processing unit））
、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の３次元画像投影制御プログラムがインストールされており、この３次元画像投影制御プログラムが中央処理装置によって実行されることによって、図３に示す３次元画像取得部１０、３次元画像処理部１１、スクリーン認識部１２および制御部１３（本発明の投影部制御部に相当する）が動作する。
３次元画像投影制御プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、３次元画像投影制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
３次元画像取得部１０は、予め撮影された患者（被検体）の３次元画像６を取得するものである。３次元画像６は、たとえばＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などによって撮影して得られたボリュームデータに対して、たとえばボリュームレンダリングまたはサーフェスレンダリングを施すことによって生成されたものである。本実施形態では、患者の肝臓の３次元画像６を取得する場合について説明するが、これに限らず、肺、心臓および頭部などその他の臓器でもよい。
３次元画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、３次元画像取得部１０は、入力装置４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元画像６を医用画像保管サーバ２から読み出して一時記憶するものである。
３次元画像処理部１１は、３次元画像取得部１０によって取得された３次元画像６に対して３次元画像処理を施すものである。本実施形態の３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって３次元画像処理を施すものである。具体的には、３次元画像処理部１１は、３次元画像６の視線方向のパラメータを変更することによって回転処理を施して３次元画像６の姿勢を変更する。また、３次元画像処理部１１は、ボリュームレンダリングまたはサーフェスレンダリングを行う際の透過度のパラメータを変更したり、３次元画像６の一部にハイライト処理を施したりするものである。なお、３次元画像処理としては、これらの処理に限らず、その他の公知な処理を施すようにしてもよい。
そして、３次元画像処理部１１は、最初は、初期設定のパラメータを用いて３次元画像処理を施し、その後、スクリーンＳの３次元空間上の姿勢が変更された場合には、その変更に応じて、３次元画像処理のパラメータを変更するものである。なお、スクリーンＳの３次元空間上の姿勢の変更とは、最初のスクリーンＳの３次元画像６の投影面を初期基準面とした場合に、少なくともその初期基準面に対するスクリーンＳの投影面の傾きの変更を含むものとする。
スクリーン認識部１２は、任意に設置されたスクリーンＳの位置および３次元空間上の姿勢を認識するものである。スクリーン認識部１２は、プロジェクタ装置３における後述する撮影部３１によって撮影されたスクリーンＳの画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するものである。
スクリーンＳは、図４に示すように矩形状に形成された平板であり、その４隅には、マーカＭ１〜Ｍ４が設けられている。マーカＭ１〜Ｍ４は、図４に示すように矩形状でもよいし、十字状などその他の形状でもよい。
そして、スクリーン認識部１２は、スクリーンＳに設けられた４つのマーカＭ１〜Ｍ４の配置関係に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識する。スクリーンＳの位置としては、図４に示すＸ−Ｙ平面内における位置とＺ方向についての位置とがある。なお、本実施形態においては、Ｘ−Ｙ平面は水平面とし、Ｚ方向は鉛直方向とする。また、本実施形態においては、スクリーンＳは、たとえばベッド上に寝ている患者の腹部の上などに設置され、最初は略水平に設置されるものとする。ただし、スクリーンＳの初期の位置および姿勢は、これに限るものではなく、スクリーン認識部１２は、スクリーンＳの初期の位置および姿勢からの変更を認識するものである。
具体的には、スクリーン認識部１２は、スクリーンＳの４つのマーカＭ１〜Ｍ４が、その位置関係を維持しながらＸ−Ｙ平面内を移動した場合には、スクリーンＳが、Ｘ−Ｙ平面内を平行に移動したと認識する。また、スクリーン認識部１２は、図５に示すように、スクリーンＳの４つのマーカＭ１〜Ｍ４が、４つのマーカＭ１〜Ｍ４によって規定される矩形を維持しながら、その矩形の大きさが小さくなったり、もしくは大きくなったりした場合には、スクリーンＳは、Ｚ方向に移動したと認識する。
また、図６に示すように、スクリーンＳの４つのマーカＭ１〜Ｍ４のうち、一端（図６の場合、左端）に並ぶ２つのマーカＭ１とマーカＭ３がその位置関係を維持しながら、他端（図６の場合、右端）に並ぶ２つのマーカＭ２とマーカＭ４との間の距離が、マーカＭ１とマーカＭ３との間の距離よりも短くなった場合には、スクリーンＳは回転したと認識する。具体的には、図４に示すスクリーンＳの中心Ｃを通り、Ｘ方向に延びる直線Ｘ１を回転軸として矢印ＲＸ１方向に回転した認識する。スクリーン認識部１２は、同様にして、４つのマーカＭ１〜Ｍ４の位置関係に基づいて、スクリーンＳの中心Ｃを通り、Ｙ方向に延びる直線Ｙ１を回転軸とした矢印ＲＹ１方向への回転を認識する。また、スクリーン認識部１２は、４つのマーカＭ１〜Ｍ４の位置関係に基づいて、スクリーンＳの中心Ｃを通り、Ｚ方向に延びる直線Ｚ１を回転軸とした矢印ＲＺ１方向への回転を認識する。
なお、本実施形態においては、スクリーンＳに設けられた４つのマーカＭ１〜Ｍ４を用いて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしたが、必ずしもマーカを設けなくてもよく、たとえばスクリーンＳ自体に基づいて、その位置および３次元空間上の姿勢を認識するようにしてもよい。具体的には、スクリーンＳのエッジを検出し、そのエッジの位置および長さなどに基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしてもよい。
また、本実施形態においては、スクリーンＳを撮影した画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を検出するようにしたが、これに限らず、その他の公知な技術を用いて、スクリーンＳの位置および３次元空間上の姿勢を検出するようにしてもよい。具体的には、たとえばスクリーンＳに加速度センサを設け、その加速度センサの検出信号に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしてもよい。
そして、上述したように、本実施形態の３次元画像処理部１１は、スクリーンＳの３次元空間上の姿勢が変更された場合には、その変更に応じて、３次元画像処理のパラメータを変更するものである。具体的には、たとえばスクリーンＳが、図４に示す矢印ＲＹ１方向に回転した場合には、その回転に応じて、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を回転させる。具体的には、図７に示す肝臓Ｌの３次元画像６を、矢印ＲＹ２方向について、スクリーンＳと同じ回転方向および回転角度だけ回転させる。なお、図４に示すスクリーンＳの座標系と図７に示す肝臓Ｌの３次元画像６の座標系とは一致しているものとする。そして、スクリーンＳの中心Ｃと肝臓Ｌの３次元画像６の重心Ｇとが対応しており、図４に示す直線Ｘ１、Ｙ１およびＺ１が、それぞれ図７に示す直線Ｘ２、Ｙ２およびＺ３に対応しているものとする。
また、３次元画像処理部１１は、たとえばスクリーンＳが、図４に示す矢印ＲＸ１方向に回転した場合には、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を、図７に示す矢印ＲＸ２方向について、スクリーンＳと同じ回転角度だけ回転させる。
このようにスクリーンＳの投影面の傾きに応じて、肝臓Ｌの３次元画像６を回転させることによって、投影面に投影されている３次元画像を、医師などが見たい方向の３次元画像に調整することができる。これにより、複雑に絡み合った血管の下の腫瘍を見やすくすることができる。また、投影像に奥行感が出て見やすくすることができる。
また、スクリーンＳの投影面が水平面に対して傾けられた場合には、その傾き方向に応じて、いわゆる台形処理を３次元画像６に対して施すようにしてもよい。
また、３次元画像処理部１１は、たとえばスクリーンＳが、図４に示す矢印ＲＺ１方向に回転した場合には、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を、図７に示す矢印ＲＺ２方向について、スクリーンＳと同じ回転角度だけ回転させる。
次に、図３に戻り、制御部１３は、３次元画像投影システム全体の動作を制御するものである。特に、本実施形態の制御部１３は、プロジェクタ装置３の動作を制御するものである。プロジェクタ装置３は、投影部３０および撮影部３１を備えている。
投影部３０は、３次元画像取得部１０によって取得された３次元画像６に基づいて、３次元画像６の投影像をスクリーンＳに投影するものである。投影部３０は、光源、３次元画像６を表示する表示パネル、および投影レンズなどを備えたものである。なお、投影部３０としては、既に公知なものを用いることができる。
投影部３０は、３次元画像６の投影範囲を制御可能に構成されている。そして、スクリーン認識部１２によって認識されたスクリーンＳのＸ−Ｙ平面内の位置情報は制御部１３に出力され、制御部１３は、スクリーンＳのＸ−Ｙ平面内の位置情報に基づいて、投影部３０を制御する。そして、投影部３０は、制御部１３による制御によって３次元画像６の投影範囲を制御し、スクリーンＳ内に３次元画像６の投影像を投影する。
そして、スクリーンＳがＸ−Ｙ平面内において移動した場合には、その移動後のスクリーンＳのＸ−Ｙ平面内での位置がスクリーン認識部１２によって認識され、制御部１３は、その移動後のスクリーンＳのＸ−Ｙ平面内の位置情報に基づいて、投影部３０を制御する。すなわち、投影部３０は、３次元画像６の投影範囲を制御し、移動後のスクリーンＳ内に３次元画像６の投影像を投影する。このように投影部３０は、スクリーンＳの移動に追随させて３次元画像６の投影範囲を設定する。これにより、たとえば医師などのユーザがスクリーンＳを移動させた場合でも、常にスクリーンＳ内に３次元画像６の投影像を投影させることができる。
撮影部３１は、いわゆるビデオカメラであって、ＣＣＤ(Charge Coupled Device)等の撮像素子、レンズおよび撮像素子によって撮像された画像に画質を向上させるための処理を行う画像処理部などを備えている。撮影部３１は、スクリーンＳが設置された手術室内の映像を撮影するものであり、撮影部３１によって撮影された映像は、３次元画像投影制御装置１のスクリーン認識部１２に出力される。スクリーン認識部１２は、入力された映像の各フレームの画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識する。
図８は、プロジェクタ装置３の概略構成を示す図であり、プロジェクタ装置３内における投影部３０と撮影部３１との配置関係を示す図である。図３に示すように、プロジェクタ装置３は、筐体３ａ内に、投影部３０と撮影部３１とビームスプリッタ３２とを配置したものである。ビームスプリッタ３２は、投影部３０から出射された投影像を透過し、スクリーンＳを含む手術室の像を撮影部３１に向けて反射するものである。
投影部３０と撮影部３１とは、ビームスプリッタ３２に対して直交する方向に配置されている。そして、投影部３０と撮影部３１とは、投影部３０の光学系の光軸と撮影部３１の光学系の光軸とが一致し、かつ投影部３０の画角と撮影部３１の画角とが一致する配置関係で、筐体３ａ内に予め固定されている。これにより投影部３０の投影範囲と撮影部３１の撮影範囲をほぼ同じにすることができる。
なお、本実施形態においては、上述したように投影部３０と撮影部３１との配置関係が予め固定されたプロジェクタ装置３を用いるようにしたが、必ずしもこれに限らず、投影部３０と撮影部３１とが別々の装置として構成されていてもよい。
また、本実施形態においては、上述したように投影部３０の投影範囲と撮影部３１の撮影範囲とがほぼ同じになるように構成したが、これに限らず、投影部３０の投影範囲よりも撮影部３１の撮影範囲が広くなるようにしてもよい。このように設定することによって、現在の投影範囲を認識することができる。なお、逆に、撮影部３１の撮影範囲の方が投影部３０の投影範囲よりも狭い場合には、撮影部３１の撮影範囲が、投影部３０の投影範囲とほぼ同じになるか、投影範囲よりも大きくなるようにキャリブレーションを行うことが望ましい。
また、プロジェクタ装置３は、手術室内の天井または壁などに設置されるものであるが、プロジェクタ装置３の位置および姿勢を変更可能に構成するようにしてもよい。プロジェクタ装置３の位置を変更する構成としては、たとえばプロジェクタ装置３を移動させるレール機構などを設けるようにすればよい。また、プロジェクタ装置３の姿勢を変更可能とは、プロジェクタ装置３の投影部３０および撮影部３１の光軸方向を変更可能な構成であることを意味する。プロジェクタ装置３の姿勢を変更可能な構成としては、プロジェクタ装置３の筐体３ａを回動可能に支持する構成など公知な構成を用いることができる。
医用画像保管サーバ２は、各種データを保存して管理するコンピュータであり、大容量記憶装置およびデータベース管理用プログラムを備えている。医用画像保管サーバ２は、予め撮影された３次元画像６などをネットワーク経由でＣＴ装置などの撮影装置から取得し、大容量記憶装置に保存して管理する。
入力装置４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置４は、たとえば患者の識別情報の設定入力などを受け付けるものである。
次に、本実施形態の医用画像投影システムの作用について、図９に示すフローチャートを参照しながら説明する。
まず、ユーザによる患者の識別情報などの設定入力に応じて、患者の臓器の３次元画像６が３次元画像取得部１０によって取得される（Ｓ１０）。本実施形態においては、上述したように肝臓Ｌの３次元画像６が取得される。
そして、３次元画像取得部１０によって取得された肝臓Ｌの３次元画像６は、３次元画像処理部１１において初期設定の３次元画像処理が施された後、制御部１３に出力される。なお、初期設定の３次元画像処理としては、特に何も処理を施さないようにしてもよい。
一方、撮影部３１によって手術室内が撮影され、その映像がスクリーン認識部１２に入力される。スクリーン認識部１２は、入力された映像に基づいて、スクリーンＳの位置を認識する（Ｓ１２）。スクリーン認識部１２によって認識されたスクリーンＳの位置情報は、制御部１３に出力される。
そして、制御部１３は、入力されたスクリーンＳの位置情報と肝臓Ｌの３次元画像とに基づいて、プロジェクタ装置３の投影部３０に制御信号を出力する。投影部３０は、制御部１３の制御によって、手術室内に配置されたスクリーンＳの位置に肝臓Ｌの３次元画像の投影像を投影する（Ｓ１４）。
そして、肝臓Ｌの３次元画像の投影像の投影が開始された後、引き続き撮影部３１によって撮影された映像がスクリーン認識部１２に入力され、スクリーンＳの３次元空間上の姿勢が認識される（Ｓ１６）。
そして、たとえば医師などのユーザがスクリーンＳの投影面を水平面に対して傾けることによって、スクリーンＳの３次元空間上の姿勢が変更された場合には（Ｓ１８，ＹＥＳ）、３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって、スクリーンＳの姿勢に応じた３次元画像処理を肝臓Ｌの３次元画像６に施す（Ｓ２０）。具体的には、本実施形態においては、スクリーンＳの投影面の傾きに応じた回転処理が肝臓Ｌの３次元画像６に施される。
そして、回転処理の施された肝臓Ｌの３次元画像６が、３次元画像処理部１１から制御部１３に出力される。そして、制御部１３の制御によって、投影部３０は、スクリーンＳに投影される３次元画像６の投影像を、回転処理後の３次元画像６の投影像に変更する（Ｓ２２）。なお、Ｓ１８において、スクリーンＳの３次元空間上の姿勢の変更が認識されない間は（Ｓ１８，ＮＯ）、継続して同じ肝臓Ｌの３次元画像６の投影像がスクリーンＳに投影される。
そして、ユーザによって投影部３０による投影終了の指示が入力装置４から入力されたか否かが確認され、投影終了の指示が入力されていない場合には、Ｓ１２に戻り、再びスクリーンＳの位置が認識され、スクリーンＳの位置に肝臓Ｌの３次元画像６の投影像が投影される。スクリーンＳの位置が移動した場合には、その移動後のスクリーンＳの位置に投影像が投影される（Ｓ１４）。そして、再びＳ１６〜Ｓ２４までの処理が繰り返して行われ、スクリーンＳの姿勢に応じた肝臓Ｌの３次元画像６の投影像が、スクリーンＳ上に投影される。
そして、ユーザによって投影部３０による投影終了の指示が入力装置４から入力された場合には（Ｓ２４，ＹＥＳ）、プロジェクタ装置３によるスクリーンＳへの投影像の投影が終了する。
上記実施形態の医用画像投影システムによれば、任意に設置されたスクリーンＳの位置および３次元空間上の姿勢を認識し、その認識したスクリーンＳの位置に基づいて、被検体を撮影した３次元画像６の投影像をスクリーンＳ上に投影し、その認識したスクリーンＳの３次元空間上の姿勢に基づいて、３次元画像６に対して施される３次元画像処理のパラメータを変更するようにしたので、ユーザが３次元画像処理を行う装置に直接触れる必要がなく、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる。
なお、上記実施形態においては、スクリーンＳの投影面の傾きに応じて、３次元画像６に対して回転処理を施すようにしたが、たとえばスクリーンＳが、初期の状態から裏返された場合には、肝臓Ｌの３次元画像に対して１８０°の回転処理を施し、肝臓Ｌの裏側が観察できるような投影像を投影するようにしてもよい。スクリーンＳが裏返されたことを認識する方法としては、たとえばスクリーンＳの表側と裏側とに異なるマーカを設けるようにすればよい。
また、上記実施形態において、スクリーン認識部１２が、移動後のスクリーンＳの位置が認識できない場合には、制御部１３が、投影部３０によるスクリーンＳ上への投影像の投影を停止するようにしてもよい。スクリーン認識部１２が、スクリーンＳの位置を認識できない場合とは、撮影部３１によって撮影された画像内にスクリーンＳの画像が含まれなくなった場合である。このようにスクリーンＳ上への投影像の投影を停止することによって、ユーザは、スクリーンＳが、認識不可能な場所に移動したことを把握することができる。
また、上記実施形態においては、投影部３０が、図１０に示すように、その投影範囲Ｒを示す指標を投影するようにしてもよい。投影範囲Ｒを示す指標としては、たとえば投影範囲Ｒを示す枠状の投影像としてもよいし、投影範囲Ｒの４隅のみを示す投影像としてもよい。このように投影範囲Ｒを示す指標を投影することによって、ユーザがスクリーンＳの位置を調整し易くすることができる。
また、上記実施形態においては、スクリーンＳの３次元空間上の姿勢を認識して３次元画像処理のパラメータを変更するようにしたが、さらに、スクリーン認識部１２が、スクリーンＳに投影された３次元画像６の投影像の変化を認識し、３次元画像処理部１１が、スクリーン認識部１２によって３次元画像の投影像の変化が認識された場合に、３次元画像処理のパラメータを変更するようにしてもよい。具体的には、図１１に示すように、たとえばユーザの手Ｈが肝臓Ｌの３次元画像６に触れた場合、肝臓Ｌの３次元画像６の投影像は一部が欠けることになる。この投影像の一部が欠けたことをスクリーン認識部１２が認識し、その情報を３次元画像処理部１１に出力する。そして、３次元画像処理部１１は、上記情報に基づいて、３次元画像処理のパラメータを変更する。たとえば、３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって、肝臓Ｌの３次元画像６に含まれる血管領域Ｂおよび病変を含む支配領域Ａなどを強調表示する。すなわち、ユーザが、スクリーンＳ上に投影された肝臓Ｌの３次元画像６の投影像に手Ｈで触れることによって、血管領域Ｂおよび病変を含む支配領域Ａが強調表示される。なお、血管領域Ｂおよび病変を含む支配領域Ａの情報は、予め取得されているものとする。
また、さらにユーザの手Ｈが、肝臓Ｌの３次元画像６の投影像に触れ続けた場合には、すなわち投影像の一部の欠けの認識が、予め設定された時間以上継続した場合には、血管領域Ｂおよび支配領域Ａ以外の肝臓領域の透過度を変更するようにしてもよい。すなわち、上記肝臓領域の透過度を上げることによって、さらに血管領域Ｂおよび支配領域Ａを観察し易くするようにしてもよい。または、血管領域Ｂおよび支配領域Ａの強調表示後に、ユーザの手Ｈが、肝臓Ｌの３次元画像６の投影像に触れ続けた場合には、血管領域Ｂおよび支配領域Ａ以外の肝臓領域を非表示としてもよい。
なお、上記説明では、投影像の一部の欠けを認識することによって、肝臓Ｌの３次元画像に対して強調処理を施したり、透過度を変更したりするようにしたが、これらの３次元画像処理に限らず、その他の３次元画像処理を施すようにしてもよい。投影像の一部の欠けを認識した場合に３次元画像に対して施される３次元画像処理の種類については、予め設定されているものとする。また、たとえば投影像の一部の欠けを認識した場合に３次元画像に施される３次元画像処理を複数種類設定しておき、その複数種類の３次元画像処理の中からユーザが選択するようにしてもよい。この場合には、その選択画面をスクリーンＳ上に投影し、ユーザが、その選択画面に手で触れたことをスクリーン認識部１２によって認識することによって、所望の３次元画像処理を選択するようにすればよい。
また、上記説明では、ユーザが肝臓Ｌの３次元画像の投影像に触れたことを認識することによって、３次元画像処理のパラメータを変更するようにしたが、これに限らず、たとえば図１２に示すように、スクリーンＳ上に操作マーカＭｋ１〜Ｍｋ３の投影像を投影し、スクリーン認識部１２は、操作マーカＭｋ１〜Ｍｋ３の投影像の変化を認識することによって、３次元画像処理部１１が、３次元画像処理のパラメータを変更するようにしてもよい。具体的には、たとえばユーザが、操作マーカＭｋ１〜Ｍｋ３の投影像のいずれかを手で隠し、これによりスクリーン認識部１２が、操作マーカＭｋ１〜Ｍｋ３の投影像のいずれかが消えたことを認識することによって、３次元画像処理のパラメータを変更するようにしてもよい。たとえば操作マーカＭｋ１の投影像がユーザによって隠された場合には、上述したような血管領域Ｂおよび支配領域Ａの強調処理を施したり、操作マーカＭｋ２の投影像がユーザによって隠された場合には、透過度を変更したりするようにしてもよい。なお、操作マーカとその操作マーカの投影像がユーザによって隠された場合に施される３次元画像処理との関係については、予め設定されているものとする。
また、上記説明では、肝臓Ｌの３次元画像６の投影像の一部をユーザが隠したり、操作マーカＭｋ１〜Ｍｋ３の投影像をユーザが隠したりして、強調処理および透過度の変更を行うようにしたが、これに限らず、スクリーンＳの３次元空間上の姿勢に応じて、強調処理および透過度の変更などを行うようにしてもよい。すなわち、ユーザによってスクリーンＳの投影面が傾けられた場合に、強調処理または透過度の変更などを行うようにしてもよい。この場合、上述したスクリーンＳの３次元空間上の姿勢に応じた肝臓Ｌの３次元画像６の回転処理と重複することになるが、どのような処理を施すかについては、ユーザが予め選択して設定するようにすればよい。また、その選択画面をスクリーンＳ上に投影し、ユーザが、その選択画面に手で触れたことをスクリーン認識部１２によって認識することによって、所望の３次元画像処理を選択するようにしてもよい。
また、上記実施形態においては、１つのスクリーンＳに対して３次元画像６の投影像を投影する場合について説明したが、これに限らず、図１３に示すように、投影部３０が、１つの投影範囲Ｒ内に設置された複数のスクリーンＳ１〜Ｓ４に対して３次元画像６の投影像をそれぞれ投影するようにしてもよい。この場合、各スクリーンＳ１〜Ｓ４に対してそれぞれ投影される投影像は、同じものでもよいし、異なるものでもよい。すなわち、たとえば各スクリーンＳ１〜Ｓ４に対して、上述したような肝臓Ｌの３次元画像６の投影像をそれぞれ投影するようにしてもよいし、執刀医が観察しているスクリーンＳ１のみに肝臓Ｌの３次元画像６の投影像を投影し、執刀医以外の参加者が観察しているスクリーンＳ２〜Ｓ４には、肝臓Ｌの３次元画像６の投影像とは、異なる投影像を投影するようにしてもよい。具体的には、たとえば参加者が観察しているスクリーンＳ２〜Ｓ４には、患者のバイタル情報およびその他の患者情報などを投影するようにしてもよい。
また、上記実施形態においては、スクリーンＳに肝臓Ｌの３次元画像６の投影像を投影するようにしたが、手術前に予めシミュレーションされた手術用シミュレーション画像の投影像をスクリーンＳに投影するようにしてもよい。手術用シミュレーション画像としては、たとえば切除手術などの手術の過程を、３次元画像を用いて予めシミュレーションした一連の画像を用いることができる。また、治療情報を含む画像の投影像をスクリーンＳ上に投影するようにしてもよい。治療情報を含む画像としては、放射線治療を手術前に施す場合において、放射線をどの部位にどの程度照射したかを示す線量分布図を含む３次元画像６などがある。
また、上記実施形態においては、３次元画像６の投影像をスクリーンＳ上に投影するようにしたが、このようなスクリーンＳ上への投影像の投影と、実際の患者の臓器上への投影像とを切り換え可能に構成するようにしてもよい。具体的には、たとえば、上述したような肝臓Ｌの３次元画像６の投影像を投影する場合、実際の患者の肝臓に重ね合わせて観察したい場合には、実際の患者の肝臓上に投影像を投影し、実際の患者の肝臓のみを観察したい場合には、スクリーンＳ上に投影像を投影するようにしてもよい。なお、スクリーンＳへの投影と実際の臓器への投影との切り換えについては、たとえばユーザが入力装置４を用いて行うようにすればよい。また、実際の臓器へ投影する場合、撮影部３１によって撮影された画像に基づいて、臓器の範囲を認識してその範囲に投影像を投影するようにすればよい。撮影された画像に基づく臓器の範囲の認識については、たとえば臓器のエッジ検出などを行えばよいが、その他の公知な手法を用いることができる。
１ ３次元画像投影制御装置
２ 医用画像保管サーバ
３ プロジェクタ装置
３ａ 筐体
４ 入力装置
６ ３次元画像
１０ ３次元画像取得部
１１ ３次元画像処理部
１２ スクリーン認識部
１３ 制御部
３０ 投影部
３１ 撮影部
３２ ビームスプリッタ
Ｃ スクリーンの中心
Ｄ 執刀医
Ｇ ３次元画像の重心
Ｈ 手
Ｌ 肝臓
Ｍ１-Ｍ４ マーカ
Ｍｋ１-Ｍｋ３ 操作マーカ
Ｒ 投影範囲
Ｓ スクリーン
Ｓ１-Ｓ４ スクリーン
Ｘ１、Ｘ２，Ｙ１，Ｙ２ 直線（回転軸）
ＲＸ１，ＲＸ２，ＲＹ１，ＲＹ２，ＲＺ１，ＲＺ２ 回転方向

Claims (20)

  1. 任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
    前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影する投影部と、
    前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備えた３次元画像投影装置。
  2. 前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて前記３次元画像処理のパラメータを変更することによって、前記３次元画像の投影像の姿勢を変更する請求項１記載の３次元画像投影装置。
  3. 前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて、前記３次元画像処理のパラメータを変更することによって、前記３次元画像に対して回転処理を施す請求項２記載の３次元画像投影装置。
  4. 前記回転処理が、前記スクリーンの投影面に対応する前記３次元画像の座標系の面内において延びる直線を回転軸とした回転処理である請求項３記載の３次元画像投影装置。
  5. 前記スクリーンが移動した場合、前記スクリーン認識部が、前記移動後のスクリーンの位置を認識し、
    前記投影部が、前記移動後のスクリーンに対して前記投影像を投影する請求項１から４いずれか１項記載の３次元画像投影装置。
  6. 前記スクリーン認識部が、前記スクリーンに設けられたマーカを検出することによって、前記スクリーンの位置および３次元空間上の姿勢を認識する請求項１から５いずれか１項記載の３次元画像投影装置。
  7. 前記スクリーン認識部が、前記スクリーン自体を検出することによって、前記スクリーンの位置および３次元空間上の姿勢を認識する請求項１から５いずれか１項記載の３次元画像投影装置。
  8. 前記投影部が、前記スクリーン上に操作マーカの投影像を投影し、
    前記スクリーン認識部が、前記操作マーカの投影像の変化を認識し、
    前記３次元画像処理部が、前記スクリーン認識部によって前記操作マーカの投影像の変化が認識された場合に、前記３次元画像処理のパラメータを変更する請求項１から７いずれか１項記載の３次元画像投影装置。
  9. 前記３次元画像処理部が、前記３次元画像処理のパラメータを変更することによって、前記３次元画像の透過度を変更する請求項１から８いずれか１項記載の３次元画像投影装置。
  10. 前記投影部が、該投影部の投影範囲を示す指標を投影する請求項１から９いずれか１項記載の３次元画像投影装置。
  11. 前記スクリーンを撮影する撮影部を有し、
    前記スクリーン認識部が、前記撮影部によって撮影された画像に基づいて、前記スクリーンの位置および３次元空間上の姿勢を認識するものである請求項１から１０いずれか１項記載の３次元画像投影装置。
  12. 前記投影部と前記撮影部の配置関係が予め固定されている請求項１１記載の３次元画像投影装置。
  13. 前記投影部と前記撮影部が、前記投影部と前記撮影部の光軸が一致し、かつ前記投影部と前記撮影部の画角が一致する配置関係である請求項１２記載の３次元画像投影装置。
  14. 前記撮影部および前記投影部の位置または姿勢が変更可能に構成されている請求項１２または１３記載の３次元画像投影装置。
  15. 前記投影部が、１つの投影範囲内に設置された複数の前記スクリーンに前記投影像をそれぞれ投影する請求項１から１４いずれか１項記載の３次元画像投影装置。
  16. 前記投影部が、前記複数のスクリーンに対してそれぞれ異なる前記投影像を投影する請求項１５記載の３次元画像投影装置。
  17. 前記投影部が、前記３次元画像の投影像として、手術用シミュレーション画像の投影像または治療情報を含む画像の投影像を前記スクリーン上に投影する請求項１から１６いずれか１項記載の３次元画像投影装置。
  18. 前記投影部が、前記スクリーン上にバイタル情報を投影する請求項１から１７いずれか１項記載の３次元画像投影装置。
  19. 任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、
    前記認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影し、
    前記認識したスクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像投影方法。
  20. コンピュータを、
    任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
    投影部を制御することによって、前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影させる投影部制御部と、
    前記スクリーン認識部によって認識された前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる３次元画像投影制御プログラム。
JP2018541926A 2016-09-28 2017-07-06 ３次元画像投影装置および方法並びに３次元画像投影制御プログラム Active JP6628892B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016189795 2016-09-28
JP2016189795 2016-09-28
PCT/JP2017/024744 WO2018061383A1 (ja) 2016-09-28 2017-07-06 ３次元画像投影装置および方法並びに３次元画像投影制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2018061383A1 true JPWO2018061383A1 (ja) 2019-02-28
JP6628892B2 JP6628892B2 (ja) 2020-01-15

Family

ID=61759455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018541926A Active JP6628892B2 (ja) 2016-09-28 2017-07-06 ３次元画像投影装置および方法並びに３次元画像投影制御プログラム

Country Status (3)

Country Link
US (1) US11122250B2 (ja)
JP (1) JP6628892B2 (ja)
WO (1) WO2018061383A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986593B (zh) * 2020-09-01 2022-03-01 深圳集秀创意科技有限公司 一种基于三维模型的交互式文化传播展示用3d全息投影设备
JP7411182B2 (ja) * 2020-09-28 2024-01-11 株式会社Kompath 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、及び手術支援システム
US11394940B1 (en) * 2021-04-16 2022-07-19 Texas Instruments Incorporated Dynamic image warping

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161635A (ja) * 1991-12-13 1993-06-29 Toshiba Corp Ｘ線診断シートシステム
JPH11313801A (ja) * 1998-02-11 1999-11-16 Siemens Ag 医学技術的システム
JP2000278714A (ja) * 1999-03-23 2000-10-06 Minolta Co Ltd 立体画像表示方法、立体画像表示装置、立体画像表示データを記録したコンピュータ読み取り可能な記録媒体および立体画像表示データ生成方法
JP2002062842A (ja) * 2000-08-11 2002-02-28 Nec Corp 投射映像補正システム及びその方法
JP2002112993A (ja) * 2000-07-25 2002-04-16 Siemens Ag 医学的像を再現する画像システムの表示装置
JP2008194374A (ja) * 2007-02-15 2008-08-28 Canon Inc 放射線画像投影装置および方法
JP2008237369A (ja) * 2007-03-26 2008-10-09 Canon Inc 画像処理装置及び画像処理方法
JP2015011429A (ja) * 2013-06-27 2015-01-19 シャープ株式会社 表示システムおよび表示プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09117446A (ja) 1995-10-25 1997-05-06 Hitachi Medical Corp 医用ｘ線透視装置
JP2007264334A (ja) 2006-03-29 2007-10-11 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
US9084622B2 (en) * 2006-08-02 2015-07-21 Omnitek Partners Llc Automated laser-treatment system with real-time integrated 3D vision system for laser debridement and the like
JP2008242087A (ja) 2007-03-27 2008-10-09 Hitachi Software Eng Co Ltd 前面投影型プロジェクタの設置位置調整システム
US8896688B2 (en) * 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
JP5915949B2 (ja) * 2014-06-25 2016-05-11 パナソニックＩｐマネジメント株式会社 投影システム
US9451245B1 (en) * 2015-01-06 2016-09-20 Ryan Franklin Darling Three dimensional digitizing and projector system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161635A (ja) * 1991-12-13 1993-06-29 Toshiba Corp Ｘ線診断シートシステム
JPH11313801A (ja) * 1998-02-11 1999-11-16 Siemens Ag 医学技術的システム
JP2000278714A (ja) * 1999-03-23 2000-10-06 Minolta Co Ltd 立体画像表示方法、立体画像表示装置、立体画像表示データを記録したコンピュータ読み取り可能な記録媒体および立体画像表示データ生成方法
JP2002112993A (ja) * 2000-07-25 2002-04-16 Siemens Ag 医学的像を再現する画像システムの表示装置
JP2002062842A (ja) * 2000-08-11 2002-02-28 Nec Corp 投射映像補正システム及びその方法
JP2008194374A (ja) * 2007-02-15 2008-08-28 Canon Inc 放射線画像投影装置および方法
JP2008237369A (ja) * 2007-03-26 2008-10-09 Canon Inc 画像処理装置及び画像処理方法
JP2015011429A (ja) * 2013-06-27 2015-01-19 シャープ株式会社 表示システムおよび表示プログラム

Also Published As

Publication number Publication date
US11122250B2 (en) 2021-09-14
WO2018061383A1 (ja) 2018-04-05
US20190199996A1 (en) 2019-06-27
JP6628892B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
US20190310819A1 (en) Augmented reality image display systems and methods
JP5637775B2 (ja) 医用装置
JP2019136546A (ja) 画像表示の生成方法
US20160038253A1 (en) Method, system and apparatus for controlling a surgical navigation system
US11122250B2 (en) Three-dimensional image projection apparatus, three-dimensional image projection method, and three-dimensional image projection control program
JP5486437B2 (ja) 立体視画像表示方法および装置
CN111670007A (zh) 医学成像设备的拍摄***的位置规划方法和医学成像设备
CN113366539A (zh) 对虚拟对象针对混合现实的***定位
US9968320B2 (en) X-ray diagnostic apparatus
JP6970203B2 (ja) コンピュータ断層撮影および撮像されるべき解剖学的構造の位置決め
Liu et al. Hybrid electromagnetic-ArUco tracking of laparoscopic ultrasound transducer in laparoscopic video
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP2021058530A (ja) 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置
Gard et al. Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy
US20240054745A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
JP5514127B2 (ja) 放射線画像表示装置および方法
JP7134678B2 (ja) 放射線画像処理装置、放射線画像処理方法及びプログラム
JP2013009763A (ja) 医用画像処理装置
JP2017051487A (ja) 放射線検査システム、情報処理方法及びプログラム
US10049480B2 (en) Image alignment device, method, and program
US20230008222A1 (en) Systems and methods for surgical navigation
JP2019161558A (ja) 臓器追跡装置、臓器追跡方法及び臓器追跡プログラム
JP7469961B2 (ja) 画像処理装置及び画像処理用コンピュータプログラム
JP7392478B2 (ja) 拡大倍率算出装置、長尺撮影システム、プログラム及び拡大倍率算出方法
JP6366898B2 (ja) 医用装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191203

R150 Certificate of patent or registration of utility model

Ref document number: 6628892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250