JP7447821B2 - 医療機器用色修正装置 - Google Patents

医療機器用色修正装置 Download PDF

Info

Publication number
JP7447821B2
JP7447821B2 JP2020572332A JP2020572332A JP7447821B2 JP 7447821 B2 JP7447821 B2 JP 7447821B2 JP 2020572332 A JP2020572332 A JP 2020572332A JP 2020572332 A JP2020572332 A JP 2020572332A JP 7447821 B2 JP7447821 B2 JP 7447821B2
Authority
JP
Japan
Prior art keywords
color
conversion
data
specific
conversion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572332A
Other languages
English (en)
Other versions
JPWO2020166697A1 (ja
Inventor
芳彦 荻野
徹 杉山
雄亮 村山
貴代子 立石
晃宏 前田
陽一 梶村
豊 松元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Publication of JPWO2020166697A1 publication Critical patent/JPWO2020166697A1/ja
Priority to JP2024028430A priority Critical patent/JP2024063096A/ja
Application granted granted Critical
Publication of JP7447821B2 publication Critical patent/JP7447821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、医療機器用色修正装置に関し、特に、医療用撮像装置による撮像によって得られた、生体組織群を被写体とする画像データに対して、カラーモニタへの表示に適した色修正を行う色修正装置に関する。
手術中に患者の患部周辺を撮影し、これをモニタ画面上に表示する医療用画像表示システムは、多くの医療現場において利用されている。たとえば、一般的な開腹手術の場合、開腹部を手術室内に設置されたカメラにより撮影し、これをモニタ上に表示する医療用画像表示システムを利用することにより、手術の様子をモニタ上で確認することができる。一方、腹腔鏡手術では、開腹を行わずに、内視鏡カメラを患者の腹腔内に挿入し、モニタ上に映し出された映像を見ながら施術を行う必要があるので、医療用画像表示システムの利用は不可欠である。また、手術に限らず、人体から切り出したサンプル組織に対する検査や診断を行う際にも、これを撮影してモニタに表示する医療用画像表示システムが用いられることもある。
たとえば、下記の特許文献1には、内視鏡カメラを患者の体腔内に挿入し、体腔内画像をモニタに表示する医療用画像表示システムが開示されており、特許文献2には、内視鏡カメラの撮影画像を公衆回線を介して伝送し、遠隔地に設置されたモニタ上に表示することにより、遠隔地からの手術を支援するシステムが開示されている。一方、手術中に撮影された画像に、何らかの画像処理を施してモニタに表示するシステムも提案されている。たとえば、特許文献3には、手術中の撮影画像に対して、施術者の観察方向に合致するような画像処理を加えることにより、モニタ上により適切な画像表示を行う手術システムが開示されている。また、特許文献4には、手術中の患者の患部の撮影データから三次元ボリュームデータを生成し、これに基づいて術中CT画像をモニタに表示することが可能な医療用画像表示システムが開示されている。
特開2015-116425号公報 特開2000-237206号公報 特開2005-046200号公報 特開2011-136132号公報
上述した医療用画像表示システムの多くは、カメラからモニタに至るまでの全システムを含む一式の製品として、単一のプロバイダーによって提供されている。しかしながら、個々のプロバイダーごとに、用いるカメラやモニタの機種は様々であり、その特性の調整基準も様々である。このような事情から、現在、複数のプロバイダーから提供されている医療用画像表示システムは、相互に異なる色特性を有している。このため、全く同一の被写体を全く同一の照明環境で撮影し、これをカラーモニタ上に表示させたとしても、モニタ上に表示される被写体の色合いは、個々の医療用画像表示システムごとに異なってしまう。
一般に、カメラやモニタは、それぞれの機器ごとに固有の色特性を有している。たとえば、全く同一の被写体を全く同一の照明環境で、複数台のカメラで撮影した場合、得られる画像データ(通常、三原色R,G,Bの値をもった画素の集合体からなるデータ)はそれぞれ異なる。これは、各カメラの色特性が、互いに相違するためである。同様に、全く同一の画像データを複数台のカラーモニタに与えて画像表示を行った場合、個々のモニタごとに色の再現性は異なる。これは、各カラーモニタの色特性が、互いに相違するためである。このような事情から、個々のプロバイダーから提供されている医療用画像表示システムの色再現性は、相互に異なってしまうことになる。これは、施術者がカラーモニタ上の画像に基づいて種々の診断を行う上で大きな問題になる。
今後は、このような医療用画像表示システムが広く普及することにより、多数のプロバイダーから様々な医療用撮像装置(手術用カメラ、内視鏡カメラ、顕微鏡カメラなど)やモニタが提供されるようになり、異なるプロバイダーから提供された様々な機器を組み合わせて、1台の医療用画像表示システムを構築する例も増えてくるものと予想される。そうなると、個々のシステムごとの色再現性のバリエーションは更に広がることになり、施術者が正しい診断を行う上で弊害になる。
また、手術によっては、特定の生体組織のみを詳細に観察したいケースも少なくない。前述したように、特許文献3には、撮影画像に対して画像処理を加えることにより、モニタ上に施術者の観察方向に合致した画像を表示させる技術が開示されており、特許文献4には、撮影画像に基づいて三次元ボリュームデータを生成し、モニタ上にCT画像を表示させる技術が開示されている。しかしながら、これらの技術では、特定の生体組織の観察に適した視認性のある画像表示を行うことはできない。
本発明は、これらの問題を解決するための新たな技術を提供するものである。本発明の第1の目的は、様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合でも、機器ごとの色特性の差を解消して、統一した色調をもった画像表示を可能にすることにある。そして、本発明の第2の目的は、医療用画像表示システムを利用する際に、特定の生体組織の観察に適した視認性のある画像表示を可能にすることにある。
(1) 本発明の第1の態様は、医療用撮像装置による撮像によって得られた画像データに対して、カラーモニタへの表示に適した色修正を行う医療機器用色修正装置において、
特定の医療用撮像装置がもつ固有の色特性を考慮して、当該医療用撮像装置による撮像データの色特性を標準色特性に変換するための個別変換データを格納する撮像装置用個別変換データ格納部と、
特定の生体組織を強調する色変換を行うための特定組織強調用変換データを格納する特定組織強調用変換データ格納部と、
特定のカラーモニタがもつ固有の色特性を考慮して、当該カラーモニタ上に標準色特性をもつ画像が表示されるような色変換を行うための個別変換データを格納するモニタ用個別変換データ格納部と、
特定の医療用撮像装置から入力した撮像データに対して、撮像装置用個別変換データ格納部に格納されている、当該特定の医療用撮像装置についての個別変換データを用いた色変換を行って標準色画像データを生成する撮像装置用色変換部と、
強調表示の対象となる特定の生体組織を指定する指定入力を受け付ける強調組織指定部と、
標準色画像データに対して、特定組織強調用変換データ格納部に格納されている、指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する特定組織強調用色変換部と、
特定組織強調画像データに対して、モニタ用個別変換データ格納部に格納されている、特定のカラーモニタについての個別変換データを用いた色変換を行って表示用データを生成し、生成した表示用データを当該特定のカラーモニタに出力するモニタ用色変換部と、
を設けたものである。
(2) 本発明の第2の態様は、上述した第1の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に格納する個別変換データとして、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換が可能な変換データを用いるようにしたものである。
(3) 本発明の第3の態様は、上述した第1または第2の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に格納する個別変換データとして、国際照明委員会が規定するD65光源からの光を背景光とした所定のカラーチャートの透過光の色特性を標準色特性とする変換データを用いるようにしたものである。
(4) 本発明の第4の態様は、上述した第1~第3の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に格納する個別変換データとして、撮像データの三原色成分Rold,Gold,Bold を、標準色画像データの三原色成分Rnew,Gnew,Bnew に変換するための変換データを用いるようにしたものである。
(5) 本発明の第5の態様は、上述した第1~第4の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に、複数I台の医療用撮像装置についての個別変換データをそれぞれ格納しておき、
撮像装置用色変換部が、第i番目(1≦i≦I)の医療用撮像装置から入力した撮像データに対しては、第i番目の個別変換データを用いた色変換を行って標準色画像データを生成するようにしたものである。
(6) 本発明の第6の態様は、上述した第1~第5の態様に係る医療機器用色修正装置において、
撮像装置用色変換部が、無影灯もしくは内視鏡光源下で撮影された撮像データを入力し、これに対する色変換を行って標準色画像データを生成するようにしたものである。
(7) 本発明の第7の態様は、上述した第1~第6の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に格納されている個別変換データが、撮像データを構成する各色成分の組み合わせを、標準色画像データを構成する各色成分の組み合わせに変換するルックアップテーブルによって構成されているようにしたものである。
(8) 本発明の第8の態様は、上述した第1~第6の態様に係る医療機器用色修正装置において、
撮像装置用個別変換データ格納部に格納されている個別変換データが、撮像データを構成する各色成分の組み合わせを変数値として与えることにより、標準色画像データを構成する各色成分の組み合わせを算出する関数、によって構成されているようにしたものである。
(9) 本発明の第9の態様は、上述した第1~第8の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に、複数J通りの生体組織についての特定組織強調用変換データをそれぞれ格納しておき、
特定組織強調用色変換部が、強調組織指定部から第j番目(1≦j≦J)の生体組織を指定する指定入力を受け付けた場合に、第j番目の特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成するようにしたものである。
(10) 本発明の第10の態様は、上述した第9の態様に係る医療機器用色修正装置において、
強調組織指定部が、複数H通り(H≦J)の生体組織を重複して指定する指定入力を受け付ける機能を有し、
特定組織強調用色変換部が、強調組織指定部から複数H通りの生体組織を指定する指定入力を受け付けた場合に、これら複数H通りの生体組織に対応する複数H通りの特定組織強調用変換データを用いた色変換を重複して行って特定組織強調画像データを生成するようにしたものである。
(11) 本発明の第11の態様は、上述した第1~第10の態様に係る医療機器用色修正装置において、
強調組織指定部が、いずれの生体組織も指定しないことを示す空指定入力を受け付ける機能を有し、
特定組織強調用色変換部が、強調組織指定部から空指定入力を受け付けた場合に、色変換を行わずに、標準色画像データをそのまま特定組織強調画像データとして出力するようにしたものである。
(12) 本発明の第12の態様は、上述した第1~第11の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、所定の色空間において、特定の生体組織に固有の局在色領域に含まれる色に対して、特定の色修正を行うデータを用いるようにしたものである。
(13) 本発明の第13の態様は、上述した第12の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、所定の二次元色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、横座標値もしくは縦座標値またはその双方を増減させる色修正を行うデータを用いるようにしたものである。
(14) 本発明の第14の態様は、上述した第13の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、u′v′色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、u′値もしくはv′値またはその双方を増減させる色修正を行うデータを用いるようにしたものである。
(15) 本発明の第15の態様は、上述した第14の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「血管」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における血管に固有の局在色領域に含まれる色に対して、u′値を増加させる色修正を行う変換データが格納されているようにしたものである。
(16) 本発明の第16の態様は、上述した第14または第15の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「脂肪」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における脂肪に固有の局在色領域に含まれる色に対して、u′値を減少させるとともにv′値を増加させる色修正を行う変換データが格納されているようにしたものである。
(17) 本発明の第17の態様は、上述した第14~第16の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「表層膜」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における表層膜に固有の局在色領域に含まれる色に対して、u′値を増加させるとともにv′値を減少させる色修正を行う変換データが格納されているようにしたものである。
(18) 本発明の第18の態様は、上述した第1~第17の態様に係る医療機器用色修正装置において、
モニタ用個別変換データ格納部に格納されている個別変換データとして、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換が可能な変換データを用いるようにしたものである。
(19) 本発明の第19の態様は、上述した第1~第18の態様に係る医療機器用色修正装置において、
モニタ用個別変換データ格納部に、複数K台のカラーモニタについての個別変換データをそれぞれ格納しておき、
モニタ用色変換部が、第k番目(1≦k≦K)のカラーモニタに対して出力する表示用データを生成する際には、第k番目の個別変換データを用いた色変換を行うようにしたものである。
(20) 本発明の第20の態様は、上述した第1~第19の態様に係る医療機器用色修正装置において、
モニタ用個別変換データ格納部に格納されている個別変換データが、特定組織強調画像データを構成する各色成分の組み合わせを、表示用データを構成する各色成分の組み合わせに変換するルックアップテーブルによって構成されているようにしたものである。
(21) 本発明の第21の態様は、上述した第1~第19の態様に係る医療機器用色修正装置において、
モニタ用個別変換データ格納部に格納されている個別変換データが、特定組織強調画像データを構成する各色成分の組み合わせを変数値として与えることにより、表示用データを構成する各色成分の組み合わせを算出する関数、によって構成されているようにしたものである。
(22) 本発明の第22の態様は、生体組織群を被写体とする画像データに対して、特定の生体組織を強調する色変換を行う医療機器用色修正装置において、
特定の生体組織を強調する色変換を行うための特定組織強調用変換データを格納する特定組織強調用変換データ格納部と、
強調表示の対象となる特定の生体組織を指定する指定入力を受け付ける強調組織指定部と、
医療用撮像装置による撮像に基づいて得られた画像データに対して、特定組織強調用変換データ格納部に格納されている、指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する特定組織強調用色変換部と、
を設けるようにしたものである。
(23) 本発明の第23の態様は、上述した第22の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、所定の色空間において特定の生体組織に固有の特定の局在色領域に含まれる色に対して、特定の色修正を行うデータを用いるようにしたものである。
(24) 本発明の第24の態様は、上述した第23の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、所定の二次元色度図上における特定の生体組織に固有の局在色領域に含まれる色に対して、横座標値もしくは縦座標値またはその双方を増減させる色修正を行うデータを用いるようにしたものである。
(25) 本発明の第25の態様は、上述した第24の態様に係る医療機器用色修正装置において、
特定組織強調用変換データ格納部に格納する特定組織強調用変換データとして、u′v′色度図上における特定の生体組織に固有の局在色領域に含まれる色に対して、u′値もしくはv′値またはその双方を増減させる色修正を行うデータを用いるようにしたものである。
(26) 本発明の第26の態様は、上述した第25の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「血管」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における血管に固有の局在色領域に含まれる色に対して、u′値を増加させる色修正を行う変換データが格納されているようにしたものである。
(27) 本発明の第27の態様は、上述した第25または第26の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「脂肪」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における脂肪に固有の局在色領域に含まれる色に対して、u′値を減少させるとともにv′値を増加させる色修正を行う変換データが格納されているようにしたものである。
(28) 本発明の第28の態様は、上述した第25~第27の態様に係る医療機器用色修正装置において、
強調組織指定部が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付ける機能を有し、
特定組織強調用変換データ格納部には、「表層膜」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における表層膜に固有の局在色領域に含まれる色に対して、u′値を増加させるとともにv′値を減少させる色修正を行う変換データが格納されているようにしたものである。
(29) 本発明の第29の態様は、上述した第1~第21の態様に係る医療機器用色修正装置に、
この医療機器用色修正装置に撮像データを与える少なくとも1台の医療用撮像装置と、
この医療機器用色修正装置から出力された表示用データに基づいて画像表示を行う少なくとも1台のカラーモニタと、
を付加することにより、医療用画像表示システムを構成したものである。
(30) 本発明の第30の態様は、上述した第1~第28の態様に係る医療機器用色修正装置を、コンピュータにプログラムを組み込むことにより構成したものである。
本発明の第1~第21の態様に係る医療機器用色修正装置は、医療用撮像装置とカラーモニタとを含む医療用画像表示システムに組み込まれて用いられる装置である。この色修正装置では、個々の医療用撮像装置のもつ色特性の差が撮像装置用色変換部によって解消され、個々のカラーモニタのもつ色特性の差がモニタ用色変換部によって解消されるため、「様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合でも、機器ごとの色特性の差を解消して、統一した色調をもった画像表示を可能にする」という本発明の第1の目的が達成される。更に、この色修正装置では、撮像装置用色変換部による変換によって標準色画像データが生成され、この標準色画像データに対して、特定の生体組織を強調する色変換が行われるため、「特定の生体組織の観察に適した視認性のある画像表示を可能にする」という本発明の第2の目的も達成される。
一方、本発明の第22~第28の態様に係る医療機器用色修正装置も、医療用撮像装置とカラーモニタとを含む医療用画像表示システムに組み込まれて用いられる装置である。この色修正装置では、医療用撮像装置による撮像に基づいて得られた画像データに対して、特定の生体組織を強調する色変換が行われるため、「特定の生体組織の観察に適した視認性のある画像表示を可能にする」という本発明の第2の目的が達成される。
従来の一般的な医療用画像表示システムを導入した手術室の様子を示すブロック図である。 従来の一般的な医療用画像表示システムにおける画像データの流れを示すブロック図である。 本発明に係る医療機器用色修正装置100を含む医療用画像表示システム1000の基本構成を示すブロック図である。 図3に示す撮像装置用個別変換データ格納部110に格納される個別変換データCxの作成手順を示すブロック図である。 図4に示すカラーチャート70の具体例を示す平面図である。 図3に示す撮像装置用個別変換データ格納部110に格納される個別変換データおよびモニタ用個別変換データ格納部130に格納される個別変換データの具体例を示す図である。 医療用画像表示システムについて、カラーモニタ上での色再現性を調べる測定の基本手順を示す図である。 図5(b) に示すマルチカラーチャート72に対して、図7に示す測定手順を実施することによって得られた色分布を示すu′v′色度図である。 図5(c) に示す広色域カラーチャート73に対して、図7に示す測定手順を実施することによって得られた色分布を示すu′v′色度図である。 図8(b) に示す色分布と図9(b) に示す色分布とを合成した合成色分布を示すu′v′色度図(上段)および当該色分布についての色域使用率を示す図(下段)である。 各光源の可視光スペクトルを示すグラフである。 各光源の色温度を示すu′v′色度図である。 無影灯下で測定された大腸検体自体の各部の色分布を示すu′v′色度図である。 内視鏡光源下(ファイバー経由)で測定された大腸検体自体の各部の色分布を示すu′v′色度図である(実際には、図13の測定結果をシミュレーションによって内視鏡光源下の測定結果に変換したもの)。 D65光源下で測定された大腸検体自体の各部の色分布を示すu′v′色度図である(実際には、図13の測定結果をシミュレーションによってD65光源下の測定結果に変換したもの)。 図13の測定に用いた大腸検体およびその特定組織のサンプル箇所を示す上面図である。 図16に示す各サンプル箇所を無影灯下で測定することにより得られた色分布を示すu′v′色度図である。 図16に示す各サンプル箇所をD65光源下で測定することにより得られた色分布を示すu′v′色度図である。 図3に示す医療機器用色修正装置100内の特定組織強調用変換データCe,Cf,Cgによって定義されている特定の生体組織に固有の局在色領域Ae,Af,Agおよびその補正方向Me,Mf,Mgを示すu′v′色度図である。 図3に示す医療機器用色修正装置100内の強調組織指定部150を構成する指示ボタンの一例を示す正面図である。 図10に示す色分布を有する画像データに対して、特定組織強調用色変換部160によって様々な強調補正を実行することにより得られる画像データについての色分布を示すu′v′色度図である。
以下、本発明を図示する実施形態に基づいて説明する。
<<< §1. 従来の一般的な医療用画像表示システム >>>
はじめに、従来の一般的な医療用画像表示システムについて、簡単な説明を行う。図1は、従来の一般的な医療用画像表示システムを導入した手術室の様子を示すブロック図である。図示のとおり、手術室には、手術台10が設置され、その上に被術者(患者)Pが横たわっている。手術台10の上方には、無影灯20が設置されており、被術者Pの患部を照明している。図示の例は、被術者Pに対して腹腔鏡手術が行われる例であり、手術中は、被術者Pの腹部に直径10mm程度の開口部が形成され、内視鏡カメラ31の先端部が被術者Pの腹腔内に挿入される。
内視鏡カメラ31は、ケーブルによって内視鏡制御ユニット41に接続されている。内視鏡制御ユニット41は、内視鏡カメラ31を制御するための装置であり、内視鏡カメラ31に対する電源供給、内視鏡カメラ31からの撮像データの取り込み、内視鏡カメラ31に取り付けられている内視鏡光源のON/OFF、撮像データの録画などを行う機能を有する。なお、図には1台の内視鏡カメラ31のみが描かれているが、必要に応じて、複数台の内視鏡カメラが用いられる場合もある。
図示の例の場合、内視鏡制御ユニット41には4台のカラーモニタ51~54が接続されており、内視鏡カメラ31による撮像画像は、内視鏡制御ユニット41を介して、各カラーモニタ51~54に送られ、各画面上に表示される。施術者は、画面上の画像を見ながら、腹腔鏡手術を行うことになる(手術用の器具についての図示は省略されている)。カラーモニタ51~54は、必ずしも手術室内に設置する必要はなく、一部もしくは全部を別な部屋(たとえば、カンファレンスルーム)に設置してもかまわない。前掲の特許文献2に開示されたシステムでは、モニタが遠隔地に配置され、遠隔操作による手術が行われる。
この図1に示す例の場合、内視鏡カメラ31、内視鏡制御ユニット41、カラーモニタ51~54を含むシステムが、医療用画像表示システムを構成することになる。もちろん、一般的な開腹手術の場合にも、必要に応じて、このような医療用画像表示システムが導入される。開腹手術の場合、通常、内視鏡カメラ31の代わりに、患部を上方から撮影する通常のカメラが利用されるが、特殊な開腹手術では、内視鏡カメラが併用される場合もある。開腹手術の場合、施術者は、通常、患部を肉眼観察しながら施術することになるので、モニタ上の表示画像は、施術助手や他の関係者に対して提示する情報として利用される。
図2は、従来の一般的な医療用画像表示システムにおける画像データの流れを示すブロック図である。この図2には、被術者Pの患部となる実際の臓器P1の画像を医療用撮像装置30で撮像し、得られた撮像データを撮像制御ユニット40を介してカラーモニタ50に伝送し、その画面上に臓器の表示画像P2を表示させた例が示されている。図1に示すような腹腔鏡手術の場合、内視鏡カメラ31が医療用撮像装置30として用いられ、内視鏡制御ユニット41が撮像制御ユニット40として用いられる。被術者Pの上方には、無影灯20が配置されており、被術者Pは、この無影灯20からの光によって照明されている(図2において、無影灯20から実際の臓器P1へ向かう破線の矢印は、このような照明光を示している。)。もっとも、腹腔鏡手術の場合、無影灯20からの照明光は、被写体となる実際の臓器P1には届かないため、内視鏡カメラに取り付けられた内視鏡光源(内視鏡カメラ付帯光源)からの照明を受けることになる(図2において、医療用撮像装置30から実際の臓器P1へ向かう破線の矢印は、この内視鏡光源からの照明光を示している)。
結局、図2に示す例の場合、医療用撮像装置30、撮像制御ユニット40、カラーモニタ50を含むシステムが、医療用画像表示システムを構成することになる。ここで、医療用撮像装置30は、実際の臓器P1を撮像することにより画像入力を行う構成要素であり、撮像制御ユニット40は、この画像入力によって得られた画像データを中継する処理を行う構成要素であり、カラーモニタ50は、与えられた画像データに基づいて、臓器の表示画像P2を画面上に表示することにより画像出力を行う構成要素である。
既に述べたように、医療用撮像装置30やカラーモニタ50は、それぞれの機器ごとに固有の色特性を有している。このため、通常、カラーモニタ50の画面上に表示される臓器の表示画像P2の色調と、実際の臓器P1の色調(無影灯20もしくは内視鏡光源の照明下での色調)との間には差が生じることになる。しかも、この色調の差は、医療用撮像装置30として実際に用いる機器や、カラーモニタ50として実際に用いる機器によって異なる。このため、医療用撮像装置30として複数種類のカメラを用いたり、カラーモニタ50として複数種類の機器を用いた場合、どのカメラで撮影した画像をどのカラーモニタで表示するか、という具体的な態様によって、臓器の表示画像P2の色調は変わってしまう。
今後は、様々な特徴をもった内視鏡カメラが多数開発され、様々なプロバイダーから提供されることが予想され、また、様々な特徴をもったカラーモニタが多数開発され、様々なプロバイダーから提供されることが予想される。このように、様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合、臓器の表示画像P2の色調も様々になる。これは、施術者がカラーモニタ50上の画像に基づいて種々の診断を行う上で大きな問題である。
前掲の特許文献3に記載されたシステムの場合、撮像制御ユニット40に相当する装置内で、撮影画像に対する画像処理が行われ、カラーモニタ50上に、施術者の観察方向に合致した画像が表示されることになるが、各機器の色特性の相違を解消する処理は行われていない。また、前掲の特許文献4に記載されたシステムの場合、撮像制御ユニット40に相当する装置内で、三次元ボリュームデータが生成され、カラーモニタ上にCT画像が表示されることになるが、やはり各機器の色特性の相違を解消する処理は行われていない。
このように、従来の医療用画像表示システムには、様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合、機器ごとの色特性の差に起因して、カラーモニタ上に表示される画像の色調が統一されない、という問題がある。本発明の第1の目的は、このような問題に鑑みて、様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合でも、機器ごとの色特性の差を解消して、統一した色調をもった画像表示を可能にすることにある。
また、実際に手術を行う施術者の立場からは、特定の生体組織のみを詳細に観察したい場合があるが、図1や図2に示す従来の医療用画像表示システムでは、このような要求に応えることはできない。たとえば、ある臓器の血管が施術対象となる場合、施術者は、血管の部分を詳細に観察しながら手術を進めたいことになる。ところが、従来の医療用画像表示システムでは、カラーモニタ上に血管部分が全体的に赤味を帯びた色で表示されることになるので、カラーモニタ上の表示画像から血管部分についての微妙な色調の相違や陰影を把握することは困難である。本発明の第2の目的は、このような問題に鑑みて、特定の生体組織の観察に適した視認性のある画像表示を可能にすることにある。
そこで、§2以降では、上記2つの目的を達成することが可能な本発明に係る医療機器用色修正装置について詳述する。
<<< §2. 本発明に係る医療用画像表示システム >>>
ここでは、本発明に係る医療用画像表示システムと、当該システムに組み込まれて用いられる医療機器用色修正装置の基本構成および基本機能を説明する。
<2.0 医療用画像表示システムの基本構成>
図3は、本発明に係る医療機器用色修正装置100を含む医療用画像表示システム1000の基本構成を示すブロック図である。ここに例示する医療用画像表示システム1000は、3台の医療用撮像装置30X~30Z、4台のカラーモニタ50A~50D、1台の医療機器用色修正装置100によって構成されている。この図3に示す医療用画像表示システム1000を、図2に示す従来の医療用画像表示システムと対比すると、医療用撮像装置30X~30Zは医療用撮像装置30に対応し、カラーモニタ50A~50Dはカラーモニタ50に対応し、医療機器用色修正装置100は撮像制御ユニット40に対応することになる。ただ、図2に示す撮像制御ユニット40が、医療用撮像装置30から得られる撮像データをそのままカラーモニタ50へ引き渡す中継機能しか有していないのに対して、図3に示す医療機器用色修正装置100は、医療用撮像装置30X~30Zから得られる撮像データDx~Dzに対して、所定の色修正処理を施し、各カラーモニタ50A~50Dに適した各表示用データDa~Ddを作成する機能を有している。
医療用撮像装置30X~30Zは、医療用画像を撮影する装置であれば、どのような装置であってもかまわない。具体的には、たとえば、腹腔鏡手術に用いる内視鏡カメラであってもよいし、手術室に配置された通常のビデオカメラであってもよい。もちろん、医療用撮像装置30X~30Zによる撮像によって得られる画像データは、静止画データであってもよいし、動画データであってもよい。また、ここに示す医療用画像表示システム1000は、手術への利用に限定されるものではなく、人体から切り出したサンプル組織を撮影してカラーモニタに表示し、検査や診断を行う用途にも利用可能であり、そのような用途に利用する際には、たとえば、顕微鏡カメラを医療用撮像装置として用いることもできる。
一方、カラーモニタ50A~50Dは、カラー画像の表示機能をもった装置であれば、どのような装置であってもかまわない。一般的には、コンピュータに接続して用いるカラーディスプレイをカラーモニタ50A~50Dとして用いればよい。§1で述べたように、各カラーモニタ50A~50Dの設置場所も任意である。
なお、ここでは説明の便宜上、3台の医療用撮像装置30X~30Zと4台のカラーモニタ50A~50Dとを医療機器用色修正装置100に接続することにより、医療用画像表示システム1000を構成した例を示すが、医療用撮像装置の台数やカラーモニタの台数は任意でかまわない。本発明に係る医療用画像表示システム1000を構成するには、医療機器用色修正装置100に、少なくとも1台の医療用撮像装置30と少なくとも1台のカラーモニタ50とを接続すれば足りる。
図3に示す医療機器用色修正装置100は、図に一点鎖線で囲って示すように、撮像装置用個別変換データ格納部110、特定組織強調用変換データ格納部120、モニタ用個別変換データ格納部130、撮像装置用色変換部140、強調組織指定部150、特定組織強調用色変換部160、モニタ用色変換部170を有している。実際には、これらの各構成要素は、コンピュータに専用のプログラムを組み込むことによって実現することができる。したがって、実用上、図3に示す医療機器用色修正装置100は、専用のプログラムを組み込んだコンピュータによって構成され、医療用撮像装置30X~30Zやカラーモニタ50A~50Dは、このコンピュータに接続されることになる。なお、図3では、個々の構成要素を矩形ブロックで描き、この矩形ブロック間で送受されるデジタルデータを楕円ブロックで描いている。
この医療機器用色修正装置100は、医療用撮像装置30X~30Zによる撮像によって得られた画像データ(実際には、動画を構成するために時系列的に並んだ複数の画像データ)に対して、カラーモニタ50A~50Dへの表示に適した色修正を行う機能を有する。図3のブロック図では、各医療用撮像装置30X~30Zによる撮像によって得られた画像データ(医療機器用色修正装置100に入力される画像データ)を、それぞれ撮像データDx,Dy,Dzと呼び、各カラーモニタ50A~50Dに与えられる画像データ(医療機器用色修正装置100から出力される画像データ)を、それぞれ表示用データDa,Db,Dc,Ddと呼んでいる。したがって、医療機器用色修正装置100は、入力した撮像データDx,Dy,Dzに対して、それぞれ所定の色修正処理を施し、処理後の画像データを表示用データDa,Db,Dc,Ddとして出力する役割を果たす。
このような色修正処理は、3段階の変換処理として実行される。第1の変換処理は、入力した撮像データDx,Dy,Dzに対して行われる処理であり、撮像装置用個別変換データ格納部110に格納されている個別変換データCx,Cy,Czを利用して、撮像装置用色変換部140によって実行される。この第1の変換処理の目的は、各医療用撮像装置30X,30Y,30Zがもつ機器ごとの色特性の差を解消することにあり、撮像装置用色変換部140から出力される標準色画像データDsは、機器ごとの色特性の差を解消した標準色の色合いをもった画像データになる。
続いて行われる第2の変換処理は、撮像装置用色変換部140から出力された標準色画像データDsに対して行われる処理であり、特定組織強調用変換データ格納部120に格納されている特定組織強調用変換データ(図示の例の場合、血管強調データCe,脂肪強調データCf,表層膜強調データCg)を利用して、特定組織強調用色変換部160によって実行される。この第2の変換処理の目的は、オペレータが指定した特定の生体組織の観察に適した視認性のある画像表示を行うために、当該特定の生体組織を強調する色変換を行うことにある。特定組織強調用色変換部160から出力される特定組織強調画像データ(図では、指定された生体組織に応じて、データDe,Df,Dgが示されている)は、特定の生体組織の観察に適した視認性のある画像に対応する画像データになる。
最後に行われる第3の変換処理は、特定組織強調用色変換部160から出力された特定組織強調画像データDe,Df,Dgに対して行われる処理であり、モニタ用個別変換データ格納部130に格納されている個別変換データCa,Cb,Cc,Cdを利用して、モニタ用色変換部170によって実行される。この第3の変換処理の目的は、各カラーモニタ50A~50Dがもつ機器ごとの色特性の差を解消することにあり、モニタ用色変換部170から出力される各表示用データDa,Db,Dc,Ddは、個々の機器ごとの色特性の差を解消するための補正がなされた画像データになる。
なお、図3において、下方に向かう各矢印は、個々の画像データ自体の流れを示すものではなく、色合いに関する変換プロセスの流れを示すものである。たとえば、撮像装置用色変換部140の入力段には、3本の下方矢印が描かれているのに対して、出力段には1本の下方矢印のみが描かれているが、これは入力側の3組の撮像データDx,Dy,Dzが、それぞれ固有の色合いを有しているのに対して、出力側の標準色画像データDsは共通の標準色を有していることを示している。別言すれば、入力段の3本の下方矢印は、同一の被写体を同一の条件で撮像した場合でも、それぞれの撮像装置がもつ固有の色特性により、撮像データDx,Dy,Dzが互いに異なるデータ(異なる色合いをもつデータ)になることを示しており、出力段の1本の下方矢印は、撮像装置用色変換部140による変換処理により、撮像データDx,Dy,Dzの色合いの差が解消され、共通した色合いをもつ標準色画像データDsが得られることを示している。
特定組織強調用色変換部160は、強調対象となる特定の生体組織に応じて、この標準色画像データDsの色合いを変換して、特定組織強調画像データ(画像データDe,Df,Dgのいずれか)を出力する。したがって、モニタ用色変換部170の入力段には、1本の下方矢印として描かれている特定組織強調画像データが与えられる。モニタ用色変換部170の出力段に4本の下方矢印が描かれているのは、個々のカラーモニタ50A~50Dに与える表示用データDa~Ddの色合いが、個々のカラーモニタ50A~50Dのもつ固有の色特性に応じて異なることを示している。すなわち、モニタ用色変換部170の入力段に同一の特定組織強調画像データが与えられたとしても、出力段には、それぞれ異なる表示用データDa~Ddが得られることになる。
<2.1 第1の変換処理に関する基本動作>
続いて、医療機器用色修正装置100内に矩形ブロックとして示されている個々の構成要素についての基本機能を順に説明する。はじめに、第1の変換処理(入力した撮像データDx,Dy,Dzに対して行われる処理)に関する撮像装置用個別変換データ格納部110および撮像装置用色変換部140の基本機能を述べる。
まず、撮像装置用個別変換データ格納部110は、特定の医療用撮像装置がもつ固有の色特性を考慮して、当該医療用撮像装置による撮像データの色特性を標準色特性に変換するための個別変換データを格納する構成要素である。図3に示す実施例の場合、医療機器用色修正装置100には、3台の医療用撮像装置30X,30Y,30Zが接続されているので、撮像装置用個別変換データ格納部110には、これら3台の医療用撮像装置30X,30Y,30Zに対応して、それぞれ個別変換データCx,Cy,Czが用意されている。たとえば、個別変換データCxは、医療用撮像装置30Xがもつ固有の色特性を考慮して、医療用撮像装置30Xによる撮像データDxの色特性を標準色特性に変換するための変換データである。このような変換データの実体は、§3において詳述する。
撮像装置用色変換部140は、特定の医療用撮像装置から入力した撮像データに対して、撮像装置用個別変換データ格納部110に格納されている、当該特定の医療用撮像装置についての個別変換データを用いた色変換を行って標準色画像データを生成する構成要素である。たとえば、医療用撮像装置30Xから撮像データDxが与えられた場合、撮像装置用色変換部140は、この撮像データDxに対して、撮像装置用個別変換データ格納部110に格納されている、医療用撮像装置30Xについての個別変換データCxを用いた色変換を行って標準色画像データDsを生成する処理を実行する。
図示の例の場合、医療機器用色修正装置100に、3台の医療用撮像装置30X,30Y,30Zが接続されているので、撮像装置用個別変換データ格納部110には、3組の個別変換データCx,Cy,Czが用意されているが、一般に、複数I台の医療用撮像装置の利用が想定される場合なら、撮像装置用個別変換データ格納部110に、これらI台の医療用撮像装置についての個別変換データをそれぞれ格納しておけばよい。この場合、撮像装置用色変換部140は、第i番目(1≦i≦I)の医療用撮像装置30iから入力した撮像データDiに対しては、第i番目の個別変換データCi(第i番目の医療用撮像装置30iについての個別変換データ)を用いた色変換を行って標準色画像データDsを生成する。
このように、撮像装置用色変換部140による色変換処理によって得られた標準色画像データDsは、各医療用撮像装置に固有の色特性を標準色特性に変換したものであるため、機器ごとの色特性の差を解消した統一した色調をもった画像データになる。したがって、同一の被写体を同一の撮像条件で、3台の医療用撮像装置30X,30Y,30Zによって撮影した場合、得られる撮像データDx,Dy,Dzの内容は相互に異なるものになるが、これら撮像データDx,Dy,Dzに対する色変換処理によって得られる3通りの標準色画像データ(ここでは、Dsx,Dsy,Dszと呼ぶ)は、理論的には同一の画像データになる。別言すれば、個々の撮像データDx,Dy,Dzによって表現される画像の色合いは、各撮像装置に固有の色特性に応じて互いに異なるものになるが、撮像装置用色変換部140による色変換後に得られる標準色画像データDsx,Dsy,Dszによって表現される画像の色合いは、理論的には同一のものになる。
<2.2 第2の変換処理に関する基本動作>
続いて、第2の変換処理(撮像装置用色変換部140から出力された標準色画像データDsに対して行われる処理)に関する特定組織強調用変換データ格納部120、強調組織指定部150、および特定組織強調用色変換部160の基本機能を述べる。
図3に示す医療機器用色修正装置100の重要な特徴の1つは、撮像装置用色変換部140による色変換処理によって、各医療用撮像装置30X,30Y,30Zから得られた撮像データDx,Dy,Dzを、一旦、標準色画像データDsに変換し(第1の変換処理)、この標準色画像データDsに対して、特定組織強調用色変換部160による色変換処理を行って、特定の生体組織が強調された特定組織強調画像データDe,Df,Dgを生成し(第2の変換処理)、これに対して、更に、モニタ用色変換部170による色変換処理を行って、各カラーモニタ50A~50Dに対応した表示データDa~Ddを生成する(第3の変換処理)点にある。特定組織強調用色変換部160による色変換処理の対象は、標準の色合いをもった標準色画像データDsであるので、特定組織強調用色変換部160による色変換処理を行う上では、各医療用撮像装置30X,30Y,30Zに固有の色特性は考慮する必要がない。
したがって、特定組織強調用変換データ格納部120には、標準の色合いをもった標準色画像データDsに対して、特定の生体組織を強調する色変換を行うための特定組織強調用変換データを格納しておけばよい。図3に示す実施例の場合、特定組織強調用変換データ格納部120には、3通りの特定組織強調用変換データが格納されている。具体的には、血管を強調する色変換を行うための血管強調データCe、脂肪を強調する色変換を行うための脂肪強調データCf、表層膜(臓器等の表面層を構成する膜)を強調する色変換を行うための表層膜強調データCgという3通りの特定組織強調用変換データが格納されている。これら特定組織強調用変換データCe,Cf,Cgの実体や、特定の生体組織の「強調表示」の実例については、§6において詳述する。
強調組織指定部150は、強調表示の対象となる特定の生体組織を指定する指定入力を受け付ける構成要素である。この指定入力は、医療機器用色修正装置100のオペレータ(たとえば、手術中であれば、施術者など)によって行われる。オペレータは、カラーモニタ50A~50Dに表示させる画像について、強調表示したい生体組織を指定する入力を行うことになる。要するに、オペレータは、どの生体組織についての視認性を向上させた画像を表示させたいか、別言すれば、どの生体組織の観察に適した画像を表示させたいか、という観点から、特定の生体組織を指定すればよい。強調組織指定部150は、オペレータからの指定入力を特定組織強調用色変換部160に伝達する役割を果たす。
特定組織強調用色変換部160は、標準色画像データDsに対して、特定組織強調用変換データ格納部120に格納されている、指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する。たとえば、オペレータが、強調表示の対象となる特定の生体組織として「血管」を指定する入力を行ったとすると、強調組織指定部150から特定組織強調用色変換部160に対して、強調表示の対象が「血管」である旨が伝達される。そこで、特定組織強調用色変換部160は、特定組織強調用変換データ格納部120に格納されている3組の特定組織強調用変換データの中から血管強調データCeを選択し、この血管強調データCeを用いて、標準色画像データDsに対する色変換処理を行い、処理後の画像データとして、血管についての特定組織強調画像データDeを出力する。同様に、強調表示の対象として「脂肪」や「表層膜」が指定された場合は、脂肪強調データCfや表層膜強調データCgを用いた色変換処理により、脂肪についての特定組織強調画像データDfや、表層膜についての特定組織強調画像データDgが出力されることになる。
図示の例の場合、強調表示の対象として指定可能な生体組織として、「血管」,「脂肪」,「表層膜」の3種類が用意されているが、もちろん、この他にも、「骨」,「軟骨」,「筋肉」など、様々な生体組織を強調表示の対象として指定できるようにすることが可能である。要するに、複数通りの生体組織を強調表示の対象とする場合は、特定組織強調用変換データ格納部120に、複数J通りの生体組織についての特定組織強調用変換データをそれぞれ格納しておき、特定組織強調用色変換部160が、強調組織指定部150から第j番目(1≦j≦J)の生体組織を指定する指定入力を受け付けた場合に、第j番目の特定組織強調用変換データCj(第j番目の生体組織を強調するための変換データ)を用いた色変換を行って特定組織強調画像データを生成すればよい。
なお、強調組織指定部150に対する指定入力は、必ずしも単一の生体組織を指定する入力である必要はなく、複数の生体組織を指定する入力であってもかまわない。たとえば、オペレータが、「血管」と「脂肪」の双方について強調表示したいと考えた場合は、強調組織指定部150に対して、これら双方を指定する入力を行えばよい。この場合、強調組織指定部150から特定組織強調用色変換部160に対して、「血管」および「脂肪」の双方が指定された旨が伝達されるので、特定組織強調用色変換部160は、標準色画像データDsに対して、血管強調データCeを用いた色変換と脂肪強調データCfを用いた色変換とを重複して行い、特定組織強調画像データDefを出力することになる。この特定組織強調画像データDefを用いたカラーモニタ上の表示は、「血管」と「脂肪」の双方が強調された表示になる。
要するに、強調表示の対象として複数の生体組織を指定できるようにするには、強調組織指定部150に、複数H通り(H≦J)の生体組織を重複して指定する指定入力を受け付ける機能を設けておき(Jは、特定組織強調用変換データ格納部120に格納されている特定組織強調用変換データの総数)、特定組織強調用色変換部160が、強調組織指定部150から複数H通りの生体組織を指定する指定入力を受け付けた場合に、これら複数H通りの生体組織に対応する複数H通りの特定組織強調用変換データを用いた色変換を重複して行って特定組織強調画像データを生成するようにすればよい。
また、強調組織指定部150は、「いずれの生体組織も指定しない」という指定入力(以下、「空指定入力」と呼ぶ)を受け付けることも可能である。この「空指定入力」があった場合、特定組織強調用色変換部160は、実質的な色変換処理を何ら行わずに、入力した標準色画像データDsをそのまま出力する。この場合、標準色画像データDsが、そのまま特定組織強調画像データDsとして出力されることになる。当然ながら、この特定組織強調画像データDsを用いたカラーモニタ上の表示は、いずれの生体組織も強調されない画像になる。
要するに、ここで述べる実施例の場合、強調組織指定部150は、いずれの生体組織も指定しないことを示す空指定入力を受け付ける機能を有し、特定組織強調用色変換部160は、強調組織指定部から150から空指定入力を受け付けた場合には、色変換を行わずに、標準色画像データDsをそのまま特定組織強調画像データとして出力することになる。
もちろん、常に特定の生体組織のみを強調表示の対象とする専用の色修正装置100を提供することも可能である。たとえば、「血管」のみを強調表示の対象としておけば足り、他の生体組織については強調表示する必要がない環境で用いる実施例の場合には、特定組織強調用変換データ格納部120には、血管強調データCeのみを格納しておけば足りる。この場合、特定組織強調用色変換部160が色変換を行うときには、常に血管強調データCeを用いた色変換を行うことになり、常に特定組織強調画像データDeが出力されることになる。もちろん、この場合も、強調組織指定部150に空指定入力を受け付ける機能をもたせておくことができる。そうすれば、強調組織指定部150への指定入力は、強調表示を行うか(血管を指定する入力)、強調表示を行わないか(空指定入力)のいずれかを選択する入力ということになる。
また、強調組織指定部150に、個々のカラーモニタ50A~50Dごとに、それぞれ異なる指定入力を受け付ける機能をもたせておけば、個々のカラーモニタ50A~50Dごとに、それぞれ別々の生体組織を強調した画像を表示させることができる。たとえば、強調組織指定部150に対して、カラーモニタ50Aについては空指定入力、カラーモニタ50Bについては「血管」の指定入力、カラーモニタ50Cについては「脂肪」の指定入力、カラーモニタ50Dについては「表層膜」の指定入力が行われた場合、特定組織強調用色変換部160は、4通りの特定組織強調画像データDs,De,Df,Dgを出力すればよい。
この場合、モニタ用色変換部170は、画像データDsに対して個別変換データCaを用いた色変換を行って表示用データDaを生成し、画像データDeに対して個別変換データCbを用いた色変換を行って表示用データDbを生成し、画像データDfに対して個別変換データCcを用いた色変換を行って表示用データDcを生成し、画像データDgに対して個別変換データCdを用いた色変換を行って表示用データDdを生成すればよい。そうすれば、カラーモニタ50Aには、標準色の画像が表示され、カラーモニタ50Bには「血管」が強調された画像が表示され、カラーモニタ50Cには「脂肪」が強調された画像が表示され、カラーモニタ50Dには「表層膜」が強調された画像が表示されることになる。
<2.3 第3の変換処理に関する基本動作>
最後に、第3の変換処理(特定組織強調用色変換部160から出力された特定組織強調画像データDe,Df,Dg等に対して行われる処理)に関するモニタ用個別変換データ格納部130およびモニタ用色変換部170の基本機能を述べる。
まず、モニタ用個別変換データ格納部130は、各カラーモニタ50A~50Dに対応する個別変換データCa~Cdを格納する構成要素である。これらの個別変換データCa~Cdは、それぞれ対応する特定のカラーモニタ50A~50Dがもつ固有の色特性を考慮して、当該カラーモニタ50A~50D上に標準色特性をもつ画像が表示されるような色変換を行うための変換データである。
一方、モニタ用色変換部170は、特定組織強調用色変換部160から与えられた特定組織強調画像データに対して、モニタ用個別変換データ格納部130に格納されている、特定のカラーモニタについての個別変換データを用いた色変換を行って表示用データを生成し、生成した表示用データを前記特定のカラーモニタに出力する構成要素である。たとえば、モニタ用色変換部170に対して、特定組織強調用色変換部160から「血管」を強調する特定組織強調画像データDeが与えられ、この画像データDeに基づく画像を、第1のカラーモニタ50Aに表示する場合を例にとると、特定組織強調画像データDeに対して、モニタ用個別変換データ格納部130に格納されている、第1のカラーモニタ50Aについての個別変換データCaを用いた色変換を行って表示用データDaを生成し、生成した表示用データDaを第1のカラーモニタ50Aに出力する処理が行われることになる。
前述したとおり、撮像装置用個別変換データ格納部110に格納されている各個別変換データCx~Czは、医療用撮像装置30X~30Zのもつ固有の色特性の相違を解消するための変換を行うデータであり、撮像装置用色変換部140は、このような固有の色特性の相違を解消した標準色画像データDsを生成する処理を行う。これに対して、モニタ用個別変換データ格納部130に格納されている各個別変換データCa~Cdは、カラーモニタ50A~50Dのもつ固有の色特性の相違を解消するための変換を行うデータであり、モニタ用色変換部170は、このような固有の色特性の相違を解消し、いずれのカラーモニタの画面上でも同じ色合いをもった表示が行われるように、個々のカラーモニタ50A~50Dに適した表示用データDa~Ddを生成する処理を行う。
図示の例の場合、医療機器用色修正装置100に、4台のカラーモニタ50A~50Dが接続されているので、モニタ用個別変換データ格納部130には、4組の個別変換データCa~Cdが用意されているが、一般に、複数K台のカラーモニタの利用が想定される場合なら、モニタ用個別変換データ格納部130に、これらK台の医療用撮像装置についての個別変換データをそれぞれ格納しておけばよい。この場合、モニタ用色変換部170は、第k番目(1≦k≦K)のカラーモニタ50kに対して出力する表示用データDkを生成する際には、第k番目の個別変換データCk(第k番目のカラーモニタ50kについての個別変換データ)を用いた色変換を行えばよい。
なお、このように、同一の画像データを互いに色特性の異なる複数のカラーモニタに与えて表示を行う際に、個々のカラーモニタの画面に得られる表示画像の色合いを同一にするために、個々のカラーモニタごとに用意された個別変換データを用いて画像データに対する色変換を行う技術自体は、既に公知の技術である。特に、印刷業者などのプロフェッショナルが利用するカラーモニタの場合、予め、当該カラーモニタに固有の色特性を考慮した個別変換データ(一般に、カラープロファイルデータと呼ばれる)が用意されている場合が多い。このように、カラーモニタにカラープロファイルデータが添付されている場合には、当該カラープロファイルデータを、モニタ用個別変換データ格納部130に格納する個別変換データとして利用すればよい。このように、個々のカラーモニタに固有のカラープロファイルデータを作成する方法も既に公知の方法であるため、ここでは詳しい説明は省略する。
<2.4 本発明に係る医療機器用色修正装置の特徴>
以上、述べたとおり、本発明に係る医療機器用色修正装置100では、撮像装置用色変換部140による第1の変換処理、特定組織強調用色変換部160による第2の変換処理、モニタ用色変換部170による第3の変換処理、という3段階の色変換処理が実施される。
第1の変換処理と第3の変換処理とは、機器ごとの色特性の差を解消する役割を果たし、これらの処理により、「様々な色特性をもつ機器を組み合わせて医療用画像表示システムを構成した場合でも、機器ごとの色特性の差を解消して、統一した色調をもった画像表示を可能にする」という本発明の第1の目的が達成されることになる。
また、第2の変換処理は、オペレータが指定した特定の生体組織を強調表示する役割を果たし、この処理により、「医療用画像表示システムを利用する際に、特定の生体組織の観察に適した視認性のある画像表示を可能にする」という本発明の第2の目的が達成されることになる。たとえば、後に詳述するように、オペレータが「血管」、「脂肪」、「表層膜」のような特定の生体組織を強調表示の対象として指定すれば、指定された生体組織の視認性をより向上させた表示が得られるようになる。たとえば、従来のシステムでは、撮像段階においてサチュレーションを起こしていた血液の色などが、カラーモニタ上において正確に読み取れるようになる。
しかも、第2の変換処理は、第1の変換処理と第3の変換処理との間に実施されるため、第1の変換処理によって得られた標準色画像データDsに対する処理として実行することができる。このため、第2の変換処理を行う際には、各医療用撮像装置の色特性という「機器に固有の色特性」は考慮する必要がなく、常に、標準の色特性を有する標準色画像データDsを処理対象とする統一的な色修正を行えば足りる。また、第2の変換処理の後に、第3の変換処理が行われるため、第2の変換処理を行う際には、最終的に画像表示が行われるカラーモニタの色特性という「機器に固有の色特性」を考慮する必要もない。別言すれば、特定組織強調用変換データ格納部120には、実際に用いる医療用撮像装置やカラーモニタの機種に関わらず、常に、統一的な特定組織強調用変換データを用意しておけば足りる。
このように、本発明に係る医療機器用色修正装置100は、入力側に接続される医療用撮像装置が、どのメーカーによって提供されるどの機種であっても、出力側に接続されるカラーモニタが、どのメーカーによって提供されるどの機種であっても、機種ごとの色特性の差を考慮することなしに利用することができる。このため、本発明に係る医療用画像表示システム1000を導入した施設であれば、どの病院であろうが、どの研究施設であろうが、同様の基準に基づく色判断を行うことができるようになる。
<<< §3. 撮像装置用個別変換データの実体 >>>
ここでは、図3に示す医療機器用色修正装置100の構成要素である撮像装置用個別変換データ格納部110に格納される撮像装置用個別変換データCx,Cy,Czの実体について、より詳しい説明を行う。既に§2で説明したとおり、個別変換データCx,Cy,Czは、それぞれ対応する医療用撮像装置30X,30Y,30Zがもつ固有の色特性を考慮して、各撮像データDx,Dy,Dzの色特性を標準色特性に変換するための変換データである。ここでは、医療用撮像装置30Xについての個別変換データCxを作成する具体的な手順を、図4のブロック図を参照しながら説明する。
一般に、撮像装置やカラーモニタ装置で取り扱う画像データは、多数の画素の集合体によって構成されている。そして、個々の画素は、通常、三原色成分R,G,Bの各画素値を有している。たとえば、1つの色成分を8ビットのデータで表現すれば、1つの画素のもつ画素値は24ビットのデータで表わされる。そこで、医療用撮像装置30Xから得られる撮像データDxを構成する個々の画素の画素値を、三原色成分Rold,Gold,Bold で表し、撮像装置用色変換部140による色変換によって得られる標準色画像データDsを構成する個々の画素の画素値を、三原色成分Rnew,Gnew,Bnew で表せば、撮像装置用個別変換データ格納部110に格納されている個別変換データCxは、撮像データDxの三原色成分Rold,Gold,Bold を、標準色画像データDsの三原色成分Rnew,Gnew,Bnew に変換するための変換データということになる。すなわち、任意の値(Rold,Gold,Bold )に基づいて、別な値(Rnew,Gnew,Bnew )を一義的に求めることができる何らかの情報を、個別変換データCxとして用いることが可能である。
このような個別変換データCxを作成するには、色見本を提示するカラーチャートを用いた実測を行えばよい。いま、図4に示すように、白色の光源60とカラーチャート70を用意する。ここに示す例の場合、白色の光源60としてCIE標準光源D65に準拠した光源(以下、単に、「D65光源」と呼ぶ)を用いている。このD65光源は、国際照明委員会(CIE)によって定義された標準光源であり、欧州/北欧における平均的な正午の光に相当するスペクトルをもつ仮想の光源とされ、相関色温度はおよそ6500Kとされている。なお、「D65光源」なる標準光源自体は、装置として実際に市販されているものではないので、実用上は、標準光源D65に近似した光を発する市販の装置(たとえば、LED光源など)を、図4に示す光源60として用いるようにすればよい。光源として、このD65光源を用いる理由については、§5で述べることにする。
一方、カラーチャート70は、色見本を配列した板状の物体であり、様々な画像機器についての色彩再現性のチェックや色較正などの用途に利用されている。このカラーチャート70のいくつかの具体例の平面図を、図5(a) ,(b) ,(c) に示す。図5(a) に示す三原色カラーチャート71は、赤・青・緑の三原色の色見本を配置した最も単純なカラーチャートである。図にハッチングを施して示す3つの領域が、三原色の色見本の部分であり、それぞれ赤・青・緑の色成分を透過する透光性を有している。したがって、背面に白色の光源60を配置して、この三原色カラーチャート71を前方から観察すると、各領域が赤・青・緑の窓として観察されることになる。
図5(b) に示すマルチカラーチャート72は、多数の正方形状の色見本を二次元配列上に配置したものであり、通常、カメラやモニタについての低彩度から中彩度における色再現性を検証するために利用されている。図5(a) に示す三原色カラーチャート71には、赤・青・緑の三原色の色見本しか配置されていないのに対して、図5(b) に示すマルチカラーチャート72には、153個の色見本が配置されており、よりきめの細かな色較正を行うことができる。一方、図5(c) に示す広色域カラーチャート73は、配置されている色見本の総数はそれほど多くないものの、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色見本になっている。この広色域カラーチャート73は高彩度色や原色の色再現性の検証に適しており、これを利用した具体的な色較正の方法については、§4において説明する。
なお、図5には、3種類のカラーチャート71,72,73を例示したが、もちろん、カラーチャートには様々な製品が市販されており、本発明に利用するカラーチャートは、図5に示す3種類に限定されるものではない。たとえば、中彩度色を補う上では、一般にマクベスチャートと呼ばれているカラーチャートを利用してもかまわない。
さて、図4に示すように、カラーチャート70の背面に光源60を配置し、カラーチャート70の前面に医療用撮像装置30X(たとえば、内視鏡カメラ)を配置し、カラーチャート70の前面の画像を医療用撮像装置30Xで撮像する。医療用撮像装置30Xの受光面には、カラーチャート70の各色見本領域内の透過光が入射することになる。図4に示す破線の矢印は、光源60からの光の経路を示している。こうして得られた撮像データのうち、カラーチャート70の個々の色見本となる領域についての三原色(R,G,B)の色成分を撮像色データDt(Rt,Gt,Bt)と呼ぶことにする。
たとえば、カラーチャート70として、図5(a) に示す三原色カラーチャート71を用いた場合、赤領域についての撮像色データDt1(Rt1,Gt1,Bt1)と、緑領域についての撮像色データDt2(Rt2,Gt2,Bt2)と、赤領域についての撮像色データDt3(Rt3,Gt3,Bt3)が得られることになる。同様に、カラーチャート70として、図5(b) に示すマルチカラーチャート72を用いた場合は、第1番目の色見本についての撮像色データDt1(Rt1,Gt1,Bt1)~第153番目の色見本についての撮像色データDt153(Rt153,Gt153,Bt153)が得られることになる。
一方、カラーチャート70の各色見本について、本来の色データDT(RT,GT,BT)を測定しておく。図4の一点鎖線の矢印は、このような測定プロセスを利用して色データDTが得られること示している。たとえば、カラーチャート70として、図5(a) に示す三原色カラーチャート71を用いた場合、赤領域についての本来の色データDT1(RT1,GT1,BT1)と、緑領域についての本来の色データDT2(RT2,GT2,BT2)と、青領域についての本来の色データDT3(RT3,GT3,BT3)が得られることになる。同様に、カラーチャート70として、図5(b) に示すマルチカラーチャート72を用いた場合は、第1番目の色見本についての本来の色データDT1(RT1,GT1,BT1)~第153番目の色見本についての本来の色データDT153(RT153,GT153,BT153)が得られることになる。
本来の色データDTの測定は、たとえば、図4に示す医療用撮像装置30Xの位置に分光分析装置(測色器)を配置して、個々の色見本の領域のそれぞれについてスペクトルを測定し(後述する図7(a) の測定系と同様の測定系を用いればよい)、このスペクトルのデータに基づいて三原色成分(RT,GT,BT)の値を算出すればよい。もっとも、市販のカラーチャート70には、供給元における測定で得られた本来の色データDT(RT,GT,BT)が添付されているケースもあり、そのようなケースでは、測定作業を省略して、添付されていた本来の色データDT(RT,GT,BT)をそのまま利用すればよい。
こうして、同一のカラーチャート70について、撮像色データDt(Rt,Gt,Bt)と本来の色データDT(RT,GT,BT)とが得られたら、これらのデータを個別変換データ作成部80に与えて、個別変換データCxを求めればよい。個別変換データ作成部80は、実際には、コンピュータに専用のプログラムを組み込んで構成される装置であり、各色見本についての撮像色データDt(Rt,Gt,Bt)と本来の色データDT(RT,GT,BT)との相違に基づいて、医療用撮像装置30Xに固有の色特性を認識し、撮像色データDt(Rt,Gt,Bt)を本来の色データDT(RT,GT,BT)に一致させるための個別変換データCxを作成する処理を行う。
図5(a) に示す三原色カラーチャート71を用いた場合、3つの色見本について、それぞれデータDt(Rt,Gt,Bt)とデータDT(RT,GT,BT)とを対比した結果に基づいて、個別変換データCx(任意の色についての変換を可能にするデータ)を作成する必要があるため、得られる個別変換データCxの精度は比較的粗いものになる。これに対して、図5(b) に示すマルチカラーチャート72を用いた場合、153個の色見本について、それぞれデータDt(Rt,Gt,Bt)とデータDT(RT,GT,BT)とを対比した結果に基づいて、個別変換データCxを作成することができるため、より精度の高い個別変換データCxを得ることができる。このように、いくつかの色見本についてのデータDt(Rt,Gt,Bt)とデータDT(RT,GT,BT)とを対比した結果に基づいて、個別変換データCxを作成する処理自体は、色較正の方法として公知の処理であるため、ここでは、個別変換データ作成部80における具体的な処理アルゴリズムの説明は省略する。
前述したように、個別変換データCxは、医療用撮像装置30Xによって得られた撮像データDxを構成する個々の画素の三原色成分Rold,Gold,Bold を、標準色画像データDsを構成する個々の画素の三原色成分Rnew,Gnew,Bnew に変換するための変換データである。このような個別変換データCxは、たとえば、図6(a) に示すようなルックアップテーブルLUTの形式で用意することができる。図6(a) の表の左半分は、変換前の画像データ(撮像データDx)を構成する個々の画素の三原色成分Rold,Gold,Bold を示しており、右半分は、変換後の画像データ(標準色画像データDs)を構成する個々の画素の三原色成分Rnew,Gnew,Bnew を示している。この例は、各色成分を8ビット(0~255)の数値で表現した例であり、表の左半分には、(0,0,0)~(255,255,255)まで、256×256×256通りの欄が設けられており、表の右半分には、これら各欄に対応した新たな色成分の値が記載されている。
したがって、このルックアップテーブルLUTからなる個別変換データを用いれば、三原色成分を示す任意の画素値の組合せ(l,m,n)が与えられた場合、これを所定の画素値の組合せ(l′,m′,n′)に変換することができる。このように、撮像装置用個別変換データ格納部110に格納されている個別変換データCxは、撮像データDxを構成する画素の各色成分の組み合わせを、標準色画像データDsを構成する画素の各色成分の組み合わせに変換するルックアップテーブルLUTによって構成できる。
また、個別変換データCxは、図6(b) に示すような関数の形式で用意することもできる。この場合、撮像データDxを構成する画素の各色成分の組み合わせを変数値として与えることにより、標準色画像データDsを構成する画素の各色成分の組み合わせを算出する関数を用意し、この関数を、撮像装置用個別変換データ格納部110に個別変換データCxとして格納しておけばよい。
たとえば、図6(a) に示すルックアップテーブルLUTにおける三原色成分(Rold,Gold,Bold )と(Rnew,Gnew,Bnew )との関係を、
Rnew = f1(Rold,Gold,Bold )
Gnew = f2(Rold,Gold,Bold )
Bnew = f3(Rold,Gold,Bold )
のような関数f1,f2,f3で表すことができれば、ルックアップテーブルLUTの代わりに、上記関数f1,f2,f3を個別変換データCxとして用いることができる。一般的には、ルックアップテーブルLUTによる変換と全く同一の変換を行うことができる関数を見つけることは困難であるが、ルックアップテーブルLUTによる変換をある程度近似することができる関数であれば、実用上、個別変換データCxとして用いて問題はない。
8ビットの画素値についてのルックアップテーブルLUTの場合、上述したとおり、256×256×256通りの変換データが必要になる。したがって、ルックアップテーブルLUTを個別変換データCxとして用いる場合、撮像装置用個別変換データ格納部110には、ある程度大きな格納容量を確保しておく必要がある。これに対して、関数を個別変換データCxとして用いれば、撮像装置用個別変換データ格納部110に必要な格納容量は大幅に軽減される。
以上、撮像装置用個別変換データ格納部110に格納する個別変換データの実体として、図6(a) に示すルックアップテーブルLUTの形態と、図6(b) に示す関数の形態を例示したが、モニタ用個別変換データ格納部130に格納する個別変換データについても、同様の形態を採用することができる。すなわち、モニタ用個別変換データ格納部130に格納されている個別変換データ(たとえば、データCa)として、特定組織強調画像データ(たとえば、データDe)を構成する画素の各色成分の組み合わせを、表示用データ(たとえば、データDa)を構成する画素の各色成分の組み合わせに変換するルックアップテーブルや、特定組織強調画像データ(たとえば、データDe)を構成する画素の各色成分の組み合わせを変数値として与えることにより、表示用データ(たとえば、データDa)を構成する画素の各色成分の組み合わせを算出する関数を用いることができる。
<<< §4. 4K8K画像システムへの拡張 >>>
近年、4K8K衛星放送が開始され、一般家庭においても、高精細な画像表示を可能とする4Kテレビや8Kテレビが普及し始めている。しかしながら、現在市販されている医療用画像表示システムでは、このような4K8K画像を対象としたカラーマネジメントプラットホームは採用されておらず、高精細な生体組織画像をカラーモニタ上に表示することが困難である。そこで、本願発明者は、図1や図2に例示した従来の一般的な医療用画像表示システムについて、カラーモニタ上で、どの程度の色再現性が得られているかを調べてみた。以下、その測定結果を説明する。
図7は、医療用画像表示システムについて、カラーモニタ上での色再現性を調べる測定の基本手順を示す図である(図における破線は、光の経路を示している)。ここで述べる測定では、複数の色見本が配置されたカラーチャート70が用いられる。図7(a) に示す第1の手順では、このカラーチャート70の各色見本についての本来の色が測定される。一方、図7(b) に示す第2の手順では、このカラーチャート70の各色見本を医療用画像表示システムで撮像してカラーモニタ上に表示し、このカラーモニタ上に表示された色が測定される。具体的には、次のような方法で測定が行われる。
まず、第1の手順では、図7(a) に示すように、カラーチャート70の背面に光源60を配置し、カラーチャート70の前面に分光分析装置90を配置し、カラーチャート70上に配置された各色見本からの透過光のスペクトルを測定し、スペクトルデータDsp1を得る。たとえば、カラーチャート70として、図5(b) に示すマルチカラーチャート72を用いた場合、全153組の色見本について、それぞれ透過光のスペクトルデータDsp1が得られることになる。
一方、第2の手順では、図7(b) に示すように、カラーチャート70の背面に光源60を配置し、カラーチャート70の前面に医療用撮像装置30(たとえば、内視鏡カメラ)を配置し、カラーチャート70を撮像して撮像データDpを得る。この撮像データDpを撮像制御ユニット40を介してカラーモニタ50に与え、カラーモニタ50の画面上に撮像したカラーチャート70を表示する。ここで、医療用撮像装置30、撮像制御ユニット40、カラーモニタ50は、図2に示すとおり、医療用画像表示システムの構成要素である。更に、カラーモニタ50の前面に分光分析装置90を配置し、カラーモニタ50上に表示されたカラーチャート70の各色見本のスペクトルを測定し、スペクトルデータDsp2を得る。たとえば、カラーチャート70として、図5(b) に示すマルチカラーチャート72を用いた場合、全153組の色見本について、それぞれ透過光のスペクトルデータDsp2が得られることになる。
図7(a) ,(b) に用いられる光源60としては同一のD65光源を用い、カラーチャート70としては同一のマルチカラーチャート72を用いている。したがって、図7(a) に示す第1の手順と図7(b) に示す第2の手順は、同一の被写体(マルチカラーチャート72)を同一の照明環境(D65光源)で照明する、という点において共通するが、前者で得られるスペクトルデータDsp1が、色見本の透過光を直接測定したスペクトルであるのに対して、後者で得られるスペクトルデータDsp2は、色見本を医療用画像表示システム(医療用撮像装置30、撮像制御ユニット40、カラーモニタ50)を介して観察したときに得られるスペクトルということになる。なお、医療用撮像装置30としては、内視鏡カメラを用いているが、この内視鏡カメラに内蔵されている内視鏡光源はOFFの状態で測定を行っている。すなわち、図7(b) に示す第2の手順において、カラーチャート70を照明する光源は、光源60(D65光源)のみである。
したがって、スペクトルデータDsp1とスペクトルデータDsp2とを比較することにより、医療用画像表示システムを通して観察した場合の色再現性を評価することができる。一般に、色再現性を評価する際には、二次元色度図が利用される。ここでは、二次元色度図として、u′v′色度図を用いて色再現性を評価した結果を示す。図8は、このような評価結果の一例を示すものであり、図5(b) に示すマルチカラーチャート72に対して、図7に示す測定手順を実施することによって得られた色分布を示すu′v′色度図である。
具体的には、図8(a) は、図7(a) に示す第1の手順によって得られたスペクトルデータDsp1に対応する色をu′v′色度図上にプロットしたものである。これは、図5(b) に示すマルチカラーチャート72自体の本来の色分布(D65光源下での測定値)を示すものである。前述のとおり、マルチカラーチャート72には、合計135組の色見本が配置されており、図7(a) に示す第1の手順では、この135組の色見本のそれぞれについて、スペクトルデータDsp1が得られる。そこで、各スペクトルデータDsp1に基づいて、各色見本についてのu′v′値を算出し、これをu′v′色度図上にプロットすれば、図8(a) に示す色分布が得られる。プロットされた微小な白い正方形は、個々の色見本の色を示している。なお、任意のスペクトルデータに基づいて、所定の色値(RGB値、三刺激値、u′v′値など)を算出する方法は、古くから知られている公知の方法であるため、ここでは具体的な説明は省略する。
同様に、図8(b) は、図7(b) に示す第2の手順によって得られたスペクトルデータDsp2に対応する色をu′v′色度図上にプロットしたものである。これは、図5(b) に示すマルチカラーチャート72を、従来の医療用画像表示システムを通して観察(カラーモニタ50の画面を観察)することにより得られる色分布(D65光源下での撮影)を示すものである。図7(b) に示す第2の手順においても、135組の色見本のそれぞれについて、スペクトルデータDsp2が得られる。そこで、各スペクトルデータDsp2に基づいて、各色見本についてのu′v′値を算出し、これをu′v′色度図上にプロットすれば、図8(b) に示す色分布が得られる。プロットされた微小な黒い正方形は、個々の色見本の色を示している。
続いて、図8(a) に示すu′v′色度図を詳しく観察してみる。この図の横軸はu′軸、縦軸はv′軸であり、任意の座標点(u′,v′)は特定の色に対応する。したがって、プロットされた微小な白い正方形は、それぞれ特定の色見本の色を示している。このu′v′色度図上にプロットされた点R,点G,点B(白丸で示されている)は、それぞれ理想的な赤色,緑色,青色に対応しており、これら各点R,G,Bを通る実線で囲まれた三角形に近い領域は、実際に存在する色が分布する実在色領域Eを示している。画像システムとしては、この実在色領域E内のすべてをカバーすることが望ましいが、そのような画像システムを実現することは非常に困難である。この実在色領域Eの境界線上は、彩度が最も高い色を示しており、この境界線に沿って点R→G→Bへと辿ってゆくと、高い彩度を維持したまま、波長660nm→440nmへと色相が変化してゆく。図8(a) に符号Wを付した点(×印の点)は白色に対応する点である。
このように、二次元u′v′色度図上では、色相および彩度の分布を示すことができる。明度を示すためには、このu′v′色度図の平面(図の紙面)に直交する明度軸を追加し、三次元色空間を定義する必要があるが、ここでは、説明の便宜上、二次元u′v′色度図を用いて、色相および彩度についての色分布に関する説明を行う。
本願で用いるu′v′色度図には、「BT.709」や「BT.2020」と記された破線の三角形が描かれている。ここで、三角形BT.709は、高精細画質テレビに関する国際規格 BT.709の仕様で定められた色領域を示しており、ハイビジョンテレビ(2Kに相当)に対応したカラーモニタは、この色領域内の任意の色を表示することができる。一方、三角形BT.2020は、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた色領域を示しており、4K8Kテレビに対応したカラーモニタは、この色領域内の任意の色を表示することができる。図示のとおり、三角形BT.2020の領域は、三角形BT.709の領域よりも広がっており、4K8Kテレビに対応したカラーモニタは、より広い色域をカバーした表示が可能になっていることがわかる。
前述したとおり、図8(a) は、図5(b) に示すマルチカラーチャート72自体の本来の色分布を示すものであるから、このマルチカラーチャート72に配置されている135組の色見本それ自体の色分布は、三角形BT.709の領域を十分にカバーしており、更に、三角形BT.2020の領域もある程度カバーしていることになる。ところが、このマルチカラーチャート72を、従来の医療用画像表示システムを通して観察すると、その色分布は図8(b) に示すように、かなり狭まってしまうことがわかる。別言すれば、従来の医療用画像表示システムのカラーモニタ50上では、被写体(生体組織)のもつ本来の色分布が十分に再現されておらず、被写体を肉眼で直視した場合と比べて、色再現性がかなり低下していることがわかる。特に、この従来システムの場合、カラーモニタ上で、オレンジ色が黄と赤に振り分けられており、黄と赤を強調するために中間色が減らされた状態になっている。
本願発明者は、図7に基本手順を示す測定を、別なカラーチャートについても行ってみた。すなわち、図8に示す結果は、図5(b) に示すマルチカラーチャート72を被写体として用いた例についてのものであるが、その代わりに、図5(c) に示す広色域カラーチャート73を被写体として用いて同様の測定を行ってみた。ここで、広色域カラーチャート73は、本願出願人が、4K8K画像用のカラーマネジメントを行うために独自に開発したものであり、三角形BT.2020の領域をカバーするために必要な色見本を配列したカラーチャートである。このように、4K8K画像用のカラーマネジメントに対応した広色域のカラーチャートの構成については、国際公開WO2017/170910号公報や、国際出願PCT/JP2018/038780号明細書に詳述されているため、ここでは詳しい説明は省略する。
図9は、このように、図5(c) に示す広色域カラーチャート73に対して、図7に示す測定手順を実施することによって得られた色分布を示すu′v′色度図である。具体的には、図9(a) は、図7(a) に示す第1の手順によって得られたスペクトルデータDsp1に対応する色をu′v′色度図上にプロットしたものであり、広色域カラーチャート73自体の本来の色分布(D65光源下での測定値)を示すものである。広色域カラーチャート73には、合計18組の色見本が配置されており、プロットされた白い正方形は、これら色見本の色を示している。一方、図9(b) は、図7(b) に示す第2の手順によって得られたスペクトルデータDsp2に対応する色をu′v′色度図上にプロットしたものであり、広色域カラーチャート73を、従来の医療用画像表示システムを通して観察(カラーモニタ50の画面を観察)することにより得られる色分布(D65光源下での撮影)を示すものである。プロットされた黒い正方形は、個々の色見本の色を示している。
図9(a) に示す点RR,点GG,点BB(白い四角で示されている)は、それぞれ広色域カラーチャート73に配置された赤色見本,緑色見本,青色見本の色を示している。このように、広色域カラーチャート73に配置されている18組の色見本それ自体の色分布は、三角形BT.2020の領域を十分にカバーしていることになる。ところが、この広色域カラーチャート73を、従来の医療用画像表示システムを通して観察すると、その色分布は図9(b) に示すように、かなり狭まってしまい、三角形BT.709の領域すら十分にカバーできていないことがわかる。具体的には、この従来システムの場合、カラーモニタ上で、赤系色は彩度が大幅に低下し、黄系色は緑色方向への色相変化を生じ、青系色は彩度が低下するとともに、シアン色方向への色相変化を生じている。
図10の上段に示す図は、図8(b) に示す色分布と図9(b) に示す色分布とを合成した合成色分布を示すu′v′色度図であり、いわば、図5(b) に示すマルチカラーチャート72上の色見本と図5(c) に示す広色域カラーチャート73上の色見本との双方を含むカラーチャートを、従来の医療用画像表示システムを通して観察したときの色分布図ということになる。この色分布図において、黒くプロットされている点は、各色見本の色を示している。図に破線で示す多角形Mは、これら各点の外接多角形であり、モニタ画面上の色分布領域を示している。
そこで、この色分布領域Mの面積Area(M)と、三角形BT.709の面積Area(BT.709)との比率を計算してみると、図10下段に示すとおり、Area(M)/Area(BT.709)=63%という結果が得られた。これは、従来の医療用画像表示システムのカラーモニタ上の表示画面は、ハイビジョンモニタの色域の63%しか使用していないことを示している。同様に、この色分布領域Mの面積Area(M)と、三角形BT.2020の面積Area(BT.2020)との比率を計算してみると、図10下段に示すとおり、Area(M)/Area(BT.2020)=37%という結果が得られた。これは、従来の医療用画像表示システムのカラーモニタ上の表示画面は、4K8Kモニタの色域の37%しか使用していないことを示している。
このような結果から、従来の医療用画像表示システムにおける色域使用率はかなり低いことがわかる。したがって、今後は、医療用画像表示システムについても、4K8K画像を取り扱う機器を導入し、高精細カメラによって取り込んだ高精細な生体組織画像を、4K8Kに対応したカラーモニタ上に表示するのが好ましい。
このような観点から、図3に示す本発明に係る医療用画像表示システム1000を構築するにあたっては、各医療用撮像装置30X,30Y,30Zとして、4K8K画像の撮像に対応した機器を用いるようにし、カラーモニタ50A~50Dとして、4K8K画像の表示に対応した機器を用いるようにするのが好ましい。また、本発明に係る医療機器用色修正装置100としては、4K8K画像に対応した機器を接続して用いることを前提として、4K8K画像の広色域に対応したカラーマネジネントを行うのが好ましい。そうすれば、施術者は、従来の医療用画像表示システムに比べて、より精細な色判定を行うことができるようになる。
具体的には、撮像装置用個別変換データ格納部110に格納する個別変換データとしては、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換(当該広色域をカバーする標準色画像データDsが得られる色変換)が可能な変換データを用いるようにすればよい。このような変換データを作成するには、図4に示すブロック図において、カラーチャート70として、図5(c) に示すような広色域カラーチャート73を用いるようにすればよい。同様に、モニタ用個別変換データ格納部130に格納する個別変換データとしては、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換(当該広色域をカバーする色が、カラーモニタ上に表示可能な色変換)が可能な変換データを用いるようにすればよい。
<<< §5. D65光源を用いるメリット >>>
前述した§3では、図4のブロック図を参照しながら、医療用撮像装置30Xについての個別変換データCxを作成する具体的な手順を説明した。この手順では、光源60として「D65光源」を用いている。そこで、ここでは、撮像装置用個別変換データ格納部110に格納されている個別変換データを作成する際の光源60として、「D65光源」を用いることが好ましい理由を説明する。
まず、様々な光源のスペクトルを比較してみる。図11は、各光源の可視光スペクトルを示すグラフである(縦軸は、560nmの分光強度が1.0になるように正規化してある)。ここで、グラフG1は無影灯、グラフG2は内視鏡光源(但し、ファイバーを経由した光を観測したもの)、グラフG3は内視鏡光源(但し、光源の光を直接観測したもの)、グラフG4はD65光源の各スペクトルである。一方、図12は、各光源の色温度を示すu′v′色度図である。ここで、点G1は無影灯、点G3は内視鏡光源(光源の光を直接観測したもの)、点G4はD65光源、点G5はD50光源の色温度を示している。前述したとおり、三角形BT.709および三角形BT.2020は、それぞれ国際規格 BT.709 および BT.2020の仕様で定められた色領域である(以下のu′v′色度図でも同様)。
図11および図12を見ると、これら各光源は、スペクトル波形についても色温度についても、互いにかなりの違いがあることがわかる。ここに示す結果は、特定の無影灯および特定の内視鏡光源を用いて測定を行った結果であるが、実際には、無影灯および内視鏡光源のスペクトルや色温度は、個々の製品ごとに異なっている。一般に、無影灯には、ハロゲンランプが用いられており、色温度が3400K程度の赤みがかった照明光が得られる。また、内視鏡光源には、通常、キセノンランプが用いられており、色温度が4700K程度の白色照明光が得られる。これに対して、D65光源の光は、色温度が6504Kの青みがかった照明光になる。なお、D65光源やD50光源は、国際照明委員会(CIE)によって定義された標準光源であり、そのスペクトルや色温度は明確な基準により定められている。
一般に、被写体の照明に用いる光源は、当該被写体を観察したときの色合いを左右する重要なファクターになり、同一の被写体であっても、光源が異なれば、観察される被写体の色合いは異なってくる。したがって、図3に示す医療用画像表示システムの場合、医療用撮像装置30X~30Zの撮像対象となる被写体(生体組織)をどの光源で照明するかによって、得られる撮像データDx~Dzの色合いは異なってくる。
そこで、本願発明者は、同一の大腸検体を被写体として用意し、この大腸検体を様々な光源で照明した場合の色合いを比較する実験を行ってみた。図13~図15は、その結果を示すu′v′色度図である。まず、図13は、無影灯による照明下における大腸検体自体の各部の色分布を示すu′v′色度図であり、大腸検体を無影灯で照明した状態において、複数のサンプル箇所の色を、分光分析装置を用いて直接測定した実測結果を示している。この図13の色分布図における多数の黒点からなるプロット群は、個々のサンプル箇所の色を示している。いずれも、赤色からオレンジ色にかけての彩度の高い色を示している。
一方、図14は、内視鏡光源(ファイバー経由)による照明下における大腸検体自体の各部の色分布を示すu′v′色度図であり、大腸検体をファイバーを経由した内視鏡光源で照明した状態において、多数のサンプル箇所の色を測定した結果を示している。ただ、実際には、内視鏡光源下での実測を行う代わりに、図11に示すスペクトルの相違に基づいて、図13の測定結果を内視鏡光源下に変換するシミュレーションを行うことにより、図14の結果を得ている。この図14では、比較を行う便宜上、図13に示す色分布も併せて掲載している。すなわち、図に「元の色分布」と記された多数の黒点からなるプロット群は、図13に示す無影灯下での測定結果を示すものであり、図に「変換後の色分布」と記された多数の+印からなるプロット群は、内視鏡光源下での測定結果(シミュレーションによる変換後の結果)を示すものである。図示のとおり、「元の色分布」に比べて「変換後の色分布」の方が、広がっていることがわかる。
図15は、D65光源による照明下における大腸検体自体の各部の色分布を示すu′v′色度図であり、大腸検体をD65光源で照明した状態において、多数のサンプル箇所の色を測定した結果を示している。ただ、ここでも実際には、D65光源下での実測を行う代わりに、図11に示すスペクトルの相違に基づいて、図13の測定結果をD65光源下に変換するシミュレーションを行うことにより、図15の結果を得ている。この図15でも、比較を行う便宜上、図13に示す色分布を併せて掲載している。すなわち、図に「元の色分布」と記された多数の黒点からなるプロット群は、図13に示す無影灯下での測定結果を示すものであり、図に「変換後の色分布」と記された多数の×印からなるプロット群は、D65光源下での測定結果(シミュレーションによる変換後の結果)を示すものである。図示のとおり、「元の色分布」に比べて「変換後の色分布」の方が、更に広がっていることがわかる。
この図13~図15に示す結果は、全く同一の大腸検体を被写体としているにもかかわらず、用いる光源によって測定される色分布が大きく異なることを示している。ここで、色の分布範囲の広さに着目すると、「無影灯による照明下」 < 「内視鏡光源による照明下」 < 「D65光源による照明下」という関係が得られている。特に、図15に示す結果を見ると、図に「元の色分布」と記された黒点のプロット群(無影灯による照明下での測定結果)が三角形BT.2020 の上辺近傍に分布しているのに対して、図に「変換後の色分布」と記された×印のプロット群(D65光源による照明下での測定結果)は、三角形BT.2020 の上半分の領域に広く分布していることがわかる。ここに示す例は、特定の大腸検体を被写体とした測定結果であるが、このような傾向は、大腸検体だけでなく、様々な生体組織に見られる傾向である。
一般に、何らかの被写体の撮影像をカラーモニタ上に表示する場合、色の分布範囲が広ければ広いほど、より多数の色を用いた表現が可能になるため、視認性(ある部分を別な部分と視覚的に分別して認識する容易性)を向上させることができる。たとえば、図15に示す例の場合、無影灯による照明下では、「元の色分布」と記された範囲内の、比較的彩度の高い色(三角形BT.2020 の上辺近傍の色)のみを用いた表現しかできないが、D65光源による照明下では、「変換後の色分布」と記されたより広い範囲内の、彩度の低い色も含めた(三角形BT.2020 の上半分の色)を用いた表現が可能になる。したがって、少なくとも生体組織に関して、視認性を向上させるという目的では、無影灯による照明や内視鏡光源による照明よりも、D65光源による照明を行った方が好ましい、ということになる。
もっとも、図13~図15に示す結果は、手術を行う際に用いる照明として、無影灯や内視鏡光源による照明よりも、D65光源による照明の方が優れている、ということを必ずしも示しているわけではなく、あくまでも、視認性(手術の場合、ある組織を別な組織と分別して認識する容易性)を向上させる観点では、D65光源による照明が好ましい、ということを示しているにすぎない。実際のところ、手術台を照らす光源としては、これまで経験的に無影灯が用いられてきており、腹腔鏡手術において腹腔内を照らす光源としては、これまで経験的に内視鏡光源が用いられてきている。したがって、これらの光源をいきなりD65光源に置き換えた場合、多くの施術者は、これまでの経験から違和感を生じるものと予想される。
§2で述べた本発明に係る医療用画像表示システム1000や、これに用いる医療機器用色修正装置100では、被写体(生体組織)に対する照明用の光源として、従前どおり、無影灯もしくは内視鏡光源を用いることを想定しており、これらをD65光源に置き換えることを強要するものではない。すなわち、図3に示す撮像装置用色変換部140は、無影灯もしくは内視鏡光源下で撮影された撮像データDx~Dzを入力することを前提として、これに対する色変換を行って標準色画像データDsを生成する処理を行うようにしてかまわない。
ただ、撮像装置用色変換部140の変換処理によって得られる標準色画像データDsは、D65光源による照明下で得られるであろう色特性を標準色特性とする画像データになるようにするのが好ましい。たとえば、図3に示すシステムにおいて、医療用撮像装置30Xは手術室に設けられたX社製の医療用ビデオカメラであり、医療用撮像装置30YはY社製の内視鏡カメラであり、医療用撮像装置30ZはZ社製の内視鏡カメラであるものとしよう。そして、医療用撮像装置30Xからは、X社製の無影灯による照明下で撮像された撮像データDxが与えられ、医療用撮像装置30Yからは、Y社製の内視鏡光源による照明下で撮像された撮像データDyが与えられ、医療用撮像装置30Zからは、Z社製の内視鏡光源による照明下で撮像された撮像データDzが与えられたものとしよう。
上述したとおり、無影灯や内視鏡光源のスペクトルは、個々の製品ごとに異なっており、X社製の無影灯、Y社製の内視鏡光源、Z社製の内視鏡光源は、各製品提供元の設計仕様に基づいて、それぞれ固有の色特性を有している。既に述べたとおり、撮像装置用色変換部140は、各撮像データDx~Dzについて、それぞれがもつ固有の色特性の相違を解消して、共通の色特性をもった標準色画像データDsを生成する色変換を行う構成要素である。そこで、この共通の色特性の条件のひとつとして、D65光源による照明下の色特性という条件を入れるようにするのである。そうすれば、撮像データDxは、X社製の無影灯による照明下で得られた画像データであり、撮像データDyは、Y社製の内視鏡光源による照明下で得られた画像データであり、撮像データDzは、Z社製の内視鏡光源による照明下で得られた画像データであるが、撮像装置用色変換部140の変換処理によって、いずれの撮像データに対しても、D65光源による照明下で得られた画像となるような色変換が行われることになる。このような色変換を行うことにより、最終的に各カラーモニタ50A~50Dの画面上に表示される画像は、色の分布範囲が広がることになり、生体組織についての視認性が向上することになる。
このように、D65光源による照明下の色特性を標準の色特性とした変換を行って標準色画像データDsを生成するには、撮像装置用個別変換データ格納部110に格納する個別変換データCx,Cy,Czとして、国際照明委員会が規定するD65光源からの光を背景光とした所定のカラーチャートの透過光の色特性を標準色特性とする変換データを用いればよい。具体的には、§3で述べたとおり、図4に示す手順において、光源60としてD65光源を採用すればよい。
もちろん、このようにD65光源による照明下の色特性を標準の色特性とした変換を行うと、生体組織の色合いは、これを直接肉眼で観察したときの色合いとは異なったものになる。たとえば、開腹手術の場合、施術者は開腹部分の無影灯照明下での生体組織を肉眼で直接観察することができる。この場合、肉眼観察した生体組織とカラーモニタに表示された生体組織とは、色合いが異なったものになる。別言すれば、カラーモニタに表示された生体組織の色合いは、無影灯照明下での実際の生体組織の色合いとは異なったものになる。したがって、無影灯照明下での実際の生体組織の色合いを忠実に再現してカラーモニタに表示する、という観点では、「D65光源による照明下の色特性を標準の色特性とする」ような変換は逆効果である。
しかしながら、そもそも「実際の生体組織の色合い」という絶対的な基準は存在しない。すなわち、手術中に肉眼観察している生体組織の色合いは、特定のメーカーから提供された特定の製品である無影灯による照明下での色合いにすぎず、無影灯を別な製品に交換すれば、色合いも変わってくる。また、腹腔鏡手術の場合は、そもそも、実際の生体組織を肉眼観察することはできないので、「実際の生体組織の色合い」を確認する術はない。このような点を考慮すれば、特定の無影灯や特定の内視鏡光源の照明下で得られる色合いを、カラーモニタ上に忠実に再現することには、それほど意味がないことが理解できよう。
したがって、実用上は、D65光源による照明下の色特性を標準の色特性とした変換を行い、標準色画像データDsを生成するのが好ましい。このような標準色画像データDsに基づいてカラーモニタ上に表示された画像の色合いは、無影灯や内視鏡光源の照明下で観察される画像の色合いと若干異なったものになるが、特に違和感が生じるものではない。たとえば、図15に示す例の場合、「元の色分布」が彩度の高い赤色からオレンジ色の領域を占めているのに対して、「変換後の色分布」は赤色からオレンジ色について高い彩度から低い彩度に至る領域を占めており、色相に関して大きな変化は生じていない。
本発明を実施するにあたり、標準色特性を与える光源としてD65光源を用いること(すなわち、図4に示す光源60として、D65光源を用いること)が好ましい第1の理由は、無影灯や内視鏡光源の色合い(発光スペクトル)が、個々のメーカーや個々の製品ごとに異なるのに対して、D65光源の色合い(発光スペクトル)は、国際照明委員会(CIE)によって定義された統一性のあるものになっている点である。したがって、標準色画像データDsの色合いを、D65光源を基準に定めておくようにすれば、個々の撮像データDx,Dy,Dzを得る際の光源として用いた無影灯や内視鏡光源が、どのメーカーのどの製品であったとしても、カラーモニタ50A~50D上には、常に、統一性のあるD65光源の色合いに合致した表示画像が得られることになる。
そして、第2の理由は、標準色特性を与える光源としてD65光源を用いることにより、色の分布範囲を広げることができ、視認性を向上させることができる点である。既に、図13~図15の測定結果を参照しながら説明したとおり、色の分布範囲の広さに関しては、「無影灯による照明下」 < 「内視鏡光源による照明下」 < 「D65光源による照明下」という関係が得られている。このため、D65光源による照明下の色特性を標準色特性に設定しておけば、カラーモニタ上に得られる画像上の色の分布範囲が広がり、視認性を向上させることができる。たとえば、同じオレンジ色の色相をもつ生体組織であっても、高い彩度をもつ部分と低い彩度をもつ部分とが、カラーモニタ上で区別して表示されることになるので、視覚的に各部分を相互に識別しやすくなる。
<<< §6. 特定組織強調用色変換の具体例 >>>
前述した§2.2では、「第2の変換処理に関する基本動作」として、図3に示す医療機器用色修正装置100における特定組織強調用色変換部160の基本動作を説明した。この基本動作では、特定組織強調用変換データ格納部120に、血管を強調する色変換を行うための血管強調データCe、脂肪を強調する色変換を行うための脂肪強調データCf、表層膜を強調する色変換を行うための表層膜強調データCgという3通りの特定組織強調用変換データを格納しておき、特定組織強調用色変換部160によって、これらの変換データを用いて、標準色画像データDsに対して特定の生体組織を強調する色変換を行い、特定組織強調画像データDe,Df,Dgを生成する処理が行われる。ここでは、これら特定組織強調用変換データCe,Cf,Cgの実体や、特定の生体組織の「強調表示」の実例について、より詳しい説明を行う。
一般に、人体を構成する様々な生体組織は、それぞれ固有の色合いを有しており、施術者は肉眼によって多くの生体組織を相互に分別して認識することが可能である。たとえば、人間の大腸を目視した場合、そこには、血管、脂肪、表層膜などの複数の生体組織が観察できる。図13~図15は、大腸検体自体の各部の色分布を示す図であるが、ここにプロットされた個々の点は、大腸を構成する様々な生体組織の色を表している。
図16は、図13~図15に示す色分布図の測定に用いた大腸検体およびその特定組織のサンプル箇所を示す上面図である。図示のとおり、この大腸検体には、大腸本体を構成する本体部の他に、血管部V1,V2,V3や、脂肪部F1,F2などの生体組織が含まれている。そこで、本願発明者は、この大腸検体上に、複数のサンプル箇所を定め、個々のサンプル箇所の色を、分光分析装置を用いて直接測定してみた。図16に丸数字1~8で示す領域(ハッチングを施した円形領域)は、それぞれのサンプル箇所を示している。具体的には、丸数字1~3で示す領域は血管部分についてのサンプル箇所を示し、丸数字4,5で示す領域は脂肪部分についてのサンプル箇所を示し、丸数字6~8で示す領域は表層膜部分についてのサンプル箇所を示している。
図17は、図16に示す各サンプル箇所を無影灯下で測定することにより得られた色分布を示すu′v′色度図であり、図18は、図16に示す各サンプル箇所をD65光源下で測定することにより得られた色分布を示すu′v′色度図である。これらu′v′色度図上に示す丸数字1~8は、図16に丸数字1~8で示された各サンプル箇所に対応している。図17,図18を見れば、個々のサンプル箇所が、それぞれ固有の色合いを有していることがわかる。具体的には、丸数字1~3で示す血管部のサンプル箇所は、彩度の高い赤色を呈しており、丸数字4,5で示す脂肪部のサンプル箇所は、彩度の高いオレンジ色を呈しており、丸数字6~8で示す表層部のサンプル箇所は、彩度が若干低めのオレンジ色を呈している。
§5で述べたとおり、同一の大腸検体であっても、照明に用いる光源によって、観察される色合いは異なっており、無影灯で照明した場合(図17)に比べて、D65光源で照明した場合(図18)の方が、色の分布範囲が広がることになる。図17および図18において、同じサンプル箇所についての色の分布範囲を比較すれば、前者よりも後者の方が広いことがわかる。このように色の分布範囲が広がると、同じ生体組織を、より多数の色を用いて表現することが可能になり、視認性が向上するメリットが得られる点は、既に§5で説明したとおりである。そこで、以下、D65光源で照明した結果(図18)を用いて説明を続けることにする。
図19(a) は、図18において個々の色を示すためにプロットされた点を、領域ごとにまとめた状態を示すu′v′色度図である。すなわち、図19(a) では、図18において丸数字1~3で示された血管部のプロット群の分布領域が領域Aeとして示されており、図18において丸数字4,5で示された脂肪部のプロット群の分布領域が領域Afとして示されており、図18において丸数字6~8で示された表層膜部のプロット群の分布領域が領域Agとして示されている。ここでは、これらの各領域Ae,Af,Agを、「特定の生体組織に固有の局在色領域」と呼ぶことにする。すなわち、色領域Aeは血管に固有の局在色領域(血管色領域Ae)、色領域Afは脂肪に固有の局在色領域(脂肪色領域Af)、色領域Agは表層膜に固有の局在色領域(表層膜色領域Ag)、ということになる。
このように、個々の生体組織ごとに、u′v′色度図上における局在色領域の配置が異なることを考慮すると、u′v′色度図上の任意の点が、どの生体組織についての測定点であるのかを推定することが可能である。たとえば、図19(a) の血管色領域Ae内にプロットされた点であれば、血管部に属するサンプル箇所についての測定点であることが推定できる。もちろん、大腸検体上には、血管部、脂肪部、表層膜部以外の生体組織も存在するし、血管部であっても血管色領域Ae外の色を呈するケースもあるので、上記推定は100%確実とは言えないが、このような方法によって、ある程度の確度をもった推定が可能である。
既に§2で述べたとおり、図3に示す特定組織強調用色変換部160は、撮像装置用色変換部140から与えられた標準色画像データDsに対して、強調組織指定部150への指定入力によって指定された特定の生体組織を強調する色変換を行う構成要素であるが、図19(a) に示す色分布図は、この標準色画像データDs上での特定組織の色分布を示す図として利用することができる。たとえば、強調表示の対象となる特定の生体組織が「血管」であることが指定された場合、特定組織強調用色変換部160は、標準色画像データDsにおいて、図19(a) に示す血管色領域Ae内の色を変換対象として選択すればよいことになる。上述したとおり、血管色領域Ae内の色は、血管部が呈している色であると推定することができるので、血管色領域Ae内の色(当該色をもつ画素)を選択して強調変換処理を施せば、血管部を強調表示することが可能になる。
続いて、強調表示の方法について、具体例を挙げた説明を行う。本発明における強調表示の目的は、特定の生体組織の観察に適した視認性のある画像表示を行うことにある。たとえば、施術対象が血管である場合、施術者は、血管のみを強調する画像処理を施して、血管の観察に適した視認性のある画像が表示されることを望むであろう。このように、血管についての視認性を向上させるには、血管部を、他の生体組織と明確に区別できるように、血管部の色合いを、より特徴的な色合いになるように変化させればよい。一般論として述べれば、ある特定の生体組織についての視認性を向上させるには、当該特定の生体組織を、他の生体組織と明確に区別できるように、当該特定の生体組織の色合いを、より特徴的な色合いになるように変化させればよい。
このような考え方に基づいて、ここで述べる実施例の場合、特定の生体組織を強調する色変換の方法として、当該特定の生体組織に対応する色分布図上の局在色領域に含まれる色に対して、色分布図上を所定の補正方向に向けて移動させる処理を行っている。図19(b) は、図19(a) に示す局在色領域Ae,Af,Agについての補正方向Me,Mf,Mgを示すu′v′色度図である。具体的には、血管色領域Aeに含まれる色については補正方向Meへ移動させる色変換処理を行い、脂肪色領域Afに含まれる色については補正方向Mfへ移動させる色変換処理を行い、表層膜色領域Agに含まれる色については補正方向Mgへ移動させる色変換処理を行っている。
図19(b) に示されている血管色領域Aeについての補正方向Meは、u′v′色度図上の右方向、すなわち、u′値を増加させる方向になっている。これは、血管色領域Aeに含まれる色(血管部が呈していると推定される色)を、より赤みを増す方向に修正することを意味する。本願発明者が行った実験によると、このような色修正を行うことにより、血管についての視認性を向上させることができた。これは、血管部について、より赤みを増す色修正を行うことにより、他の生体組織に対する差別化が図られるためと考えられる。
結局、図3に示す医療機器用色修正装置100の場合、特定組織強調用変換データ格納部120には、「血管」を強調する色変換を行うための特定組織強調用変換データ(血管強調データ)Ceとして、u′v′色度図上における血管に固有の局在色領域に含まれる色に対して、u′値を増加させる色修正を行う変換データを格納しておけばよいことになる。
具体的には、血管強調データCeとして、図19(b) における血管についての局在色領域(血管色領域)Aeを示すデータと、この血管色領域Aeについての補正方向Meおよび補正量を示すデータと、を用意しておけばよい。血管色領域Aeを示すデータとしては、たとえば、領域Aeの境界線を示すデータを用いることができる。また、補正方向Meおよび補正量を示すデータとしては、たとえば、補正値Δu′eを加算する修正演算を示すデータを用いることができる。なお、実用上は、加算後の修正値に上限を設けておき、u′v′色度図上に実線で示す実在色領域Eを食み出さないようにするのが好ましい。
ここで、強調組織指定部150が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付けたとすると、特定組織強調用色変換部160は、特定組織強調用変換データ格納部120から血管強調データCeを読出し、この血管強調データCeによって定められている血管色領域Aeを認識する。続いて、特定組織強調用色変換部160は、撮像装置用色変換部140から与えられた標準色画像データDsの中から、認識した血管色領域Aeに含まれる色の画素を抽出し、当該画素の色のデータに対して、補正値Δu′eを加算する修正演算を施し(実際には、RGB値を増減させる修正が行われる。)、修正演算後のデータを血管を強調した特定組織強調画像データDeとして出力する。
なお、上述した実施例の場合、血管色領域Aeに含まれる色のu′値に対して、一律に所定の補正値Δu′eを加算する修正を行っているが、元のu′値に応じて、補正値Δu′eを変えるような修正を行うようにしてもかまわない。たとえば、元のu′値が小さい場合(図19(b) に示す血管色領域Aeの左側に位置する色の場合)は補正値Δu′eを大きく設定し、元のu′値が大きい場合(図19(b) に示す血管色領域Aeの右側に位置する色の場合)は補正値Δu′eを小さく設定するような運用も可能である。また、上述した実施例の場合、u′値のみを修正しているが、必要に応じて、v′値も併せて修正するような運用も可能である。
一方、図19(b) に示されている脂肪色領域Afについての補正方向Mfは、u′v′色度図上の左上方向、すなわち、u′値を減少させるとともにv′値を増加させる方向になっている。これは、脂肪色領域Afに含まれる色(脂肪部が呈していると推定される色)を、彩度を維持したまま、より黄みを増す方向に修正することを意味する。本願発明者が行った実験によると、このような色修正を行うことにより、脂肪についての視認性を向上させることができた。これは、脂肪部について、彩度を維持したまま、より黄みを増す色修正を行うことにより、他の生体組織に対する差別化が図られるためと考えられる。
したがって、図3に示す医療機器用色修正装置100の場合、特定組織強調用変換データ格納部120には、「脂肪」を強調する色変換を行うための特定組織強調用変換データ(脂肪強調データ)Cfとして、u′v′色度図上における脂肪に固有の局在色領域に含まれる色に対して、u′値を減少させるとともにv′値を増加させる色修正を行う変換データを格納しておけばよいことになる。
具体的には、脂肪強調データCfとして、図19(b) における脂肪についての局在色領域(脂肪色領域)Afを示すデータと、この脂肪色領域Afについての補正方向Mfおよび補正量を示すデータと、を用意しておけばよい。脂肪色領域Afを示すデータとしては、たとえば、領域Afの境界線を示すデータを用いることができる。また、補正方向Mfおよび補正量を示すデータとしては、たとえば、補正値Δu′fを減算するとともに補正値Δv′fを加算する修正演算を示すデータを用いることができる。ここでも、実用上は、加減算後の修正値に上下限を設けておき、u′v′色度図上に実線で示す実在色領域Eを食み出さないようにするのが好ましい。
ここで、強調組織指定部150が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付けたとすると、特定組織強調用色変換部160は、特定組織強調用変換データ格納部120から脂肪強調データCfを読出し、この脂肪強調データCfによって定められている脂肪色領域Afを認識する。続いて、特定組織強調用色変換部160は、撮像装置用色変換部140から与えられた標準色画像データDsの中から、認識した脂肪色領域Afに含まれる色の画素を抽出し、当該画素の色のデータに対して、補正値Δu′fを減算するとともに補正値Δv′fを加算する修正演算を施し(実際には、RGB値を増減させる修正が行われる。)、修正演算後のデータを脂肪を強調した特定組織強調画像データDfとして出力する。
この実施例の場合も、脂肪色領域Afに含まれる色のu′値およびv′値に対して、一律に所定の補正値Δu′fの減算や補正値Δv′fの加算を行う代わりに、元のu′値,v′値に応じて、補正値Δu′f,Δv′fを変えるような運用を行ってもかまわない。
同様に、図19(b) に示されている表層膜色領域Agについての補正方向Mgは、u′v′色度図上の右下方向、すなわち、u′値を増加させるとともにv′値を減少させる方向になっている。これは、表層膜色領域Agに含まれる色(表層膜部が呈していると推定される色)を、彩度を低下させながら、より赤みを増す方向に修正することを意味する。本願発明者が行った実験によると、このような色修正を行うことにより、表層膜についての視認性を向上させることができた。これは、表層膜部について、彩度を低下させながら、より赤みを増す色修正を行うことにより、他の生体組織に対する差別化が図られるためと考えられる。
したがって、図3に示す医療機器用色修正装置100の場合、特定組織強調用変換データ格納部120には、「表層膜」を強調する色変換を行うための特定組織強調用変換データ(表層膜強調データ)Cgとして、u′v′色度図上における表層膜に固有の局在色領域に含まれる色に対して、u′値を増加させるとともにv′値を減少させる色修正を行う変換データを格納しておけばよいことになる。
具体的には、表層膜強調データCgとして、図19(b) における表層膜についての局在色領域(表層膜色領域)Agを示すデータと、この表層膜色領域Agについての補正方向Mgおよび補正量を示すデータと、を用意しておけばよい。表層膜色領域Agを示すデータとしては、たとえば、領域Agの境界線を示すデータを用いることができる。また、補正方向Mgおよび補正量を示すデータとしては、たとえば、補正値Δu′gを加算するとともに補正値Δv′gを減算する修正演算を示すデータを用いることができる。ここでも、実用上は、加減算後の修正値に上下限を設けておき、u′v′色度図上に実線で示す実在色領域Eを食み出さないようにするのが好ましい。
ここで、強調組織指定部150が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付けたとすると、特定組織強調用色変換部160は、特定組織強調用変換データ格納部120から表層膜強調データCgを読出し、この表層膜強調データCgによって定められている表層膜色領域Agを認識する。続いて、特定組織強調用色変換部160は、撮像装置用色変換部140から与えられた標準色画像データDsの中から、認識した表層膜色領域Agに含まれる色の画素を抽出し、当該画素の色のデータに対して、補正値Δu′gを加算するとともに補正値Δv′gを減算する修正演算を施し(実際には、RGB値を増減させる修正が行われる。)、修正演算後のデータを表層膜を強調した特定組織強調画像データDgとして出力する。
この実施例の場合も、表層膜色領域Agに含まれる色のu′値およびv′値に対して、一律に所定の補正値Δu′gの加算や補正値Δv′gの減算を行う代わりに、元のu′値,v′値に応じて、補正値Δu′g,Δv′gを変えるような運用を行ってもかまわない。
このように、図3に示す医療機器用色修正装置100は、生体組織群を被写体とする画像データ(標準色画像データDs)に対して、特定の生体組織を強調する色変換を行う機能を有しており、特定組織強調用変換データ格納部120には、特定の生体組織を強調する色変換を行うための特定組織強調用変換データCe,Cf,Cgが格納されている。そして、強調組織指定部150が、強調表示の対象となる特定の生体組織を指定する指定入力を受け付けると、特定組織強調用色変換部160は、医療用撮像装置による撮像に基づいて得られた画像データ(すなわち、撮像データDx,Dy,Dzに基づいて得られた標準色画像データDs)に対して、特定組織強調用変換データ格納部120に格納されている、指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データCe,Cf,Cgを用いた色変換を行って特定組織強調画像データDe,Df,Dgを生成することになる。
一般論として述べれば、特定組織強調用変換データ格納部120に格納されている特定組織強調用変換データCe,Cf,Cgは、所定の色空間において、特定の生体組織に固有の局在色領域に含まれる色に対して、特定の色修正を行うデータということになる。ここで、所定の色空間としては、三次元色空間を用いてもかまわない。この場合、特定の生体組織に固有の局在色領域としては、三次元色空間上での三次元領域が設定され、色の補正方向としては、三次元空間上での所定方向が設定されることになる。
これまで述べてきた実施例では、特定組織強調用色変換部160により、色相および彩度に対する色変換を行うため、所定の色空間として二次元色空間を用いている。すなわち、特定組織強調用変換データCe,Cf,Cgは、所定の二次元色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、横座標値もしくは縦座標値またはその双方を増減させる色修正を行うデータになっている。特に、図19に示す実施例の場合、二次元色度図として、u′v′色度図を採用しているため、特定組織強調用変換データCe,Cf,Cgは、u′v′色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、u′値もしくはv′値またはその双方を増減させる色修正を行うデータになっている。もちろん、二次元色度図としては、u′v′色度図以外の色度図(たとえば、xy色度図など)を用いてもかまわない。
一方、特定組織強調用色変換部160による色変換を行うための色空間として三次元色空間を用いる場合は、各生体組織に固有の局在色領域(三次元領域)に含まれる色に対して、三次元座標値の一部もしくは全部を増減させる色修正を行うようにすればよい。たとえば、二次元u′v′色度図上では、色相および彩度の分布しか示すことができないが、このu′v′色度図に対して、これに直交する明度軸Lを追加してLu′v′空間(三次元の色空間)を定義すれば、この三次元色空間上の1点(u′,v′,L)によって、色相,彩度,明度という3要素についての色分布を示すことが可能になる。したがって、特定の生体組織に固有の局在色領域(三次元領域)に含まれる色に対しては、u′値,v′値だけでなく、L値を増減させる色修正を行うことにより、当該生体組織を強調表示することも可能である。すなわち、色相および彩度についての色差を強調するだけでなく、更に、明度の差を強調することができるようになる。このように、特定の生体組織と他の生体組織との視覚的な差別化を、明度に関しても行うことができるので、当該特定の生体組織の視認性を更に向上させることができる。
このようなLu′v′空間上での色変換を行うのであれば、図19(b) に示す各局在色領域Ae,Af,Agとして、立体的な三次元領域を定義し、各補正方向Me,Mf,Mgとして、それぞれL軸方向成分を加えた三次元方向を設定し、個々の生体組織に対して、別な組織との明度差が強調されるような補正を行うようにすればよい。具体的には、血管色領域Aeに含まれる色については、少なくともu′値を増加させる補正(v′値やL値を増減させる補正を行ってもかまわない)を行えばよく、脂肪色領域Afに含まれる色については、少なくともu′値を減少させ、v′値を増加させる補正(L値を増減させる補正を行ってもかまわない)を行えばよく、表層膜色領域Agに含まれる色については、少なくともu′値を増加させ、v′値を減少させる補正(L値を増減させる補正を行ってもかまわない)を行えばよい。
もちろん、特定組織強調用色変換部160による色変換を行うための三次元色空間は、上述したLu′v′空間に限定されるものではなく、たとえば、HLSカラーモデルにおけるHLS空間や、HSVカラーモデルにおけるHSV空間などを利用することも可能である。この場合、各補正方向Me,Mf,Mgは、利用する三次元色空間に応じて、それぞれ適切な方向に設定することになる。
図19では、特定組織強調用変換データとして、血管、脂肪、表層膜という3種類の生体組織についての具体的な変換データを用いる実施例を例示した。この実施例では、強調組織指定部150が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付ける機能を有しており、特定組織強調用変換データ格納部120には、「血管」を強調する色変換を行うための特定組織強調用変換データCeとして、u′v′色度図(もしくは、Lu′v′空間でもよい)上における血管に固有の局在色領域Aeに含まれる色に対して、少なくともu′値を増加させる色修正を行う変換データが格納されている。
また、この実施例では、強調組織指定部150が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付ける機能を有しており、特定組織強調用変換データ格納部120には、「脂肪」を強調する色変換を行うための特定組織強調用変換データCfとして、u′v′色度図(もしくは、Lu′v′空間でもよい)上における脂肪に固有の局在色領域Afに含まれる色に対して、少なくともu′値を減少させるとともにv′値を増加させる色修正を行う変換データが格納されている。
更に、この実施例では、強調組織指定部150が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付ける機能を有しており、特定組織強調用変換データ格納部120には、「表層膜」を強調する色変換を行うための特定組織強調用変換データCgとして、u′v′色度図(もしくは、Lu′v′空間でもよい)上における表層膜に固有の局在色領域Agに含まれる色に対して、少なくともu′値を増加させるとともにv′値を減少させる色修正を行う変換データが格納されている。
図20は、図3に示す医療機器用色修正装置100内の強調組織指定部150を構成する指示ボタンの一例を示す正面図である。ここに示す例は、強調組織指定部150が、強調表示の対象となる特定の生体組織として、「血管」、「脂肪」、「表層膜」を指定する入力機能をもつ例である。図示のとおり、強調組織指定部150には、血管強調指示ボタンQ1、脂肪強調指示ボタンQ2、表層膜強調指示ボタンQ3、強調解除ボタンQ4が設けられている。この強調組織指定部150では、いずれの生体組織も強調表示の対象として指定されていない空指定状態がデフォルトとなっているので、オペレータが何も操作しない場合には、「空指定入力」があったものとして取り扱われ、特定組織強調用色変換部160は、実質的な色変換処理を何ら行わずに、入力した標準色画像データDsをそのまま出力する。
オペレータは、「血管」を強調表示したい場合には血管強調指示ボタンQ1を押下し、「脂肪」を強調表示したい場合には脂肪強調指示ボタンQ2を押下し、「表層膜」を強調表示したい場合には表層膜強調指示ボタンQ3を押下すればよい。強調解除ボタンQ4を押下すると、すべての生体組織についての強調指定が解除される。また、この強調組織指定部150では、複数の生体組織を重複して指定することも可能である。たとえば、オペレータが、「血管」と「脂肪」の双方について強調表示したいと考えた場合は、血管強調指示ボタンQ1の押下操作と脂肪強調指示ボタンQ2の押下操作とを重複して行えばよい。この場合、特定組織強調用色変換部160は、標準色画像データDsに対して、血管強調データCeを用いた色変換と脂肪強調データCfを用いた色変換とを重複して行い、特定組織強調画像データDefを出力する。具体的には、図19(b) において、血管色領域Aeに含まれる色は補正方向Meへ色修正され、血管色領域Afに含まれる色は補正方向Mfへ色修正されることになる。なお、重複して指定された複数の生体組織についての局在色領域に重なり部分が存在する場合、当該重なり部分内の色に対しては重複した色修正が行われることになるが、特に問題は生じない。
なお、医療機器用色修正装置100をコンピュータを用いて構成する場合、図20に示す強調組織指定部150は、コンピュータ操作用のディスプレイを利用して実現することができる。すなわち、コンピュータ操作用のディスプレイに、図20に示す入力画面を表示させ、タッチパネルによる入力操作やマウスなどのポインティングデバイスによる入力操作により、各ボタンQ1~Q4に対する押下指示の認識を行うようにすればよい。また、図3に示す例のように、複数のカラーモニタ50A~50Dが接続されているシステムの場合、個々のカラーモニタごとに、それぞれ異なる生体組織を強調した画像表示を行うことが可能であるが、その場合は、個々のカラーモニタごとに、図20に示す指定入力を行うようにすればよい(たとえば、表示対象となるカラーモニタを指定するモニタ指定ボタンを設けておけばよい)。
以上、強調表示の対象となる生体組織として、「血管」、「脂肪」、「表層膜」の3種類を取り扱うことができる実施例を述べたが、この他にも、「骨」,「軟骨」,「筋肉」など、様々な生体組織を強調表示の対象とすることが可能である。
図21は、図10に示す色分布を有する画像データ(種々のカラーチャート70の色見本を含む画像データ)に対して、特定組織強調用色変換部160によって様々な強調補正(図19に示す「血管」、「脂肪」、「表層膜」に対する強調用色変換に、その他のいくつかの生体組織に対する強調用色変換を加えたもの)を実行することにより得られる画像データについての色分布を示すu′v′色度図である。図21に示す黒点は補正前の色分布を示し、白四角は補正後の色分布を示している。この図21に示す例は、実際の生体組織を被写体としたものではなく、カラーチャート70を被写体としたものであるため、補正前の色(黒点)も、ある程度の広い範囲に分布しているが、特定組織強調用色変換部160による色変換補正を行うことにより、補正後の色(白四角)の分布範囲は更に広がっていることがわかる。
このように、カラーモニタへの表示を行う際に、色の分布範囲を広げる補正を行えば、個々の生体組織をより多くの色によって表現することができるようになり、全体的な視認性を向上させる効果が得られる。
10:手術台
20:無影灯
30:医療用撮像装置(例えば、内視鏡カメラ)
30X,30Y,30Z:医療用撮像装置(例えば、内視鏡カメラ)
31:内視鏡カメラ
40:撮像制御ユニット
41:内視鏡制御ユニット
50:カラーモニタ
50A,50B,50C,50D:カラーモニタ
51~54:カラーモニタ
60:光源(D65光源)
70:カラーチャート
71:三原色カラーチャート
72:マルチカラーチャート
73:広色域カラーチャート
80:個別変換データ作成部
90:分光分析装置
100:医療機器用色修正装置
110:撮像装置用個別変換データ格納部
120:特定組織強調用変換データ格納部
130:モニタ用個別変換データ格納部
140:撮像装置用色変換部
150:強調組織指定部
160:特定組織強調用色変換部
170:モニタ用色変換部
1000:医療用画像表示システム
Ae:血管色領域(血管に固有の局在色領域)
Af:脂肪色領域(脂肪に固有の局在色領域)
Ag:表層膜色領域(表層膜に固有の局在色領域)
B,BB:u′v′色度図上の青色点
Bnew:変換後の色データの青色成分
Bold:変換前の色データの青色成分
BT:本来の色データの青色成分
Bt:撮像色データの青色成分
BT.709:国際規格 BT.709 の仕様で定められた色領域を示す三角形
BT.2020:国際規格 BT.2020 の仕様で定められた色領域を示す三角形
Ca,Cb,Cc,Cd:モニタ用個別変換データ
Ce:特定組織強調用変換データ(血管強調データ)
Cf:特定組織強調用変換データ(脂肪強調データ)
Cg:特定組織強調用変換データ(表層膜強調データ)
Cx,Cy,Cz:撮像装置用個別変換データ
Da,Db,Dc,Dd:表示用データ
De,Df,Dg:特定組織強調画像データ
Dp:撮像データ
Ds:標準色画像データ
Dsp1,Dsp2:スペクトルデータ
DT:本来の色データ
Dt:撮像色データ
Dx,Dy,Dz:撮像データ
E:実在色領域
F1,F2:脂肪領域
f1,f2,f3:変換用の関数
G,GG:u′v′色度図上の緑色点
G1:無影灯の可視光スペクトル/u′v′色度図上の色温度点
G2:内視鏡光源(ファイバー経由)の可視光スペクトル
G3:内視鏡光源(直接)の可視光スペクトル/u′v′色度図上の色温度点
G4:D65光源の可視光スペクトル/u′v′色度図上の色温度点
G5:D50光源の可視光スペクトル/u′v′色度図上の色温度点
Gnew:変換後の色データの緑色成分
Gold:変換前の色データの緑色成分
GT:本来の色データの緑色成分
Gt:撮像色データの緑色成分
l,l′:色データの赤色成分
LUT:ルックアップテーブル
M:モニタ画面上の色分布領域
Me:血管色領域Aeについての補正方向
Mf:脂肪色領域Afについての補正方向
Mg:表層膜色領域Agについての補正方向
m,m′:色データの緑色成分
n,n′:色データの青色成分
P:被術者(患者)
P1:実際の臓器
P2:臓器の表示画像
Q1:血管強調指示ボタン
Q2:脂肪強調指示ボタン
Q3:表層膜強調指示ボタン
Q4:強調解除ボタン
R,RR:u′v′色度図上の赤色点
RT:本来の色データの赤色成分
Rt:撮像色データの赤色成分
Rold:変換前の色データの赤色成分
Rnew:変換後の色データの赤色成分
u′:u′v′色度図上の横軸
V1,V2,V3:血管領域
v′:u′v′色度図上の縦軸
W:u′v′色度図上の白色点

Claims (29)

  1. 医療用撮像装置による撮像によって得られた画像データに対して、カラーモニタへの表示に適した色修正を行う医療機器用色修正装置であって、
    特定の医療用撮像装置がもつ固有の色特性を考慮して、当該医療用撮像装置による撮像データの色特性を標準色特性に変換するための個別変換データを格納する撮像装置用個別変換データ格納部と、
    特定の生体組織を強調する色変換を行うための特定組織強調用変換データを格納する特定組織強調用変換データ格納部と、
    特定のカラーモニタがもつ固有の色特性を考慮して、当該カラーモニタ上に標準色特性をもつ画像が表示されるような色変換を行うための個別変換データを格納するモニタ用個別変換データ格納部と、
    前記特定の医療用撮像装置から入力した撮像データに対して、前記撮像装置用個別変換データ格納部に格納されている、前記特定の医療用撮像装置についての個別変換データを用いた色変換を行って標準色画像データを生成する撮像装置用色変換部と、
    強調表示の対象となる特定の生体組織を指定する指定入力を受け付ける強調組織指定部と、
    前記標準色画像データに対して、前記特定組織強調用変換データ格納部に格納されている、前記指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する特定組織強調用色変換部と、
    前記特定組織強調画像データに対して、前記モニタ用個別変換データ格納部に格納されている、前記特定のカラーモニタについての個別変換データを用いた色変換を行って表示用データを生成し、生成した表示用データを前記特定のカラーモニタに出力するモニタ用色変換部と、
    を備え、
    前記特定組織強調用変換データ格納部に、複数J通り(Jは2以上の整数)の生体組織についての特定組織強調用変換データがそれぞれ格納されており、
    前記特定組織強調用色変換部が、前記強調組織指定部から第j番目(1≦j≦J)の生体組織を指定する指定入力を受け付けた場合に、第j番目の特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する、医療機器用色修正装置。
  2. 請求項1に記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に格納されている個別変換データが、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換が可能な変換データであることを特徴とする医療機器用色修正装置。
  3. 請求項1または2に記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に格納されている個別変換データが、国際照明委員会が規定するD65光源からの光を背景光とした所定のカラーチャートの透過光の色特性を標準色特性とする変換データであることを特徴とする医療機器用色修正装置。
  4. 請求項1~3のいずれかに記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に格納されている個別変換データが、撮像データの三原色成分Rold,Gold,Bold を、標準色画像データの三原色成分Rnew,Gnew,Bnew に変換するための変換データであることを特徴とする医療機器用色修正装置。
  5. 請求項1~4のいずれかに記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に、複数I台の医療用撮像装置についての個別変換データがそれぞれ格納されており、
    撮像装置用色変換部が、第i番目(1≦i≦I)の医療用撮像装置から入力した撮像データに対しては、第i番目の個別変換データを用いた色変換を行って標準色画像データを生成することを特徴とする医療機器用色修正装置。
  6. 請求項1~5のいずれかに記載の医療機器用色修正装置において、
    撮像装置用色変換部が、無影灯もしくは内視鏡光源下で撮影された撮像データを入力し、これに対する色変換を行って標準色画像データを生成することを特徴とする医療機器用色修正装置。
  7. 請求項1~6のいずれかに記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に格納されている個別変換データが、撮像データを構成する各色成分の組み合わせを、標準色画像データを構成する各色成分の組み合わせに変換するルックアップテーブルによって構成されていることを特徴とする医療機器用色修正装置。
  8. 請求項1~6のいずれかに記載の医療機器用色修正装置において、
    撮像装置用個別変換データ格納部に格納されている個別変換データが、撮像データを構成する各色成分の組み合わせを変数値として与えることにより、標準色画像データを構成する各色成分の組み合わせを算出する関数、によって構成されていることを特徴とする医療機器用色修正装置。
  9. 請求項1~8のいずれかに記載の医療機器用色修正装置において、
    強調組織指定部が、複数H通り(H≦J)の生体組織を重複して指定する指定入力を受け付ける機能を有し、
    特定組織強調用色変換部が、強調組織指定部から複数H通りの生体組織を指定する指定入力を受け付けた場合に、これら複数H通りの生体組織に対応する複数H通りの特定組織強調用変換データを用いた色変換を重複して行って特定組織強調画像データを生成することを特徴とする医療機器用色修正装置。
  10. 請求項1~9のいずれかに記載の医療機器用色修正装置において、
    強調組織指定部が、いずれの生体組織も指定しないことを示す空指定入力を受け付ける機能を有し、
    特定組織強調用色変換部が、強調組織指定部から前記空指定入力を受け付けた場合に、色変換を行わずに、標準色画像データをそのまま特定組織強調画像データとして出力することを特徴とする医療機器用色修正装置。
  11. 請求項1~10のいずれかに記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、所定の色空間において、特定の生体組織に固有の局在色領域に含まれる色に対して、特定の色修正を行うデータであることを特徴とする医療機器用色修正装置。
  12. 請求項11に記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、所定の二次元色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、横座標値もしくは縦座標値またはその双方を増減させる色修正を行うデータであることを特徴とする医療機器用色修正装置。
  13. 請求項12に記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、u′v′色度図上において、特定の生体組織に固有の局在色領域に含まれる色に対して、u′値もしくはv′値またはその双方を増減させる色修正を行うデータであることを特徴とする医療機器用色修正装置。
  14. 請求項13に記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「血管」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における血管に固有の局在色領域に含まれる色に対して、u′値を増加させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  15. 請求項13または14に記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「脂肪」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における脂肪に固有の局在色領域に含まれる色に対して、u′値を減少させるとともにv′値を増加させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  16. 請求項13~15のいずれかに記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「表層膜」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における表層膜に固有の局在色領域に含まれる色に対して、u′値を増加させるとともにv′値を減少させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  17. 請求項1~16のいずれかに記載の医療機器用色修正装置において、
    モニタ用個別変換データ格納部に格納されている個別変換データが、超高精細画質テレビに関する国際規格 BT.2020の仕様で定められた広色域をカバーする色変換が可能な変換データであることを特徴とする医療機器用色修正装置。
  18. 請求項1~17のいずれかに記載の医療機器用色修正装置において、
    モニタ用個別変換データ格納部に、複数K台のカラーモニタについての個別変換データがそれぞれ格納されており、
    モニタ用色変換部が、第k番目(1≦k≦K)のカラーモニタに対して出力する表示用データを生成する際には、第k番目の個別変換データを用いた色変換を行うことを特徴とする医療機器用色修正装置。
  19. 請求項1~18のいずれかに記載の医療機器用色修正装置において、
    モニタ用個別変換データ格納部に格納されている個別変換データが、特定組織強調画像データを構成する各色成分の組み合わせを、表示用データを構成する各色成分の組み合わせに変換するルックアップテーブルによって構成されていることを特徴とする医療機器用色修正装置。
  20. 請求項1~18のいずれかに記載の医療機器用色修正装置において、
    モニタ用個別変換データ格納部に格納されている個別変換データが、特定組織強調画像データを構成する各色成分の組み合わせを変数値として与えることにより、表示用データを構成する各色成分の組み合わせを算出する関数、によって構成されていることを特徴とする医療機器用色修正装置。
  21. 生体組織群を被写体とする画像データに対して、特定の生体組織を強調する色変換を行う医療機器用色修正装置であって、
    特定の生体組織を強調する色変換を行うための特定組織強調用変換データを格納する特定組織強調用変換データ格納部と、
    強調表示の対象となる特定の生体組織を指定する指定入力を受け付ける強調組織指定部と、
    医療用撮像装置による撮像に基づいて得られた画像データに対して、前記特定組織強調用変換データ格納部に格納されている、前記指定入力によって指定された特定の生体組織を強調する色変換を行うための特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する特定組織強調用色変換部と、
    を備え、
    前記特定組織強調用変換データ格納部に、複数J通り(Jは2以上の整数)の生体組織についての特定組織強調用変換データがそれぞれ格納されており、
    前記特定組織強調用色変換部が、前記強調組織指定部から第j番目(1≦j≦J)の生体組織を指定する指定入力を受け付けた場合に、第j番目の特定組織強調用変換データを用いた色変換を行って特定組織強調画像データを生成する、医療機器用色修正装置。
  22. 請求項21に記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、所定の色空間において特定の生体組織に固有の特定の局在色領域に含まれる色に対して、特定の色修正を行うデータであることを特徴とする医療機器用色修正装置。
  23. 請求項22に記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、所定の二次元色度図上における特定の生体組織に固有の局在色領域に含まれる色に対して、横座標値もしくは縦座標値またはその双方を増減させる色修正を行うデータであることを特徴とする医療機器用色修正装置。
  24. 請求項23に記載の医療機器用色修正装置において、
    特定組織強調用変換データ格納部に格納されている特定組織強調用変換データが、u′v′色度図上における特定の生体組織に固有の局在色領域に含まれる色に対して、u′値もしくはv′値またはその双方を増減させる色修正を行うデータであることを特徴とする医療機器用色修正装置。
  25. 請求項24に記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「血管」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「血管」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における血管に固有の局在色領域に含まれる色に対して、u′値を増加させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  26. 請求項24または25に記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「脂肪」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「脂肪」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における脂肪に固有の局在色領域に含まれる色に対して、u′値を減少させるとともにv′値を増加させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  27. 請求項24~26のいずれかに記載の医療機器用色修正装置において、
    強調組織指定部が、強調表示の対象となる特定の生体組織として「表層膜」を指定する指定入力を受け付ける機能を有し、
    特定組織強調用変換データ格納部には、「表層膜」を強調する色変換を行うための特定組織強調用変換データとして、u′v′色度図上における表層膜に固有の局在色領域に含まれる色に対して、u′値を増加させるとともにv′値を減少させる色修正を行う変換データが格納されていることを特徴とする医療機器用色修正装置。
  28. 請求項1~20のいずれかに記載の医療機器用色修正装置と、前記医療機器用色修正装置に撮像データを与える少なくとも1台の医療用撮像装置と、前記医療機器用色修正装置から出力された表示用データに基づいて画像表示を行う少なくとも1台のカラーモニタと、を備えることを特徴とする医療用画像表示システム。
  29. 請求項1~27のいずれかに記載の医療機器用色修正装置としてコンピュータを機能させるプログラム。
JP2020572332A 2019-02-14 2020-02-14 医療機器用色修正装置 Active JP7447821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024028430A JP2024063096A (ja) 2019-02-14 2024-02-28 医療機器用色修正装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019024677 2019-02-14
JP2019024677 2019-02-14
PCT/JP2020/005770 WO2020166697A1 (ja) 2019-02-14 2020-02-14 医療機器用色修正装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024028430A Division JP2024063096A (ja) 2019-02-14 2024-02-28 医療機器用色修正装置

Publications (2)

Publication Number Publication Date
JPWO2020166697A1 JPWO2020166697A1 (ja) 2021-12-16
JP7447821B2 true JP7447821B2 (ja) 2024-03-12

Family

ID=72044244

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020572332A Active JP7447821B2 (ja) 2019-02-14 2020-02-14 医療機器用色修正装置
JP2024028430A Pending JP2024063096A (ja) 2019-02-14 2024-02-28 医療機器用色修正装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024028430A Pending JP2024063096A (ja) 2019-02-14 2024-02-28 医療機器用色修正装置

Country Status (5)

Country Link
US (1) US20220095891A1 (ja)
EP (1) EP3929647A4 (ja)
JP (2) JP7447821B2 (ja)
CN (1) CN113474710B (ja)
WO (1) WO2020166697A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142002A (ja) 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd 電子内視鏡装置
JP2006311352A (ja) 2005-04-28 2006-11-09 Olympus Corp 色再現システム
JP2008093225A (ja) 2006-10-13 2008-04-24 Olympus Medical Systems Corp 内視鏡システム及び内視鏡システムにおける画像処理方法
JP2008272507A (ja) 2008-06-30 2008-11-13 Olympus Corp 内視鏡装置
WO2014156937A1 (ja) 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015066262A (ja) 2013-09-30 2015-04-13 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
WO2016139768A1 (ja) 2015-03-04 2016-09-09 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
WO2018079205A1 (ja) 2016-10-27 2018-05-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138876A (ja) * 1987-11-26 1989-05-31 Toshiba Corp カラー画像処理装置
JP2000237206A (ja) 1999-02-18 2000-09-05 Olympus Optical Co Ltd 遠隔手術支援システム
US7184057B2 (en) * 2002-06-24 2007-02-27 Microsoft Corpoartion Systems and methods for providing color management
JP2005046200A (ja) 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
WO2006030731A1 (ja) * 2004-09-13 2006-03-23 Hitachi Medical Corporation 超音波撮像装置及び投影像生成方法
EP1650980A3 (en) * 2004-10-20 2010-09-29 FUJIFILM Corporation Electronic endoscope apparatus
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP5624328B2 (ja) 2010-01-04 2014-11-12 株式会社東芝 医用画像診断装置および画像処理装置
JP5631757B2 (ja) * 2011-01-19 2014-11-26 富士フイルム株式会社 電子内視鏡システム
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
JP5451802B2 (ja) * 2011-04-01 2014-03-26 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの校正方法
JP5762344B2 (ja) * 2012-03-28 2015-08-12 富士フイルム株式会社 画像処理装置及び内視鏡システム
JP5931031B2 (ja) * 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5950245B2 (ja) 2013-12-19 2016-07-13 諒治 塩川 内視鏡手術用システム
WO2016116946A2 (en) * 2015-01-20 2016-07-28 Indian Institute Of Technology, Bombay A system and method for obtaining 3-dimensional images using conventional 2-dimensional x-ray images
CN107847117B (zh) * 2015-04-30 2019-12-17 富士胶片株式会社 图像处理装置及图像处理方法
US11058288B2 (en) * 2015-10-22 2021-07-13 Covidien Lp Systems and methods for amplifying changes in a region of interest in a surgical environment
WO2017170910A1 (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 透過型色較正用チャートおよび較正用スライドガラス
CN113766087A (zh) * 2016-06-30 2021-12-07 株式会社隆创 颜色变换装置
US10646102B2 (en) * 2016-08-31 2020-05-12 Hoya Corporation Processor for electronic endoscope, and electronic endoscope system
CN110352035B (zh) * 2017-02-27 2023-09-08 皇家飞利浦有限公司 经由信号变化放大的静脉穿刺和动脉线引导
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
JP2020533039A (ja) * 2017-08-07 2020-11-19 イマーゴ・システムズ,インコーポレーテッド 画像中の物体の視覚化および特徴づけのためのシステムおよび方法
US20190069957A1 (en) * 2017-09-06 2019-03-07 Verily Life Sciences Llc Surgical recognition system
US11562487B2 (en) * 2017-10-18 2023-01-24 Koninklijke Philips N.V. Landmark visualization for medical image segmentation
CN111565620A (zh) * 2017-12-27 2020-08-21 爱惜康有限责任公司 缺光环境中的荧光成像

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142002A (ja) 2004-10-20 2006-06-08 Fuji Photo Film Co Ltd 電子内視鏡装置
JP2006311352A (ja) 2005-04-28 2006-11-09 Olympus Corp 色再現システム
JP2008093225A (ja) 2006-10-13 2008-04-24 Olympus Medical Systems Corp 内視鏡システム及び内視鏡システムにおける画像処理方法
JP2008272507A (ja) 2008-06-30 2008-11-13 Olympus Corp 内視鏡装置
WO2014156937A1 (ja) 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015066262A (ja) 2013-09-30 2015-04-13 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
WO2016139768A1 (ja) 2015-03-04 2016-09-09 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
WO2018079205A1 (ja) 2016-10-27 2018-05-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム

Also Published As

Publication number Publication date
CN113474710A (zh) 2021-10-01
US20220095891A1 (en) 2022-03-31
EP3929647A1 (en) 2021-12-29
EP3929647A4 (en) 2022-11-23
JP2024063096A (ja) 2024-05-10
JPWO2020166697A1 (ja) 2021-12-16
WO2020166697A1 (ja) 2020-08-20
CN113474710B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
CN105705075B (zh) 图像处理装置及其工作方法
EP1759631B1 (en) Fluorescent-light image display method and apparatus therefor
EP3269295A1 (en) Image processing device
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
WO2017183307A1 (ja) 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
CN104939792B (zh) 医用图像处理装置及其工作方法
JP4327380B2 (ja) 蛍光画像表示方法および装置
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
CN106163367A (zh) 医用图像处理装置及其工作方法以及内窥镜***
JP5173130B2 (ja) 電子内視鏡装置
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
JP7447821B2 (ja) 医療機器用色修正装置
JP6731065B2 (ja) 内視鏡システム及びその作動方法
CN111936031A (zh) 医疗图像处理装置
WO2018079116A1 (ja) 内視鏡システム
JPH0678947B2 (ja) Crtカラーディスプレイの発光制御信号と物体色cie三刺激値の相互変換法
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
CN113259648B (zh) 一种内窥镜摄像机图像处理设备和方法
JP7053873B2 (ja) 画像処理装置および内視鏡システム
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP4275580A1 (en) Method, processor, and medical fluorescence observation device using two color images to record fluorescence
WO2023218098A1 (en) Method, processor, and medical fluorescence observation device for toggling images
Taylor et al. Color imaging in endoscopy perspectives and new directions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150