JP7070412B2 - 制御装置、制御システム、および制御方法 - Google Patents

制御装置、制御システム、および制御方法 Download PDF

Info

Publication number
JP7070412B2
JP7070412B2 JP2018531743A JP2018531743A JP7070412B2 JP 7070412 B2 JP7070412 B2 JP 7070412B2 JP 2018531743 A JP2018531743 A JP 2018531743A JP 2018531743 A JP2018531743 A JP 2018531743A JP 7070412 B2 JP7070412 B2 JP 7070412B2
Authority
JP
Japan
Prior art keywords
light source
light
unit
profile
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531743A
Other languages
English (en)
Other versions
JPWO2018025457A1 (ja
Inventor
正義 秋田
恒生 林
雄生 杉江
昭夫 古川
充紀 植田
洋 一木
大介 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018025457A1 publication Critical patent/JPWO2018025457A1/ja
Application granted granted Critical
Publication of JP7070412B2 publication Critical patent/JP7070412B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B39/00Circuit arrangements or apparatus for operating incandescent light sources
    • H05B39/04Controlling
    • H05B39/041Controlling the light-intensity of the source
    • H05B39/044Controlling the light-intensity of the source continuously
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/16Controlling the light source by timing means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/17Operational modes, e.g. switching from manual to automatic mode or prohibiting specific operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/165Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Microscoopes, Condenser (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Description

本開示は、制御装置、制御システム、および制御方法に関する。
従来、例えばLED(Light Emitting Diode)や蛍光灯などの照明機器が各種開発されている。
また、例えば顕微鏡装置などの測定装置を用いて、測定対象からデータを取得するための技術が各種提案されている(例えば、下記特許文献1参照)。
特開2015-169438号公報
ところで、一つの光源から発せられる光の明るさは時間の経過に応じて変化し得る。このため、例えば、一つの光源による発光中に撮像を行う場面では、撮像タイミングによって、撮像される画像の明るさが変化してしまう。
そこで、本開示では、一つの光源から発せられる光の変化のタイミングに適応的に別の光源に発光させることが可能な、新規かつ改良された制御装置、制御システム、および制御方法を提案する。
本開示によれば、第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、を備える、制御装置が提供される。
また、本開示によれば、第1の光源と、術部に対して光を照射するための第2の光源と、撮像部と、前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、を備える、制御システムが提供される。
また、本開示によれば、第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、を含む、制御方法が提供される。
以上説明したように本開示によれば、一つの光源から発せられる光の変化のタイミングに適応的に別の光源に発光させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態による制御システムの構成例を示した説明図である。 第1の実施形態による制御装置10‐1の構成例を示した機能ブロック図である。 第1の実施形態による外部光源プロファイルおよび同期信号の解析例を示した説明図である。 第1の実施形態による自光源プロファイルの生成例を示した説明図である。 第1の実施形態による自光源プロファイルの別の生成例を示した説明図である。 第1の実施形態による光源部202に対する発光制御、および、撮像制御の例を示した説明図である。 第1の実施形態による動作例を示したフローチャートである。 第1の実施形態の応用例による表示用画像の生成例を示した説明図である。 第2の実施形態による制御システムの構成例を示した説明図である。 第2の実施形態による制御装置10‐2の構成例を示した機能ブロック図である。 第2の実施形態による自光源プロファイルの生成例を示した説明図である。 第2の実施形態による同期信号の検出例を示した説明図である。 第2の実施形態による動作例を示したフローチャートである。 第3の実施形態による制御装置10‐3の構成例を示した機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて制御装置10‐1aおよび制御装置10‐1bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、制御装置10‐1aおよび制御装置10‐1bを特に区別する必要が無い場合には、単に制御装置10‐1と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.変形例
なお、本明細書及び図面において、後述する各実施形態による制御装置10‐1、制御装置10‐2、および、制御装置10‐3を総称して、制御装置10と称する場合がある。
<<1.第1の実施形態>>
<1-1.制御システムの構成>
まず、第1の実施形態について説明する。第1の実施形態では、手術室において医師が、後述する観察装置20を利用しながら、開頭手術を行う場面を中心として説明を行う。なお、開頭手術に限定されず、開腹手術や開胸手術などのオープン手術を行う場面にも第1の実施形態は適用可能である。
図1は、第1の実施形態による制御システムの構成例を示した説明図である。図1に示すように、第1の実施形態による制御システムは、観察システム2、および、外部光源30を含む。また、観察システム2は、制御装置10‐1、観察装置20、および、表示装置32を含む。なお、図1では、術者4が、当該制御システムを用いて、患者ベッド6上の患者8に対して手術を行っている様子を示している。また、以下の制御システムについての説明において、「ユーザ」とは、術者及び助手等、制御システムを使用する任意の医療スタッフのことを意味する。
{1-1-1.観察装置20}
観察装置20は、観察対象(患者の術部)を観察するための観察部22と、観察部22を先端で支持するアーム部26と、アーム部26の基端を支持するベース部28と、を有する。
観察部22は、略円筒形状の筒状部24と、当該筒状部24の内部に設けられる撮像部200(図1では不図示)と、筒状部24の外周の一部領域に設けられる操作部(図示せず)と、から構成される。観察部22は、例えば顕微鏡部である。一例として、観察部22は、撮像部200によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。
筒状部24の下端の開口面には、内部の撮像部200を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部24の内部の撮像部200に入射する。また、筒状部24の内部には光源部202が設けられ得る。そして、撮像時には、当該カバーガラスを介して、光源部202から観察対象に対して光が照射され得る。
光源部202は、本開示における第2の光源の一例である。光源部202は、例えばLEDや半導体レーザなどの半導体光源であり得る。光源部202は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能である。例えば、光源部202は、可視光および赤外光を照射可能である。
撮像部200は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして、後述する制御装置10‐1に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部200は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部200には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部200は、1つの撮像素子を有するいわゆる単板式の撮像部200として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部200として構成されてもよい。撮像部200が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部200は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部200が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
操作部は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部200の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部を介して、アーム部26の動作モード(後述するオールフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが観察部22を移動させようとする場合には、当該ユーザは筒状部24を握るように把持した状態で当該観察部22を移動させる様態が想定される。従って、操作部は、ユーザが筒状部24を移動させている間でも操作可能なように、ユーザが筒状部24を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部26は、複数のリンクが、複数の関節部によって互いに回動可能に連結されることによって構成される。
{1-1-2.制御装置10‐1}
制御装置10‐1は、観察装置20及び表示装置32の動作を制御することにより、観察システム2の動作を統括的に制御する。例えば、制御装置10‐1は、所定の制御方式に従ってアーム部26内の各関節部のアクチュエータを動作させることにより、アーム部26の駆動を制御する。また、例えば、制御装置10‐1は、観察装置20の撮像部200によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置32に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
なお、制御装置10‐1と観察部22との通信、及び制御装置10‐1とアーム部26内の各関節部との通信は、有線通信であってもよいし、無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置10‐1は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等を含み得る。制御装置10‐1のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。または、制御装置10‐1は、プロセッサの代わりに、または、プロセッサとともに、FPGA(field-programmable gate array)等のプログラマブルロジックデバイスを含み得る。この場合、制御装置10‐1のFPGAが、ハードウェア記述言語などを用いてユーザが指定した構成に従って動作することにより、上述した各種の機能が実現され得る。
なお、図示する例では、制御装置10‐1は、観察装置20と別個の装置として設けられているが、制御装置10‐1は、観察装置20のベース部28の内部に設置され、観察装置20と一体的に構成されてもよい。あるいは、制御装置10‐1は、複数の装置によって構成されてもよい。例えば、観察部22や、アーム部26内の各関節部にそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置10‐1と同様の機能が実現されてもよい。
{1-1-3.表示装置32}
表示装置32は、手術室内に設けられ、制御装置10‐1からの制御により、当該制御装置10‐1によって生成された画像データに対応する画像を表示する。つまり、表示装置32には、観察部22によって撮影された術部の画像が表示される。なお、表示装置32は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置32の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置32は複数設けられてもよく、複数の表示装置32のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置32としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
例えば、図1に示したように、手術時には、観察装置20によって撮影された術部の画像が、例えば手術室の壁面に設置される表示装置32に拡大表示される。表示装置32は、術者4と対向する位置に設置されており、術者4は、表示装置32に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
なお、表示装置32は、手術室の壁面に設置される例に限定されず、手術室の天井から吊り下げられて設置されてもよいし、手術室内の机上に配置されてもよい。または、表示装置32は、表示機能を有するモバイル機器であってもよいし、または、制御装置10‐1または観察装置20と一体的に構成されてもよい。
{1-1-4.外部光源30}
外部光源30は、本開示における第1の光源の一例である。外部光源30は、手術室内に設置されている光源である。例えば、外部光源30は、手術室の天井に設けられ、少なくとも術者の手元を照射する。外部光源30は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。この外部光源30では、商用電源周波数(例えば50Hz以上)に応じて点滅するなど、発光の明るさが周期的に変化し得る。
この外部光源30は、無影灯であり得る。また、外部光源30は、LEDにより構成され得る。
なお、第1の実施形態による制御システムの構成は、上述した例に限定されない。例えば、観察装置20は、その先端に観察部22に代えて、例えば内視鏡などの他の観察装置を支持する、支持アーム装置としても機能し得る。すなわち、当該制御システム(または観察システム2)は、顕微鏡手術システムおよび内視鏡手術システムに適用可能である。ここで、当該他の観察装置は、撮像部200を含む。また、当該他の観察装置は、光源部202をさらに含んでもよいし、光源部202を含まなくてもよい。後者の場合、光源部202は、当該他の観察装置とは別に、当該支持アーム装置に支持され得る。これらの観察装置(および光源部202)を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。
{1-1-5.課題の整理}
以上、第1の実施形態による制御システムの構成について説明した。ところで、従来、インドシアニングリーン(ICG)を用いた赤外励起蛍光観察、つまり、ICGを体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を観察することが行われている。しかしながら、オープン手術の際に、ICGを用いた赤外励起蛍光観察を行うためには、手術室内を暗くする必要があった。
また、別の課題として、外部光源30は観察システム2と同期・同調していないので、明るい箇所や暗い箇所が現れるバンディングや、フリッカなどのアーティファクトが、撮像部200により撮像される画像内に発生し得る。
そこで、上記事情を一着眼点にして、第1の実施形態による制御装置10‐1を創作するに至った。第1の実施形態によれば、制御装置10‐1は、外部光源30から発せられる光のプロファイル(以下、外部光源プロファイルと称する)と、外部光源30から発せられる光に基づいて特定される同期信号とに基づいて、光源部202に対する発光の制御を行う。これにより、外部光源30から発せられる光の明るさの変化のタイミングに適応的に光源部202に発光させることができる。例えば、外部光源30が発光していない際に光源部202に赤外光を発光させたり、または、外部光源30の光量不足を補うように光源部202に可視光を発光させることができる。
<1-2.構成>
次に、第1の実施形態による制御装置10‐1の構成について詳細に説明する。図2は、第1の実施形態による制御装置10‐1の構成例を示した機能ブロック図である。図2に示すように、制御装置10‐1は、外部光源プロファイル解析部100、自光源プロファイル生成部102、同期信号解析部104、同期制御部106、および、光源制御部108を有する。
{1-2-1.外部光源プロファイル解析部100}
外部光源プロファイル解析部100は、本開示におけるプロファイル特定部の一例である。外部光源プロファイル解析部100は、撮像部200により撮像される、外部光源30からの光が照射される被写体の画像に基づいて、外部光源プロファイルを解析する。ここで、外部光源プロファイルは、外部光源30から発せられる光の明るさの変化の規則性に関する情報を含み得る。例えば、外部光源プロファイルは、外部光源30から発せられる光の変調パターン、発光周波数、および、照明色を含む。
例えば、外部光源プロファイル解析部100は、まず、撮像部200による撮像に基づいて、相対的に明るい画像が撮像される期間(つまり外部光源30の発光強度が相対的に大きい期間)の長さと、相対的に暗い画像が撮像される期間(つまり外部光源30の発光強度が相対的に小さい期間)の長さとを特定する。例えば、外部光源30がLED照明である場合には、外部光源プロファイル解析部100は、撮像部200による撮像に基づいて、外部光源30が点灯している期間の長さと、外部光源30が消灯している期間の長さとを特定する。
そして、外部光源プロファイル解析部100は、これらの期間の長さの関係性に基づいて、外部光源30の発光の周期などを解析する。これにより、図3に示したグラフ(a)のような、外部光源30の発光強度の波形50が特定され得る。
なお、外部光源プロファイル解析部100は、撮像部200により撮像された静止画像に基づいて外部光源プロファイルを解析することも可能であるし、または、撮像された動画像、つまり一連の画像に基づいて外部光源プロファイルを解析することも可能である。また、外部光源プロファイル解析部100は、基本的には外部光源プロファイルを(例えば手術時などに)リアルタイムに解析する。但し、かかる例に限定されず、外部光源プロファイル解析部100は、外部光源プロファイルを例えば手術前など、事前に解析しておいてもよい。
(1-2-1-1.変形例)
なお、変形例として、外部光源プロファイルに含まれる全部または一部の情報は、制御装置10‐1、または、制御装置10‐1と通信可能な他の装置にプリセットされ得る。この場合、外部光源プロファイル解析部100は、プリセットされている情報を該当の装置から取得することにより、外部光源プロファイルを取得することも可能である。
{1-2-2.自光源プロファイル生成部102}
自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルに基づいて、自光源プロファイルを生成する。また、自光源プロファイル生成部102は、さらに、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成することが可能である。
ここで、観察モードは、例えば、可視光/赤外光時分割撮像モードおよびアシストモードを含む。可視光/赤外光時分割撮像モードは、外部光源30による可視光の発光と、光源部202による赤外光の発光とが交互になされ、かつ、それぞれの発光タイミングごとに撮像部200により一フレームずつ順次撮像されるモードである。ここで、可視光は、本開示における第1の光の一例であり、また、赤外光は、本開示における第2の光の一例である。また、アシストモードは、外部光源30の光量不足を補うように、光源部202に可視光を発光させるモードである。例えば、アシストモードは、外部光源30の発光量と光源部202の発光量との合計が略一定になるように、光源部202による可視光の発光量を逐次調整するモードである。なお、アシストモードでは、さらに、外部光源30と略同一の照明色の可視光を光源部202に発光させるように制御してもよい。
図4は、観察モードとして可視光/赤外光時分割撮像モードが指定された場合における自光源プロファイルの生成例を示した説明図である。この場合、図4に示した(光源部202の発光強度の)波形54aのように、自光源プロファイル生成部102は、外部光源30が発光しない期間(時刻t2~時刻t3の間など)には例えば100%の発光強度で赤外光を光源部202に発光させ、かつ、外部光源30が発光する期間(時刻t3~時刻t4の間など)には光源部202に発光させないように制御するための自光源プロファイルを生成する。
また、図5は、観察モードとしてアシストモードが指定された場合における自光源プロファイルの生成例を示した説明図である。この場合、図5に示した(光源部202の発光強度の)波形54bのように、自光源プロファイル生成部102は、外部光源30が発光しない期間(時刻t2~時刻t3の間など)には「100%」の発光強度で可視光を光源部202に発光させ、かつ、外部光源30が発光する期間(時刻t3~時刻t4の間など)には「100%」未満の所定の発光強度で可視光を光源部202に発光させるように制御するための自光源プロファイルを生成する。ここで、所定の発光強度は、光源部202の「100%」の発光強度と外部光源30の「100%」の発光強度との差に等しい、光源部202の発光強度であり得る。
なお、観察モードの設定情報は、制御装置10‐1内に記憶され得る。また、観察モードは、例えば操作部(図示省略)に対するユーザの操作に基づいて随時変更され得る。この操作部は、上述した観察装置20の操作部であってもよいし、制御装置10‐1に設置されていてもよいし、または、手術室内に別途設けられてもよい。
また、自光源プロファイル生成部102は、生成した自光源プロファイルを光源制御部108へ伝達する。
{1-2-3.同期信号解析部104}
同期信号解析部104は、本開示における同期信号特定部の一例である。同期信号解析部104は、撮像部200による撮像画像に基づいて、同期すべき周期およびタイミングを解析することにより、同期信号をリアルタイムに解析する。例えば、図3に示した例では、同期信号解析部104は、撮像部200により撮像される画像40の明るさの変化のタイミングに基づいて、図3に示したグラフ(b)のように同期信号52を解析する。一例として、同期信号解析部104は、外部光源30が発光していない状態から外部光源30が発光を開始するタイミングを、同期信号の出力タイミングとして解析する。
また、同期信号解析部104は、解析した同期信号を同期制御部106へ伝達する。
{1-2-4.同期制御部106}
同期制御部106は、本開示における撮像制御部の一例である。同期制御部106は、同期信号解析部104により解析された同期信号に基づいて、撮像部用同期信号および自光源用同期信号を生成する。例えば、同期制御部106は、同期信号解析部104により解析された同期信号に基づいて同期周波数および同期位相を調整することにより、撮像部用同期信号および自光源用同期信号を生成する。また、同期制御部106は、生成した自光源用同期信号を光源制御部108へ伝達する。
また、同期制御部106は、生成した撮像部用同期信号に基づいて、撮像部200に対する撮像の制御を行うことが可能である。例えば、同期制御部106は、撮像部用同期信号の出力タイミングに同期して、新たなフレームの撮像を撮像部200に開始させるように制御する。あるいは、同期制御部106は、生成した撮像部用同期信号(自体)を撮像部200に提供することも可能である。この場合、撮像部200は、受信される撮像部用同期信号に基づいて撮像を行う。
図6は、外部光源30の発光強度の波形を示すグラフ(a)、光源部202に対する発光制御の時間変化を示すグラフ(b)、および、撮像部200に対する撮像制御の時間変化を示すグラフ(c)を並べて示した図である。なお、図6では、観察モードとして可視光/赤外光時分割撮像モードが指定された場合の例を示している。図6に示したように、同期制御部106は、外部光源30の発光状態がONとOFFとの間で切り替わるタイミングごとに、新たなフレームの撮像を開始させるように撮像部200を制御する。これにより、外部光源30の点滅の度に、外部光源30による可視光の発光期間と、光源部202による赤外光の発光期間とでそれぞれ一フレームずつ撮像される。そして、外部光源30の発光時に撮像されたフレーム画像560と、フレーム画像560の直後の赤外光の発光時に撮像されたフレーム画像562とを重畳した鮮明な画像を表示装置32に表示させることができる。
{1-2-5.光源制御部108}
光源制御部108は、自光源プロファイル生成部102により生成された自光源プロファイルと、同期制御部106により生成された自光源用同期信号とに基づいて、光源部202に対する発光の制御を行う。図6に示した例では、光源制御部108は、外部光源30の発光状態がONからOFFに切り替わるタイミング(例えば時刻t2)に光源部202の発光状態がOFFからONになるように、光源部202の発光を制御する。なお、上述したように、光源部202は半導体光源であり得るので、光源制御部108による制御に対して反応性良く光を照射することができる。
なお、第1の実施形態による制御装置10‐1の構成は上述した例に限定されない。例えば、外部光源プロファイル解析部100、自光源プロファイル生成部102、同期信号解析部104、同期制御部106、および、光源制御部108のうちいずれか一以上は、制御装置10‐1の代わりに、観察装置20内に設けられてもよい。
<1-3.動作>
以上、第1の実施形態による構成について説明した。次に、第1の実施形態による動作について、図7を参照して説明する。図7は、第1の実施形態による動作例を示したフローチャートである。
図7に示したように、まず、制御装置10‐1は、撮像部200により撮像された、外部光源30からの光が照射される被写体の撮像画像を撮像部200から取得する(S101)。
続いて、外部光源プロファイル解析部100は、取得された画像に基づいて外部光源プロファイルを解析する。同時に、同期信号解析部104は、取得された画像に基づいて同期信号を解析する(S103)。
続いて、自光源プロファイル生成部102は、例えば制御装置10‐1内に記憶されている、ユーザにより指定された観察モードを特定する(S105)。そして、自光源プロファイル生成部102は、S103で解析された外部光源プロファイル、および、S105で特定された観察モードに基づいて、自光源プロファイルを生成する(S107)。
続いて、同期制御部106は、S103で解析された同期信号に基づいて、撮像部用同期信号および自光源用同期信号を生成する。そして、光源制御部108は、生成された自光源用同期信号と、S107で生成された自光源プロファイルとに基づいて、光源部202に発光させる。同時に、同期制御部106は、生成した撮像部用同期信号に基づいて、撮像部200に撮像させる(S109)。
その後、制御装置10‐1は、S109で撮像された画像を表示装置32に表示させる(S111)。そして、観察の終了操作がユーザによりなされた場合には(S113:Yes)、本動作は終了する。一方、観察の終了操作がなされていない場合には(S113:No)、制御装置10‐1は、再びS109以降の処理を繰り返す。
<1-4.効果>
以上説明したように、第1の実施形態によれば、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて特定される外部光源プロファイルと、当該撮像画像に基づいて特定される同期信号とに基づいて、光源部202に対する発光の制御を行う。これにより、外部光源30から発せられる光の明るさの変化のタイミングに適応的に、光源部202に発光させることができる。
例えば、観察モードとして可視光/赤外光時分割撮像モードがユーザにより指定される場合には、制御装置10‐1は、外部光源30が発光しない期間にのみ光源部202に赤外光を発光させる。このため、オープン手術の際に、外部光源30を消灯せずに(つまり手術室内を暗くせずに)、可視光観察、および、ICGを用いた赤外励起蛍光観察を同時に行うことができ、手術時の利便性を向上させることができる。
また、観察モードとしてアシストモードがユーザにより指定される場合には、制御装置10‐1は、外部光源30の発光量と光源部202の発光量との合計が略一定になるように、光源部202による可視光の発光量を逐次調整する。これにより、撮像部200により撮像される画像において、例えばバンディングやフリッカなどの、外部光源30起因のアーティファクトの発生を防止することができる。また、外部光源30の光量不足を補うことができる。従って、より鮮明な術部画像を撮像し、表示装置32に表示することができるので、手術をより安全にかつより確実に行うことが可能になる。
<1-5.応用例>
以上、第1の実施形態について説明した。上述したように、制御装置10‐1は、外部光源30の発光周波数に応じた周波数で撮像部200に撮像させる。このため、仮に1000Hzなどの非常に高い周波数で外部光源30が点滅している場合には、1フレーム当たりの露光時間の長さが非常に小さくなる。従って、個々のフレームに関して十分な露光量が得られず、暗い画像が撮像され得る。
そこで、第1の実施形態の応用例として、制御装置10‐1は、撮像部200により撮像された、外部光源30の発光周波数に応じた枚数のフレーム画像に基づいて、表示用画像を生成することも可能である。ここで、図8を参照して、上記の機能についてより詳細に説明する。図8では、可視光/赤外光時分割撮像モード時における表示用画像(表示用画像564)の生成例を示した説明図である。なお、図8では、可視光の発光時(つまり外部光源30の発光時)において撮像されるフレーム画像560に関する表示用画像564の生成例を示しているが、光源部202による赤外光の発光時において撮像されるフレーム画像562に関する表示用画像に関しても同様の方法により生成される。
図8に示したように、制御装置10‐1は、撮像部200により撮像された、外部光源30の発光周波数に応じた枚数(図8に示した例では16枚)のフレーム画像560ごとに、該当の枚数のフレーム画像560を加算処理することにより、表示用画像564を生成する。例えば、制御装置10‐1は、画素ごとに、当該複数のフレーム画像560内の当該画素の画素値を加算することにより、表示用画像564を生成する。これにより、外部光源30が高い周波数で点滅している場合であっても、明るい画像を表示することが可能となるので、特に可視光/赤外光時分割撮像モード時において有効である。
<<2.第2の実施形態>>
以上、第1の実施形態について説明した。上述したように、第1の実施形態では、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて外部光源プロファイルを特定する。
次に、第2の実施形態について説明する。後述するように、第2の実施形態による制御装置10‐2は、外部光源30から発せられる光の測定結果に基づいて外部光源プロファイルを特定することが可能である。
<2-1.制御システムの構成>
図9は、第2の実施形態による制御システムの構成例を示した説明図である。図9に示すように、第2の実施形態による制御システムは、第1の実施形態と比較して外光センサ34をさらに含み、かつ、制御装置10‐1の代わりに制御装置10‐2を含む。また、図9に示したように、第2の実施形態では、外部光源30が例えば蛍光灯30bなど、発光強度の波形が矩形波にならないような種類の光源であることを想定する。なお、以下では第1の実施形態と異なる内容についてのみ説明を行うこととし、重複する内容については説明を省略する。
{2-1-1.外光センサ34}
外光センサ34は、周囲の光のエネルギーを検出するセンサである。外光センサ34は、光伝導型または光起電型のセンサであり得る。例えば、外光センサ34は、外部光源30から発せられる光量を測定する。また、外光センサ34は、有線通信または無線通信により制御装置10‐2との間で通信を行うことが可能である。
<2-2.構成>
次に、第2の実施形態による制御装置10‐2の構成について詳細に説明する。図10は、第2の実施形態による制御装置10‐2の構成例を示した機能ブロック図である。図10に示すように、制御装置10‐2は、図2に示した制御装置10‐1と比較して、同期信号検出部110をさらに有し、かつ、同期信号解析部104を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
{2-2-1.外部光源プロファイル解析部100}
第2の実施形態による外部光源プロファイル解析部100は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、外部光源プロファイルを解析する。例えば、外部光源プロファイル解析部100は、外部光源30からの発光量の測定結果の時系列に基づいて、外部光源プロファイルを解析する。
{2-2-2.自光源プロファイル生成部102}
第2の実施形態による自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルと、予め設定された目標光量との比較に基づいて、自光源プロファイルを生成する。なお、目標光量は、制御装置10‐2内に記憶され得る。また、目標光量は、例えば操作部に対するユーザの操作に基づいて随時変更され得る。
図11は、第2の実施形態による自光源プロファイルの生成例を示した説明図である。なお、図11に示した(外部光源30の発光量の)波形50は、解析された外部光源プロファイルに対応する、発光量の時間変化の例を示している。図11に示した領域54のように、自光源プロファイル生成部102は、目標光量と外部光源30の発光量との差分と等しくなるように、光源部202による可視光の発光量を逐次調整するための自光源プロファイルを生成する。
{2-2-3.同期信号検出部110}
同期信号検出部110は、本開示における同期信号特定部の一例である。同期信号検出部110は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、同期すべき周期およびタイミングを特定することにより、同期信号を検出する。例えば、図12に示したように、同期信号検出部110は、外部光源30からの発光量が減少から増加に変わるタイミング(例えば、時刻t2や時刻t3など)を、同期信号の出力タイミングとして検出する。また、同期信号検出部110は、検出した同期信号を同期制御部106へ伝達する。
{2-2-4.同期制御部106}
第2の実施形態による同期制御部106は、同期信号検出部110により検出された同期信号を光源制御部108へ伝達する。
なお、第2の実施形態では、上述したように、外部光源30による発光量と、光源部202による発光量との合計が略一定となるので、仮に光源部202による発光と撮像部200による撮像とが同期されていなくても、アーティファクトの発生を大きく抑制することができる。だが、さらに画質を向上させるために、同期制御部106は、同期信号検出部110により検出された同期信号に基づいて撮像部200に撮像させることが望ましい。これにより、フレームごとの、外部光源30の発光量と光源部202の発光量との比を略一定にすることが可能であり、フレームごとの色合いを安定化することができる。
<2-3.動作>
以上、第2の実施形態による構成について説明した。次に、第2の実施形態による動作について、図13を参照して説明する。図13は、第2の実施形態による動作例を示したフローチャートである。
図13に示したように、まず、制御装置10‐2は、外光センサ34による、外部光源30から発せられる光の測定結果を外光センサ34から取得する(S201)。
続いて、外部光源プロファイル解析部100は、取得された測定結果に基づいて外部光源プロファイルを解析する。同時に、同期信号検出部110は、取得された測定結果に基づいて同期信号を検出する(S203)。
続いて、自光源プロファイル生成部102は、例えば制御装置10‐1内に記憶されている、設定された目標光量を特定する(S205)。そして、自光源プロファイル生成部102は、S203で解析された外部光源プロファイルと、S205で特定された目標光量との比較に基づいて自光源プロファイルを生成する(S207)。
続いて、光源制御部108は、S203で検出された同期信号と、S207で生成された自光源プロファイルとに基づいて、光源部202に対する発光の制御を行う。同時に、同期制御部106は、S203で検出された同期信号に基づいて、撮像部200に対する撮像の制御を行う(S209)。
なお、図13に示したS211~S213の処理は、第1の実施形態によるS111~S113と同様である。
<2-4.効果>
以上説明したように、第2の実施形態によれば、制御装置10‐2は、外部光源30から発せられる光の測定結果に基づいて外部光源プロファイルおよび同期信号を特定し、そして、当該外部光源プロファイルと目標光量との比較、および、当該同期信号に基づいて、光源部202に対する発光の制御を行う。これにより、例えば、外部光源30による発光量と、光源部202による発光量との合計が略一定となるように光源部202に発光させることができる。従って、撮像部200により撮像される画像において外部光源30起因のアーティファクトが発生することを防止することができる。
<<3.第3の実施形態>>
以上、第2の実施形態について説明した。上述したように、第1の実施形態および第2の実施形態では、制御装置10が外部光源30に対して制御できない場面を想定した。
次に、第3の実施形態について説明する。第3の実施形態では、制御装置10が外部光源30に対する発光の制御が可能である場面を想定する。後述するように、第3の実施形態による制御装置10‐3は、外部光源30から発せられる光に基づいて特定される同期信号に基づいて、光源部202および外部光源30に対する発光の制御を行うことが可能である。
<3-1.構成>
{3-1-1.制御装置10‐3}
まず、第3の実施形態による構成について詳細に説明する。図14は、第3の実施形態による制御装置10‐3および外部光源30の構成例を示した機能ブロック図である。図14に示すように、制御装置10‐3は、図2に示した制御装置10‐1と比較して、外部光源プロファイル生成部112をさらに有し、かつ、外部光源プロファイル解析部100を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
(3-1-1-1.外部光源プロファイル生成部112)
外部光源プロファイル生成部112は、所定の情報に基づいて、外部光源プロファイルを生成する。ここで、所定の情報は、外部光源30と光源部202との協調動作に関する設定情報を含んでもよいし、または、外部光源30の仕様の情報を含んでもよい。また、外部光源プロファイル生成部112は、生成した外部光源プロファイルを外部光源30へ提供する。
(3-1-1-2.自光源プロファイル生成部102)
第3の実施形態による自光源プロファイル生成部102は、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成する。例えば、自光源プロファイル生成部102は、外部光源プロファイル生成部112により生成される外部光源プロファイルと発光周波数が同じで、かつ、位相差が、指定された観察モードに応じた角度(例えば180度や0度など)であるような自光源プロファイルを生成する。
(3-1-1-3.同期制御部106)
第3の実施形態による同期制御部106は、同期信号解析部104により解析された同期信号に基づいて外部光源用同期信号をさらに生成し、そして、生成した外部光源用同期信号を外部光源30へ提供する。あるいは、同期制御部106は、同期信号解析部104により解析された同期信号自体を外部光源30へ提供してもよい。
{3-1-2.外部光源30}
外部光源30は、図14に示すように、光源制御部300、および、光源部302を有する。
(3-1-2-1.光源制御部300)
光源制御部300は、本開示における光源制御部の一例である。光源制御部300は、制御装置10‐3から提供される外部光源プロファイルと、制御装置10‐3から提供される外部光源用同期信号(または同期信号)とに基づいて、光源部302に対する発光の制御を行う。
(3-1-2-2.光源部302)
光源部302は、LEDなどの半導体光源や蛍光灯などであり得る。光源部302は、光源制御部300の制御に従って発光する。
<3-2.効果>
以上説明したように、第3の実施形態によれば、制御装置10‐3は、外部光源30から発せられる光に基づいて特定される同期信号と、ユーザにより指定される観察モードとに基づいて、光源部202および外部光源30に対する発光の制御を行う。このように、外部光源30と光源部202とを協調動作させることにより、ユーザにより指定される観察モードにさらに適した発光を行うことができる。その結果、撮像画像の画質をさらに向上させることができる。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、図1および図9では、外部光源30を一個(または一セット)だけ記載しているが、かかる例に限定されず、手術室内には、一以上の種類の外部光源30が複数個設置されてもよい。この場合、制御装置10‐1または制御装置10‐2は、全ての外部光源30から発せられる光が照射される被写体の撮像画像、または、外光センサ34による測定結果に基づいて、外部光源プロファイルおよび同期信号を特定してもよい。そして、制御装置10は、特定した外部光源プロファイルと、特定した同期信号とに基づいて、光源部202に対する発光の制御を行うことが可能である。
また、上述した各実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した各実施形態によれば、CPUやGPU等のプロセッサ、メモリ等の記憶素子、および/または、FPGA等のプログラマブルロジックデバイスなどのハードウェアを、上述した各実施形態による制御装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、
を備える、制御装置。
(2)
前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、前記(1)に記載の制御装置。
(3)
前記プロファイルは、前記第1の光源から発せられる光の変調パターン、発光周波数、または、当該光の照明色を含む、前記(2)に記載の制御装置。
(4)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(5)
前記制御装置は、前記第1の光源から発せられる光の測定結果を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(6)
前記光源制御部は、前記プロファイルが示す、前記第1の光源から発せられる光の強度の変化に応じて、前記第2の光源の発光強度を変化させる、前記(2)~(5)のいずれか一項に記載の制御装置。
(7)
前記光源制御部は、前記第1の光源から光が発せられない期間には前記第2の光源に発光させ、かつ、前記第1の光源から光が発せられる期間には前記第2の光源に発光させない、前記(6)に記載の制御装置。
(8)
前記第1の光源は、第1の光を発し、
前記第2の光源は、前記第1の光とは異なる種類の第2の光を発する、前記(7)に記載の制御装置。
(9)
前記光源制御部は、前記第1の光源から発せられる光の強度が小さくなるほど、前記第2の光源の発光強度が大きくなるように、前記第2の光源に対する発光の制御を行う、前記(6)に記載の制御装置。
(10)
前記光源制御部は、前記第1の光源から発せられる光の光量と、目標光量との比較に基づいて、前記第2の光源の発光量を決定する、前記(6)または(9)に記載の制御装置。
(11)
前記第1の光源および前記第2の光源は、同じ種類の光を発する、前記(9)または(10)に記載の制御装置。
(12)
前記光源制御部は、さらに、ユーザにより指定される観察モードに基づいて、前記第2の光源に対する発光の制御を行う、前記(6)~(11)のいずれか一項に記載の制御装置。
(13)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(14)
前記制御装置は、前記第1の光源から発せられる光の測定結果に基づいて、前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(15)
前記制御装置は、前記同期信号に基づいて、撮像部に対する撮像の制御を行う撮像制御部をさらに備える、前記(1)~(14)のいずれか一項に記載の制御装置。
(16)
前記撮像制御部は、前記撮像部に、前記同期信号に同期して撮像させる、前記(15)に記載の制御装置。
(17)
前記光源制御部は、さらに、前記プロファイルと前記同期信号とに基づいて、前記第1の光源に対する発光の制御を行う、前記(1)~(16)のいずれか一項に記載の制御装置。
(18)
前記第2の光源は、半導体光源である、前記(1)~(17)のいずれか一項に記載の制御装置。
(19)
第1の光源と、
術部に対して光を照射するための第2の光源と、
撮像部と、
前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、
を備える、制御システム。
(20)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、
を含む、制御方法。
10‐1、10‐2、10‐3 制御装置
20 観察装置
22 観察部
24 筒状部
26 アーム部
28 ベース部
30 外部光源
32 表示装置
34 外光センサ
100 外部光源プロファイル解析部
102 自光源プロファイル生成部
104 同期信号解析部
106 同期制御部
108、300 光源制御部
110 同期信号検出部
112 外部光源プロファイル生成部
200 撮像部
202、302 光源部

Claims (18)

  1. 第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部
    前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部と
    を備え、前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、制御装置。
  2. 前記プロファイルは、前記第1の光源から発せられる光の変調パターン、発光周波数、または、当該光の照明色を含む、請求項1に記載の制御装置。
  3. 前記制御装置は、前記第1の光源から発せられる光の測定結果を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、請求項2に記載の制御装置。
  4. 前記光源制御部は、前記プロファイルが示す、前記第1の光源から発せられる光の強度の変化に応じて、前記第2の光源の発光強度を変化させる、請求項2または3に記載の制御装置。
  5. 前記光源制御部は、前記第1の光源から光が発せられない期間には前記第2の光源に発光させ、かつ、前記第1の光源から光が発せられる期間には前記第2の光源に発光させない、請求項に記載の制御装置。
  6. 前記第1の光源は、第1の光を発し、
    前記第2の光源は、前記第1の光とは異なる種類の第2の光を発する、請求項に記載の制御装置。
  7. 前記光源制御部は、前記第1の光源から発せられる光の強度が小さくなるほど、前記第2の光源の発光強度が大きくなるように、前記第2の光源に対する発光の制御を行う、請求項に記載の制御装置。
  8. 前記光源制御部は、前記第1の光源から発せられる光の光量と、目標光量との比較に基づいて、前記第2の光源の発光量を決定する、請求項またはに記載の制御装置。
  9. 前記第1の光源および前記第2の光源は、同じ種類の光を発する、請求項またはに記載の制御装置。
  10. 前記光源制御部は、さらに、ユーザにより指定される観察モードに基づいて、前記第2の光源に対する発光の制御を行う、請求項のいずれか一項に記載の制御装置。
  11. 前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記同期信号を特定する同期信号特定部をさらに備える、請求項2~10のいずれか一項に記載の制御装置。
  12. 前記制御装置は、前記第1の光源から発せられる光の測定結果に基づいて、前記同期信号を特定する同期信号特定部をさらに備える、請求項2~10のいずれか一項に記載の制御装置。
  13. 第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
    前記同期信号に基づいて、撮像部に対する撮像の制御を行う撮像制御部と、
    前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部と
    を備える、制御装置。
  14. 前記撮像制御部は、前記撮像部に、前記同期信号に同期して撮像させる、請求項13に記載の制御装置。
  15. 前記光源制御部は、さらに、前記プロファイルと前記同期信号とに基づいて、前記第1の光源に対する発光の制御を行う、請求項1~14のいずれか一項に記載の制御装置。
  16. 前記第2の光源は、半導体光源である、請求項1~15のいずれか一項に記載の制御装置。
  17. 第1の光源と、
    術部に対して光を照射するための第2の光源と、
    撮像部と、
    前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
    前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、
    前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部と
    を備え、前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、制御システム。
  18. プロセッサが、
    第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行うこと
    前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定することと
    を含み、前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、制御方法。
JP2018531743A 2016-08-01 2017-04-24 制御装置、制御システム、および制御方法 Active JP7070412B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016151394 2016-08-01
JP2016151394 2016-08-01
PCT/JP2017/016205 WO2018025457A1 (ja) 2016-08-01 2017-04-24 制御装置、制御システム、および制御方法

Publications (2)

Publication Number Publication Date
JPWO2018025457A1 JPWO2018025457A1 (ja) 2019-05-30
JP7070412B2 true JP7070412B2 (ja) 2022-05-18

Family

ID=61073373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531743A Active JP7070412B2 (ja) 2016-08-01 2017-04-24 制御装置、制御システム、および制御方法

Country Status (5)

Country Link
US (1) US10652973B2 (ja)
EP (1) EP3492037A4 (ja)
JP (1) JP7070412B2 (ja)
CN (1) CN109496144B (ja)
WO (1) WO2018025457A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111482A1 (ja) * 2017-12-06 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および制御方法
US10631842B1 (en) 2019-02-12 2020-04-28 Edward Rustamzadeh Lateral retraction system for minimizing muscle damage in spinal surgery
US12016543B2 (en) 2019-02-12 2024-06-25 Edward Rustamzadeh Lateral retractor system for minimizing muscle damage in spinal surgery
US10624623B1 (en) * 2019-02-12 2020-04-21 Edward Rustamzadeh Lateral retractor system for minimizing muscle damage in spinal surgery
US10363023B1 (en) 2019-02-12 2019-07-30 Edward Rustamzadeh Lateral retractor system for minimizing muscle damage in spinal surgery
US10925593B2 (en) 2019-02-12 2021-02-23 Edward Rustamzadeh Lateral retractor system for minimizing muscle damage in spinal surgery
US11246582B2 (en) 2019-02-12 2022-02-15 Edward Rustamzadeh Dual-motion rotation and retraction system for minimizing muscle damage in spinal surgery
CN113661617A (zh) * 2019-04-24 2021-11-16 松下知识产权经营株式会社 发光装置以及使用了该发光装置的医疗***、电子设备及检验方法
US20220175250A1 (en) * 2019-04-24 2022-06-09 Panasonic Intellectual Property Management Co., Ltd. Wavelength converter; and light emitting device, medical system, electronic apparatus, and inspection method using same
EP3961828B1 (en) * 2019-04-24 2023-10-11 Panasonic Intellectual Property Management Co., Ltd. Light emitting device; and medical system, electronic apparatus, and inspection method using same
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴***
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机***及其6DoF追踪方法和装置
USD1002842S1 (en) 2021-06-29 2023-10-24 Edward Rustamzadeh Combination surgical spinal dilator and retractor system
US11659642B1 (en) 2021-12-06 2023-05-23 American Sterilizer Company Surgical lighting system co-illumination detection
US20230181025A1 (en) * 2021-12-09 2023-06-15 Alcon Inc. Systems and methods for light modulation during ophthalmic surgery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009515618A (ja) 2005-11-14 2009-04-16 トルンプフ メディツィーン ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 手術用照明システム
JP2012245349A (ja) 2011-05-02 2012-12-13 Fujifilm Corp 医療機器の光源装置、及び内視鏡装置
JP2014220169A (ja) 2013-05-10 2014-11-20 山田医療照明株式会社 医療用照明システム及び照明方法
WO2015114906A1 (ja) 2014-01-29 2015-08-06 オリンパス株式会社 撮像システムおよび撮像装置
JP2016054352A (ja) 2014-09-02 2016-04-14 キヤノン株式会社 撮影装置及びその制御方法、並びに、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1478877B1 (en) * 2002-02-25 2006-04-19 Steris Inc. Ambient lighting system for surgical lights
CA2552683C (en) * 2003-12-11 2011-05-03 Color Kinetics Incorporated Thermal management methods and apparatus for lighting devices
CN201072116Y (zh) * 2007-01-12 2008-06-11 重庆邦桥科技有限公司 Led手术无影灯
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP5431294B2 (ja) * 2010-11-16 2014-03-05 富士フイルム株式会社 内視鏡装置
JP2015169438A (ja) 2014-03-04 2015-09-28 ソニー株式会社 測定装置、測定システム、測定方法、およびプログラム
WO2015164774A1 (en) * 2014-04-25 2015-10-29 The Trustees Of Dartmouth College Fluorescence guided surgical systems and methods gated on ambient light
JP2016220174A (ja) * 2015-05-26 2016-12-22 株式会社東芝 家電制御方法及び家電制御装置
EP3383247A4 (en) * 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
WO2018217951A1 (en) * 2017-05-24 2018-11-29 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009515618A (ja) 2005-11-14 2009-04-16 トルンプフ メディツィーン ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 手術用照明システム
JP2012245349A (ja) 2011-05-02 2012-12-13 Fujifilm Corp 医療機器の光源装置、及び内視鏡装置
JP2014220169A (ja) 2013-05-10 2014-11-20 山田医療照明株式会社 医療用照明システム及び照明方法
WO2015114906A1 (ja) 2014-01-29 2015-08-06 オリンパス株式会社 撮像システムおよび撮像装置
JP2016054352A (ja) 2014-09-02 2016-04-14 キヤノン株式会社 撮影装置及びその制御方法、並びに、プログラム

Also Published As

Publication number Publication date
EP3492037A1 (en) 2019-06-05
EP3492037A4 (en) 2019-07-24
US20190261498A1 (en) 2019-08-22
US10652973B2 (en) 2020-05-12
WO2018025457A1 (ja) 2018-02-08
CN109496144A (zh) 2019-03-19
JPWO2018025457A1 (ja) 2019-05-30
CN109496144B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7070412B2 (ja) 制御装置、制御システム、および制御方法
JP5452776B2 (ja) 撮像装置
WO2019123796A1 (ja) 内視鏡システム
WO2012043771A1 (ja) 撮像装置
JP6450832B2 (ja) 蛍光画像生成装置及び蛍光画像生成方法
JP7265613B2 (ja) 医療用撮像システム
JP5558635B2 (ja) 内視鏡装置
WO2017043539A1 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP7399151B2 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
US20200129044A1 (en) Medical observation apparatus and medical observation system
WO2012165172A1 (ja) プローブシステム及びその使用方法
JP6452355B2 (ja) 撮影装置及びその制御方法、並びに、プログラム
WO2021140923A1 (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP6937902B2 (ja) 内視鏡システム
JP7140113B2 (ja) 内視鏡
JP6508900B2 (ja) 撮影システム及びその制御方法
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP2020146407A (ja) 光源装置、医療用観察システム、照明方法およびプログラム
JP7213245B2 (ja) 内視鏡用光源装置、内視鏡用光源の制御方法および内視鏡システム
JP7441822B2 (ja) 医療用制御装置及び医療用観察装置
US20210244261A1 (en) Medical image processing apparatus and medical observation system
JP2005168828A (ja) 自家蛍光電子内視鏡装置
WO2021181937A1 (ja) 撮像装置と撮像制御方法およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7070412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151