JP5869184B2 - 3次元画像システム - Google Patents
3次元画像システム Download PDFInfo
- Publication number
- JP5869184B2 JP5869184B2 JP2015515342A JP2015515342A JP5869184B2 JP 5869184 B2 JP5869184 B2 JP 5869184B2 JP 2015515342 A JP2015515342 A JP 2015515342A JP 2015515342 A JP2015515342 A JP 2015515342A JP 5869184 B2 JP5869184 B2 JP 5869184B2
- Authority
- JP
- Japan
- Prior art keywords
- glasses
- image
- dimensional
- dimensional observation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Endoscopes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
手術を行うような場合には、2つの撮像装置を備えた立体内視鏡または3次元内視鏡を用い、視差のある2次元画像から生成した3次元観察用画像をモニタに表示し、術者は3次元観察用メガネをかけて観察することにより、立体感又は奥行き感のある3次元画像として視認(観察)することができるようにした3次元画像システムが採用される場合がある。
第1の従来例としての日本国特開平11−164329号公報においては、立体表示を行うための左右眼用画像信号の視差量を、設定制御手段からの設定情報で視差量制御手段が制御する立体映像表示装置を開示している。
また、第2の従来例としての日本国特開2011−188118号公報においては、表示部に表示される表示画像をメガネを用いて視聴することで立体表示可能な立体表示装置を開示し、この装置においてはメガネからメガネの属性情報を表示装置側に送信し、表示装置は受信部で受信したメガネの属性情報に対応するパラメータ情報を記憶部から読み出し、パラメータ情報に応じて画像制御情報を制御部が生成し、画像制御情報に基づいて調整部が表示画像を調整し、調整した表示画像を表示部が表示する。また、視聴者が複数の場合、優先度を考慮して表示画像を調整できるようにしている。
また、第2の従来例は、表示装置側に立体感又は奥行き感を調整するための画像情報を記憶する記憶部を設けているので、記憶部のデータ管理が複雑となる。
このため、データ管理が容易となる簡単な構成により、観察者が望む立体感を与える奥行き量で3次元観察用画像を表示することができる3次元画像システムが望まれる。
本発明は上述した点に鑑みてなされたものであり、簡単な構成でモニタを実際に観察する観察者が望む立体感を与える奥行き量で3次元観察用画像を表示することができる3次元画像システムを提供することを目的とする。
(第1の実施形態)
図1又は図2に示すように本発明の第1の実施形態の3次元画像システム1は、内視鏡検査室または手術室内のベッド2に横たわる患者3に対して(3次元画像システム1を使用する)複数の観察者として例えば主体となって手術を行う執刀医Da(以下、第1の術者、),執刀医Daとしての第1の術者を補助して手術を行う助手医Db(以下、第2の術者、),例えば内視鏡を操作する内視鏡医Dc(以下、第3の術者、)における少なくとも一人により操作される。なお、図1及び図2においては、3人の術者の場合で示しているが、本3次元画像システム1は、1人又は2人の術者の場合にも適用することができる。図2(A)と図2(B)は、第1の術者Da、第2の術者Db、第3の術者Dcが、手術中において、位置が変化し、位置の変化により観察するモニタが変化する様子を上方から見た模式図で示す。
3次元画像システム1は、立体観察のために使用される立体内視鏡又は3次元内視鏡(3D内視鏡と略記)4と、トロリ(又はカート)Tに配置された光源装置5と、左目用の映像信号(又は画像信号)を生成する第1のプロセッサ6Aと、右目用の映像信号(又は画像信号)を生成する第2のプロセッサ6Bと、両プロセッサ6A、6Bからの第1及び第2の映像信号(又は画像信号)から立体(3D)観察用の3次元(3D)の映像信号(又は画像信号)を生成する画像生成装置としての3次元ミキサ(3Dミキサと略記)7と、3Dミキサ7により生成された3Dの映像信号(又は画像信号)をそれぞれ表示する第1のモニタ8Aと、スタンドStに取り付けられた第2のモニタ8Bと、第1〜第3の術者Da〜Dcがそれぞれ第1のモニタ8A又は第2のモニタ8Bを立体観察するために用いる3Dメガネ9A,9B,9Cとを備える。
光源装置5は、白色の照明光を発生するランプ16と、照明光を集光してライトガイド13の端部に入射(供給)する集光レンズ17とを有する。ライトガイド13の端部に入射された照明光は、挿入部11内を挿通されたライトガイド13の先端側の端部に伝送し、ライトガイド13の先端面から照明光を出射し、体内の患部等の被写体を照明する。
挿入部11の先端部には、左右方向に距離dだけ離間して、被写体の光学像を結ぶための左目用対物レンズ21aと右目用対物レンズ21bとが配置され、それぞれの結像位置には左目用撮像素子としての左目用電荷結合素子(CCDと略記)22aの撮像面と、右目用撮像素子としての右目用CCD22bの撮像面とが配置されている。
CCD22aは、内視鏡4内を挿通された信号線24aを介して、その後端の信号コネクタ25aが第1のプロセッサ6Aの信号コネクタ受け26aに着脱自在に接続され、CCD22bは、内視鏡4内を挿通された信号線24bを介して、その後端の信号コネクタ25bが第2のプロセッサ6Bの信号コネクタ受け26bに着脱自在に接続される。
同様に、第2のプロセッサ6Bは、CCD22bにより生成された右目用の撮像信号から右目用の2次元(2D)の映像信号(又は画像信号)を生成する映像生成部(又は映像生成回路)27bと、映像生成部27bにより生成した右目用の2Dの映像信号を出力する映像出力インタフェース(映像出力IF)28bと、映像信号(又は画像信号)を生成する際の同期信号の通信を行う同期信号通信部(又は同期信号通信回路)29bとを有する。映像生成部27bにより生成された右目用の2Dの映像信号は、映像出力インタフェース28bを介して3Dミキサ7に出力される。
3Dミキサ7は、両映像生成部27a,27bによりそれぞれ生成された左目用の2Dの映像信号と、右目用の2Dの映像信号とが入力される映像入力インタフェース(映像入力IF)31a,31bを有し、両映像入力インタフェース31a,31bから入力された左目用の2Dの映像信号と、右目用の2Dの映像信号とから3Dの映像信号(又は画像信号)を生成する3D映像生成部(又は3D映像生成回路)32と、生成した3Dの映像信号(又は画像信号)を外部装置としての第1の3Dモニタ8Aと第2の3Dモニタ8Bとに出力する映像出力インタフェース(映像出力IF)33とを有する。
第1の3Dモニタ8Aは、3Dの映像信号が入力される映像入力インタフェース(映像入力IF)41aと、入力された3Dの映像信号(画像信号)から表示部(又は表示デバイス)43aに表示される3D観察画像(又は3D観察画像)を、奥行き量補正値等の画像パラメータに応じた画像処理を行う画像処理部(又は画像処理回路)42aと、生成された3D観察画像の画像信号を表示する液晶ディスプレイ等で構成される表示部(又は表示デバイス)43aと、画像処理部42aの画像処理パラメータの設定操作を行う操作部(操作デバイス)又は操作入力部(操作入力デバイス)44aと、画像処理部42a及び表示部43aの制御を行う制御部(又は制御回路)45aと、3Dメガネと送受信を行うRF送受信部(又はRF送受信回路)46aとを有する。
本実施形態においては、第1の3Dモニタ8Aに入力される3Dの映像信号(画像信号)をそのまま表示部43aに出力し、表示部43aには入力された3Dの映像信号の3D画像が3D観察画像(又は3D観察画像)として表示できるが、術者が望む立体感を有する3D観察画像(又は3D観察画像)を表示できるように第1の3Dモニタ8A内部の画像処理部42aは、立体感の程度を実質的に決定する奥行き情報としての奥行き量を、奥行き量補正値の画像パラメータで補正する画像処理を行う。術者は、3Dメガネを使用して表示部43aに表示される3D観察画像(又は3D観察画像)を3D画像として観察(視認)する。
また、後述するように本実施形態においては、制御部45a又は45bは、左撮像部23a及び右撮像部23bにより同一の被写体を撮像した場合に互いに共通して撮像する共通範囲と、同一の被写体における左側部分と右側部分のみをそれぞれ撮像する左側範囲及び右側範囲とからなる撮像画像において、左側範囲及び右側範囲の左右の大きさを変更した左右の2次元画像を表示部43a又は43bに交互に表示することにより、立体感を可変して付与するための奥行き情報としての奥行き量を補正する。
また、後述するように3Dメガネから奥行き量の補正値としての奥行き量補正値が制御部45aに入力されると、制御部45aは画像処理部42aに対して基準の奥行き量を奥行き量補正値により補正するように制御する。この場合、表示部43aは、基準の奥行き量から奥行き量補正値だけ補正した3D観察画像を表示する。
このように画像処理部42aは、立体感を与える(実質的に立体感を決定する)奥行き情報としての奥行き量を補正する奥行き情報補正手段としての奥行き量補正部(又は奥行き量補正回路)47aの機能を有する。また、画像処理部42aは、表示部43aで表示する3D観察画像の色調を補正する色調補正手段としての色調補正部(又は色調補正回路)48aの機能を有する。
上記画像処理部42bは、入力された3Dの映像信号における奥行き量を基準の奥行き量として、制御部45b側から入力される奥行き量の画像パラメータを用いて観察に適する奥行き量の3D画像信号を生成する。
このように画像処理部42bは、立体感を与える(実質的に立体感を決定する)奥行き情報としての奥行き量を補正する奥行き情報補正手段としての奥行き量補正部(又は奥行き量補正回路)47bの機能を有する。また、画像処理部42bは、表示部43bで表示する3D観察画像の色調を補正する色調補正手段としての色調補正部(又は色調補正回路)48bの機能を有する。
3Dメガネ9Aは、術者Daが左右の目の前に位置するようにそれぞれ配置された左右の偏光板51a,51bと、モニタ8A,又は8Bと無線で送受信を行うRF送受信部(又はRF送受信回路)53aと、術者Daが使用した場合における奥行き量補正値等を記憶する記憶部を形成するメモリ54aとを有する。なお、左右の偏光板51a,51bは、互いに直交する2つの方向に偏光した光を透過するように偏光方向が設定されている。そして、表示部43a、又は43bにおいて、交互に表示され、互いに直交する偏光方向の光を通すように設定された左右の画像を、前記左右の偏光板51a,51bにより(左の画像は偏光板51aにより、右の画像は、偏光板51bにより)それぞれ通過させて、観察することができるようにしている。
同様に、3Dメガネ9Cは、術者Dcが左右の目の前に位置するようにそれぞれ配置された左右の偏光板51a,51bと、モニタ8A,又は8Bと無線で送受信を行うRF送受信部(又はRF送受信回路)53cと、術者Dcが使用した場合における奥行き量補正値等を記憶する記憶部を形成するメモリ54cとを有する。なお、RF送受信部53a,53b,53cは、主にメモリ54a,54b,54cに格納された奥行き量補正値等の画像パラメータを3Dモニタ8A又は8Bに送信するデータ送信部の機能を持つ。
ステップS1に示すように3Dモニタ8AのRF送受信部46a(の走査部46aa)は、表示部43aを3D観察が可能となる観察範囲をカバーするように指向性を有する電波を第1の周波数faで3Dメガネを検出するための走査信号(検出用信号)として直進するように送信する。この観察範囲内に図4に示すように例えば2人の術者Da,Dcがそれぞれ3Dメガネ9A,9Cをかけていると、3Dメガネ9A,9CのRF送受信部53a,53cは、それぞれ第1の周波数faの走査信号を検出(キャッチ)する。
ステップS3に示すように3Dモニタ8AのRF送受信部46a(の走査部46aa)は、第2の周波数fbの電波の数を計数することにより、観察範囲内に存在する3Dメガネの数を検出する。RF送受信部46a(の走査部46aa)は、検出した3Dメガネの数を制御部45aに送り、制御部45aは、内部のメモリ49aに検出した3Dメガネの数の情報を格納する。
このようにしてRF送受信部46a(の走査部46aa)は、観察範囲内に存在する3Dメガネ9A,9Cの数を検出する処理を行った後、(所定の時間が経過すると)ステップS4以降のデータ読み込みの処理に移行する。
ステップS5に示すように送信されたIDが一致するIDを有する3Dメガネは、RF送受信部により、この指示信号を受信し、データ読み込みのコマンドを解読する。そして、この3Dメガネは、内部のメモリ54aに予め格納しておいた奥行き量補正値を、読み出し、第2の周波数fbで奥行き量補正値を送信する。ステップS6に示すように3Dモニタ8AのRF送受信部46aは、送信された奥行き量補正値のデータを受信し、制御部45aに送る。ステップS7に示すように制御部45aは、メモリ49aに3DメガネのIDに関連付けて、奥行き量補正値を格納する。
複数の3Dメガネを検出した場合には、IDを変えて同様の処理を繰り返し、検出された複数の3Dメガネの数だけ、制御部45aは、メモリ49aに3DメガネのIDに関連付けて、奥行き量補正値を格納する。図5の処理は、3Dモニタ8A及び8Bそれぞれにおいて行われる。
図1又は図2(A)に示すような配置状態で、術者Daが手術を行う場合、手術前に、術者Daは、3Dモニタ8Aに対して、術者Daが望む奥行き量補正値を、3Dメガネ9Aのメモリ54aに格納(記憶)するデータ書き込みの操作を行う。他の術者Db,Dcも同様である。
図6は、図1又は図2(A)の状態において、3Dモニタ8Aが実際に配置されたモニタ配置位置と、術者Daが実際に手術を行う場合の立ち位置であって、かつ3Dモニタ8Aを観察する観察位置となる部分を、(3Dモニタ8Aに対する術者Daの観察環境として)抜き出して示す。また、図7は、図6の観察環境において、3Dメガネに奥行き量補正値等のデータを書き込む処理を示す。
また、ステップS12に示すように3Dモニタ8AのRF送受信部46aは、3Dメガネ9Aを検出する。また、3Dメガネ9AからIDを送信すると共に、初期状態であるので、3Dメガネ9Aのメモリ54aには奥行き量補正値等のデータは書き込まれていないブランク状態(空状態)のデータを送信する。3Dモニタ8Aは、3Dメガネ9Aから送信されるIDを識別すると共に、データが書き込まれていないブランク状態を識別(検出)する。
なお、メニューの表示は、予め設定された所定時間(例えば5,6秒)以内に選択の操作が行われないと、図5で説明したデータ読み込みの処理が行われるようにプログラムが設定されている。従って、例えば今回、設定する奥行き量補正値等の書き込み結果を次回もそのまま使用できるような場合には、次回においては、この書き込みの処理は不要となる。
図8は基準の奥行き量と、基準の奥行き量に対して補正した場合の奥行き量補正値と、奥行き量補正値で補正した場合の3D観察画像を生成する左右の2D画像の関係の説明図を示す。
本実施形態においては、図8(A)の一部を拡大して示す図8(B)に示すように撮像面22ap,22bpは、表示部43a,43bでの3D観察画像の実際の表示エリアに利用される撮像領域(有効撮像領域という)Reと、有効撮像領域Reの両外側に設けた外側撮像領域Roと、を備えている。図8(B)は、図8(A)における撮像面22ap,22bp付近を拡大して、有効撮像領域Re,外側撮像領域Roを示す。
図8(C)は、例えば表示部43aの表示面43a′において(撮像面22apに結像された左の光学像Plに相当する)左の2D画像Ilが表示された場合と、(撮像面22bpに結像された右の光学像Prに相当する)右の2D画像Irが表示された場合とを上下に離間して示す。なお、表示部43bの表示面においても同様である。
また、2D画像Ilは、共通の画像部分Icと、左側の2D画像Ilのみに存在し、被写体の左側部分を撮像した画像部分(つまり、共通でない画像部分)Iaからなり、同様に2D画像Irは、共通の画像部分Icと、右側の2D画像Irのみに存在し、被写体の右側部分を撮像した画像部分(つまり、共通でない画像部分)Ibからなる。
このため、所定の距離dを有する両撮像部23a,23bを用いた場合において、一方の撮像部のみで撮像される光学像部分Pa,Pb(被写体の左側部分Pa,被写体の右側部分Pb)又は共通でない画像部分Ia,Ibの左右方向のサイズを変化させて3D観察画像を生成することにより、術者が観察した際に知覚する立体感の大きさを実質的に変化させることができると考えられる。
上述したように、CCD22a,22bに、有効撮像領域Reの左右方向の両外側に外側撮像領域Roを設けているので、共通でない画像部分Ia,Ibの左右方向のサイズの大きさを奥行き量補正値として変更した場合においても、外側撮像領域Roの画像を利用することにより画像の一部が欠落することなく、3D観察画像として表示するための左右の2D画像を用意できる。
図8(D)は、例えば奥行き量補正値をhとして、奥行き量補正値hが−iの場合(h(−i)と表記)、h(0)、h(+i)の3つの値の場合の3D観察画像として表示する場合の左右の2D画像の共通の画像部分Icと共通でない画像部分Ia,Ibのサイズを示す。
なお、奥行き量補正値h(0)は基準の奥行き量の場合に該当し、奥行き量補正値h(−i)は、奥行き量補正値h(0)からi段階、奥行き量を小さく補正した場合に該当し、奥行き量補正値h(+i)は、奥行き量補正値h(0)からi段階、奥行き量を大きく補正した場合に該当する。奥行き量補正値h(−i)は、奥行き量補正値h(0)と比較して、共通でない画像部分Ia,Ibの左右方向の大きさがi段階だけ小さくなっている。逆に、奥行き量補正値h(+i)は、奥行き量補正値h(0)と比較して、共通でない画像部分Ia,Ibの左右方向の大きさがi段階だけ大きくなっている。
次のステップS16において3Dモニタ8Aの制御部45aは、決定された奥行き量補正値をRF送受信部46aから3Dメガネ9Aに送信するように制御する。ステップS17に3Dメガネ9Aは、送信された奥行き量補正値を受信し、3Dメガネ9A内のメモリ54aに奥行き量補正値のデータを書き込む。奥行き量補正値のデータの書き込みが終了すると、3Dメガネ9AのRF送受信部53aは、書き込みが終了した信号を3Dモニタ8Aに送信する。
3Dモニタ8Aは、この信号を受け取ると、再びメニュー表示し、術者Daは、奥行き量補正値をメモリ54aに書き込む処理を終了する。術者Daは、さらに3D観察画像の色調を補正することを望む場合にはメニューから色調の設定(補正)を選択する。
図9Aは、図7における3Dモニタ8Aと3Dメガネ9A間において3Dメガネ9Aのメモリ54a内の奥行き量補正値等のデータがブランクの場合において、データの書き込みを行う処理シーケンスを示す。図9Aにおける縦軸は時間の経過を示す。3Dモニタ8Aは、3Dメガネ9Aに対して3Dメガネ9Aを起動させる起動リクエストをRF送受信部46aから電波で送信する。3Dメガネ9Aは、この電波を受信し、起動する(処理SP1)。起動後、3Dメガネ9Aは起動した旨の信号を3Dモニタ8Aに返信する。
3Dモニタ8Aは、転送された(ブランク)データを読み取り(処理SP2)、メモリ54aはデータが書き込まれていないブランク状態であることを把握する。なお、(ブランク)データの読取の際等において、3Dモニタ8Aは、3Dメガネ9Aの識別情報としてのIDを識別する。
続いて3Dモニタ8Aは、メニューを表示する(処理SP3)。術者は、メニュー表示の際に、操作部44aを操作して奥行き量補正の選択(奥行き量を補正する選択)を行う(処理SP4)。
3Dメガネ9Aは、転送された奥行き量補正値をメモリ54aに書き込む(格納する)(処理SP7)。この書き込みを行った後、3Dメガネ9Aは、書き込み完了したことを3Dモニタ8Aに通知する。この通知を受けて3Dモニタ8Aは、3Dメガネ9Aに対して、シャットダウンをリクエストするシャットダウンリクエストを送信する。3Dメガネ9Aはシャットダウンして、図9の処理は終了する。このようにして、術者Daは、3Dメガネ9Aのメモリ54aに術者Daが望む奥行き量補正値を書き込むことができる。なお、上述したように、3Dメガネ9Aのメモリ54aに更に色調補正値を書き込むこともできる。以上の説明は、図1又は図2(A)における術者Daが3Dモニタ8Aを観察する場合において奥行き量補正値を書き込む動作の説明である。
図9Bにおける起動リクエストから格納データの転送までは図9Aと同じであるため、その説明を省略する。3Dモニタ8Aは、データの転送を受けて、転送されたデータがブランクでないため、データ読取を開始する(処理SP11)。そして、3Dモニタ8Aは、3Dメガネ9AのIDを識別する(処理SP12)。また、3Dモニタ8Aは、3Dメガネ9Aのデータの読込を行う(処理SP13)。そして、3Dモニタ8Aは、3Dメガネ9Aのデータの読取を完了する(処理SP14)。データの読取が完了した後、3Dモニタ8Aは、3Dメガネ9Aにシャットダウンリクエストを送り、3Dメガネ9Aは電波発信を終了し、また3Dモニタ8Aはデータ読取の処理を終了して図9Bの処理を終了する。
これに対して、3Dモニタ8Aが複数の3Dメガネを検出した場合には、図9Bの処理シーケンスで取得した各3Dメガネのデータを例えば制御部45a内のメモリ49aに一時的に格納し、後述する術者優先度(優先度、優先順位とも言う)を考慮して優先度の高い術者がかける3Dメガネから読み取ったデータに対応した画像処理を行う設定状態となる(後述する図11参照)。
図2(B)に示すように術者Daが手術中において、手術する位置を変更し、この変更に伴って観察する3Dモニタを変更する場合には、術者Daは、図2(B)の位置において、3Dモニタ8Bを観察する状態に対して、図7の処理を行う。
さらに、手術中において、1つの3Dモニタ8A又は8Bを1人の術者Da以外の術者、つまり複数の術者が同時に観察する状況が発生する場合には、複数の術者それぞれがかける(使用する)3Dメガネ内のメモリに、同じ3Dモニタを同時に観察する場合において、いずれの術者のものを優先して3Dモニタの設定を行うかの優先順位の情報又は優先度の情報を格納すると良い。後述するように、このような場合には、3Dモニタは、優先度又は優先順位が最も高い術者がかける3Dメガネのデータを優先した3D観察画像の表示を行う状態に設定される。
このようにして3Dメガネ9J(j=A、B,C)には、例えば図10に示すようなデータがIDに関連付けて格納される。図10は、例えば術者Dbの場合のデータである。3DメガネのIDに関連付けて、その3Dメガネをかけて観察する3Dモニタ(図1の場合には8A,8B)のモニタサイズ、術者優先度、奥行き量補正値、色調補正値、カラーモードの有無の設定のデータが書き込まれる。なお、識別情報としてのIDは、奥行き量補正値等のデータが書き込まれていないブランク状態の場合においても、予め各3Dメガネ(のROMメモリ等)に書き込まれて、各3Dメガネに付与されている。
術者優先度はA,B,C,D,…の順序の優先度となり、色調補正値は、標準の設定値の色相、彩度、明度から補正する値を示し、補正の設定がされない場合には−、カラーモードの設定の場合には○、モノクロモードの設定の場合には×となる。図10における色調補正値の設定例では、色相、明度は標準の設定値からの補正の設定がされないで、彩度のみが若干大きくなるように設定された場合を示す。
本実施形態においては、それぞれIDが付与された各3Dメガネ側のメモリに、当該3Dメガネを使用する術者が望む奥行き量補正値等の画像パラメータを(IDに関連付けて)格納(して保存)するようにしているので、表示装置としての3Dモニタ側での(IDに関連付けて)奥行き量補正値等の画像パラメータを保存する必要がなく、データ管理が殆ど不要、又は容易となり、簡単な構成で表示装置としての3Dモニタは術者が望む奥行き量補正値等の画像パラメータで3D観察画像を表示できるようにしている。
なお、このように3Dモニタ側での奥行き量補正値等の画像パラメータを保存する必要はないが、次回に3Dモニタが使用されるまでは、当該画像パラメータを保存するようにしても良い(換言すると、1回の内視鏡検査終了時に、当該画像パラメータを消去することは必要でない)し、1回の内視鏡検査毎にリセットするようにしても良い。
図11は、3次元画像システム1を構成する3Dモニタ8A又は8Bが、RF送受信部46aまたは46bから3Dモニタ8A又は8Bを観察する観察者としての術者がかける3Dメガネ9A,9B,9Cを定期的に走査し、走査結果に応じて3Dモニタ8A又は8Bで表示する際の奥行き量補正値等を自動的に変更し、手術中において術者が手術する場合の位置を変更した場合にも、スムーズに手術を進められるように支援する。
また、3Dモニタ8AのRF送受信部46a又は3Dモニタ8BのRF送受信部46bは、3Dメガネ9Jの検出後、さらに所定時間(例えばY秒間)、更に3Dメガネ検出の走査を継続する(ステップS33)。その後、ステップS34においてステップS33の走査結果の判定を行う。
ステップS34の判定結果として、更なる3Dメガネ9Kを検出しない場合には、ステップS35においてステップS32において検出した3Dメガネ9Jに対する識別処理を例えばX秒間行う。この識別処理として3Dメガネ9Jと通信を行う通信状態(リンク状態と記す)に設定して、3Dメガネ9JのIDを識別する。ステップS35の識別処理の後のステップS36において3Dモニタ8A又は8Bは、識別処理が正常に完了できたか否かの判定を行う。
また、ステップS34の処理において(3Dメガネ9J以外の)更なる3Dメガネを検出した場合には、ステップS38の3Dメガネ9K検出の処理となる。ステップS38に示すように3Dメガネ9Kが検出されると、次のステップS39において3Dモニタ8A又は8Bは、3Dメガネ9J、9Kに対する識別処理を例えばX秒間、又はX秒間の2倍行う。
この識別処理として3Dモニタ8A又は8Bは、3Dメガネ9Jと9Kそれぞれと通信を行うリンク状態に設定して、それぞれのIDを識別する処理を行う。ステップS39の識別処理の後のステップS40において3Dモニタ8A又は8Bは、識別処理が正常に完了できたか否かの判定を行う。
ステップS42の優先度判定の処理により、図1又は図2(A)の組み合わせの場合においては、3Dモニタ8Aは、術者Daがかける3Dメガネ9Aの優先度Aが術者Dcがかける3Dメガネ9Cの優先度Cよりも優先度が高いと判定(認識)する。そして、ステップS43において3Dモニタ8Aは、優先度Aの設定を選択する。換言すると優先度が高く設定されている奥行き量補正値等の画像パラメータのデータを、優先度B,C等のデータよりも優先して選択して、3D観察画像の設定を行うように選択する。なお、図2(A),図2(B)には図示していないが、例えば3Dモニタ8Aが、術者Daがかける3Dメガネ9Aと術者Dbがかける3Dメガネ9Bとの組み合わせを検出した場合には、ステップS43において3Dモニタ8Aは、優先度Aの設定を選択する。
ステップS43又はステップS44の処理を行った後、ステップS45のモニタサイズ等のデータ取得の処理を行う。図12おいてモニタサイズ等のデータ取得の処理の詳細を説明する。
図12に示すようにモニタサイズ等のデータ取得の処理が開始すると、テップS61において3Dモニタ8A又は8Bは、検出した3Dメガネ9Jの場合、又は9J,9Kの場合において、内蔵したメモリから読み出したデータにおけるモニタサイズの判定処理を行う。図12に示す例では、図10のモニタサイズの場合に対応して、3Dモニタ8A又は8Bは、ステップS62,S63,S64に示すように19インチ、26インチ、32インチの3つのモニタサイズの場合を判定する。
ステップS46において3Dモニタ8A又は8B(の制御部45a又は45b)は、3Dメガネから取得した奥行き量補正値、色調補正値、カラーモードのデータに対応して、設定対象の3Dモニタ8A又は8Bにおける画像処理部42a又は42bによる画像処理を制御する。例えば奥行き量補正部47a又は47bは、奥行き量補正値に応じた奥行き量補正を行い、色調補正部48a又は48bは、色調調整値に応じた色調補正を行う。そして、次のステップS47に示すように3Dモニタ8A又は8Bは、奥行き量補正、色調補正等が完了し、ステップS48に示すように完了した状態の設定状態で3Dモニタ8A又は8Bは、それぞれ3D観察画像を表示する。
次のステップS49において3Dモニタ8A又は8Bは、ステップS31の処理を開始した時間から所定の時間が経過するまで待つ。所定の時間が経過した場合には、次のステップS50において3Dモニタ8A又は8Bは、ステップS31の場合と同様に3Dメガネ検出用の電波を観察範囲をカバーするように走査し、3Dメガネを検出する。この走査により、ステップS51に示すように3Dモニタ8A又は8Bは、3Dメガネ9J′を検出する。
識別処理を行った後、ステップS55において3Dモニタ8A又は8Bは、以前に検出及び識別した3Dメガネ9Jと今回検出及び識別した3Dメガネ9J′とが同じ3Dメガネであるか否かの判定をIDにより行う。3Dメガネ9Jと9J′とが同じ3Dメガネで無い判定結果(両IDが一致しない判定結果)の場合には、最初のステップS31の処理に戻る。そして、3Dメガネ9J′に対して、(上述した3Dメガネ9Jの場合とほぼ同様の)処理が行われる。1つの3Dメガネ9J′が検出された場合には、この3Dメガネ9J′の記憶部(メモリ)に記憶された奥行き情報補正値等により、観察対象の3Dモニタの3D観察画像が補正される。換言すると、同じ3Dモニタを観察する観察者が時間的に変化した場合(1名の第1の観察者から1名の第2の観察者に入れ替わる場合)、時間的に後の観察者がかける3Dメガネの記憶部に記憶された奥行き情報補正値等により観察対象の当該3Dモニタの3D観察画像を補正する処理が行われる。なお、観察対象のモニタを複数の観察者が存在するような場合には、優先度を考慮して優先度が高い観察者がかける3Dメガネの記憶部に記憶された奥行き情報補正値等により観察対象の3Dモニタの3D観察画像を補正するようにすれば良い。
ステップS53において3Dメガネ検出有りの判定結果の場合には、ステップS56に示すように3Dモニタ8A又は8Bは、3Dメガネ9J′とは異なる3Dメガネ9K′を検出する。次のステップS57において3Dモニタ8A又は8Bは、ステップS39の場合と同様に、3Dメガネ9J′、9K′それぞれに対する識別処理を行う。
一方、3Dメガネ9Jと9J′、9Kと9K′とがそれぞれ同じ3Dメガネである判定結果の場合には、ステップS59において3Dモニタ8A又は8Bは、それぞれのデータ設定を保持する。
次のステップS60において3Dモニタ8A又は8Bは、ステップS49の処理の時間から所定の時間経過するのを待つ。そして、所定の時間経過した場合には、最初のステップS31に戻り、再び同様の処理を繰り返す。
また、本実施形態においては、観察者となる術者が手術の進行等により最初に第1の3Dモニタを観察していた位置が変化し、第1の3Dモニタとは異なる第2の3Dモニタを観察する位置になるような場合においても、適切に対応できる。
また、複数の術者が1つの3Dモニタを同時に観察するような場合においては、優先度を検出し、優先度が高い術者がかける3Dメガネから取得した奥行き量補正値等の画像パラメータで3D観察画像を表示するようにしているので、複数の術者が3Dモニタを同時に観察するような場合にも適切に対応できる。また、図11のように処理した場合、1回の検査又は手技中において、同一のモニタを観察する観察者(の3Dメガネ)が変化した場合にも、その変化に対応してモニタの奥行き量等を適切に再設定できるので、検査又は手技を円滑に行うことができる。
また、術者は、次回、今回と同じ環境で内視鏡検査を行う場合には、当該術者が使用する3Dメガネの記憶部としてのメモリのデータをそのまま使用できる。換言すると、IDが付与された3Dメガネ毎に当該3Dメガネの記憶部のデータを管理するため、データの管理が容易であり、かつ当該3Dメガネを使用する術者が望むようにデータを管理できる。
(a)第1のモニタ8Aを第1の術者Daと第3の術者Dcが観察し、第2のモニタ8Bを第2の術者Dbが観察する場合に該当し、図2(B)においては、
(b)第1のモニタ8Aを第2の術者Dbと第3の術者Dcが観察し、第2のモニタ8Bを第1の術者Daが観察する場合に該当する。上記(a),(b)の場合には、適切に対応できることを説明した。また、
(c)第1のモニタ8Aを第1の術者Daが観察し、第2のモニタ8Bを第2の術者Db(優先度B)と第3の術者Dc(優先度C)が観察する場合は、図11のステップS44の優先度Bの選択により適切に対応できる。この他に、
(d)第1のモニタ8Aを第1の術者Daと第2の術者Dbが観察し、第2のモニタ8Bを第3の術者Dcが観察する場合、
(e)第1のモニタ8Aを第2の術者Dbが観察し、第2のモニタ8Bを第1の術者Daと第3の術者Dcが観察する場合、
(f)第1のモニタ8Aを第3の術者Dcが観察し、第2のモニタ8Bを第1の術者Daと第2の術者Dbが観察する場合、
の配置があり得る。このような場合においても、優先度を考慮することにより、図11の処理で殆ど同様に適切に対応できる。
また、3人以外の術者の場合においても、優先度を考慮することにより、同様に適切に対応できる。例えば、図11においては、1つのモニタにおいて、当該モニタを2人までの観察者がそれぞれ3Dメガネをかけて観察する場合の処理を示しているが、3人以上の観察者がそれぞれ3Dメガネをかけて観察する場合に適用しても良い。例えば、メガネ検出の処理を、互いに異なる3Dメガネが検出されなくなるまで行うようにすれば良い。
例えば図6における3Dモニタ8Aにおいて、RF送受信部46aの他に例えば点線で示すRF送受信部46aを設け、2つのRF送受信部46a,46aにより観察者としての術者Daがかける3Dメガネ9Aを検出すると共に、三角測量の原理を用いて3Dモニタ8Aと術者Da(又は術者Daがかける3Dメガネ9A)までの距離Laを検出(算出)するようにしても良い。また、術者Daが距離Laを変えて同じ3Dモニタ8Aを観察する場合には、距離Laを変えた複数の距離(観察距離とも言う)の状態で奥行き量補正値もそれぞれ設定し、当該3Dメガネ9Aのメモリ54aには、距離に応じて奥行き量補正値もそれぞれ格納するようにしても良い。ここでは3Dモニタ8Aと術者Daの場合で説明したが、少なくとも1回の内視鏡検査または手技の期間において、各3Dモニタ8A,8Bを1人で観察する場合や、複数で同時に観察する場合には優先度が高い術者が観察する場合の3Dメガネのメモリに対して同様に距離のデータと共に、奥行き量補正値を含むデータを格納する。
このように設定した場合、図11に対応する動作は図13Aに示すような処理となる。図13Aは、図11において、各3Dメガネのメモリには、さらに距離Lのデータが格納された場合の処理に対応し、その他は、図11の場合と同様の処理となる。例えば図11のステップS47に対応する図13AのステップS47′は3Dメガネ9Jが検出(算出)された距離Lに対応した奥行き量補正の処理を完了し、また色調補正の処理を完了する。また、ステップS48では距離Lに対応した奥行き補正量での3D観察画像の表示となる。
また、ステップS58の判定処理において3Dメガネ9J、9Kと、メガネ9J′、9K′とがそれぞれ同一と判定された場合には、次のステップS58aにおいて3Dメガネ9J、9Kをそれぞれ検出した場合の距離と3Dメガネ9J′、9K′をそれぞれ検出した場合の距離とが実質的に同一か(距離が変化したか)否かの判定を行う。そして、両距離が実質的に同一と判定した場合には、ステップS59に移り、これに対して両距離が実質的に異なると判定した場合には、ステップS31の処理に戻る。ステップS31に戻った場合の処理により、3Dモニタ8A又は8Bは、時間的に後で検出(算出)した距離(換言すると変化後の距離)での奥行き量補正値等の画像パラメータのデータを読み込み、当該画像パラメータを反映した3D観察画像を表示する状態となる。その他の処理は、図11の場合と同様の処理となる。
距離が異なる場合、つまり複数の各距離に対応した奥行き量補正値のデータを制御部45a又は45b内のメモリ49a又は49bに一時的(例えば1回の内視鏡検査の期間)に格納し、例えばステップS55aにおいて距離が同一でない(つまり距離が変化した)と判定した場合、制御部45a又は45bは、変化した距離に対応した奥行き量補正値のデータを制御部45a又は45b内のメモリ49a又は49bから読みだし、画像処理部43a又は43bにより奥行き量補正の処理を行わせ、表示部43a又は43bが変化した距離に対応した奥行き量補正値を反映した3D観察画像を表示するようにしても良い。
ところで、3次元画像システムにおいて、3Dモニタと、この3Dモニタを観察する術者との距離は、手術の間に変化する場合がある。術者と3Dモニタとの距離が変化すると、3Dモニタに3D観察画像が表示される場合の奥行き感(又は立体感)が実際の奥行き感(又は立体感)と異なり、術者等の観察者は違和感を覚えたり、目が疲れ易くなる場合がある。このため、以下の図13Bに示すように3Dモニタと術者等の観察者との距離を計測する距離計測手段を設けた構成にし、計測した距離に応じて3Dモニタで3D観察画像を表示する際の奥行き感(又は立体感)を調整するようにしても良い。
図13Bの3次元画像システム1Bは、第1の実施形態の3次元画像システム1とは、第1のモニタ8A′、第2のモニタ8B′、第1の術者Daがかける第1の3Dメガネ9A′、第2の術者がかける第2の3Dメガネ9B′の構成が異なる。第1の3Dメガネ9A′及び第2の3Dメガネ9B′は、3Dメガネ9A,9Bにおいて、メモリ54a,54bを有しない構成である。
3Dモニタ8A′は、図3の映像入力IF41aを構成する映像入力端子71aに入力された3Dの映像信号は奥行き量調整部(奥行き量調整回路)又は3D深度調整部(3D深度調整回路)72aにより、後述する距離に応じて奥行き量(又は3D深度)が調整された後、表示部を構成する液晶パネル73aに入力される。
距離計測部75aは、計測した距離を奥行き量切替部(又は3D深度切替部)76aに出力し、奥行き量(3D深度)切替部76aは、距離計測部75aで計測された距離に応じて、奥行き量調整部72aの奥行き量(3D深度)を切り替える。又は、奥行き量調整部72aは、距離計測部75aで計測された距離に応じて、奥行き量(3D深度)切替部76aにより切り替えられる奥行き量(3D深度)を用いて液晶パネル73aで表示する3D画像の奥行き量(3D深度)を調整する。
また、3Dモニタ8B′は、第2の術者Dbがかける第2の3Dメガネ9B′を検出する(図3におけるRF送受信部46bなどにより構成される)メガネ検出部74bを有し、メガネ検出部74bの検出信号は距離計測部75ab入力される。距離計測部75bは、3Dモニタ8B′から第2の術者Dbがかける第2の3Dメガネ9B′までの距離を計測する。
距離計測部75bは、計測した距離を奥行き量切替部(奥行き量切替回路)又は3D深度切替部(3D深度切替回路)76bに出力し、奥行き量(3D深度)切替部76bは、距離計測部75bで計測された距離に応じて、奥行き量(3D深度)調整部72bの奥行き量(3D深度)を切り替える。又は、奥行き量調整部72bは、距離計測部75bで計測された距離に応じて、奥行き量(3D深度)切替部76bにより切り替えられる奥行き量(3D深度)を用いて液晶パネル73bで表示する3D画像の奥行き量(3D深度)を調整する。
ステップS73に示すように距離計測部75a、75bは、それぞれ3Dモニタ8A′、8B′から3Dメガネ9A、9B′までの距離を計測し、計測した距離を奥行き量(3D深さ)切替部76a,76bを介して奥行き量(3D深度)調整部72a、72bに出力する。
そして、ステップS74示すように奥行き量(3D深度)調整部72a、72bは、計測された距離が適切か否かを判定し、距離が適切な場合よりも近いと判定された場合にはステップS75示すように奥行き量(3D深度)を大(又は深め)に調整した後、ステップS71の処理に戻る。
また、計測された距離が適切な場合には、奥行き量(3D深度)の変更(調整)を行うことなく、ステップS71の処理に戻る。
このようにして術者がモニタを観察する距離が変化した場合においても、変化した距離に適した奥行き量(3D深度)で3D観察画像を表示できる。
なお上述した実施形態等において、部分的に異なる構成を組み合わせて構成される実施形態も本発明に属する。また、当初の請求項に記載された請求項の内容が、当初の明細書に記載された内容と一意に一致しない場合には、当初の明細書の記載内容を当初の請求項に記載された内容に補正しても良い。
また、上述した実施形態においては、3Dメガネ9A,9Bとして偏光方式のもので説明したが、シャッタ方式のものを採用しても良い。この場合には、偏光板51a、51bの代わりに、右目用及び左目用の液晶シャッタを用い、且つ右目用及び左目用の液晶シャッタを交互に透過状態及び遮光状態に切り替える駆動回路を設けたものを採用しても良い。
Claims (11)
- 画像信号を3次元観察用画像として表示するモニタと、
前記モニタの表示部に表示される前記3次元観察用画像を3次元画像として観察するための3次元観察用メガネと、
前記3次元観察用メガネに設けられ、前記表示部に表示される3次元観察用画像の立体感を与える3次元観察用画像パラメータを補正する3次元観察用画像パラメータ補正値を記憶する記憶部と、
前記記憶部に記憶されている情報を読み取るために当該記憶部を備えた前記3次元観察用メガネを走査する走査部と、
前記走査部の走査結果に応じて前記モニタに対して、前記記憶部に記憶された前記3次元観察用画像パラメータ補正値を設定するように制御する制御部と、
を備え、
前記モニタは、互いに異なる位置に配置され、前記表示部を構成する第1及び第2の表示部と、前記制御部を構成する第1及び第2の制御部とをそれぞれ有する第1及び第2のモニタを有し、
前記3次元観察用メガネに設けられた前記記憶部は、第1の観察者が該3次元観察用メガネをかけて前記第1及び第2の表示部をそれぞれ観察する場合に使用される前記3次元観察用画像パラメータ補正値としての第1及び第2の3次元観察用画像パラメータ補正値を記憶し、
前記第1及び第2の制御部は、前記第1及び第2の表示部にそれぞれ表示される前記3次元観察用画像としての第1及び第2の3次元観察用画像における前記3次元観察用画像パラメータとしての第1及び第2の3次元観察用画像パラメータを、それぞれ前記第1及び第2の3次元観察用画像パラメータ補正値に応じて補正するように制御することを特徴とする3次元画像システム。 - 前記3次元観察用メガネは、第1の3次元観察用メガネと、第2の3次元観察用メガネとを有し、
前記第1の3次元観察用メガネは、前記第1の観察者が該第1の3次元観察用メガネをかけて前記第1の表示部及び前記第2の表示部をそれぞれ観察する場合に使用される前記第1の3次元観察用画像パラメータ補正値と、前記第2の3次元観察用画像パラメータ補正値とを記憶する前記記憶部を構成する第1の記憶部を有し、
前記第2の3次元観察用メガネは、第2の観察者が該第2の3次元観察用メガネをかけて前記第1の表示部及び前記第2の表示部をそれぞれ観察する場合に使用される前記3次元観察用画像パラメータ補正値としての第3の3次元観察用画像パラメータ補正値と、第4の3次元観察用画像パラメータ補正値とを記憶する前記記憶部を構成する第2の記憶部を有し、
前記第1の制御部は、前記第1の表示部に表示される前記3次元観察用画像としての第1の3次元観察用画像における前記第1の3次元観察用画像パラメータを、前記第1の3次元観察用画像パラメータ補正値と前記第3の3次元観察用画像パラメータ補正値とにおける優先順位が高く設定された方で補正し、
前記第2の制御部は、前記第2の表示部に表示される前記3次元観察用画像としての第2の3次元観察用画像における前記第2の3次元観察用画像パラメータを、前記第2の3次元観察用画像パラメータ補正値と前記第4の3次元観察用画像パラメータ補正値とにおける優先順位が高く設定された方で補正するように制御することを特徴とする請求項1に記載の3次元画像システム。 - 前記第1の記憶部と前記第2の記憶部は、前記第1の観察者と前記第2の観察者とが同時に、前記第1の表示部又は前記第2の表示部を観察する場合に対して、前記優先順位を決める情報を記憶することを特徴とする請求項2に記載の3次元画像システム。
- 前記第1の記憶部は、前記第1の観察者により観察される前記第1表示部及び前記第2表示部における3次元観察用画像の表示色の色調情報をそれぞれ記憶可能とし、
前記第2の記憶部は、前記第2の観察者により観察される前記第1表示部及び前記第2表示部における3次元観察用画像の表示色の色調情報を記憶可能とすることを特徴とする請求項3に記載の3次元画像システム。 - 前記第1の記憶部は、前記第1の観察者が観察する場合における前記第1表示部の第1の表示エリアのサイズ及び前記第2表示部の第2の表示エリアのサイズにそれぞれ対応した前記第1及び第2の3次元観察用画像パラメータ補正値を記憶し、
前記第2の記憶部は、前記第2の観察者が観察する場合における前記第1表示部の第1の表示エリアのサイズ及び前記第2表示部の第2の表示エリアのサイズにそれぞれ対応した前記第3及び第4の3次元観察用画像パラメータ補正値を記憶することを特徴とする請求項3に記載の3次元画像システム。 - 前記制御部は、前記記憶部に記憶された前記第1又は第2の3次元観察用画像パラメータ補正値により、前記第1又は第2のモニタの前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正した後、前記走査部が前記記憶部を備える前記3次元観察用メガネを検出する走査を定期的に行うように制御することを特徴とする請求項1に記載の3次元画像システム。
- 前記制御部は、前記走査部の定期的な走査により、前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正した後に、新たに3次元観察用メガネが検出された場合、当該3次元観察用メガネが前記第1又は第2の3次元観察用画像の補正に使用した前記3次元観察用メガネと同一であるか否かを識別し、同一でない場合には時間的に後で検出された3次元観察用メガネの記憶部に記憶された第1又は第2の3次元観察用画像パラメータ補正値により、前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正するように制御することを特徴とする請求項6に記載の3次元画像システム。
- 前記制御部は、前記走査部の定期的な走査により、前記第1又は第2モニタにおける前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正した後に、新たに3次元観察用メガネが検出された場合、当該3次元観察用メガネが前記第1又は第2の3次元観察用画像の補正に使用した前記3次元観察用メガネと同一であるか否かを識別し、同一でない場合には時間的に後で検出された3次元観察用メガネの記憶部に記憶された第1又は第2の3次元観察用画像パラメータ補正値により、前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正するように制御し、同一であると識別した場合には、さらに前記第1又は第2のモニタを観察する距離が変化したか否かを判定し、前記第1又は第2のモニタを観察する距離が変化した場合には変化後の距離に対応した第1又は第2の3次元観察用画像パラメータ補正値で前記第1又は第2のモニタの前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正するように制御することを特徴とする請求項6に記載の3次元画像システム。
- 更に、同一の被写体の光学像を左右に離間して撮像する左撮像部及び右撮像部を備えた立体内視鏡を有し、
3次元観察するための3次元画像の画像信号を生成するための画像生成装置は、前記左撮像部及び前記右撮像部により前記同一の被写体を撮像した場合に互いに共通して撮像する共通範囲と、前記同一の被写体における共通しない左側部分と右側部分のみをそれぞれ撮像する左側範囲及び右側範囲とからなる左右の2次元撮像画像を前記第1又は第2の表示部に交互に表示するための画像処理により前記第1又は第2の3次元画像の画像信号を生成し、
前記制御部は、前記左撮像部及び前記右撮像部における前記左側範囲及び前記右側範囲における左右方向の大きさを前記第1又は第2の3次元観察用画像パラメータ補正値に応じて補正するように制御することを特徴とする請求項1に記載の3次元画像システム。 - 前記記憶部は、当該記憶部を備えた前記3次元観察用メガネをかけて前記第1の観察者が前記第1又は第2のモニタを観察する距離を変える場合には、互いに異なる複数の各距離に応じて互いに異なる複数の3次元観察用画像パラメータ補正値を、各距離に対応付けて前記3次元観察用画像パラメータ補正値として記憶し、
前記制御部は、1回の内視鏡検査が開始から終了するまでの期間、当該制御部内に設けたメモリに、前記記憶部に記憶された前記複数の距離に応じて互いに異なる複数の第1又は第2の3次元観察用画像パラメータ補正値を一時的に格納し、前記期間中における前記走査部の定期的な走査により、前記第1又は第2のモニタを観察する前記距離が変化した場合には前記メモリに一時的に格納した、変化後の距離に対応した第1又は第2の3次元観察用画像パラメータ補正値で前記第1又は第2のモニタの前記第1又は第2の表示部に表示される前記第1又は第2の3次元観察用画像における前記第1又は第2の3次元観察用画像パラメータを補正するように制御することを特徴とする請求項8に記載の3次元画像システム。 - 前記第1及び第2の3次元観察用画像パラメータは、前記第1及び第2の3次元観察用画像におけるそれぞれの立体感を与える第1及び第2の奥行き情報であることを特徴とする請求項1に記載の3次元画像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015515342A JP5869184B2 (ja) | 2013-10-02 | 2014-09-22 | 3次元画像システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013207455 | 2013-10-02 | ||
JP2013207455 | 2013-10-02 | ||
JP2015515342A JP5869184B2 (ja) | 2013-10-02 | 2014-09-22 | 3次元画像システム |
PCT/JP2014/075100 WO2015050016A1 (ja) | 2013-10-02 | 2014-09-22 | 3次元画像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5869184B2 true JP5869184B2 (ja) | 2016-02-24 |
JPWO2015050016A1 JPWO2015050016A1 (ja) | 2017-03-09 |
Family
ID=52778607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015515342A Expired - Fee Related JP5869184B2 (ja) | 2013-10-02 | 2014-09-22 | 3次元画像システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9782057B2 (ja) |
EP (1) | EP3043559A4 (ja) |
JP (1) | JP5869184B2 (ja) |
CN (1) | CN105594205B (ja) |
WO (1) | WO2015050016A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11509885B2 (en) | 2018-05-22 | 2022-11-22 | Eizo Corporation | Stereoscopic image display device, stereoscopic image display method, and program |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6535020B2 (ja) * | 2014-03-02 | 2019-06-26 | ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド | 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム |
WO2017022303A1 (ja) * | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN106999024B (zh) * | 2015-09-01 | 2018-09-28 | 奥林巴斯株式会社 | 摄像*** |
CN106921857A (zh) * | 2015-12-25 | 2017-07-04 | 珠海明医医疗科技有限公司 | 立体显示***及立体显示方法 |
KR101770282B1 (ko) * | 2016-04-26 | 2017-08-23 | 서울대학교병원 | 실시간 입체시를 위한 x선 투시 장치 |
RU2681363C1 (ru) * | 2018-04-23 | 2019-03-06 | Василий Александрович ЕЖОВ | Способ стереоскопического отображения с воспроизведением пар полноэкранных ракурсных изображений и устройство для его осуществления |
JP2020149672A (ja) * | 2019-03-11 | 2020-09-17 | 株式会社ミツトヨ | 測定結果表示装置及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01158377A (ja) * | 1987-12-16 | 1989-06-21 | New Japan Radio Co Ltd | ビデオカメラの被写体自動追尾装置 |
JPH07265264A (ja) * | 1994-04-01 | 1995-10-17 | Olympus Optical Co Ltd | 画像処理装置 |
JPH11164329A (ja) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2011188118A (ja) * | 2010-03-05 | 2011-09-22 | Toshiba Corp | 表示装置、システム、及びメガネに関する |
JP2012195923A (ja) * | 2011-03-17 | 2012-10-11 | Panasonic Corp | 映像表示装置、映像視聴用眼鏡、及び、映像視聴システム |
JP2013055383A (ja) * | 2011-09-01 | 2013-03-21 | Panasonic Corp | 立体視映像のための画像表示システム及び3次元表示装置 |
JP2013192168A (ja) * | 2012-03-15 | 2013-09-26 | Sharp Corp | 立体映像表示装置及び立体映像を表示する方法、並びにプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5751341A (en) * | 1993-01-05 | 1998-05-12 | Vista Medical Technologies, Inc. | Stereoscopic endoscope system |
EP0655710B1 (en) | 1993-11-29 | 2000-10-04 | Olympus Optical Co., Ltd. | Image rotating and superimposing apparatus |
RU2322771C2 (ru) * | 2005-04-25 | 2008-04-20 | Святослав Иванович АРСЕНИЧ | Стереопроекционная система |
JP2008237749A (ja) * | 2007-03-28 | 2008-10-09 | Olympus Medical Systems Corp | 立体観察システム |
JP5387377B2 (ja) * | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011164329A (ja) * | 2010-02-09 | 2011-08-25 | Sony Corp | 電気光学表示パネル |
US9001196B2 (en) * | 2010-10-05 | 2015-04-07 | Echostar Technologies L.L.C. | Apparatus, systems and methods for synchronization of 3-D shutter glasses to one of a plurality of presentation devices |
JP5306544B2 (ja) * | 2010-11-05 | 2013-10-02 | 富士フイルム株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
US20120169852A1 (en) * | 2011-01-04 | 2012-07-05 | Samsung Electronics Co., Ltd. | Display apparatus and system |
JP2013128181A (ja) * | 2011-12-16 | 2013-06-27 | Fujitsu Ltd | 表示装置、表示方法および表示プログラム |
-
2014
- 2014-09-22 JP JP2015515342A patent/JP5869184B2/ja not_active Expired - Fee Related
- 2014-09-22 WO PCT/JP2014/075100 patent/WO2015050016A1/ja active Application Filing
- 2014-09-22 EP EP14851044.9A patent/EP3043559A4/en not_active Withdrawn
- 2014-09-22 CN CN201480053325.4A patent/CN105594205B/zh active Active
-
2016
- 2016-03-21 US US15/076,222 patent/US9782057B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01158377A (ja) * | 1987-12-16 | 1989-06-21 | New Japan Radio Co Ltd | ビデオカメラの被写体自動追尾装置 |
JPH07265264A (ja) * | 1994-04-01 | 1995-10-17 | Olympus Optical Co Ltd | 画像処理装置 |
JPH11164329A (ja) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2011188118A (ja) * | 2010-03-05 | 2011-09-22 | Toshiba Corp | 表示装置、システム、及びメガネに関する |
JP2012195923A (ja) * | 2011-03-17 | 2012-10-11 | Panasonic Corp | 映像表示装置、映像視聴用眼鏡、及び、映像視聴システム |
JP2013055383A (ja) * | 2011-09-01 | 2013-03-21 | Panasonic Corp | 立体視映像のための画像表示システム及び3次元表示装置 |
JP2013192168A (ja) * | 2012-03-15 | 2013-09-26 | Sharp Corp | 立体映像表示装置及び立体映像を表示する方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11509885B2 (en) | 2018-05-22 | 2022-11-22 | Eizo Corporation | Stereoscopic image display device, stereoscopic image display method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20160205387A1 (en) | 2016-07-14 |
EP3043559A4 (en) | 2017-06-28 |
CN105594205A (zh) | 2016-05-18 |
EP3043559A1 (en) | 2016-07-13 |
CN105594205B (zh) | 2017-09-26 |
US9782057B2 (en) | 2017-10-10 |
WO2015050016A1 (ja) | 2015-04-09 |
JPWO2015050016A1 (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5869184B2 (ja) | 3次元画像システム | |
US9225895B2 (en) | Automatic focusing method and apparatus for same | |
CN110832842B (zh) | 成像装置和图像产生方法 | |
JP2022087198A (ja) | データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法 | |
US11467392B2 (en) | Endoscope processor, display setting method, computer-readable recording medium, and endoscope system | |
TWI480017B (zh) | 立體影像內視鏡、包含其之系統、及醫學立體影像之顯示方法 | |
KR20190109406A (ko) | 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램 | |
JPWO2018221041A1 (ja) | 医療用観察システム及び医療用観察装置 | |
US11729519B2 (en) | Video signal processing apparatus, video signal processing method, and image-capturing apparatus | |
WO2018047542A2 (en) | Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method | |
WO2015056701A1 (ja) | 画像出力装置 | |
JP6132984B2 (ja) | カプセル内視鏡システム及びその撮像方法 | |
JPH0662438A (ja) | 立体像観察システム | |
US11022859B2 (en) | Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus | |
US20200099847A1 (en) | Image processing apparatus, image processing method, and image pickup system | |
US11523065B2 (en) | Imaging device and gain setting method | |
US11039067B2 (en) | Image pickup apparatus, video signal processing apparatus, and video signal processing method | |
WO2018173605A1 (ja) | 手術用制御装置、制御方法、手術システム、およびプログラム | |
US10855980B2 (en) | Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method | |
US11910105B2 (en) | Video processing using a blended tone curve characteristic | |
KR20070071791A (ko) | 스테레오스코프를 이용한 내시경 및 이의 제어 방법 | |
WO2020203810A1 (en) | Image processing system, image processing device, and image processing method | |
CN116052573A (zh) | 亮度调节方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5869184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |