JP6485831B2 - 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム - Google Patents

内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム Download PDF

Info

Publication number
JP6485831B2
JP6485831B2 JP2015051181A JP2015051181A JP6485831B2 JP 6485831 B2 JP6485831 B2 JP 6485831B2 JP 2015051181 A JP2015051181 A JP 2015051181A JP 2015051181 A JP2015051181 A JP 2015051181A JP 6485831 B2 JP6485831 B2 JP 6485831B2
Authority
JP
Japan
Prior art keywords
image display
display area
image
displayed
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015051181A
Other languages
English (en)
Other versions
JP2015211824A (ja
Inventor
剛志 古畑
剛志 古畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015051181A priority Critical patent/JP6485831B2/ja
Publication of JP2015211824A publication Critical patent/JP2015211824A/ja
Priority to PCT/JP2016/051845 priority patent/WO2016147697A1/ja
Priority to US15/700,354 priority patent/US10419705B2/en
Application granted granted Critical
Publication of JP6485831B2 publication Critical patent/JP6485831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラムに関し、特に、少なくとも2つの内視鏡画像を表示する内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラムに関する。
従来より、内視鏡装置が、工業分野及び医療分野で広く利用されている。内視鏡装置では、挿入部の先端部に設けられた観察窓を通して得られた被写体の内視鏡画像がモニタに表示され、検査者であるユーザはモニタを見ながら被写体の検査をすることができ、かつ記憶装置に記録することもできる。
内視鏡装置には、種々のタイプがあり、例えば、ステレオ計測機能を有する内視鏡がある。ステレオ計測機能を有する内視鏡装置を利用すれば、挿入部の先端から被写体上の指定した点までの距離を計測したり、被写体上で指定した2点間の距離を計測することができる。
ところで、最近は、タッチパネル付きの表示装置を有するカーナビ装置、ゲーム機などが普及し、ユーザは、指などで、その表示装置の画面を触れるだけで、メニュー画面上の機能を選択したり、画面上のカーソルの位置を移動させたり、画面の表示範囲を変更したりすることができる。
さらに、タッチパネル付きの表示装置を有する装置の操作性の向上のための種々の提案がされている。例えば、特開2006−226820号公報には、スクロール速度を任意にかつ自由に変えることができる、タッチパネル付きのナビゲーション装置が提案されている。その提案のナビゲーション装置では、速度目印としてのスクロール速度指定アイコンが画面上に表示され、ユーザは、そのアイコンを触れて指示を与えることにより、地図をスクロールするときのスクロール速度を所望の速度に変更することができる。
内視鏡装置は、基本的に、各種検査や各種計測のために用いられるため、表示装置の画面上に表示された被写体上の点を計測点として指定を行うときにはジョイスティックなどの操作器に対する慎重な操作が、ユーザに要求される。
同様に、従来の内視鏡装置では、表示装置の画面上における内視鏡画像の表示範囲の変更はズーム機能などにより実現されるが、その表示範囲の変更を正確に行うときにもジョイスティックなどの操作器を慎重に操作しなければならず、ユーザに煩雑な操作が要求される。
上述したタッチパネル付きの表示装置は、内視鏡装置にも適用可能である。タッチパネル付きの表示装置は、メニュー画面上の機能選択などが簡単にできるので、ユーザにとっては操作性がよい。
特開2006−226820号公報
しかし、タッチパネル付きの表示装置を内視鏡装置に適用した場合、ユーザが計測点位置の指定あるいは表示範囲のズーミングを迅速かつ正確に指定するためには、カーソルなどのマークを計測点位置の近傍まで大きく移動させたり、あるいは表示範囲を大きく変化させたりするだけでなく、そのマークを所望の位置に少しだけ移動させたり、あるいは表示範囲を少しだけ変化させることの両方の操作指示が、迅速に行われる必要がある。
上記の提案のナビゲーション装置の技術を内視鏡装置に適用することも考えられるが、上記の提案のナビゲーション装置の場合、スクロール速度を変更する度に、ユーザは、上述したスクロール速度指定アイコンを触れて速度変更の指示を与える操作を行わなければならず、計測点などの位置の指定を迅速に行うことができない。
そこで、本発明は、少なくとも2以上の内視鏡画像において計測点などの位置の指定あるいは画面上に表示される内視鏡画像の表示範囲の変更を少ない操作回数で迅速に行うことができる内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラムを提供することを目的とする。
本発明の一態様によれば、内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置と、前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択する選択部と、前記選択部により前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記選択部により前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う表示制御部と、を有する内視鏡画像表示装置を提供することができる。
本発明の一態様によれば、内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置における前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択し、前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う、内視鏡画像表示方法を提供することができる。
本発明の一態様によれば、内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置における前記第1の画像表示領域と前記第2の画像表示領域を表示するためのプログラムであって、前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択する機能と、前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域では、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第2の画像表示領域では、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う機能と、をコンピュータに実現させるための内視鏡画像表示プログラムを提供することができる。
本発明によれば、少なくとも2以上の内視鏡画像において計測点などの位置の指定あるいは画面上に表示される内視鏡画像の表示範囲の変更を少ない操作回数で迅速に行うことができる内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラムを提供することができる。
本発明の第1の実施の形態に係わる内視鏡装置の構成を示すブロック図である。 本発明の第1の実施の形態に係わる、ステレオ計測モード時における表示部14に表示されるステレオライブ画像の例を示す図である。 本発明の第1の実施の形態に係わる、ステレオ計測モード時における表示部14に表示されるステレオライブ画像の他の例を示す図である。 本発明の第1の実施の形態に係わる、ステレオ計測モード時における表示部14に表示されるステレオライブ画像の他の例を示す図である。 本発明の第1の実施の形態に係わる、ステレオ計測モード時における、カーソルの表示処理の流れの例を示すフローチャートである。 本発明の第1の実施の形態に係わる、ユーザの指Fが左眼画像用のカーソル35aにタッチしている状態を示す図である。 本発明の第1の実施の形態に係わる、ユーザの指Fが右眼画像用のカーソル35bにタッチしている状態を示す図である。 本発明の第1の実施の形態に係わる、カーソルの移動を説明するための図である。 本発明の第1の実施の形態に係わる、カーソルの移動の他の例を説明するための図である。 本発明の第2の実施の形態に係わる、ステレオライブ画像における内視鏡画像の拡大及び縮小の操作を示す図である。 本発明の第2の実施の形態に係わる、ステレオ計測モード時における、ズーム表示処理の流れの例を示すフローチャートである。 本発明の第3の実施の形態に係わる、ステレオ計測モード時における移動ボタンを表示させた状態を示す図である。 本発明の第3の実施の形態に係わる、移動ボタンの拡大図である。 は、本発明の第3の実施の形態に係わる、ステレオ計測モード時における、カーソル移動の例を説明するためのフローチャートである。 本発明の第4の実施の形態に係わる、ステレオ計測モード時におけるズームボタンを表示させた状態を示す図である。 本発明の第4の実施の形態に係わる、ズームボタンの拡大図である。 は、本発明の第3の実施の形態に係わる、ステレオ計測モード時における、ズーム表示処理の流れの例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
(構成)
図1は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡装置1は、内視鏡2と、内視鏡2が接続される装置本体3とを有して構成される。内視鏡2は、装置本体3に対して着脱可能に構成されている。内視鏡2は、挿入部の先端部に設けられた観察窓を介して得られた被写体の撮像信号を装置本体3へ出力する。
内視鏡装置1は、通常の観察機能に加えて、ステレオ計測機能を有している。よって、内視鏡2は、図示しない挿入部を有し、挿入部の先端部には、ステレオ計測を行うときに使用されるための光学アダプタ4が着脱可能になっている。光学アダプタ4は、2つの観察窓を有し、内視鏡2の挿入部の撮像素子の撮像面に、互いに視差を有する被写体の2つの光学像を与える。光学アダプタ4は、内視鏡2あるいは装置本体3が、内視鏡2の挿入部の先端に光学アダプタ4が装着されたことを検出できるようにするための接点(図示せず)を有している。
装置本体3は、カメラコントロールユニット(以下、CCUという)11と、制御部12と、映像信号処理回路13と、タッチパネル付き表示部(以下、表示部という)14と、操作部15と、LANインターフェース(以下、LAN I/Fと略す)16と、メモリカードインターフェース(以下、メモリカードI/Fと略す)17と、USBインターフェース(以下、USB I/Fと略す)18と、音声信号処理回路19と、スピーカ20と、マイク21を含んで構成されている。
CCU11は、制御部12の制御の下、内視鏡2の撮像素子(図示せず)を駆動すると共に、撮像素子から出力される撮像信号を受信して映像信号処理回路13へ出力する。
制御部12は、装置本体3内の各種回路からの信号を受信すると共に、各種回路への制御信号を出力する。制御部12は、中央処理装置(以下、CPUという)12a、ROM12b及びRAM12cを含む。
ROM12bには、各種プログラムと各種設定データが記憶されている。各種設定データの中には、後述するカーソルの変化量da,dbも含まれている。ここでは、変化量da,dbは、後述するドラッグ操作等における、LCD14a(すなわちタッチパネル)に触れている時の指Fの単位移動距離に応じた量である。すなわち、各変化量da,dbは、指FのLCD14a上の移動距離の関数として規定される。なお、各変化量da,dbは、指FのLCD14a上の移動速度の関数として規定してもよい。
また、制御部12は、内視鏡2を介する光学アダプタ4の接点の導通状態信号に基づき、光学アダプタ4が内視鏡2の挿入部の先端に装着されたか否かを判定することができる。
映像信号処理回路13は、CCU11からの撮像信号を処理して画像信号を生成し、表示部14へ出力する。映像信号処理回路13は、制御部12の制御の下、各種機能に応じた画像処理を実行する。ステレオ計測機能が実行されるとき、映像信号処理回路13は、互いに視差のある2つの内視鏡画像を生成し、表示部14へ出力する。すなわち、内視鏡装置1は、内視鏡画像表示装置である。
表示部14は、液晶表示器(LCD)14aと、タッチパネル14bを有している。タッチパネル14bは、例えば静電方式のタッチパネルであり、液晶表示器14aの表示画面上に密着して設けられている。タッチパネル14bからの位置信号は、制御部12へ出力される。
操作部15は、フリーズボタン、レリーズボタン、ジョイスティック、ズーム操作ボタン、メニューボタンなどの複数の操作器を有する。
LAN I/F16は、ローカルエリアネットワーク(以下、LANという)との接続のためのインターフェースである。内視鏡装置1は、LAN I/F16を介してLANに接続された外部機器と通信を行うことができる。
メモリカードI/F17は、記憶媒体としてのメモリカードを装着するためのインターフェースである。内視鏡装置1は、メモリカードI/F17を介してメモリカードへの内視鏡画像の記録、及びメモリカードからのデータの読み込みを行うことができる。
USB I/F18は、USB(Universal Serial Bus)ケーブルあるいはUSB機器を接続するためのインターフェースである。内視鏡装置1は、USB I/F18を介してUSB機器への内視鏡画像の記録、及びUSB機器からのデータの読み込みを行うことができる。
音声信号処理回路19は、制御部12の制御の下、制御部12からの音声信号を処理して、スピーカ20から音声を出力させ、かつマイク21からの音声信号を処理して制御部12へ出力する。内視鏡装置1は、内視鏡画像と共に、音声も記録し、再生することができる。
検査者であるユーザは、タッチパネル14bあるいは操作部15を操作することにより、内視鏡装置1の各種機能を実行させることができる。制御部12は、タッチパネル14bあるいは操作部15において指示されたコマンドに応じて、所定のプログラムをROM12bから読み出して、RAM12cを作業領域として使用しながら実行することにより、内視鏡画像をLCD14aに表示したり、得られた内視鏡画像をメモリカードに記録したりすることができる。さらに、ユーザは、光学アダプタ4を内視鏡2の挿入部の先端部に装着し、LCD14aの画面上に表示されたメニュー画面から所望のコマンドを選択して実行を指示することで、内視鏡装置1にステレオ計測機能を実行させることもできる。
(ステレオライブ画像の構成)
次に、ステレオ計測機能が実行されているときにおける表示部14に表示される内視鏡画像について説明する。
図2Aから図2Cは、ステレオ計測モード時における表示部14に表示されるステレオライブ画像の例を示す図である。図2Aの画面31は、ステレオライブ画像が表示される2つの画像表示領域32と33を含むグラフィカル・ユーザ・インターフェース(GUI)である。LCD14aに表示される画面31は、左眼画像と右眼画像の2つの画像を表示する2つの画像表示領域を有する。よって、表示部14は、内視鏡画像を表示するための左画像表示領域32と右画像表示領域33を有する表示装置である。
2つの画像表示領域の内の左画像表示領域32は、左眼画像を表示し、右画像表示領域33は、右眼画像を表示する。光学アダプタ4により、内視鏡2は、左右の画像を含む撮像信号を生成し、装置本体3では、受信した撮像信号から左眼画像と右眼画像が生成され、LCD14aに表示される。
なお、ここでは、左画像表示領域32と右画像表示領域33が表示部14のLCD14aの1つの表示部に表示されているが、2つの表示装置を用いて、左画像表示領域32と右画像表示領域33を別々の表示装置に表示するようにしてもよい。
また、左画像表示領域32と右画像表示領域33の大きさが同じである必要はない。例えば、図2Bに示す他の例のように、左画像表示領域32を画面31上に大きく表示させ、右画像表示領域33を確認用画像として小さく表示させてもよい。
さらにまた、図2Cに示す他の例のように、左画像表示領域32と右画像表示領域33を90度回転させ、左画像表示領域32を画面31に合わせて拡大させ、右画像表示領域33を確認用画像として左画像表示領域32上に小さく表示させてもよい。
ユーザは、ステレオ計測モードにおいて計測点を指定することができる。例えば、画面上に計測点を指定するためのマークとしてのカーソルを表示させ、タッチパネル14b上で、指でドラッグ操作などすることによって、カーソルを所望の位置に移動させ、計測点を指定することができる。ユーザは、左画像表示領域32に表示された左眼画像用のカーソル35aと右画像表示領域33に表示された右眼画像用のカーソル35bのいずれでも移動させることができる。
以下、カーソルの移動は、左画像表示領域32あるいは右画像表示領域33上の移動させたいカーソルを、ユーザが指で長押しした後に触れながら移動させた方向に動かすドラッグ操作により行う場合で本実施の形態を説明するが、カーソルの移動は、例えば移動させたいカーソルを画面上でダブルタップして指定した後、画面上でのスワイプ操作(すなわち触れる箇所を特定しないで画面を指で触れながらカーソルを移動させたい方向に動かす操作)、フリック操作(短い距離を弾くようにさっと動かす操作)等の操作によって、行ってもよい。
図2Aから図2Cでは、計測点指定用のマークであるカーソル35aと35bが、それぞれ、画像表示領域32と33に表示されている。因みに、図2Aから図2Cでは、LCD14aには、ジェットエンジン内のブレードBの一部が表示されている。
左画像表示領域32に表示される内視鏡画像と、右画像表示領域33に表示される内視鏡画像は、ステレオ計測用の左右の内視鏡画像であり、互いに視差を有する画像である。
カーソル35aの位置とカーソル35bの位置は、2つの内視鏡画像の視差に応じた位置に表示される。よって、左画像表示領域32内のカーソル35aの位置を移動させると、右画像表示領域33内のカーソル35bの位置も移動するが、カーソル35bの位置は、カーソル35aにより示される被写体上の位置に対応する、右眼画像上の位置がマッチング処理により計算された位置である。同様に、右画像表示領域33内のカーソル35bの位置を移動させると、左画像表示領域32内のカーソル35aの位置も移動するが、カーソル35aの位置は、カーソル35bにより示される被写体上の位置に対応する、左眼画像上の位置がマッチング処理により計算された位置である。
なお、以下では、1つの計測点が指定される場合を例として説明するが、2点間の距離を計測する場合は、2つの計測点が指定される。
(作用)
次に、本実施の形態の内視鏡装置1の動作について説明する。図3は、ステレオ計測モード時における、カーソルの表示処理の流れの例を示すフローチャートである。図3の処理は、ステレオ計測用の光学アダプタ4が挿入部の先端部に装着されたときに、制御部12のCPU12aがROM12bからカーソル表示処理プログラムを読み出して実行することにより、行われる。
光学アダプタ4が装着されると、制御部12は、映像信号処理回路13に対して指示を出力して、図2Aから図2Cに示すようなステレオライブ画像をLCD14aに表示させる(S1)。
次に、制御部12は、ステレオ計測モードが設定されたか否かを判定する(S2)。ステレオ計測モードの設定は、ユーザがメニュー画面からステレオ計測モードを選択することによって行われる。
ステレオ計測モードが設定されないときは(S2:NO)、処理は、S1に戻る。ステレオ計測モードが設定されると(S2:YES)、制御部12は、左眼画像用のカーソル35aの変化量daと、右眼画像用のカーソル35bの変化量dbの情報をROM12bから読み出す。
制御部12は、タッチパネル14bに対する所定の操作があったか否かを判定する(S4)。タッチパネル14bに対する所定の操作がなければ、処理は、S1に戻る。所定の操作とは、ここでは、長押しした後に指Fを移動させるドラッグ操作である。すなわち、左眼画像用のカーソル35aあるいは右眼画像用のカーソル35bに指Fを触れながらタッチパネル14b上を移動させるドラッグ操作が行われたかが判定される。
タッチパネル14bに対する所定の操作が行われると(S4:YES)、制御部12は、その操作が、左画像表示領域32上で行われた操作であるかを判定する(S5)。
よって、S4とS5の処理が、左画像表示領域32と右画像表示領域33のいずれか1つを選択する選択部を構成する。すなわち、カーソル35aあるいは35b等へのタッチにより、左画像表示領域32と右画像表示領域33のいずれか1つの選択がされる。
なお、左画像表示領域32と右画像表示領域33のいずれか1つの選択は、選択する画像表示領域へタッチ、あるいはメニュー画面上での選択により行うようにしてもよい。その場合は、選択する画像表示領域へタッチあるいはメニュー画面による選択結果に応じて、左画像表示領域32と右画像表示領域33のいずれか1つの選択が行われるので、選択する画像表示領域へのタッチ検出処理、及びメニュー画面とそのジョイスティックなどによる選択指示入力処理が、選択部を構成する。
S4における操作が左眼画像用のカーソル35aへの操作であるとき(S5:YES)、制御部12は、カーソル35aの移動量(すなわち表示部14上でカーソル35aがドラッグ操作により移動した距離)から、変化量da に基づいて左眼画像用のカーソル35aを左画像表示領域32内で移動させる(S6)。
図4は、ユーザの指Fが左眼画像用のカーソル35aにタッチしている状態を示す図である。ユーザは、指Fをタッチパネル14bに触れている状態から、左眼画像用のカーソル35aを移動させたい方向に動かすドラッグ操作を行う。ドラッグ操作における指Fの位置の変化は制御部12に入力されているので、制御部12は、ドラッグ操作における指Fの移動量を算出することができる。
例えば、ユーザが左眼画像用のカーソル35aを移動させたい方向として、図4において点線で示す方向に指Fをドラッグしたとする。移動後の指Fを指F´とする。S6では、制御部12は、ドラッグ方向(点線で示す方向)に、左眼画像用のカーソル35aを、変化量daに基づいて指Fの移動距離から決定された量だけ左画像表示領域32内で移動させる。例えば、変化量daがLCD14a上の1cmに設定され、指FがLCD14a上で1cm動かされたときは、指Fをタッチパネル14b上で1cmの距離だけドラッグすると、左眼画像用のカーソル35aは、LCD14a上でドラッグ方向に1cm移動する。移動後のカーソル35aをカーソル35a´とする。
S6の後、制御部12は、左眼画像用のカーソル35aの移動量分に応じた距離だけ、右眼画像用のカーソル35bを右画像表示領域33内で移動させる(S7)。上記の例の場合、左画像表示領域32内で左眼画像用のカーソル35aがタッチパネル14b上で1cmの距離だけ移動すると、右眼画像用のカーソル35bも、右画像表示領域33内でドラッグ方向に1cm移動する。移動後のカーソル35bをカーソル35b´とする。
制御部12は、右画像表示領域33内で右眼画像用のカーソル35bを移動させた後、左画像表示領域32内での左眼画像用のカーソル35aの位置に対応した、右画像表示領域33内での右眼画像用のカーソル35bの位置をマッチング処理により再計算する(S8)。
なお、ここでは、右眼画像用のカーソル35bの位置の再計算は、右画像表示領域33内で右眼画像用のカーソル35bを移動した後(S7)、行われているが、S7において、右眼画像用のカーソル35bの位置の再計算による補正をしながら、右画像表示領域33内で右眼画像用のカーソル35bを移動するようにしてもよい。
S8の後、制御部12は、再計算された右画像表示領域33内の補正された位置に、右眼画像用のカーソル35bを再表示する(S9)。
S9の後、処理は、S4に戻る。
S4における操作が右眼画像用のカーソル35bへの操作であるとき(S5:NO)、制御部12は、右眼画像用のカーソル35bの移動量(すなわち表示部14上でカーソル35bがドラッグ操作により移動した距離)から、変化量dbに基づいて右眼画像用のカーソル35bを右画像表示領域33内で移動させる(S10)。
図5は、ユーザの指Fが右眼画像用のカーソル35bにタッチしている状態を示す図である。ユーザは、指Fをタッチパネル14bに触れている状態から、右眼画像用のカーソル35bを移動させたい方向に動かすドラッグ操作を行う。
例えば、ユーザが右眼画像用のカーソル35bを移動させたい方向として、図5において点線で示す方向に指Fをドラッグしたとする。移動後の指Fを指F´とする。S10では、制御部12は、ドラッグ方向(点線で示す方向)に、右眼画像用のカーソル35bを、変化量dbに基づいて指Fの移動距離から決定された量だけ右画像表示領域33内で移動させる。例えば、変化量dbがLCD14a上の0.1cmに設定され、指FがLCD14a上で1cm動かされたときは、指Fをタッチパネル14b上で1cmの距離だけドラッグすると、右眼画像用のカーソル35bは、LCD14a上でドラッグ方向に0.1cm移動する。移動後のカーソル35bをカーソル35b´とする。図5に示すように、移動後の指F´の位置と移動後のカーソル35b´の位置は異なっている。
S10の後、制御部12は、右眼画像用のカーソル35bの移動量分に応じた距離だけ、左眼画像用のカーソル35aを左画像表示領域32内で移動させる(S11)。上記の例の場合、右画像表示領域33内で右眼画像用のカーソル35bがタッチパネル14b上で1cmの距離だけ移動すると、左眼画像用のカーソル35aも、左画像表示領域32内でドラッグ方向に0.1cm移動する。移動後のカーソル35aをカーソル35a´とする。
制御部12は、左画像表示領域32内で左眼画像用のカーソル35aを移動させた後、右画像表示領域33内での右眼画像用のカーソル35bの位置に対応した、左画像表示領域32内での左眼画像用のカーソル35aの位置をマッチング処理により再計算する(S12)。
なお、ここでは、左眼画像用のカーソル35aの位置の再計算は、左画像表示領域32内で左眼画像用のカーソル35aを移動した後(S11)、行われているが、S11において、左眼画像用のカーソル35aの位置の再計算による補正をしながら、左画像表示領域32内で左眼画像用のカーソル35aを移動するようにしてもよい。
S12の後、制御部12は、再計算された左画像表示領域32内の補正された位置に、左眼画像用のカーソル35aを再表示する(S13)。
S13の後、処理は、S4に戻る。
図3の処理は、ユーザがメニュー画面上でステレオ計測処理モードの終了を指示すると、処理は、終了する。
以上のように、S6からS13の処理が、左画像表示領域32が選択されているときに、ドラッグ操作による所定の操作指示を受けると、左画像表示領域32及び右画像表示領域33に表示されているマークとしての各カーソル35aと35bの位置を変化量daだけ変化させ、右画像表示領域33が選択されているときに、ドラッグ操作による所定の操作指示を受けると、左画像表示領域32及び右画像表示領域33に表示されているマークとしての各カーソル35aと35bの位置を変化量daとは異なる変化量dbだけ変化させるように表示制御を行う表示制御部を構成する。
上述した例では、変化量daは変化量dbよりも大きく設定されているため、図3の処理が繰り返されることによって、ユーザは、左画像表示領域32内をタッチすることによるカーソル35aと35bを大きく移動させる粗動と、右画像表示領域33内をタッチすることにようカーソル35aと35bを小さく移動させる微動とを、それぞれ1回以上繰り返すことができる。よって、ユーザは、所望の位置へカーソル35aと35bを迅速かつ正確に移動させることができる。
図6は、カーソルの移動を説明するための図である。ユーザがカーソル35a及び35bを所望の位置P1に移動させたいとすると、ユーザは、上述したドラッグ操作により、上述した粗動と微動の操作を何回か行うことにより、カーソル35a及び35bを所望の位置P1に少ない操作回数で簡単かつ迅速に移動させることができる。
図7は、カーソルの移動の他の例を説明するための図である。図7は、画面上で任意の位置を触れながらカーソルを移動させたい方向に動かす方法による場合を示す。
図7の場合、ユーザは、カーソル35aと35bを移動させたい方向における任意の位置で指Fをタッチさせると、カーソル35aと35bは指の方向に向かって移動する。例えば、図7において、左画像表示領域32内でカーソル35aを移動させたい方向に指Fをタッチするとカーソル35aは指Fの方向に移動する。カーソル35aは指Fの位置まで移動すると停止する。カーソル35aが指Fに向かって移動中に指Fを移動させると、指Fが移動した先に向かってカーソル35aは移動する。カーソル35aが指Fに向かって移動中に指Fを離すとカーソル35aは停止する。カーソル35aの移動、停止に合わせてカーソル35bも移動、停止する。左画像表示領域32内でタッチするとカーソル35aと35bは粗動し、右画像表示領域33内でタッチするとカーソル35aと35bは微動する。
なお、図2Bあるいは図2Cに示すように、画面31上に表示された左画像表示領域32と右画像表示領域33の大きさが異なる場合は、その2つの領域の大きさの違いに比例して、各変化量に基づく各カーソルの移動量は、変更される。
なお、図7において、左画像表示領域32内でカーソル35aを移動させたい方向に指Fをタッチした状態から、指Fを別の位置に移動させる場合、指Fが左画像表示領域32を越えて移動してしまったり、図5において、右画像表示領域33上のカーソル35bをドラッグ操作するとき、指Fが右画像表示領域33を超えて移動してしまったりする場合が考えられる。
そのような場合は、指Fがタッチパネル14bから離れないでドラッグ操作が継続して行われているときは、最初に指Fが触れた左画像表示領域32用の変化量daあるいは右画像表示領域33用の変化量dbに基づいて、最初に指Fが触れた画像表示領域を超えても、カーソル35a及び35bを移動させる。すなわち、最初に指Fが触れた画像表示領域を超えて操作が行われているときには、最初に指Fが触れた画像表示領域用の変化量の値を引き続き使用して、カーソル35aと35bの移動を行う。
すなわち、S6からS13の処理において、左画像表示領域32が選択されているときになされた操作の操作指示が左画像表示領域32を超えた領域においても継続しているときには、継続してカーソル35aの位置を変化量daに基づいて変化し、右画像表示領域33が選択されているときになされた操作指示が右画像表示領域33を超えた領域においても継続しているときには、継続してカーソル35bの位置を変化量dbに基づいて変化するようにしてもよい。
以上のように、上述した実施の形態によれば、少なくとも2以上の内視鏡画像において計測点などの位置の指定を少ない操作回数で迅速に行うことができる内視鏡画像表示装置を提供することができる。
また、表示部14上で2つの画像表示領域の一方上でカーソルの移動操作を行っていても、少なくとも2つの画像表示領域の他方が指Fあるいは手で隠れることはないので、ユーザは、画像表示領域上のカーソルの位置を確実に認識することができる。また、図7のように画面上の任意の位置を触れてカーソルを操作する場合は、2つの画像表示領域上のカーソルの位置を認識することができる。
(第2の実施の形態)
本実施の形態は、内視鏡画像の拡大及び縮小表示の操作に関する。ユーザは、内視鏡画像を拡大して見たい場合もあれば、縮小して全体を見たい場合もある。さらに、計測点の指定の場合にも、内視鏡画像の表示範囲を拡大したり縮小したりしながら、計測点の指定を行いたい場合もある。本実施の形態は、そのような内視鏡画像の表示範囲の変更操作を少ない操作回数で迅速に行うことができる内視鏡装置に関する。
本実施の形態の内視鏡装置は、第1の実施の形態の内視鏡装置1と同じ構成を有するので、以下、同じ構成については、同じ符号を用いて説明は省略し、異なる構成について説明する。
図8は、ステレオライブ画像における内視鏡画像の拡大及び縮小の操作を示す図である。ユーザは、表示部14上で2本の指F1とF2によりピンチインあるいはピンチアウト操作行うことにより、左画像表示領域32と右画像表示領域33に表示されている内視鏡画像のズームアウトあるいはズームインを行うことができる。
図8は、右画像表示領域33において2本の指F1とF2により行われるピンチインあるいはピンチアウト操作を示す。図8において点線POは、2本の指F1とF2の間の距離を大きくするピンチアウト操作を示し、点線PIは、2本の指F1とF2の間の距離を小さくするピンチイン操作を示している。ピンチアウト操作により、内視鏡画像の拡大すなわちズームインがされ、ピンチイン操作により、内視鏡画像の縮小すなわちズームアウトがされる。
本実施の形態では、右画像表示領域33上でピンチインあるいはピンチアウト操作が可能であると共に、左画像表示領域32上でピンチインあるいはピンチアウト操作も可能である。
但し、左画像表示領域32上においてピンチインあるいはピンチアウト操作では、ズーム量が大きく、右画像表示領域33上においてピンチインあるいはピンチアウト操作では、ズーム量が小さい。
そのため、ROM12bには、ズームの変化量dc,ddの情報が記憶されている。変化量dcは、左画像表示領域32内におけるズーム時の変化量であり、変化量ddは、右画像表示領域33内におけるズーム時の変化量である。ここでは、変化量dc,ddは、ピンチインあるいはピンチアウト操作における、LCD14a(すなわちタッチパネル)に触れている時の指F1とF2間の距離の変化に応じた量である。すなわち、各変化量dc,ddは、LCD14a上の指F1とF2間の距離の変化量関数として規定される。例えば、ユーザが左画像表示領域32上でピンチアウト操作しF1とF2間の距離が1cm変化すると10倍拡大し、右画像表示領域33上でピンチアウト操作しF1とF2間の距離が1cm変化すると1.1倍拡大するように、各変化量dc,ddは規定される。
なお、ここでは、変化量dc,ddを用いているが、変化率を用いてもよい。当初の指F1とF2間の距離が、LOで、操作後の指F1とF2間の距離が、L1であるとき、変化率は、L1/L0で示される。
次に、本実施の形態の内視鏡装置1の動作について説明する。図9は、ステレオ計測モード時における、ズーム表示処理の流れの例を示すフローチャートである。なお、図9において、図3と同じ処理については、同じステップ番号を付して説明は省略する。
ステレオ計測モードが設定されると(S2:YES)、制御部12は、左眼画像用ズーム変化量である変化量dcと、右眼画像用ズーム変化量である変化量ddの情報をROM12bから読み出す(S21)。
制御部12は、タッチパネル14bに対する所定の操作があったか否かを判定する(S22)。タッチパネル14bに対する所定の操作がなければ、処理は、S1に戻る。所定の操作とは、ここでは、上述したピンチインあるいはピンチアウト操作である。すなわち、左画像表示領域32あるいは右画像表示領域33内でピンチインあるいはピンチアウト操作が行われたか否かが判定される。
タッチパネル14bに対する所定の操作が行われると(S22:YES)、制御部12は、その操作が、左画像表示領域32内でのピンチインあるいはピンチアウト操作によるズーム操作であるかを判定する(S23)。
S22における操作が左画像表示領域32内でのピンチインあるいはピンチアウト操作であるとき(S23:YES)、制御部12は、変化量dcに基づいて、左画像表示領域32における2本の指F1とF2間の距離の変化量から左画像表示領域32のズーム処理を行う(S24)。ピンチイン操作のときは、左画像表示領域32の縮小操作が行われ、ピンチアウト操作のときは、左画像表示領域32の拡大操作が行われる。
S24の後、制御部12は、左画像表示領域32のズーム量分だけ右画像表示領域33をズームする(S25)。その結果、左画像表示領域32と同じ量だけ、右画像表示領域33もズームされる。
制御部12は、右画像表示領域33をズームした後、左画像表示領域32の表示範囲に対応した、右画像表示領域33の表示範囲をマッチング処理により再計算する(S26)。
S26の後、制御部12は、再計算により補正された右画像表示領域33の表示範囲を再表示する(S27)。
S27の後、処理は、S22に戻る。
S22における操作が右画像表示領域33内でのピンチインあるいはピンチアウト操作であるとき(S23:NO)、制御部12は、変化量ddに基づいて、右画像表示領域33における2本の指F1とF2間の距離の変化量から右画像表示領域33のズーム処理を行う(S28)。ピンチイン操作のときは、右画像表示領域33の縮小操作が行われ、ピンチアウト操作のときは、右画像表示領域33の拡大操作が行われる。
S28の後、制御部12は、右画像表示領域33のズーム量分だけ左画像表示領域32をズームする(S29)。その結果、右画像表示領域33と同じ量だけ、左画像表示領域32もズームされる。
制御部12は、左画像表示領域32をズームした後、右画像表示領域33の表示範囲に対応した、左画像表示領域32の表示範囲をマッチング処理により再計算する(S30)。
S30の後、制御部12は、再計算により補正された左画像表示領域32の表示範囲を再表示する(S31)。
S31の後、処理は、S22に戻る。
なお、S26とS30の表示範囲の再計算は、対応する他方の画像表示領域のズームを行った後(S25,S29)、行われているが、S25,S29において、対応する他方の画像表示領域の表示範囲の再計算をしながら、対応する他方の画像表示領域のズームを行うようにしてもよい。
図9の処理は、ユーザがメニュー画面上でステレオ計測処理モードの終了を指示すると、処理は、終了する。
以上のように、S24からS31の処理が、左画像表示領域32が選択されているときに、ピンチインあるいはピンチアウト操作などのズーム操作の操作指示を受けると、左画像表示領域32及び右画像表示領域33の表示範囲を変化量dcだけ変化させ、右画像表示領域33が選択されているときに、ズーム操作の操作指示を受けると、左画像表示領域32及び右画像表示領域33の表示範囲を変化量dcとは異なる変化量ddだけ変化させるように表示制御を行う表示制御部を構成する。
上述した例では、変化量dcは変化量ddよりも大きく設定されているため、図3の処理が繰り返されることによって、ユーザは、左画像表示領域32内でピンチインあるいはピンチアウト操作をすることによる左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を大きく変化させる粗ズームと、右画像表示領域33でピンチインあるいはピンチアウト操作をすることによる左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を小さく変化させる微ズームとを、それぞれ1回以上繰り返すことができる。よって、ユーザは、左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を所望の大きさに迅速かつ正確にズームさせることができる。
なお、左画像表示領域32上または右画像表示領域33上で1回ピンチアウト操作すると最大倍率まで拡大し、1回ピンチイン操作をすると最小倍率まで縮小するようにしてもよい。このような構成にすることで1回の操作で最大・最小表示することが可能になる。
以上のように、上述した実施の形態の内視鏡装置によれば、少なくとも2以上の内視鏡画像において画面上に表示される内視鏡画像の表示範囲の変更を少ない操作回数で迅速に行うことができる。
(第3の実施の形態)
本実施の形態は、左画像表示領域32に対するタッチ操作による即時のカーソル移動と併せ、左画像表示領域32以外の領域に配置される指示ボタンである移動ボタン41によりカーソル移動が指示されることを可能とした内視鏡装置1に関する。
本実施の形態の内視鏡装置1は、第1の実施の形態及び第2の実施の形態の内視鏡装置1と同じ構成を有するので、以下、同じ構成については、同じ符号を用いて説明は省略し、異なる構成について説明する。
図10Aは、ステレオ計測モード時における指示ボタンである移動ボタン41を表示させた状態を示す図である。左画像表示領域32には、左眼画像用のカーソル35aが表示されている。左画像表示領域32において、ユーザは、左眼画像用のカーソル35aを移動させたい位置を指でタッチすることにより、左眼画像用のカーソル35aを指でタッチした位置に即時に移動させることが可能である。左画像表示領域32の変化量deは、ユーザが指でタッチした位置P3と左画像表示領域32に表示されている左眼画像用のカーソル35aの位置P2との差分の量すなわち距離であるため、左画像表示領域32に表示されているマークである左眼画像用のカーソル35aは、指でタッチした位置に即時に移動する。すなわち、図10Aでは、左画像表示領域32のカーソル35aは位置P2から、指でタッチした位置P3に即時に移動する。
指示ボタンである移動ボタン41は、ユーザのタッチ操作により即時にカーソルが移動される左画像表示領域32以外の領域に、表示される。すなわち、図10Aでは、移動ボタン41は、右画像表示領域33の右下に右画像表示領域33の枠線部45を跨ぐように右画像表示領域33の一部に重畳して配置される。
このとき、移動ボタン41は、右眼画像用のカーソル35bが邪魔されない位置に配置される。右眼画像用のカーソル35bを移動開始すると、右眼画像用のカーソル35bの移動中の表示を妨げることのないように移動ボタン41は非表示する。右眼画像用のカーソル35bが移動した結果、移動ボタン41と右眼画像用のカーソル35bが重なる場合には、移動ボタン41は、適宜右眼画像用のカーソル35bと重ならない位置に変更されて再表示される。
図10Bは、移動ボタン41の拡大図である。移動ボタン41は、入力ボタン42、上ボタン43a、左ボタン43b、下ボタン43c、右ボタン43dで構成される。上ボタン43a、左ボタン43b、下ボタン43c、右ボタン43dを構成する4つの角丸三角形のボタンは、底辺が入力ボタン近傍に配置され、底辺に対向する小円部が外側に向けて配置され、内側に小三角形状部44を有する。以下、上ボタン43a、左ボタン43b、下ボタン43c、右ボタン43dのいずれか一つ、または、全ての方向ボタン43を指すときは方向ボタン43という。
方向ボタン43と、入力ボタン42は非透明である。したがって、図10Aにおいて、方向ボタン43と入力ボタン42は、右画像表示領域33内の画像と枠線部45を隠すように表示されている。
方向ボタン43は、カーソルの各移動の方向への移動を指示するボタンである。ユーザは、方向ボタン43を指でタッチすることにより、方向ボタン43により指示された方向へカーソルを移動させることができる。
すなわち、指示ボタンである移動ボタン41は、マークであるカーソルの移動を指示するボタンであり、方向ボタン43は、マークであるカーソルの各移動の方向への移動を指示するボタンである。
入力ボタン42は、内視鏡装置1に各種指示を与えるためのボタンである。
移動ボタン41は、図示しないタイマ等により、所定の表示時間だけ表示され、所定の表示時間経過後に非表示となる。表示中であっても、入力ボタン42によって位置が決定されると移動ボタン41による操作が完了したと判断し、所定の表示時間の経過を待たずに非表示としてもよい。
ROM12bには、右画像表示領域33の変化量dfの情報が記憶されている。ここでは、変化量dfは、指が方向ボタン43にタッチした回数に応じた量である。すなわち、変化量dfは、指の方向ボタン43にタッチした回数の関数として規定される。なお、変化量dfは、指の方向ボタン43にタッチした時間の関数として規定してもよい。
このように、ユーザは、左画像表示領域32において、左眼画像用のカーソル35aの移動させたい位置を指でタッチすることによりカーソル35aを大きく移動させる粗動と、右画像表示領域33の移動ボタン41を指でタッチしてカーソルを小さく移動させる微動とが可能である。
なお、本実施の形態においては、左画像表示領域32を粗動領域とし、右画像表示領域33を微動領域としているが、これとは逆に、左画像表示領域32を微動領域とし、右画像表示領域33を粗動領域としてもよい。その場合、ユーザが右画像表示領域33をタッチすることにより右画像表示領域33が選択されて粗動領域とされ、右画像表示領域33以外の領域(左画像表示領域32等)にカーソルを微動させるための移動ボタン41が配置される。
次に、本実施の形態の内視鏡装置1の動作について説明する。図11は、ステレオ計測モード時における、カーソル移動の例を説明するためのフローチャートである。なお、図11において、図3と同じ処理については、同じステップ番号を付して説明は省略する。
ステレオ計測モードが設定されると(S2:YES)、制御部12は、右眼画像用のカーソル35bの変化量dfの情報をROM12Bから読み出す(S41)。
制御部12は、タッチパネル14bに対する所定の操作があったか否かを判定する。タッチパネル14bに対する所定の操作がなければ、処理は、S42aに移る(S42)。所定の操作とは、ここでは、タッチパネル14bに対するタッチ操作である。
S42aの処理は、移動ボタン41が表示されていない場合と、後述するS45の処理により、既に移動ボタン41が表示されている場合とで異なる。S42aにおいて、制御部12は、既に移動ボタン41が表示されているかどうかの判定を行い、既に移動ボタン41が表示されており、かつ移動ボタン41の所定の表示時間が経過している場合は、移動ボタン41を非表示にする(S42a)。S42aの後、処理は、S1に戻る。
S42において、タッチパネル14bに対する所定の操作が行われると、制御部12は、その操作が、左画像表示領域32内のタッチ操作であるかを判定する(S43a)。
S43aにおけるタッチ操作が左画像表示領域32内のタッチ操作であるとき(S43a:YES)、制御部12は、左眼画像用カーソル35aの位置P2と指でタッチした位置P3との差分を変化量deとして算出し、カーソル35aを変化量deだけ移動させる。すなわち、制御部12は、指でタッチした位置P3に左眼画像用カーソル35aを移動させる(S44)。
続いて、制御部12は、移動ボタン41の表示に関する処理を行う。この処理は、初回の処理等により移動ボタン41が表示されていない場合と、2回目以降の処理で既に移動ボタン41が表示されている場合とで異なる。初回の処理等により移動ボタン41が表示されていない場合は、右画像表示領域33の右下に右画像表示領域33の枠線部45を跨ぐように移動ボタン41を右画像表示領域33の一部に重畳配置する。2回目以降の処理で既に移動ボタン41が表示されている場合は、表示時間を所定時間だけ延長するように更新する。このとき、制御部12は、右眼画像用カーソル35aの表示位置を取得し、移動ボタン41と右眼画像用カーソル35aの表示が重なる場合、移動ボタン41を重ならない位置に移動して表示する。(S45)。
S45の処理の後、制御部12は、左眼画像用のカーソル35aの移動量分に応じた距離だけ、右眼画像用のカーソル35bを右画像表示領域33内で移動させる(S46)。図10Aの例では、左眼画像用のカーソル35aは、P2からP3に移動しており、これに応じて、右眼画像用のカーソルは、P2´からP3´に移動する。
制御部12は、右画像表示領域33内で右眼画像用のカーソル35bを移動させた後(S46)、左画像表示領域32内での左眼画像用のカーソル35aの位置に対応した、右画像表示領域33内での右眼画像用のカーソル35bの位置をマッチング処理により再計算する(S47)。
S47の後、制御部12は、再計算された右画像表示領域33内の補正された位置に、右眼画像用のカーソル35bを再表示する(S48)。
なお、ここでは、右眼画像用のカーソル35bの位置の再計算は、右画像表示領域33内で右眼画像用のカーソル35bを移動した後行われているが(S46)、S46において、右眼画像用のカーソル35bの位置の再計算による補正をしながら、右画像表示領域33内で右眼画像用のカーソル35bを移動するようにしてもよい。
S48の処理により右眼画像用のカーソル35bを再表示した後、処理は、S42へ戻る。
S43aにおける操作が左画像表示領域32内のタッチ操作でないとき(S43a:NO)、制御部12は、さらに、S43aにおけるタッチ操作が右画像表示領域33内の移動ボタン41の方向ボタン43のタッチ操作であるか判定する(S43b)。S43bにおけるタッチ操作が右画像表示領域33内の方向ボタン43のタッチ操作でないとき(S43b:NO)、処理は、S42に戻る。一方、S43bにおける操作が右画像表示領域33内の方向ボタン43のタッチ操作であるとき(S43b:YES)、処理は、S49に進む。
制御部12は、どの方向ボタン43がタッチされているか判定し、方向ボタン43の示す各方向(例えば、上ボタン43aがタッチされたときは上方向)へ、変化量dfに基づいて指のタッチ回数から決定された量だけ、右眼画像用のカーソル35bを右画像表示領域33内で移動させる。このとき、制御部12は、右眼画像用カーソル35bの表示位置を取得し、移動ボタン41と右眼画像用カーソル35aの表示が重なる場合、移動ボタン41を重ならない位置に移動して表示する(S49)。
右画像表示領域33内のカーソル35bの移動後(S49)、制御部12は、移動ボタン41の表示時間を延長するように更新する(S49)。
S50の後、処理はS46へ進む。
図11の処理は、ユーザがメニュー画面上でステレオ計測処理モードの終了を指示すると、処理は、終了する。
以上のように、S44からS50の処理が、左画像表示領域32が選択されているときに、左画像表示領域32のタッチ操作による所定の操作指示を受けると、左画像表示領域32及び右画像表示領域33に表示されているマークとしてのカーソルの位置を変化量deだけ変化させ、右画像表示領域33が選択されているときに、移動ボタン41のタッチ操作による所定の操作指示を受けると、左画像表示領域32及び右画像表示領域33に表示されているマークとしてのカーソルの位置を変化量deとは異なる変化量dfだけ変化させるように表示制御を行う表示制御部を構成する。
上述した例では、ユーザは、左画像表示領域32内のタッチ操作によりカーソルを大きく移動させる粗動と、移動ボタン41のタッチ操作によりカーソルを小さく移動させる微動とを、それぞれ1回以上繰り返すことができる。よって、ユーザは、所望の位置へカーソルを迅速かつ正確に移動させることができる。
(第4の実施の形態)
本実施の形態は、左画像表示領域32に対するピンチインあるいはピンチアウト操作と併せ、左画像表示領域32以外の領域に配置される指示ボタンであるズームボタン51により内視鏡画像の拡大及び縮小表示の操作指示を可能とした内視鏡装置に関する。
本実施の形態の内視鏡装置1は、第1の実施の形態、第2の実施の形態及び第3の実施の形態の内視鏡装置1と同じ構成を有するので、以下、同じ構成については、同じ符号を用いて説明は省略し、異なる構成について説明する。
図12Aは、ステレオ計測モード時における指示ボタンであるズームボタン51を表示させた状態を示す図である。左画像表示領域32における操作指示は、タッチパネル上における、2本の指F4、F5の間の距離を小さくするピンチイン操作によるズームアウト操作、又は2本の指の間の距離を大きくするピンチアウト操作によるズームイン操作によって指示され、操作指示を受けると、左画像表示領域32に表示されている画像の表示範囲を変化量dgだけ変化させることにより、内視鏡画像のズームアウトあるいはズームインを行うことができる。
指示ボタンであるズームボタン51は、ユーザがピンチインあるいはピンチアウト操作を行う左画像表示領域32以外の領域(ここでは、右画像表示領域33)に配置される。すなわち、図12Aでは、ズームボタン51は、右画像表示領域33の右下に右画像表示領域33の枠線部54を跨ぐように右画像表示領域33の一部に重畳して配置される。
図12Bは、ズームボタン51の拡大図である。ズームボタン51は、拡大ボタン52aと縮小ボタン52bを構成する2つの1/2長円領域が配置されたボタンである。2つの1/2長円領域は、外周より一回り小さい長円を長手方向に2分した形状を有しており、各1/2長円領域は、内側に小三角形状部53を有する。
拡大ボタン52aと縮小ボタン52bとの間に構成される領域は、右画像表示領域33内の画像と枠線部54が透けて表示されるように透明であり、拡大ボタン52aと縮小ボタン52bの各領域は、非透明である。したがって、図12Aにおいて、拡大ボタン52aと縮小ボタン52bとは、右画像表示領域33内の画像と枠線部54を隠し、拡大ボタン52aと縮小ボタン52b以外の領域では、右画像表示領域33内の画像と枠線部54が透けて表れている。
拡大ボタン52a又は縮小ボタン52bは、右画像表示領域33の拡大又は縮小を指示するためのボタンである。ユーザは、拡大ボタン52a又は縮小ボタン52bを指でタッチ操作することにより、左画像表示領域32と右画像表示領域33に表示されている画像の拡大又は縮小をさせることができる。
すなわち、ズームボタン51は内視鏡画像のズームを指示する指示ボタンであり、拡大ボタン52aは内視鏡画像の拡大を指示するボタンであり、縮小ボタン52bは内視鏡画像の縮小を指示するボタンである。
ズームボタン51は、図示しないタイマ等により、所定の表示時間だけ表示され、所定の表示時間経過後に非表示となる。
ROM12bには、ズームの変化量dgとdhの情報が記憶されている。
ズームの変化量dgは、左画像表示領域32内におけるズーム時の変化量である。ここでは、変化量dgは、ピンチインあるいはピンチアウト操作におけるタッチパネル14bに触れているときの指F4とF5間の距離の変化に応じた量である。すなわち、変化量dgは、タッチパネル14b上の指F4とF5間の距離の変化量関数として規定される。
ズームの変化量dhは、ズームボタン51の操作によるズーム時の変化量である。ここでは、変化量dhは、指が拡大ボタン52a又は縮小ボタン52bにタッチしたときのタッチ回数に応じた量あるいはタッチ毎に応じた量である。すなわち、変化量dhは、指の拡大ボタン52a又は縮小ボタン52bにタッチした回数の関数として規定される。なお、変化量dhは、指の拡大ボタン52a又は縮小ボタン52bに触れる時間の関数として規定してもよい。
例えば、左画像表示領域32において、ユーザがピンチアウト操作をすることにより、タッチパネル上の指F4とF5間の距離を1cm変化させると、表示範囲は、10倍拡大し、一方、右画像表示領域33において、ユーザが拡大ボタン52aを1回タッチすると、表示範囲は、1.1倍拡大するように、変化量dgとdhは、規定される。
このように、ユーザは、左画像表示領域32においてピンチインあるいはピンチアウト操作をすることにより表示範囲を大きくズームさせる粗ズームと、右画像表示領域33のズームボタン51をタッチして表示範囲を小さくズームさせる微ズームとが可能である。
なお、本実施の形態においては、左画像表示領域32を粗ズーム領域とし、右画像表示領域33を微ズーム領域としているが、これとは逆に、右画像表示領域33を微ズーム領域とし、右画像表示領域33を粗ズーム領域としてもよい。その場合、ユーザが右画像表示領域33をタッチ操作することにより右画像表示領域33が粗ズーム領域として選択され、右画像表示領域33以外の領域(左画像表示領域32等)に表示範囲を微ズームさせるためのズームボタン51が配置される。
さらに、本実施の形態においては、左画像表示領域32におけるピンチインあるいはピンチアウト操作により粗ズームがなされ、かつ右画像表示領域33におけるズームボタン51により微ズームがなされるが、これとは逆に、左画像表示領域32におけるピンチインあるいはピンチアウト操作により微ズームがなされ、かつ右画像表示領域33におけるズームボタン51により粗ズームがなされてもよい。この場合、例えば、ユーザが、左画像表示領域32において、ピンチアウト操作をすることによりF4とF5間の距離を1cm変化させると表示範囲は1.1倍拡大し、一方、右画像表示領域33において、拡大ボタン52aを1回タッチすると表示範囲は10倍拡大するように、変化量dgとdhは、規定される。この構成によれば、ユーザは、拡大ボタン52aによる表示範囲の迅速なズームが可能であり、ピンチインあるいはピンチアウト操作による表示範囲の正確なズームが可能である。
次に、本実施の形態の内視鏡装置1の動作について説明する。図13は、ステレオ計測モード時における、ズーム表示処理の流れの例を示すフローチャートである。なお、図13において、図3と同じ処理については、同じステップ番号を付して説明は省略する。
ステレオ計測モードが設定されると(S2:YES)、制御部12は、左眼画像用ズーム変化量である変化量dgと、右眼画像用ズーム変化量である変化量dhとの情報をROM12Bから読み出す(S51)。
制御部12は、タッチパネル14bに対する所定の操作があったか否かを判定する(S52)。タッチパネル14bに対する所定の操作がなければ、処理は、S52aに移る。所定の操作とは、ここでは、上述したピンチインあるいはピンチアウト操作である。
S52から処理がS1に戻る際、制御部12は、既にズームボタン51が表示されているかどうかの判定を行い、既にズームボタン51が表示されており、かつズームボタン51の表示が開始されてから所定時間が経過している場合には、ズームボタン51を非表示にする(S52a)。
具体的には、S52aの処理は、ズームボタン51が表示されていない場合と、後述するS55の処理により、既にズームボタン51が表示されている場合とで異なる。S52aにおいて、制御部12は、既にズームボタン51が表示されているかどうかの判定を行い、既にズームボタン51が表示されており、かつズームボタン51の所定の表示時間が経過している場合には、ズームボタン51を非表示にする(S52a)。S52aの後、処理は、S1に戻る。
S52において、タッチパネル14bに対してピンチインあるいはピンチアウト操作が行われると、制御部12は、その操作が、左画像表示領域32内のピンチインあるいはピンチアウト操作であるかを判定する(S53a)。
S53aにおける操作が左画像表示領域32内のピンチインあるいはピンチアウト操作であるとき(S53a:YES)、制御部12は、変化量dgに基づいて、左画像表示領域32内の2本の指F4とF5間の距離の変化量から左画像表示領域32のズーム処理を行う(S54)。ピンチイン操作のときは、左画像表示領域32の縮小処理が行われ、ピンチアウト操作のときは、左画像表示領域32の拡大処理が行われる。
続いて、制御部12は、ズームボタン51の表示に関する処理を行うが、この処理は、初回の処理等によりズームボタン51が表示されていない場合と、2回目以降の処理で既にズームボタン51が表示されている場合とで異なる。初回の処理等によりズームボタン51が表示されていない場合は、右画像表示領域33の右下に右画像表示領域33の枠線部54を跨いでズームボタンを重畳表示する。2回目以降の処理で既にズームボタン51が表示されている場合は、表示時間を延長するように更新する(S55)。
S55の処理の後、制御部12は、左画像表示領域32のズーム量分だけ右画像表示領域33をズームする(S56)。その結果、左画像表示領域32と同じ量だけ、右画像表示領域33もズームされる。
制御部12は、右画像表示領域33をズームした後、左画像表示領域32の表示範囲に対応した、右画像表示領域33の表示範囲をマッチング処理により再計算する(S57)。
S57の後、制御部12は、再計算により補正された右画像表示領域33の表示範囲を再表示する(S58)。
なお、ここでは、右画像表示領域33の表示範囲の再計算は、右画像表示領域33のズームをした後行われている(S56)が、S56において、右画像表示領域33の表示範囲の再計算による補正をしながら、右画像表示領域33をズーム処理してもよい。
S58の後、処理は、S52に戻る。
S53aにおける操作が左画像表示領域32内のピンチインあるいはピンチアウト操作でないとき(S53a:NO)、制御部12は、さらに、S53aにおける操作が右画像表示領域33のズームボタン51における拡大ボタン52a又は縮小ボタン52bのタッチ操作であるか判定する(S53b)。S53bにおける操作が右画像表示領域33の拡大ボタン52a又は縮小ボタン52bのタッチ操作でないとき(S53b:NO)、処理は、S52に戻る。
一方、S53bにおける操作が右画像表示領域33の拡大ボタン52a又は縮小ボタン52bのタッチ操作であるとき(S53b:YES)、処理は、S59に進む。
制御部12は、拡大ボタン52a又は縮小ボタン52bのどちらがタッチ操作されたかを判定し、変化量dhに基づいて、拡大ボタン52aがタッチ操作されたときは左画像表示領域32の表示範囲を拡大させ、縮小ボタン52bがタッチ操作されたときは左画像表示領域32を縮小させる(S59)。
右画像表示領域33のズームボタン51がタッチされた後、制御部12は、ズームボタン51の表示時間を延長するように更新する(S60)。
S60の後、処理はS56へ進む。
図13の処理は、ユーザがメニュー画面上でステレオ計測処理モードの終了を指示すると、処理は、終了する。
以上のように、S54からS60の処理が、左画像表示領域32が選択されているときに、ピンチインあるいはピンチアウト操作等のズーム操作の操作指示を受けると、左画像表示領域32及び右画像表示領域33の表示範囲を変化量dgだけ変化させ、右画像表示領域33が選択されているときに、ズームボタン51のタッチ操作等の操作指示を受けると、左画像表示領域32及び右画像表示領域33の表示範囲を変化量dgとは異なる変化量dhだけ変化させるように表示制御を行う表示制御部を構成する。
上述した例では、変化量dgは変化量dhよりも大きく設定されているため、図13の処理が繰り返されることによって、ユーザは、左画像表示領域32内でピンチインあるいはピンチアウト操作をすることによる左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を大きく変化させる粗ズームと、右画像表示領域33のズームボタン51をタッチ操作することによる左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を小さく変化させる微ズームとを、それぞれ1回以上繰り返すことができる。よって、ユーザは、左画像表示領域32の表示範囲と右画像表示領域33の表示範囲を所望の大きさに迅速かつ正確にズームさせることができる。
次に上述した4つの実施の形態の変形例について説明する。
(変形例1)
上述した第1の実施の形態及び第3の実施の形態の内視鏡装置1では、計測点の指定のみが可能であるが、第2の実施の形態のズーム表示処理も同時にできるようにしてもよい。
ユーザが、計測点を指定するとき、内視鏡画像の一旦ズームアウトしてから、計測したい領域を確認したり、内視鏡画像のズームインをして拡大してから、計測点を指定したい場合もある。
よって、内視鏡装置1において、上述した第1の実施の形態又は第3の実施の形態のカーソル表示処理と、第2の実施の形態のズーム処理又は第4の実施の形態のズーム処理の両方ができるようにしてもよい。
なお、その場合、変化量da,db,de,dfは、内視鏡画像のズーム量に応じて異なるようにしてもよい。
(変形例2)
上述した4つの実施の形態では、ステレオ計測モード時に、カーソル表示処理あるいはズーム処理が実行されるが、ステレオ計測モードでない他のモードの時に、2つの画像表示領域に同じ内視鏡画像を表示しているときにも、上述したカーソル表示処理あるいはズーム処理を実行するようにしてもよい。例えば、同じ内視鏡画像上で、ある点を迅速かつ正確に指定したり、ある点に迅速かつ正確にマークを付けたり、ズームを迅速かつ正確にする場合にも便利である。
(変形例3)
上述した4つの実施の形態では、内視鏡装置1は、表示部14に2つの画像表示領域を表示するが、3つ以上の画像表示領域を表示するようにしてもよい。その場合、複数の画像表示領域間で、カーソルの変化量、ズーム時の変化量が異なっている。
上述した左画像表示領域32と右画像表示領域33に加えて、第3の画像表示領域を表示したときに、その第3の画像表示領域の表示倍率が、左画像表示領域32と右画像表示領域33の表示倍率と異なっているときは、その第3の画像表示領域における点の移動量あるいはズーム量は、左画像表示領域32と右画像表示領域33における点の移動量あるいはズーム量とは異なる。
(変形例4)
上述した4つの実施の形態では、上述したカーソルの移動操作及びズーム操作はタッチパネルを利用しているが、計測点指定操作は、操作部15のジョイスティックを用いて行い、ズーム操作は、操作部15に設けられたズーム操作ボタンを用いて行うようにしてもよい。ジョイスティックは、傾倒させる方向によって、方向の指定をすることができる。
上述した第1の実施の形態において、左画像表示領域32上のカーソル35aをドラッグ操作するとき、指Fが左画像表示領域32を超えて移動してしまったり、右画像表示領域33上のカーソル35bをドラッグ操作するとき、指Fが右画像表示領域33を超えて移動してしまったりする場合には、最初に指Fが触れた画像表示領域を超えてドラッグ操作が行われているときには、最初に指Fが触れた画像表示領域用の変化量の値を引き続き使用して、カーソル35aと35bの移動を行うようにしてもよいことを述べた。
本変形例4におけるジョイスティックを用いた場合には、ジョイスティックの傾倒操作が開始されたときの画像表示領域を超えて傾倒操作が行われているときには、その傾倒操作が開始されたときの画像表示領域用の変化量の値を引き続き使用して、カーソル35aと35bの移動を行う。
(変形例5)
上述した4つの実施の形態では、左画像表示領域32ではカーソル35aが大きく移動しあるいはズーム量が大きく、右画像表示領域33ではカーソル35bは小さく移動しあるいはズーム量は小さいが、左画像表示領域32ではカーソル35aが小さく移動しあるいはズーム量が小さく、右画像表示領域33ではカーソル35bは大きく移動しあるいはズーム量が大きいようにしてもよい。
(変形例6)
上述した4つの実施の形態では、左画像表示領域32と右画像表示領域33の、LCD14a上の位置は、固定されているが、左画像表示領域32と右画像表示領域33の位置を逆にしたり、戻したりすることができるようにしてもよい。すなわち、2つの画像表示領域32と33を表示部14のLCD14a上で左右を、所定の操作に応じて、入れ替えることができるようにしてもよい。
例えば、対面する2名の検査者が、内視鏡装置の1つの表示部に表示された画像を見る場合がある。そのため、内視鏡装置には、表示部の画面の向きを180度変更(すなわち反転)できるものがある。その内視鏡装置では、表示部の画面の向きが180度変更(すなわち反転)されたときに、表示部の画面の上下方向が逆になる。
よって、このような表示部の画面の向きが反転されたときには、左右の画像表示領域を入れ替えることができるようにしてもよい。
(変形例7)
上述した4つの実施の形態では、各変化量da,db,dc,dd,df,dg,dhのデータは、ROM12bに記憶されているが、メモリカードなどに記憶して、メモリカードI/F17を介して読み出してもよい。メモリカードが、書き換え可能なメモリ、例えばフラッシュメモリであれば、各変化量da,db,dc,dd,df,dg,dhの値をユーザが変更できるようにしてもよい。
(変形例8)
上述した第3の実施の形態では、移動ボタンは、右画像表示領域又は左画像表示領域をタッチ操作することにより表示され、所定時間経過後に非表示とされるが、移動ボタンを表示又は非表示とさせる切替ボタンを備えた構成としてもよい。この構成によれば、ユーザは、移動ボタンの表示又は非表示の切換えが自在であり、移動ボタンの操作性を向上させ、ひいては、内視鏡画像において計測点などの位置の指定を少ない操作回数で迅速に行うことができる。また、移動ボタンを表示するように切替えた場合でも、タッチ操作中は移動ボタンを自動で非表示することで、移動中に移動ボタンが移動の妨げにならないようにする。
(変形例9)
上述した第4の実施の形態では、ズームボタンは、右画像表示領域又は左画像表示領域をタッチ操作することにより表示され、所定時間経過後に非表示とされるが、ズームボタンを表示又は非表示とさせる切替ボタンを備えた構成としてもよい。この構成によれば、ユーザは、ズームボタンの表示又は非表示の切換えが自在であり、ズームボタンの操作性を向上させ、ひいては、内視鏡表示の表示範囲の変更を少ない操作回数で迅速に行うことができる。また、ズームボタンを表示するように切替えた場合でも、タッチ操作中はズームボタンを自動で非表示することで、ズームボタンが妨げにならないようにする。
(変形例10)
上述した4つの実施の形態では、内視鏡装置を例に挙げて説明したが、パーソナルコンピュータ等の装置において、記録された内視鏡画像に対して、2つの画像表示領域を表示させて、上述したような計測点の指定、表示範囲の拡大縮小を行う場合にも、上述した各実施の形態は適用可能である。その場合、パーソナルコンピュータ等の装置が、内視鏡画像表示装置を構成する。
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに1対1には対応しない。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1 内視鏡装置、2 内視鏡、3 装置本体、4 光学アダプタ、12 制御部、13
映像信号処理回路、14 表示部、14a 液晶表示器、14b タッチパネル、15
操作部、19 音声信号処理回路、20 スピーカ、21 マイク、31 画面、32
左画像表示領域、33 右画像表示領域、35a カーソル、35b カーソル
41 移動ボタン、51 ズームボタン。

Claims (23)

  1. 内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置と、
    前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択する選択部と、
    前記選択部により前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記選択部により前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う表示制御部と、を有することを特徴とする内視鏡画像表示装置。
  2. 前記第1の画像表示領域に表示される第1の内視鏡画像と前記第2の画像表示領域に表示される第2の内視鏡画像は、互いに視差を有することを特徴とする請求項1に記載の内視鏡画像表示装置。
  3. 前記第1の内視鏡画像と前記第2の内視鏡画像は、ステレオ計測用の左右の内視鏡画像であることを特徴とする請求項2に記載の内視鏡画像表示装置。
  4. 前記表示制御部は、内視鏡装置がステレオ計測モードになると、前記表示制御を実行することを特徴とする請求項1から3のいずれか1つに記載の内視鏡画像表示装置。
  5. 前記第1の画像表示領域に表示される第1の内視鏡画像と前記第2の画像表示領域に表示される第2の内視鏡画像は、同じ画像であることを特徴とする請求項1に記載の内視鏡画像表示装置。
  6. 前記表示装置は、タッチパネル付きであり、
    前記第1の操作指示及び前記第2の操作指示は、前記タッチパネルへのタッチによる指示であることを特徴とする請求項1から5のいずれか1つに記載の内視鏡画像表示装置。
  7. 方向を指定することができる操作部を有し、
    前記第1の操作指示及び前記第2の操作指示は、前記操作部における前記方向の指定であることを特徴とする請求項1から5のいずれか1つに記載の内視鏡画像表示装置。
  8. 前記操作部は、ジョイスティックであることを特徴とする請求項7に記載の内視鏡画像表示装置。
  9. 前記表示制御部は、前記第1の画像表示領域が選択されているときになされた前記第1の操作指示が前記第1の画像表示領域を超えた領域においても継続しているときには、継続して前記マークの位置を前記第1の変化量に基づいて変化し、前記第2の画像表示領域が選択されているときになされた前記第2の操作指示が前記第2の画像表示領域を超えた領域においても継続しているときには、継続して前記マークの位置を前記第2の変化量に基づいて変化することを特徴とする請求項1から8のいずれか1つに記載の内視鏡画像表示装置。
  10. 前記第2の操作指示は、前記第1の画像表示領域以外の領域に配置される指示ボタンにより指示されることを特徴とする請求項1から9のいずれか1つに記載の内視鏡画像表示装置。
  11. 前記指示ボタンは、表示・非表示を切り替えできることを特徴とする請求項10に記載の内視鏡画像表示装置。
  12. 前記指示ボタンは、前記非表示中に前記第1の操作指示をすると表示されることを特徴とする請求項11に記載の内視鏡画像表示装置。
  13. 前記指示ボタンは、前記第2の操作指示をしてから所定の表示時間経過後に非表示となることを特徴とする請求項10に記載の内視鏡画像表示装置。
  14. 前記指示ボタンは、位置の決定を指示すると非表示になることを特徴とする請求項10に記載の内視鏡画像表示装置。
  15. 前記指示ボタンは、移動を指示するボタンを有することを特徴とする請求項10から14のいずれか1つに記載の内視鏡画像表示装置。
  16. 前記指示ボタンは、前記マークの妨げにならない位置に表示することを特徴とする請求項10から15のいずれか1つに記載の内視鏡画像表示装置。
  17. 前記第1の変化量は、前記第1の操作指示により指示された位置と、前記第1の画像表示領域に表示されている前記マークの位置との差分の量であり、
    前記第1の操作指示を受けると、前記第1の画像表示領域に表示されている前記マークの位置を、前記第1の操作指示で指示された位置に変化させ、
    ることを特徴とする請求項15又は16に記載の内視鏡画像表示装置。
  18. 前記指示ボタンは、ズームを指示するボタンを有することを特徴とする請求項10から14のいずれか1つに記載の内視鏡画像表示装置。
  19. 前記第1の操作指示は、前記タッチパネル上における、2本の指の間の距離を小さくするピンチイン操作によるズームアウト操作、又は2本の指の間の距離を大きくするピンチアウト操作によるズームイン操作によって指示され、
    前記第1の操作指示を受けると、前記第1の画像表示領域に表示されている画像の表示範囲を前記第1の変化量だけ変化させる、
    ことを特徴とする請求項18に記載の内視鏡画像表示装置。
  20. 前記表示制御部は、前記マークの位置あるいは前記画像の表示範囲を変化させるときあるいは変化された後に、マッチング処理により前記マークの位置あるいは前記画像の表示範囲を再計算することを特徴とする請求項1から19のいずれか1つに記載の内視鏡画像表示装置。
  21. 前記内視鏡画像表示装置は、内視鏡装置であることを特徴とする請求項1から20のいずれか1つに記載の内視鏡画像表示装置。
  22. 内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置における前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択し、
    前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う、ことを特徴とする内視鏡画像表示方法。
  23. 内視鏡画像を表示するための第1の画像表示領域と第2の画像表示領域を有する表示装置における前記第1の画像表示領域と前記第2の画像表示領域を表示するためのプログラムであって、
    前記第1の画像表示領域と前記第2の画像表示領域のいずれか1つを選択する機能と、
    前記第1の画像表示領域が選択されているときに、第1の操作指示を受けると、前記第1の画像表示領域では、前記第1の画像表示領域及び前記第2の画像表示領域に表示されているマークの位置又は画像の表示範囲を第1の変化量だけ変化させ、前記第2の画像表示領域が選択されているときに、第2の操作指示を受けると、前記第2の画像表示領域では、前記第1の画像表示領域及び前記第2の画像表示領域に表示されている前記マークの位置又は前記画像の表示範囲を前記第1の変化量とは異なる第2の変化量だけ変化させるように表示制御を行う機能と、をコンピュータに実現させるための内視鏡画像表示プログラム。
JP2015051181A 2014-04-17 2015-03-13 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム Active JP6485831B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015051181A JP6485831B2 (ja) 2014-04-17 2015-03-13 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
PCT/JP2016/051845 WO2016147697A1 (ja) 2015-03-13 2016-01-22 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
US15/700,354 US10419705B2 (en) 2015-03-13 2017-09-11 Endoscope image display apparatus, endoscope image display method and endoscope image display program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014085819 2014-04-17
JP2014085819 2014-04-17
JP2015051181A JP6485831B2 (ja) 2014-04-17 2015-03-13 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2015211824A JP2015211824A (ja) 2015-11-26
JP6485831B2 true JP6485831B2 (ja) 2019-03-20

Family

ID=56932202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015051181A Active JP6485831B2 (ja) 2014-04-17 2015-03-13 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム

Country Status (3)

Country Link
US (1) US10419705B2 (ja)
JP (1) JP6485831B2 (ja)
WO (1) WO2016147697A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112352418B (zh) * 2018-06-27 2023-11-21 富士胶片株式会社 摄像装置、摄像方法
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
JP7187286B2 (ja) * 2018-11-29 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02119836A (ja) * 1988-10-28 1990-05-07 Olympus Optical Co Ltd 立体内視鏡装置
JP2002315753A (ja) * 2001-04-20 2002-10-29 Olympus Optical Co Ltd 画像診断装置
JP4885479B2 (ja) * 2004-10-12 2012-02-29 オリンパス株式会社 計測用内視鏡装置及び内視鏡用プログラム
JP2006226820A (ja) 2005-02-17 2006-08-31 Hcx:Kk ナビゲーション装置
US7443488B2 (en) 2005-05-24 2008-10-28 Olympus Corporation Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
JP5199594B2 (ja) * 2006-03-24 2013-05-15 オリンパス株式会社 画像計測装置および方法
ATE546755T1 (de) * 2007-10-30 2012-03-15 Olympus Corp Endoskopvorrichtung
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
JP5361592B2 (ja) * 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
JP5391917B2 (ja) * 2009-08-10 2014-01-15 株式会社ニコン ヘッドマウントディスプレイ
JP5437087B2 (ja) * 2010-01-15 2014-03-12 オリンパス株式会社 内視鏡装置およびプログラム
US20140066703A1 (en) * 2010-06-18 2014-03-06 Vantage Surgical Systems Inc. Stereoscopic system for minimally invasive surgery visualization
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
JP2013137466A (ja) * 2011-12-28 2013-07-11 Olympus Corp 内視鏡画像処理装置及び内視鏡画像処理用プログラム
JP2013218517A (ja) * 2012-04-09 2013-10-24 Panasonic Corp 入出力装置

Also Published As

Publication number Publication date
US10419705B2 (en) 2019-09-17
WO2016147697A1 (ja) 2016-09-22
US20180013973A1 (en) 2018-01-11
JP2015211824A (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6048898B2 (ja) 情報表示装置、情報表示方法および情報表示プログラム
US10666854B2 (en) Bending operation control for endoscope
US20110074716A1 (en) Image displaying device, image displaying method, and program for displaying images
US20160120508A1 (en) Ultrasound diagnosis apparatus and control method thereof
JPWO2008035489A1 (ja) ナビゲーションシステムおよび同システムにおける操作ガイダンス表示方法
EP2180400A2 (en) Image processing apparatus, image processing method, and program
US10419705B2 (en) Endoscope image display apparatus, endoscope image display method and endoscope image display program
JPWO2007135835A1 (ja) 画像操作装置、画像操作方法、及び画像操作プログラム
JP2014067194A (ja) 情報処理装置及びその制御方法、並びにプログラムと記憶媒体
KR102103957B1 (ko) 플렉서블 디스플레이 장치의 표시 영역 제어 방법, 장치 및 이를 기록한 기록매체
JP2015208602A (ja) 画像表示装置及び画像表示方法
JP5350003B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP2014063448A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2016220830A (ja) 医用画像表示装置及び超音波診断装置
JP2019170853A (ja) タッチパネル装置、湾曲制御プログラム、湾曲制御プログラムを記録した記録媒体、及び、内視鏡の湾曲制御方法
US8731824B1 (en) Navigation control for a touch screen user interface
JP6222896B2 (ja) 表示制御装置、その制御方法、およびプログラム
JP2007316452A (ja) 観察装置および観察装置の画面表示方法
WO2013099305A1 (ja) 内視鏡画像処理装置、内視鏡画像上の位置の指定方法及び記憶媒体
JP6429541B2 (ja) 内視鏡画像表示装置、内視鏡画像表示装置の作動方法、内視鏡画像表示プログラム
JP6373710B2 (ja) 図形処理装置および図形処理プログラム
JP6526851B2 (ja) 図形処理装置および図形処理プログラム
US20210008709A1 (en) Control apparatus, control method, and master-slave system
WO2017038321A1 (ja) 内視鏡装置及び内視鏡装置の表示変更制御方法
KR20160052305A (ko) 초음파 진단 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190213

R151 Written notification of patent or utility model registration

Ref document number: 6485831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250