JPWO2021038789A5 - 画像処理方法、制御装置、および内視鏡システム - Google Patents
画像処理方法、制御装置、および内視鏡システム Download PDFInfo
- Publication number
- JPWO2021038789A5 JPWO2021038789A5 JP2021541898A JP2021541898A JPWO2021038789A5 JP WO2021038789 A5 JPWO2021038789 A5 JP WO2021038789A5 JP 2021541898 A JP2021541898 A JP 2021541898A JP 2021541898 A JP2021541898 A JP 2021541898A JP WO2021038789 A5 JPWO2021038789 A5 JP WO2021038789A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- processing method
- processing
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 46
- 230000003287 optical effect Effects 0.000 claims description 10
Description
本発明は、画像処理方法、制御装置、および内視鏡システムに関する。
本発明は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる画像処理方法、制御装置、および内視鏡システムを提供することを目的とする。
本発明の第1の態様によれば、画像処理方法は、互いに視差を有する第1の画像および第2の画像を取得し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。
本発明の第2の態様によれば、第1の態様において、前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であってもよい。前記観察対象の少なくとも一部が前記第2の画像の前記第1の領域に写っていてもよい。前記道具の少なくとも一部が前記第2の画像の前記第2の領域に写っていてもよい。
本発明の第3の態様によれば、第1の態様において、前記画像処理方法は、前記第1の画像および前記第2の画像に基づいて表示される立体画像において視点と前記道具の光学像との間の距離が大きくなるように、前記処理領域の視差量を変更してもよい。
本発明の第4の態様によれば、第1の態様において、前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含んでもよい。前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含んでもよい。前記第1の画像および前記第2の画像の各々の前記第1の領域の形状は、円、楕円、および多角形のいずれか1つであってもよい。
本発明の第5の態様によれば、第1の態様において、前記画像処理方法は、前記処理領域の光学像が平面になるように前記視差量を変更してもよい。
本発明の第6の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記画像処理方法は、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更してもよい。前記2つ以上の点が移動する距離は、互いに等しくてもよい。
本発明の第7の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記画像処理方法は、前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更してもよい。前記2つ以上の画素の各々と前記第1の領域との間の距離が大きいほど、前記2つ以上の点の各々が移動する距離は大きくてもよい。
本発明の第8の態様によれば、第1の態様において、前記処理領域は2つ以上の画素を含んでもよい。前記画像処理方法は、視点と、前記2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように前記視差量を変更してもよい。
本発明の第9の態様によれば、第2の態様において、前記画像処理方法は、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記処理領域を設定してもよい。
本発明の第10の態様によれば、第2の態様において、前記画像処理方法は、前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出してもよい。前記画像処理方法は、前記道具が検出された領域を前記処理領域として設定してもよい。
本発明の第11の態様によれば、第2の態様において、前記画像処理方法は、前記領域設定ステップにおいて、前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
本発明の第12の態様によれば、第2の態様において、前記画像処理方法は、前記観察対象を前記第1の画像および前記第2の画像の少なくとも一方から検出してもよい。前記画像処理方法は、前記観察対象が検出された領域を前記第1の領域とみなし、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
本発明の第13の態様によれば、第1の態様において、前記画像処理方法は、観察者によって入力装置に入力された情報に基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定してもよい。
本発明の第14の態様によれば、第1の態様において、前記画像処理方法は、前記処理領域の前記視差量が変更された画像を含む前記第1の画像および前記第2の画像を、前記第1の画像および前記第2の画像に基づいて立体画像を表示する表示装置と、前記表示装置に前記第1の画像および前記第2の画像を出力する通信装置との一方に出力してもよい。
本発明の第15の態様によれば、第14の態様において、前記画像処理方法は、第1のモードおよび第2のモードの一方を選択してもよい。前記第1のモードが選択された場合、前記画像処理方法は、前記視差量を変更し、前記第1の画像および前記第2の画像を前記表示装置と前記通信装置の一方に出力してもよい。前記第2のモードが選択された場合、前記画像処理方法は、前記視差量を変更せずに前記第1の画像および前記第2の画像を前記表示装置と前記通信装置の一方に出力してもよい。
本発明の第16の態様によれば、第15の態様において、前記画像処理方法は、観察者によって入力装置に入力された情報に基づいて前記第1のモードおよび前記第2のモードの一方を選択してもよい。
本発明の第17の態様によれば、第15の態様において、前記画像処理方法は、前記第1の画像および前記第2の画像を生成する撮像素子の動きの状態を検出してもよい。前記画像処理方法は、前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択してもよい。
本発明の第18の態様によれば、第15の態様において、前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であってもよい。前記観察対象の少なくとも一部が前記第2の画像の前記第1の領域に写っていてもよい。前記道具の少なくとも一部が前記第2の画像の前記第2の領域に写っていてもよい。前記画像処理方法は、前記道具を前記第1の画像および前記第2の画像の少なくとも一方において探索してもよい。前記画像処理方法は、前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できた場合、前記第1のモードを選択してもよい。前記画像処理方法は、前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できなかった場合、前記第2のモードを選択してもよい。
本発明の第19の態様によれば、制御装置は、ハードウェアから構成されるプロセッサを有し、前記プロセッサは、互いに視差を有する第1の画像および第2の画像を取得し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。
本発明の第20の態様によれば、内視鏡システムは、互いに視差を有する第1の画像および第2の画像を取得する内視鏡と、ハードウェアから構成されるプロセッサを有する制御装置と、を備え、前記プロセッサは、前記第1の画像および前記第2の画像を前記内視鏡から取得し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する。
上記の各態様によれば、画像処理方法、制御装置、および内視鏡システムは、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
本発明の各実施形態によれば、画像処理方法、制御装置、および内視鏡システムは、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
Claims (20)
- 互いに視差を有する第1の画像および第2の画像を取得し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、
前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する
画像処理方法。 - 前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であり、
前記観察対象の少なくとも一部が前記第2の画像の前記第1の領域に写っており、
前記道具の少なくとも一部が前記第2の画像の前記第2の領域に写っている
請求項1に記載の画像処理方法。 - 前記第1の画像および前記第2の画像に基づいて表示される立体画像において視点と前記道具の光学像との間の距離が大きくなるように、前記処理領域の視差量を変更する請求項2に記載の画像処理方法。
- 前記第1の画像の前記第2の領域は前記第1の画像の少なくとも1つの端部を含み、
前記第2の画像の前記第2の領域は前記第2の画像の少なくとも1つの端部を含み、
前記第1の画像および前記第2の画像の各々の前記第1の領域の形状は、円、楕円、および多角形のいずれか1つである請求項1に記載の画像処理方法。 - 前記処理領域の光学像が平面になるように前記視差量を変更する
請求項1に記載の画像処理方法。 - 前記処理領域は2つ以上の画素を含み、
前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更し、
前記2つ以上の点が移動する距離は、互いに等しい
請求項1に記載の画像処理方法。 - 前記処理領域は2つ以上の画素を含み、
前記2つ以上の画素に対応する光学像の2つ以上の点が、視点から遠ざかる方向に移動するように前記視差量を変更し、
前記2つ以上の画素の各々と前記第1の領域との間の距離が大きいほど、前記2つ以上の点の各々が移動する距離は大きい
請求項1に記載の画像処理方法。 - 前記処理領域は2つ以上の画素を含み、
視点と、前記2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように前記視差量を変更する
請求項1に記載の画像処理方法。 - 前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記処理領域を設定する請求項2に記載の画像処理方法。
- 前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出し、
前記道具が検出された領域を前記処理領域として設定する
請求項2に記載の画像処理方法。 - 前記第1の画像および前記第2の画像を生成する撮像素子を有する画像生成装置の種類と前記道具の種類と撮像倍率との少なくとも1つに基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定する請求項2に記載の画像処理方法。
- 前記観察対象を前記第1の画像および前記第2の画像の少なくとも一方から検出し、
前記観察対象が検出された領域を前記第1の領域とみなし、かつ前記第1の領域を除く領域を前記処理領域として設定する
請求項2に記載の画像処理方法。 - 観察者によって入力装置に入力された情報に基づいて前記第1の領域の位置を判断し、かつ前記第1の領域を除く領域を前記処理領域として設定する請求項1に記載の画像処理方法。
- 前記処理領域の前記視差量が変更された画像を含む前記第1の画像および前記第2の画像を、前記第1の画像および前記第2の画像に基づいて立体画像を表示する表示装置と、前記表示装置に前記第1の画像および前記第2の画像を出力する通信装置との一方に出力する請求項1に記載の画像処理方法。
- 第1のモードおよび第2のモードの一方を選択し、
前記第1のモードが選択された場合、前記視差量を変更し、前記第1の画像および前記第2の画像を前記表示装置と前記通信装置の一方に出力し、前記第2のモードが選択された場合、前記視差量を変更せずに前記第1の画像および前記第2の画像を前記表示装置と前記通信装置の一方に出力する
請求項14に記載の画像処理方法。 - 観察者によって入力装置に入力された情報に基づいて前記第1のモードおよび前記第2のモードの一方を選択する
請求項15に記載の画像処理方法。 - 前記第1の画像および前記第2の画像を生成する撮像素子の動きの状態を検出し、
前記状態に基づいて前記第1のモードおよび前記第2のモードの一方を選択する
請求項15に記載の画像処理方法。 - 前記第1の画像および前記第2の画像は、観察対象と、前記観察対象に処置を施す道具との画像であり、
前記観察対象の少なくとも一部が前記第2の画像の前記第1の領域に写っており、
前記道具の少なくとも一部が前記第2の画像の前記第2の領域に写っており、
前記道具を前記第1の画像および前記第2の画像の少なくとも一方において探索し、
前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できた場合、前記第1のモードを選択し、
前記道具を前記第1の画像および前記第2の画像の少なくとも一方から検出できなかった場合、前記第2のモードを選択する
請求項15に記載の画像処理方法。 - ハードウェアから構成されるプロセッサを有し、
前記プロセッサは、
互いに視差を有する第1の画像および第2の画像を取得し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、
前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する
制御装置。 - 互いに視差を有する第1の画像および第2の画像を取得する内視鏡と、
ハードウェアから構成されるプロセッサを有する制御装置と、
を備え、
前記プロセッサは、
前記第1の画像および前記第2の画像を前記内視鏡から取得し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の一方の中心を含み所定の形状を持つ第1の領域を設定し、
前記第1の画像および前記第2の画像の各々に、前記第1の画像および前記第2の画像の各々の前記第1の領域の外周を囲む第2の領域を設定し、
前記第1の画像および前記第2の画像の少なくとも一方における前記第2の領域を含む処理領域に画像処理を施し、前記処理領域の視差量を変更する
内視鏡システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/033893 WO2021038789A1 (ja) | 2019-08-29 | 2019-08-29 | 画像処理方法および画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021038789A1 JPWO2021038789A1 (ja) | 2021-03-04 |
JPWO2021038789A5 true JPWO2021038789A5 (ja) | 2022-04-27 |
JP7375022B2 JP7375022B2 (ja) | 2023-11-07 |
Family
ID=74685317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541898A Active JP7375022B2 (ja) | 2019-08-29 | 2019-08-29 | 画像処理装置の作動方法、制御装置、および内視鏡システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220182538A1 (ja) |
JP (1) | JP7375022B2 (ja) |
CN (1) | CN114269218A (ja) |
WO (1) | WO2021038789A1 (ja) |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3702243B2 (ja) * | 2002-03-27 | 2005-10-05 | 三洋電機株式会社 | 立体画像処理方法および装置 |
JP2006178900A (ja) * | 2004-12-24 | 2006-07-06 | Hitachi Displays Ltd | 立体画像生成装置 |
JP4737573B2 (ja) * | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
US8768044B2 (en) * | 2010-09-14 | 2014-07-01 | Texas Instruments Incorporated | Automatic convergence of stereoscopic images based on disparity maps |
JP5368399B2 (ja) * | 2010-09-17 | 2013-12-18 | 富士フイルム株式会社 | 電子アルバム生成装置および立体画像貼り付け装置ならびにそれらの動作制御方法およびそれらのプログラム |
JP5594477B2 (ja) * | 2011-01-26 | 2014-09-24 | Nltテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
US20130016187A1 (en) * | 2011-07-14 | 2013-01-17 | Texas Instruments Incorporated | Method and apparatus for auto-convergence for stereoscopic images and videos |
WO2013146067A1 (ja) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム |
JP6021215B2 (ja) * | 2012-06-13 | 2016-11-09 | パナソニックヘルスケアホールディングス株式会社 | 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム |
JP2014003465A (ja) * | 2012-06-19 | 2014-01-09 | Seiko Epson Corp | 画像表示装置及びその制御方法 |
JP2014175965A (ja) * | 2013-03-12 | 2014-09-22 | Panasonic Healthcare Co Ltd | 手術用カメラ |
JP5608803B1 (ja) * | 2013-10-03 | 2014-10-15 | オリンパス株式会社 | 撮影機器、撮影方法及び撮影制御プログラム |
JP2016131276A (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム |
WO2016181738A1 (ja) * | 2015-05-12 | 2016-11-17 | オリンパス株式会社 | 立体内視鏡装置 |
JP2017069926A (ja) * | 2015-10-02 | 2017-04-06 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6828695B2 (ja) * | 2016-02-12 | 2021-02-10 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
WO2017145531A1 (ja) * | 2016-02-24 | 2017-08-31 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
WO2017199285A1 (ja) * | 2016-05-16 | 2017-11-23 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
US10477178B2 (en) * | 2016-06-30 | 2019-11-12 | Massachusetts Institute Of Technology | High-speed and tunable scene reconstruction systems and methods using stereo imagery |
WO2018211590A1 (ja) * | 2017-05-16 | 2018-11-22 | オリンパス株式会社 | 内視鏡のための画像処理装置及び内視鏡システム |
JP2019029876A (ja) * | 2017-07-31 | 2019-02-21 | パナソニックIpマネジメント株式会社 | 画像処理装置、カメラ装置及び出力制御方法 |
JP7294776B2 (ja) * | 2018-06-04 | 2023-06-20 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム |
-
2019
- 2019-08-29 CN CN201980099536.4A patent/CN114269218A/zh active Pending
- 2019-08-29 JP JP2021541898A patent/JP7375022B2/ja active Active
- 2019-08-29 WO PCT/JP2019/033893 patent/WO2021038789A1/ja active Application Filing
-
2022
- 2022-02-22 US US17/677,122 patent/US20220182538A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6826174B2 (ja) | 表示システムおよび方法 | |
JP6824285B2 (ja) | 眼画像の収集、選択および組み合わせ | |
JP3787939B2 (ja) | 立体映像表示装置 | |
JP5967597B2 (ja) | 画像表示装置および画像表示方法 | |
US9779478B1 (en) | Rendering composite content on a head-mounted display including a high resolution inset | |
JP2021144227A (ja) | 視線追跡情報に基づく画像領域内の適応パラメータ | |
US20190172222A1 (en) | Line-of-sight detection device | |
WO2018008232A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9607439B2 (en) | Information processing apparatus and information processing method | |
JP2016024273A (ja) | 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ | |
JP5409107B2 (ja) | 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム | |
JP2022533205A (ja) | 眼姿勢を推定するためのシステムおよび技法 | |
US20150116315A1 (en) | Information processing apparatus and method for controlling the same | |
JP5701140B2 (ja) | 立体内視鏡装置 | |
JP6736670B2 (ja) | 内視鏡システム | |
JP2021083919A5 (ja) | ||
JP6971590B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6509101B2 (ja) | 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 | |
JP2006185448A (ja) | 距離演算装置 | |
US10698218B1 (en) | Display system with oscillating element | |
WO2016157923A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2014119555A1 (ja) | 画像処理装置、表示装置及びプログラム | |
US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
JP2016152023A (ja) | 情報処理装置、情報処理方法、プログラム | |
JPWO2021038789A5 (ja) | 画像処理方法、制御装置、および内視鏡システム |