JP2024514432A - 連続自動焦点合わせモードを有する立体視撮像プラットフォーム - Google Patents
連続自動焦点合わせモードを有する立体視撮像プラットフォーム Download PDFInfo
- Publication number
- JP2024514432A JP2024514432A JP2023557393A JP2023557393A JP2024514432A JP 2024514432 A JP2024514432 A JP 2024514432A JP 2023557393 A JP2023557393 A JP 2023557393A JP 2023557393 A JP2023557393 A JP 2023557393A JP 2024514432 A JP2024514432 A JP 2024514432A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- controller
- sharpness
- target
- stereoscopic camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 67
- 238000000034 method Methods 0.000 description 61
- 238000010586 diagram Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052770 Uranium Inorganic materials 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
Abstract
立体視撮像プラットフォームは、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的に対して選択的に移動させるように適合される。立体視カメラは、少なくとも1つのレンズを有し、且つ作動距離を規定するレンズ組立体を含む。レンズ組立体は、少なくとも1つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも1つの焦点モータを有する。コントローラは、立体視カメラのための1つ以上の自動焦点合わせモードを選択的に実行するように適合される。自動焦点合わせモードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも1つの立体視画像の焦点を維持するように適合された連続自動焦点モードを含む。
Description
本開示は、概して、立体視撮像プラットフォームに関する。より具体的には、本開示は、ロボット支援立体視撮像プラットフォームにおける自動焦点合わせモードに関する。人体の様々な部位を撮像するために、様々な撮像モダリティが一般に用いられている。例えば、手術などの医療処置は、焦点が合った画像のリアルタイムでの取得を必要とする場合がある。自動焦点は、撮像デバイスにおけるレンズ組立体の一部分を適切に移動させることにより、場面内の関心の対象物に焦点に合わせる。しかしながら、立体視撮像デバイスにおいて自動焦点を実施することは、課題である。立体視撮像デバイスは、一般に、それぞれ別々の画像センサを有する複数のレンズを含む。レンズは、それぞれ他のレンズから僅かにシフトした場面の視野を有するように、例えば左のレンズから左画像を、右のレンズから右画像を有するように配置される。遠近法の違いにより、レンズの焦点合わせは、各レンズが同じ対象物に焦点を合わせるように連係される必要がある。そうでない場合、レンズは、場面における様々な対象物に同時に焦点を合わせて画質を低減させる場合がある。画像が取得されている間、立体視撮像デバイスが、撮像デバイス又はカメラを移動させることが可能なロボットシステムによって支援される場合、この課題は、より大きい。
本明細書では、標的部位を撮像するための立体視撮像プラットフォームが開示される。立体視撮像プラットフォームは、標的部位の少なくとも1つの立体視画像を生成するために、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的に対して選択的に移動させるように適合される。立体視カメラは、少なくとも1つのレンズを有し、且つ作動距離を規定するレンズ組立体を含む。レンズ組立体は、少なくとも1つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも1つの焦点モータを有する。コントローラは、立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、立体視カメラのための1つ以上の自動焦点合わせモードを選択的に実行するように適合される。自動焦点合わせモードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも1つの立体視画像の焦点を維持するように適合された連続自動焦点モードを含む。
コントローラは、初期カメラ位置からの立体視カメラの高さの変化を決定するように構成され、高さの変化は、軸方向に沿った立体視カメラの位置の変位として定義される。コントローラは、初期標的位置からの標的深さの変化を決定するように構成され、標的深さの変化は、軸方向に沿った標的部位の位置の変位として定義される。
標的深さの変化を決定することは、初期標的ディスパリティ値及び現在のディスパリティ値を含むディスパリティ信号を取得することと、コントローラを介して、閉ループ制御モジュールを実行して、現在のディスパリティ値と初期標的ディスパリティとの差を最小化することとを含む。標的深さの変化は、現在のディスパリティ値と初期標的ディスパリティとの差に基づき得る。
閉ループ制御モジュールは、比例微分制御モジュール、比例積分制御モジュール及び比例積分微分制御モジュールの少なくとも1つであり得る。閉ループ制御モジュールは、比例定数、積分定数及び微分定数を定義する比例積分微分制御モジュールであり得る。標的深さの変化は、[Kp(Rc-Rt)+Ki∫(Rc-Rt)dtーKd×dRc/dt]として決定され得、ここで、Rcは、現在のディスパリティ値であり、Rtは、初期標的ディスパリティ値であり、tは、時間であり、Kpは、比例定数であり、Kiは、積分定数であり、及びKdは、微分定数である。
コントローラは、左画像の識別可能領域を分離し、且つ右画像の第2の領域を分離することにより、ディスパリティ信号を取得するように構成され得る。第2の領域は、識別可能領域の座標を含み、且つ識別可能領域よりも大きい。画素オフセットを取得するためにテンプレートマッチが実施され、画素オフセットは、左画像における識別可能領域及び右画像における識別可能領域の水平方向変位である。ディスパリティ信号は、テンプレートマッチの最適場所における画素オフセットとして取得される。
コントローラは、立体視カメラの高さの変化及び標的深さの変化に部分的に基づき、更新された焦点距離を計算するように構成される。更新された焦点距離を計算することは、更新された焦点距離Fを、第1の変数Zbase、第2の変数z0及び第3の変数z3の関数として、
であるように取得することを含む。第1の変数Zbaseは、ロボットベースフレームにおける標的部位の現在の位置のそれぞれの軸方向成分である。ロボットベースフレームは、同次変換行列を介してカメラ座標フレームに変換可能であり、同次変換行列は、回転行列及び並進ベクトルから構成される。第2の変数z0は、並進ベクトルのそれぞれの軸方向成分であり、及び第3の変数z3は、回転行列の列のそれぞれの軸方向成分である。
コントローラは、更新された焦点距離に対応する、少なくとも1つの焦点モータのためのモータコマンドを計算するように構成される。コントローラは、作動距離が、更新された焦点距離に対応するように、少なくとも1つの焦点モータにモータコマンドを送信するように構成される。ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置に対応する、少なくとも1つの焦点モータのためのモータコマンドを決定するように構成される。
最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む1つ以上の鮮鋭度パラメータに基づき得る。最大鮮鋭度の微分は、第1の位置において最大に達し、最大鮮鋭度の微分は、第1の位置から移動し、且つ第2の位置においてほぼゼロで安定する。最大鮮鋭度位置は、第1の位置として定義される。鮮鋭度信号は、少なくとも1つの立体視画像における対象物のそれぞれのエッジ間のコントラストとして定義され得る。最大鮮鋭度信号は、走査期間中に観察される最大鮮鋭度値として定義され得る。
少なくとも1つの立体視画像は、1つ以上の画像フレームを含む。鮮鋭度信号は、1つ以上の画像フレームのガウシアンぼかしのラプラシアンの分散を計算することによって取得され得る。ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置へと焦点モータに指示するように構成される。
本明細書では、標的部位を撮像するためのロボット撮像プラットフォームが開示される。ロボット撮像プラットフォームは、標的部位の少なくとも1つの立体視画像を生成するために、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的部位に対して選択的に移動させるように適合される。立体視カメラは、少なくとも1つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、レンズ組立体は、少なくとも1つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも1つの焦点モータを有する。コントローラは、立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、立体視カメラのための1つ以上の自動焦点合わせモードを選択的に実行するように適合され、1つ以上の自動焦点合わせモードは、連続自動焦点モードを含む。連続自動焦点モードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも1つの立体視画像の焦点を維持するように適合される。
連続自動焦点モードは、開始値のセットからそれぞれの偏差を決定するように適合され、開始値のセットは、初期カメラ位置及び初期標的位置を含む。自動焦点合わせモードは、ディスパリティモード及び鮮鋭度制御モードの少なくとも1つを含む。開始値のセットは、連続自動焦点モードの前に実行される、ディスパリティモード及び鮮鋭度制御モードの少なくとも1つから取得される。
それぞれの偏差は、初期カメラ位置からの立体視カメラの高さの変化を含み、高さの変化は、軸方向に沿った立体視カメラの位置の変位として定義される。それぞれの偏差は、初期標的位置からの標的深さの変化を含み、標的深さの変化は、軸方向に沿った標的部位の位置の変位として定義される。
コントローラは、立体視カメラの高さの変化及び標的深さの変化に部分的に基づき、更新された焦点距離を計算するように構成される。標的深さの変化は、現在のディスパリティ値と初期標的ディスパリティとの差に部分的に基づき、開始値のセットは、初期標的ディスパリティを含む。
ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置に対応する、少なくとも1つの焦点モータのためのモータコマンドを決定するように構成される。最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む1つ以上の鮮鋭度パラメータに基づき得る。
本開示の上記の特徴及び利点並びに他の特徴及び利点は、本開示を実施するための最良の態様の以下の詳細な説明を添付の図面と関連して読むことで容易に明らかになる。
本開示の代表的な実施形態が非限定的な例として図面に示され、以下に更に詳細に説明される。しかしながら、本開示の新規な態様は、上記で列挙された図面に示される特定の形態に限定されないことが理解されるべきである。むしろ、本開示は、例えば、添付の特許請求の範囲に包含されるような本開示の範囲内に含まれる修正形態、均等物、組合せ、副次的組合せ、並べ換え、グループ化及び代替形態を包含することになる。
図面を参照すると、同様の参照番号が同様の構成要素を指す。図1は、1つ以上の自動焦点合わせモード14を有する立体視カメラ12を有する立体視撮像プラットフォーム10を概略的に示す。立体視撮像プラットフォーム10は、標的部位16を撮像するように構成される。図1を参照すると、立体視カメラ12は、少なくとも部分的にハウジング組立体20のヘッドユニット18内に配置され、ヘッドユニット18は、少なくとも部分的に標的部位16に向けられるように構成される。立体視カメラ12は、標的部位16の第1及び第2の画像を記録するように構成され、標的部位16のライブ二次元立体視ビューを生成するように用いられ得る。標的部位16は、患者の解剖学的場所、研究室の生体試料、較正スライド/テンプレートなどであり得る。
図1を参照すると、倍率、焦点及び他の特徴など、立体視カメラ12の特定の特徴を選択するために、少なくとも1つのセレクタ22がヘッドユニット18に取り付けられ得る。セレクタ22を利用して、オペレータがヘッドユニット18を手動で位置決めできるようにし得る。立体視撮像プラットフォーム10は、ヘッドユニット18に動作可能に接続され、ヘッドユニット18を選択的に移動させるように構成された、ロボットアーム24を含み得る。図1を参照すると、ヘッドユニット18は、結合プレート26を介してロボットアーム24に機械的に結合され得る。オペレータは、ロボットアーム24からの支援を受けて、立体視カメラ12を位置決め及び方向決めすることができる。センサ28が、ロボットアーム24及び/又は結合プレート26に動作可能に接続され得る。センサ28は、立体視カメラ12を移動させるためにオペレータによって与えられる力及び/又はトルクを検出するように構成される。
ロボットアーム24は、ヘッドユニット18の更なる程度の位置決め及び/又は方向決めを提供するように構成された1つ以上の関節、例えば第1の関節30及び第2の関節32を含み得る。オペレータにより提供される力/トルクに対応する立体視カメラ12の支援された移動を提供するために、ロボットアーム24のどの関節を回転させるべきか、関節をどの程度迅速に回転させるべきかを決定するために、センサ28からのデータが用いられ得る。図1を参照すると、対応する関節モータ(例えば、関節モータ31)と対応する関節センサ(例えば、関節センサ33)とが各関節に結合され得る。関節モータ31は、第1の関節30を軸の周りで回転させるように構成される一方、関節センサ33は、(3D空間における)第1の関節30の位置を送信するように構成される。
図1を参照すると、立体視撮像プラットフォーム10は、少なくとも1つのプロセッサPと、1つ以上のサブルーチン又は方法を実行するための命令が記録された少なくとも1つのメモリM(又は有形の非一時的コンピュータ可読記憶媒体)とを有する、コントローラCを含む。メモリMは、コントローラ実行可能命令セットを格納することができ、プロセッサPは、メモリMに格納されたコントローラ実行可能命令セットを実行することができる。
図1を参照すると、ロボットアーム24は、コントローラC及び/又はロボットアームコントローラ42などの組み込みプロセッサを介して制御され得る。ロボットアーム24は、立体視カメラ12の視野範囲をX軸、Y軸及びZ軸に沿って延長するように選択的に動作可能であり得る。ヘッドユニット18は、図1に示される第1及び第2のディスプレイ36及び38等の(モニタ、端末又は二次元視覚化の他の形態であり得る)少なくとも1つの表示媒体を有するカート34に接続され得る。図1を参照すると、コントローラCは、第1及び第2のディスプレイ36及び38においてブロードキャストするための信号を処理するように構成され得る。ハウジング組立体20は、完全独立型であり得、様々な場所間を移動可能であり得る。立体視カメラ12からの画像ストリームは、閲覧のための画像ストリームを準備するように構成され得るコントローラC及び/又はカメラプロセッサ(図示せず)に送信され得る。例えば、コントローラCは、立体視カメラ12からの第1及び第2の映像信号を結合又は交互配置して立体視信号を作成し得る。コントローラCは、映像及び/又は立体視映像信号を映像ファイルに格納し、メモリMに格納するように構成され得る。第1及び第2のディスプレイ36及び38は、立体視ディスプレイシステムを組み込み得、2次元ディスプレイは、左目及び右目のための別々の画像を有する。立体視ディスプレイを閲覧するために、ユーザは、第1及び第2のディスプレイ36、38と連動して動作してユーザの左目に左視野を示し、ユーザの右目に右視野を示す特別な眼鏡をかけ得る。
図1を参照すると、第1のディスプレイ36は、1つ以上の関節を有する可撓性機械アーム40を介してカート34に接続されて、柔軟な位置決めが可能になり得る。可撓性機械アーム40は、手術中に患者の上に延びて比較的接近した閲覧を外科医に提供するのに十分な長さを有するように構成され得る。第1及び第2のディスプレイ36及び38は、高精細テレビジョン、超高精細テレビジョン、スマート眼鏡、プロジェクタ、1つ以上のコンピュータスクリーン、ラップトップコンピュータ、タブレットコンピュータ及び/又はスマートフォンなどの任意のタイプのディスプレイを含み得、タッチスクリーンを含み得る。
立体視カメラ12は、キャプチャされた静止画像、リアルタイム画像及び/又はデジタル映像信号を含むが、これらに限定されない様々な形態で提示され得る標的部位16の立体視画像を取得するように構成される。本明細書中で使用する場合、「リアルタイム」は、一般に、データを受信するのと同じ速度で情報を更新することを指す。より具体的には、「リアルタイム」とは、画像データが十分に高いデータレート及び十分に低い遅延で取得、処理及び送信されて、データが表示されるとき、ユーザが気付くような激しい振動又は待ち時間なしに対象物がスムーズに動くことを意味する。典型的には、リアルタイムは、新しい画像が少なくとも約30フレーム/秒(fps)のレートで取得、処理及び送信され、約60fpsで表示される場合並びに映像信号の組合せ処理が約1/30秒以下の遅延を有する場合に生じる。
コントローラCは、立体視カメラ12のための1つ以上の自動焦点合わせモード14(以下では「1つ以上」は省略される)を選択的に実行するように適合される。自動焦点合わせモード14の各々が、ユーザによって選択的に開始され得る。自動焦点合わせモード14は、立体視カメラ12の2つの利用可能な画像(左及び右)を活用して、ユーザが、面倒な手作業での焦点合わせを必要とすることなく、画像を焦点が合っていない状態から焦点が合った状態に変換することを可能にする。
自動焦点合わせモード14は、可変の、例えば変更可能な、作動距離Wを有する、いかなる立体視覚化デバイスにおいても使用され得る。図1は作動距離Wを示し、作動距離Wは、基準面と標的部位16の焦点面との間の距離として定義され得る。それに応じて、作動距離Wは、標的部位16の平面又は焦点が合っている場面を設定する。図1~図2に示す実施例では、基準面は、前側作動距離レンズ104の外面である。作動距離Wは、角視野に対応する場合があり、より長い作動距離が、より広い視野又はより大きい可視領域をもたらす。
図1を参照すると、自動焦点合わせモード14は、ディスパリティモード50、鮮鋭度制御モード52、標的ロッキングモード54及び連続自動焦点モード56を含み得る。初期ロボットアーム入力及び動的画像フィードバックに部分的に基づいて、自動焦点合わせモード14は、作動距離Wを自動的に調整して、様々な状況において改善された画像品質を達成する。コントローラCは、自動焦点合わせモード14の各々を開始及び停止するためのアプリケーションプログラミングインターフェース(API)を提供するように適合され得る。ディスパリティモード50、鮮鋭度制御モード52、標的ロッキングモード54及び連続自動焦点モード56の例示的実現形態は、図4、図7、図9及び図11をそれぞれ参照して以下で説明される(方法200、400、600及び700として)。
ディスパリティモード50は、自動焦点合わせプロセス中、作動距離Wの調整を制御するフィードバック信号としてディスパリティ信号を使用するように適合される。ディスパリティ信号は、左視野画像における関心のある点と、右視野画像における関心のある同じ点との間の水平方向変位を反映する。鮮鋭度制御モード52は、立体視カメラ12の焦点が合っているときの全体的な画像を改善し、ディスパリティ変動に起因する劣った画質を低減させる。鮮鋭度制御モード52は、ディスパリティ信号並びに複数の鮮鋭度パラメータ(例えば、鮮鋭度、最大鮮鋭度及び最大鮮鋭度の微分)を使用するように適合される。ディスパリティモード50及び鮮鋭度制御モード52において、ロボットアーム24及び標的部位16は、以下の表1に示すように場所が固定される。
ロボットアーム24が立体視カメラ12を移動させ、標的部位16が固定されている間、標的ロッキングモード54は画像における焦点を維持するように適合される。連続自動焦点モード56は、ロボットアーム24及び標的部位16の両方が移動するにつれて、画像の焦点が合った状態を維持するように適合される。連続自動焦点モード56は、ロボットアーム24が移動を停止したときに最大鮮鋭度値に収束する。
図1のコントローラCは、(それぞれ図4、図7、図9及び図11に関して以下で詳細に論じられる)方法200、400、600及び700のブロックを実行するように特にプログラムされ、リモートソース及び/又は実行可能プログラムからダウンロードされた情報を含み得る又はそのような情報にアクセスし得る。図1を参照すると、コントローラCは、ネットワーク64を介してリモートサーバ60及び/又はクラウドユニット62と通信するように構成され得る。リモートサーバ60は、例えば、研究機関、企業、大学及び/又は病院などの組織によって維持される私的又は公的な情報源であり得る。クラウドユニット62は、データの格納、管理及び処理を行うためにインターネット上でホストされる1つ以上のサーバを含み得る。
ネットワーク64は、ローカルエリアネットワークの形態のシリアル通信バスであり得る。ローカルエリアネットワークは、コントローラエリアネットワーク(CAN)、コントローラエリアネットワークウィズフレキシブルデータレート(CAN-FD)、イーサネット、blue tooth、WIFI及び他のデータの形態を含み得るが、これらに限定されない。ネットワーク64は、複数のデバイスを無線分散方式で繋ぐ無線ローカルエリアネットワーク(LAN)、複数の無線LANを接続する無線メトロポリタンエリアネットワーク(MAN)又は近隣の市町村などの広い地域をカバーする無線ワイドエリアネットワーク(WAN)であり得る。他のタイプの接続が使用され得る。
I.立体視カメラの光学構成要素
立体視カメラ12の例示的な光学構成要素が図2~図3に提示される。当業者に利用可能な他の光学構成要素又はデバイスが用いられ得ることを理解されたい。ここで、図2を参照すると、立体視カメラ12の一部分の概略図が示される。標的部位16からの画像が、図2~図3に示される光学組立体102を介して立体視カメラ12により受信される。図2~図3を参照すると、光学組立体102は、ハウジング108内に前側作動距離レンズ104及び後側作動距離レンズ106を含む。
立体視カメラ12の例示的な光学構成要素が図2~図3に提示される。当業者に利用可能な他の光学構成要素又はデバイスが用いられ得ることを理解されたい。ここで、図2を参照すると、立体視カメラ12の一部分の概略図が示される。標的部位16からの画像が、図2~図3に示される光学組立体102を介して立体視カメラ12により受信される。図2~図3を参照すると、光学組立体102は、ハウジング108内に前側作動距離レンズ104及び後側作動距離レンズ106を含む。
図2を参照すると、光学組立体102の主平面124からの焦点距離Fに等しい距離に焦点面122が位置する。焦点面122の上方及び下方での立体視カメラ12による対象物の視覚化は、対象物の焦点を弱める。主平面124の場所を計測することは、困難な場合があるため、ハウジング108の底面から焦点面122までの距離は、通常、作動距離Wとして指定される。作動距離Wは、標的部位16の平面又は焦点が合っている場面を正確に設定する。
光学組立体102は、立体視カメラ12に様々な作動距離W(図1を参照されたい)を提供するように構成される。図2を参照すると、コントローラCは、後側作動距離レンズ106と前側作動距離レンズ104との間の間隔を変化させるように焦点モータ110に選択的に指示するように適合される。焦点モータ110は、光学組立体102の作動距離Wを変化させるように、(例えば、方向112に沿って)移動可能である。上述したように、作動距離Wは、立体視カメラ12から標的部位16の焦点が合っている基準面までの距離と称される場合がある。いくつかの実施形態では、焦点モータ110を介して後側作動距離レンズ106を移動させることにより、作動距離Wは200から450mmまで調整可能である。
前側作動距離レンズ104に対する後側作動距離レンズ106の移動も、焦点距離Fを変化させる。いくつかの実施形態では、焦点距離Fは、後側作動距離レンズ106と前側作動距離レンズ104との間の距離に、前側作動距離レンズ104の厚さの半分を加えたものである。達成可能な焦点距離Fは、ハードウェアにより許容される最大及び最小の作動距離により境界が定められる。一実施例では、焦点モータ110は電気モータである。しかしながら、焦点モータ110は、ステッパモータ、形状記憶合金アクチュエータ又は当業者に利用可能な他のタイプのアクチュエータなどのいかなるタイプの線形アクチュエータでもあり得る。
図示する実施形態では、後側作動距離レンズ106は、前側作動距離レンズ104が静止している間、方向114(ここではZ軸)に沿って移動可能である。しかしながら、前側作動距離レンズ104が移動可能であり得ること又は前側作動距離レンズ104及び後側作動距離レンズ106の両方が移動可能であり得ることを理解されたい。焦点モータ110は、コントローラC及び/又はモータコントローラ116を介して選択的に動作可能であり得る。立体視カメラ12は追加の焦点モータを含んで、前側レンズ及び後側レンズを独立に移動させることができる。光学組立体102の倍率は、作動距離Wに基づいて変化し得る。例えば、光学組立体102は、200mmの作動距離に対して8.9倍の倍率及び450mmの作動距離に対して8.75倍の倍率を有することができる。
いくつかの実施形態では、前側作動距離レンズ104は、平凸レンズ及び/又はメニスカスレンズで構成される。後側作動距離レンズ106は、色消しレンズを含み得る。光学組立体102が、色消し屈折組立体を含む実施例では、前側作動距離レンズ104は、半球状レンズ及び/又はメニスカスレンズを含み得る。後側作動距離レンズ106は、色消しダブレットレンズ、色消しダブレットレンズのグループ及び/又は色消しトリプレットレンズを含み得る。光学組立体102は、他のタイプの屈折組立体又は反射組立体及び当業者に利用可能な構成要素を含み得る。
図2を参照すると、焦点面122にて対象物を撮像することにより、光学組立体102の後側又は背面から無限遠に位置する共役像が形成される。光学組立体102は、光学デバイス130を介して、標的部位16の左側及び右側の視野を提供するように構成される。いくつかの実施形態では、光学デバイス130は、それぞれのセンサ及び光デバイスを有する左側及び右側の光学ユニット132、134を含む。図2に示すように、左側及び右側の光学ユニット132、134は、それぞれ左光路136及び右光路138を生成し、これらは、ハウジング108内の2本の平行光路である。左側及び右側の光学ユニット132、134は、距離140によって横方向に分離される。いくつかの実施形態では、距離140は、約58~70mmである。ハウジング108の外部では、左光路136及び右光路138は、それぞれ光学組立体102の光軸146と僅かに異なる方向において左光軸142及び右光軸144に延びる。左光軸142及び右光軸144は、画像点148における視野の中心において一致する。画像点148は、焦点面122における立体視カメラ12の「先端」と呼ばれる場合がある。
前側作動距離レンズ104及び後側作動距離レンズ106の相対位置を調整することにより、新規な焦点面122Bの位置にある新規な作動距離W2が形成される。図2を参照すると、後側作動距離レンズ106の移動により、左光軸142B及び右光軸144Bの再整列が生じ、その結果、立体視カメラ12の先端148Bが再配置される。
前側作動距離レンズ104及び後側作動距離レンズ106は、一緒に、下流の光学画像センサのために最適焦点を提供するための無限の共役像を提供するように構成される。換言すれば、標的部位16の焦点面に厳密に位置する対象物は、その画像が無限遠の距離に投影されることになり、それにより提供される作動距離において無限遠結合される。一般に、対象物は、光路に沿って焦点面から特定の距離において、焦点が合っているように見える。しかしながら、特定の閾値距離を過ぎると、対象物は、ぼやけて焦点がずれているように見え始める。
図2~図3に示す光学組立体102は、左光路136及び右光路138の両方に対して、標的部位16の画像を提供する。代替実施形態では、光学組立体102は、別々の左側及び別々の右側の前側作動距離レンズ104及び別々の左側及び別々の右側の後側作動距離レンズ106を含み得る。更に、後側作動距離レンズ106の各々が、独立して調整可能であり得る。
ここで、図3を参照すると、立体視カメラ12の別の一部分の概略図が示される。図3に示す要素は、左光路136又は右光路138(図2を参照されたい)のいずれかの一部であり得、これらの要素は、一般に、これらの要素の配置に関して同一である。図3を参照すると、標的部位16を照射するために、立体視カメラ12は、1つ以上の照明ソース、例えば第1の光源150、第2の光源152及び第3の光源154を含み得る。他の実施例では、立体視カメラ12は、追加の光源又はより少ない光源を含み得る。照明源により生成された光は、相互作用し、標的部位16で反射し、反射された一部の光は、光学組立体102に向かう。代わりに、立体視カメラ12は、外部光源又は環境からの周囲光を使用することができる。
一実施例では、第1の光源150は、電磁スペクトルの可視部分における光を出力するように構成され、第2の光源152は、可視スペクトルの赤色部分を僅かに過ぎた波長を主に有する近赤外光を出力するように構成される。第3の光源154は、主に可視スペクトルの青色部分における波長を有する近紫外光を出力するように構成され得る。生成される光の輝度は、コントローラC及び/又は対応する光源に関連付けられた対応するマイクロコントローラによって制御され得る。いくつかの実施形態では、第3の光源154からの光は、落射照明設定を使用して、偏向要素156により反射されて光学組立体102に向かう。偏向要素156は、例えば、ビームスプリッタであり得る。偏向要素156は、コーティングされ得るか、又は近紫外線波長範囲を超えた光のみを反射し、それにより近紫外光をフィルタリングするように構成され得る。
図3を参照すると、偏向要素156は、特定波長の光を、光学組立体102を通して第3の光源154から標的部位16まで送信するように構成され得る。偏向要素156は、標的部位16から受け取った光を、拡大及び記録のための前方レンズセット158を含む下流の光学要素に向けて反射するようにも構成される。いくつかの実施形態では、偏向要素156は、特定波長の光が前方レンズセット158に到達するように、光学組立体102を通して標的部位16から受け取った光をフィルタ処理し得る。偏向要素156は、光を特定方向に反射させるための任意のタイプの鏡又はレンズを含み得る。一実施例では、偏向要素156は、異なる波長において異なる反射及び伝送特性を有するダイクロイックミラー又はフィルタを含む。
図3を参照すると、立体視カメラ12は、1つ以上のズームレンズを含んで、焦点距離及び標的部位16の視野角を変化させてズーム倍率を提供し得る。図示する実施例では、ズームレンズは、前方レンズセット158、ズームレンズ組立体160及びレンズバレルセット166を含む。前方レンズセット158は、それぞれ(左光路及び右光路に対する)対応する正収束レンズを含んで、偏向要素156からの光をズームレンズ組立体160の対応するレンズに導くことができる。前方レンズセット158の横方向位置がズームレンズ組立体160に伝播される、光学組立体102及び偏向要素156からのビームを定めることができる。前方レンズセット158は、調整可能な半径方向位置及び軸方向位置を有するレンズを含み得る。
図3を参照すると、ズームレンズ組立体160は、レンズバレルセット166に伝搬される光ビームのサイズを変化させることにより視野(例えば、線形視野)のサイズを変化させるための無限焦点ズームシステムを形成し得る。ズームレンズ組立体160は、対応する左側及び右側前方ズームレンズを有する前方ズームレンズセット162を含み得る。ズームレンズ組立体160は、対応する左側及び右側前方ズームレンズを有する後方ズームレンズセット164を含み得る。前方ズームレンズセット162は、正収束レンズを含み得る一方、後方ズームレンズセット164は、負発散レンズを含み得る。いくつかの実施形態では、レンズバレルセット166は、ハウジング108内で、半径方向及び軸方向に固定され得る。他の実施例では、レンズバレルセット166は、光路に沿って軸方向に沿って移動可能であり、倍率の増加を提供し得る。加えて、前方レンズセット158、前方ズームレンズセット162及び/又は後方ズームレンズセット164における対応する要素の一部若しくは全ては、半径方向及び/又は回転方向に調整可能であり得る。
図3の立体視カメラ12は、光の所望の波長を選択的に伝送するための1つ以上の光学フィルタ168を含み得る。光路の各々が別々のフィルタを有し得る。別々のフィルタを含むことにより、例えば、左光路及び右光路から異なる波長の光を同時にフィルタ処理することが可能になり、それにより例えば可視光画像に関連する蛍光画像を表示することが可能になる。
図3を参照すると、フィルタ168は、回転軸を中心に回転可能であって複数の異なる光学フィルタペアを収容することが可能なホイールを含み得る。光学組立体102、前方レンズセット158、ズームレンズ組立体160及びレンズバレルセット166のレンズは、オペレータにとって関心がある波長及び望ましくない波長を含む、光の比較的広い帯域幅を通過させるように構成され得る。他の実施形態では、フィルタ168は、光路の方向を映像フレームレートで変化させることができるデジタルマイクロミラーを含み得る。
図3を参照すると、立体視カメラ12は、フィルタ168から受け取った光を可撓性部材174に接続され得る光学画像センサ172上に焦点合わせするための最終光学要素セット170を含み得る。最終光学要素セット170は、右側及び左側の正収束レンズを含み得、これらは、光が光学画像センサ172に到達する前に、右光路及び左光路における倍率及び/又は集束収差を補正するために、半径方向及び/又は軸方向に調整可能である。
図3を参照すると、光学画像センサ172は、最終光学要素セット170から受け取った入射光を取得及び/又は記録するように構成される。光学画像センサ172は、右光路及び左光路に対して別々の右光学画像センサ及び左光学画像センサを含み得、相補型金属酸化物半導体(「CMOS」)感知要素、N型金属酸化物半導体(「NMOS」)及び/又は半導体電荷結合デバイス(「CCD」)感知要素を含み得るが、これらに限定されない。コントローラCは、倍率及び作動距離の各値に対してカメラのモデルパラメータを測定及び計算するように構成され得る。標的部位16の左及び右の立体視視野に整合させるために、立体視カメラ12の出力は、コントローラCにより実行可能な数学モデルを使用して較正され得る。
II.ディスパリティモード
ここで、図4を参照すると、方法200のフローチャートが示される。方法200は、図1のディスパリティモード50の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法200は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。本明細書で使用する場合、用語「動的」及び「動的に」は、ルーチンの実行中又はルーチンの実行の繰り返し中、リアルタイムで実行されるステップ又はプロセスであって、パラメータの状態を監視又は決定すること及び定期的又は周期的にパラメータの状態を更新することにより特徴付けられるステップ又はプロセスを説明する。
ここで、図4を参照すると、方法200のフローチャートが示される。方法200は、図1のディスパリティモード50の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法200は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。本明細書で使用する場合、用語「動的」及び「動的に」は、ルーチンの実行中又はルーチンの実行の繰り返し中、リアルタイムで実行されるステップ又はプロセスであって、パラメータの状態を監視又は決定すること及び定期的又は周期的にパラメータの状態を更新することにより特徴付けられるステップ又はプロセスを説明する。
可変の作動距離を有する3D立体視撮像デバイス(例えば、立体顕微鏡)を想定すると、作動距離Wの初期状態に関係なく、作動距離Wを迅速に変化させ(例えば、焦点モータ110を調整することにより)、焦点が合った画像を自動的に取得する方法を見つけることが課題である。最初の課題は、作動距離Wを変化させるためのフィードバック信号を取得することである。ディスパリティモード50では、使用されるフィードバック信号はディスパリティ信号である。例示的な左画像320及び右画像322に関するディスパリティを示す概略図を、縮尺通りに描かれていない図5Bに示す。ディスパリティ値/信号324は、左目画像320における識別可能領域326Aと右目画像322における同じ識別可能領域326Bとの間の画素オフセットの数値として定義され得る。図5Bを参照すると、ディスパリティ信号は、左目画像320の識別可能領域326Aを取得し、右目画像322における識別可能領域326Bの同じ座標を含む第2の(より大きい)領域328に対してテンプレートマッチを実施することにより計算され得る。第2の領域328は、識別可能領域326A/326Bよりも大きい。第2の課題は、作動距離Wの初期状態が完全にぼやけた画像をもたらし、ディスパリティ信号が信頼できなくなる場合があるため、作動距離Wの全体にわたって探索することである。したがって、探索が実施されなければならず、焦点モータ110は、ディスパリティ信号が有効な、フィードバックコントローラにおいて使用され得る領域に移動される。
図4を参照すると、方法200は、ブロック202から始まる。ブロック202では、コントローラCは、ロボットアーム24の状態を調査し、画像に焦点を合わせるために焦点モータ110が移動する必要がある選択方向308(図5Aを参照されたい)を決定するようにプログラムされる。図5Aを参照すると、最小作動距離302と最大作動距離304との間の距離スケール300が示される。作動距離Wの初期状態(及び図2の焦点モータ110の対応する初期位置)は、開始点306により示される。選択方向308は、ロボットアーム24の移動方向に整合する。画像の焦点が合っていた前回以降に、ロボットアーム24がどの方向を移動したかを決定するために、データが調査される。この方向への探索により、有効なディスパリティ領域310(図5Aを参照されたい)に迅速に遭遇することが可能になる。図5Aは、有効なディスパリティ領域310及び有効な鮮鋭度領域312を示す。有効な鮮鋭度領域312は、有効なディスパリティ領域310よりも小さく、その中に含まれる。
図4のブロック202において、コントローラCは、選択方向308に作動距離(W)の範囲を走査又は掃引し、各ステップにおいてディスパリティ信号を計算するようにもプログラムされる。上述したように、図5Bを参照すると、ディスパリティ信号324は、左目画像320の識別可能領域326Aを取得し、右目画像322における識別可能領域326Bの同じ座標を含むより大きい第2の領域328に対してテンプレートマッチを実施することにより計算され得る。最適テンプレートマッチの位置を計算することにより画素オフセットが得られ、画素オフセットは、ディスパリティ信号として設定される。他の方法が用いられ得る。
図6を参照すると、例示的なディスパリティ信号の概略グラフが示される。水平軸360は、最小作動距離362と最大作動距離364との間の作動距離を示す。垂直軸366は、ディスパリティ信号の大きさを示す。図6を参照すると、画像の焦点が徐々に合うにつれて、ディスパリティ信号は有効ディスパリティ領域370の端部から直線的に傾き(ゼロ-ディスパリティ位置372において)ゼロになる。ゼロディスパリティ位置372は、ディスパリティ信号がゼロであることを示す。ディスパリティ信号がゼロである場合、左画像と右画像は、重なり合い、オフセットしておらず、その結果、画像の焦点は、より良好である。図6を参照すると、有効ディスパリティ領域370内のディスパリティ信号は、有効/正当な値を反映する一方、第1の外側領域374及び第2の外側領域376におけるディスパリティ信号の値は、アーチファクト又は無意味な値を反映する。アーチファクトは、例えば、上述したテンプレートマッチングプロセスを用いて、ディスパリティ信号が計算される方法の結果である。ゼロディスパリティ位置372から更に離れるにつれて、画像は、一層ぼやけるようになり、最終的に、画像は、完全にぼやけ、その点において、最適テンプレートマッチの場所を計算することにより得られる画素オフセットは、単にノイズを返している。数値的に有効なディスパリティが検出された場所(例えば、図5Aの有効なディスパリティ領域310)に、可変作動距離の領域が入力されると、コントローラCは、フィードバックコントローラ(例えば、PIDコントローラ)を使用するように切り換えて、それに応じて焦点モータ110を移動させ、ディスパリティをゼロになるように駆動するようにプログラムされる。
図4のブロック204において、コントローラCは、計算されたディスパリティ信号がゼロとなるような焦点モータ110のためのモータコマンドを決定するようにプログラムされる。これは、エラー値(E)を、所望のディスパリティ(Ddesired=0)と推定されたディスパリティ(Destimated)との差として得るように構成された閉ループ制御モジュールを介して行われ得る。
E=[LIMDestimated-Ddesired]
E=[LIMDestimated-Ddesired]
閉ループ制御モジュールは、コントローラCに組み込まれ得るか、又はコントローラCにアクセス可能であり得る。閉ループ制御モジュールは、制御変数(この場合には作動距離)を新しい値に調整することにより、経時的なエラー値を最小化するように構成される。閉ループ制御モジュールは、比例微分(PD)制御モジュール、又は比例積分(PI)制御モジュール、又は比例積分微分(PID)制御モジュールであり得る。当業者に理解されるように、PI制御モジュール及びPID制御モジュールは、フィードバックループを用いてエラー値を連続的に計算する。エラー値は、所望の値と測定されたプロセス変数との差である。PI制御モジュールは、比例項及び積分項に基づいて補正を適用する一方、PID制御モジュールは、微分項を更に含み、PD制御モジュールは、比例項及び微分項に基づいて補正を適用する。
図4のブロック206において、コントローラCは、焦点モータ110を(ブロック204において決定される)対応するゼロディスパリティ位置372に移動させて焦点が合った画像を取得するようにプログラムされる。「完全な焦点ディスパリティ」は、ユニットごとに大きく変動することが観察されているため、これは、単純明快なことではない。加えて、立体視カメラ12の加熱のような変化は、ゼロディスパリティ位置372をシフトさせ得る。ディスパリティモード50は、ロボットアーム24が移動していないときに単一の関数呼び出しを提供して、いつでも、いかなる初期条件からも、焦点が合っている画像が取得される。別の技術的利点は、立体視カメラ12に利用可能な2つの画像があるため、接地点までの距離を測定するのに追加のハードウェアが不要であり、したがって距離計の必要性が排除されることである。
III.鮮鋭度及びディスパリティベースの自動焦点
ここで、図7を参照すると、方法400のフローチャートが示される。方法400は、図1の鮮鋭度制御モード52の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法400は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。鮮鋭度制御モード52は、立体視カメラ12の焦点が合っているときの全体的な画像を改善し、ディスパリティ変動に起因する劣った画質を低減させる。多くの状況では、最大鮮鋭度の位置は、ゼロディスパリティの位置からオフセットしている。ここでの課題は、最大鮮鋭度の位置に収束させるために動的な調整を適用することである。別の課題は、作動距離範囲全体にわたる鮮鋭度信号の有効性である。なぜなら、有効な鮮鋭度領域312(図5Aを参照されたい)の外側の部分は使用不能である/ぼやけているからである。図5Aに示すように、有効な鮮鋭度領域312は、特に高い倍率において、比較的小さい。
ここで、図7を参照すると、方法400のフローチャートが示される。方法400は、図1の鮮鋭度制御モード52の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法400は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。鮮鋭度制御モード52は、立体視カメラ12の焦点が合っているときの全体的な画像を改善し、ディスパリティ変動に起因する劣った画質を低減させる。多くの状況では、最大鮮鋭度の位置は、ゼロディスパリティの位置からオフセットしている。ここでの課題は、最大鮮鋭度の位置に収束させるために動的な調整を適用することである。別の課題は、作動距離範囲全体にわたる鮮鋭度信号の有効性である。なぜなら、有効な鮮鋭度領域312(図5Aを参照されたい)の外側の部分は使用不能である/ぼやけているからである。図5Aに示すように、有効な鮮鋭度領域312は、特に高い倍率において、比較的小さい。
図8A及び図8Bは、例示的な立体視カメラ12について、焦点モータ110の様々な位置に対する、鮮鋭度信号の値の例を示す概略的グラフである。図8A及び図8Bでは、水平軸502が焦点モータの位置を反映する一方、垂直軸504が鮮鋭度信号の振幅を反映する。図8Aにおけるトレース506は、1Xの倍率において得られた鮮鋭度信号を示し、鮮鋭度信号は、モータ位置508において最大値を有する。図8Bにおけるトレース516は、10Xの倍率において得られた鮮鋭度信号を示し、鮮鋭度信号は、モータ位置518において最大値を有する。鮮鋭度信号の幅は、倍率又はズームによって変化する。図8A及び図8Bに示すように、幅は、より高い倍率の領域では、より狭い。
図7の方法400は、ブロック402から始まる。ブロック402では、コントローラCは、焦点を合わせるために焦点モータ110が移動する必要がある選択方向(例えば、図5Aの選択方向308)を決定するようにプログラムされる。選択方向は、画像の焦点が合っていた前回の時点においてロボットアーム24が移動した方向に設定される。コントローラCは、選択方向308に作動距離(W)の範囲を走査するようにプログラムされる。
図7のブロック404において、コントローラCは、計算されたディスパリティ信号がゼロ(例えば図6の、ゼロディスパリティ位置372を参照されたい)となるような焦点モータ110のためのモータコマンドを決定するようにプログラムされる。これは、エラー値(E)を、所望のディスパリティ(Ddesired=0)と推定されたディスパリティ(Destimated)との差として得るように構成された閉ループ制御モジュールを介して行われ得る。
E=[LIMDestimated-Ddesired]
E=[LIMDestimated-Ddesired]
閉ループ制御モジュールは、コントローラCに組み込まれ得るか、又はコントローラCにアクセス可能であり得る。閉ループ制御モジュールは、制御変数(この場合には作動距離)を新しい値に調整することにより、経時的なエラー値を最小化するように構成される。閉ループ制御モジュールは、比例微分(PD)制御モジュール、又は比例積分(PI)制御モジュール、又は比例積分微分(PID)制御モジュールであり得る。当業者に理解されるように、PI制御モジュール及びPID制御モジュールは、フィードバックループを用いてエラー値を連続的に計算する。エラー値は、所望の値と測定されたプロセス変数との差である。PI制御モジュールは、比例項及び積分項に基づいて補正を適用する一方、PID制御モジュールは、微分項を更に含み、PD制御モジュールは、比例項及び微分項に基づいて補正を適用する。
図7のブロック406において、コントローラCは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち最大鮮鋭度の経時的な変化率を含む複数の鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図8Cは、立体視カメラ12についての鮮鋭度信号550、最大鮮鋭度信号560及び最大鮮鋭度の微分570の例を示す概略図である。垂直軸540は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸542は、焦点モータ110の対応する位置を示す。鮮鋭度パラメータは、画像のサクサク感(crispness)を反映する。鮮鋭度信号550は、画像内の対象物のエッジ間のコントラストとして定義され得、それは、画像の高周波成分である。鮮鋭度信号550は、立体視画像の各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。当業者に理解されるように、(ときにラプラス演算子と呼ばれる)ラプラシアンは、ユークリッド空間の関数の勾配の発散により与えられる微分演算子である。ガウシアンぼかしは、ガウス関数を使用して画像をぼやけさせる又は平滑化することにより得ることができる。これらの計算は、数学ソフトウェア、機械学習アルゴリズム及び当業者が利用可能な処理デバイスを使用して実施され得る。鮮鋭度信号550の定義は、手近な用途に基づいて変化し得る。
図8Cを参照すると、最大鮮鋭度信号560は、走査時間中に観察される最高鮮鋭度値として定義され得る。最大鮮鋭度信号560は絶え間なく更新され、最大鮮鋭度の微分570は時間に対して計算される。いくつかの実施形態では、最大鮮鋭度の微分570(dSmax/dt)は、dSmax/dt=filter([Δs[n+1]-Δs[n]]/Ts)として得ることができ、Tsはサンプルレートであり、nはサンプル数であり、Δsは最大鮮鋭度の変化であり、フィルタ関数は当業者が利用可能な平滑化又はノイズ除去フィルタ関数であり得る。鮮鋭度信号550は、異なるスレッドにおいて異なるレートで入力される場合があり、焦点モータコマンドが更新される時間と僅かに異なる時間に計算される場合がある。
図8Cに示すように、最大鮮鋭度の微分570は、第1の位置544において最大に達する。最大鮮鋭度の微分570がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラCが起動される。例えば、コントローラCは、微分570が所定数のステップにわたってゼロに落ち着いたときである第2の位置546において起動され得る。コントローラCは、最大鮮鋭度位置とみなされる第1の位置544に戻すように焦点モータ110に指示するようにプログラムされる。
図7の方法400は、ブロック406からブロック408に進む。図7のブロック408において、コントローラCは、最大鮮鋭度位置においてディスパリティ信号が許容可能な閾値にあるか又はそれを下回るかを判定するようにプログラムされる。その場合、方法400はブロック410に進む。ブロック410では、焦点モータ110は(ブロック406において得られた)最大鮮鋭度に対応する作動距離位置に移動するように指示される。ディスパリティ信号を活用して、小さい鮮鋭度領域への収束を保証することにより、方法400は、迅速、堅牢であり、複数のズームレベルで良好に機能する。鮮鋭度を最大化することにより、結果として生じる画像は、単に単独でディスパリティに収束する場合よりも、ぼやけが低減される。
ディスパリティ信号が許容可能な閾値を上回る場合、方法400はブロック412に進む。ブロック412では、焦点モータ110は、ブロック404において得られたゼロディスパリティ位置372(図6を参照されたい)に移動するように指示される。立体視カメラ12が不適切に較正される一部の場合、最大鮮鋭度に対応する場所は、許容できない高いディスパリティをもたらす場合があり、それにより3次元で認識することが困難になる。この場合、最大鮮鋭度を使用することができないため、方法400は、0ディスパリティの場所に戻る。鮮鋭度のみを使用することは、意味がある鮮鋭度情報を有する領域が極めて小さいことに起因して、高い倍率で課題である。
要約すれば、方法400は、複数の掃引を実施し、ディスパリティフィードバック及び鮮鋭度フィードバックを使用して作動距離Wを変化させて、最適焦点を達成する。画像を考慮する場合、ディスパリティがあまり大きくなく、画像の鮮鋭度が最大化される場合、画像は、最大限に焦点が合っていると考えることができる。鮮鋭度制御モード52は、鮮鋭度パラメータとディスパリティ信号とを対にすることにより、最大鮮鋭度への最適な収束を可能にする。ディスパリティ信号は、より大きく有効な鮮鋭度領域312(図5Aを参照されたい)を含む有効なディスパリティ領域310(図5Aを参照されたい)を有する。
IV.標的ロッキングモード
ここで、図9を参照すると、例示的方法600のフローチャートが示される。方法600は、図1の標的ロッキングモード54の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法600は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。
ここで、図9を参照すると、例示的方法600のフローチャートが示される。方法600は、図1の標的ロッキングモード54の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法600は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。
いくつかの実施形態では、図1を参照すると、標的ロッキングモード54は、オペレータが(例えば、マウスなどの入力デバイス66を介して)標的ロッキングモード54を選択したときに始まり、それにより、命令メッセージ又は信号は、コントローラC及び/又はロボットアームコントローラ42に送信される。命令が受信されると、例示的なコントローラC及び/又はロボットアームコントローラ42は、立体視カメラ12の現在の作動距離、倍率、焦点及び/又は他の光学パラメータを記録し得る。標的部位16の現在の位置は、ロボットアーム24の様々な関節の位置データから決定され得る。コントローラC及び/又はロボットアームコントローラ42は、標的部位16の現在の画像も記録し得る。
標的ロッキングモード54は、リアルタイムで標的部位16をロックして焦点が合った状態を維持する一方、作動距離の変化を許容しながら、立体視カメラ12が(ロボットアーム24を介して)3D空間内の任意の場所に移動することを可能にする。ロボットアーム24の移動中に画像の焦点が合った状態を維持する課題は、立体視カメラ12の向き、すなわち3D空間内での立体視カメラ12のビューベクトル118(図3を参照されたい)の方向が変化したときに生じる。これらの実施形態では、標的ロッキングモード54により、立体視カメラ12を標的部位16の特定点(例えば、図3に示す標的点120)にロックさせながら、立体視カメラ12の向きを変化させることを可能にすることにより、ロボットアーム24が外科医の拡張として作動することが可能になる。
方法600は、図9のブロック602から始まる。ブロック602では、コントローラCは、ロボットアーム24が移動したかどうかを決定するようにプログラムされる。移動した場合、方法600はブロック602からブロック604に進む。ブロック604では、標的部位16の位置は、標的ロック機能を介してロックされる。標的ロック機能は、立体視カメラ12の位置を、標的部位16の現在の位置に基づいて、仮想球体の外面、例えば図10に示す仮想球体650の外面652に制限する。図10は、方法600で使用可能な例示的な仮想球体650の概略図である。図10を参照すると、外面652上の所与の位置が、回転球体角度V及びUの関数である方程式により与えられ得る。
図10を参照すると、立体視カメラ12のビューベクトル118(図3にも示される)は、仮想球体650の中心654に向いている。中心654は、図3に示す標的点120などの標的部位16における選択点と同じXYZ空間での座標を有する。図10を参照すると、外面652上の(立体視カメラ12の)端位置656が、受け取った入力のタイプに基づいて、異なって得られる場合がある。いくつかの実施形態では、入力は、図1に示すような入力デバイス66(例えば、ジョイスティック又はマウス)を介して受け取られる。コントローラC及び/又はロボットアームコントローラ42は、「上」、「下」、「左」及び「右」をカメラ座標からロボットベースフレーム座標に変換するように適合され得る。X及びYベクトルは、立体視カメラ12がどのように仮想球体650上を移動して端位置656を決定するかを直接決定するために、コントローラC及び/又はロボットアームコントローラ42により使用される。
いくつかの実施例では、コントローラCは、回転角度の形式で表される軌道入力データを受け取るように構成される。これらの実施例では、図10を参照すると、コントローラCは、仮想球体650の第2の球体角度Uに沿う移動を反復しながら、第1の球体角度Vを一定に保持する。第2の球体角度Uに沿う反復移動は、軌道入力のための端位置656の決定を可能にする。いくつかの実施形態では、仮想球体650は、異なる形状で表され得、外面652は、平坦面670により表され得る。
端位置656が決定された後、コントローラCは、立体視カメラ12が移動した後に、立体視カメラ12が、ロックを選択点のXYZ座標に維持するのに必要な回転量を計算するように構成される。コントローラC(及び/又はロボットアームコントローラ42)は、立体視カメラ12に関するロール及びピッチ量を決定し、偏揺れ防止補正を提供し得る。図1の例示的なコントローラC及び/又はロボットアームコントローラ42は、オペレータが、(ビューベクトル118Bにより示されるように)立体視カメラ12を仮想球体650の中心654に向けた状態を維持しながら、立体視カメラ12を外面652上で端位置656に移動させることを可能にし、それにより移動中に標的部位16は焦点が合った状態に維持される。換言すれば、コントローラCは、仮想球体650上でのその新しい位置が与えられたとき、端位置656のビューベクトル118Bが(選択ポイントに対応する)仮想球体650の中心における同じXYZ座標で提供されるように、立体視カメラ12をどのように向けるべきかを決定するように構成される。加えて、コントローラC及び/又はロボットアームコントローラ42は、所望の向きを達成するために必要なロボットアーム24及び/又は結合プレート26の関節角度を決定するように適合される。
方法600は、ブロック604からブロック606に進み、そこでは、コントローラCは、ロボットアーム24を介する立体視カメラ12の移動に起因する、前回保存された値(又は前回の反復)に対する作動距離(ΔW)の変化を計算するようにプログラムされる。コントローラCは、作動距離(W)の更新された値を取得するようにプログラムされる。換言すれば、ロボット移動に起因する作動距離(W)の変位は、移動サイクルごとに追跡される。
方法600は、ブロック606からブロック608に進み、そこでは、コントローラCは、作動距離(W)の更新された値に対応する焦点モータ110のためのモータコマンドを計算するようにプログラムされる。いくつかの実施形態では、作動距離の変化を焦点モータ110のためのコマンドに変換するために、較正されたルックアップテーブルが用いられる。方法600はブロック610に進む。図9のブロック610において、コントローラCは、各反復において作動距離(W)が更新されながらも画像の焦点がずれることがないように、ブロック608からの計算されたモータコマンドを送信して、焦点モータ110を移動させるようにプログラムされる。
ロボットアーム24の移動がブロック602においてもはや検出されない場合、方法600は、614に進み、そこで鮮鋭度が最大化された位置が突き止められる。図7のブロック406と同様に、ブロック614において、コントローラCは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち経時的な変化率を含む複数鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図8Cは、立体視カメラ12についての鮮鋭度信号550、最大鮮鋭度信号560及び最大鮮鋭度の微分570の例を示す。垂直軸540は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸542は、焦点モータ110の対応する位置を示す。前述したように、鮮鋭度信号550は、各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。鮮鋭度信号550の定義は、手近な用途に基づいて変化し得る。最大鮮鋭度信号560は、走査時間中に観察される最大鮮鋭度値として定義され得る。最大鮮鋭度信号560は絶え間なく更新され、最大鮮鋭度の微分570は経時的に計算される。図8Cに示すように、最大鮮鋭度の微分570は、第1の位置544において最大に達する。最大鮮鋭度の微分570がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラCが起動される。例えば、コントローラCは、微分570が所定数のステップにわたってゼロに落ち着いたときである第2の位置546において起動され得る。第1の位置544は、最大鮮鋭度位置とみなされる。
図9の方法600は、ブロック614からブロック616に進み、そこでは、コントローラCは、焦点モータ110を最大鮮鋭度位置に移動させるように適合される。ライン612で示すように、方法600は、ブロック610からブロック602にループを戻る。サイクルが更新されるごとに、方法600は、作動距離(W)に沿って移動した変位量を、例えばメートル単位で更新する。次いで、この移動量は、較正されたルックアップテーブルを用いてモータ焦点コマンドに収束される。次いで、このモータコマンドは送信され、その結果、作動距離(W)が変化するにつれて、画像の焦点がずれることはない。各反復における仮想球体650の半径は、内部標的ロック機能計算がサイクルごとに仮想球体650の半径を更新して、作動距離(W)の更新された値に再設定される。標的部位16が移動している場合、(仮想球体650の中心654にある)選択点は、標的部位16の移動に対応する動的軌道に置換される。
要約すれば、方法600は、ロボットアーム24が標的部位16に注目しながら3次元空間内を移動している間、焦点が維持されることを可能にする。コントローラCは、ロボットアーム24の移動を動的に解釈し、焦点を維持するために、どの程度移動させるべきかを計算する。ロボットアーム24の全ての移動が終わったとき、焦点モータ110は、最大鮮鋭度の場所に移動される。この調整(最大鮮鋭度の場所への移動)の量は、ロボットアーム24の動作中の連続的な追跡に起因して小さい場合がある。この結果、ロボットアーム24が作動距離を変化させている場合でも、常に焦点が合ったように見える画像がもたらされる。図1を参照すると、標的ロッキングモード54では、(ロボットアーム24の移動に起因する)作動距離Wの変化が許容される。作動距離Wの許容可能な変化は、仮想球体650の半径がハードウェアにより許容される最大及び最小の作動距離を超えないように限定され得る。いくつかの実施形態では、フィーチャフラグを挿入して、人工的ロボット境界を強制して、ロボットアーム24が作動距離Wに対するこれらの限界を超えることを防止し得る。
いくつかの実施形態では、コントローラCは、異なる視野角から作成された、対象物の映像内での移動経路をプログラム及び格納し得る。例えば、コントローラC及び/又はロボットアームコントローラ42は、眼内の点を中心として枢動することにより患者の眼の眼科検査を実施するようにプログラムされ得る。この例では、ロボットアーム24は、患者の眼が多くの視野角から視認されるように、立体視カメラ12を概ね円錐運動で掃引する。手術部位を視覚化するそのような移動は、照明からのスプリアス反射を除外するため又は障害物を避けて代わりの視野角で見るために、最善の角度を選択するために用いることができる。
V.連続自動焦点モード
ここで、図11を参照すると、方法700のフローチャートが示される。方法700は、図1の連続自動焦点モード56の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法700は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。
ここで、図11を参照すると、方法700のフローチャートが示される。方法700は、図1の連続自動焦点モード56の例示的実現形態であり、図1のコントローラCに格納され、コントローラCにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法700は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。
図1の連続自動焦点モード56は、ロボットアーム24が移動する際、移動タイプに無関係に画像の焦点が合った状態を維持し、移動の最後にスムーズな低雑音の最大鮮鋭度の調整を提供するように適合される。これは、立体視カメラ12が異なる場面を見るために回転しているか、場面自体が深さを変化させているか、作動距離が変化しているか又は上記の全てが同時に生じる場合でも、画像の焦点が合ったままであることを意味する。後述するように、連続自動焦点モード56は、ロボットアーム24の現在状態並びにディスパリティ信号の動的制御を用いる標的深さ(すなわち軸方向の位置、ここではZ軸)の相対的変化を測定することにより、ビューベクトル118(図2を参照されたい)の相対的変化を測定する。これにより、焦点の合った画像が(自動的に又はユーザにより)検出された時点において、初期化が可能になり、この時点以降、画像は、焦点が合ったままである。ディスパリティ信号は、移動中に動的に使用されるため、ロボットアーム24が移動するときに生じる深さ(すなわち軸方向の位置)の変化は、焦点が合ったままになるであろう。
方法700は、図11のブロック702から始まる。ブロック702では、コントローラCは、ロボットアーム24が移動したかどうかを決定するようにプログラムされる。その場合、方法700は、ブロック704に進む。ブロック704では、コントローラCは、(ブロック702において検出される)ロボットアーム24の変化に起因する高さの変化を決定するようにプログラムされる。高さは、ロボットアーム24の移動による、軸方向(ここではZ軸)に沿った立体視カメラ12の位置の変化として定義される。コントローラCは、ブロック706により示されるような関節(例えば、図1の関節センサ33)及びロボットアーム24の他の部分の位置データを使用して、高さの変化を計算し得る。
図11の方法700は、ブロック704からブロック708に進む。ブロック708では、コントローラCは、標的深さ(ΔZ_target)の変化を決定するようにプログラムされる。ブロック710により示されるように、コントローラCは、標的深さの変化を計算するために、ディスパリティ信号に関連する入力データを受信し得る。標的深さ(ΔZ_target)の変化は、PIコントローラ、PDコントローラ及び/又はPIDコントローラであり得る閉ループ制御モジュールを用いて、フィードバック制御を使用して計算され得る。一実施例では、標的深さ(ΔZ_target)の変化は、PIDコントローラ及びディスパリティ値を使用して以下のように計算される。
ΔZ_target=Kp(Rc-Rt)+Ki∫(Rc-Rt)dtーKd×dRc/dt
ΔZ_target=Kp(Rc-Rt)+Ki∫(Rc-Rt)dtーKd×dRc/dt
ここで、Rcは、現在のディスパリティ値であり、Rtは、開始値が初期化され格納されたときに記録されるディスパリティ値として定義される初期標的ディスパリティ値である。ここで、Kp、Ki及びKdは、それぞれPIDコントローラからの比例定数、積分定数及び微分定数であり、プロセス変数は、現在のディスパリティ値(Rc)と初期標的ディスパリティ(Rt)との差である。定数Kp、Ki及びKdは、標的深さの既知の変化(ここではZ軸に沿った変化)を用いる較正を介して得ることができる。
図11の方法700は、ブロック708からブロック712に進む。ブロック712では、コントローラCは、(ブロック708からの)標的深さの変化に基づいて、標的部位16の位置座標の変化を決定するようにプログラムされる。標的部位16のZ成分の格納された場所は、以下のように更新される。
Z_updated=Z_initial-ΔZ_target
Z_updated=Z_initial-ΔZ_target
次いで、方法700は、ブロック714に進む。ブロック714では、コントローラCは、合算された焦点距離の変化(ΔF)を決定し、焦点距離(F)を更新するようにプログラムされる。更新サイクルごとに、焦点距離Fは、以下のように、ロボットアーム24からのフィードフォワード項に、標的深さディスパリティからのフィードバック項を加算したものを使用して更新される。
ΔF=ΔF_robot+ΔF_target
ΔF=ΔF_robot+ΔF_target
焦点距離Fは、2つの要素:第1に、立体視カメラ12のビューベクトル118の終了点がどの程度変化したか、及び第2に、標的16の標的深さがどの程度変化したかにより更新される。
2つの要素は、異なる座標系にあるため、ロボットベースフレームにおけるベース座標(Xbase、Ybase、Zbase)をカメラ座標フレームに変換するために、同次変換行列(4x4)が用いられる。ベース座標(Xbase、Ybase、Zbase)は、ロボットベースフレームの標的部位16の即時の又は現在の場所を表す。同次変換行列は、回転行列Q(3x3)及び並進ベクトルPで構成され、以下のように表すことができる。
回転行列Qは3×3の成分を有し、並進ベクトルPは3×1の成分を有する。並進ベクトルPは、ロボットベースフレームからカメラフレームまでのオフセット(x0、y0、z0)を表し、ロボットベースフレームの原点はゼロ(0、0、0)であり、ロボットベースフレームにおけるカメラフレームの原点は(x0、y0、z0)である。以下の式は、(ロボットベースフレームにおける)ベース座標をカメラフレームに変換する。
ここで、ベクトル(x3、y3、z3)は、回転行列Qの第3列を表し、これは、変換マトリックスの回転空間のZ基底ベクトルである。Z基底ベクトルのz位置成分は、z3で表される。更新された焦点距離Fは、以下の式を使用して計算され得る。
Zbase=F(z3)+z0 (式3)
Zbase=F(z3)+z0 (式3)
方法700は、ブロック714からブロック716に進む。ブロック716において、コントローラCは、ブロック714において決定された更新された焦点距離Fに対応するモータコマンドを計算するように構成される。モータコマンドは送信され、焦点モータ110は、作動距離Wが更新された焦点距離Fと同じになるように、較正により決定された補正量だけ移動される。図11を参照すると、ライン717で示すように、更新された焦点距離F(及び更新された作動距離W)は、ロボットアーム24の関節角度に関するデータを更新するためにブロック706にフィードバックされ得る。上述したように、ロボットアーム24の移動に起因する高さの変化を得るために、ブロック704において関節角度に関するデータが使用される。加えて、ライン717で示すように、ブロック708において標的深さの変化を得るために使用されるディスパリティ信号の情報を更新するために、更新された焦点距離Fがブロック710に入力され得る。最後に、方法700は、図11のライン718で示すように、ブロック716からブロック702までループを戻る。
図11のブロック702を再び参照すると、ロボットアーム24の移動が検出されない場合、方法700はブロック702からブロック720に進む。ブロック720では、コントローラCは、走査し、最大鮮鋭度のための焦点モータ位置を計算するようにプログラムされる。図7のブロック406と同様に、ブロック614において、コントローラCは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち経時的な変化率を含む複数鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図8Cは、立体視カメラ12についての鮮鋭度信号550、最大鮮鋭度信号560及び最大鮮鋭度の微分570の例を示す。垂直軸540は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸542は、焦点モータ110の対応する位置を示す。前述したように、鮮鋭度信号550は、各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。鮮鋭度信号550の定義は、手近な用途に基づいて変化し得る。最大鮮鋭度信号560は、走査時間中に観察される最高鮮鋭度値として定義され得る。最大鮮鋭度信号560は絶え間なく更新され、最大鮮鋭度の微分570は経時的に計算される。図8Cに示すように、最大鮮鋭度の微分570は、第1の位置544において最大に達する。最大鮮鋭度の微分570がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラCが起動される。例えば、コントローラCは、微分570が所定数のステップにわたってゼロに落ち着いたときである第2の位置546において起動され得る。第1の位置544は、最大鮮鋭度位置とみなされる。最後に、図11の方法700は、ブロック720からブロック722に進む。ブロック722では、コントローラCは、モータコマンドを送信し、最大鮮鋭度のための位置に移動するようにプログラムされる。
連続自動焦点モード56は、(3D空間における)標的場所の開始値又は推定値及び焦点距離の初期セットを必要とする。開始値は、適用中、ディスパリティモード50又は鮮鋭度制御モード52の少なくとも一方が一度良好に実施された場合に得ることができる。いくつかの実施形態では、ディスパリティモード50又は鮮鋭度制御モード52の少なくとも一方が完了しない限り、連続自動焦点モード56は、機能しないであろう。代わりに、開始値の初期セットがサブルーチン又は機械学習アルゴリズムの出力としてコントローラCに供給され得る。その後、ロボットアーム24が移動しており、標的場所、深さ及び作動距離が変化している可能性がある場合でも、連続自動焦点モード56は、焦点距離の相対的な変化を測定し、開始値からの偏差に基づいて、画像の焦点が合った状態を維持する。
連続自動焦点モード56は、ロボットアーム24の移動から独立している。これは、連続自動焦点モード56が、コントローラC(及び/又はロボットアームコントローラ42)からのコマンドではなく、ロボットアーム24の実際の物理的状態を監視していることを意味する。これは、ロボットアーム24の状態の追跡が不完全であっても、画像が依然として焦点が合ったままとなることを意味する。
図1のコントローラCは、立体視撮像プラットフォーム10の一体部分であり得るか、又は立体視撮像プラットフォーム10に動作可能に接続された別個のモジュールであり得る。コントローラCは、コンピュータによって(例えば、コンピュータのプロセッサによって)読み取られ得るデータ(例えば、命令)を提供することに関係する非一時的(例えば、有形)媒体を含むコンピュータ読取可能媒体(プロセッサ読取可能媒体とも称する)を含む。かかる媒体は、不揮発性媒体及び揮発性媒体を含むが、限定されない多くの形態をとり得る。不揮発性媒体は、例えば、光ディスク又は磁気ディスク及び他の永続的メモリを含み得る。揮発性媒体は、例えば、メインメモリを構成し得るダイナミックランダムアクセスメモリ(DRAM)を含み得る。かかる命令は、コンピュータのプロセッサに結合されるシステムバスを含む配線を含む、同軸ケーブル、銅線及び光ファイバを含む1つ以上の伝送媒体によって伝送され得る。コンピュータ読取可能媒体の幾つかの形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、CD-ROM、DVD、他の光媒体、パンチカード、紙テープ、他の孔のパターンを有する物理媒体、RAM、PROM、EPROM、フラッシュEEPROM、他のメモリチップ若しくはカートリッジ又は他のコンピュータが読み取ることができる媒体を含む。
本明細書に記載されるルックアップテーブル、データベース、データリポジトリ又は他のデータストアは、階層型データベース、ファイルシステム内の一式のファイル、独自形式のアプリケーションデータベース、リレーショナルデータベース管理システム(RDBMS)等を含む様々な種類のデータを格納、アクセス及び取得するための様々な種類の機構を含み得る。それぞれのかかるデータストアは、上述したようなコンピュータオペレーティングシステムを採用するコンピューティングデバイス内に含まれ得、様々な方法の1つ以上でネットワークを介してアクセスされ得る。ファイルシステムは、コンピュータオペレーティングシステムからアクセス可能であり得、様々な形式で格納されたファイルを含み得る。RDBMSは、上述のPL/SQL言語等のストアドプロシージャを作成、保存、編集及び実行するための言語に加えて、構造化照会言語(SQL)を用い得る。
本明細書で提示されるフローチャートは、本開示の様々な実施形態に従うシステム、方法及びコンピュータプログラム製品の予想される実現形態のアーキテクチャ、機能及び動作を示す。これに関連して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント又はコードの一部を表す場合があり、指定された論理的機能を実現するための1つ以上の実行可能命令を含む。ブロック図及び/又はフローチャート例の各ブロック並びにブロック図及び/又はフローチャート例におけるブロックの組合せは、指定された機能又は行為を実施する特定目的ハードウェアベースデバイス又は特定目的ハードウェアとコンピュータ命令との組合せにより実現され得ることにも留意されたい。これらのコンピュータプログラム命令は、コンピュータ可読媒体にも格納され得る。コンピュータプログラム命令は、フローチャート及び/又はブロック図のブロックにおいて指定される機能/行為を実現するための命令を含む、コンピュータ可読媒体に格納された命令が製造物品を生産するように、コントローラ又は他のプログラム可能データ処理装置に指示して特定の形式で機能させることができる。
添付の請求の範囲を含む本明細書における(例えば、量又は条件の)パラメータの数値は、それぞれの各インスタンスにおいて、「約」という用語が実際に数値の前に置かれているかどうかに関わらず、「約」により修飾されていると理解されるべきである。「約」は、述べられた数値が幾分の僅かな不正確性を許容することを示す(幾つかのアプローチでは、厳密な値である;概ね又は適度に接近している;ほぼ)。「約」により提供される不正確性が当技術分野においてこの通常の意味で理解されない場合、本明細書において使用される「約」は、少なくとも、そのようなパラメータを測定し、使用する通常の方法から生じ得る変動を示す。加えて、範囲の開示は、各値と、全範囲内の更に分割された範囲との開示を含む。本明細書では、範囲内の各値と範囲の端点とが別々の実施形態として開示される。
詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の適用範囲は、特許請求の範囲によってのみ定義される。特許請求される本開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例の1つで説明した特性のそれぞれは、他の実施形態からの1つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言語で説明されていないか又は図面を参照することによって説明されていない他の実施形態を得ることができる。したがって、かかる他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。
Claims (20)
- 標的部位を撮像するための立体視撮像プラットフォームであって、
前記標的部位の少なくとも1つの立体視画像を生成するために、前記標的部位の左画像及び右画像を記録するように構成された立体視カメラ、
前記立体視カメラに動作可能に接続されたロボットアームであって、前記立体視カメラを前記標的部位に対して選択的に移動させるように適合され、
前記立体視カメラは、少なくとも1つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、前記レンズ組立体は、前記少なくとも1つのレンズを移動させて、前記作動距離を選択的に変化させるように適合された少なくとも1つの焦点モータを有する、ロボットアーム、
前記立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有するコントローラであって、
前記立体視カメラのための1つ以上の自動焦点合わせモードを選択的に実行するように適合され、前記1つ以上の自動焦点合わせモードは、連続自動焦点モードを含み、
前記連続自動焦点モードは、前記ロボットアームが前記立体視カメラを移動させており、及び前記標的部位が少なくとも軸方向に沿って移動している間、前記少なくとも1つの立体視画像の焦点を維持するように適合される、コントローラ
を含む立体視撮像プラットフォーム。 - 前記コントローラは、初期カメラ位置からの前記立体視カメラの高さの変化を決定するように構成され、前記高さの前記変化は、前記軸方向に沿った前記立体視カメラの位置の変位として定義される、請求項1に記載の立体視撮像プラットフォーム。
- 前記コントローラは、初期標的位置からの標的深さの変化を決定するように構成され、前記標的深さの前記変化は、前記軸方向に沿った前記標的部位の位置の変位として定義される、請求項2に記載の立体視撮像プラットフォーム。
- 前記標的深さの前記変化を決定することは、
初期標的ディスパリティ値及び現在のディスパリティ値を含むディスパリティ信号を取得することと、
前記コントローラを介して、閉ループ制御モジュールを実行して、前記現在のディスパリティ値と前記初期標的ディスパリティとの差を最小化することであって、前記標的深さの前記変化は、前記差に基づく、最小化することと
を含む、請求項3に記載の立体視撮像プラットフォーム。 - 前記コントローラは、
前記左画像における識別可能領域を分離することと、
前記右画像における第2の領域を分離することであって、前記第2の領域は、前記識別可能領域の座標を含み、且つ前記識別可能領域よりも大きい、分離することと、
テンプレートマッチを実施して画素オフセットを取得することであって、前記画素オフセットは、前記左画像における前記識別可能領域及び前記右画像における前記識別可能領域の水平方向変位である、取得することと、
前記ディスパリティ信号を、前記テンプレートマッチの最適場所における前記画素オフセットとして取得することと
により、前記ディスパリティ信号を取得するように構成される、請求項4に記載の立体視撮像プラットフォーム。 - 前記閉ループ制御モジュールは、比例微分制御モジュール、比例積分制御モジュール及び比例積分微分制御モジュールの少なくとも1つである、請求項4に記載の立体視撮像プラットフォーム。
- 前記閉ループ制御モジュールは、比例定数、積分定数及び微分定数を定義する比例積分微分制御モジュールであり、及び
前記標的深さの前記変化は、[Kp(Rc-Rt)+Ki∫(Rc-Rt)dtーKd×dRc/dt]として決定され、ここで、Rcは、前記現在のディスパリティ値であり、Rtは、前記初期標的ディスパリティ値であり、tは、時間であり、Kpは、前記比例定数であり、Kiは、前記積分定数であり、及びKdは、前記微分定数である、請求項6に記載の立体視撮像プラットフォーム。 - 前記コントローラは、前記立体視カメラの前記高さの前記変化及び前記標的深さの前記変化に部分的に基づき、更新された焦点距離を計算するように構成される、請求項4に記載の立体視撮像プラットフォーム。
- 前記更新された焦点距離を計算することは、前記更新された焦点距離Fを、第1の変数Zbase、第2の変数z0及び第3の変数z3の関数として、
前記第1の変数Zbaseは、ロボットベースフレームにおける前記標的部位の現在の位置のそれぞれの軸方向成分であり、
前記ロボットベースフレームは、同次変換行列を介してカメラ座標フレームに変換可能であり、前記同次変換行列は、回転行列及び並進ベクトルから構成され、
前記第2の変数z0は、前記並進ベクトルの前記それぞれの軸方向成分であり、及び前記第3の変数z3は、前記回転行列の列の前記それぞれの軸方向成分である、請求項8に記載の立体視撮像プラットフォーム。 - 前記コントローラは、前記更新された焦点距離に対応する、前記少なくとも1つの焦点モータのためのモータコマンドを計算するように構成され、及び
前記コントローラは、前記作動距離が、前記更新された焦点距離に対応するように、前記少なくとも1つの焦点モータに前記モータコマンドを送信するように構成される、請求項8に記載の立体視撮像プラットフォーム。 - 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、最大鮮鋭度位置に対応する、前記少なくとも1つの焦点モータのための前記モータコマンドを決定するように構成され、
前記最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む1つ以上の鮮鋭度パラメータに基づく、請求項10に記載の立体視撮像プラットフォーム。 - 前記最大鮮鋭度の前記微分は、第1の位置において最大に達し、前記最大鮮鋭度の前記微分は、前記第1の位置から移動し、且つ第2の位置においてほぼゼロで安定し、及び
前記最大鮮鋭度位置は、前記第1の位置として定義される、請求項11に記載の立体視撮像プラットフォーム。 - 前記鮮鋭度信号は、前記少なくとも1つの立体視画像における対象物のそれぞれのエッジ間のコントラストとして定義され、及び
前記最大鮮鋭度信号は、走査期間中に観察される最大鮮鋭度値として定義される、請求項11に記載の立体視撮像プラットフォーム。 - 前記少なくとも1つの立体視画像は、1つ以上の画像フレームを含み、及び
前記鮮鋭度信号は、前記1つ以上の画像フレームのガウシアンぼかしのラプラシアンの分散を計算することによって取得される、請求項11に記載の立体視撮像プラットフォーム。 - 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、前記最大鮮鋭度位置へと前記焦点モータに指示するように構成される、請求項11に記載の立体視撮像プラットフォーム。
- 標的部位を撮像するためのロボット撮像プラットフォームであって、
前記標的部位の少なくとも1つの立体視画像を生成するために、前記標的部位の左画像及び右画像を記録するように構成された立体視カメラ、
前記立体視カメラに動作可能に接続されたロボットアームであって、前記立体視カメラを前記標的部位に対して選択的に移動させるように適合され、
前記立体視カメラは、少なくとも1つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、前記レンズ組立体は、前記少なくとも1つのレンズを移動させて、前記作動距離を選択的に変化させるように適合された少なくとも1つの焦点モータを有する、ロボットアーム、
前記立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有するコントローラであって、
前記立体視カメラのための1つ以上の自動焦点合わせモードを選択的に実行するように適合され、前記1つ以上の自動焦点合わせモードは、連続自動焦点モードを含み、
前記連続自動焦点モードは、前記ロボットアームが前記立体視カメラを移動させており、及び前記標的部位が少なくとも軸方向に沿って移動している間、前記少なくとも1つの立体視画像の焦点を維持するように適合され、
前記連続自動焦点モードは、開始値のセットからそれぞれの偏差を決定するように適合され、前記開始値のセットは、初期カメラ位置及び初期標的位置を含む、コントローラ
を含むロボット撮像プラットフォーム。 - 前記1つ以上の自動焦点合わせモードは、ディスパリティモード及び鮮鋭度制御モードの少なくとも1つを含み、及び
前記開始値のセットは、前記連続自動焦点モードの前に実行される、前記ディスパリティモード及び前記鮮鋭度制御モードの少なくとも1つから取得される、請求項16に記載のロボット撮像プラットフォーム。 - 前記それぞれの偏差は、前記初期カメラ位置からの前記立体視カメラの高さの変化を含み、前記高さの前記変化は、前記軸方向に沿った前記立体視カメラの位置の変位として定義され、及び
前記それぞれの偏差は、前記初期標的位置からの標的深さの変化を含み、前記標的深さの前記変化は、前記軸方向に沿った前記標的部位の位置の変位として定義される、請求項16に記載のロボット撮像プラットフォーム。 - 前記コントローラは、前記立体視カメラの前記高さの前記変化及び前記標的深さの前記変化に部分的に基づき、更新された焦点距離を計算するように構成され、
前記標的深さの前記変化は、現在のディスパリティ値と初期標的ディスパリティとの差に部分的に基づき、前記開始値のセットは、前記初期標的ディスパリティを含む、請求項18に記載のロボット撮像プラットフォーム。 - 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、最大鮮鋭度位置に対応する、前記少なくとも1つの焦点モータのためのモータコマンドを決定するように構成され、
前記最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む1つ以上の鮮鋭度パラメータに基づく、請求項19に記載のロボット撮像プラットフォーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163167406P | 2021-03-29 | 2021-03-29 | |
US63/167,406 | 2021-03-29 | ||
PCT/IB2022/051854 WO2022208183A1 (en) | 2021-03-29 | 2022-03-02 | Stereoscopic imaging platform with continuous autofocusing mode |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024514432A true JP2024514432A (ja) | 2024-04-02 |
Family
ID=80683925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023557393A Pending JP2024514432A (ja) | 2021-03-29 | 2022-03-02 | 連続自動焦点合わせモードを有する立体視撮像プラットフォーム |
Country Status (7)
Country | Link |
---|---|
US (2) | US11974053B2 (ja) |
EP (1) | EP4315824A1 (ja) |
JP (1) | JP2024514432A (ja) |
CN (1) | CN117121477A (ja) |
AU (1) | AU2022249956A1 (ja) |
CA (1) | CA3210569A1 (ja) |
WO (1) | WO2022208183A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3816692A1 (en) * | 2019-10-30 | 2021-05-05 | Carl Zeiss Microscopy GmbH | Image conversion module with a microelectromechanical optical system and method for applying the same |
US20230277257A1 (en) * | 2022-03-02 | 2023-09-07 | Alcon Inc. | Robotic imaging system with orbital scanning mode |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10103922A1 (de) * | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
GB0222265D0 (en) * | 2002-09-25 | 2002-10-30 | Imp College Innovations Ltd | Control of robotic manipulation |
JP4479372B2 (ja) * | 2004-06-25 | 2010-06-09 | ソニー株式会社 | 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置 |
US7907166B2 (en) * | 2005-12-30 | 2011-03-15 | Intuitive Surgical Operations, Inc. | Stereo telestration for robotic surgery |
TW201200959A (en) * | 2010-06-29 | 2012-01-01 | Fujifilm Corp | One-eyed stereo photographic device |
US9485495B2 (en) * | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
KR20120051308A (ko) * | 2010-11-12 | 2012-05-22 | 삼성전자주식회사 | 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 |
US9270875B2 (en) | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
US9948918B2 (en) * | 2012-12-10 | 2018-04-17 | Mediatek Inc. | Method and apparatus for stereoscopic focus control of stereo camera |
EP3135444B1 (en) * | 2014-02-28 | 2022-04-13 | Sony Group Corporation | Robot arm apparatus, robot arm control method, and program |
US20180176483A1 (en) * | 2014-12-29 | 2018-06-21 | Metaio Gmbh | Method and sytem for generating at least one image of a real environment |
GB2558479B (en) * | 2015-09-24 | 2021-07-28 | Synaptive Medical Inc | Motorized full field adaptive microscope |
JP6753460B2 (ja) * | 2016-03-08 | 2020-09-09 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN107808398B (zh) * | 2016-09-08 | 2023-04-07 | 松下知识产权经营株式会社 | 摄像头参数算出装置以及算出方法、程序、记录介质 |
GB2571857B (en) * | 2016-10-31 | 2022-05-04 | Synaptive Medical Inc | 3D navigation system and methods |
KR20180086741A (ko) * | 2017-01-23 | 2018-08-01 | 주식회사 가치소프트 | 회전 방식에 기반하여 초점을 맞추는 카메라 및 이를 이용한 물품 처리장치 |
US10917543B2 (en) * | 2017-04-24 | 2021-02-09 | Alcon Inc. | Stereoscopic visualization camera and integrated robotics platform |
US11321914B1 (en) * | 2018-01-10 | 2022-05-03 | Amazon Technologies, Inc. | System for generating a navigational map of an environment |
US11406457B2 (en) * | 2018-08-20 | 2022-08-09 | Verb Surgical Inc. | Method and system for engagement of a surgical tool with actuators of a tool drive in a surgical robotic system |
CA3167157A1 (en) * | 2020-02-06 | 2021-08-12 | Vicarious Surgical Inc. | System and method for determining depth perception in vivo in a surgical robotic system |
US20210326694A1 (en) * | 2020-04-20 | 2021-10-21 | Nvidia Corporation | Distance determinations using one or more neural networks |
CA3209623A1 (en) * | 2021-02-24 | 2022-09-01 | Justin KEENAN | System and method for autofocusing of a camera assembly of a surgical robotic system |
-
2022
- 2022-03-02 AU AU2022249956A patent/AU2022249956A1/en active Pending
- 2022-03-02 JP JP2023557393A patent/JP2024514432A/ja active Pending
- 2022-03-02 CA CA3210569A patent/CA3210569A1/en active Pending
- 2022-03-02 US US17/684,851 patent/US11974053B2/en active Active
- 2022-03-02 WO PCT/IB2022/051854 patent/WO2022208183A1/en active Application Filing
- 2022-03-02 EP EP22709050.3A patent/EP4315824A1/en active Pending
- 2022-03-02 CN CN202280024187.1A patent/CN117121477A/zh active Pending
-
2024
- 2024-03-26 US US18/617,036 patent/US20240236515A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022208183A1 (en) | 2022-10-06 |
CN117121477A (zh) | 2023-11-24 |
US20220311947A1 (en) | 2022-09-29 |
US11974053B2 (en) | 2024-04-30 |
US20240236515A1 (en) | 2024-07-11 |
AU2022249956A1 (en) | 2023-11-02 |
CA3210569A1 (en) | 2022-10-06 |
EP4315824A1 (en) | 2024-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200322526A1 (en) | Intelligent manual adjustment of an image control element | |
US20240236515A1 (en) | Stereoscopic imaging platform with continuous autofocusing mode | |
JP5284731B2 (ja) | 立体画像撮影表示システム | |
JP2000507402A (ja) | 立体自動焦点合わせ、距離測定及び映像測定法 | |
JP7379704B2 (ja) | 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法 | |
US20240073399A1 (en) | Stereoscopic imaging platform with disparity and sharpness control automatic focusing mode | |
US11986240B2 (en) | Surgical applications with integrated visualization camera and optical coherence tomography | |
DE102018106651A1 (de) | Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen | |
WO2013087872A1 (en) | Automatic image optimization system, particularly for stereomicroscopes | |
US11863882B2 (en) | Stereoscopic imaging platform with target locking automatic focusing mode | |
US20230277257A1 (en) | Robotic imaging system with orbital scanning mode | |
AU2023226876A1 (en) | Robotic imaging system with orbital scanning mode | |
US20230333452A1 (en) | Autofocus method and associated optical imaging system | |
US20230147711A1 (en) | Methods for generating stereoscopic views in multicamera systems, and associated devices and systems | |
CN114081420A (zh) | 用于内窥镜的附件、内窥镜***、控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A525 Effective date: 20230919 |