JP6631528B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6631528B2
JP6631528B2 JP2016552869A JP2016552869A JP6631528B2 JP 6631528 B2 JP6631528 B2 JP 6631528B2 JP 2016552869 A JP2016552869 A JP 2016552869A JP 2016552869 A JP2016552869 A JP 2016552869A JP 6631528 B2 JP6631528 B2 JP 6631528B2
Authority
JP
Japan
Prior art keywords
force
acting
forceps
information processing
rod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016552869A
Other languages
English (en)
Other versions
JPWO2016056339A1 (ja
Inventor
一生 本郷
一生 本郷
長阪 憲一郎
憲一郎 長阪
直樹 小峰
直樹 小峰
鈴木 裕之
裕之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016056339A1 publication Critical patent/JPWO2016056339A1/ja
Application granted granted Critical
Publication of JP6631528B2 publication Critical patent/JP6631528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28Surgical forceps
    • A61B17/29Forceps for use in minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、医療現場においては、支持アーム装置を用いて手術を行うことが広く行われつつある。例えば、特許文献1には、コントローラを介した操作者(術者、例えば外科医)の操作により外科用器具(術具)が取り付けられたアーム部が駆動される、いわゆるマスタースレーブ方式の医療用支持アーム装置が開示されている。
一方で、特許文献1に記載されているようなマスタースレーブ方式の医療用支持アーム装置においては、術具に作用する力を検出し、当該力をコントローラを操作する術者に対して伝える、いわゆる力センシング及び力フィードバックを、高精度に実現するための技術が確立されていない。その理由の1つとしては、術具の先端部に作用する力を検出するための力センサを、当該先端部に設置することが困難であることが挙げられる。例えば、腹腔鏡手術に用いられる鉗子について考えると、当該鉗子の先端部には直径5(mm)程度の狭い空間しか存在せず、例えば6軸力覚センサの様な高精度な力センサを当該空間に搭載することは困難である。
そこで、空気圧アクチュエータによって支持アーム装置のアーム部を駆動させるとともに、当該空気圧アクチュエータの駆動力に基づいてアーム部に取り付けられた術具に作用する力を推定し、力フィードバックを行う技術が開発されている(例えば特許文献2)。当該技術によれば、力センサを用いることなく術具に作用する力を推定することができるため、上述したような力センサの設置場所に係る問題を解決できる可能性がある。
特許第5458122号公報 特許第5327687号公報
しかしながら、特許文献2に記載されているような空気圧アクチュエータを用いる技術では、当該空気圧アクチュエータを駆動するためのエアコンプレッサーを手術室に設置する必要があり、手術中に騒音等が発生する可能性がある。また、当該技術を用いた力センシング及び力フィードバックでは、その応答性、再現性の点で、未だ十分な精度が得られているとは言えない。
そこで、本開示では、より簡易な構成によって術具に作用する力を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する作用力計算部、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサが、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算すること、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータのプロセッサに、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する機能、を実現させるためのプログラムが提供される。
本開示によれば、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、当該棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかが計算される。従って、術具の一側(例えば根元側)に力センサを設けるという比較的簡易な構成によって、術具の他側(例えば先端側)に作用する力を求めることが可能になる。
以上説明したように本開示によれば、より簡易な構成によって術具に作用する力を検出することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るシステムの概略構成を示す図である。 第1の実施形態における、鉗子の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明するための説明図である。 第1の実施形態に係る情報処理装置の機能構成を示すブロック図である。 第1の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。 本開示の第2の実施形態に係るシステムの概略構成を示す図である。 第2の実施形態における、鉗子の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明するための説明図である。 第2の実施形態に係る情報処理装置の機能構成を示すブロック図である。 第2の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。 第1の実施形態において力センサの配置位置が変更された変形例に係るシステムの概略構成を示す図である。 第2の実施形態において第1の力センサの配置位置が変更された変形例に係るシステムの概略構成を示す図である。 第1及び第2の実施形態に係るシステムのハードウェア構成の一例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.システムの構成
1−2.作用力の計算方法
1−3.機能構成
1−4.情報処理方法
2.第2の実施形態
2−1.システムの構成
2−2.作用力の計算方法
2−3.機能構成
2−4.情報処理方法
3.変形例
3−1.第1の実施形態の変形例
3−2.第2の実施形態の変形例
3−3.トルクセンサの代わりに6軸力覚センサが用いられる変形例
4.ハードウェア構成
5.補足
ここで、以下に説明する本開示の第1及び第2の実施形態では、医療用支持アーム装置のアーム部に取り付けられる術具に作用する力を検出する、いわゆる力センシングが行われる。以下の説明では、第1及び第2の実施形態の一例として、当該支持アーム装置が内視鏡手術、特に腹腔鏡手術に用いられ、当該術具が鉗子である場合について説明する。腹腔鏡手術では、患者の身体に5(mm)〜10(mm)程度の大きさの開口部を複数設け、これらの開口部から、腹腔鏡や電気メス、鉗子等の術具をそれぞれ挿入し、腹腔鏡によって術部を観察しながら、その他の術具によって術部に対して処置がなされる。このように、腹腔鏡手術では、患者の体内に細い鉗子を挿入して微細な作業を行う必要があるため、鉗子の操作が人手によって行われる場合には、術者(外科医)の技量により手術の成功率が大きく左右される可能性があった。第1及び第2の実施形態のように、腹腔鏡手術に対して支持アーム装置を用いることにより、手術の難易度を大きく低下させ、安全に手術を行うことが可能となる。
第1及び第2の実施形態では、鉗子の様な棒状の部材に対して作用する力が好適に検出され得る。ただし、本開示はかかる例に限定されず、本開示における術具に作用する力を検出するための手法は、棒状の部材であれば、あらゆる術具に対して適用可能である。なお、以下の説明において、術具に作用する力という表現には、特に記載のない限り、力及びモーメントの両方又は一方が含まれる。
また、第1及び第2の実施形態に係る支持アーム装置には、検出された術具に作用する力に基づいて、アーム部の駆動を制御する機能が備えられてよい。例えば、検出された術具に作用する力が所定のしきい値を超えた場合には、その方向にそれ以上術具が移動しないように、術具の移動を抑制するようにアーム部が制御されてもよい。これにより、術具と接触することにより患者の体腔内の組織に過大な力が加えられてしまう事態を防止することが可能となる。
また、第1及び第2の実施形態に係る支持アーム装置は、コントローラを介して術者によって遠隔操作される、いわゆるマスタースレーブ方式の支持アーム装置であってもよい。その場合、当該支持アーム装置には、検出された術具に作用する力をコントローラを介して術者に対して伝達する、いわゆる力フィードバック機能が搭載され得る。
ただし、本開示の第1及び第2の実施形態に特徴的な構成は、力センシングを行うための構成であり、アーム部の駆動制御を行うための構成や、力フィードバックを実現するための構成としては、各種の公知な構成を適用することができる。従って、以下では、検出された力を用いた各種の制御を行うための構成については、その詳細な説明を省略し、力センシングを行うための構成について主に説明を行う。
(1.第1の実施形態)
(1−1.システムの構成)
図1を参照して、本開示の第1の実施形態に係るシステムの概略構成について説明する。図1は、本開示の第1の実施形態に係るシステムの概略構成を示す図である。
図1では、第1の実施形態に係る支持アーム装置の、アーム部と術具との接続部近傍の構成のみを図示している。図1を参照すると、第1の実施形態に係るシステム1は、アーム部160に取り付けられる鉗子110と、鉗子110を動作させるためのモータ120と、モータ120の駆動力を鉗子110の先端部に伝達する伝達部材130と、鉗子110を患者の体内に挿入する際のガイドとなるトロッカー140と、鉗子110とアーム部160との接続部に設けられる力センサ150と、力センサ150の検出値に基づいて鉗子110に作用する力を計算する情報処理装置170と、を備える。
アーム部160は、複数のリンクが関節部によって互いに連結された多リンク構造体であってよく、図1では、アーム部160を構成する一のリンクのみが概略的に図示されている。第1の実施形態に係る支持アーム装置は、図示しない制御装置によって、位置制御又は力制御等の、各種の公知の制御方式によって、アーム部160を駆動させることができる。また、当該制御装置は、モータ120を駆動させることにより、鉗子110を動作させることができる。アーム部160の駆動制御、及び、鉗子110の動作の制御には、一般的な支持アーム装置において用いられる各種の公知の制御手法が適用され得るため、ここではその詳細な説明は省略する。
鉗子110は棒状の部材であり、その先端には、開閉可能なハサミ型の構成を有する把持部111が設けられる。手術時には、鉗子110が患者の体腔内に挿入され、把持部111によって、術部の血管を圧迫したり、切除した組織等を把持したりする。なお、鉗子110の種類は限定されず、鉗子110はあらゆる種類の鉗子であってよい。具体的には、鉗子110を体腔内に挿入する場合には、まず、患者の身体に設けられた5(mm)〜10(mm)程度の大きさの開口部に、トロッカー140が挿入される。トロッカー140は中空の筒状の部材であり、鉗子110は、当該トロッカー140の内部を通して患者の体腔内に挿入される。
ここで、手術中に鉗子110に対して外部から作用し得る力について考えてみる。鉗子110の先端部は、患者の体腔内において体組織と接触し得るため、鉗子110は、当該体組織との接触部位において力を受ける可能性がある。また、鉗子110の外周は、トロッカー140の内壁と接触し得るため、鉗子110は、トロッカー140の内壁との接触部位において力を受ける可能性がある。このように、鉗子110には、互いに異なる2つの部位から力が作用し得る。以下の説明では、鉗子110において、患者の体腔内の体組織との接触により力を受ける点を第1の作用点とも呼称し、トロッカー140の内壁との接触により力を受ける点を第2の作用点とも呼称する。
第1の作用点は、上述したように鉗子110の先端であり得る。一方、トロッカー140に外力が負荷されず、トロッカー140に鉗子110が単に挿入されている状態においては、鉗子110に対してトロッカー140の内壁から作用する力は、さほど大きなものではない。鉗子110に対してトロッカー140の内壁からより大きい力が作用し得る場合とは、トロッカー140に対して外部から力が作用している場合である。トロッカー140に対して外部から力が作用すると、その内部に挿入されている鉗子110にも、トロッカー140の側壁を介してその力が伝達されるからである。従って、第2の作用点は、鉗子110においてトロッカー140に挿入されている部位の中でも、トロッカー140に対して外部から力が作用する点であり得る。
トロッカー140の用途を考慮すると、トロッカー140の外壁は、患者の身体に設けられる開口部において、当該開口部の縁部と接触している。従って、呼吸等によって患者の身体が動くことにより、当該接触部位においてトロッカー140に対して外部から力が作用することとなる。このように、第2の作用点は、患者の身体に設けられる開口部の縁部とトロッカー140の外壁とが接触する位置における、トロッカー140の内壁と鉗子110との接触部位である。第2の作用点は、患者の体表面付近に対応する位置であるとも言える。
なお、第1の実施形態では、トロッカー140としては、各種の公知のトロッカーが用いられてよい。従って、図1では、図面が煩雑になることを避けるために、トロッカー140の詳細な構造の図示を省略している。ただし、図1では、説明のため、第2の作用点に対応する鉗子110とトロッカー140との接触部位だけを概略的に図示している。
図示するように、アーム部160の鉗子110の取り付け部には、鉗子110を動作させるためのモータ120が設けられる。図1に示す例では、鉗子110に対して2つのモータ120が設けられている。モータ120の駆動力が伝達部材130を介して鉗子110に伝達されることにより、鉗子110が動作する。
伝達部材130は、歯車(ギア)131、132及びワイヤ133からなる。ギア131は、モータ120の駆動軸にその中心が軸支されており、モータ120の駆動に伴って回動する。ギア131には、例えば所定の減速比になるようにその大きさが調整されたギア132が噛合される。ギア132にはワイヤ133の一端が巻回されており、モータ120によって、ギア131、132を介して、ワイヤ133に張力が負荷される構成になっている。鉗子110は中空に構成され、ワイヤ133は鉗子110の内部に延設されている。ワイヤ133の他端は、鉗子110の先端の把持部111に接続されており、モータ120によって当該ワイヤ133が駆動されることにより、把持部111の開閉等の動作が行われる。なお、鉗子110が、例えば関節部等、把持部111以外にも可動部を有する場合には、ワイヤ133によって当該他の可動部が駆動されてもよい。
ここで、ギア131、132は、必ずしも設けられなくてもよく、モータ120の駆動軸に直接ワイヤ133が接続され、鉗子110が駆動されてもよい。ただし、ギア131、132のような伝達部材を用いることにより、アーム部160及び鉗子110のメンテナンスや交換等の作業がより容易になる。また、伝達部材130の具体的な構成も、図示されるものに限定されず、伝達部材130は、モータ120の駆動力をワイヤ133に伝達し得るように構成されればよく、その構成は任意であってよい。
なお、図1に示す例では、鉗子110を動作させる機構が、2つのモータ120によって、2本のワイヤ133がそれぞれ駆動されることにより構成されているが、鉗子110を動作させる機構はかかる例に限定されない。モータ120の配置数及び配置位置や伝達部材130の具体的な構成は、鉗子110の所望の動作を実現させるように、適宜設定され得る。
アーム部160と鉗子110との接続部には、力センサ150が設けられる。図1に示す例では、円環形状を有する力センサ150が1つ設けられている。図1では、力センサ150の断面を図示している。図示するように、鉗子110は、力センサ150を介してアーム部160と接続されており、力センサ150は、鉗子110に作用する力及びモーメントを検出することができる。力センサ150は、例えば6軸力覚センサであり、互いに直交する3軸方向の力と、当該3軸方向周りのモーメントを検出する機能を有する。このように、第1の実施形態では、鉗子110の一端に力センサ150が設けられ、他端側に第1の作用点及び第2の作用点が存在していることになる。
なお、力センサ150の配置数及び配置位置は、図示する例に限定されない。第1の実施形態では、力センサ150は、鉗子110の、第1の作用点及び第2の作用点とは異なる側に設けられればよく、その具体的な配置数及び配置位置は、後述する情報処理装置170による鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算が精度良く実行されるように、任意に設定されてよい。
ここで、以下の説明では、棒状の部材である鉗子110の延伸方向をz軸方向と定義する。また、当該z軸方向と互いに直交する2方向をx軸方向及びy軸方向と定義する。第1の実施形態では、力センサ150は、当該x軸方向、y軸方向、z軸方向を検出軸とするように配設される。
力センサ150によって検出された力及びモーメントについての情報は、情報処理装置170に送信される。情報処理装置170は、力センサ150の検出値に基づいて、鉗子110の第1の作用点及び/又は第2の作用点への作用力(以下、単に鉗子110への作用力とも呼称する。)を計算する。例えば、力センサ150は、所定の間隔で力及びモーメントを検出し、その検出値についての情報を随時情報処理装置170に送信するように構成されている。情報処理装置170は、力センサ150の検出間隔に従って、所定の間隔で随時、鉗子110への作用力を計算することができる。なお、情報処理装置170が行う計算処理の詳細については、下記(1−2.作用力の計算方法)及び(1−3.機能構成)で改めて説明する。また、力センサ150と情報処理装置170との通信方式には、有線又は無線を問わず、各種の公知の通信方式が適用されてよい。
ここで、情報処理装置170は、所定のプログラムに従って動作し、上述した計算処理を行う機能を有すればよく、その具体的な構成は限定されない。例えば、情報処理装置170は、PC(Personal Computer)等の汎用的な情報処理装置であってもよいし、演算サーバ等の数値計算に特化した情報処理装置であってもよい。あるいは、情報処理装置170は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等の各種のプロセッサであってもよいし、プロセッサとメモリ等の記憶装置とが一体的に構成されたいわゆるマイコンであってもよい。また、情報処理装置170は、支持アーム装置の駆動を制御する制御装置と一体的に構成されてもよい。
更に、情報処理装置170は、必ずしも1台の装置でなくてもよく、複数の装置によって構成され、当該複数の装置が互いに協働することによって上述した計算処理が行われてもよい。例えば、複数の装置によって計算処理が並列的に行われることにより、計算速度を向上させることができる。また、情報処理装置170は、支持アーム装置の近くに配置されなくてもよく、例えばネットワーク上(いわゆるクラウド上)に設けられ、力センサ150の検出値を当該ネットワークを介して受信して、上述した計算処理を行ってもよい。
以上、図1を参照して、第1の実施形態に係るシステム1の概略構成について説明した。
(1−2.作用力の計算方法)
図2を参照して、上述した情報処理装置170において実行される、鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明する。図2は、第1の実施形態における、鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明するための説明図である。なお、図2は、図1に対して、鉗子110に対して作用する力を表す矢印や、鉗子110の寸法等の記載を追加したものに対応するため、図1を参照して既に説明した構成については、重複する説明を省略する。
ここで、第1の実施形態では、鉗子110への作用力を求めるために、簡易的に、鉗子110が駆動することによって鉗子110に作用する力(以下、能動的な力とも呼称する。)については、考慮しないこととする。すなわち、第1の実施形態では、鉗子110が動作していない、静的な状態を仮定しているとも言える。このように、能動的な力を考慮しない場合であっても、鉗子110への作用力を一定の精度で求めることが可能である。なお、能動的な力まで考慮した、より高精度な作用力の計算方法については、下記(2.第2の実施形態)で詳しく説明する。第1の実施形態は、後述する第2の実施形態と比べて多少精度は低下する恐れはあるものの、より簡易な構成によって、鉗子110への作用力を求めることを可能にするものである。
図2に示すように、能動的な力を考慮しない場合には、鉗子110には、第1の作用点210に対する力211と、第2の作用点220に対する力221と、鉗子110の自重による重力231が作用し得る。力211は、鉗子110の先端が患者の体腔内の体組織と接触することにより、当該鉗子110の先端に当該体組織から加えられる反力である。また、力221は、患者の身体に設けられる開口部の縁部と接触しているトロッカー140に対して、呼吸等による患者の身体の動きによって加えられる力が、トロッカー140の側壁を介して鉗子110に伝達されたものである。
説明のため、以下では、第1の作用点210においてx軸方向、y軸方向及びz軸方向に作用する力を、それぞれ、Fx、Fy及びFzと呼称する。また、第1の作用点210において作用する、x軸方向、y軸方向及びz軸方向周りのモーメントを、それぞれ、Mx、My及びMzと呼称する。また、同様に、第2の作用点220においてx軸方向、y軸方向及びz軸方向に作用する力を、それぞれ、Ftx、Fty及びFtzと呼称する。また、第2の作用点220において作用する、x軸方向、y軸方向及びz軸方向周りのモーメントを、それぞれ、Mtx、Mty及びMtzと呼称する。更に、力センサ150の検出値において、x軸方向、y軸方向及びz軸方向の力の検出値を、それぞれ、Fsx、Fsy及びFszと呼称し、x軸方向、y軸方向及びz軸方向周りのモーメントの検出値を、それぞれ、Msx、Msy及びMszと呼称する。
なお、上述したように、本実施形態では、力センサ150の配置数及び配置位置は図1に示す構成例に限定されない。例えば、アーム部160と鉗子110との接続部に力センサ150が複数設けられてもよい。力センサ150が複数設けられる場合には、これら複数の力センサ150の検出値が合成された値等が、Fsx、Fsy、Fsz、Msx、Msy、Mszとして扱われ得る。
ここで、鉗子110の質量は、事前に測定可能な既知の量である。また、アーム部160及び鉗子110の位置及び姿勢は、例えば内部モデルとして、アーム部160の駆動を制御する制御装置によって保持されている(鉗子110の質量も内部モデルとして保持され得る)。従って、鉗子110に作用する重力231の大きさや、鉗子110の位置及び姿勢に応じた重力231に起因するモーメントの大きさは、当該制御装置が保持しているアーム部160及び鉗子110の位置及び姿勢についての情報に基づいて計算可能な、既知の値として扱うことができる。従って、第1の実施形態では、力センサ150の検出値から、重力231による成分を差し引いた値を、Fsx、Fsy、Fsz、Msx、Msy、Mszとみなすこととする。これにより、以下の計算では、重力231や、重力231によるモーメントを考慮する必要がなくなる。
ここで、第1の実施形態では、鉗子110への作用力を計算する際に、鉗子110の使用態様に応じた制約条件を設定する。当該制約条件は、手術内容等に応じた鉗子110の使用態様に鑑み、術者又はシステム1の設計者等によって適宜設定され得る。
まず、トロッカー140と鉗子110との接触部位(すなわち、第2の作用点220)においては、鉗子110に対しては、z軸方向の力Ftz、x軸周りのモーメントMtx、y軸周りのモーメントMty及びz軸周りのモーメントMtzは、ほぼ作用しないことが想定される。これは、鉗子110が、筒状の部材であるトロッカー140の内部に挿入されており、第2の作用点は、鉗子110の外周部とトロッカー140の内壁との接触部位であるため、構造的に、力Ftz及びモーメントMtx、Mty、Mtzは、他の力及びモーメントに比して十分小さい値となることが想定されるからである。従って、1つ目の制約条件として、第2の作用点220における力Ftz及びモーメントMtx、Mty、Mtzを略ゼロとみなすこととする。
また、第1の作用点210は、棒状の部材である鉗子110の先端であるため、第1の作用点210においては、鉗子110の延伸方向、すなわちz軸方向以外の軸周りのモーメントはほぼ作用しないことが想定される。従って、2つ目の制約条件として、第1の作用点210におけるモーメントMx、Myを略ゼロとみなすこととする。
以上の制約条件の下で、力センサ150の検出値Fsx、Fsy、Fsz、Msx、Msy、Msz(ただし、重力231の成分を差し引いたもの)と、第1の作用点210におけるFx、Fy、Fz、Mx、My、Mzと、第2の作用点220におけるFtx、Fty、Ftz、Mtx、Mty、Mzと、の間での、力及びモーメントの釣り合いを考えると、以下の数式(1)〜(6)を得ることができる。なお、下記数式(4)〜(6)は、第2の作用点を中心としたモーメントの釣り合いから導出したものである。
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
なお、Ltは、力センサ150から第2の作用点220までの距離であり、Lsは、第2の作用点220から鉗子110の先端までの距離である。
ここで、上記数式(1)〜(6)において、Fsx、Fsy、Fsz、Msx、Msy、Mszは、力センサ150から得られる値であり、既知の値である。また、Lt、Lsも既知の値である。何故ならば、Lt、Lsは、鉗子110の全長と、トロッカー140と鉗子110との位置関係と、から容易に計算することができるからである。具体的には、鉗子110の全長は、鉗子110の構造上、当然既知の値であり、例えば支持アーム装置の制御装置がアーム部160の駆動を制御する際に用いられる内部モデルに、当該鉗子110の長さについての情報も含まれている。また、手術中においてトロッカー140は患者に挿入されているためにその位置はほぼ固定されており、上記内部モデルには、当該トロッカー140の位置情報も含まれている。更に、上述したように、鉗子110の位置情報も、上記内部モデルに含まれている。従って、当該制御装置によって、鉗子110の全長、及びトロッカー140と鉗子110との位置関係が把握されているため、Lt、Lsを、既知の値として扱うことができるのである。
このように、数式(1)〜(6)における未知数は、Fx、Fy、Fz、Mz、Ftx、Ftyの6つだけとなる。数式の数と未知数の数とが一致しているため、数式(1)〜(6)からなる連立方程式を解くことにより、Fx、Fy、Fz、Mz、Ftx、Ftyを求めることができる。第1の実施形態では、情報処理装置170が、数式(1)〜(6)からなる連立方程式を解くことにより、Fx、Fy、Fz、Mz、Ftx、Ftyを求める。
例えば、情報処理装置170は、各種の数値計算の手法により、上記連立方程式を解くことができる。連立方程式を解くための数値計算の手法としては、各種の公知の手法を用いることが可能であるため、ここでは詳細な説明は省略する。
あるいは、鉗子110の使用態様がほぼ変化せず、制約条件が一定である場合には、予め上記連立方程式の解析解が、術者又はシステム1の設計者等により計算され、システム1に入力されていてもよい。例えば、上記数式(1)〜(6)からなる連立方程式を未知数について解くことにより、解析解として、以下の数式(7)〜(12)を得ることができる。情報処理装置170は、下記数式(7)〜(12)に、力センサ150の検出値であるFsx、Fsy、Fsz、Msx、Msy、Mszや、既知の量として計算可能なLt、Lsを代入することにより、Fx、Fy、Fz、Mz、Ftx、Ftyを求めることができる。
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
Figure 0006631528
以上、第1の実施形態に係る作用力の計算方法について説明した。以上説明したように、第1の実施形態では、力センサ150の検出値と、第1の作用点210への作用力と、第2の作用点への作用力と、の釣り合い式に基づいて、鉗子110の当該第1の作用点210への作用力及び/又は当該第2の作用点への作用力が計算される。その際、鉗子110の使用態様に応じて、鉗子110への作用力について制約条件が設定され、当該制約条件に基づいて上記釣り合い式が簡略化されることにより、鉗子110の第1の作用点210への作用力及び/又は第2の作用点への作用力が計算される。
ここで、制約条件は上述した例に限定されない。上記実施形態では、腹腔鏡手術に用いられる鉗子110に作用する力が計算されるため、上述したような制約条件を設けたが、鉗子110の種類やその使用方法によっては、異なる制約条件が設定されてよい。また、冒頭で説明したように、第1の実施形態では、作用力が計算される対象は鉗子110に限定されず、他のあらゆる棒状の部材への作用力が計算されてもよい。部材に応じて、その使用態様も変化し得るため、第1の実施形態では、作用力の計算対象である部材の使用態様に応じて、適切な制約条件が、システム1の使用者及び設計者等により適宜設定されてよい。制約条件が異なる場合であっても、上述した方法と同様に、力及びモーメントの釣り合い式を当該制約条件に基づいて簡略化することにより、部材に作用する力を計算することが可能である。
(1−3.機能構成)
次に、図3を参照して、以上説明した計算処理を実行する情報処理装置170の機能構成について説明する。図3は、第1の実施形態に係る情報処理装置170の機能構成を示すブロック図である。
図3を参照すると、第1の実施形態に係る情報処理装置170は、記憶部171と、制御部172と、を備える。図示するように、情報処理装置170は、力センサ150と、各種の情報を通信可能に接続される。情報処理装置170は、力センサ150から、当該力センサ150による検出値(すなわち力及びモーメント)についての情報を取得することができる。なお、図示は省略するが、情報処理装置170は、アーム部160の駆動を制御する制御装置とも、各種の情報を通信可能に接続されている。情報処理装置170は、当該制御装置から、アーム部160及び鉗子110の位置及び姿勢についての情報や、上述したLt、Lsを計算するために必要な情報等を取得することができる。
記憶部171は、例えばHDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶デバイスによって構成され、制御部172によって処理される各種の情報及び制御部172による処理結果等を記憶する。制御部172は、記憶部171に記憶されている各種の情報を利用することにより、各種の処理を実行することができる。
第1の実施形態では、記憶部171は、上記(1−2.作用力の計算方法)で説明した計算を行うために必要な各種の情報を記憶する。例えば、記憶部171は、力センサ150の検出値を記憶する。また、例えば、記憶部171は、上記制御装置から送信される各種の情報(例えば、アーム部160及び鉗子110の位置及び姿勢についての情報、鉗子110の形状や質量等についての情報、トロッカー140の位置についての情報等)を記憶する。また、例えば、記憶部171は、上述した制約条件についての情報を記憶する。なお、当該制約条件についての情報は、手術に先立ち、術者やシステム1の設計者等によって、予め記憶部171に入力され得る。
制御部172は、例えばCPUやDSP等の各種のプロセッサによって構成され、情報処理装置170における各種の処理を統括的に制御する。制御部172は、その機能として、作用力計算部173を有する。なお、制御部172の各機能は、制御部172を構成する各種のプロセッサが所定のプログラムに従って動作することにより実現され得る。
作用力計算部173には、力センサ150から、その検出値についての情報が入力される。作用力計算部173は、力センサ150の検出値に基づいて、鉗子110の第1の作用点及び/又は第2の作用点への作用力を計算する。具体的には、作用力計算部173は、力センサ150の検出値と、記憶部171に記憶されている各種の情報と、に基づいて、上記(1−2.作用力の計算方法)で説明した計算を行い、鉗子110への作用力を計算する。
より具体的には、作用力計算部173は、記憶部171に記憶されている制約条件に基づいて、上記数式(1)〜(6)に示すような、力の釣り合い及びモーメントの釣り合いを示す数式を立式する。ここで、作用力計算部173には、力センサ150から、その検出値が提供されている。また、作用力計算部173は、記憶部171に記憶されている、鉗子110についての情報やアーム部160の位置及び姿勢を示す情報等に基づいて、鉗子110に作用する重力の成分や、上述したLt、Lsを計算することができる。作用力計算部173は、立式した数式に、重力の成分を差し引いた力センサ150の検出値や、Lt、Ls等の既知の値を代入した上で、これらの数式を連立し、未知数(すなわち、鉗子110への作用力)について解くことができる。この際、鉗子110の使用態様がほぼ変化せず、制約条件が一定である場合には、予め上記連立方程式を未知数について解いた解析解(例えば上記数式(7)〜(12))が、術者及びシステム1の設計者等により計算され、記憶部171に記憶されていてもよい。作用力計算部173は、当該解析解に対して、重力の成分を差し引いた力センサ150の検出値や、Lt、Ls等の既知の値を代入することにより、鉗子110への作用力を計算することができる。なお、力センサ150の検出値は、情報処理装置170に送信された後、一旦記憶部171に記憶されてもよく、作用力計算部173は、記憶部171を参照することにより、計算に用いる力センサ150の検出値を得てもよい。
なお、作用力計算部173は、上記数式(1)〜(6)からなる連立方程式を解く際、又は上記数式(7)〜(12)に既知の値を代入する際に、必ずしも全ての未知数を求めなくてもよい。例えば、鉗子110の先端(すなわち第1の作用点)への作用力のみを求めたい場合であれば、作用力計算部173は、第1の作用点での作用力に対応する未知数のみを計算することができる。いずれの未知数を求めるかは、術者及びシステム1の設計者等によって適宜設定されてよい。
作用力計算部173によって計算された鉗子110への作用力は、例えば、上記制御装置に送信される。当該制御装置では、計算された鉗子110への作用力に基づいて、アーム部160の制御や、術者のコントローラへの力フィードバックの制御が行われる。あるいは、作用力計算部173による計算結果は、例えば表示部(図示せず。)に表示されたり、通信部(図示せず。)を介して他の機器に送信されたりして、術者等に対して、数値、グラフ等の形式で出力されてもよい。
以上、図3を参照して、情報処理装置170の機能構成について説明した。以上説明したように、第1の実施形態によれば、作用力計算部173によって、鉗子110の一側(アーム部160との接続部)に設けられる力センサ150の検出値に基づいて、鉗子110の他側に存在する互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかが計算される。従って、鉗子110の先端に力センサを設けなくても、当該先端における作用力を計算することができる。このように、第1の実施形態によれば、より簡易な構成で、鉗子110に作用する力を検出することが可能になる。
鉗子110に作用する力が検出可能であることにより、検出された力を用いて、術部の診断を行ったり、手術の安全性をより高めたりすることができる。例えば、検出された鉗子110への作用力に基づいて、術部の硬さを調べることにより患者の病状を確認したり、腹腔鏡等のカメラでは確認できない部位の感触を確認したりすることができる。また、例えば、検出された鉗子110への作用力に基づいて、一定以上の力が術部に負荷されないように鉗子110が取り付けられるアーム部160の駆動制御を行ったり、切除した部位を体外に引っ張り出す際に体内の他の組織に引っ掛かっていないかどうかを判断したりすることができる。このように、検出された鉗子110への作用力は、様々な用途に用いられてよい。
ここで、上記の説明では、鉗子110の全長が一定であるとして、鉗子110への作用力を計算していた。しかしながら、第1の実施形態はかかる例に限定されず、鉗子110は、その長さが可変であってもよい。鉗子110の長さが可変である場合、Lt、Lsの値が、鉗子110の長さの変化に応じて変化し得る。第1の実施形態では、鉗子110の長さが可変である場合には、作用力計算部173は、鉗子110の長さの変化に応じてLt、Lsを計算し、計算されたLt、Lsを用いて、第1の作用点及び/又は第2の作用点への作用力を計算することができる。具体的には、鉗子110の長さの変化は、アーム部160の駆動を制御する制御装置によって、例えば内部モデルとして把握されている。従って、作用力計算部173は、鉗子110の長さが変化した場合に、当該制御装置から変化後の鉗子110の長さについての情報を取得することにより、Lt、Lsを計算し直すことができる。
また、上記の説明では、鉗子110を、略直線的に延伸する棒状の部材として扱っていた。しかしながら、第1の実施形態はかかる例に限定されず、鉗子110は、関節部を有し、その形状及び姿勢を変化可能に構成されてもよい。この場合、鉗子110の形状及び姿勢の変化に応じて、第1の作用点及び第2の作用点の位置(すなわちLt、Lsの値)や、鉗子110の重心の位置(すなわち重力が作用する位置)が変化し得る。第1の実施形態では、鉗子110が関節部を有する場合には、作用力計算部173は、鉗子110の形状及び姿勢の変化に応じて、第1の作用点、第2の作用点及び重心の位置を計算し、計算されたこれらの位置情報を上記数式(1)〜(6)に反映して、第1の作用点及び/又は第2の作用点への作用力を計算することができる。具体的には、鉗子110が関節部を有する場合には、その鉗子110の関節部の駆動は、アーム部160の駆動を制御する制御装置によって制御され得る。従って、関節部が駆動されたことによる鉗子110の形状や姿勢の変化は、例えば内部モデルとして、当該制御装置によって把握されている。従って、作用力計算部173は、関節部が駆動し鉗子110の形状及び姿勢が変化した場合に、当該制御装置から変化後の鉗子110の形状及び姿勢についての情報を取得することにより、第1の作用点、第2の作用点及び重心の位置を計算し直すことができる。
なお、図3では、簡単のため、第1の実施形態に特徴的な機能のみを図示し、その他の機能の図示を省略している。情報処理装置170は、一般的な情報処理装置が有する各種の機能を更に有してもよい。例えば、情報処理装置170は、ユーザによる各種の操作入力を受け付ける入力部、ユーザに対して視覚的、聴覚的に各種の情報を出力する出力部、外部の他の機器との間で通信を行う通信部等の機能を更に有し得る。
また、情報処理装置170の装置構成は、図3に示す例に限定されない。例えば、図3に示す情報処理装置170の各機能は、必ずしも1つの装置に一体的に搭載されなくてもよい。図3に示す情報処理装置170に搭載される各機能が、複数の装置に分散されて搭載され、当該複数の装置が通信可能に接続されることにより、情報処理装置170が構成されてもよい。例えば、記憶部171は、情報処理装置170とは異なる外部の機器として備えられてもよく、情報処理装置170が、外部機器である記憶部171と通信を行いながら、上述した計算処理を実行してもよい。また、例えば、制御部172の各機能は、1つのプロセッサによって実行されてもよいし、複数のプロセッサの協働によって実行されてもよい。
また、上述のような第1の実施形態に係る情報処理装置170の機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(1−4.情報処理方法)
図4を参照して、図3に示す情報処理装置170において行われる、情報処理方法について説明する。図4は、第1の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。なお、図4に示す各処理は、図3に示す制御部172が所定のプログラムに従って動作することにより実行され得る。
第1の実施形態に係る情報処理方法では、まず、制御部172によって、力センサ150による検出値が取得される(ステップS101)。力センサ150の検出値は、直接図3に示す作用力計算部173に提供されてもよいし、一旦記憶部171に記憶されてもよい。
次に、作用力計算部173によって、取得した検出値に基づいて、第1の作用点及び/又は第2の作用点における鉗子110への作用力が計算される(ステップS103)。具体的には、作用力計算部173によって、力センサ150の検出値と、記憶部171に記憶されている各種の情報と、に基づいて、上記(1−2.作用力の計算方法)で説明した計算が行われ、当該作用力が計算される。なお、ステップS103に示す処理では、力センサ150の検出値から、鉗子110の重力による成分が差し引かれたものを用いて作用力が計算されてよい。
最後に、作用力計算部173による計算結果が出力される(ステップS105)。計算結果の出力先は、例えば、鉗子110を駆動させている支持アーム装置の制御装置である。当該制御装置において、計算結果に基づいて、アーム部160の駆動制御や、術者のコントローラへの力フィードバック制御が行われる。
以上、図4を参照して、第1の実施形態に係る情報処理方法について説明した。
(2.第2の実施形態)
上述したように、第1の実施形態では、鉗子110に作用する能動的な力を考慮せずに、第1の作用点及び/又は第2の作用点における鉗子110への作用力が計算される。しかしながら、実際には、力センサ150の検出値には、モータ120を駆動させることにより鉗子110に与えられる力による影響が含まれている。第2の実施形態は、能動的な力まで考慮することにより、第1の作用点及び/又は第2の作用点における鉗子110への作用力を、より高精度に計算するものである。
(2−1.システムの構成)
図5を参照して、本開示の第2の実施形態に係るシステムの概略構成について説明する。図5は、本開示の第2の実施形態に係るシステムの概略構成を示す図である。なお、第2の実施形態に係るシステムは、図1を参照して説明した第1の実施形態に係るシステム1に対して、後述する力センサ280が追加され、それに伴って情報処理装置170の機能が変更されたものに対応する。その他の部材の構成及び機能はシステム1と同様であるため、以下の第2の実施形態についての説明では、第1の実施形態と重複する事項についてはその詳細な説明を省略し、第1の実施形態との相違点について主に説明することとする。
図5を参照すると、第2の実施形態に係るシステム2は、鉗子110と、モータ120と、伝達部材130と、トロッカー140と、力センサ150、280と、情報処理装置290と、を備える。ここで、鉗子110、モータ120、伝達部材130、トロッカー140及び力センサ150の構成及び機能は、第1の実施形態におけるこれらの部材の構成及び機能と同様であるため、その詳細な説明は省略する。
力センサ280は、モータ120の駆動軸に設けられ、当該駆動軸のトルクを検出するトルクセンサである。以下では、力センサ150と力センサ280とを区別するために、力センサ150のことを第1の力センサ150とも呼称し、力センサ280のことを第2の力センサ280とも呼称する。図5に示す例では、2つのモータ120の駆動軸に、それぞれ第2の力センサ280が設けられている。第2の力センサ280と情報処理装置290とは通信可能に接続されており、第2の力センサ280によって検出されたモータ120の駆動軸のトルクについての情報は、情報処理装置290に送信される。第2の力センサ280のトルクの検出間隔及び第2の力センサ280から情報処理装置290への検出値についての情報の送信間隔は、例えば、第1の力センサ150の検出間隔及び第1の力センサ150から情報処理装置290への検出値についての情報の送信間隔と同期している。第1の力センサ150の検出値は、鉗子110に作用する力が変化することにより変化し得るし、第2の力センサ280の検出値は、モータ120の駆動力が変化することにより変化し得るため、第1の力センサ150及び第2の力センサ280が互いに同期し、同一のタイミングで力及びモーメント(トルク)を検出することにより、時間変化まで考慮したより正確な検出値を得ることができる。なお、第2の力センサ280と情報処理装置290との間の通信方式には、有線又は無線を問わず、任意の通信方式が適用されてよい。
情報処理装置290は、第1の力センサ150の検出値及び第2の力センサ280の検出値に基づいて、鉗子110の第1の作用点及び/又は第2の作用点に作用する力を計算する。情報処理装置290は、第1の力センサ150及び第2の力センサ280の検出間隔に従って、所定の間隔で随時、鉗子110への作用力を計算してよい。上述したように、第2の力センサ280の検出値は、モータ120の駆動軸のトルクであり、モータ120が駆動することにより鉗子110に作用する力、すなわち、能動的な力を表すものである。第2の実施形態では、情報処理装置290は、第1の力センサ150の検出値及び第2の力センサ280の検出値の双方を用いて、能動的な力による影響を除去して、鉗子110の第1の作用点及び/又は第2の作用点に作用する力を計算する。これにより、能動的な力まで考慮した、より精度の高い計算が可能となる。なお、情報処理装置290が行う計算処理の詳細については、下記(2−2.作用力の計算方法)及び(2−3.機能構成)で改めて説明する。
なお、情報処理装置290は、第1の実施形態に係る情報処理装置170と同様に、所定のプログラムに従って動作し、上述した計算処理を行う機能を有すればよく、その具体的な構成は限定されない。例えば、情報処理装置290は、PCやサーバ、プロセッサ等であり得る。
以上、図5を参照して、第2の実施形態に係るシステム2の概略構成について説明した。
(2−2.作用力の計算方法)
図6を参照して、上述した情報処理装置290において実行される、鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明する。図6は、第2の実施形態における、鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算方法について説明するための説明図である。なお、図6は、図5のアーム部160と鉗子110との接続部近傍を拡大したものであるため、図5を参照して既に説明した構成については、重複する説明は省略する。
ここで、第2の実施形態に係る計算方法では、第1の力センサ150の検出値(上述したFsx、Fsy、Fsz、Msx、Msy、Msz)に基づいて、第1の作用点における力及びモーメント(上述したFx、Fy、Fz、Mx、My、Mz)と、第2の作用点における力及びモーメント(上述したFtx、Fty、Ftz、Mtx、Mty、Mz)を求める方法は、第1の実施形態と同様である。すなわち、第2の実施形態においても、上記(1−2.作用力の計算方法)で説明した方法と同様の制約条件に基づいて、上記数式(1)〜(6)を立式し、当該数式(1)〜(6)を用いて、未知数であるFx、Fy、Fz、Mz、Ftx、Ftyが計算される。ただし、第2の実施形態では、第1の力センサ150の検出値から、第2の力センサ280の検出値から算出される能動的な力の成分を差し引いたものを、Fsx、Fsy、Fsz、Msx、Msy、Mszとみなし、数式(1)〜(6)を解く。ここでは、図6を参照して、能動的な力について説明する。
図6では、モータ120が駆動することにより鉗子110及び伝達部材130等に作用し得る力及びモーメント(トルク)を矢印で図示している。
トルク310は、モータ120が駆動することにより駆動軸に与えられるトルクを表している。第2の力センサ280は、当該トルク310を検出するように設けられる。
力320は、トルク310を受けて、ギア131がギア132に与える力を表している。力330は、力320を受けて、ギア132がワイヤ133を引っ張る力(張力)を表している。すなわち、力330は、ワイヤ133が鉗子110の先端を引っ張る力であるとも言える。
ここで、図1及び図5では図示を省略していたが、図6に示すように、ギア132は、実際には、その回転軸が鉗子110によって軸支されるように構成されている。従って、力320を受けてギア132が回転することにより、当該回転軸を介して、鉗子110に力340が与えられ得る。また、ワイヤ133の張力である力330を受けて、ギア132の回転軸が鉗子に与える力350も生じ得る。
これらの力及びトルクのうち、ワイヤ133に生じる張力である力330と、当該力330によって鉗子110が受ける力350とは、互いに打ち消し合う関係にある。従って、モータ120が駆動し鉗子110が動いている間は、鉗子110には、第1の作用点及び第2の作用点において作用する力以外に、力340が、第1の力センサ150によって検出され得る。このように、第1の力センサ150の検出値から、第1の作用点及び第2の作用点における作用力を計算する際に、当該力340はノイズとなり得る。
一方、力340は、トルク310がギア131、132を介して伝達されることにより生じる力であり、ギア131、132の形状やトルク310の値に基づいて、容易に算出され得るものである。そこで、第2の実施形態では、情報処理装置290が、第2の力センサ280の検出値(すなわちトルク310)に基づいて、モータ120の駆動力に応じて鉗子110に加えられる力及びモーメント(すなわち力340や当該力340に起因するモーメント)を計算し、計算された当該力340の成分を第1の力センサ150の検出値から差し引く処理を行う。そして、情報処理装置290が、力340の成分が除去された力センサ150の検出値を用いて(すなわち、力340の成分が除去された力センサ150の検出値をFsx、Fsy、Fsz、Msx、Msy、Mszとみなして)、上記(1−2.作用力の計算方法)で説明した方法と同様の方法によって、第1の作用点及び/又は第2の作用点における作用力を計算する。このような処理を行うことにより、能動的な力による影響が除去された、より高精度な、第1の作用点及び第2の作用点における作用力の計算を行うことが可能となる。
なお、図6では、2つのモータ120のうちの一方について、その駆動力に伴う力及びモーメントを図示しているが、他方のモータ120についても同様に、他方のモータ120が駆動することにより鉗子110及び伝達部材130等に作用し得る力及びモーメント(トルク)が存在する。第2の実施形態では、他方のモータ120の駆動軸にも第2の力センサ280が設けられる。そして、情報処理装置290は、当該他方の第2の力センサ280の検出値も併せて用いて、双方のモータ120の駆動力に応じて鉗子110に加えられる力及びモーメントを計算し、双方のモータ120の駆動力の影響を除去して、第1の作用点及び/又は第2の作用点における作用力を計算する。
以上、第2の実施形態に係る作用力の計算方法について説明した。
(2−3.機能構成)
次に、図7を参照して、以上説明した計算を実行する情報処理装置290の機能構成について説明する。図7は、第2の実施形態に係る情報処理装置290の機能構成を示すブロック図である。
図7を参照すると、第2の実施形態に係る情報処理装置290は、記憶部291と、制御部292と、を備える。図示するように、情報処理装置290は、第1の力センサ150及び第2の力センサ280と、各種の情報を通信可能に接続される。なお、図7では、概略的に第2の力センサ280を1つのブロックとして図示しているが、実際には、図5に示すように第2の力センサ280はモータ120のそれぞれに設けられ、これら複数の第2の力センサ280の検出値が、情報処理装置290に送信される。情報処理装置290は、第1の力センサ150から、当該第1の力センサ150による検出値(すなわち力及びモーメント)についての情報を取得するとともに、第2の力センサ280から、当該第2の力センサ280による検出値(すなわちモータ120の駆動軸に作用するトル)についての情報を取得することができる。また、図示は省略するが、情報処理装置290は、アーム部160の駆動を制御する制御装置とも、各種の情報を通信可能に接続されている。情報処理装置290は、当該制御装置から、アーム部160及び鉗子110の位置及び姿勢についての情報や、上述したLt、Lsを計算するために必要な情報等を取得することができる。
記憶部291は、例えばHDD等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶デバイスによって構成され、制御部292によって処理される各種の情報及び制御部292による処理結果等を記憶する。制御部292は、記憶部291に記憶されている各種の情報を利用することにより、各種の処理を実行することができる。
記憶部291は、第1の実施形態に係る記憶部171と同様の情報を記憶する。ただし、第2の実施形態では、記憶部291は、これらの情報に加えて、第2の力センサ280の検出値を記憶することができる。更に、記憶部291は、第2の力センサ280の検出値から、第1の力センサ150の検出値に含まれる、図6に示す力340の成分を求めるために必要な各種の情報(例えば、ギア131、132の形状や取り付け位置等についての情報)を記憶している。当該情報は、アーム部160及び鉗子110の構成に応じて決定され得るものであるため、手術に先立ち、術者やシステム1の設計者等によって、予め記憶部291に入力され得る。
制御部292は、例えばCPUやDSP等の各種のプロセッサによって構成され、情報処理装置290における各種の処理を統括的に制御する。制御部292は、その機能として、能動的作用力除去部293と、作用力計算部294と、を有する。なお、制御部292の各機能は、制御部292を構成する各種のプロセッサが所定のプログラムに従って動作することにより実現され得る。
能動的作用力除去部293には、第1の力センサ150及び第2の力センサ280から、その検出値についての情報が入力される。能動的作用力除去部293は、第2の力センサ280の検出値から、第1の力センサ150の検出値に含まれる、モータ120の駆動力によって鉗子110に与えられる力及びモーメント(すなわち図6に示す力340及び当該力340に起因するモーメント)の成分を計算する。当該計算には、記憶部291に記憶されている、ギア131、132の形状や取り付け位置等についての情報等が用いられ得る。能動的作用力除去部293は、計算結果に基づいて、第1の力センサ150の検出値からモータ120の駆動力に起因する成分を差し引く処理を行う。能動的作用力除去部293は、第1の力センサ150の検出値からモータ120の駆動力に起因する成分を差し引いた値(すなわち、第1の力センサ150の検出値から能動的な力による成分を差し引いた値)を、作用力計算部294に提供する。なお、第1の力センサ150及び第2の力センサ280の検出値は、情報処理装置290に送信された後、一旦記憶部291に記憶されてもよく、能動的作用力除去部293は、記憶部291を参照することにより、計算に用いる第1の力センサ150及び第2の力センサ280の検出値を得てもよい。
なお、図5に示すように、複数のモータ120に応じて複数の第2の力センサ280が設けられる場合には、能動的作用力除去部293は、これら複数の第2の力センサ280のそれぞれの検出値に基づいて、複数のモータ120の駆動力によって鉗子110に与えられる力及びモーメントの合成値を計算し、当該合成値を第1の力センサ150の検出値から差し引いてもよい。
作用力計算部294は、第1の力センサ150の検出値及び第2の力センサ280の検出値に基づいて、鉗子110の第1の作用点及び/又は第2の作用点への作用力を計算する。具体的には、作用力計算部294は、第1の力センサ150の検出値と、記憶部291に記憶されている各種の情報と、に基づいて、上記(1−2.作用力の計算方法)で説明した計算を行い、鉗子110への作用力を計算する。ただし、作用力計算部294は、当該計算処理において、能動的作用力除去部293から提供される、第1の力センサ150の検出値から能動的な力による成分が差し引かれた値を、上記数式(1)〜(12)のFsx、Fsy、Fsz、Msx、Msy、Mszとして用いる。なお、当該Fsx、Fsy、Fsz、Msx、Msy、Mszは、第1の力センサ150の検出値から能動的な力による成分が差し引かれるとともに、第1の実施形態と同様に、鉗子110の重力による成分が更に差し引かれたものであってもよい。Fsx、Fsy、Fsz、Msx、Msy、Mszとして、第1の力センサ150の検出値から能動的な力による成分が差し引かれた値を用いること以外は、作用力計算部294の機能は、第1の実施形態に係る作用力計算部173の機能と略同様であるため、ここでは、作用力計算部294のその他の機能についての詳細な説明は省略する。
作用力計算部294によって計算された鉗子110への作用力は、例えば、上記制御装置に送信される。当該制御装置では、計算された鉗子110への作用力に基づいて、アーム部160の制御や、術者のコントローラへの力フィードバックの制御が行われる。あるいは、作用力計算部294による計算結果は、例えば表示部(図示せず。)に表示されたり、通信部(図示せず。)を介して他の機器に送信されたりして、術者等に対して、数値、グラフ等の形式で出力されてもよい。
以上、図7を参照して、情報処理装置290の機能構成について説明した。第2の実施形態によれば、上述した第1の実施形態によって得られる効果に加えて、以下の効果を得ることができる。すなわち、第2の実施形態によれば、第2の力センサ280によってモータ120の駆動軸のトルクが検出される。そして、当該第2の力センサ280による検出値に基づいて、モータ120の駆動力の影響が除去された、鉗子110の第1の作用点及び/又は第2の作用点への作用力が計算される。従って、モータ120が駆動し鉗子110が動作している最中であっても、鉗子110に作用する力をより精度良く検出することが可能になる。
なお、図7では、簡単のため、第2の実施形態に特徴的な機能のみを図示し、その他の機能の図示を省略している。情報処理装置290は、第1の実施形態に係る情報処理装置170と同様に、入力部、出力部、通信部等の、一般的な情報処理装置が有する各種の機能を更に備えてもよい。
また、情報処理装置290の装置構成は、図7に示す例に限定されない。例えば、図7に示す情報処理装置290の各機能は、必ずしも1つの装置に一体的に搭載されなくてもよい。図7に示す情報処理装置290に搭載される各機能が、複数の装置に分散されて搭載され、当該複数の装置が通信可能に接続されることにより、情報処理装置290が構成されてもよい。例えば、記憶部291は、情報処理装置290とは異なる外部の機器として備えられてもよく、情報処理装置290が、外部機器である記憶部291と通信を行いながら、上述した計算処理を実行してもよい。また、図示する制御部292の各機能は、互いに異なる装置によって実行されてもよい。例えば、制御部292の各機能は、1つのプロセッサによって実行されてもよいし、複数のプロセッサの協働によって実行されてもよい。
また、上述のような第2の実施形態に係る情報処理装置290の機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(2−4.情報処理方法)
図8を参照して、図7に示す情報処理装置290において行われる、情報処理方法について説明する。図8は、第2の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。なお、図8に示す各処理は、図7に示す制御部292が所定のプログラムに従って動作することにより実行され得る。
第2の実施形態に係る情報処理方法では、まず、制御部292によって、第1の力センサ150による検出値が取得される(ステップS201)。次に、制御部292によって、第2の力センサ280による検出値が取得される(ステップS203)。なお、図8では、便宜的に、ステップS201に示す処理及びステップS203に示す処理が順番に実行されるように図示しているが、実際には、これらの処理は同時に行われ得る。また、第1の力センサ150及び第2の力センサ280の検出値は、直接図7に示す能動的作用力除去部293に提供されてもよいし、一旦記憶部291に記憶されてもよい。
次に、能動的作用力除去部293によって、第2の力センサ280の検出値に基づいて、第1の力センサ150の検出値から、能動的な力による成分が除去される(ステップS205)。具体的には、能動的作用力除去部293によって、第2の力センサ280の検出値と、記憶部291に記憶されているギア131、132の形状等の情報と、に基づいて、能動的な力、すなわち、モータ120の駆動力によって鉗子110に与えられる力及びモーメントが計算される。そして、能動的作用力除去部293によって、第1の力センサ150の検出値から、当該計算結果に対応する成分が差し引かれる。
次に、作用力計算部294によって、第1の力センサ150の検出値から能動的な力による成分が除去された値に基づいて、第1の作用点及び/又は第2の作用点における鉗子への作用力が計算される(ステップS207)。具体的には、作用力計算部294によって、ステップS205で計算された値(第1の力センサ150の検出値から能動的な力による成分が差し引かれた値)と、記憶部291に記憶されている各種の情報と、に基づいて、上記(1−2.作用力の計算方法)で説明した計算が行われ、当該作用力が計算される。なお、ステップS207に示す処理では、第1の力センサ150の検出値から能動的な力による成分が差し引かれた値から、鉗子110の重力による成分が更に差し引かれたものを用いて作用力が計算され得る。
最後に、作用力計算部294による計算結果が出力される(ステップS209)。計算結果の出力先は、例えば、鉗子110を駆動させている支持アーム装置の制御装置である。当該制御装置において、計算結果に基づいて、アーム部160の駆動制御や、術者のコントローラへの力フィードバック制御が行われる。
以上、図8を参照して、第2の実施形態に係る情報処理方法について説明した。
(3.変形例)
以上説明した第1の実施形態及び第2の実施形態における変形例について説明する。
(3−1.第1の実施形態の変形例)
図9を参照して、第1の実施形態において力センサ150の配置位置が変更された変形例について説明する。図9は、第1の実施形態において力センサ150の配置位置が変更された変形例に係るシステムの概略構成を示す図である。なお、本変形例に係るシステムは、図1を参照して説明した第1の実施形態に係るシステム1に対して、力センサ150の配置位置が変更されたものに対応し、その他の部材の構成及び機能はシステム1と同様である。従って、以下の本変形例についての説明では、第1の実施形態と重複する事項についてはその詳細な説明を省略し、第1の実施形態との相違点について主に説明することとする。
図9を参照すると、本変形例に係るシステム3は、鉗子110と、モータ120と、伝達部材130と、トロッカー140と、力センサ150と、情報処理装置170と、を備える。ここで、鉗子110、モータ120、伝達部材130、トロッカー140、力センサ150及び情報処理装置170の構成及び機能は、第1の実施形態におけるこれらの部材の構成及び機能と同様であるため、その詳細な説明は省略する。
図9に示すように、本変形例に係るシステム3では、力センサ150が、モータ120よりも前段に設けられる。すなわち、力センサ150が、アーム部160に直接取り付けられ、当該力センサ150は、モータ120を介して鉗子110に接続されている。このような構成であっても、第1の実施形態と同様の方法によって、力センサ150の検出値に基づいて、第1の作用点及び/又は第2の作用点における鉗子110への作用力を計算することが可能である。
ただし、上述した第1の実施形態では、力センサ150は鉗子110とアーム部160との接続部に、鉗子110を支持するように取り付けられていた(図1参照)。従って、力センサ150の検出値から鉗子110の自重による成分を差し引く処理を行う際には、鉗子110の質量、位置及び姿勢を考慮すればよかった。一方、図9に示すように、本変形例では、力センサ150によって、鉗子110に作用する重力だけでなく、モータ120や伝達部材130に作用する重力も検出され得る。従って、本変形例では、情報処理装置170は、力センサ150の検出値から、鉗子110、モータ120及び伝達部材130に作用する重力による成分を差し引く処理を行い、これらの成分が差し引かれた値を、Fsx、Fsy、Fsz、Msx、Msy、Mszとみなして、上記数式(1)〜(6)を解く処理を行うことができる。
以上、図9を参照して、第1の実施形態において力センサ150の配置位置が変更された変形例について説明した。なお、力センサ150の配置位置に関して、図1に示すシステム1のような構成とするか、図9に示すシステム3のような構成とするかは、アーム部160の構造や、アーム部160と鉗子110との接続部の構造等に応じて、より簡易に力センサ150を配設可能なように、適宜判断されてよい。
(3−2.第2の実施形態の変形例)
図10を参照して、第2の実施形態において第1の力センサ150の配置位置が変更された変形例について説明する。図10は、第2の実施形態において第1の力センサ150の配置位置が変更された変形例に係るシステムの概略構成を示す図である。なお、本変形例に係るシステムは、図5を参照して説明した第2の実施形態に係るシステム2に対して、第1の力センサ150の配置位置が変更されたものに対応し、その他の部材の構成及び機能はシステム2と同様である。従って、以下の本変形例についての説明では、第2の実施形態と重複する事項についてはその詳細な説明を省略し、第2の実施形態との相違点について主に説明することとする。
図10を参照すると、本変形例に係るシステム4は、鉗子110と、モータ120と、伝達部材130と、トロッカー140と、第1の力センサ150と、第2の力センサ280と、情報処理装置290と、を備える。ここで、鉗子110、モータ120、伝達部材130、トロッカー140、第1の力センサ150、第2の力センサ280及び情報処理装置290の構成及び機能は、第2の実施形態におけるこれらの部材の構成及び機能と同様であるため、その詳細な説明は省略する。
図10に示すように、本変形例に係るシステム4では、第1の力センサ150が、モータ120よりも前段に設けられる。すなわち、第1の力センサ150が、アーム部160に直接取り付けられ、当該第1の力センサ150は、モータ120を介して鉗子110に接続されている。このような構成であっても、第2の実施形態と同様の方法によって、第1の力センサ150及び第2の力センサ280の検出値に基づいて、第1の作用点及び第2の作用点における鉗子への作用力を計算することが可能である。
ただし、上記(3−1.第1の実施形態の変形例)で説明したシステム3と同様に、本変形例においても、第1の力センサ150によって、鉗子110に作用する重力だけでなく、モータ120や伝達部材130に作用する重力が検出され得る。従って、本変形例では、情報処理装置290は、第1の力センサ150の検出値から、鉗子110、モータ120及び伝達部材130に作用する重力による成分を差し引く処理を行い、これらの成分が差し引かれた値を、Fsx、Fsy、Fsz、Msx、Msy、Mszとみなして、上記数式(1)〜(6)を解く処理を行う。
以上、図10を参照して、第2の実施形態において力センサ150の配置位置が変更された変形例について説明した。なお、力センサ150の配置位置に関して、図5に示すシステム2のような構成とするか、図10に示すシステム4のような構成とするかは、アーム部160の構造や、アーム部160と鉗子110との接続部の構造等に応じて、より簡易に力センサ150を配設可能なように、適宜判断されてよい。
(3−3.トルクセンサの代わりに6軸力覚センサが用いられる変形例)
上述した第2の実施形態では、第2の力センサ280としてトルクセンサを用い、当該トルクセンサの検出値に基づいて、第1の力センサ150の検出値から能動的な力による影響を除去する処理を行っていた。しかしながら、第2の実施形態はかかる例に限定されず、第2の力センサ280としては、他の種類の力センサ、例えば6軸力覚センサが用いられてもよい。第2の力センサ280として6軸力覚センサが用いられる場合であっても、同様に、能動的な力による影響を除去することが可能である。
第2の力センサ280として6軸力覚センサが用いられる場合には、当該6軸力覚センサは、例えば、図1に示すモータ120に対して直接取り付けられる。当該構成によれば、第1の力センサ150によって検出される力及びモーメントには、第1の作用点における鉗子110への作用力による成分、第2の作用点における鉗子110への作用力による成分、鉗子110の自重に係る重力による成分、及びモータ120の駆動力による成分が含まれる。一方、6軸力覚センサである第2の力センサ280によって検出される鉗子110に作用する力及びモーメントには、モータ120の自重に係る重力による成分、及びモータ120の駆動力による成分が含まれる。
鉗子110の質量及びモータ120の質量は既知であるため、上記の各成分のうち、鉗子110の自重に係る重力による成分及びモータ120の自重に係る重力による成分は、計算可能である。従って、本変形例によれば、第2の力センサ280の検出値に基づいてモータ120の駆動力による成分を算出し、算出された結果を、第1の力センサ150の検出値から差し引くことにより、能動的な力による影響が除去された、鉗子110の第1の作用点及び/又は第2の作用点に作用する力を求めることが可能となる。
なお、第2の力センサ280の検出値に含まれるモータ120の駆動力による成分は、モータ120に直接取り付けられた第2の力センサ280によって検出されるものであるのに対して、第1の力センサ150の検出値に含まれるモータ120の駆動力による成分は、伝達部材130を介して検出されるものであるため、両者の関係性は、鉗子110の位置及び姿勢に応じて変化し得る。従って、本変形例では、鉗子110の位置及び姿勢に応じた、第1の力センサ150の検出値及び第2の力センサ280の検出値の変化を予め学習し、学習した内容に基づいて、上記の能動的な力による影響を除去する処理が実行され得る。
(4.ハードウェア構成)
次に、図11を参照して、第1及び第2の実施形態に係るシステムのハードウェア構成について説明する。図11は、第1及び第2の実施形態に係るシステムのハードウェア構成の一例を示す機能ブロック図である。なお、図11に示すシステム900は、例えば、図1、図5、図9及び図10に示すシステム1、2、3、4を実現し得る。なお、図11では図示を省略しているが、システム900は、図1、図5、図9及び図10に示す鉗子110、モータ120、伝達部材130、トロッカー140及びアーム部160に対応する構成を備えている。
システム900は、CPU901、ROM(Read Only Memory)903及びRAM(Random Access Memory)905を備える。また、システム900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925及びセンサ935を備えてもよい。システム900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種のプログラムに従って、システム900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行時のパラメータ等を一次記憶する。CPU901は、例えば、上述した第1及び第2の実施形態における制御部172、292に対応する。
CPU901、ROM903及びRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。更に、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される装置によって構成される。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置(いわゆる、リモコン)であってもよいし、システム900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。更に、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。システム900のユーザは、この入力装置915を操作することにより、システム900に対して各種のデータを入力したり処理動作を指示したりすることができる。第1及び第2の実施形態では、術者及びシステム900の設計者等によって、入力装置915を介して、例えば、制約条件についての情報等、鉗子110の第1の作用点及び/又は第2の作用点への作用力を計算するために用いられる各種の情報が入力される。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、システム900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、システム900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。第1及び第2の実施形態では、当該表示装置に、例えば、鉗子110の第1の作用点及び/又は第2の作用点への作用力の計算結果が表示される。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置919は、システム900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置919は、例えば、上述した第1及び第2の実施形態における記憶部171、291に対応する。第1及び第2の実施形態では、ストレージ装置919に、例えば、制約条件についての情報等、鉗子110の第1の作用点及び/又は第2の作用点への作用力を計算するために用いられる各種の情報が格納される。
ドライブ921は、記録媒体用リーダライタであり、システム900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に情報を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。第1及び第2の実施形態では、例えば、制御部172、292によって処理される各種の情報や、記憶部171、291に記憶される各種の情報が、ドライブ921によってリムーバブル記録媒体927から読み出されたり、リムーバブル記録媒体927に書き込まれたりしてもよい。
接続ポート923は、機器をシステム900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート及びSCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子及びHDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、システム900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。第1及び第2の実施形態では、例えば、制御部172、292によって処理される各種の情報や、記憶部171、291に記憶される各種の情報が、接続ポート923を介して外部接続機器929から取得されたり、外部接続機器929に出力されたりしてもよい。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続されるネットワーク931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。第1及び第2の実施形態では、例えば、情報処理装置170、290と、支持アーム装置の駆動を制御する制御装置との間の通信が、通信装置925によってネットワーク931を介して実行されてよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ935は、例えば取り付けられた部材(例えば図1、図5、図9及び図10に示す鉗子110等)の姿勢、移動速度、作用力等当該部材の状態に関する情報や、当該部材の周辺の明るさや騒音等、当該部材の周辺環境に関する情報を取得する。また、センサ935は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ935は、例えば、上述した第1及び第2の実施形態における第1の力センサ150及び第2の力センサ280に対応する。
以上、本実施形態に係るシステム900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係るシステム900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
(5.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
例えば、上記実施形態では、鉗子110への作用力を計算したが、本技術はかかる例に限定されない。本技術では、作用力が計算される対象は鉗子110に限定されず、他のあらゆる棒状の部材への作用力を計算することが可能である。例えば、作用力が計算される対象は、鉗子110以外の他の術具であってもよい。また、当該棒状の部材は、医療分野において用いられる術具に限定されない。本技術は、他の技術分野における各種の棒状の部材に対しても適用可能である。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する作用力計算部、を備える、情報処理装置。
(2)前記作用力計算部は、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式に基づいて、前記作用力を計算する、前記(1)に記載の情報処理装置。
(3)前記作用力計算部は、前記棒状部材の使用態様に応じた制約条件に基づいて、前記釣り合い式を簡略化することにより、前記作用力を計算する、前記(2)に記載の情報処理装置。
(4)前記第1の力センサは、互いに直交する3軸方向の力と、当該3軸周りのモーメントを検出する6軸力覚センサである、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記第1の作用点は、前記棒状部材の前記他側の先端である、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記棒状部材は、内視鏡手術の際に患者の体腔内に挿入される鉗子である、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記第2の作用点は、前記患者の身体に設けられる開口部にトロッカー及び前記鉗子が挿入される際に前記トロッカーの外壁と前記開口部の縁部とが接触する位置における、前記トロッカーの内壁と前記鉗子との接触部位である、前記(6)に記載の情報処理装置。
(8)前記棒状部材を動作させるモータの駆動軸のトルクを検出する第2の力センサ、を更に備え、前記作用力計算部は、前記第2の力センサによる第2の検出値に基づいて、前記モータの駆動力の影響を除去して、前記作用力を計算する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記第2の検出値に基づいて、前記モータの駆動力に応じて前記棒状部材に加えられる力及びモーメントを計算し、当該計算された力及びモーメントを前記第1の検出値から差し引く能動的作用力除去部、を更に備え、前記作用力計算部は、前記モータの駆動力に応じて前記棒状部材に加えられる力及びモーメントが差し引かれた前記第1の検出値に基づいて、前記作用力を計算する、前記(8)に記載の情報処理装置。
(10)前記棒状部材は、コントローラを介して術者によって遠隔操作されるマスタースレーブ方式の支持アーム装置のアーム部に取り付けられ、前記支持アーム装置の制御装置は、前記作用力計算部によって計算された前記第1の作用点への作用力を、前記コントローラを介して前記術者にフィードバックする、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記棒状部材は、支持アーム装置のアーム部に取り付けられ、前記支持アーム装置の制御装置は、前記作用力計算部によって計算された前記第1の作用点への作用力に基づいて、前記アーム部の駆動を制御する、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)前記作用力計算部は、前記制御装置が保持している前記アーム部及び前記棒状部材の位置及び姿勢についての情報に基づいて、前記棒状部材の自重の影響を除去して、前記作用力を計算する、前記(11)に記載の情報処理装置。
(13)前記作用力計算部は、前記棒状部材の自重に応じて前記棒状部材に加えられる力及びモーメントを計算し、当該計算された力及びモーメントを前記第1の検出値から差し引くことにより、前記棒状部材の自重の影響を除去する、前記(12)に記載の情報処理装置。
(14)前記棒状部材の長さは可変であり、前記作用力計算部は、前記棒状部材の長さの変化に応じて、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式を計算し直すことにより、前記作用力を計算する、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記棒状部材は、少なくとも1つの関節部を有し、当該関節部によって位置及び姿勢を変化可能に構成され、前記作用力計算部は、前記関節部による前記棒状部材の位置及び姿勢の変化に応じて、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式を計算し直すことにより、前記作用力を計算する、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)プロセッサが、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算すること、を含む、情報処理方法。
(17)コンピュータのプロセッサに、棒状部材の一側に設けられる第1の力センサによる第1の検出値に基づいて、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する機能、を実現させるためのプログラム。
1、2、3、4 システム
110 鉗子
120 モータ
130 伝達部材
131、132 ギア
133 ワイヤ
140 トロッカー
150 力センサ(第1の力センサ)
160 アーム部
170、290 情報処理装置
171、291 記憶部
172、292 制御部
173、294 作用力計算部
280 第2の力センサ
293 能動的作用力除去部

Claims (16)

  1. 棒状部材の一側に設けられる第1の力センサによる第1の検出値と、前記棒状部材を動作させるモータの駆動軸のトルクを検出する第2の力センサによる第2の検出値とを互いに同期して取得し、同一のタイミングにおける前記第1の検出値および前記第2の検出値に基づいて、前記モータの駆動力の影響を除去した、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する作用力計算部、
    を備える、情報処理装置。
  2. 前記作用力計算部は、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式に基づいて、前記作用力を計算する、
    請求項1に記載の情報処理装置。
  3. 前記作用力計算部は、前記棒状部材の使用態様に応じた制約条件に基づいて、前記釣り合い式を簡略化することにより、前記作用力を計算する、
    請求項2に記載の情報処理装置。
  4. 前記第1の力センサは、互いに直交する3軸方向の力と、当該3軸周りのモーメントを検出する6軸力覚センサである、
    請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記第1の作用点は、前記棒状部材の前記他側の先端である、
    請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記棒状部材は、内視鏡手術の際に患者の体腔内に挿入される鉗子である、
    請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記第2の作用点は、前記患者の身体に設けられる開口部にトロッカー及び前記鉗子が挿入される際に前記トロッカーの外壁と前記開口部の縁部とが接触する位置における、前記トロッカーの内壁と前記鉗子との接触部位である、
    請求項6に記載の情報処理装置。
  8. 前記第2の検出値に基づいて、前記モータの駆動力に応じて前記棒状部材に加えられる力及びモーメントを計算し、当該計算された力及びモーメントを前記第1の検出値から差し引く能動的作用力除去部、を更に備え、
    前記作用力計算部は、前記モータの駆動力に応じて前記棒状部材に加えられる力及びモーメントが差し引かれた前記第1の検出値に基づいて、前記作用力を計算する、
    請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記棒状部材は、コントローラを介して術者によって遠隔操作されるマスタースレーブ方式の支持アーム装置のアーム部に取り付けられ、
    前記支持アーム装置の制御装置は、前記作用力計算部によって計算された前記第1の作用点への作用力を、前記コントローラを介して前記術者にフィードバックする、
    請求項1〜のいずれか1項に記載の情報処理装置。
  10. 前記棒状部材は、支持アーム装置のアーム部に取り付けられ、
    前記支持アーム装置の制御装置は、前記作用力計算部によって計算された前記第1の作用点への作用力に基づいて、前記アーム部の駆動を制御する、
    請求項1〜のいずれか1項に記載の情報処理装置。
  11. 前記作用力計算部は、前記制御装置が保持している前記アーム部及び前記棒状部材の位置及び姿勢についての情報に基づいて、前記棒状部材の自重の影響を除去して、前記作用力を計算する、
    請求項10に記載の情報処理装置。
  12. 前記作用力計算部は、前記棒状部材の自重に応じて前記棒状部材に加えられる力及びモーメントを計算し、当該計算された力及びモーメントを前記第1の検出値から差し引くことにより、前記棒状部材の自重の影響を除去する、
    請求項11に記載の情報処理装置。
  13. 前記棒状部材の長さは可変であり、
    前記作用力計算部は、前記棒状部材の長さの変化に応じて、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式を計算し直すことにより、前記作用力を計算する、
    請求項1〜12のいずれか1項に記載の情報処理装置。
  14. 前記棒状部材は、少なくとも1つの関節部を有し、当該関節部によって位置及び姿勢を変化可能に構成され、
    前記作用力計算部は、前記関節部による前記棒状部材の位置及び姿勢の変化に応じて、前記第1の検出値と、前記第1の作用点への作用力と、前記第2の作用点への作用力と、の釣り合い式を計算し直すことにより、前記作用力を計算する、
    請求項1〜13のいずれか1項に記載の情報処理装置。
  15. プロセッサが、棒状部材の一側に設けられる第1の力センサによる第1の検出値と、前記棒状部材を動作させるモータの駆動軸のトルクを検出する第2の力センサによる第2の検出値とを互いに同期して取得し、同一のタイミングにおける前記第1の検出値および前記第2の検出値に基づいて、前記モータの駆動力の影響を除去した、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算すること、
    を含む、情報処理方法。
  16. コンピュータのプロセッサに、棒状部材の一側に設けられる第1の力センサによる第1の検出値と、前記棒状部材を動作させるモータの駆動軸のトルクを検出する第2の力センサによる第2の検出値とを互いに同期して取得し、同一のタイミングにおける前記第1の検出値および前記第2の検出値に基づいて、前記モータの駆動力の影響を除去した、前記棒状部材の他側の互いに異なる第1の作用点及び第2の作用点への作用力の少なくともいずれかを計算する機能、
    を実現させるためのプログラム。
JP2016552869A 2014-10-09 2015-09-08 情報処理装置、情報処理方法及びプログラム Active JP6631528B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014207980 2014-10-09
JP2014207980 2014-10-09
PCT/JP2015/075489 WO2016056339A1 (ja) 2014-10-09 2015-09-08 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016056339A1 JPWO2016056339A1 (ja) 2017-07-27
JP6631528B2 true JP6631528B2 (ja) 2020-01-15

Family

ID=55652962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552869A Active JP6631528B2 (ja) 2014-10-09 2015-09-08 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10321928B2 (ja)
EP (1) EP3205459A4 (ja)
JP (1) JP6631528B2 (ja)
WO (1) WO2016056339A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201512966D0 (en) * 2015-07-22 2015-09-02 Cambridge Medical Robotics Ltd Drive arrangements for robot arms
WO2017130562A1 (ja) * 2016-01-26 2017-08-03 ソニー株式会社 把持力覚提示装置及びスタイラス型力覚提示装置
CN111358560B (zh) * 2018-10-09 2022-11-25 成都博恩思医学机器人有限公司 一种腹腔镜手术机器人的手术器械控制方法
WO2020080414A1 (ja) * 2018-10-18 2020-04-23 ソニー株式会社 手術用システム、外科手術システム、手術用器具、医療用装置、並びに外力検出システム
JP6801901B1 (ja) * 2019-10-17 2020-12-16 リバーフィールド株式会社 手術ロボットシステム、外力推定装置、および、プログラム
US11691285B2 (en) 2020-05-07 2023-07-04 Mujin, Inc. Method and computing system for estimating parameter for robot operation
US20230210506A1 (en) * 2020-06-01 2023-07-06 Biorasis Inc. Needle-assisted automated insertion and extraction of implants

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
JP2005329476A (ja) 2004-05-18 2005-12-02 Keio Gijuku 操作部材の制御方法および装置
US8945095B2 (en) * 2005-03-30 2015-02-03 Intuitive Surgical Operations, Inc. Force and torque sensing for surgical instruments
EP1815949A1 (en) * 2006-02-03 2007-08-08 The European Atomic Energy Community (EURATOM), represented by the European Commission Medical robotic system with manipulator arm of the cylindrical coordinate type
JP4635971B2 (ja) 2006-06-27 2011-02-23 トヨタ自動車株式会社 外力検知方法、マニピュレータ制御方法およびマニピュレータ制御システム
WO2008108289A1 (ja) 2007-03-01 2008-09-12 Tokyo Institute Of Technology 力覚提示機能を有する操縦システム
JP2008238338A (ja) 2007-03-27 2008-10-09 Gifu Univ 動作支援装置およびその制御方法
US20110046637A1 (en) * 2008-01-14 2011-02-24 The University Of Western Ontario Sensorized medical instrument
US9402610B2 (en) * 2009-04-13 2016-08-02 Physcient, Inc. Rib-protecting devices for thoracoscopic surgery, and related methods
JP5827219B2 (ja) * 2009-05-29 2015-12-02 ナンヤン テクノロジカル ユニヴァーシティNanyang Technological University 柔軟な内視鏡検査のためのロボットシステム
DE112012002327T5 (de) * 2011-05-31 2014-03-27 Nxstage Medical, Inc. Druckmessvorrichtung, Verfahren und Systeme
US9622825B2 (en) * 2011-11-28 2017-04-18 National University Of Singapore Robotic system for flexible endoscopy
JP6053342B2 (ja) 2012-06-15 2016-12-27 キヤノン株式会社 医療用マニピュレータおよび、該医療用マニピュレータを備えた医療用画像撮影システム
JP6159075B2 (ja) 2012-11-01 2017-07-05 国立大学法人東京工業大学 鉗子マニピュレータ、および鉗子マニピュレータを備える鉗子システム
JP6112300B2 (ja) * 2013-01-10 2017-04-12 パナソニックIpマネジメント株式会社 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、並びに、制御プログラム
CA2906672C (en) * 2013-03-14 2022-03-15 Board Of Regents Of The University Of Nebraska Methods, systems, and devices relating to force control surgical systems
JP5754820B2 (ja) 2013-11-28 2015-07-29 国立大学法人東京工業大学 手術用ロボット

Also Published As

Publication number Publication date
EP3205459A1 (en) 2017-08-16
WO2016056339A1 (ja) 2016-04-14
US10321928B2 (en) 2019-06-18
JPWO2016056339A1 (ja) 2017-07-27
EP3205459A4 (en) 2018-06-27
US20170290601A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6631528B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200330172A1 (en) Methods, Systems, and Devices Relating to Force Control Surgical Systems
JP6582549B2 (ja) 振動検出モジュール、振動検出装置、振動検出方法及び手術システム
US10856726B2 (en) Medical support arm apparatus
US11344374B2 (en) Detection of unintentional movement of a user interface device
JP6512216B2 (ja) ロボットアーム装置、ロボットアーム制御方法及びプログラム
WO2017169082A1 (ja) 制御装置及び制御方法
AU2019354913B2 (en) Automatic endoscope video augmentation
RU2741469C1 (ru) Роботизированная хирургическая система
JP4767175B2 (ja) 手術器具を通すためのトロカール装置
JP2018500058A (ja) ロボット外科手術用システムアクセスポートの感知
KR20130136430A (ko) 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법
WO2019150866A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW200820945A (en) Haptic feedback medical scanning methods and systems
TWI695765B (zh) 機械手臂
US20200214779A1 (en) Control device, control method, and master-slave system
JP7144800B2 (ja) 手技圧検知デバイス、手技訓練用人体モデル、手技訓練システム、腹腔鏡下手術支援システム
He et al. Force sensing of multiple‐DOF cable‐driven instruments for minimally invasive robotic surgery
JP2019034002A (ja) 鉗子システム
JP6801901B1 (ja) 手術ロボットシステム、外力推定装置、および、プログラム
US20200257270A1 (en) Master-slave system and control method of the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180829

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R151 Written notification of patent or utility model registration

Ref document number: 6631528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151