JP6694544B1 - Micro work robot - Google Patents
Micro work robot Download PDFInfo
- Publication number
- JP6694544B1 JP6694544B1 JP2019220337A JP2019220337A JP6694544B1 JP 6694544 B1 JP6694544 B1 JP 6694544B1 JP 2019220337 A JP2019220337 A JP 2019220337A JP 2019220337 A JP2019220337 A JP 2019220337A JP 6694544 B1 JP6694544 B1 JP 6694544B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- operating body
- coordinate system
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 251
- 230000003287 optical effect Effects 0.000 claims abstract description 96
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 84
- 230000000007 visual effect Effects 0.000 claims description 49
- 238000011084 recovery Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 239000000725 suspension Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000036512 infertility Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
【課題】撮像部と、処置具等の操作体、及び、操作体を保持するアーム部とを緊密、正確、かつ、迅速に連携して制御することができるマイクロ作業ロボットを提供する。【解決手段】対象物内の被写体を観察するための少なくとも1つのレンズ光学部を有し、レンズ光学部を通る光が結ぶ観察画像を撮像して画像データを得る撮像部と、被写体に接触可能な操作体を、観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、操作体及びアーム部の駆動を制御する駆動制御部と、撮像部を制御する撮像制御部と、駆動制御部と撮像制御部とを連携制御する制御部とを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a micro-working robot capable of tightly, accurately, and rapidly cooperatingly controlling an imaging unit, an operating body such as a treatment tool, and an arm holding the operating body. An image pickup unit that has at least one lens optical unit for observing a subject in an object and obtains image data by picking up an observation image formed by light passing through the lens optical unit, and is capable of contacting the subject. An arm that holds a large operating body so that it can be driven at intervals smaller than the resolution of the observed image, a drive controller that controls the drive of the operating body and the arm, an imaging controller that controls the imaging unit, and a drive control And a control unit that controls the image pickup control unit in cooperation with each other. [Selection diagram] Figure 1
Description
本発明は、操作体、操作体を保持するアーム部、及び、撮像部を備えたマイクロ作業ロボットに関する。 The present invention relates to a micro working robot including an operating body, an arm section that holds the operating body, and an imaging section.
近年、微細な操作が可能なマイクロ作業ロボットを用いた手術方法が各種提案されている。このようなマイクロ作業ロボットとして例えば特許文献1に記載のロボットアセンブリが挙げられる。特許文献1のロボットアセンブリは、フレームと関節装置を有する医療器具を少なくとも1つ具備した構成を備えており、安全性を損なうことなく医療器具を簡便かつ精度良く制御でき、直感的な操作を可能とし、耐久性を有し、無菌性や信頼性を損なうことなく定期的な整備が可能であるなどの効果を有する。また、医療器具が取り付けられた支持部材にビデオカメラや顕微鏡を接続することにより、医療器具の終端部等をフレーミングすることができる。 In recent years, various surgical methods using a micro-work robot capable of fine operation have been proposed. An example of such a micro-working robot is the robot assembly described in Patent Document 1. The robot assembly of Patent Document 1 has a configuration including at least one medical device having a frame and a joint device, and can control the medical device easily and accurately without impairing safety and allows intuitive operation. In addition, it is durable and can be regularly maintained without impairing sterility and reliability. Further, by connecting a video camera or a microscope to the support member to which the medical device is attached, it is possible to frame the end portion of the medical device or the like.
手術においては、その進行に応じて、対象範囲の大きさや位置が変化したり、処置具などの操作体の位置が変わる場合がある。また、処置具をいったん待機させる場合、又は、待機していた処置具を対象部周辺に復帰させる場合もある。さらに、これら以外にも、撮像部による撮影範囲と操作体との関係が逐次変化することが考えられる。また、近年では、4Kや8Kに相当する解像度の高精細画像を用いてマイクロ作業ロボットによる手術を行う場面も増えつつある。したがって、マイクロ作業ロボットにおいては、このような様々な変化に応じて、高精細画像を用いた場合においても、撮像部と、処置具等の操作体、及び、操作体を保持するアーム部とが緊密、正確、かつ、迅速に連携することが求められつつある。
ここで、4K相当の解像度とは、1フレームの画素数が、3840×2160で約830万以上の解像度を意味し、8K相当の解像度とは、1フレームの画素数が、7680×4320で約3300万以上の解像度を意味する。
In surgery, the size and position of the target range may change or the position of the operating tool such as a treatment tool may change according to the progress thereof. In addition, the treatment tool may be made to stand by once or the waiting treatment tool may be returned to the periphery of the target portion. Furthermore, in addition to these, it is conceivable that the relationship between the shooting range of the image pickup unit and the operating body changes sequentially. In addition, in recent years, the number of scenes in which surgery is performed by a micro-working robot using high-definition images with resolutions equivalent to 4K and 8K is increasing. Therefore, in the micro-work robot, the imaging unit, the operating tool such as the treatment tool, and the arm section that holds the operating tool are used in response to such various changes even when a high-definition image is used. There is a growing demand for close, accurate, and swift collaboration.
Here, the resolution equivalent to 4K means that the number of pixels in one frame is 3840 × 2160 and about 8.3 million or more, and the resolution equivalent to 8K means that the number of pixels in one frame is approximately 7680 × 4320. It means a resolution of 33 million or more.
そこで本発明は、撮像部と、処置具等の操作体、及び、操作体を保持するアーム部とを緊密、正確、かつ、迅速に連携して制御することができるマイクロ作業ロボットを提供することを目的とする。 Therefore, the present invention provides a micro-working robot capable of tightly, accurately, and quickly and cooperatively controlling an imaging unit, an operating tool such as a treatment tool, and an arm section holding the operating tool. With the goal.
上記課題を解決するために、本発明のマイクロ作業ロボットは、対象物内の被写体を観察するための少なくとも1つのレンズ光学部を有し、レンズ光学部を通る光が結ぶ観察画像を撮像して画像データを得る撮像部と、被写体に接触可能な操作体を、観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、操作体及びアーム部の駆動を制御する駆動制御部と、撮像部を制御する撮像制御部と、駆動制御部と撮像制御部とを連携制御する制御部とを備えることを特徴としている。
ここで、観察画像の解像度として、4Kや8Kに相当する解像度を含むことが好ましい。
In order to solve the above problems, a micro-working robot of the present invention has at least one lens optical unit for observing a subject in an object, and captures an observation image formed by light passing through the lens optical unit. An imaging unit that obtains image data, an operation unit that can contact a subject, and an arm unit that holds the operation unit at a narrower interval than the resolution of the observed image, and a drive control unit that controls the operation of the operation unit and the arm unit. It is characterized by including an imaging control unit that controls the imaging unit and a control unit that controls the drive control unit and the imaging control unit in cooperation.
Here, it is preferable that the resolution of the observed image includes a resolution corresponding to 4K or 8K.
本発明のマイクロ作業ロボットにおいて、制御部は、撮像部の座標系と操作体の座標系との関連付けを行う座標系整合部を備えることが好ましい。 In the micro work robot of the present invention, it is preferable that the control unit includes a coordinate system matching unit that associates the coordinate system of the imaging unit with the coordinate system of the operating body.
本発明のマイクロ作業ロボットにおいて、撮像部の座標系で位置が特定されているとともに操作体の座標系で位置が特定されている共有原点を有し、座標系整合部は、共有原点に基づき、撮像部の座標系と操作体の座標系とを共通化することが好ましい。
座標系整合部は、操作体の座標系で位置が特定されたマーカの画像を含む画像データを用いて、撮像部の座標系と操作体の座標系との関連付けを行うことが好ましい。また、座標系整合部は、撮像部の座標系において撮像部の撮像軸に沿った方向を法線とする平面内の位置を規定する座標軸の方向と、操作体の座標系において操作体の水平面内の位置を規定する座標軸の方向とが揃うように、撮像部の位置及び操作体の基準位置の少なくとも一方を移動させるための制御信号を生成することが好ましい。
In the micro work robot of the present invention, the position is specified in the coordinate system of the imaging unit and the shared origin whose position is specified in the coordinate system of the operating body, and the coordinate system matching unit is based on the shared origin. It is preferable that the coordinate system of the imaging unit and the coordinate system of the operating body are made common.
It is preferable that the coordinate system matching unit associates the coordinate system of the imaging unit with the coordinate system of the operating body by using image data including an image of the marker whose position is specified by the coordinate system of the operating body. In addition, the coordinate system matching unit defines the direction of the coordinate axis that defines the position in the plane whose normal is the direction along the image capturing axis of the image capturing unit in the coordinate system of the image capturing unit and the horizontal plane of the operating body in the coordinate system of the operating body. It is preferable to generate a control signal for moving at least one of the position of the imaging unit and the reference position of the operating body so that the direction of the coordinate axis defining the inner position is aligned.
本発明のマイクロ作業ロボットにおいて、制御部は、撮像部の撮像ステータス情報を生成する撮像ステータス情報生成部と、撮像ステータス情報に基づく信号を入力として、駆動制御部への制御信号を生成する駆動信号生成部とを備えることが好ましい。上記撮像ステータス情報は、焦点、倍率、観察視野及び操作状態情報を含むことが好ましい。 In the micro-working robot of the present invention, the control unit has an imaging status information generation unit that generates imaging status information of the imaging unit, and a drive signal that generates a control signal to the drive control unit by inputting a signal based on the imaging status information. And a generator. It is preferable that the imaging status information includes focus, magnification, observation field of view, and operation state information.
本発明のマイクロ作業ロボットにおいて、制御部は、アーム部と操作体の駆動ステータス情報を生成する駆動ステータス情報生成部と、
駆動ステータス情報に基づく信号を入力として、撮像制御部への制御信号を生成する撮像信号生成部とを備えることが好ましい。上記駆動ステータス情報は、位置情報及び操作状態情報を含むことが好ましい。
In the micro work robot of the present invention, the control unit includes a drive status information generation unit that generates drive status information of the arm unit and the operating body,
It is preferable to include an imaging signal generation unit that receives a signal based on the drive status information and generates a control signal to the imaging control unit. The drive status information preferably includes position information and operation state information.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、撮像ステータス情報生成部から入力した撮像部の観察視野に関する信号に基づき、操作体を撮像部の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部が行うと判断した場合には、操作体が観察視野の範囲外に位置する前に、範囲外移動制御を停止するための停止制御信号を生成し、停止制御信号を駆動制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the drive signal generation unit controls the out-of-range movement control for moving the operating body to the outside of the observation visual field of the imaging unit based on the signal related to the observation visual field of the imaging unit input from the imaging status information generation unit. If the drive control unit determines that the operation control unit performs the operation, the stop control signal for stopping the out-of-range movement control is generated before the operating body is located outside the observation visual field, and the stop control signal is transmitted to the drive control unit. It is preferable to output to.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、撮像ステータス情報生成部から入力した撮像部の観察視野に関する信号に基づき、操作体が撮像部の観察視野の範囲外に位置すると判断した場合には、操作体が観察視野の範囲内に位置するようにアーム部を制御する操作体近接制御のための近接制御信号を生成し、近接制御信号を駆動制御部へ出力することが好ましい。 In the micro work robot of the present invention, when the drive signal generation unit determines that the operating body is located outside the observation visual field of the imaging unit based on the signal related to the observation visual field of the imaging unit input from the imaging status information generation unit. Preferably generates a proximity control signal for operating body proximity control that controls the arm portion so that the operating body is located within the range of the observation visual field, and outputs the proximity control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、入力した撮像ステータス情報に基づき、操作体が撮像部の観察視野の範囲内に設定される待機位置に移動するようにアーム部を制御する待機位置移動制御のための待機位置制御信号を生成し、待機位置制御信号を駆動制御部へ出力することが好ましい。 In the micro work robot of the present invention, the drive signal generation unit controls the arm unit so as to move the operating body to the standby position set within the range of the observation visual field of the imaging unit based on the input imaging status information. It is preferable to generate a standby position control signal for position movement control and output the standby position control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、駆動ステータス情報生成部から入力した信号に基づき、操作体の位置を基準として規定される所定の位置にレンズ光学部の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、フォーカス制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the imaging signal generation unit is based on a signal input from the drive status information generation unit, and the focus control for focusing the lens optical unit to a predetermined position defined with the position of the operating body as a reference. It is preferable to generate a focus control signal for outputting the focus control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、撮像部はレンズ光学部を複数有し、撮像信号生成部は、駆動ステータス情報生成部から入力した信号に基づき、操作体の位置を基準として、複数のレンズ光学部のそれぞれの光軸の向きを所定の向きに移動させる光軸移動制御のための光軸移動制御信号を生成し、光軸移動制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the image pickup unit has a plurality of lens optical units, and the image pickup signal generation unit has a plurality of lens optical units based on the signal input from the drive status information generation unit with the position of the operating body as a reference. It is preferable to generate an optical axis movement control signal for controlling the optical axis movement that moves the respective optical axes to a predetermined direction, and output the optical axis movement control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、駆動ステータス情報生成部から入力した信号に基づき、操作体を撮像部の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部が行うと判断した場合には、操作体が観察視野の範囲外に位置する前に、範囲外移動制御が完了したときの操作体が観察視野の範囲内に位置するように撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、撮像範囲制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the image pickup signal generation unit performs the out-of-range movement control for moving the operating body to the outside of the observation visual field of the image pickup unit based on the signal input from the drive status information generation unit. If it is determined that the operating body is located outside the range of the observation visual field, the imaging range that controls the imaging unit so that the operating body is located within the range of the observation visual field when the out-of-range movement control is completed. It is preferable to generate an imaging range control signal for movement / enlargement control and output the imaging range control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、駆動ステータス情報生成部から入力した信号に基づき、操作体が撮像部の観察視野の範囲外に位置すると判断した場合には、操作体が観察視野の範囲内に位置するように撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、撮像範囲制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the imaging signal generation unit observes the operation body when it determines that the operation body is located outside the observation field of view of the imaging unit based on the signal input from the drive status information generation unit. It is preferable to generate an image pickup range control signal for image pickup range movement / enlargement control for controlling the image pickup unit so as to be positioned within the range of the visual field, and output the image pickup range control signal to the image pickup control unit.
本発明のマイクロ作業ロボットにおいて、被写体の位置を測定する被写体測定部と、被写体測定部の測定結果に基づき被写体の座標系を設定する被写体座標系設定部とをさらに備えることが好ましい。上記被写体測定部は、画像データを入力として被写体の位置を測定することが好ましい。また、撮像部はレンズ光学部を複数有し、複数のレンズ光学部から得られる複数の画像データに基づき、被写体測定部は被写体の位置を測定することが好ましい。 The micro-working robot of the present invention preferably further comprises a subject measuring unit that measures the position of the subject and a subject coordinate system setting unit that sets the coordinate system of the subject based on the measurement result of the subject measuring unit. The subject measuring section preferably measures the position of the subject by inputting the image data. Further, it is preferable that the imaging unit has a plurality of lens optical units, and the subject measuring unit measures the position of the subject based on a plurality of image data obtained from the plurality of lens optical units.
本発明のマイクロ作業ロボットにおいて、座標系整合部は、被写体の座標系を示す信号を入力として、被写体の座標系と撮像部の座標系との関連付けを行うことが好ましい。 In the micro work robot of the present invention, it is preferable that the coordinate system matching unit associates the coordinate system of the subject with the coordinate system of the imaging unit by inputting a signal indicating the coordinate system of the subject.
本発明のマイクロ作業ロボットにおいて、座標系整合部は、被写体の座標系を示す信号を入力として、被写体の座標系と操作体の座標系との関連付けを行うことが好ましい。 In the micro-working robot of the present invention, it is preferable that the coordinate system matching unit inputs the signal indicating the coordinate system of the subject and associates the coordinate system of the subject with the coordinate system of the operating body.
本発明のマイクロ作業ロボットにおいて、座標系整合部は、観察画像の一部として指定されたターゲットの位置を、被写体の座標系で算出することが好ましい。制御部は、座標系整合部からの入力信号に基づいて撮像制御部への制御信号を生成する撮像信号生成部を備えることが好ましい。撮像信号生成部は、撮像部の観察視野における所定位置にターゲットが位置するように、被写体の座標系におけるターゲットの位置を基準として、撮像部の観察視野を制御する視野調整制御のための視野制御信号を生成し、視野制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, it is preferable that the coordinate system matching unit calculates the position of the target designated as a part of the observation image in the coordinate system of the subject. It is preferable that the control unit includes an imaging signal generation unit that generates a control signal to the imaging control unit based on an input signal from the coordinate system matching unit. The imaging signal generation unit controls the observation visual field of the imaging unit based on the position of the target in the coordinate system of the subject so that the target is located at a predetermined position in the observation visual field of the imaging unit. It is preferable to generate a signal and output the view control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、被写体の座標系におけるターゲットの位置を基準として、ターゲットの位置にレンズ光学部の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、フォーカス制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the imaging signal generation unit generates a focus control signal for focus control for focusing the lens optical unit on the target position based on the position of the target in the coordinate system of the subject, It is preferable to output the control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、撮像部はレンズ光学部を複数有し、撮像信号生成部は、被写体の座標系におけるターゲットの位置を基準として、複数のレンズ光学部のそれぞれの光軸の向きを設定し、設定された向きへと複数のレンズ光学部の光軸を移動させる光軸移動制御のための光軸移動制御信号を生成し、光軸移動制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the image pickup unit has a plurality of lens optical units, and the image pickup signal generation unit determines the direction of the optical axis of each of the plurality of lens optical units with reference to the position of the target in the coordinate system of the subject. It is possible to generate an optical axis movement control signal for optical axis movement control for setting and moving the optical axes of a plurality of lens optical sections in the set direction, and outputting the optical axis movement control signal to the imaging control section. preferable.
本発明のマイクロ作業ロボットにおいて、制御部は、駆動ステータス情報を生成する駆動ステータス情報生成部をさらに備え、撮像信号生成部は、駆動ステータス情報に基づく信号を入力として、撮像制御部への制御信号を生成することが好ましい。撮像信号生成部は、入力した駆動ステータス情報に基づき、操作体が撮像部の観察視野の範囲外に位置すると判断した場合には、操作体及びターゲットが観察視野の範囲内に位置するように撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、撮像範囲制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the control unit further includes a drive status information generation unit that generates drive status information, and the imaging signal generation unit receives a signal based on the drive status information as an input and outputs a control signal to the imaging control unit. Is preferably generated. The imaging signal generation unit, based on the input drive status information, when it determines that the operating body is located outside the observation visual field of the imaging unit, performs imaging so that the operating body and the target are located within the observation visual field. It is preferable to generate an image pickup range control signal for controlling the image pickup range movement / enlargement and output the image pickup range control signal to the image pickup control unit.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、入力した駆動ステータス情報に基づき、操作体を撮像部の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部が行うと判断した場合には、操作体が観察視野の範囲外に位置する前に、範囲外移動制御が完了したときの操作体がターゲットとともに観察視野の範囲内に位置するように撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、撮像範囲制御信号を撮像制御部へ出力することが好ましい。 In the micro work robot of the present invention, when the image pickup signal generation unit determines that the drive control unit performs the out-of-range movement control for moving the operating body to the outside of the observation visual field of the image pickup unit based on the input drive status information. Includes an imaging range movement / control that controls the imaging unit so that the operating body is located within the observation visual field together with the target when the out-of-range movement control is completed before the operating body is located outside the observation visual field. It is preferable to generate an imaging range control signal for enlargement control and output the imaging range control signal to the imaging control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、座標系整合部からの入力信号に基づいて駆動制御部への制御信号を生成することが好ましい。座標系整合部は、被写体の座標系に基づいて、操作体が位置すべきでない禁止領域を設定することが好ましい。駆動信号生成部は、駆動制御部が、操作体を禁止領域内に移動させる禁止領域移動制御を行った場合には、操作体を禁止領域の外に移動させる回復制御のための回復制御信号を生成し、回復制御信号を駆動制御部へ出力することが好ましい。 In the micro-working robot of the present invention, it is preferable that the drive signal generation unit generate a control signal to the drive control unit based on the input signal from the coordinate system matching unit. It is preferable that the coordinate system matching unit sets the prohibited area in which the operating body should not be located, based on the coordinate system of the subject. The drive signal generation unit, when the drive control unit performs the prohibited area movement control for moving the operating body into the prohibited area, outputs the recovery control signal for the recovery control for moving the operating body to the outside of the prohibited area. It is preferable to generate and output the recovery control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、操作体を禁止領域に移動させる禁止領域移動入力があったと判断した場合には、操作体が禁止領域に到達する前に、操作体の移動を停止させる停止制御のための停止制御信号を生成し、停止制御信号を駆動制御部へ出力することが好ましい。 In the micro work robot of the present invention, when the drive signal generation unit determines that there is a prohibited area movement input for moving the operating body to the prohibited area, the driving body moves before the operating body reaches the prohibited area. It is preferable to generate a stop control signal for stop control for stopping, and output the stop control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、操作体が禁止領域を通過する禁止領域通過入力があったと判断した場合には、操作体が禁止領域に到達する前に、禁止領域を通過しない新たな移動経路を計算し、新たな移動経路で操作体を移動させる回避制御のための回避制御信号を生成し、回避制御信号を駆動制御部へ出力することが好ましい。 In the micro work robot of the present invention, when the drive signal generation unit determines that the operation body passes through the prohibition area, the operation body passes through the prohibition area before reaching the prohibition area. It is preferable to calculate a new movement route that does not occur, generate an avoidance control signal for avoidance control for moving the operating body on the new movement route, and output the avoidance control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、操作体を禁止領域に移動させる禁止領域移動入力があったと判断した場合には、操作体を操作する操作者及び画像データに基づき生成された表示画像の観察者の少なくとも一方に禁止領域移動入力があったことを知らせる報知制御のための制御信号を生成することが好ましい。 In the micro work robot of the present invention, when the drive signal generation unit determines that there is the prohibited area movement input for moving the operation body to the prohibited area, the drive signal generation unit is generated based on the operator operating the operation body and the image data. It is preferable to generate a control signal for informing control that informs at least one of the observers of the display image that the prohibited area movement input has been made.
本発明のマイクロ作業ロボットにおいて、座標系整合部は、被写体の座標系を示す信号を入力として、被写体の座標系と撮像部の座標系との関連付けを行うとともに、観察画像の一部として指定されたターゲットの位置を被写体の座標系で算出し、駆動信号生成部は、被写体の座標系におけるターゲットの位置を基準として、操作体の待機位置を算出し、操作体が待機位置に移動するようにアーム部を制御する待機位置移動制御のための待機位置制御信号を生成し、待機位置制御信号を駆動制御部へ出力することが好ましい。 In the micro-working robot of the present invention, the coordinate system matching unit receives the signal indicating the coordinate system of the subject as an input, associates the coordinate system of the subject with the coordinate system of the imaging unit, and is designated as a part of the observation image. The target signal position is calculated in the coordinate system of the subject, and the drive signal generation unit calculates the standby position of the operating body based on the position of the target in the coordinate system of the subject, so that the operating body moves to the standby position. It is preferable to generate a standby position control signal for controlling the standby position movement for controlling the arm portion and output the standby position control signal to the drive control unit.
本発明のマイクロ作業ロボットにおいて、駆動信号生成部は、許可信号を入力したことを条件として、制御信号を駆動制御部へ出力することが好ましい。 In the micro work robot of the present invention, it is preferable that the drive signal generation unit outputs the control signal to the drive control unit on condition that the permission signal is input.
本発明のマイクロ作業ロボットにおいて、撮像信号生成部は、許可信号を入力したことを条件として、制御信号を撮像制御部へ出力することが好ましい。 In the micro-working robot of the present invention, it is preferable that the imaging signal generation unit outputs the control signal to the imaging control unit on condition that the permission signal is input.
本発明によると、撮像部と、処置具等の操作体、及び、操作体を保持するアーム部とを緊密、正確、かつ、迅速に連携して制御することができるマイクロ作業ロボットを提供することができる。 According to the present invention, it is possible to provide a micro-working robot capable of tightly, accurately, and promptly and cooperatively controlling an imaging unit, an operating tool such as a treatment tool, and an arm section holding the operating tool. You can
以下、本発明の実施形態に係るマイクロ作業ロボットについて図面を参照しつつ詳しく説明する。
図1は、本実施形態に係るマイクロ作業ロボット100の構成を示すブロック図である。図1に示すように、マイクロ作業ロボット100は、撮像制御部11、撮像部12、駆動制御部21、操作体22、アーム部23、制御部30などを備える。
Hereinafter, a micro-working robot according to an embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of a micro work robot 100 according to this embodiment. As illustrated in FIG. 1, the micro work robot 100 includes an imaging control unit 11, an imaging unit 12, a drive control unit 21, an operating body 22, an arm unit 23, a control unit 30, and the like.
撮像制御部11は撮像部12の駆動を制御する回路である。撮像部12は、マイクロ作業ロボット100による作業の対象物内の被写体を観察するための少なくとも1つのレンズ光学部13を有する。マイクロ作業ロボット100によって、患者体内の患部の手術を行う場合、患者が対象物であり、患者体内の患部が被写体となる。レンズ光学部13は、少なくとも1枚のレンズを有する。撮像部12は、固体撮像素子(不図示)を有し、レンズ光学部13のレンズを通る光が固体撮像素子の撮像面上において観察画像を結び、画像データを生成する。この観察画像は、4Kや8Kに相当する解像度を有することが好ましい。撮像制御部11は、フォーカス制御信号を受けて、ターゲットの位置にレンズ光学部の焦点を合わせるフォーカス制御を行い、また、光軸移動制御信号を受け、操作体の位置を基準として、複数のレンズ光学部のそれぞれの光軸の向きを所定の向きに移動させる光軸移動制御を行う。 The imaging control unit 11 is a circuit that controls driving of the imaging unit 12. The imaging unit 12 has at least one lens optical unit 13 for observing a subject in an object to be worked by the micro-working robot 100. When the micro-working robot 100 performs an operation on an affected part in the patient's body, the patient is an object and the affected part in the patient's body is a subject. The lens optical unit 13 has at least one lens. The imaging unit 12 has a solid-state imaging device (not shown), and light passing through the lens of the lens optical unit 13 connects an observation image on the imaging surface of the solid-state imaging device to generate image data. This observed image preferably has a resolution equivalent to 4K or 8K. The imaging control unit 11 receives the focus control signal to perform focus control for focusing the lens optical unit on the position of the target, and also receives the optical axis movement control signal to reference the position of the operating body as a reference. Optical axis movement control is performed to move the respective optical axes of the optical unit to a predetermined direction.
駆動制御部21は、患部(被写体)の処置を行うための処置具その他の操作体22、及び、アーム部23の駆動を制御する。操作体22は、被写体に接触可能に配置され、アーム部23によって、観察画像の解像度よりも狭い間隔、すなわち前記解像度よりも細かい間隔で駆動可能となるように保持される。 The drive control unit 21 controls the drive of a treatment tool or other operating body 22 for treating a diseased part (subject) and an arm 23. The operating body 22 is arranged so as to be able to contact the subject, and is held by the arm portion 23 so that it can be driven at an interval narrower than the resolution of the observed image, that is, an interval finer than the resolution.
制御部30は、駆動信号生成部31、駆動ステータス情報生成部32、座標系整合部33、撮像信号生成部34、及び、撮像ステータス情報生成部35を備え、駆動制御部21と撮像制御部11とが互いに連携して駆動するように連携制御する。駆動信号生成部31、駆動ステータス情報生成部32、座標系整合部33、撮像信号生成部34、及び、撮像ステータス情報生成部35は、互いに独立した演算回路として構成してもよいし、1つの演算回路で構成してもよい。 The control unit 30 includes a drive signal generation unit 31, a drive status information generation unit 32, a coordinate system matching unit 33, an image pickup signal generation unit 34, and an image pickup status information generation unit 35, and the drive control unit 21 and the image pickup control unit 11 are included. And control so that and drive in cooperation with each other. The drive signal generation unit 31, the drive status information generation unit 32, the coordinate system matching unit 33, the imaging signal generation unit 34, and the imaging status information generation unit 35 may be configured as independent arithmetic circuits, or one operation circuit. It may be configured by an arithmetic circuit.
駆動ステータス情報生成部32は、操作体22とアーム部23の駆動ステータス情報を生成する。撮像信号生成部34は、駆動ステータス情報に基づく信号を入力として、また、座標系整合部33からの入力信号に基づいて、撮像制御部11への制御信号を生成する。駆動ステータス情報は、例えば、操作体22とアーム部23それぞれの位置情報及び操作状態を含む。
座標系整合部33は、撮像部12の座標系と操作体22の座標系との関連付けを行う。
The drive status information generation unit 32 generates drive status information on the operating body 22 and the arm unit 23. The imaging signal generation unit 34 receives a signal based on the drive status information as an input, and generates a control signal to the imaging control unit 11 based on an input signal from the coordinate system matching unit 33. The drive status information includes, for example, position information and an operation state of each of the operating body 22 and the arm portion 23.
The coordinate system matching unit 33 associates the coordinate system of the imaging unit 12 with the coordinate system of the operating body 22.
撮像ステータス情報生成部35は、撮像信号生成部34からの入力信号及び撮像部12からの入力信号に基づいて、撮像部12の撮像ステータス情報を生成する。駆動信号生成部31は、撮像ステータス情報に基づく信号を入力として、また、座標系整合部33からの入力信号に基づいて、駆動制御部21への制御信号を生成する。撮像ステータス情報には、例えば、レンズ光学部13における、合焦状態を含む焦点情報、倍率、観察視野又は撮像範囲、及び、操作状態情報が含まれる。 The imaging status information generation unit 35 generates imaging status information of the imaging unit 12 based on the input signal from the imaging signal generation unit 34 and the input signal from the imaging unit 12. The drive signal generation unit 31 receives a signal based on the imaging status information as an input, and generates a control signal to the drive control unit 21 based on an input signal from the coordinate system matching unit 33. The imaging status information includes, for example, focus information including a focused state, magnification, observation field of view or imaging range, and operation state information in the lens optical unit 13.
以上のとおり、マイクロ作業ロボット100においては、撮像部12と、操作体22及びアーム部23との一方の状態(ステータス情報)に応じて、他方を制御する制御信号を生成し、撮像部12による撮像と、操作体22及びアーム部23の駆動とを互いに連携して制御している。 As described above, in the micro work robot 100, a control signal for controlling the image pickup unit 12 and one of the operating body 22 and the arm unit 23 (status information) is generated, and the image pickup unit 12 causes the control signal to be generated. Imaging and driving of the operating body 22 and the arm portion 23 are controlled in cooperation with each other.
撮像部12と、操作体22及びアーム部23との連携制御のうち、撮像部12の撮像ステータス情報に基づいて操作体22及びアーム部23を制御する例としては以下の(a)〜(c)が挙げられる。 The following (a) to (c) are examples of controlling the operating body 22 and the arm unit 23 based on the imaging status information of the image capturing unit 12 in the cooperative control of the image capturing unit 12 and the operating body 22 and the arm unit 23. ) Is mentioned.
(a)駆動信号生成部31は、撮像ステータス情報生成部35から入力した撮像部12の観察視野に関する信号に基づき、操作体22を撮像部12の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部21が行うと判断した場合には、操作体22が観察視野の範囲外に位置する前に、範囲外移動制御を停止するための停止制御信号を生成し、この停止制御信号を駆動制御部21へ出力する。これにより、操作体22は、観察視野の範囲外に位置する前に移動を停止し、観察視野の範囲内に継続して位置するよう制御される。 (A) The drive signal generation unit 31 controls the out-of-range movement to move the operating body 22 out of the observation field of view of the image capturing unit 12 based on the signal related to the observation field of view of the image capturing unit 12 input from the image capturing status information generation unit 35. If the drive control unit 21 determines that the operation control unit 21 performs the operation, the stop control signal for stopping the out-of-range movement control is generated before the operating body 22 is located outside the range of the observation visual field, and this stop control signal is output. Output to the drive control unit 21. As a result, the operating body 22 is controlled so as to stop moving before being located outside the range of the observation visual field and continue to be located within the range of the observation visual field.
(b)駆動信号生成部31は、撮像ステータス情報生成部35から入力した撮像部12の観察視野に関する信号に基づき、操作体22が撮像部12の観察視野の範囲外に位置すると判断した場合には、操作体22が観察視野の範囲内に位置するようにアーム部23を制御する操作体近接制御のための近接制御信号を生成し、この近接制御信号を駆動制御部21へ出力する。これにより、操作体22が観察視野の範囲外に一時的に位置したとしても観察範囲内にもどるように制御することができる。 (B) When the drive signal generation unit 31 determines that the operating body 22 is located outside the observation visual field of the imaging unit 12 based on the signal related to the observation visual field of the imaging unit 12 input from the imaging status information generation unit 35. Generates a proximity control signal for operating body proximity control that controls the arm portion 23 so that the operating body 22 is located within the range of the observation visual field, and outputs this proximity control signal to the drive control unit 21. Thereby, even if the operating body 22 is temporarily located outside the range of the observation visual field, it can be controlled to return to the inside of the observation range.
(c)駆動信号生成部31は、撮像ステータス情報生成部35から入力した撮像ステータス情報に基づき、操作体22が撮像部12の観察視野の範囲内に設定される待機位置に移動するようにアーム部23を制御する待機位置移動制御のための待機位置制御信号を生成し、この待機位置制御信号を駆動制御部21へ出力する。 (C) The drive signal generation unit 31 arms so that the operating body 22 moves to the standby position set within the range of the observation visual field of the imaging unit 12 based on the imaging status information input from the imaging status information generation unit 35. A standby position control signal for controlling the standby position movement that controls the unit 23 is generated, and the standby position control signal is output to the drive control unit 21.
一方、撮像部12と、操作体22及びアーム部23との連携制御のうち、操作体22とアーム部23の駆動ステータス情報に基づいて撮像部12を制御する例としては以下の(d)〜(g)が挙げられる。 On the other hand, as an example of controlling the image pickup unit 12 based on the drive status information of the operation body 22 and the arm unit 23 in the cooperative control of the image pickup unit 12 and the operation body 22 and the arm unit 23, the following (d) to (G) is mentioned.
(d)撮像信号生成部34は、駆動ステータス情報生成部32から入力した信号に基づき、操作体22の位置を基準として規定される所定の位置にレンズ光学部13の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、このフォーカス制御信号を撮像制御部11へ出力する。これにより、操作体22の位置が変わっても合焦状態を維持することができる。 (D) The image pickup signal generation unit 34 performs focus control for focusing the lens optical unit 13 on a predetermined position defined based on the position of the operating body 22 based on the signal input from the drive status information generation unit 32. The focus control signal is generated, and the focus control signal is output to the imaging control unit 11. As a result, the in-focus state can be maintained even if the position of the operating body 22 changes.
(e)撮像部12が複数のレンズ光学部13を有する構成において、撮像信号生成部34は、駆動ステータス情報生成部32から入力した信号に基づき、操作体22の位置を基準として、複数のレンズ光学部13のそれぞれの光軸の向きを所定の向きに移動させる光軸移動制御のための光軸移動制御信号を生成し、この光軸移動制御信号を撮像制御部11へ出力する。これにより、操作体22の位置が変わっても複数のレンズ光学部13の観察範囲内に位置させることができる。さらに、例えば、レンズ光学部13を2つ設けた場合に、操作体22の位置を基準に所望の輻輳角を設定することが可能となる。 (E) In the configuration in which the image pickup unit 12 includes the plurality of lens optical units 13, the image pickup signal generation unit 34 uses the signals input from the drive status information generation unit 32 to set the plurality of lenses based on the position of the operating body 22. An optical axis movement control signal for controlling the optical axis movement for moving the respective optical axes of the optical section 13 to a predetermined direction is generated, and the optical axis movement control signal is output to the imaging control section 11. Thereby, even if the position of the operating body 22 is changed, the operating body 22 can be positioned within the observation range of the plurality of lens optical units 13. Furthermore, for example, when two lens optical units 13 are provided, it becomes possible to set a desired convergence angle with the position of the operating body 22 as a reference.
(f)撮像信号生成部34は、駆動ステータス情報生成部32から入力した信号に基づき、操作体22を撮像部12の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部21が行うと判断した場合には、操作体22が観察視野の範囲外に位置する前に、範囲外移動制御が完了したときの操作体22が観察視野の範囲内に位置するように撮像部12を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、この撮像範囲制御信号を撮像制御部11へ出力する。これにより、操作体22が、継続して観察視野の範囲内に位置するように制御される。 (F) In the imaging signal generation unit 34, the drive control unit 21 performs out-of-range movement control for moving the operating body 22 outside the observation field of view of the imaging unit 12 based on the signal input from the driving status information generation unit 32. If it is determined that the operating body 22 is located outside the observation visual field, the imaging unit 12 is controlled so that the operating body 22 is located within the observation visual field when the out-of-range movement control is completed. An imaging range control signal for imaging range movement / enlargement control is generated, and the imaging range control signal is output to the imaging control unit 11. As a result, the operating body 22 is controlled so as to be continuously positioned within the range of the observation visual field.
(g)撮像信号生成部34は、駆動ステータス情報生成部32から入力した信号に基づき、操作体22が撮像部12の観察視野の範囲外に位置すると判断した場合には、操作体22が観察視野の範囲内に位置するように撮像部12を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、この撮像範囲制御信号を撮像制御部11へ出力する。これにより、操作体22が観察視野の範囲外に一時的に位置したとしても、観察視野の拡大により観察視野内に再び位置するように制御することができる。 (G) When the imaging signal generation unit 34 determines that the operating body 22 is located outside the observation field of view of the imaging unit 12 based on the signal input from the drive status information generating unit 32, the operating body 22 observes. An imaging range control signal for imaging range movement / enlargement control for controlling the imaging section 12 so as to be positioned within the range of the visual field is generated, and this imaging range control signal is output to the imaging control section 11. Thereby, even if the operating body 22 is temporarily located outside the range of the observation visual field, it can be controlled so as to be again located within the observation visual field by enlarging the observation visual field.
マイクロ作業ロボット100においては、撮像部12と、操作体22とで互いに独立した座標系を有している。ここで、アーム部23は操作体22に係る座標系で位置等が定められる。また、被写体測定部44の測定結果に基づいて被写体座標系を設定することができる。 In the micro work robot 100, the imaging unit 12 and the operating body 22 have coordinate systems independent of each other. Here, the position and the like of the arm portion 23 are determined by the coordinate system related to the operating body 22. Further, the subject coordinate system can be set based on the measurement result of the subject measuring unit 44.
座標系としては、例えば図2に示すように、操作体22は座標系X1−Y1−Z1を有し、撮像部12は座標系X2−Y2−Z2を有し、被写体S側では座標系X3−Y3−Z3が設定される。図2に示す例においては、アーム部23の2つの先端部23a、23bに、操作体22としての2つの処置具22a、22bがそれぞれ設けられるとともに、撮像部12が2つのレンズ光学部13a、13bを介して、対象物の被写体Sの画像を撮像する。ここで、2つのレンズ光学部13a、13bは、光軸AX1、AX2をそれぞれ有し、撮像部12は、観察軸AX0(2つのレンズ光学部13a、13b全体の光軸)に沿って被写体Sを含む観察範囲を撮像する。 As the coordinate system, for example, as shown in FIG. 2, the operating body 22 has a coordinate system X1-Y1-Z1, the imaging unit 12 has a coordinate system X2-Y2-Z2, and the coordinate system X3 on the subject S side. -Y3-Z3 is set. In the example illustrated in FIG. 2, the two distal end portions 23a and 23b of the arm portion 23 are provided with the two treatment tools 22a and 22b as the operating body 22, respectively, and the imaging unit 12 includes the two lens optical portions 13a. An image of the subject S of the target is captured via 13b. Here, the two lens optical units 13a and 13b have optical axes AX1 and AX2, respectively, and the imaging unit 12 has the subject S along the observation axis AX0 (the optical axes of the entire two lens optical units 13a and 13b). The observation range including is imaged.
図2に示すように、操作体22の座標系では、鉛直方向に沿ってZ1方向が設定され、X1方向とY1方向を含むX1−Y1面がZ1軸に直交する。撮像部12の座標系では、観察軸AX0に沿ってZ2方向が設定され、X2方向とY2方向を含むX2−Y2面がZ2軸に直交する。被写体Sの座標系では、鉛直方向に沿ってZ3方向が設定され、X3方向とY3方向を含むX3−Y3面がZ3軸に直交する。操作体22の座標系におけるX1方向は、撮像部12の座標系におけるX2方向と互いに平行となるように設定される。また、操作体22の座標系と撮像部12の座標系は、原点Oを共有しており、この共有原点Oは、例えば被写体S上に設定される。 As shown in FIG. 2, in the coordinate system of the operating body 22, the Z1 direction is set along the vertical direction, and the X1-Y1 plane including the X1 direction and the Y1 direction is orthogonal to the Z1 axis. In the coordinate system of the imaging unit 12, the Z2 direction is set along the observation axis AX0, and the X2-Y2 plane including the X2 direction and the Y2 direction is orthogonal to the Z2 axis. In the coordinate system of the subject S, the Z3 direction is set along the vertical direction, and the X3-Y3 plane including the X3 direction and the Y3 direction is orthogonal to the Z3 axis. The X1 direction in the coordinate system of the operating body 22 is set to be parallel to the X2 direction in the coordinate system of the imaging unit 12. The coordinate system of the operating body 22 and the coordinate system of the imaging unit 12 share the origin O, and the shared origin O is set on the subject S, for example.
各座標系は座標系整合部33によって関連付けられる。撮像部12による観察画像の解像度が4Kや8K相当である場合、撮像部12の座標系、操作体22の座標系、及び、被写体座標系は、観察画像の解像度に対応して高精度で生成されており、これに合わせて座標系の整合も高い精度で行われる。この座標の関連付けとしては、例えば以下の(1)〜(3)の方法が挙げられる。 Each coordinate system is associated by the coordinate system matching unit 33. When the resolution of the observation image by the imaging unit 12 is equivalent to 4K or 8K, the coordinate system of the imaging unit 12, the coordinate system of the operating body 22, and the object coordinate system are generated with high accuracy corresponding to the resolution of the observation image. Therefore, the coordinate system matching is also performed with high accuracy. Examples of the association of the coordinates include the following methods (1) to (3).
(1)撮像部12の座標系と操作体22の座標系とで共有の原点を設定する。この原点は、図2に示す例では共有原点Oであり、撮像部12の座標系(図2の場合ではX2−Y2−Z2)で位置が特定されるとともに、操作体22の座標系(図2の場合ではX1−Y1−Z1)で位置が特定される。座標系整合部33は、この共有原点に基づき、撮像部12の座標系と操作体22の座標系とを共通化する。 (1) A common origin is set by the coordinate system of the imaging unit 12 and the coordinate system of the operating body 22. This origin is the shared origin O in the example shown in FIG. 2, and the position is specified by the coordinate system of the imaging unit 12 (X2-Y2-Z2 in the case of FIG. 2) and the coordinate system of the operating body 22 (see FIG. In the case of 2, the position is specified by X1-Y1-Z1). The coordinate system matching unit 33 makes the coordinate system of the imaging unit 12 and the coordinate system of the operating body 22 common based on this shared origin.
(2)座標系整合部33は、操作体22の座標系で位置が特定されたマーカの画像を含む画像データを用いて、撮像部12の座標系と操作体22の座標系との関連付けを行う。 (2) The coordinate system matching unit 33 associates the coordinate system of the imaging unit 12 with the coordinate system of the operating body 22 by using the image data including the image of the marker whose position is specified by the coordinate system of the operating body 22. To do.
(3)座標系整合部33は、撮像部12の座標系において撮像部12の撮像軸、例えば、1つ又は2つ以上のレンズ光学部全体の光軸(図2の場合では観察軸AX0)に沿った方向を法線とする平面内の位置を規定する座標軸の方向と、操作体22の座標系において操作体22の水平面内の位置を規定する座標軸の方向とが揃うように制御するための制御信号を生成する。図2に示す例では、観察軸AX0に沿った方向を法線とする平面X2−Y2面を規定するX2方向と、操作体22の座標軸X1−Y1−Z1のうちのX1方向とを揃えている。座標軸を揃えるための制御信号は、駆動信号生成部31と撮像信号生成部34へ出力され、撮像部12の位置及び操作体22の基準位置の少なくとも一方を移動させることで、2つの座標軸の方向を揃える。 (3) The coordinate system matching unit 33 uses the image pickup axis of the image pickup unit 12 in the coordinate system of the image pickup unit 12, for example, the optical axis of one or more whole lens optical units (observation axis AX0 in the case of FIG. 2). To control so that the direction of the coordinate axis that defines the position in the plane whose normal is the direction along the line and the direction of the coordinate axis that defines the position of the operation body 22 in the horizontal plane in the coordinate system of the operation body 22 are aligned. Generate the control signal of. In the example shown in FIG. 2, the X2 direction defining the plane X2-Y2 plane having the normal along the observation axis AX0 and the X1 direction of the coordinate axes X1-Y1-Z1 of the operating body 22 are aligned. There is. The control signal for aligning the coordinate axes is output to the drive signal generation unit 31 and the image pickup signal generation unit 34, and by moving at least one of the position of the image pickup unit 12 and the reference position of the operating body 22, the directions of the two coordinate axes. Align.
図1に示すように、マイクロ作業ロボット100は、駆動入力部41、制御入力部42、被写体座標系設定部43、被写体測定部44、及び、撮像入力部45を備える。これらはタッチパネル、キーボードその他の入力装置によって構成され、例えば、共通のタッチパネルでメニューの選択によって使い分ける形でもよいし、互いに独立した入力装置で構成してもよい。 As shown in FIG. 1, the micro work robot 100 includes a drive input unit 41, a control input unit 42, a subject coordinate system setting unit 43, a subject measuring unit 44, and an imaging input unit 45. These are configured by a touch panel, a keyboard, and other input devices. For example, a common touch panel may be used depending on the selection of a menu, or may be configured by independent input devices.
駆動入力部41は、操作体22とアーム部23の駆動条件を設定・入力するために設けられ、入力された信号は駆動信号生成部31へ出力される。撮像入力部45は、レンズ光学部13を含む撮像部12の撮像条件を設定・入力するために設けられ、入力信号は撮像信号生成部34へ出力される。撮像入力部45による設定には複数のレンズ光学部13の切り替えの指示も含まれる。 The drive input unit 41 is provided to set and input drive conditions for the operating body 22 and the arm unit 23, and the input signal is output to the drive signal generation unit 31. The image capturing input unit 45 is provided to set and input the image capturing conditions of the image capturing unit 12 including the lens optical unit 13, and the input signal is output to the image capturing signal generating unit 34. The setting by the imaging input unit 45 includes an instruction to switch the plurality of lens optical units 13.
制御入力部42は、撮像部12の座標系と操作体22の座標系の関連付けや整合、撮像制御部11と駆動制御部21の連携制御などの制御条件を設定・入力するために設けられ、入力された信号は、駆動信号生成部31、座標系整合部33、及び、撮像信号生成部34へ出力される。 The control input unit 42 is provided to set and input control conditions such as association and alignment of the coordinate system of the image capturing unit 12 and the coordinate system of the operating body 22, and cooperative control of the image capturing control unit 11 and the drive control unit 21. The input signal is output to the drive signal generation unit 31, the coordinate system matching unit 33, and the imaging signal generation unit 34.
被写体測定部44には、撮像ステータス情報生成部35が生成した撮像ステータス情報と、撮像部12が撮像した画像のデータ(画像データ)とが入力される。被写体測定部44は、撮像ステータス情報と画像データに基づいて、すなわち、画像データを入力として、画像データにおける被写体の位置を測定し、また、被写体座標を設定するための制御信号を被写体座標系設定部43へ出力する。この制御信号を受けた被写体座標系設定部43は、被写体測定部44の測定結果に基づいて被写体の座標系を設定し、設定した座標系の情報を座標系整合部33へ送出する。被写体の位置の測定は、撮像部12にレンズ光学部13を複数設けた場合には、これら複数のレンズ光学部13から得られる複数の画像データに基づいて行う。 The imaging status information generated by the imaging status information generating unit 35 and the data of the image captured by the imaging unit 12 (image data) are input to the subject measuring unit 44. The subject measuring unit 44 measures the position of the subject in the image data based on the imaging status information and the image data, that is, with the image data as an input, and sets a control signal for setting the subject coordinates in the subject coordinate system setting. It is output to the unit 43. Upon receiving this control signal, the subject coordinate system setting unit 43 sets the coordinate system of the subject based on the measurement result of the subject measuring unit 44, and sends the set coordinate system information to the coordinate system matching unit 33. When the imaging unit 12 is provided with a plurality of lens optical units 13, the position of the subject is measured based on a plurality of image data obtained from the plurality of lens optical units 13.
被写体の座標系について、座標系整合部33は、被写体座標系設定部43から受けた被写体の座標系を示す信号を入力として、制御入力部42からの制御信号にしたがって、被写体の座標系と、撮像部12の座標系、又は/及び、操作体22の座標系との関連付けを行う。また、座標系整合部33は、撮像部12で得られた観察画像の一部として指定されたターゲットの位置を、被写体の座標系で算出する。この算出結果は、駆動信号生成部31と撮像信号生成部34へ出力される。ここで、ターゲットは、例えば、操作体22やアーム部23に設けられたマーク等、撮像部12が有する固体撮像素子の所定位置の画素に関連付けられたマーク等である。 Regarding the coordinate system of the subject, the coordinate system matching unit 33 receives the signal indicating the coordinate system of the subject received from the subject coordinate system setting unit 43 as input, and according to the control signal from the control input unit 42, the coordinate system of the subject, The association with the coordinate system of the imaging unit 12 and / or the coordinate system of the operating body 22 is performed. Further, the coordinate system matching unit 33 calculates the position of the target designated as a part of the observation image obtained by the imaging unit 12 in the coordinate system of the subject. The calculation result is output to the drive signal generation unit 31 and the image pickup signal generation unit 34. Here, the target is, for example, a mark or the like provided on the operating body 22 or the arm unit 23, or the like associated with a pixel at a predetermined position of the solid-state imaging device included in the imaging unit 12.
座標系整合部33における算出結果を受けた撮像信号生成部34は、被写体の座標系におけるターゲットの位置を基準として、撮像部12の観察視野における所定位置にターゲットが位置するように、撮像部12の観察視野を制御する視野調整制御のための視野制御信号を生成し、この視野制御信号を撮像制御部11へ出力する。 The imaging signal generation unit 34 that has received the calculation result in the coordinate system matching unit 33 uses the imaging unit 12 so that the target is located at a predetermined position in the observation visual field of the imaging unit 12 with the position of the target in the coordinate system of the subject as a reference. A visual field control signal for visual field adjustment control for controlling the observation visual field is generated, and the visual field control signal is output to the imaging control unit 11.
さらに、撮像信号生成部34は、被写体の座標系におけるターゲットの位置を基準として、ターゲットの位置にレンズ光学部13の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、このフォーカス制御信号を撮像制御部11へ出力する。 Further, the image pickup signal generation unit 34 generates a focus control signal for focus control for focusing the lens optical unit 13 on the target position with reference to the position of the target in the coordinate system of the subject, and outputs this focus control signal. It outputs to the imaging control unit 11.
撮像部12に複数のレンズ光学部13を設けた構成では、撮像信号生成部34は、被写体の座標系におけるターゲットの位置を基準として、複数のレンズ光学部13のそれぞれの光軸の向きを設定し、設定された向きへと複数のレンズ光学部13のそれぞれの光軸を移動させる光軸移動制御のための光軸移動制御信号を生成し、この光軸移動制御信号を撮像制御部11へ出力する。 In the configuration in which the plurality of lens optical units 13 are provided in the image pickup unit 12, the image pickup signal generation unit 34 sets the directions of the respective optical axes of the plurality of lens optical units 13 on the basis of the position of the target in the coordinate system of the subject. Then, an optical axis movement control signal for optical axis movement control for moving the respective optical axes of the plurality of lens optical sections 13 in the set direction is generated, and this optical axis movement control signal is sent to the imaging control section 11. Output.
撮像信号生成部34は、入力した駆動ステータス情報に基づき、操作体22が撮像部12の観察視野の範囲外に位置すると判断した場合には、操作体22及びターゲットが観察視野の範囲内に位置するように撮像部12を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、この撮像範囲制御信号を撮像制御部11へ出力する。 When the imaging signal generation unit 34 determines that the operating body 22 is located outside the observation visual field of the imaging unit 12 based on the input drive status information, the operating body 22 and the target are located within the observation visual field range. The imaging range control signal for controlling the imaging range movement / enlargement for controlling the imaging section 12 is generated, and the imaging range control signal is output to the imaging control section 11.
撮像信号生成部34は、入力した駆動ステータス情報に基づき、操作体22を撮像部12の観察視野の範囲外に移動させる範囲外移動制御を駆動制御部21が行うと判断した場合には、操作体22が観察視野の範囲外に位置する前に、範囲外移動制御が完了したときの操作体22がターゲットとともに観察視野の範囲内に位置するように撮像部12を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、この撮像範囲制御信号を撮像制御部11へ出力する。 When the drive control unit 21 determines that the imaging signal generation unit 34 performs the out-of-range movement control for moving the operating body 22 to the outside of the observation field of view of the imaging unit 12 based on the input drive status information, the operation is performed. Before the body 22 is located outside the range of the observation field of view, when the out-of-range movement control is completed, the operation body 22 is controlled with the target so that the imaging unit 12 is located within the range of the observation field of view. An imaging range control signal for control is generated, and this imaging range control signal is output to the imaging control unit 11.
マイクロ作業ロボット100では、操作体22が位置すべきでない禁止領域を設定している。禁止領域の設定は、被写体の座標系に基づいて、自動的に、又は、制御入力部42による使用者の指定によって行う。禁止領域は、例えば、被写体及びその周辺領域のうち、操作体22が接触し、又は、所定距離内に接近することを許容できない領域である。また、操作体22とその周囲の所定距離の領域を禁止領域としてもよい。さらに、操作体22の待機位置として設定された領域も、待機状態以外のステータスにおいて禁止領域とすることが好ましい。 In the micro work robot 100, a prohibited area in which the operating body 22 should not be located is set. The prohibited area is set automatically based on the coordinate system of the subject or by the user's designation by the control input unit 42. The prohibited area is, for example, an area in the subject and its surrounding area that cannot be allowed to come into contact with the operating body 22 or approach within a predetermined distance. In addition, the operation body 22 and an area of a predetermined distance around the operation body 22 may be set as the prohibited area. Further, it is preferable that the area set as the standby position of the operating body 22 is also a prohibited area in a status other than the standby state.
駆動信号生成部31は、駆動制御部21が、操作体22を禁止領域内に移動させる禁止領域移動制御を行った場合には、操作体22を禁止領域の外に移動させる回復制御のための回復制御信号を生成し、この回復制御信号を駆動制御部21へ出力する。 When the drive control unit 21 performs the prohibited area movement control for moving the operating body 22 into the prohibited area, the drive signal generation unit 31 performs recovery control for moving the operating body 22 to the outside of the prohibited area. A recovery control signal is generated and this recovery control signal is output to the drive control unit 21.
また、駆動信号生成部31は、駆動入力部41又は制御入力部42への入力において、操作体22を禁止領域に移動させる禁止領域移動についての入力(禁止領域移動入力)があったと判断した場合には、操作体22が禁止領域に到達する前に、操作体22の移動を停止させる停止制御のための停止制御信号を生成し、この停止制御信号を駆動制御部21へ出力する。 In addition, when the drive signal generation unit 31 determines that the input to the drive input unit 41 or the control input unit 42 is an input regarding the prohibited area movement for moving the operating body 22 to the prohibited area (prohibited area movement input). For example, a stop control signal for stopping control for stopping the movement of the operating body 22 is generated before the operating body 22 reaches the prohibited area, and the stop control signal is output to the drive control unit 21.
さらに、駆動信号生成部31は、駆動入力部41又は制御入力部42への入力において、操作体22が禁止領域を通過する禁止領域通過についての入力(禁止領域通過入力)があったと判断した場合には、操作体22が禁止領域に到達する前に、禁止領域を通過しない新たな移動経路を計算し、新たな移動経路で操作体22を移動させる回避制御のための回避制御信号を生成し、この回避制御信号を駆動制御部21へ出力する。 Further, when the drive signal generation unit 31 determines that the input to the drive input unit 41 or the control input unit 42 is an input regarding the prohibition region passage in which the operating body 22 passes through the prohibition region (prohibition region passage input). Before the operating body 22 reaches the prohibited area, a new moving route that does not pass through the prohibited area is calculated, and an avoidance control signal for avoiding control for moving the operating body 22 on the new moving route is generated. , And outputs this avoidance control signal to the drive control unit 21.
また、駆動信号生成部31は、駆動入力部41又は制御入力部42への入力において、操作体22を禁止領域に移動させる禁止領域移動入力があったと判断した場合には、操作体22を操作する操作者及び画像データに基づき生成された表示画像の観察者の少なくとも一方に、禁止領域移動入力があったことを知らせる報知制御のための制御信号を生成する。この報知制御により、例えば、観察画像を表示する画面(不図示)上に報知情報を表示したり、操作者が把持する部位に振動を生じさせたり、報知音を発生させることができる。 In addition, when the drive signal generation unit 31 determines that the input to the drive input unit 41 or the control input unit 42 includes a prohibited area movement input for moving the operation body 22 to the prohibited area, the drive signal generation unit 31 operates the operation body 22. A control signal for informing control is generated to inform at least one of the operator who performs the operation and the observer of the display image generated based on the image data that there is a prohibited area movement input. By this notification control, for example, notification information can be displayed on a screen (not shown) displaying an observation image, vibration can be generated in a portion held by the operator, and a notification sound can be generated.
座標系整合部33は、被写体の座標系を示す信号を入力として、被写体の座標系と撮像部12の座標系との関連付けを行うとともに、観察画像の一部として指定されたターゲットの位置を被写体の座標系で算出し、駆動信号生成部31は、被写体の座標系におけるターゲットの位置を基準として、操作体22の待機位置を算出し、操作体22が待機位置に移動するようにアーム部23を制御する待機位置移動制御のための待機位置制御信号を生成し、この待機位置制御信号を駆動制御部21へ出力する。 The coordinate system matching unit 33 receives the signal indicating the coordinate system of the subject as an input, associates the coordinate system of the subject with the coordinate system of the imaging unit 12, and determines the position of the target designated as a part of the observed image. Of the target position in the coordinate system of the subject as a reference, the drive signal generation unit 31 calculates the standby position of the operating body 22, and the arm unit 23 moves the operating body 22 to the standby position. A standby position control signal for controlling the standby position movement is generated, and this standby position control signal is output to the drive control unit 21.
操作体22が待機信号にある状態では、操作体22を動かす許可信号の入力があるまで、操作体22を駆動できないように設定されており、駆動信号生成部31と撮像信号生成部34は、許可信号が入力したことを条件として、制御信号を、駆動制御部21と撮像制御部11へそれぞれ出力し、操作体22及びアーム部23の駆動と撮像部12による撮像とが再開する。 When the operating body 22 is in the standby signal, the operating body 22 cannot be driven until a permission signal for moving the operating body 22 is input, and the drive signal generating unit 31 and the imaging signal generating unit 34 On condition that the permission signal is input, the control signal is output to the drive control unit 21 and the image pickup control unit 11, respectively, and the driving of the operation body 22 and the arm unit 23 and the image pickup by the image pickup unit 12 are restarted.
レンズ光学部13を複数設ける場合、市販の一眼レフカメラ用レンズと同様の手法で、術者又は関係者が手動で行うようにしてもよいが、複数のレンズ光学部を予め取り付けた交換装置を設け、術者が撮像入力部45を操作することにより交換装置を動作させてレンズ光学部を切り替えることもできる。交換装置を用いて切り替えを行った場合、現在選択されているレンズ光学部13の情報は撮像ステータス情報生成部35へ出力され、現在選択されているレンズ光学部13の光学特性、例えば焦点距離、観察範囲に応じて、駆動信号生成部31において駆動信号が生成される。このため、交換したレンズ光学部13の光学特性に対応した制御信号に基づいて、操作体22とアーム部23が連携制御される。 When a plurality of lens optical units 13 are provided, an operator or a person concerned may manually perform the same method as a commercially available lens for a single-lens reflex camera. Alternatively, the operator can operate the exchange device by operating the imaging input unit 45 to switch the lens optical unit. When switching is performed using the exchange device, the information of the currently selected lens optical unit 13 is output to the imaging status information generation unit 35, and the optical characteristics of the currently selected lens optical unit 13, such as the focal length, A drive signal is generated in the drive signal generation unit 31 according to the observation range. Therefore, based on the control signal corresponding to the optical characteristic of the exchanged lens optical unit 13, the operation body 22 and the arm unit 23 are cooperatively controlled.
本実施形態のマイクロ作業ロボット100は、以上のように構成したことにより、撮像部12と、操作体22、及び、操作体22を保持するアーム部23とを緊密、正確、かつ、迅速に連携して制御することが可能となる。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的又は本発明の思想の範囲内において改良又は変更が可能である。
The micro-working robot 100 according to the present embodiment is configured as described above, and thus the imaging unit 12, the operating body 22, and the arm unit 23 that holds the operating body 22 are tightly, accurately, and quickly linked. It becomes possible to control.
Although the present invention has been described with reference to the above embodiments, the present invention is not limited to the above embodiments, and improvements or changes can be made within the scope of the object of improvement or the idea of the present invention.
以上のように、本発明に係るマイクロ作業ロボットは、撮像部、操作体、及び、アーム部とを緊密、正確、かつ、迅速に連携して制御することができる点で有用である。 As described above, the micro-working robot according to the present invention is useful in that it can tightly, accurately, and swiftly control the imaging unit, the operating body, and the arm unit in cooperation with each other.
11 撮像制御部
12 撮像部
13、13a、13b レンズ光学部
21 駆動制御部
22、22a、22b 操作体
23 アーム部
23a、23b 先端部
30 制御部
31 駆動信号生成部
32 駆動ステータス情報生成部
33 座標系整合部
34 撮像信号生成部
35 撮像ステータス情報生成部
41 駆動入力部
42 制御入力部
43 被写体座標系設定部
44 被写体測定部
45 撮像入力部
100 マイクロ作業ロボット
X1−Y1−Z1 操作体の座標系
X2−Y2−Z2 撮像部の座標系
X3−Y3−Z3 被写体座標系
AX0 観察軸
AX1、AX2 光軸
O 原点(共有原点)
S 被写体
11 image pickup control section 12 image pickup section 13, 13a, 13b lens optical section 21 drive control section 22, 22a, 22b operating body 23 arm section 23a, 23b tip section 30 control section 31 drive signal generation section 32 drive status information generation section 33 coordinates System matching unit 34 Imaging signal generation unit 35 Imaging status information generation unit 41 Drive input unit 42 Control input unit 43 Subject coordinate system setting unit 44 Subject measuring unit 45 Imaging input unit 100 Micro work robot X1-Y1-Z1 Coordinate system of operating body X2-Y2-Z2 Imaging system coordinate system X3-Y3-Z3 Subject coordinate system AX0 Observation axes AX1, AX2 Optical axis O Origin (shared origin)
S subject
Claims (27)
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、
前記撮像部を制御する撮像制御部と、
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、
前記制御部は、前記撮像部の座標系と前記操作体の座標系との関連付けを行う座標系整合部を備え、
前記座標系整合部は、
前記撮像部の座標系において前記撮像部の撮像軸に沿った方向を法線とする平面内の位置を規定する座標軸の方向と、前記操作体の座標系において前記操作体の水平面内の位置を規定する座標軸の方向とが揃うように、前記撮像部の位置及び前記操作体の基準位置の少なくとも一方を移動させるための制御信号を生成することを特徴とするマイクロ作業ロボット。 An imaging unit that has at least one lens optical unit for observing a subject in an object, and obtains image data by capturing an observation image formed by light passing through the lens optical unit;
An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
A drive control unit that controls the drive of the operating body and the arm unit;
An imaging control unit that controls the imaging unit;
A control unit that controls the drive control unit and the imaging control unit in cooperation with each other ;
The control unit includes a coordinate system matching unit that associates the coordinate system of the imaging unit with the coordinate system of the operating body,
The coordinate system matching unit,
In the coordinate system of the image capturing unit, the direction of the coordinate axis that defines the position in the plane whose normal is the direction along the image capturing axis of the image capturing unit, and the position in the horizontal plane of the operating body in the coordinate system of the operating body. defined as the direction of the coordinate axes are aligned to, micro-working robot characterized that you generate a control signal for moving at least one of the reference position of the position and the operation of the imaging unit.
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、 An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、 A drive control unit that controls the drive of the operating body and the arm unit;
前記撮像部を制御する撮像制御部と、 An imaging control unit that controls the imaging unit;
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、 A control unit that controls the drive control unit and the imaging control unit in cooperation with each other;
前記制御部は、 The control unit is
前記撮像部の撮像ステータス情報を生成する撮像ステータス情報生成部と、 An imaging status information generation unit that generates imaging status information of the imaging unit;
前記撮像ステータス情報に基づく信号を入力として、前記駆動制御部への制御信号を生成する駆動信号生成部と、 A drive signal generation unit that receives a signal based on the imaging status information and generates a control signal to the drive control unit,
を備えることを特徴とするマイクロ作業ロボット。A micro-working robot comprising:
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、
前記撮像部を制御する撮像制御部と、
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、
前記制御部は、
前記アーム部と前記操作体の駆動ステータス情報を生成する駆動ステータス情報生成部と、
前記駆動ステータス情報に基づく信号を入力として、前記撮像制御部への制御信号を生成する撮像信号生成部と、
を備えることを特徴とするマイクロ作業ロボット。 An imaging unit that has at least one lens optical unit for observing a subject in an object, and obtains image data by capturing an observation image formed by light passing through the lens optical unit;
An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
A drive control unit that controls the drive of the operating body and the arm unit;
An imaging control unit that controls the imaging unit;
A control unit that controls the drive control unit and the imaging control unit in cooperation with each other;
The control unit is
A drive status information generation unit that generates drive status information of the arm unit and the operating body;
An image pickup signal generation unit that receives a signal based on the drive status information and generates a control signal to the image pickup control unit,
A micro-working robot comprising:
前記撮像ステータス情報生成部から入力した前記撮像部の観察視野に関する信号に基づき、
前記操作体を前記観察視野の範囲外に移動させる範囲外移動制御を前記駆動制御部が行うと判断した場合には、
前記操作体が前記観察視野の範囲外に位置する前に、前記範囲外移動制御を停止するための停止制御信号を生成し、前記停止制御信号を前記駆動制御部へ出力する請求項2に記載のマイクロ作業ロボット。 The drive signal generation unit,
Based on a signal related to the observation field of view of the imaging unit input from the imaging status information generation unit,
When it is determined that the drive control unit performs the out-of-range movement control for moving the operating body to the outside of the observation visual field,
Before the operating body is positioned outside the range of the observation field, and generates a stop control signal for stopping the outside movement control, wherein said stop control signal to claim 2 to be output to the drive control unit Micro working robot.
前記撮像ステータス情報生成部から入力した前記撮像部の観察視野に関する信号に基づき、
前記操作体が前記観察視野の範囲外に位置すると判断した場合には、
前記操作体が前記観察視野の範囲内に位置するように前記アーム部を制御する操作体近接制御のための近接制御信号を生成し、前記近接制御信号を前記駆動制御部へ出力する請求項2に記載のマイクロ作業ロボット。 The drive signal generation unit,
Based on a signal related to the observation field of view of the imaging unit input from the imaging status information generation unit,
When it is determined that the operating body is located outside the range of the observation visual field,
3. The proximity control signal for operating body proximity control for controlling the arm unit so that the operating body is located within the range of the observation visual field is generated, and the proximity control signal is output to the drive control unit. Micro-working robot described in.
入力した前記撮像ステータス情報に基づき、
前記操作体が前記撮像部の観察視野の範囲内に設定される待機位置に移動するように前記アーム部を制御する待機位置移動制御のための待機位置制御信号を生成し、前記待機位置制御信号を前記駆動制御部へ出力する請求項2に記載のマイクロ作業ロボット。 The drive signal generation unit,
Based on the input imaging status information,
A standby position control signal is generated for standby position movement control for controlling the arm unit to move the operating body to a standby position set within a range of the observation field of the image capturing unit, and the standby position control signal is generated. micro working robot according to claim 2 to be output to the drive control unit.
前記駆動ステータス情報生成部から入力した信号に基づき、
前記操作体の位置を基準として規定される所定の位置に前記レンズ光学部の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、前記フォーカス制御信号を前記撮像制御部へ出力する請求項4に記載のマイクロ作業ロボット。 The imaging signal generation unit,
Based on the signal input from the drive status information generator,
Claim 4 generates a focus control signal for focusing control for focusing the lens optic portion in a predetermined position defined the position of the operating body as a reference, and outputs the focus control signal to the imaging control unit Micro-working robot described in.
前記撮像信号生成部は、
前記駆動ステータス情報生成部から入力した信号に基づき、
前記操作体の位置を基準として、前記複数のレンズ光学部のそれぞれの光軸の向きを所定の向きに移動させる光軸移動制御のための光軸移動制御信号を生成し、前記光軸移動制御信号を前記撮像制御部へ出力する請求項4に記載のマイクロ作業ロボット。 The imaging unit has a plurality of lens optical units,
The imaging signal generation unit,
Based on the signal input from the drive status information generator,
An optical axis movement control signal is generated for optical axis movement control for moving the optical axis directions of the plurality of lens optical units to a predetermined direction based on the position of the operating body, and the optical axis movement control is performed. The micro work robot according to claim 4 , wherein a signal is output to the imaging control unit.
前記駆動ステータス情報生成部から入力した信号に基づき、
前記操作体を前記撮像部の観察視野の範囲外に移動させる範囲外移動制御を前記駆動制御部が行うと判断した場合には、
前記操作体が前記観察視野の範囲外に位置する前に、前記範囲外移動制御が完了したときの前記操作体が前記観察視野の範囲内に位置するように前記撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、前記撮像範囲制御信号を前記撮像制御部へ出力する請求項4に記載のマイクロ作業ロボット。 The imaging signal generation unit,
Based on the signal input from the drive status information generator,
When it is determined that the drive control unit performs the out-of-range movement control for moving the operating body to the outside of the observation field of view of the imaging unit,
Before the operating body is located outside the range of the observation visual field, the imaging range movement for controlling the imaging unit so that the operating body is located within the range of the observation visual field when the movement control outside the range is completed. 5. The micro work robot according to claim 4 , wherein an imaging range control signal for enlargement control is generated, and the imaging range control signal is output to the imaging control unit.
前記駆動ステータス情報生成部から入力した信号に基づき、
前記操作体が前記撮像部の観察視野の範囲外に位置すると判断した場合には、
前記操作体が前記観察視野の範囲内に位置するように前記撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、前記撮像範囲制御信号を前記撮像制御部へ出力する請求項4に記載のマイクロ作業ロボット。 The imaging signal generation unit,
Based on the signal input from the drive status information generator,
When it is determined that the operating body is located outside the observation field of view of the imaging unit,
An imaging range control signal for imaging range movement / enlargement control that controls the imaging unit so that the operating body is located within the range of the observation visual field is generated, and the imaging range control signal is output to the imaging control unit. The micro-working robot according to claim 4 .
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、
前記撮像部を制御する撮像制御部と、
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、
前記制御部は、前記撮像部の座標系と前記操作体の座標系との関連付けを行う座標系整合部を備え、
前記被写体の位置を測定する被写体測定部と、
前記被写体測定部の測定結果に基づき前記被写体の座標系を設定する被写体座標系設定部と、
をさらに備え、
前記座標系整合部は、前記被写体の座標系を示す信号を入力として、前記被写体の座標系と前記撮像部の座標系との関連付けを行い、
前記座標系整合部は、前記観察画像の一部として指定されたターゲットの位置を、前記被写体の座標系で算出し、
前記制御部は、
前記座標系整合部からの入力信号に基づいて前記撮像制御部への制御信号を生成する撮像信号生成部を備えることを特徴とするマイクロ作業ロボット。 An imaging unit that has at least one lens optical unit for observing a subject in an object, and obtains image data by capturing an observation image formed by light passing through the lens optical unit;
An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
A drive control unit that controls the drive of the operating body and the arm unit;
An imaging control unit that controls the imaging unit;
A control unit that controls the drive control unit and the imaging control unit in cooperation with each other;
The control unit includes a coordinate system matching unit that associates the coordinate system of the imaging unit with the coordinate system of the operating body,
A subject measuring unit for measuring the position of the subject,
A subject coordinate system setting unit that sets the coordinate system of the subject based on the measurement result of the subject measuring unit;
Further equipped with,
The coordinate system matching unit receives a signal indicating the coordinate system of the subject as an input and associates the coordinate system of the subject with the coordinate system of the imaging unit,
The coordinate system matching unit calculates the position of the target designated as a part of the observation image in the coordinate system of the subject,
The control unit is
A micro-working robot comprising: an imaging signal generation unit that generates a control signal to the imaging control unit based on an input signal from the coordinate system matching unit.
前記撮像部の観察視野における所定位置に前記ターゲットが位置するように、
前記被写体の座標系における前記ターゲットの位置を基準として、前記撮像部の観察視野を制御する視野調整制御のための視野制御信号を生成し、前記視野制御信号を前記撮像制御部へ出力する請求項13に記載のマイクロ作業ロボット。 The imaging signal generation unit,
So that the target is located at a predetermined position in the observation field of view of the imaging unit,
With reference to the position of the target in the coordinate system of the object, the claims produces a field control signal for the field adjustment control for controlling the observation field of view of the imaging unit, and outputs the field control signal to the imaging control unit 13. The micro work robot according to 13 .
前記被写体の座標系における前記ターゲットの位置を基準として、前記ターゲットの位置に前記レンズ光学部の焦点を合わせるフォーカス制御のためのフォーカス制御信号を生成し、前記フォーカス制御信号を前記撮像制御部へ出力する請求項13に記載のマイクロ作業ロボット。 The imaging signal generation unit,
With a position of the target in the coordinate system of the subject as a reference, a focus control signal for focus control that focuses the lens optical unit on the position of the target is generated, and the focus control signal is output to the imaging control unit. The micro work robot according to claim 13 .
前記撮像信号生成部は、
前記被写体の座標系における前記ターゲットの位置を基準として、前記複数のレンズ光学部のそれぞれの光軸の向きを設定し、前記設定された向きへと前記複数のレンズ光学部の光軸を移動させる光軸移動制御のための光軸移動制御信号を生成し、前記光軸移動制御信号を前記撮像制御部へ出力する請求項13に記載のマイクロ作業ロボット。 The imaging unit has a plurality of lens optical units,
The imaging signal generation unit,
The orientations of the optical axes of the plurality of lens optical units are set with reference to the position of the target in the coordinate system of the subject, and the optical axes of the plurality of lens optical units are moved to the set orientations. 14. The micro work robot according to claim 13 , wherein an optical axis movement control signal for optical axis movement control is generated, and the optical axis movement control signal is output to the imaging control unit.
前記操作体の駆動ステータス情報を生成する駆動ステータス情報生成部をさらに備え、
前記撮像信号生成部は、前記駆動ステータス情報に基づく信号を入力として、前記制御信号を生成する請求項13に記載のマイクロ作業ロボット。 The control unit is
Further comprising a drive status information generation unit for generating drive status information of the operating body,
The micro-working robot according to claim 13 , wherein the imaging signal generation unit receives the signal based on the drive status information as an input and generates the control signal.
入力した前記駆動ステータス情報に基づき、
前記操作体が前記撮像部の観察視野の範囲外に位置すると判断した場合には、
前記操作体及び前記ターゲットが前記観察視野の範囲内に位置するように前記撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、前記撮像範囲制御信号を前記撮像制御部へ出力する請求項17に記載のマイクロ作業ロボット。 The imaging signal generation unit,
Based on the input drive status information,
When it is determined that the operating body is located outside the observation field of view of the imaging unit,
An imaging range control signal for imaging range movement / enlargement control for controlling the imaging unit so that the operating body and the target are located within the range of the observation visual field is generated, and the imaging range control signal is used for the imaging control. The micro-working robot according to claim 17 , wherein the micro-working robot outputs the data to a unit.
入力した前記駆動ステータス情報に基づき、
前記操作体を前記撮像部の観察視野の範囲外に移動させる範囲外移動制御を前記駆動制御部が行うと判断した場合には、
前記操作体が前記観察視野の範囲外に位置する前に、前記範囲外移動制御が完了したときの前記操作体が前記ターゲットとともに前記観察視野の範囲内に位置するように前記撮像部を制御する撮像範囲移動/拡大制御のための撮像範囲制御信号を生成し、前記撮像範囲制御信号を前記撮像制御部へ出力する請求項17に記載のマイクロ作業ロボット。 The imaging signal generation unit,
Based on the input drive status information,
When it is determined that the drive control unit performs the out-of-range movement control for moving the operating body to the outside of the observation field of view of the imaging unit,
Before the operating body is located outside the range of the observation visual field, the operating body is controlled so that the operating body is located within the range of the observation visual field together with the target when the movement control outside the range is completed. The micro work robot according to claim 17 , wherein an imaging range control signal for imaging range movement / enlargement control is generated, and the imaging range control signal is output to the imaging control unit.
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、
前記撮像部を制御する撮像制御部と、
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、
前記制御部は、前記撮像部の座標系と前記操作体の座標系との関連付けを行う座標系整合部を備え、
前記被写体の位置を測定する被写体測定部と、
前記被写体測定部の測定結果に基づき前記被写体の座標系を設定する被写体座標系設定部と、
をさらに備え、
前記座標系整合部は、前記被写体の座標系を示す信号を入力として、前記被写体の座標系と前記操作体の座標系との関連付けを行い、
前記座標系整合部からの入力信号に基づいて前記駆動制御部への制御信号を生成する駆動信号生成部を備え、
前記座標系整合部は、
前記被写体の座標系に基づいて、前記操作体が位置すべきでない禁止領域を設定することを特徴とするマイクロ作業ロボット。 An imaging unit that has at least one lens optical unit for observing a subject in an object, and obtains image data by capturing an observation image formed by light passing through the lens optical unit;
An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
A drive control unit that controls the drive of the operating body and the arm unit;
An imaging control unit that controls the imaging unit;
A control unit that controls the drive control unit and the imaging control unit in cooperation with each other;
The control unit includes a coordinate system matching unit that associates the coordinate system of the imaging unit with the coordinate system of the operating body,
A subject measuring unit for measuring the position of the subject,
A subject coordinate system setting unit that sets the coordinate system of the subject based on the measurement result of the subject measuring unit;
Further equipped with,
The coordinate system matching unit receives a signal indicating the coordinate system of the subject as an input and associates the coordinate system of the subject with the coordinate system of the operating body,
A drive signal generation unit that generates a control signal to the drive control unit based on an input signal from the coordinate system matching unit;
The coordinate system matching unit,
A micro-working robot, wherein a prohibited area in which the operating body should not be located is set based on the coordinate system of the subject.
前記駆動制御部が、前記操作体を前記禁止領域内に移動させる禁止領域移動制御を行った場合には、前記操作体を前記禁止領域の外に移動させる回復制御のための回復制御信号を生成し、前記回復制御信号を前記駆動制御部へ出力する請求項20に記載のマイクロ作業ロボット。 The drive signal generation unit,
When the drive control unit performs a prohibited area movement control for moving the operating body into the prohibited area, a recovery control signal for recovery control for moving the operating body outside the prohibited area is generated. The micro-working robot according to claim 20 , wherein the recovery control signal is output to the drive control unit.
前記操作体を前記禁止領域に移動させる禁止領域移動入力があったと判断した場合には、
前記操作体が前記禁止領域に到達する前に、前記操作体の移動を停止させる停止制御のための停止制御信号を生成し、前記停止制御信号を前記駆動制御部へ出力する請求項20に記載のマイクロ作業ロボット。 The drive signal generation unit,
When it is determined that there is a prohibited area movement input for moving the operating body to the prohibited area,
Before the operating body reaches the prohibited area, according to claim 20 for generating a stop control signal for the stop control for stopping the movement of the operating member, and outputs the suspension control signal to the drive control unit Micro working robot.
前記操作体が前記禁止領域を通過する禁止領域通過入力があったと判断した場合には、
前記操作体が前記禁止領域に到達する前に、前記禁止領域を通過しない新たな移動経路を計算し、前記新たな移動経路で前記操作体を移動させる回避制御のための回避制御信号を生成し、前記回避制御信号を前記駆動制御部へ出力する請求項20に記載のマイクロ作業ロボット。 The drive signal generation unit,
When it is determined that the operation body has the prohibition area passing input that passes through the prohibition area,
Before the operating body reaches the prohibited area, a new moving route that does not pass through the prohibited area is calculated, and an avoidance control signal for avoiding control for moving the operating body on the new moving route is generated. The micro-working robot according to claim 20 , wherein the avoidance control signal is output to the drive control unit.
前記操作体を前記禁止領域に移動させる禁止領域移動入力があったと判断した場合には、
前記操作体を操作する操作者及び前記画像データに基づき生成された表示画像の観察者の少なくとも一方に前記禁止領域移動入力があったことを知らせる報知制御のための制御信号を生成する請求項20に記載のマイクロ作業ロボット。 The drive signal generation unit,
When it is determined that there is a prohibited area movement input for moving the operating body to the prohibited area,
Claim for generating a control signal for the notification control indicating that there is the prohibited area movement input to at least one of the viewer's operator and the image data in the basis of the generated display image operating the operating body 20 Micro-working robot described in.
前記被写体に接触可能な操作体を、前記観察画像の解像度よりも狭い間隔で駆動可能に保持するアーム部と、
前記操作体及び前記アーム部の駆動を制御する駆動制御部と、
前記撮像部を制御する撮像制御部と、
前記駆動制御部と前記撮像制御部とを連携制御する制御部とを備え、
前記制御部は、前記撮像部の座標系と前記操作体の座標系との関連付けを行う座標系整合部を備え、
前記被写体の位置を測定する被写体測定部と、
前記被写体測定部の測定結果に基づき前記被写体の座標系を設定する被写体座標系設定部と、
をさらに備え、
前記座標系整合部は、前記被写体の座標系を示す信号を入力として、前記被写体の座標系と前記操作体の座標系との関連付けを行い、
前記座標系整合部からの入力信号に基づいて前記駆動制御部への制御信号を生成する駆動信号生成部を備え、
前記座標系整合部は、前記被写体の座標系を示す信号を入力として、前記被写体の座標系と前記撮像部の座標系との関連付けを行うとともに、前記観察画像の一部として指定されたターゲットの位置を前記被写体の座標系で算出し、
前記駆動信号生成部は、
前記被写体の座標系における前記ターゲットの位置を基準として、前記操作体の待機位置を算出し、
前記操作体が前記待機位置に移動するように前記アーム部を制御する待機位置移動制御のための待機位置制御信号を生成し、前記待機位置制御信号を前記駆動制御部へ出力することを特徴とするマイクロ作業ロボット。 An imaging unit that has at least one lens optical unit for observing a subject in an object, and obtains image data by capturing an observation image formed by light passing through the lens optical unit;
An arm portion that holds the operating body that can come into contact with the subject so as to be drivable at an interval narrower than the resolution of the observation image;
A drive control unit that controls the drive of the operating body and the arm unit;
An imaging control unit that controls the imaging unit;
A control unit that controls the drive control unit and the imaging control unit in cooperation with each other;
The control unit includes a coordinate system matching unit that associates the coordinate system of the imaging unit with the coordinate system of the operating body,
A subject measuring unit for measuring the position of the subject,
A subject coordinate system setting unit that sets the coordinate system of the subject based on the measurement result of the subject measuring unit;
Further equipped with,
The coordinate system matching unit receives a signal indicating the coordinate system of the subject as an input and associates the coordinate system of the subject with the coordinate system of the operating body,
A drive signal generation unit that generates a control signal to the drive control unit based on an input signal from the coordinate system matching unit;
The coordinate system matching unit receives the signal indicating the coordinate system of the subject as an input, associates the coordinate system of the subject with the coordinate system of the imaging unit, and determines the target designated as a part of the observation image. Calculate the position in the coordinate system of the subject,
The drive signal generation unit,
Based on the position of the target in the coordinate system of the subject, calculate the standby position of the operating body,
And wherein the operating body generates a waiting position control signal for the standby position movement control for controlling the arm portion to move to the standby position, and outputs the waiting position control signal to the drive control unit micro work robot to be.
The image pickup signal generation unit outputs the control signal to the image pickup control unit on condition that a permission signal is input. 10. The claim 9, claim 12, claim 14 to claim 16, and claim 14. Item 19. The micro work robot according to any one of items 18 .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220337A JP6694544B1 (en) | 2019-12-05 | 2019-12-05 | Micro work robot |
TW108144784A TW202122049A (en) | 2019-12-05 | 2019-12-06 | Micro-work robot closely, accurately and quickly coordinating and controlling an imaging unit, an operating body and an arm unit holding the operating body |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220337A JP6694544B1 (en) | 2019-12-05 | 2019-12-05 | Micro work robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6694544B1 true JP6694544B1 (en) | 2020-05-13 |
JP2021087672A JP2021087672A (en) | 2021-06-10 |
Family
ID=70549819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019220337A Active JP6694544B1 (en) | 2019-12-05 | 2019-12-05 | Micro work robot |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6694544B1 (en) |
TW (1) | TW202122049A (en) |
-
2019
- 2019-12-05 JP JP2019220337A patent/JP6694544B1/en active Active
- 2019-12-06 TW TW108144784A patent/TW202122049A/en unknown
Also Published As
Publication number | Publication date |
---|---|
TW202122049A (en) | 2021-06-16 |
JP2021087672A (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4750175B2 (en) | Stereo optical system, and stereo measurement optical apparatus, stereo measurement apparatus, and stereo observation apparatus using the same | |
US6985765B2 (en) | Three-dimensional observation apparatus and method of three-dimensional observation | |
US6919867B2 (en) | Method and apparatus for augmented reality visualization | |
US20180263710A1 (en) | Medical imaging apparatus and surgical navigation system | |
JP6697482B2 (en) | Tracking surgical instruments for controlling surgical systems | |
JP6903991B2 (en) | Surgical system, how to operate the surgical system and control device of the surgical system | |
JPH11202256A (en) | Head-mounting type image display device | |
CN108697304A (en) | Medical information processing unit, information processing method, medical information processing system | |
WO2017169650A1 (en) | Medical observation device, image movement correcting method, and medical observation system | |
US10527833B2 (en) | Surgical stereoscopic observation apparatus | |
JP2005121820A (en) | Image observing device | |
JP2023539962A (en) | System and method for superimposing virtual images on real-time images | |
JP4383188B2 (en) | Stereoscopic observation system | |
JP5813309B2 (en) | Shooting system | |
JP3939328B2 (en) | Surgical microscope | |
JP6694544B1 (en) | Micro work robot | |
JP2012120812A (en) | Dental support system using video camera for dental treatment | |
US11210861B2 (en) | Method for adjusting and visualizing parameters for focusing an objective lens on an object and system for implementing the method | |
CN116829098A (en) | Surgical assistance system with surgical microscope and camera and presentation method | |
JP2010028415A (en) | Monitoring system | |
JP3413225B2 (en) | Surgical microscope | |
JPH07328971A (en) | Manipulator with tv camera | |
JPH03119890A (en) | Stereoscopic viewing device | |
WO2019225693A1 (en) | Surgical observation system | |
JP2024092349A (en) | Surgical Observation System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191209 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |