JP6297784B2 - マニピュレータ装置 - Google Patents

マニピュレータ装置 Download PDF

Info

Publication number
JP6297784B2
JP6297784B2 JP2013059018A JP2013059018A JP6297784B2 JP 6297784 B2 JP6297784 B2 JP 6297784B2 JP 2013059018 A JP2013059018 A JP 2013059018A JP 2013059018 A JP2013059018 A JP 2013059018A JP 6297784 B2 JP6297784 B2 JP 6297784B2
Authority
JP
Japan
Prior art keywords
manipulator
touch panel
unit
camera
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013059018A
Other languages
English (en)
Other versions
JP2014184494A (ja
Inventor
大志茂 純
純 大志茂
啓一 綿貫
啓一 綿貫
和憲 楓
和憲 楓
千摩 坂井田
千摩 坂井田
雅大 平野
雅大 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsubakimoto Chain Co
Saitama University NUC
Original Assignee
Tsubakimoto Chain Co
Saitama University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsubakimoto Chain Co, Saitama University NUC filed Critical Tsubakimoto Chain Co
Priority to JP2013059018A priority Critical patent/JP6297784B2/ja
Publication of JP2014184494A publication Critical patent/JP2014184494A/ja
Application granted granted Critical
Publication of JP6297784B2 publication Critical patent/JP6297784B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、対象物を処理するマニピュレータを備えたマニピュレータ装置に関する。
肉眼又は顕微鏡下で、対象物を処理するマニピュレータ装置がある(例えば、特許文献1、2)。ユーザは、マニピュレータの操作部(例えば、ダイヤル、操作レバー等)を操作して、マニピュレータを操作しながら対象物を処理する。
特開平10−3043号公報 特開2003−84209号公報
しかしながら、特許文献1、2のマニピュレータ装置の場合、処理対象の対象物を見ているユーザの視野にマニピュレータの操作部は入らない。そのため、ユーザは、マニピュレータの操作に習熟するまで、対象物の処理とマニピュレータの操作とを同時に行うことができない。
本願はかかる事情に鑑みてなされたものである。その目的は、操作が容易であり、ユーザが対象物と操作部とを同一視野に入れることができるマニピュレータ装置を提供することにある。
本願の一観点は、マニピュレータの先端部に取り付けられた処理具で対象物を処理するマニピュレータ装置において、前記処理具により処理される対象物を撮像する撮像部と、該撮像部が撮像した画像を画面に表示し、かつ前記マニピュレータの動作を制御するための指示を受け付けるタッチパネルと、該タッチパネルが受け付けた指示に基づいて、前記マニピュレータの動作を制御する制御部と、前記タッチパネルの画面上における距離及び前記先端部の移動距離を対応付けて記憶し、かつ前記対象物の三次元位置を記憶する記憶部とを備え、前記タッチパネルは前記対象物に対応する前記処理具の三次元目標位置を受け付けるようにしてあり、前記制御部は、前記タッチパネルが受け付けた前記三次元目標位置及び前記記憶部に記憶された内容に基づいて、前記マニピュレータの動作を制御するようにしてあり、前記制御部は、前記タッチパネルが受け付けたジェスチャー入力により、前記マニピュレータの粗動作と微動作とを切り替えるようにしてあり、前記タッチパネルがタップ操作を受けた場合には前記粗動作に切り替え、前記タッチパネルがドラッグ操作を受けた場合には前記微動作に切り替えることを特徴とする。
本願の一観点によれば、ユーザが対象物と操作部とを同一視野に入れることができる。
マニピュレータ装置の外観を正面側から示した斜視図である。 マニピュレータ装置のハードウェア構成例を示すブロック図である。 コンピュータのハードウェア構成例を示すブロック図である。 マニピュレータ部における構成要素の配置を概略的に示した上面図である。 タッチパネルの画面に表示される第一カメラ及び第二カメラの撮像画面を説明する説明図である。 タッチパネルの画面に表示される第一カメラ及び第二カメラの撮像画面を説明する説明図である。 CPUがマニピュレータにパルス信号を送信する処理の手順の一例を示すフローチャートである。 CPUがマニピュレータに3次元移動に係るパルス信号を送信する処理の手順の一例を示すフローチャートである。 入力装置の外観を示す斜視図である。 マニピュレータ装置のハードウェア構成例を示すブロック図である。 クリーン箱の構成例を示す説明図である。
以下、本願の一実施例におけるマニピュレータ装置を、実施の形態を示す図面に基づいて説明する。本願に係るマニピュレータ装置は、微生物、動植物細胞、薄膜、多結晶シリコン、半導体、機械部品、工具、岩石、鉱物等を操作又は加工するために使用される。以下では、茎頂培養(メリクロン)のために、植物体の成長点である茎頂を摘出する場合を例に挙げて、本願に係るマニピュレータ装置を説明する。本実施の形態における処理の対象物は、例えばジャガイモの芽である。
実施の形態1
図1は、マニピュレータ装置1の外観を正面側から示した斜視図である。マニピュレータ装置1は、略水平な机面上に載置されている。ここで、マニピュレータ装置1による処理の対象物に対してユーザが正対した場合、対象物からユーザ側を前側又は正面側、その反対を後側又は背面側とする。ユーザから対象物に向かって、対象物の右側方をマニピュレータ装置1の右側、対象物の左側方をマニピュレータ装置1の左側とする。対象物から机面側をマニピュレータ装置1の下側、その反対をマニピュレータ装置1の上側とする。
図2は、マニピュレータ装置1のハードウェア構成例を示すブロック図である。マニピュレータ装置1は、マニピュレータ部10及び操作表示部20を含む。
マニピュレータ部10は、マニピュレータ11により対象物を処理又は操作(把持、切断、剥離、除去、移動、組み立て、分解、分離等)する構成部である。また、マニピュレータ部10は、対象物を処理する作業状況を撮像する構成部でもある。操作表示部20は、マニピュレータ11を操作し、かつジャガイモの芽から茎頂を摘出する作業状況を表示する構成部である。
マニピュレータ部10と、操作表示部20とは、操作信号、画像信号等を伝達するケーブルで接続されている。なお、マニピュレータ部10と、操作表示部20とは、無線で接続されてもよい。
図1の例では、マニピュレータ部10と操作表示部20とは、隣接する位置に配置されている。しかし、操作表示部20はマニピュレータ部10を遠隔操作することができるので、マニピュレータ部10と操作表示部20との配置位置は、物理的な距離の制約を受けない。
マニピュレータ部10は、マニピュレータ11、カメラ(撮像部)12、可動ステージ13、ベース板14及びクリーン箱(箱体)15を含む。なお、図2では、図1に示すベース板14は省略されている。
マニピュレータ11は、対象物を処理する処理具(エフェクタ)を前後、左右及び上下に移動する3軸アクチュエータである。マニピュレータ11は、例えばステッピングモータ、ピエゾ素子、リニアモータ等により駆動される。以下では、マニピュレータ11は、パルス電力に同期して動作するステッピングモータで駆動されるものとする。
マニピュレータ11は、互いに直交する3本の棒状体を有している。当該アームは、マニピュレータ11のアーム111に対応する。1本のアーム111の先端部にジャガイモの芽を操作するための様々な処理具が取り付けられる。当該処理具は、例えば刃、シリンジ(注射器)、鋏11m(メッツェン)、ワイヤ駆動多関節ユニットである。図1では、アーム111の先端部に鋏11mが取り付けられた様子を例示している。
カメラ12は、例えばCCDカメラである。カメラ12は、拡大レンズが装着されたマイクロスコープカメラでもよいし、拡大機能のない通常カメラでもよい。カメラ12は、処理対象及び処理内容に応じて、適宜選択されてよい。本実施の形態では、例えば0.2mm前後の微小な茎頂を撮像するために、マイクロスコープカメラがカメラ12として用いられている。
カメラ12の数は、1台でもよいし、複数台でもよい。本実施の形態では、ジャガイモの芽を立体的に撮像することが好ましいため、マニピュレータ装置1は前後及び左右の2方向を夫々光軸とする2台のカメラ12を備えている。勿論、マニピュレータ装置1は、上下方向からジャガイモの芽を撮像する3台目のカメラ12を備えてもよい。また、1方向のみからの画像で作業することができる場合、マニピュレータ装置1は、1台のカメラ12のみを備えていてもよい。
可動ステージ13は、対象物が載置される載置台である。可動ステージ13は、操作表示部20による制御の下、机面と略平行なステージ面に載置された対象物を例えばモータ駆動により、移動することができる。可動ステージ13の移動は、例えば前後又は左右方向の並進移動でもよいし、対象物が載置された位置を中心に回転する回転移動でもよい。あるいは、可動ステージ13による移動は、並進移動及び回転移動でもよい。
図1の例では、可動ステージ13の上に、ジャガイモの芽が設置されたトレイ131tと、摘出された茎頂を培養するための培地トレイ132tとが左右方向に配列した状態で載置されている。マニピュレータ11の先端部に取り付けられた鋏11mがジャガイモの茎頂を摘出した場合、可動ステージ13は鋏11mの直下に培地トレイ132tを移動させる。マニピュレータ11は、鋏11mを下方へ移動して、ジャガイモの茎頂を培地トレイ132tに移植する。
ベース板14は、マニピュレータ11、カメラ12及び可動ステージ13が載置される平坦な載置板である。ベース板14は、左右方向に延びた矩形状をなす。
クリーン箱15は、直方体状をなす。クリーン箱15は、例えばスチール製の枠と、当該枠に嵌合する例えば透明なアクリル板とから構成されている。クリーン箱15は、殺菌及び抗菌処理が施されている。クリーン箱15の底部のサイズはベース板14と略同一又はベース板14よりも若干小さい。クリーン箱15の底部は、開放されている。クリーン箱15がベース板14の周に沿って、ベース板14上に載置された場合、ベース板14上に載置されたマニピュレータ11、カメラ12及び可動ステージ13は、外部とクリーン箱15の壁面により、遮断される。クリーン箱15は、異物、微生物等の侵入を阻止することにより、対象物の処理空間をクリーンな無菌状態に保持することができる。
なお、マニピュレータ部10は、可動ステージ13上の対象物に光を照射する照明装置を含んでもよい。
操作表示部20は、コンピュータ21、タッチパネル22、キーボード23、マウス24及びモニタ25を含む。
コンピュータ21は、マニピュレータ11及び可動ステージ13の制御を行ない、かつカメラ12が撮像した画像をタッチパネル22及びモニタ25に表示するための装置である。コンピュータ21は、デスクトップ型PC(パーソナルコンピュータ)、ノートブックPC、タブレット型PC、スマートフォン等である。以下では、コンピュータ21は、デスクトップ型PCであるものとする。なお、コンピュータ21がタッチパネル22等の入力機能を備えるタブレット型PC、スマートフォン等である場合、マニピュレータ装置1は、タッチパネル22、キーボード23及びマウス24を備えていなくてもよい。
図3は、コンピュータ21のハードウェア構成例を示すブロック図である。コンピュータ21は、CPU(制御部)(Central Processing Unit)211、ROM(Read Only Memory)212及びRAM(Random Access Memory)213を含む。また、コンピュータ21は、ハードディスク(記憶部)214、ディスクドライブ215、インタフェース216及び通信部217を含む。コンピュータ21の各構成部は、バス21bを介して相互に接続されている。
CPU211は、プロセッサであり、マニピュレータ装置1の各構成部を制御する。CPU211は、ハードディスク214に記憶されたプログラム21PをRAM213に読み出し、RAM213に読み出したプログラム21Pを実行する。
ROM212は、不揮発性の半導体メモリ又は半導体メモリ以外の読み出し専用記憶媒体である。ROM212は、コンピュータ21の起動時にCPU211が実行するBIOS(Basic Input/Output System)、ファームウェア等を記憶している。
RAM213は、例えばSRAM又はDRAMであり、CPU211が実行する処理の過程で必要な作業変数、データ等を一時的に記憶する。なお、RAM213は主記憶装置の一例であり、RAM213の代わりにフラッシュメモリ、メモリカード等が用いられてもよい。
ハードディスク214は、CPU211が実行するプログラム21P及び各種ファイルを記憶する補助記憶装置である。プログラム21Pは、CPU211が実行する処理の手順を記録している。
ハードディスク214は、コンピュータ21の内部に取り付けられるものであっても、コンピュータ21の外部に置かれるものであってもよい。ハードディスク214は、補助記憶装置の一例であり、大容量の情報の記憶が可能なフラッシュメモリ又はCD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray Disc、登録商標)等の光ディスク21aで代替されてもよい。
ディスクドライブ215は、外部の記憶媒体であるCD、DVD、BD等の光ディスク21aから情報を読み出し、光ディスク21aに情報を記録する補助記憶装置である。CPU211は、インタフェース216からディスクドライブ215に対する光ディスク21aの排出命令を受け付けた場合、ディスクドライブ215の図示しないトレイを排出する。
インタフェース216は、タッチパネル22、キーボード23、マウス24及びモニタ25とバス21bとを接続するコネクタである。なお、インタフェース216は、USBコネクタ、Light Peakコネクタ等を含んでもよい。
インタフェース216は、マニピュレータ部10のマニピュレータ11、カメラ12及び可動ステージ13とも接続されている。
通信部217は、有線又は無線通信のモデム、LAN(Local Area Network)カード、ルータ等である。通信部217は、LAN、WAN(Wide Area Network)、インターネット、電話回線、衛星回線等の通信ネットワークと接続されている。なお、通信部217は、パラレルポート又はプリンタポートを備えていてもよい。
なお、マニピュレータ部10と操作表示部20とが夫々遠隔地に配置された場合、通信部217は操作表示部20をマニピュレータ部10と接続するための接続装置となる。かかる場合、マニピュレータ部10に通信部217と同様の構成部を追加する。
なお、プログラム21Pは、ディスクドライブ215を介して光ディスク21aからRAM213に読み込まれてもよい。あるいは、プログラム21Pは、通信部217を介して外部の情報処理装置又は記録装置からRAM213に読み込まれてもよい。さらに、プログラム21Pを記録したフラッシュメモリ等の半導体メモリ21cが、コンピュータ21内に実装されていてもよい。
図2に戻り、説明を続ける。
タッチパネル22は、表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作する入力装置である。タッチパネル22の表示装置は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の画面を有している。
コンピュータ21は、カメラ12が撮像した画像をタッチパネル22の画面に表示する。タッチパネル22は、ユーザによるタッチ操作に基づいてマニピュレータ11及び可動ステージ13に係る入力信号を生成し、生成した入力信号をコンピュータ21に出力する。コンピュータ21は、タッチパネル22から受け付けた入力信号に基づいて、マニピュレータ11及び可動ステージ13を操作する。
キーボード23は、文字信号等をコンピュータ21に入力する入力装置である。コンピュータ21は、キーボードから矢印キー等に対応する信号を受け付けた場合、当該信号に応じてマニピュレータ11を操作してもよい。
マウス24は、タッチパネル22及びモニタ25の画面上に表示されるポインタやアイコンを操作する入力装置である。コンピュータ21は、マウス24からポインタの座標に係る信号を受け付けた場合、当該信号に基づいてマニピュレータ11を操作する。
モニタ25は、カメラ12が撮像した画像を表示する表示装置である。モニタ25は、ユーザがジャガイモの芽から茎頂を摘出する場合、補助的に使用される。モニタ25は、ユーザがマニピュレータ装置1の使用方法を初心者に教える場合、教育用の表示装置として使用されてよい。
なお、カメラ12が撮像した画像は、コンピュータ21を介在させずに、直接モニタ25に送信されてもよい。
次に、マニピュレータ装置1の動作について説明する。
図4は、マニピュレータ部10における構成要素の配置を概略的に示した上面図である。図4では、ベース板14及びクリーン箱15は、省略されている。図4において、上方はマニピュレータ装置1の前側を、右方はマニピュレータ装置1の左側を示している。
以下、可動ステージ13は、回転移動を行う円板状の回転ステージ13rであるものとする。ジャガイモの芽1gは、回転ステージ13rの略中心位置に載置されている。図4には、左方から右方へ延びる刃11bの先端が示されている。刃11bは、マニピュレータ11が有するアーム111の先端部に取り付けられる処理具の一例である。
以下、前後、左右及び上下方向を夫々x軸、y軸及びz軸方向と呼ぶ。後側から前側に向かう方向をx軸の+とする。右から左へ向かう方向をy軸の+とする。下から上へ向かう方向をz軸の+とする。
マニピュレータ部10のカメラ12は、x軸の−側からジャガイモの芽1gを撮像する第一カメラ(撮像部)12xと、y軸の+側からジャガイモの芽1gを撮像する第二カメラ(撮像部)12yとを含む。第一カメラ12x及び第二カメラ12yは、夫々拡大レンズ121x、121yが装着されたマイクロスコープカメラである。
図5は、タッチパネル22の画面に表示される第一カメラ12x及び第二カメラ12yの撮像画面22pを説明する説明図である。撮像画面22pは、第一カメラ画面221p及び第二カメラ画面222pを含む。第一カメラ画面221pは、第一カメラ12xが撮像した画像が表示される撮像画面22pの子画面である。第二カメラ画面222pは、第二カメラ12yが撮像した画像が表示される撮像画面22pの子画面である。
第一カメラ画面221p及び第二カメラ画面222pの上方には、カメラ12の位置関係を示す簡単な配置図が夫々表示されている。第一カメラ画面221pの上方の配置図では、第一カメラ12xに対応するカメラの記号が強調表示されている。第二カメラ画面222pの上方の配置図では、第二カメラ12yに対応するカメラの記号が強調表示されている。
当該配置図において、各カメラの記号に夫々対応する各光軸の交点には、刃11bの先端に対応する記号が表示されている。
第一カメラ画面221p及び第二カメラ画面222pの下方には、夫々第一カメラ12x及び第二カメラ12yが撮像する画像の方位が表示されている。第一カメラ12xは、ジャガイモの芽1gをyz平面に投影した画像として撮像する。他方、第二カメラ12yは、ジャガイモの芽1gをxz平面に投影した画像として撮像する。
第一カメラ画面221p及び第二カメラ画面222pにおいて、刃11bの先端には、夫々ポインタ2pが表示されている。
図6は、タッチパネル22の画面に表示される第一カメラ12x及び第二カメラ12yの撮像画面22pを説明する説明図である。図6は、タッチパネル22に対する例えば1回のジェスチャー入力により、マニピュレータ11が刃11bをジャガイモの芽1gの外側近傍に移動した後の状態を示している。図6における黒矢印は、刃11bの移動軌跡を示している。
ユーザは、刃11bを移動させるためにマニピュレータ11に指令を送る場合、タッチパネル22に対してジェスチャー入力を行う。
ユーザは、第一カメラ画面221pが表示されたタッチパネル22の表面において、刃11bを移動させたい目標位置1tを例えばタップする。ただし、この目標位置は、刃11bの移動先近傍におけるジャガイモの芽1gの部分である。例えば、図5及び図6では、第一カメラ画面221pにおいて、符号1tで示されたジャガイモの芽1gの部分を目標位置1tに仮定している。ユーザが目標位置1tをタップした場合、マニピュレータ11は刃11bの先端をタップされたジャガイモの芽1gの外側近傍に移動する。図6の例の場合、刃11bは、目標位置1tに対して+y側及び−x側の近傍に移動している。上述のタップ操作による刃11bの移動は、高速な粗動作である。
なお、上述において、ユーザが第一カメラ画面221pで目標位置1tをタップした場合、マニピュレータ11はyz平面及びxz平面の両平面における刃11bの移動を実行する。すなわち、マニピュレータ11は、第一カメラ画面221pの奥行き方向についても刃11bの移動を実行する。そのため、図5の第一カメラ画面221pにおいて、例えば移動前の刃11bがジャガイモの芽1gよりも手前側(−x側)に位置していても、マニピュレータ11は刃11bをより奥側に位置するジャガイモの芽1gの近傍に移動する。
ユーザが第一カメラ画面221pにてポインタ2pに対してドラッグ操作を行った場合、マニピュレータ11は刃11bをyz平面上で、ポインタ2pがドラッグされた方向に、ドラッグされた長さに対応する距離だけ刃11bを移動させる。ユーザが第二カメラ画面222pにおいてポインタ2pに対してドラッグ操作を行った場合、マニピュレータ11は刃11bをxz平面上で、ポインタ2pがドラッグされた方向に、ドラッグされた長さに対応する距離だけ刃11bを移動させる。
マニピュレータ11は、ユーザがタッチパネル22上で行ったドラッグ操作に同期させて、刃11bを移動する。マニピュレータ11は、ユーザがタッチパネル22上で行ったドラッグ操作の速度に比例する速度で、刃11bを移動する。そのため、マニピュレータ11に粗動作を実行させるか、微動作を実行させるかを、ユーザはタッチパネル22に対するジェスチャー入力の速度で選択することができる。
コンピュータ21のCPU211は、タッチパネル22からの入力信号に基づいて、上述の動作をマニピュレータ11に実行させる。以下に、コンピュータ21が実行する処理について説明する。
最初に、ドラッグ操作に基づきCPU211がマニピュレータ11に処理具を一平面の面内方向へ移動させる場合の処理について説明する。次に、タップ操作に基づきCPU211がマニピュレータ11に処理具をジャガイモの芽1gの外側近傍における三次元方向へ移動させる場合の処理について説明する。
まず、コンピュータ21にマニピュレータ11を制御させるための準備として、CPU211はタッチパネル22の画面上での距離と、実空間であるxyz空間における距離との対応関係をハードディスク214に記憶させる。
CPU211は、第一カメラ12x及び第二カメラ12yが夫々撮像した画像から、撮像物のエッジ検出を一定時間間隔で実行し、実行結果をRAM213に記憶している。CPU211は、各画像に刃11bが含まれている場合、エッジ検出の結果から、刃11の先端位置を一定時間間隔でRAM213に記憶している。CPU211は、タッチパネル22に対してポインタ2pを刃11の先端位置に表示させる。
ユーザは、第一カメラ画面221pに表示されているポインタ2pを任意の方向に任意の長さだけドラッグする。CPU211は、タッチパネル22からユーザのドラッグ終了点に対応する入力信号を受け付ける。CPU211は、ドラッグ開始点の座標及び受け付けたドラッグ終了点の座標から、yz平面での刃11bの移動方向を算出する。CPU211は、算出した方向に一定距離(単位は例えばmm)だけ刃11bを移動させるパルス信号をマニピュレータ11に送信する。マニピュレータ11は、CPU211から受信したパルス信号に基づいて、刃11bをyz平面における面内方向に一定距離だけ移動させる。
第一カメラ12xは、マニピュレータ11が移動した後の刃11bの画像を撮像し、撮像した画像信号をCPU211に送信する。CPU211は、第一カメラ12xから受信した画像信号に基づいて行ったエッジ検出から、第一カメラ画面221pの画像における移動後の刃11bの位置を取得する。CPU211は、第一カメラ画面221pの画像における移動後の刃11bの位置と、移動前の刃11bの位置とから、第一カメラ画面221pにおける刃11bの移動距離を算出する。
CPU211は、算出した第一カメラ画面221pにおける刃11bの移動距離(単位は例えばピクセル)と、ユーザのドラッグ操作に起因してCPU211自身がマニピュレータ11に送信したパルス信号に対応する一定距離(単位は例えばmm)とを対応付けて、ハードディスク214に記憶する。これにより、第一カメラ画面221p上での距離と、実空間であるxyz空間におけるyz面内での距離とが対応付けられてハードディスク214に記憶される。ここで、ハードディスク214に記憶された情報を第一変換情報と呼ぶ。
次に、ユーザは、第二カメラ画面222pに表示されているポインタ2pを任意の方向にドラッグする。以降、CPU211は、上述と同様の処理を実行する。CPU211は、算出した第二カメラ画面222pにおける刃11bの移動距離(単位は例えばピクセル)と、ユーザのドラッグ操作に起因してCPU211自身がマニピュレータ11に送信したパルス信号に対応する一定距離(単位は例えばmm)とを対応付けて、ハードディスク214に記憶する。これにより、第二カメラ画面221p上での距離と、実空間であるxyz空間におけるxz面内での距離とが対応付けられてハードディスク214に記憶される。ここで、ハードディスク214に記憶された情報を第二変換情報と呼ぶ。
図7は、CPU211がマニピュレータ11にパルス信号を送信する処理の手順の一例を示すフローチャートである。
CPU211は、タップ、ダブルタップ、ドラッグ、ピンチイン、ピンチアウト等のジェスチャー入力に応じて、第一カメラ画面221p又は第二カメラ画面222pから各画面上での距離及び方向に係る情報を受け付ける(ステップS11)。当該情報は、例えば画面上での座標である。CPU211は、受け付けた情報から第一カメラ画面221p又は第二カメラ画面222p上での距離及び処理具の移動方向を算出する(ステップS12)。
CPU211は、ハードディスク214から第一変換情報及び第二変換情報を読み出す(ステップS13)。CPU211は、読み出した第一変換情報及び第二変換情報に基づいて、算出した各画面上での距離をxyz空間での距離に換算する(ステップS14)。CPU211は、算出した処理具の移動方向及び換算した距離に対応するパルス信号を生成する(ステップS15)。CPU211は、生成したパルス信号をマニピュレータ11に送信し(ステップS16)、処理を終了する。
次に、CPU211がマニピュレータ11に処理具をジャガイモの芽1gの外側近傍における三次元方向へ移動させる場合の処理について説明する。
まず、コンピュータ21にマニピュレータ11の動作を三次元的に制御させるための準備として、ジャガイモの芽1gの表面における立体座標分布をハードディスク214に記憶させる。そのために、第一カメラ画面221pでのy座標及びz座標並びに第二カメラ画面222pでのx座標及びz座標(単位は例えばピクセル)を、画像に含まれるジャガイモの芽1gに対して実行したエッジ検出処理により取得する。
他方、第一カメラ画面221p及び第二カメラ画面222pの奥行き方向に夫々対応するx座標及びy座標(単位は例えばmm)は、公知の奥行き方向の距離推定方法により取得する。公知の奥行き方向の距離推定方法として、例えば両眼立体視法、コントラストを用いた方法、レンズの色収差を用いた方法、物体に生じるボケ具合を用いた方法がある。あるいは、奥行き方向の距離は、ジャガイモの芽1gの形状を単純形状に近似し、概略数値として求められてもよい。更には、奥行き方向の距離は、手作業により計測されてもよい。
ジャガイモの芽1gに対するエッジ検出から取得した第一カメラ画面221pでのy座標及びz座標(単位は例えばピクセル)と、距離推定方法等により取得したx座標(単位は例えばmm)とを対応付けてハードディスク214に記憶させる。ここで、ハードディスク214に記憶された情報を第一奥行き情報と呼ぶ。
また、ジャガイモの芽1gに対するエッジ検出処理から取得した第二カメラ画面222pでのx座標及びz座標(単位は例えばピクセル)と、距離推定方法等により取得したy座標(単位は例えばmm)とを対応付けてハードディスク214に記憶させる。ここで、ハードディスク214に記憶された情報を第二奥行き情報と呼ぶ。
CPU211は、第一カメラ画面221p又は第二カメラ画面222pにおいて、目標位置1tとして、ジャガイモの芽1gの2次元座標(単位は例えばピクセル)を受け付ける。CPU211は、第一奥行き情報又は第二奥行き情報を参照することにより、目標位置1tから奥行き距離(単位は例えばmm)を取得することができる。
図8は、CPU211がマニピュレータ11に3次元移動に係るパルス信号を送信する処理の手順の一例を示すフローチャートである。
CPU211は、タップ、ダブルタップ等のジェスチャー入力に応じて、第一カメラ画面221p又は第二カメラ画面222pから目標位置1tを受け付ける(ステップS21)。当該情報は、例えば画面上での二次元座標である。CPU211は、受け付けた情報から第一カメラ画面221p又は第二カメラ画面222p上での距離及び処理具の移動方向を算出する(ステップS22)。
CPU211は、ハードディスク214から第一変換情報及び第二変換情報を読み出す(ステップS23)。CPU211は、読み出した第一変換情報及び第二変換情報に基づいて、算出した各画面上での距離をxyz空間での距離に換算する(ステップS24)。ステップS24で換算される距離は、yz平面又はxz平面上での距離(単位は例えばmm)である。
CPU211は、ハードディスク214から第一奥行き情報及び第二奥行き情報を読み出す(ステップS25)。CPU211は、読み出した第一奥行き情報及び第二奥行き情報に基づいて、ステップS21で受け付けた目標位置1tの2次元座標に対応する奥行き距離(単位は例えばmm)を取得する(ステップS26)。
CPU211は、ステップS22で算出した処理具の移動方向、ステップS24で換算した平面上での距離(単位は例えばmm)及びステップS26で取得した奥行き距離(単位は例えばmm)に基づいて、xyz空間での処理具の移動距離及び移動方向を決定する(ステップ27)。なお、CPU211は、ステップS27において、目標位置1tへの処理具の移動距離及び移動方向を決定するのではない。CPU211が受け付けた目標位置1tそのものは、ジャガイモの芽1tの表面位置なので、目標位置1tに処理具が移動された場合、処理具がジャガイモの芽1tに接触する虞がある。そこで、CPU211は、最終的な移動先位置を、ジャガイモの芽1tの例えば上下方向における中心軸に対して目標位置1tから外側に一定距離だけ離れた位置に決定する。
CPU211は、決定したxyz空間での処理具の移動距離及び移動方向に対応するパルス信号を生成する(ステップS28)。CPU211は、生成したパルス信号をマニピュレータ11に送信し(ステップS29)、処理を終了する。
このように、予めジャガイモの芽1tの3次元的な座標をハードディスク214に記憶しておく。CPU211は、三次元的な座標が記憶されたジャガイモの芽1tの部分を、タッチパネル22から目標位置1tとして、受け付けることにより、xyz空間での処理具の移動距離及び移動方向に対応するパルス信号を生成する。これにより、図8に示した処理により、マニピュレータ装置1は、タッチパネル22から目標位置1tに係る二次元情報を受け付け、マニピュレータ11に三次元的な動作を指示することができる。
タッチパネル22が受け付ける処理具の移動は直線的な移動だけではない。マニピュレータ11は、ユーザがタッチパネル22上で曲線を描くドラッグ操作を行った場合、描かれたドラッグ操作に応じた軌跡を描くように、処理具を移動する。CPU211は、マニピュレータ11に対して、細かく、短距離の直線移動を繰り返すことにより、処理具を曲線に沿って移動させることができる。
また、マニピュレータ11は、ユーザがタッチパネル22上で不規則な軌跡を描くドラッグ操作を行った場合、描かれたドラッグ操作に応じた軌跡を描くように、処理具を移動する。すなわち、マニピュレータ11は、タッチパネル22上でユーザが行なったドラッグ操作に追随するように、処理具を移動する。
タッチパネル22は、回転ステージ13rを回転させる指示もジェスチャー入力により受け付ける。
回転ステージ13rを回転させる場合、ユーザは第一カメラ画面221p又は第二カメラ画面222pの下部領域を、例えば2本の指で左右方向にドラッグする。CPU211は、タッチパネル22から左から右へのドラッグ操作を受け付けた場合、反時計回りの回転をさせるための信号を回転ステージ13rに送信する。CPU211は、タッチパネル22から右から左へのドラッグ操作を受け付けた場合、時計回りの回転をさせるための信号を回転ステージ13rに送信する。回転ステージ13rは、CPU211から回転に係る信号を受信した場合、信号の内容に応じて、反時計回り又は時計回りの回転をする。
以上を踏まえ、ユーザは、ジャガイモの芽1gから茎頂を摘出する場合、次のようにマニピュレータ装置1を操作する。
ユーザは、クリーン箱15を把持してベース板14から上方に持ち上げ、マニピュレータ装置1から取り外す。ユーザは、回転ステージ13rの略中央にジャガイモの芽1gを載置する。ユーザは、クリーン箱15を把持してベース14の上に移動し、マニピュレータ部10の構成物をクリーン箱15内部に収容する。
ユーザは、上述の準備作業を実行し、ハードディスク214に第一変換情報、第二変換情報、第一奥行き情報及び第二奥行き情報を記憶させる。
ユーザは、タッチパネル22に表示される撮像画面22pにおいて、粗動作により処理具(例えば刃11b)をジャガイモの芽1gの近傍へ移動させるため、ジャガイモの芽1gのいずれかの部分を目標位置1tに決定する。ユーザは、第一カメラ画面221p又は第二カメラ画面222pにて目標位置1tをタップする。CPU211は、タッチパネル22からの入力信号及びハードディスク214の記憶内容に基づいて、パルス信号を生成し、生成したパルス信号をマニピュレータ11に送信する。マニピュレータ11は、CPU211から受信したパルス信号により、処理具を目標位置1g近傍かつジャガイモの芽1gの外側位置へ移動する。
ユーザは、タッチパネル22にドラッグ操作を行い、マニピュレータ11に処理具(例えば刃11b)をジャガイモの芽1gの頂上部分へ移動させる。ユーザは、ゆっくりと第一カメラ画面221p又は第二カメラ画面222pに表示されるジャガイモの芽1gの例えば左側表皮に沿って曲線を描きながらドラッグする。マニピュレータ11は、ユーザのドラッグ操作に追随して、処理具をジャガイモの芽1gの左側表皮を剥ぐようにゆっくりと移動させる。ジャガイモの芽1tの左側表皮が剥がれた場合、ユーザは第一カメラ画面221p又は第二カメラ画面222pの下部領域を、2本の指で左右方向にドラッグし、回転ステージ13rを一定角度回転させる。そして、ユーザは、ドラッグ操作により処理具を再びジャガイモの芽1gの頂上部分に移動させる。ユーザは、この操作を繰り返す。
ジャガイモの芽1gの表皮が全て除去された場合、ユーザはドラッグ操作により処理具(例えば鋏11m)をジャガイモの芽1gの頂上部分に移動させ、芽1gの上部をスライスして、茎頂を摘出する。ユーザは、ドラッグ操作により、摘出した茎頂が付着した処理具を、例えば培地トレイへ移動させる。
このように、ジャガイモの芽1gから茎頂を摘出するためには、ジャガイモの芽1gの表皮を一枚ずつ剥がし、芽1gの上部をスライスする。この微細な作業を手作業で行う場合に比較して、マニピュレータ装置1はより短時間で実行することができる。
マニピュレータ装置1は、ジェスチャー入力により、処理具を対象物から一定距離以上離れた位置へ移動させる粗動作のための機能も有している。当該機能により、マニピュレータ装置1は、処理具を撮像画面22pの外側の待機位置へ短時間で移動させる。
また、マニピュレータ装置1は、ジェスチャー入力により、対象物から一定距離以上離れた状態の処理具を、元の位置に復帰させる粗動作のための機能も有している。
上述の機能を実現するためのマニピュレータ装置1の動作について説明する。例えば、刃11bが第一カメラ画面221p若しくは第二カメラ画面222pにおいて図6の位置にあるものとする。この状態で、ユーザがポインタ11bの位置又は第一カメラ画面221p若しくは第二カメラ画面222pでの任意の位置で、z軸の+方向にフリックをしたとする。CPU211は、タッチパネル22からz軸の+方向へのフリック入力を受け付けた場合、刃11bを現在位置から上方へ一定距離だけ移動させるパルス信号をマニピュレータ11に送信する。マニピュレータ11は、CPU211から受信したパルス信号に基づいて、z軸の+方向へ刃11bを粗動作させるべく、x軸方向に対応するステッピングモータを回転させる。
なお、ユーザは、z軸の+方向以外に、x軸の±方向、y軸の±方向にフリックしてもよい。CPU211は、タッチパネル22から受け付けたフリック入力の方向に応じたパルス信号をマニピュレータ11に送信する。あるいは、CPU211は、タッチパネル22からフリック入力を受け付けた場合、刃11bを予め決めておいた待機位置へ移動するためのパルス信号をマニピュレータ11に送信してもよい。
なお、CPU211は、タッチパネル22からフリック入力を受け付けた場合、フリック入力を受け付けた開始時点での刃11bの座標位置(xyz空間での座標位置)をRAM213に記憶する。
次に、刃11bの復帰動作について説明する。ユーザは、刃11bが対象物から一定距離以上離れた待機位置にある状態で、第一カメラ画面221p若しくは第二カメラ画面222pの任意位置を例えばダブルタップをする。CPU211は、刃11bが対象物から一定距離以上離れた位置にある状態で、タッチパネル22からダブルタップ入力を受け付けた場合、フリック入力を受け付けた開始時点での刃11bの座標位置をRAM213から読み出す。CPU211は、刃11bを待機位置から読み出した位置へ粗動作により復帰させるパルス信号をマニピュレータ11に送信する。マニピュレータ11は、刃11bを元の位置へ復帰させるべく、CPU211から受信したパルス信号に基づいて、x軸、y軸及びz軸方向に対応するステッピングモータを回転させる。
マニピュレータ装置1は、ジェスチャー入力により、処理具の動作を制御する機能も有している。例えば、処理具が鋏11mである場合、ユーザは、マニピュレータ装置1に鋏11mの刃先を開かせる場合、第一カメラ画面221p若しくは第二カメラ画面222pの任意位置でピンチアウトを行なう。また、ユーザは、マニピュレータ装置1に鋏11mの刃先を閉じさせる場合、第一カメラ画面221p若しくは第二カメラ画面222pの任意位置でピンチインを行なう。CPU211は、タッチパネル22からピンチアウト又はピンチインの入力を受け付けた場合、マニピュレータ11に鋏11mの開閉に係る信号を送信する。マニピュレータ11は、CPU211から当該信号を受信した場合、鋏11mの開閉を実行する。
上述では、マニピュレータ装置1は、ユーザからの指示をタッチパネル22から受け付けた。しかし、マニピュレータ装置1は、ユーザからの指示をマウス24から受け付けてもよい。例えば図5において、CPU211は、マウス22の例えばクリック操作により指定された座標を目標位置1tとして受け付けてもよい。また、CPU211は、ポインタ2pに対するタッチパネル22でのドラッグ操作の替わりに、ポインタ2pに対するマウス22を用いたドラッグ操作を受け付けてもよい。
マニピュレータ装置1は、医療の用途に用いられてもよい。かかる場合、マニピュレータ11の先端部に術具を取り付ける。これにより、マニピュレータ装置1は、例えば縫合処理のような微細作業を行うことができる。また、カメラ12として内視鏡が用いられてもよい。
マニピュレータ装置1によれば、ユーザは対象物とマニピュレータ11の操作部とを同一視野に入れることができる。
ユーザは、タッチパネル22の画面に表示される対象物及び対象物を操作する処理具を見ると同時に、タッチパネル22に対するジェスチャー入力によりマニピュレータ11を操作する。そのため、ユーザがタッチパネル22を見る視野は、例えば顕微鏡の対眼レンズにおける視野のように閉鎖されておらず、開放されている。そのため、従来のマニピュレータ装置に比較して、マニピュレータ装置1における操作可能な空間範囲はより広い。このように、ユーザはマニピュレータ装置1をオープン空間で操作することができるので、ユーザの疲労度は従来のマニピュレータ装置よりも軽減される。
マニピュレータ装置1によれば、ユーザはマニピュレータ11の操作に迅速に習熟することができる。
タッチパネル22からのマニピュレータ11に対する直感的なジェスチャー入力は、複雑なマニピュレータ11の機械構成を理解する必要がないため、初心者でもすぐにマニピュレータ装置1の操作を開始することができる。タッチパネル22からの入力は、微細作業に係る入力であっても容易に行うことができる。そのため、マニピュレータ装置1は、例えば手先が震える高齢者、障碍者であっても、操作可能である。
実施の形態2
実施の形態2は、三次元位置を入力する力帰還型の入力装置をマニピュレータ装置1が含む形態に関する。入力装置は、対象物の硬軟に応じて、処理具が対象物に及ぼした力の反力を増幅して、入力装置自身に帰還させる3D入力装置である。
なお、実施の形態2において、実施の形態1と同様である構成要素には同一の参照番号を付してその詳細な説明を省略する。
図9は、入力装置26の外観を示す斜視図である。入力装置26は、ベース261、本体262、第一アーム263、第二アーム264及びペン265を含む。ベース261は、入力装置26の最下部に位置し、上部の構成部材を支える土台である。本体262は、例えば球状をなし、ベース261の上に水平方向に回動可能に固定されている。本体262は、ユーザから受け付けた三次元位置を算出し、算出した三次元位置をコンピュータ21へ出力する構成部である。
第一アーム263は、基部が本体262と水平軸で枢支されている。第二アーム264は、その一端が第一アーム263の先端部にて水平軸で枢支されている。ペン265は、ユーザが直接把持する棒状体であり、ペン先に近い根元付近にて第二アーム264の他端と水平軸で枢支されている。ユーザは、ペン265に設けられたボタン265bを押下しながら、ペン先の位置を三次元空間で指示することにより、第一アーム263及び第二アーム264を介して、本体262に三次元位置を入力する。マニピュレータ11のアーム111をスレーブアームとした場合、第一アーム263、第二アーム264及びペン265はマスタアームといえる。以下、本体262、第一アーム263、第二アーム264及びペン265を受付部260と呼ぶ。
本体262には、ユーザによるペン265の操作に負荷をかけるアクチュエータ(力生成部)266が内蔵されている。アクチュエータ266は、本体262及び第一アーム263、第一アーム263及び第二アーム264並びに第二アーム及びペン265の枢支部に抵抗力を付与する例えばワイヤと接合されている。本体は、コンピュータ21を介したマニピュレータ11からの信号に応じて、アクチュエータ266を動作させて、受付部260を力制御する。これにより、ユーザはペン265から操作への抵抗感を認知することができる。
なお、入力装置26に対して一定の仮想平面を設定することができる。かかる場合、ユーザがペン265のペン先で仮想平面上の位置を指定することにより、入力装置26はマウス24に代替可能である。
図10は、マニピュレータ装置1のハードウェア構成例を示すブロック図である。マニピュレータ11は、反力検出部(検出部)112及び出力部(検出部)113を含む。
反力検出部112は、マニピュレータ11におけるアーム111の先端部に取り付けられた例えば歪ゲージ、圧力センサ、変位センサである。反力検出部112は、処理具が対象物に及ぼした力の反力を検出し、当該反力に応じた電気信号を生成する。出力部113は、反力検出部112が生成した電気信号を増幅し、検出信号として、入力装置26の本体262に送信する構成部である。
CPU211は、入力装置26から入力された三次元位置の変化に応じて、x軸、y軸及びz軸に対応するパルス信号を夫々生成する。CPU211は、生成した各パルス信号をマニピュレータ11に送信する。マニピュレータ11は、CPU211から受信したパルス信号に基づいて、処理具を移動させる。処理具が対象物に接触し、対象物に力を及ぼした場合、反力検出部112は、対象物からの反力を検知し、反力に対応する電気信号を生成する。出力部113は、反力検出部112が検出した検出信号を増幅して、コンピュータ21に送信する。コンピュータ21は、出力部113から受信した検出信号を入力装置26に送信する。入力装置26のアクチュエータ266は、マニピュレータ11から送信された検出信号に応じた力を目標値として生成する。入力装置26は、アクチュエータ266が生成した力で受付部260を力制御する。
マニピュレータ装置1は、ヘッドマウントディスプレイを含んでもよい。例えば視差角をなす位置に2台のカメラ12を配置し、カメラ12が撮像した画像をヘッドマウントディスプレイに表示する。これにより、ユーザは対象物の立体認知をより高めることができるので、対象物が複雑な形状をなす場合であっても、マニピュレータ装置1は対象物に対する処理の作業性を向上させることができる。
人間は、手作業で対象物に対して把持、切断、剥離、除去等の操作を行なう場合、操作結果を微妙な感覚で認識しながら行っている。マニピュレータ装置1は、処理具が対象物に及ぼす力の反力を増幅して入力装置26の受付部260に帰還させる。これにより、ユーザは、対象物に対してより微細な操作を施すことができる。
実施の形態3
実施の形態3は、クリーン箱15内の状態を無菌状態に保持する形態に関する。
なお、実施の形態3において、実施の形態1、2と同様である構成要素には同一の参照番号を付してその詳細な説明を省略する。
図11は、クリーン箱15の構成例を示す説明図である。図11は、クリーン箱15の側断面を示している。クリーン箱15は、流入口151、フィルタ152、流出口153及び送風ユニット(吹出部)154を含む。
流入口151は、外部の空気がクリーン箱15の内部へ流入するための開口である。流入口151は、クリーン箱15の例えば天井板に設けられている。流入口151の上部には、クリーン箱15内へ流入する空気を浄化及び無菌化するためのフィルタ152が流入口151に覆設されている。フィルタ152は、例えばHEPAフィルタ(High Efficiency Particulate Air Filter)である。フィルタ152は、HEPAフィルタの粒子捕集効率をさらに上げたULPAフィルタ(Ultra Low Penetration Air Filter)でもよい。
流出口153は、クリーン箱15内の空気が外部へ排出されるための開口である。
送風ユニット154は、外部の空気をクリーン箱15内部へ送り出す構成部である。送風ユニット154は、フィルタ152の上側に設けられている。送風ユニット154は、モータ154m及びファン154fを含む。モータ154mはファン154fを回転させるための電動機である。ファン154fは、例えばシロッコファン、サイレントファンである。ファン154fは、モータ154mにより回転し、クリーン箱15上方の空気を流入口151へ送り出す。
なお、クリーン箱15又はベース板14は、対象物を処理する処理具を滅菌する滅菌用ガスバーナ又は動植物の培養環境温度を調節するヒータを備えていてもよい。
クリーン箱15によれば、内部に清浄な空気を送り込むことにより、内部の無菌状態を確保することができる。
クリーン箱15は、謂わば卓上サイズの狭小なクリーンベンチといえる。茎頂の摘出、幼苗の分割等の作業を行う場合、作業環境を清浄に保つ必要がある。そのために、クリーンルーム、クリーンベンチ等が必要とされ、高額の設備投資をしなければならない。しかし、クリーン箱15は、その小さい容積部分のみを清浄に保つため、コストの低減に資する。
マニピュレータ装置1は、クリーンな環境が求められる半導体基板又は液晶装置における部品加工、高分子材料を用いた部品加工等にも利用可能である。その際にも、クリーン箱15は、塵埃を排除した清浄な作業環境を提供することができる。
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
また、実施の形態で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記7)
前記マニピュレータは、前記処理具が前記対象物に及ぼした力に対する反力を検出し、検出した反力に応じた信号を出力する検出部を有し、
該検出部が出力した信号に応じた力が帰還され、かつ前記処理具の三次元目標位置を受け付ける受付装置を備え、
前記制御部は、前記受付装置が受け付けた三次元目標位置に基づいて、前記マニピュレータの動作を制御するようにしてある
ことを特徴とする付記1から付記6までのいずれか一つに記載のマニピュレータ装置。
(付記10)
前記先端部に植物細胞を処理するための処理具が取り付けられている
ことを特徴とする付記1から付記9までのいずれか一つに記載のマニピュレータ装置。
1 マニピュレータ装置
11 マニピュレータ
111 アーム
112 反力検出部(検出部)
113 出力部(検出部)
12 カメラ(撮像部)
12x 第一カメラ(撮像部)
12y 第二カメラ(撮像部)
121x、121y 拡大レンズ
13 可動ステージ
13r 回転ステージ
14 ベース板
15 クリーン箱(箱体)
151 流入口
152 流出口
153 送風ユニット(吹出部)
154 フィルタ
21 コンピュータ
211 CPU(制御部)
212 ROM
213 RAM
214 ハードディスク(記憶部)
215 通信部
22 タッチパネル
23 キーボード
24 マウス
25 モニタ
26 入力装置(受付装置)
260 受付部
266 アクチュエータ(力生成部)
11b 刃(処理具)
11m 鋏(処理具)
1g ジャガイモの芽(対象物)

Claims (7)

  1. マニピュレータの先端部に取り付けられた処理具で対象物を処理するマニピュレータ装置において、
    前記処理具により処理される対象物を撮像する撮像部と、
    該撮像部が撮像した画像を画面に表示し、かつ前記マニピュレータの動作を制御するための指示を受け付けるタッチパネルと、
    該タッチパネルが受け付けた指示に基づいて、前記マニピュレータの動作を制御する制御部と、
    前記タッチパネルの画面上における距離及び前記先端部の移動距離を対応付けて記憶し、かつ前記対象物の三次元位置を記憶する記憶部と
    を備え、
    前記タッチパネルは前記対象物に対応する前記処理具の三次元目標位置を受け付けるようにしてあり、
    前記制御部は、前記タッチパネルが受け付けた前記三次元目標位置及び前記記憶部に記憶された内容に基づいて、前記マニピュレータの動作を制御するようにしてあり、
    前記制御部は、前記タッチパネルが受け付けたジェスチャー入力により、前記マニピュレータの粗動作と微動作とを切り替えるようにしてあり、前記タッチパネルがタップ操作を受けた場合には前記粗動作に切り替え、前記タッチパネルがドラッグ操作を受けた場合には前記微動作に切り替える
    ことを特徴とするマニピュレータ装置。
  2. 前記マニピュレータ及び撮像部を収容する箱体を備える
    ことを特徴とする請求項1に記載のマニピュレータ装置。
  3. 前記対象物を載置する可動ステージを備え、
    前記タッチパネルは前記可動ステージの動作を制御するための指示を受け付けるようにしてあり、
    前記制御部は、前記タッチパネルが受け付けた指示に基づいて、前記可動ステージの動作を制御するようにしてある
    ことを特徴とする請求項1又は請求項2に記載のマニピュレータ装置。
  4. 前記撮像部は対象物を拡大して撮像するようにしてある
    ことを特徴とする請求項1から請求項3までのいずれか一項に記載のマニピュレータ装置。
  5. 前記マニピュレータは、前記処理具が前記対象物に及ぼした力に対する反力を検出し、検出した反力に応じた信号を出力する検出部を有し、
    該検出部が出力した信号に応じた力を生成する力生成部及び該力生成部により生成された力が付与され、付与された力により前記処理具の三次元目標位置を受け付ける受付部を有する受付装置を備え、
    前記制御部は、前記受付装置が受け付けた三次元目標位置に基づいて、前記マニピュレータの動作を制御するようにしてある
    ことを特徴とする請求項1から請求項4までのいずれか一項に記載のマニピュレータ装置。
  6. 前記箱体は、
    空気を吹き出す吹出部と、
    該吹出部が吹き出した空気を清浄化するフィルタと、
    該フィルタからの清浄空気が内部に流入する流入口と、
    内部の空気が流出する流出口と
    を有する
    ことを特徴とする請求項2に記載のマニピュレータ装置。
  7. 前記撮像部は、前記対象物を異なる方向から撮像する複数の撮像部を有しており、
    前記タッチパネルは前記複数の撮像部が夫々撮像した画像を表示する画面領域各々を有し、かつ該画面領域各々にて前記マニピュレータの動作を制御するための指示を受け付けるようにしてあり、
    前記制御部は、前記タッチパネルの画面領域各々が受け付けた指示に基づいて、前記マニピュレータの動作を制御するようにしてある
    ことを特徴とする請求項1から請求項6までのいずれか一項に記載のマニピュレータ装置。
JP2013059018A 2013-03-21 2013-03-21 マニピュレータ装置 Expired - Fee Related JP6297784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013059018A JP6297784B2 (ja) 2013-03-21 2013-03-21 マニピュレータ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013059018A JP6297784B2 (ja) 2013-03-21 2013-03-21 マニピュレータ装置

Publications (2)

Publication Number Publication Date
JP2014184494A JP2014184494A (ja) 2014-10-02
JP6297784B2 true JP6297784B2 (ja) 2018-03-20

Family

ID=51832569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013059018A Expired - Fee Related JP6297784B2 (ja) 2013-03-21 2013-03-21 マニピュレータ装置

Country Status (1)

Country Link
JP (1) JP6297784B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6497021B2 (ja) * 2014-10-01 2019-04-10 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
JP6084344B2 (ja) * 2015-02-25 2017-02-22 オリンパス株式会社 マニピュレータシステム及び医療システム
JP6601201B2 (ja) * 2015-03-19 2019-11-06 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
JP6713190B2 (ja) * 2015-10-09 2020-06-24 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
WO2018051435A1 (ja) * 2016-09-14 2018-03-22 三菱電機株式会社 数値制御装置
JP7226912B2 (ja) * 2017-11-20 2023-02-21 株式会社タイトー ゲーム装置、ゲームサーバ、及びプログラム
JP7053443B2 (ja) 2018-12-07 2022-04-12 ファナック株式会社 操作装置にて手動操作を行うロボットの制御装置
JPWO2023053368A1 (ja) * 2021-09-30 2023-04-06

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2645866B2 (ja) * 1988-09-05 1997-08-25 株式会社日立製作所 マニピュレータの制御方法および装置
JP3675004B2 (ja) * 1995-10-04 2005-07-27 株式会社安川電機 ロボットの制御装置
JPH11262883A (ja) * 1998-03-19 1999-09-28 Denso Corp ロボットのマニュアル操作装置
JP3465613B2 (ja) * 1999-01-13 2003-11-10 松下電器産業株式会社 微細物体の操作装置
JP2001072247A (ja) * 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP2002253574A (ja) * 2001-03-01 2002-09-10 Hitachi Ltd 手術支援装置
JP2006350602A (ja) * 2005-06-15 2006-12-28 Yushin Precision Equipment Co Ltd 操作端末装置
JP4992491B2 (ja) * 2007-03-14 2012-08-08 日本精工株式会社 マニピュレータシステム
JP5217662B2 (ja) * 2007-08-02 2013-06-19 日本精工株式会社 マニピュレータ及びマニピュレータシステム
JP2009148869A (ja) * 2007-12-21 2009-07-09 Olympus Corp 組立装置
CN102016687B (zh) * 2008-03-19 2013-07-31 多伦多大学管理委员会 显微操作样品的***和方法
JP5466965B2 (ja) * 2010-02-08 2014-04-09 オリンパス株式会社 ステージの制御を行う装置、方法、プログラム、及びシステム
JP5526881B2 (ja) * 2010-03-12 2014-06-18 株式会社デンソーウェーブ ロボットシステム
JP2012119557A (ja) * 2010-12-02 2012-06-21 Hitachi Kokusai Electric Inc 基板処理装置
JP5739680B2 (ja) * 2011-01-27 2015-06-24 株式会社日立製作所 マニプレータ装置およびマニプレータ付き作業装置
JP5694277B2 (ja) * 2012-11-16 2015-04-01 株式会社日立製作所 自動培養装置

Also Published As

Publication number Publication date
JP2014184494A (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
JP6297784B2 (ja) マニピュレータ装置
US11857278B2 (en) Roboticized surgery system with improved control
US20210212793A1 (en) Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display
JP7081584B2 (ja) 医療用観察システム、制御装置及び制御方法
CN112099215B (zh) 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法
KR20220032635A (ko) 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들
US10645372B2 (en) Observation device comprising a control unit
US20190339836A1 (en) Information processing apparatus, method, and program
KR20170084186A (ko) 사용자 인터페이스와 마스터 제어기 사이의 상호작용
JP6419487B2 (ja) 医療用観察システム
CN102650906B (zh) 一种用户界面的控制方法及装置
US20220280238A1 (en) Robot-assisted setup for a surgical robotic system
US11703952B2 (en) System and method for assisting operator engagement with input devices
WO2018216501A1 (ja) 制御装置、制御方法、および手術システム
CN113786152A (zh) 一种内窥镜镜头跟踪方法及内窥镜***
US20230046644A1 (en) Apparatuses, Methods and Computer Programs for Controlling a Microscope System
JP5711531B2 (ja) 試料ステージ装置、及び電子線装置
EP3881335A1 (en) Training users using indexed to motion pictures
JP5855656B2 (ja) 医療用マニピュレータおよびその作動方法
Obushi et al. MagniFinger: Fingertip-mounted microscope for augmenting human perception
US20220378528A1 (en) Systems and methods for controlling a surgical robotic assembly in an internal body cavity
Obushi et al. MagniFinger: magnified perception by a fingertip probe microscope
WO2024097162A1 (en) Systems including a graphical user interface for a surgical robotic system
CN116322559A (zh) 可操控的查看器模式激活和停用
WO2023177802A1 (en) Temporal non-overlap of teleoperation and headrest adjustment in a computer-assisted teleoperation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180222

R150 Certificate of patent or registration of utility model

Ref document number: 6297784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees