JP3973614B2 - マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 - Google Patents
マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 Download PDFInfo
- Publication number
- JP3973614B2 JP3973614B2 JP2003354015A JP2003354015A JP3973614B2 JP 3973614 B2 JP3973614 B2 JP 3973614B2 JP 2003354015 A JP2003354015 A JP 2003354015A JP 2003354015 A JP2003354015 A JP 2003354015A JP 3973614 B2 JP3973614 B2 JP 3973614B2
- Authority
- JP
- Japan
- Prior art keywords
- tip
- operation tool
- image
- cell
- tip position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000003384 imaging method Methods 0.000 claims description 72
- 239000012472 biological sample Substances 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 27
- 210000004027 cell Anatomy 0.000 description 176
- 238000012545 processing Methods 0.000 description 66
- 230000008859 change Effects 0.000 description 58
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 27
- 230000005484 gravity Effects 0.000 description 24
- 238000003780 insertion Methods 0.000 description 19
- 230000037431 insertion Effects 0.000 description 19
- 238000002347 injection Methods 0.000 description 14
- 239000007924 injection Substances 0.000 description 14
- 239000000523 sample Substances 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000000126 substance Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000009545 invasion Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000002472 endoplasmic reticulum Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000005061 intracellular organelle Anatomy 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 210000002288 golgi apparatus Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/50—Means for positioning or orientating the apparatus
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M35/00—Means for application of stress for stimulating the growth of microorganisms or the generation of fermentation or metabolic products; Means for electroporation or cell fusion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
- G01N35/1009—Characterised by arrangements for controlling the aspiration or dispense of liquids
- G01N35/1011—Control of the position or alignment of the transfer device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
- G01N2035/00792—Type of components bearing the codes, other than sample carriers
- G01N2035/00801—Holders for sample carriers, e.g. trays, caroussel, racks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
- G01N2035/00821—Identification of carriers, materials or components in automatic analysers nature of coded information
- G01N2035/00851—Identification of carriers, materials or components in automatic analysers nature of coded information process control parameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
- G01N2035/1027—General features of the devices
- G01N2035/1034—Transferring microquantities of liquid
- G01N2035/1039—Micropipettes, e.g. microcapillary tubes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40538—Barcode reader to detect position
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40585—Chemical, biological sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45209—Measuring, indicating device having a needle
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Genetics & Genomics (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Biotechnology (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Development (AREA)
- Biomedical Technology (AREA)
- Microbiology (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Clinical Laboratory Science (AREA)
- Cell Biology (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
そして、これらの高さ関係を座標と共に模式的に表示して作業者に認識させることで、3次元的な位置関係を把握させ、操作性を向上させるものとしている。この他の例としては、操作具と容器底面とを接触させず、顕微鏡の焦点間の距離により試料、操作具、容器底面の高さ関係を読み取ったり、または、操作具を試料に対して接触させることで基準高さを検出している。
しかしながら、従来のマニピュレータ装置のように、観察で接触が検出できる程の歪を生じるよう、操作具を容器の底面や試料に接触させることは、高い確率で操作具を折損し、作業性を著しく阻害する虞がある。また、顕微鏡の合焦位置で判断する場合には、検出精度が焦点深度、すなわち光学系の波長や開口数に依存するため、常に十分とは言えず、同様に操作具を折損し易いものとなっている。また、回折限界により先端を光学的に観察すること自体が困難な条件もある。
すなわち、請求項1に記載のマニピュレータ装置は、光学的分解能を上回る微細な先端を有し、顕微鏡によって観察される微小な操作対象物に当該先端が接触又は挿入されて当該操作対象物を操作する操作手段と、前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに、前記操作手段を保持する保持手段と、前記操作手段の先端を検出できない撮影解像度限界を有し、前記保持手段を含む画像を撮影する撮像手段と、前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する推定手段と、を備えることを特徴とする。
まず、図1〜図6を参照しながら、第1実施形態を説明する。なお、図1は、システム構成を示す概略構成図である。また、図2は、装置外観を示す斜視図である。また、図3は、保持部の形状を示す図であって、(a)が左側面図、(b)が正面図、(c)が底面図を示している。また、図4(a)〜(d)は、画像処理による参照形状から、操作具の先端位置を認識する方法を説明する図であり、(a)及び(c)は正面図、(b)及び(d)は底面図である。また、図5は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。また、図6は、マニピュレータ装置によるインジェクション動作を説明するためのフローチャート図である。
そして、前記画像処理手段は、前記画像から認識した前記保持具のイメージ情報に基づき、前記操作具の先端の位置を推定することができるようになっている。なお、本発明で言う「イメージ情報」とは、前記保持部の外形や、この保持部に付されたバーコード等の記号など、映し出された保持部の画像(映像イメージ)に基づき、操作具の先端位置を3次元的に求めるための参照基準を示す。
なお、マニピュレータ2A1は、操作軸3に保持される保持部2と、この保持部2に保持される操作具2aとを備えて構成されている。また、前記モニタには、保持部2、細胞S、そして後述の方法により推定された操作具2aの先端位置に関する情報(この情報は、情報生成手段を兼ねる画像処理手段8によって生成される。)などが表示されるものとなっている。
容器Yの底面に対して直交方向の撮像方向を有する撮像手段6と、前記画像処理手段8とにより、マニピュレータ2A1を構成する保持部2先端に保持されている針などの操作具2aの先端位置xと、細胞Sの核Cの重心位置との相対的な位置関係を、XY平面(XYステージ1の載置面に平行な平面)上において求めることができるようになっている。撮像手段6は、図示しないレンズとCCD(光学撮像素子)とを組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段6及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
操作具2aの接触高さまたは挿入開始高さは、細胞Sの予測寸法に基づいて容器Yの底面からの高さ寸法として求められる。なお、この他にも、操作具2aを細胞Sに接触させた際の撮像手段7による撮影画像の変化から、操作具2aの接触高さ又は挿入開始高さ、さらには挿入深さを求めるようにしても良い。
撮像手段7は、前記撮像手段6と同様に、図示しないレンズとCCD(光学撮像素子)を組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段7及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
以上説明のようにして、保持部2の外形をなす基準面2b,2c,2dを参照基準として、操作具2aの先端位置xを3次元的に求めることが可能となる。
(1)第1の認識方法
図4(a)に示すように、保持部2を正面視した画像を取得し、前記稜線を含む延長線である直線L2と、基準面2dがなす直線を含む延長線である直線L1との交点Xを画像処理で求める。さらに、図4(b)に示すように、保持部2を底面視した画像を取得し、基準面2cがなす直線の延長線である直線L3と、基準面2bがなす直線の延長線である直線L4との交点Xを画像処理で求める。このようにして、3次元的に求められた交点Xが、操作具2aの先端位置xとして認識できる。
図4(c)に示すように、保持部2を側面視した場合の外形L5(稜線)をパターン形状として予め記憶しておくとともに、この外形L5に対する操作具2aの先端位置xも併せて記憶しておく。同様に、図4(d)に示す底面視した場合の外形L6(稜線)をパターン形状として予め記憶しておくとともに、この外形L6に対する操作具2aの先端位置xも併せて記憶しておく。そして、認識を行う際には、外形L5及び外形L6の画像を取得し、予め記憶しておいた保持部2のパターン形状と先端位置xとの相対的な位置関係に基づいて、操作具2aの先端位置xを認識する。
また、図27(a),(b)に示すように、図4(a),(b)に示すものとは形状寸法の異なるものも含めて複数種類の保持部2を適宜選択して用いたい場合には、各保持部2の参照基準と形状パターンを先端位置xと関連付けたテーブル等を前記画像処理手段8に予め記憶しておき、先端位置xの認識を行う際に、選択した保持部2の形状パターンを呼び出し、この形状パターンに基づいて先端位置xを求めるようにすることも可能である。ただし、これは上記第2の認識方法を採用する場合であり、上記第1の認識方法を用いる場合には、形状パターンを記憶しておく必要はない。
なお、上記の画像処理の段階では、前記撮像手段6,7により撮像した画像が映し出される画面上に前記直線L1〜L4や外形L5,L6と、これらによって求められた先端位置xとを模式的に表示することにより、このマニピュレータ装置を操作するオペレータが動作の適否を容易に確認することが可能となる。
以上のようにして操作具2aの先端位置xを求める制御部(推定手段)5は、図5に示すように、画像から認識した細胞Sが存在する所定の位置(例えば、細胞Sの上面でかつ核Cの重心の直上位置)に、画像処理上の基準となる点P1を設定し、さらに、この画像に基づき、操作具2aの先端位置xと前記点P1との相対的な位置関係を推定する位置関係推定手段としての役目を兼ね備えたものとなっている。
まず、ステップS1において、細胞Sを収容した容器YをXYステージ1上にセットし、顕微鏡光学系、すなわち、容器Yの底面に直交する撮像方向を有する撮像手段6において、細胞Sに焦点を合わせる。
そして、続くステップS2において、細胞Sの予備観察を行い、インジェクション等の操作対象となる細胞Sを選定する。
そして、続くステップS5において、細胞Sを前記撮像手段6で撮影する。
そして、続くステップS6において、得られた画像に画像処理を施すことにより、核Cの重心位置を画像内の2次元座標として認識する。
そして、続くステップS8において、保持部2の参照形状(外形など)に焦点を合わせ、保持部2を前記撮像手段6で撮影する。
そして、続くステップS9において、得られた画像に前述の方法で画像処理を施すことにより、操作具2aの先端位置xを画像内の2次元座標として認識する。
そして、続くステップS11において、得られた画像に画像処理を施すことにより、保持部2に保持されている操作具2aの先端位置xと容器Yの底面との距離を認識する。
そして、続くステップS12において、保持部2に保持されている操作具2aの先端位置xと細胞Sの核CとのXY方向の位置関係、及び、容器Yの底面とのZ方向の位置関係とを算出する。さらに、操作具2aの先端位置xと核C上方の細胞Sの上端位置(接触または挿入開始点)との相対位置を算出する。
そして、位置決め完了後のステップS16において、操作軸3を接触または挿入深さ分だけ駆動し、操作具2aを細胞Sに接触または挿入させた後、インジェクションもしくは刺激等の操作を行う。この操作が完了した後は、操作軸3を退避させ、最後にZステージ4を既定高さまで退避させる。
そして、続くステップS17において、別の細胞Sに対するインジェクション等の操作を連続して行うかを判断し、連続して行うと判断(Yes)した場合には、ステップS18に進み、ここで次の細胞Sを操作するのに必要な前処理を行ってから、前記ステップS3へと進む。
ステップS17において継続して次の細胞Sを操作しないと判断(No)した場合には、インジェクション等の操作が終了する。
(a)生体試料を底面において保持した状態で光学的に観察可能な容器:ここで言う容器は、例えば前記容器Yのことであり、その底壁面や側壁面を通して外部から内部の状態を観察できればよく、前述の形状のものに限らず、その他の形状の容器も採用可能である。また、この容器の内部に収容する操作対象物も、生体試料(例えば前記細胞S)に限らず、微細な操作具(例えば前記操作具2a)で操作されるものであれば良く、その他の操作対象物を収容するものとしても良い。
操作具としては、本実施形態のように針状のものに限らず、少なくとも一部が撮影解像度限界よりも小さい寸法を有するものであればよく、必要に応じてその他の形状のものを採用しても良い。
同様に、保持部は、その形状寸法及びこれに付された情報(例えばバーコードなど)などが撮影された画像から確認できるものであれば良く、図示して説明した形状のものに限らず、その他の任意の形状寸法の保持部が採用可能である。したがって、任意形状を有する複数の保持部に対して対応することが可能である。
同様に、操作を行う手段は、前記操作軸3のみに限らず、保持部を操作対象物に接近・離間させる駆動機構と、操作具を介して操作対象物に薬液を供給する薬液供給機構など、インジェクションや刺激等の操作に要する全ての構成を含む。
また、この撮像手段は、少なくとも保持部を画像内に写せれば良く、操作具が画像内に入る(実際には見えないので、正しくは操作具があると推測される空間部分が画像内に入る)ようにしてもしなくてもよい。
例えば、容器側を上下方向(Z方向)に移動させるとともに、操作具/保持部側を水平方向(XY方向)に移動させるようにしても良い。さらには、容器側及び操作具/保持部側の両方とも、上下方向(Z方向)及び水平方向(XY方向)に移動可能としても良い。
・すなわち、撮像手段(前記撮像手段6,7)により保持部(前記保持部2)を容器(前記容器Y)の底面に直交及び平行な2方向から観察して撮影する。
・画像処理手段(前記画像処理手段8)により操作具(前記操作具2a)の先端位置を保持部の参照形状に基づいて仮想的に特定してその座標を認識する。
・撮像手段により、容器に保持される生体試料(前記細胞S)を底面に直交あるいは平行な方向から観察して撮影する。
・画像処理手段により、画像上で指定される生体試料の操作対象点の座標を認識する。
・制御手段(前記制御部5)により、操作具の先端位置と生体試料の操作対象点との座標同士の相対位置関係を認識する。
・制御手段により、操作具の先端が生体試料の操作対象点付近になるように移動させて生体試料に操作具が接触または挿入可能となるようアクチュエータ(前記XYステージ1及びZステージ4)を3次元的に制御する。
・制御手段により、操作具を生体試料へ接触または挿入させ、インジェクションや刺激等の操作を行う。
すなわち、光学的分解能を上回るような極微細な操作具(前記操作具2a)であっても、接触させて折損させる恐れが無く、その先端の水平方向および高さ方向の位置を正確に認識することができる。そして、同じく認識される生体試料(前記細胞S)の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は、手動でも自動でも良い。
この構成によれば、その画像処理手段8が、撮像された保持部2の外形状を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具2aの先端位置xを求めるものであるので、より正確に操作具2aの先端位置xを求めることが可能となる。
この構成によれば、操作具2aの先端位置xで延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具2aの先端位置xを3次元的に求めることが可能となる。
続いて、図7及び図8を参照しながら、本発明の第2実施形態の説明を以下に行う。図7は、システム構成を示す概略構成図である。また、図8は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
さらに、容器Yの底面に平行な方向の光を受光する受光素子14を、レーザ透過型の寸法測定機構としている。そして、操作具2aと容器Yの底面との高さ方向の位置関係を認識するにあたり、参照形状として用いられる保持部2の最下面(但し保持部2の形状が参照形状として認識できる必要な部分を含む)と、容器Yの底面もしくは細胞Sとが、投光素子12から発せられる光路内に入るように配置し、投光素子12から出射されて受光素子14に入射するレーザ光の分布状態から、容器Yの底面もしくは細胞Sとの間の間隔を測定し、設計・製造時に既知となっている操作具2aの長さを差し引いて算出する。すなわち、図8(b)を参照して具体的に言うと、撮像された画像に基づいて、保持部2の下端と前記容器Yの底面との間の高さ寸法h1がまず求められる。そして、この高さ寸法h1から、操作具2aの長さ寸法Lを差し引くことで、操作具2aの先端位置xから容器Yの底面までの高さ寸法h2が算出される。
本実施形態のマニピュレータ装置では、高倍率の観察光学系が容器Yの底面に直交する方向のみに配置される従来の正立型あるいは倒立型顕微鏡を応用することが可能である。
続いて、図9〜図11を参照しながら、本発明の第3実施形態の説明を以下に行う。図9は、システム構成を示す概略構成図である。また、図10は、保持部の形状を示す図である。また、図11は、画像処理により参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
保持部2Aは、操作具2aの軸線と同軸でかつ、操作具2aの先端位置xに向かって先細りとなる円錐台状の外形(イメージ情報)を有しており、製造段階で、先端位置xが円錐台の頂点に位置するよう形成されている。
ただし、図10(c)に示す底面視の画像においては、外形稜線の合焦位置が同画像の奥行き方向で連続的に変わるため、この奥行き方向で焦点位置を変え、少なくとも2箇所以上で同じ外形稜線を検出することにより正確に直線を定義するのが好ましい。これについて図11を用いて具体的に説明すると、まず、図11(b)に示す外形稜線L1上の点L1a,外形稜線L2上の点L2aの各位置に焦点を合わせ、同画像内におけるこれらの点L1a,L2aの位置を確定する。続いて、同図に示す外形稜線L1,L2上の点L1b,L2bの各位置に焦点を合わせ、同画像内におけるこれらの点L1b,L2bの位置を確定する。そして、点L1aと点L1bとを含む直線を求めることにより、2本ある外形稜線のうちの1本(L1A)が確定される。同様に、点L2aと点L2bとを含む直線を求めることにより、もう1本の外形稜線(L2A)が確定される。そして、これら2直線の延長線の交点Xの位置を、操作具2aの先端位置xとして求めることができる。なお、図11(a)に示す正面方向については、画像の奥行き方向で外形稜線の合焦位置が変化しないため、単一の画像内で各外形稜線を確定し、交点Xを求められる。
本実施形態では、保持部2Aを斜め配置することができるようになっているので、軸方向に長さを有する一般的なマニピュレータ機構を適用することが可能である。
続いて、図12〜図14を参照しながら、本発明の第4実施形態の説明を以下に行う。図12は、操作軸に取り付けられた保持部を示す正面図である。また、図13は、保持部の形状を示す図である。また、図14は、画像処理により、参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
この保持部2Bは、操作具2aの軸線と同軸をなす例えば円筒状の外形稜線(イメージ情報)と、図13(c)に示す底面視方向に対して垂直をなす端面2b1と、図13(a)に示す左側面視方向に対して垂直をなす端面2b2とを備えている。そして、これら端面2b1,2b2は、製造段階において、操作具2aの先端位置xとの相対的な位置関係が検査で確認済みであり、既知とされている。
この構成によれば、保持部2Bが、撮像手段から見て奥行き方向に外形稜線の焦点位置が変化するように傾いた状態に配置しても、エッジ2b3及び半楕円2b4の画像を、それぞれ1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済み、エッジ2b3及び半楕円2b4の検出が容易で画像処理が正確になる。また、例えば図14(b)に示す画像からパターンとしての認識でなくエッジ(エッジ2b3と同一のエッジ)から既知の位置に操作具2aの先端位置Xが存在すると認識してもよく、更に例えば図14(a)に示す画像をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具2aの先端位置Xが存在すると認識しても良い。
また、本実施形態のマニピュレータ装置は、上記第3実施形態と同様に、一般的なマニピュレータが適用可能である。
続いて、図15〜図17を参照しながら、本発明のマニピュレータ装置及びその操作具先端位置検出方法の第5実施形態の説明を以下に行う。図15は、システム構成を示す概略構成図である。また、図16は、細胞を収容する容器の形状を示す図である。また、図17は、鏡面を用いた観察方法を説明するための図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
これにより、本実施形態のマニピュレータ装置は、1系統の光学系による撮像手段6で2方向の観察を行い、操作具2aの先端と細胞Sとの位置関係を水平および高さ方向の両方で認識できるため、従来の正立型あるいは倒立型光学顕微鏡の構成が適用できるものとなっている。
より具体的に言うと、本実施形態のマニピュレータ装置は、鏡面Rを介さずに直接的に保持部2を底面視して撮像した画像と、鏡面Rを介して保持部2を側面視して撮像した画像とを取得することにより、異なる2方向から見た保持部2の画像を、同一方向の視線から撮像することができるものとなっている。これにより、上記第1実施形態における前記撮像手段7を省略することが可能となる。
さらには、前記底壁部Y2の高さ位置を、鏡面Rの最下端位置よりも高くなるように配置しているので、鏡面Rを介して容器YA内を側面視した画像を撮像する際に、この画像内に容器YAの底壁面を写し込むことができる。したがって、細胞Sの底面位置も含めて鮮明に撮像することが可能となる。
なお、保持部2を反射像で観察するためにこれをXYZステージ4Aで光軸上から移動させる代わりに、撮像手段6側の光軸を保持部2に対して移動させる構成も、勿論、採用可能である。
続いて、図18及び図19を参照しながら、本発明の第6実施形態の説明を以下に行う。図18(a)は、細胞に対する操作具の接触動作を説明するための図であり、図18(b)は、操作具が接触した前後の細胞を上から見た観察画像である。また、図19は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
この変形の検出直後に操作軸3のアクチュエータを一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間の何れかの位置を、正確な接触位置と認識する。そして、停止している位置もしくはそこから一定量戻った位置を操作開始点として再定義し、これに基づいて実際の接触動作または挿入動作を制御する。
これについて図19を参照して具体的に説明すると、細胞Sの輪郭が、操作具2aの先端位置xの接触により、接触前のF1から接触後のF2へと変形している。そして、これに伴い、細胞Sの重心位置も、接触前の点C1から接触後の点C2へと移動する。同様に、細胞Sの輪郭によって形成される面積も、細胞Sの扁平化により接触前のA1から接触後のA2へと広くなっている。そこで、これら重心位置変化または面積変化の何れか一方もしくは両方を捉えることで、細胞Sの形状変化または移動を捉えることが可能となる。
以上説明のように、本実施形態の再認識動作を行うことにより、操作具2aの先端位置xと細胞Sと間の厳密な位置関係を再認識することができ、挿入深さの厳密な管理が重要な場合などにおいてその効果を有効に発揮することができる。
この構成によれば、上記第1実施形態〜上記第5実施形態で求めた操作具2aの先端位置xと、上記再認識動作で求めた操作具2aの先端位置xとを比較することにより、上記第1実施形態〜上記第5実施形態の推定結果が正しいかを確実に確認することが可能となる。しかも、この再認識動作は自動化に適しているので、本マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
続いて、図20を参照しながら、本発明の第7実施形態の説明を以下に行う。図20は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
なお、前記再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第6実施形態の何れに対しても組み合わせて行うことが可能である。
この時、図20(b)に示すように、例えば1ピッチ動かす前の画像における細胞Sの輪郭がなす面積と同面積の正方形S1を定義し、これを、その中心が細胞Sの重心C1,C2と一致するように重ね合わせる。すると、同図に示すように、正方形S1からはみ出た箇所すなわち輪郭と正方形S1の辺とで形成される領域が複数(同図では4箇所)形成されるので、これらのうちの何れかの面積変化を検出することにより、細胞Sの変形を捉えることができる。より具体的に言うと、図20(b)及び図20(c)を比較した場合、面積A1a<面積A2a、面積A1b>面積A2b、面積A1c<面積A2c、面積A1d>面積A2dとなり、全ての箇所において面積変化が生じている。もちろん、全箇所でなくとも、少なくとも1箇所において面積変化が認められれば、変形したとして判定することができる。
このとき、撮像手段6,7および画像処理手段8を用いて各ステップの前後における細胞Sの画像を処理して比較することにより、操作具2aの先端と細胞Sとが微弱に接触したときに細胞Sに生じる微小な変形を検出する。この変形の検出直後に操作軸3は一旦停止し、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、停止している位置もしくはそこから一定量戻った位置を開始点として定義し、実際の接触または挿入を制御する。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち、従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、細胞Sの変形検出は、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。また、S1は正方形に限らず、長方形、他の多角形、円や楕円など他の図形でも良い。さらには、細胞Sのイメージを複数領域に分割できればよく、細胞Sのイメージを直線または曲線により複数領域に分割し、これら複数領域の少なくとも一つの変形を確認することにより、細胞Sに対する操作具2aの当接を認識するものとしても良い。
続いて、図21を参照しながら、本発明の第8実施形態の説明を以下に行う。図21は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
そして、この基準直線Lsを、重心C1を中心として例えば反時計回りに回転させ、この基準直線Lsが細胞Sの輪郭と交わる交点をQ1θとし、Q1θと重心C1との距離R1θを各角度θ毎に取得する。その結果、操作軸3のアクチュエータを微小かつ一定のピッチ進めた前後において、同角度θにおける長さ寸法R1θが、図21(c)に示す長さ寸法R2θに変化した場合に、当該箇所において細胞Sの輪郭が変形したと判断する。なお、θは一定ピッチで設定し、検出精度を向上させるためにはより微小なピッチで設定する。また、Q2θの位置の変化で判断しても良い。
この構成によれば、細胞Sの重心位置変化、面積変化、前記縁部分の面積変化でも変形の判別が困難であった場合に、本実施形態のように、細胞Sの外形変化を寸法変化として直接捉えるのが好ましい。これにより、面積が明確に変化しない局部的な変形までを検知することができるので、画像処理手段8による操作具2aの先端位置xの検出を、さらに確実に行うことが可能となる。
続いて、図22〜図24を参照しながら、本発明の第9実施形態の説明を以下に行う。図22は、容器内に配置された擬似生体試料及び細胞を示す図である。また、図23は、保持部による擬似生体試料への接触動作を説明する図である。また、図24は、接触前後における擬似生体試料の観察画像および画像処理による変形検知方法を説明するための平面図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
なお、この再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第8実施形態の何れに対しても組み合わせて行うことが可能である。
そして、前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を操作の対象とする細胞の近傍にある擬似生体試料100上端の直上位置に移動させ、操作具2aが擬似生体試料100に対して接触または挿入可能な状態にする。このときの操作具2aが擬似生体試料100に接触していない状態が、図23上図及び図24上図に示す状態である。そして、操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、擬似生体試料100に対して操作具2aの先端位置xを断続的に近づけていく。そして、操作具2aが擬似生体試料100に接触した状態が、図23下図及び図24下図である。
擬似生体試料100の高さ寸法が既知であることから、この変形時における操作具2aの先端位置xが、容器Yの底面から擬似生体試料100の高さ寸法分だけ高い位置にあるとして正確に求められる。そして、この結果を、保持部2の参照形状に基づいて求めた操作具2aの先端位置xと比較して補正する。
なお、擬似生体試料100の変形有無及び移動有無を判定する際の閾値としては、例えば、外力を与えない状態で擬似生体試料100を測定した誤差の1.5倍とする。勿論、この閾値は一例であり、1.5倍に限らず、測定状況に応じて1を超える他の倍率を適宜設定しても良い。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、操作具2aには、その軸方向の圧縮応力のみが微弱に作用するが、擬似生体試料100の材質により、この応力は、細胞Sに接触接触する場合に比べて更に微弱に抑えられるので、先端を折損させるものではない。また変形の検出については、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。
続いて、図25を参照しながら、本発明の第10実施形態の説明を以下に行う。図25は、3箇所の座標による平面の定義と任意箇所の高さ算出方法を説明するための図である。
なお、本実施形態は、上記第1実施形態〜上記第9実施形態の変形例に相当するので、これら実施形態との相違点を中心に説明を行い、その他については上記各実施形態と同様であるとして説明を省略する。
仮想平面の定義は、空間上の3つの点T1〜T3を通る平面を下記数式(1)〜(3)として求め、容器Y内における任意の細胞Sの底部もしくは上端が、この仮想平面上に位置すると仮定する。そして、仮想平面を規定する前記方程式に任意位置のXY座標を代入することで、任意位置における仮想平面の高さZを算出することができる。
x=x1+(x2−x1)s+(x3−x1)t・・・(1)
y=y1+(y2−y1)s+(y3−y1)t・・・(2)
z=z1+(z2−z1)s+(z3−z1)t・・・(3)
また、この仮想平面上にあってx座標及びy座標が既知である点T4(x4,y4,z4)におけるz座標は、上記数式(1)〜(3)のs,tを消去することで、x=x4,y=y4として求められる。
そして、前記制御部5が、容器Y内の3箇所以上において操作具2aの先端と容器Yの底面もしくは細胞Sの上端との高さ方向の位置関係を認識し、容器Yの底面もしくは細胞Sの上端を共通の空間座標系の点で表し、これらの点を含む最も平均的な平面を定義し、その容器内における任意の細胞Sの底部もしくは上端がこれらの平面状に位置すると仮定するものとした。
これにより、操作具2aの先端と任意の細胞Sとの位置関係を、代表箇所での認識に基づき容器Y内全体を仮想的に予測するので、個別に認識する作業が不要となる上に、複数の細胞Sに対して高さ方向の無駄な動作を省いて効率的に位置決めすることが可能となる。また、位置関係の認識を4箇所以上とし、このうち3箇所の組合せを複数選択し、それぞれで定義される平面の平均を採用することで、任意の細胞Sに関する予測をより正確にすることも可能となる。
これにより、例えば、各細胞Sが載置される容器Yの底面が傾いていたとしても対応することができる。すなわち、各細胞Sが載置される面が傾いていた場合、単一の細胞Sに対してのみ、細胞S及び操作具2a間の相対的な位置を求めただけでは、他の細胞Sに対しては、操作具2aとの間で同様の位置関係が成立しないことになる。
そこで、3箇所以上の細胞Sに対して操作具2aを接触させることにより、前記傾きを加味した上で、各細胞S上端の高さ位置座標または底面の位置座標を示す前記仮想平面を求めることができる。そして、この仮想平面を、操作具2aの先端位置xを求める際の基準として用いることができるようになる。
一方、容器Y内の各細胞Sの大きさにある程度のばらつきがある場合には、各細胞S毎に個別に高さを認識する作業が必要であるものの、操作具2aを細胞Sと接触しない安全な高さまで接近させる位置の概略予測が可能であり、作業効率が向上する。
また、容器Yの底面の平面度が十分に得られない場合等では、図25に示すように、上記高さ方向の位置関係の認識を4箇所以上で行い、このうち、3箇所の組み合わせにより形成する仮想平面を複数形成する(仮想平面1,仮想平面2)。例えば4箇所の認識により、このうち3箇所の組合せによる仮想平面は4通り形成できる。そして、図26に示すように、これら仮想平面の傾きの平均の傾きをなす仮想平均面を求めることで、任意の細胞Sに関する予測をより正確に行うことが可能となる。
また、本発明は、操作対象物を操作する操作手段と、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段と、該保持手段を含む画像を取得する画像取得手段と、前記画像に基づき、前記操作手段の先端の位置の推定を行う推定手段とを備えた装置を制御する制御手段に対して用いられ、前記制御手段に対して、前記推定手段が前記画像に基づいて前記推定を行うように制御させるプログラム、及びこのプログラムを保存した記録媒体をも含むものとする。
(1) ***作物を操作する操作具と、この操作具を保持する保持部とを備えたマニピュレータ装置において、
前記保持部に対する前記操作具の先端位置を示す相対位置情報を取得する画像取得手段と、
該相対位置情報を含む画像を読み込んで前記操作具の先端位置を求める先端位置推定手段とを備える
ことを特徴とするマニピュレータ装置。
上記(1)に記載のマニピュレータ装置によれば、その先端位置推定手段が相対位置情報を読み込むことで、保持部を基準とする相対的な位置として操作具の先端位置を正確に求めることができる。
このように相対位置情報に基づき、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、正確に操作具の先端位置を求めることができるので、操作具及び***作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた***作物の操作を、高い効率で行うことが可能となる。
前記相対位置情報が、前記保持部の形状であり、
前記先端位置推定手段が、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置。
上記(2)に記載のマニピュレータ装置によれば、その先端位置推定手段が、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、上記(2)に記載のマニピュレータ装置によれば、設計・製造・検査段階において既知となる保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
前記保持部の形状が、前記操作具の先端位置で延長線が交差する複数の直線部を備え、これら直線部が、前記保持部を少なくとも2方向から見たそれぞれの場合で視認可能な位置に設けられている
ことを特徴とするマニピュレータ装置。
上記(3)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、各直線部の延長線による交差点を求めることで、操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれにおいて行うことで、保持部の先端位置を3次元的に求めることができる。
つまり、操作具の先端位置で延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具の先端位置を求めることが可能となる。
前記保持部の形状が、該保持部を少なくとも2方向から見たそれぞれの場合で、前記操作具の先端位置に対する相対的な位置が予め定められた線または面を備え、かつ、これら線内または面内に含まれる複数の任意点が、前記画像を撮像する点から等距離にある
ことを特徴とするマニピュレータ装置。
上記(4)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、保持部が含む線または面を座標基準とし、この座標基準に対する相対的な位置として操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれに対して行うことで、保持部の先端位置を3次元的に求めることができる。しかも、座標基準として用いる前記線または面は、これに含まれる複数の任意点が、画像を撮像する点から等距離にある。これにより、例え操作具が、画像を撮像する点から見て奥行き方向に焦点位置が変化するように傾いた状態に配置されていても、前記線または面の画像を、1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済むので、簡易な操作で操作具の先端位置を求めることが可能となる。
前記***作物が載置される透明な底壁面と、該底壁面上の空間を側面視した画像を真下に向けて反射する鏡面とを有する容器を備える
ことを特徴とするマニピュレータ装置。
上記(5)に記載のマニピュレータ装置によれば、底壁面の真下位置からこの底壁面を透過して保持部を撮像することで、第1の画像が撮像できる。続いて、鏡面の真下位置から鏡面を撮像することで、鏡面に映り込んでいる、容器内を側面視した第2の画像を撮像することができる。このようにして、異なる2方向のからの画像を、同一方向の視線から撮像することができる。
したがって、鏡面を介さずに直接的に保持部を撮像した画像と、鏡面を介して保持部を撮像した画像とを取得することにより、撮像方向の異なる複数の撮像手段を配置せずに済むことが可能となる。また、通常の顕微鏡を用いることも可能となる。
前記底壁面の高さ位置が、前記鏡面の最下端位置よりも高くなるように配置されている
ことを特徴とするマニピュレータ装置。
上記(6)に記載のマニピュレータ装置によれば、底壁面の高さ位置が鏡面の最下端位置よりも高くなるようにすることで、鏡面を介して容器内を側面視した画像を撮像する際に、この画像内に容器の底壁面や、***作物の底面位置も含めて鮮明に撮像することが可能となる。
前記***作物を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて前記***作物の形状及び位置の少なくとも一方の変化を判別する判別手段とを備える
ことを特徴とするマニピュレータ装置。
上記(7)に記載のマニピュレータ装置によれば、操作具を保持部とともに***作物に対して徐々に接近させていくと同時に***作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを判別手段が画像上で確認する。そして、判別手段により変化が生じたと確認された時点で、操作具の先端が***作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記先端位置推定手段が求めた操作具の先端位置と比較することにより、先端位置推定手段の推定結果が正しいかを確実に確認することができる。
前記判別手段が、前記***作物の重心位置変化、及び前記***作物の外形によって形成される面積変化の少なくとも一方を判別する
ことを特徴とするマニピュレータ装置。
上記(8)に記載のマニピュレータ装置によれば、操作具の先端を***作物の上端に当てることで***作物に外力が作用し、***作物の重心位置、及び***作物の面積の少なくとも一方が変化する。そこで、この変化を判別手段が捉えることで、***作物に当接した時の操作具の先端位置をより確実に求めることができるようになる。しかも、この検出作業は自動化に適しているので、マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
前記判別手段が、前記***作物の画像を、前記***作物の輪郭を含む複数の孤立した領域に分割するように図形で区切り、前記領域の面積変化を判断する
ことを特徴とするマニピュレータ装置。
上記(9)に記載のマニピュレータ装置によれば、操作具の先端を***作物に当てることで操作具の先端位置を求めようとしたとき、***作物の重心位置変化及び面積変化のみでは判別困難であった場合に、本発明のように、***作物の画像を図形で区切って複数の領域に分割し、少なくとも1つの領域の面積変化を判別するのが好ましい。すなわち、操作具の先端を***作物の上端に当てることで***作物に外力が作用し、いずれかの領域の面積が変化する。そこで、この面積変化を判別手段が捉えることで、***作物の重心位置変化及び面積変化のみでは判別困難であった場合においても、***作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
前記判別手段が、前記***作物の画像に対して任意の点を設定し、この点から前記***作物の外形をなす稜線上の各点までの距離寸法の変化を判断する
ことを特徴とするマニピュレータ装置。
上記(10)に記載のマニピュレータ装置によれば、操作具の先端を***作物に当てることで操作具の先端位置を求めようとしたとき、***作物の重心位置変化、面積変化、前記縁部分の面積変化でも判別困難であった場合に、本発明のように、***作物の外形変化を捉えるのが好ましい。すなわち、操作具の先端を***作物の上端に当てることで***作物に外力が作用し、前記任意の点から***作物の稜線上の各点までの距離寸法が変化する。したがって、前記距離寸法の変化を判別手段が常に監視しながら操作具を***作物に近づけていき、前記距離寸法が変化した時点を捉えることで、***作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
前記保持部の画像を基準として、前記操作具の先端位置を求める検出工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(11)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像工程と検出工程を行うことで、保持部を基準とする相対的な位置として、操作具の先端位置を正確に求めることができる。
したがって、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、このようにして正確に操作具の先端位置を求めることができるので、操作具及び***作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた***作物の操作を、高い効率で行うことが可能となる。
前記検出工程では、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(12)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、変化することのない保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
前記操作具を***作物に対して接近させる第1の接近工程と、
前記***作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第1の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(13)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに***作物に対して徐々に接近させていくと同時に***作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを画像上で確認する。そして、第1の判別工程において***作物の形状変化、位置変化、面積変化のうちの少なくとも一つが確認された時点で、操作具の先端が***作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
少なくとも3箇所以上の前記***作物それぞれに対して、前記第1の接近工程及び前記第1の判別工程を行い、これら***作物と前記操作具との間の各接点のうち3点を含む仮想平面を形成し、高さ方向に関してはこの仮想平面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(14)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、例えば、各***作物が載置される面が傾いていたとしても対応することができる。すなわち、各***作物が載置される面が傾いていた場合、単一の***作物に対してのみ、***作物及び操作具間の相対的な位置を求めただけでは、他の***作物に対しては、操作具との間で同様の高さ方向の位置関係は成立しないことになる。そこで、3箇所以上の***作物に対して操作具を接触させることにより、前記傾きを加味した上で、各***作物上端の高さ位置座標を示す仮想平面を求めることができる。この仮想平面を、操作具の先端位置を求める際の基準として用いることができる。
したがって、仮想平面を操作具の先端位置を求める際の基準として用いることができるので、例え、各***作物が載置される面が傾いていたとしても、この傾きを加味した上で、各***作物と操作具の先端位置との間の相対位置を正確に求めることが可能となる。
前記仮想平面を複数形成し、これら仮想平面の平均的な傾きを有する仮想平均面を求め、高さ方向に関してはこの仮想平均面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(15)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、1つの仮想平面のみを用いて求めた各***作物上端の高さ位置座標よりも、複数の仮想平面の平均に基づいて求めた仮想平均面の方を各***作物上端の高さ位置座標として用いる方が、より正確に各***作物と操作具の先端位置との間の相対位置を求めることができる。すなわち、各***作物の形状寸法にある程度のばらつきがあっても、このばらつきを平均化して吸収することが可能となる。
前記***作物が配置される容器内に形状寸法が既知の擬似***作物を配置し、該擬似***作物に対して前記操作具を接近させる第2の接近工程と、
前記擬似***作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第2の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(16)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに擬似***作物に対して徐々に接近させていくと同時に擬似***作物の撮像を行い、その形状変化、位置変化、面積変化のうちの少なくとも一つが生じないかを画像上で確認する。そして、第2の判別工程において***作物の形状変化、位置変化、面積変化のうちの少なくとも一つに変化が生じたと確認された時点で、操作具の先端が擬似***作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
2a・・・操作具(操作手段)
5・・・制御部(推定手段,位置推定手段)
6,7・・・撮像手段(画像取得手段,撮像手段)
8・・・画像処理手段(情報生成手段)
100・・・擬似生体試料
P1・・・点(画像処理上の基準となる点)
S・・・細胞(操作対象物,生体試料)
X・・・先端位置(操作手段の先端の位置)
Claims (5)
- 光学的分解能を上回る微細な先端を有し、顕微鏡によって観察される微小な操作対象物に当該先端が接触又は挿入されて当該操作対象物を操作する操作手段と、
前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに、前記操作手段を保持する保持手段と、
前記操作手段の先端を検出できない撮影解像度限界を有し、前記保持手段を含む画像を撮影する撮像手段と、
前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する推定手段と、
を備えることを特徴とするマニピュレータ装置。 - 前記操作対象物が、生体試料を含むことを特徴とする請求項1に記載のマニピュレータ装置。
- 前記生体試料が、生体細胞を含むことを特徴とする請求項2に記載のマニピュレータ装置。
- 前記操作手段が、前記操作対象物に接触又は挿入される針状の操作具であることを特徴とする請求項1に記載のマニピュレータ装置。
- 微小な操作対象物に光学的分解能を上回る微細な先端を接触または挿入して当該操作対象物を操作する操作手段を備えるマニピュレータ装置における当該操作手段の先端位置を推定する方法であって、
前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに前記操作手段を保持する保持手段が含まれる画像を、前記操作手段の先端を検出できない撮影解像度限界を有する撮像手段によって撮影する工程と、
前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する工程と、
を有することを特徴とするマニピュレータ装置における操作手段の先端位置の推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003354015A JP3973614B2 (ja) | 2003-10-14 | 2003-10-14 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
US10/963,136 US20050151092A1 (en) | 2003-10-14 | 2004-10-12 | Manipulator apparatus, manipulating system, image processing apparatus, program, and apparatus controlling process |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003354015A JP3973614B2 (ja) | 2003-10-14 | 2003-10-14 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036636A Division JP2007140557A (ja) | 2007-02-16 | 2007-02-16 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005118905A JP2005118905A (ja) | 2005-05-12 |
JP3973614B2 true JP3973614B2 (ja) | 2007-09-12 |
Family
ID=34612123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003354015A Expired - Fee Related JP3973614B2 (ja) | 2003-10-14 | 2003-10-14 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050151092A1 (ja) |
JP (1) | JP3973614B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8404492B2 (en) * | 2006-11-22 | 2013-03-26 | Health Robotics S.R.L. | Method and machine for manipulating toxic substances |
JP4926930B2 (ja) * | 2007-12-10 | 2012-05-09 | オリンパス株式会社 | ニードル |
JP2010169823A (ja) * | 2009-01-21 | 2010-08-05 | Nikon Corp | 細胞観察画像の画像処理方法、画像処理プログラム及び画像処理装置 |
CA2842685A1 (en) * | 2011-07-22 | 2013-01-31 | Roche Diagnostics Hematology, Inc. | Sample applicator sensing and positioning |
AU2013289898A1 (en) | 2012-07-13 | 2015-01-22 | Roche Diagnostics Hematology, Inc. | Controlled dispensing of samples onto substrates |
EP3034602B1 (en) * | 2014-12-15 | 2020-02-12 | Yokogawa Electric Corporation | Cell suction system, and method for performing suction work of intracellular substance using the same |
JP6090387B2 (ja) | 2014-12-15 | 2017-03-08 | 横河電機株式会社 | 細胞吸引システム及びこれを用いた細胞内物質の吸引作業を行う方法 |
CN108290286A (zh) * | 2015-12-03 | 2018-07-17 | Abb瑞士股份有限公司 | 用于教导工业机器人拾取零件的方法 |
CN111093830A (zh) * | 2017-07-18 | 2020-05-01 | 分子装置有限公司 | 具有基于成像的移液管吸头定位的对象挑取设备 |
JP7065731B2 (ja) * | 2018-08-30 | 2022-05-12 | 株式会社キーエンス | 拡大観察装置 |
JP7092618B2 (ja) * | 2018-08-30 | 2022-06-28 | 株式会社キーエンス | 拡大観察装置 |
JP7097799B2 (ja) * | 2018-11-21 | 2022-07-08 | Thk株式会社 | 画像情報処理装置、把持システム、および画像情報処理方法 |
JP7263800B2 (ja) * | 2019-01-31 | 2023-04-25 | 日本精工株式会社 | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 |
CN110108635B (zh) * | 2019-05-11 | 2024-03-22 | 金华职业技术学院 | 一种单细胞粘附力测量方法 |
JP7468211B2 (ja) | 2020-07-16 | 2024-04-16 | 日本精工株式会社 | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0275322B1 (en) * | 1986-07-15 | 1993-07-07 | Kabushiki Kaisha Yaskawa Denki Seisakusho | Method of detecting position data in arc welding |
US5279309A (en) * | 1991-06-13 | 1994-01-18 | International Business Machines Corporation | Signaling device and method for monitoring positions in a surgical operation |
IT228031Y1 (it) * | 1992-05-15 | 1998-02-05 | Calzaturificio Tecnica Spa | Regolatore di inclinazione laterale migliorato |
US5671086A (en) * | 1995-04-18 | 1997-09-23 | The Regents, University Of California | Method and apparatus for accurately manipulating an object during microelectrophoresis |
AU1627199A (en) * | 1997-12-02 | 1999-06-16 | Ozo Diversified Automation, Inc. | Automated system for chromosome microdissection and method of using same |
-
2003
- 2003-10-14 JP JP2003354015A patent/JP3973614B2/ja not_active Expired - Fee Related
-
2004
- 2004-10-12 US US10/963,136 patent/US20050151092A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20050151092A1 (en) | 2005-07-14 |
JP2005118905A (ja) | 2005-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3973614B2 (ja) | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 | |
Wang et al. | Autofocusing and polar body detection in automated cell manipulation | |
US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
EP2402813B1 (en) | Microscope and area determination method | |
US9933606B2 (en) | Surgical microscope | |
CN109387157A (zh) | 通过侧向视角成像来表征样本的高度轮廓 | |
CN104111524A (zh) | 数码显微镜以及优化数码显微镜中工作流程的方法 | |
JP5826250B2 (ja) | マイクロ操作ツールを無衝突で位置決めする方法 | |
WO2009110462A1 (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
US9145572B2 (en) | Observation system, recording medium, and control method of observation system | |
US10890749B2 (en) | Magnifying observation apparatus | |
JP2015230393A (ja) | 撮像装置の制御方法および撮像システム | |
JPWO2018163683A1 (ja) | 撮像システム | |
US20160363748A1 (en) | Microscope system and microscopy method | |
CN103257438A (zh) | 一种基于自动控制电动平移台的平面二维矩形扫描装置及其扫描方法 | |
JP2007140557A (ja) | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 | |
JP2022109258A (ja) | 人間工学的視野に基づく光学顕微鏡システム | |
US20160274366A1 (en) | Device, System And Method For The Visual Alignment Of A Pipettor Tip And A Reference Point Marker | |
JP2023036742A (ja) | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 | |
JP6528911B2 (ja) | マニピュレーションシステム | |
EP1684107B1 (en) | Examination method and examination-assisting tool | |
WO2009125547A1 (ja) | 培養装置の制御装置及び制御プログラム | |
JP3869905B2 (ja) | 金属材料中の非金属介在物検査方法および装置 | |
US10859806B2 (en) | Magnifying observation apparatus | |
JP2001211875A (ja) | 微細物体の採取装置および採取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070612 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |