JP3887684B2

JP3887684B2 - Attitude control device and attitude control method for minute objects

Info

Publication number: JP3887684B2
Application number: JP2003024036A
Authority: JP
Inventors: 芳夫田中; 昭継村上
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2007-02-28
Anticipated expiration: 2023-01-31
Also published as: JP2004230528A

Description

【０００１】
【発明の属する技術分野】
本発明は、微小物質又は微小構造物の姿勢制御装置及び姿勢制御方法に関し、特に、化学分析、医療、環境計測、創薬等の諸分野において有用な極微量の試薬、細胞、ＤＮＡ等の非球状物の精密自動操作、マイクロマシンにおけるマイクロ構造物の自動組立などに必要とされる微小な対象物の３次元空間における位置及び姿勢を、非接触で精密に自動操作することができる微小物の姿勢制御装置及び姿勢制御方法に関するものである。
【０００２】
【従来の技術】
近年、医療、化学分析、環境計測などの各分野において、混合・反応系、検出系、電子回路、ポンプなどをマイクロ化して、化学分析システム全体をＩＣ化する技術、すなわちμ−ＴＡＳ（Micro Total Analysis System）関する要素技術開発の必要性が高まっている。このマイクロ化技術のうち、検査試薬などの微小物質を特定の位置へ注入する技術に関しては、微小ノズルやピンを利用して滴下する技術が実現されている。また、ミクロンサイズのマイクロ構造物の組立に関しては、接触型のマイクロハンドによって行うことが検討されている。
【０００３】
他方、光ピンセット法で、レーザ光を利用してミクロンサイズの微粒子や液滴を、非接触で操作できることが知られており、化学分野における微小領域での反応の制御や分析、生物工学における微生物や遺伝子操作などに対しての応用が行われている（下記特許文献１〜３参照）。
【０００４】
また、下記特許文献４には、光ピンセット法によって捕捉することができない、周囲の媒質よりも低屈折率の微粒子や、レーザ光を反射する金属微粒子などを保持し、配列させる方法が開示されている。
【０００５】
【特許文献１】
特開昭６４−３４４３９号公報
【０００６】
【特許文献２】
特開平９−３２９６０２号公報
【０００７】
【特許文献３】
特開平１１−５６３４１号公報
【０００８】
【特許文献４】
特開２００１−２３２１８２号公報
【０００９】
【発明が解決しようとする課題】
しかし、微小ノズルやピンを利用して滴下する方法では、針状ウイスカ等の球状以外の物質をノズルから排出することや精密に配向配置することは困難であった。
【００１０】
また、接触型のマイクロハンドでは、ハンドと操作被対象物であるマイクロ構造物との間の表面間力などに起因する付着などにより、精密な操作が困難であり、かつマイクロハンドの操作には非常に熟練を必要とした。このため、非対称なマイクロ構造物の組立に必要な姿勢制御や自動操作には至っていない。
【００１１】
また、光ピンセット法では、安定に捕捉可能な対象は、球状物質や焦点位置におけるレーザ光のスポットサイズに対して比較的大きな細胞に限定されており、レーザ光の放射圧により回転モーメントの発生するウイスカ等の非球状物質やマイクロ構造物を、その姿勢を考慮して操作することは困難であった。さらに、細胞や生体高分子などの操作に際しては、操作に用いるレーザ光の波長によっては、熱的損傷を与えるなどの問題があり、幅広い波長のレーザ光の利用が不可能であった。
【００１２】
また、上記特許文献４に開示されているビームの放射圧を使用する方法では、微小粒子を保持し、配列させることは可能であるが、非対称な構造物の精密な姿勢制御を行うことは出来ない。
【００１３】
以上のように、針状ウイスカ、複雑な形状のマイクロ構造物、糸状のＤＮＡなど、球状以外のミクロンサイズの対象物を、精密かつ安定に３次元空間において位置、姿勢、形状を自動的に操作できる技術の開発が、上記分野における重要な課題となっていた。
【００１４】
上記の課題を解決するために、本発明は、液体中又は気体中において、非接触で、熱的損傷や物理的損傷を与えることなく、非球状の形状を有する微小物質又は微小構造物の３次元空間中の位置、姿勢を安定、正確、且つ自動的に操作することができ、柔軟な微小物又は構造物の３次元的な形状や構造を自動的に変化させることができる微小物の姿勢制御装置及び姿勢制御方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の目的は、以下の手段によって達成される。
【００１６】
即ち、本発明に係る微小物の姿勢制御装置（１）は、少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、複数台のカメラと、少なくとも３本のビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記識別可能な特徴が、色素による着色、量子ドットによるコード化、マイクロ加工によるコード化、及び粒子径の違いからなる群の中の何れかであることを特徴とする。
【００１７】
また、本発明に係る微小物の姿勢制御装置（２）は、少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、複数台のカメラと、少なくとも３本のビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、少なくとも３本の前記ビームのうち、２本のビームが、偏光方向が相互に直交する第１波長のレーザ光であり、残りのビームが、前記第１波長と異なる波長のレーザ光であることを特徴とする。
【００１８】
また、本発明に係る微小物の姿勢制御装置（３）は、少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、複数台のカメラと、少なくとも３本のビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、前記ビーム出力部が、前記ビームの集束位置を変化させる時間間隔よりも短い周期で、１本のビームを時分割して、少なくとも３本の前記ビームを生成することを特徴とする。
【００１９】
また、本発明に係る微小物の姿勢制御装置（４）は、上記微小物の姿勢制御装置（１）〜（３）の何れかにおいて、前記制御部が、前記操作部から、前記微小物の姿勢変化情報及び／又は位置変化情報の入力を受け、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の３次元位置座標とを使用して、前記微粒子の移動先である目標位置の３次元座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の３次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする。
【００２０】
また、本発明に係る微小物の姿勢制御装置（５）は、上記微小物の姿勢制御装置（４）において、前記微小物が剛性物である場合、前記制御部が、複数枚の前記画像から計算した各々の前記微粒子の３次元位置座標の相対距離を保持するように、前記目標位置の３次元座標を計算することを特徴とする。
【００２１】
また、本発明に係る微小物の姿勢制御装置（６）は、上記微小物の姿勢制御装置（２）又は（３）において、前記カメラによって相互に識別可能な特徴を有し、前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の３次元位置座標を計算することを特徴とする。
【００２３】
また、本発明に係る微小物の姿勢制御方法（１）は、少なくとも３本のビームを生成する第１ステップと、球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、前記ビームの集束位置を変化させる第５ステップとを含み、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記識別可能な特徴が、色素による着色、量子ドットによるコード化、マイクロ加工によるコード化、及び粒子径の違いからなる群の中の何れかであることを特徴とする。
【００２４】
また、本発明に係る微小物の姿勢制御方法（２）は、少なくとも３本のビームを生成する第１ステップと、球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、前記ビームの集束位置を変化させる第５ステップとを含み、少なくとも３本の前記ビームのうち、２本のビームが、偏光方向が相互に直交する第１波長のレーザ光であり、残りのビームが、前記第１波長と異なる波長のレーザ光であることを特徴とする。
【００２５】
また、本発明に係る微小物の姿勢制御方法（３）は、所定時間間隔で１本のビームを時分割して、少なくとも３本のビームを生成する第１ステップと、球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、前記所定時間間隔よりも長い時間間隔で前記ビームの集束位置を変化させる第５ステップとを含むことを特徴とする。
【００２６】
また、本発明に係る微小物の姿勢制御方法（４）は、上記微小物の姿勢制御方法（１）〜（３）の何れかにおいて、前記微小物の姿勢変化情報及び／又は位置変化情報の入力を受け付ける第６ステップと、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の３次元位置座標とを使用して、前記微粒子の移動先である目標位置の３次元座標を計算する第７ステップと、各々の前記ビームが対応する前記目標位置の３次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第８ステップとを含むことを特徴とする。
【００２７】
また、本発明に係る微小物の姿勢制御方法（５）は、上記微小物の姿勢制御方法（４）において、前記微小物が剛性物である場合、前記第７ステップにおいて、複数枚の前記画像から計算した各々の前記微粒子の３次元位置座標の相対距離を保持するように、前記目標位置の３次元座標を計算することを特徴とする。
【００２８】
また、本発明に係る微小物の姿勢制御方法（６）は、上記微小物の姿勢制御方法（２）又は（３）において、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記第３ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の３次元位置座標を計算することを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態を、添付した図面に基づいて説明する。即ち、３個の微粒子を表面に取り付けたマイクロ構造物（以下、微小物と記す）の３次元的姿勢を自動的に制御する微小物の姿勢制御装置及び制御方法について説明する。
【００３１】
図１は、本発明の実施の形態に係る微小物の姿勢制御装置の概略構成を示すブロック図である。姿勢制御装置は、制御部５と、第１及び第２カメラ部４、４’と、光源７と、第１〜第３焦点移動機構１２〜１２”とを備えて構成されている。制御部５は、後述する制御及びデータ処理を行う処理部（以下、ＣＰＵと記す）２０と、データを一時的に記憶するメモリ部２１と、データを持続的に記録する記録部２２と、操作部２３と、制御インタフェース部２４と、ビデオ部２５と、制御部５内部でデータを交換するためのデータバス２６と、表示部２７とを備えている。第１〜第３焦点移動機構１２〜１２”は、制御インタフェース部２４を介して、ＣＰＵ２０によって制御され、光源７から発せられたレーザ光を、顕微鏡（図示せず）試料面内に配置された微小物３に導いて、後述するように微小物３を捕捉する。図１では、光源７から微小物３に対して照射されるレーザ光の経路は省略している。また、第１及び第２カメラ４、４’からの映像信号は、ビデオ部２５を介して表示部２７に表示され、必要に応じて、ディジタルデータとしてフレーム毎に記録部２２に記録される。
【００３２】
図２は、レーザ光による微小物３の捕捉を模式的に示す斜視図である。図２では、微小物３の３個の頂点に、レーザ光に対して透明の球状の微粒子（以下、球状粒子と記す）２〜２”が取り付けられている。球状粒子２〜２”の材質は、所定の波長のレーザ光を透過し、微小物３が浮遊する周囲の媒質よりも高屈折率であり、例えば、ポリスチレンやホウ珪酸塩ガラスなどを使用することができる。微小物３に球状粒子２〜２”を取り付ける方法は、微小物３及び球状粒子２〜２”の材質に応じた紫外線硬化性の接着剤を使用するなど、既知の種々の方法を使用することが可能であるので、ここでは説明を省略する。光源７から、３本のレーザ光が生成され、各々のレーザ光は対応する第１〜第３焦点移動機構１２〜１２”を介して、微小物３に取り付けられた対応する球状粒子２〜２”に照射される。このとき、３本のレーザ光は、各々対応する球状粒子２〜２”に集束するように、第１〜第３焦点移動機構１２〜１２”によって光路が制御される。この高密度に集束されたレーザ光１〜１”によって光ピンセットの原理により、その焦点位置で球状粒子２〜２”が捕捉される。従って、図２に示したように微小物３を安定に保持することができる。このとき、レーザ光を集束すべき３個の球状粒子２〜２”の３次元位置は、異なる位置に配置された２つのカメラ部４、４’で、球状粒子２〜２”を撮影することによって得られる、２枚の視差を有する画像から、立体視の原理などに基づいて計算される。
【００３３】
図３は、図１に示した姿勢制御装置における光学系構成の一実施の形態をより詳細に示すブロック図である。図１に示した光源７として、図３においては２つの光源７’、７”を使用している。
【００３４】
光源７’からのレーザ光は、ビームエクスパンダ８によって径、即ちレーザ光の空間的広がりを変化され、半波長板９を通り、第１偏光ビームスプリッタ１０、１０’によって２方向のレーザ光に分解される。これら２本のレーザ光は、それぞれ電磁シャッタ１１、１１’を介し、ガルバノミラー対及び焦点位置変更レンズを装備して構成される第１焦点位置移動機構１２及び第２焦点位置移動機構１２’を経由し、第２偏光ビームスプリッタ１３、１３’によって各々の光路軸を揃えられ、リレーレンズ１４によって落射照明光の軸と一致させて顕微鏡６内に導入される。
【００３５】
上記した分解後の２本のレーザ光は、顕微鏡６の対物レンズ１５によりその焦点位置で、微小物３に取り付けられた球状粒子２〜２”の直径よりも小さい波長限界程度、例えば１μｍ程度のスポットサイズまで高密度に集束される。さらに、球状粒子２〜２”は第１及び第２カメラ４、４’から得られる２枚の画像上で認識され、これらの画像を基に、各々の球状粒子２〜２”の位置が計算され、集束されたレーザ光の顕微鏡６内での焦点位置ＸＹＺが、対応する球状粒子２、２’の中心位置となるように第１及び第２焦点位置移動機構１２、１２’が制御される。この際、生成された２本のレーザ光は、光路中に配置された半波長板９、第１偏光ビームスプリッタ１０、１０’、及び第２偏光ビームスプリッタ１３、１３’によって、偏光方向が直交しており、干渉を起こすことはない。したがって、２本のビームの相対位置により強度分布が変化することはなく、各々のレーザ光によって安定して目的とする球状粒子２、２’を捕捉することができる。
【００３６】
３個目の球状粒子２”を捕捉するためのビームは、上記したレーザ光との干渉を避けるために、上記の２本のビームと波長の異なるレーザ光を発生する光源７”を使用する。光源７”からのレーザ光も上記した２本のビームと同様に、ビームエクスパンダ８’によって径を変化され、電磁シャッタ１１”を介した後に、焦点位置移動機構１２”を経由して、ビームスプリッタ１３”によって上記２本のビームと光路軸を揃えられ、リレーレンズ１４を経由して顕微鏡６内に導入され、３個目の微粒子２”を捕捉する。
【００３７】
次に、上記したように３本のレーザ光によって安定に保持された、剛性を有する、即ち形状が容易に変化しない微小物３の姿勢及び位置を制御する方法に関して説明する。図４は、本発明の実施の形態に係る姿勢制御方法を示すフローチャートである。以下において、ＣＰＵ２０は、処理に必要なデータを記録部２２から読み出し、メモリ部２１上で計算を行い、計算結果を必要に応じて記録部２２に記録する。
【００３８】
ステップＳ１において、ＣＰＵ２０は、操作部２３からの指示を受けて、第１及び第２カメラ部４、４’からの画像データを、ビデオ部２５を介して記録部２２に取り込む。例えば、第１及び第２カメラ部４、４’から出力される映像データがアナログ信号である場合、第１及び第２カメラ部４、４’からの信号は、所定のタイミングでビデオ部２５においてＡ／Ｄ変換された後、各々１フレーム分のディジタル画像データ（同時刻の２枚の画像データ）として記録部２２に記録される。
【００３９】
ステップＳ２において、ＣＰＵ２０は、取り込んだ２枚の画像データを、ビデオ部２５を介して表示部２７に表示し、操作部２３によって、表示された２枚の画像の対応する点が指定されるのを待ち受ける。ここで、操作部２３が操作されて、各々の画像上で、３個の球状粒子２〜２”に対応する３個の点（合計６個の点）が指定されると、ＣＰＵ２０は、第１及び第２カメラ部４、４’の３次元座標、及び指定された点の各々の画像上での座標を基に、３個の球状粒子２〜２”の３次元座標を計算する。
【００４０】
ステップＳ３において、ＣＰＵ２０は、３本のレーザ光が、ステップＳ２で３次元座標を計算された３個の球状粒子２〜２”の各々に集束するように、制御インタフェース部２４を介して、第１〜第３焦点移動機構１２〜１２”を制御し、レーザ光の照射を開始する。これによって、光ピンセットの原理で３個の球状粒子２〜２”が捕捉、すなわち、微小物３が安定に保持される。
【００４１】
微小物３が保持された後、ステップＳ４において、ＣＰＵ２０は、微小物３の姿勢及び位置を変更する指示を待ち受ける。剛性物である微小物３の姿勢及び位置の変化は、微粒子の３次元位置を指定するのに使用した座標系における回転ベクトルＲ及び並進ベクトルＶで記述できる。従って、回転ベクトルＲ及び並進ベクトルＶが操作部２３から指定され得るようにしておけばよい。これによって、３個の球状粒子２〜２”相互の間隔が保持される。ＣＰＵ２０は、入力されたベクトルＲ、ベクトルＶを基に、球状粒子２〜２”の現在の３次元座標（Ｘsi，Ｙsi，Ｚsi）から、移動後の位置座標（Ｘei，Ｙei，Ｚei）（以下、目標位置座標と記す）を計算する。ここでｉ＝１〜３であり、３個の球状粒子２〜２”に対応する。
【００４２】
ステップＳ４で球状粒子２〜２”の目標位置座標が計算された後、ステップＳ５において、球状粒子２〜２”を目標位置にゆっくりと移動させるために、最初の微小移動に対応する微小位置変化量（ΔＸi、ΔＹi、ΔＺi）を計算する。これは、球状粒子２〜２”を捕捉しているレーザ光の焦点位置の移動が速過ぎると、球状粒子２〜２”を安定に捕捉することができないからである。位置変化量（ΔＸi、ΔＹi、ΔＺi）は、球状粒子２〜２”の現在の３次元座標（Ｘsi，Ｙsi，Ｚsi）と、微小回転ベクトルΔＲ及び微小並進ベクトルΔＶとを基に計算する。ベクトルΔＲ及びΔＶには、例えば、それぞれベクトルＲ及びＶをＮ等分したものを使用すればよい。ここで、Ｎの値は捕捉用レーザ光の焦点の移動が速過ぎないように決定されることが望ましい。
【００４３】
ステップＳ６において、ＣＰＵ２０は、第１〜第３焦点移動機構１２〜１２”を制御して、各レーザ光の集束位置を微小量だけ変化させて、各レーザ光を（Ｘsi＋ΔＸi、Ｙsi＋ΔＹi、Ｚsi＋ΔＺi）に集束させる。これによって、光ピンセットの原理によって、レーザ光の焦点位置の微小移動に応じて、球状粒子２〜２”も微小移動する。例えば、最終的に図５に示したように微小物３の位置と姿勢を変化させるために、即ち３本のレーザ光によって捕捉された球状粒子２〜２”を移動させるために、球状粒子２〜２”の最初の微小移動が行われる。
【００４４】
ステップＳ７において、ＣＰＵ２０は、ステップＳ１と同様に第１及び第２カメラ４、４’から画像を取り込み、ステップＳ２で指定された点、即ち３個の球状粒子２〜２”の現在位置座標（Ｘi，Ｙi，Ｚi）（ｉ＝１〜３）を計算する。
【００４５】
ステップＳ８において、ＣＰＵ２０は、各々の球状粒子２〜２”に関して、現在位置座標と（Ｘi，Ｙi，Ｚi）とステップＳ４で計算した目標座標（Ｘei，Ｙei，Ｚei）との差の絶対値｜Ｘi−Ｘei｜、｜Ｙi−Ｙei｜、｜Ｚi−Ｚei｜を計算し、各々の値が所定の値以下であるか否かを判断する。全ての差の絶対値が、所定の値以下であると判断した場合、ステップＳ１０に移行する。少なくとも１つの差の絶対値が、所定の値以下で無いと判断した場合、ステップＳ９に移行する。
【００４６】
ステップＳ９において、ＣＰＵ２０は、（Ｘi，Ｙi，Ｚi）を移動開始点として、ステップＳ５と同様に、微小位置変化量（ΔＸi、ΔＹi、ΔＺi）を計算した後、ステップＳ６に移行する。
【００４７】
ステップＳ８において、全ての差の絶対値が、所定の値以下であると判断されるまで、即ち、目標位置に全ての球状粒子２〜２”が到達したと判断されるまで、ステップＳ６〜Ｓ９の処理を繰り返す。これによって、図５に示したように、微小物３の姿勢及び位置を変更することができる。
【００４８】
ステップＳ１０において、ＣＰＵ２０は、停止の指示があったか否か判断し、停止の指示あったと判断した場合、レーザ光の焦点位置の移動を停止して、その位置と姿勢で微粒子を保持して一連の処理を終了し、停止の指示がなかったと判断した場合、微小物３を移動する指示を受け付けるためにステップＳ４に戻り、ステップＳ４〜Ｓ９の処理を繰り返す。
【００４９】
以上において、ステップＳ４での微小物３の姿勢及び位置を変更する指示が、微粒子の３次元位置を指定するのに使用した座標系における回転ベクトルＲ及び並進ベクトルＶによって指定される場合を説明したが、球状粒子２〜２”の移動後の位置（目標位置）を直接指定するようにしてもよい。その場合には、３個の球状粒子２〜２”相互の距離を保持する条件で、各々の球状粒子２〜２”の目標位置が指定され得るようにし、微小位置変化量（ΔＸi、ΔＹi、ΔＺi）を計算することが必要となる。この場合にも、最初に回転ベクトルＲ及び並進移動ベクトルＶを計算した後、微小位置変化量（ΔＸi、ΔＹi、ΔＺi）を計算してもよい。
【００５０】
また、微小物３の形状が柔軟に変化し得るものであれば、ステップＳ４における微小物３の姿勢及び位置を変更する指示は、各々の球状粒子２〜２”の目標位置を直接指定することによって行えばよい。この場合、球状粒子２〜２”の３次元座標（Ｘsi，Ｙsi，Ｚsi）と、指定された目標位置座標（Ｘei，Ｙei，Ｚei）とを使用して、球状粒子２〜２”を目標位置にゆるやかに移動するために必要となる微小位置変化量（ΔＸi、ΔＹi、ΔＺi）を、例えば、移動開始点の座標（Ｘsi，Ｙsi，Ｚsi）と、目標位置座標（Ｘei，Ｙei，Ｚei）との差を所定数Ｎで除して計算すればよい。従って、３個の球状粒子２〜２”全てをレーザ光によって捕捉せずに、２個の球状粒子、例えば球状粒子２、２’のみを捕捉して、その間隔を変化させることによって、微小物３の形状を変化させることもできる。
【００５１】
また、３個の球状粒子２〜２”及び３本のレーザ光を使用する場合を説明したが、４個以上の球状粒子又は４本以上のレーザ光を使用してもよい。特に、操作の途中において微小物３の回転などによって、一部の球状粒子をカメラで観測できなくなる場合や、レーザ光で捕捉できなくなる場合にも制御を可能とするには、少なくとも３個の球状粒子がカメラによって常に観測され、且つレーザ光で常に捕捉され得るように、４個以上の球状粒子を微小物３の表面の適切な位置に取り付けて、姿勢制御することが望ましい。
【００５２】
また、球状粒子２〜２”の材質は、上記したポリスチレンやホウ珪酸塩ガラスに限定されず、所定の波長のレーザ光を透過し、所定の波長のレーザ光に対して周囲の媒質よりも高屈折率である材質であれば良い。
【００５３】
また、上記では、最初に、人によって操作部２３が操作されて球状粒子２〜２”の位置が指定される場合を説明したが、第１及び第２カメラ４、４’の画像上で識別可能な３個の球状粒子２〜２”を取り付けることによって、画像認識技術によって自動的に各々の球状粒子２〜２”を識別し、３次元座標を計算するようにしてもよい。識別手段としては、色素による着色、量子ドットやマイクロ加工によるコード化、さらには、粒子径の違いなどを使用すればよい。
【００５４】
また、球状粒子２〜２”を捕捉し、操作するためのビームとして使用するレーザ光の波長は特に限定されず、光学レンズによって高密度に集束可能で、球状粒子２〜２”に照射された場合に、球状粒子２〜２”を透過し、その焦点位置に向かって捕捉力を発生する波長であればよい。
【００５５】
また、球状粒子２〜２”を捕捉し、操作するためのビームは、レーザ光に限定されず、光学レンズ等の集束手段によって高密度に集束可能で、球状粒子２に照射された場合に、球状粒子２を透過し、その焦点位置に向かって捕捉力を発生するものであればよい。例えば、白色光でもよく、電磁気的な集束手段によって集束可能な荷電粒子（α粒子、電子、陽子、荷電素粒子など）を使用してもよい。
【００５６】
また、捕捉用のビームには、捕捉された球状粒子２〜２”を微小移動させる時間間隔よりも十分に短い周期で１本のビームを時分割して複数本のビームを生成し、これを使用してもよい。
【００５７】
また、微小物の姿勢や位置を各々３次元データとして指定するのではなく、球状粒子２〜２”の移動経路を指定した一連の時系列座標データや、微小物３の姿勢変化を関数として指定し、これらに基づいて微小物３の姿勢制御を自動的に行うようにしてもよい。
【００５８】
さらに、本発明は上記した実施の形態の構成に限定されるものではなく、球状粒子を捕捉するためのビームの選択、光学系など、適宜設計変更し得るものである。
【００５９】
【発明の効果】
本発明によれば、微小な３次元空間内に配置された非球状の微小物に対しても、その姿勢及び位置を、非接触で、精密且つ安定に自動操作することができ、この操作の際において微小物に熱的損傷や不安定な回転及び振動を発生させることがない。
【００６０】
従って、本発明を用いれば、３次元の微小空間において位置と姿勢を指定した精密な運搬作業が可能となり、マイクロマシニング技術で製作される複雑な３次元構造を有するマイクロ構造物の自動組立が可能となる。
【００６１】
また、針状のウイスカや糸状のＤＮＡなど、多様な形状と性質を有する試薬や生体高分子のような非球状の物質を、複雑な経路に沿って姿勢を制御しつつ自動的に運搬できるので、新規な機能や感度の高いμ−ＴＡＳの構築が可能となる。
【００６２】
また操作はすべて非接触で行えるため、外乱物質や細菌の混入を防止できる閉鎖系環境での作業が可能であり、長期間の安定した環境下でのμ−ＴＡＳやマイクロマシンの自動生産が可能となる。
【００６３】
さらに、標識としての微粒子をマイクロハンドに取り付けることにより、ビームを駆動源とする遠隔操作によるマイクロハンドの６自由度駆動操作が可能となり、これによってより精密なマイクロ間接マニピュレーションを行うことも可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る微小物の姿勢制御装置の概略を示すブロック図である。
【図２】姿勢制御の対象である微小物がレーザ光によって捕捉された状態を模式的に示す斜視図である。
【図３】本発明の実施の形態に係る微小物の姿勢制御装置の光学系を示すブロック図である。
【図４】本発明の実施の形態に係る姿勢制御方法を示すフローチャートである。
【図５】対象物が姿勢制御される状態を示す斜視図である。
【符号の説明】
１集束されたレーザ光
２、２’、２” 球状粒子
３微小物
４、４’ 第１、第２カメラ部
５制御部
６顕微鏡
７、７’、７” レーザ光源
８、８’ ビームエクスパンダ
９半波長板
１０、１０’ 第１偏光ビームスプリッタ
１１、１１’、１１” 電磁シャッタ
１２、１２’、１２” 第１〜第３焦点位置移動機構
１３、１３’、１３” 第２偏光ビームスプリッタ
１４リレーレンズ
１５集束レンズ
１６試料面
２０処理部（ＣＰＵ）
２１メモリ部
２２記録部
２３操作部
２４制御インタフェース部
２５ビデオ部
２６バス
２７表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a posture control apparatus and a posture control method for a minute substance or a microstructure, and in particular, a non-trace amount of a reagent, a cell, a DNA, etc. The posture of a minute object that can be precisely and automatically operated in a non-contact manner in the position and orientation of a minute object required for precision automatic operation of a spherical object, automatic assembly of a micro structure in a micromachine, etc. The present invention relates to a control device and an attitude control method.
[0002]
[Prior art]
In recent years, in various fields such as medical treatment, chemical analysis, environmental measurement, etc., a technology for micro-mixing / reaction system, detection system, electronic circuit, pump, etc., and converting the entire chemical analysis system into IC, that is, μ-TAS (Micro Total There is a growing need for development of elemental technologies related to Analysis Systems. Among these micro technology, a technology for injecting a micro substance such as a test reagent into a specific position has been realized by using a micro nozzle or a pin. In addition, assembling micron-sized microstructures is being studied using a contact-type microhand.
[0003]
On the other hand, it is known that micron-sized microparticles and droplets can be manipulated in a non-contact manner using laser light in the optical tweezers method. And application to genetic manipulation (see Patent Documents 1 to 3 below).
[0004]
Patent Document 4 below discloses a method for holding and arranging fine particles having a refractive index lower than that of the surrounding medium and metal fine particles that reflect laser light, which cannot be captured by the optical tweezer method. Yes.
[0005]
[Patent Document 1]
JP-A 64-34439
[0006]
[Patent Document 2]
JP-A-9-329602
[0007]
[Patent Document 3]
Japanese Patent Laid-Open No. 11-56341
[0008]
[Patent Document 4]
JP 2001-232182 A
[0009]
[Problems to be solved by the invention]
However, in the method of dropping using a micro nozzle or a pin, it has been difficult to discharge a substance other than a sphere such as a needle-like whisker from the nozzle or to precisely orient it.
[0010]
In addition, with a contact type micro hand, precise operation is difficult due to adhesion due to surface force between the hand and the micro structure that is the operation target, and it is difficult to operate the micro hand. It required very skill. For this reason, posture control and automatic operation necessary for assembling an asymmetric microstructure have not been achieved.
[0011]
In the optical tweezer method, the target that can be stably captured is limited to cells that are relatively large with respect to the spherical material or the spot size of the laser beam at the focal position, and a rotational moment is generated by the radiation pressure of the laser beam. It has been difficult to manipulate non-spherical materials such as whiskers and microstructures in consideration of their postures. Furthermore, when operating cells, biopolymers, etc., there are problems such as thermal damage depending on the wavelength of the laser light used for the operation, and it is impossible to use laser light with a wide range of wavelengths.
[0012]
Further, in the method using the radiation pressure of the beam disclosed in Patent Document 4, it is possible to hold and arrange microparticles, but it is not possible to perform precise attitude control of an asymmetric structure. Absent.
[0013]
As described above, the position, posture, and shape of a micron-sized target other than a sphere, such as needle-shaped whiskers, complex-shaped microstructures, and thread-like DNA, are automatically and stably manipulated in a three-dimensional space. The development of technologies that can be performed has become an important issue in the above-mentioned fields.
[0014]
In order to solve the above-described problems, the present invention is a non-spherical fine substance or microstructure having a non-spherical shape in a liquid or a gas without causing thermal damage or physical damage. The posture of a minute object that can be manipulated stably, accurately, and automatically in a three-dimensional space, and can automatically change the three-dimensional shape or structure of a flexible minute object or structure. It is an object to provide a control device and an attitude control method.
[0015]
[Means for Solving the Problems]
The object of the present invention is achieved by the following means.
[0016]
That is, the minute object posture control device (1) according to the present invention is a minute object posture control device that changes the posture and position in a three-dimensional space of a minute object having at least three fine particles attached to the surface. A plurality of cameras, a beam output unit that outputs at least three beams, a focal point moving unit that changes and outputs an optical path of the incident beam, and the beam that is output from the focal point moving unit. A focusing unit for focusing, a control unit, and an operation unit, wherein the fine particles are spherical and have a higher refractive index than the surrounding medium with respect to the beam, refracting and transmitting the beam, and the control The unit calculates three-dimensional position coordinates of the fine particles from a plurality of images of the fine particles obtained by a plurality of the cameras, controls the focal point moving unit, and outputs the beam output from the focal point moving unit Is the collection Changing the optical path of the beam incident on the focus moving unit so as to be focused on the corresponding three-dimensional position coordinates by the unit, receiving an instruction from the operation unit, and controlling the focus moving unit, Change the focusing position of the beam Each of the fine particles has a feature that can be distinguished from each other by the camera, and the distinguishable feature includes coloring by a dye, coding by a quantum dot, coding by micro processing, and a difference in particle diameter. Any of the group It is characterized by that.
[0017]
Moreover, the posture control apparatus (2) for a minute object according to the present invention is: A microscopic posture control device that changes the posture and position of a microscopic object with at least three fine particles attached to the surface in a three-dimensional space, and outputs a plurality of cameras and at least three beams. A beam output unit, a focus moving unit that changes and outputs an optical path of the incident beam, a converging unit that focuses the beam output from the focus moving unit, a control unit, and an operation unit, The fine particles are spherical, have a refractive index higher than that of the surrounding medium with respect to the beam, refract and transmit the beam, and the control unit has a plurality of the fine particles obtained by a plurality of the cameras. From the image, the three-dimensional position coordinates of the fine particles are calculated, the focus moving unit is controlled, and the beam output from the focus moving unit is focused on the corresponding three-dimensional position coordinates by the focusing unit. As described above, the optical path of the beam incident on the focal point moving unit is changed, the instruction from the operation unit is received, the focal point moving unit is controlled to change the focal position of the beam, and at least three of the Two of the beams are laser beams having a first wavelength whose polarization directions are orthogonal to each other, and the remaining beams are laser beams having a wavelength different from the first wavelength. It is characterized by that.
[0018]
Moreover, the posture control apparatus (3) of the minute object according to the present invention is A microscopic posture control device that changes the posture and position of a microscopic object with at least three fine particles attached to the surface in a three-dimensional space, and outputs a plurality of cameras and at least three beams. A beam output unit, a focus moving unit that changes and outputs an optical path of the incident beam, a converging unit that focuses the beam output from the focus moving unit, a control unit, and an operation unit, The fine particles are spherical, have a refractive index higher than that of the surrounding medium with respect to the beam, refract and transmit the beam, and the control unit has a plurality of the fine particles obtained by a plurality of the cameras. From the image, the three-dimensional position coordinates of the fine particles are calculated, the focus moving unit is controlled, and the beam output from the focus moving unit is focused on the corresponding three-dimensional position coordinates by the focusing unit. As described above, the optical path of the beam incident on the focal point moving unit is changed, an instruction from the operation unit is received, the focal point moving unit is controlled, the focal position of the beam is changed, and the beam output unit is At least three beams are generated by time-sharing one beam with a period shorter than the time interval for changing the focusing position of the beam. It is characterized by doing.
[0019]
Moreover, the attitude control device (4) for a minute object according to the present invention is any one of the attitude control devices (1) to (3) for the minute object. The control unit receives input of posture change information and / or position change information of the minute object from the operation unit, and a plurality of sheets obtained by the posture change information and / or position change information and a plurality of the cameras. The three-dimensional position coordinates of the fine particles calculated from the image of the above are used to calculate the three-dimensional coordinates of the target position to which the fine particles are moved, and the focal point moving unit is controlled to The optical path of the beam incident on the focal point moving unit is changed so that the output beam is focused on the corresponding three-dimensional coordinates of the target position by the focusing unit. It is characterized by that.
[0020]
Moreover, the posture control apparatus (5) of the minute object according to the present invention is In the minute object posture control device (4), when the minute object is a rigid object, the control unit holds the relative distance of the three-dimensional position coordinates of each of the fine particles calculated from the plurality of images. To calculate the three-dimensional coordinates of the target position It is characterized by that.
[0021]
Further, the minute object posture control device (6) according to the present invention includes the minute object posture control device ( 2 ) Or (3) In The control unit recognizes the fine particles by performing image processing on a plurality of images obtained by a plurality of the cameras as images having parallax. Calculate 3D position coordinates It is characterized by that.
[0023]
The fine object posture control method (1) according to the present invention includes a first step for generating at least three beams and a spherical shape, which is attached to the surface of the fine object and has a higher refractive index than the surrounding medium. The three-dimensional position coordinates of the fine particles are calculated from the second step of picking up at least three fine particles with a plurality of cameras and transmitting a plurality of images picked up by the plurality of cameras. A third step, a fourth step of changing and focusing the optical path of the beam so that each of the beams is focused on the corresponding three-dimensional position coordinate, and a fifth step of changing the focusing position of the beam. Including In addition, each of the fine particles has a feature that can be distinguished from each other by the camera, and the distinguishable feature is due to coloring by a dye, coding by a quantum dot, coding by micro processing, and a difference in particle size. Is one of the group It is characterized by that.
[0024]
Moreover, the attitude control method (2) of the minute object according to the present invention includes: A first step for generating at least three beams, and a plurality of cameras of at least three particles, which are spherical and attached to the surface of a minute object and transmit the beam at a higher refractive index than the surrounding medium A second step of imaging by the third step, a third step of calculating the three-dimensional position coordinates of the fine particles from a plurality of images captured by the plurality of cameras, and the three-dimensional position coordinates to which each of the beams corresponds. A fourth step of changing and focusing the optical path of the beam so that the beam is focused, and a fifth step of changing the focusing position of the beam, wherein two of the at least three beams are included. Is a laser beam having a first wavelength whose polarization directions are orthogonal to each other, and the remaining beam is a laser beam having a wavelength different from the first wavelength. It is characterized by that.
[0025]
Further, the attitude control method (3) of the minute object according to the present invention includes: A first step of time-dividing one beam at a predetermined time interval to generate at least three beams, and the beam is spherical and attached to the surface of a minute object with a higher refractive index than the surrounding medium; A second step of imaging at least three fine particles that are transmitted by a plurality of cameras, and a third step of calculating three-dimensional position coordinates of the fine particles from a plurality of images picked up by the plurality of cameras A fourth step of changing and focusing the optical path of the beam so that each beam is focused on the corresponding three-dimensional position coordinate, and focusing the beam at a time interval longer than the predetermined time interval. A fifth step of changing the position. It is characterized by that.
[0026]
Moreover, the attitude control method (4) of a minute object according to the present invention is any one of the attitude control methods (1) to (3) of the minute object, Calculated from the sixth step of accepting input of posture change information and / or position change information of the minute object, the posture change information and / or position change information, and a plurality of images obtained by a plurality of the cameras. A seventh step of calculating the three-dimensional coordinates of the target position to which the fine particles are moved using the three-dimensional position coordinates of the fine particles, and each beam is focused on the corresponding three-dimensional coordinates of the target position. And an eighth step of changing and focusing the optical path of the beam. It is characterized by that.
[0027]
Moreover, the attitude control method (5) of a minute object according to the present invention includes: In the fine object posture control method (4), when the fine object is a rigid object, in the seventh step, the relative distance of the three-dimensional position coordinates of each of the fine particles calculated from the plurality of images is maintained. To calculate the three-dimensional coordinates of the target position It is characterized by that.
[0028]
Further, the attitude control method (6) of a minute object according to the present invention is a method for controlling the attitude of a minute object ( 2 ) Or (3) In Each of the fine particles has a feature that can be distinguished from each other by the camera. In the third step, the fine particles are obtained by performing image processing on a plurality of images obtained by the plurality of cameras as images having parallax. Is recognized, and the three-dimensional position coordinates of the fine particles are calculated. It is characterized by that.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the accompanying drawings. That is, a minute object posture control apparatus and control method for automatically controlling the three-dimensional posture of a microstructure (hereinafter referred to as a minute object) having three fine particles attached to the surface will be described.
[0031]
FIG. 1 is a block diagram showing a schematic configuration of a minute object posture control apparatus according to an embodiment of the present invention. The posture control device includes a control unit 5, first and second camera units 4, 4 ′, a light source 7, and first to third focal point movement mechanisms 12 to 12 ″. Reference numeral 5 denotes a processing unit (hereinafter referred to as CPU) 20 that performs control and data processing, which will be described later, a memory unit 21 that temporarily stores data, a recording unit 22 that continuously records data, and an operation unit 23. A control interface unit 24, a video unit 25, a data bus 26 for exchanging data inside the control unit 5, and a display unit 27. First to third focal point moving mechanisms 12 to 12 '' Is controlled by the CPU 20 via the control interface unit 24, and the laser beam emitted from the light source 7 is guided to the minute object 3 arranged in the sample surface of the microscope (not shown) and is minute as described later. Capture object 3. In FIG. 1, the path of the laser beam irradiated from the light source 7 to the minute object 3 is omitted. The video signals from the first and second cameras 4 and 4 ′ are displayed on the display unit 27 via the video unit 25, and are recorded in the recording unit 22 as digital data for each frame as necessary.
[0032]
FIG. 2 is a perspective view schematically showing capture of the minute object 3 by the laser beam. In FIG. 2, spherical fine particles (hereinafter referred to as spherical particles) 2-2 ″ transparent to laser light are attached to three vertices of the minute object 3. The material of the spherical particles 2-2 ″. Has a higher refractive index than the surrounding medium through which laser light of a predetermined wavelength is transmitted and the minute objects 3 float, and for example, polystyrene or borosilicate glass can be used. The method of attaching the spherical particles 2-2 "to the minute object 3 uses various known methods such as using an ultraviolet curable adhesive according to the material of the minute object 3 and the spherical particles 2-2". Therefore, the description is omitted here. Three laser beams are generated from the light source 7, and each laser beam corresponds to the corresponding spherical particles 2 to 2 attached to the minute object 3 via the corresponding first to third focal point moving mechanisms 12 to 12 ″. Is irradiated. At this time, the optical paths are controlled by the first to third focal point moving mechanisms 12 to 12 ″ so that the three laser beams are focused on the corresponding spherical particles 2 to 2 ″, respectively. According to the principle of optical tweezers, spherical particles 2 to 2 ″ are captured at the focal position by the laser beams 1 to 1 ″ focused at high density. Therefore, the minute object 3 can be stably held as shown in FIG. At this time, the three-dimensional positions of the three spherical particles 2-2 ″ to be focused with the laser beam are to photograph the spherical particles 2-2 ″ with the two camera units 4, 4 ′ arranged at different positions. Is calculated based on the principle of stereoscopic vision and the like from the two images having parallax.
[0033]
FIG. 3 is a block diagram showing in more detail one embodiment of the optical system configuration in the attitude control apparatus shown in FIG. As the light source 7 shown in FIG. 1, two light sources 7 ′ and 7 ″ are used in FIG.
[0034]
The laser light from the light source 7 ′ is changed in diameter, that is, the spatial spread of the laser light by the beam expander 8, passes through the half-wave plate 9, and is converted into laser light in two directions by the first polarizing beam splitter 10, 10 ′. Disassembled. These two laser beams pass through the first focal position moving mechanism 12 and the second focal position moving mechanism 12 ', which are configured to include a galvano mirror pair and a focal position changing lens via electromagnetic shutters 11 and 11', respectively. Then, the respective optical path axes are aligned by the second polarizing beam splitters 13 and 13 ′, and are introduced into the microscope 6 by the relay lens 14 so as to coincide with the axis of the incident illumination light.
[0035]
The two laser beams after the above-described decomposition are at the focal position by the objective lens 15 of the microscope 6 and have a wavelength limit smaller than the diameter of the spherical particles 2 to 2 ″ attached to the minute object 3, for example, about 1 μm. In addition, the spherical particles 2-2 "are recognized on two images obtained from the first and second cameras 4, 4 ', and on the basis of these images, The positions of the spherical particles 2-2 "are calculated, and the first and second focal positions are such that the focal position XYZ of the focused laser beam in the microscope 6 is the center position of the corresponding spherical particles 2, 2 '. The moving mechanisms 12 and 12 ′ are controlled, and the two generated laser beams are generated by using the half-wave plate 9, the first polarizing beam splitters 10 and 10 ′, and the second polarizing beam disposed in the optical path. The direction of polarization is directly adjusted by the splitters 13 and 13 ′. Therefore, the intensity distribution does not change depending on the relative position of the two beams, and the target spherical particles 2, 2 'are captured stably by each laser beam. can do.
[0036]
The beam for capturing the third spherical particle 2 ″ uses a light source 7 ″ that generates laser light having a wavelength different from that of the two beams in order to avoid interference with the laser light. Similarly to the two beams described above, the diameter of the laser light from the light source 7 ″ is changed by the beam expander 8 ′, passes through the electromagnetic shutter 11 ″, and then passes through the focal position moving mechanism 12 ″. The two beams and the optical path axis are aligned by the splitter 13 ″ and introduced into the microscope 6 via the relay lens 14 to capture the third particle 2 ″.
[0037]
Next, a method for controlling the posture and position of the minute object 3 that is stably held by the three laser beams as described above and that has rigidity, that is, whose shape does not easily change, will be described. FIG. 4 is a flowchart showing the attitude control method according to the embodiment of the present invention. In the following, the CPU 20 reads data necessary for processing from the recording unit 22, performs calculation on the memory unit 21, and records the calculation result in the recording unit 22 as necessary.
[0038]
In step S <b> 1, the CPU 20 receives an instruction from the operation unit 23 and captures image data from the first and second camera units 4 and 4 ′ into the recording unit 22 via the video unit 25. For example, when the video data output from the first and second camera units 4 and 4 ′ is an analog signal, the signals from the first and second camera units 4 and 4 ′ are transmitted to the video unit 25 at a predetermined timing. After A / D conversion, each frame is recorded in the recording unit 22 as digital image data for one frame (two pieces of image data at the same time).
[0039]
In step S <b> 2, the CPU 20 displays the captured two pieces of image data on the display unit 27 via the video unit 25, and points corresponding to the displayed two images are designated by the operation unit 23. Await. Here, when the operation unit 23 is operated and three points (total of six points) corresponding to the three spherical particles 2 to 2 ″ are designated on each image, the CPU 20 Based on the three-dimensional coordinates of the first and second camera units 4 and 4 ′ and the coordinates of the designated points on the image, the three-dimensional coordinates of the three spherical particles 2-2 ″ are calculated.
[0040]
In step S3, the CPU 20 passes the control laser unit 24 through the control interface unit 24 so that the three laser beams are focused on each of the three spherical particles 2-2 ”whose three-dimensional coordinates are calculated in step S2. The first to third focal point moving mechanisms 12 to 12 ″ are controlled to start laser light irradiation. Accordingly, the three spherical particles 2 to 2 ″ are captured by the principle of optical tweezers, that is, the minute object 3 is stably held.
[0041]
After the minute object 3 is held, in step S4, the CPU 20 waits for an instruction to change the posture and position of the minute object 3. Changes in the posture and position of the minute object 3 that is a rigid object can be described by a rotation vector R and a translation vector V in the coordinate system used to specify the three-dimensional position of the fine particle. Therefore, the rotation vector R and the translation vector V may be designated from the operation unit 23. As a result, the distance between the three spherical particles 2 to 2 ″ is maintained. Based on the input vector R and vector V, the CPU 20 determines the current three-dimensional coordinates (Xsi, The position coordinates (Xei, Yei, Zei) after movement (hereinafter referred to as target position coordinates) are calculated from Ysi, Zsi). Here, i = 1 to 3, which corresponds to three spherical particles 2 to 2 ″.
[0042]
After the target position coordinates of the spherical particles 2-2 "are calculated in step S4, in order to slowly move the spherical particles 2-2" to the target position in step S5, a minute position change corresponding to the first minute movement is performed. The quantities (ΔXi, ΔYi, ΔZi) are calculated. This is because the spherical particles 2-2 "cannot be stably captured if the focal position of the laser beam capturing the spherical particles 2-2" moves too fast. The position change amounts (ΔXi, ΔYi, ΔZi) are calculated based on the current three-dimensional coordinates (Xsi, Ysi, Zsi) of the spherical particles 2 to 2 ″, the minute rotation vector ΔR, and the minute translation vector ΔV. What is necessary is just to use what divided | segmented vector R and V into N equally, respectively, for (DELTA) R and (DELTA) V. Here, the value of N is determined so that the movement of the focus of the laser beam for acquisition may not be too quick. Is desirable.
[0043]
In step S6, the CPU 20 controls the first to third focal point moving mechanisms 12 to 12 ″ to change the focusing position of each laser beam by a minute amount so that each laser beam becomes (Xsi + ΔXi, Ysi + ΔYi, Zsi + ΔZi). As a result, the spherical particles 2 to 2 ″ are also moved minutely in accordance with the minute movement of the focal position of the laser beam by the principle of optical tweezers. For example, in order to finally change the position and posture of the minute object 3 as shown in FIG. 5, that is, to move the spherical particles 2 to 2 ″ captured by the three laser beams, the spherical particles 2 The first minute movement of ˜2 ″ is performed.
[0044]
In step S7, the CPU 20 captures images from the first and second cameras 4 and 4 'in the same manner as in step S1, and the point specified in step S2, that is, the current position coordinates (three spherical particles 2-2 ") ( Xi, Yi, Zi) (i = 1 to 3) is calculated.
[0045]
In step S8, the CPU 20 determines, for each spherical particle 2-2 ", the absolute value of the difference between the current position coordinates and (Xi, Yi, Zi) and the target coordinates (Xei, Yei, Zei) calculated in step S4. Xi-Xei |, | Yi-Yei |, and | Zi-Zei | are calculated to determine whether or not each value is equal to or less than a predetermined value. If it is determined that there is, the process proceeds to step S10, and if it is determined that the absolute value of at least one difference is not less than the predetermined value, the process proceeds to step S9.
[0046]
In step S9, the CPU 20 calculates the minute position change amounts (ΔXi, ΔYi, ΔZi) using (Xi, Yi, Zi) as the movement start point, and then proceeds to step S6.
[0047]
In step S8, until it is determined that the absolute values of all the differences are equal to or smaller than a predetermined value, that is, until it is determined that all the spherical particles 2-2 "have reached the target position, steps S6 to S9 are performed. Thus, the posture and position of the minute object 3 can be changed as shown in FIG.
[0048]
In step S10, the CPU 20 determines whether or not there is an instruction to stop. If it is determined that there is an instruction to stop, the CPU 20 stops the movement of the focal position of the laser beam, holds the fine particles at the position and posture, and continues the series. When it is determined that the process is finished and there is no instruction to stop, the process returns to step S4 to receive an instruction to move the minute object 3, and the processes of steps S4 to S9 are repeated.
[0049]
The case where the instruction to change the posture and position of the minute object 3 in step S4 is specified by the rotation vector R and the translation vector V in the coordinate system used to specify the three-dimensional position of the fine particle has been described above. However, the position (target position) after the movement of the spherical particles 2 to 2 ″ may be directly designated. In that case, under the condition of maintaining the distance between the three spherical particles 2 to 2 ″, It is necessary to be able to specify the target position of each spherical particle 2-2 "and to calculate the minute position change amount (ΔXi, ΔYi, ΔZi). In this case as well, the rotation vector R and the translation are first required. After calculating the movement vector V, minute position change amounts (ΔXi, ΔYi, ΔZi) may be calculated.
[0050]
Further, if the shape of the minute object 3 can be changed flexibly, the instruction to change the posture and position of the minute object 3 in step S4 directly specifies the target position of each spherical particle 2-2 ". In this case, using the three-dimensional coordinates (Xsi, Ysi, Zsi) of the spherical particles 2 to 2 ″ and the designated target position coordinates (Xei, Yei, Zei), the spherical particles 2 to 2 are used. For example, the minute position change amount (ΔXi, ΔYi, ΔZi) required for gently moving 2 ″ to the target position is set by, for example, the coordinates (Xsi, Ysi, Zsi) of the movement start point and the target position coordinates (Xei, (Yei, Zei) may be calculated by dividing the difference by a predetermined number N. Therefore, two spherical particles, for example, spherical particles, are not captured without capturing all three spherical particles 2-2 "with laser light. By capturing only 2, 2 'and changing its spacing, The shape of the object 3 can also be changed.
[0051]
Moreover, although the case where three spherical particles 2 to 2 ″ and three laser beams are used has been described, four or more spherical particles or four or more laser beams may be used. In order to enable control even when some spherical particles cannot be observed with the camera due to the rotation of the minute object 3 in the middle or when they cannot be captured with the laser beam, at least three spherical particles are It is desirable to control the attitude by attaching four or more spherical particles at appropriate positions on the surface of the micro object 3 so that they can be always observed and always captured by laser light.
[0052]
The material of the spherical particles 2 to 2 ″ is not limited to the above-mentioned polystyrene or borosilicate glass, and transmits laser light having a predetermined wavelength and is higher than the surrounding medium with respect to the laser light having a predetermined wavelength. Any material having a refractive index may be used.
[0053]
In the above description, the case where the operation unit 23 is first operated by the person to specify the positions of the spherical particles 2 to 2 ″ has been described. By attaching three possible spherical particles 2-2 ", each spherical particle 2-2" may be automatically identified by an image recognition technique and a three-dimensional coordinate may be calculated. For example, coloring with a dye, coding with quantum dots or micromachining, and a difference in particle diameter may be used.
[0054]
The wavelength of the laser beam used as a beam for capturing and manipulating the spherical particles 2-2 ″ is not particularly limited, and can be focused with high density by an optical lens, and irradiated to the spherical particles 2-2 ″. In such a case, any wavelength may be used as long as it transmits the spherical particles 2 to 2 ″ and generates a trapping force toward the focal position.
[0055]
Further, the beam for capturing and manipulating the spherical particles 2 to 2 ″ is not limited to laser light, and can be focused with high density by a focusing means such as an optical lens, and when the spherical particles 2 are irradiated, Any material may be used as long as it passes through the spherical particle 2 and generates a capturing force toward its focal position, for example, white light, and charged particles (α particles, electrons, protons, etc.) that can be focused by an electromagnetic focusing means. Charged elementary particles or the like) may be used.
[0056]
In addition, as a capturing beam, a plurality of beams are generated by time-sharing one beam at a period sufficiently shorter than the time interval for moving the captured spherical particles 2 to 2 ″ minutely. May be used.
[0057]
Also, instead of specifying the posture and position of the minute object as three-dimensional data, a series of time-series coordinate data specifying the movement path of the spherical particles 2-2 ”and the posture change of the minute object 3 are specified as functions. However, the posture control of the minute object 3 may be automatically performed based on these.
[0058]
Furthermore, the present invention is not limited to the configuration of the above-described embodiment, and the design can be changed as appropriate, such as selection of a beam for capturing spherical particles and an optical system.
[0059]
【The invention's effect】
According to the present invention, even a non-spherical minute object arranged in a minute three-dimensional space can be automatically operated in a precise and stable manner without contact with its posture and position. At this time, thermal damage and unstable rotation and vibration are not generated in the minute object.
[0060]
Therefore, if the present invention is used, it is possible to carry out precise transportation work with a specified position and posture in a three-dimensional micro space, and it is possible to automatically assemble a micro structure having a complicated three-dimensional structure manufactured by a micromachining technology. It becomes.
[0061]
In addition, non-spherical substances such as needle-shaped whisker and thread-like DNA and various shapes and properties and non-spherical substances such as biopolymers can be automatically transported while controlling the posture along a complicated route. Therefore, it is possible to construct a new function and highly sensitive μ-TAS.
[0062]
In addition, since all operations can be performed in a non-contact manner, it is possible to work in a closed environment that can prevent the introduction of disturbance substances and bacteria, and it is possible to automatically produce μ-TAS and micromachines in a stable environment for a long period of time. Become.
[0063]
Furthermore, by attaching microparticles as labels to the microhand, it becomes possible to perform a 6-degree-of-freedom driving operation of the microhand by remote operation using a beam as a driving source, thereby enabling more precise micro indirect manipulation. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of a minute object posture control apparatus according to an embodiment of the present invention;
FIG. 2 is a perspective view schematically showing a state in which a minute object that is an object of posture control is captured by a laser beam.
FIG. 3 is a block diagram showing an optical system of the minute object posture control apparatus according to the embodiment of the present invention.
FIG. 4 is a flowchart showing an attitude control method according to the embodiment of the present invention.
FIG. 5 is a perspective view showing a state in which the posture of an object is controlled.
[Explanation of symbols]
1 Focused laser beam
2, 2 ', 2 "spherical particles
3 Small objects
4, 4 'first and second camera parts
5 Control unit
6 Microscope
7, 7 ', 7 "laser light source
8, 8 'beam expander
9 Half wave plate
10, 10 'first polarization beam splitter
11, 11 ', 11 "electromagnetic shutter
12, 12 ′, 12 ″ first to third focal position moving mechanism
13, 13 ', 13 "second polarizing beam splitter
14 Relay lens
15 Focusing lens
16 Sample surface
20 Processing unit (CPU)
21 Memory section
22 Recording section
23 Operation unit
24 Control interface part
25 Video part
26 Bus
27 Display section

Claims

少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、
複数台のカメラと、
少なくとも３本のビームを出力するビーム出力部と、
入射する前記ビームの光路を変化させて出力する焦点移動部と、
前記焦点移動部から出力される前記ビームを集束する集束部と、
制御部と、
操作部とを備え、
前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、
前記制御部が、
複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、
前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、
前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、
各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
前記識別可能な特徴が、色素による着色、量子ドットによるコード化、マイクロ加工によるコード化、及び粒子径の違いからなる群の中の何れかであることを特徴とする微小物の姿勢制御装置。An attitude control device for a minute object that changes the attitude and position in a three-dimensional space of a minute object having at least three fine particles attached to the surface,
Multiple cameras,
A beam output unit for outputting at least three beams;
A focal point moving unit for changing and outputting an optical path of the incident beam;
A focusing unit for focusing the beam output from the focal point moving unit;
A control unit;
With an operation unit,
The particulate is spherical, has a higher refractive index for the beam than the surrounding medium, and refracts and transmits the beam;
The control unit is
From the plurality of images of the fine particles obtained by a plurality of the cameras, the three-dimensional position coordinates of the fine particles are calculated,
An optical path of the beam incident on the focus moving unit is controlled by controlling the focus moving unit so that the beam output from the focus moving unit is focused on the corresponding three-dimensional position coordinates by the focusing unit. Change
In response to an instruction from the operation unit, the focus moving unit is controlled to change the focusing position of the beam ,
Each of the microparticles has characteristics that are distinguishable from each other by the camera;
The identifiable features, coloring by dyes, encoded by the quantum dots, encoded by micromachining, and attitude control system for a microstructure material which either der wherein Rukoto of the group consisting of the difference of the particle size .

少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、
複数台のカメラと、
少なくとも３本のビームを出力するビーム出力部と、
入射する前記ビームの光路を変化させて出力する焦点移動部と、
前記焦点移動部から出力される前記ビームを集束する集束部と、
制御部と、
操作部とを備え、
前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、
前記制御部が、
複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、
前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、
前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、
少なくとも３本の前記ビームのうち、２本のビームが、偏光方向が相互に直交する第１波長のレーザ光であり、残りのビームが、前記第１波長と異なる波長のレーザ光であることを特徴とする微小物の姿勢制御装置。 An attitude control device for a minute object that changes the attitude and position in a three-dimensional space of a minute object having at least three fine particles attached to the surface,
Multiple cameras,
A beam output unit for outputting at least three beams;
A focal point moving unit for changing and outputting an optical path of the incident beam;
A focusing unit for focusing the beam output from the focal point moving unit;
A control unit;
With an operation unit,
The particulate is spherical, has a higher refractive index for the beam than the surrounding medium, and refracts and transmits the beam;
The control unit is
From the plurality of images of the fine particles obtained by a plurality of the cameras, the three-dimensional position coordinates of the fine particles are calculated,
An optical path of the beam incident on the focus moving unit is controlled by controlling the focus moving unit so that the beam output from the focus moving unit is focused on the corresponding three-dimensional position coordinates by the focusing unit. Change
In response to an instruction from the operation unit, the focus moving unit is controlled to change the focusing position of the beam,
Of at least three of the beams, the two beams, a laser beam of a first wavelength polarization directions are perpendicular to each other, the rest of the beam, the laser beam der Rukoto of wavelength different from the first wavelength A posture control device for minute objects characterized by

少なくとも３個の微粒子が表面に取り付けられた微小物の３次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、An attitude control device for a minute object that changes the attitude and position in a three-dimensional space of a minute object having at least three fine particles attached to the surface,
複数台のカメラと、Multiple cameras,
少なくとも３本のビームを出力するビーム出力部と、A beam output unit for outputting at least three beams;
入射する前記ビームの光路を変化させて出力する焦点移動部と、A focal point moving unit for changing and outputting an optical path of the incident beam;
前記焦点移動部から出力される前記ビームを集束する集束部と、A focusing unit for focusing the beam output from the focal point moving unit;
制御部と、A control unit;
操作部とを備え、With an operation unit,
前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、The particulate is spherical, has a higher refractive index for the beam than the surrounding medium, and refracts and transmits the beam;
前記制御部が、The control unit is
複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の３次元位置座標を計算し、From the plurality of images of the fine particles obtained by a plurality of the cameras, the three-dimensional position coordinates of the fine particles are calculated,
前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記３次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、An optical path of the beam incident on the focus moving unit is controlled by controlling the focus moving unit so that the beam output from the focus moving unit is focused on the corresponding three-dimensional position coordinates by the focusing unit. Change
前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させ、In response to an instruction from the operation unit, the focus moving unit is controlled to change the focusing position of the beam,
前記ビーム出力部が、前記ビームの集束位置を変化させる時間間隔よりも短い周期で、１本のビームを時分割して、少なくとも３本の前記ビームを生成することを特徴とする微小物の姿勢制御装置。The attitude of the minute object, wherein the beam output unit generates at least three beams by time-sharing one beam at a period shorter than a time interval for changing the focusing position of the beam. Control device.

前記制御部が、
前記操作部から、前記微小物の姿勢変化情報及び／又は位置変化情報の入力を受け、
前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の３次元位置座標とを使用して、前記微粒子の移動先である目標位置の３次元座標を計算し、
前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の３次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする請求項１〜３の何れかの項に記載の微小物の姿勢制御装置。The control unit is
From the operation unit, input of posture change information and / or position change information of the minute object,
Using the posture change information and / or position change information and the three-dimensional position coordinates of the fine particles calculated from a plurality of images obtained by a plurality of the cameras, a target position that is the movement destination of the fine particles Calculate the three-dimensional coordinates of
The focus moving unit is controlled so that the beam output from the focus moving unit is focused on the three-dimensional coordinates of the corresponding target position by the focusing unit. The attitude control device for a minute object according to any one of claims 1 to 3, wherein the optical path is changed.

前記微小物が剛性物である場合、
前記制御部が、複数枚の前記画像から計算した各々の前記微粒子の３次元位置座標の相対距離を保持するように、前記目標位置の３次元座標を計算することを特徴とする請求項４に記載の微小物の姿勢制御装置。When the minute object is a rigid object,
Wherein the control unit is to hold the relative distance of the three-dimensional position coordinates of the particles of each calculated from the plurality of the image, to claim 4, characterized in that to calculate the three-dimensional coordinates of the target position The attitude control device of the described minute object.

各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の３次元位置座標を計算することを特徴とする請求項２又は３に記載の微小物の姿勢制御装置。Each of the microparticles has characteristics that are distinguishable from each other by the camera;
The control unit recognizes the fine particles by performing image processing on a plurality of images obtained by the plurality of cameras as images having parallax, and calculates three-dimensional position coordinates of the fine particles. Item 4. The posture control device for a minute object according to Item 2 or 3 .

少なくとも３本のビームを生成する第１ステップと、
球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、
複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、
各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、
前記ビームの集束位置を変化させる第５ステップとを含み、
各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
前記識別可能な特徴が、色素による着色、量子ドットによるコード化、マイクロ加工によるコード化、及び粒子径の違いからなる群の中の何れかであることを特徴とする微小物の姿勢制御方法。A first step of generating at least three beams;
A second step of imaging with a plurality of cameras at least three particles that are spherical and attached to the surface of the microscopic object and transmit the beam at a higher refractive index than the surrounding medium;
A third step of calculating three-dimensional position coordinates of the fine particles from a plurality of images captured by a plurality of the cameras;
A fourth step of changing and focusing the optical path of the beams such that each of the beams is focused to the corresponding three-dimensional position coordinate;
Look including a fifth step of changing a focusing position of said beam,
Each of the microparticles has characteristics that are distinguishable from each other by the camera;
The identifiable features, coloring by dyes, encoded by the quantum dots, the posture control method for a micro thereof, wherein the coding by micromachining, and is either the group consisting of the difference of the particle size .

少なくとも３本のビームを生成する第１ステップと、
球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、
複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、
各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、
前記ビームの集束位置を変化させる第５ステップとを含み、
少なくとも３本の前記ビームのうち、２本のビームが、偏光方向が相互に直交する第１波長のレーザ光であり、残りのビームが、前記第１波長と異なる波長のレーザ光であることを特徴とする微小物の姿勢制御方法。 A first step of generating at least three beams;
A second step of imaging with a plurality of cameras at least three particles that are spherical and attached to the surface of the microscopic object and transmit the beam at a higher refractive index than the surrounding medium;
A third step of calculating three-dimensional position coordinates of the fine particles from a plurality of images captured by a plurality of the cameras;
A fourth step of changing and focusing the optical path of the beams such that each of the beams is focused to the corresponding three-dimensional position coordinate;
Changing the focus position of the beam,
Two of the at least three beams are laser beams having a first wavelength whose polarization directions are orthogonal to each other, and the remaining beams are laser beams having a wavelength different from the first wavelength. A method for controlling the posture of a minute object.

所定時間間隔で１本のビームを時分割して、少なくとも３本のビームを生成する第１ステップと、A first step of time-dividing one beam at a predetermined time interval to generate at least three beams;
球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも３個の微粒子を複数台のカメラによって撮像する第２ステップと、A second step of imaging with a plurality of cameras at least three particles that are spherical and attached to the surface of the microscopic object and transmit the beam at a higher refractive index than the surrounding medium;
複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の３次元位置座標を計算する第３ステップと、A third step of calculating three-dimensional position coordinates of the fine particles from a plurality of images captured by a plurality of the cameras;
各々の前記ビームが対応する前記３次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第４ステップと、A fourth step of changing and focusing the optical path of the beams such that each of the beams is focused to the corresponding three-dimensional position coordinate;
前記所定時間間隔よりも長い時間間隔で前記ビームの集束位置を変化させる第５ステップとを含むことを特徴とする微小物の姿勢制御方法。And a fifth step of changing the focusing position of the beam at a time interval longer than the predetermined time interval.

前記微小物の姿勢変化情報及び／又は位置変化情報の入力を受け付ける第６ステップと、
前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の３次元位置座標とを使用して、前記微粒子の移動先である目標位置の３次元座標を計算する第７ステップと、
各々の前記ビームが対応する前記目標位置の３次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第８ステップとを含むことを特徴とする請求項７〜９の何れかの項に記載の微小物の姿勢制御方法。A sixth step of receiving input of posture change information and / or position change information of the minute object;
Using the posture change information and / or position change information and the three-dimensional position coordinates of the fine particles calculated from a plurality of images obtained by a plurality of the cameras, a target position that is the movement destination of the fine particles A seventh step of calculating the three-dimensional coordinates of
10. An eighth step of changing and focusing the optical path of the beam so that each of the beams is focused on the corresponding three-dimensional coordinates of the target position . The method for controlling the posture of a minute object according to the item .

前記微小物が剛性物である場合、
前記第７ステップにおいて、複数枚の前記画像から計算した各々の前記微粒子の３次元位置座標の相対距離を保持するように、前記目標位置の３次元座標を計算することを特徴とする請求項１０に記載の微小物の姿勢制御方法。When the minute object is a rigid object,
In the seventh step, claim 10, characterized in that to hold the relative distance of the three-dimensional position coordinates of the particles of each calculated from the plurality of the image, it calculates the three-dimensional coordinates of the target position The attitude | position control method of the micro object described in 2.

各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
前記第３ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の３次元位置座標を計算することを特徴とする請求項８又は９に記載の微小物の姿勢制御方法。Each of the microparticles has characteristics that are distinguishable from each other by the camera;
In the third step, a plurality of images obtained by a plurality of the cameras are subjected to image processing as images having parallax to recognize the fine particles, and the three-dimensional position coordinates of the fine particles are calculated. The micro object posture control method according to claim 8 or 9 .