JP7506541B2 - 物体の検出を用いた、ラボラトリーオートメーションデバイス制御プログラムの作成 - Google Patents

Description

本発明は、ラボラトリーオートメーションデバイス用の制御プログラムを作成するための方法、コンピュータープログラムおよびコンピューター読取可能な媒体ならびに、制御システムに関する。

ラボラトリーオートメーションデバイスは、例えば、特定の疾患の有無について患者の検査をする検査技師の業務を自動化するのに用いられる。通常、患者の血液、尿、大便などのサンプルを採取し、生化学的手法によって分析する。このような手法は、物質の添加、培養、分離などの様々な操作と、特定の疾患を示す物質の量または存在を定量的または定性的に測定する測定過程とからなる。

通常、ラボラトリーオートメーションデバイスのプログラミングは、特別な技能を必要とする複雑なタスクである。ラボラトリーオートメーションデバイスを制御するためのプログラムを、制御用のＰＣに入力しなければならない場合もある。そのようなプログラムを作成するためのグラフィックツールが存在する場合もあるが、より複雑な手順を、特定のスクリプト言語で実装しなければならない場合もある。これには、プログラミングならびにラボラトリーオートメーションデバイスの機能に関する特別な知識が求められる。したがって、検査技師は、少数のサンプル自体を用いて検査を行う傾向がある。

ロボットアームを有するラボラトリーオートメーションデバイスのプログラミングを単純化するために、ティーチモードでロボットアームを手動で動かすことが知られている。このとき、ロボットアームをどこにでも自由に移動させることができ、単にボタンを押すだけで、ティーチポイントを設定することができる。その後、ティーチポイントにおけるロボットアームの位置を保存し、これらの位置を、制御プログラムの作成に使用する。

欧州特許第２ ２６９ ０７７号は、グラフィカルプログラミング方法に関するものであり、同特許においては、ラボラトリーオートメーションデバイスのレイアウトの一部がグラフィカルインタフェースに表示される。ラボラトリーオートメーションデバイスの制御プログラムを定義するために、グラフィカルインタフェースでピペットを移動させることができる。

米国特許出願公開第２００６／００８５１６２号には、オペレーターに携帯される、手持ち式のサンプルトランスファーツールを用いて開発されたアッセイプロトコールを、ロボットサンプル処理装置に転送する方法が記載されている。アクティブなツールピースの実際の位置を検出するには、電磁波での三角法に基づく位置検索を使用する。

本発明の目的は、ラボラトリーオートメーションデバイスのプログラミングおよび／または制御を単純にすることにある。

上記の目的は、独立請求項の主題によって達成される。さらに例示的な実施形態は、引用請求項および以下の説明から明らかになる。

本発明の第１の態様は、ラボラトリーオートメーションデバイス用の制御プログラムを作成するための方法に関する。この方法は、ラボラトリーオートメーションデバイス、その制御装置およびカメラを備えるシステムで実行することができる。

概して、ラボラトリーオートメーションデバイスは、検査技師のタスクを自動的に実行するように構成された、どのようなデバイスであってもよい。少なくともそのようなラボラトリーオートメーションデバイスは、異なる位置の間でロボットピペットを移動させ、かつ、これらの位置で液体を吸引および排出するように構成されたピペッティングアームを備える。液体は、ラボラトリーオートメーションデバイスの作業台上に配置することができる容器によって提供される穴から吸引されても、その中に排出されてもよい。そのような容器は、ウェル、サンプルチューブ、マイクロタイタープレートおよび／または試薬容器などのうち、少なくとも１つを含んでもよい。

この方法では、検査技師の動きおよび／または動作がカメラによって記録され、カメラによって作成されるビデオデータが、例えば物体の認識と物体の追跡を用いて評価されて、ラボラトリーオートメーションデバイス用の制御プログラムの各工程が決定される。

本発明の一実施態様によれば、この方法は、検査技師の作業領域を表示するビデオデータを受信することを含み、作業領域は、手持ち式ピペットと、液体を抽出するおよび／または受けるための容器を含む。検査技師は、手持ち式ピペットと、サンプル、液体および／または試薬が入っていてもよい容器とを用いて、アッセイプロトコールを実施することができる。例えば、容器は、ウェル、マイクロタイタープレート、試薬容器、サンプルチューブなどのうち、少なくとも１つを含んでもよい。作業領域は、例えばテーブル上に配置されていてもよい一組の容器と一緒に、検査技師によって組み立てられたものであってもよい。しかしながら、作業領域は、ラボラトリーオートメーションデバイスの作業台など、ラボラトリーオートメーションデバイスの一部で、その上に容器が配置されていてもよい。この場合、ピペッティングアームを、手持ち式ピペットの動きを妨害しない位置で移動させることができる。

作業領域と検査技師の動きについては、視野が容器および／または手持ち式ピペットに向いたカメラで記録することができる。カメラは、可視光、紫外線および／または赤外線で動作するものであってもよい。

ビデオデータは、ある時間にわたるビデオストリームおよび／または一連の画像として見えるものであってもよく、グレースケールまたはカラーピクセルデータを含んでもよい。ビデオデータは、任意に、奥行き情報を含んでもよい。例えば、各ピクセルに奥行き値を割り振ってもよく、この奥行き値をＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラで生成してもよい。しかしながら、奥行き情報を、ステレオデータすなわち２つのカメラによって取得される２組のビデオデータの形で提供することが可能な場合もある。

本発明の一実施態様によれば、この方法は、ビデオデータにおける容器の開口を検出して、開口の位置を決定することと、ビデオデータにおける手持ち式ピペットのピペットチップを検出して、チップの動きを決定することをさらに含む。例えば、開口は、その形状に基づいて検出されてもよく、例えば、開口は、ビデオデータにおける周囲の環境よりも暗い円形であってもよく、そのような円形を物体認識アルゴリズムで検出してもよい。ピペットチップも、このようにして、すなわちその形状に基づいて検出することができる。また、ピペットチップに特別な色および／またはパターンで印を付けておくことが可能な場合もあり、これをビデオデータにおけるピペットチップの位置を検出するのに使用してもよい。

容器は、作業領域としてのワークベンチ上に配置されていてもよい。また、検査技師が容器を片手で持っていてもよい。

ビデオデータにおける開口およびピペットチップの位置から、開口および／またはピペットチップの三次元位置を導き出すことができる。これは、ビデオデータに奥行き情報が含まれる場合に容易になる場合がある。形状および／または光学的な印に応じて、ある容器のタイプおよび／または内容物を識別することができる。

ピペットチップの動きが、チップがたどる軌道に沿った複数の点で符号化されていてもよい。一般に、ピペットチップの動きは、ある時間にわたるピペットチップの位置に関する情報を含む移動データに符号化されていてもよい。

本発明の一実施態様によれば、この方法は、開口に対するピペットチップの動きから、ラボラトリーオートメーションデバイス用の制御プログラムを作成することをさらに含み、制御プログラムは、作業領域における手持ち式ピペットの動きに従って、ラボラトリーオートメーションデバイスの容器に対して、ラボラトリーオートメーションデバイスのロボットピペットを有するピペッティングアームを動かすように構成されている。

要約すると、検査技師が異なるピペッティング動作とラボウェアの移動を行うことができる。手作業での実施についての関連するすべての態様を用いて、制御プログラムを作成することができ、これには、検査技師によるピペッティング速度、位置、動作間のタイミングについての情報を含み得る。

制御プログラムは、手持ち式ピペットが検査技師によって移動されている間に作成および／または実行されてもよい。言葉をかえると、制御プログラムは、手持ち式ピペットの移動と（ほぼ）同時に作成および／または実行できるものである。また、検査技師が手持ち式ピペットの移動を終えたときに、制御プログラムが作成および／または実行されてもよい。さらに、検査技師が手持ち式ピペットの移動を終えており、後に制御プログラムが実行されるときに、制御プログラムが作成および格納されてもよい。

例えば、手持ち式ピペットの軌道上の決定の追跡ポイントまたはティーチングポイントが、ビデオデータから決定されてもよい。このような地点は、ビデオデータでの検出で手持ち式ピペットのピペットチップが開口に入ったときに、定義および／または記録することができる。これらの地点から、ピペッティングアームの動きを導き出すことができ、この動きは、作業領域の容器に対応する、ラボラトリーオートメーションデバイスの容器におけるこれらの開口をすべて通る。ロボットピペットの軌道が手持ち式ピペットの軌道とは異なる場合もある点に注意されたい。これは、ラボラトリーオートメーションデバイスの容器が異なる方法で配置されていること、および／または軌道がピペッティングアームの一層効率的な動きに適合化されていることによって生じうる。

単チャネル手持ち式ピペット以外に、マルチチャネル手持ち式ピペットが用いられてもよい。この場合、複数のピペットチップを追跡することができる。

ピペッティングアームの動きは、制御プログラムに符号化されていてもよい。この制御プログラムは、実行されると、ピペッティングアームの動きを実現する。制御プログラムは、どのようなデータまたはデータファイルであってもよく、ラボラトリーオートメーションデバイスのコントローラによって処理されると、ピペッティングアームのそれぞれの動きになる。

制御プログラムは、検査技師が改変できるスクリプトプログラムであってもよい。例えば、後述するように、アッセイプロトコールの間に用いられる容器および／または液体のタイプが、スクリプトプログラムに示される色で符号化されていてもよい。そうすれば、スクリプトプログラムにおけるそれぞれの色を、検査技師がスクリプトプログラムで試薬のタイプおよび／または容器のタイプと置き換えることができる。

本発明の一実施態様によれば、開口およびピペットチップは、物体認識アルゴリズムを用いて検出される。また、物体認識アルゴリズムを用いて、容器など、ラボラトリーオートメーションデバイスの他のコンポーネントが検出されてもよい。開口、ピペットチップおよび／または容器などの物体の形状が、ビデオデータを処理するコンピューティングデバイスに格納され、この形状がビデオデータから抽出した形状と比較されてもよい。これらの形状が一致すれば、それぞれの物体を検出することができ、ビデオデータにおけるその位置を決定することができる。ビデオデータにおける位置から、作業領域に対するそれぞれの物体の位置を決定することができる。

本発明の一実施態様によれば、ピペットチップの動きは、物体追跡アルゴリズムを用いて追跡される。このようにして、容器および／またはその開口に対するピペットチップの軌道を決定することができる。

カメラが定点カメラである場合、容器およびその開口も位置が変わらないままであると想定されるかもしれない。しかしながら、例えばカメラが検査技師の頭部に取り付けられているなど、カメラが移動する場合、容器および／または開口の位置もビデオデータで追跡することができる。そこから、容器に対するピペットチップの相対位置を決定することができる。また、検査技師によって、１つ以上の容器が移動されることもある。この場合、１つ以上の容器および／またはその開口も追跡することができる。

本発明の一実施態様によれば、この方法は、容器のうち、各々の容器または少なくともいくつかの容器について、容器のタイプを、ビデオデータから識別することをさらに含む。容器を識別することによって、容器の中に入った液体のタイプを決定することができる。そうしたら、作業領域の容器に対して識別されたタイプと同じタイプの、ラボラトリーオートメーションデバイスの容器用に、制御プログラムを作成することができる。例えば、どのタイプの液体が検査技師によって吸引および／または分注されたかを決定し、制御プログラムを作成して同じタイプの液体を吸引および分注することができる。

容器のタイプとは、容器の容量、および／または容積、形状などの容器の特性をいうことがある。

液体のタイプとは、粘度、表面張力または比重などの化学的および／または物理的な特性および／または液体がバッファー溶液である、サンプルである、試薬であるなど、液体の内容をいう場合がある
本発明の一実施態様によれば、この方法は、容器のうち、各々の容器または少なくともいくつかの容器について、容器のタイプを、容器に取り付けられたＲＦＩＤタグから識別することをさらに含む。容器のうちのいくつかまたはすべてに、ＲＦＩＤレスポンダーとも呼ばれるＲＦＩＤタグが設けられていてもよく、そのタグから、ＲＦＩＤリーダーでコードを読み取ることが可能である。ＲＦＩＤリーダーは、検査技師が持っていてもよいし、ラボラトリーオートメーションデバイスおよび／または作業領域と一体化されていてもよい。

本発明の一実施態様によれば、作業領域の容器にはコンピューター読取可能なコードが設けられ、容器のタイプは、ビデオデータにおけるコンピューター読取可能なコードから決定される。このようなコンピューター読取可能なコードは、バーコードであってもよいし、二次元コードであってもよい。

本発明の一実施態様によれば、作業領域の容器には（おそらくは着色されたおよび／またはパターン化された）標識が設けられ、ある容器の標識に符号化されているおよび／または標識によって示される情報が、ビデオデータから決定される。この場合、色および／または特定のパターンなどの情報から、容器のタイプを決定することができる。

開口は、着色されていてもよい。例えば、開口の縁が、黒、桃色、赤などであってもよい。

作業領域では、実際の試薬、サンプルなどを含んでいる必要はなく、制御プログラムを作成するだけのために使用される、特別に標識された容器が用いられてもよい。この場合、色またはパターンなど、標識の情報を検査技師にも解釈できるように標識を作ることができる。

作業領域で用いられる容器のどれにも液体を含む必要がなく、これらの容器が、制御プログラムを作成するだけのために用いられてもよい。この場合、検査技師は、手持ち式ピペットで空気を吸引および分注することになる。

制御プログラムは、検査技師が編集可能なスクリプトプログラムであってもよい。このプログラムは、最初の工程で、プレースホルダーとしての標識情報を含む。この標識情報を、あとで目的の試薬などの目的の指示に置き換えることができる。

本発明の一実施態様によれば、容器のタイプは容器の形状から決定され、容器の形状は、ビデオデータから決定される。この場合の容器のタイプは、容器が（例えば、複数のキャビティおよび／または整列されたキャビティを有する）トラフであるか、試験管であるか、マイクロタイタープレートであるかといったことである。

本発明の一実施態様によれば、この方法は、液体の吸引および／または分注の起動、液体の分注量および／または吸引量、吸引速度および／または分注速度のうちの少なくとも１つを含む動作データを、手持ち式ピペットから受信することをさらに含む。特定の手持ち式ピペットが、吸引および／または分注のために起動しているか否かを測定してもよい。さらに、上述したプロセスパラメーターなどの特定のプロセスパラメーターを用いて吸引および／または分注を行うために、特定の手持ち式ピペットを調節することができる。これらのピペットは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信接続によって、測定されたデータおよび／または調節されたパラメーターを別のデバイスに送信することができる。制御プログラムの詳細を決定するために動作データを利用してもよいおよび／または動作データを制御プログラムに取り込んでもよい。

本発明の一実施態様によれば、制御プログラムは、動作データに従って液体を吸引および分注するためにロボットピペットを制御するように構成されている。手持ち式ピペットから受信した動作データから、ラボラトリーオートメーションデバイスを動作データに従って制御する制御パラメーターおよび／または制御コマンドを作成することができる。

しかしながら、容器での吸引および／または分注などの動作データを、ビデオデータから直接決定することが可能な場合がある。例えば、手持ち式ピペットまたはそのチップが動いて開口に入ったときには、動作データをビデオデータから決定することができ、その場合、そこで液体が吸引される（例えば、ピペットが空である場合）または分注される（例えば、ピペットの中にすでに何かが吸引されている場合）と仮定することができる。

本発明の一実施態様によれば、液体についての複数の吸引点および複数の分注点が、開口に対するピペットチップの動きから決定される。また、複数の吸引点および複数の分注点を、手持ち式ピペットから受信される動作データから決定することもできる。そうすると、ピペッティングアームの動きを、複数の吸引点および複数の分注点から決定することができる。

液体が分注または排出される地点は、ラボラトリーオートメーションデバイスをプログラミングする上で最も重要な追跡ポイントおよび／またはティーチポイントと見られることがある。制御プログラムは、これらの地点だけから作成されてもよい。例えば吸引点とこれに続く分注点など、２つの連続した地点間のピペッティングアームの動きを、これらの地点間での手持ち式ピペットの動きおよび／またはその軌道とは独立に決定することができる。このため、ピペッティングアームの動きが、手持ち式ピペットとは異なる軌道をたどることがある。ラボラトリーオートメーションデバイス内での軌道の長さと、可能な動きおよび／または衝突回避の観点でのピペッティングアームの制約と、のうちの一方もしくは両方に鑑みて、ピペッティングアームの動きがさらに最適化されてもよい。

本発明の一実施態様によれば、ピペットチップの動きおよび／またはピペットに対する動作データは、１つのサンプルについて記録される。そうすると、ラボラトリーオートメーションデバイスで、複数のサンプルに対して、ピペッティングアームの動きおよび／またはロボットピペットの吸引および分注が制御プログラムによって再現されるように、制御プログラムを作成することができる。また、単チャネルピペットで実施されるアッセイ手順が、マルチチャネルピペット用の制御プログラムに翻訳されてもよい。

検査技師は、１つのサンプルだけについて作業領域でアッセイ手順を行ってもよい。そうすると、ラボラトリーオートメーションデバイスにおける複数の実際のサンプルに対して、ピペッティングアームの動き、ロボットピペットの吸引および分注が制御プログラムによって再現されるまたは最適化されるように、制御プログラムを作成することができる。制御プログラムは、センサーで存在が決定されたものであってもよい、ラボラトリーオートメーションデバイスのすべてのサンプルに対して、これらの工程を繰り返すことができる。

また、制御プログラムの作成後に、この制御プログラムが検査技師によって改変されてもよい。例えば、検査技師は、１つのサンプルについてのみ作成された工程を繰り返す制御構造を、制御プログラムに含めることができる。

制御プログラムの一部が作成される際の元になる追跡ポイントまたはティーチングポイントを、手持ち式ピペットが入った容器のタイプに鑑みて定義してもよいことに注意されたい。そのような地点には、座標位置が符号化されていてもよいだけではない。例えば、追跡ポイントまたはティーチングポイントには、「サンプルチューブの中にあるピペット」、「空のウェルの中にあるピペット」などが符号化されていてもよい。このように、手持ち式ピペットの動きをラボラトリーオートメーションデバイスで再現できるだけでなく、検査技師が作業領域で１つのサンプルについて行うタスクの複数の工程を、ラボラトリーオートメーションデバイスで複数のサンプルに適用することができる。この場合、手持ち式ピペットの厳密な動きではなく、手持ち式ピペットを用いて定義された移動スキームを繰り返すようにしてもよい。

例えば、マイクロタイタープレートのすべてのサンプルについて、手持ち式ピペットの動きを再現することができる。この場合、この動きは、もとの動きにオフセットを加えることによって決定されてもよく、オフセットは、マイクロタイタープレートのウェル間の距離に依存するものであってもよい。

ハンドヘルドシングルチャネルピペットの動きがマルチチャネルロボットピペットの動きにマッピングされてもよい。

本発明の一実施態様によれば、ビデオデータは、奥行き情報を含み、奥行き情報を作成するように構成されたカメラを用いて作成される。上述したように、奥行き情報は、ピペットチップに対する容器および／またはその開口の相対位置の決定を容易にすることがある。また、物体の認識と物体の追跡を改善することができる。

例えば、カメラは、ステレオカメラであってもよいし、ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラであってもよい。

本発明の一実施態様によれば、ビデオデータは、検査技師の頭部に取り付けられたカメラを用いて作成される。このようなカメラを用いると、検査技師が作業をしている領域を常にカメラのビュー方向にすることができる。

本発明の別の態様は、ラボラトリーオートメーションデバイス用の制御プログラムを作成するためのコンピュータープログラムであって、プロセッサによって処理されると、上記および以下に述べるような方法の工程を実行するように構成されている、コンピュータープログラムに関する。このコンピュータープログラムは、ラボラトリーオートメーションデバイスおよびカメラと通信可能に相互接続されたＰＣなどのコンピューティングデバイスにおいて実行することができる。

本発明の別の態様は、そのようなコンピュータープログラムが格納された、コンピューター読取可能な媒体に関する。コンピューター読取可能な媒体は、フロッピーディスク、ハードディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）記憶装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはフラッシュメモリであってもよい。コンピューター読取可能な媒体は、プログラムコードのダウンロードが可能なインターネットなどのデータ通信ネットワークであってもよい。概して、コンピューター読取可能な媒体は、非一時的な媒体であっても一時的な媒体であってもよい。

本発明の別の態様は、ラボラトリーオートメーションデバイス用の制御システムであって、ラボラトリーオートメーションデバイスとカメラとを備える、制御システムに関する。コンピューティングデバイスは、例えばＵＳＢ、Ｅｔｈｅｒｎｅｔおよび／または無線接続によって、ラボラトリーオートメーションデバイスおよびカメラと通信可能に相互接続されていてもよい。さらに、コンピューティングデバイスは、上記および以下に述べるような方法を実行するように構成されている。

コンピューティングデバイスは、ラボラトリーオートメーションデバイスを制御するように構成されていてもよいし、ビデオデータにおける物体の検出および／または物体の追跡の助けを借りて作成された制御プログラムを実行してもよく、その両方であってもよい。

上記および以下に述べるような方法の特徴は、上記および以下に述べるような制御システム、コンピュータープログラムおよびコンピューター読取可能な媒体の特徴であってもよいし、逆もまたしかりであることを、理解すべきである。

さらに、この方法は、ラボラトリーオートメーションデバイスを制御するための方法であってもよく、その場合、この方法は、作成された制御プログラムを実行することもできる。

本発明のこれらの態様および他の態様は、以下に述べる実施形態から、これらの実施形態を参照して明らかになるであろう。

以下、添付の図面を参照して、本発明の実施形態をさらに詳細に説明する。
図１は、本発明の一実施形態による制御システムを概略的に示す。 図２は、図１に示す制御システム用の検査技師の作業領域を概略的に示す。 図３は、本発明の一実施形態による、制御プログラムを作成し、ラボラトリーオートメーションデバイスを制御するための方法の流れ図を示す。 図面で用いる参照符号およびその意味を、まとめて符号の説明に列挙する。基本的に、複数の図において、同じ部分には同一の参照符号を付す。

図１に、制御システム１０を示す。制御システム１０は、ラボラトリーオートメーションデバイス１２、カメラ１４および手持ち式ピペット１６を含む。制御システム１０は、ラボラトリーオートメーションデバイス１２、カメラ１４および手持ち式ピペット１６と通信可能に相互接続された、ＰＣなどのコンピューティングデバイス１８をさらに含む。通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／またはＥｔｈｅｒｎｅｔ（登録商標）を介して行うことができる。

ラボラトリーオートメーションデバイス１２は、ワークベンチ２０を含み、その上に、取り外し可能な容器２２を装着することができる。例えば、容器２２には、使い捨てピペットチップ２４の入った容器２２ａ、サンプルチューブ２６の入った容器２２ｂ、ウェル２８のあるマイクロタイタープレート２２ｃおよび試薬容器２２ｄが含まれる。

ラボラトリーオートメーションデバイス１２は、ピペット３２を有するピペッティングアーム３０と、容器２２の位置および／または向きを決めるように構成されたセンサー３４とをさらに含む。センサー３４は、容器表面のバーコードあるいは、より一般的な、コンピューター読取可能なコードを読み取るように構成されたリーダーであってもよいし、そのようなリーダーを含んでもよく、その両方であってもよい。センサー３４は、容器２２の位置および／または向きを決定するように構成されたカメラ、レーザースキャナおよび／または何らかのデバイスであってもよいし、そのようなカメラ、レーザースキャナおよび／または何らかのデバイスを含んでもよく、その両方であってもよい。センサー３４は、ＲＦＩＤリーダーを含んでもよい。

カメラ１４は、ステレオビデオデータを作成するためのステレオカメラであってもよいし、ピクセル単位の奥行き情報を作成するためのＴＯＦカメラであってもよい。カメラ１４の視野は、検査技師の作業領域３６に向けられている。この作業領域の詳細については、図２を参照して後述する。

カメラ１４は、定点カメラであってもよいし、検査技師の頭部に装着されるものであってもよい。この場合、カメラ１４は、カメラ１４および／または検査技師の頭部の位置および／または向きを決定するように構成された、加速度センサーなどのモーションセンサー３８を含んでもよい。このような方法で、カメラ１４のビュー位置および／またはビュー方向を決定することができる。

手持ち式ピペット１６は、検査技師が操作して移動させることができるものである。手持ち式ピペット１６は、ピペットチップ４０を含む。ピペットチップ４０は、容器内の液体を吸引および分注するのに使用できる。さらに、手持ち式ピペットは、ユニット４２を含んでもよい。ユニット４２は、検査技師が液体を吸引または分注するために手持ち式ピペット１６を移動させたか否かを決定するように構成されたものである。手持ち式ピペット１６は、液体の分注量および／または液体の吸引量、吸引の速度および／または分注の速度などの複数のプロセスパラメーターを設定できるように構成されたものであってもよい。これらのパラメーターは、ユニット４２によって取得することができる。

手持ち式ピペット１６は、検査技師が押すことのできるボタン４４を含んでもよい。ボタン４４を用いて、吸引および分注を起動するようにしてもよい。

さらに、図１に、システム１０の動作時にコンポーネント１２、１４、１６、１８間で送受信できるデータも示す。

コンピューティングデバイス１８に、ラボラトリーオートメーションデバイス１２からのコンフィギュレーションデータ４６を転送することができる。コンフィギュレーションデータ４６には、ラボラトリーオートメーションデバイス１２の容器２２のうち少なくともいくつかの位置、向きおよび／またはタイプが符号化されていてもよい。また、コンフィギュレーションデータには、容器２２の中に、サンプル、試薬、希釈剤など、どのタイプの液体が入っているかが符号化されていてもよい。例えば、このデータを、センサー３４を用いて取得することができる。その目的のために、容器２２のうちの少なくともいくつかに、コンピューター読取可能なコードが印刷されていてもよい。

コンピューティングデバイス１８は、カメラ１４からのビデオデータ４８も受信する。このビデオデータによって、検査技師の作業領域３６内にある手持ち式ピペット１６および別の容器の動きを表示することができる。

さらに、コンピューティングデバイス１８は、手持ち式ピペット１６、特に、無線送受信機を有していてもよいピペット１６のユニット４２から、動作データ５０を受信することができる。動作データ５０には、例えば、上述したような吸引および／または分注の起動や、ピペット１６で調節可能なプロセスパラメーターなど、ユニット４２によって取得された情報が含まれていてもよい。

後に詳細について説明もするように、少なくとも検査技師が作業領域で行っていたアッセイプロトコールが終了したら、コンピューティングデバイス１８は、ラボラトリーオートメーションデバイス１２用の制御プログラム５２を作成することができる。制御プログラム５２は、ラボラトリーオートメーションデバイス１２を用いた類似のアッセイプロトコールを実行する。

結局のところ、コンピューティングデバイス１８は、制御プログラム５２を実行すればよく、そうすると、制御プログラム５２によって制御コマンド５４が作成される。制御コマンド５４がラボラトリーオートメーションデバイス１２に送られるおよび／または制御コマンド５４によってピペッティングアーム３０が制御されて、検査技師が手持ち式ピペット１６を用いて規定したアッセイプロトコールが実行される。

図２に、作業領域３６をより詳細に示す。作業領域３６には、容器２２’を配置することができる。容器２２’は、ラボラトリーオートメーションデバイス１２の容器２２と類似のものであってもよいし、同一のものであってもよく、その両方であってもよい。作業領域３６がラボラトリーオートメーションデバイス１２のワークベンチ２０の一部であり、容器２２’と容器２２が同一であってもよい。しかしながら、作業領域３６を、ラボラトリーオートメーションデバイス１２とは異なる場所に設けることも可能である。

容器２２と同様に、作業領域３６の容器２２’にも、使い捨てピペットチップ２４’の入った容器２２ａ’、サンプルチューブ２６’の入った容器２２ｂ’、ウェル２８’のあるマイクロタイタープレート２２ｃ’および試薬容器２２ｄ’が含まれていてもよい。

容器２２は、液体および使い捨てピペットチップ２４’を受けるように構成されたものであり、各々に開口５６が設けられている。これらの開口５６は、ビデオデータ４８で検出することができる。

容器２２’のうちのいくつかまたはすべてに、コンピューター読取可能なコード６０が付されていてもよい。このコード６０を、ビデオデータ４８から読み取ることができ、コード６０に符号化されている情報を決定することができる。この情報には、容器のタイプ（試薬容器またはサンプル容器など）、容器内の液体のタイプなどが含まれていてもよい。上記に代えてまたは上記に加えて、容器２２’のうちのいくつかまたはすべてに、ＲＦＩＤタグが付されていてもよい。このコード６０を、ＲＦＩＤリーダーを用いて容器２２’から読み取ることができる。

また、容器２２’のうちのいくつかまたはすべてに、標識６２がなされていてもよい。標識は、検査技師にも識別可能な特定のパターンおよび／または色であってもよい。例えば、容器２２’の縁または内側が、ウェル２８’で示すように標識６２となる色で着色されていてもよい。標識６２は、ビデオデータ４８で検出されてもよいし、容器２２’と紐付けられていてもよい。パターンコード、色コード、液体のタイプなどの標識６２の情報を、ビデオデータ４８から決定することができる。

図２には、作業領域３６における手持ち式ピペット１６の軌道５８と、軌道５８上の追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄも示す。追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄは、例えば、検査技師がボタン４４を押したときに記録することができ、ゆえに動作データ５０から決定される。また、ピペットチップ４０が容器２２’の開口５６に入ったことがビデオデータ４８から決定されたら、追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄが記録されるようにしてもよい。

図４に、ラボラトリーオートメーションデバイス１２用の制御プログラム５２を作成し、任意に、制御プログラム５２を実行することによってラボラトリーオートメーションデバイス１２を制御するための方法の流れ図を示す。

最初に、検査技師は、作業領域３６に容器２２’を配置することができ、カメラ１４が頭部に装着されるカメラ１４である場合には、これを身につけることができ、コンピューティングデバイス１８に記録を開始するように指令することができる。

工程Ｓ１０では、検査技師の作業領域３６を表示するビデオデータ４８が、コンピューティングデバイス１８で受信される。任意に、手持ち式ピペット１６からの動作データ５０が、コンピューティングデバイス１８で受信される。

工程Ｓ１２では、ビデオデータ４８および任意に動作データ５０が、コンピューティングデバイス１８によって評価される。

コンピューティングデバイス１８は、ビデオデータ４８で、容器２２’、容器２２’の開口５６を検出することができ、容器２２’と開口５６の位置を決定することができる。また、コンピューター読取可能なコード６０および標識６２を検出することもできる。

容器２２’、開口５６、ピペットチップ４０、コード６０および／または標識６２については、物体認識アルゴリズムを用いて検出されてもよい。コンポーネント２２’、５６、４０、６０、６２の形状および／またはパターンがコンピューティングデバイス１８に格納され、ビデオデータ４８から決定された形状と比較されてもよい。さらに、マイクロタイタープレート２２ｃ’またはピペットチップ容器２２ａ’などの方法で、特定のタイプの容器２２’が決定されてもよい。

ビデオデータ４８で検出されるコード６０および／または標識６２を評価して、その情報の内容を取得することができる。このコンピューター読取可能なコード６０が、そのデータ内容に変換されてもよい。標識６２のパターンおよび／または色が、パターンコードおよび色コードに変換されてもよい。

コンピューティングデバイス１８は、さらに、容器２２’に対するピペットチップ４０の動きおよび／または軌道５８を決定することができる。容器２２’は、テーブルやワークベンチなどの上に立っているか、検査技師に保持されているかのいずれかである。カメラ１４が頭部に装着されるカメラ１４の場合、容器２２’および／または開口５６に対するピペットチップ４０の相対的な位置を決定できるように、容器２２’および／または開口５６の軌道を追跡することもできる。コンポーネント２２’、５６、４０については、物体追跡アルゴリズムを用いて追跡することができる。

コンピューティングデバイス１８は、さらに、軌道５８上の追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄを決定することができる。使い捨てチップ２４’の装着または廃棄（追跡ポイント６４ａ、図２参照）、液体６２、６４の吸引（追跡ポイント６４ｂ、６４ｄ）、液体６２、６４の分注（追跡ポイント６４ｃ）などの特定のイベントが生じるたびに、そのような追跡ポイントが記録されてもよい。追跡ポイント６４ａは装着点であってもよく、追跡ポイント６４ｂ、６４ｄは吸引点であってもよく、追跡ポイント６４ｃは分注点であってもよい。

概して、手持ち式ピペット１６の内容および／または構成が変化したときに、イベントが起こり得る。そのようなイベントについては、ビデオデータ４８から決定されてもよい。例えば、使い捨てチップ２４’が装着されると、ピペットチップ４０の形状が変化する。また、ピペットチップ４０が下がって開口５６の中に入ったら、液体が吸引されたと判断するようにしてもよい。別の例として、検査技師がボタン４４を押すたびに、液体が吸引されたか分注されたと仮定するようにしてもよい。ボタン４４が押されたことについては、動作データ５０から読み取るようにしてもよい。一般に、追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄについては、動作データ５０に基づいて符号化してもよい。

追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄには、イベントの位置および／またはイベントのタイプが符号化されている。その位置は、イベントの生じる場所の三次元座標および／または容器２２’または容器２２’のタイプとして符号化されてもよい。

アッセイの手順を終えたら、検査技師は、コンピューティングデバイス１８（あるいは、コンピューティングデバイス１８で動作しているそれぞれのコンピュータープログラム）に、制御プログラム５２を作成するよう命令することができる。

工程Ｓ１４では、工程Ｓ１２で決定された開口５６の位置に対するピペットチップ４０の動きや他の情報から、ラボラトリーオートメーションデバイス１２用の制御プログラム５２が作成される。

概して、制御プログラム５２は、検査技師によって規定されたアッセイプロトコールに従って、作業領域３６で容器２２に対し、ラボラトリーオートメーションデバイス１２のピペット３２を有するピペッティングアーム３０を動かすように構成して作成される。これには、手持ち式ピペット１６に従ってピペッティングアーム３０のロボットピペット３２を移動させること、手持ち式ピペット１６に従って液体を吸引および分注するおよび／または手持ち式ピペット１６に従って使い捨てチップ２４を装着および廃棄するためにロボットピペット３２を制御することを含み得る。

一例として、作業領域３６の容器２２’を、ラボラトリーオートメーションデバイスの容器２２のように配置する（あるいは、これらの容器２２、２２’は同一である）。その後、ロボットピペット３２を有するピペッティングアーム３０によって、手持ち式ピペット１６の吸引および分注のみ、任意に、使い捨てチップ２４の装着および廃棄、それぞれの位置への移動が再現されるように、制御プログラム５２を作成することができる。制御プログラム５２で、それぞれの容器２２、２２’の中にある内容物および／または液体を把握している必要はない。

別の例では、検査技師が１つのサンプル２６’についてのアッセイプロトコールを実施する、すなわち、１つのサンプル２６’についてのビデオデータ４８が記録され、制御プログラム５２によって、ラボラトリーオートメーションデバイス１２で複数のサンプル２６についてピペット３２アームの移動および／またはロボットピペット３２の吸引および分注が再現されるように、制御プログラム５２が作成される。例えば、これは単に、ピペット３２の吸引および分注、任意に、使い捨てチップの装着および廃棄がなされる位置を、対応する容器２２のすぐ隣の位置まで動かすことによって達成することができる。また、マルチチャネルロボットピペット３２を、マイクロタイタープレートのカラムに沿って動作させることもできる。

さらに別の例として、ピペッティングアーム３０およびピペット３２の移動、ピペット３２の吸引および分注および／または任意に、使い捨てチップ２４の装着および廃棄は、追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄから決定される。追跡ポイントに関連するイベントから、制御プログラム５２用の対応するコマンドを導き出すことができる。例えば、追跡ポイント６４ａを、「取り外し可能なチップを装着せよ」というコマンドに変換してもよいし、追跡ポイント６４ａを、「サンプルを吸引せよ」というコマンドに変換してもよいといった具合である。また、この場合、制御プログラム５２によって複数のサンプルに対するタスクが再現されるように、制御プログラム５２が作成されてもよい。

さらに別の例として、作業領域３６の容器２２’に対して識別されたタイプと同じタイプの、ラボラトリーオートメーションデバイス１２の容器２２用に、制御プログラム５２が作成されてもよい。この場合、どのタイプの容器２２から、液体を吸引しなければならない場合があるのか、どのタイプの容器に液体を分注しなければならない場合があるのかを識別するのに、追跡ポイント６４ａ、６４ｂ、６４ｃ、６４ｄが用いられてもよい。この場合、容器２２’が、容器２２とは異なる方法で配置されてもよい。

容器２２と一致してもよい、容器２２のタイプを決定するために、コンピューティングデバイス１８は、ラボラトリーオートメーションデバイス１２からのコンフィギュレーションデータ４６を要求する。例えば、レーザースキャナおよび／またはカメラによって、容器２２のタイプ、位置および／または向きを決定することができる。さらに、バーコードスキャナーによって、容器２２のバーコードをスキャンすることができるおよび／またはＲＦＩＤスキャナーを使用して、それらのタイプおよび／または内容を決定することもできる。コンフィギュレーションデータ４６は、容器２２の位置およびタイプについての情報を含んでもよい。コンフィギュレーションデータ４６を、制御プログラム５２を作成するのに使用することもできる。

工程Ｓ１６では、任意に、制御プログラム５２を改変して制御プログラム５２’にすることができる。例えば、作成された制御プログラム５２は、スクリプトであってもよく、これを検査技師がさらに改変することができる。例えば、検査技師によって、制御プログラム５２に繰り返し制御構造を挿入することができる。また、サンプルのインキュベーションなど、追加の工程が制御プログラム５２に含まれていてもよい。

「赤いウェル」、「ピンクの容器」などのパターンコードおよび／またはカラーコードに基づくコマンドが制御プログラム５２に含まれていてもよく、これらを、検査技師によってラボラトリーオートメーションデバイス１２の実際の容器２２’または容器２２’のタイプに置き換えることができる。

工程Ｓ１８では、制御プログラム５２または５２’は、例えば、検査技師がコンピューティングデバイス１８でコンピュータープログラムに制御プログラム５２、５２’の実行を命令したときに、コンピューティングデバイス１８によって実行される。これは、複数回行うこともできる。例えば、制御プログラム５２、５２’が終了したら、検査技師は、ラボラトリーオートメーションデバイス１２において例えば同じレイアウトで新たな容器２２を配置することができ、制御プログラム５２、５２’を再び起動することができる。

制御プログラム５２、５２’が実行されると、制御コマンド５４が作成され、ラボラトリーオートメーションデバイス１２は、アッセイプロトコールを実施する。このアッセイプロトコールは、作業領域３６において検査技師によって設計されたものである。特に、作業領域３６において１つのサンプル２６’で実施された同じアッセイプロトコールを、ラボラトリーオートメーションデバイス１２で複数のサンプル２６に対して複数回実施することができる。

以上、図面および上記の説明において、本発明について図示し、詳細に説明してきたが、このような図示および説明は、例示または実例であって限定的なものとみなされるものではなく、本発明は、開示された実施形態に限定されるものではない。当業者であれば、図面、開示内容および添付の特許請求の範囲の検討から、特許請求の範囲に記載の発明を実施することによって、開示された実施形態に対する他の変形例を理解し、実施することが可能である。特許請求の範囲において、「含む（comprising）」という語は、他の要素または工程を排除するものではなく、不定冠詞「a」または「a」は複数を排除するものではない。単一のプロセッサまたはコントローラまたは他のユニットは、特許請求の範囲に記載された複数のアイテムの機能を満たし得る。相互に異なる引用請求項に何らかの手段が記載されているという単なる事実は、これらの手段の組み合わせを用いて利益を得ることができない旨を示すものではない。特許請求の範囲における参照符号はいずれも、その範囲を限定するものと解釈されるべきではない。

１０ 制御システム
１２ ラボラトリーオートメーションデバイス
１４ カメラ
１６ 手持ち式ピペット
１８ コンピューティングデバイス
２０ ワークベンチ
２２ 容器
２２ａ 容器
２２ｂ 容器
２２ｃ マイクロタイタープレート
２２ｄ 試薬容器
２４ 使い捨てピペットチップ
２６ サンプルチューブ
２８ ウェル
３０ ピペッティングアーム
３２ ピペット
３４ センサー
３６ 作業領域
３８ モーションセンサー
４０ チップ
４２ 電子ユニット
４４ ボタン
４６ コンフィギュレーションデータ
４８ ビデオデータ
５０ 動作データ
５２ 制御プログラム
５４ 制御コマンド
２２’ 作業領域の容器
２２ａ’ 作業領域の容器
２２ｂ’ 作業領域の容器
２２ｃ’ 作業領域のマイクロタイタープレート
２２ｄ’ 作業領域の試薬容器
２４’ 作業領域の使い捨てピペットチップ
２６’ 作業領域のサンプルチューブ
２８’ 作業領域のウェル
５６ 開口
５８ 移動／軌道
６０ コンピューター読取可能なコード
６２ 標識
６４ａ 追跡ポイント
６４ｂ 追跡ポイント
６４ｃ 追跡ポイント
６４ｄ 追跡ポイント
５２’ 改変された制御プログラム

Claims (13)

1. ラボラトリーオートメーションデバイス（１２）用の制御プログラム（５２）を作成するための方法であって、
   手持ち式ピペット（１６）および液体を受けるための容器（２２’）を含む、検査技師の作業領域（３６）を表示するビデオデータ（４８）を受信し、
   前記ビデオデータ（４８）における前記容器（２２’）の開口（５６）を検出して、前記開口（５６）の位置を決定し、
   前記ビデオデータ（４８）における前記手持ち式ピペット（１６）のピペットチップ（４０）を検出して、前記チップ（４０）の動き（５８）を決定し、
   前記開口（５６）の前記位置に対する前記ピペットチップ（４０）の前記動きから、前記ラボラトリーオートメーションデバイス（１２）用の前記制御プログラム（５２）を作成することを含み、
   前記制御プログラム（５２）は、
   前記作業領域（３６）における前記手持ち式ピペット（１６）の前記動きに従って、前記ラボラトリーオートメーションデバイス（１２）の容器（２２）に対して、前記ラボラトリーオートメーションデバイス（１２）のロボットピペット（３２）を有するピペッティングアーム（３０）を移動させるように構成されていて、
   前記検査技師は、前記手持ち式ピペット（１６）をもちいてアッセイプロトコールを実施し、
   前記ビデオデータ（４８）は、定点カメラ（１４）または前記検査技師の頭部に取り付けられたカメラ（１４）を用いて作成され、
   液体についての複数の吸引点（６４）および複数の分注点（６４）が、前記開口（５６）に対する前記ピペットチップ（４０）の前記動き（５８）から決定され、
   前記ピペッティングアーム（３０）の動きは、前記複数の吸引点（６４）および複数の分注点（６４）から決定される、方法。
2. 前記開口（５６）および前記ピペットチップ（４０）は、物体認識アルゴリズムを用いて検出される、請求項１に記載の方法。
3. 前記ピペットチップ（４０）の前記動き（５８）は、物体追跡アルゴリズムを用いて追跡される、請求項１または２に記載の方法。
4. 各々の容器（２２’）について、容器（２２’）のタイプを、前記ビデオデータ（４８）および／または前記容器（２２’）に付されたＲＦＩＤタグから識別することをさらに含み、
   前記制御プログラム（５２）は、前記作業領域（３６）の前記容器（２２’）に対して識別されたタイプと同じタイプの、前記ラボラトリーオートメーションデバイス（１２）の容器（２２）用に作成される、請求項１～３のいずれか１項に記載の方法。
5. 前記作業領域（３６）の前記容器（２２’）にはコンピューター読取可能なコード（６０）が設けられ、容器（２２’）の前記タイプは、前記ビデオデータ（４８）における前記コンピューター読取可能なコード（６０）から決定される、請求項４に記載の方法。
6. 前記作業領域（３６）の前記容器（２２’）には標識（６２）が設けられ、ある容器（２２’）についての前記標識（６２）からの情報が、前記ビデオデータ（４８）から決定され、
   容器（２２’）の前記タイプは、前記情報から決定され、
   前記標識（６２）は色のついた標識であり、前記情報は色である、請求項４または５に記載の方法。
7. 容器（２２’）の前記タイプは、前記容器（２２’）の形状から決定され、前記容器（２２’）の形状は、前記ビデオデータ（４８）から決定される、請求項４～６のいずれか１項に記載の方法。
8. 液体の吸引および／または分注の起動、液体の分注量および／または吸引量、吸引速度および／または分注速度のうちの少なくとも１つを含む動作データ（５０）を、前記手持ち式ピペット（１６）から受信することをさらに含み、
   前記制御プログラム（５２）は、前記動作データ（５０）に従って液体を吸引および分注するために前記ロボットピペット（１６）を制御するように構成されている、請求項１～７のいずれか１項に記載の方法。
9. 前記ピペットチップ（４０）の動き（５８）、および／または前記手持ち式ピペット（１６）に対する動作データ（５０）は、１つのサンプルについて記録され、
   前記制御プログラム（５２）は、前記ラボラトリーオートメーションデバイス（１２）で、複数のサンプルに対して、前記ピペッティングアーム（３０）の前記動き、および／または前記ロボットピペット（３２）の吸引および分注が前記制御プログラム（５２）によって再現されるように作成される、請求項１～８のいずれか１項に記載の方法。
10. 前記ビデオデータ（４８）は、奥行き情報を含み、奥行き情報を作成するように構成されたカメラ（１４）を用いて作成される、請求項１～９のいずれか１項に記載の方法。
11. ラボラトリーオートメーションデバイス（１２）用の制御プログラムを作成するためのコンピュータープログラムであって、プロセッサによって処理されると、請求項１～１０のいずれか１項に記載の方法の工程を実行するように構成されている、コンピュータープログラム。
12. 請求項１１に記載のコンピュータープログラムが格納された、コンピューター読取可能な媒体。
13. ラボラトリーオートメーションデバイス（１２）用の制御システム（１０）であって、
    前記ラボラトリーオートメーションデバイス（１２）と、
    カメラ（１４）と、
    前記ラボラトリーオートメーションデバイス（１２）および前記カメラ（１４）と通信可能に相互接続され、請求項１～１０のいずれか１項に記載の方法を実行するように構成されているコンピューティングデバイス（１８）と、を備える、制御システム（１０）。

Images