JP7188140B2 - manipulation system - Google Patents

manipulation system Download PDF

Info

Publication number
JP7188140B2
JP7188140B2 JP2019015041A JP2019015041A JP7188140B2 JP 7188140 B2 JP7188140 B2 JP 7188140B2 JP 2019015041 A JP2019015041 A JP 2019015041A JP 2019015041 A JP2019015041 A JP 2019015041A JP 7188140 B2 JP7188140 B2 JP 7188140B2
Authority
JP
Japan
Prior art keywords
image
binary image
unit
manipulation system
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019015041A
Other languages
Japanese (ja)
Other versions
JP2020122894A (en
Inventor
尚史 倉持
ハウス リチャード
伸明 田中
秀樹 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NSK Ltd
Original Assignee
NSK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSK Ltd filed Critical NSK Ltd
Priority to JP2019015041A priority Critical patent/JP7188140B2/en
Publication of JP2020122894A publication Critical patent/JP2020122894A/en
Application granted granted Critical
Publication of JP7188140B2 publication Critical patent/JP7188140B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)

Description

本発明は、マニピュレーションシステムに関する。 The present invention relates to manipulation systems.

バイオ医薬品は細胞を原料として製造される。原料となる細胞は、単一細胞に由来していることが求められる。このため、培養液中から特定の細胞を選別し回収することが必要となる。特許文献１には、細胞を吸引するマニピュレータを有する細胞採取装置が記載されている。 Biopharmaceuticals are manufactured using cells as raw materials. The raw material cells are required to be derived from a single cell. Therefore, it is necessary to select and recover specific cells from the culture medium. Patent Document 1 describes a cell harvesting device having a manipulator for aspirating cells.

特開２０１３－１６９１８５号公報JP 2013-169185 A

マニピュレータを有する細胞採取装置では、画像処理により細胞を自動で検出する際に、光源から照射される光の状態によって細胞の正しい形状を検出することができず、細胞を誤検出する場合がある。 In a cell harvesting device with a manipulator, when cells are automatically detected by image processing, the correct shape of the cells cannot be detected depending on the state of the light emitted from the light source, and cells may be detected incorrectly.

本発明は、上記に鑑みてなされたものであり、微小対象物の検出精度を向上させることで、微小対象物を１個ずつ採取することが可能なマニピュレーションシステムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a manipulation system capable of picking up minute objects one by one by improving detection accuracy of minute objects.

一態様に係るマニピュレーションシステムは、管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、前記管状器具と、前記管状器具が取り付けられるマニピュレータと、前記微小対象物を収容するための容器が載置される試料ステージと、前記試料ステージの上方に配置される第１顕微鏡と、前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、コントローラと、を備え、前記コントローラは、前記第１画像に基づいて、第１しきい値以上の輝度を有する複数の明部を表示する第１バイナリ画像と、第２しきい値以下の輝度を有する複数の暗部を表示する第２バイナリ画像とを作成し、前記第１バイナリ画像と前記第２バイナリ画像とを重ね合わせて第３バイナリ画像を作成する画像処理部と、前記第３バイナリ画像において、前記明部と前記暗部とが組み合わされた検出部分に基づいて前記微小対象物の位置を検出する位置検出部と、を有する。 A manipulation system according to one aspect is a manipulation system for extracting a micro-object using a tubular instrument, comprising: the tubular instrument; a manipulator to which the tubular instrument is attached; and a container for containing the micro-object. A sample stage to be mounted, a first microscope arranged above the sample stage, a first imaging device that captures a first image via the first microscope, and a controller, wherein the controller is , based on the first image, a first binary image displaying a plurality of bright areas having luminance equal to or greater than a first threshold; and a second binary image displaying a plurality of dark areas having luminance equal to or less than a second threshold. an image processing unit that creates a binary image and superimposes the first binary image and the second binary image to create a third binary image; a position detection unit that detects the position of the minute object based on the combined detection parts.

これによれば、マニピュレーションシステムは、微小対象物の明部及び暗部を検出して、２つのバイナリ画像を組み合わせることで、明部及び暗部のいずれか一方のみで微小対象物を検出する場合に比べて、微小対象物の形状及び大きさを精度よく検出することができる。これにより、マニピュレーションシステムは、微小対象物を１個ずつ採取することができる。 According to this, the manipulation system detects the bright part and the dark part of the minute object, and combines the two binary images, which makes it possible to detect the minute object in only one of the bright part and the dark part. Therefore, the shape and size of a minute object can be detected with high accuracy. Thereby, the manipulation system can pick up the minute objects one by one.

望ましい態様として、前記コントローラは、前記微小対象物の基準バイナリ画像を記憶する記憶部を有し、前記位置検出部は、前記第３バイナリ画像の前記検出部分と、前記基準バイナリ画像とを比較して、前記微小対象物を検出する。これによれば、マニピュレーションシステムは、基準バイナリ画像とは異なる形状の微小対象物や、異なる大きさの微小対象物を、採取対象から除去することができる。 Preferably, the controller has a storage unit that stores a reference binary image of the minute object, and the position detection unit compares the detected portion of the third binary image with the reference binary image. to detect the minute object. According to this, the manipulation system can remove micro-objects having different shapes and different sizes from the reference binary image from the object to be collected.

望ましい態様として、マニピュレーションシステムは、前記第１画像の輝度に基づいて、前記第１しきい値と、前記第１しきい値よりも小さい輝度を示す前記第２しきい値とを設定するしきい値設定部を有する。これによれば、第１バイナリ画像の明部と、第２バイナリ画像の暗部とが、それぞれ異なるしきい値で検出される。このため、第１顕微鏡の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステムは、良好に明部及び暗部を検出することができる。すなわち、マニピュレーションシステムは、環境の変化に対するロバスト性を向上させることができる。 Preferably, the manipulation system sets the first threshold value and the second threshold value indicating a brightness value less than the first threshold value based on the brightness of the first image. It has a value setting section. According to this, the bright portion of the first binary image and the dark portion of the second binary image are detected with different threshold values. Therefore, even if the luminance in the field of view of the first microscope changes due to the measurement environment or the like, the manipulation system can detect the bright and dark areas satisfactorily. That is, the manipulation system can improve robustness against environmental changes.

望ましい態様として、前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像及び前記第２バイナリ画像を作成する。これによれば、カラー画像を用いる場合に比べて画像処理部が行う画像処理の負荷を抑制することができる。 Preferably, the image processing unit converts the first image into a grayscale image that displays only luminance, and creates the first binary image and the second binary image based on the grayscale image. According to this, the load of the image processing performed by the image processing section can be suppressed compared to the case of using a color image.

望ましい態様として、前記画像処理部は、前記第１バイナリ画像において、複数の前記明部をそれぞれ拡大し、前記第２バイナリ画像において、複数の前記暗部をそれぞれ拡大する。これによれば、マニピュレーションシステムは、第３バイナリ画像において明部と暗部とが組み合わされた場合に、明部と暗部との間に隙間が生じることを抑制することができる。したがって、位置検出部は、１組の明部と暗部とを１つの微小対象物として検出することができる。 Preferably, the image processing section enlarges the plurality of bright portions in the first binary image, and enlarges the plurality of dark portions in the second binary image. According to this, the manipulation system can suppress the occurrence of a gap between the bright portion and the dark portion when the bright portion and the dark portion are combined in the third binary image. Therefore, the position detection section can detect a pair of bright and dark portions as one minute object.

望ましい態様として、前記位置検出部は、前記管状器具の端部の位置及び延在方向を検出し、前記画像処理部は、前記第３バイナリ画像のうち、前記管状器具の端部と隣り合う部分領域を切り取って、前記部分領域で画像処理を行う。これによれば、画像処理部が行う画像処理や、位置検出部が行うパターンマッチングの負荷を抑制することができる。 Preferably, the position detection section detects the position and extending direction of the end of the tubular instrument, and the image processing section detects a portion of the third binary image adjacent to the end of the tubular instrument. A region is cut out and image processing is performed on the partial region. According to this, the load of the image processing performed by the image processing unit and the pattern matching performed by the position detection unit can be suppressed.

望ましい態様として、マニピュレーションシステムは、さらに、前記管状器具に対して前記試料ステージを相対的に移動させる駆動装置を有し、前記コントローラは、前記位置検出部が前記微小対象物を検出しなかった場合に、前記駆動装置により前記試料ステージを移動させる。これによれば、第１画像に微小対象物が存在しない場合に、容器内の異なる領域で微小対象物を検出することができる。 As a desirable aspect, the manipulation system further includes a driving device that moves the sample stage relative to the tubular instrument, and the controller controls the movement of the micro-object when the position detection unit does not detect the micro-object. Then, the sample stage is moved by the driving device. According to this, when the minute object does not exist in the first image, the minute object can be detected in a different region inside the container.

本発明によれば、微小対象物の検出精度を向上させることで、微小対象物を１個ずつ採取することが可能なマニピュレーションシステムを提供することができる。 According to the present invention, it is possible to provide a manipulation system capable of picking up minute objects one by one by improving detection accuracy of minute objects.

図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。FIG. 1 is a perspective view showing a configuration example of the manipulation system according to the first embodiment. 図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。2 is an enlarged perspective view of a portion of the manipulation system shown in FIG. 1; FIG. 図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。FIG. 3 is a schematic diagram showing a configuration example of the manipulation system according to the first embodiment. 図４は、第１実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of the manipulation system according to the first embodiment. 図５は、検出部の構成例を示すブロック図である。FIG. 5 is a block diagram showing a configuration example of a detection unit. 図６は、記憶部の構成例を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration example of a storage unit; 図７は、表示部の画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of a screen of a display unit; 図８は、第１実施形態に係る採取用ピペットの構成例を示す側面図である。FIG. 8 is a side view showing a configuration example of the collection pipette according to the first embodiment. 図９は、採取用ピペットの先端部を拡大して示す図である。FIG. 9 is an enlarged view of the tip of the sampling pipette. 図１０は、第１実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。10 is a flowchart showing an example of a cell detection sequence of the manipulation system according to the first embodiment; FIG. 図１１は、第１画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。FIG. 11 is a schematic diagram showing an example of a grayscale image in which the first image is displayed only with luminance. 図１２は、図１１に示す領域Ａ１の細胞を拡大して示す模式図である。FIG. 12 is a schematic diagram showing enlarged cells in region A1 shown in FIG. 図１３は、細胞及び背景の輝度の分布を模式的に示すグラフである。FIG. 13 is a graph schematically showing luminance distributions of cells and background. 図１４は、第１バイナリ画像の一例を示す模式図である。FIG. 14 is a schematic diagram showing an example of the first binary image. 図１５は、第２バイナリ画像の一例を示す模式図である。FIG. 15 is a schematic diagram showing an example of the second binary image. 図１６は、第１バイナリ画像において、小さい明部を除去した画像の一例を示す模式図である。FIG. 16 is a schematic diagram showing an example of an image from which a small bright portion is removed in the first binary image. 図１７は、第２バイナリ画像において、小さい暗部を除去した画像の一例を示す模式図である。FIG. 17 is a schematic diagram showing an example of an image from which small dark portions are removed in the second binary image. 図１８は、第１バイナリ画像において、明部を拡大した画像の一例を示す模式図である。FIG. 18 is a schematic diagram showing an example of an image in which a bright portion is enlarged in the first binary image. 図１９は、第２バイナリ画像において、暗部を拡大した画像の一例を示す模式図である。FIG. 19 is a schematic diagram showing an example of an image obtained by enlarging a dark portion in the second binary image. 図２０は、第３バイナリ画像の一例を示す模式図である。FIG. 20 is a schematic diagram showing an example of the third binary image. 図２１は、図２０に示す第３バイナリ画像の部分領域において、検出部分をさらに拡大した画像の一例を示す模式図である。21 is a schematic diagram showing an example of an image in which the detection portion is further enlarged in the partial area of the third binary image shown in FIG. 20. FIG. 図２２は、図２１に示す部分領域の画像において、部分領域の外周と接する検出部分を除去した画像の一例を示す模式図である。FIG. 22 is a schematic diagram showing an example of an image obtained by removing a detection portion in contact with the outer periphery of the partial area in the image of the partial area shown in FIG. 21 . 図２３は、細胞の基準バイナリ画像を示す模式図である。FIG. 23 is a schematic diagram showing a reference binary image of cells. 図２４は、細胞の検出結果を表示する第１画像の一例を示す模式図である。FIG. 24 is a schematic diagram showing an example of a first image displaying a cell detection result. 図２５は、第２実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。FIG. 25 is a flow chart showing an example of a cell detection sequence of the manipulation system according to the second embodiment. 図２６は、変形例に係る検出部分の一例を示す模式図である。FIG. 26 is a schematic diagram showing an example of a detection portion according to a modification.

以下、発明を実施するための形態（以下、実施形態という）につき図面を参照しつつ詳細に説明する。なお、下記の実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。 EMBODIMENT OF THE INVENTION Hereinafter, it demonstrates in detail, referring drawings for the form (henceforth embodiment) for implementing invention. In addition, the present invention is not limited by the following embodiments. In addition, components in the following embodiments include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those that fall within a so-called equivalent range. Furthermore, the constituent elements disclosed in the following embodiments can be combined as appropriate.

（第１実施形態）
図１は、第１実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図２は、図１に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図３は、第１実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図１から図３に示すマニピュレーションシステム１００は、容器３８に収容された複数個の微小対象物のうちから、所望の微小対象物を１個ずつ分取する装置である。微小対象物は、例えば細胞である。 (First embodiment)
FIG. 1 is a perspective view showing a configuration example of the manipulation system according to the first embodiment. 2 is an enlarged perspective view of a portion of the manipulation system shown in FIG. 1; FIG. FIG. 3 is a schematic diagram showing a configuration example of the manipulation system according to the first embodiment. A manipulation system 100 shown in FIGS. 1 to 3 is a device for picking up desired micro-objects one by one from a plurality of micro-objects housed in a container 38 . A microscopic object is, for example, a cell.

図１から図３に示すように、マニピュレーションシステム１００は、基台１と、採取用ピペット１０と、ピペット保持部１５と、マニピュレータ２０と、試料ステージ３０と、第１撮像装置４５を有する第１顕微鏡ユニット４０と、コントローラ５０と、第２撮像装置６５を有する第２顕微鏡ユニット６０と、第３撮像装置７５と、ジョイスティック５７と、入力部５８と、表示部８０と、を備える。なお、本実施形態では、試料ステージ３０の載置面３０ａに平行な一方向をＸ軸方向とする。載置面３０ａに平行で、かつ、Ｘ軸方向と直交する方向をＹ軸方向とする。載置面３０ａの法線方向をＺ軸方向とする。例えば、載置面３０ａが鉛直方向と直交する水平面となるように、基台１の配置が調整されている。 As shown in FIGS. 1 to 3, the manipulation system 100 includes a base 1, a sampling pipette 10, a pipette holder 15, a manipulator 20, a sample stage 30, and a first imaging device 45. A microscope unit 40 , a controller 50 , a second microscope unit 60 having a second imaging device 65 , a third imaging device 75 , a joystick 57 , an input section 58 and a display section 80 are provided. In this embodiment, one direction parallel to the mounting surface 30a of the sample stage 30 is defined as the X-axis direction. A direction parallel to the mounting surface 30a and orthogonal to the X-axis direction is defined as a Y-axis direction. Let the normal direction of the mounting surface 30a be the Z-axis direction. For example, the placement of the base 1 is adjusted so that the mounting surface 30a is a horizontal plane perpendicular to the vertical direction.

採取用ピペット１０は、細胞を採取するための管状器具である。例えば、採取用ピペット１０は針状であり、その材質は例えばガラスである。採取用ピペット１０の先端には、細胞を採取するための開口部が設けられている。採取用ピペット１０の詳細は、後で図８及び図９を参照しながら説明する。 A collection pipette 10 is a tubular instrument for collecting cells. For example, the sampling pipette 10 is needle-shaped and made of glass, for example. The tip of the collection pipette 10 is provided with an opening for collecting cells. Details of the sampling pipette 10 will be described later with reference to FIGS. 8 and 9. FIG.

ピペット保持部１５は、採取用ピペット１０を保持するための管状器具である。ピペット保持部１５の材質は、例えばガラス又は金属である。ピペット保持部１５の一端は、採取用ピペット１０に連結している。また、ピペット保持部１５の他端は、マニピュレータ２０が有する電動マイクロポンプ２９に接続されている。ピペット保持部１５及び採取用ピペット１０の内部圧力は、電動マイクロポンプ２９から供給される圧力Ｐにより減圧又は増圧される。採取用ピペット１０の内部圧力が常圧よりも低いとき、採取用ピペット１０は先端の開口部から細胞を吸引して採取することができる。また、採取用ピペット１０の内部圧力が常圧よりも高いとき、採取用ピペット１０は、採取した細胞を採取用ピペット１０の先端の開口部から外部へ吐出（放出）することができる。ピペット保持部１５は、後述の連結部２８を介してマニピュレータ２０に連結されている。 The pipette holder 15 is a tubular device for holding the sampling pipette 10 . The material of the pipette holder 15 is, for example, glass or metal. One end of the pipette holder 15 is connected to the collection pipette 10 . The other end of the pipette holder 15 is connected to the electric micropump 29 of the manipulator 20 . The internal pressure of the pipette holder 15 and the sampling pipette 10 is reduced or increased by the pressure P supplied from the electric micropump 29 . When the internal pressure of the sampling pipette 10 is lower than the normal pressure, the sampling pipette 10 can aspirate cells from the opening at the tip to sample them. Further, when the internal pressure of the sampling pipette 10 is higher than normal pressure, the sampling pipette 10 can eject (release) the sampled cells from the opening at the tip of the sampling pipette 10 to the outside. The pipette holding portion 15 is connected to the manipulator 20 via a connecting portion 28 which will be described later.

マニピュレータ２０は、ピペット保持部１５及び採取用ピペット１０をＸ軸方向、Ｙ軸方向及びＺ軸方向に移動させるための装置である。 The manipulator 20 is a device for moving the pipette holder 15 and the sampling pipette 10 in the X-axis direction, the Y-axis direction and the Z-axis direction.

図３に示すように、マニピュレータ２０は、Ｘ軸テーブル２１と、Ｙ軸テーブル２２と、Ｚ軸テーブル２３と、駆動装置２６、２７と、連結部２８、７１（図１参照）と、電動マイクロポンプ２９と、を備える。Ｘ軸テーブル２１は、駆動装置２６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸テーブル２２は、駆動装置２６が駆動することによって、Ｙ軸方向に移動する。Ｚ軸テーブル２３は、駆動装置２７が駆動することによって、Ｚ軸方向に移動する。駆動装置２６、２７と、電動マイクロポンプ２９は、コントローラ５０に接続されている。 As shown in FIG. 3, the manipulator 20 includes an X-axis table 21, a Y-axis table 22, a Z-axis table 23, driving devices 26 and 27, connecting portions 28 and 71 (see FIG. 1), an electric micro a pump 29; The X-axis table 21 is moved in the X-axis direction by being driven by the driving device 26 . The Y-axis table 22 is moved in the Y-axis direction by being driven by the driving device 26 . The Z-axis table 23 is moved in the Z-axis direction by being driven by the driving device 27 . Drives 26 , 27 and electric micropump 29 are connected to controller 50 .

マニピュレータ２０において、Ｚ軸テーブル２３はＹ軸テーブル２２上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｙ軸テーブル２２の移動にしたがって、Ｙ軸テーブル２２と同じ距離だけＹ軸方向に移動することができる。さらに、Ｙ軸テーブル２２はＸ軸テーブル２１上に取り付けられている。これにより、ピペット保持部１５及び採取用ピペット１０は、Ｘ軸テーブル２１の移動にしたがって、Ｘ軸テーブル２１と同じ距離だけＸ軸方向に移動することができる。また、ピペット保持部１５及び採取用ピペット１０は、Ｚ軸テーブル２３の移動にしたがって、Ｚ軸テーブル２３と同じ距離だけＺ軸方向に移動することができる。 In manipulator 20 , Z-axis table 23 is mounted on Y-axis table 22 . As a result, the pipette holder 15 and the sampling pipette 10 can move in the Y-axis direction by the same distance as the Y-axis table 22 as the Y-axis table 22 moves. Furthermore, the Y-axis table 22 is mounted on the X-axis table 21 . As a result, the pipette holder 15 and the sampling pipette 10 can be moved in the X-axis direction by the same distance as the X-axis table 21 as the X-axis table 21 moves. In addition, the pipette holder 15 and the sampling pipette 10 can move in the Z-axis direction by the same distance as the Z-axis table 23 as the Z-axis table 23 moves.

図３に示すように、試料ステージ３０は、容器３８を支持する。例えば、試料ステージ３０の載置面３０ａに容器３８が載置される。容器３８は、例えば、ディッシュ又はウェルプレートである。試料ステージ３０は、Ｘ軸ステージ３１と、Ｙ軸ステージ３２と、駆動装置３６と、を備える。Ｘ軸ステージ３１は、駆動装置３６が駆動することによって、Ｘ軸方向に移動する。Ｙ軸ステージ３２は、駆動装置３６が駆動することによって、Ｙ軸方向に移動する。Ｘ軸ステージ３１はＹ軸ステージ３２上に取り付けられている。駆動装置３６は、コントローラ５０に接続されている。 As shown in FIG. 3, sample stage 30 supports container 38 . For example, the container 38 is mounted on the mounting surface 30 a of the sample stage 30 . Container 38 is, for example, a dish or well plate. The sample stage 30 includes an X-axis stage 31 , a Y-axis stage 32 and a drive device 36 . The X-axis stage 31 is moved in the X-axis direction by being driven by the driving device 36 . The Y-axis stage 32 is moved in the Y-axis direction by being driven by the driving device 36 . The X-axis stage 31 is mounted on the Y-axis stage 32 . Drive 36 is connected to controller 50 .

なお、図３では、試料ステージ３０の平面視による形状（以下、平面形状）が円形の場合を示しているが、試料ステージ３０の平面形状は円形に限定されず、例えば矩形でもよい。また、図３では、容器３８の平面形状が円形の場合を示しているが、容器３８の平面形状は円形に限定されない。図１に示すように、容器３８の平面形状は、例えば矩形でもよい。また、図１及び図３では、試料ステージ３０上に１個の容器３８が載置されている場合を示しているが、試料ステージ３０上に載置される容器３８の数は１個に限定されず複数個でもよい。 Although FIG. 3 shows a case where the sample stage 30 has a circular shape in plan view (hereinafter referred to as a planar shape), the planar shape of the sample stage 30 is not limited to a circular shape, and may be rectangular, for example. Moreover, although FIG. 3 shows the case where the container 38 has a circular planar shape, the planar shape of the container 38 is not limited to a circular shape. As shown in FIG. 1, the planar shape of the container 38 may be rectangular, for example. 1 and 3 show the case where one container 38 is placed on the sample stage 30, the number of containers 38 placed on the sample stage 30 is limited to one. may be multiple.

第１顕微鏡ユニット４０は、試料ステージ３０の上方に配置されている。第１顕微鏡ユニット４０は、第１顕微鏡４１と、第１撮像装置４５と、試料ステージ３０の載置面３０ａに向けて光を照射する光源（図示せず）とを有する。図２に示すように、第１顕微鏡４１は、鏡筒４１１と、対物レンズ４１２と、駆動装置４１４（図３参照）とを有する。第１顕微鏡４１は、対物レンズ４１２が容器３８の上方に位置する実体顕微鏡である。第１顕微鏡ユニット４０の鏡筒４１１は、駆動装置４１４が駆動することによって、Ｚ軸方向に移動する。これにより、第１顕微鏡４１は、焦点位置を調節することができる。対物レンズ４１２は、所望の倍率に合わせて複数種類が用意されていてもよい。第１撮像装置４５は、第１顕微鏡４１を介して、採取用ピペット１０の先端をＺ軸方向から撮像することができる。なお、第１顕微鏡ユニット４０は、図示しない接眼レンズを備えてもよい。 The first microscope unit 40 is arranged above the sample stage 30 . The first microscope unit 40 has a first microscope 41 , a first imaging device 45 , and a light source (not shown) that emits light toward the mounting surface 30 a of the sample stage 30 . As shown in FIG. 2, the first microscope 41 has a lens barrel 411, an objective lens 412, and a driving device 414 (see FIG. 3). The first microscope 41 is a stereomicroscope with an objective lens 412 located above the container 38 . The lens barrel 411 of the first microscope unit 40 is moved in the Z-axis direction by being driven by the driving device 414 . Thereby, the first microscope 41 can adjust the focal position. A plurality of types of the objective lens 412 may be prepared according to the desired magnification. The first imaging device 45 can image the tip of the collection pipette 10 from the Z-axis direction via the first microscope 41 . Note that the first microscope unit 40 may include an eyepiece (not shown).

図１に示す連結部２８は、ピペット保持部１５をマニピュレータ２０に連結している。また、第１顕微鏡ユニット４０の鏡筒４１１は、連結部７１によりマニピュレータ２０に連結されている。これにより、鏡筒４１１がＺ軸方向へ移動すると、これと一緒にマニピュレータ２０、ピペット保持部１５及び採取用ピペット１０もＺ軸方向へ移動する。連結部２８、７１は、例えば金属製である。連結部２８、７１は、例えばＺ軸テーブル２３に取り付けられている。 A connection 28 shown in FIG. 1 connects the pipette holder 15 to the manipulator 20 . Also, the lens barrel 411 of the first microscope unit 40 is connected to the manipulator 20 by a connecting portion 71 . As a result, when the lens barrel 411 moves in the Z-axis direction, the manipulator 20, the pipette holder 15, and the sampling pipette 10 also move in the Z-axis direction. The connecting portions 28 and 71 are made of metal, for example. The connecting portions 28 and 71 are attached to the Z-axis table 23, for example.

第２顕微鏡ユニット６０は、試料ステージ３０の側方に配置されている。第２顕微鏡ユニット６０は、第２顕微鏡６１と、第２撮像装置６５とを有する。図２に示すように、第２顕微鏡６１は、鏡筒６１１と、対物レンズ６１２と、駆動装置６１３（図１参照）と、を有する。対物レンズ６１２は、駆動装置６１３が駆動することによって、Ｙ軸方向に移動する。これにより、第２顕微鏡６１は、焦点位置を調節することができる。第２撮像装置６５は、第２顕微鏡６１を介して、採取用ピペット１０の先端をＹ軸方向から撮像することができる。第２顕微鏡ユニット６０は、固定具３を介して基台１に固定されている。第１撮像装置４５及び第２撮像装置６５は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の固体撮像素子を有する。 The second microscope unit 60 is arranged on the side of the sample stage 30 . The second microscope unit 60 has a second microscope 61 and a second imaging device 65 . As shown in FIG. 2, the second microscope 61 has a lens barrel 611, an objective lens 612, and a driving device 613 (see FIG. 1). The objective lens 612 is moved in the Y-axis direction by being driven by the driving device 613 . Thereby, the second microscope 61 can adjust the focal position. The second imaging device 65 can image the tip of the collection pipette 10 from the Y-axis direction via the second microscope 61 . The second microscope unit 60 is fixed to the base 1 via the fixture 3 . The 1st imaging device 45 and the 2nd imaging device 65 have solid-state imaging devices, such as a CMOS image sensor or a CCD image sensor, for example.

第３撮像装置７５は、固定具４を介して基台１に固定されている。固定具４は、Ｘ軸方向及びＹ軸方向に動くことができ、Ｚ軸方向に延伸することができる。これにより、第３撮像装置７５は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向とそれぞれ交差する、試料ステージ３０の斜め上方向から、試料ステージ３０側を撮像することができる。 The third imaging device 75 is fixed to the base 1 via the fixture 4 . The fixture 4 can move in the X-axis direction and the Y-axis direction, and can extend in the Z-axis direction. Thereby, the third imaging device 75 can image the sample stage 30 side from an obliquely upward direction of the sample stage 30 that intersects with the X-axis direction, the Y-axis direction, and the Z-axis direction.

図３に示す入力部５８は、キーボードやタッチパネル等である。ジョイスティック５７及び入力部５８は、コントローラ５０に接続されている。オペレータは、ジョイスティック５７及び入力部５８を介して、コントローラ５０にコマンドを入力することができる。 The input unit 58 shown in FIG. 3 is a keyboard, a touch panel, or the like. The joystick 57 and input section 58 are connected to the controller 50 . An operator can input commands to the controller 50 via the joystick 57 and the input unit 58 .

次に、コントローラ５０の機能について、図４を参照して説明する。図４は、第１実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。コントローラ５０は、演算手段としてのＣＰＵ（中央演算処理装置）及び記憶手段としてのハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のハードウェア資源を備える。 Next, functions of the controller 50 will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration example of the manipulation system according to the first embodiment. The controller 50 includes hardware resources such as a CPU (Central Processing Unit) as computing means, a hard disk as storage means, a RAM (Random Access Memory), and a ROM (Read Only Memory).

図４に示すように、コントローラ５０は、その機能として、画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４、制御部５５及び記憶部５６を有する。画像入力部５１ａ、画像出力部５１ｂ、画像処理部５２、検出部５３、画像編集部５４及び制御部５５は、上記の演算手段により実現される。記憶部５６は、上記の記憶手段により実現される。コントローラ５０は、記憶部５６に格納されたプログラムに基づいて各種の演算を行い、演算結果にしたがって制御部５５が各種の制御を行うように駆動信号を出力する。 As shown in FIG. 4, the controller 50 has an image input section 51a, an image output section 51b, an image processing section 52, a detection section 53, an image editing section 54, a control section 55 and a storage section 56 as its functions. The image input unit 51a, the image output unit 51b, the image processing unit 52, the detection unit 53, the image editing unit 54, and the control unit 55 are implemented by the above computing means. The storage unit 56 is implemented by the storage means described above. The controller 50 performs various calculations based on the programs stored in the storage unit 56, and outputs drive signals so that the control unit 55 performs various controls according to the calculation results.

制御部５５は、第１顕微鏡ユニット４０の駆動装置４１４と、マニピュレータ２０の駆動装置２６、２７及び電動マイクロポンプ２９と、試料ステージ３０の駆動装置３６と、第２顕微鏡ユニット６０の駆動装置６１３とを制御する。制御部５５は、駆動装置４１４、２６、２７、３６、６１３に駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４（図３参照）をそれぞれ供給する。また、制御部５５は、電動マイクロポンプ２９に駆動信号Ｖｍｐ（図３参照）を供給する。なお、制御部５５は、必要に応じて設けられたドライバやアンプ等を介して、駆動信号Ｖｚ１、Ｖｘｙ２、Ｖｚ２、Ｖｘｙ３、Ｖｙ４、Ｖｍｐをそれぞれ供給してもよい。 The control unit 55 controls the driving device 414 of the first microscope unit 40, the driving devices 26 and 27 and the electric micropump 29 of the manipulator 20, the driving device 36 of the sample stage 30, and the driving device 613 of the second microscope unit 60. to control. The controller 55 supplies drive signals Vz1, Vxy2, Vz2, Vxy3 and Vy4 (see FIG. 3) to the drive devices 414, 26, 27, 36 and 613, respectively. The control unit 55 also supplies the electric micropump 29 with a drive signal Vmp (see FIG. 3). Note that the control unit 55 may supply the drive signals Vz1, Vxy2, Vz2, Vxy3, Vy4, and Vmp through drivers, amplifiers, and the like provided as necessary.

第１撮像装置４５から出力される第１画像信号Ｖｐｉｘ１（図３参照）と、第２撮像装置６５から出力される第２画像信号Ｖｐｉｘ２（図３参照）と、第３撮像装置７５から出力される第３画像信号Ｖｐｉｘ３（図３参照）は、画像入力部５１ａにそれぞれ入力される。画像処理部５２は、画像入力部５１ａから第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を受け取って、画像処理を行う。画像出力部５１ｂは、画像処理部５２で画像処理された画像情報を記憶部５６及び表示部８０へ出力する。 The first image signal Vpix1 (see FIG. 3) output from the first imaging device 45, the second image signal Vpix2 (see FIG. 3) output from the second imaging device 65, and the output from the third imaging device 75 The third image signal Vpix3 (see FIG. 3) is input to the image input unit 51a. The image processing unit 52 receives the first image signal Vpix1, the second image signal Vpix2, and the third image signal Vpix3 from the image input unit 51a and performs image processing. The image output unit 51 b outputs the image information image-processed by the image processing unit 52 to the storage unit 56 and the display unit 80 .

例えば、第１画像信号Ｖｐｉｘ１には、第１顕微鏡４１を通して第１撮像装置４５が撮像した第１画像８１１（図７参照）と、その撮像時刻とが含まれている。第１画像８１１は動画である。同様に、第２画像信号Ｖｐｉｘ２には、第２顕微鏡６１を通して第２撮像装置６５が撮像した第２画像８１２（図７参照）と、その撮像時刻とが含まれている。第２画像８１２も動画である。第３画像信号Ｖｐｉｘ３には、第３撮像装置７５が撮像した第３画像８１３（図７参照）と、その撮像時刻とが含まれている。第３画像８１３も動画である。 For example, the first image signal Vpix1 includes a first image 811 (see FIG. 7) captured by the first imaging device 45 through the first microscope 41 and its imaging time. The first image 811 is a moving image. Similarly, the second image signal Vpix2 includes a second image 812 (see FIG. 7) captured by the second imaging device 65 through the second microscope 61 and its imaging time. The second image 812 is also a moving image. The third image signal Vpix3 includes the third image 813 (see FIG. 7) imaged by the third imaging device 75 and its imaging time. The third image 813 is also a moving image.

また、第１画像８１１、第２画像８１２及び第３画像８１３は、それぞれカラー画像又はグレー画像である。グレー画像は、白色及び黒色と、白色と黒色の中間色である灰色を含む画像である。グレー画像は、灰色に複数の階調を有する。階調とは、色や明るさの濃淡の段階数のことである。 Also, the first image 811, the second image 812, and the third image 813 are color images or gray images, respectively. A gray image is an image containing white, black, and gray that is an intermediate color between white and black. A gray image has multiple shades of gray. Gradation is the number of steps of color and brightness.

画像処理部５２は、細胞の検出を容易にするために、第１画像８１１又は第２画像８１２の少なくとも一方について、画像の拡大や２値化等の画像処理をする。画像の２値化とは、カラー画像又はグレー画像（以下、元画像）を、濃淡がなく、白色と黒色としかない２値画像（ｂｉｎａｒｙ ｉｍａｇｅ）に変換することである。画像処理部５２は、第１画像８１１又は第２画像８１２の少なくとも一方について、元画像を拡大した拡大画像や、元画像を２値化した２値画像を作成する。また、画像処理部５２は、元画像を拡大し、２値化した拡大２値画像を作成してもよい。画像処理部５２は、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を画像情報として、検出部５３と画像編集部５４とに出力する。 The image processing unit 52 performs image processing such as image enlargement and binarization on at least one of the first image 811 and the second image 812 in order to facilitate cell detection. Binarization of an image means converting a color image or a gray image (hereinafter referred to as an original image) into a binary image having only white and black without shading. For at least one of the first image 811 and the second image 812, the image processing unit 52 creates an enlarged image obtained by enlarging the original image or a binary image obtained by binarizing the original image. Further, the image processing unit 52 may enlarge the original image and create an enlarged binary image by binarizing the original image. The image processing unit 52 outputs at least one of an enlarged image, a binary image, and an enlarged binary image to the detection unit 53 and the image editing unit 54 as image information.

検出部５３は、画像処理部５２から画像情報を受け取り、受け取った画像情報に基づいて、細胞の位置や個数を自動で検出する。そして、検出部５３は検出結果を画像編集部５４及び制御部５５に出力する。なお、本開示において「自動」とは、装置が作業者の判断を介さずに動作することを意味する。 The detection unit 53 receives image information from the image processing unit 52 and automatically detects the position and number of cells based on the received image information. The detection unit 53 then outputs the detection result to the image editing unit 54 and the control unit 55 . In the present disclosure, "automatic" means that the device operates without operator's judgment.

図５は、検出部の構成例を示すブロック図である。図５に示すように、検出部５３は、その機能として、位置検出部５３１と、距離検出部５３２と、個数検出部５３３と、輝度検出部５３４と、しきい値設定部５３５とを有する。位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅ（図７参照）の位置を自動で検出する。また、位置検出部５３１は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、採取用ピペット１０の先端部１０３の位置を検出する。 FIG. 5 is a block diagram showing a configuration example of a detection unit. As shown in FIG. 5, the detection unit 53 has, as its functions, a position detection unit 531, a distance detection unit 532, a number detection unit 533, a luminance detection unit 534, and a threshold value setting unit 535. The position detection unit 531 automatically detects the positions of the cells ce (see FIG. 7) based on the first image 811 or the second image 812 image-processed by the image processing unit 52 . Further, the position detection section 531 detects the position of the tip portion 103 of the sampling pipette 10 based on the first image 811 or the second image 812 image-processed by the image processing section 52 .

距離検出部５３２は、位置検出部５３１によって検出された細胞ｃｅと先端部１０３の開口部１０３ａ（後述の図９参照）との離隔距離を自動で検出する。個数検出部５３３は、画像処理部５２によって画像処理された第１画像８１１又は第２画像８１２に基づいて、細胞ｃｅの個数を自動で検出する。画像処理部５２によって画像処理された画像として、例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種類以上が挙げられる。位置検出部５３１、距離検出部５３２及び個数検出部５３３の各検出結果は、画像編集部５４及び制御部５５にそれぞれ出力される。 The distance detection unit 532 automatically detects the separation distance between the cell ce detected by the position detection unit 531 and the opening 103a of the tip 103 (see FIG. 9 described later). The number detection unit 533 automatically detects the number of cells ce based on the first image 811 or the second image 812 image-processed by the image processing unit 52 . Examples of images that have undergone image processing by the image processing unit 52 include at least one or more of an enlarged image, a binary image, and an enlarged binary image. The detection results of the position detection unit 531, the distance detection unit 532, and the number detection unit 533 are output to the image editing unit 54 and the control unit 55, respectively.

輝度検出部５３４は、画像処理部５２によって画像処理された第１画像８１１に基づいて、第１画像８１１の輝度Ｌ－ＢＧを検出する。輝度Ｌ－ＢＧは、第１画像８１１全体における輝度の平均値である。しきい値設定部５３５は、輝度検出部５３４によって検出された輝度Ｌ－ＢＧに基づいて、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する。第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、画像処理部５２が２値画像（第１バイナリ画像８１１Ａ（図１４参照）及び第２バイナリ画像８１１Ｂ（図１５参照））を作成する際の輝度の基準値である。輝度Ｌ－ＢＧ、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、例えば、大津の二値化処理によって自動で設定される。 The luminance detection unit 534 detects the luminance L-BG of the first image 811 based on the first image 811 image-processed by the image processing unit 52 . Luminance L-BG is the average value of luminance in the entire first image 811 . The threshold value setting unit 535 sets the first threshold value L-TH1 and the second threshold value L-TH2 based on the luminance L-BG detected by the luminance detection unit 534. FIG. The first threshold value L-TH1 and the second threshold value L-TH2 are obtained by the image processing unit 52 from binary images (first binary image 811A (see FIG. 14) and second binary image 811B (see FIG. 15)). This is the reference value of luminance when creating The luminance L-BG, the first threshold L-TH1 and the second threshold L-TH2 are automatically set by Otsu's binarization process, for example.

画像編集部５４は、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３を、撮像時刻に基づいて互いに関連付けして、編集画像信号Ｖｐｉｘ４を作成する。編集画像信号Ｖｐｉｘ４には、編集画像が含まれている。編集画像は、互いに同じ時刻に撮像された第１画像８１１、第２画像８１２及び第３画像８１３を並べて表示する動画である。編集画像において、第１画像８１１、第２画像８１２及び第３画像８１３はそれぞれ、元画像でもよいし、元画像を画像処理した拡大画像、２値画像又は拡大２値画像であってもよい。画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４を記憶部５６に出力する。 The image editing unit 54 associates the first image signal Vpix1, the second image signal Vpix2, and the third image signal Vpix3 with each other based on the imaging time to create an edited image signal Vpix4. The edited image signal Vpix4 contains an edited image. An edited image is a moving image in which a first image 811, a second image 812, and a third image 813 captured at the same time are displayed side by side. In the edited image, each of the first image 811, the second image 812, and the third image 813 may be the original image, or may be an enlarged image obtained by performing image processing on the original image, a binary image, or an enlarged binary image. The image output unit 51b outputs the first image signal Vpix1, the second image signal Vpix2, the third image signal Vpix3, and the edited image signal Vpix4 to the storage unit 56. FIG.

また、画像編集部５４は、検出部５３から細胞ｃｅの検出結果を受信する。検出部５３が細胞の位置を検出した場合、画像編集部５４は、その検出結果を編集画像に反映させてもよい。例えば、画像編集部５４は、画像処理部５２から受け取った拡大画像、２値画像又は拡大２値画像において、検出部５３が検出した細胞ｃｅの位置を矢印で自動で示したり、検出部５３が検出した細胞の位置を枠線で自動で囲んだりしてもよい。 The image editing unit 54 also receives the detection result of the cells ce from the detecting unit 53 . When the detection unit 53 detects the position of the cell, the image editing unit 54 may reflect the detection result in the edited image. For example, the image editing unit 54 automatically indicates with an arrow the position of the cell ce detected by the detecting unit 53 in the enlarged image, the binary image, or the enlarged binary image received from the image processing unit 52. The position of the detected cell may be automatically surrounded by a frame line.

図６は、記憶部の構成例を示すブロック図である。図６に示すように、記憶部５６は、その機能として、マニピュレーションシステム１００を動作させるためのプログラムを記憶したプログラム記憶部５６ａと、画像信号を記憶する画像記憶部５６ｂとを有する。画像記憶部５６ｂは、第１画像信号Ｖｐｉｘ１を記憶する第１画像記憶部５６１と、第２画像信号Ｖｐｉｘ２を記憶する第２画像記憶部５６２と、第３画像信号Ｖｐｉｘ３を記憶する第３画像記憶部５６３と、編集画像信号Ｖｐｉｘ４を記憶する編集画像記憶部５６４と、基準バイナリ画像ｃｅ－ｒ（図２３参照）を記憶する基準画像記憶部５６５と、を有する。第１画像記憶部５６１は、画像処理部５２が作成した、拡大画像、２値画像、拡大２値画像の少なくとも１種類以上を一時的に記憶してもよい。 FIG. 6 is a block diagram illustrating a configuration example of a storage unit; As shown in FIG. 6, the storage unit 56 has, as its functions, a program storage unit 56a storing a program for operating the manipulation system 100 and an image storage unit 56b storing image signals. The image storage unit 56b includes a first image storage unit 561 that stores the first image signal Vpix1, a second image storage unit 562 that stores the second image signal Vpix2, and a third image storage unit that stores the third image signal Vpix3. 563, an edited image storage unit 564 for storing the edited image signal Vpix4, and a reference image storage unit 565 for storing the reference binary image cer (see FIG. 23). The first image storage unit 561 may temporarily store at least one or more of the enlarged image, the binary image, and the enlarged binary image created by the image processing unit 52 .

画像出力部５１ｂは、第１画像信号Ｖｐｉｘ１、第２画像信号Ｖｐｉｘ２、第３画像信号Ｖｐｉｘ３及び編集画像信号Ｖｐｉｘ４のうち、少なくとも１つ以上の画像信号を表示部８０に出力する。 The image output unit 51b outputs at least one or more image signals to the display unit 80 among the first image signal Vpix1, the second image signal Vpix2, the third image signal Vpix3, and the edited image signal Vpix4.

表示部８０は、例えば液晶パネル等である。表示部８０は、コントローラ５０に接続されている。表示部８０は、種々の文字情報や画像等を画面に表示する。図７は、表示部の画面の一例を示す図である。図７は、表示部８０の画面８１に編集画像が表示されている場合を例示している。編集画像では、互いに同じタイミングで撮像された第１画像８１１、第２画像８１２、第３画像８１３が並んで配置されている。表示部８０は、編集画像をリアルタイム又はほぼリアルタイムで表示してもよいし、編集画像記憶部５６４に記憶されている編集画像を読み出して再生表示してもよい。 The display unit 80 is, for example, a liquid crystal panel or the like. The display unit 80 is connected to the controller 50 . The display unit 80 displays various character information, images, etc. on the screen. FIG. 7 is a diagram illustrating an example of a screen of a display unit; FIG. 7 illustrates a case where an edited image is displayed on the screen 81 of the display section 80. As shown in FIG. In the edited image, a first image 811, a second image 812, and a third image 813 captured at the same timing are arranged side by side. The display unit 80 may display the edited image in real time or substantially in real time, or may read out and display the edited image stored in the edited image storage unit 564 .

オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される画像を切り替えることが可能である。また、オペレータがジョイスティック５７又は入力部５８を操作することによって、画面８１に表示される編集画像（動画）を一時停止させることが可能である。また、プログラム記憶部５６ａ（図６参照）が記憶しているプログラムに基づいて、制御部５５（図４参照）が所定の画像を画面８１に自動で表示させたり、画面８１に表示される画像を自動で切り替えたりしてもよい。 The operator can switch images displayed on the screen 81 by operating the joystick 57 or the input unit 58 . Further, the operator can temporarily stop the edited image (moving image) displayed on the screen 81 by operating the joystick 57 or the input unit 58 . Further, based on the program stored in the program storage unit 56a (see FIG. 6), the control unit 55 (see FIG. 4) automatically displays a predetermined image on the screen 81, or displays an image displayed on the screen 81. may be switched automatically.

また、画面８１に表示される画像は、編集画像に限定されることはなく、第１画像８１１、第２画像８１２又は第３画像８１３のみでもよい。また、画面に表示される画像は、元画像に限定されることはなく、画像処理部５２によって画像処理された画像（例えば、拡大画像、２値画像及び拡大２値画像の少なくとも１種以上）であってもよい。例えば、画面８１に表示される画像は、図１１に示すグレースケール画像８１１Ｇや、図１４から図１９に示す第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂや、図２０に示す第３バイナリ画像８１１Ｃ等であってもよい。 Also, the image displayed on the screen 81 is not limited to the edited image, and may be the first image 811, the second image 812, or the third image 813 only. Also, the image displayed on the screen is not limited to the original image, and is an image processed by the image processing unit 52 (for example, at least one of an enlarged image, a binary image, and an enlarged binary image). may be For example, the images displayed on the screen 81 include a grayscale image 811G shown in FIG. 11, a first binary image 811A and a second binary image 811B shown in FIGS. 14 to 19, and a third binary image 811C shown in FIG. etc.

図８は、実施形態１に係る採取用ピペットの構成例を示す側面図である。図８に示すように、採取用ピペット１０は、２段に屈曲した形状のガラス針である。具体的には、採取用ピペット１０は、平面視で、管状の中央部１０１と、中央部１０１の一端に接続する管状の後方部１０２と、中央部１０１の他端に接続する管状の先端部１０３と、を有する。後方部１０２は、ピペット保持部１５によって保持される側の部位である。先端部１０３は、細胞等の微小対象物を採取する側の部位である。 8 is a side view showing a configuration example of the sampling pipette according to Embodiment 1. FIG. As shown in FIG. 8, the sampling pipette 10 is a glass needle bent in two stages. Specifically, the sampling pipette 10 includes, in plan view, a tubular central portion 101, a tubular rear portion 102 connected to one end of the central portion 101, and a tubular tip portion connected to the other end of the central portion 101. 103 and . The rear portion 102 is a portion held by the pipette holding portion 15 . The distal end portion 103 is a portion on the side for collecting minute objects such as cells.

中央部１０１と後方部１０２との間には第１屈曲部１０４が存在する。中央部１０１と先端部１０３との間には第２屈曲部１０５が存在する。中央部１０１の長手方向と後方部１０２の長手方向は互いに交差している。中央部１０１の長手方向と先端部１０３の長手方向も互いに交差している。後方部１０２の長手方向と先端部１０３の長手方向は互いに平行又はほぼ平行である。例えば、中央部１０１の長手方向と後方部１０２の長手方向とが成す鈍角の角度（以下、第１屈曲部１０４の屈曲角度）をθ１とする。中央部１０１の長手方向と先端部１０３の長手方向とが成す鈍角の角度（以下、第２屈曲部１０５の屈曲角度）をθ２とする。第１屈曲部１０４の屈曲角度θ１と第２屈曲部１０５の屈曲角度θ２との差の絶対値｜θ１－θ２｜は、０°以上５°未満である。 A first bent portion 104 exists between the central portion 101 and the rear portion 102 . A second bent portion 105 exists between the central portion 101 and the tip portion 103 . The longitudinal direction of the central portion 101 and the longitudinal direction of the rear portion 102 intersect each other. The longitudinal direction of the central portion 101 and the longitudinal direction of the tip portion 103 also intersect each other. The longitudinal direction of the rear portion 102 and the longitudinal direction of the tip portion 103 are parallel or substantially parallel to each other. For example, the obtuse angle formed by the longitudinal direction of the central portion 101 and the longitudinal direction of the rear portion 102 (hereinafter referred to as the bending angle of the first bending portion 104) is θ1. An obtuse angle formed by the longitudinal direction of the central portion 101 and the longitudinal direction of the tip portion 103 (hereinafter referred to as the bending angle of the second bent portion 105) is θ2. The absolute value |θ1−θ2| of the difference between the bending angle θ1 of the first bending portion 104 and the bending angle θ2 of the second bending portion 105 is 0° or more and less than 5°.

また、中央部１０１の長手方向の長さをＬ１とし、後方部１０２の長手方向の長さをＬ２とし、先端部１０３の長手方向の長さをＬ３としたとき、Ｌ３＜Ｌ１、かつ、Ｌ３＜Ｌ２である。これによれば、採取用ピペット１０の先端部である先端部１０３を容器３８内に配置することが容易である。 Further, when the longitudinal length of the central portion 101 is L1, the longitudinal length of the rear portion 102 is L2, and the longitudinal length of the tip portion 103 is L3, then L3<L1 and L3. <L2. According to this, it is easy to dispose the tip portion 103 which is the tip portion of the sampling pipette 10 in the container 38 .

中央部１０１を、中央部１０１の長手方向と直交する平面で切断した形状は円形である。同様に、後方部１０２を、後方部１０２の長手方向と直交する平面で切断した形状は円形である。先端部１０３を、先端部１０３の長手方向と直交する平面で切断した形状は円形である。後方部１０２の外径をφ２１とし、先端部１０３の外径をφ３１としたとき、φ２１＞φ３１である。また、中央部１０１の外径φ１１は、第１屈曲部１０４の側から第２屈曲部１０５の側に向かって小さくなっている。 The shape obtained by cutting the central portion 101 along a plane orthogonal to the longitudinal direction of the central portion 101 is circular. Similarly, the shape obtained by cutting the rear portion 102 along a plane orthogonal to the longitudinal direction of the rear portion 102 is circular. The tip portion 103 is cut in a plane perpendicular to the longitudinal direction of the tip portion 103 and has a circular shape. When the outer diameter of the rear portion 102 is φ21 and the outer diameter of the tip portion 103 is φ31, φ21>φ31. Also, the outer diameter φ11 of the central portion 101 decreases from the first bent portion 104 side toward the second bent portion 105 side.

例えば、中央部１０１は、第１屈曲部１０４と第２屈曲部１０５との間に、外径が大きく変化する狭窄部１０６を有する。中央部１０１において、狭窄部１０６と第１屈曲部１０４との間に位置する第１部位１０１ａよりも、狭窄部１０６と第２屈曲部１０５との間に位置する第２部位１０１ｂの方が、外径φ１１が小さい。また、第２部位１０１ｂの長手方向の長さＬ１’は、先端部１０３の長手方向の長さＬ３よりも長い。 For example, the central portion 101 has a constriction 106 between the first bend 104 and the second bend 105 that has a large change in outer diameter. In the central portion 101, the second portion 101b located between the constricted portion 106 and the second bent portion 105 is more flexible than the first portion 101a located between the constricted portion 106 and the first bent portion 104. Outer diameter φ11 is small. In addition, the longitudinal length L1' of the second portion 101b is longer than the longitudinal length L3 of the distal end portion 103. As shown in FIG.

図９は、第１実施形態に係る採取用ピペットの先端部を拡大して示す図である。図９に示すように、先端部１０３の先端には開口部１０３ａが設けられている。開口部１０３ａと第２屈曲部１０５との間で、先端部１０３の内径φ３２の大きさはほぼ一定である。採取用ピペット１０の採取対象である細胞ｃｅの直径をφｃｅとしたとき、φ３２はφｃｅよりも数μｍ程度大きいことが好ましい。これにより、採取用ピペット１０は、細胞ｃｅを先端部１０３の内側に導入することができる。 FIG. 9 is an enlarged view of the tip of the sampling pipette according to the first embodiment. As shown in FIG. 9, the distal end of the distal end portion 103 is provided with an opening 103a. Between the opening 103a and the second bent portion 105, the size of the inner diameter φ32 of the tip portion 103 is substantially constant. Assuming that the diameter of the cell ce to be collected by the collecting pipette 10 is φce, φ32 is preferably larger than φce by several μm. This allows the collection pipette 10 to introduce the cells ce inside the tip portion 103 .

次に、マニピュレーションシステム１００の細胞ｃｅの検出動作について説明する。図１０は、第１実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。 Next, the detection operation of the cell ce of the manipulation system 100 will be described. 10 is a flowchart showing an example of a cell detection sequence of the manipulation system according to the first embodiment; FIG.

図１０に示す動作シーケンスでは、容器３８は液体３９と複数個の細胞ｃｅとを収容している（図７参照）。図１０に示すように、マニピュレーションシステム１００は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３にそれぞれ自動で合わせる（ステップＳＴ１１）。例えば、オペレータはジョイスティック５７又は入力部５８（図３参照）を操作して、コントローラ５０（図３参照）に細胞ｃｅの自動検出を実行するように指示する。 In the operation sequence shown in FIG. 10, container 38 contains liquid 39 and a plurality of cells ce (see FIG. 7). As shown in FIG. 10, the manipulation system 100 automatically focuses the first microscope 41 on the tip 103 of the sampling pipette 10 (step ST11). For example, the operator operates the joystick 57 or the input unit 58 (see FIG. 3) to instruct the controller 50 (see FIG. 3) to automatically detect cells ce.

この指示を受けて、コントローラ５０の制御部５５（図３参照）は、駆動装置４１４に駆動信号Ｖｚ１（図３参照）を出力して、対物レンズ４１２をＺ軸方向に動かす。これにより、第１顕微鏡ユニット４０は、第１顕微鏡４１の焦点を採取用ピペット１０の先端部１０３に合わせる。 Upon receiving this instruction, the control unit 55 (see FIG. 3) of the controller 50 outputs a drive signal Vz1 (see FIG. 3) to the drive device 414 to move the objective lens 412 in the Z-axis direction. Thereby, the first microscope unit 40 focuses the first microscope 41 on the tip 103 of the sampling pipette 10 .

次に、マニピュレーションシステム１００は、第１顕微鏡４１の焦点を、容器３８に収容されている細胞ｃｅに自動で合わせる。例えば、マニピュレーションシステム１００は、第１顕微鏡ユニット４０を容器３８の底面に向けて下降させ、第１顕微鏡４１の焦点を複数の細胞ｃｅに自動で合わせる。上述したように、第１顕微鏡ユニット４０と、採取用ピペット１０を保持するピペット保持部１５とは、連結部２８、７１を介して互いに固定されている。このため、採取用ピペット１０も、第１顕微鏡ユニット４０と一体となって容器３８の底面に向けて下降する。 Next, the manipulation system 100 automatically focuses the first microscope 41 on the cell ce housed in the container 38 . For example, the manipulation system 100 lowers the first microscope unit 40 toward the bottom surface of the container 38 and automatically focuses the first microscope 41 on the plurality of cells ce. As described above, the first microscope unit 40 and the pipette holder 15 that holds the sampling pipette 10 are fixed to each other via the joints 28 and 71 . Therefore, the sampling pipette 10 also descends toward the bottom surface of the container 38 integrally with the first microscope unit 40 .

次に、第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。画像処理部５２は、第１画像８１１の情報である第１画像信号Ｖｐｉｘ１を受け取って、第１画像８１１から輝度のパラメータのみを抽出した画像（グレースケール画像８１１Ｇ）に変換する（ステップＳＴ１２）。これにより、画像処理部５２が行う画像処理の負荷を抑制することができ、２値化処理や拡大処理等を良好に行うことができる。 Next, the first imaging device 45 captures the first image 811 through the first microscope 41 . The image processing unit 52 receives the first image signal Vpix1, which is the information of the first image 811, and converts the first image 811 into an image (grayscale image 811G) in which only luminance parameters are extracted (step ST12). As a result, the load of image processing performed by the image processing unit 52 can be suppressed, and binarization processing, enlargement processing, and the like can be performed satisfactorily.

図１１は、第１画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。図１１に示すように、第１顕微鏡４１の焦点が細胞ｃｅに合うとき、採取用ピペット１０の先端部１０３は容器３８の内部に位置する。グレースケール画像８１１Ｇには、多数の細胞ｃｅと、採取用ピペット１０の先端部１０３が撮像されている。 FIG. 11 is a schematic diagram showing an example of a grayscale image in which the first image is displayed only with luminance. As shown in FIG. 11, when the first microscope 41 is focused on the cell ce, the tip 103 of the collecting pipette 10 is positioned inside the container 38 . A large number of cells ce and the tip 103 of the collection pipette 10 are imaged in the grayscale image 811G.

次に、輝度検出部５３４及びしきい値設定部５３５（図５参照）は、輝度の第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する（ステップＳＴ１３）。 Next, the luminance detection section 534 and the threshold setting section 535 (see FIG. 5) set the first threshold L-TH1 and the second threshold L-TH2 of luminance (step ST13).

輝度検出部５３４は、グレースケール画像８１１Ｇ全体の輝度Ｌ－ＢＧを検出する。輝度Ｌ－ＢＧは、グレースケール画像８１１Ｇ全体の輝度の平均値である。輝度Ｌ－ＢＧは、例えば、大津の二値化処理によって自動的に設定される。しきい値設定部５３５は、輝度検出部５３４が検出した背景の輝度Ｌ－ＢＧの情報を受け取って、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を設定する。 The luminance detection unit 534 detects the luminance L-BG of the entire grayscale image 811G. The luminance L-BG is the average luminance of the entire grayscale image 811G. The luminance L-BG is automatically set by Otsu's binarization process, for example. The threshold value setting unit 535 receives the information of the background luminance L-BG detected by the luminance detection unit 534 and sets the first threshold value L-TH1 and the second threshold value L-TH2.

図１２は、図１１に示す領域Ａ１の細胞を拡大して示す模式図である。図１２に示すように、第１顕微鏡４１で観察される細胞ｃｅには、光源から照射される光の状態に応じて影が生じる。このため、１つの細胞ｃｅは、明部ｃｅ－ａと暗部ｃｅ－ｂとを有する。 FIG. 12 is a schematic diagram showing enlarged cells in region A1 shown in FIG. As shown in FIG. 12, the cells ce observed with the first microscope 41 are shaded according to the state of the light emitted from the light source. Therefore, one cell ce has a bright portion ce-a and a dark portion ce-b.

図１３は、細胞及び背景の輝度の分布を模式的に示すグラフである。図１３は、図１２に示すＸＩＩＩ－ＸＩＩＩ’に沿った輝度の分布を模式的に示している。図１３に示すように、明部ｃｅ－ａは背景の輝度Ｌ－ＢＧよりも大きい輝度を有する。また、暗部ｃｅ－ｂは背景の輝度Ｌ－ＢＧよりも小さい輝度を有する。 FIG. 13 is a graph schematically showing luminance distributions of cells and background. FIG. 13 schematically shows the luminance distribution along XIII-XIII' shown in FIG. As shown in FIG. 13, the bright portion ce-a has a luminance higher than the background luminance L-BG. Also, the dark portion ce-b has a luminance lower than the background luminance L-BG.

しきい値設定部５３５は、背景の輝度Ｌ－ＢＧに基づいて、輝度Ｌ－ＢＧよりも大きい輝度を示す第１しきい値Ｌ－ＴＨ１と、輝度Ｌ－ＢＧよりも小さい輝度を示す第２しきい値Ｌ－ＴＨ２とを設定する。すなわち、第２しきい値Ｌ－ＴＨ２は、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を示す。第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２は、例えば大津の二値化処理によって自動的に設定される。 Based on the luminance L-BG of the background, the threshold setting unit 535 sets a first threshold L-TH1 indicating luminance higher than the luminance L-BG and a second threshold L-TH1 indicating luminance lower than the luminance L-BG. A threshold value L-TH2 is set. That is, the second threshold L-TH2 indicates a luminance lower than the first threshold L-TH1. The first threshold L-TH1 and the second threshold L-TH2 are automatically set by Otsu's binarization process, for example.

このように、異なる輝度を示す第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２を自動的に設定することにより、第１顕微鏡４１の視野における輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。 Thus, by automatically setting the first threshold value L-TH1 and the second threshold value L-TH2 indicating different luminance, the luminance in the field of view of the first microscope 41 changes depending on the measurement environment and the like. Even in this case, the manipulation system 100 can successfully detect the bright portion ce-a and the dark portion ce-b. That is, the manipulation system 100 can improve robustness against environmental changes.

次に、画像処理部５２は、第１しきい値Ｌ－ＴＨ１及び第２しきい値Ｌ－ＴＨ２の情報を受け取って、グレースケール画像８１１Ｇの画像処理を行う。具体的には、画像処理部５２は、グレースケール画像８１１Ｇから第１しきい値Ｌ－ＴＨ１以上の輝度の部分を抽出して、第１バイナリ画像８１１Ａを作成する（ステップＳＴ１４）。図１４は、第１バイナリ画像の一例を示す模式図である。図１４に示すように、第１バイナリ画像８１１Ａにおいて、細胞ｃｅのうち、第１しきい値Ｌ－ＴＨ１以上の輝度を有する明部ｃｅ－ａが白表示となり、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を有する暗部ｃｅ－ｂ及び背景が黒表示となる。 Next, the image processing unit 52 receives the information of the first threshold value L-TH1 and the second threshold value L-TH2 and performs image processing on the grayscale image 811G. Specifically, the image processing unit 52 extracts a portion of luminance equal to or higher than the first threshold value L-TH1 from the grayscale image 811G to create the first binary image 811A (step ST14). FIG. 14 is a schematic diagram showing an example of the first binary image. As shown in FIG. 14, in the first binary image 811A, among the cells ce, bright portions ce-a having luminance equal to or higher than the first threshold value L-TH1 are displayed in white. The dark portion ce-b and the background having a luminance smaller than ce-b are displayed in black.

同様に、画像処理部５２は、グレースケール画像８１１Ｇから第２しきい値Ｌ－ＴＨ２以下の輝度の部分を抽出して、第２バイナリ画像８１１Ｂを作成する（ステップＳＴ１５）。図１５は、第２バイナリ画像の一例を示す模式図である。図１５に示すように、第２バイナリ画像８１１Ｂにおいて、細胞ｃｅのうち、第２しきい値Ｌ－ＴＨ２以下の輝度を有する暗部ｃｅ－ｂが白表示となり、第２しきい値Ｌ－ＴＨ２よりも大きい輝度を有する明部ｃｅ－ａ及び背景が黒表示となる。つまり、第２バイナリ画像８１１Ｂは、暗い部分が白表示となり明るい部分が黒表示となる、反転画像として作成される。なお、画像処理部５２による第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂの作成順は、逆であってもよい。 Similarly, the image processing unit 52 extracts a portion of luminance equal to or lower than the second threshold value L-TH2 from the grayscale image 811G to create a second binary image 811B (step ST15). FIG. 15 is a schematic diagram showing an example of the second binary image. As shown in FIG. 15, in the second binary image 811B, of the cells ce, the dark portions ce-b having a luminance equal to or lower than the second threshold L-TH2 are displayed in white, and the luminance is lower than the second threshold L-TH2. The bright portion ce-a having the highest luminance and the background are displayed in black. That is, the second binary image 811B is created as an inverted image in which dark portions are displayed in white and bright portions are displayed in black. Note that the order in which the first binary image 811A and the second binary image 811B are created by the image processing unit 52 may be reversed.

次に、画像処理部５２は、第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂから小さい明部ｃｅ－ａ及び暗部ｃｅ－ｂを除去する（ステップＳＴ１６）。図１６は、第１バイナリ画像において、小さい明部を除去した画像の一例を示す模式図である。画像処理部５２は、複数の明部ｃｅ－ａのうち所定の面積以下の明部ｃｅ－ａを第１バイナリ画像８１１Ａから除去する。図１６に示す第１バイナリ画像８１１Ａでは、図１４に示す第１バイナリ画像８１１Ａと比較して、例えば領域Ａ３において複数の小さい明部ｃｅ－ａが除去されている。 Next, the image processing unit 52 removes small bright portions ce-a and small dark portions ce-b from the first binary image 811A and the second binary image 811B (step ST16). FIG. 16 is a schematic diagram showing an example of an image from which a small bright portion is removed in the first binary image. The image processing unit 52 removes, from the first binary image 811A, the bright portions ce-a having a predetermined area or less among the plurality of bright portions ce-a. In the first binary image 811A shown in FIG. 16, compared with the first binary image 811A shown in FIG. 14, for example, a plurality of small bright portions ce-a are removed in the area A3.

図１７は、第２バイナリ画像において、小さい暗部を除去した画像の一例を示す模式図である。画像処理部５２は、複数の暗部ｃｅ－ｂのうち所定の面積以下の暗部ｃｅ－ｂを第２バイナリ画像８１１Ｂから除去する。図１７に示す第２バイナリ画像８１１Ｂでは、図１５に示す第２バイナリ画像８１１Ｂと比較して、例えば領域Ａ４及び領域Ａ５等において複数の小さい暗部ｃｅ－ｂが除去されている。ここで、複数の小さい明部ｃｅ－ａ及び複数の小さい暗部ｃｅ－ｂの除去は、公知の方法により処理される。 FIG. 17 is a schematic diagram showing an example of an image from which small dark portions are removed in the second binary image. The image processing unit 52 removes dark portions ce-b having a predetermined area or less among the plurality of dark portions ce-b from the second binary image 811B. In the second binary image 811B shown in FIG. 17, as compared with the second binary image 811B shown in FIG. 15, a plurality of small dark portions ce-b are removed in areas A4 and A5, for example. Here, the removal of the plurality of small bright portions ce-a and the plurality of small dark portions ce-b is processed by a known method.

このように、画像処理部５２が、明らかに小さい明部ｃｅ－ａ及び暗部ｃｅ－ｂを除去することにより、マニピュレーションシステム１００は、細胞ｃｅ以外の異物等を、採取対象として誤検出することを抑制することができる。 In this manner, the image processing unit 52 removes the clearly small bright portion ce-a and dark portion ce-b, thereby preventing the manipulation system 100 from erroneously detecting foreign matter other than the cell ce as an object to be collected. can be suppressed.

次に、画像処理部５２は、第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂにおいて、各明部及び暗部を拡大する（ステップＳＴ１７）。図１８は、第１バイナリ画像において、明部を拡大した画像の一例を示す模式図である。図１９は、第２バイナリ画像において、暗部を拡大した画像の一例を示す模式図である。図１８及び図１９に示すように、画像処理部５２は、第１バイナリ画像８１１Ａにおいて、複数の明部ｃｅ－ａをそれぞれ拡大し、第２バイナリ画像８１１Ｂにおいて、複数の暗部ｃｅ－ｂをそれぞれ拡大する。 Next, the image processing unit 52 enlarges each bright portion and dark portion in the first binary image 811A and the second binary image 811B (step ST17). FIG. 18 is a schematic diagram showing an example of an image in which a bright portion is enlarged in the first binary image. FIG. 19 is a schematic diagram showing an example of an image obtained by enlarging a dark portion in the second binary image. As shown in FIGS. 18 and 19, the image processing unit 52 enlarges each of the plurality of bright portions ce-a in the first binary image 811A, and enlarges each of the plurality of dark portions ce-b in the second binary image 811B. Expanding.

拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅは、それぞれ、拡大前の明部ｃｅ－ａ及び拡大前の暗部ｃｅ－ｂに対して、面積比で３倍以上４倍以下程度に拡大される。また、拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅの重心位置は、それぞれ、拡大前の明部ｃｅ－ａ及び拡大前の暗部ｃｅ－ｂの重心位置と一致している。なお、拡大された明部ｃｅ－ａｅ及び拡大された暗部ｃｅ－ｂｅの倍率は、採取対象の細胞ｃｅ－ｄの形状、大きさ、第１しきい値Ｌ－ＴＨ１、第２しきい値Ｌ－ＴＨ２あるいは観察環境に応じて適宜設定することができる。 The enlarged bright portion ce-ae and the enlarged dark portion ce-be have an area ratio of about 3 to 4 times the area ratio of the unenlarged bright portion ce-a and the unenlarged dark portion ce-b, respectively. is expanded to Also, the center positions of the enlarged bright portion ce-ae and the enlarged dark portion ce-be match the center positions of the unenlarged bright portion ce-a and the unenlarged dark portion ce-b, respectively. The magnification of the enlarged bright portion ce-ae and the enlarged dark portion ce-be is determined by the shape and size of the cells ce-d to be collected, the first threshold value L−TH1, and the second threshold value L -TH2 can be appropriately set according to the viewing environment.

次に、画像処理部５２は、第１バイナリ画像８１１Ａと第２バイナリ画像８１１Ｂとを重ね合わせて第３バイナリ画像８１１Ｃを作成する（ステップＳＴ１８）。図２０は、第３バイナリ画像の一例を示す模式図である。図２０に示すように、第３バイナリ画像８１１Ｃにおいて、複数の検出部分ｃｅ－ｃが形成される。複数の検出部分ｃｅ－ｃは、それぞれ、明部ｃｅ－ａｅ（図１８参照）と暗部ｃｅ－ｂｅ（図１９参照）とが組み合わされることで、明部ｃｅ－ａｅの外縁の一部と暗部ｃｅ－ｂｅの外縁の一部とが重なりあって、１つの連続した白表示として形成される。 Next, the image processing unit 52 superimposes the first binary image 811A and the second binary image 811B to create a third binary image 811C (step ST18). FIG. 20 is a schematic diagram showing an example of the third binary image. As shown in FIG. 20, multiple detection portions ce-c are formed in the third binary image 811C. A plurality of detection portions ce-c are formed by combining bright portions ce-ae (see FIG. 18) and dark portions ce-be (see FIG. 19), respectively. Part of the outer edge of ce-be overlaps to form one continuous white display.

上述したステップＳＴ１７において、画像処理部５２が複数の明部ｃｅ－ａ及び複数の暗部ｃｅ－ｂをそれぞれ拡大する画像処理を行っている。このため、第３バイナリ画像８１１Ｃの各検出部分ｃｅ－ｃにおいて、拡大された明部ｃｅ－ａｅと拡大された暗部ｃｅ－ｂｅとの間に隙間ｓｐ（図２６参照）が生じることを抑制することができる。したがって、位置検出部５３１は、１組の明部ｃｅ－ａｅと暗部ｃｅ－ｂｅとを１つの細胞ｃｅとして検出することができる。また、明部ｃｅ－ａｅと暗部ｃｅ－ｂｅとの間に隙間ｓｐ（図２６参照）がないので、位置検出部５３１は、後述するテンプレートマッチングや形状マッチングにおいて、検出精度を向上させることができる。 In step ST17 described above, the image processing section 52 performs image processing for enlarging the plurality of bright portions ce-a and the plurality of dark portions ce-b. Therefore, in each detection portion ce-c of the third binary image 811C, the occurrence of a gap sp (see FIG. 26) between the enlarged bright portion ce-ae and the enlarged dark portion ce-be is suppressed. be able to. Therefore, the position detection unit 531 can detect a pair of bright part ce-ae and dark part ce-be as one cell ce. In addition, since there is no gap sp (see FIG. 26) between the bright portion ce-ae and the dark portion ce-be, the position detection section 531 can improve detection accuracy in template matching and shape matching, which will be described later. .

次に、画像処理部５２は、図２０に示す第３バイナリ画像８１１Ｃの部分領域Ｂを切り取り、部分領域Ｂにおいてさらに検出部分ｃｅ－ｃを拡大する（ステップＳＴ１９）。図２１は、図２０に示す第３バイナリ画像の部分領域において、検出部分をさらに拡大した画像の一例を示す模式図である。図２０に示す部分領域Ｂは、先端部１０３の左側に位置する矩形状の領域である。言い換えると、部分領域Ｂは、第３バイナリ画像８１１Ｃのうち、先端部１０３の延在方向で、先端部１０３の端部１０３ｆと隣り合う領域である。 Next, the image processing section 52 cuts out the partial area B of the third binary image 811C shown in FIG. 20, and further enlarges the detection portion ce-c in the partial area B (step ST19). 21 is a schematic diagram showing an example of an image in which the detection portion is further enlarged in the partial area of the third binary image shown in FIG. 20. FIG. A partial area B shown in FIG. 20 is a rectangular area located on the left side of the tip portion 103 . In other words, the partial region B is a region adjacent to the end portion 103f of the tip portion 103 in the extending direction of the tip portion 103 in the third binary image 811C.

これによれば、画像処理部５２は、第３バイナリ画像８１１Ｃのうち部分領域Ｂで画像処理を行うことで、画像処理の負荷を抑制することができ、また、位置検出部５３１によるテンプレートマッチングや形状マッチングの負荷を抑制することができる。 According to this, the image processing unit 52 can reduce the image processing load by performing image processing on the partial area B of the third binary image 811C, and the template matching by the position detection unit 531, The load of shape matching can be suppressed.

図２１に示すように、画像処理部５２が、検出部分ｃｅ－ｃをさらに拡大することで、近い位置に存在する複数の検出部分ｃｅ－ｃがつながり、１つの連続した検出部分グループｃｅ－ｘとなる。これにより、位置検出部５３１によるテンプレートマッチングや形状マッチングで、検出部分グループｃｅ－ｘを採取対象の細胞ｃｅ－ｄから除去することができる。これにより、マニピュレーションシステム１００は、採取用ピペット１０により細胞ｃｅを採取する際に、近い位置に存在する複数の細胞ｃｅを同時に採取することを抑制できる。 As shown in FIG. 21, the image processing unit 52 further enlarges the detected portion ce-c, so that a plurality of detected portions ce-c present at close positions are connected to form one continuous detected portion group ce-x. becomes. As a result, the detection portion group ce-x can be removed from the sampled cell ce-d by template matching or shape matching by the position detection unit 531 . As a result, the manipulation system 100 can suppress simultaneous collection of a plurality of cells ce present at close positions when collecting the cells ce with the collection pipette 10 .

図２２は、図２１に示す部分領域の画像において、部分領域の外周と接する検出部分を除去した画像の一例を示す模式図である。画像処理部５２は、複数の検出部分ｃｅ－ｃのうち、部分領域Ｂの外周に接する検出部分ｃｅ－ｙを部分領域Ｂから除去する。検出部分ｃｅ－ｙは、部分領域Ｂの画像の外側の領域において、どのような形状、大きさとなっているか不明であり、また、他の検出部分ｃｅ－ｃとつながって検出部分グループｃｅ－ｘを構成しているかどうかも不明である。このため、マニピュレーションシステム１００は、検出部分ｃｅ－ｙを部分領域Ｂから除去することで、細胞ｃｅの検出精度を向上させることができる。 FIG. 22 is a schematic diagram showing an example of an image obtained by removing a detection portion in contact with the outer periphery of the partial area in the image of the partial area shown in FIG. 21 . The image processing unit 52 removes from the partial region B the detected portion ce-y that is in contact with the outer periphery of the partial region B, among the plurality of detected portions ce-c. The shape and size of the detected portion ce-y are unknown in the area outside the image of the partial region B, and are connected to other detected portions ce-c to form the detected portion group ce-x. It is also unclear whether it constitutes Therefore, the manipulation system 100 removes the detection portion ce-y from the partial region B, thereby improving the detection accuracy of the cell ce.

次に、位置検出部５３１は、図２２に示す部分領域Ｂの画像情報を受け取って、検出部分ｃｅ－ｃの画像と基準バイナリ画像とを比較して細胞ｃｅの位置を検出する（ステップＳＴ２０）。図２３は、細胞の基準バイナリ画像を示す模式図である。基準バイナリ画像ｃｅ－ｒは標準的な細胞ｃｅについて、上述したステップＳＴ１４からステップＳＴ１９の画像処理を施した場合のバイナリ画像である。基準バイナリ画像ｃｅ－ｒは記憶部５６の基準画像記憶部５６５にあらかじめ記憶される。また、記憶部５６は、複数の基準バイナリ画像ｃｅ－ｒを保持していてもよい。 Next, the position detection section 531 receives the image information of the partial region B shown in FIG. 22, compares the image of the detection portion ce-c with the reference binary image, and detects the position of the cell ce (step ST20). . FIG. 23 is a schematic diagram showing a reference binary image of cells. The reference binary image ce-r is a binary image obtained by subjecting the standard cell ce to the above-described image processing from steps ST14 to ST19. The reference binary image ce-r is pre-stored in the reference image storage section 565 of the storage section 56 . Also, the storage unit 56 may hold a plurality of reference binary images cer.

位置検出部５３１は、例えばテンプレートマッチングや形状マッチングにより、部分領域Ｂの各検出部分ｃｅ－ｃと基準バイナリ画像ｃｅ－ｒとを比較する。そして、位置検出部５３１は、各検出部分ｃｅ－ｃと、基準バイナリ画像ｃｅ－ｒとの類似度を演算する。位置検出部５３１は、類似度が所定の基準値以上の検出部分ｃｅ－ｃの位置を検出し、この検出部分ｃｅ－ｃに対応する細胞ｃｅを採取対象の細胞ｃｅ－ｄとして選択する。 The position detection unit 531 compares each detected portion ce-c of the partial area B with the reference binary image cer by template matching or shape matching, for example. Then, the position detection unit 531 calculates the degree of similarity between each detection portion ce-c and the reference binary image ce-r. The position detection unit 531 detects the position of the detection portion ce-c whose degree of similarity is equal to or greater than a predetermined reference value, and selects the cell ce corresponding to this detection portion ce-c as the cell ce-d to be collected.

また位置検出部５３１は、類似度が所定の基準値よりも小さい検出部分ｃｅ－ｃに対応する細胞ｃｅを非採取対象の細胞ｃｅ－ｎとして選択する。例えば、一部に欠けや凹部を有する検出部分ｃｅ－ｃや、基準バイナリ画像ｃｅ－ｒと大きさが異なる検出部分ｃｅ－ｃや、検出部分グループｃｅ－ｘ等は、類似度が所定の基準値よりも小さくなり、採取対象から除去される。 In addition, the position detection unit 531 selects the cell ce corresponding to the detection portion ce-c whose degree of similarity is smaller than a predetermined reference value as the non-collecting target cell ce-n. For example, a detected portion ce-c having a chipped portion or a concave portion, a detected portion ce-c having a size different from that of the reference binary image ce-r, a detected portion group ce-x, and the like are similar to a predetermined reference. It becomes smaller than the value and is removed from the collection target.

図２４は、細胞の検出結果を表示する第１画像の一例を示す模式図である。図２４に示す第１画像８１１において、画像編集部５４は、画像処理部５２から受け取った第１画像８１１と、検出部５３から受け取った検出結果に基づいて、採取対象の細胞ｃｅ－ｄを枠で囲んで示している。また、画像編集部５４は、非採取対象の細胞ｃｅ－ｎには枠を付けずに示している。 FIG. 24 is a schematic diagram showing an example of a first image displaying a cell detection result. In the first image 811 shown in FIG. 24, the image editing unit 54 frames the cell ce-d to be collected based on the first image 811 received from the image processing unit 52 and the detection result received from the detecting unit 53. It is shown enclosed in . In addition, the image editing unit 54 does not frame the cells ce-n that are not to be collected.

コントローラ５０の制御部５５は、位置検出部５３１から採取対象の細胞ｃｅ－ｄの位置情報を受け取って、採取用ピペット１０や各駆動装置を駆動させることで、自動で１つずつ採取対象の細胞ｃｅ－ｄを採取することができる。また、上述した細胞検出シーケンスにしたがって、近い位置に配置された複数の細胞ｃｅや、接触する複数の細胞ｃｅや、形状等が異なる細胞ｃｅは、採取対象の細胞ｃｅ－ｄから除去されている。このように、マニピュレーションシステム１００は、細胞ｃｅの検出精度を向上させることで、細胞ｃｅを１個ずつ採取することが可能である。 The control unit 55 of the controller 50 receives the position information of the cells ce-d to be collected from the position detection unit 531, and drives the collection pipette 10 and each driving device to automatically detect the cells to be collected one by one. ce-d can be taken. In addition, according to the cell detection sequence described above, a plurality of cells ce arranged in close proximity, a plurality of cells ce in contact, and cells ce with different shapes, etc. are removed from the cells ce-d to be collected. . In this way, the manipulation system 100 can collect the cells ce one by one by improving the detection accuracy of the cells ce.

なお、図１０及び図１１から図２４に示す検出動作は、適宜変更することができる。例えば、図１０に示すステップＳＴ１９及び図２０から図２２において、画像処理部５２は、第３バイナリ画像８１１Ｃについて、部分領域Ｂを切り取らずに、第３バイナリ画像８１１Ｃの全体でステップＳＴ１９及びステップＳＴ２０の処理を実行してもよい。 Note that the detection operations shown in FIGS. 10 and 11 to 24 can be changed as appropriate. For example, in step ST19 and FIGS. 20 to 22 shown in FIG. 10, the image processing unit 52 does not cut the partial region B of the third binary image 811C, and performs step ST19 and step ST20 on the entire third binary image 811C. may be performed.

以上説明したように、第１実施形態に係るマニピュレーションシステム１００は、採取用ピペット１０（管状器具）を用いて細胞ｃｅ（微小対象物）を採取するマニピュレーションシステム１００であって、採取用ピペット１０と、マニピュレータ２０と、試料ステージ３０と、第１顕微鏡４１と、第１撮像装置４５と、コントローラ５０と、を備える。マニピュレータ２０は、採取用ピペット１０が取り付けられる。試料ステージ３０は、細胞ｃｅを収容するための容器３８が載置される。第１顕微鏡４１は、試料ステージ３０の上方に配置される。第１撮像装置４５は、第１顕微鏡４１を介して第１画像８１１を撮像する。コントローラ５０は、画像処理部５２と、位置検出部５３１とを有する。画像処理部５２は、第１画像８１１に基づいて、第１しきい値Ｌ－ＴＨ１以上の輝度を有する複数の明部ｃｅ－ａを表示する第１バイナリ画像８１１Ａと、第２しきい値Ｌ－ＴＨ２以下の輝度を有する複数の暗部ｃｅ－ｂを表示する第２バイナリ画像８１１Ｂとを作成し、第１バイナリ画像８１１Ａと第２バイナリ画像８１１Ｂとを重ね合わせて第３バイナリ画像８１１Ｃを作成する。位置検出部５３１は、第３バイナリ画像８１１Ｃにおいて、明部ｃｅ－ａと暗部ｃｅｂとが組み合わされた検出部分ｃｅ－ｃに基づいて細胞ｃｅの位置を検出する。 As described above, the manipulation system 100 according to the first embodiment is a manipulation system 100 that collects cells ce (microscopic objects) using the collection pipette 10 (tubular instrument). , a manipulator 20 , a sample stage 30 , a first microscope 41 , a first imaging device 45 , and a controller 50 . A collection pipette 10 is attached to the manipulator 20 . A container 38 for containing cells ce is placed on the sample stage 30 . The first microscope 41 is arranged above the sample stage 30 . The first imaging device 45 captures the first image 811 through the first microscope 41 . The controller 50 has an image processing section 52 and a position detection section 531 . Based on the first image 811, the image processing unit 52 generates a first binary image 811A displaying a plurality of bright areas ce-a having luminance equal to or higher than the first threshold value L-TH1, and a second threshold value L - creating a second binary image 811B displaying a plurality of dark areas ce-b having a brightness of TH2 or less, and superimposing the first binary image 811A and the second binary image 811B to create a third binary image 811C; . The position detection unit 531 detects the position of the cell ce based on the detection portion ce-c, which is a combination of the bright portion ce-a and the dark portion ceb, in the third binary image 811C.

これによれば、マニピュレーションシステム１００は、細胞ｃｅの明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出して、２つのバイナリ画像を組み合わせることで、明部ｃｅ－ａ及び暗部ｃｅ－ｂのいずれか一方のみで細胞ｃｅを検出する場合に比べて、細胞ｃｅの形状及び大きさを精度よく検出することができる。例えば、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを、離れた細胞ｃｅであると誤検出することを抑制できる。また、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを、１つの細胞ｃｅであると誤検出することを抑制できる。これにより、マニピュレーションシステム１００は、隣接する２つの細胞ｃｅを採取対象から除去することで、細胞ｃｅを１個ずつ採取することができる。 According to this, the manipulation system 100 detects the bright part ce-a and the dark part ce-b of the cell ce, and combines the two binary images to determine which of the bright part ce-a and the dark part ce-b The shape and size of the cells ce can be detected with higher accuracy than when the cells ce are detected using only one of them. For example, the manipulation system 100 can suppress false detection of two adjacent cells ce as distant cells ce. Further, the manipulation system 100 can suppress erroneous detection of two adjacent cells ce as one cell ce. Thereby, the manipulation system 100 can collect cells ce one by one by removing two adjacent cells ce from the collection target.

また、コントローラ５０は、細胞ｃｅの基準バイナリ画像ｃｅ－ｒを記憶する記憶部５６を有する。位置検出部５３１は、第３バイナリ画像８１１Ｃの検出部分ｃｅ－ｃと、基準バイナリ画像ｃｅ－ｒとを比較して、細胞ｃｅを検出する。これによれば、マニピュレーションシステム１００は、基準バイナリ画像ｃｅ－ｒとは異なる形状の細胞ｃｅや、異なる大きさの細胞ｃｅを、採取対象から除去することができる。 The controller 50 also has a storage unit 56 that stores the reference binary image ce-r of the cell ce. The position detector 531 compares the detected portion ce-c of the third binary image 811C with the reference binary image ce-r to detect the cell ce. According to this, the manipulation system 100 can remove cells ce with different shapes and sizes from the reference binary image ce-r from the object to be collected.

また、コントローラ５０は、しきい値設定部５３５を有する。しきい値設定部５３５は、第１画像８１１の背景の輝度Ｌ－ＢＧに基づいて、第１しきい値Ｌ－ＴＨ１と、第１しきい値Ｌ－ＴＨ１よりも小さい輝度を示す第２しきい値Ｌ－ＴＨ２とを設定する。これによれば、第１バイナリ画像８１１Ａの明部ｃｅ－ａと、第２バイナリ画像８１１Ｂの暗部ｃｅ－ｂとが、それぞれ異なるしきい値で検出される。このため、第１顕微鏡４１の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステム１００は、良好に明部ｃｅ－ａ及び暗部ｃｅ－ｂを検出することができる。すなわち、マニピュレーションシステム１００は、環境の変化に対するロバスト性を向上させることができる。 The controller 50 also has a threshold setting section 535 . Threshold value setting unit 535 calculates a first threshold value L-TH1 and a second threshold value indicating a luminance lower than first threshold value L-TH1 based on luminance L-BG of the background of first image 811. Set a threshold L-TH2. According to this, the bright portion ce-a of the first binary image 811A and the dark portion ce-b of the second binary image 811B are detected with different threshold values. Therefore, even if the luminance in the field of view of the first microscope 41 changes due to the measurement environment or the like, the manipulation system 100 can satisfactorily detect the bright portion ce-a and the dark portion ce-b. That is, the manipulation system 100 can improve robustness against environmental changes.

また、画像処理部５２は、第１画像８１１を輝度のみで表示したグレースケール画像８１１Ｇに変換し、グレースケール画像８１１Ｇに基づいて第１バイナリ画像８１１Ａ及び第２バイナリ画像８１１Ｂを作成する。これによれば、カラー画像を用いる場合に比べて、画像処理部５２が行う画像処理の負荷を抑制することができる。 Further, the image processing unit 52 converts the first image 811 into a grayscale image 811G that is displayed only in luminance, and creates a first binary image 811A and a second binary image 811B based on the grayscale image 811G. According to this, the load of the image processing performed by the image processing unit 52 can be suppressed as compared with the case of using a color image.

また、画像処理部５２は、第１バイナリ画像８１１Ａにおいて、複数の明部ｃｅ－ａをそれぞれ拡大し、第２バイナリ画像８１１Ｂにおいて、複数の暗部ｃｅ－ｂをそれぞれ拡大する。これによれば、マニピュレーションシステム１００は、第３バイナリ画像８１１Ｃにおいて明部ｃｅ－ａと暗部ｃｅ－ｂとが組み合わされた場合に、明部ｃｅ－ａと暗部ｃｅ－ｂとの間に隙間ｓｐが生じることを抑制することができる。したがって、位置検出部５３１は、１組の明部ｃｅ－ａと暗部ｃｅ－ｂとを１つの細胞ｃｅ（検出部分ｃｅ－ｃ）として検出することができる。 Further, the image processing unit 52 enlarges each of the plurality of bright portions ce-a in the first binary image 811A, and enlarges each of the plurality of dark portions ce-b in the second binary image 811B. According to this, when the light portion ce-a and the dark portion ce-b are combined in the third binary image 811C, the manipulation system 100 allows the gap sp can be suppressed. Therefore, the position detection section 531 can detect a pair of bright portion ce-a and dark portion ce-b as one cell ce (detection portion ce-c).

また、位置検出部５３１は、採取用ピペット１０の端部１０３ｆの位置及び延在方向を検出し、画像処理部５２は、第３バイナリ画像８１１Ｃのうち、採取用ピペット１０の端部１０３ｆと隣り合う部分領域Ｂを切り取って、部分領域Ｂで画像処理を行う。これによれば、画像処理部５２が行う画像処理や、位置検出部５３１が行うパターンマッチングの負荷を抑制することができる。 Further, the position detection unit 531 detects the position and extension direction of the end 103f of the sampling pipette 10, and the image processing unit 52 detects the position adjacent to the end 103f of the sampling pipette 10 in the third binary image 811C. The matching partial area B is cut out, and image processing is performed on the partial area B. According to this, the load of the image processing performed by the image processing unit 52 and the pattern matching performed by the position detection unit 531 can be suppressed.

（第２実施形態）
図２５は、第２実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。図２５に示すように、マニピュレーションシステム１００において、コントローラ５０が有する画像処理部５２、位置検出部５３１、しきい値設定部５３５等は、第１実施形態と同様に、ステップＳＴ１１からステップＳＴ２０を実行する。 (Second embodiment)
FIG. 25 is a flow chart showing an example of a cell detection sequence of the manipulation system according to the second embodiment. As shown in FIG. 25, in the manipulation system 100, the image processing unit 52, the position detection unit 531, the threshold value setting unit 535, and the like included in the controller 50 execute steps ST11 to ST20 as in the first embodiment. do.

位置検出部５３１は、第３バイナリ画像８１１Ｃの部分領域Ｂにおいて、採取対象の細胞ｃｅ－ｄが存在するかどうかを検出する（ステップＳＴ２１）。採取対象の細胞ｃｅ－ｄが存在する場合（ステップＳＴ２１、Ｙｅｓ）、マニピュレーションシステム１００は、採取対象の細胞ｃｅ－ｄの採取を実行する（ステップＳＴ２２）。 The position detection unit 531 detects whether or not the cell ce-d to be collected exists in the partial area B of the third binary image 811C (step ST21). If the cells ce-d to be collected exist (step ST21, Yes), the manipulation system 100 collects the cells ce-d to be collected (step ST22).

採取対象の細胞ｃｅ－ｄが存在しない場合（ステップＳＴ２１、Ｎｏ）、コントローラ５０の制御部５５は、駆動装置３６により試料ステージ３０を移動させる（ステップＳＴ２３）。そして、第１撮像装置４５は、前回の検出動作とは異なる領域で、第１顕微鏡４１を介して第１画像８１１を撮像する。マニピュレーションシステム１００は、新たに撮像された第１画像８１１に基づいてステップＳＴ１１からステップＳＴ２０を繰り返し実行する。 When the cells ce-d to be collected do not exist (step ST21, No), the control section 55 of the controller 50 causes the driving device 36 to move the sample stage 30 (step ST23). Then, the first imaging device 45 captures the first image 811 via the first microscope 41 in a region different from the previous detection operation. The manipulation system 100 repeatedly executes steps ST11 to ST20 based on the newly captured first image 811 .

第２実施形態によれば、マニピュレーションシステム１００は、第１画像８１１に採取対象の細胞ｃｅ－ｄが存在しない場合に、容器３８内の異なる領域で細胞ｃｅを検出することができる。 According to the second embodiment, the manipulation system 100 can detect the cells ce in different regions within the container 38 when the first image 811 does not contain the cells ce-d to be harvested.

図２６は、変形例に係る検出部分の一例を示す模式図である。図２６は、第１実施形態において、画像処理部５２が、図１０のステップＳＴ１７に示した画像処理を省略した場合の第３バイナリ画像８１１Ｃａの一部分を示す。画像処理部５２が、複数の明部ｃｅ－ａ及び複数の暗部ｃｅ－ｂをそれぞれ拡大する画像処理を行わないので、図２６に示すように、明部ｃｅ－ａ及び暗部ｃｅ－ｂを組み合わせた場合、明部ｃｅ－ａと暗部ｃｅ－ｂとの間に隙間ｓｐが生じる。この場合であっても、位置検出部５３１は、隙間ｓｐを含む明部ｃｅ－ａ及び暗部ｃｅ－ｂを１つの画像として認識することで、細胞ｃｅの検出が可能である。 FIG. 26 is a schematic diagram showing an example of a detection portion according to a modification. FIG. 26 shows a portion of the third binary image 811Ca when the image processing section 52 omits the image processing shown in step ST17 of FIG. 10 in the first embodiment. Since the image processing unit 52 does not perform image processing for enlarging the plurality of bright portions ce-a and the plurality of dark portions ce-b, as shown in FIG. In this case, a gap sp is generated between the bright portion ce-a and the dark portion ce-b. Even in this case, the position detection unit 531 can detect the cell ce by recognizing the bright portion ce-a and the dark portion ce-b including the gap sp as one image.

１０ 採取用ピペット
１５ ピペット保持部
２０ マニピュレータ
２６、２７、３６、４１４、６１３ 駆動装置
２９ 電動マイクロポンプ
３０ 試料ステージ
３８ 容器
４０ 第１顕微鏡ユニット
４１ 第１顕微鏡
４５ 第１撮像装置
５０ コントローラ
５２ 画像処理部
５３ 検出部
５３１ 位置検出部
５３５ しきい値設定部
８０ 表示部
１００ マニピュレーションシステム
１０３ 先端部
８１１ 第１画像
８１１Ａ 第１バイナリ画像
８１１Ｂ 第２バイナリ画像
８１１Ｃ 第３バイナリ画像
８１２ 第２画像
８１３ 第３画像
ｃｅ 細胞
ｃｅ－ａ 明部
ｃｅ－ｂ 暗部
ｃｅ－ｃ 検出部分
ｃｅ－ｄ 採取対象の細胞
ｃｅ－ｎ 非採取対象の細胞
Ｌ－ＴＨ１ 第１しきい値
Ｌ－ＴＨ２ 第２しきい値
Ｌ－ＢＧ 輝度 10 sampling pipette 15 pipette holder 20 manipulators 26, 27, 36, 414, 613 drive device 29 electric micropump 30 sample stage 38 container 40 first microscope unit 41 first microscope 45 first imaging device 50 controller 52 image processor 53 detection unit 531 position detection unit 535 threshold setting unit 80 display unit 100 manipulation system 103 tip 811 first image 811A first binary image 811B second binary image 811C third binary image 812 second image 813 third image ce Cell ce-a Light area ce-b Dark area ce-c Detected area ce-d Cell to be collected ce-n Cell not to be collected L-TH1 First threshold L-TH2 Second threshold L-BG Luminance

Claims (6)

管状器具を用いて微小対象物を採取するマニピュレーションシステムであって、
前記管状器具と、
前記管状器具が取り付けられるマニピュレータと、
前記微小対象物を収容するための容器が載置される試料ステージと、
前記試料ステージの上方に配置される第１顕微鏡と、
前記第１顕微鏡を介して第１画像を撮像する第１撮像装置と、
コントローラと、を備え、
前記コントローラは、
前記第１画像に基づいて、第１しきい値以上の輝度を有する複数の明部を表示する第１バイナリ画像と、第２しきい値以下の輝度を有する複数の暗部を表示する第２バイナリ画像とを作成し、前記第１バイナリ画像と前記第２バイナリ画像とを重ね合わせて第３バイナリ画像を作成する画像処理部と、
前記第３バイナリ画像において、前記明部と前記暗部とが組み合わされた検出部分に基づいて前記微小対象物の位置を検出する位置検出部と、を有し、
前記第３バイナリ画像には、複数の前記微小対象物のそれぞれに対応する複数の前記検出部分が形成され、
前記位置検出部は、前記管状器具の端部の位置及び延在方向を検出し、
前記画像処理部は、前記第３バイナリ画像のうち、前記管状器具の前記延在方向で、前記端部と隣り合う部分領域を切り取って、前記部分領域で画像処理を行い、
前記位置検出部は、複数の前記検出部分のうち、前記部分領域の複数の前記検出部分に基づいて前記微小対象物の位置を検出する
マニピュレーションシステム。 A manipulation system for picking up a micro-object using a tubular instrument,
the tubular device;
a manipulator to which the tubular instrument is attached;
a sample stage on which a container for accommodating the micro object is mounted;
a first microscope arranged above the sample stage;
a first imaging device that captures a first image via the first microscope;
a controller;
The controller is
Based on the first image, a first binary image displaying a plurality of bright areas having luminance equal to or greater than a first threshold and a second binary image displaying a plurality of dark areas having luminance equal to or less than a second threshold. an image processing unit that creates an image and superimposes the first binary image and the second binary image to create a third binary image;
a position detection unit that detects the position of the minute object based on a detection portion that is a combination of the bright portion and the dark portion in the third binary image ;
forming a plurality of the detection portions corresponding to each of the plurality of micro-objects in the third binary image;
The position detection unit detects the position and extension direction of the end of the tubular instrument,
The image processing unit cuts out a partial region adjacent to the end portion in the extending direction of the tubular device from the third binary image, and performs image processing on the partial region,
The position detection section detects the position of the minute object based on a plurality of the detection portions of the partial area among the plurality of detection portions.
manipulation system. 前記コントローラは、前記微小対象物の基準バイナリ画像を記憶する記憶部を有し、
前記位置検出部は、前記第３バイナリ画像の前記検出部分と、前記基準バイナリ画像とを比較して、前記微小対象物を検出する
請求項１に記載のマニピュレーションシステム。 The controller has a storage unit that stores a reference binary image of the minute object,
The manipulation system according to claim 1, wherein the position detection section compares the detection portion of the third binary image with the reference binary image to detect the minute object. 前記コントローラは、前記第１画像の輝度に基づいて、前記第１しきい値と、前記第１しきい値よりも小さい輝度を示す前記第２しきい値とを設定するしきい値設定部を有する
請求項１又は請求項２に記載のマニピュレーションシステム。 The controller comprises a threshold value setting unit that sets the first threshold value and the second threshold value indicating a brightness value smaller than the first threshold value, based on the brightness of the first image. 3. A manipulation system according to claim 1 or claim 2. 前記画像処理部は、前記第１画像を輝度のみで表示したグレースケール画像に変換し、前記グレースケール画像に基づいて前記第１バイナリ画像及び前記第２バイナリ画像を作成する
請求項１から請求項３のいずれか１項に記載のマニピュレーションシステム。 1 to 1, wherein the image processing unit converts the first image into a grayscale image that displays only luminance, and creates the first binary image and the second binary image based on the grayscale image. 4. The manipulation system according to any one of 3. 前記画像処理部は、前記第１バイナリ画像において、複数の前記明部をそれぞれ拡大し、前記第２バイナリ画像において、複数の前記暗部をそれぞれ拡大する
請求項１から請求項４のいずれか１項に記載のマニピュレーションシステム。 5. The image processing unit enlarges each of the plurality of bright portions in the first binary image, and enlarges each of the plurality of dark portions in the second binary image. The manipulation system described in . さらに、前記管状器具に対して前記試料ステージを相対的に移動させる駆動装置を有し、
前記コントローラは、前記位置検出部が前記微小対象物を検出しなかった場合に、前記駆動装置により前記試料ステージを移動させる
請求項１から請求項５のいずれか１項に記載のマニピュレーションシステム。 further comprising a driving device for relatively moving the sample stage with respect to the tubular instrument;
The manipulation system according to any one of claims 1 to 5 , wherein the controller causes the drive device to move the sample stage when the position detection unit does not detect the minute object.
JP2019015041A 2019-01-31 2019-01-31 manipulation system Active JP7188140B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019015041A JP7188140B2 (en) 2019-01-31 2019-01-31 manipulation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019015041A JP7188140B2 (en) 2019-01-31 2019-01-31 manipulation system

Publications (2)

Publication Number Publication Date
JP2020122894A JP2020122894A (en) 2020-08-13
JP7188140B2 true JP7188140B2 (en) 2022-12-13

Family

ID=71992659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019015041A Active JP7188140B2 (en) 2019-01-31 2019-01-31 manipulation system

Country Status (1)

Country Link
JP (1) JP7188140B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361085A (en) 2003-05-30 2004-12-24 Toshiba Corp Visual examination device
JP2017071020A (en) 2015-10-07 2017-04-13 日本精工株式会社 Manipulation system, rotary actuator, and driving method of manipulation system
CN108447072A (en) 2018-02-05 2018-08-24 山东大学 A kind of image partition method and system of crystal grain

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361085A (en) 2003-05-30 2004-12-24 Toshiba Corp Visual examination device
JP2017071020A (en) 2015-10-07 2017-04-13 日本精工株式会社 Manipulation system, rotary actuator, and driving method of manipulation system
CN108447072A (en) 2018-02-05 2018-08-24 山东大学 A kind of image partition method and system of crystal grain

Also Published As

Publication number Publication date
JP2020122894A (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US9562215B2 (en) Microscope apparatus and cell culture apparatus
US20200200531A1 (en) Distance determination of a sample plane in a microscope system
JP5145487B2 (en) Observation program and observation apparatus
EP2441827A1 (en) Technique for determining the state of a cell mass, image processing program and image processing device using said technique, and method for producing a cell mass
WO2009157530A1 (en) Embryo-monitoring apparatus
JP6160187B2 (en) Analysis device, analysis program, and analysis system
JP2014149177A (en) Defect inspection device and defect inspection method
WO2017150194A1 (en) Image processing device, image processing method, and program
JP2006209698A (en) Target tracking device, microscope system and target tracking program
EP4130843A9 (en) Microscope system, projection unit, and sperm sorting assistance method
US8965098B2 (en) Cell-image analyzing apparatus
JP7188140B2 (en) manipulation system
JP5769559B2 (en) Image processing apparatus, image processing program, robot apparatus, and image processing method
JP4874069B2 (en) Confocal microscope
JP7183828B2 (en) manipulation system
JP2023036742A (en) Manipulation system and driving method of manipulation system
JP5530126B2 (en) Three-dimensional cell image analysis system and three-dimensional cell image analyzer used therefor
US11235317B2 (en) Tubular instrument and manipulation system
JP4630106B2 (en) Corneal endothelial cell image processing device
JP7035487B2 (en) Manipulation system
JP2001211875A (en) Device for collecting fine bodies and method of collecting the same
JP6312410B2 (en) Alignment apparatus, microscope system, alignment method, and alignment program
JP5491817B2 (en) Thin film sample position recognition system in electron microscope
JP7238434B2 (en) MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM
JP2003149121A (en) Scanning probe microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7188140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150