JP2021070137A - Automatic circuit forming device, automatic circuit forming method, and program - Google Patents

Automatic circuit forming device, automatic circuit forming method, and program Download PDF

Info

Publication number
JP2021070137A
JP2021070137A JP2019200100A JP2019200100A JP2021070137A JP 2021070137 A JP2021070137 A JP 2021070137A JP 2019200100 A JP2019200100 A JP 2019200100A JP 2019200100 A JP2019200100 A JP 2019200100A JP 2021070137 A JP2021070137 A JP 2021070137A
Authority
JP
Japan
Prior art keywords
coordinates
substrate
objects
circuit
electrode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019200100A
Other languages
Japanese (ja)
Other versions
JP7127632B2 (en
Inventor
圭祐 河野
Keisuke Kono
圭祐 河野
啓太 舟山
Keita Funayama
啓太 舟山
幸浩 田所
Yukihiro Tadokoro
幸浩 田所
宏哉 田中
Hiroya Tanaka
宏哉 田中
三浦　篤志
Atsushi Miura
篤志 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2019200100A priority Critical patent/JP7127632B2/en
Publication of JP2021070137A publication Critical patent/JP2021070137A/en
Application granted granted Critical
Publication of JP7127632B2 publication Critical patent/JP7127632B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To be able to design a circuit on a substrate using a nanoscale object in a short time and easily.SOLUTION: An automatic circuit forming device incudes: an observation unit that acquires an image containing each of nanoscale objects placed on a substrate; a recognition unit that recognizes each of the objects in the image using a pre-learned model for acquiring the coordinates of the objects, and acquires the coordinates on the substrate for the object; a circuit design unit that designs a circuit from each of the coordinates for the objects; and an electrode forming unit that forms an electrode using each of the objects on the substrate according to the designed circuit.SELECTED DRAWING: Figure 1

Description

本発明は、自動回路形成装置、自動回路形成方法、及びプログラムに関する。 The present invention relates to an automatic circuit forming apparatus, an automatic circuit forming method, and a program.

ナノスケールの物体を基板上に配置して回路設計を行う技術がある。 There is a technology for circuit design by arranging nanoscale objects on a substrate.

例えば、電気泳動を利用してあらかじめ設置した電極に、ナノスケールのカーボンナノチューブを移動させ、大規模な回路設計を可能にする技術がある（非特許文献１参照）。 For example, there is a technique for moving nanoscale carbon nanotubes to electrodes installed in advance using electrophoresis to enable large-scale circuit design (see Non-Patent Document 1).

また、光学顕微鏡を利用して、グラフェンの検出及びマニピュレーションを行う装置がある。この装置では、予め設置した電極にグラフェンの移動を可能とする（非特許文献２参照）。 There is also a device that detects and manipulates graphene using an optical microscope. In this device, graphene can be moved to the electrodes installed in advance (see Non-Patent Document 2).

Engel, Michael, et al. "Graphene-enabled and directed nanomaterial placement from solution for large-scale device integration."Nature communications 9.1 (2018): 4095.Engel, Michael, et al. "Graphene-enabled and directed nanomaterial placement from solution for large-scale device integration." Nature communications 9.1 (2018): 4095. Masubuchi, Satoru, et al. "Autonomous robotic searching and assembly of two-dimensional crystals to build van der Waals superlattices."Nature communications 9.1 (2018): 1413.Masubuchi, Satoru, et al. "Autonomous robotic searching and assembly of two-dimensional crystals to build van der Waals superlattices." Nature communications 9.1 (2018): 1413.

しかし、非特許文献１の技術は、電極を予め形成しておいた基板上でカーボンナノチューブを移動させる技術であるが、電気泳動による移動であるため、可能な回路のパターンが限られてしまう。 However, the technique of Non-Patent Document 1 is a technique of moving carbon nanotubes on a substrate on which electrodes are formed in advance, but since the movement is performed by electrophoresis, the possible circuit patterns are limited.

また、非特許文献２の技術は、グラフェンの移動が行えるものの、カーボンナノチューブのように脆い対象物をマニピュレータで移動させるのは困難である。 Further, although the technique of Non-Patent Document 2 can move graphene, it is difficult to move a brittle object such as a carbon nanotube with a manipulator.

本発明は、上記事情を鑑みて成されたものであり、短時間、かつ、容易に、ナノスケールの対象物を用いた基板上の回路を設計できる自動回路形成装置、自動回路形成方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and is an automatic circuit forming apparatus, an automatic circuit forming method, and an automatic circuit forming apparatus capable of designing a circuit on a substrate using a nanoscale object in a short time and easily. The purpose is to provide a program.

上記目的を達成するために、第１の発明に係る自動回路形成装置は、基板に配されたナノスケールの対象物の各々を含む画像を取得する観測部と、前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得する認識部と、前記対象物の各々の座標から回路を設計する回路設計部と、設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する電極形成部と、を含んで構成されている。 In order to achieve the above object, the automatic circuit forming apparatus according to the first invention has an observation unit that acquires an image including each of the nanoscale objects arranged on the substrate, and each of the objects of the image. , A recognition unit that recognizes using a model for acquiring the coordinates of the object learned in advance and acquires the coordinates on the substrate for the object, and a circuit is designed from the respective coordinates of the object. It is configured to include a circuit design unit and an electrode forming unit that forms an electrode using each of the objects on the substrate according to the designed circuit.

第２の発明に係る自動回路形成方法は、基板に配されたナノスケールの対象物の各々を含む画像を取得し、前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得し、前記対象物の各々の座標から回路を設計し、設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する、ことを含む処理をコンピュータが実行することを特徴とする自動回路形成方法である。 The automatic circuit forming method according to the second invention acquires an image including each of the nanoscale objects arranged on the substrate, and obtains the coordinates of the object learned in advance for each of the objects in the image. Recognize using a model for acquisition, acquire the coordinates on the substrate for the object, design a circuit from each coordinate of the object, and follow the designed circuit to the object on the substrate. It is an automatic circuit forming method characterized in that a computer executes a process including forming an electrode using each of the objects.

第３の発明に係るプログラムは、基板に配されたナノスケールの対象物の各々を含む画像を取得し、前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得し、前記対象物の各々の座標から回路を設計し、設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する、ことをコンピュータに実行させるプログラムである。 The program according to the third invention acquires an image including each of the nanoscale objects arranged on the substrate, and acquires the coordinates of the object learned in advance for each of the objects in the image. Recognize using the model of, obtain the coordinates on the substrate for the object, design a circuit from the coordinates of each of the objects, and according to the designed circuit, each of the objects on the substrate. It is a program that causes a computer to perform the formation of an electrode using.

本発明の自動回路形成装置、自動回路形成方法、及びプログラムによれば、短時間、かつ、容易に、ナノスケールの対象物を用いた基板上の回路を設計できる。 According to the automatic circuit forming apparatus, the automatic circuit forming method, and the program of the present invention, a circuit on a substrate using a nanoscale object can be easily designed in a short time.

本発明の実施形態に係る自動回路形成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the automatic circuit formation apparatus which concerns on embodiment of this invention. 自動回路形成装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the automatic circuit forming apparatus. 基板及び基板上のカーボンナノチューブ及び位置の基準となる十字マーカを観測した画像の一例を示す図である。It is a figure which shows an example of the image which observed the substrate, the carbon nanotube on the substrate, and the cross marker which is a reference of the position. 画像中の対象物のアノテーションの一例を示す図である。It is a figure which shows an example of the annotation of the object in an image. 対象物の検出結果の一例を示す図である。It is a figure which shows an example of the detection result of an object. ナノセンサ群の使用による、受信信号のエネルギー増加に関する概念図である。It is a conceptual diagram about the energy increase of a received signal by using a group of nanosensors. ランダム配置のナノアンテナ群の使用による、信号の配向性に依存しないナノシステムに関する概念図である。It is a conceptual diagram about the nano system which does not depend on the orientation of a signal by using a group of nano antennas of random arrangement. 従来の手法と本実施形態の手法とを比較したプロセスフローの一例である。This is an example of a process flow comparing the conventional method and the method of the present embodiment. 本発明の実施形態に係る自動回路形成装置における自動回路形成処理ルーチンを示すフローチャートである。It is a flowchart which shows the automatic circuit formation processing routine in the automatic circuit formation apparatus which concerns on embodiment of this invention.

以下、図面を参照して本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

＜本発明の実施形態に係る概要＞ <Overview of Embodiments of the Present Invention>

まず、本発明の実施形態における概要を説明する。従来、ナノスケールの対象物（例えば、カーボンナノチューブなど）を用いて回路を設計するためには、対象物を規則的に配置する、又は、ランダムに配置された対象物を人手で観測し、観測した座標を入力した上で、回路を設計する必要があった。前者は配置自体に大きなコストが必要であり、また、可能な配置のパターン及び対象物が限られる。これは、カーボンナノチューブのマニピュレーションが困難だからである。また、後者は観測及び設計の人手での作業が膨大であった。以下、本実施形態で対象物とは、ナノスケールの対象物を指す。対象物としては、カーボンナノチューブ、又はグラフェン等が挙げられる。 First, an outline of the embodiment of the present invention will be described. Conventionally, in order to design a circuit using a nanoscale object (for example, carbon nanotube), the objects are arranged regularly or randomly arranged objects are manually observed and observed. It was necessary to design the circuit after inputting the coordinates. The former requires a large cost for the arrangement itself, and the possible arrangement patterns and objects are limited. This is because it is difficult to manipulate carbon nanotubes. In the latter case, the manual work of observation and design was enormous. Hereinafter, in the present embodiment, the object refers to a nanoscale object. Examples of the object include carbon nanotubes, graphene, and the like.

そこで本発明の実施形態に係る手法では、人手で行われていた観測及び回路設計を自動化する。対象物をランダムに基板上に散布し、画像を撮像して観測する。機械学習などの手法を用いて対象物の画像中の座標を、人手を介さずに取得する。また、得られた座標から自動的に回路を設計し電極を形成する。これによって、対象物をマニピュレーション等によって移動させる必要がなく、かつ、人手での作業を必要とせずに、大幅にコストを削減することができる。 Therefore, in the method according to the embodiment of the present invention, observation and circuit design that have been performed manually are automated. The object is randomly scattered on the substrate, and an image is taken and observed. The coordinates in the image of the object are acquired by using a technique such as machine learning without human intervention. In addition, a circuit is automatically designed from the obtained coordinates to form electrodes. As a result, it is not necessary to move the object by manipulation or the like, and it is possible to significantly reduce the cost without requiring manual work.

以下、上記の観点の手法を実現するための自動回路形成装置の構成を説明する。 Hereinafter, the configuration of the automatic circuit forming apparatus for realizing the method from the above viewpoint will be described.

＜本発明の実施形態に係る自動回路形成装置の構成＞
本発明の実施形態に係る自動回路形成装置の構成について説明する。図１に示すように、本発明の実施形態に係る自動回路形成装置１００は、観測部１１０と、認識部１１２と、回路設計部１１４と、電極形成部１１６と、記憶部１２０とを含んで構成されている。 <Structure of an automatic circuit forming apparatus according to an embodiment of the present invention>
The configuration of the automatic circuit forming apparatus according to the embodiment of the present invention will be described. As shown in FIG. 1, the automatic circuit forming apparatus 100 according to the embodiment of the present invention includes an observation unit 110, a recognition unit 112, a circuit design unit 114, an electrode forming unit 116, and a storage unit 120. It is configured.

図２は、自動回路形成装置１００のハードウェア構成を示すブロック図である。図２に示すように、自動回路形成装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。 FIG. 2 is a block diagram showing a hardware configuration of the automatic circuit forming apparatus 100. As shown in FIG. 2, the automatic circuit forming apparatus 100 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and communication. It has an interface (I / F) 17. The configurations are connected to each other via a bus 19 so as to be communicable with each other.

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、自動回路形成プログラムが格納されている。 The CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 12 or the storage 14. In the present embodiment, the automatic circuit formation program is stored in the ROM 12 or the storage 14.

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。 The ROM 12 stores various programs and various data. The RAM 13 temporarily stores a program or data as a work area. The storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。 The input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for performing various inputs.

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。 The display unit 16 is, for example, a liquid crystal display and displays various types of information. The display unit 16 may adopt a touch panel method and function as an input unit 15.

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。 The communication interface 17 is an interface for communicating with other devices such as terminals, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.

以上が自動回路形成装置１００のハードウェア構成についての説明である。以下、自動回路形成装置１００の各部の処理について説明する。 The above is the description of the hardware configuration of the automatic circuit forming apparatus 100. Hereinafter, processing of each part of the automatic circuit forming apparatus 100 will be described.

観測部１１０は、基板に配されたナノスケールの対象物の各々を含む画像を取得する。観測部１１０には、例えば、ＳＥＭ（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を用いる。他には、光学顕微鏡又はカメラ等を用いてもよい。図３は、基板及び基板上のカーボンナノチューブ及び位置の基準となる十字マーカを観測した画像の一例を示す図である。図３に示した例は、観測部１１０で観測する画像は、カーボンナノチューブをランダムに散布した基板である。観測部１１０は、本実施形態では、基板にカーボンナノチューブがランダムに散布されている状態について、画像を取得する。このように、基板上にランダムにカーボンナノチューブを散布して、回路を設計し、電極を形成すると、後述する配向性に依存しないセンサの形成が可能となる。 The observation unit 110 acquires an image including each of the nanoscale objects arranged on the substrate. For the observation unit 110, for example, SEM (Scanning Electron Microscope) is used. Alternatively, an optical microscope, a camera, or the like may be used. FIG. 3 is a diagram showing an example of an image in which the substrate, the carbon nanotubes on the substrate, and the cross marker as a reference for the position are observed. In the example shown in FIG. 3, the image observed by the observation unit 110 is a substrate on which carbon nanotubes are randomly scattered. In the present embodiment, the observation unit 110 acquires an image of a state in which carbon nanotubes are randomly scattered on the substrate. By randomly spraying carbon nanotubes on the substrate in this way, designing a circuit, and forming electrodes, it is possible to form a sensor that does not depend on orientation, which will be described later.

記憶部１２０には、予め学習された対象物の座標を取得するためのモデルが記憶されている。当該モデルは、対象物の座標として端点座標及び電極向きを取得するように、機械学習の手法により予め学習されている。機械学習の手法は、例えば、参考文献１に記載のＤｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋの一種であるｆａｓｔｅｒ−ＲＣＮＮ等の画像認識の手法を用いる。モデルの学習には、画像中の対象物の座標のアノテーションを用いて、対象物の検出を行う。具体的な学習手法、検出の手法については後述する。機械学習の手法としては、他のニューラルネットワークを用いた画像認識の手法を用いてもよく、例えば、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などの検出手法を用いてもよい。また、他にも、ハフ変換などの画像処理を用いてもよい。
［参考文献１］Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, Ren+ 2016
また、記憶部１２０には、予め既存手法で作成しておいた、対象物の各々の端点座標及び電極向きから回路としてのＣＡＤデータを作成するスクリプトが格納されている。 The storage unit 120 stores a model for acquiring the coordinates of the object learned in advance. The model is pre-learned by a machine learning method so as to acquire the end point coordinates and the electrode orientation as the coordinates of the object. As the machine learning method, for example, an image recognition method such as faster-RCNN, which is a kind of deep neural network described in Reference 1, is used. To train the model, the object is detected by using the annotation of the coordinates of the object in the image. Specific learning methods and detection methods will be described later. As the machine learning method, an image recognition method using another neural network may be used, and for example, a detection method such as SSD (Single Shot MultiBox Detector) may be used. In addition, image processing such as Hough transform may be used.
[Reference 1] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, Ren + 2016
Further, the storage unit 120 stores a script that is created in advance by an existing method and creates CAD data as a circuit from the coordinates of the end points of each object and the orientation of the electrodes.

認識部１１２は、画像の対象物の各々について、記憶部１２０に記憶されているモデルを用いて認識し、当該対象物についての基板上の座標を取得する。取得する座標とは、観測部１１０で取得された画像に写された基板に配された対象物の各々の端点座標及び電極向きである。 The recognition unit 112 recognizes each of the objects in the image using the model stored in the storage unit 120, and acquires the coordinates on the substrate for the object. The coordinates to be acquired are the end point coordinates and the electrode orientation of each of the objects arranged on the substrate shown in the image acquired by the observation unit 110.

次に、モデルの学習に用いるアノテーションの手法を説明する。図４は、画像中の対象物のアノテーションの一例を示す図である。アノテーションで、対象物の電極向きを決める基準を以下に示す。１．対象物の端点の片方が折れ曲がっており、かつ、もう一方の端点が折れ曲がっていないときは、折れ曲がっている部分がカソード、もう一方の端点がアノードとする。２．対象物の両方の端点が折れ曲がっていないとき、端点周辺にゴミ（図４中の黒い点など）が多い方をカソード、もう一方をアノードとする。また、画像中に存在する対象物のうち、アンテナとして不適な短い対象物はアノテーションしないようにして学習データから除く。 Next, the annotation method used for learning the model will be described. FIG. 4 is a diagram showing an example of annotation of an object in an image. The criteria for determining the electrode orientation of the object by annotation are shown below. 1. 1. When one of the end points of the object is bent and the other end point is not bent, the bent part is the cathode and the other end point is the anode. 2. When both endpoints of the object are not bent, the one with a lot of dust (black dots in FIG. 4 etc.) around the endpoints is used as the cathode, and the other is used as the anode. Also, among the objects existing in the image, short objects that are unsuitable as antennas are excluded from the training data without annotation.

次に、モデルによる対象物の検出の手法を説明する。認識部１１２は、モデルとして物体検出アルゴリズムの１つであるｆａｓｔｅｒ−ＲＣＮＮを用いて、対象物を検出し、座標を取得する。図５は、対象物の検出結果の一例を示す図である。図５に示すように、物体検出アルゴリズムは、４つの角の座標を求めて、画像中の物体が存在領域を矩形で囲う。また、囲った領域に何が存在しているかを推測することを目的とするアルゴリズムであり、自動運転などに応用されている。物体検出アルゴリズムの学習データとして、上述したアノテーションされた画像を用いる。これにより学習後のモデルは、学習に用いていない新規の画像に対しても、カーボンナノチューブなどの対象物のある領域を自動的に囲って取得できるようになる。また、当該モデルにより、何が写っているのかを推定する代わりに、対象物が矩形の中でどの向きを向いているか、及び、端点のどちらをカソード側の電極、アノード側の電極にすべきかを推定できる。これにより、対象物の座標として、対象物の端点座標及び電極向きが取得できる。 Next, a method of detecting an object by a model will be described. The recognition unit 112 uses the fastener-RCNN, which is one of the object detection algorithms, as a model to detect an object and acquire coordinates. FIG. 5 is a diagram showing an example of the detection result of the object. As shown in FIG. 5, the object detection algorithm obtains the coordinates of the four angles and encloses the existence area of the object in the image with a rectangle. In addition, it is an algorithm aimed at estimating what exists in the enclosed area, and is applied to automatic driving and the like. The above-mentioned annotated image is used as the learning data of the object detection algorithm. As a result, the model after training can automatically enclose and acquire a region of an object such as carbon nanotubes even for a new image that is not used for training. Also, instead of estimating what is shown by the model, which direction the object is facing in the rectangle and which of the end points should be the electrode on the cathode side or the electrode on the anode side. Can be estimated. As a result, the end point coordinates of the object and the electrode orientation can be obtained as the coordinates of the object.

回路設計部１１４は、認識部１１２で取得された対象物の各々の端点座標及び電極向きに従って、回路を設計する。ここで設計する回路は、記憶部１２０に記憶してあるスクリプトを用いて、ＣＡＤデータとして自動生成すればよい。なお、ＣＡＤデータの自動生成には他にも、機械学習技術などを用いても良い。 The circuit design unit 114 designs the circuit according to the end point coordinates and the electrode orientation of each object acquired by the recognition unit 112. The circuit designed here may be automatically generated as CAD data by using the script stored in the storage unit 120. In addition, machine learning technology or the like may be used for automatic generation of CAD data.

電極形成部１１６は、回路設計部１１４で設計された回路に従って、基板上の対象物の各々を用いた電極を形成する。電極形成部１１６は、基板上に電極を形成するためのマニピュレータ（図示省略）に指示を出し、回路を示すＣＡＤデータに従って、電極を形成する。マニピュレータは、ＣＡＤデータを読み取って自動又は半自動的に電極を形成する装置であればよい。 The electrode forming unit 116 forms an electrode using each of the objects on the substrate according to the circuit designed by the circuit design unit 114. The electrode forming unit 116 gives an instruction to a manipulator (not shown) for forming an electrode on the substrate, and forms an electrode according to CAD data indicating a circuit. The manipulator may be a device that reads CAD data and automatically or semi-automatically forms electrodes.

以上の認識部１１２による座標の取得、回路設計部１１４による回路の設計、及び電極形成部１１６による電極の形成により、基板において、対象物の各々を一体として、電極向きの配向性に依存しないセンサが形成される。以下に、当該センサについて説明する。 By acquiring the coordinates by the recognition unit 112, designing the circuit by the circuit design unit 114, and forming the electrodes by the electrode forming unit 116, each of the objects is integrated on the substrate, and the sensor does not depend on the orientation of the electrodes. Is formed. The sensor will be described below.

配向性に依存しないセンサとは、すなわち、平面な基板上（以下、単に平面とも記載する）に、ランダムに配置された複数のナノスケールのマテリアルによって可能となる極小のナノメカニカルシステムである。当該ナノメカニカルシステムは、基板に、それぞれの単一ナノマテリアル（例えば、対象物であるカーボンナノチューブ１本）から成るナノセンサ群を有することで、電磁界や光の、配向性に依存しない検知を可能とする。 An orientation-independent sensor is a tiny nanomechanical system made possible by a plurality of nanoscale materials randomly placed on a flat substrate (hereinafter, also simply referred to as a flat surface). The nanomechanical system has a group of nanosensors composed of each single nanomaterial (for example, one carbon nanotube that is an object) on a substrate, so that it is possible to detect electromagnetic fields and light independently of orientation. And.

本実施形態の手法によって、既存の微小な機械振動子を用いた系で生じるデメリットを回避し、ナノメカニカルシステム実現への貢献が期待できる。デメリットとは、例えば、以下のデメリット１及びデメリット２であり、図６及び図７を参照して説明する。図６は、ナノセンサ群の使用による、受信信号のエネルギー増加に関する概念図である。図７は、ランダム配置のナノアンテナ群の使用による、信号の配向性に依存しないナノシステムに関する概念図である。 The method of this embodiment can be expected to contribute to the realization of a nanomechanical system by avoiding the disadvantages that occur in a system using an existing minute mechanical oscillator. The demerits are, for example, the following demerits 1 and 2, which will be described with reference to FIGS. 6 and 7. FIG. 6 is a conceptual diagram regarding an increase in energy of a received signal due to the use of a group of nanosensors. FIG. 7 is a conceptual diagram of a nanosystem that does not depend on signal orientation by using a group of randomly arranged nanoantennas.

デメリット１は、センサ部（ナノマテリアル）が微小サイズであるため、信号から受け取れるエネルギーが乏しく、感度が悪い、という点である。これは、現在の様々なセンサは、アンテナ部が検知対象となる電波、光、及び熱等からエネルギーを受け取って動作する、という性質に起因する。受け取れるエネルギーの量はアンテナのサイズ及び表面積の広さに依存するため、微小なセンサでは必然的にその量は減少し、結果として感度特性が悪くなる。ナノメカニカルシステムによって、このようなデメリット１の解決が期待される理由として、１つでは表面積が非常に小さなナノセンサでも、１０個、１００個、のように複数を一体のセンサとして用いると、合計した表面積は増加する。図６に示すように、結果として、信号から受け取れるエネルギー量が増加するに伴い、感度が向上し、微弱な信号が検知可能となる。 Disadvantage 1 is that since the sensor unit (nanomaterial) has a very small size, the energy that can be received from the signal is poor and the sensitivity is poor. This is due to the property that various current sensors operate by receiving energy from radio waves, light, heat, etc. to be detected by the antenna unit. Since the amount of energy that can be received depends on the size of the antenna and the size of the surface area, the amount of energy is inevitably reduced for a minute sensor, resulting in poor sensitivity characteristics. The reason why the nanomechanical system is expected to solve such disadvantage 1 is that even if one nanosensor has a very small surface area, if a plurality of nanosensors such as 10 or 100 are used as an integrated sensor, the total is totaled. Surface area increases. As shown in FIG. 6, as a result, as the amount of energy received from the signal increases, the sensitivity improves and a weak signal can be detected.

デメリット２は、単一のセンサでは、配置されたナノマテリアルの向きに依存し、検知が困難な信号の到来方向が存在する、という点である。これは、一例として、ナノスケールの機械振動子においては、ナノマテリアルに対し、適切な方向、すなわち１次元材料であれば長手方向に垂直な向き、２次元材料であればなら面内垂直方向から信号が入射されるのが好ましい。しかしながら、信号の到来方向は逐次変化する場合が多く、信号検出に不向きな方向からの入射には対応が困難である。デメリット２の解決が期待される理由として、図７に示すように、ランダムに配置されるナノマテリアルによってナノセンサ群を作製すると、どの信号入射方向に対しても適切な向きとなるナノアンテナが確率的に存在するからである。これにより、信号が到来する向きに依らない、つまり配向性のないナノシステムが形成可能となる。 Disadvantage 2 is that with a single sensor, there is a signal arrival direction that is difficult to detect, depending on the orientation of the placed nanomaterials. As an example, in a nanoscale mechanical oscillator, the direction is appropriate for the nanomaterial, that is, the direction perpendicular to the longitudinal direction for a one-dimensional material, and the in-plane vertical direction for a two-dimensional material. It is preferable that the signal is incident. However, the arrival direction of the signal often changes sequentially, and it is difficult to deal with the incident from a direction unsuitable for signal detection. The reason why the solution of the disadvantage 2 is expected is that, as shown in FIG. 7, when a group of nanosensors is made of randomly arranged nanomaterials, a nanoantenna having an appropriate orientation with respect to any signal incident direction is probabilistic. Because it exists in. This makes it possible to form a nanosystem that does not depend on the direction in which the signal arrives, that is, has no orientation.

図８は、従来の手法と本実施形態の手法とを比較したプロセスフローの一例である。本実施形態の手法を用いれば、従来では人の手でしか行うことしかできなかったナノデバイス作製工程の時間効率の飛躍的な改善が期待される。 FIG. 8 is an example of a process flow comparing the conventional method and the method of the present embodiment. By using the method of the present embodiment, it is expected that the time efficiency of the nanodevice manufacturing process, which could only be performed by human hands in the past, will be dramatically improved.

以下に、図８に示すような、「従来の人の手による処理」と「本手法が提案するシステム構成による処理」とを行った際の時間を比較した。なお処理時間は、以下の仮定に基づき算出されている。ナノマテリアルとしてカーボンナノチューブを用い、カーボンナノチューブの端点に電極を有する素子１０００個から成る１個のシステムを作製するための時間を求める。各工程の人の作業時間は、これまで素子を作製してきた作業者の実体験に基づくため、熟練度による生じる違いは無視する。本手法による処理時間は、本手法の検討段階における試験時の時間とする。 Below, the time when "conventional processing by human hands" and "processing by the system configuration proposed by this method" as shown in FIG. 8 was compared was compared. The processing time is calculated based on the following assumptions. Using carbon nanotubes as nanomaterials, the time required to fabricate one system consisting of 1000 elements having electrodes at the end points of the carbon nanotubes is determined. Since the working time of the person in each process is based on the actual experience of the worker who has manufactured the element so far, the difference caused by the skill level is ignored. The processing time by this method shall be the time during the test at the examination stage of this method.

まず、人の手による処理について説明する。１ステップ目は、ＳＥＭでナノマテリアルの画像を取得する工程が、１枚１枚人が撮影するとして、１０分×１０００個＝１００００分（約１６７時間）と試算される。２ステップ目は、画像から、ナノマテリアルの位置情報（座標、及び角度）を取得する工程が、１個ずつ人が算出するとして、１５分×１０００個＝１５０００分（約２５０時間）と試算される。３ステップ目は、位置情報（座標、及び角度）に基づいて、ＣＡＤデータを作成する工程が、１部材ずつ人がデザインするとして、１５分×１０００個＝１００００分（約２５０時間）と試算される。４ステップ目は、ＣＡＤデータに基づいて、に電極を形成する工程が、ＣＡＤデータの１ファイルごとに人が処理するとして１０分×１０００個＝２００００分（約１６７時間）と試算される。 First, the manual processing will be described. In the first step, it is estimated that the process of acquiring an image of nanomaterials by SEM is 10 minutes x 1000 images = 10000 minutes (about 167 hours), assuming that each image is taken by a person. In the second step, the process of acquiring the position information (coordinates and angles) of nanomaterials from the image is estimated to be 15 minutes x 1000 = 15000 minutes (about 250 hours), assuming that each person calculates it one by one. To. In the third step, it is estimated that the process of creating CAD data based on position information (coordinates and angles) is 15 minutes x 1000 pieces = 10000 minutes (about 250 hours), assuming that each member is designed by a person. To. In the fourth step, it is estimated that the process of forming electrodes on the CAD data is 10 minutes x 1000 pieces = 20000 minutes (about 167 hours), assuming that each file of CAD data is processed by a person.

次に、本手法の処理について説明する。１ステップ目で、ＳＥＭでナノマテリアルの画像取得する工程が、平面内を自動撮影するとして、０．２５分×１０００個＝２５０分（約４時間）と試算される。２ステップ目は、画像に基づいて、自動で位置情報を取得するとして、０．０００４分×１０００個＝０．４分（約０．０６時間）と試算される。３ステップ目は、位置情報（座標、及び角度）に基づいて、自動でＣＡＤデータを作成するとして、０．０５分（約０．０００８時間）と試算される。４ステップ目は、ＣＡＤデータに基づいて電極形成する（ＣＡＤデータの統一ファイルを作成して電極を形成する）工程が、０．１２分×１０００個＝１００分（約２時間）と試算される。 Next, the processing of this method will be described. In the first step, the process of acquiring an image of nanomaterials by SEM is estimated to be 0.25 minutes x 1000 pieces = 250 minutes (about 4 hours), assuming that the inside of a plane is automatically photographed. In the second step, assuming that the position information is automatically acquired based on the image, it is estimated to be 0.0004 minutes x 1000 pieces = 0.4 minutes (about 0.06 hours). The third step is estimated to be 0.05 minutes (about 0.0008 hours), assuming that CAD data is automatically created based on the position information (coordinates and angles). In the fourth step, the process of forming electrodes based on CAD data (creating a unified file of CAD data to form electrodes) is estimated to be 0.12 minutes x 1000 pieces = 100 minutes (about 2 hours). ..

以上から、これまで人の手による処理で約８８４時間、つまり現実的な実動時間を８時間とすると１１０日の歳月を要していた作業が、本実施形態により約６時間（約０．２５日）での実現が可能となる。上記から、本実施形態の手法は、これまで現実的には困難であった、単一ナノマテリアルを用いた多量のナノデバイス群から構成されるナノシステムの実現に大きな貢献が期待できる。 From the above, the work that used to take about 884 hours by human processing, that is, 110 days when the actual actual working time is 8 hours, is about 6 hours (about 0) according to this embodiment. It will be possible to realize it in .25 days). From the above, the method of this embodiment can be expected to make a great contribution to the realization of a nanosystem composed of a large number of nanodevices using a single nanomaterial, which has been difficult in reality until now.

＜本発明の実施形態に係る自動回路形成装置の作用＞
次に、自動回路形成装置１００の作用について説明する。図９は、自動回路形成装置１００による自動回路形成処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から自動回路形成プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、自動回路形成処理が行なわれる。 <Operation of the automatic circuit forming apparatus according to the embodiment of the present invention>
Next, the operation of the automatic circuit forming apparatus 100 will be described. FIG. 9 is a flowchart showing the flow of the automatic circuit forming process by the automatic circuit forming apparatus 100. The automatic circuit formation process is performed by the CPU 11 reading the automatic circuit formation program from the ROM 12 or the storage 14, expanding the program into the RAM 13 and executing the program.

ステップＳ１００において、ＣＰＵ１１は、基板に配されたナノスケールの対象物の各々を含む画像を取得する。 In step S100, the CPU 11 acquires an image including each of the nanoscale objects arranged on the substrate.

ステップＳ１０２において、ＣＰＵ１１は、画像の対象物の各々について、記憶部１２０に記憶されているモデルを用いて認識し、当該対象物についての基板上の座標を取得する。取得する座標とは、観測部１１０で取得された画像に写された基板に配された対象物の各々の端点座標及び電極向きである。 In step S102, the CPU 11 recognizes each of the objects in the image using the model stored in the storage unit 120, and acquires the coordinates on the substrate for the objects. The coordinates to be acquired are the end point coordinates and the electrode orientation of each of the objects arranged on the substrate shown in the image acquired by the observation unit 110.

ステップＳ１０４において、ＣＰＵ１１は、ステップＳ１０２で取得された対象物の各々の端点座標及び電極向きに従って、回路を設計する。 In step S104, the CPU 11 designs the circuit according to the end point coordinates and the electrode orientation of each of the objects acquired in step S102.

ステップＳ１０６において、ＣＰＵ１１は、ステップＳ１０４で設計された回路に従って、基板上の対象物の各々を用いた電極を形成する。 In step S106, the CPU 11 forms electrodes using each of the objects on the substrate according to the circuit designed in step S104.

以上説明したように、本発明の実施形態に係る自動回路形成装置によれば、短時間、かつ、容易に、ナノスケールの対象物を用いた基板上の回路を設計できる。 As described above, according to the automatic circuit forming apparatus according to the embodiment of the present invention, it is possible to easily design a circuit on a substrate using a nanoscale object in a short time.

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.

例えば、上述した実施形態では対象物（カーボンナノチューブ）を基板上にランダムに散布する場合を例に説明したが、これに限定されるものではない。例えば、ある程度の方向性をもって対象物を基板上に散布してもよい。これにより、任意の回路の設計、及び電極の形成ができる。 For example, in the above-described embodiment, the case where the object (carbon nanotube) is randomly sprayed on the substrate has been described as an example, but the present invention is not limited to this. For example, the object may be sprayed on the substrate with a certain directionality. This makes it possible to design arbitrary circuits and form electrodes.

１００ 自動回路形成装置
１１０ 観測部
１１２ 認識部
１１４ 回路設計部
１１６ 電極形成部
１２０ 記憶部 100 Automatic circuit forming device 110 Observation unit 112 Recognition unit 114 Circuit design unit 116 Electrode forming unit 120 Storage unit

Claims (6)

基板に配されたナノスケールの対象物の各々を含む画像を取得する観測部と、
前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得する認識部と、
前記対象物の各々の座標から回路を設計する回路設計部と、
設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する電極形成部と、
を含む自動回路形成装置。 An observation unit that acquires images containing each of the nanoscale objects placed on the substrate,
A recognition unit that recognizes each of the objects in the image using a pre-learned model for acquiring the coordinates of the object and acquires the coordinates on the substrate for the object.
A circuit design unit that designs a circuit from the coordinates of each of the objects,
An electrode forming portion for forming an electrode using each of the objects on the substrate according to the designed circuit, and an electrode forming portion.
Automatic circuit forming device including. 前記モデルは、前記対象物の前記座標としての端点座標及び電極向きを取得するように予め学習されており、
前記認識部は、前記モデルを用いて、前記画像に写された前記基板に配された前記対象物の前記端点座標及び電極向きを取得し、
前記回路設計部は、前記端点座標及び電極向きに従って、前記回路を設計する、請求項１に記載の自動回路形成装置。 The model has been pre-learned to acquire endpoint coordinates and electrode orientations as the coordinates of the object.
Using the model, the recognition unit acquires the end point coordinates and the electrode orientation of the object arranged on the substrate captured in the image.
The automatic circuit forming apparatus according to claim 1, wherein the circuit design unit designs the circuit according to the end point coordinates and the electrode orientation. 前記対象物をカーボンナノチューブとし、前記基板に前記カーボンナノチューブがランダムに散布されている状態について、前記観測部は、前記画像を取得する請求項１又は請求項２に記載の自動回路形成装置。 The automatic circuit forming apparatus according to claim 1 or 2, wherein the object is a carbon nanotube, and the observation unit acquires the image in a state where the carbon nanotubes are randomly scattered on the substrate. 前記認識部による前記座標の取得、前記回路設計部による前記回路の設計、及び前記電極形成部による前記電極の形成により、
前記基板において、前記対象物の各々を一体として、電極向きの配向性に依存しないセンサが形成される請求項１〜請求項３の何れか１項に記載の自動回路形成装置。 By acquiring the coordinates by the recognition unit, designing the circuit by the circuit design unit, and forming the electrode by the electrode forming unit.
The automatic circuit forming apparatus according to any one of claims 1 to 3, wherein a sensor that does not depend on the orientation of the electrodes is formed on the substrate by integrating each of the objects. 基板に配されたナノスケールの対象物の各々を含む画像を取得し、
前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得し、
前記対象物の各々の座標から回路を設計し、
設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する、
ことを含む処理をコンピュータが実行することを特徴とする自動回路形成方法。 Obtain an image containing each of the nanoscale objects placed on the substrate,
Each of the objects in the image is recognized by using a model for acquiring the coordinates of the object learned in advance, and the coordinates on the substrate for the object are acquired.
Design a circuit from the coordinates of each of the objects,
An electrode is formed using each of the objects on the substrate according to the designed circuit.
An automatic circuit forming method characterized in that a computer executes a process including the above. 基板に配されたナノスケールの対象物の各々を含む画像を取得し、
前記画像の対象物の各々について、予め学習された前記対象物の座標を取得するためのモデルを用いて認識し、当該対象物についての基板上の座標を取得し、
前記対象物の各々の座標から回路を設計し、
設計された前記回路に従って、前記基板上の前記対象物の各々を用いた電極を形成する、
ことをコンピュータに実行させるプログラム。 Obtain an image containing each of the nanoscale objects placed on the substrate,
Each of the objects in the image is recognized by using a model for acquiring the coordinates of the object learned in advance, and the coordinates on the substrate for the object are acquired.
Design a circuit from the coordinates of each of the objects,
An electrode is formed using each of the objects on the substrate according to the designed circuit.
A program that lets a computer do things.
JP2019200100A 2019-11-01 2019-11-01 AUTOMATIC CIRCUIT-FORMING DEVICE, AUTOMATIC CIRCUIT-FORMING METHOD, AND PROGRAM Active JP7127632B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019200100A JP7127632B2 (en) 2019-11-01 2019-11-01 AUTOMATIC CIRCUIT-FORMING DEVICE, AUTOMATIC CIRCUIT-FORMING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019200100A JP7127632B2 (en) 2019-11-01 2019-11-01 AUTOMATIC CIRCUIT-FORMING DEVICE, AUTOMATIC CIRCUIT-FORMING METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2021070137A true JP2021070137A (en) 2021-05-06
JP7127632B2 JP7127632B2 (en) 2022-08-30

Family

ID=75712163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019200100A Active JP7127632B2 (en) 2019-11-01 2019-11-01 AUTOMATIC CIRCUIT-FORMING DEVICE, AUTOMATIC CIRCUIT-FORMING METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7127632B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071669A (en) * 2005-09-06 2007-03-22 Horiba Ltd Carbon nanotube sorting apparatus, computer program and carbon nanotube sorting method
JP2009239178A (en) * 2008-03-28 2009-10-15 Nec Corp Semiconductor device
JP2017122774A (en) * 2016-01-05 2017-07-13 株式会社ニコン Method for positioning article, device for positioning article and device manufacturing method and device manufacturing device
US20170284787A1 (en) * 2016-03-31 2017-10-05 The Trustees Of Columbia University In The City Of New York Systems and methods for contact localization through spatially overlapping signals
JP2019514022A (en) * 2016-03-30 2019-05-30 カリード，ワカス Nanostructured array based sensors for electrochemical detection, capacitive detection, and field emission detection
JP2019129169A (en) * 2018-01-22 2019-08-01 株式会社日立ハイテクノロジーズ Image evaluation method and image evaluation device
KR20190104708A (en) * 2018-03-02 2019-09-11 한양대학교 산학협력단 Carbon nanotube/elastomer composite, manufacturing method thereof, and strain sensor manufactured using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071669A (en) * 2005-09-06 2007-03-22 Horiba Ltd Carbon nanotube sorting apparatus, computer program and carbon nanotube sorting method
JP2009239178A (en) * 2008-03-28 2009-10-15 Nec Corp Semiconductor device
JP2017122774A (en) * 2016-01-05 2017-07-13 株式会社ニコン Method for positioning article, device for positioning article and device manufacturing method and device manufacturing device
JP2019514022A (en) * 2016-03-30 2019-05-30 カリード，ワカス Nanostructured array based sensors for electrochemical detection, capacitive detection, and field emission detection
US20170284787A1 (en) * 2016-03-31 2017-10-05 The Trustees Of Columbia University In The City Of New York Systems and methods for contact localization through spatially overlapping signals
JP2019129169A (en) * 2018-01-22 2019-08-01 株式会社日立ハイテクノロジーズ Image evaluation method and image evaluation device
KR20190104708A (en) * 2018-03-02 2019-09-11 한양대학교 산학협력단 Carbon nanotube/elastomer composite, manufacturing method thereof, and strain sensor manufactured using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田畑博史 他: "ＳｉＯ２／Ｓｉ基板上に転写した配向ＣＮＴを用いた単電子トランジスタの作製 Fabrication of single e", 第５６回応用物理学関係連合講演会講演予稿集 ＶＯＬ．１, JPN6022017611, 30 March 2009 (2009-03-30), pages 517頁, ISSN: 0004766562 *

Also Published As

Publication number Publication date
JP7127632B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
Fang et al. Graspnet-1billion: A large-scale benchmark for general object grasping
US8559699B2 (en) Methods and apparatus to facilitate operations in image based systems
Jahanshahi et al. A new methodology for non-contact accurate crack width measurement through photogrammetry for automated structural safety evaluation
RU2594231C2 (en) Method, computer program and apparatus for determining gripping location
TW201629909A (en) Three dimensional object recognition
Nieuwenhuisen et al. Shape-primitive based object recognition and grasping
CN104423569A (en) Pointing position detecting device, method and computer readable recording medium
TWI448987B (en) Method and interface of recognizing user&#39;s dynamic organ gesture and electric-using apparatus using the interface
Gong et al. Robotic probing of nanostructures inside scanning electron microscopy
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
Li et al. Drift compensation in AFM-based nanomanipulation by strategic local scan
JP2018169660A (en) Object attitude detection apparatus, control apparatus, robot and robot system
JP5547227B2 (en) Imaging device position / posture estimation system
Sardelis et al. 2-Stage vision system for robotic handling of flexible objects
Assadzadeh et al. Excavator 3D pose estimation using deep learning and hybrid datasets
JP2021070137A (en) Automatic circuit forming device, automatic circuit forming method, and program
JP6237122B2 (en) Robot, image processing method and robot system
Singh et al. In-situ real-time characterization of micro-filaments for electrohydrodynamic ink-jet printing using machine vision
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
Chen et al. Micro-vision servo control of a multi-axis alignment system for optical fiber assembly
CN114155294A (en) Engineering machinery working device pose estimation method based on deep learning
JP7112528B2 (en) Work coordinate creation device
JP2011040474A (en) Method for specifying glass substrate position and apparatus used therefor
CN103764342A (en) Improvements in knife sharpening tools
Yuan et al. AFM tip on-line positioning by using the landmark in nano-manipulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7127632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150