JP6758696B1 - Shape detection method, shape detection system, program - Google Patents
Shape detection method, shape detection system, program Download PDFInfo
- Publication number
- JP6758696B1 JP6758696B1 JP2020093167A JP2020093167A JP6758696B1 JP 6758696 B1 JP6758696 B1 JP 6758696B1 JP 2020093167 A JP2020093167 A JP 2020093167A JP 2020093167 A JP2020093167 A JP 2020093167A JP 6758696 B1 JP6758696 B1 JP 6758696B1
- Authority
- JP
- Japan
- Prior art keywords
- image analysis
- shape
- dimensional
- point cloud
- shape detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象物上の所定の形状を簡易かつ迅速に検出できるようにする形状検出方法、形状検出システム及びプログラムを提供する。【解決手段】対象物の形状を検出する形状検出方法であって、対象物からセンサにより三次元点群データを取得するステップSQ101と、三次元点群データを端末の表示領域に表示するステップと、三次元点群データが表示されている表示領域を二次元画像データとして取得するステップSQ102と、二次元画像データ内の所定の形状を判定する画像解析を行い、対象物における所定の形状を検出するステップSQ103と、を含む。【選択図】図7PROBLEM TO BE SOLVED: To provide a shape detection method, a shape detection system and a program capable of easily and quickly detecting a predetermined shape on an object. A shape detection method for detecting the shape of an object, wherein a step SQ101 of acquiring three-dimensional point group data from an object by a sensor and a step of displaying the three-dimensional point group data in a display area of a terminal. , Step SQ102 to acquire the display area where the 3D point group data is displayed as 2D image data, and image analysis to determine the predetermined shape in the 2D image data to detect the predetermined shape in the object. Step SQ103 and the like. [Selection diagram] FIG. 7
Description
本発明は、形状検出方法、形状検出システム、プログラムに関する。 The present invention relates to a shape detection method, a shape detection system, and a program.
従来から、物体の形状を検出する方法として、接触式または非接触式の形状検出方法が
存在していた(例えば、特許文献1を参照)。
Conventionally, as a method for detecting the shape of an object, a contact type or a non-contact type shape detection method has existed (see, for example, Patent Document 1).
しかしながら、従来の形状検出方法では、全体の形状を検出することは容易に行われる
が、対象物上の所定の形状を見つけ出すことは困難であり、例えば三次元モデルを用いて
所定の形状を目視にて確認したり、三次元モデル自体を直接解析したりすることは可能で
あっても、前者においては作業者の労力や時間の面で負荷が大きく、かつ、所定形状の確
認が漏れる可能性もあり、後者においては解析に用いる端末の解析処理の負荷も大きいた
め、それらが簡易かつ迅速な方法とはいえなかった。
However, with the conventional shape detection method, although it is easy to detect the entire shape, it is difficult to find a predetermined shape on the object. For example, the predetermined shape is visually observed using a three-dimensional model. Although it is possible to confirm with or directly analyze the 3D model itself, the former has a large load in terms of labor and time of the operator, and there is a possibility that confirmation of the predetermined shape may be omitted. In the latter case, the load of analysis processing of the terminal used for analysis is heavy, so it cannot be said that they are simple and quick methods.
本発明はこのような背景を鑑みてなされたものであり、対象物上の所定の形状を簡易か
つ迅速に検出することのできる技術を提供することを目的とする。
The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of easily and quickly detecting a predetermined shape on an object.
上記課題を解決するための本発明の主たる発明は、対象物の形状を検出する形状検出方
法であって、前記対象物からセンサにより三次元点群データを取得するステップと、前記
三次元点群データを端末の表示領域に表示するステップと、前記三次元点群データが表示
されている前記表示領域を二次元画像データとして取得するステップと、前記二次元画像
データ内の所定の形状を判定する画像解析を行い、前記対象物における前記所定の形状を
検出するステップと、を含む、ことを特徴とする形状検出方法である。
The main invention of the present invention for solving the above problems is a shape detection method for detecting the shape of an object, which includes a step of acquiring three-dimensional point group data from the object by a sensor and the three-dimensional point group. A step of displaying the data in the display area of the terminal, a step of acquiring the display area in which the three-dimensional point group data is displayed as two-dimensional image data, and a determination of a predetermined shape in the two-dimensional image data are determined. The shape detection method includes a step of performing image analysis and detecting the predetermined shape of the object.
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面に
より明らかにされる。
Other problems disclosed in the present application and solutions thereof will be clarified in the columns and drawings of the embodiments of the invention.
本発明によれば、対象物上の所定の形状を簡易かつ迅速に検出することができる。 According to the present invention, a predetermined shape on an object can be detected easily and quickly.
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を
備える。
The contents of the embodiments of the present invention will be described in a list. The present invention includes, for example, the following configuration.
[項目1]
対象物の形状を検出する形状検出方法であって、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得す
るステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における
前記所定の形状を検出するステップと、
を含む、ことを特徴とする形状検出方法。
[項目2]
項目1に記載の形状検出方法であって、
前記二次元画像データの二次元座標は、前記三次元点群データの三次元座標と対応付け
されており、
さらに、前記検出された所定の形状の位置が、前記対象物の三次元データ上で把握可能
に前記表示領域に表示するステップを含む、
ことを特徴とする形状検出方法。
[項目3]
項目1または2に記載の形状検出方法であって、
前記二次元画像データを取得時の表示領域の大きさを記憶するステップをさらに含む、
ことを特徴とする形状検出方法。
[項目4]
項目1ないし3に記載の形状検出方法であって、
前記二次元画像データを取得時に表示領域の大きさの変更を禁止するステップをさらに
含む、
ことを特徴とする形状検出方法。
[項目5]
項目1ないし4に記載の形状検出方法であって、
前記所定の形状は、対象物の凹部形状である、
ことを特徴とする形状検出方法。
[項目6]
項目1ないし4に記載の形状検出方法であって、
前記所定の形状は、対象物の凸部形状である、
ことを特徴とする形状検出方法。
[項目7]
項目1ないし4に記載の形状検出方法であって、
前記対象物は、二以上の構成物が重なったものであり、
前記所定の形状は、前記構成物同士の境界形状である
ことを特徴とする形状検出方法。
[項目8]
項目1ないし7に記載の形状検出方法であって、
前記二次元画像データ上の任意の位置間の長さを測定する、
ことを特徴とする形状検出方法。
[項目9]
対象物の形状を検出する形状検出システムであって、
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得す
る二次元画像データ取得部と、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における
前記所定の形状を検出する画像解析部と、
を含む、ことを特徴とする形状検出システム。
[項目10]
対象物の形状を検出する形状検出方法をコンピュータに実行させるためのプログラムで
あって、
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得す
るステップと、
前記二次元画像データ内の所定の形状を判定する画像解析を行い、前記対象物における
前記所定の形状を検出するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
[Item 1]
A shape detection method that detects the shape of an object.
The step of acquiring 3D point cloud data from the object with a sensor,
The step of displaying the three-dimensional point cloud data in the display area of the terminal, and
A step of acquiring the display area in which the three-dimensional point cloud data is displayed as two-dimensional image data, and
A step of performing image analysis to determine a predetermined shape in the two-dimensional image data and detecting the predetermined shape in the object,
A shape detection method comprising.
[Item 2]
The shape detection method according to
The two-dimensional coordinates of the two-dimensional image data are associated with the three-dimensional coordinates of the three-dimensional point cloud data.
Further, the step including displaying the position of the detected predetermined shape in the display area so as to be graspable on the three-dimensional data of the object is included.
A shape detection method characterized by this.
[Item 3]
The shape detection method according to
Further including a step of storing the size of the display area at the time of acquiring the two-dimensional image data.
A shape detection method characterized by this.
[Item 4]
The shape detection method according to
Further including a step of prohibiting the change in the size of the display area when acquiring the two-dimensional image data.
A shape detection method characterized by this.
[Item 5]
The shape detection method according to
The predetermined shape is a concave shape of the object.
A shape detection method characterized by this.
[Item 6]
The shape detection method according to
The predetermined shape is the convex shape of the object.
A shape detection method characterized by this.
[Item 7]
The shape detection method according to
The object is a stack of two or more components.
A shape detection method characterized in that the predetermined shape is a boundary shape between the components.
[Item 8]
The shape detection method according to
Measuring the length between arbitrary positions on the two-dimensional image data,
A shape detection method characterized by this.
[Item 9]
A shape detection system that detects the shape of an object
A three-dimensional point cloud data acquisition unit that acquires three-dimensional point cloud data from the object with a sensor,
A three-dimensional point cloud data display unit that displays the three-dimensional point cloud data in the display area of the terminal,
A two-dimensional image data acquisition unit that acquires the display area in which the three-dimensional point cloud data is displayed as two-dimensional image data, and
An image analysis unit that performs image analysis to determine a predetermined shape in the two-dimensional image data and detects the predetermined shape in the object, and an image analysis unit.
A shape detection system characterized by including.
[Item 10]
A program for causing a computer to execute a shape detection method for detecting the shape of an object.
The program is used as the shape detection method.
The step of acquiring 3D point cloud data from the object with a sensor,
The step of displaying the three-dimensional point cloud data in the display area of the terminal, and
A step of acquiring the display area in which the three-dimensional point cloud data is displayed as two-dimensional image data, and
A step of performing image analysis to determine a predetermined shape in the two-dimensional image data and detecting the predetermined shape in the object,
A program characterized by having a computer execute.
<実施の形態の詳細>
本発明の一実施形態に係る形状検出システム100の具体例を、以下に図面を参照しつ
つ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲に
よって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれること
が意図される。以下の説明では、添付図面において、同一または類似の要素には同一また
は類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に
関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに
矛盾しない限り他の実施形態にも適用可能である。
<Details of the embodiment>
A specific example of the shape detection system 100 according to the embodiment of the present invention will be described below with reference to the drawings. It should be noted that the present invention is not limited to these examples, and is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims. In the following description, the same or similar elements are given the same or similar reference numerals and names in the accompanying drawings, and duplicate description of the same or similar elements may be omitted in the description of each embodiment. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.
図1は、本実施形態の形状検出システム100の一例を示す図である。図1に示される
ように、本実施形態の形状検出システム100では、端末1と、作業用ロボット2とを有
している。作業用ロボット2は、少なくともアーム21、ツール22、センサ23を有し
ている。端末1と作業用ロボット2とは、有線または無線にて互いに通信可能に接続され
ている。
FIG. 1 is a diagram showing an example of the shape detection system 100 of the present embodiment. As shown in FIG. 1, the shape detection system 100 of the present embodiment includes a
<端末1>
図2は、端末1のハードウェア構成を示す図である。端末1は、例えばパーソナルコン
ピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティン
グによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の
構成を有していてもよい。
<
FIG. 2 is a diagram showing a hardware configuration of the
端末1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13
、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
The
, Input / output units 14, etc., which are electrically connected to each other through the bus 15.
プロセッサ10は、端末1全体の動作を制御し、少なくとも作業用ロボット2とのデー
タ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行
う演算装置である。例えばプロセッサ10はCPU(Central Processi
ng Unit)および/またはGPU(Graphics Processing U
nit)であり、ストレージ12に格納されメモリ11に展開された本システムのための
プログラム等を実行して各情報処理を実施する。
The processor 10 is an arithmetic unit that controls the operation of the
ng Unit) and / or GPU (Graphics Processing U)
Nit), and each information processing is performed by executing a program or the like for this system stored in the storage 12 and expanded in the memory 11.
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、端末1の起動時に実行
されるBIOS(Basic Input / Output System)、及び各
種設定情報等を格納する。
The memory 11 is a DRAM (Dynamic Random Access Memory).
Main memory composed of volatile storage devices such as y), flash memory and HDD (Hard)
Includes auxiliary storage configured with a non-volatile storage device such as Disk Drive). The memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよ
い。
The storage 12 stores various programs such as application programs. A database storing data used for each process may be built in the storage 12.
送受信部13は、端末1を少なくとも作業用ロボット2と接続し、プロセッサの指示に
従い、データ等の送受信を行う。なお、送受信部13は、有線または無線により構成され
おり、無線である場合には、例えば、WiFiやBluetooth(登録商標)及びB
LE(Bluetooth Low Energy)の近距離通信インターフェースによ
り構成されていてもよい。
The transmission / reception unit 13 connects the
It may be configured by a short-range communication interface of LE (Bluetooth Low Energy).
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
The input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
The bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
<作業用ロボット2>
図1に戻り、本実施形態に係る作業用ロボット2について説明する。
<Working robot 2>
Returning to FIG. 1, the working robot 2 according to the present embodiment will be described.
上述のとおり、作業用ロボット2は、アーム21と、ツール22と、センサ23とを有
する。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
As described above, the working robot 2 has an arm 21, a tool 22, and a sensor 23. The illustrated configuration is an example, and may have other configurations.
アーム21は、三次元のロボット座標系に基づき、端末1にその動作を制御される。ま
た、アーム21は、有線または無線で作業用ロボット2と接続されたコントローラ(不図
示)をさらに備え、これによりその動作を制御されてもよい。
The operation of the arm 21 is controlled by the
ツール22は、三次元のツール座標系に基づき、端末1にその動作を制御される。また
、ツール22の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接
用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
The operation of the tool 22 is controlled by the
センサ23は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ2
3は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象
物の三次元点群データを取得する。三次元点群データは、例えば、図4に示されるような
ものであり、それぞれの点データがセンサ座標を有し、点群により対象物の形状を把握す
ることが可能となる。
The sensor 23 senses an object based on a three-dimensional sensor coordinate system. Sensor 2
なお、より具体的には、作業前に所定のキャリブレーションを行い、ロボット座標系及
びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位
置を指定することにより、アーム21やツール22が対応した位置を基に動作制御される
ように構成をなしてもよい。
More specifically, the arm is subjected to a predetermined calibration before the work, the robot coordinate system, the tool coordinate system, and the sensor coordinate system are associated with each other, for example, the user specifies the position based on the sensor coordinate system. The operation of the 21 and the tool 22 may be controlled based on the corresponding positions.
<端末1の機能>
図3は、端末1に実装される機能を例示したブロック図である。本実施の形態において
は、端末1のプロセッサ10は、三次元点群データ取得部101、三次元点群データ表示
部102、二次元画像データ取得部103、画像解析部104を有している。また、端末
1のストレージ12は、三次元点群データ記憶部121、二次元画像データ記憶部122
、画像解析結果情報記憶部123を有している。
<Function of
FIG. 3 is a block diagram illustrating the functions implemented in the
The image analysis result information storage unit 123 is provided.
三次元点群データ取得部101は、端末1の入出力部14からの指示により、作業用ロ
ボット2を制御し、センサ23により対象物の三次元点群データを取得する。取得した三
次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点
群データ記憶部121に記憶される。
The three-dimensional point cloud data acquisition unit 101 controls the working robot 2 according to an instruction from the input / output unit 14 of the
三次元点群データ表示部102は、三次元点群データ取得部101により取得された三
次元点群データを、例えば図4に例示されるような表示領域Vに表示する。ユーザは、表
示領域V内に表示された三次元点群データを任意の方向から視認可能であり、例えば入出
力部14に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指
定可能である。
The three-dimensional point cloud data display unit 102 displays the three-dimensional point cloud data acquired by the three-dimensional point cloud data acquisition unit 101 in the display area V as illustrated in FIG. 4, for example. The user can visually recognize the three-dimensional point cloud data displayed in the display area V from an arbitrary direction, and the user can use an information input device such as a keyboard or a mouse connected to the input / output unit 14, for example. The direction can be specified.
また、三次元点群データ表示部102は、後述の画像解析部104によって検出された
所定の形状を構成する座標データ(例えば、二次元画像データ上の二次元座標)に基づき
、例えば図5に示されるように当該所定の形状が認識可能なように表示領域Vに表示する
(例えば、表示領域V上の所定の形状を構成する座標データ部分に、白色部分に赤等で色
付けを行うなど)。ユーザは、表示領域V内に表示された三次元点群データを任意の方向
から視認可能であり、例えば入出力部14に接続されたキーボード・マウス類等の情報入
力機器にて、当該任意の方向を指定可能である。
Further, the three-dimensional point group data display unit 102 is based on the coordinate data (for example, two-dimensional coordinates on the two-dimensional image data) that constitutes a predetermined shape detected by the image analysis unit 104 described later, for example, in FIG. As shown, the predetermined shape is displayed in the display area V so that the predetermined shape can be recognized (for example, the coordinate data portion constituting the predetermined shape on the display area V is colored with red or the like in the white portion). .. The user can visually recognize the three-dimensional point cloud data displayed in the display area V from an arbitrary direction, and the user can use an information input device such as a keyboard or a mouse connected to the input / output unit 14, for example. The direction can be specified.
二次元画像データ取得部103は、表示領域Vの表示を、いわゆるスクリーンショット
のように二次元画像データとして取得する。取得した二次元画像データは、例えばビット
マップデータのような汎用的な画像データであり、二次元画像データ記憶部122に記憶
される。
The two-dimensional image data acquisition unit 103 acquires the display of the display area V as two-dimensional image data as in a so-called screenshot. The acquired two-dimensional image data is general-purpose image data such as bitmap data, and is stored in the two-dimensional image data storage unit 122.
画像解析部104は、二次元画像データ取得部103により取得された二次元画像デー
タを所定の条件下で画像解析し、当該所定の条件により指定された所定の形状を検出する
。そして、所定の形状を構成する座標データ(例えば、二次元画像データ上の二次元座標
)を画像解析結果情報記憶部123に記憶する。所定の条件は、例えば、所定の色の点群
が密集することにより生じた所定の色の特徴点の大きさや長さが所定値以上であることを
判定するものである。
The image analysis unit 104 analyzes the two-dimensional image data acquired by the two-dimensional image data acquisition unit 103 under a predetermined condition, and detects a predetermined shape designated by the predetermined condition. Then, the coordinate data (for example, the two-dimensional coordinates on the two-dimensional image data) constituting the predetermined shape is stored in the image analysis result information storage unit 123. The predetermined condition is, for example, to determine that the size and length of the feature points of a predetermined color generated by the concentration of point clouds of a predetermined color are equal to or larger than a predetermined value.
ここで、所定の色の点群が密集した状態について、例えば、金属加工分野や樹脂成型分
野において、材料の成形収縮等により生じる微小な凹部形状(いわゆる、ヒケ)を有し得
る対象物に対して三次元スキャンを行って得た三次元点群データを確認する場合を基に説
明する。例えば、図6の仮想ユーザ位置42から三次元点群データ41を確認する場合に
は、全体として概ね1つ程度の点データが見えるため、密集度合いは概ね一様となり、特
徴点は存在しないに等しい。一方で、図6の仮想ユーザ位置43から三次元点群データ4
1を確認する場合には、2以上の点データが密集する部分が存在するため、このような部
分が特徴点として現れてくる。その結果、例えば図4の凹部形状31や凸部形状32のよ
うに、例えば白色の特徴部分が画像解析により検出することが可能となる。
Here, regarding a state in which point clouds of a predetermined color are densely packed, for example, in a metal processing field or a resin molding field, for an object that may have a minute concave shape (so-called sink mark) caused by molding shrinkage of a material or the like. The explanation will be based on the case of confirming the three-dimensional point cloud data obtained by performing the three-dimensional scan. For example, when confirming the three-dimensional point cloud data 41 from the virtual user position 42 in FIG. 6, since about one point data can be seen as a whole, the degree of density is almost uniform and there are no feature points. equal. On the other hand, the three-dimensional point cloud data 4 from the virtual user position 43 in FIG.
When 1 is confirmed, since there is a portion where two or more point data are densely packed, such a portion appears as a feature point. As a result, for example, a white feature portion such as the concave shape 31 and the
また、画像解析部104は、同一または類似の条件により、対象物が二以上の構成物が
重なったものである場合においても、構成物同士の境界形状を検出可能である。すなわち
、二以上の構成物が重なったものに対して三次元スキャンを行うと、境界形状は一種の凹
部形状のような点群データが取得できるため、上述と同様に画像解析により構成物同士の
境界形状を検出することが可能となる。
Further, the image analysis unit 104 can detect the boundary shape between the components even when the object is a stack of two or more components under the same or similar conditions. That is, when a three-dimensional scan is performed on an overlapping structure of two or more components, point group data such as a kind of concave shape can be obtained as the boundary shape. It becomes possible to detect the boundary shape.
さらに、画像解析部104は、同一または類似の条件により、対象物の端面やエッジも
検出可能である。すなわち、対象物の端面やエッジは一種の凸部形状のような点群データ
が取得できるため、上述と同様に画像解析により対象物の端面やエッジを検出することが
可能となる。
Further, the image analysis unit 104 can also detect the end face and the edge of the object under the same or similar conditions. That is, since point cloud data such as a kind of convex shape can be acquired for the end face and edge of the object, it is possible to detect the end face and edge of the object by image analysis as described above.
なお、画像解析部104は、機械学習や深層学習により、凹部形状や境界形状、凸部形
状などの所定の形状(特徴部分)が現れやすい部分と三次元点群データの関係を学習する
ことで、ユーザが所定の形状を指定するだけで画像解析により二次元画像データ上の所定
の形状を検出することを可能としてもよい。
The image analysis unit 104 learns the relationship between the three-dimensional point group data and the portion where a predetermined shape (feature portion) such as a concave shape, a boundary shape, or a convex shape is likely to appear by machine learning or deep learning. , The user may be able to detect a predetermined shape on the two-dimensional image data by image analysis only by specifying a predetermined shape.
<形状検出方法のフローチャート>
図7は、本実施形態の形状検出システム100における形状検出方法のフローチャート
である。
<Flowchart of shape detection method>
FIG. 7 is a flowchart of a shape detection method in the shape detection system 100 of the present embodiment.
まず、ユーザは、端末1またはコントローラ(不図示)により作業用ロボット2を操作
し、端末1の三次元点群データ取得部101による制御に基づき、センサ23により、例
えば作業台上に位置する対象物の三次元点群データを取得する(SQ101)。
First, the user operates the work robot 2 by the
次に、三次元点群データ表示部102により取得した三次元点群データを表示領域Vへ
表示し、二次元画像データ取得部103により当該表示領域Vの画像データを取得する(
SQ102)。
Next, the three-dimensional point cloud data acquired by the three-dimensional point cloud data display unit 102 is displayed in the display area V, and the image data of the display area V is acquired by the two-dimensional image data acquisition unit 103 (
SQ102).
次に、画像解析部104により取得した二次元画像データを所定の条件下で画像解析し
、ユーザ指定の所定の形状を検出する(SQ103)。
Next, the two-dimensional image data acquired by the image analysis unit 104 is image-analyzed under predetermined conditions to detect a predetermined shape specified by the user (SQ103).
次に、三次元点群データ表示部102は、検出された所定の形状を構成する座標データ
(例えば、二次元画像データ上の二次元座標)に基づき、表示領域V上で当該所定の形状
が認識可能なように表示する(SQ104)。
Next, the three-dimensional point cloud data display unit 102 displays the predetermined shape on the display area V based on the detected coordinate data (for example, two-dimensional coordinates on the two-dimensional image data) constituting the predetermined shape. Display so that it can be recognized (SQ104).
したがって、二次元画像データの解析を行うだけで対象物上の所定の形状を検出可能で
あるため、本実施形態の形状検出システム100は、対象物上の所定の形状を簡易かつ迅
速に検出できるものである。
Therefore, since the predetermined shape on the object can be detected only by analyzing the two-dimensional image data, the shape detection system 100 of the present embodiment can easily and quickly detect the predetermined shape on the object. It is a thing.
なお、二次元画像データを取得するステップ(SQ102)時に取得した二次元画像デ
ータ上の二次元座標を基に画像解析結果を反映していることを鑑みれば、例えば、二次元
画像データ取得時の表示領域Vの大きさを記憶しておくことにより、もし表示領域Vの大
きさが画像解析後に変更されていたとしても、現在の表示領域Vの大きさ(および/また
はその二次元座標)と、二次元画像データ取得時の表示領域Vの大きさ(および/または
その二次元座標)を対応付けすることにより、画像解析結果を反映することが可能である
。そのほか、少なくとも画像データ取得後には、表示領域Vの大きさを変更不可とするよ
うに設定してもよい。
Considering that the image analysis result is reflected based on the two-dimensional coordinates on the two-dimensional image data acquired at the step (SQ102) of acquiring the two-dimensional image data, for example, at the time of acquiring the two-dimensional image data. By storing the size of the display area V, even if the size of the display area V is changed after the image analysis, the current size of the display area V (and / or its two-dimensional coordinates) and , It is possible to reflect the image analysis result by associating the size (and / or its two-dimensional coordinates) of the display area V at the time of acquiring the two-dimensional image data. In addition, the size of the display area V may be set so as not to be changeable, at least after the image data is acquired.
<他の実施の形態1>
上述の形状検出システム100では、画像解析結果として得られた所定の形状を構成す
る座標データ(例えば、二次元画像データ上の二次元座標)に基づき、表示領域V上で当
該所定の形状が認識可能なように表示している。これに加えて(または代えて)、三次元
点群データ表示部102が、ユーザが三次元点群データを何れの方向から視認しているか
、表示領域Vにはどの三次元点群データが何れの位置に表示されているかを把握すること
で、表示領域V上の二次元座標系の所定位置と、三次元点群データの三次元座標系の所定
位置とが、互いに対応付けされ、三次元点群データ上に画像解析結果を反映させてもよい
。
<
In the above-mentioned shape detection system 100, the predetermined shape is recognized on the display area V based on the coordinate data (for example, the two-dimensional coordinates on the two-dimensional image data) that constitutes the predetermined shape obtained as the image analysis result. It is displayed as possible. In addition to (or instead), which direction the user is viewing the 3D point group data from, and which 3D point group data is in the display area V. By grasping whether or not it is displayed at the position of, the predetermined position of the two-dimensional coordinate system on the display area V and the predetermined position of the three-dimensional coordinate system of the three-dimensional point group data are associated with each other and are three-dimensional. The image analysis result may be reflected on the point group data.
より具体的には、例えば、図8を参照すると、ユーザが指定した任意の方向とは、仮想
ユーザ位置61からの方向であり、仮想ユーザ位置61から当該任意の方向へ所定長さ進
んだ位置での所定範囲の平面領域を仮想表示領域62とし、これを表示領域Vへ表示する
。そして、例えば仮想ユーザ位置61から仮想表示領域62のある点Nが位置する二次元
位置63へと仮想直線(図8の一点鎖線)を引き、当該仮想直線を延長して三次元点群デ
ータのうち最初に交わる点Mを求め、点Mと点Nの各座標間の対応関係を記憶するように
してもよい。
More specifically, for example, referring to FIG. 8, the arbitrary direction specified by the user is a direction from the virtual user position 61, and a position advanced by a predetermined length from the virtual user position 61 in the arbitrary direction. The plane area of the predetermined range in is designated as the virtual display area 62, and this is displayed in the display area V. Then, for example, a virtual straight line (one-dot chain line in FIG. 8) is drawn from the virtual user position 61 to the two-dimensional position 63 where the point N of the virtual display area 62 is located, and the virtual straight line is extended to obtain the three-dimensional point cloud data. Of these, the point M that intersects first may be obtained, and the correspondence between the coordinates of the point M and the point N may be stored.
その後、画像解析部104の画像解析により、二次元画像データ上の所定の形状を構成
する座標データが得られた場合には、上述の対応関係を用いて、三次元点群データ内の対
応する点データを検出し、当該点データが表示領域V上で色付けされるなどして確認可能
なように表示されてもよい。
After that, when the coordinate data constituting the predetermined shape on the two-dimensional image data is obtained by the image analysis of the image analysis unit 104, the corresponding relationship in the three-dimensional point cloud data is used by using the above-mentioned correspondence relationship. The point data may be detected and displayed so that the point data can be confirmed by being colored on the display area V.
このような構成をなすことにより、表示領域V上に表示された解析結果が、画像解析時
の二次元画像データ上に限らず、例えば入出力部14に接続されたキーボード・マウス類
等の情報入力機器にて、当該任意の方向を指定された場合であっても、表示領域V上で所
定の形状を確認可能となる。
With such a configuration, the analysis result displayed on the display area V is not limited to the two-dimensional image data at the time of image analysis, for example, information such as keyboards and mice connected to the input / output unit 14. Even when the arbitrary direction is specified by the input device, the predetermined shape can be confirmed on the display area V.
また、プロセッサ10は、特に、三次元点群データ上または表示領域V上の解析した任
意の点間の長さを把握することも可能である。これにより、ユーザが認識したい位置間の
長さを把握することも可能になり、例えば所定形状が溝等の凹部形状である場合には、そ
の凹部形状間の長さや幅なども確認することが可能である。
In addition, the processor 10 can grasp the length between any analyzed points on the three-dimensional point cloud data or the display area V, in particular. This makes it possible to grasp the length between the positions that the user wants to recognize. For example, when the predetermined shape is a concave shape such as a groove, the length and width between the concave shapes can also be confirmed. It is possible.
<他の実施の形態2>
上述の形状検出方法は、特に、複数の対象物に対して基準を満たさない形状となってい
ないかを判定することに用いると有用である。すなわち、基準を満たさない形状の対象物
(例えば、凹部形状31が所定の部分に現れているなど)に対して、いずれの方向(仮想
ユーザ位置)から点群データを確認すると特徴部分が画像解析にて検出可能かを記憶する
ことにより、全ての対象物に対して、同様の基準を満たさない形状となっていないかを容
易に確認可能である。
<Other Embodiment 2>
The above-mentioned shape detection method is particularly useful for determining whether or not a shape does not satisfy the criteria for a plurality of objects. That is, when the point cloud data is confirmed from any direction (virtual user position) for an object having a shape that does not satisfy the standard (for example, the concave shape 31 appears in a predetermined portion), the feature portion is image-analyzed. By memorizing whether or not it can be detected in, it is possible to easily confirm whether or not the shape does not satisfy the same criteria for all the objects.
<他の実施の形態3>
上述の形状検出方法は、特に、複数の対象物に対して基準を満たす形状となっているか
どうかを判定することに用いると有用である。すなわち、基準を満たしている形状か確認
可能なように対象物周囲の多方向に仮想ユーザ位置を設定して記憶し、それらの方向から
取得した画像の解析結果を、基準を満たすものの画像解析結果と比較して、例えば形状変
形やスクラッチなどの有無の判定を行うようにしてもよい。
<
The above-mentioned shape detection method is particularly useful for determining whether or not a shape satisfies a standard for a plurality of objects. That is, the virtual user positions are set and stored in multiple directions around the object so that it can be confirmed whether the shape meets the criteria, and the analysis results of the images acquired from those directions are the image analysis results of those that meet the criteria. For example, the presence or absence of shape deformation or scratches may be determined in comparison with.
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするため
のものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸
脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes equivalents thereof.
1 端末
2 作業用ロボット
21 アーム
22 ツール
23 センサ
1 Terminal 2 Working robot 21 Arm 22 Tool 23 Sensor
Claims (4)
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
ユーザが指定した仮想ユーザ位置に基づく前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データに対して画像解析を行い、当該画像解析により前記対象物における所定の形状を検出して得られる画像解析結果を取得するステップと、
前記画像解析結果と基準画像解析結果と比較して、前記画像解析結果が基準を満たすかどうかを判定するステップと、
を含む、ことを特徴とする形状検出方法。 A shape detection method that detects the shape of an object.
The step of acquiring 3D point cloud data from the object with a sensor,
The step of displaying the three-dimensional point cloud data in the display area of the terminal, and
A step of acquiring the display area in which the three-dimensional point cloud data based on the virtual user position specified by the user is displayed as two-dimensional image data, and
A step of performing image analysis on the two-dimensional image data, detecting a predetermined shape in the object by the image analysis, and acquiring an image analysis result obtained.
A step of comparing the image analysis result with the reference image analysis result to determine whether the image analysis result satisfies the reference, and
A shape detection method comprising.
前記基準画像解析結果は、前記基準を満たす形状である対象物に対して画像解析を行った結果である、
ことを特徴とする形状検出方法。 The shape detection method according to claim 1.
The reference image analysis result is the result of performing image analysis on an object having a shape satisfying the reference.
A shape detection method characterized by this.
前記対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データを端末の表示領域に表示する三次元点群データ表示部と、
ユーザが指定した仮想ユーザ位置に基づく前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得する二次元画像データ取得部と、
前記二次元画像データに対して画像解析を行い、当該画像解析により前記対象物における所定の形状を検出して得られる画像解析結果を取得する画像解析部と、
を含む、形状検出システムであって、
さらに前記画像解析部は、前記画像解析結果と基準画像解析結果と比較して、前記画像解析結果が基準を満たすかどうかを判定する、
ことを特徴とする形状検出システム。 A shape detection system that detects the shape of an object
A three-dimensional point cloud data acquisition unit that acquires three-dimensional point cloud data from the object with a sensor,
A three-dimensional point cloud data display unit that displays the three-dimensional point cloud data in the display area of the terminal,
A two-dimensional image data acquisition unit that acquires the display area in which the three-dimensional point group data based on the virtual user position specified by the user is displayed as two-dimensional image data.
An image analysis unit that performs image analysis on the two-dimensional image data, detects a predetermined shape in the object by the image analysis, and acquires an image analysis result obtained.
Is a shape detection system that includes
Further, the image analysis unit compares the image analysis result with the reference image analysis result to determine whether or not the image analysis result satisfies the reference.
A shape detection system characterized by this.
前記プログラムは、前記形状検出方法として、
前記対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データを端末の表示領域に表示するステップと、
ユーザが指定した仮想ユーザ位置に基づく前記三次元点群データが表示されている前記表示領域を二次元画像データとして取得するステップと、
前記二次元画像データに対して画像解析を行い、当該画像解析により前記対象物における所定の形状を検出して得られる画像解析結果を取得するステップと、
前記画像解析結果と基準画像解析結果と比較して、前記画像解析結果が基準を満たすかどうかを判定するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。 A program for causing a computer to execute a shape detection method for detecting the shape of an object.
The program is used as the shape detection method.
The step of acquiring 3D point cloud data from the object with a sensor,
The step of displaying the three-dimensional point cloud data in the display area of the terminal, and
A step of acquiring the display area in which the three-dimensional point cloud data based on the virtual user position specified by the user is displayed as two-dimensional image data, and
A step of performing image analysis on the two-dimensional image data, detecting a predetermined shape in the object by the image analysis, and acquiring an image analysis result obtained.
A step of comparing the image analysis result with the reference image analysis result to determine whether the image analysis result satisfies the reference, and
A program characterized by having a computer execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020093167A JP6758696B1 (en) | 2020-04-27 | 2020-05-28 | Shape detection method, shape detection system, program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078006A JP2021124485A (en) | 2020-02-05 | 2020-04-27 | Shape detection method, shape detection system, and program |
JP2020093167A JP6758696B1 (en) | 2020-04-27 | 2020-05-28 | Shape detection method, shape detection system, program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078006A Division JP2021124485A (en) | 2020-02-05 | 2020-04-27 | Shape detection method, shape detection system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6758696B1 true JP6758696B1 (en) | 2020-09-23 |
JP2021125194A JP2021125194A (en) | 2021-08-30 |
Family
ID=72517939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020093167A Active JP6758696B1 (en) | 2020-04-27 | 2020-05-28 | Shape detection method, shape detection system, program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6758696B1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277241A (en) * | 2001-03-16 | 2002-09-25 | Hitachi Eng Co Ltd | Method and apparatus for measuring remains of old construction |
JP2004012221A (en) * | 2002-06-05 | 2004-01-15 | Hitachi Eng Co Ltd | Surveyed two-dimensional figure forming method and system of ruins legacy or the like |
JP6192938B2 (en) * | 2013-01-15 | 2017-09-06 | 株式会社東芝 | 3D synthesis processing system and 3D synthesis processing method |
JP2017197942A (en) * | 2016-04-26 | 2017-11-02 | ライト工業株式会社 | Slope spray method |
-
2020
- 2020-05-28 JP JP2020093167A patent/JP6758696B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021125194A (en) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200033109A1 (en) | Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program | |
CN110599544B (en) | Workpiece positioning method and device based on machine vision | |
WO2021181929A1 (en) | Information processing method, information processing system, and program | |
JP2018176311A (en) | Information processor, information processing method, program, system, and article manufacturing method | |
JP6917096B1 (en) | Information processing method, information processing system, program | |
WO2021157446A1 (en) | Shape detection method, shape detection system, and program | |
JP6796899B1 (en) | Information processing method, information processing system, program | |
JP6849262B1 (en) | Information processing method, information processing system, program | |
JP6758696B1 (en) | Shape detection method, shape detection system, program | |
JP6758695B1 (en) | Shape detection method, shape detection system, program | |
JP6742661B1 (en) | Shape detection method, shape detection system, program | |
WO2023027068A1 (en) | Weld inspection method, weld inspection system, and weld inspection program | |
JP7108329B1 (en) | Information processing method, information processing system, program | |
WO2023062792A1 (en) | Image processing device, image processing method, and storage medium | |
JPH117372A (en) | Graphic selector | |
JP2000200363A (en) | Three-dimensional modeling system, method therefor and recording medium | |
JPS6284383A (en) | Display controller | |
JPH03257682A (en) | Three-dimensional graphic display processing method | |
JPH10133859A (en) | Method and device for teaching robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200528 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200528 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6758696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |