JP7482654B2 - Edge detection system and program thereof - Google Patents

Edge detection system and program thereof Download PDF

Info

Publication number
JP7482654B2
JP7482654B2 JP2020041456A JP2020041456A JP7482654B2 JP 7482654 B2 JP7482654 B2 JP 7482654B2 JP 2020041456 A JP2020041456 A JP 2020041456A JP 2020041456 A JP2020041456 A JP 2020041456A JP 7482654 B2 JP7482654 B2 JP 7482654B2
Authority
JP
Japan
Prior art keywords
edges
polar coordinate
edge detection
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020041456A
Other languages
Japanese (ja)
Other versions
JP2021144371A (en
Inventor
サクティ アルヴィッサリム ムハンマド
友啓 田畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EXVISION CORPORATION
Original Assignee
EXVISION CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EXVISION CORPORATION filed Critical EXVISION CORPORATION
Priority to JP2020041456A priority Critical patent/JP7482654B2/en
Publication of JP2021144371A publication Critical patent/JP2021144371A/en
Application granted granted Critical
Publication of JP7482654B2 publication Critical patent/JP7482654B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システム、および、そのプログラムに関する。 The present invention relates to an edge detection system that detects the edges of an object in each of a plurality of captured images of a known moving object , and a program therefor.

従来、カメラによって取得された撮像画像中の物体を認識する手法が提案されている。例えば、特許文献１には、カメラによって取得された時系列的な画像群を入力とし、実空間情報によって学習する識別器を用いて物体を追跡する装置が開示されている。この識別器は、構造化ＳＶＭのアルゴリズムによって構築されており、物体追跡対象の画像毎に、この画像情報を入力することによって、物体の実空間での正解とされる位置情報を出力する。また、特許文献２には、オクルージョン発生時に専用の識別器を用いて物体を追従する装置が開示されている。この装置は、第１の識別器と、第２の識別器とを有し、これらはサポートベクタマシン（ＳＶＭ）などによって構築されている。第１の識別器は、物体が描出された画像を用いて、この物体についての学習を行う。第１の識別器によって、物体識別対象の各画像における物体の領域を識別して、この物体を追跡するために用いられる。第２の識別器は、オクルージョンの発生時に、この物体の領域におけるオクルージョンの及んでいないオクルージョン外領域を用いて、この物体についての学習を行う。 Conventionally, a method for recognizing an object in an image captured by a camera has been proposed. For example, Patent Document 1 discloses an apparatus that tracks an object using a classifier that inputs a time-series group of images captured by a camera and learns from real space information. This classifier is constructed using a structured SVM algorithm, and outputs position information that is considered to be correct in real space for the object by inputting image information for each image of the object to be tracked. Patent Document 2 also discloses an apparatus that tracks an object using a dedicated classifier when occlusion occurs. This apparatus has a first classifier and a second classifier, which are constructed using a support vector machine (SVM) or the like. The first classifier learns about the object using an image in which the object is depicted. The first classifier is used to identify the area of the object in each image of the object to be identified and track the object. When occlusion occurs, the second classifier learns about the object using an out-of-occlusion area in the area of the object that is not covered by occlusion.

特開２０１６－２０６７９５号公報JP 2016-206795 A 特開２０１６－１２６６２４号公報JP 2016-126624 A

ところで、ボールなどの物体の動きを追跡するアルゴリズムとして、背景などとの境目を物体のエッジとして検出する手法が知られているが、状況によって検出精度の低下を招き易いという課題があった。例えば、多色模様のボールが回転によって混色した場合、その色味が背景の色味に近くなって、ボールの誤検出が生じ易い。 A method is known as an algorithm for tracking the movement of an object such as a ball, which detects the boundary with the background as the edge of the object. However, this method has the problem that it can easily lead to a decrease in detection accuracy depending on the situation. For example, if a multi-colored ball mixes colors as it rotates, the color of the ball becomes close to the color of the background, which can easily lead to false detection of the ball.

本発明は、かかる事情に鑑みてなされたものであり、その目的は、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することである。 The present invention has been made in consideration of the above circumstances, and its purpose is to accurately detect the edges of an object in a captured image for each of a plurality of captured images of a known moving object .

かかる課題を解決すべく、第１の発明は、極座標変換部と、領域分割部と、学習モデルと、領域統合部とを有し、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出システムを提供する。極座標変換部は、撮像画像を極座標系に変換して、極座標画像を生成する。領域分割部は、極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する。学習モデルは、領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する。領域統合部は、学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する。 In order to solve such problems, a first invention provides an edge detection system having a polar coordinate conversion unit, a region division unit, a learning model, and a region integration unit, which detects edges of an object in each of a plurality of captured images obtained by successively capturing images of a known moving object . The polar coordinate conversion unit converts the captured images into a polar coordinate system to generate a polar coordinate image. The region division unit divides the polar coordinate image generated by the polar coordinate conversion unit into predetermined angular regions. The learning model identifies edges of the object for each angular region based on color or grayscale image data in each angular region divided by the region division unit. The region integration unit integrates the edges of the object for each angular region identified by the learning model to generate a two-dimensional distribution of the edges of the object.

ここで、第１の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する学習処理部を設けることが好ましい。 Here, in the first invention, the learning model may have a neural network in which the internal parameters of the functions it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. In this case, it is preferable to provide a learning processing unit that adjusts the internal parameters by supervised learning using training data that teaches the positions of the edges of the object in the image data.

第１の発明において、上記領域分割部は、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、領域統合部によって生成された物体のエッジの二次元分布に基づいて、物体を認識する物体認識部をさらに設けてもよい。 In the first invention, the region division unit may divide the polar coordinate image so that the angular regions partially overlap. Also, an object recognition unit may be further provided that recognizes objects based on the two-dimensional distribution of edges of the objects generated by the region integration unit.

第２の発明は、以下のステップをコンピュータに実行させることによって、動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを検出するエッジ検出プログラムを提供する。第１のステップでは、撮像画像を極座標系に変換して、極座標画像を生成する。第２のステップでは、極座標画像を所定の角度領域毎に分割する。第３のステップでは、角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する。第４のステップでは、角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する。 A second invention provides an edge detection program for detecting edges of an object in each of a plurality of captured images of a known moving object by having a computer execute the following steps: In a first step, the captured image is converted into a polar coordinate system to generate a polar coordinate image; In a second step, the polar coordinate image is divided into predetermined angular regions; In a third step, color or grayscale image data in each angular region is input to a learning model to identify edges of the object for each angular region; In a fourth step, the edges of the object identified for each angular region are integrated to generate a two-dimensional distribution of the edges of the object.

ここで、第２の発明において、上記学習モデルは、画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有していてもよい。この場合、画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、内部パラメータを調整する第５のステップを設けることが好ましい。 Here, in the second invention, the learning model may have a neural network in which the internal parameters of the functions it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. In this case, it is preferable to provide a fifth step of adjusting the internal parameters by supervised learning using training data that teaches the positions of the edges of the object in the image data.

第２の発明において、上記第２のステップは、角度領域が部分的にオーバーラップするように、極座標画像を分割してもよい。また、上記物体のエッジの二次元分布に基づいて、物体を認識する第６のステップをさらに設けてもよい。 In the second invention, the second step may divide the polar coordinate image so that the angular regions partially overlap. Also, a sixth step may be further provided of recognizing the object based on a two-dimensional distribution of the edges of the object.

本発明によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデルに入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデルを用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。 According to the present invention, a polar coordinate image is divided into predetermined angular regions, and color or grayscale image data for each angular region is input to a learning model to identify object edges for each angular region. Then, a two-dimensional distribution of object edges is generated by integrating object edges identified for each angular region. By using the learning model to identify object edges for each angular region, it is possible to accurately detect object edges in captured images for each of a plurality of images captured consecutively of a known object .

エッジ検出システムのブロック図Edge detection system block diagram 撮像画像の一例を示す図FIG. 1 is a diagram showing an example of a captured image. 極座標画像の一例を示す図FIG. 1 is a diagram showing an example of a polar coordinate image. 極座標画像を分割した一例を示す図A diagram showing an example of dividing a polar coordinate image. 学習モデルによるエッジ検出の説明図Illustrative diagram of edge detection using a learning model 極座標系における物体のエッジの二次元分布の一例を示す図FIG. 1 is a diagram showing an example of a two-dimensional distribution of edges of an object in a polar coordinate system. 直交座標系における物体のエッジの二次元分布の一例を示す図FIG. 1 is a diagram showing an example of a two-dimensional distribution of edges of an object in a Cartesian coordinate system.

図１は、本実施形態に係るエッジ検出システムのブロック図である。このエッジ検出システム１は、動きのある既知の物体（検出対象）に追従して撮像画像を連続的に撮像し、それぞれの撮像画像について、物体のエッジ、すなわち、物体とそれ以外のもの（背景など）との境目を検出する。エッジ検出システム１は、カメラ２と、極座標変換部３と、領域分割部４と、学習モデル５と、学習処理部６と、領域統合部７と、物体認識部８とを有する。 Figure 1 is a block diagram of an edge detection system according to this embodiment. This edge detection system 1 captures images in succession while tracking a known moving object (detection target), and detects the edge of the object, i.e., the boundary between the object and other things (such as the background), for each captured image. The edge detection system 1 has a camera 2, a polar coordinate conversion unit 3, a region division unit 4, a learning model 5, a learning processing unit 6, a region integration unit 7, and an object recognition unit 8.

カメラ２は、検出対象となる物体が移動する範囲（移動空間）がカメラ視野に収まるように配置されており、カラーまたはグレースケールの撮像画像（輝度画像）を極座標変換部３に出力する。なお、極座標変換部３において処理される撮像画像は、カメラ２によって取得された画像全体であってもよいが、その一部のみを切り出した部分画像であってもよい。 The camera 2 is positioned so that the range (movement space) in which the object to be detected moves falls within the camera's field of view, and outputs a color or grayscale captured image (luminance image) to the polar coordinate conversion unit 3. The captured image processed in the polar coordinate conversion unit 3 may be the entire image captured by the camera 2, or a partial image obtained by cutting out only a part of it.

極座標変換部３は、カメラ２によって取得された撮像画像（ｘｙ直交座標系）を極座標系に変換して、極座標画像を生成する。ここで、「極座標系」とは、原点Ｏからの距離ｒと角度θという２つの変数からなる座標系をいう。基本的に、直交座標系および極座標系は一対一の対応関係にあり、例えば、極座標系の基本形である円座標を考えた場合、以下の数式に基づいて座標変換が行われる。 The polar coordinate conversion unit 3 converts the captured image (xy Cartesian coordinate system) captured by the camera 2 into a polar coordinate system to generate a polar coordinate image. Here, the "polar coordinate system" refers to a coordinate system consisting of two variables, the distance r from the origin O and the angle θ. Basically, the Cartesian coordinate system and the polar coordinate system have a one-to-one correspondence. For example, when considering circular coordinates, which are the basic form of the polar coordinate system, the coordinate conversion is performed based on the following formula.

［変換式］
ｘ＝ｒ*cos θ
ｙ＝ｒ*sin θ [Conversion formula]
x = r * cos θ
y = r * sin θ

例えば、検出対象となる物体の一例として、図２に示す模様付きの球（バレーボールの球）を想定する。この場合、撮像画像の中心を原点Ｏとして極座標変換が行われ、これによって、図３に示すような極座標画像が生成される。この極座標画像は、原点Ｏを中心とした３６０°全周における輝度の二次元分布を示しており、同図左側が球に由来した分布、同図右側が球以外の物（背景など）に由来した分布となる。 For example, consider a patterned ball (volleyball) as shown in Figure 2 as an example of an object to be detected. In this case, polar coordinate transformation is performed with the center of the captured image as the origin O, thereby generating a polar coordinate image as shown in Figure 3. This polar coordinate image shows a two-dimensional distribution of luminance over a full 360° circumference centered on the origin O, with the left side of the figure being the distribution originating from the ball and the right side being the distribution originating from things other than the ball (such as the background).

領域分割部４は、極座標変換部３によって生成された極座標画像を所定の角度領域毎に分割して、横短冊状に延在する複数の角度領域を生成する。図４は、極座標画像を分割した一例を示す図である。角度領域の分解能、すなわち、１つの角度領域の縦幅は、予め規定されている。例えば、角度領域を１°（ｎ＝１）幅で分割し、３６０本の角度領域を規定してもよい。また、角度領域をｎ°（ｎ≧２）幅で分割して、３６０／ｎ本の角度領域を規定してもよい。さらに、隣り合った角度領域が部分的にオーバーラップするように、角度領域を規定してもよい。例えば、角度領域を２°幅とし、１°ずつオーバーラップさせることで、３５９本の角度領域を規定するといった如くである。 The region division unit 4 divides the polar coordinate image generated by the polar coordinate conversion unit 3 into a predetermined number of angular regions, and generates a number of angular regions extending in horizontal strips. FIG. 4 is a diagram showing an example of a divided polar coordinate image. The resolution of the angular regions, i.e., the vertical width of one angular region, is predefined. For example, the angular region may be divided into 1° (n=1) widths to define 360 angular regions. The angular region may also be divided into n° (n≧2) widths to define 360/n angular regions. Furthermore, the angular regions may be defined so that adjacent angular regions partially overlap. For example, the angular regions may be 2° wide, and overlap by 1° to define 359 angular regions.

学習モデル５は、領域分割部４によって分割されたそれぞれの角度領域の画像データ（輝度分布）に基づいて、物体のエッジを識別する。学習モデル５は、所与の問題解決能力を備えており、例えば、人の脳神経を模したニューラルネットワークを主体に構築することができる。ここで、「ニューラルネットワーク」とは、ニューロンを数理モデル化したものの組み合わせであって、入力層と、隠れ層と、出力層とを有する。入力層は、隠れ層に入力信号を伝達する際、活性化関数による重み付けが行われる。そして、隠れ層の層数に応じた重み付けを伴う伝達が繰り返され、出力層に伝達された信号が最終的に出力される。本明細書において、「ニューラルネットワーク」は、ニューラルネットワークとしての最も原始的な構成のみならず、畳み込みニューラルネットワーク（ＣＮＮ）や再起型ニューラルネットワーク（ＲＮＮ）の如く、その派生形や発展形などを広く包含する。 The learning model 5 identifies the edges of an object based on the image data (brightness distribution) of each angle region divided by the region division unit 4. The learning model 5 has a given problem-solving ability, and can be constructed, for example, mainly based on a neural network that mimics the human brain. Here, a "neural network" is a combination of mathematically modeled neurons, and has an input layer, a hidden layer, and an output layer. When transmitting an input signal to the hidden layer, the input layer is weighted by an activation function. Then, transmission with weighting according to the number of hidden layers is repeated, and the signal transmitted to the output layer is finally output. In this specification, the "neural network" not only refers to the most primitive configuration of a neural network, but also broadly includes its derived and developed forms, such as a convolutional neural network (CNN) and a recurrent neural network (RNN).

学習モデル５は、所定の関数（Ｙ＝ｆ(Ｘ，θ))を備えており、その内部パラメータθ、例えば、ニューラルネットワークの結合重みは、それぞれの角度領域の画像データの特徴に応じて物体のエッジが適切に出力されるように、事前の学習によって予め調整されている。 The learning model 5 has a predetermined function (Y = f(X, θ)), and its internal parameters θ, for example, the connection weights of the neural network, are adjusted in advance through prior learning so that the edges of the object are appropriately output according to the characteristics of the image data in each angle region.

学習処理部６は、記画像データにおける物体のエッジの位置を教示する教示データを用いた教師あり学習によって、学習モデル５の学習処理を行う。この学習処理によって、学習モデル５の内部パラメータθが調整される。大量かつ多様な教師データを用いた教師あり学習を繰り返すことで、様々な入力に対して適切な出力が得られるように学習モデル５が最適化される。なお、学習モデル５としては、上述したニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の機械学習手法を用いてもよい。 The learning processing unit 6 performs a learning process for the learning model 5 by supervised learning using teaching data that teaches the position of the edge of the object in the image data. This learning process adjusts the internal parameter θ of the learning model 5. By repeating supervised learning using a large amount of diverse teaching data, the learning model 5 is optimized so that appropriate outputs can be obtained for various inputs. In addition to the above-mentioned neural network, the learning model 5 may be a machine learning method such as a support vector machine, a decision tree, a Bayesian network, a linear regression, a multivariate analysis, a logistic regression analysis, or a judgment analysis.

図５は、学習モデル５によるエッジ検出の説明図である。同図に示すように、物体のエッジｅ（点）は、学習モデル５に入力される角度領域毎に識別され、横短冊状の角度領域の延在方向（一次元方向）における位置として出力される。これにより、角度領域の入力数（３６０／ｎ本）に対して、最大でこれと同数のエッジｅが識別されることになる。なお、学習モデル５によるエッジ検出は、１つの学習モデル５に角度領域を順番に入力する逐次処理にて行ってもよいが、複数の学習モデル５を用いた並列処理にて行ってもよい。並列処理を行うことで、エッジ検出の全体的なスループットの向上を図ることができる。 Figure 5 is an explanatory diagram of edge detection by the learning model 5. As shown in the figure, the edge e (point) of an object is identified for each angle region input to the learning model 5, and is output as a position in the extension direction (one-dimensional direction) of the horizontal strip-shaped angle region. As a result, for the number of angle regions input (360/n), a maximum number of edges e is identified that is equal to the number of input angle regions. Note that edge detection by the learning model 5 may be performed by sequential processing in which angle regions are input in order to one learning model 5, or by parallel processing using multiple learning models 5. By performing parallel processing, it is possible to improve the overall throughput of edge detection.

領域統合部７は、学習モデル５によって角度領域毎に識別されたエッジｅ（点）を元の極座標系に統合して、図６に示すような物体のエッジＥ（点の集合である線）を示す二次元分布を生成する。エッジＥ（線）を生成する際には、エッジｅ（点）の集合に対して、平均化、所定形状（円など）へのあてはめ、あるいは、平滑化などの処理が必要に応じて行われる。これにより、検出対象となる物体の輪郭が特定される。なお、領域統合部７は、極座標系の二次元分布に対して極座標逆変換を施すことによって、図７に示すような直交座標系の二次元分布を生成してもよい。 The region integration unit 7 integrates the edges e (points) identified for each angle region by the learning model 5 into the original polar coordinate system to generate a two-dimensional distribution showing the edges E (lines that are a set of points) of the object as shown in FIG. 6. When generating the edges E (lines), the set of edges e (points) is subjected to processes such as averaging, fitting to a predetermined shape (such as a circle), or smoothing as necessary. This identifies the contour of the object to be detected. The region integration unit 7 may also generate a two-dimensional distribution in a Cartesian coordinate system as shown in FIG. 7 by performing an inverse polar coordinate transformation on the two-dimensional distribution in the polar coordinate system.

物体認識部８は、領域統合部７によって生成された物体のエッジＥの二次元分布に基づいて、物体を認識する。例えば、直交座標に戻された二次元分布において、確率的ハフ変換で円を検出することによって、検出対象となる球を認識することができる。なお、物体の認識に関して、極座標系のままであって物体の形状（球の場合には半径や中心）を推定することが可能であるため、直交座標系への変換は必須ではなく、極座標系ベースで行ってもよい。 The object recognition unit 8 recognizes objects based on the two-dimensional distribution of the object's edges E generated by the region integration unit 7. For example, in the two-dimensional distribution converted back to Cartesian coordinates, a sphere to be detected can be recognized by detecting a circle using a probabilistic Hough transform, making it possible to recognize the sphere to be detected. Note that, since object recognition can be performed using the polar coordinate system as is and it is possible to estimate the shape of the object (the radius and center in the case of a sphere), conversion to a Cartesian coordinate system is not essential and recognition can be performed on a polar coordinate system basis.

このように、本実施形態によれば、極座標画像を所定の角度領域毎に分割し、それぞれの角度領域におけるカラーまたはグレースケールの画像データを学習モデル５に入力することによって、物体のエッジを角度領域毎に識別する。そして、角度領域単位で識別された物体のエッジ群を統合することで、物体のエッジの二次元的な分布が生成される。学習モデル５を用いて物体のエッジを角度領域毎に識別することで、既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、撮像画像中の物体のエッジを精度良く検出することができる。特に、本実施形態によれば、学習モデル５としてニューラルネットワークを用い、物体の誤検出が生じ易い状況について十分な学習を行っておくことで、物体の誤検出を有効に抑制できる。
 In this manner, according to the present embodiment, the polar coordinate image is divided into predetermined angular regions, and color or grayscale image data in each angular region is input to the learning model 5, thereby identifying the edges of the object for each angular region. Then, a two-dimensional distribution of the edges of the object is generated by integrating the edges of the object identified for each angular region. By identifying the edges of the object for each angular region using the learning model 5, the edges of the object in each of a plurality of captured images of a known object can be detected with high accuracy. In particular, according to the present embodiment, the false detection of the object can be effectively suppressed by using a neural network as the learning model 5 and performing sufficient learning on situations in which false detection of the object is likely to occur.

なお、本発明は、上述したエッジ検出システム１を構成する機能的なブロック３～８をコンピュータで等価的に実現するコンピュータ・プログラム（エッジ検出プログラム）として捉えることもできる。 The present invention can also be understood as a computer program (edge detection program) that equivalently realizes the functional blocks 3 to 8 that make up the edge detection system 1 described above using a computer.

１ エッジ検出システム
２ カメラ
３ 極座標変換部
４ 領域分割部
５ 学習モデル
６ 学習処理部
７ 領域統合部
８ 物体認識部

 REFERENCE SIGNS LIST 1 Edge detection system 2 Camera 3 Polar coordinate conversion unit 4 Region division unit 5 Learning model 6 Learning processing unit 7 Region integration unit 8 Object recognition unit

Claims (10)

動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、前記撮像画像中の物体のエッジを検出するエッジ検出システムにおいて、
前記撮像画像を極座標系に変換して、極座標画像を生成する極座標変換部と、
前記極座標変換部によって生成された極座標画像を所定の角度領域毎に分割する領域分割部と、
前記領域分割部によって分割されたそれぞれの角度領域におけるカラーまたはグレースケールの画像データに基づいて、物体のエッジを角度領域毎に識別する学習モデルと、
前記学習モデルによって識別された角度領域毎の物体のエッジを統合して、物体のエッジの二次元分布を生成する領域統合部と
を有することを特徴とするエッジ検出システム。 1. An edge detection system for detecting an edge of a known moving object in each of a plurality of captured images obtained by successively capturing images of the object, comprising:
a polar coordinate conversion unit that converts the captured image into a polar coordinate system to generate a polar coordinate image;
a region dividing unit that divides the polar coordinate image generated by the polar coordinate conversion unit into regions of a predetermined angle;
a learning model that identifies an edge of an object for each angular region based on color or grayscale image data in each angular region divided by the region dividing unit;
and a region integration unit that integrates the edges of the object for each angle region identified by the learning model to generate a two-dimensional distribution of the edges of the object. 前記学習モデルは、前記画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有することを特徴とする請求項１に記載されたエッジ検出システム。 The edge detection system according to claim 1, characterized in that the learning model has a neural network in which the internal parameters of the function it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. 前記画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、前記内部パラメータを調整する学習処理部をさらに有することを特徴とする請求項２に記載されたエッジ検出システム。 The edge detection system according to claim 2, further comprising a learning processing unit that adjusts the internal parameters by supervised learning using training data that indicates the positions of the edges of objects in the image data. 前記領域分割部は、前記角度領域が部分的にオーバーラップするように、前記極座標画像を分割することを特徴とする請求項１に記載されたエッジ検出システム。 The edge detection system of claim 1, wherein the region division unit divides the polar coordinate image so that the angular regions partially overlap. 前記領域統合部によって生成された物体のエッジの二次元分布に基づいて、物体を認識する物体認識部をさらに有することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。 The edge detection system according to any one of claims 1 to 4, further comprising an object recognition unit that recognizes an object based on the two-dimensional distribution of the edges of the object generated by the region integration unit. 動きのある既知の物体を連続的に撮像した複数の撮像画像のそれぞれについて、前記撮像画像中の物体のエッジを検出するエッジ検出プログラムにおいて、
前記撮像画像を極座標系に変換して、極座標画像を生成する第１のステップと、
前記極座標画像を所定の角度領域毎に分割する第２のステップと、
前記角度領域のそれぞれにおけるカラーまたはグレースケールの画像データを学習モデルに入力して、物体のエッジを角度領域毎に識別する第３のステップと、
前記角度領域毎に識別された物体のエッジを統合して、物体のエッジの二次元分布を生成する第４のステップと
を有する処理をコンピュータに実行させることを特徴とするエッジ検出プログラム。 1. An edge detection program for detecting an edge of a known moving object in each of a plurality of captured images obtained by successively capturing the image of the object, comprising:
a first step of converting the captured image into a polar coordinate system to generate a polar coordinate image;
a second step of dividing the polar coordinate image into predetermined angular regions;
a third step of inputting color or grayscale image data in each of the angular regions into a learning model to identify edges of objects for each angular region;
and a fourth step of integrating the edges of the object identified for each angle region to generate a two-dimensional distribution of the edges of the object. 前記学習モデルは、前記画像データの特徴に応じて物体のエッジが適切に出力されるように、自己が有する関数の内部パラメータが調整されたニューラルネットワークを有することを特徴とする請求項６に記載されたエッジ検出プログラム。 The edge detection program according to claim 6, characterized in that the learning model has a neural network in which the internal parameters of the function it possesses are adjusted so that the edges of the object are appropriately output according to the characteristics of the image data. 前記画像データにおける物体のエッジの位置を教示する教師データを用いた教師あり学習によって、前記内部パラメータを調整する第５のステップをさらに有することを特徴とする請求項７に記載されたエッジ検出プログラム。 The edge detection program according to claim 7, further comprising a fifth step of adjusting the internal parameters by supervised learning using training data that indicates the positions of the edges of the object in the image data. 前記第２のステップは、前記角度領域が部分的にオーバーラップするように、前記極座標画像を分割することを特徴とする請求項６に記載されたエッジ検出プログラム。 The edge detection program of claim 6, wherein the second step divides the polar coordinate image so that the angular regions partially overlap. 前記物体のエッジの二次元分布に基づいて、物体を認識する第６のステップをさらに有することを特徴とする請求項６から９のいずれかに記載されたエッジ検出プログラム。 The edge detection program according to any one of claims 6 to 9, further comprising a sixth step of recognizing an object based on a two-dimensional distribution of the edges of the object.
JP2020041456A 2020-03-11 2020-03-11 Edge detection system and program thereof Active JP7482654B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020041456A JP7482654B2 (en) 2020-03-11 2020-03-11 Edge detection system and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020041456A JP7482654B2 (en) 2020-03-11 2020-03-11 Edge detection system and program thereof

Publications (2)

Publication Number Publication Date
JP2021144371A JP2021144371A (en) 2021-09-24
JP7482654B2 true JP7482654B2 (en) 2024-05-14

Family

ID=77766603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020041456A Active JP7482654B2 (en) 2020-03-11 2020-03-11 Edge detection system and program thereof

Country Status (1)

Country Link
JP (1) JP7482654B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158923A (en) 2000-11-20 2002-05-31 Fuji Photo Film Co Ltd Abnormal shadow image detection method and device thereof
WO2012005242A1 (en) 2010-07-05 2012-01-12 日本電気株式会社 Image processing device and image segmenting method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158923A (en) 2000-11-20 2002-05-31 Fuji Photo Film Co Ltd Abnormal shadow image detection method and device thereof
WO2012005242A1 (en) 2010-07-05 2012-01-12 日本電気株式会社 Image processing device and image segmenting method

Also Published As

Publication number Publication date
JP2021144371A (en) 2021-09-24

Similar Documents

Publication Publication Date Title
EP3407292B1 (en) Neural network point cloud generation system
CN111563446B (en) Human-machine interaction safety early warning and control method based on digital twin
CN109658413B (en) Method for detecting grabbing position of robot target object
EP3399466A1 (en) Neural network training image generation system
CN111695562B (en) Autonomous robot grabbing method based on convolutional neural network
CN104598915B (en) A kind of gesture identification method and device
JP6793885B1 (en) Image processing system and image processing method
Liu et al. Tactile image based contact shape recognition using neural network
Tan et al. Multialgorithm fusion image processing for high speed railway dropper failure–defect detection
Shinzato et al. Fast visual road recognition and horizon detection using multiple artificial neural networks
US11475589B2 (en) 3D pose estimation by a 2D camera
KR20240042143A (en) System and method for finding and classifying patterns in an image with a vision system
Jiang et al. Vision-guided active tactile perception for crack detection and reconstruction
Chen et al. YOLOv7-WFD: A Novel Convolutional Neural Network Model for Helmet Detection in High-Risk Workplaces
JP2021163502A (en) Three-dimensional pose estimation by multiple two-dimensional cameras
JP7482654B2 (en) Edge detection system and program thereof
JP2021176078A (en) Deep layer learning and feature detection through vector field estimation
Gao et al. An automatic assembling system for sealing rings based on machine vision
Hou et al. Neural units with higher-order synaptic operations for robotic image processing applications
CN113793371A (en) Target segmentation tracking method and device, electronic equipment and storage medium
CN109934155B (en) Depth vision-based collaborative robot gesture recognition method and device
Bäuerle et al. CAD2Real: Deep learning with domain randomization of CAD data for 3D pose estimation of electronic control unit housings
Hussain et al. Tracking and replication of hand movements by teleguided intelligent manipulator robot
US20240046659A1 (en) Method for detecting an environment by means of images from at least two image sensors
JP2020035338A (en) Object detection method and object detection device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7482654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150