JP6755709B2 - Welding equipment and welding method - Google Patents
Welding equipment and welding method Download PDFInfo
- Publication number
- JP6755709B2 JP6755709B2 JP2016099807A JP2016099807A JP6755709B2 JP 6755709 B2 JP6755709 B2 JP 6755709B2 JP 2016099807 A JP2016099807 A JP 2016099807A JP 2016099807 A JP2016099807 A JP 2016099807A JP 6755709 B2 JP6755709 B2 JP 6755709B2
- Authority
- JP
- Japan
- Prior art keywords
- welding
- image
- groove
- electrode
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003466 welding Methods 0.000 title claims description 163
- 238000000034 method Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims description 80
- 238000001514 detection method Methods 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000013461 design Methods 0.000 claims description 11
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 229910000851 Alloy steel Inorganic materials 0.000 description 1
- 229910000975 Carbon steel Inorganic materials 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000010962 carbon steel Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明の実施形態は、溶接装置及び溶接方法に関する。 Embodiments of the present invention relate to welding equipment and welding methods.
溶接対象物の開先と溶接トーチの電極との相対位置を計測して溶接狙い位置を制御する自動溶接装置が知られている。自動溶接装置は、溶接対象物の加工精度や組立精度によっては、溶接狙い位置にずれが生じ、この場合、欠陥の発生が懸念される。このため、溶接狙い位置は、溶接中に補正される必要がある。 An automatic welding device is known that controls the welding target position by measuring the relative position between the groove of the object to be welded and the electrode of the welding torch. In the automatic welding device, the welding target position shifts depending on the processing accuracy and assembly accuracy of the object to be welded, and in this case, there is a concern that defects may occur. Therefore, the welding target position needs to be corrected during welding.
例えば、一対の溶接対象物における各開先の周辺部分の画像を画像処理することで、溶接池に対する両側の開先境界を検出し、この検出結果に基づいて溶接狙い位置を補正する方法がある。また、溶融池の3次元形状の計測結果に基づいて溶接狙い位置を補正する方法なども提案されている。 For example, there is a method of detecting the groove boundaries on both sides with respect to the welding pond by image processing the image of the peripheral portion of each groove in a pair of welding objects, and correcting the welding target position based on the detection result. .. Further, a method of correcting the welding target position based on the measurement result of the three-dimensional shape of the molten pool has also been proposed.
さらに、レーザスリット光を利用して開先の2次元形状を計測し、この計測結果に基づいて溶接狙い位置を補正する方法も知られている。ただし、この方法では、レーザスリット光の干渉により、溶接の品質評価にとって重要なプール形状、前層のビード形状、開先面などの検出が困難となる。 Further, there is also known a method of measuring the two-dimensional shape of the groove by using the laser slit light and correcting the welding target position based on the measurement result. However, in this method, it is difficult to detect the pool shape, the bead shape of the front layer, the groove surface, etc., which are important for the quality evaluation of welding, due to the interference of the laser slit light.
そこで、前述した画像処理を利用する溶接狙い位置の補正方法の適用が考えられる。しかしながら、この方法は、光源となるアークが溶接条件やシールドガスなどの影響で変化し、このアークの変化が画像処理の結果に与える影響が非常に大きく、このため、開先面を誤検出してしまう場合がある。 Therefore, it is conceivable to apply a method for correcting the welding target position using the above-mentioned image processing. However, in this method, the arc that is the light source changes due to the influence of welding conditions, shield gas, etc., and the change in this arc has a great influence on the result of image processing. Therefore, the groove surface is erroneously detected. It may end up.
一方、溶融池の3次元形状の計測結果を利用した溶接狙い位置の補正方法では、例えば、アーク周辺の輝度が高い領域を除外し、輝度が比較的低い溶融池の例えば後方部分などの計測結果が利用される。このため、溶接中において最も重要であるアーク周辺の状況をリアルタイムには取得できず、溶接狙い位置における補正の精度が懸念される。 On the other hand, in the method of correcting the welding target position using the measurement result of the three-dimensional shape of the molten pool, for example, the measurement result of a molten pool having a relatively low brightness, for example, a rear portion, excluding a region having a high brightness around the arc. Is used. For this reason, the most important situation around the arc during welding cannot be acquired in real time, and there is concern about the accuracy of correction at the welding target position.
そこで、本発明が解決しようとする課題は、溶接の狙い位置を適切に補正することができる溶接装置及び溶接方法を提供することである。 Therefore, an object to be solved by the present invention is to provide a welding apparatus and a welding method capable of appropriately correcting the target position of welding.
実施の形態の溶接装置は、溶接中の開先と溶接トーチの電極とを含む領域をそれぞれ異なる位置から撮影する複数の撮影装置と、前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、アーク長を設定する設定部と、を備え、前記算出部は、3次元座標上の開先の境界位置から前記各撮影装置までの当該各撮影装置の光軸方向に沿った第1の距離と、3次元座標上の電極の先端位置から前記各撮影装置までの前記光軸方向に沿った距離と前記設定されたアーク長とを加算した第2の距離と、算出し、前記狙い位置補正部は、前記算出された第1の距離と前記第2の距離との差が閾値を超える場合に、前記画像処理によって各画像上に検出された開先の境界位置を誤検出であると判定する判定部を更に備える。
The welding apparatus of the embodiment is a plurality of photographing devices that photograph a region including a groove during welding and an electrode of a welding torch from different positions, and each image of the region photographed by the plurality of photographing devices. Each of the above is performed by an image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by image processing, and stereoscopic view using each of the image-processed images. A calculation unit that calculates the three-dimensional coordinate position corresponding to the tip position and the boundary position on the image, a target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit, and an arc. The calculation unit includes a setting unit for setting the length, and the calculation unit includes a first distance along the optical axis direction of each imaging device from the boundary position of the groove on the three-dimensional coordinates to each imaging device. A second distance obtained by adding the distance along the optical axis direction from the tip position of the electrode on the three-dimensional coordinates to each imaging device and the set arc length is calculated, and the target position correction unit is calculated. When the difference between the calculated first distance and the second distance exceeds the threshold value, it is determined that the boundary position of the groove detected on each image by the image processing is erroneously detected. Further equipped with a part .
以下、実施の形態を図面に基づき説明する。
<第1の実施の形態>
図1及び図2A〜図2Cに示すように、本実施形態の溶接装置10は、溶接対象物2a、2bにおける開先の溶融池23に対する境界位置1a、1bと、溶接トーチの電極22の先端位置と、の相対的な位置関係に基づいて、溶接の狙い位置を自動制御(補正)する例えば非消耗電極式の自動溶接装置である。
Hereinafter, embodiments will be described with reference to the drawings.
<First Embodiment>
As shown in FIGS. 1 and 2A to 2C, the
すなわち、溶接装置10は、複数(例えば2台)の撮影装置11a、11b、画像入力部12a、12b、画像処理部18、3次元情報算出部(算出部)15、設定部7及び狙い位置補正部19を備えている。上記した設定部7は、溶接電流、溶接電圧、溶接速度、アーク長などを含む溶接条件を設定する。
That is, the
本実施形態の溶接対象物2a、2bは、ステンレス鋼などの合金鋼や炭素鋼といった鋼材が、溶接対象の母材となる。この溶接対象物2a、2bには、図2A、図2Cに示すように、開先面3a、3bを有する例えばV型の開先(V型狭開先)が形成されている。なお、開先の形状は、このような狭開先に限定されるものではない。また、本実施形態では、図2Aに示すように、複数回の溶接パスを経て、これらの溶接対象物2a、2bを溶接する多層盛溶接が適用される。
In the
図2Aに示すように、複数の撮影装置11a、11bは、溶接中の開先、溶接トーチの電極22(電極の先端部分)、溶接ワイヤ21の先端部、アーク24及び溶融池23を含むアーク周辺の領域(被溶接部分)を、それぞれ異なる位置から撮影する複数のカメラである。また、個々の撮影装置11a、11bは、上記したアーク周辺の領域を、それぞれ同じ画角内に収めるようにして撮影する。
As shown in FIG. 2A, the plurality of photographing
複数の撮影装置11a、11bは、それぞれの前面に、特定の波長の光を透過させる光学フィルタ9a、9bを備えている。この光学フィルタ9a、9bは、アーク光が撮影装置11a、11bに直接的に受光されることを抑制することで、電極22や開先面3a、3bなどとアーク光との光量差を小さくし、視覚的な認識性を向上させている。
The plurality of photographing
アーク光の強さは、設定部7が設定する溶接電流などの溶接条件によって異なり、図3Aに示すように、撮影された画像の輝度が高い場合、画像処理部18による画像処理が困難になる可能性がある。そこで、複数の撮影装置11a、11bは、設定された溶接条件に応じて、しぼり、ゲイン、及びシャッタ速度の少なくともひとつを自動調整する。これにより、図3Bに示すように、輝度が適切に調整された、画像処理しやすい画像を得ることが可能となる。
The intensity of the arc light differs depending on the welding conditions such as the welding current set by the
画像入力部12a、12bは、複数の撮影装置11a、11bによって各々撮影されたアーク周辺の領域の各画像をそれぞれ入力する(入力を受け付ける)。一方、画像処理部18は、複数の撮影装置11a、11bで撮影されたアーク周辺の領域の各画像を画像処理することによって、各画像上(2次元座標上)の電極の先端位置と溶融池23に対する開先の境界位置1a、1b(一方の開先の境界位置1a及び他方の開先の境界位置1b)とを検出する。
The
具体的には、画像処理部18は、電極先端検出部13a、13b及び開先検出部14a、14bを有する。図4に示すように、開先検出部14a、14bは、画像入力部12a、12bで入力を受け付けた各画像から、一方(図4中の左側)の開先の境界位置1aに対応した左側開先境界検出範囲5aと、他方(図4中の右側)の開先の境界位置1bに対応した右側開先境界検出範囲5bと、を切り出し、この切り出した画像を取り込む。また、電極先端検出部13a、13bは、画像入力部12a、12bで入力を受け付けた各画像から、電極22の先端位置に対応した電極先端検出範囲6を切り出し、この切り出した画像を取り込む。
Specifically, the
電極先端検出部13a、13b及び開先検出部14a、14bは、このような画像処理によって、誤検出の防止及び画像処理に要する時間の短縮を図っている。具体的には、溶接トーチの電極22は、温度が高く、その周辺よりも輝度が高い。電極先端検出部13a、13bは、この輝度の違いに基づき、電極22の2次元座標上の先端位置を検出して出力する。一方、温度が高く輝度の高い溶融池23とアーク光が反射するため輝度の高い開先面3a、3bとの間に、開先の境界位置1a、1bは、存在し、輝度が低い。開先検出部14a、14bは、これらの輝度の違いを基に、一方及び他方の開先における2次元座標上の境界位置1a、1b(図4中の溶融池23の左側及び右側のきわ)をそれぞれ検出して出力する。
The electrode
3次元情報算出部15は、画像処理された各画像を用い、三角測量の原理に基づくステレオ視によって、当該各画像上の電極22の先端位置及び開先の境界位置1a、1bにそれぞれ対応した3次元(3次元座標系)の座標位置を算出する。この3次元情報算出部15は、対応付け演算処理部15a、15bを備えている。
The three-dimensional
例えば、図5Aに示すように、互いに異なる位置に配置された複数の撮影装置11a、11bは、異なる座標系を有しているといえ、それぞれの投影座標中心(撮影装置11a、11bの前面の中心位置)25a、25b、検出点(例えば上記した開先の境界位置1a、1b、電極22の先端位置)の画素座標26a、26b、撮影装置11a、11bの互いの位置関係に基づいて、検出点27の3次元座標系の座標位置を算出することが可能となる。
For example, as shown in FIG. 5A, it can be said that the plurality of photographing
詳述すると、例えば2台の撮影装置11a、11bを用いたステレオ視(平行ステレオ視)では、3次元空間中の検出点27(X,Y,Z)における2台の撮影装置11a、11bの撮影画像上への投影点の画素座標を(xm,ym)、(xn,yn)とするとき以下の式1が成り立つ。
More specifically, for example, in stereo vision (parallel stereo vision) using two
ここで、2台の撮影装置11a、11bは、同一仕様のカメラであり、図5Aに示すように、平行等位に設置されている。平行等位とは、2台の撮影装置11a、11bの光軸を平行にして、撮像面を一致させ、さらに撮像面の横軸(x軸)も一致させた配置である。なお、上記した投影座標中心25a、25bは、それぞれ、撮影装置11a、11b前面の中心位置である。また、式1中のfは、撮影装置11a、11bの焦点距離(撮影装置11a、11bの前面から画素座標上までの光軸方向に沿った距離)であり、式1中のBは、撮影装置11a、11bどうしの離間距離(ベースライン)である。
Here, the two photographing
また、上記した式1は、分母をxm−xnでそろえるようにして書き換えると、下記の式2でも表現できる。 Further, the above equation 1 can also be expressed by the following equation 2 by rewriting the denominator so as to be aligned with x m − x n .
式2中のxm−xnは、2つの画像上における投影点の横方向のずれ量であり、いわゆる視差である。図5Aに示すように、検出点27の奥行きZ(深さZE)は、Bとfが一定であれば、視差(xm−xn)により一意に決まり、それと反比例の関係にある。すなわち、奥行きが小さい(対象が近い)とき、視差は大きな値となり、逆に奥行きが大きい(対象が遠い)と、視差は小さくなる。 X m −x n in Equation 2 is the amount of lateral deviation of the projection points on the two images, which is the so-called parallax. As shown in FIG. 5A, the depth Z of the detection point 27 (depth Z E), if B and f are constant, uniquely determined by the parallax (x m -x n), is the same inversely proportional. That is, when the depth is small (the object is close), the parallax becomes a large value, and conversely, when the depth is large (the object is far), the parallax becomes small.
3次元情報算出部15は、このようなステレオ視を利用して、各画像上の電極22の先端位置及び開先の境界位置1a、1bにそれぞれ対応した3次元座標上(3次元座標系)の座標位置を算出する。
The three-dimensional
さらに、狙い位置補正部19は、3次元情報算出部15による算出結果に基づいて、溶接の狙い位置を補正する。この狙い位置補正部19は、誤検出判定部16及び溶接狙い位置演算部17を有している。ここで、3次元情報算出部15は、3次元座標上の開先の境界位置1a、1bから各撮影装置11a、11bまでの当該各撮影装置の光軸方向に沿った第1の距離ZEと、3次元座標上の電極22の先端位置から各撮影装置11a、11bまでの光軸方向に沿った距離と設定部7に設定されたアーク長とを加算した第2の距離と、を算出する。
Further, the aiming
誤検出判定部16は、画像処理部18の開先検出部14a、14bによって検出された2次元座標上の開先の境界位置が、誤検出であるか否かを、3次元情報算出部15の対応付け演算処理部15bによって算出された3次元の座標位置(開先の3次元の境界位置)に基づいて判定する。具体的には、誤検出判定部16は、算出された上記第1の距離と第2の距離との差が閾値を超える場合に、開先検出部14a、14bの画像処理によって各画像上に検出された開先の境界位置を誤検出であると判定する。一方、溶接狙い位置演算部17は、誤検出判定部16により誤検出ではないと判定された場合に、3次元座標上における開先の境界位置1a、1bと電極22の先端位置とに基づいて、溶接の狙い位置を演算により求める。
The erroneous
ここで、一般には、電極22の先端位置は、外乱の影響が比較的小さいものの、開先の境界位置を検出する際には、アーク光や外乱の影響が大きく、境界位置を誤検出してしまうことが懸念される。作業者が視認して誤検出であるか否かを判断することは容易ではあるものの、溶接装置10が、誤検出であるか否かを自動で判断をするためには、画像処理により検出された開先の境界位置が妥当であるか否かの判断材料が必要である。この判断材料としては、開先の境界位置における深さの情報(撮影装置11a、11bの光軸に沿った奥行き情報)を適用することが考えられる。この深さの情報は、上記したようにステレオ視によって得ることが可能となる。
Here, in general, the tip position of the
一方、画像処理によって検出された開先の境界位置が誤検出であると誤検出判定部16が判定した場合、溶接狙い位置演算部17は、図5Bに示すように、検出点27と例えば誤検出点(誤検出であると判定さされた開先の境界位置)28、若しくは、複数の誤検出点(同様に誤検出であると判定された開先の複数の境界位置)28、に基づいて、疑似検出点29の深さZFを算出する。
On the other hand, when the erroneous
この場合、画像処理部18の開先検出部14a、14bは、上記の疑似検出点29の3次元の座標位置に基づいて、図4に示す左側開先境界検出範囲5a及び右側開先境界検出範囲5bを制限(前回の切り出し範囲とは別の範囲に再設定)して、画像処理による開先の境界位置の再検出を行う。これにより、再度の誤検出を抑制することが可能になる。
In this case, the
次に、このように構成された溶接装置10による溶接方法を図6に示すフローチャートに基づき説明する。まず、複数の撮影装置11a、11bは、溶接中の開先及び溶接トーチの電極22の先端部分を含むアーク周辺の領域を、それぞれ異なる位置から撮影する(S1)。次に、画像入力部12a、12bは、撮影されたアーク周辺の領域の各画像の入力を受け付ける(S2)。
Next, a welding method using the
次いで、画像処理部18は、画像入力部12a、12bで入力を受け付けた各画像を画像処理することによって、各画像上の電極22の先端位置と溶融池23に対する開先の境界位置1a、1bを検出する(S3)。さらに、3次元情報算出部15は、画像処理された各画像を用いるステレオ視によって、各画像上の電極22の先端位置及び開先の境界位置1a、1bにそれぞれ対応した3次元の座標位置を算出する(S4)。
Next, the
ここで、3次元情報算出部15は、3次元座標上の開先の境界位置1a、1bから各撮影装置11a、11bまでの当該各撮影装置の光軸方向に沿った第1の距離と、3次元座標上の電極22の先端位置から各撮影装置11a、11bまでの前記光軸方向に沿った距離と設定されたアーク長とを加算した第2の距離と、を算出する。
Here, the three-dimensional
続いて、誤検出判定部16は、前述した第1の距離と第2の距離との差が閾値を超えているか否かを判断する(S5)。閾値を超えている場合(S5のYES)、誤検出判定部16は、画像処理によって各画像上に検出された開先の境界位置を誤検出であると判定する(S6)。さらにこの際、画像処理部18は、左側開先境界検出範囲5a及び右側開先境界検出範囲5bを新たに設定して、画像処理による開先の境界位置を再検出する(S7)。
Subsequently, the erroneous
一方、第1の距離と第2の距離との差が閾値を超えていない場合(S5のNO)、狙い位置補正部19は、3次元情報算出部15による算出結果(3次元座標上の開先の境界位置1a、1bと3次元座標上の電極22の先端位置と)に基づいて、溶接の狙い位置を補正する(S8)。
On the other hand, when the difference between the first distance and the second distance does not exceed the threshold value (NO in S5), the aim
既述したように、本実施形態の溶接装置10及び溶接方法をよれば、ステレオ視によって得られる3次元座標上の開先の境界位置1a、1b及び電極22の先端位置を適用することで、溶接の狙い位置を適切に補正することができる。なお、本実施形態では、複数の撮影装置11a、11bを備えることで、例えば溶接線が直線ではなく、円弧のような場合でも、開先の境界位置の検出を好適に行うことが可能となる。
As described above, according to the
<第2の実施の形態>
次に、第2の実施の形態を図7に基づき説明する。本実施形態に係る溶接装置30は、第1の実施形態に係る溶接装置10の画像処理部18、3次元情報算出部15及び狙い位置補正部19に代えて、図7に示すように、画像処理部38、3次元情報算出部35、並びに誤検出判定部36及び溶接狙い位置演算部37を含む狙い位置補正部39を有すると共に、前層処理記憶部34をさらに備えている。
<Second Embodiment>
Next, the second embodiment will be described with reference to FIG. 7. The
前層処理記憶部34は、前層(1パス前)の溶接の狙い位置を含む以前の層の溶接の狙い位置を、時系列情報として記憶している。一方、狙い位置補正部39は、前層処理記憶部34に記憶された例えば前層の溶接の狙い位置に基づいて、次層の溶接の狙い位置を補正する。つまり、溶接装置30では、前層の溶接狙い位置の情報を次層の溶接狙い位置の制御に反映させることができる。
The front layer processing storage unit 34 stores the welding target position of the previous layer including the welding target position of the front layer (one pass before) as time series information. On the other hand, the aiming
また、前層処理記憶部34は、画像処理部38によって検出された前層の開先の境界位置1a、1bを記憶する。また、狙い位置補正部39は、前層処理記憶部34に記憶された前層の開先の境界位置に基づいて、次層の溶接の狙い位置を補正する。
Further, the front layer processing storage unit 34 stores the
より具体的には、画像処理部38は、例えば、前層で検出された開先の境界位置が誤検出でなかった場合、前層の左側開先境界検出範囲5a及び前層の右側開先境界検出範囲5bを基に、次層の左側及び右側の開先境界検出範囲を設定することが可能となる。この結果、狙い位置補正部39では、誤検出の発生を抑制できることに加え、溶接の狙い位置の精度を高めることができる。
More specifically, in the
また、本実施形態の3次元情報算出部35は、溶融池23に対する一方の開先の前層の境界位置1aから各撮影装置11a、11bまでの当該各撮影装置の光軸方向に沿った距離と、溶融池に対する他方の開先の前層の境界位置1bから各撮影装置11a、11bまでの前記光軸方向に沿った距離と、の差を算出する。
Further, the three-dimensional
一方、前層処理記憶部34は、このように算出された前層の互いの距離の差と、当該互いの距離の差に応じた溶接の狙い位置の制御パターン(狙い位置制御のデータベース)と、をさらに記憶している。また、前述した狙い位置補正部39は、前層処理記憶部34に記憶された前層の互いの距離の差と前記の制御パターンとに基づいて、次層の溶接の狙い位置を補正する。これにより、本実施形態の溶接装置30によれば、前層の溶接が一方又は他方の開先側に寄ってしまった場合などにおいても、次層の溶接でこれを修正することができる。
On the other hand, the front layer processing storage unit 34 has the difference in the distance between the front layers calculated in this way and the control pattern of the welding target position (database of the target position control) according to the difference in the distance between the front layers. , I remember more. Further, the above-mentioned aim
さらに、本実施形態の画像処理部38は、複数の撮影装置11a、11bにより撮影された各画像を画像処理することによって各画像上の溶接池23に対する溶接ワイヤ21の挿入位置を検出する。また、3次元情報算出部35は、この画像処理された各画像を用いるステレオ視によって、各画像上の溶接ワイヤ21の挿入位置に対応した3次元の座標位置を算出する。さらに、狙い位置補正部39は、算出された3次元座標上における、溶接ワイヤの挿入位置、電極22の先端位置及び開先の境界位置1a、1bに基づいて、溶接ワイヤ21を移動制御する。
Further, the
これにより、本実施形態の溶接装置30では、より正確に溶接の狙い位置を補正できることに加え、補正したこの溶接の狙い位置に溶接ワイヤ21を正しく配置することが可能となる。
As a result, in the
<第3の実施の形態>
次に、第3の実施の形態を図8に基づき説明する。本実施形態に係る溶接装置50は、第1の実施形態に係る溶接装置10の3次元情報算出部15並びに狙い位置補正部19に代えて、図8に示すように、3次元情報算出部55、並びに誤検出判定部56及び溶接狙い位置演算部57を含む狙い位置補正部59を備えている。
<Third embodiment>
Next, a third embodiment will be described with reference to FIG. The
すなわち、3次元情報算出部55は、3次元座標上の電極22の先端位置から3次元座標系の開先の境界位置1a、1bまでの各撮影装置11a、11bの光軸方向に沿った第3の距離を算出する。一方、誤検出判定部56は、算出されたこの第3の距離と設定部7に設定されたアーク長との差が閾値を超える場合に、画像処理部18での画像処理によって各画像上に検出された電極22の先端位置1a、1b及び/又は開先の境界位置を誤検出であると判定する。
That is, the three-dimensional
さらに、このような誤検出判定部56及び溶接狙い位置演算部57を有する狙い位置補正部59は、上記した第3の距離と設定されたアーク長との差が閾値を超えていない場合、算出された第3の距離が設定されたアーク長と等しくなるように、溶接の狙い位置を補正すると共に、補正した溶接の狙い位置に基づき、撮影装置11a、11bの光軸方向における電極22の位置を移動制御する。
Further, the aiming
したがって、本実施形態の溶接装置50によれば、より適切に溶接の狙い位置を補正することが可能であると共に、アーク長に起因する欠陥の発生を抑えることができる。
Therefore, according to the
<第4の実施の形態>
次に、第4の実施の形態を図9、図10A及び図10Bに基づき説明する。本実施形態に係る溶接装置70は、第1の実施形態に係る溶接装置10の画像処理部18並びに狙い位置補正部19に代えて、図9に示すように、画像処理部78並びに誤検出判定部76及び溶接狙い位置演算部77を含む狙い位置補正部79を有すると共に、設計情報記憶部71及び開先境界位置推測部72をさらに備えている。
<Fourth Embodiment>
Next, a fourth embodiment will be described with reference to FIGS. 9, 10A and 10B. As shown in FIG. 9, the
画像処理部78は、第1の実施形態の画像処理部18の構成に加え、画像入力部12a、12bで入力を受け付けた各画像を画像処理することによって各画像上の開先の上端縁の位置(図10A中に示すように、開先の境界位置1a、1bとY座標が等しい開先の上端縁の位置)8a、8bをさらに検出する。また、設計情報記憶部71は、開先の形状の設計値を含む設計情報を記憶している。
In addition to the configuration of the
さらに、開先境界位置推測部72は、図9、図10A及び図10Bに示すように、画像処理部78の画像処理によって各画像上に検出された開先の境界位置及び開先の上端縁の位置8a、8bと設計情報記憶部71に記憶された設計情報とに基づいて、3次元座標上の開先の境界位置を推測(算出)する。言い換えると、開先境界位置推測部72は、図10A、図10Bに示すように、画像処理によってそれぞれ得られた2次元座標上における開先の上端縁の位置8a、8bから開先の境界位置1a、1aまでの距離XGと、2次元座標上の開先の当該上端縁の位置8a、8b及び開先の形状の設計情報から算出された、開先の上端面から溶融池23に対する開先の境界の深さ位置までの前記光軸方向に沿った距離ZGとに基づいて、3次元座標上の開先の境界位置を推測する。
Further, as shown in FIGS. 9, 10A and 10B, the groove boundary position estimation unit 72 has the boundary position of the groove and the upper end edge of the groove detected on each image by the image processing of the
また、狙い位置補正部79の誤検出判定部76は、3次元情報算出部15によって算出された3次元座標上の開先の境界位置と開先境界位置推測部72によって推測された3次元座標上の開先の境界位置との間の離間距離が閾値を超える場合に、画像処理部78の画像処理によって各画像上に検出された2次元座標上の開先の境界位置を誤検出であると判定する。
Further, the false
つまり、本実施形態の溶接装置70によれば、画像処理による2次元座標上の開先の境界位置についての誤検出をより的確に判定することができ、これにより、溶接の狙い位置を補正する精度を向上させることができる。
That is, according to the
以上説明した少なくとも一つの実施形態によれば、溶接の狙い位置を適切に補正することができる。 According to at least one embodiment described above, the target position of welding can be appropriately corrected.
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and the equivalent scope thereof.
1a,1b…開先の境界位置、2a,2b…溶接対象物、3a,3b…開先面、5a…左側開先境界検出範囲、5b…右側開先境界検出範囲、6…電極先端検出範囲、7…設定部、8a,8b…開先の上端縁の位置、9a,9b…光学フィルタ、10,30,50,70…溶接装置、11a,11b…撮影装置、12a,12b…画像入力部、13a,13b…電極先端検出部、14a,14b…開先検出部、15,35,55…3次元情報算出部、15a,15b…対応付け演算処理部、16,36,56,76…誤検出判定部、17,37,57,77…溶接狙い位置演算部、18,38,78…画像処理部、19,39,59,79…狙い位置補正部、21…溶接ワイヤ、22…溶接トーチの電極、23…溶融池、24…アーク、34…前層処理記憶部、71…設計情報記憶部、72…開先境界位置推測部。 1a, 1b ... Groove boundary position, 2a, 2b ... Welding object, 3a, 3b ... Groove surface, 5a ... Left groove boundary detection range, 5b ... Right groove boundary detection range, 6 ... Electrode tip detection range , 7 ... Setting unit, 8a, 8b ... Position of the upper end edge of the groove, 9a, 9b ... Optical filter, 10, 30, 50, 70 ... Welding device, 11a, 11b ... Imaging device, 12a, 12b ... Image input unit , 13a, 13b ... Electrode tip detection unit, 14a, 14b ... Groove detection unit, 15, 35, 55 ... Three-dimensional information calculation unit, 15a, 15b ... Correspondence calculation processing unit, 16, 36, 56, 76 ... Incorrect Detection and determination unit, 17, 37, 57, 77 ... Welding aim position calculation unit, 18, 38, 78 ... Image processing unit, 19, 39, 59, 79 ... Aim position correction unit, 21 ... Welding wire, 22 ... Welding torch Electrodes, 23 ... molten pool, 24 ... arc, 34 ... front layer processing storage unit, 71 ... design information storage unit, 72 ... groove boundary position estimation unit.
Claims (9)
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、
前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、
前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、
アーク長を設定する設定部と、
を備え、
前記算出部は、3次元座標上の開先の境界位置から前記各撮影装置までの当該各撮影装置の光軸方向に沿った第1の距離と、3次元座標上の電極の先端位置から前記各撮影装置までの前記光軸方向に沿った距離と前記設定されたアーク長とを加算した第2の距離と、を算出し、
前記狙い位置補正部は、前記算出された第1の距離と前記第2の距離との差が閾値を超える場合に、前記画像処理によって各画像上に検出された開先の境界位置を誤検出であると判定する判定部を更に備える溶接装置。 Multiple imaging devices that capture the area including the groove during welding and the electrode of the welding torch from different positions,
An image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region captured by the plurality of photographing devices.
A calculation unit that calculates three-dimensional coordinate positions corresponding to the tip position and the boundary position on each image by stereo vision using each of the image-processed images.
A target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit,
The setting part that sets the arc length and
With
The calculation unit is described from the first distance along the optical axis direction of each imaging device from the boundary position of the groove on the three-dimensional coordinates to each imaging device and the tip position of the electrode on the three-dimensional coordinates. A second distance obtained by adding the distance along the optical axis direction to each imaging device and the set arc length is calculated.
When the difference between the calculated first distance and the second distance exceeds the threshold value, the target position correction unit erroneously detects the boundary position of the groove detected on each image by the image processing. A welding device further provided with a determination unit for determining that .
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、
前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、
前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、
アーク長を設定する設定部と、
を備え、
前記算出部は、3次元座標上の電極の先端位置から3次元座標系の開先の境界位置までの前記各撮影装置の光軸方向に沿った第3の距離を算出し、
前記狙い位置補正部は、前記算出された第3の距離と前記設定されたアーク長との差が閾値を超える場合に、前記画像処理によって各画像上に検出された電極の先端位置及び/又は開先の境界位置を誤検出であると判定する判定部を備える溶接装置。 Multiple imaging devices that capture the area including the groove during welding and the electrode of the welding torch from different positions,
An image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region captured by the plurality of photographing devices.
A calculation unit that calculates three-dimensional coordinate positions corresponding to the tip position and the boundary position on each image by stereo vision using each of the image-processed images.
A target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit,
The setting part that sets the arc length and
With
The calculation unit calculates a third distance along the optical axis direction of each of the imaging devices from the tip position of the electrode on the three-dimensional coordinates to the boundary position of the groove of the three-dimensional coordinate system.
When the difference between the calculated third distance and the set arc length exceeds the threshold value, the target position correction unit determines the tip position and / or the tip position of the electrode detected on each image by the image processing. A welding device including a determination unit that determines that the boundary position of the groove is erroneously detected .
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、
前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、
前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、
アーク長を設定する設定部と、
を備え、
前記算出部は、3次元座標上の電極の先端位置から3次元座標上の前記開先の境界位置までの前記各撮影装置の光軸方向に沿った第3の距離を算出し、
前記狙い位置補正部は、前記算出された第3の距離が前記設定されたアーク長と等しくなるように、前記光軸方向における前記電極の位置を移動制御する溶接装置。 Multiple imaging devices that capture the area including the groove during welding and the electrode of the welding torch from different positions,
An image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region captured by the plurality of photographing devices.
A calculation unit that calculates three-dimensional coordinate positions corresponding to the tip position and the boundary position on each image by stereo vision using each of the image-processed images.
A target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit,
The setting part that sets the arc length and
With
The calculation unit calculates a third distance along the optical axis direction of each imaging device from the tip position of the electrode on the three-dimensional coordinates to the boundary position of the groove on the three-dimensional coordinates.
The aiming position correction unit is a welding device that moves and controls the position of the electrode in the optical axis direction so that the calculated third distance becomes equal to the set arc length .
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、
前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、
前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、
を備え、
前記算出部は、溶融池に対する一方の開先の前層の境界位置から前記各撮影装置までの当該各撮影装置の光軸方向に沿った距離と、溶融池に対する他方の開先の前層の境界位置から前記各撮影装置までの前記光軸方向に沿った距離と、の差を算出し、
前記算出された前層の互いの距離の差と、前記互いの距離の差に応じた溶接の狙い位置の制御パターンと、を記憶する記憶部をさらに備え、
前記狙い位置補正部は、前記記憶された前層の互いの距離の差と前記制御パターンとに基づいて、次層の溶接の狙い位置を補正する溶接装置。 Multiple imaging devices that capture the area including the groove during welding and the electrode of the welding torch from different positions,
An image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region captured by the plurality of photographing devices.
A calculation unit that calculates three-dimensional coordinate positions corresponding to the tip position and the boundary position on each image by stereo vision using each of the image-processed images.
A target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit,
With
The calculation unit determines the distance from the boundary position of the front layer of one groove to the molten pool to each imaging device along the optical axis direction of each imaging device, and the front layer of the other groove with respect to the molten pool. The difference between the boundary position and the distance from each imaging device along the optical axis direction is calculated.
A storage unit for storing the calculated difference in the distance between the front layers and the control pattern of the welding target position according to the difference in the distance between the front layers is further provided.
The target position correction unit is a welding device that corrects the target position of welding of the next layer based on the stored difference in distance between the front layers and the control pattern .
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と溶融池に対する前記開先の境界位置とを検出する画像処理部と、
前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出する算出部と、
前記算出部による算出結果に基づいて、溶接の狙い位置を補正する狙い位置補正部と、
を備え、
前記画像処理部は、前記画像処理によって各画像上の開先の上端縁の位置をさらに検出し、
前記開先の形状の設計値を含む設計情報を記憶する記憶部と、
前記画像処理によって各画像上に検出された前記開先の境界位置及び前記開先の上端縁の位置と前記記憶された設計情報とに基づいて、3次元座標上の開先の境界位置を推測する推測部と、
をさらに備え、
前記狙い位置補正部は、前記算出部によって算出された3次元座標上の開先の境界位置と前記推測された3次元座標上の開先の境界位置との間の離間距離が閾値を超える場合に、前記画像処理によって各画像上に検出された前記開先の境界位置を誤検出であると判定する判定部を備える溶接装置。 Multiple imaging devices that capture the area including the groove during welding and the electrode of the welding torch from different positions,
An image processing unit that detects the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region captured by the plurality of photographing devices.
A calculation unit that calculates three-dimensional coordinate positions corresponding to the tip position and the boundary position on each image by stereo vision using each of the image-processed images.
A target position correction unit that corrects the target position of welding based on the calculation result by the calculation unit,
With
The image processing unit further detects the position of the upper end edge of the groove on each image by the image processing.
A storage unit that stores design information including the design value of the groove shape, and
The boundary position of the groove on the three-dimensional coordinates is estimated based on the boundary position of the groove, the position of the upper end edge of the groove, and the stored design information detected on each image by the image processing. Guessing part and
With more
In the target position correction unit, when the separation distance between the groove boundary position on the three-dimensional coordinates calculated by the calculation unit and the groove boundary position on the estimated three-dimensional coordinates exceeds the threshold value. A welding apparatus including a determination unit that determines that the boundary position of the groove detected on each image by the image processing is erroneous detection .
前記画像処理部は、前記複数の撮影装置により撮影された各画像を画像処理することによって前記各画像上の溶接池に対する溶接ワイヤの挿入位置を検出し、
前記算出部は、前記画像処理された各画像を用いるステレオ視によって、前記各画像上の前記挿入位置に対応した3次元の座標位置を算出し、
前記狙い位置補正部は、算出された3次元座標上における、前記溶接ワイヤの挿入位置、前記電極の先端位置及び前記開先の境界位置に基づいて、前記溶接ワイヤを移動制御する、
請求項1から5のいずれかに記載の溶接装置。 The plurality of imaging devices photograph the area further including the welding wire from different positions.
The image processing unit detects the insertion position of the welding wire with respect to the welding pond on each image by performing image processing on each image taken by the plurality of photographing devices.
The calculation unit calculates a three-dimensional coordinate position corresponding to the insertion position on each image by stereo vision using each of the image-processed images.
The aiming position correction unit moves and controls the welding wire based on the insertion position of the welding wire, the tip position of the electrode, and the boundary position of the groove on the calculated three-dimensional coordinates.
The welding apparatus according to any one of claims 1 to 5 .
前記狙い位置補正部は、前記記憶された前層の溶接の狙い位置に基づいて、次層の溶接の狙い位置を補正する、
請求項1から5のいずれかに記載の溶接装置。 It also has a storage unit that stores the target position of welding in the front layer.
The aiming position correction unit corrects the welding aiming position of the next layer based on the stored welding aiming position of the front layer.
The welding apparatus according to any one of claims 1 to 5 .
前記複数の撮影装置は、それぞれの前面に、特定の波長の光を透過させる光学フィルタを備え、
さらに、前記複数の撮影装置は、前記設定された溶接条件に応じて、しぼり、ゲイン、及びシャッタ速度の少なくともひとつを調整する、
請求項1から7のいずれかに記載の溶接装置。 It also has a setting unit for setting welding conditions.
Each of the plurality of photographing devices is provided with an optical filter that transmits light of a specific wavelength on the front surface thereof.
Further, the plurality of photographing devices adjust at least one of the squeezing, the gain, and the shutter speed according to the set welding conditions.
The welding apparatus according to any one of claims 1 to 7 .
前記複数の撮影装置で撮影された前記領域の各画像を画像処理することによって、前記各画像上の前記電極の先端位置と前記開先の溶融池に対する境界位置とを検出するステップと、 A step of detecting the tip position of the electrode on each image and the boundary position of the groove with respect to the molten pool by performing image processing on each image of the region taken by the plurality of photographing devices.
前記画像処理された各画像を用いるステレオ視によって、前記先端位置及び前記境界位置にそれぞれ対応した3次元の座標位置を算出するステップと、 A step of calculating a three-dimensional coordinate position corresponding to the tip position and the boundary position by stereo viewing using each of the image-processed images, and
3次元座標上の開先の境界位置から前記各撮影装置までの当該各撮影装置の光軸方向に沿った第1の距離と、3次元座標上の電極の先端位置から前記各撮影装置までの前記光軸方向に沿った距離と前記設定されたアーク長とを加算した第2の距離と、を算出するステップと、The first distance along the optical axis direction of each imaging device from the boundary position of the groove on the three-dimensional coordinates to each imaging device, and the tip position of the electrode on the three-dimensional coordinates to each imaging device. A step of calculating a second distance obtained by adding the distance along the optical axis direction and the set arc length, and
前記算出された第1の距離と前記第2の距離との差が閾値を超える場合に、前記画像処理によって各画像上に検出された開先の境界位置を誤検出であると判定するステップと、When the difference between the calculated first distance and the second distance exceeds the threshold value, the step of determining the boundary position of the groove detected on each image by the image processing as erroneous detection. ,
を有する溶接方法。 Welding method with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099807A JP6755709B2 (en) | 2016-05-18 | 2016-05-18 | Welding equipment and welding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099807A JP6755709B2 (en) | 2016-05-18 | 2016-05-18 | Welding equipment and welding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017205789A JP2017205789A (en) | 2017-11-24 |
JP6755709B2 true JP6755709B2 (en) | 2020-09-16 |
Family
ID=60416126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016099807A Expired - Fee Related JP6755709B2 (en) | 2016-05-18 | 2016-05-18 | Welding equipment and welding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6755709B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6343711B1 (en) * | 2017-11-02 | 2018-06-13 | 大豊精機株式会社 | Seam tracking system and metal product manufacturing method |
JP7036658B2 (en) | 2018-04-25 | 2022-03-15 | 三菱重工業株式会社 | Weld control device, weld control method, and weld control program |
JP7059099B2 (en) * | 2018-05-07 | 2022-04-25 | 株式会社神戸製鋼所 | Weld monitoring equipment, welding monitoring methods, and programs |
CN111069740B (en) * | 2019-12-24 | 2020-12-11 | 哈尔滨焊接研究院有限公司 | Flexible control method and system for robot welding process |
CN114559131A (en) * | 2020-11-27 | 2022-05-31 | 北京颖捷科技有限公司 | Welding control method and device and upper computer |
-
2016
- 2016-05-18 JP JP2016099807A patent/JP6755709B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017205789A (en) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6755709B2 (en) | Welding equipment and welding method | |
JP3064928B2 (en) | Subject extraction method | |
KR102085228B1 (en) | Imaging processing method and apparatus for calibrating depth of depth sensor | |
US9172931B2 (en) | Projection display device, information processing device, projection display system, and program | |
US9348111B2 (en) | Automatic detection of lens deviations | |
CN108020200B (en) | Depth measurement method and system | |
TW201830049A (en) | Distance sensor including adjustable focus imaging sensor | |
WO2013061952A1 (en) | Device, method, and program for measuring diameter of cylindrical object | |
JP2012070389A5 (en) | ||
JP2013513095A (en) | Method and system for obtaining an improved stereo image of an object | |
US20160093053A1 (en) | Detection method and detection apparatus for detecting three-dimensional position of object | |
CN102155920B (en) | Welding seam measuring method based on micro field depth | |
JPWO2018042954A1 (en) | In-vehicle camera, adjustment method of in-vehicle camera, in-vehicle camera system | |
US9746317B2 (en) | Image processing method and device | |
CN111774764B (en) | Control method and control device for welding robot and readable storage medium | |
JP6161704B2 (en) | Imaging apparatus, vehicle, and image correction method | |
KR20180061803A (en) | Apparatus and method for inpainting occlusion of road surface | |
KR20170142379A (en) | Apparatus for detect dimensional welding line of welding robot using image processing | |
JP6867487B2 (en) | Imaging device | |
JP2007122328A (en) | Distortion aberration correction device and distortion aberration correction method | |
JP6789899B2 (en) | Measuring device and operating method of measuring device | |
JP6204844B2 (en) | Vehicle stereo camera system | |
US8680468B2 (en) | Displacement-based focusing of an IR camera | |
JP2019511012A (en) | Method and apparatus for determining 3D coordinates of at least one predetermined point of an object | |
JP2014238558A (en) | Imaging device and parallax detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20171201 Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6755709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |