JP2020141370A - Image processing device, method of the same, program, and recording medium - Google Patents
Image processing device, method of the same, program, and recording medium Download PDFInfo
- Publication number
- JP2020141370A JP2020141370A JP2019037675A JP2019037675A JP2020141370A JP 2020141370 A JP2020141370 A JP 2020141370A JP 2019037675 A JP2019037675 A JP 2019037675A JP 2019037675 A JP2019037675 A JP 2019037675A JP 2020141370 A JP2020141370 A JP 2020141370A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- brightness
- cycle
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
Abstract
Description
本開示は、画像処理装置、その方法、プログラム並びに記録媒体に関する。 The present disclosure relates to an image processing apparatus, a method thereof, a program, and a recording medium.
アーク溶接では溶接作業者がアーク溶接部を直接観察して溶接条件の調整などを行うが、作業者の負担が大きい。このため、アーク溶接の溶接条件を自動で設定して作業を行う溶接自動化が検討されている。溶接条件を自動で設定するために、アーク溶接部の状態を検出しようとした場合、一般的なビデオカメラを用いてアーク溶接部を観察すると、アークの光量が強いため感度調整や減光だけではアーク溶接部を効果的に検出することができない。そのため、人間の眼で見るのと同じようにカメラでアーク溶接部を観察するには、特殊な処理が必要となる。なお、人間の眼がカメラに比べて暗いところから明るいところまで同時に見ることができるのは、センサーが光を電気信号に変換する際に識別可能な信号の最小値と最大値の比率であるダイナミックレンジがカメラよりも人間の眼のほうが広いことに加えて、人間は、脳が映像をカバーして極端に明るい部分を無視していることが考えられる。 In arc welding, the welding operator directly observes the arc welded part and adjusts the welding conditions, but the burden on the operator is heavy. For this reason, welding automation is being studied in which the welding conditions for arc welding are automatically set and the work is performed. When trying to detect the state of the arc weld in order to set the welding conditions automatically, when observing the arc weld using a general video camera, the amount of arc light is strong, so sensitivity adjustment and dimming alone are not enough. The arc weld cannot be detected effectively. Therefore, special processing is required to observe the arc welded portion with a camera in the same way as it is seen by the human eye. It should be noted that the human eye can see from dark to bright places at the same time compared to the camera, which is the ratio of the minimum value and the maximum value of the signal that can be identified when the sensor converts light into an electric signal. In addition to the wider range of the human eye than the camera, it is possible that the human brain covers the image and ignores extremely bright areas.
従来、例えば、特許文献１には、ビデオカメラにてアーク溶接部を連続的に撮像し、時系列的に前後する複数のフレームの画像データから差分を抽出し、この差分を加算することにより、画像データから成長過程にある溶融池の輪郭を検出することが示されている。
Conventionally, for example, in
また、特許文献２には、アーク溶接部を撮像する２つのカメラの一方に赤外線波長領域の第１バンドパスフィルタ（例えば、８１０ｎｍ）を、もう一方に紫外線波長領域の第２バンドパスフィルタ（例えば、４３６ｎｍ）を設定し、第２バンドパスフィルタの透過帯域の発光スペクトルを有する照明をし、２つのカメラで撮像した画像を合成することが示されている。
Further, in
アーク溶接部を監視する場合、アーク溶接部の溶融池、電極、開先を明確に観察することが望まれる。しかし、例えば、ＭＡＧ溶接（Metal Active Gas Welding）では、アーク溶接部において、ワイヤ先端に形成された溶滴が溶融池へ短絡する期間と、それが開放されてアークが再点孤しアークが安定する期間とを交互に繰り返すが、このアーク溶接部をカメラで撮像した場合、不規則に短絡時、アーク再点孤時、アーク安定時の画像が記録され、時系列で動画として再生するとアークの光によりちらつきが発生し見にくいものとなる。 When monitoring the arc weld, it is desirable to clearly observe the molten pool, electrodes and groove of the arc weld. However, for example, in MAG welding (Metal Active Gas Welding), in the arc welded portion, the period during which the droplets formed at the tip of the wire are short-circuited to the molten pool, and when it is released, the arc re-points and the arc becomes stable. When this arc weld is imaged with a camera, images of irregular short circuits, arc re-pointing, and arc stabilization are recorded, and when played back as a moving image in chronological order, the arc is recorded. The light causes flicker, making it difficult to see.
特許文献１においては、比較的アークや溶滴移行が安定しているＴＩＧ溶接（Tungsten Inert Gas Welding）のアークスポット溶接を対象としており、溶融池の輪郭を検出している。しかし、アークによるちらつきが発生する場合、溶融池、電極、開先を明確に観察することが難しい場合がある。アークと溶融池とを分離して画像処理することは容易ではなく特殊な技術が必要である。
特許文献２においては、紫外線波長領域のバンドパスフィルタ（例えば、４３６ｎｍ）を設定してアーク溶接部を撮像した場合、アークの放射強度が周辺に比べて強すぎるため、アークを撮像しているだけとなり、波長を分けるだけでは溶融池、開先、電極のアーク溶接部を画像にて観察することは困難である。
In
本発明の一態様は上述した課題を解決するものであり、アーク溶接部の明確な動画を簡便に取得することのできる画像処理装置、その方法、プログラム並びに記録媒体を提供することを目的とする。 One aspect of the present invention solves the above-mentioned problems, and an object of the present invention is to provide an image processing apparatus, a method, a program, and a recording medium capable of easily acquiring a clear moving image of an arc welded portion. ..
上述の目的を達成するために、本発明の一態様に係る画像処理装置は、加工状況に応じて光量が変化する地点を撮像する撮像部と、前記撮像部が撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理を、実行する処理部と、を備える。 In order to achieve the above object, the image processing apparatus according to one aspect of the present invention includes an image pickup unit that images a point where the amount of light changes according to a processing state, and a plurality of image processing units arranged in a time series that the image pickup unit images. Image selection that divides an image into a predetermined number of cycles, compares the magnitude of brightness for each image included in each cycle, and selects an image in which the rank of the magnitude of the brightness is a predetermined rank within the cycle. It includes a processing unit that executes processing.
また、本発明の一態様に係る画像処理装置では、前記所定の順位は、最下位、又は中央の順位であってもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the predetermined order may be the lowest order or the center order.
また、本発明の一態様に係る画像処理装置では、前記処理部は、前記撮像部で撮像した画像のフレームレートを基に、１つの前記サイクルに含まれる画像の数を示す前記所定数を調整してもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit adjusts the predetermined number indicating the number of images included in one cycle based on the frame rate of the image captured by the imaging unit. You may.
また、本発明の一態様に係る画像処理装置では、前記処理部は、前記撮像部にてフレームレート９０ｆｐｓで撮像した画像を取得し、前記フレームレート９０ｆｐｓにおいて１つの前記サイクルの所定数を３画像とし、各前記サイクル内に含まれる３画像から１画像を選択してもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit acquires images captured by the imaging unit at a frame rate of 90 fps, and at the frame rate of 90 fps, the predetermined number of one cycle is three images. Then, one image may be selected from the three images included in each cycle.
また、本発明の一態様に係る画像処理装置では、前記処理部は、前記サイクル内に含まれる画像毎に、画素の明るさを積算することで該画像毎の輝度の大きさを取得してもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit acquires the magnitude of the brightness for each image by integrating the brightness of the pixels for each image included in the cycle. May be good.
また、本発明の一態様に係る画像処理装置では、前記処理部は、各前記サイクル内に含まれる画像毎に、画像に含まれる画素の明るさの分布に基づいて該画像毎の輝度の大きさを取得してもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit determines the magnitude of the brightness of each image based on the distribution of the brightness of the pixels included in the image for each image included in each cycle. May be obtained.
また、本発明の一態様に係る画像処理装置では、前記処理部は、各前記サイクル内に含まれる画像毎に色から輝度の大きさを取得する、請求項１〜４のいずれか１項に記載のアーク溶接の画像処理装置。
Further, in the image processing apparatus according to one aspect of the present invention, the processing unit acquires the magnitude of brightness from the color for each image included in each cycle, according to any one of
また、本発明の一態様に係る画像処理装置では、前記処理部は、選択した各前記画像を時系列に並べてもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit may arrange the selected images in chronological order.
また、本発明の一態様に係る画像処理装置では、表示部をさらに備え、前記処理部は、時系列に並べられた各前記画像を前記表示部に表示させてもよい。 Further, the image processing apparatus according to one aspect of the present invention may further include a display unit, and the processing unit may display each of the images arranged in chronological order on the display unit.
また、本発明の一態様に係る画像処理装置では、前記撮像部は、複数のカメラを有し、前記カメラ毎に設けられ、各々の透過光量が異なる複数のフィルタと、各前記カメラに、加工状況に応じて光量が変化する地点の像を、各前記カメラに対応する前記フィルタを介して入射させる光学部材と、をさらに備え、前記処理部は、各前記カメラから画像を同期して取得すると共に、一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択し、他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択し、選択した前記第一画像と、選択した前記第二画像とを積算処理し、第三画像を生成してもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the image pickup unit has a plurality of cameras, is provided for each camera, and processes a plurality of filters having different amounts of transmitted light into each of the cameras. An optical member that incidents an image of a point where the amount of light changes according to a situation through the filter corresponding to each camera is further provided, and the processing unit synchronously acquires an image from each camera. At the same time, the image selection process is executed for a plurality of images arranged in the time series captured by one camera, the first image is selected, and the plurality of images arranged in the time series captured by the other cameras are selected. The image selection process may be executed, a second image may be selected, and the selected first image and the selected second image may be integrated to generate a third image.
また、本発明の一態様に係る画像処理装置では、前記複数のフィルタは、色彩に影響を与えることなく光量を低下させ、それぞれ光量を低下させる濃度が異なることがよい。 Further, in the image processing apparatus according to one aspect of the present invention, the plurality of filters may reduce the amount of light without affecting the color, and the densities for reducing the amount of light may be different from each other.
また、本発明の一態様に係る画像処理装置では、各前記カメラへの入射光の所定の波長をカットする波長カットフィルタをさらに備えてもよい。 Further, the image processing apparatus according to one aspect of the present invention may further include a wavelength cut filter that cuts a predetermined wavelength of light incident on each camera.
また、本発明の一態様に係る画像処理装置では、前記処理部は、積算処理で生成された前記第三画像の各々を時系列に並べてもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the processing unit may arrange each of the third images generated by the integration process in chronological order.
また、本発明の一態様に係る画像処理装置では、表示部をさらに備え、前記処理部は、時系列に並べられた前記第三画像の各々を前記表示部に表示させてもよい。 Further, the image processing apparatus according to one aspect of the present invention may further include a display unit, and the processing unit may display each of the third images arranged in chronological order on the display unit.
また、本発明の一態様に係る画像処理装置では、加工状況に応じて光量が変化する前記地点は、ＭＡＧ溶接のアーク溶接部であってもよい。 Further, in the image processing apparatus according to one aspect of the present invention, the point where the amount of light changes according to the processing state may be an arc welded portion of MAG welding.
上述の目的を達成するために、本発明の一態様に係る画像処理方法は、加工状況に応じて光量が変化する地点を撮像する工程と、撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理を、実行する工程と、を含む。 In order to achieve the above object, the image processing method according to one aspect of the present invention includes a step of imaging a point where the amount of light changes according to a processing situation, and a predetermined number of images arranged in a time series of images. An image selection process is executed in which the image is divided into cycles, the magnitudes of brightness for each image included in the cycle are compared, and an image whose order of magnitude of brightness is a predetermined order in the cycle is selected. Including the process.
また、本発明の一態様に係る画像処理方法では、加工状況に応じて光量が変化する地点を撮像する工程は、加工状況に応じて光量が変化する地点の像を、透過光量が異なるフィルタを介して複数のカメラに入射させ、画像を選択する工程は、各前記カメラから画像を同期して取得すると共に、一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択する工程と、他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択する工程と、選択した前記第一画像と、選択した前記第二画像とを積算処理し、第三画像を生成する工程と、をさらに含んでもよい。 Further, in the image processing method according to one aspect of the present invention, in the step of imaging a point where the amount of light changes according to the processing condition, an image of the point where the amount of light changes according to the processing condition is filtered by a filter having a different amount of transmitted light. In the step of making images incident on a plurality of cameras via the camera and selecting an image, the images are sequentially acquired from each of the cameras, and the image selection process is performed on a plurality of images arranged in a time series captured by one camera. To select the first image, to execute the image selection process on a plurality of images captured by the other cameras in a time series, and to select the second image, and the selected image. A step of integrating the first image and the selected second image to generate a third image may be further included.
上述の目的を達成するために、本発明の一態様に係るプログラムは、加工状況に応じて光量が変化する地点を撮像した画像を処理するコンピュータに、撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理のステップを実行させる。 In order to achieve the above object, the program according to one aspect of the present invention predetermines a plurality of images arranged in the captured time series on a computer that processes images obtained by capturing images of points where the amount of light changes according to a processing condition. A step of image selection processing which divides into several cycles, compares the magnitude of brightness for each image included in each cycle, and selects an image whose order of magnitude of brightness is a predetermined order in the cycle. To execute.
また、本発明の一態様に係るプログラムでは、画像を選択する前記ステップは、加工状況に応じて光量が変化する地点の像が、透過光量が異なるフィルタを介して複数のカメラに入射され、各前記カメラから画像を同期して取得すると共に、一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択するステップと、他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択するステップと、選択した前記第一画像と、選択した前記第二画像とを積算処理し、第三画像を生成するステップと、をさらに含んでもよい。 Further, in the program according to one aspect of the present invention, in the step of selecting an image, an image of a point where the amount of light changes according to a processing state is incident on a plurality of cameras through filters having different amounts of transmitted light, and each of them A step of synchronously acquiring images from the camera, executing the image selection process on a plurality of images taken by one camera in a time series to select a first image, and the other camera. The image selection process is executed on a plurality of images arranged in a time series captured by the image, the step of selecting the second image, the selected first image, and the selected second image are integrated. It may further include a step of generating a third image.
上述の目的を達成するために、本発明の一態様に係る記録媒体は、上述したプログラムを記録している。 In order to achieve the above-mentioned object, the recording medium according to one aspect of the present invention records the above-mentioned program.
本発明によれば、各サイクルの所定数の画像のうち、輝度の大きさにより画像を選択することで、アーク溶接部において、開先、溶接ワイヤの先端部、溶融池、および溶接ビードなどを確認できる明確な動画を簡便に取得できる。 According to the present invention, by selecting an image from a predetermined number of images in each cycle according to the magnitude of brightness, a groove, a tip of a welding wire, a molten pool, a welding bead, etc. can be formed in an arc welded portion. You can easily obtain a clear video that you can check.
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same.
［実施形態１］
図１は、実施形態１に係る画像処理装置の構成を示す図である。図２は、実施形態１に係る画像処理装置の動作を示すフローチャートである。図３は、実施形態１に係る画像処理装置の詳細動作を示すフローチャートである。図４は、実施形態１に係る画像処理装置の動作の説明図である。
[Embodiment 1]
FIG. 1 is a diagram showing a configuration of an image processing device according to the first embodiment. FIG. 2 is a flowchart showing the operation of the image processing apparatus according to the first embodiment. FIG. 3 is a flowchart showing the detailed operation of the image processing apparatus according to the first embodiment. FIG. 4 is an explanatory diagram of the operation of the image processing apparatus according to the first embodiment.
図１に示すように、本実施形態の画像処理装置１は、溶接装置１１に適用されている。
As shown in FIG. 1, the
溶接装置１１は、電源１２と、ワイヤ供給部１３と、溶接トーチ１４と、シールドガス供給部１５、移動機構１６と、溶接制御部１７と、を有する。
The
ワイヤ供給部１３は、電源１２に接続された溶接ワイヤ１３ａを溶接トーチ１４に供給するものである。
The wire supply unit 13 supplies the
溶接トーチ１４は、例えば、アーク溶接であるＭＡＧ溶接（Metal Active Gas Welding）を行うものである。ＭＡＧ溶接は、溶接ワイヤ１３ａが電極線として用いられ、溶接ワイヤ１３ａの先端と溶接対象１００との間にアークを発生させることにより、溶接ワイヤ１３ａと溶接対象１００を同時に溶融させて溶接する。溶接トーチ１４は、溶接により形成されるアーク溶接部の大気元素との反応による特性劣化を防ぐために、シールドガス供給部１５からシールドガスの供給を受ける。シールドガスは、不活性ガスであり、アルゴン、ヘリウム、二酸化炭素、またはこれらの混合ガスが用いられる。従って溶接ワイヤ１３ａと溶接対象１００とが溶融して形成されるアーク溶接部は、不活性ガス雰囲気において形成される。
The
移動機構１６は、溶接対象１００に対する溶接トーチ１４の相対位置を溶接方向に沿って移動させる機構である。移動機構１６により溶接装置１１は、溶接対象１００に対し、溶接トーチ１４を相対的に移動させながら溶接を行うことができる。
The moving mechanism 16 is a mechanism for moving the relative position of the
溶接制御部１７は、例えば、コンピュータであり、図には明示しないが、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサを含む演算処理装置などにより実現される。溶接制御部１７は、電源１２が出力する電流の制御、ワイヤ供給部１３による溶接ワイヤ１３ａの供給の制御、シールドガス供給部１５によるシールドガスの供給の制御、および移動機構１６による溶接トーチ１４の移動の制御を行う。溶接制御部１７は、電源１２、ワイヤ供給部１３、シールドガス供給部１５、移動機構１６にそれぞれ個別に設けられていてもよい。
The welding control unit 17 is, for example, a computer, and although not specified in the figure, it is realized by an arithmetic processing unit including a microprocessor such as a CPU (Central Processing Unit). The welding control unit 17 controls the current output by the power supply 12, controls the supply of the
本実施形態の画像処理装置１は、カメラ（撮像部）２と、画像処理部（処理部）３と、表示部４と、を有する。
The
カメラ２は、溶接装置１１におけるアーク溶接部を撮像する。カメラ２は、溶接装置１１の移動機構１６により溶接トーチ１４と共に溶接対象１００と相対移動が可能に構成されている。アーク溶接部が形成される溶接対象１００は固定されている。
The
画像処理部３は、例えば、コンピュータであり、図には明示しないが、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサを含む演算処理装置や、ＲＯＭやＲＡＭのようなメモリおよびストレージを含む記憶装置などにより実現される。演算処理装置は、記憶装置に記憶されているプログラムに従って演算処理を実施する。画像処理部３は、図には明示しないが、入力装置、音声出力装置、ドライブ装置、および入出力インターフェース装置を有してもよい。入力装置は、操作されることにより入力データを生成するもので、キーボードおよびマウスの少なくとも一方を含む。音声出力装置は、スピーカーを含む。ドライブ装置は、プログラムなどのデータが記録された記録媒体からデータを読み出す。記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスクなどのように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリなどの様に情報を電気的に記録する半導体メモリなど、様々なタイプの記録媒体を用いることができる。入出力インターフェース装置は、演算処理装置と記憶装置と入力装置と音声出力装置とドライブ装置と表示部４との間でデータ通信する。 The image processing unit 3 is, for example, a computer, which is not specified in the figure, but is an arithmetic processing unit including a microprocessor such as a CPU (Central Processing Unit), or a storage device including memory and storage such as ROM and RAM. It is realized by such as. The arithmetic processing unit executes arithmetic processing according to a program stored in the storage device. Although not specified in the figure, the image processing unit 3 may include an input device, an audio output device, a drive device, and an input / output interface device. The input device generates input data by being operated, and includes at least one of a keyboard and a mouse. The audio output device includes a speaker. The drive device reads data from a recording medium in which data such as a program is recorded. The recording medium is a recording medium such as a CD-ROM, a flexible disk, a magneto-optical disk, etc. that records information optically, electrically, or magnetically, and a semiconductor such as a ROM, a flash memory, etc. that electrically records information. Various types of recording media such as memory can be used. The input / output interface device performs data communication between an arithmetic processing unit, a storage device, an input device, an audio output device, a drive device, and a display unit 4.
表示部４は、画像処理部３に接続されている。表示部４は、画像処理部３の演算処理装置による演算処理に基づき表示を行う。なお、画像処理部３の入力装置が表示部４の表示画面に設けられたタッチセンサを含んでもよい。 The display unit 4 is connected to the image processing unit 3. The display unit 4 displays based on the arithmetic processing by the arithmetic processing unit of the image processing unit 3. The input device of the image processing unit 3 may include a touch sensor provided on the display screen of the display unit 4.
画像処理部３は、記憶装置に記憶されているプログラムに従って、図２に示すように、カメラ２によりアーク溶接部を撮像し（撮像：ステップＳ１）、カメラ２が撮像した画像を処理し（画像処理：ステップＳ２）、処理した画像を表示部４に表示する（表示：ステップＳ３）。
As shown in FIG. 2, the image processing unit 3 images the arc welded portion by the
画像処理部３による画像処理は、カメラ２が撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクルの所定数の画像において輝度の大きさに基づいた相対評価で画像を選択する画像選択処理を実行する。
In the image processing by the image processing unit 3, a plurality of images in a time series captured by the
本実施形態において、カメラ２は、フレームレート９０ｆｐｓで撮像する。即ち、カメラ２は、１秒間に時系列に並ぶ９０個の画像（静止画）を撮像する。
In the present embodiment, the
画像処理部３は、図３および図４（ａ）に示すように、時系列に並ぶ９０個の画像を画像データＤとして入力する（図３：ステップＳ２ａ）。画像処理部３は、このフレームレート９０ｆｐｓの画像データＤを、３画像ごとのサイクルＣ１〜Ｃ３０に分ける（図３：ステップＳ２ｂ）。即ち、１つのサイクルＣ１は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の３画像を有する。 As shown in FIGS. 3 and 4A, the image processing unit 3 inputs 90 images arranged in time series as image data D (FIG. 3: step S2a). The image processing unit 3 divides the image data D having a frame rate of 90 fps into cycles C1 to C30 for every three images (FIG. 3: step S2b). That is, one cycle C1 has three images, image C1-1, image C1-2, and image C1-3.
そして、画像処理部３は、１つのサイクルＣ１の画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３について、輝度の大きさに基づいた相対評価を行う。画像処理部３は、図４（ｂ）に示すように、各画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３について画素１点１点の明るさを積算することにより輝度のヒストグラムを作成する。ここで、図４（ａ）に示すように、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３は、アークＡの光量が異なり、アークＡの光量は、画像Ｃ１−１＜画像Ｃ１−２＜画像Ｃ１−３となっている。このため、図４（ｂ）に示すように、輝度のヒストグラムでは、画像Ｃ１−１は暗い画素が多く、画像Ｃ１−２は暗い画素が少なく、画像Ｃ１−３は明るい画素が多い。画像処理部３は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較することで相対評価を行う。本実施形態では、画像処理部３は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較し、より暗い側の画素の積算数が最も多いヒストグラムの画像Ｃ１−１と、より明るい側の画素の積算数が最も多いヒストグラムの画像Ｃ１−３と、その中間の画素の積算数が最も多いヒストグラムの画像Ｃ１−２とから、より暗い側の画素の積算数が最も多く最も暗く輝度の小さい画像Ｃ１−１を選択する。即ち、画像処理部３は、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの画像を選択し、本実施形態では、サイクル毎で同様に相対的に輝度の小さい画像を選択する（図３：ステップＳ２ｃ）。 Then, the image processing unit 3 performs a relative evaluation based on the magnitude of the brightness of the image C1-1, the image C1-2, and the image C1-3 in one cycle C1. As shown in FIG. 4B, the image processing unit 3 creates a luminance histogram by integrating the brightness of each pixel for each image C1-1, image C1-2, and image C1-3. To do. Here, as shown in FIG. 4A, the light amount of the arc A is different between the image C1-1, the image C1-2, and the image C1-3, and the light amount of the arc A is the image C1-1 <image C1-. 2 <Image C1-3. Therefore, as shown in FIG. 4B, in the luminance histogram, the image C1-1 has many dark pixels, the image C1-2 has few dark pixels, and the image C1-3 has many bright pixels. The image processing unit 3 performs relative evaluation by comparing each histogram of image C1-1, image C1-2, and image C1-3. In the present embodiment, the image processing unit 3 compares the histograms of the image C1-1, the image C1-2, and the image C1-3 with the image C1-1 of the histogram having the largest number of integrated pixels on the darker side. From the image C1-3 of the histogram with the largest number of integrated pixels on the brighter side and the image C1-2 of the histogram with the largest number of integrated pixels on the intermediate side, the number of integrated pixels on the darker side is the largest. The darkest and least bright image C1-1 is selected. That is, the image processing unit 3 compares the brightness of each image included in each cycle, selects an image having the same relative brightness in each cycle, and in the present embodiment, similarly in each cycle. An image with relatively low brightness is selected (FIG. 3: step S2c).
図４（ａ）において、画像Ｃ１−１は、アークＡの光量が最も小さく、アーク溶接部において、溶接対象１００に形成されている開先１０１、溶接ワイヤ１３ａの先端部、溶接ワイヤ１３ａおよび溶接対象１００が溶融した溶融池１０２、および溶融池１０２の温度が低下して形成された溶接ビード１０３を明確に識別できる。画像Ｃ１−２は、画像Ｃ１−１よりもアークＡの光量が大きく、アーク溶接部において、溶接ワイヤ１３ａの先端部や、溶融池１０２を識別し難い。画像Ｃ１−３は、アークＡの光量が最も大きく、アークＡの周囲が白飛びすると共に、アークＡが溶接ヒュームに反射することで、アーク溶接部が全体的にぼやけてしまい、開先１０１や溶接ワイヤ１３ａの先端部や溶融池１０２や溶接ビード１０３を識別できない。なお、図４（ａ）において、各画像Ｃ１−１，Ｃ１−２，Ｃ１−３に記した矢印方向αは、溶接装置１１の移動機構１６によるカメラ２および溶接トーチ１４の溶接対象１００に対する移動方向を示している。
In FIG. 4A, image C1-1 shows the smallest amount of light in the arc A, and in the arc welded portion, the
そして、画像処理部３は、他のサイクルＣ２、Ｃ３…Ｃ３０についても、同様に３画像を輝度の大きさに基づいて相対的に最も暗く輝度の小さい１画像を選択する（図３：ステップＳ２ｃ）。 Then, the image processing unit 3 similarly selects one image having the relatively darkest brightness and the lowest brightness from the three images for the other cycles C2, C3 ... C30 based on the magnitude of the brightness (FIG. 3: Step S2c). ).
そして、画像処理部３は、図４（ｃ）に示すように、各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した画像を時系列に並べる（図３：ステップＳ２ｄ）。その後、画像処理部３は、各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択して時系列に並べた画像を表示部４に表示させる（図２：ステップＳ３）。 Then, as shown in FIG. 4C, the image processing unit 3 arranges the images selected in each cycle C1, C2, C3 ... C30 in chronological order (FIG. 3: step S2d). After that, the image processing unit 3 causes the display unit 4 to display the images selected in each cycle C1, C2, C3 ... C30 and arranged in chronological order (FIG. 2: step S3).
従って、各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した３０画像は、アーク溶接部において、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、および溶接ビード１０３を確認できる連続した映像となり、アークによるちらつきのない明確な動画を取得できる。なお、例えば、あるサイクルにおいて３画像の相対的な輝度を比較した結果、当該サイクル内の３画像ともあまり鮮明な画像ではない場合があっても、各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０で選択された画像が連続する動画として見る際には、不鮮明な画像の影響を低減でき、見やすい動画となる。
Therefore, the 30 images selected in each cycle C1, C2, C3 ... C30 are continuous images in which the
なお、上述した画像選択処理では、サイクルの３画像において、相対的に輝度の小さい画像を選択する例で説明した。即ち、輝度の順位を大きい→小さいとした場合、サイクルの所定数の画像において最下位の順位の輝度の画像を選択している。ただし、加工状況においては、必ずしも最も小さい最下位の順位の輝度の画像が見やすいとは限らず、例えば中央の順位の輝度の大きさの画像が見やすい場合もある。つまり、画像処理部３は、画像選択処理において、所定の輝度の大きさの順位を加工状況に応じて調整することが可能であり、オペレータが加工状況を動画で確認しやすい大きさの輝度を有する画像が選択されるように調整する。 In the image selection process described above, an example of selecting an image having a relatively low brightness in the three images of the cycle has been described. That is, when the order of luminance is changed from large to small, the image of the lowest luminance in the predetermined number of images in the cycle is selected. However, in the processing situation, it is not always easy to see the image having the lowest luminance in the lowest rank, and for example, the image having the magnitude of the luminance in the center may be easy to see. That is, in the image selection process, the image processing unit 3 can adjust the order of the magnitude of the predetermined brightness according to the processing status, and the brightness is such that the operator can easily check the processing status in the moving image. Adjust so that the image to have is selected.
また、上述した画像選択処理では、画像全体の輝度のヒストグラムで比較する例で説明した。その他、画像処理部３は、画像選択処理において、任意の着目する領域の輝度のヒストグラムを比較するようにしてもよい。 Further, in the above-mentioned image selection process, an example of comparing with a histogram of the brightness of the entire image has been described. In addition, the image processing unit 3 may compare the luminance histograms of arbitrary regions of interest in the image selection process.
このように、本実施形態の画像処理装置１は、加工状況に応じて光量が変化する地点を撮像する撮像部２と、撮像部２が撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの画像を選択する画像処理部３と、を備える。
As described above, the
また、本実施形態の画像処理方法は、加工状況に応じて光量が変化する地点を撮像する工程と、撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの画像を選択する工程と、を含む。 Further, the image processing method of the present embodiment is included in each cycle by dividing into a step of imaging a point where the amount of light changes according to the processing situation and a plurality of images arranged in the captured time series into a predetermined number of cycles. It includes a step of comparing the brightness of each image and selecting an image having a relative brightness magnitude for each cycle as well.
また、本実施形態のプログラムは、加工状況に応じて光量が変化する地点を撮像した画像を処理するコンピュータに、撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度を比較し、前記サイクル毎で同様に相対的な輝度の大きさの画像を選択するステップを実行させる。 Further, in the program of the present embodiment, a plurality of images arranged in a time series captured by a computer that processes an image of a point where the amount of light changes according to a processing state is divided into a predetermined number of cycles, and within each cycle. The brightness of each image included in is compared, and the step of selecting an image having a relative brightness magnitude is executed in each cycle.
従って、各サイクルの所定数の画像のうち、サイクル毎で同様に相対的な輝度の大きさの画像を選択することで、アーク溶接部において、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、および溶接ビード１０３を確認できる明確な動画を簡便に取得できる。
Therefore, by selecting an image having a relative brightness magnitude for each cycle from a predetermined number of images in each cycle, the
なお、輝度の閾値を設定して、この閾値に基づいて画像を選択することが考えられるが、輝度の閾値は、カメラ２の設定条件としてシャッタースピードや絞り、照明、アーク溶接のパラメータとして開先の形状や深さも含めた組み合わせにより設定する必要がある。輝度は、カメラ２の設定値によって変わるため、ある輝度の絶対値において画像を選択し明確な動画を取得することは難しく、輝度の絶対値に対して閾値を設定すること自体困難である。従って、本実施形態のように、サイクル毎で同様に相対的な輝度の大きさの画像を比較し、輝度の大きさの順位が所定の順位である画像を選択することで、明確な動画を簡便に取得できる。
It is conceivable to set a brightness threshold and select an image based on this threshold, but the brightness threshold is a groove as a parameter of shutter speed, aperture, lighting, and arc welding as a setting condition of the
また、本実施形態の記録媒体は、上記プログラムを記録している。従って、カメラ２でアーク溶接部を撮像した画像を処理する装置に対し、上記プログラムを更新できる。
Further, the recording medium of the present embodiment records the above program. Therefore, the above program can be updated for the device that processes the image obtained by capturing the image of the arc welded portion by the
また、本実施形態の画像処理装置１では、画像処理部３は、サイクル内に含まれる画像毎の相対的に輝度の小さい画像を選択する。
Further, in the
ＭＡＧ溶接では、アーク溶接部において、ワイヤ先端に形成された溶滴が溶融池へ短絡する期間と、それが開放されてアークが再点孤しアークが安定する期間を、６０〜１２回／秒で交互に繰り返し、不規則に短絡時、アーク再点孤時、アーク安定時の画像が記録され、時系列で動画として再生するとアークによりちらつきが発生し見にくいものとなる。即ち、アーク溶接部は、加工状況に応じて光量が変化する地点である。この点、本実施形態の画像処理装置１によれば、最も小さい輝度の画像を選択するため、ちらつきが発生するアークによる大きい輝度の画像を間引くことができ、明確な動画を取得できる。なお、最も小さい輝度の画像を選択することに限らず、１つのサイクルにおける中間の輝度の画像を選択してもよい。中間の輝度の画像を選択する場合、画像処理部３は、図４（ｂ）に示す画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較し、より暗い側の画素の積算数が最も多いヒストグラムの画像Ｃ１−１と、より明るい側の画素の積算数が最も多いヒストグラムの画像Ｃ１−３と、その中間の画素の積算数が最も多いヒストグラムの画像Ｃ１−２とから、中間の画素の積算数が最も多く中間の輝度の画像Ｃ１−２を選択する。
In MAG welding, at the arc weld, the period during which the droplets formed at the tip of the wire are short-circuited to the molten pool and the period during which the droplets are released and the arc is re-pointed and the arc stabilizes are 60 to 12 times / second. The images are recorded alternately at the time of short circuit, arc re-pointing, and arc stabilization, and when played back as a moving image in chronological order, flicker occurs due to the arc and it becomes difficult to see. That is, the arc welded portion is a point where the amount of light changes according to the processing condition. In this regard, according to the
また、本実施形態の画像処理装置１では、画像処理部３は、カメラ２にてフレームレート９０ｆｐｓで撮像された画像を取得し、フレームレート９０ｆｐｓにおいてサイクルの所定数を３画像とし、各サイクルの３画像のうち輝度の大きさに基づいた相対評価で１画像を選択する。
Further, in the
滑らかな動きで動画を見ることのできるのはフレームレート２４ｆｐｓが一般的であり、本実施形態の画像処理装置１では、フレームレート９０ｆｐｓとして３画像のサイクルから１画像を選択して３０ｆｐｓを確保することで、滑らかな動きで動画を見ることができる。なお、上記フレームレートやサイクルの所定数については、滑らかな動きで動画を見られる一例であり、限定されるものではない。
A frame rate of 24 fps is generally used to view a moving image with smooth movement, and in the
また、本実施形態の画像処理装置１では、画像処理部３は、各サイクルにおいて選択した各画像のみを時系列に並べる処理を行う。
Further, in the
処理した画像データを記憶装置に記憶し、溶接装置１１にフィードバックをすることで、溶接のパラメータを見直してより品質の高い溶接を実施できる。この際、輝度の大きさに基づいた相対評価で選択した画像を含む全ての画像を記憶装置に記憶してもよいが（例えば、上述したフレームレート９０ｆｐｓの全て）、各サイクルにおいて選択した各画像のみを時系列に並べる処理を行い、これを記憶装置に記憶することで、画像データの記憶容量を削減することができる。
By storing the processed image data in the storage device and feeding it back to the
また、画像処理部３は、選択した各画像のみを時系列に並べる処理を行い、これを表示部４に表示させる。このため、オペレータがアーク溶接部の確認を行うことができる。また、表示部４に表示させることで、オペレータがリアルタイムでアーク溶接部の確認を行うことができる。 Further, the image processing unit 3 performs a process of arranging only each selected image in chronological order, and displays this on the display unit 4. Therefore, the operator can confirm the arc welded portion. Further, by displaying the display on the display unit 4, the operator can confirm the arc welded portion in real time.
なお、上述した本実施形態の画像処理装置１では、画素１点１点の明るさを積算することにより輝度のヒストグラムを作成することで輝度の大きさを得たが、この限りでなく、画素１点１点の明るさから明るい画素と暗い画素の比率に基づいて輝度の大きさを得てもよい。
In the
なお、上述した本実施形態の画像処理装置１では、輝度の大きさを画像の明るさで説明したが、輝度の大きさを画像の色から得てもよい。例えば、青色が多い場合はアークの光量が多く、赤色が多い場合はアークの光量が少なく、輝度の大きさとして画像の色から選択しても、同様に簡便に明確な動画を取得できる。
In the
［実施形態２］
図５は、実施形態２に係る画像処理装置の構成を示す図である。図６は、実施形態２に係る画像処理装置の詳細動作を示すフローチャートである。図７は、実施形態２に係る画像処理装置の動作の説明図である。図８は、実施形態２に係る画像処理装置の動作の説明図である。
[Embodiment 2]
FIG. 5 is a diagram showing a configuration of an image processing device according to the second embodiment. FIG. 6 is a flowchart showing the detailed operation of the image processing apparatus according to the second embodiment. FIG. 7 is an explanatory diagram of the operation of the image processing apparatus according to the second embodiment. FIG. 8 is an explanatory diagram of the operation of the image processing apparatus according to the second embodiment.
本実施形態の画像処理装置１’は、上述した実施形態１で説明した溶接装置１１に適用した形態であり、上述した実施形態１で説明した画像処理装置１に対し、２つのカメラ２を有する点で異なるもので、その他の構成は同様である。従って、以下の説明において、上述した実施形態１と同等の構成には、同一の符号を付して説明を省略する。
The image processing device 1'of this embodiment is a form applied to the
本実施形態の画像処理装置１’は、撮像部をなす複数（本実施形態では２つ）のカメラ２Ａ，２Ｂと、光学部材５と、フィルタ６Ａ，６Ｂと、画像処理部（処理部）３’と、表示部４と、を有する。
The image processing device 1'of the present embodiment includes a plurality of
カメラ２Ａ，２Ｂは、それぞれ溶接装置１１におけるアーク溶接部を撮像し、溶接装置１１の移動機構１６により溶接トーチ１４と共に溶接対象１００と相対移動が可能に構成されている。
The
光学部材５は、光を２つに分割するものでハーフミラーまたはビームスプリッタが適用される。光学部材５は、２つに分割した光の強さが１：１であることが好ましい。光学部材５は、分割した各光が各カメラ２Ａ，２Ｂに入射するように設けられている。従って、各カメラ２Ａ，２Ｂは、同一のアーク溶接部の像がそれぞれ入射される。このため、２つのカメラ２Ａ，２Ｂで撮像した画像は、同一の視界の画像となる。
The optical member 5 divides the light into two, and a half mirror or a beam splitter is applied. The optical member 5 is preferably divided into two parts having a light intensity of 1: 1. The optical member 5 is provided so that each of the divided lights is incident on the
フィルタ６Ａは、カメラ２Ａに取り付けられ、フィルタ６Ｂは、カメラ２Ｂに取り付けられている。フィルタ６Ａ，６Ｂは、減光フィルタであり、カメラ２Ａ，２Ｂに入射する光量を低下させる。フィルタ６Ａ，６Ｂは、色彩に影響を与えることなく光量を低下させることが好ましい。フィルタ６Ａ，６Ｂは、それぞれ光量を低下させる濃度が異なる。例えば、フィルタ６Ａは、フィルタ６Ｂに比較して光量を低下させる濃度が低い低減光フィルタであり、フィルタ６Ｂは、フィルタ６Ａに比較して光量を低下させる濃度が高い高減光フィルタである。従って、この場合、一方のカメラ２Ａへの入射光量と、他方のカメラ２Ｂへの入射光量が異なり、カメラ２Ａがカメラ２Ｂよりも入射光量が多くなる。
The
画像処理部３’は、例えば、コンピュータであり、その構成は、上述した実施形態１の画像処理部３と同等である。表示部４は、画像処理部３’に接続されている。 The image processing unit 3'is, for example, a computer, and its configuration is the same as that of the image processing unit 3 of the first embodiment described above. The display unit 4 is connected to the image processing unit 3'.
画像処理部３’は、記憶装置に記憶されているプログラムに従って、図２を参照するように、カメラ２Ａ，２Ｂにより同一視野のアーク溶接部を同期して撮像し（撮像：ステップＳ１）、カメラ２Ａ，２Ｂが撮像した画像を処理し（画像処理：ステップＳ２）、処理した画像を表示部４に表示する（表示：ステップＳ３）。
The image processing unit 3'is synchronizedly imaged by the
ステップＳ１において、画像処理部３’は、図７に示すように、カメラ２Ａ，２Ｂを完全同期させるように、例えば６〜３３ｍｓ間隔Ｔのトリガ信号をかけて、例えばｍｉｎ６μｓの比較的短露光時間ｔとする。
In step S1, the image processing unit 3'applies a trigger signal at intervals of, for example, 6 to 33 ms, so as to completely synchronize the
画像処理部３’による画像処理は、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクルの所定数の画像において輝度の大きさに基づいた相対評価で第一画像を選択する画像選択処理を実行する。また、画像処理部３’による画像処理は、他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクルの所定数の画像において第一画像と同様に輝度の大きさに基づいた相対評価で第二画像を選択する画像選択処理を実行する。
The image processing by the image processing unit 3'is a relative evaluation based on the magnitude of brightness in a predetermined number of images in each cycle by dividing a plurality of images imaged by one
本実施形態において、カメラ２Ａ，２Ｂは、フレームレート９０ｆｐｓで撮像する。即ち、カメラ２Ａ，２Ｂは、１秒間に時系列に並ぶ９０個の画像（静止画）を撮像する。
In the present embodiment, the
画像処理部３’は、図６および図４（ａ）を参照するように、完全同期させた各カメラ２Ａ，２Ｂが撮像した時系列に並ぶ９０個の画像を画像データＤとしてそれぞれ入力する（図６：ステップＳ２ｅ）。画像処理部３’は、このフレームレート９０ｆｐｓの画像データＤを、３画像ごとのサイクルＣ１〜Ｃ３０に分ける（図６：ステップＳ２ｆ）。即ち、１つのサイクルＣ１は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の３画像を有する。
As shown in FIGS. 6 and 4 (a), the image processing unit 3'inputs 90 images arranged in a time series captured by the fully synchronized
そして、画像処理部３’は、１つのサイクルＣ１の画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３について、輝度の大きさに基づいた相対評価を行う。画像処理部３’は、図４（ｂ）を参照するように、各画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３について画素１点１点の明るさを積算することにより輝度のヒストグラムを作成する。ここで、図３（ａ）を参照するように、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３は、アークＡの光量が異なり、アークＡの光量は、画像Ｃ１−１＜画像Ｃ１−２＜画像Ｃ１−３となっている。このため、図４（ｂ）を参照するように、輝度のヒストグラムでは、画像Ｃ１−１は暗い画素が多く、画像Ｃ１−２は暗い画素が少なく、画像Ｃ１−３は明るい画素が多い。画像処理部３’は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較することで相対評価を行う。本実施形態では、画像処理部３は、画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較し、より暗い側の画素の積算数が最も多いヒストグラムの画像Ｃ１−１と、より明るい側の画素の積算数が最も多いヒストグラムの画像Ｃ１−３と、その中間の画素の積算数が最も多いヒストグラムの画像Ｃ１−２とから、より暗い側の画素の積算数が最も多く最も暗く輝度の小さい画像Ｃ１−１を選択する。即ち、画像処理部３は、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの画像を選択し、本実施形態では、サイクル毎で同様に相対的に輝度の小さい画像を選択する（図６：ステップＳ２ｇ）。 Then, the image processing unit 3'performs a relative evaluation based on the magnitude of the brightness of the image C1-1, the image C1-2, and the image C1-3 in one cycle C1. As shown in FIG. 4B, the image processing unit 3'has a histogram of the brightness by integrating the brightness of each pixel for each image C1-1, image C1-2, and image C1-3. To create. Here, as shown in FIG. 3A, the light amount of the arc A is different between the image C1-1, the image C1-2, and the image C1-3, and the light amount of the arc A is <image C1-1 <image C1. -2 <Image C1-3. Therefore, as shown in FIG. 4B, in the luminance histogram, the image C1-1 has many dark pixels, the image C1-2 has few dark pixels, and the image C1-3 has many bright pixels. The image processing unit 3'performs a relative evaluation by comparing the histograms of the image C1-1, the image C1-2, and the image C1-3. In the present embodiment, the image processing unit 3 compares the histograms of the image C1-1, the image C1-2, and the image C1-3 with the image C1-1 of the histogram having the largest number of integrated pixels on the darker side. From the image C1-3 of the histogram with the largest number of integrated pixels on the brighter side and the image C1-2 of the histogram with the largest number of integrated pixels on the intermediate side, the number of integrated pixels on the darker side is the largest. The darkest and least bright image C1-1 is selected. That is, the image processing unit 3 compares the brightness of each image included in each cycle, selects an image having the same relative brightness in each cycle, and in the present embodiment, similarly in each cycle. An image having relatively low brightness is selected (FIG. 6: Step S2g).
図４（ａ）において、画像Ｃ１−１は、アークＡの光量が最も小さく、アーク溶接部において、溶接対象１００に形成されている開先１０１、溶接ワイヤ１３ａの先端部、溶接ワイヤ１３ａおよび溶接対象１００が溶融した溶融池１０２、および溶融池１０２の温度が低下して形成された溶接ビード１０３を明確に識別できる。画像Ｃ１−２は、画像Ｃ１−１よりもアークＡの光量が大きく、アーク溶接部において、溶接ワイヤ１３ａの先端部や、溶融池１０２を識別し難い。画像Ｃ１−３は、アークＡの光量が最も大きく、アークＡの周囲が白飛びすると共に、アークＡが溶接ヒュームに反射することで、アーク溶接部が全体的にぼやけてしまい、開先１０１や溶接ワイヤ１３ａの先端部や溶融池１０２や溶接ビード１０３を識別できない。なお、図４（ａ）において、各画像Ｃ１−１，Ｃ１−２，Ｃ１−３に記した矢印方向αは、溶接装置１１の移動機構１６によるカメラ２および溶接トーチ１４の溶接対象１００に対する移動方向を示している。
In FIG. 4A, the image C1-1 shows the smallest amount of light in the arc A, and in the arc welded portion, the
そして、画像処理部３’は、他のサイクルＣ２、Ｃ３…Ｃ３０についても、同様に３画像を輝度の大きさに基づいて相対的に最も暗く輝度の小さい１画像を選択する（図６：ステップＳ２ｇ）。 Then, the image processing unit 3'selects three images in the same manner for the other cycles C2, C3 ... C30, and one image that is relatively darkest and has the lowest brightness based on the magnitude of the brightness (FIG. 6: Step). S2g).
画像処理部３’は、このステップＳ２ｇの処理を一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像と、他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像とについてそれぞれ行う。各カメラ２Ａ，２Ｂから取得する画像は、同期していることから、一方のカメラ２Ａが撮像した画像、および他方のカメラ２Ｂが撮像した画像の各サイクルＣ１，Ｃ２，Ｃ３…Ｃ３０で選択される第一画像および第二画像は、１つのサイクルにおいて輝度の小さい画像であり、これは互いに同期した画像であり、同一視野となる。
The image processing unit 3'performs the processing of step S2g for each of a plurality of images arranged in a time series captured by one
そして、画像処理部３’は、図８（ａ）に示すように、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像の各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した各第一画像を時系列に並べる（図６：ステップＳ２ｈ）。また、画像処理部３’は、図８（ｂ）に示すように、他方のカメラ２Ａが撮像した時系列に並ぶ複数の画像の各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した各第二画像を時系列に並べる（図６：ステップＳ２ｈ）。図８（ａ）に示す各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０の各第一画像と、図８（ｂ）に示す各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０の各第二画像とは、互いに同期した画像であり、同一視野である。また、図８（ａ）に示す各第一画像と、図８（ｂ）に示す各第二画像とは、フィルタ６Ａ，６Ｂによりそれぞれ異なる入射光量とされているため、本実施形態では、図８（ａ）に示す各第一画像が、図８（ｂ）に示す各第二画像よりも入射光量が多く明るい画像になる。
Then, as shown in FIG. 8A, the image processing unit 3'sets each first image selected in each cycle C1, C2, C3 ... C30 of a plurality of images arranged in a time series captured by one
各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した３０画像は、アーク溶接部において、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、および溶接ビード１０３を確認できる連続した映像となり、アークによるちらつきのない明確な動画を取得できる。
The 30 images selected in each cycle C1, C2, C3 ... C30 are continuous images in which the
また、図８（ａ）に示すように一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像の各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した３０画像の各第一画像は、高輝度であり、溶接ビード１０３やアーク周辺のスパッタを明確に視認できる。また、図８（ｂ）に示すように他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像の各サイクルＣ１、Ｃ２、Ｃ３…Ｃ３０において選択した３０画像の各第二画像は、低輝度であり、アークＡの形状、溶接ワイヤ１３ａの先端を明確に認識できる。
Further, as shown in FIG. 8A, each first image of 30 images selected in each cycle C1, C2, C3 ... C30 of a plurality of images arranged in a time series captured by one
そして、画像処理部３’は、図８（ｃ）に示すように、図８（ａ）に示す各第一画像と、図８（ｂ）に示す各第二画像とを積算処理して、図８（ｃ）に示す第三画像を生成する（図６：ステップＳ２ｉ）。積算処理は、ＨＤＲ（High Dynamic Range）処理を用いる。 Then, as shown in FIG. 8 (c), the image processing unit 3'integrates each first image shown in FIG. 8 (a) and each second image shown in FIG. 8 (b). The third image shown in FIG. 8C is generated (FIG. 6: step S2i). HDR (High Dynamic Range) processing is used for the integration processing.
また、画像処理部３’は、図８（ｃ）に示すように、各第一画像と、各第二画像とを積算処理して生成した第三画像を時系列に並べることで（図６：ステップＳ２ｊ）、複数の画像の各サイクルにおいて選択して積算処理した３０画像の第三画像Ｃ１’、Ｃ２’、Ｃ３’…Ｃ３０’が生成される。この第三画像Ｃ１’、Ｃ２’、Ｃ３’…Ｃ３０’は、高輝度の各第一画像と低輝度の各第二画像とが積算されたものであるから、ダイナミックレンジの広い画像であり、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、溶接ビード１０３およびスパッタを確認できる明確な動画を取得できる。
Further, as shown in FIG. 8C, the image processing unit 3'arranges the third images generated by integrating the first image and the second image in chronological order (FIG. 6). : Step S2j), the third images C1', C2', C3'... C30' of 30 images selected and integrated in each cycle of the plurality of images are generated. The third images C1', C2', C3'... C30'are images having a wide dynamic range because the first image having high brightness and the second image having low brightness are integrated. A clear moving image can be obtained in which the
このように、本実施形態の画像処理装置１’は、２つのカメラ２Ａ，２Ｂと、カメラ２Ａ，２Ｂ毎に設けられ、各々の透過光量が異なる複数のフィルタ６Ａ，６Ｂと、各カメラ２Ａ，２Ｂに、加工状況に応じて光量が変化する地点の像を、各カメラ２Ａ，２Ｂに対応するフィルタ６Ａ，６Ｂを介して入射させる光学部材５と、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択し、他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像を同数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第二画像を選択して、同期している第一画像と第二画像とを積算処理し、第三画像を生成する画像処理部３’と、を備える。
As described above, the image processing device 1'of the present embodiment is provided for each of the two
また、本実施形態の画像処理方法は、加工状況に応じて光量が変化する地点を撮像する工程は、加工状況に応じて光量が変化する地点の像を、透過光量が異なるフィルタ６Ａ，６Ｂを介して複数のカメラ２Ａ，２Ｂに入射させ、各カメラ２Ａ，２Ｂから画像を同期して取得すると共に、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択する工程と、他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像を同数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第二画像を選択する工程と、同期している第一画像と第二画像とを積算処理し、第三画像を生成する工程と、を含む。
Further, in the image processing method of the present embodiment, in the step of imaging a point where the amount of light changes according to the processing condition, an image of the point where the amount of light changes according to the processing condition is imaged by
また、本実施形態のプログラムは、加工状況に応じて光量が変化する地点の像が、透過光量が異なるフィルタ６Ａ，６Ｂを介して複数のカメラ２Ａ，２Ｂに入射され、各カメラ２Ａ，２Ｂから画像を同期して取得すると共に、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択するステップと、他方のカメラ２Ｂが撮像した時系列に並ぶ複数の画像を同数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第二画像を選択するステップと、同期している第一画像と第二画像とを積算処理し、第三画像を生成するステップと、を実行させる。
Further, in the program of the present embodiment, an image of a point where the amount of light changes according to the processing state is incident on a plurality of
従って、各サイクルの所定数の画像のうち、輝度の大きさにより画像を選択することで、アーク溶接部において、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、および溶接ビード１０３を確認できる明確な動画を簡便に取得できる。しかも、フィルタ６Ａ，６Ｂにより、２つのカメラ２Ａ，２Ｂから取得した各画像の輝度を異ならせ、これを積算処理することで、ダイナミックレンジの広い画像とし、開先１０１、溶接ワイヤ１３ａの先端部、溶融池１０２、溶接ビード１０３およびスパッタを確認できる明確な動画を取得できる。しかも、光学部材５により、２つのカメラ２Ａ，２Ｂに同一視野のアーク溶接部の像をそれぞれ入射させること、および各カメラ２Ａ，２Ｂから画像を同期して取得することで、積算処理においてずれを防止でき、鮮明な動画を取得できる。
Therefore, by selecting an image from a predetermined number of images in each cycle according to the magnitude of brightness, the
ここで、第一画像および第二画像の選択と、第三画像の積算処理との順序については、どちらでも実施可能であるが、第一画像および第二画像の選択の後、第三画像の積算処理をすることが好ましい。逆の順であると、全画像に対して積算処理をする必要があり、処理数が増大する。 Here, either of the order of the selection of the first image and the second image and the integration process of the third image can be performed, but after the selection of the first image and the second image, the third image It is preferable to perform the integration process. In the reverse order, it is necessary to perform integration processing on all images, and the number of processing increases.
さらに、第一画像および第二画像の選択の際、光量／輝度の高い画像よりも光量／輝度の低い画像を優先することが好ましい。例えば、いずれでもハレーションが生じる場合には、光量／輝度の低い画像の方が定性的に見やく、即ち、低輝度画像で見たときでさえ、ハレーションが生じる画像を確実にはじくことができる。なお、各フィルタ６Ａ，６Ｂの優先度においては、光量／輝度のどちらで一方のみでも実施できる。
Further, when selecting the first image and the second image, it is preferable to give priority to the image having a low light intensity / brightness over the image having a high light intensity / brightness. For example, when halation occurs in any of these cases, an image having a low light intensity / brightness is qualitatively easier to see, that is, an image in which halation occurs can be reliably repelled even when viewed as a low-luminance image. As for the priority of each of the
なお、一方のカメラ２Ａが撮像した画像から相対的な輝度の大きさの第一画像を選択すると、他方のカメラ２Ｂが撮像した画像から同期した第二画像を選択することができるため、他方のカメラ２Ｂにおいて相対的な輝度の大きさから第二画像を選択する処理を省いてもよい。即ち、本実施形態の画像処理装置１’は、一のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択し、選択した第一画像と、第一画像と同期している他のカメラ２Ｂが撮像した画像から選択した第二画像とを積算処理し、第三画像を生成する画像処理部３’を備える。また、本実施形態の画像処理方法は、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択する工程と、選択した第一画像と、第一画像と同期している他のカメラ２Ｂが撮像した画像から選択した第二画像とを積算処理し、第三画像を生成する工程と、を含む。また、本実施形態のプログラムは、一方のカメラ２Ａが撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各サイクル内に含まれる画像毎の輝度を比較し、サイクル毎で同様に相対的な輝度の大きさの第一画像を選択するステップと、選択した第一画像と、第一画像と同期している他のカメラ２Ｂが撮像した画像から選択した第二画像とを積算処理し、第三画像を生成するステップと、を実行させる。
When the first image having a relative brightness is selected from the images captured by one
また、本実施形態の記録媒体は、上記プログラムを記録している。従って、カメラ２Ａ，２Ｂでアーク溶接部を撮像した画像を処理する装置に対し、上記プログラムを更新できる。
Further, the recording medium of the present embodiment records the above program. Therefore, the above program can be updated for the device that processes the image of the arc welded portion captured by the
また、本実施形態の画像処理装置１’では、一方のカメラ２Ａへの入射光量と他方のカメラ２Ｂへの入射光量を異ならせる減光フィルタであるフィルタ６Ａ，６Ｂに加え、図５に示すように、波長カットフィルタ７を組み合わせて使用してもよい。波長カットフィルタ７は、各カメラ２Ａ，２Ｂへの入射光の所定の波長をカットするもので、指定の波長より短波長をカットし、長波長を透過させるロングパスフィルターや、指定の波長より長波長をカットし、短波長を透過させるショートパスフィルターや、特定波長帯のみ透過させ、それ以外をカットするバンドパスフィルターがあり、アーク溶接部の確認の邪魔になるアークの波長域（例えば、紫外域）をカットする。従って、より明確な動画を取得できる。
Further, in the image processing apparatus 1'of the present embodiment, in addition to the
また、本実施形態の画像処理装置１’では、画像処理部３’は、サイクル内に含まれる画像毎の相対的に輝度の小さい画像を選択する。 Further, in the image processing apparatus 1'of the present embodiment, the image processing unit 3'selects an image having a relatively low brightness for each image included in the cycle.
ＭＡＧ溶接では、アーク溶接部において、ワイヤ先端に形成された溶滴が溶融池へ短絡する期間と、それが開放されてアークが再点孤しアークが安定する期間を、６０〜１２回／秒で交互に繰り返し、不規則に短絡時、アーク再点孤時、アーク安定時の画像が記録され、時系列で動画として再生するとアークによりちらつきが発生し見にくいものとなる。即ち、アーク溶接部は、加工状況に応じて光量が変化する地点である。この点、本実施形態の画像処理装置１によれば、最も小さい輝度の画像を選択するため、ちらつきが発生するアークによる大きい輝度の画像を間引くことができ、明確な動画を取得できる。なお、最も小さい輝度の画像を選択することに限らず、１つのサイクルにおける中間の輝度の画像を選択してもよい。中間の輝度の画像を選択する場合、画像処理部３は、図４（ｂ）に示す画像Ｃ１−１、画像Ｃ１−２、画像Ｃ１−３の各ヒストグラムを比較し、より暗い側の画素の積算数が最も多いヒストグラムの画像Ｃ１−１と、より明るい側の画素の積算数が最も多いヒストグラムの画像Ｃ１−３と、その中間の画素の積算数が最も多いヒストグラムの画像Ｃ１−２とから、中間の画素の積算数が最も多く中間の輝度の画像Ｃ１−２を選択する。
In MAG welding, at the arc weld, the period during which the droplets formed at the tip of the wire are short-circuited to the molten pool and the period during which the droplets are released and the arc is re-pointed and the arc stabilizes are 60 to 12 times / second. The images are recorded alternately at the time of short circuit, arc re-pointing, and arc stabilization, and when played back as a moving image in chronological order, flicker occurs due to the arc and it becomes difficult to see. That is, the arc welded portion is a point where the amount of light changes according to the processing condition. In this regard, according to the
また、本実施形態の画像処理装置１’では、画像処理部３’は、カメラ２Ａ，２Ｂにてフレームレート９０ｆｐｓで撮像された画像を取得し、フレームレート９０ｆｐｓにおいてサイクルの所定数を３画像とし、各サイクルの３画像のうち輝度の大きさに基づいた相対評価で１画像を選択する。
Further, in the image processing device 1'of the present embodiment, the image processing unit 3'acquires an image captured by the
滑らかな動きで動画を見ることのできるのはフレームレート２４ｆｐｓが一般的であり、本実施形態の画像処理装置１’では、フレームレート９０ｆｐｓとして３画像のサイクルから１画像を選択して３０ｆｐｓを確保することで、滑らかな動きで動画を見ることができる。なお、上記フレームレートやサイクルの所定数については、滑らかな動きで動画を見られる一例であり、限定されるものではない。 A frame rate of 24 fps is generally used to view a moving image with smooth movement, and in the image processing device 1'of the present embodiment, one image is selected from a cycle of three images as a frame rate of 90 fps to secure 30 fps. By doing so, you can watch the video with smooth movement. The frame rate and the predetermined number of cycles are examples of watching a moving image with smooth movement, and are not limited.
また、本実施形態の画像処理装置１’では、画像処理部３’は、各サイクルにおいて選択し、積算処理した各画像のみを時系列に並べる処理を行う。 Further, in the image processing apparatus 1'of the present embodiment, the image processing unit 3'performs a process of arranging only the integrated images selected in each cycle in chronological order.
処理した画像データを記憶装置に記憶し、溶接装置１１にフィードバックをすることで、溶接のパラメータを見直してより品質の高い溶接を実施できる。この際、輝度の大きさに基づいた相対評価で選択し積算処理した各画像を含む全ての画像を記憶装置に記憶してもよいが（例えば、上述したフレームレート９０ｆｐｓの全て）、各サイクルにおいて選択し積算処理した各画像のみを時系列に並べる処理を行い、これを記憶装置に記憶することで、画像データの記憶容量を削減することができる。
By storing the processed image data in the storage device and feeding it back to the
また、画像処理部３’は、選択した各画像のみを時系列に並べる処理を行い、これを表示部４に表示させる。このため、オペレータがアーク溶接部の確認を行うことができる。また、表示部４に表示させることで、オペレータがリアルタイムでアーク溶接部の確認を行うことができる。 Further, the image processing unit 3'performs a process of arranging only each selected image in chronological order, and displays this on the display unit 4. Therefore, the operator can confirm the arc welded portion. Further, by displaying the display on the display unit 4, the operator can confirm the arc welded portion in real time.
なお、上述した本実施形態の画像処理装置１’では、画素１点１点の明るさを積算することにより輝度のヒストグラムを作成することで輝度の大きさを得たが、この限りでなく、画素１点１点の明るさから明るい画素と暗い画素の比率、即ち明るさの分布に基づいて輝度の大きさを得てもよい。 In the image processing device 1'of the present embodiment described above, the magnitude of the brightness is obtained by creating a luminance histogram by integrating the brightness of each pixel, but this is not the case. From the brightness of each pixel, the magnitude of the brightness may be obtained based on the ratio of bright pixels to dark pixels, that is, the distribution of brightness.
なお、上述した本実施形態の画像処理装置１’では、輝度の大きさを画像の明るさで説明したが、輝度の大きさを画像の色から得てもよい。例えば、青色が多い場合はアークの光量が多く、赤色が多い場合はアークの光量が少なく、輝度の大きさとして画像の色から選択しても、同様に簡便に明確な動画を取得できる。 In the image processing device 1'of the present embodiment described above, the magnitude of the brightness is described by the brightness of the image, but the magnitude of the brightness may be obtained from the color of the image. For example, when there is a lot of blue, the amount of arc light is large, and when there is a lot of red, the amount of arc light is small, and even if the brightness is selected from the colors of the image, a clear moving image can be obtained easily.
なお、上述した実施形態１，２では、溶接装置１１としてＭＡＧ溶接を行う装置を説明したが、溶接装置１１は、ＭＡＧ溶接以外に、例えば、ＴＩＧ溶接（Tungsten Inert Gas Welding）などの他のアーク溶接を行うものであってもよい。即ち、実施形態１，２で説明した画像処理装置１，１’は、アーク発生期間と短絡期間の周期が極短時間で入れ替わるＭＡＧ溶接において特に有用であるが、他のアーク溶接に用いることを除外するものではなく、他のアーク溶接であっても簡便に開先や溶融池を明確に識別することができる。
In the above-described first and second embodiments, the device for performing MAG welding as the
１，１’ 画像処理装置
２，２Ａ，２Ｂ カメラ
３，３’ 画像処理部
４ 表示部
５ 光学部材
６Ａ，６Ｂ フィルタ
７ 波長カットフィルタ
１１ 溶接装置
１２ 電源
１３ ワイヤ供給部
１３ａ 溶接ワイヤ
１４ 溶接トーチ
１５ シールドガス供給部
１６ 移動機構
１７ 溶接制御部
１００ 溶接対象
１０１ 開先
１０２ 溶融池
１０３ 溶接ビード
Ａ アーク
1,
Claims (20)
前記撮像部が撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理を、実行する処理部と、
を備える、画像処理装置。 An imaging unit that captures the point where the amount of light changes according to the processing status,
A plurality of images arranged in a time series captured by the imaging unit are divided into a predetermined number of cycles, the magnitudes of brightness for each image included in each cycle are compared, and the order of the magnitudes of the brightness is within the cycle. A processing unit that executes an image selection process that selects images in a predetermined order in
An image processing device.
請求項１〜３のいずれか１項に記載の画像処理装置。 The processing unit acquires images captured by the imaging unit at a frame rate of 90 fps, sets a predetermined number of one cycle at the frame rate of 90 fps as three images, and one image from three images included in each cycle. To select,
The image processing apparatus according to any one of claims 1 to 3.
前記処理部は、時系列に並べられた各前記画像を前記表示部に表示させる、請求項８に記載の画像処理装置。 With an additional display
The image processing apparatus according to claim 8, wherein the processing unit displays each of the images arranged in chronological order on the display unit.
前記カメラ毎に設けられ、各々の透過光量が異なる複数のフィルタと、
各前記カメラに、加工状況に応じて光量が変化する地点の像を、各前記カメラに対応する前記フィルタを介して入射させる光学部材と、
をさらに備え、
前記処理部は、
各前記カメラから画像を同期して取得すると共に、
一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択し、
他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択し、
選択した前記第一画像と、選択した第二画像とを積算処理し、第三画像を生成する、請求項１〜７のいずれか１項に記載の画像処理装置。 The imaging unit has a plurality of cameras and has a plurality of cameras.
A plurality of filters provided for each camera and having different amounts of transmitted light,
An optical member that causes each camera to receive an image of a point where the amount of light changes according to a processing condition through the filter corresponding to each camera.
With more
The processing unit
Images are acquired synchronously from each of the cameras, and at the same time
The image selection process is executed on a plurality of images arranged in a time series captured by one camera, and the first image is selected.
The image selection process is executed on a plurality of images in chronological order captured by the other cameras, and a second image is selected.
The image processing apparatus according to any one of claims 1 to 7, wherein the selected first image and the selected second image are integrated and processed to generate a third image.
前記処理部は、時系列に並べられた前記第三画像の各々を前記表示部に表示させる、請求項１３に記載の画像処理装置。 With an additional display
The image processing apparatus according to claim 13, wherein the processing unit displays each of the third images arranged in chronological order on the display unit.
撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理を、実行する工程と、
を含む、画像処理方法。 The process of imaging the point where the amount of light changes according to the processing situation,
A plurality of images arranged in a time series captured are divided into a predetermined number of cycles, the magnitudes of brightness for each image included in each cycle are compared, and the order of the magnitudes of the brightness is a predetermined order within the cycle. The process of executing the image selection process to select the image that is
Image processing methods, including.
画像を選択する工程は、
各前記カメラから画像を同期して取得すると共に、
一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択する工程と、
他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択する工程と、
選択した第一画像と、選択した第二画像とを積算処理し、第三画像を生成する工程と、
をさらに含む、請求項１６に記載の画像処理方法。 In the process of imaging a point where the amount of light changes according to the processing situation, an image of the point where the amount of light changes according to the processing situation is incident on a plurality of cameras through filters having different amounts of transmitted light.
The process of selecting an image is
Images are acquired synchronously from each of the cameras, and at the same time
A step of executing the image selection process on a plurality of images arranged in a time series captured by one camera and selecting a first image,
A step of executing the image selection process on a plurality of images arranged in a time series captured by the other cameras and selecting a second image,
A process of integrating the selected first image and the selected second image to generate a third image, and
The image processing method according to claim 16, further comprising.
撮像した時系列に並ぶ複数の画像を所定数のサイクルに分け、各前記サイクル内に含まれる画像毎の輝度の大きさを比較し、該輝度の大きさの順位が前記サイクル内で所定の順位である画像を選択する画像選択処理のステップを実行させる、プログラム。 For computers that process images that capture images of points where the amount of light changes according to the processing conditions
A plurality of images arranged in a time series captured are divided into a predetermined number of cycles, the magnitudes of brightness for each image included in each cycle are compared, and the order of the magnitudes of the brightness is a predetermined order within the cycle. A program that executes the steps of an image selection process that selects an image that is.
加工状況に応じて光量が変化する地点の像が、透過光量が異なるフィルタを介して複数のカメラに入射され、各前記カメラから画像を同期して取得すると共に、
一の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第一画像を選択するステップと、
他の前記カメラが撮像した時系列に並ぶ複数の画像に対して前記画像選択処理を実行し、第二画像を選択するステップと、
選択した第一画像と、選択した第二画像とを積算処理し、第三画像を生成するステップと、
をさらに含む、請求項１８に記載のプログラム。 The step of selecting an image is
An image of a point where the amount of light changes according to the processing situation is incident on a plurality of cameras through filters having different amounts of transmitted light, and images are acquired from each of the cameras in synchronization.
A step of executing the image selection process on a plurality of images arranged in a time series captured by one camera and selecting a first image.
A step of executing the image selection process on a plurality of images taken by the other cameras in a time series and selecting a second image,
A step of integrating the selected first image and the selected second image to generate a third image,
The program of claim 18, further comprising.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019037675A JP2020141370A (en) | 2019-03-01 | 2019-03-01 | Image processing device, method of the same, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019037675A JP2020141370A (en) | 2019-03-01 | 2019-03-01 | Image processing device, method of the same, program, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020141370A true JP2020141370A (en) | 2020-09-03 |
Family
ID=72280629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019037675A Ceased JP2020141370A (en) | 2019-03-01 | 2019-03-01 | Image processing device, method of the same, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020141370A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09266545A (en) * | 1995-07-27 | 1997-10-07 | Hitachi Denshi Ltd | Image pickup recorder for object having large gradation difference |
-
2019
- 2019-03-01 JP JP2019037675A patent/JP2020141370A/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09266545A (en) * | 1995-07-27 | 1997-10-07 | Hitachi Denshi Ltd | Image pickup recorder for object having large gradation difference |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5279479B2 (en) | Welding area monitoring apparatus and monitoring method | |
| US8884187B2 (en) | Welding observation apparatus | |
| JP7357463B2 (en) | Judgment device, judgment system, welding system, judgment method, program, and storage medium | |
| US11285558B2 (en) | Multiple input welding vision system | |
| JP2009125790A (en) | Monitoring apparatus of arc welding | |
| US20160175964A1 (en) | Welding vision and control system | |
| US20130342678A1 (en) | Visual monitoring, or imaging, system and method for using same | |
| JP6626675B2 (en) | Image processing apparatus, image processing method, laser or TIG welding apparatus, and laser or TIG welding apparatus control method | |
| CN111988519B (en) | Welding guidance system for providing high-quality images | |
| WO2016118247A1 (en) | User configuration of image capture and display in a welding vision system | |
| US11736787B2 (en) | Digital display welding mask with long-exposure image capture | |
| JP2018503515A (en) | Vision and control system for welding | |
| JP2013207439A (en) | Imaging device for welding | |
| JP2020141370A (en) | Image processing device, method of the same, program, and recording medium | |
| JP2020171967A (en) | Weld observation device and weld system | |
| JP3243519B2 (en) | Laser processing status remote monitoring device | |
| JP3322549B2 (en) | Monitoring device for welding status | |
| JP6518574B2 (en) | Welding monitoring device | |
| KR20220126936A (en) | Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval | |
| JPH08174217A (en) | Automatic welding method and apparatus thereof | |
| KR102111670B1 (en) | Camera device and control method with electronic shutter speed preset function for quick response to high illuminant light source operation | |
| JP2022153154A (en) | Welding visualization system and welding mask with welding visualization system | |
| JP5732571B2 (en) | Welding observation device and arc welding machine | |
| WO2017041901A1 (en) | Joining or separating method | |
| JPS6171182A (en) | Weld line image inputting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230725 |