JP7241011B2 - Information processing device, information processing method and program - Google Patents

Description

本発明は、鉄スクラップ群の中からトランプエレメント等の非鉄物質を含む禁忌物（異物、除去対象物）を検出して、鉄スクラップ群を検品するための情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program for detecting contraindicated substances (foreign substances, objects to be removed) including non-ferrous substances such as tramp elements from a group of iron scraps and inspecting the group of iron scraps. .

例えば電炉メーカ等の鉄スクラップ買取会社が鉄スクラップ販売会社から鉄スクラップを購入する場合、鉄スクラップ買取会社の敷地に鉄スクラップ販売会社が大量の鉄スクラップをトラックに乱雑に積載して持ち込み、その敷地内に搬入した時点でトラックの総重量とスクラップを荷下ろしした後の空状態のトラックの重量との差分の重量を根拠に購入料金を算出している。 For example, when an iron scrap purchasing company such as an electric furnace manufacturer purchases iron scrap from an iron scrap selling company, the iron scrap selling company randomly loads a large amount of iron scrap on a truck and brings it to the site of the iron scrap purchasing company. The purchase fee is calculated based on the difference between the total weight of the truck when it is brought into the warehouse and the weight of the empty truck after the scrap is unloaded.

一方、トラックに積載されているのは、純粋な鉄スクラップだけとは限らず、ダストと呼ばれる非鉄物質の粉末状の物質も含まれていることから、現在は、主に検品作業者（以下「検収員」と呼ぶ）の目測によってダスト量を判定し、判定したダスト量を上記差分の重量から差し引くことで買い取り重量とする業務が行われている。 On the other hand, trucks are loaded with not only pure iron scrap but also powdered non-ferrous materials called dust. The amount of dust is determined by visual measurement by an inspector), and the determined amount of dust is subtracted from the difference in weight to obtain the purchase weight.

ところで、検収員の目測によるダスト量の推定では、正確なダスト量が求められないことはおろか、検収員の技量にも大きく左右されてしまう。
また、ダスト量を判定する基準が定かではないため、異なる買取業者間や買取を行う拠点間でも差が生じてしまう。なお、ダストとは別にスケールと呼ばれる鉄粉についても同じように買い取り重量から差し引くことが行われる。 By the way, estimation of the amount of dust by visual inspection by an acceptance inspector does not only result in an inaccurate amount of dust, but also greatly depends on the skill of the inspector.
In addition, since the criteria for judging the amount of dust are not clear, there will be differences between different purchasers and between purchasing sites. In addition to dust, iron powder called scale is similarly deducted from the purchased weight.

鉄スクラップの検収を補助する技術として、例えば破砕後の鉄スクラップ群の中から銅をはじめとするその他の金属等の異物（禁忌物）の混入を検知する技術が公開されている。（例えば特許文献１参照）。 As a technique for assisting the acceptance inspection of iron scrap, for example, a technique for detecting contamination of foreign substances (contraindicated substances) such as copper and other metals in a group of crushed iron scraps has been disclosed. (See Patent Document 1, for example).

特開平７－２５３４００号公報JP-A-7-253400

しかしながら、特許文献１の技術では、異物よりも細かいダストの検出やダストの量を推定することについて何ら言及されていない。 However, in the technique of Patent Document 1, there is no mention of detecting dust finer than foreign matter or estimating the amount of dust.

本願発明はこのような状況に鑑みてなされたものであり、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断できるようにすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and an object of the present invention is to objectively determine the amount of contraindicated substances contained in steel scrap to be inspected.

上記目的を達成するため、本発明の一態様の情報処理装置は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
を備える。 In order to achieve the above object, an information processing device according to one aspect of the present invention includes:
A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
Prepare.

本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。 An information processing method and a program corresponding to the information processing apparatus of one aspect of the present invention are also provided as an information processing method and program of one aspect of the present invention.

本発明によれば、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断することができる。 According to the present invention, it is possible to objectively judge the amount of contraindicated substances contained in iron scrap to be inspected.

本発明の情報処理装置に係る一実施形態のサーバを含む鉄スクラップ検品システムの構成例を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the structural example of the iron scrap inspection system containing the server of one Embodiment which concerns on the information processing apparatus of this invention. 図１の鉄スクラップ検品システムのうち、本発明の情報処理装置に係るサーバのハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the server which concerns on the information processing apparatus of this invention among the iron scrap inspection systems of FIG. 一実施形態の図１の鉄スクラップ検品システムのサーバの機能的構成の一例を示す機能ブロック図である。2 is a functional block diagram showing an example of a functional configuration of a server of the iron scrap inspection system of FIG. 1 of one embodiment; FIG. 鉄スクラップが荷下ろし場所上方に移動された様子を示す図である。It is a figure which shows a mode that iron scrap was moved above an unloading place. 図１の鉄スクラップ検品システムにおける図２のサーバの動作を示すフローチャートである。2. It is a flowchart which shows operation|movement of the server of FIG. 2 in the iron scrap inspection system of FIG. ダストを含む煙が舞う複数の撮像画像の中から選定された代表の撮像画像を示す図である。FIG. 10 is a diagram showing a representative captured image selected from among a plurality of captured images in which smoke containing dust dances;

以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の情報処理装置の一実施形態に係るサーバを含む鉄スクラップ検品システムの構成を示す図である。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing the configuration of an iron scrap inspection system including a server according to an embodiment of an information processing apparatus of the present invention.

図１に示す鉄スクラップ検品システムは、管理用コンピュータ１及びサーバ２とネットワークＮを介して接続されたクレーン４、カメラ５及びセンサ６とを含む。 The iron scrap inspection system shown in FIG.

管理用コンピュータ１は、サーバ２により公開されるＷｅｂサイトの情報を閲覧するためのブラウザプログラムがインストールされている。ブラウザプログラムを以下「ブラウザ」と呼ぶ。 The management computer 1 is installed with a browser program for viewing information on the website published by the server 2 . A browser program is hereinafter referred to as a "browser".

クレーン４、カメラ５及びセンサ６は、鉄スクラップ検品場に配置されている。クレーン４は、鉄スクラップ検品場の高所に設置されたレール９上を水平方向に移動自在に配置されている。クレーン４は、トラック３１の所定の停止位置から荷下ろし場所８までの間を移動する。 A crane 4, a camera 5 and a sensor 6 are placed at a steel scrap inspection site. The crane 4 is arranged so as to be horizontally movable on rails 9 installed at a high place in the iron scrap inspection site. The crane 4 moves from a predetermined stop position of the truck 31 to the unloading place 8. - 特許庁

クレーン４には、リフトマグネット３が下垂して昇降自在に配置されている。リフトマグネット３は、トラック３１の荷台３２に積載された鉄スクラップＦを磁着する。リフトマグネット３に磁着された鉄スクラップＦは、クレーン４により、矢印Ａの方向に、荷下ろし場所８の上方まで移動され、その位置で落下される。鉄スクラップＦには、ダスト及びスケール等の買取対象外の物質（禁忌物）が含まれている。ダストは、例えば粉砕された石の粉塵等の非鉄物質の粉末状の物質である。スケールは、鉄粉等である。 A lift magnet 3 is arranged on the crane 4 so as to be vertically suspended. The lift magnet 3 magnetically attracts the iron scrap F loaded on the bed 32 of the truck 31 . The iron scrap F magnetically attracted to the lift magnet 3 is moved by the crane 4 in the direction of the arrow A to above the unloading place 8 and dropped at that position. The iron scrap F contains substances (contraindicated substances) such as dust and scale that are not subject to purchase. Dust is a powdery material of non-ferrous material such as, for example, crushed stone dust. The scale is iron powder or the like.

カメラ５は、トラック３１の停止位置から荷下ろし場所８に至る範囲を撮像範囲とするように鉄スクラップ検品場の高所に配置されている。具体的には、カメラ５は、トラック３１の荷台３２か下す鉄スクラップＦやリフトマグネット３の可動範囲全体が映るような位置に設置される。 The camera 5 is arranged at a high place in the iron scrap inspection field so that the range from the stop position of the truck 31 to the unloading place 8 is an imaging range. Specifically, the camera 5 is installed at a position where the entire movable range of the lift magnet 3 and the iron scrap F under the loading platform 32 of the truck 31 can be captured.

カメラ５は、例えばパンチルトズームカメラ等が用いられる。パンチルトズームカメラを「ＰＴＺカメラ」と呼ぶ。このＰＴＺカメラは、サーバ２により制御されて動作し、制御に応じて光軸（撮像方向）を向けるためのパン、チルト、ズーム等の機能を有する。 A pan-tilt-zoom camera or the like is used as the camera 5, for example. A pan-tilt-zoom camera is called a "PTZ camera". This PTZ camera operates under the control of the server 2 and has functions such as pan, tilt and zoom for directing the optical axis (imaging direction) according to the control.

カメラ５は、例えば３０フレーム／秒程度で画像を撮像し出力する。カメラ５により撮影された画像を撮像画像と言う。撮像画像は、「動画像」と「静止画像」との両方を含むものとする。また、撮像画像は、例えば動画像内の各フレーム、連写された各写真等を含む。 The camera 5 captures and outputs an image at, for example, about 30 frames/second. An image captured by the camera 5 is called a captured image. It is assumed that captured images include both “moving images” and “still images”. Also, the captured image includes, for example, each frame in a moving image, each continuously shot photograph, and the like.

カメラ５は、サーバ２により制御されて撮像を開始及び終了する。この例では、カメラ５は、トラック３１の荷台３２からリフトアップされた鉄スクラップＦが荷下ろし場所８の上方に移動されて落下された後、数秒間の画像を撮像する。 The camera 5 is controlled by the server 2 to start and end imaging. In this example, the camera 5 captures images for several seconds after the iron scrap F lifted from the loading platform 32 of the truck 31 is moved above the unloading place 8 and dropped.

センサ６は、クレーン４の高さでトラック３１の停止位置から荷下ろし場所８までの間に配置されている。センサ６は、リフトマグネット３が荷台３２の位置から荷下ろし場所８の方向へ移動するタイミング、つまり荷台３２上空からリフトマグネット３が水平方向に動き出し、荷台３２の位置から離れたタイミングを検出する。 The sensor 6 is arranged at the height of the crane 4 between the stop position of the truck 31 and the unloading place 8 . A sensor 6 detects the timing when the lift magnet 3 moves from the position of the loading platform 32 toward the unloading place 8, that is, the timing when the lift magnet 3 moves horizontally from above the loading platform 32 and leaves the position of the loading platform 32. - 特許庁

この他、鉄スクラップ検品場には、リモートコントローラが設けられている。リモートコントローラは、クレーン４やカメラ５にケーブルを介して接続される。リモートコントローラは、オペレータの操作によりカメラ５の向きや画角の変更や撮像開始及び終了、クレーン４の移動、リフトマグネット３の昇降等の手動制御が可能である。リモートコントローラとしては、ケーブル以外に、クレーン４やカメラ５と無線通信により接続されるものもある。 In addition, the iron scrap inspection site is equipped with a remote controller. The remote controller is connected to the crane 4 and camera 5 via cables. The remote controller can be operated by an operator to perform manual control such as changing the orientation and angle of view of the camera 5, starting and ending imaging, moving the crane 4, raising and lowering the lift magnet 3, and the like. Some remote controllers are connected to the crane 4 and the camera 5 by wireless communication other than cables.

図２は、図１の情報処理システムのうち、本発明の情報処理装置の第１実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the hardware configuration of the server according to the first embodiment of the information processing apparatus of the present invention in the information processing system of FIG.

サーバ２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。 The server 2 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input/output interface 15, an output section 16, and an input section 17. , a storage unit 18 , a communication unit 19 and a drive 20 .

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The CPU 11 executes various processes according to programs recorded in the ROM 12 or programs loaded from the storage unit 18 to the RAM 13 .
The RAM 13 also stores data necessary for the CPU 11 to execute various processes.

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、及びドライブ２０が接続されている。出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。入力部１７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。記憶部１８は、ハードディスク等で構成され、各種情報のデータを記憶する。 The CPU 11 , ROM 12 and RAM 13 are interconnected via a bus 14 . An input/output interface 15 is also connected to this bus 14 . An output unit 16 , an input unit 17 , a storage unit 18 , a communication unit 19 and a drive 20 are connected to the input/output interface 15 . The output unit 16 includes a display, a speaker, and the like, and outputs images and sounds. The input unit 17 is composed of a keyboard, a mouse, etc., and inputs various kinds of information according to the user's instruction operation. The storage unit 18 is configured by a hard disk or the like, and stores data of various kinds of information.

通信部１９は、ネットワークＮを介して他の管理用コンピュータ１との間で行う通信を制御する。ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
上記では、サーバ２のハードウェア構成を説明したが、サーバ２の機能的構成や処理の詳細については、図３以降の図面を参照して後述する。 The communication unit 19 controls communication with other management computers 1 via the network N. FIG. A removable medium 21 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is mounted in the drive 20 as appropriate. A program read from the removable medium 21 by the drive 20 is installed in the storage section 18 as necessary. In addition, the removable medium 21 can also store various data stored in the storage section 18 in the same manner as the storage section 18 .
Although the hardware configuration of the server 2 has been described above, details of the functional configuration and processing of the server 2 will be described later with reference to FIG. 3 and subsequent drawings.

なお、図１の鉄スクラップ検品システムの管理用コンピュータ１は、図２に示したハードウェア構成と基本的に同様の構成を有している。従って、管理用コンピュータ１のハードウェア構成の図示とその説明は省略する。 The management computer 1 of the iron scrap inspection system shown in FIG. 1 has basically the same hardware configuration as shown in FIG. Therefore, illustration and description of the hardware configuration of the management computer 1 are omitted.

図３は、一実施形態の図１の鉄スクラップ検品システムのうち、図２のサーバ２の機能的構成の一例を示す機能ブロック図である。 FIG. 3 is a functional block diagram showing an example of the functional configuration of the server 2 of FIG. 2 in the iron scrap inspection system of FIG. 1 of one embodiment.

図３に示すように、サーバ２のＣＰＵ１１は、取得部４１、検出部４２、算出部４３、ログデータ生成部４４及びＷｅｂ公開部４５として機能する。
取得部４１は、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ５により時間的に離間して夫々撮像された際に、当該カメラ５から夫々出力される複数の撮像画像を取得する。所定範囲とは、例えば鉄スクラップ検品場の荷下ろし場所８の鉄スクラップＦの落下位置周辺の空間である。 As shown in FIG. 3 , the CPU 11 of the server 2 functions as an acquisition section 41 , a detection section 42 , a calculation section 43 , a log data generation section 44 and a web publication section 45 .
The acquisition unit 41 outputs from the camera 5, when the camera 5 captures images of a predetermined range of space in which smoke based on the dust due to falling contraindicated substances including dust is separated in time by the camera 5. A plurality of captured images are acquired. The predetermined range is, for example, the space around the drop position of the iron scrap F at the unloading place 8 of the iron scrap inspection site.

取得部４１は、カメラ５に対するトラッキング制御機能を有しており、カメラ５から取得される撮像画像の中のリフトマグネット３の画像を画角（撮像範囲）の中央に入れるようにカメラ５のパラメータを逐次変更し、リフトマグネット３の画像をカメラ５にトラッキング（追従）させる。パラメータは、パン、チルト、ズーム等の駆動制御のためのパラメータを含む。 The acquisition unit 41 has a tracking control function for the camera 5, and adjusts the parameters of the camera 5 so that the image of the lift magnet 3 in the captured image acquired from the camera 5 is placed in the center of the angle of view (imaging range). are sequentially changed to cause the camera 5 to track (follow) the image of the lift magnet 3 . The parameters include parameters for drive control such as pan, tilt and zoom.

取得部４１は、画像取得部５１、画像切出部５２、グレースケール化部５３、イベント画像列挙部５４、イベント画像分類部５５を有する。
画像取得部５１は、センサ６によりリフトマグネット３の通過が検知されたタイミングから撮像を開始したカメラ５により一定時間順次撮像される複数の撮像画像を取得する。 The acquisition unit 41 has an image acquisition unit 51 , an image clipping unit 52 , a grayscaling unit 53 , an event image enumeration unit 54 , and an event image classification unit 55 .
The image acquisition unit 51 acquires a plurality of captured images that are sequentially captured for a certain period of time by the camera 5 that starts capturing images at the timing when the sensor 6 detects the passage of the lift magnet 3 .

一定時間とは、センサ６によりリフトマグネット３の通過が検知されたタイミングから、リフトマグネット３が荷下ろし場所８の上空まで移動され、その後、鉄スクラップＦが落下し、所定時間経過する迄の時間を言う。所定時間は、鉄スクラップＦの落下によって粉塵が飛散し、その煙が舞った後、煙の範囲が小さく収束するまでの間であり、一例として例えば３０秒等である。 The fixed time is the time from the timing when the sensor 6 detects the passage of the lift magnet 3 until the lift magnet 3 is moved to the sky above the unloading place 8 and then the iron scrap F falls and the predetermined time elapses. say. The predetermined period of time is a period of time from when the iron scrap F scatters dust and the smoke rises until the area of the smoke converges, and is, for example, 30 seconds.

画像切出部５２は、画像取得部５１により取得された複数の撮像画像のうち、リフトマグネット３の下部の画像をクロッピングする。クロッピングとは、元画像の一部の画像を切り出すことを言う。 The image cropping unit 52 crops the image of the lower part of the lift magnet 3 among the plurality of captured images obtained by the image obtaining unit 51 . Cropping means cutting out a part of the original image.

グレースケール化部５３は、画像切出部５２により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。 The grayscaling unit 53 calculates the absolute value of the inter-frame difference for each frame of the captured image cut out by the image cutting out unit 52, converts it to gray scale, and generates an inter-frame difference image. At this time, since there is a tracking error, the frame for which the difference is taken is moved vertically and horizontally in parallel to drift to a position where the sum of the differences is the smallest, and then the inter-frame difference image is generated.

イベント画像列挙部５４は、グレースケール化部５３により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている、画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。 The event image enumeration unit 54 determines that each pixel value of the inter-frame difference image generated by the grayscaling unit 53 or the total number of pixels having a difference equal to or greater than the threshold exceeds a preset threshold. Frames with a large total pixel value or number of pixels are listed as an event image group.

イベント画像分類部５５は、リフトマグネット３の動作状況を検出したセンサ６の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップＦの移送状況（リフトアップ時、移動時、落下時等）に応じて分類し記憶部１８に記憶する。 The event image classification unit 55 sorts the event image group using the detection information of the sensor 6 that detects the operation status of the lift magnet 3 and the learning model, and classifies the event image group into the transfer status of the iron scrap F (lifting up, moving, dropping time, etc.) and stored in the storage unit 18 .

学習モデルは、移送状況に応じたイベント画像の分類の他に、撮像画像から鉄スクラップＦに禁忌物が含まれているか否かや、鉄スクラップＦに禁忌物が含まれている場合の禁忌物の位置や種類等の特定（ＡＩ解析）に利用される。 In addition to classifying event images according to transport conditions, the learning model can determine whether or not the iron scrap F contains contraindicated substances based on the captured images, and if contraindicated substances are contained in the iron scrap F. It is used to identify the position and type of the data (AI analysis).

検出部４２は、複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。検出部４２は、領域分割部６１、フレーム選定部６２、煙濃度画像生成部６３を有する。 The detection unit 42 detects, as a smoke image, the captured image having the largest area of smoke among the plurality of captured images. The detection unit 42 has an area division unit 61 , a frame selection unit 62 and a smoke density image generation unit 63 .

領域分割部６１は、イベント画像分類部５５により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を記憶部１８から読み出す。領域分割部６１は、記憶部１８から読み出した落下時の撮像画像（フレーム）に対応するフレーム間差分画像のうち、画素上の差分値が一定以上あるフレームについて差分が大きい画素とそれ以下の画素との間の領域分割を行う。つまりフレームの中で動きのある領域のみを抽出する。
フレーム選定部６２は、領域分割部６１により分割された領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部１８に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。 The region dividing unit 61 reads from the storage unit 18 the captured image classified as the one at the time of falling among the one or more captured images classified by the event image classifying unit 55 . The region dividing unit 61 divides the difference between the pixels having a large difference and the pixels having a smaller difference for the frame having a pixel difference value greater than or equal to a certain value among the inter-frame difference images corresponding to the captured images (frames) at the time of the fall read out from the storage unit 18 . Perform domain division between In other words, it extracts only moving regions in the frame.
The frame selection unit 62 selects a frame having the largest area divided by the region division unit 61 and stores it in the storage unit 18 as a representative smoke image. A technique such as Rabling, for example, is used to divide the pixel group into regions.

煙濃度画像生成部６３は、フレーム選定部６２により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部１８に記憶する。煙濃度画像生成部６３は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の複数の統計値のベクトルを煙値として記憶部１８に記憶する。 The smoke density image generation unit 63 generates an image obtained by taking the difference between the representative smoke image selected by the frame selection unit 62 and the captured image immediately before the smoke starts to fall, and stores it in the storage unit 18 as a smoke density image. Remember. The smoke density image generation unit 63 stores, in the generated smoke density image, a vector of a plurality of statistical values such as average, variance, and median of pixel values equal to or greater than a certain threshold in the storage unit 18 as smoke values.

算出部４３は、検出部４２により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。
算出部４３は、画像補正部７１、煙値算出部７２、煙値補正部７３及びダスト量推定部７４を有する。 The calculation unit 43 calculates a smoke value, which is a numerical value representing the amount of dust, based on the density and size of smoke from the smoke image detected by the detection unit 42 .
The calculator 43 has an image corrector 71 , a smoke value calculator 72 , a smoke value corrector 73 and a dust amount estimator 74 .

画像補正部７１は、代表的な煙画像に含まれるリフトマグネット３の画像の見た目の大きさが、リフトアップ時のリフトマグネット３の大きさと一致するように代表的な煙画像の大きさを補正する。
例えば互いの画像中に写るリフトマグネット３の横幅が一致するように拡大又は縮小する等の方法が考えられる。
また、煙画像の中に写るリフトマグネット３の３次元空間上の位置（互いに直交するＸ軸、Ｙ軸、Ｚ軸の各軸の方向で指定される位置）と３次元空間における原点からの距離とから、互いの画像中のリフトマグネット３の大きさが一致するように拡大又は縮小してもよい。 The image correction unit 71 corrects the size of the representative smoke image so that the apparent size of the image of the lift magnet 3 included in the representative smoke image matches the size of the lift magnet 3 at the time of lift-up. do.
For example, a method of enlarging or reducing the widths of the lift magnets 3 appearing in each other's images to match each other is conceivable.
In addition, the position of the lift magnet 3 in the smoke image on the three-dimensional space (the position specified by the directions of the mutually orthogonal X-, Y-, and Z-axes) and the distance from the origin in the three-dimensional space , the images may be enlarged or reduced so that the sizes of the lift magnets 3 in the images match each other.

煙値算出部７２は、補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積についても煙値として記憶部１８に記憶する。レイブリング結果の面積とは、煙の領域を矩形で囲んだ場合の幅と高さを掛け合わせて求めた面積である。 The smoke value calculation unit 72 obtains the smoke area in the state of the corrected image by rabling, and also stores the area of the rabling result indicating the smoke area in the storage unit 18 as the smoke value. The area of the rabling result is the area obtained by multiplying the width and height of the smoke area enclosed by a rectangle.

煙値補正部７３は、煙値算出部７２により算出された煙値を、空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所８の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。 The smoke value correction unit 73 corrects the smoke value calculated by the smoke value calculation unit 72 based on the environmental conditions of the space. The environmental conditions of the space are, for example, conditions such as the brightness, temperature, humidity, and size of the unloading place 8 . This absorbs the environmental difference at the time of image acquisition and normalizes the smoke value.

ダスト量推定部７４は、煙濃度画像生成部６３により生成されて記憶部１８に記憶された煙濃度画像と、予め用意した鉄スクラップとダスト量との相関関係を示す学習モデルとに基づいて、落下したダストの量を推定する。学習モデルの構築に、例えばＹｏｌｏ等を用いる。Ｙｏｌｏは、“Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ”の略称であり、リアルタイム画像認識を行うアルゴリズム及びその実装の一つであり、実際の撮像画像を機械学習することで学習モデルが構築される。 The dust amount estimation unit 74 is based on the smoke density image generated by the smoke density image generation unit 63 and stored in the storage unit 18 and a learning model showing the correlation between the iron scrap and the dust amount prepared in advance. Estimate the amount of dust that fell. Yolo, for example, is used to construct the learning model. Yolo is an abbreviation for “You only look once”, and is one of algorithms and implementations for real-time image recognition, and a learning model is constructed by machine-learning an actual captured image.

煙値補正部７３により補正された煙値は、煙の濃さや大きさ等が正規化されているため、他の検収場所での検収時における相対値としての比較は可能であるが、実際にどの程度のダスト量でどの程度の煙として現れるかといった絶対値にはならない。 Since the smoke value corrected by the smoke value correction unit 73 is normalized in terms of smoke density, size, etc., it can be compared as a relative value at the time of acceptance inspection at another acceptance inspection location. It is not an absolute value that indicates how much smoke appears with what amount of dust.

そこで、実際に鉄スクラップＦにＮ％（Ｎは１００までの正の数）ずつダストを混ぜたトラックを用意し、リフトマグネット３から落下させて、Ｎ％時の煙値やログデータを計測した実測データであるグランドトゥルースを数種類、事前に用意しておく。例えば０％から０．１％ずつ１０％までの１００種類のグランドトゥルースを取得しておく。 Therefore, we actually prepared a truck in which N% (N is a positive number up to 100) dust was mixed with the iron scrap F, dropped it from the lift magnet 3, and measured the smoke value and log data at N%. Several types of ground truth, which are actually measured data, are prepared in advance. For example, 100 types of ground truth from 0% to 10% by 0.1% are acquired.

ダスト量推定部７４は、検収時に求めた煙値と上記グランドトゥルース（実測データ）とを比較して、検収時に求めた煙値に近似するグランドトゥルース（実測データ）のＮを推定ダスト量とする。 The dust amount estimating unit 74 compares the smoke value determined at the time of acceptance with the ground truth (actual data), and sets N of the ground truth (actual data) that approximates the smoke value determined at the time of acceptance as the estimated dust amount. .

ログデータ生成部４４は、カメラ５により撮像され、取得した一連の撮像画像（トラック３１の荷台３２に積載された鉄スクラップＦの荷姿画像、上記イベント画像群、煙画像、煙濃度画像）及び煙値をログデータとして記憶部１８に記憶する。 The log data generation unit 44 captures a series of captured images captured by the camera 5 (images of the packing appearance of the iron scrap F loaded on the loading platform 32 of the truck 31, the event image group, the smoke image, the smoke density image) and The smoke value is stored in the storage unit 18 as log data.

この際、ログデータ生成部４４は、分類上の文字とペアにして、オペレータにより入力された販売会社又はトラックを識別するための識別情報（この例ではトラックＩＤと呼ぶ）や日付、リフトアップしたカウント等の属性情報を紐付け（対応させ）て記憶する。
Ｗｅｂ公開部４５は、ログデータ生成部４４により生成されたログデータをＷｅｂコンテンツにして、このサーバ２にログインした閲覧権限を持つユーザに対して公開する。 At this time, the log data generation unit 44 pairs the classification characters with identification information (referred to as a truck ID in this example) for identifying the sales company or the truck input by the operator, the date, and the lifted-up Attribute information such as count is linked (associated) and stored.
The web publishing unit 45 converts the log data generated by the log data generating unit 44 into web content and publishes it to users who have logged in to the server 2 and have viewing authority.

記憶部１８には、予め学習モデルが記憶されている、学習モデルは、予め用意したリフトアップ時、移動時、落下時毎に分類されたイベント画像群等について機械学習を行い、モデル化したものである。学習モデルは、画像が入力されると、リフトアップ時、移動時、落下時のいずれかに分類された画像を出力する。 A learning model is stored in advance in the storage unit 18. The learning model is modeled by performing machine learning on an event image group or the like classified in advance for lift-up, movement, and fall. is. When an image is input to the learning model, the learning model outputs an image classified into one of lift-up, movement, and fall.

次に、図４乃至図６を参照して、このサーバ２により実行されるダスト量の処理について説明する。図４は、クレーン４によりリフトマグネット３に磁着された鉄スクラップＦが荷下ろし場所８まで移動された様子を示す図である。図５は、図３の機能的構成を有するサーバ２により実行される煙値算出処理の流れの一例を示すフローチャートである。図６は、ダストを含む煙が舞う複数の撮像画像の中から選定された代表の撮像画像を示す図である。 Next, the dust amount processing executed by the server 2 will be described with reference to FIGS. 4 to 6. FIG. FIG. 4 is a diagram showing how the iron scrap F magnetically attached to the lift magnet 3 is moved to the unloading place 8 by the crane 4 . FIG. 5 is a flow chart showing an example of the flow of smoke value calculation processing executed by the server 2 having the functional configuration of FIG. FIG. 6 is a diagram showing a representative picked-up image selected from among a plurality of picked-up images of smoke containing dust.

この鉄スクラップ検品システムの場合、サーバ２は、カメラ５により撮像される撮像画像から鉄スクラップＦに含まれるダストの量を表す数値である煙値を求める処理を以下のように実行する。 In the case of this iron scrap inspection system, the server 2 executes processing for obtaining a smoke value, which is a numerical value representing the amount of dust contained in the iron scrap F, from the captured image captured by the camera 5 as follows.

この実施形態の鉄スクラップ検品システムでは、販売会社のトラック３１が荷下ろしする位置に停止すると、オペレータが入力部１７からトラック３１のトラックＩＤを入力すると共に、リモートコントローラを操作して、カメラ５の光軸をトラック３１が荷下ろしする位置の方向へ向ける。オペレータは、クレーンを操作する操作者である。この他に、検収員がいる。検収員は、トラック３１で搬入された鉄スクラップＦを検品及び等級付けをする。 In the iron scrap inspection system of this embodiment, when the truck 31 of the sales company stops at the unloading position, the operator inputs the truck ID of the truck 31 from the input unit 17 and operates the remote controller to turn on the camera 5. The optical axis is directed to the position where the truck 31 unloads. An operator is an operator who operates a crane. In addition, there are inspectors. The inspection staff inspects and grades the iron scrap F brought in by the truck 31 .

続いて、リフトマグネット３を降下させる前に、オペレータが入力部１７を操作して、トラック３１の荷台３２の鉄スクラップＦの画像をカメラ５に撮像させ荷姿画像として記憶部１８に記憶する。 Subsequently, before lowering the lift magnet 3, the operator operates the input unit 17 to cause the camera 5 to take an image of the iron scrap F on the bed 32 of the truck 31 and store it in the storage unit 18 as a packing image.

ここで、オペレータがリモートコントローラを操作して、クレーン４を移動させてトラック３１の荷台３２の鉄スクラップＦの位置にリフトマグネット３を降下させて、リフトマグネット３に鉄スクラップＦを磁着させる。 Here, the operator operates the remote controller to move the crane 4 to lower the lift magnet 3 to the position of the iron scrap F on the bed 32 of the truck 31, thereby magnetizing the iron scrap F to the lift magnet 3.

そして、オペレータがリモートコントローラを操作して、リフトマグネット３を上昇させて、鉄スクラップＦをリフトアップする。そして、クレーン４を水平方向に移動させると、サーバ２の取得部４１が、カメラ５から取得される撮像画像の中のリフトマグネット３の画像を画角（撮像範囲）の中央に入れるようにカメラ５のパラメータを制御し、リフトマグネット３の画像をトラッキング（追従）する。 Then, the operator operates the remote controller to raise the lift magnet 3 to lift up the iron scrap F. Then, when the crane 4 is moved in the horizontal direction, the acquisition unit 41 of the server 2 moves the camera so that the image of the lift magnet 3 in the captured image acquired from the camera 5 is placed in the center of the angle of view (imaging range). 5 parameters are controlled, and the image of the lift magnet 3 is tracked (followed).

リフトマグネット３が水平方向に移動して、センサ６の位置に達すると、センサ６が検出してカメラ５に検出信号を送信する。センサ６からの検出信号を受信したカメラ５は、画像の撮像を開始しサーバ２へ送信する。
そして、図４に示すように、リフトマグネット３が荷下ろし場所８の上方の位置に到達すると、鉄スクラップＦを落下させる。これにより、鉄スクラップＦと鉄スクラップＦに含まれるダスト及びスケール等を含む買取対象外の物質（禁忌物）が荷下ろし場所８に落下する。
サーバ２では、図５のステップＳ１１において、取得部４１が、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ５により時間的に離間して夫々撮像された際に、当該カメラ５から夫々出力される複数の撮像画像を取得する。 When the lift magnet 3 moves horizontally and reaches the position of the sensor 6 , the sensor 6 detects and transmits a detection signal to the camera 5 . The camera 5 that has received the detection signal from the sensor 6 starts capturing an image and transmits it to the server 2 .
Then, as shown in FIG. 4, when the lift magnet 3 reaches a position above the unloading place 8, the iron scrap F is dropped. As a result, the iron scraps F and the substances (contraindicated substances) including the dust and scale contained in the iron scraps F, which are not subject to purchase (contraindicated substances), fall to the unloading place 8 .
In the server 2, in step S11 of FIG. 5, the acquisition unit 41 captures, with the camera 5, the space of a predetermined range where the smoke caused by the dust caused by falling contraindicated substances containing dust is spaced apart in time. A plurality of picked-up images respectively output from the camera 5 are acquired when the camera 5 receives the image.

次に、ステップＳ１２において、検出部４２は、取得部４１により取得された複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。 Next, in step S<b>12 , the detection unit 42 detects, as a smoke image, the captured image having the largest area of smoke among the plurality of captured images acquired by the acquisition unit 41 .

ステップＳ１３において、算出部４３は、検出部４２により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。 In step S<b>13 , the calculation unit 43 calculates a smoke value, which is a numerical value representing the amount of dust, from the smoke image detected by the detection unit 42 based on the density and size of the smoke.

以下、サーバ２の動作を詳細に説明する。
サーバ２の取得部４１では、画像取得部５１が、センサ６によりリフトマグネット３の通過が検知されたタイミングから撮像を開始したカメラ５により一定時間、順次撮像される複数の撮像画像を取得する。 The operation of the server 2 will be described in detail below.
In the acquisition unit 41 of the server 2, the image acquisition unit 51 acquires a plurality of captured images sequentially captured for a certain period of time by the camera 5 that starts capturing images at the timing when the sensor 6 detects the passage of the lift magnet 3.

画像切出部５２は、画像取得部５１により取得された複数の撮像画像のうち、リフトマグネット３の下部の画像をクロッピングする。 The image cropping unit 52 crops the image of the lower part of the lift magnet 3 among the plurality of captured images obtained by the image obtaining unit 51 .

グレースケール化部５３は、画像切出部５２により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。 The grayscaling unit 53 calculates the absolute value of the inter-frame difference for each frame of the captured image cut out by the image cutting out unit 52, converts it to gray scale, and generates an inter-frame difference image. At this time, since there is a tracking error, the frame for which the difference is taken is moved vertically and horizontally in parallel to drift to a position where the sum of the differences is the smallest, and then the inter-frame difference image is generated.

イベント画像列挙部５４は、グレースケール化部５３により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。 The event image enumeration unit 54 selects pixels whose respective pixel values of the inter-frame difference image generated by the grayscaling unit 53 or the total number of pixels having a difference equal to or greater than the threshold exceeds a preset threshold. Frames with a large total number of values or pixels are listed as an event image group.

イベント画像分類部５５は、リフトマグネット３の動作状況を取得するセンサ６の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップＦの移送状況（リフトアップ時、移動時、落下時等）に応じて分類し記憶部１８に記憶する。 The event image classification unit 55 sorts the event image group using the detection information of the sensor 6 that acquires the operation status of the lift magnet 3 and the learning model, and classifies the event image group into the transfer status of the iron scrap F (lifting up, moving, dropping time, etc.) and stored in the storage unit 18 .

検出部４２では、イベント画像分類部５５により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を領域分割部６１が記憶部１８から読み出す。
領域分割部６１は、記憶部１８から読み出した落下時の撮像画像（フレーム）のうち、画素上の差分値が一定以上あるフレームについての画素群とそれ以下の画素群との領域分割を行う。つまりフレームの中で動きのある領域とそうでない領域を分割する。 In the detection unit 42 , the area division unit 61 reads from the storage unit 18 the captured image classified as the one at the time of falling among the one or more captured images classified by the event image classification unit 55 .
The area division unit 61 divides the image (frame) captured at the time of falling read from the storage unit 18 into a pixel group and a pixel group for a frame having a pixel difference value greater than or equal to a certain value. In other words, the frame is divided into regions with motion and regions without motion.

フレーム選定部６２は、領域分割部６１により分割された動きのある領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部１８に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。 The frame selection unit 62 selects a frame divided by the region dividing unit 61 and having the largest moving region, and stores it in the storage unit 18 as a representative smoke image. A technique such as Rabling, for example, is used to divide the pixel group into regions.

煙濃度画像生成部６３は、フレーム選定部６２により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部１８に記憶する。
そして、煙濃度画像生成部６３は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の統計値を煙値として記憶部１８に記憶する。 The smoke density image generation unit 63 generates an image obtained by taking the difference between the representative smoke image selected by the frame selection unit 62 and the captured image immediately before the smoke starts to fall, and stores it in the storage unit 18 as a smoke density image. Remember.
Then, the smoke density image generation unit 63 stores statistical values such as average, variance, median, etc. of pixel values equal to or greater than a certain threshold in the generated smoke density image in the storage unit 18 as smoke values.

画像補正部７１は、代表的な煙画像に含まれるリフトマグネット３の画像の見た目の大きさが、リフトアップ時のリフトマグネット３の大きさと一致するように代表的な煙画像の大きさを補正する。 The image correction unit 71 corrects the size of the representative smoke image so that the apparent size of the image of the lift magnet 3 included in the representative smoke image matches the size of the lift magnet 3 at the time of lift-up. do.

煙値算出部７２は、画像補正部７１により補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積や縦横の長さについても煙値として記憶部１８に記憶する。 The smoke value calculation unit 72 obtains the smoke area in the state of the image corrected by the image correction unit 71 by rabling, and also stores the area and length and width of the rabling result indicating the smoke area as the smoke value. Store in section 18 .

なお、煙値を求める方法として、矩形で囲んだ領域の面積を求める以外に、画素濃度が閾値以下の単位画素の範囲（画像の白い部分）を線分で囲んだ面積から求めてもよい。
一例として、例えば、図６に示すように、煙画像の中で、落下前の撮像画像と落下後の代表煙画像との差分をとって、鉄スクラップＦを除いた煙８１の領域の画像を生成し、煙８１の領域の面積やモーメントを煙値として算出する。 As a method of obtaining the smoke value, in addition to obtaining the area of the area surrounded by the rectangle, it may be obtained from the area of the range of unit pixels (white portion of the image) whose pixel density is equal to or less than the threshold value.
As an example, for example, as shown in FIG. 6, in the smoke image, the difference between the captured image before falling and the representative smoke image after falling is taken, and the image of the area of smoke 81 excluding iron scrap F is obtained. Then, the area and moment of the area of the smoke 81 are calculated as the smoke value.

煙値補正部７３は、煙値算出部７２により算出された煙値を、予め設定しておいた空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所８の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。 The smoke value correction unit 73 corrects the smoke value calculated by the smoke value calculation unit 72 based on the preset environmental conditions of the space. The environmental conditions of the space are, for example, conditions such as the brightness, temperature, humidity, and size of the unloading place 8 . This absorbs the environmental difference at the time of image acquisition and normalizes the smoke value.

ダスト量推定部７４は、検収時に求めた煙値と予め取得したグランドトゥルース（実測データ）とを比較して、検収時に求めた煙値に近似するグランドトゥルース（実測データ）のＮを推定ダスト量とする。ダストの量を推定する上で用いる煙値は、補正された煙値又は補正前の煙値何れかであればよい。 The dust amount estimating unit 74 compares the smoke value obtained at the time of acceptance inspection with the ground truth (actual measurement data) obtained in advance, and estimates the dust amount N of the ground truth (actual data) that approximates the smoke value obtained at the time of acceptance inspection. and The smoke value used for estimating the amount of dust may be either the corrected smoke value or the smoke value before correction.

ログデータ生成部４４は、カメラ５により撮像され、取得した一連の撮像画像（トラック３１の荷台３２に積載された鉄スクラップＦの荷姿画像、鉄スクラップＦを移送中の撮像画像群、イベント画像群、煙画像、煙濃度画像等）、煙値及び推定ダスト量等をトラックＩＤに紐づけたログデータとして記憶部１８に記憶する。 The log data generation unit 44 captures a series of captured images captured by the camera 5 (a packing image of the iron scrap F loaded on the loading platform 32 of the truck 31, a captured image group of the iron scrap F being transported, an event image, etc.). group, smoke image, smoke density image, etc.), smoke value, estimated dust amount, etc. are stored in the storage unit 18 as log data linked to the track ID.

この際、ログデータ生成部４４は、分類上の文字とペアにして、オペレータにより入力されたトラックＩＤや日付、リフトアップしたカウント等の属性情報を紐付けて記憶する。
Ｗｅｂ公開部４５は、ログデータ生成部４４により生成されたログデータをＷｅｂコンテンツにして、このサーバ２にログインした閲覧権限を持つユーザに対して公開する。
従って、管理者は、管理用コンピュータ１からネットワークＮを通じてサーバ２にログインし、管理者権限で、Ｗｅｂ公開部４５により公開されるログデータ（煙画像、煙値及び推定ダスト量等）を閲覧することができ、鉄スクラップ検品場（現地）に出向くことなく、検収状況を知ることができる。 At this time, the log data generation unit 44 associates attribute information such as the truck ID and date input by the operator, and the count of lifted-up data in pairs with the classification characters and stores them.
The web publishing unit 45 converts the log data generated by the log data generating unit 44 into web content and publishes it to users who have logged in to the server 2 and have viewing authority.
Therefore, the administrator logs into the server 2 from the management computer 1 through the network N, and browses the log data (smoke image, smoke value, estimated dust amount, etc.) disclosed by the web disclosure unit 45 with administrator authority. It is possible to know the acceptance inspection status without going to the iron scrap inspection site (on-site).

このようにこの実施形態によれば、ダストを含む禁忌物が落下することによりダストに基づく煙が舞う空間がカメラ５により動画像として撮像された際に、カメラ５から夫々出力される動画像内の各フレームを取得し、取得した複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出するので、検出した煙画像から、検収対象の鉄スクラップＦに含まれる禁忌物の量を客観的に判断できるようになる。
また、煙画像から、煙の濃度と大きさに基づいてダスト量を表す煙値や推定ダスト量を求めることで、煙値や推定ダスト量に基づいて、検収対象の鉄スクラップＦに含まれる禁忌物の量を定量的に判断できるようになる。
さらに、トラック３１から鉄スクラップＦを荷下ろし場所８へ移送し落下させた後、一定時間（数十秒程度）の撮像画像（動画像）、煙値及び推定ダスト量等の一連の情報を閲覧権限のある管理者や検収員に公開することで、検収員以外の第三者が検収状況を半リアルタイムで閲覧可能になるので、検収の公平性及び公正性を向上することができる。
また、鉄スクラップＦに禁忌物が含まれる量から、鉄スクラップＦの等級等の品質についても判定することができる。
さらに、検収結果の履歴を保存しておくことで、現在と過去の検収状況や鉄スクラップＦの種類の違いを比較することができる。
禁忌物として、例えば危険物やトランプエレメント等が含まれていた場合に、その場所を特定し、アラームを発報することで、作業の安全性を向上することができる。また、鉄スクラップＦの検収結果として、鉄スクラップＦに混入していた禁忌物の画像を添付したレポートを作成することで、販売会社に対して今後の鉄スクラップ納入のための注意喚起を促すことができる。
学習モデルを構築する上で、元となる教師画像（教師データ）を、検収済の鉄スクラップＦの山を背景に様々なアングルで撮像しておくことで、実際の運用状況に近づき、禁忌物の検出精度を向上することができる。 As described above, according to this embodiment, when the camera 5 captures a moving image of a space in which dust-based smoke rises due to falling contraindicated substances including dust, the moving image output from the camera 5 includes: Each frame is acquired, and the captured image with the largest smoke area among the acquired multiple captured images is detected as the smoke image. Quantity can be judged objectively.
In addition, by obtaining a smoke value and an estimated dust amount that represent the amount of dust based on the density and size of the smoke from the smoke image, the contraindications contained in the iron scrap F to be inspected are calculated based on the smoke value and the estimated dust amount. You will be able to judge the quantity of things quantitatively.
Furthermore, after the iron scrap F is transferred from the truck 31 to the unloading place 8 and dropped, a series of information such as a captured image (moving image) for a certain period of time (about several tens of seconds), smoke value, estimated dust amount, etc. is viewed. By disclosing the information to authorized administrators and acceptance inspection staff, a third party other than the acceptance inspection staff can view the acceptance status in half-real time, thereby improving the fairness and fairness of the acceptance inspection.
Further, the quality such as the grade of the iron scrap F can also be determined from the amount of contraindicated substances contained in the iron scrap F.
Furthermore, by storing the history of acceptance inspection results, it is possible to compare current and past acceptance inspection situations and differences in the types of iron scrap F.
If, for example, a dangerous substance or a playing card element is included as a contraindicated substance, the safety of the work can be improved by specifying the location and issuing an alarm. In addition, as a result of inspection of iron scrap F, a report with attached images of contraindicated substances mixed in iron scrap F is created to alert the sales company for future iron scrap delivery. can be done.
In constructing the learning model, the original teacher images (teacher data) are taken from various angles against the background of the pile of iron scrap F that has already been inspected. detection accuracy can be improved.

以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば図３等のサーバ２）は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間（例えば図１の荷下ろし場所８付近の空間）が、撮像手段（例えば図３のカメラ５等）により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像（例えば動画像内の各フレーム、連写された各写真）を取得する取得手段（例えば図３の取得部４１等）と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段（例えば図３の検出部４２等）と、
を備える。
このように画像処理により煙の領域が最大の煙画像を検出することで、検収員の目測や技量に左右されることなく、本来の鉄スクラップＦの量を定量的に判定し、鉄スクラップＦを検収することができる。
また、前記煙画像から、前記煙の濃度と大きさに基づく、前記ダストの量を表す数値（煙値）を算出する算出手段（例えば図３の算出部４３）、
をさらに備える。
このように画像処理による機械的な基準を煙値として提示することによって、検収対象の鉄スクラップに含まれる禁忌物（非鉄物質等の粉塵としてのダストやスケール等の鉄粉）の量を客観的に判断できるようになる。
また、前記算出手段により算出された数値を、前記空間の環境条件を基に補正する補正手段（例えば図３の煙値補正部７３等）、
をさらに備える。
このように煙値を補正し正規化することで検収場所における環境差を吸収するので、他の検収場所との比較でダストの量を公平に判断できるようになる。
前記数値と、予め用意した鉄スクラップとダスト量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段（例えば図３のダスト量推定部７４等）、
をさらに備える。
これにより、実質的なダストの量を判断することができる。
前記ダスト量推定手段により推定されたダストの量、前記ダストの量を表す前記数値、前記煙画像、前記撮像画像のうちの一つ以上を、許可されたユーザに提供する提供手段（例えば図３のＷｅｂ公開部４５等）、
をさらに備える。
これにより、許可されたユーザが現場に出向くことなく、検収場所での鉄スクラップ検収状況を閲覧し確認することができるようになる。 In other words, the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations.
That is, the information processing device to which the present invention is applied (for example, the server 2 in FIG. 3, etc.)
A predetermined range of space (for example, the space near the unloading place 8 in FIG. 1) in which smoke based on the dust rises due to falling contraindicated substances containing dust is temporally captured by an imaging means (for example, the camera 5 in FIG. 3). Acquisition means (for example, acquisition in FIG. 3) acquires a plurality of captured images (for example, each frame in a moving image, each photograph taken continuously) output from the image capturing means when the images are taken separately from each other. Part 41 etc.) and
detection means (for example, the detection unit 42 in FIG. 3, etc.) for detecting, as a smoke image, the captured image having the largest smoke area among the plurality of captured images;
Prepare.
In this way, by detecting the smoke image with the largest smoke area through image processing, the original amount of iron scrap F can be quantitatively determined without being influenced by the visual measurement or skill of the inspector. can be accepted.
Further, calculation means (for example, the calculation unit 43 in FIG. 3) for calculating a numerical value (smoke value) representing the amount of dust based on the density and size of the smoke from the smoke image;
further provide.
In this way, by presenting a mechanical standard as a smoke value by image processing, the amount of contraindicated substances (dust such as non-ferrous substances and iron powder such as scale) contained in iron scrap to be inspected can be objectively determined. You will be able to judge
Further, correction means for correcting the numerical value calculated by the calculation means based on the environmental conditions of the space (for example, the smoke value correction unit 73 in FIG. 3, etc.),
further provide.
By correcting and normalizing the smoke value in this way, the environmental difference at the acceptance inspection location is absorbed, so the amount of dust can be judged fairly by comparison with other acceptance inspection locations.
Dust amount estimating means (for example, the dust amount estimating unit 74 in FIG. 3) for estimating the amount of the falling dust based on the numerical value and data on the correlation between the iron scrap and the amount of dust prepared in advance;
further provide.
This makes it possible to determine the amount of substantial dust.
Providing means (for example, FIG. 3 Web publishing unit 45, etc.),
further provide.
As a result, the authorized user can view and check the iron scrap acceptance status at the acceptance inspection place without going to the site.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１のシステム構成や図３の機能的構成は例示に過ぎず、特に限定されない。
例えばサーバ２は、
カメラ５により撮像される画像を取得する画像取得手段と、
前記画像取得手段により取得された画像から、前記荷下ろし場所に落下された前記鉄スクラップ周辺に粉塵が飛散して舞う煙の画像を抽出する煙画像抽出手段と、
前記煙画像抽出手段により抽出された煙の画像に含まれるリフトマグネットの第１画像と前記リフトアップ時の前記リフトマグネットの第２画像との大きさが合致するよう前記煙画像の大きさを補正する画像補正手段と、
前記画像補正手段により補正された前記煙画像の煙の領域から煙値を算出する煙値算出手段と、
を備えてもよい。 The series of processes described above can be executed by hardware or by software.
In other words, the system configuration of FIG. 1 and the functional configuration of FIG. 3 are merely examples, and are not particularly limited.
For example, server 2
an image acquisition means for acquiring an image captured by the camera 5;
a smoke image extracting means for extracting an image of smoke caused by scattering dust around the iron scrap dropped at the unloading location from the image acquired by the image acquiring means;
correcting the size of the smoke image so that the size of the first image of the lift magnet included in the image of the smoke extracted by the smoke image extraction means and the size of the second image of the lift magnet at the time of the lift-up match each other; image correction means for
smoke value calculation means for calculating a smoke value from the smoke area of the smoke image corrected by the image correction means;
may be provided.

また、上記図１の例では、カメラ５にＰＴＺカメラを用い、このＰＴＺカメラ一台でリフトマグネット３の可動範囲全体を撮像する例について説明したが、カメラ５の撮像範囲がリフトマグネット３の可動範囲全体をカバーできない場合は、複数のカメラ５を設置した上で、それら複数のカメラ５を協調動作させて、少なくとも１台以上のカメラ５で可動範囲全体を撮像できるようにする。 In the example of FIG. 1, a PTZ camera is used as the camera 5, and an example in which the entire movable range of the lift magnet 3 is captured by this single PTZ camera has been described. When the entire range cannot be covered, a plurality of cameras 5 are installed, and the plurality of cameras 5 are cooperatively operated so that at least one or more cameras 5 can image the entire movable range.

また、カメラ５に、例えばＰＴＺカメラではないカメラを用いてリフトマグネット３の可動範囲全体を撮像する場合は、撮像範囲が広いためリフトマグネット３の部分の画像が小さくなるため、リフトマグネット３の画像部分をトリミングし拡大して利用してもよい。 In addition, when the entire movable range of the lift magnet 3 is captured by using a camera other than a PTZ camera as the camera 5, the image of the lift magnet 3 is small because the image capturing range is wide. You can use it by trimming and enlarging the part.

移動するリフトマグネット３の位置や状態をサーバ２が把握するため、リフトマグネット３をオペレータがリモートコントローラ等の操作端末で操作した際に、操作端末からの制御信号を受けてリフトマグネット３を制御する制御盤に転送回路を設けておき、転送回路からサーバ２へリフトマグネット制御信号を送るようにしてもよい。 Since the server 2 grasps the position and state of the moving lift magnet 3, when the operator operates the lift magnet 3 with an operation terminal such as a remote controller, the lift magnet 3 is controlled by receiving a control signal from the operation terminal. A transfer circuit may be provided in the control panel, and the lift magnet control signal may be sent to the server 2 from the transfer circuit.

また、カメラ５からリフトマグネット３の位置を把握するための光ビーコンをリフトマグネット３に取り付けておき、カメラ５により撮像された撮像画像上において各撮像画像（各フレーム）の光ビーコンの位置を検出して、光ビーコンの取り付け位置からリフトマグネット３の位置を把握するようにしてもよい。 Also, an optical beacon is attached to the lift magnet 3 for grasping the position of the lift magnet 3 from the camera 5, and the position of the optical beacon of each captured image (each frame) on the captured image captured by the camera 5 is detected. Then, the position of the lift magnet 3 may be grasped from the mounting position of the optical beacon.

さらに、リフトマグネット３の制御信号から３次元空間上におけるリフトマグネット３の位置が把握できる場合、予めカメラ５の位置を正確に校正しておくことによって、カメラ位置とその３次元空間上におけるリフトマグネット３の位置の直線距離を求めることができるため、カメラの光軸がその直線に一致するよう制御すればよい。 Furthermore, when the position of the lift magnet 3 in the three-dimensional space can be grasped from the control signal of the lift magnet 3, by accurately calibrating the position of the camera 5 in advance, the position of the camera and the lift magnet in the three-dimensional space can be determined. Since the straight line distance of the position 3 can be obtained, the optical axis of the camera should be controlled so as to coincide with the straight line.

また、本実施形態では、リフトマグネット３の位置の追従に、コンピュータビジョンにおけるトラッキング技術を用いて行うが、鉄スクラップＦを磁着するときや落下させるときのタイミングは、既存の機械学習の技術により、特別な検出手段や装置を用いることなく決定することができる。 Further, in the present embodiment, tracking technology in computer vision is used to track the position of the lift magnet 3, but the timing when the iron scrap F is magnetized or dropped is determined by existing machine learning technology. , can be determined without using special detection means or devices.

上記実施形態では、サーバ２に、カメラ画像の取得、煙検出、煙値算出等の機能を備えたが、これらの機能を管理用コンピュータ１に備えてもよい。この場合、管理用コンピュータ１にインストールされるアプリケーションソフトウェアとして実現することが好ましい。本発明の機能をアプリケーションソフトウェアとして実現することで、情報処理装置として、サーバ２やノート型の管理用コンピュータ１の他、例えばタブレット端末やスマートフォン等を利用可能になり、利用シーンを広げることができる。
また、上記実施形態では、管理用コンピュータ１にインストールしたブラウザにて、サーバ２により公開されるＷｅｂサイトの情報を閲覧するようにしたが、この他、例えばヘッドマウントディスプレイ（以下「ＨＭＤ」と呼ぶ）や拡張現実デバイス（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｅｖｉｃｅ）や複合現実デバイス（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｄｅｖｉｃｅ）等を用いて鉄スクラップ検品の様子や推定したダスト量等を現実空間の様子に重ねて閲覧するようにしてもよい。
さらに、上記実施形態では、鉄スクラップとダスト量との相関を予め学習した学習モデルを用いてダスト量を推定したが、この他、煙値とダスト量との間の相関と推定を、例えば重回帰分析等の解析技術により行ってもよい。 In the above embodiment, the server 2 has the functions of camera image acquisition, smoke detection, smoke value calculation, etc., but these functions may be provided in the management computer 1 . In this case, it is preferable to implement it as application software installed in the management computer 1 . By realizing the functions of the present invention as application software, it becomes possible to use the server 2, the notebook-type management computer 1, as well as, for example, a tablet terminal and a smart phone as information processing devices, thereby expanding the usage scenes. .
Further, in the above-described embodiment, the browser installed in the management computer 1 is used to browse information on the website published by the server 2. In addition, for example, a head-mounted display (hereinafter referred to as "HMD") may be used. ), Augmented Reality Device, Mixed Reality Device, or the like may be used to superimpose the state of iron scrap inspection, the estimated amount of dust, etc. on the state of the real space for browsing.
Furthermore, in the above embodiment, the amount of dust is estimated using a learning model in which the correlation between iron scrap and the amount of dust is learned in advance. Analysis techniques such as regression analysis may be used.

即ち、上述した一連の処理を全体として実行できる機能が鉄スクラップ検品システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の機能的構成の例に限定されるものではない。また、機能ブロックの存在場所も、図３に特に限定されず、任意でよい。 That is, it is sufficient if the iron scrap inspection system is provided with a function capable of executing the series of processes described above as a whole. Examples are not limiting. Also, the locations of the functional blocks are not particularly limited to those shown in FIG. 3, and may be arbitrary.

また、例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。 Further, for example, when a series of processes is executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware. Also, the computer may be a computer capable of executing various functions by installing various programs, such as a server, a general-purpose smart phone, or a personal computer.

また、例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 Further, for example, a recording medium containing such a program is not only configured by a removable medium (not shown) that is distributed separately from the device main body in order to provide the program to the user, but also is pre-installed in the device main body. It consists of a recording medium or the like provided to the user in a state.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。 In this specification, the steps of writing a program recorded on a recording medium are not only processes that are performed chronologically in that order, but also processes that are not necessarily chronologically processed, and that are performed in parallel or individually. It also includes the processing to be performed.
Further, in this specification, the term "system" means an overall device composed of a plurality of devices, a plurality of means, or the like.

１・・・管理用コンピュータ、２・・・サーバ、３・・・リフトマグネット、４・・・クレーン、５・・・カメラ、６・・・センサ、８・・・荷下ろし場所、９・・・レール、１１・・・ＣＰＵ、３１・・・トラック、３２・・・鉄スクラップ、４１・・・取得部、４２・・・検出部、４３・・・算出部、５１・・・画像取得部、５２・・・画像切出部、５３・・・グレースケール化部、５４・・・イベント画像列挙部、５５・・・イベント画像分類部、６１・・・領域分割部、６２・・・フレーム選定部、６３・・・煙濃度画像生成部、７１・・・画像補正部、７２・・・煙値検出部、７３・・・煙値補正部、７４・・・ダスト量推定部 DESCRIPTION OF SYMBOLS 1... Management computer, 2... Server, 3... Lift magnet, 4... Crane, 5... Camera, 6... Sensor, 8... Unloading place, 9... Rail 11 CPU 31 Track 32 Iron scrap 41 Acquisition unit 42 Detection unit 43 Calculation unit 51 Image acquisition unit , 52... Image clipping unit, 53... Grayscaling unit, 54... Event image listing unit, 55... Event image classifying unit, 61... Area dividing unit, 62... Frame Selection unit 63 Smoke density image generation unit 71 Image correction unit 72 Smoke value detection unit 73 Smoke value correction unit 74 Dust amount estimation unit

Claims (5)

ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段と、
を備える情報処理装置。 A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. calculating means;
A dust amount for estimating the amount of falling dust based on the smoke value calculated by the calculating means and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. an estimating means;
Information processing device. 前記算出手段により算出された前記煙値を、前記空間の環境条件を基に補正する補正手段、
をさらに備える請求項１に記載の情報処理装置。 correction means for correcting the smoke value calculated by the calculation means based on the environmental conditions of the space;
The information processing apparatus according to claim 1 , further comprising: 前記ダスト量推定手段により推定された前記ダストの量、前記ダストの量を表す前記煙値、前記煙画像、前記撮像画像のうちの一つ以上を、ユーザに提供する提供手段、
をさらに備える請求項１又は２に記載の情報処理装置。 providing means for providing a user with at least one of the amount of dust estimated by the amount of dust estimation means, the smoke value representing the amount of dust, the smoke image, and the captured image;
The information processing apparatus according to claim 1 or 2, further comprising: ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得するステップと、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出するステップと、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出ステップと、
前記算出ステップにおいて算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定ステップと、
を含む情報処理方法。 A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. obtaining an image;
a step of detecting, as a smoke image, a captured image having the largest area of smoke among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. a calculation step;
A dust amount for estimating the amount of the falling dust based on the smoke value calculated in the calculating step and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. an estimation step;
Information processing method including. 情報処理装置に処理を実行させるプログラムであって、
前記情報処理装置を、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段、
として機能させるプログラム。 A program for causing an information processing device to execute processing,
the information processing device,
A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. calculating means;
A dust amount for estimating the amount of falling dust based on the smoke value calculated by the calculating means and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. estimation means,
A program that acts as a

Images