JP7241011B2 - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP7241011B2 JP7241011B2 JP2019239597A JP2019239597A JP7241011B2 JP 7241011 B2 JP7241011 B2 JP 7241011B2 JP 2019239597 A JP2019239597 A JP 2019239597A JP 2019239597 A JP2019239597 A JP 2019239597A JP 7241011 B2 JP7241011 B2 JP 7241011B2
- Authority
- JP
- Japan
- Prior art keywords
- smoke
- image
- dust
- amount
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、鉄スクラップ群の中からトランプエレメント等の非鉄物質を含む禁忌物(異物、除去対象物)を検出して、鉄スクラップ群を検品するための情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program for detecting contraindicated substances (foreign substances, objects to be removed) including non-ferrous substances such as tramp elements from a group of iron scraps and inspecting the group of iron scraps. .
例えば電炉メーカ等の鉄スクラップ買取会社が鉄スクラップ販売会社から鉄スクラップを購入する場合、鉄スクラップ買取会社の敷地に鉄スクラップ販売会社が大量の鉄スクラップをトラックに乱雑に積載して持ち込み、その敷地内に搬入した時点でトラックの総重量とスクラップを荷下ろしした後の空状態のトラックの重量との差分の重量を根拠に購入料金を算出している。 For example, when an iron scrap purchasing company such as an electric furnace manufacturer purchases iron scrap from an iron scrap selling company, the iron scrap selling company randomly loads a large amount of iron scrap on a truck and brings it to the site of the iron scrap purchasing company. The purchase fee is calculated based on the difference between the total weight of the truck when it is brought into the warehouse and the weight of the empty truck after the scrap is unloaded.
一方、トラックに積載されているのは、純粋な鉄スクラップだけとは限らず、ダストと呼ばれる非鉄物質の粉末状の物質も含まれていることから、現在は、主に検品作業者(以下「検収員」と呼ぶ)の目測によってダスト量を判定し、判定したダスト量を上記差分の重量から差し引くことで買い取り重量とする業務が行われている。 On the other hand, trucks are loaded with not only pure iron scrap but also powdered non-ferrous materials called dust. The amount of dust is determined by visual measurement by an inspector), and the determined amount of dust is subtracted from the difference in weight to obtain the purchase weight.
ところで、検収員の目測によるダスト量の推定では、正確なダスト量が求められないことはおろか、検収員の技量にも大きく左右されてしまう。
また、ダスト量を判定する基準が定かではないため、異なる買取業者間や買取を行う拠点間でも差が生じてしまう。なお、ダストとは別にスケールと呼ばれる鉄粉についても同じように買い取り重量から差し引くことが行われる。
By the way, estimation of the amount of dust by visual inspection by an acceptance inspector does not only result in an inaccurate amount of dust, but also greatly depends on the skill of the inspector.
In addition, since the criteria for judging the amount of dust are not clear, there will be differences between different purchasers and between purchasing sites. In addition to dust, iron powder called scale is similarly deducted from the purchased weight.
鉄スクラップの検収を補助する技術として、例えば破砕後の鉄スクラップ群の中から銅をはじめとするその他の金属等の異物(禁忌物)の混入を検知する技術が公開されている。(例えば特許文献1参照)。
As a technique for assisting the acceptance inspection of iron scrap, for example, a technique for detecting contamination of foreign substances (contraindicated substances) such as copper and other metals in a group of crushed iron scraps has been disclosed. (
しかしながら、特許文献1の技術では、異物よりも細かいダストの検出やダストの量を推定することについて何ら言及されていない。
However, in the technique of
本願発明はこのような状況に鑑みてなされたものであり、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断できるようにすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and an object of the present invention is to objectively determine the amount of contraindicated substances contained in steel scrap to be inspected.
上記目的を達成するため、本発明の一態様の情報処理装置は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
を備える。
In order to achieve the above object, an information processing device according to one aspect of the present invention includes:
A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
Prepare.
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。 An information processing method and a program corresponding to the information processing apparatus of one aspect of the present invention are also provided as an information processing method and program of one aspect of the present invention.
本発明によれば、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断することができる。 According to the present invention, it is possible to objectively judge the amount of contraindicated substances contained in iron scrap to be inspected.
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の情報処理装置の一実施形態に係るサーバを含む鉄スクラップ検品システムの構成を示す図である。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing the configuration of an iron scrap inspection system including a server according to an embodiment of an information processing apparatus of the present invention.
図1に示す鉄スクラップ検品システムは、管理用コンピュータ1及びサーバ2とネットワークNを介して接続されたクレーン4、カメラ5及びセンサ6とを含む。 The iron scrap inspection system shown in FIG.
管理用コンピュータ1は、サーバ2により公開されるWebサイトの情報を閲覧するためのブラウザプログラムがインストールされている。ブラウザプログラムを以下「ブラウザ」と呼ぶ。
The
クレーン4、カメラ5及びセンサ6は、鉄スクラップ検品場に配置されている。クレーン4は、鉄スクラップ検品場の高所に設置されたレール9上を水平方向に移動自在に配置されている。クレーン4は、トラック31の所定の停止位置から荷下ろし場所8までの間を移動する。
A
クレーン4には、リフトマグネット3が下垂して昇降自在に配置されている。リフトマグネット3は、トラック31の荷台32に積載された鉄スクラップFを磁着する。リフトマグネット3に磁着された鉄スクラップFは、クレーン4により、矢印Aの方向に、荷下ろし場所8の上方まで移動され、その位置で落下される。鉄スクラップFには、ダスト及びスケール等の買取対象外の物質(禁忌物)が含まれている。ダストは、例えば粉砕された石の粉塵等の非鉄物質の粉末状の物質である。スケールは、鉄粉等である。
A
カメラ5は、トラック31の停止位置から荷下ろし場所8に至る範囲を撮像範囲とするように鉄スクラップ検品場の高所に配置されている。具体的には、カメラ5は、トラック31の荷台32か下す鉄スクラップFやリフトマグネット3の可動範囲全体が映るような位置に設置される。
The
カメラ5は、例えばパンチルトズームカメラ等が用いられる。パンチルトズームカメラを「PTZカメラ」と呼ぶ。このPTZカメラは、サーバ2により制御されて動作し、制御に応じて光軸(撮像方向)を向けるためのパン、チルト、ズーム等の機能を有する。
A pan-tilt-zoom camera or the like is used as the
カメラ5は、例えば30フレーム/秒程度で画像を撮像し出力する。カメラ5により撮影された画像を撮像画像と言う。撮像画像は、「動画像」と「静止画像」との両方を含むものとする。また、撮像画像は、例えば動画像内の各フレーム、連写された各写真等を含む。
The
カメラ5は、サーバ2により制御されて撮像を開始及び終了する。この例では、カメラ5は、トラック31の荷台32からリフトアップされた鉄スクラップFが荷下ろし場所8の上方に移動されて落下された後、数秒間の画像を撮像する。
The
センサ6は、クレーン4の高さでトラック31の停止位置から荷下ろし場所8までの間に配置されている。センサ6は、リフトマグネット3が荷台32の位置から荷下ろし場所8の方向へ移動するタイミング、つまり荷台32上空からリフトマグネット3が水平方向に動き出し、荷台32の位置から離れたタイミングを検出する。
The
この他、鉄スクラップ検品場には、リモートコントローラが設けられている。リモートコントローラは、クレーン4やカメラ5にケーブルを介して接続される。リモートコントローラは、オペレータの操作によりカメラ5の向きや画角の変更や撮像開始及び終了、クレーン4の移動、リフトマグネット3の昇降等の手動制御が可能である。リモートコントローラとしては、ケーブル以外に、クレーン4やカメラ5と無線通信により接続されるものもある。
In addition, the iron scrap inspection site is equipped with a remote controller. The remote controller is connected to the
図2は、図1の情報処理システムのうち、本発明の情報処理装置の第1実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the hardware configuration of the server according to the first embodiment of the information processing apparatus of the present invention in the information processing system of FIG.
サーバ2は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
The
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19、及びドライブ20が接続されている。出力部16は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。入力部17は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。記憶部18は、ハードディスク等で構成され、各種情報のデータを記憶する。
The
通信部19は、ネットワークNを介して他の管理用コンピュータ1との間で行う通信を制御する。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
上記では、サーバ2のハードウェア構成を説明したが、サーバ2の機能的構成や処理の詳細については、図3以降の図面を参照して後述する。
The
Although the hardware configuration of the
なお、図1の鉄スクラップ検品システムの管理用コンピュータ1は、図2に示したハードウェア構成と基本的に同様の構成を有している。従って、管理用コンピュータ1のハードウェア構成の図示とその説明は省略する。
The
図3は、一実施形態の図1の鉄スクラップ検品システムのうち、図2のサーバ2の機能的構成の一例を示す機能ブロック図である。
FIG. 3 is a functional block diagram showing an example of the functional configuration of the
図3に示すように、サーバ2のCPU11は、取得部41、検出部42、算出部43、ログデータ生成部44及びWeb公開部45として機能する。
取得部41は、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ5により時間的に離間して夫々撮像された際に、当該カメラ5から夫々出力される複数の撮像画像を取得する。所定範囲とは、例えば鉄スクラップ検品場の荷下ろし場所8の鉄スクラップFの落下位置周辺の空間である。
As shown in FIG. 3 , the
The
取得部41は、カメラ5に対するトラッキング制御機能を有しており、カメラ5から取得される撮像画像の中のリフトマグネット3の画像を画角(撮像範囲)の中央に入れるようにカメラ5のパラメータを逐次変更し、リフトマグネット3の画像をカメラ5にトラッキング(追従)させる。パラメータは、パン、チルト、ズーム等の駆動制御のためのパラメータを含む。
The
取得部41は、画像取得部51、画像切出部52、グレースケール化部53、イベント画像列挙部54、イベント画像分類部55を有する。
画像取得部51は、センサ6によりリフトマグネット3の通過が検知されたタイミングから撮像を開始したカメラ5により一定時間順次撮像される複数の撮像画像を取得する。
The
The
一定時間とは、センサ6によりリフトマグネット3の通過が検知されたタイミングから、リフトマグネット3が荷下ろし場所8の上空まで移動され、その後、鉄スクラップFが落下し、所定時間経過する迄の時間を言う。所定時間は、鉄スクラップFの落下によって粉塵が飛散し、その煙が舞った後、煙の範囲が小さく収束するまでの間であり、一例として例えば30秒等である。
The fixed time is the time from the timing when the
画像切出部52は、画像取得部51により取得された複数の撮像画像のうち、リフトマグネット3の下部の画像をクロッピングする。クロッピングとは、元画像の一部の画像を切り出すことを言う。
The
グレースケール化部53は、画像切出部52により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。
The
イベント画像列挙部54は、グレースケール化部53により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている、画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。
The event
イベント画像分類部55は、リフトマグネット3の動作状況を検出したセンサ6の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップFの移送状況(リフトアップ時、移動時、落下時等)に応じて分類し記憶部18に記憶する。
The event image classification unit 55 sorts the event image group using the detection information of the
学習モデルは、移送状況に応じたイベント画像の分類の他に、撮像画像から鉄スクラップFに禁忌物が含まれているか否かや、鉄スクラップFに禁忌物が含まれている場合の禁忌物の位置や種類等の特定(AI解析)に利用される。 In addition to classifying event images according to transport conditions, the learning model can determine whether or not the iron scrap F contains contraindicated substances based on the captured images, and if contraindicated substances are contained in the iron scrap F. It is used to identify the position and type of the data (AI analysis).
検出部42は、複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。検出部42は、領域分割部61、フレーム選定部62、煙濃度画像生成部63を有する。
The
領域分割部61は、イベント画像分類部55により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を記憶部18から読み出す。領域分割部61は、記憶部18から読み出した落下時の撮像画像(フレーム)に対応するフレーム間差分画像のうち、画素上の差分値が一定以上あるフレームについて差分が大きい画素とそれ以下の画素との間の領域分割を行う。つまりフレームの中で動きのある領域のみを抽出する。
フレーム選定部62は、領域分割部61により分割された領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部18に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。
The
The
煙濃度画像生成部63は、フレーム選定部62により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部18に記憶する。煙濃度画像生成部63は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の複数の統計値のベクトルを煙値として記憶部18に記憶する。
The smoke density
算出部43は、検出部42により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。
算出部43は、画像補正部71、煙値算出部72、煙値補正部73及びダスト量推定部74を有する。
The calculation unit 43 calculates a smoke value, which is a numerical value representing the amount of dust, based on the density and size of smoke from the smoke image detected by the
The calculator 43 has an image corrector 71 , a smoke value calculator 72 , a
画像補正部71は、代表的な煙画像に含まれるリフトマグネット3の画像の見た目の大きさが、リフトアップ時のリフトマグネット3の大きさと一致するように代表的な煙画像の大きさを補正する。
例えば互いの画像中に写るリフトマグネット3の横幅が一致するように拡大又は縮小する等の方法が考えられる。
また、煙画像の中に写るリフトマグネット3の3次元空間上の位置(互いに直交するX軸、Y軸、Z軸の各軸の方向で指定される位置)と3次元空間における原点からの距離とから、互いの画像中のリフトマグネット3の大きさが一致するように拡大又は縮小してもよい。
The image correction unit 71 corrects the size of the representative smoke image so that the apparent size of the image of the
For example, a method of enlarging or reducing the widths of the
In addition, the position of the
煙値算出部72は、補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積についても煙値として記憶部18に記憶する。レイブリング結果の面積とは、煙の領域を矩形で囲んだ場合の幅と高さを掛け合わせて求めた面積である。
The smoke value calculation unit 72 obtains the smoke area in the state of the corrected image by rabling, and also stores the area of the rabling result indicating the smoke area in the
煙値補正部73は、煙値算出部72により算出された煙値を、空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所8の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。
The smoke
ダスト量推定部74は、煙濃度画像生成部63により生成されて記憶部18に記憶された煙濃度画像と、予め用意した鉄スクラップとダスト量との相関関係を示す学習モデルとに基づいて、落下したダストの量を推定する。学習モデルの構築に、例えばYolo等を用いる。Yoloは、“You only look once”の略称であり、リアルタイム画像認識を行うアルゴリズム及びその実装の一つであり、実際の撮像画像を機械学習することで学習モデルが構築される。
The dust
煙値補正部73により補正された煙値は、煙の濃さや大きさ等が正規化されているため、他の検収場所での検収時における相対値としての比較は可能であるが、実際にどの程度のダスト量でどの程度の煙として現れるかといった絶対値にはならない。
Since the smoke value corrected by the smoke
そこで、実際に鉄スクラップFにN%(Nは100までの正の数)ずつダストを混ぜたトラックを用意し、リフトマグネット3から落下させて、N%時の煙値やログデータを計測した実測データであるグランドトゥルースを数種類、事前に用意しておく。例えば0%から0.1%ずつ10%までの100種類のグランドトゥルースを取得しておく。
Therefore, we actually prepared a truck in which N% (N is a positive number up to 100) dust was mixed with the iron scrap F, dropped it from the
ダスト量推定部74は、検収時に求めた煙値と上記グランドトゥルース(実測データ)とを比較して、検収時に求めた煙値に近似するグランドトゥルース(実測データ)のNを推定ダスト量とする。
The dust
ログデータ生成部44は、カメラ5により撮像され、取得した一連の撮像画像(トラック31の荷台32に積載された鉄スクラップFの荷姿画像、上記イベント画像群、煙画像、煙濃度画像)及び煙値をログデータとして記憶部18に記憶する。
The log
この際、ログデータ生成部44は、分類上の文字とペアにして、オペレータにより入力された販売会社又はトラックを識別するための識別情報(この例ではトラックIDと呼ぶ)や日付、リフトアップしたカウント等の属性情報を紐付け(対応させ)て記憶する。
Web公開部45は、ログデータ生成部44により生成されたログデータをWebコンテンツにして、このサーバ2にログインした閲覧権限を持つユーザに対して公開する。
At this time, the log
The web publishing unit 45 converts the log data generated by the log
記憶部18には、予め学習モデルが記憶されている、学習モデルは、予め用意したリフトアップ時、移動時、落下時毎に分類されたイベント画像群等について機械学習を行い、モデル化したものである。学習モデルは、画像が入力されると、リフトアップ時、移動時、落下時のいずれかに分類された画像を出力する。
A learning model is stored in advance in the
次に、図4乃至図6を参照して、このサーバ2により実行されるダスト量の処理について説明する。図4は、クレーン4によりリフトマグネット3に磁着された鉄スクラップFが荷下ろし場所8まで移動された様子を示す図である。図5は、図3の機能的構成を有するサーバ2により実行される煙値算出処理の流れの一例を示すフローチャートである。図6は、ダストを含む煙が舞う複数の撮像画像の中から選定された代表の撮像画像を示す図である。
Next, the dust amount processing executed by the
この鉄スクラップ検品システムの場合、サーバ2は、カメラ5により撮像される撮像画像から鉄スクラップFに含まれるダストの量を表す数値である煙値を求める処理を以下のように実行する。
In the case of this iron scrap inspection system, the
この実施形態の鉄スクラップ検品システムでは、販売会社のトラック31が荷下ろしする位置に停止すると、オペレータが入力部17からトラック31のトラックIDを入力すると共に、リモートコントローラを操作して、カメラ5の光軸をトラック31が荷下ろしする位置の方向へ向ける。オペレータは、クレーンを操作する操作者である。この他に、検収員がいる。検収員は、トラック31で搬入された鉄スクラップFを検品及び等級付けをする。
In the iron scrap inspection system of this embodiment, when the
続いて、リフトマグネット3を降下させる前に、オペレータが入力部17を操作して、トラック31の荷台32の鉄スクラップFの画像をカメラ5に撮像させ荷姿画像として記憶部18に記憶する。
Subsequently, before lowering the
ここで、オペレータがリモートコントローラを操作して、クレーン4を移動させてトラック31の荷台32の鉄スクラップFの位置にリフトマグネット3を降下させて、リフトマグネット3に鉄スクラップFを磁着させる。
Here, the operator operates the remote controller to move the
そして、オペレータがリモートコントローラを操作して、リフトマグネット3を上昇させて、鉄スクラップFをリフトアップする。そして、クレーン4を水平方向に移動させると、サーバ2の取得部41が、カメラ5から取得される撮像画像の中のリフトマグネット3の画像を画角(撮像範囲)の中央に入れるようにカメラ5のパラメータを制御し、リフトマグネット3の画像をトラッキング(追従)する。
Then, the operator operates the remote controller to raise the
リフトマグネット3が水平方向に移動して、センサ6の位置に達すると、センサ6が検出してカメラ5に検出信号を送信する。センサ6からの検出信号を受信したカメラ5は、画像の撮像を開始しサーバ2へ送信する。
そして、図4に示すように、リフトマグネット3が荷下ろし場所8の上方の位置に到達すると、鉄スクラップFを落下させる。これにより、鉄スクラップFと鉄スクラップFに含まれるダスト及びスケール等を含む買取対象外の物質(禁忌物)が荷下ろし場所8に落下する。
サーバ2では、図5のステップS11において、取得部41が、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ5により時間的に離間して夫々撮像された際に、当該カメラ5から夫々出力される複数の撮像画像を取得する。
When the
Then, as shown in FIG. 4, when the
In the
次に、ステップS12において、検出部42は、取得部41により取得された複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。
Next, in step S<b>12 , the
ステップS13において、算出部43は、検出部42により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。
In step S<b>13 , the calculation unit 43 calculates a smoke value, which is a numerical value representing the amount of dust, from the smoke image detected by the
以下、サーバ2の動作を詳細に説明する。
サーバ2の取得部41では、画像取得部51が、センサ6によりリフトマグネット3の通過が検知されたタイミングから撮像を開始したカメラ5により一定時間、順次撮像される複数の撮像画像を取得する。
The operation of the
In the
画像切出部52は、画像取得部51により取得された複数の撮像画像のうち、リフトマグネット3の下部の画像をクロッピングする。
The
グレースケール化部53は、画像切出部52により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。
The
イベント画像列挙部54は、グレースケール化部53により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。
The event
イベント画像分類部55は、リフトマグネット3の動作状況を取得するセンサ6の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップFの移送状況(リフトアップ時、移動時、落下時等)に応じて分類し記憶部18に記憶する。
The event image classification unit 55 sorts the event image group using the detection information of the
検出部42では、イベント画像分類部55により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を領域分割部61が記憶部18から読み出す。
領域分割部61は、記憶部18から読み出した落下時の撮像画像(フレーム)のうち、画素上の差分値が一定以上あるフレームについての画素群とそれ以下の画素群との領域分割を行う。つまりフレームの中で動きのある領域とそうでない領域を分割する。
In the
The
フレーム選定部62は、領域分割部61により分割された動きのある領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部18に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。
The
煙濃度画像生成部63は、フレーム選定部62により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部18に記憶する。
そして、煙濃度画像生成部63は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の統計値を煙値として記憶部18に記憶する。
The smoke density
Then, the smoke density
画像補正部71は、代表的な煙画像に含まれるリフトマグネット3の画像の見た目の大きさが、リフトアップ時のリフトマグネット3の大きさと一致するように代表的な煙画像の大きさを補正する。
The image correction unit 71 corrects the size of the representative smoke image so that the apparent size of the image of the
煙値算出部72は、画像補正部71により補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積や縦横の長さについても煙値として記憶部18に記憶する。
The smoke value calculation unit 72 obtains the smoke area in the state of the image corrected by the image correction unit 71 by rabling, and also stores the area and length and width of the rabling result indicating the smoke area as the smoke value. Store in
なお、煙値を求める方法として、矩形で囲んだ領域の面積を求める以外に、画素濃度が閾値以下の単位画素の範囲(画像の白い部分)を線分で囲んだ面積から求めてもよい。
一例として、例えば、図6に示すように、煙画像の中で、落下前の撮像画像と落下後の代表煙画像との差分をとって、鉄スクラップFを除いた煙81の領域の画像を生成し、煙81の領域の面積やモーメントを煙値として算出する。
As a method of obtaining the smoke value, in addition to obtaining the area of the area surrounded by the rectangle, it may be obtained from the area of the range of unit pixels (white portion of the image) whose pixel density is equal to or less than the threshold value.
As an example, for example, as shown in FIG. 6, in the smoke image, the difference between the captured image before falling and the representative smoke image after falling is taken, and the image of the area of
煙値補正部73は、煙値算出部72により算出された煙値を、予め設定しておいた空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所8の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。
The smoke
ダスト量推定部74は、検収時に求めた煙値と予め取得したグランドトゥルース(実測データ)とを比較して、検収時に求めた煙値に近似するグランドトゥルース(実測データ)のNを推定ダスト量とする。ダストの量を推定する上で用いる煙値は、補正された煙値又は補正前の煙値何れかであればよい。
The dust
ログデータ生成部44は、カメラ5により撮像され、取得した一連の撮像画像(トラック31の荷台32に積載された鉄スクラップFの荷姿画像、鉄スクラップFを移送中の撮像画像群、イベント画像群、煙画像、煙濃度画像等)、煙値及び推定ダスト量等をトラックIDに紐づけたログデータとして記憶部18に記憶する。
The log
この際、ログデータ生成部44は、分類上の文字とペアにして、オペレータにより入力されたトラックIDや日付、リフトアップしたカウント等の属性情報を紐付けて記憶する。
Web公開部45は、ログデータ生成部44により生成されたログデータをWebコンテンツにして、このサーバ2にログインした閲覧権限を持つユーザに対して公開する。
従って、管理者は、管理用コンピュータ1からネットワークNを通じてサーバ2にログインし、管理者権限で、Web公開部45により公開されるログデータ(煙画像、煙値及び推定ダスト量等)を閲覧することができ、鉄スクラップ検品場(現地)に出向くことなく、検収状況を知ることができる。
At this time, the log
The web publishing unit 45 converts the log data generated by the log
Therefore, the administrator logs into the
このようにこの実施形態によれば、ダストを含む禁忌物が落下することによりダストに基づく煙が舞う空間がカメラ5により動画像として撮像された際に、カメラ5から夫々出力される動画像内の各フレームを取得し、取得した複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出するので、検出した煙画像から、検収対象の鉄スクラップFに含まれる禁忌物の量を客観的に判断できるようになる。
また、煙画像から、煙の濃度と大きさに基づいてダスト量を表す煙値や推定ダスト量を求めることで、煙値や推定ダスト量に基づいて、検収対象の鉄スクラップFに含まれる禁忌物の量を定量的に判断できるようになる。
さらに、トラック31から鉄スクラップFを荷下ろし場所8へ移送し落下させた後、一定時間(数十秒程度)の撮像画像(動画像)、煙値及び推定ダスト量等の一連の情報を閲覧権限のある管理者や検収員に公開することで、検収員以外の第三者が検収状況を半リアルタイムで閲覧可能になるので、検収の公平性及び公正性を向上することができる。
また、鉄スクラップFに禁忌物が含まれる量から、鉄スクラップFの等級等の品質についても判定することができる。
さらに、検収結果の履歴を保存しておくことで、現在と過去の検収状況や鉄スクラップFの種類の違いを比較することができる。
禁忌物として、例えば危険物やトランプエレメント等が含まれていた場合に、その場所を特定し、アラームを発報することで、作業の安全性を向上することができる。また、鉄スクラップFの検収結果として、鉄スクラップFに混入していた禁忌物の画像を添付したレポートを作成することで、販売会社に対して今後の鉄スクラップ納入のための注意喚起を促すことができる。
学習モデルを構築する上で、元となる教師画像(教師データ)を、検収済の鉄スクラップFの山を背景に様々なアングルで撮像しておくことで、実際の運用状況に近づき、禁忌物の検出精度を向上することができる。
As described above, according to this embodiment, when the
In addition, by obtaining a smoke value and an estimated dust amount that represent the amount of dust based on the density and size of the smoke from the smoke image, the contraindications contained in the iron scrap F to be inspected are calculated based on the smoke value and the estimated dust amount. You will be able to judge the quantity of things quantitatively.
Furthermore, after the iron scrap F is transferred from the
Further, the quality such as the grade of the iron scrap F can also be determined from the amount of contraindicated substances contained in the iron scrap F.
Furthermore, by storing the history of acceptance inspection results, it is possible to compare current and past acceptance inspection situations and differences in the types of iron scrap F.
If, for example, a dangerous substance or a playing card element is included as a contraindicated substance, the safety of the work can be improved by specifying the location and issuing an alarm. In addition, as a result of inspection of iron scrap F, a report with attached images of contraindicated substances mixed in iron scrap F is created to alert the sales company for future iron scrap delivery. can be done.
In constructing the learning model, the original teacher images (teacher data) are taken from various angles against the background of the pile of iron scrap F that has already been inspected. detection accuracy can be improved.
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば図3等のサーバ2)は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間(例えば図1の荷下ろし場所8付近の空間)が、撮像手段(例えば図3のカメラ5等)により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像(例えば動画像内の各フレーム、連写された各写真)を取得する取得手段(例えば図3の取得部41等)と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段(例えば図3の検出部42等)と、
を備える。
このように画像処理により煙の領域が最大の煙画像を検出することで、検収員の目測や技量に左右されることなく、本来の鉄スクラップFの量を定量的に判定し、鉄スクラップFを検収することができる。
また、前記煙画像から、前記煙の濃度と大きさに基づく、前記ダストの量を表す数値(煙値)を算出する算出手段(例えば図3の算出部43)、
をさらに備える。
このように画像処理による機械的な基準を煙値として提示することによって、検収対象の鉄スクラップに含まれる禁忌物(非鉄物質等の粉塵としてのダストやスケール等の鉄粉)の量を客観的に判断できるようになる。
また、前記算出手段により算出された数値を、前記空間の環境条件を基に補正する補正手段(例えば図3の煙値補正部73等)、
をさらに備える。
このように煙値を補正し正規化することで検収場所における環境差を吸収するので、他の検収場所との比較でダストの量を公平に判断できるようになる。
前記数値と、予め用意した鉄スクラップとダスト量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段(例えば図3のダスト量推定部74等)、
をさらに備える。
これにより、実質的なダストの量を判断することができる。
前記ダスト量推定手段により推定されたダストの量、前記ダストの量を表す前記数値、前記煙画像、前記撮像画像のうちの一つ以上を、許可されたユーザに提供する提供手段(例えば図3のWeb公開部45等)、
をさらに備える。
これにより、許可されたユーザが現場に出向くことなく、検収場所での鉄スクラップ検収状況を閲覧し確認することができるようになる。
In other words, the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations.
That is, the information processing device to which the present invention is applied (for example, the
A predetermined range of space (for example, the space near the
detection means (for example, the
Prepare.
In this way, by detecting the smoke image with the largest smoke area through image processing, the original amount of iron scrap F can be quantitatively determined without being influenced by the visual measurement or skill of the inspector. can be accepted.
Further, calculation means (for example, the calculation unit 43 in FIG. 3) for calculating a numerical value (smoke value) representing the amount of dust based on the density and size of the smoke from the smoke image;
further provide.
In this way, by presenting a mechanical standard as a smoke value by image processing, the amount of contraindicated substances (dust such as non-ferrous substances and iron powder such as scale) contained in iron scrap to be inspected can be objectively determined. You will be able to judge
Further, correction means for correcting the numerical value calculated by the calculation means based on the environmental conditions of the space (for example, the smoke
further provide.
By correcting and normalizing the smoke value in this way, the environmental difference at the acceptance inspection location is absorbed, so the amount of dust can be judged fairly by comparison with other acceptance inspection locations.
Dust amount estimating means (for example, the dust
further provide.
This makes it possible to determine the amount of substantial dust.
Providing means (for example, FIG. 3 Web publishing unit 45, etc.),
further provide.
As a result, the authorized user can view and check the iron scrap acceptance status at the acceptance inspection place without going to the site.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図1のシステム構成や図3の機能的構成は例示に過ぎず、特に限定されない。
例えばサーバ2は、
カメラ5により撮像される画像を取得する画像取得手段と、
前記画像取得手段により取得された画像から、前記荷下ろし場所に落下された前記鉄スクラップ周辺に粉塵が飛散して舞う煙の画像を抽出する煙画像抽出手段と、
前記煙画像抽出手段により抽出された煙の画像に含まれるリフトマグネットの第1画像と前記リフトアップ時の前記リフトマグネットの第2画像との大きさが合致するよう前記煙画像の大きさを補正する画像補正手段と、
前記画像補正手段により補正された前記煙画像の煙の領域から煙値を算出する煙値算出手段と、
を備えてもよい。
The series of processes described above can be executed by hardware or by software.
In other words, the system configuration of FIG. 1 and the functional configuration of FIG. 3 are merely examples, and are not particularly limited.
For example,
an image acquisition means for acquiring an image captured by the
a smoke image extracting means for extracting an image of smoke caused by scattering dust around the iron scrap dropped at the unloading location from the image acquired by the image acquiring means;
correcting the size of the smoke image so that the size of the first image of the lift magnet included in the image of the smoke extracted by the smoke image extraction means and the size of the second image of the lift magnet at the time of the lift-up match each other; image correction means for
smoke value calculation means for calculating a smoke value from the smoke area of the smoke image corrected by the image correction means;
may be provided.
また、上記図1の例では、カメラ5にPTZカメラを用い、このPTZカメラ一台でリフトマグネット3の可動範囲全体を撮像する例について説明したが、カメラ5の撮像範囲がリフトマグネット3の可動範囲全体をカバーできない場合は、複数のカメラ5を設置した上で、それら複数のカメラ5を協調動作させて、少なくとも1台以上のカメラ5で可動範囲全体を撮像できるようにする。
In the example of FIG. 1, a PTZ camera is used as the
また、カメラ5に、例えばPTZカメラではないカメラを用いてリフトマグネット3の可動範囲全体を撮像する場合は、撮像範囲が広いためリフトマグネット3の部分の画像が小さくなるため、リフトマグネット3の画像部分をトリミングし拡大して利用してもよい。
In addition, when the entire movable range of the
移動するリフトマグネット3の位置や状態をサーバ2が把握するため、リフトマグネット3をオペレータがリモートコントローラ等の操作端末で操作した際に、操作端末からの制御信号を受けてリフトマグネット3を制御する制御盤に転送回路を設けておき、転送回路からサーバ2へリフトマグネット制御信号を送るようにしてもよい。
Since the
また、カメラ5からリフトマグネット3の位置を把握するための光ビーコンをリフトマグネット3に取り付けておき、カメラ5により撮像された撮像画像上において各撮像画像(各フレーム)の光ビーコンの位置を検出して、光ビーコンの取り付け位置からリフトマグネット3の位置を把握するようにしてもよい。
Also, an optical beacon is attached to the
さらに、リフトマグネット3の制御信号から3次元空間上におけるリフトマグネット3の位置が把握できる場合、予めカメラ5の位置を正確に校正しておくことによって、カメラ位置とその3次元空間上におけるリフトマグネット3の位置の直線距離を求めることができるため、カメラの光軸がその直線に一致するよう制御すればよい。
Furthermore, when the position of the
また、本実施形態では、リフトマグネット3の位置の追従に、コンピュータビジョンにおけるトラッキング技術を用いて行うが、鉄スクラップFを磁着するときや落下させるときのタイミングは、既存の機械学習の技術により、特別な検出手段や装置を用いることなく決定することができる。
Further, in the present embodiment, tracking technology in computer vision is used to track the position of the
上記実施形態では、サーバ2に、カメラ画像の取得、煙検出、煙値算出等の機能を備えたが、これらの機能を管理用コンピュータ1に備えてもよい。この場合、管理用コンピュータ1にインストールされるアプリケーションソフトウェアとして実現することが好ましい。本発明の機能をアプリケーションソフトウェアとして実現することで、情報処理装置として、サーバ2やノート型の管理用コンピュータ1の他、例えばタブレット端末やスマートフォン等を利用可能になり、利用シーンを広げることができる。
また、上記実施形態では、管理用コンピュータ1にインストールしたブラウザにて、サーバ2により公開されるWebサイトの情報を閲覧するようにしたが、この他、例えばヘッドマウントディスプレイ(以下「HMD」と呼ぶ)や拡張現実デバイス(Augmented Reality Device)や複合現実デバイス(Mixed Reality Device)等を用いて鉄スクラップ検品の様子や推定したダスト量等を現実空間の様子に重ねて閲覧するようにしてもよい。
さらに、上記実施形態では、鉄スクラップとダスト量との相関を予め学習した学習モデルを用いてダスト量を推定したが、この他、煙値とダスト量との間の相関と推定を、例えば重回帰分析等の解析技術により行ってもよい。
In the above embodiment, the
Further, in the above-described embodiment, the browser installed in the
Furthermore, in the above embodiment, the amount of dust is estimated using a learning model in which the correlation between iron scrap and the amount of dust is learned in advance. Analysis techniques such as regression analysis may be used.
即ち、上述した一連の処理を全体として実行できる機能が鉄スクラップ検品システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の機能的構成の例に限定されるものではない。また、機能ブロックの存在場所も、図3に特に限定されず、任意でよい。 That is, it is sufficient if the iron scrap inspection system is provided with a function capable of executing the series of processes described above as a whole. Examples are not limiting. Also, the locations of the functional blocks are not particularly limited to those shown in FIG. 3, and may be arbitrary.
また、例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
Further, for example, when a series of processes is executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware. Also, the computer may be a computer capable of executing various functions by installing various programs, such as a server, a general-purpose smart phone, or a personal computer.
また、例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 Further, for example, a recording medium containing such a program is not only configured by a removable medium (not shown) that is distributed separately from the device main body in order to provide the program to the user, but also is pre-installed in the device main body. It consists of a recording medium or the like provided to the user in a state.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In this specification, the steps of writing a program recorded on a recording medium are not only processes that are performed chronologically in that order, but also processes that are not necessarily chronologically processed, and that are performed in parallel or individually. It also includes the processing to be performed.
Further, in this specification, the term "system" means an overall device composed of a plurality of devices, a plurality of means, or the like.
1・・・管理用コンピュータ、2・・・サーバ、3・・・リフトマグネット、4・・・クレーン、5・・・カメラ、6・・・センサ、8・・・荷下ろし場所、9・・・レール、11・・・CPU、31・・・トラック、32・・・鉄スクラップ、41・・・取得部、42・・・検出部、43・・・算出部、51・・・画像取得部、52・・・画像切出部、53・・・グレースケール化部、54・・・イベント画像列挙部、55・・・イベント画像分類部、61・・・領域分割部、62・・・フレーム選定部、63・・・煙濃度画像生成部、71・・・画像補正部、72・・・煙値検出部、73・・・煙値補正部、74・・・ダスト量推定部
DESCRIPTION OF
Claims (5)
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段と、
を備える情報処理装置。 A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. calculating means;
A dust amount for estimating the amount of falling dust based on the smoke value calculated by the calculating means and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. an estimating means;
Information processing device.
をさらに備える請求項1に記載の情報処理装置。 correction means for correcting the smoke value calculated by the calculation means based on the environmental conditions of the space;
The information processing apparatus according to claim 1 , further comprising:
をさらに備える請求項1又は2に記載の情報処理装置。 providing means for providing a user with at least one of the amount of dust estimated by the amount of dust estimation means, the smoke value representing the amount of dust, the smoke image, and the captured image;
The information processing apparatus according to claim 1 or 2, further comprising:
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出するステップと、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出ステップと、
前記算出ステップにおいて算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定ステップと、
を含む情報処理方法。 A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. obtaining an image;
a step of detecting, as a smoke image, a captured image having the largest area of smoke among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. a calculation step;
A dust amount for estimating the amount of the falling dust based on the smoke value calculated in the calculating step and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. an estimation step;
Information processing method including.
前記情報処理装置を、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段、
として機能させるプログラム。 A program for causing an information processing device to execute processing,
the information processing device,
A plurality of images output from an image capturing means when a space in a predetermined range in which smoke based on the dust due to falling contraindicated substances including dust is scattered is captured by the image capturing means while being separated in time. an acquisition means for acquiring an image;
detection means for detecting, as a smoke image, a captured image having the largest smoke area among the plurality of captured images;
A smoke value representing the amount of dust is calculated as a smoke value that includes, as elements, the smoke density based on each pixel value of the smoke region in the smoke image and the size of the smoke based on the area of the smoke region. calculating means;
A dust amount for estimating the amount of falling dust based on the smoke value calculated by the calculating means and the data of the correlation between the smoke value and the amount of dust actually measured by iron scrap prepared in advance. estimation means,
A program that acts as a
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239597A JP7241011B2 (en) | 2019-12-27 | 2019-12-27 | Information processing device, information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239597A JP7241011B2 (en) | 2019-12-27 | 2019-12-27 | Information processing device, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021107795A JP2021107795A (en) | 2021-07-29 |
JP7241011B2 true JP7241011B2 (en) | 2023-03-16 |
Family
ID=76967857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239597A Active JP7241011B2 (en) | 2019-12-27 | 2019-12-27 | Information processing device, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7241011B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067566A (en) | 1999-08-30 | 2001-03-16 | Fujitsu Ltd | Fire detecting device |
JP2008267837A (en) | 2007-04-16 | 2008-11-06 | Toyota Motor Corp | Apparatus for detecting state of exhaust gas from vehicle |
JP2012118698A (en) | 2010-11-30 | 2012-06-21 | Fuji Heavy Ind Ltd | Image processing system |
WO2019058863A1 (en) | 2017-09-21 | 2019-03-28 | コニカミノルタ株式会社 | Image processing device for gas detection, image processing method for gas detection, and image processing program for gas detection |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0493606A (en) * | 1990-08-06 | 1992-03-26 | Mitsubishi Heavy Ind Ltd | Judgement device for existence of garbage |
JPH04225852A (en) * | 1990-12-27 | 1992-08-14 | Mitsubishi Heavy Ind Ltd | Detecting device for stagnation in trash crusher |
JPH04352077A (en) * | 1991-05-29 | 1992-12-07 | Nkk Corp | Detector for emission of smoke or dust due to image processing |
JP3001676B2 (en) * | 1991-07-17 | 2000-01-24 | ホーチキ株式会社 | Smoke detection device using image processing |
JPH05169037A (en) * | 1991-12-17 | 1993-07-09 | Toyo Glass Co Ltd | Device for separating opaque foreign matter in transparent body |
JP3187237B2 (en) * | 1994-03-16 | 2001-07-11 | 新日本製鐵株式会社 | Method for automatically identifying copper-containing scrap from iron scrap group |
US9785851B1 (en) * | 2016-06-30 | 2017-10-10 | Huron Valley Steel Corporation | Scrap sorting system |
-
2019
- 2019-12-27 JP JP2019239597A patent/JP7241011B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001067566A (en) | 1999-08-30 | 2001-03-16 | Fujitsu Ltd | Fire detecting device |
JP2008267837A (en) | 2007-04-16 | 2008-11-06 | Toyota Motor Corp | Apparatus for detecting state of exhaust gas from vehicle |
JP2012118698A (en) | 2010-11-30 | 2012-06-21 | Fuji Heavy Ind Ltd | Image processing system |
WO2019058863A1 (en) | 2017-09-21 | 2019-03-28 | コニカミノルタ株式会社 | Image processing device for gas detection, image processing method for gas detection, and image processing program for gas detection |
Non-Patent Citations (1)
Title |
---|
AIで鉄スクラップの等級判定!データ蓄積し判定精度高める,ニュースイッチ,[online],株式会社日刊工業新聞社,2019年09月21日,[令和4年12月5日検索],インターネット<URL:https://newswitch.jp/p/19305> |
Also Published As
Publication number | Publication date |
---|---|
JP2021107795A (en) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102022496B1 (en) | Process management and monitoring system using vision image detection and a method thereof | |
EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US11776274B2 (en) | Information processing apparatus, control method, and program | |
CN101916372B (en) | Video-based smoke detection device and method according to multi-feature fusion | |
EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
CN109766779A (en) | It hovers personal identification method and Related product | |
EP3434621B1 (en) | Instruction projecting device, parcel sorting system and instruction projecting method | |
EP3434623B1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
CN111178424A (en) | Petrochemical production site safety compliance real-time detection system and method | |
CN114241370A (en) | Intrusion identification method and device based on digital twin transformer substation and computer equipment | |
CN114140745A (en) | Method, system, device and medium for detecting personnel attributes of construction site | |
CN114078127B (en) | Object defect detection and counting method, device, equipment and storage medium | |
CN111428743B (en) | Commodity identification method, commodity processing device and electronic equipment | |
EP2791865B1 (en) | System and method for estimating target size | |
CN114155472A (en) | Method, device and equipment for detecting abnormal state of factory scene empty face protection equipment | |
US20200111221A1 (en) | Projection indication device, parcel sorting system, and projection indication system | |
KR101395666B1 (en) | Surveillance apparatus and method using change of video image | |
JP7241011B2 (en) | Information processing device, information processing method and program | |
CN111881787A (en) | Camera-based store illegal operation behavior identification method and system | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
CN114241354A (en) | Warehouse personnel behavior identification method and device, computer equipment and storage medium | |
CN112686162A (en) | Method, device, equipment and storage medium for detecting clean state of warehouse environment | |
CN117331138B (en) | Intelligent detection system of intelligent analyzer | |
US20240153274A1 (en) | Artificial intelligence enabled distance event detection using image analysis | |
EP3434624B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7241011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |