JP6674515B2 - 判定装置および判定方法 - Google Patents
判定装置および判定方法 Download PDFInfo
- Publication number
- JP6674515B2 JP6674515B2 JP2018164877A JP2018164877A JP6674515B2 JP 6674515 B2 JP6674515 B2 JP 6674515B2 JP 2018164877 A JP2018164877 A JP 2018164877A JP 2018164877 A JP2018164877 A JP 2018164877A JP 6674515 B2 JP6674515 B2 JP 6674515B2
- Authority
- JP
- Japan
- Prior art keywords
- operation error
- work
- image
- determination
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Description
(判定の概要)
本実施形態の判定装置による判定の概要を図2に基づいて説明する。図2は、判定装置1が行う判定の概要を示す図である。判定装置1は、対象作業用車両による作業シーンを撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する装置である。
判定装置1の要部構成について図1に基づいて説明する。図1は、判定装置1の要部構成の一例を示すブロック図である。図示のように、判定装置1は、判定装置1の各部を統括して制御する制御部10と、判定装置1が使用する各種データを記憶する記憶部20を備えている。さらに、判定装置1は、判定装置1に対する入力操作を受け付ける入力部30と、判定装置1が情報を出力するための出力部40と、判定装置1が他の装置と通信するための通信部50とを備えている。また、制御部10には、入力データ生成部101、学習済みモデル102、判定部103、および報知部104が含まれている。
本実施形態の学習済みモデル102は、作業用車両を用いた作業において操作ミスが発生したときの、該操作ミスの発生直前における所定の作業のシーンを撮影した画像を教師データとして用いた機械学習により生成された学習済みモデルである。なお、本実施形態ではフォークリフトAの操作ミスが発生するかを判定することを想定しているため、上記作業用車両が、フォークリフトAと操作方法が共通したフォークリフトである例を説明する。
(1)積荷の前でフォークリフトを停車。
(2)フォークをパレットに位置合わせ。
(3)フォークをパレットに差し込む。
(4)積荷を持ち上げて手前に引き出す。
入力データ生成部101は、上述のような教師データを多数用いて機械学習を行うことにより生成された学習済みモデル102に入力する入力データを生成する。具体的には、入力データ生成部101は、フォークリフトAのフォークを位置合わせするシーンを撮影した動画像から上記入力データを生成する。
学習済みモデル102は、上述の入力データの入力に応じて、該入力データが示す上記シーンが、操作ミスの予兆が表れたシーンと一致する確率を示す出力データを出力する。この確率は、操作ミスの予兆が表れた教師データにおけるシーンの特徴と同様の特徴が入力データに含まれているほど高い値となる。このため、判定部103は、学習済みモデル102が出力した出力データに示される確率が所定の閾値以上であれば、操作ミスが発生すると判定する。なお、判定部103は、閾値による上記判定を行う代わりに、上記確率の値を、操作ミスが発生するか否かの判定結果としてもよい。この場合、報知部104は、判定結果である確率値を作業者Bに報知して、操作ミスが発生する可能性が高い状況であるか否かを作業者Bに認識させることができる。
判定装置1が実行する処理の流れを図3に基づいて説明する。図3は、判定装置1が実行する処理(判定方法)の一例を示すフローチャートである。
以上のように、本実施形態の判定部103は、学習済みモデル102を用いて、フォークリフトAによる作業の様子を撮影した画像から、フォークリフトAの操作ミスが発生するか否かを判定する。そして、この学習済みモデル102は、フォークリフトを用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルである。よって、本実施形態の判定装置1によれば、フォークリフトAを用いた作業の様子を撮影した画像に基づき、操作ミスが発生するか否かを判定することができる。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態の判定装置1は、教師データを自動で生成して学習済みモデル102の再学習を行う点で実施形態1の判定装置1と異なっている。
上記各実施形態で説明した判定装置1の実行する処理の一部は、判定装置1と通信接続された1または複数の装置に実行させてもよい。例えば、学習済みモデル102の実行する処理を、判定装置1と通信接続されたAIサーバに実行させてもよい。この場合、判定装置1は、入力データを生成してAIサーバに送信し、該AIサーバから出力データを受信して操作ミスが発生するか否かの判定を行う。
図2にはフォークリフトAを斜め上方から撮影する様子を示したが、教師データおよび学習済みモデル102への入力データとして用いる動画像は、作業の様子が認識できるようなものであればよく、図2のようにして撮影されたものに限定されない。例えば、フォークリフトAにドライブレコーダが設置されている場合、そのカメラの被写体(フォークリフトAと作業者B)は、直上から撮影される。このように直上から撮影した画像からは、作業者Bの手元の動きや顔の向き等が認識しやすい。よって、このような動画像は、操作ミスの予兆が、作業者Bの手元の動きや顔の向き等に表れている場合における判定に有用である。また、ドライブレコーダの画像を流用するため撮影装置Cを新たに設ける必要がない点、およびフォークリフトAがどこに移動しても撮影が継続できるという点も利点である。
また、操作ミスの発生の予兆が複数種類ある場合、各予兆について機械学習を行うことにより生成された学習済みモデル102を用いてもよい。この場合、判定部103は、学習済みモデル102の出力データから、複数種類の予兆の有無をそれぞれ判定することができる。なお、この場合、判定部103は、複数種類の予兆の何れか1つでも存在すると判定したときに、操作ミスが発生すると判定してもよいし、複数種類の予兆の少なくとも2つが存在すると判定したときに、操作ミスが発生すると判定してもよい。また、この場合、報知部104は、存在すると判定された予兆の数および種類の少なくとも何れかに応じて報知の態様を変えてもよい。これにより、例えば多数の予兆が存在すると判定された場合や、操作ミスと相関の高い予兆が存在すると判定された場合等のように、作業者Bが注意して操作を行う必要性が高い状況において、作業者Bに十分な注意喚起を行うことが可能になる。
判定装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
102 学習済みモデル
103 判定部
105 操作ミス判定部
106 教師データ生成部
Claims (3)
- 作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定部を備えており、
上記学習済みモデルは、上記作業用車両を操作する作業者の表情、および操作ミスが発生した事例における当該操作ミスに係る操作前の作業シーンの少なくとも何れかを撮影した画像を用いた機械学習により生成されたものであることを特徴とする判定装置。 - 作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定部と、
上記対象作業用車両による作業において、操作ミスが発生したか否かを判定する操作ミス判定部と、
上記判定部の判定のために上記学習済みモデルに入力された入力データと、上記操作ミス判定部の判定結果とを対応付けて、上記学習済みモデルの機械学習用の教師データを生成する教師データ生成部と、を備えていることを特徴とする判定装置。 - 判定装置による判定方法であって、
作業用車両を用いた作業における操作ミスの発生の予兆が表れた作業の様子を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、対象作業用車両を用いた作業の様子を撮影した画像から、当該対象作業用車両を用いた作業において操作ミスが発生するか否かを判定する判定ステップを含み、
上記学習済みモデルは、上記作業用車両を操作する作業者の表情、および操作ミスが発生した事例における当該操作ミスに係る操作前の作業シーンの少なくとも何れかを撮影した画像を用いた機械学習により生成されたものであることを特徴とする判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164877A JP6674515B2 (ja) | 2018-09-03 | 2018-09-03 | 判定装置および判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164877A JP6674515B2 (ja) | 2018-09-03 | 2018-09-03 | 判定装置および判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020037463A JP2020037463A (ja) | 2020-03-12 |
JP6674515B2 true JP6674515B2 (ja) | 2020-04-01 |
Family
ID=69737456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164877A Active JP6674515B2 (ja) | 2018-09-03 | 2018-09-03 | 判定装置および判定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6674515B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6892210B1 (ja) * | 2020-04-01 | 2021-06-23 | 三菱ロジスネクスト株式会社 | 荷役車用画像記憶システムおよび画像記憶プログラム |
JP6969857B1 (ja) * | 2020-06-24 | 2021-11-24 | 三菱ロジスネクスト株式会社 | 荷役システムおよび制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003167613A (ja) * | 2001-11-30 | 2003-06-13 | Sharp Corp | 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体 |
JP5686108B2 (ja) * | 2012-02-24 | 2015-03-18 | 株式会社ダイフク | 誤作業防止装置および誤作業防止装置が設けられた仕分け設備 |
JP5489314B1 (ja) * | 2013-02-28 | 2014-05-14 | ニチユ三菱フォークリフト株式会社 | ピッキングリフトの転落防止装置、および該転落防止装置を備えたピッキングリフト |
JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
JP6823402B2 (ja) * | 2016-08-23 | 2021-02-03 | グローリー株式会社 | 有価媒体処理装置及び有価媒体処理方法 |
CN108137230B (zh) * | 2016-09-12 | 2020-07-03 | 爱鸥自动化***有限公司 | 拣货辅助装置 |
-
2018
- 2018-09-03 JP JP2018164877A patent/JP6674515B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020037463A (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2849031B1 (en) | Information processing apparatus and information processing method | |
JP5480777B2 (ja) | オブジェクト表示装置及びオブジェクト表示方法 | |
JP2020021323A (ja) | 判定装置および判定方法 | |
US20150193698A1 (en) | Data processing device | |
JP6569532B2 (ja) | 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム | |
US20190244008A1 (en) | Manufacturing Part Identification Using Computer Vision And Machine Learning | |
US20230410321A1 (en) | Information processing apparatus, control method, and program | |
JP6674515B2 (ja) | 判定装置および判定方法 | |
US11741685B2 (en) | Commodity identification device, non-transitory computer-readable storage medium, and learning method | |
KR102645340B1 (ko) | 전자 장치 및 그의 녹화 방법 | |
CN111461070B (zh) | 文本识别方法、装置、电子设备及存储介质 | |
US10965858B2 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium for detecting moving object in captured image | |
JP6600726B1 (ja) | 判定装置および判定方法 | |
JP4717445B2 (ja) | 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 | |
US10521653B2 (en) | Image processing device, image processing method, and storage medium | |
JP6722733B2 (ja) | 判定装置および判定方法 | |
CN115187988A (zh) | 区域文本识别方法、装置、电子设备及存储介质 | |
US20230196840A1 (en) | Work management device and work state determination method | |
US10909402B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6893198B2 (ja) | 情報処理装置および情報処理方法 | |
CN114692757A (zh) | 一种异常驾驶行为的监测方法、装置及电子设备 | |
JP7407777B2 (ja) | 照合装置および照合方法 | |
US20230214024A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
US20220230333A1 (en) | Information processing system, information processing method, and program | |
CN112115941B (zh) | 火灾检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6674515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |