JP2020071864A - Display system, machine learning device, and display device - Google Patents
Display system, machine learning device, and display device Download PDFInfo
- Publication number
- JP2020071864A JP2020071864A JP2019094701A JP2019094701A JP2020071864A JP 2020071864 A JP2020071864 A JP 2020071864A JP 2019094701 A JP2019094701 A JP 2019094701A JP 2019094701 A JP2019094701 A JP 2019094701A JP 2020071864 A JP2020071864 A JP 2020071864A
- Authority
- JP
- Japan
- Prior art keywords
- work
- display
- data
- threshold value
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、表示システム、機械学習装置、及び表示装置に関し、特に作業を支援する表示システム、機械学習装置、及び表示装置に関する。 The present invention relates to a display system, a machine learning device, and a display device, and more particularly to a display system, a machine learning device, and a display device that support work.
人による作業(例えば組立作業、検査作業、洗浄作業、梱包作業、事務作業等)の際に作業者の見落とし等によって、組立不良、検査ミス、洗浄不足、梱包忘れ、誤字等の作業ミスが発生することがある。そこで、作業手順を表示することによって作業ミスを軽減する技術が公知である。 During human work (for example, assembly work, inspection work, cleaning work, packing work, office work, etc.), due to oversight of workers, assembly mistakes, inspection mistakes, insufficient cleaning, forgetting to pack, mistakes in work etc. occur. I have something to do. Therefore, there is known a technique of displaying a work procedure to reduce work mistakes.
特許文献1には、外景画像を画像認識することによって現在の手順を推定し、指示内容を表す文字列や使用者が実施すべき内容を表す画像を表示する頭部装着型表示装置が開示されている。
特許文献2には、作業を登録した標準データと、取得した作業データとの差異が閾値以上である場合に、作業の修正に関する指示画像を現実空間に重畳して表示する情報処理システムが開示されている。 Patent Document 2 discloses an information processing system that superimposes and displays an instruction image related to work correction on a real space when a difference between standard data in which work is registered and acquired work data is a threshold value or more. ing.
特許文献3には、速度センサの出力及び撮像部の出力を用いてユーザの作業を同定する作業認識装置が開示されている。 Patent Document 3 discloses a work recognition device that identifies the work of a user using the output of a speed sensor and the output of an imaging unit.
特許文献4には、作業者のスキルレベルに応じて提供する作業手順情報を決定する内視鏡洗浄管理システムが開示されている。 Patent Document 4 discloses an endoscope cleaning management system that determines work procedure information to be provided according to the skill level of a worker.
作業手順、作業結果等の正常作業を作業前に表示することによって、特に未熟な作業者の作業ミスは低減する。しかし、正常作業の表示は、熟練した作業者にとって煩わしく、邪魔であり、作業効率を低下させる。一方、熟練した作業者であっても、複雑な作業、作業時間が長い作業、勤務時間又は勤務日数の度合い等に依存して作業ミスが発生することもある。 By displaying the normal work such as the work procedure and the work result before the work, the work mistakes of especially inexperienced workers are reduced. However, displaying the normal work is bothersome and disturbing for a skilled worker, and reduces the work efficiency. On the other hand, even a skilled worker may make a work error depending on the complicated work, the work having a long work time, the work time or the degree of working days.
そこで、正常作業の表示タイミングを制御する技術が求められている。 Therefore, there is a demand for a technique for controlling the display timing of normal work.
本開示の一態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、表示タイミングに従って正常作業を表示する1つ又は複数の表示部と、を備える、表示システムを提供する。
本開示の他の態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、を備え、閾値は、状態データ及びラベルデータを教師データとして学習モデルに基づき更新される、機械学習装置を提供する。
本開示の別の態様は、少なくとも作業内容を含む状態データを取得する状態取得部と、状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、状態データ及びラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、表示タイミングに従って正常作業を表示する表示部と、を備える、表示装置を提供する。
One aspect of the present disclosure is a status acquisition unit that acquires status data including at least work content, a label acquisition unit that acquires label data indicating whether or not work at the time of acquiring status data is abnormal, and a status. Based on the data and the label data, a threshold calculation unit that calculates a threshold for determining whether the work to be performed is likely to be abnormal, and a display control unit that controls the display timing of the normal work based on the threshold, A display system including one or a plurality of display units that display normal work according to display timing.
Another aspect of the present disclosure is a status acquisition unit that acquires status data including at least work content, a label acquisition unit that acquires label data indicating whether or not the work when the status data is acquired is abnormal, A threshold value calculation unit that calculates a threshold value for determining whether or not the work to be performed is likely to be abnormal, based on the state data and the label data, and the threshold value learns the state data and the label data as teacher data. Provide a machine learning device that is updated based on a model.
Another aspect of the present disclosure is a status acquisition unit that acquires status data including at least work content, a label acquisition unit that acquires label data indicating whether or not the work when the status data is acquired is abnormal, Based on the state data and label data, a threshold value calculation unit that calculates a threshold value for determining whether the work to be performed is likely to be abnormal, and a display control unit that controls the display timing of the normal work based on the threshold value. And a display unit that displays normal work according to display timing.
本開示によれば、状態データ及びラベルデータを取得する度に、閾値が更新されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。斯かる閾値により、正常作業の表示タイミングが制御されるため、正常作業の表示が作業者にとって邪魔になることなく作業ミスを低減できる。 According to the present disclosure, the threshold value is updated every time the state data and the label data are acquired, and thus the prediction accuracy of whether or not the work to be performed is likely to be abnormal is improved over time. Since the display timing of the normal work is controlled by such a threshold value, it is possible to reduce the work mistake without the display of the normal work hindering the operator.
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In each drawing, the same or similar reference numerals are given to the same or similar components. Further, the embodiments described below do not limit the technical scope of the invention described in the claims and the meaning of terms.
図1は、本実施形態における表示システム1のブロック図である。図1には、作業を行う環境10と、環境10に配置される作業対象11と、作業対象11に対して既定の作業を行う作業者12と、が示されている。作業は、例えば組立作業、検査作業、洗浄作業、梱包作業、事務作業等を含む。表示システム1は、斯かる作業を支援する情報を表示する機能を有している。
FIG. 1 is a block diagram of a
表示システム1は、機械学習装置20及び表示装置30を備えている。機械学習装置20及び表示装置30は、有線又は無線のネットワーク等を介して通信可能に接続される。機械学習装置20は、PC(personal computer)、サーバ等として構成される。一方、表示装置30は、環境10の中に配置されるラップトップ、PDA(personal digital assistant)、スマートフォン、ウェアラブルデバイス等として構成される。表示システム1は、複数の表示装置30を備えてもよく、この場合、表示装置30の各々が同一環境又は別環境に配置される。
The
表示システム1は、第1プロセッサ21、第2プロセッサ31、及び表示部33を備えていてもよい。第1プロセッサ21及び第2プロセッサ31は、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、CPU(central processing unit)等の公知のプロセッサとして構成される。第1プロセッサ21は、環境10から取得した種々のデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する機能を有する。第2プロセッサ31は、閾値に基づいて正常作業の表示タイミングを制御する機能を有する。また、第2プロセッサ31は、作業対象11が正常品であるか否かを判定する機能、作業対象11の不良箇所を表示して交換を指示する機能、及び、作業が正常であったか否かを判定する機能を有していてもよい。
The
機械学習装置20は、第1プロセッサ21を備えていてもよい。第1プロセッサ21は、状態取得部22、ラベル取得部23、及び閾値算出部24を備えていてもよい。状態取得部22、ラベル取得部23、及び閾値算出部24は、CPUによって実行可能なプログラムとして構成することも可能である。状態取得部22は、状態データを環境10から取得する。状態データは、作業状態を表すデータであり、少なくとも作業内容を含む。また、状態データは、作業者情報、作業時間の長さ、及び作業日時の少なくとも1つを含んでいてもよい。以下では、各情報の定義及び取得方法を説明する。
The
「作業内容」は、どのような作業を行っているかを表す情報として定義される。例えば作業内容は、作業種別コード、作業難易度等を含む。作業内容は、例えばカメラ、バーコードリーダ等のデバイスを用いて特定される。デバイスは、表示装置30に設けたものでもよいし、又は別個に設けたものでもよい(後述する「デバイス」についても同様。)。作業内容は、例えば作業対象11のID又は画像に基づき特定してもよい。例えば部品A及び部品Bを部品Cに組付ける組立作業の場合、部品A、部品B、及び部品Cの3つのIDを基準データと照合することによって作業内容が特定される。また、作業内容は、作業が正常であったか否かの判定に用いてもよい。
“Work content” is defined as information indicating what kind of work is being performed. For example, the work content includes a work type code, work difficulty level, and the like. The work content is specified using a device such as a camera or a bar code reader. The device may be provided in the
「作業者情報」は、作業を行う作業者12の熟練度を表す情報として定義される。例えば作業者情報は、作業者ID、年齢、勤務年数、作業年数等を含む。作業者情報は、例えば環境10への入退室権限、表示装置30へのアクセス権限を検証する際に入力される作業者12のIDに基づき特定される。
The “worker information” is defined as information indicating the skill level of the
「作業時間の長さ」は、作業開始から作業終了までに掛かった時間間隔を表す情報として定義される。作業時間の長さは、例えばカメラ、バーコードリーダ、内部時計等のデバイスを用いて特定される。作業開始時刻は、作業対象11のIDを取得した時刻でもよいし、表示装置30の電源を投入した時刻でもよいし、又は作業者12が表示装置30に作業開始を入力した時刻でもよい。作業終了時刻は、作業対象11に付与される作業終了印の画像を取得した時刻でもよいし、表示装置30の電源を切った時刻でもよいし、又は作業者12が表示装置30に作業終了を入力した時刻でもよい。
The “work time length” is defined as information indicating a time interval from the start of work to the end of work. The length of working time is specified by using a device such as a camera, a bar code reader, an internal clock, or the like. The work start time may be the time when the ID of the
「作業日時」は、作業を行った日付、時刻、及び曜日を表す情報として定義される。例えば作業日時は、作業開始日時でもよいし、作業終了日時でもよいし、又は作業開始日時と作業終了日時との間の中間の日時でもよい。作業日時は、例えばカメラ、バーコードリーダ、内部時計等のデバイスを用いて特定される。一定以上の勤務時間、一定以上の勤務日数等になると、作業の正確性が損なわれることがあるため、作業日時を状態データとして取得することが望ましい。 The “work date and time” is defined as information indicating the date, time, and day of the week when the work was performed. For example, the work date and time may be the work start date and time, the work end date and time, or an intermediate date and time between the work start date and time and the work end date and time. The work date and time is specified using a device such as a camera, a barcode reader, an internal clock, or the like. It is desirable to acquire the work date and time as status data because the accuracy of the work may be impaired if the work time exceeds a certain value or the number of work days exceeds a certain value.
ラベル取得部23は、ラベルデータを環境10から取得する。ラベルデータは、状態データを取得したときの作業が異常であるか否かを表すデータである。ラベルデータは正解を示すデータであり、ラベルデータが正常作業を表す場合、作業が正常であったことが真であり、ラベルデータが異常作業を表す場合、作業が異常であったことが真である。ラベルデータは、例えばカメラ、バーコードリーダ等のデバイスを用いて特定される。ラベルデータは、例えば作業対象11のID、画像等に基づき特定される。例えば部品A及び部品Bを配線Dで接続する組立作業の場合、部品A、部品B、及び配線Dの3つのID及び組立後の作業対象11の画像を、基準データと照合することによってラベルデータが特定される。
The
閾値算出部24は、状態データ及びラベルデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する。閾値は、機械学習、特に教師あり学習を用いて学習される。即ち、閾値は、状態データ及びラベルデータを教師データとして学習モデル25に基づき更新される。学習モデル25は複数の表示部33の間で共有されてもよい。状態データ及びラベルデータを取得する度に、閾値が増減されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。但し、他の実施形態では、回帰分析等の公知の手法を用いて学習せずに閾値を算出してもよい。
The
表示装置30は、第2プロセッサ31及び表示部33を備えていてもよい。第2プロセッサ31は表示制御部32を備えていてもよい。表示制御部32はCPUによって実行可能なプログラムとして構成されてもよい。表示制御部32は、前述の閾値に基づいて正常作業の表示タイミングを制御する機能を有する。「正常作業」は、正常な作業手順でもよいし又は正常な作業結果でもよい。表示部33は、液晶ディスプレイ、タッチパネルディスプレイ等の公知の表示ディスプレイとして構成される。表示部33は、表示制御部32の指令に従って作業を支援する情報を表示し、特に表示制御部32の表示タイミングに従って正常作業を表示する。表示部33は、拡張現実機器として構成されてもよく、この場合、正常作業を現実空間の画像に重畳して表示する。
The
図2は、他の実施形態における表示装置40のブロック図である。表示装置40は、前述の機械学習装置20の機能を兼ね備えており、スタンドアロンとして動作する。表示装置40は、プロセッサ41及び表示部33を備えている。プロセッサ41は、ASIC、FPGA、CPU等の公知のプロセッサとして構成される。プロセッサ41は、環境10から取得した種々のデータに基づいて作業が異常になり易いか否かを判定するための閾値を算出する機能と、閾値に基づいて正常作業の表示タイミングを制御する機能と、を兼ね備えている。プロセッサ41は、前述の状態取得部22、ラベル取得部23、閾値算出部24、及び表示制御部32を備えている。状態取得部22、ラベル取得部23、閾値算出部24、及び表示制御部32は、CPUによって実行可能なプログラムとして構成されてもよい。
FIG. 2 is a block diagram of a
図3は、別の実施形態における表示システム1の構成図である。例えば環境10a−10cのように、環境は1つだけでなく複数あってもよい。また、前述の機械学習装置は、環境10a−10c毎に個別に存在してもよいし、又はネットワーク上に1つ存在してもよい。即ち、機械学習装置は、環境10a−10cの中に又はその近傍に配置されるローカルサーバ20a−20cとして構成してもよいし、或いは環境10a−10cから離れた遠隔地に配置されるクラウドサーバ20dとして構成してもよい。さらに、前述の状態取得部、ラベル取得部、及び閾値算出部は、ローカルサーバ20a−20c上に配置されてもよいし、又はネットワーク上のクラウドサーバ20d上に配置されてもよい。加えて、前述の学習モデルは、作業毎にモデル化してネットワーク上で共有されてもよい。
FIG. 3 is a configuration diagram of a
ここで学習モデル25の一例について説明する。式1は、異常作業フラグFと状態データA、B、C、Dとの関係をモデル化した関数の一例である。異常作業フラグFは、行うべき作業が異常になり易いか否かを表す。状態データA、B、C、Dは夫々、前述の作業内容、作業者情報、作業時間の長さ、及び作業日時を表す。a0、b0、c0、d0は夫々、作業内容の重み、作業者情報の重み、作業時間の長さの重み、作業日時の重みを表す。これら重みの初期値は、状態データ等が一定以上蓄積された後に回帰分析等によって求められる。式1は、状態データから異常作業フラグを予測する線形関数であるが、非線形関数としてモデル化してもよい。また、式1の右辺に定数e0を追加してもよい。
Here, an example of the
式2は、ラベルデータの重みl1、l2と、状態データの重みa0、b0、c0、d0との関係をモデル化した関数の一例である。ラベルデータの重みl1は正常作業ラベルデータL1の重みを表し、ラベルデータの重みl2は異常作業ラベルデータL2の重みを表す。a1、b1、c1、d1は夫々、L1取得時の状態データの重みを表し、a2、b2、c2、d2は夫々、L2取得時の状態データの重みを表す。
Formula 2 is an example of a function that models the relationship between the
式3は、L1取得時及びL2取得時の異常作業フラグFと閾値Xとの関係をモデル化した関数である。Yは前回ラベルデータを取得したときの閾値を表し、Yの初期値は0でよい。式3に示す通り、L1取得時には閾値Xが増加され、L2取得時には閾値Xが減少されることとなる。これにより、状態データ及びラベルデータを取得する度に、閾値Xが更新されていくこととなる。式1から式3は、前述の閾値算出部24において実装される。
Formula 3 is a function that models the relationship between the abnormal work flag F and the threshold value X at the time of L1 acquisition and L2 acquisition. Y represents a threshold value when the label data was acquired last time, and the initial value of Y may be 0. As shown in Expression 3, the threshold value X is increased when L1 is acquired, and the threshold value X is decreased when L2 is acquired. As a result, the threshold value X is updated every time the state data and the label data are acquired.
式4は、行うべき作業が異常になり易いか否かを判定する関数である。式4に示す通り、異常作業フラグFが閾値X以上の場合には、作業が異常になり易いため、作業前に正常作業が表示される。一方、異常作業フラグFが閾値X未満の場合には、作業が異常になり難いため、行った作業が正常でなかった場合にのみ正常作業が表示される。式4は、前述の表示制御部32において実装される。
Expression 4 is a function that determines whether the work to be performed is likely to be abnormal. As shown in Expression 4, when the abnormal work flag F is equal to or more than the threshold value X, the work is likely to be abnormal, and thus the normal work is displayed before the work. On the other hand, when the abnormal work flag F is less than the threshold value X, the work is unlikely to be abnormal, and therefore the normal work is displayed only when the performed work is not normal. Expression 4 is implemented in the
図4は、表示システム1又は表示装置40の動作の一例を示すフローチャートである。ステップS10では、状態データを取得する。状態データは、作業内容に加えて、作業者情報、作業時間の長さ、及び作業日時を含む。状態データを取得したときに、前述の閾値も更新される。
FIG. 4 is a flowchart showing an example of the operation of the
ステップS11では、作業対象11が正常品であるか否かが判定される。作業対象11が正常品であるか否かは、画像認識等によって特定される。例えば部品A及び部品Bを部品Cに組付ける組立作業の場合、部品A、部品B、及び部品Cの3つの画像を夫々、基準データと照合することによって部品A、B、Cが正常品であるか否かが特定される。ステップS11において作業対象11が正常品でない場合には(ステップS11のNO)、ステップS12において不良箇所を表示すると共に、交換を指示する。次いで、作業開始へ戻る。ステップS11において作業対象11が正常品である場合には(ステップS11のYES)、ステップS13に進む。
In step S11, it is determined whether the
ステップS13では、行うべき作業が異常になり易いか否かが判定される。即ち、異常作業フラグが閾値以上であるかが判定される。ステップS13において作業が異常になり難い場合には(ステップS13のNO)、ステップS14において作業が正常であったか否かを判定し、作業が正常でなかった場合にのみ(ステップS14のNO)、ステップS15において正常作業を表示し、不良箇所を表示すると共に、交換を指示する。これにより、熟練した作業者であっても煩わしさを感じることなく正常作業を確認できる。次いで、ステップS16において異常作業フラグを増加し、作業開始へ戻る。ステップS14において作業が正常であった場合には(ステップS14のYES)、ステップS17において異常作業フラグを減少し、ステップS18において作業終了か否かを判定する。 In step S13, it is determined whether the work to be performed is likely to be abnormal. That is, it is determined whether the abnormal work flag is equal to or greater than the threshold value. If the work is unlikely to become abnormal in step S13 (NO in step S13), it is determined whether or not the work is normal in step S14, and only when the work is not normal (NO in step S14), the step In S15, normal work is displayed, a defective portion is displayed, and replacement is instructed. As a result, even a skilled worker can confirm normal work without feeling bothersome. Next, in step S16, the abnormal work flag is increased, and the process returns to the start. If the work is normal in step S14 (YES in step S14), the abnormal work flag is decreased in step S17, and it is determined in step S18 whether the work is completed.
ステップS13において、行うべき作業が異常になり易い場合には(ステップS13のYES)、ステップS19において作業前に正常作業を表示する。これにより、未熟な作業者、複雑な作業、作業時間が長い作業、又は勤務時間若しくは勤務日数の多い場合であっても作業ミスを低減できる。ステップS20において作業が正常であったか否かを判定し、作業が正常でなかった場合にのみ(ステップS20のNO)、ステップS21において作業後に正常作業を再表示し、不良箇所を表示すると共に、交換を指示する。これにより、作業前に正常作業を表示したにも拘わらず作業が異常であった場合でも作業ミスを低減できる。次いで、ステップS22において異常作業フラグを増加し、作業開始へ戻る。ステップS20において作業が正常であった場合には(ステップS20のYES)、ステップS23において異常作業フラグを減少し、ステップS18において作業終了か否かを判定する。 If the work to be performed is likely to be abnormal in step S13 (YES in step S13), the normal work is displayed before the work in step S19. As a result, work errors can be reduced even if the operator is immature, a complicated work, a work with a long working time, or a large number of working hours or working days. In step S20, it is determined whether or not the work is normal, and only when the work is not normal (NO in step S20), the normal work is re-displayed after the work in step S21, and the defective portion is displayed and replaced. Instruct. As a result, even when the normal work is displayed before the work, but the work is abnormal, the work error can be reduced. Next, in step S22, the abnormal work flag is increased, and the process returns to the start of work. If the work is normal in step S20 (YES in step S20), the abnormal work flag is decreased in step S23, and it is determined in step S18 whether the work is completed.
ステップS18において、作業が終了していない場合には(ステップS18のNO)、作業開始に戻り、作業が終了した場合には(ステップS18のYES)、作業終了となる。 In step S18, if the work is not finished (NO in step S18), the process returns to the start of work, and if the work is finished (YES in step S18), the work is finished.
以上の実施形態によれば、状態データ及びラベルデータを取得する度に、閾値が更新されるため、行うべき作業が異常になり易いか否かの予測精度が経時的に向上していく。斯かる閾値により、正常作業の表示タイミングが制御されるため、正常作業の表示が作業者にとって邪魔になることなく作業ミスを低減できる。 According to the above embodiment, the threshold value is updated every time the state data and the label data are acquired, so that the prediction accuracy of whether or not the work to be performed is likely to be abnormal is improved over time. Since the display timing of the normal work is controlled by such a threshold value, it is possible to reduce the work mistake without the display of the normal work hindering the operator.
前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばCD−ROM等に記録して提供してもよい。 The program for executing the above-described flowchart may be provided by being recorded in a computer-readable non-transitory recording medium, for example, a CD-ROM.
本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。 Although various embodiments have been described in the present specification, it is recognized that the present invention is not limited to the above-described embodiments and various modifications can be made within the scope of the claims below. I want to be done.
1 表示システム
10 環境
10a−10c 環境
11 作業対象
12 作業者
20 機械学習装置
20a−20c ローカルサーバ
20d クラウドサーバ
21 第1プロセッサ
22 状態取得部
23 ラベル取得部
24 閾値算出部
25 学習モデル
30 表示装置
31 第2プロセッサ
32 表示制御部
33 表示部
40 表示装置
41 プロセッサ
1
Claims (11)
前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
前記閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、
前記表示タイミングに従って前記正常作業を表示する1つ又は複数の表示部と、
を備えることを特徴とする表示システム。 A status acquisition unit that acquires status data including at least the work content,
A label acquisition unit that acquires label data indicating whether or not the work when the state data is acquired is abnormal,
Based on the state data and the label data, a threshold value calculation unit that calculates a threshold value for determining whether the work to be performed is likely to be abnormal,
A display control unit that controls the display timing of normal work based on the threshold value,
One or more display units for displaying the normal work according to the display timing;
A display system comprising:
前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
を備え、
前記閾値は、前記状態データ及び前記ラベルデータを教師データとして学習モデルに基づき更新されることを特徴とする機械学習装置。 A status acquisition unit that acquires status data including at least the work content,
A label acquisition unit that acquires label data indicating whether or not the work when the state data is acquired is abnormal,
Based on the state data and the label data, a threshold value calculation unit that calculates a threshold value for determining whether the work to be performed is likely to be abnormal,
Equipped with
The machine learning device, wherein the threshold value is updated based on a learning model using the state data and the label data as teacher data.
前記状態データを取得したときの作業が異常であるか否かを表すラベルデータを取得するラベル取得部と、
前記状態データ及び前記ラベルデータに基づいて、行うべき作業が異常になり易いか否かを判定するための閾値を算出する閾値算出部と、
前記閾値に基づいて正常作業の表示タイミングを制御する表示制御部と、
前記表示タイミングに従って前記正常作業を表示する表示部と、
を備えることを特徴とする表示装置。 A status acquisition unit that acquires status data including at least the work content,
A label acquisition unit that acquires label data indicating whether or not the work when the state data is acquired is abnormal,
Based on the state data and the label data, a threshold value calculation unit that calculates a threshold value for determining whether the work to be performed is likely to be abnormal,
A display control unit that controls the display timing of normal work based on the threshold value,
A display unit for displaying the normal work according to the display timing,
A display device comprising:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/594,079 US11119716B2 (en) | 2018-10-31 | 2019-10-07 | Display system, machine learning device, and display device |
DE102019007415.7A DE102019007415A1 (en) | 2018-10-31 | 2019-10-24 | DISPLAY SYSTEM, MACHINE LEARNING DEVICE AND DISPLAY DEVICE |
CN201911018697.4A CN111124331A (en) | 2018-10-31 | 2019-10-24 | Display system, machine learning device, and display device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018205997 | 2018-10-31 | ||
JP2018205997 | 2018-10-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020071864A true JP2020071864A (en) | 2020-05-07 |
JP6912513B2 JP6912513B2 (en) | 2021-08-04 |
Family
ID=70547927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019094701A Active JP6912513B2 (en) | 2018-10-31 | 2019-05-20 | Display system, machine learning device, and display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6912513B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017057135A1 (en) * | 2015-09-30 | 2017-04-06 | 日本電気株式会社 | Information processing device, determination device, notification system, information transmission method, and program |
JP2018022210A (en) * | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
JP2018055611A (en) * | 2016-09-30 | 2018-04-05 | オムロン株式会社 | Control device, system, and control method and program |
WO2018154709A1 (en) * | 2017-02-24 | 2018-08-30 | 三菱電機株式会社 | Movement learning device, skill discrimination device, and skill discrimination system |
-
2019
- 2019-05-20 JP JP2019094701A patent/JP6912513B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017057135A1 (en) * | 2015-09-30 | 2017-04-06 | 日本電気株式会社 | Information processing device, determination device, notification system, information transmission method, and program |
JP2018022210A (en) * | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
JP2018055611A (en) * | 2016-09-30 | 2018-04-05 | オムロン株式会社 | Control device, system, and control method and program |
WO2018154709A1 (en) * | 2017-02-24 | 2018-08-30 | 三菱電機株式会社 | Movement learning device, skill discrimination device, and skill discrimination system |
Also Published As
Publication number | Publication date |
---|---|
JP6912513B2 (en) | 2021-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022179757A (en) | Design tolerance correction method and measurement system | |
JP2022136068A (en) | Information display device, information display system, information display program, learning method, and data structure | |
JP6000804B2 (en) | Work procedure management system, work procedure management method, and work procedure management program | |
JP2007283635A (en) | Diagnostic apparatus, control method of diagnostic apparatus, information processor, control method of information processor, and image forming system | |
JP2020024665A (en) | Information processing method and information processing system | |
JP2021056658A (en) | Information processing system, information processing method and information processing program | |
US20220319662A1 (en) | Rehabilitation work support apparatus, rehabilitation work support system, rehabilitation work support method, and computer readable medium | |
JP5336675B1 (en) | Service evaluation diagnosis system, service evaluation diagnosis method, and service evaluation diagnosis program | |
JP2020071864A (en) | Display system, machine learning device, and display device | |
US11119716B2 (en) | Display system, machine learning device, and display device | |
CN111065979A (en) | Plant monitoring device and distributed control system | |
JP7165108B2 (en) | Work training system and work training support method | |
JP7339063B2 (en) | Machine learning program and machine learning device for learning about work processes | |
US10755044B2 (en) | Estimating document reading and comprehension time for use in time management systems | |
US20190129179A1 (en) | Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer | |
US20210049522A1 (en) | Future Prediction Simulation Apparatus, Method, and Computer Program | |
US20210382460A1 (en) | Production Information Generation System, Production Information Generation Device, and Production Information Generation Method | |
JP2006190199A (en) | Cad progress managing system and its method and program | |
JPWO2021100191A5 (en) | ||
CN113361380A (en) | Human body key point detection model training method, detection method and device | |
JP2022049545A (en) | Information processing apparatus and program | |
JP2011096035A (en) | Progress situation management system and progress situation management program | |
JP2021124355A (en) | Device and method for supporting gas meter replacement work and program | |
WO2023188160A1 (en) | Input assistance device, input assistance method, and non-transitory computer-readable medium | |
JP5984869B2 (en) | Examination support system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6912513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |