JP7299187B2 - 作業支援システムおよび作業支援方法 - Google Patents

作業支援システムおよび作業支援方法 Download PDF

Info

Publication number
JP7299187B2
JP7299187B2 JP2020051389A JP2020051389A JP7299187B2 JP 7299187 B2 JP7299187 B2 JP 7299187B2 JP 2020051389 A JP2020051389 A JP 2020051389A JP 2020051389 A JP2020051389 A JP 2020051389A JP 7299187 B2 JP7299187 B2 JP 7299187B2
Authority
JP
Japan
Prior art keywords
inquiry
unit
work
targets
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020051389A
Other languages
English (en)
Other versions
JP2021149828A (ja
Inventor
高行 秋山
光弘 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020051389A priority Critical patent/JP7299187B2/ja
Priority to US17/119,388 priority patent/US11474505B2/en
Publication of JP2021149828A publication Critical patent/JP2021149828A/ja
Application granted granted Critical
Publication of JP7299187B2 publication Critical patent/JP7299187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Description

本発明は、概して、作業者が誤った作業を実施してしまう事態を回避する技術に関する。
工場、ビル等で製造、点検、検査、保守等の作業を行う作業者は、マイク、カメラ等を装着して作業を行っている。作業者は、サーバ装置から指示された内容に従って作業を行い、作業が終わると、マイク、カメラ等を用いて作業が完了した旨をサーバ装置に報告する。そして、サーバ装置は、作業が正常に終了したか否かを判定する。
この点、作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定し、判定対象の工程の作業内容が不良と判定された場合に報知動作を行わせる作業支援システムが開示されている（特許文献１参照）。
特開２０１９－７５００９号公報
特許文献１に記載の作業支援システムでは、作業の実施後に、作業の良否が判定されるが、作業の実施前には、作業の支援が行われないので、作業者が誤った作業を実施してしまうおそれがある。
本発明は、以上の点を考慮してなされたもので、作業者が誤った作業を実施してしまう事態を回避し得る作業支援システム等を提案しようとするものである。
かかる課題を解決するため本発明においては、撮影装置で取得された映像から、作業者からの問合せの対象を特定する特定部と、問合せの対象毎に、問合せの対象が正しいか否かを判定するための判定モデルで用いられる判定モデル情報を記憶する記憶部から、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を選択する選択部と、前記選択部により選択された、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を前記判定モデルに設定した各判定モデルを用いて、前記問合せの対象の各々について正しいか否かを判定する判定部と、前記判定部により判定された結果を出力する出力部と、を設けるようにした。
上記構成では、問合せの対象が検出され、検出された問合せの対象に対応する判定モデル情報が選択され、選択された判定モデル情報が設定された判定モデルが用いられて、当該問合せの対象が正しいか否かが判定される。上記構成によれば、例えば、作業者は、作業を行う前に、問合せを行って作業を確認することができるので、誤った作業を実施してしまう事態を回避することができる。このように、作業支援システムは、正しく作業が行われるように作業者を支援することで、作業のミスが低減し、作業が効率よく行われるようになる。
本発明によれば、作業者が誤った作業を実施してしまう事態を回避することができるようになる。
第１の実施の形態による作業支援システムに係る構成の一例を示す図である。 第１の実施の形態による情報処理装置が行う処理の一例を示す図である。 第１の実施の形態による正誤判定モデル情報の一例を示す図である。 第１の実施の形態による問合せの一例を示す図である。 第２の実施の形態による作業支援システムに係る構成の一例を示す図である。 第２の実施の形態による情報処理装置が行う処理の一例を示す図である。 第２の実施の形態による作業物体管理情報の一例を示す図である。 第３の実施の形態による作業支援システムに係る構成の一例を示す図である。 第３の実施の形態による情報処理装置が行う処理の一例を示す図である。 第４の実施の形態による作業支援システムに係る構成の一例を示す図である。 第４の実施の形態による情報処理装置が行う処理の一例を示す図である。 第４の実施の形態による問合せデータベースの一例を示す図である。 第５の実施の形態による作業支援システムに係る構成の一例を示す図である。 第５の実施の形態による履歴データベースの一例を示す図である。
（１）第１の実施の形態
以下、本発明の一実施の形態を詳述する。本実施の形態では、作業者が誤った作業を実施してしまう事態を回避し得る構成に関して説明する。ただし、本発明は、実施の形態に限定されるものではない。
本実施の形態に示す作業支援システムは、例えば、作業者に作業の内容を指示する。作業支援システムは、カメラで撮影された映像をもとに、例えば、作業者からの問合せの対象を検出する。
問合せの対象としては、作業に係る物体と、作業に係る動作とのうち少なくとも１つが挙げれる。作業に係る物体とは、作業に係る物品と、作業に係る場所とがある。作業に係る物品は、作業において用いるネジといった部品、ネジを締めるためのドライバといった道具等である。作業に係る場所は、ネジのネジ穴のような部品が用いられる部位、部品を取り付ける機器等である。作業に係る動作とは、道具を使う動作、機器を使う動作等である。なお、物品と場所との区別を要しない場合は、「物体」と記すことがある。
例えば、作業支援システムは、ネジをカメラらに近づけている場合は、当該ネジが正しいか否かを問い合わせていること（問合せの物品）を検出する。例えば、作業支援システムは、作業者がネジ穴をカメラに近づけている場合は、当該ネジ穴が正しい作業のネジ穴であるか否かを問い合わせていること（問合せの場所）を検出する。また、例えば、作業支援システムは、カメラに向けて作業者がネジを締める動作をしている場合は、当該動作が正しい作業の動作であるか否かを問い合わせていること（問合せの動作）を検出する。
また、作業支援システムは、様々な問合せの対象の各々に対応して、問合せの対象に対する正誤を判定可能なモデル（以下、「正誤判定モデル」と記す）の情報（以下、「パラメータ」と記すことがある）を備えている。作業支援システムは、問合せの対象に対応するパラメータを設定した正誤モデルを用いて、当該問合せの対象に対する正誤を判定する。そして、作業支援システムは、正誤の結果を作業者に提示する。
上記構成では、作業者は、作業を開始する前に、問合せを行うことができ、当該問合せに対する回答を得ることができる。例えば、問合せの内容が誤っていた場合は、作業者は、正しい作業の内容が確認できるまで問合せを行うことで、作業者が誤った作業を実施してしまう事態を回避できるようになる。
また、例えば、作業に不慣れな作業者、作業に自信のない作業者等は、作業の内容を詳細に確認することができる。よって、作業を実施する前に、作業で使用する道具、作業の対象となる機器、当該道具、当該機器等の操作方法等が正しいかを事前に確認することができ、作業を効率的に行うことができるようになる。
次に、本発明の実施形態を図面に基づいて説明する。図１において、符号「１００」は、第１の実施の形態の作業支援システムを示す。
図１は、作業支援システム１００に係る構成の一例を示す図である。
作業支援システム１００は、カメラ１０１と、情報提示装置１０２と、情報処理装置１１０とを備える。
カメラ１０１は、作業者の身体、作業者のヘルメット等に装着され、ハンズフリーで撮影を行うことができる小型のビデオカメラである。カメラ１０１は、スマートグラス、ウェアラブルカメラ、アクションカメラ等である。カメラ１０１は、作業者が一人称で見ているものを撮影する。カメラ１０１は、撮像装置とマイクとを備え、作業に係る物体、作業に係る動作、作業者の発話といった作業の問合せに係る内容を取得する。
情報提示装置１０２は、作業者の身体、作業者のヘルメット等に装着され、情報を提示することができる小型の出力装置である。情報提示装置１０２は、スピーカ、ＨＭＤ（Head Mounted Display）、スマートフォン等である。情報提示装置１０２は、情報処理装置１１０が指示する作業の内容、情報処理装置１１０における問合せの正誤の結果といった情報を作業者に提示する。
なお、カメラ１０１の筐体と情報提示装置１０２の筐体とは、別体であってもよいし、一体であってもよい。
情報処理装置１１０は、制御部１１１と、記憶部１１２と、通信部１１３とを備える。
制御部１１１は、演算処理を行う装置である。制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩ（Artificial Intelligence）チップ等である。
記憶部１１２は、主記憶装置と補助記憶装置とのうちの少なくとも１つである。記憶部１１２は、典型的には主記憶装置である。
主記憶装置は、プログラム、データ等を記憶する装置である。主記憶装置は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等である。ＲＯＭは、ＳＲＡＭ（Static Random Access Memory）、ＮＶＲＡＭ（Non Volatile RAM）、マスクＲＯＭ（Mask Read Only Memory）、ＰＲＯＭ（Programmable ROM）等である。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）等である。
補助記憶装置は、ハードディスクドライブ（Hard Disk Drive）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）、光学式記憶装置等である。光学式記憶装置は、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等である。補助記憶装置に格納されているプログラム、データ等は、主記憶装置に随時読み込まれる。
通信部１１３は、他の装置と通信する通信インターフェースである。通信部１１３は、例えば、無線通信モジュール、ＮＩＣ（Network Interface Card）、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。通信部１１３は、通信可能に接続する他の装置から情報を受信する装置として機能することもできる。また、通信部１１３は、通信可能に接続する他の装置に情報を送信する装置として機能することもできる。
情報処理装置１１０は、入力装置と出力装置との少なくとも１つを備えてもよい。
入力装置は、ユーザから情報を受付けるユーザインターフェースである。入力装置は、例えば、キーボード、マウス、カードリーダ、タッチパネル等である。出力装置は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインターフェースである。出力装置は、例えば、各種情報を可視化する表示装置、音声出力装置（スピーカ）、印字装置等である。表示装置は、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等である。
なお、情報処理装置１１０は、カメラ１０１に設けられていてもよいし、情報提示装置１０２に設けられていてもよい。また、情報処理装置１１０は、作業者が作業している場所と同じ場所に設けられていてもよいし、作業者が作業している場所と異なる場所に設けられていてもよい。
情報処理装置１１０が備える各種の機能は、制御部１１１が、記憶部１１２に格納されているプログラムを読み出して実行することにより、または、情報処理装置１１０を構成しているハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）により実現される。情報処理装置１１０の機能としては、特定部１１４、選択部１１５、判定部１１６、出力部１１７等がある。情報処理装置１１０は、上記の機能に加えて、例えば、オペレーティングシステム、デバイスドライバ、ファイルシステム、ＤＢＭＳ（DataBase Management System）等の機能を更に備えていてもよい。
特定部１１４は、カメラ１０１で取得された映像から、作業者からの問合せの対象を特定する。
選択部１１５は、正誤判定モデル情報１１８から、特定部１１４により特定された問合せの対象に対応する正誤判定モデルの情報を選択する。なお、正誤判定モデル情報１１８については、図３を用いて後述する。
判定部１１６は、選択部１１５により選択された正誤判定モデルの情報とカメラ１０１で取得された映像とを用いて、特定部１１４により特定された問合せの対象について正しいか否かを判定する。
出力部１１７は、判定部１１６により判定された結果を出力する。
図２は、情報処理装置１１０が行う処理の一例を示す図である。情報処理装置１１０は、カメラ１０１から映像を常時受信している。
まず、特定部１１４は、Ｓ２０１～Ｓ２０５の処理を行い、作業者からの問合せの対象を特定する。
Ｓ２０１では、特定部１１４は、カメラ１０１の映像から、記憶部１１２に登録されている検出の対象とする物体（以下、「特定の物体」と記す）を検出する。より具体的には、特定部１１４は、カメラ１０１から受信した映像（規定のフレームレートで送信された各画像）と、物体検出モデルとを用いて、特定の物体を検出する。この際、特定部１１４は、検出した物体を識別可能な識別情報である物体ＩＤを物体検出モデルから受け取る。
物体検出モデルについては、ＳＳＤ（Single Shot MultiBox Detector）といった公知の技術を用いることができる。なお、物体検出モデルでは、入力された画像に複数の特定の物体が含まれる場合、複数の特定の物体が検出される。なお、Ｓ２０２、Ｓ２０３、Ｓ２１１、Ｓ２２１、Ｓ２３１においては、問合せの物体毎に処理が行われるが、説明の簡略化のため、以下では、問合せの物体が１つ検出された場合について主に説明する。
Ｓ２０２では、特定部１１４は、検出した物体の面積を計算する。例えば、特定部１１４は、検出した物体の画像上のサイズ（ピクセル数）を計算する。例えば、特定部１１４は、画像から物体を切り出す領域であるバウンディングボックスの大きさを計算する。
Ｓ２０３では、特定部１１４は、検出した物体の面積が規定値より大きいか否か（検出した物体を問い合わせているか否か）を判定する。特定部１１４は、検出した物体を問い合わせていると判定した場合、検出した物体を問合せの対象であると特定し、Ｓ２１１に処理を移し、検出した物体を問い合わせていないと判定した場合、Ｓ２０１に処理を戻す。なお、記憶部１１２には、検出した物体の物体ＩＤごとに、規定値が記憶されている。
ここで、検出した物体の画像上のサイズが規定値より大きいということは、当該検出した物体がズームアップされていることを示し、作業者が当該検出した物体についての問合せを行っていることを示している。
なお、Ｓ２０３では、検出した物体の面積を規定値と比較する処理を示したが、Ｓ２０３の処理は、この処理に限らない。例えば、Ｓ２０３の処理は、検出した物体の面積が画像に占める割合と規定値とを比較する処理であってもよい。
また、例えば、特定部１１４は、検出した物体が作業に係る場所である場合には、Ｓ２０２およびＳ２０３の処理を行わなくてもよい。
Ｓ２０４では、特定部１１４は、カメラ１０１の映像から、記憶部１１２に記憶されている特定の物体の確認を補助する作業者の動作（以下、「特定の補助動作」と記す）を検出する。より具体的には、特定部１１４は、カメラ１０１から受信した所定の時間の映像の画像と、動画像認識モデルとを用いて、特定の補助動作を検出する。特定の補助動作としては、問合せの物体を指で指し示す「指差し」が挙げられる。
動画像認識モデルについては、ＣＮＮ（Convolutional Neural Network）といった公知の技術を用いることができる。
Ｓ２０５では、特定部１１４は、特定の補助動作を検出したか否かを判定する。特定部１１４は、特定の補助動作を検出し、かつ、問合せの物体を特定したと判定した場合、Ｓ２１１に処理を移し、特定の補助動作と特定の物体との少なくとも一方を検出しなかったと判定した場合、Ｓ２０４に処理を戻す。
このように、作業支援システム１００では、作業者が、問合せの物体を動かせない、問合せの物体の名称が分からない、問合せの物体に近づけない、問合せの物体に触れられないといった場合に、特定の補助動作を検出することにより、問合せの物体の特定を補助している。
次に、選択部１１５は、Ｓ２１１の処理を行い、正誤判定モデルに設定するパラメータを特定可能な情報を選択する。正誤判定モデルは、例えば、ＣＮＮといったニューラルネットワークである。
Ｓ２１１では、選択部１１５は、記憶部１１２に記憶されている正誤判定モデル情報１１８から、問合せの物体の物体ＩＤ（物品ＩＤまたは場所ＩＤ）に紐付く正誤判定モデルの正誤判定モデルＩＤを検索する。なお、正誤判定モデル情報１１８については、図３を用いて後述する。
Ｓ２２１では、情報処理装置１１０の判定部１１６は、選択部１１５により選択されたモデルＩＤのパラメータをセットした正誤判定モデルに物体が検出された画像を入力し、特定した物体、つまり問合せの物体が正しいか否かを判定する。
Ｓ２３１では、情報処理装置１１０の出力部１１７は、判定部１１６により判定された結果を示す情報を情報提示装置１０２に送信する。情報提示装置１０２は、受信した結果を作業者に提示する。情報提示装置１０２は、例えば、問合せの対象について、「正しいです」、「間違っています」といった情報を出力する。なお、出力については、音声による出力であってもよいし、表示による出力であってもよいし、その他の態様の出力であってもよい。
図３は、正誤判定モデル情報１１８の一例（正誤判定モデル情報テーブル３００）を示す図である。
正誤判定モデル情報テーブル３００は、正誤判定モデル毎に、正誤判定モデルに設定されるパラメータ記憶する。より具体的には、正誤判定モデル情報テーブル３００は、正誤判定モデルＩＤ３０１と、物品ＩＤ３０２と、場所ＩＤ３０３と、１つ以上のパラメータ３０４とが対応付けられた情報（レコード）を記憶する。
正誤判定モデルＩＤ３０１は、正誤判定モデルを識別可能な識別情報である。物品ＩＤ３０２は、当該正誤判定モデルで判定可能な作業に係る物品を識別可能な識別情報である。場所ＩＤ３０３は、当該正誤判定モデルで判定可能な作業に係る場所を識別可能な識別情報である。パラメータ３０４は、当該正誤判定モデルに設定されるパラメータ（例えば、ニューラルネットワークにおける重みを示す情報）である。
例えば、選択部１１５は、特定部１１４から受け取った物体ＩＤが物品ＩＤ「１０２」である場合には、物品ＩＤ３０２の列を参照し、物品ＩＤ「１０２」が含まれるレコードの正誤判定モデルＩＤ３０１の値「００２」を選択する。
図４は、問合せの一例を示す図である。図４では、問合せの物体がズームアップされ、問合せの物体に対して指差しが行われることにより、問い合わせが行われていることが示されている。
例えば、作業者が製品に貼られたラベルを確認する作業を行う際、作業者は、確認するラベルが正しいかどうかを確かめたいときは、ラベルに近づいていき、ラベルを指差す動作を行う。
画像４１０は、作業者が問合せを開始する前の画像の一例である。画像４１０には、製品を示す製品画像４１１と第１のラベルを示すラベル画像４１２と第２のラベルを示すラベル画像４１３とが含まれる。
画像４２０は、作業者が問合せを行っているときの画像の一例である。画像４２０には、ラベル画像４１２がズームアップされたラベル画像４２１と、ラベル画像４１３がズームアップされたラベル画像４２２と、作業者による指差しを示す指指し画像４２３とが含まれる。
本例においては、画像４２０についてＳ２０１が行われることにより、特定の物体として、第１のラベルと、第２のラベルとが検出される。また、Ｓ２０２およびＳ２０３が行われ、ラベル画像４２１およびラベル画像４２２の面積が規定値より大きいと判定される。
また、並行して、画像４１０から画像４２０までの一連の画像についてＳ２０４が行われることにより、特定の補助動作として、指差しが検出される。
そして、Ｓ２０５において、指差しが行われている第１のラベルが問合せの対象として特定される。つまり、画像４２０において、第１のラベルとは異なる第２のラベルのラベル画像４１３が含まれているが、第１のラベルに対して指差しが行われることで、問合せの物体が第１のラベルであると特定できる。
続いて、Ｓ２１１において、第１のラベルに対応する正誤判定モデルの正誤判定モデルＩＤが選択される。続いて、Ｓ２２１において、選択された正誤判定モデルＩＤに紐づくパラメータが正誤判定モデルに設定され、当該正誤判定モデルに画像４２０が入力され、作業者により指差しされた第１のラベルが確認するラベルであるか否かが判定される。続いて、Ｓ２３１において、判定の結果が作業者に提示される。
本実施の形態の形態によれば、作業者は、作業を行う前に、問合せを行って作業を確認することができるので、誤った作業を実施してしまう事態を回避することができる。また、本実施の形態では、作業者におけるマニュアルの確認の手間を省くことができるようになる。
（２）第２の実施の形態
本実施の形態は、作業の状況をもとに問合せの対象を絞り込む点が第１の実施の形態と主に異なる。本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
図５は、本実施の形態の作業支援システム５００に係る構成の一例を示す図である。
情報処理装置５１０は、選択部５１１、管理部５１２、作業物体管理情報５１３等を備える。なお、選択部５１１は、選択部１１５の機能に加えて、特定部１１４により特定された物体ＩＤの中から、現在の作業に関する物体ＩＤを選択する。
管理部５１２は、作業者により行われる作業を管理する。管理部５１２は、作業者から送信された、作業を構成する項目（以下、「作業項目」と記す）が終了した旨の情報に基づいて、作業項目が正常に行われたか否かを判定する。管理部５１２は、作業物体管理情報５１３を参照し、次の作業項目に係る物体の物体ＩＤ（物品ＩＤ、場所ＩＤ等）を特定し、特定した物体ＩＤを現在の作業に関する現在作業情報として選択部１１５に通知する。なお、作業物体管理情報５１３については、図７を用いて後述する。
図６は、情報処理装置５１０が行う処理の一例を示す図である。
Ｓ６０１では、選択部１１５は、管理部５１２により通知される現在作業情報に基づいて、特定部１１４で特定された物体ＩＤが現在の作業に係る物体ＩＤであるか否か（特定された物体が現在の作業に係る物体であるか否か）を判定する。選択部１１５は、特定された物体が現在の作業に係る物体であると判定した場合、Ｓ２１１に処理を移し、特定された物体が現在の作業に係る物体でないと判定した場合、当該物体についての処理を終了する。
なお、作業支援システム５００は、特定された物体が現在の作業に係る物体でないと判定した場合、現在の作業に係る物体でないことを示す情報を情報提示装置１０２に送信する構成を備えてもよい。
次に、作業物体管理情報５１３について図７を用いて説明する。
図７は、作業物体管理情報５１３の一例（作業物体管理テーブル７００）を示す図である。
作業物体管理テーブル７００は、作業項目ごとに、作業項目に係る物体を特定可能な情報を記憶する。より具体的には、作業物体管理テーブル７００は、作業ＩＤ７０１、作業項目ＩＤ７０２、物品ＩＤ７０３、および場所ＩＤ７０４が対応付けられた情報（レコード）を記憶する。
作業ＩＤ７０１は、当該作業項目が含まれる作業を識別可能な識別情報である。作業項目ＩＤ７０２は、当該作業項目を識別可能な識別情報である。物品ＩＤ７０３は、当該作業項目に係る物品を識別可能な識別情報である。場所ＩＤ７０４は、当該作業項目に係る場所を識別可能な識別情報である。
なお、作業は、１つ以上の作業項目を含む構成を例に挙げて説明したが、この構成に限らない。例えば、作業が作業項目を含まない構成であってもよいし、作業項目が更に複数の細目を含む構成であってもよい。
本実施の形態では、現在の作業に関係のない物体が特定されたとしても、現在の作業に基づいて当該物体が排除されて、問合せの物体が適切に絞り込まれるので、より精確に問合せの物体について判定できるようになる。
（３）第３の実施の形態
本実施の形態は、誤った作業の原因となる動作（以下、「原因動作」と記す）を検出して問合せを促す点が第１の実施の形態と主に異なる。本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
原因動作としては、作業に係る物体から視線を外すこと、作業に係る物体とは別の物体に手を伸ばすこと等が挙げられる。
図８は、本実施の形態の作業支援システム８００に係る構成の一例を示す図である。
情報処理装置８１０は、検出部８１１、原因動作検出モデル情報８１２等を備える。検出部８１１は、原因動作を検出可能な原因動作検出モデルを用いて、原因動作を検出する。原因動作検出モデルは、例えば、ＣＮＮといったニューラルネットワークである。原因動作検出モデル情報８１２は、原因動作検出モデルのパラメータを記憶する。
図９は、情報処理装置８１０が行う処理の一例を示す図である。情報処理装置８１０は、カメラ１０１から映像を常時受信している。なお、情報処理装置８１０が受信する映像は、カメラ１０１で取得された映像に限らない。例えば、作業者が作業を行う場所に設置され、当該場所を撮影するカメラで取得された映像であってもよい。
Ｓ９０１の処理は、出力部１１７が、「ネジＸをドライバＹで絞めてください。」といった作業の内容を指示する情報を情報提示装置１０２に送信したことを契機に開始され、所定の間隔で行われている。なお、Ｓ９０１～Ｓ９０３の処理は、Ｓ２０１～Ｓ２３１の処理と並列に行われている。
Ｓ９０１では、検出部８１１は、カメラ１０１から受信した所定の時間の映像をもとに、原因動作検出モデルを用いて原因動作を検出する。例えば、検出部８１１は、原因動作検出モデル情報８１２に記憶されているパラメータを原因動作検出モデルに順次に設定し、予め登録している各原因動作を検出する。この際、検出部８１１は、検出した原因動作を識別可能な識別情報である原因動作ＩＤを原因動作検出モデルから受け取る。
Ｓ９０２では、検出部８１１は、原因動作を検出したか否かを判定する。検出部８１１は、原因動作を検出したと判定した場合、Ｓ９０３に処理を移し、原因動作を検出していないと判定した場合、Ｓ９０１に処理を戻す。
Ｓ９０３では、出力部１１７は、原因動作ＩＤに対応して設けられている、問合せを促す旨の情報（以下、「アラート」と記す）を情報提示装置１０２に送信する。出力部１１７は、例えば、アラート９１０を情報提示装置１０２に送信する。
ここで、原因動作検出モデル情報テーブル９２０は、原因動作検出モデル情報８１２の一例である。
原因動作検出モデル情報テーブル９２０は、原因動作検出モデル毎に、原因動作検出モデルに設定されるパラメータを記憶する。より具体的には、原因動作検出モデル情報テーブル９２０は、モデルＩＤ９２１と、原因動作ＩＤ９２２と、１つ以上のパラメータ９２３とが対応付けられた情報（レコード）を記憶する。
モデルＩＤ９２１は、原因動作検出モデルを識別可能な識別情報である。原因動作ＩＤ９２２は、当該原因動作検出モデルで判定可能な原因動作を識別可能な識別情報である。パラメータ９２３は、当該原因動作検出モデルに設定されるパラメータ（例えば、ニューラルネットワークにおける重みを示す情報）である。
ここで、誤った作業は、しばしば、作業者の思い込みで行われたり、作業者が作業を十分に理解していない状態で行われたりしている。この点、本実施の形態では、誤った作業の原因となる動作が検出された場合に、問合せを誘発することで、誤った作業が行われてしまう事態を回避することができる。
（４）第４の実施の形態
本実施の形態は、作業者による発話をもとに問合せの対象を特定する点が第１の実施の形態と主に異なる。本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
図１０は、本実施の形態の作業支援システム１０００に係る構成の一例を示す図である。
情報処理装置１０１０は、特定部１０１１、決定部１０１２、問合せデータベース１０１３等を備える。なお、特定部１０１１は、特定部１１４の機能に加え、決定部１０１２により決定された問合せの内容に基づいて問合せの対象を特定する。
決定部１０１２は、作業者の発話（音声）を認識し、認識した発話と問合せデータベース１０１３とをもとに問合せの内容を決定する。問合せデータベース１０１３は、問合せに係る発話の内容を記憶している。なお、問合せデータベース１０１３については、図１２を用いて後述する。
図１１は、情報処理装置１０１０が行う処理の一例を示す図である。情報処理装置１０１０は、カメラ１０１から音声を常時受信している。なお、情報処理装置１０１０が受信する音声は、カメラ１０１で取得された音声に限らない。例えば、作業者が作業を行う場所に設置され、当該場所の音を取得するマイクで取得された音声であってもよい。
Ｓ１１０１では、決定部１０１２は、作業者の音声を認識する。例えば、決定部１０１２は、音声データを文字データに変換する音声認識技術を用いて作業者の音声をテキストに変換する。
Ｓ１１０２では、決定部１０１２は、問合せの内容を決定する。より具体的には、決定部１０１２は、問合せデータベース１０１３を参照し、テキストに対応する問合せの内容を決定し、Ｓ１１０５に処理を移す。なお、決定部１０１２は、テキストに対応する問合せの内容として、問合せに係る物品の物品ＩＤ、問合せに係る場所の場所ＩＤ、および問合せに係る動作の動作ＩＤの少なくとも１つを決定する。
Ｓ１１０３では、特定部１０１１は、カメラ１０１から受信した映像と、特定動作検出モデルとを用いて、特定の動作を検出する。この際、特定部１０１１は、検出した動作を識別可能な識別情報である動作ＩＤを特定動作検出モデルから受け取る。
特定動作検出モデルは、特定の動作毎に設けられている。特定動作検出モデルは、例えば、ＣＮＮといったニューラルネットワークである。
特定の動作としては、ドライバを右に回すといった作業に係る物品を使う動作、バルブを右に回すといった作業に係る機器を使う動作などが挙げられる。
Ｓ１１０４では、特定部１０１１は、特定の動作を検出したか否かを判定する。特定部１０１１は、特定の動作を検出したと判定した場合、Ｓ１１０５に処理を移し、特定の動作を検出していないと判定した場合、Ｓ１１０３に処理を戻す。
Ｓ１１０５では、特定部１０１１は、検出した内容（物品ＩＤ、場所ＩＤ、動作ＩＤ）が、音声に基づいて特定された問合せの内容と一致しているか否かを判定する。特定部１０１１は、検出した内容が問合せの内容と一致していると判定した場合、Ｓ２１１に処理を移し、検出した内容が問合せの内容と一致していないと判定した場合、処理を終了する。
付言するならば、図示は省略するが、記憶部１１２には、動作ＩＤに対応して正誤判定モデルのパラメータが記憶されている。つまり、問合せの対象として、特定の動作が特定された場合、当該動作の正誤を判定可能な正誤判定モデルが用いられて当該動作の正誤が判定される。
図１２は、問合せデータベース１０１３の一例（問合せテーブル１２００）を示す図である。
問合せテーブル１２００では、テキスト１２０１、物品ＩＤ１２０２、場所ＩＤ１２０３、および動作ＩＤ１２０４が対応付けられた情報（レコード）が記憶される。
テキスト１２０１は、発話を示すテキストである。物品ＩＤ１２０２は、当該テキストに係る物品を識別可能な識別情報である。場所ＩＤ１２０３は、当該テキストに係る場所を識別可能な識別情報である。動作ＩＤ１２０４は、当該テキストに係る動作を識別可能な識別情報である。
例えば、作業者が「ここですか」と発話した場合、決定部１０１２は、テキスト１２０１の列を参照し、６行目のレコードを特定し、当該レコードの物品ＩＤ１２０２「０」、場所ＩＤ１２０３「１」、および動作ＩＤ１２０４「０」を決定する。なお、値「１」は、テキストに係る対象であることを示し、値「０」は、テキストに係る対象でないことを示す。
また、特定部１０１１は、Ｓ２０１～Ｓ２０５の処理、並びに、Ｓ１１０３およびＳ１１０４の処理を行い、場所ＩＤだけを取得した場合は、Ｓ２１１に処理を移し、物品ＩＤまたは場所ＩＤを取得した場合は、処理を終了する。
本実施の形態では、作業者による発話の内容をもとに問合せの内容が決定され、問合せの内容に一致する問合せの対象が特定されるので、問合せに対する回答の精度を高めることができる。
（５）第５の実施の形態
本実施の形態は、作業者による作業の履歴をもとに原因動作を検出可能な原因動作検出モデルを生成する点が第３の実施の形態と主に異なる。本実施の形態では、第１の実施の形態および第３の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
図１３は、本実施の形態の作業支援システム１３００に係る構成の一例を示す図である。
情報処理装置１３１０は、学習部１３１１、履歴データベース１３１２等を備える。学習部１３１１は、履歴データベース１３１２をもとに、公知の行動認識技術を用いて原因動作検出モデルを学習する。原因動作検出モデルの学習とは、既存の原因動作検出モデルの検出精度の向上であってもよいし、新規の原因動作検出モデルの生成であってもよい。履歴データベース１３１２は、作業者が行った誤った作業に係る映像を特定可能な情報を記憶している。なお、履歴データベース１３１２については、図１４を用いて後述する。
なお、履歴データベース１３１２は、記憶部１１２に記憶されていてもよいし、記憶部１１２とは異なる、情報処理装置１３１０と通信可能な他の記憶部に記憶されていてもよい。
図１４は、履歴データベース１３１２の一例（履歴テーブル１４００）を示す図である。
履歴テーブル１４００では、履歴ＩＤ１４０１、映像ＩＤ１４０２、および発生時間１４０３が対応付けられた情報（レコード）が記憶される。
履歴ＩＤ１４０１は、原因動作の履歴を識別可能な識別情報である。映像ＩＤ１４０２は、当該原因動作が検出された映像を識別可能な識別情報である。発生時間１４０３は、当該原因動作が発生した時間を示す情報である。例えば、原因動作検出モデルの学習では、発生時間１４０３より所定の時間前から発生時間１４０３までの映像が用いられる。
なお、原因動作検出モデルの学習で用いられる映像は、カメラ１０１により取得された映像であってもよいし、カメラ１０１とは異なる撮影装置で取得された映像であってもよい。また、履歴データベース１３１２は、原因動作毎に設けられる構成に限らない。例えば、履歴データベース１３１２は、原因動作を識別可能な原因動作ＩＤを備え、複数種類の原因動作の履歴を記憶してもよい。
本実施の形態では、蓄積された誤った作業の履歴をもとに、原因動作（視線を外す等）を検出する原因動作検出モデルを学習し、当該原因動作検出モデルを用いて原因動作を検出することで、問合せを促すことができるようになる。
（６）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態においては、本発明を作業支援システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
また、上述の実施の形態においては、カメラ１０１が作業者に装着される場合について述べたが、本発明はこれに限らず、カメラ１０１は、工場、ビル等に設置されていてもよい。
また、上述の実施の形態においては、カメラ１０１は、１台である場合について述べたが、本発明はこれに限らず、カメラ１０１は、複数台であってもよい。
また、上述の実施の形態においては、情報提示装置１０２が作業者に装着される場合について述べたが、本発明はこれに限らず、情報提示装置１０２は、工場、ビル等に設置されていてもよい。
また、上述の実施の形態においては、情報提示装置１０２は、１台である場合について述べたが、本発明はこれに限らず、情報提示装置１０２は、複数台であってもよい。
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
また、上述の実施の形態において、説明の便宜上、ＸＸデータベース、ＸＸテーブルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報等と表現してもよい。
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
作業支援システム（例えば、作業支援システム１００、作業支援システム５００、作業支援システム８００、作業支援システム１０００、作業支援システム１３００）は、撮影装置（例えば、カメラ１０１）で取得された映像から、作業者からの問合せの対象（作業に係る物体と、作業に係る動作とのうちの少なくとも１つ）を特定する特定部（例えば、特定部１１４、特定部１０１１）と、問合せの対象毎に、問合せの対象が正しいか否かを判定するための判定モデル（例えば、正誤判定モデル）で用いられる判定モデル情報（パラメータ）を記憶する記憶部（例えば、記憶部１１２）から、上記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を選択する選択部（例えば、選択部１１５、選択部５１１）と、上記選択部により選択された、上記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を上記判定モデルに設定した各判定モデルを用いて、上記問合せの対象の各々について正しいか否かを判定する判定部（例えば、判定部１１６）と、上記判定部により判定された結果を出力する出力部（例えば、出力部１１７）と、を備える。
上記構成では、問合せの対象が検出され、検出された問合せの対象に対応する判定モデル情報が選択され、選択された判定モデル情報が設定された判定モデルが用いられて、当該問合せの対象が正しいか否かが判定される。上記構成によれば、例えば、作業者は、作業を行う前に、問合せを行って作業を確認することができるので、誤った作業を実施してしまう事態を回避することができる。このように、作業支援システムは、正しく作業が行われるように作業者を支援することで、作業のミスが低減し、作業が効率よく行われるようになる。
上記選択部は、作業毎に、作業に係る１つ以上の問合せの対象が規定された情報（例えば、作業物体管理情報５１３）から、現在行われている作業に係る１つ以上の問合せの対象を抽出し、上記特定部で特定された１つ以上の問合せの対象から、抽出した１つ以上の問合せの対象と同じ問合せの対象を選択し、選択した問合せの対象の各々に対応する判定モデル情報を上記記憶部から選択する。
上記構成では、例えば、現在の作業に関係のない問合せの対象を排除することで、判定の精度を高めることができる。また、上記構成では、問合せの対象が絞り込まれるので、例えば、判定を行う回数を削減することができ、判定の結果を作業者に出力するまでの時間を短縮することができる。
撮影装置で取得された映像と、誤りの作業の原因となる動作を検出可能な検出モデル（例えば、原因動作検出モデル）とを用いて、誤り作業の原因となる動作を検出する検出部（例えば、検出部８１１）を備え、上記出力部は、上記検出部により誤り作業の原因となる動作が検出された場合、作業を確認するための問合せを促す情報（例えば、アラート９１０）を出力する。
上記構成では、誤りの作業の原因となる動作が検出されたときに、問合せが促されるので、例えば、誤りの作業が実施されてしまう頻度を低減することができる。
誤りの作業の原因となる動作に係る映像を保持する保持部（例えば、記憶部１１２、記憶部１１２とは異なる記憶部）と、上記保持部に保持された映像をもとに、誤りの作業の原因となる動作を検出するように上記検出部が用いる検出モデルを学習する学習部（例えば、学習部１３１１）と、を備える。
上記構成では、誤った作業が行われた履歴をもとに検出モデルが学習されるので、作業支援システムは、例えば、誤りの作業の原因となる可能性の高い新たな動作を検出できるようになる。また、例えば、上記構成では、検出モデルが学習されるので、問合せがより高い精度で促されるようになるので、誤りの作業が実施されてしまう頻度を更に低減することができる。
作業者の音声から問合せの内容を特定し、問合せの内容毎に、１つ以上の問合せの対象が規定された情報（例えば、問合せデータベース１０１３）を参照し、特定した問合せの内容に対応する１つ以上の問合せの対象を決定する決定部（例えば、決定部１０１２）を備え、上記特定部は、上記決定部により決定された１つ以上の問合せの対象の各々と、特定した１つ以上の問合せの対象の各々とが一致する場合、特定した１つ以上の問合せの対象を上記選択部に通知する（例えば、Ｓ１１０５参照）。
上記構成では、例えば、問合せの内容に沿った問合せの対象となっているかが判定されるので、問合せに対する回答の精度を高めることができる。
上記特定部は、作業者からの問合せの対象として、作業に係る物体を複数特定した場合、上記複数の物体のうち所定の物体を特定するための上記作業者の動作（例えば、特定の補助動作）を検出したときは、上記所定の物体を上記選択部に通知する。
上記構成では、問合せの物体と関係のない物体を排除することで、判定の精度を高めることができる。また、上記構成では、問合せの物体が絞り込まれるので、例えば、判定を行う回数を削減することができ、作業者に判定の結果を出力するまでの時間を短縮することができる。
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
１００……作業支援システム、１１４……特定部、１１５……選択部、１１６……判定部、１１７……出力部。

Claims (6)

  1. 撮影装置で取得された映像から、作業者からの問合せの対象を特定する特定部と、
    問合せの対象毎に、問合せの対象が正しいか否かを判定するための判定モデルで用いられる判定モデル情報を記憶する記憶部から、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を選択する選択部と、
    前記選択部により選択された、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を前記判定モデルに設定した各判定モデルを用いて、前記問合せの対象の各々について正しいか否かを判定する判定部と、
    前記判定部により判定された結果を出力する出力部と、
    撮影装置で取得された映像と、誤りの作業の原因となる動作を検出可能な検出モデルとを用いて、誤り作業の原因となる動作を検出する検出部と、
    を備え、
    前記出力部は、前記検出部により誤り作業の原因となる動作が検出された場合、作業を確認するための問合せを促す情報を出力する、
    作業支援システム。
  2. 前記選択部は、作業毎に、作業に係る１つ以上の問合せの対象が規定された情報から、現在行われている作業に係る１つ以上の問合せの対象を抽出し、前記特定部で特定された１つ以上の問合せの対象から、抽出した１つ以上の問合せの対象と同じ問合せの対象を選択し、選択した問合せの対象の各々に対応する判定モデル情報を前記記憶部から選択する、
    請求項１に記載の作業支援システム。
  3. 誤りの作業の原因となる動作に係る映像を保持する保持部と、
    前記保持部に保持された映像をもとに、誤りの作業の原因となる動作を検出するように前記検出部が用いる検出モデルを学習する学習部と、
    を備える請求項１に記載の作業支援システム。
  4. 作業者の音声から問合せの内容を特定し、問合せの内容毎に、１つ以上の問合せの対象が規定された情報を参照し、特定した問合せの内容に対応する１つ以上の問合せの対象を決定する決定部を備え、
    前記特定部は、前記決定部により決定された１つ以上の問合せの対象の各々と、特定した１つ以上の問合せの対象の各々とが一致する場合、特定した１つ以上の問合せの対象を前記選択部に通知する、
    請求項１に記載の作業支援システム。
  5. 前記特定部は、作業者からの問合せの対象として、作業に係る物体を複数特定した場合、前記複数の物体のうち所定の物体を特定するための前記作業者の動作を検出したときは、前記所定の物体を前記選択部に通知する、
    請求項１に記載の作業支援システム。
  6. 特定部が、撮影装置で取得された映像から、作業者からの問合せの対象を特定することと、
    選択部が、問合せの対象毎に、問合せの対象が正しいか否かを判定するための判定モデルで用いられる判定モデル情報を記憶する記憶部から、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を選択することと、
    判定部が、前記選択部により選択された、前記特定部で特定された１つ以上の問合せの対象の各々に対応する判定モデル情報を前記判定モデルに設定した各判定モデルを用いて、前記問合せの対象の各々について正しいか否かを判定することと、
    出力部が、前記判定部により判定された結果を出力することと、
    検出部が、撮影装置で取得された映像と、誤りの作業の原因となる動作を検出可能な検出モデルとを用いて、誤り作業の原因となる動作を検出することと、
    を含み、
    前記出力部は、前記検出部により誤り作業の原因となる動作が検出された場合、作業を確認するための問合せを促す情報を出力する、
    作業支援方法。
JP2020051389A 2020-03-23 2020-03-23 作業支援システムおよび作業支援方法 Active JP7299187B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020051389A JP7299187B2 (ja) 2020-03-23 2020-03-23 作業支援システムおよび作業支援方法
US17/119,388 US11474505B2 (en) 2020-03-23 2020-12-11 Work support system and work support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020051389A JP7299187B2 (ja) 2020-03-23 2020-03-23 作業支援システムおよび作業支援方法

Publications (2)

Publication Number Publication Date
JP2021149828A JP2021149828A (ja) 2021-09-27
JP7299187B2 true JP7299187B2 (ja) 2023-06-27

Family

ID=77747836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020051389A Active JP7299187B2 (ja) 2020-03-23 2020-03-23 作業支援システムおよび作業支援方法

Country Status (2)

Country Link
US (1) US11474505B2 (ja)
JP (1) JP7299187B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156577A (ja) 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd 生活支援ロボットによる色情報獲得方法
JP2008235504A (ja) 2007-03-20 2008-10-02 Mitsubishi Electric Corp 組立品検査装置
JP2011526706A (ja) 2008-04-21 2011-10-13 カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー 使用者のジェスチャの検出結果に依存した、加工物の一回の測定の複数の結果の表示
JP2018022210A (ja) 2016-08-01 2018-02-08 株式会社日立製作所 作業動作指示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075009A (ja) 2017-10-18 2019-05-16 パナソニックＩｐマネジメント株式会社 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
JP2019139570A (ja) * 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
JP7038642B2 (ja) * 2018-11-20 2022-03-18 株式会社日立製作所 作業習熟支援装置、及び作業習熟支援システム
NL2022213B1 (en) * 2018-12-14 2020-07-03 Wastiq B V Food waste detection method and system
JPWO2020240918A1 (ja) * 2019-05-28 2021-11-18 三菱電機株式会社 作業支援システム、作業支援方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156577A (ja) 2005-11-30 2007-06-21 Mitsubishi Heavy Ind Ltd 生活支援ロボットによる色情報獲得方法
JP2008235504A (ja) 2007-03-20 2008-10-02 Mitsubishi Electric Corp 組立品検査装置
JP2011526706A (ja) 2008-04-21 2011-10-13 カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー 使用者のジェスチャの検出結果に依存した、加工物の一回の測定の複数の結果の表示
JP2018022210A (ja) 2016-08-01 2018-02-08 株式会社日立製作所 作業動作指示装置

Also Published As

Publication number Publication date
JP2021149828A (ja) 2021-09-27
US20210294311A1 (en) 2021-09-23
US11474505B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US20200004777A1 (en) Image Retrieval with Deep Local Feature Descriptors and Attention-Based Keypoint Descriptors
JP7131921B2 (ja) 機械学習を用いたビデオ・フィードにおける自動化されたオブジェクト追跡
JP6941134B2 (ja) タスクを遂行することにおいてユーザを支援するための支援システム、方法、およびプログラム
CN108228705B (zh) 直播视频反馈中的自动对象和活动跟踪设备、方法及介质
WO2020039882A1 (ja) 判別装置及び機械学習方法
JP2019149154A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019101919A (ja) 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
JPWO2020026643A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2021125266A (ja) 状態推定装置、システム、及び製造方法
US10861220B2 (en) Data acquisition and encoding process for manufacturing, inspection, maintenance and repair of a structural product
EP3716144A1 (en) Intelligent video analysis
JP7299187B2 (ja) 作業支援システムおよび作業支援方法
CN106169057B (zh) 信息处理装置及方法
US11216656B1 (en) System and method for management and evaluation of one or more human activities
EP3799011A1 (en) Video analytics for modifying training videos for use with head-mounted displays
WO2019167775A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10591906B2 (en) Manufacturing environment management system
JP7336398B2 (ja) 工作機械システム、管理方法及び管理プログラム
WO2022249277A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2024075225A1 (ja) 制御装置、産業機械のシステム、実行履歴データ表示方法、及びプログラム
JP7507574B2 (ja) インテリジェントな映像解析
JP7500895B1 (ja) 作業管理装置、作業管理システム、および、作業管理方法
JP2023107293A (ja) 作業支援装置、作業支援装置の動作方法、及び動作プログラム
CN113095110B (zh) 人脸数据动态入库的方法、装置、介质及电子设备
US20200320276A1 (en) Information processing system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R150 Certificate of patent or registration of utility model

Ref document number: 7299187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150