JP2019036132A - 作業支援システム，ウェアラブル装置，撮像装置，作業支援方法 - Google Patents

Abstract

【課題】作業ミスを抑止すべく作業支援を行い、実行した各作業のエビデンス記録を行うことができる作業支援システムを提供する。
【解決手段】主に動画像データを取得する第１撮像装置２０と、主に静止画像データを取得する第２撮像装置３０と、第１撮像装置及び第２撮像装置を連携させて制御すると共に所定の作業の作業情報を取得する制御装置１０と、所定の作業に関する規定の作業情報が予め蓄積されたデータベース１３とを具備し、第１撮像装置及び第２撮像装置を連携させて取得した画像データに基づいて所定の作業を支援する。
【選択図】図１

Description

この発明は、作業手順が規定されている所定の作業を支援するための作業支援システム，ウェアラブル装置，撮像装置，作業支援方法に関するものである。

従来、各種の工業生産物（製品）が広く普及している。これら各種の工業生産物（製品）を対象とする作業は、例えば、製造工程内の製造組み立て作業や、これらの製品を使用する際の作業（取り扱い作業）、若しくは同製品のメンテナンス作業（保守，点検，調整，修理等）等、様々な作業が存在する。これらの作業は、それぞれの作業毎に各所定の作業手順や手法等が明確に規定されている場合が多い。一方、これらの作業には、作業者による手動作業（マニュアルオペレーション）によるものがある。

このような作業は、対象となる各製品毎に多種多様な作業が存在する。そして、それぞれの作業は、複雑な手順を要したり、必要に応じて適宜確認作業が必要になる場合もある。したがって、作業者は、規定の作業を確実に行うために、所定の作業手順を全て正確に記憶するか、若しくは操作説明書等のマニュアルを参照しながら作業を進めることになる。

ところで、この種の作業には、厳格な作業手順が規定されており、かつその作業手順を忠実に履行しなければならないものも多い。

例えば、洗浄作業などの場合、当該対象の器具等の所定の部位の洗浄作業を行い、その後、当該部位の洗浄状態を確認するための観察作業を行う、といった一連の作業が繰り返される。そして、この種の作業は、汚染の機会を減らして手際よく素早くスムースに行われることが求められている。

しかしながら、所定の一連の作業を全て確実に記憶し、常に正確な作業を遂行するためには熟練を要する。また、操作説明書等のマニュアルを参照しながら作業を進める場合には、スムースな作業を妨げてしまうと共に、作業時間を要してしまうことになる。

そこで、作業手順が明確に規定されているような所定の作業を行う際に作業者を支援するための作業支援システムについては、例えば特開２０１７−７５００１号公報等によって、従来より種々提案されている。

上記特開２０１７−７５００１号公報等によって開示されている作業支援システムは、移動式クレーンの作業手順を案内するための作業支援システムである。この作業支援システムは、作業者（オペレータ）に対して所定の作業手順を正しく案内するために、例えばウェアラブル型の観察装置を用いて構成している。

そして、当該作業支援システムは、作業機の状態を検出する検出装置と、当該検出装置によって検出された作業機の状態を送信する送信部と、作業機を遠隔操作する操作部と、作業手順を表示する表示部と、送信部によって送信された作業機の状態を受信する受信部と、を有する遠隔操作装置、を備え、遠隔操作装置に設けられた表示部には、受信した作業機の状態に基づいて規定の作業手順を表示するように構成されている。

このような構成により、上記作業支援システムにおいては、作業工程毎に対応する作業内容の詳細な説明を観察装置の表示画面に適宜表示させることができるので、作業手順を予め記憶していなくても、常に正確な作業手順を行ない得るというものである。

特開２０１７−７５００１号公報

ところが、上記特開２０１７−７５００１号公報等によって開示されている従来の作業支援システムでは、観察装置の表示画面には、予め用意された説明情報等が単に表示されるのみである。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、作業手順が規定されている所定の作業を支援するための作業支援システムにおいて、作業ミスを抑止すべく作業支援を行うと共に、実行した各作業のエビデンス記録を行うことができる作業支援システム，ウェアラブル装置，撮像装置，作業支援方法を提供することである。

上記目的を達成するために、本発明の一態様の作業支援システムは、主に動画像データを取得する第１撮像装置と、主に静止画像データを取得する第２撮像装置と、上記第１撮像装置及び上記第２撮像装置を連携させて制御すると共に所定の作業の作業情報を取得する制御装置と、所定の作業に関する規定の作業情報が予め蓄積されたデータベースと、を具備し、上記第１撮像装置及び上記第２撮像装置を連携させて取得した画像データに基づいて所定の作業を支援する。

本発明の一態様のウェアラブル装置は、作業者の目線相当の作業情報を取得するために第１画像データを取得する第１の撮像部と、所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースと、上記作業者とは異なる位置に設けられた第２撮像装置からの第２画像データを取得する通信部と、上記第１画像データと上記第２画像データとを上記データベースの作業情報に従って判定する作業判定部とを具備する。

本発明の一態様の撮像装置は、ウェアラブル装置で作業者の目線相当の作業情報を取得するために第１画像データを取得する第１の撮像部の情報を受信する受信部と、所定の作業に関する規定の作業情報が予め蓄積されたデータベースと、当該撮像装置が出力する画像データと、上記第１画像データとを上記データベースの作業情報に従って判定する作業判定部とを具備する。

本発明の一態様の作業支援方法は、作業者の目線相当の作業情報を取得するために第１画像データを取得し、上記作業者目線相当の作業情報とは異なる作業情報を取得するために第２画像データを取得し、上記第１画像データと上記第２画像データとを、所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースに従って作業を判定する。

本発明によれば、作業手順が規定されている所定の作業を支援するための作業支援システムにおいて、作業ミスを抑止すべく作業支援を行うと共に、実行した各作業のエビデンス記録を行うことができる作業支援システム，ウェアラブル装置，撮像装置，作業支援方法を提供することができる。

本発明の一実施形態の作業支援システムの構成を示す概略ブロック構成図 本発明の一実施形態の作業支援システムの一部を構成する第１撮像装置（ウェアラブル端末装置）の概略構成を示す概念図 作業者が第１撮像装置（ウェアラブル端末装置）を装着したときの作業者の顔の正面から見たようすを示し、同時に作業者の両目による視界を示す概念図 図３で示す作業者の両目の視界をより詳細に示す概念図 医療器具のメンテナンス作業（器具洗浄滅菌作業）において作業者が行う作業の流れを示すフローチャート メンテナンス作業で作成されるエビデンス情報の一例を示す図 本発明の一実施形態の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図 本発明の一実施形態の作業支援システムを用いたメンテナンス作業（器具洗浄滅菌作業）の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例 本発明の一実施形態の作業支援システムにおける制御装置の作用を示すフローチャート 本発明の一実施形態の作業支援システムにおけるウェアラブル端末装置（第１撮像装置）の作用を示すフローチャート 本発明の一実施形態の作業支援システムにおける補助カメラ（第２撮像装置）の作用を示すフローチャート ハサミ洗浄滅菌作業を想定したデータベースの例示 作業者が「ツール確認」作業のために右手に持っている所定のツール（ブラシ）を補助カメラの前面（撮像範囲内）にかざしたときに、ウェアラブル端末装置によって取得される動画像のうちの一シーンを示す図 図１３のタイミングで補助カメラによって取得される静止画像の例示 第１部位（刃部）をブラッシングしている際にウェアラブル端末装置によって取得される動画像データの一シーンを示す図 本発明の一実施形態の変形例の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図 図１６の変形例においてウェアラブル端末装置によって取得される動画像データの一シーンを示す図 図１６の変形例において補助カメラによって取得される静止画像データを示す図

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

［一実施形態］
まず、本発明の一実施形態の作業支援システムの概略構成を、図１を用いて以下に説明する。図１は、本発明の一実施形態の作業支援システムの構成を示す概略ブロック構成図である。

本実施形態の作業支援システム１は、複数の作業からなる所定の一連の作業を規定の手順及び手法に従って確実に実行するための作業支援を行うと共に、実行した各作業に関するエビデンス（evidence；証拠）記録を行うことができるようにした作業支援システムである。

そのために、当該作業支援システム１は、複数の撮像装置と、これら複数の撮像装置を連携させ制御する制御装置とからなる。なお、本実施形態においては、図１に示すように、二つの撮像装置（２０，３０）と一つの制御装置（１０）とによって構成した例を示している。

この構成により、本実施形態の作業支援システム１は、予め決められた複数の作業に関する情報集（データベース）と、実際に行われた作業に関する複数の画像データ（取得画像データ）とに基づいて、対象とする一連の作業に含まれる個々の作業内容や作業手順を表示して作業案内を行ったり、個々の作業が正しく行われたか否か、正しい作業手順が実行されたか否か等、作業に関する確認や判定を行って、正しい作業が行われた場合にはエビデンス記録を行う一方、誤った作業が行われた場合には作業者に警告等を発して正しい作業を促す等の作業支援を行う。

具体的には、本実施形態の作業支援システム１は、第１撮像装置でありウェアラブル装置であるウェアラブル端末装置２０と、第２撮像装置である補助カメラ３０との二つの撮像装置と、これら二つの撮像装置を連携させ制御する制御装置１０とによって構成される。なお、ウェアラブル端末装置２０については、図２に具体的な構成例を示している。

制御装置１０は、上記二つの撮像装置（２０，３０）のそれぞれを制御し、各撮像装置（２０，３０）により取得された画像データ（静止画像データ（第２画像データ），動画像データ（第１画像データ）等）に基づいて、実行された個々の作業の確認や判定を行い、作業記録（エビデンス記録）等の動作制御を行う。また、上記制御装置１０は、上記二つの撮像装置（２０，３０）を連携させて動作させる制御等を行う。

そのために、制御装置１０は、制御部１１と、通信部１２と、データベース１３と、エビデンス記録部１４等を有して構成されている。

なお、本実施形態の制御装置１０においては、図示を省略しているが、上述した各構成要素のほかにも、例えば操作部や表示部等、一般的な制御装置が具備している各種の構成要素を有している。これら図示を省略した各種の構成要素については、本発明に直接関連しない部分であるので、その詳細説明は省略する。

制御部１１は、本実施形態の作業支援システム１の全体を統括的に制御する複数の制御回路等を含む構成部である。この制御部１１に含まれる複数の制御回路等としては、特に、作業判定部１１ａと、表示制御部１１ｂと、ガイド部１１ｃと、対象物判定部１１ｄと、大きさ判定部１１ｅ等がある。

作業判定部１１ａは、二つの撮像装置（２０，３０）によって取得された画像データと、データベース１３に予め蓄積されている情報と、対象物判定部１１ｄ及び大きさ判定部１１ｅによって取得された判定結果情報等に基づいて、実行された作業に関する各項目の確認や判定等を行う制御回路等を含む構成部である。

なお、ここで行われる判定は、例えば、作業に用いるツールの種類の判定や、各作業の種類の判定等である。

表示制御部１１ｂは、当該制御装置１０に含まれる表示部（不図示）若しくは、当該制御装置１０と連携する複数（二つ）の撮像装置（２０，３０）に含まれる表示部（２５，不図示）等を制御して、所定の表示（画像表示のほか警告表示等）を行わせるための制御回路等を含む構成部である。

ガイド部１１ｃは、二つの撮像装置（２０，３０）によって取得された画像データと、データベース１３に予め蓄積されている情報とに基づいて、実行された作業に関するガイド表示や、次に行うべき作業のガイド表示等を行うためのガイド情報を生成する制御回路等を含む構成部である。

対象物判定部１１ｄ及び大きさ判定部１１ｅは、二つの撮像装置（２０，３０）によって取得された画像データと、データベース１３に予め蓄積されている情報とに基づいて、画像データに含まれる所定の対象物の種類や部位，形状，大きさ，個数，状態等、所定の条件を検出し判定する制御回路等を含む構成部である。なお、大きさの判定手段としては、上述した以外にも、例えばオートフォーカス機構を利用して、撮像装置と対象物との間の距離と撮像素子サイズとの関係から、撮像素子の受光面上に結像された対象物のサイズを算出するといった手段を用いることも考えられる。

通信部１２は、二つの撮像装置（２０，３０）のそれぞれの通信部（２２，３２）との間でデータ通信（情報の送受信）を行う制御回路等を含む送信部であり受信部である。ここで、通信部１２は、無線通信を用いる構成であってよいし、有線通信を用いる構成であってもよい。

データベース１３は、予め決められた各種の情報を蓄積するストレージ装置（補助記憶装置）である。本実施形態においては、データベース１３を制御装置１０に含めて構成する例（具体的には、例えば、内部固定式の記憶媒体（内蔵メモリ等）若しくは着脱式の記憶媒体（着脱カード式メモリ等））を示している。しかしながら、データベース１３の構成は、これらの形態に限られることはない。例えば、データベースを独立した形態の外部ストレージ装置によって構成してもよい。なお、この場合には、独立構成のデータベースと制御装置１０との間は、無線若しくは有線による所定の接続手段によって各種データの送受信を行い得るように構成すればよい。

データベース１３には、例えば作業情報データベース１３ａや画像データベース１３ｂ等が蓄積される。ここで、作業情報データベース１３ａは、複数の作業に関する各種の情報（対象物情報，使用ツール情報，作業種類情報等）等が含まれる。また、画像データベース１３ｂは、作業情報データベース１３ａに記録される各種情報に関連する画像データ集（例えば複数の作業に関する複数の視野からの画像情報等）である（詳細後述；図１２参照）。

エビデンス記録部１４は、二つの撮像装置（２０，３０）によって取得された画像データ等と、これに関連する作業情報を関連付けて記録する制御回路等及び記録媒体等を含む構成部である。もちろん、もっと多くの視野、視界、視点からの画像を参照可能にしてもよい。

二つの撮像装置（２０，３０）のうち一方の第１撮像装置は、ウェアラブル端末装置２０である。このウェアラブル端末装置２０は、例えば、図２に示すように、作業者が身体の一部（例えば顔面近傍等）に装着することによって、両手を自在とすることができると同時に、作業者自身の手元近傍の様子を常に撮像することができるような形態の撮像装置である。

換言すると、ウェアラブル端末装置２０は、作業者の目線相当の作業情報を取得することができる形態の撮像装置である。

このウェアラブル端末装置２０は、主に第１画像データである動画像データを取得する。これは、作業者の頻繁な作業の流れを把握するためで、時間変化が分かる静止画でも、そこから抜き出した動きベクトルのような画像の時間変化を表すデータ情報でもよい。ただし、エビデンス用に用いる場合は、後で人間が検証できるような静止画であることが好ましい。

ここで、図２は、本実施形態の作業支援システムの一部を構成する第１撮像装置（ウェアラブル端末装置）の概略構成を示す概念図である。なお、図２は、作業者が当該第１撮像装置（ウェアラブル端末装置）を装着した状態を想定して示している。また、図３は、作業者が第１撮像装置（ウェアラブル端末装置）を装着したときの作業者の顔の正面から見たようすを示し、同時に作業者の両目による視界を示す概念図である。そして、図４は、図３で示す作業者の両目の視界をより詳細に示す概念図である。

本実施形態において、ウェアラブル端末装置２０は、上記制御部２１の制御下において単独で作用すると同時に、上記制御装置１０との間で通信を行うことによって、当該制御装置１０の制御部１１の制御下においても作用する撮像装置である。

なお、本実施形態におけるウェアラブル端末装置２０は、主に動画像データを取得する撮像装置としているが、これに限られることはない。例えば、当該ウェアラブル端末装置２０は、作業者による所定の操作、或いは所定の行為をトリガーとして、任意に若しくは自動的に静止画像データを動画像データと同時に又は静止画像データを単独で取得し得るような構成でもよい。

ウェアラブル端末装置２０は、制御部２１と、通信部２２と、操作部２３と、撮像部２４（第１の撮像部）と、表示部２５と、音声入力部２７と、音声出力部２８と、支持部２９等を有して構成されている。

制御部２１は、ウェアラブル端末装置２０の全体を統括的に制御する制御回路等を含む構成部である。この制御部２１は、例えば、ＣＰＵ（Central Processing Unit）等を用いたプロセッサ（processor；処理装置）によって構成されている。そして、制御部２１は、メモリ（不図示）に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。

即ち制御部２１は、通信部２２を制御して制御装置１０との間で各種の情報の送受信（通信）を行い、操作部２３からの操作入力を受けて各構成部の制御を行い、撮像部２４を制御して画像データ等を取得し、表示部２５を制御して表示パネル２５ｂ（後述する；図２参照）画面に各種の情報表示を行い、音声入力部２７を制御して音声情報の入力を受け、音声出力部２８を制御して音声情報の出力を行う等、各種の制御を実行する。

これらの制御に加えて、制御部２１は、上記制御装置１０の制御部１１からの制御信号を受けて上記制御装置１０と連携して当該ウェアラブル端末装置２０を制御する。

制御部２１は、例えば、画像判定部２１ｂと、表示制御部２１ｃ等の複数の回路部等を有して構成されている。

画像判定部２１ｂは、撮像部２４によって取得した画像データに基づいて所定の判定を行う判定処理回路である。この画像判定部２１ｂは、上述の制御装置１０の制御部１１に含まれる各種判定部（１１ａ，１１ｄ，１１ｅ）と同等若しくは簡易的な回路部である。

つまり、当該画像判定部２１ｂは、第１画像データと第２画像データとをデータベース１３の作業情報に従って判定する作業判定部として機能する。したがって、制御装置１０の制御部１１に各種判定部（１１ａ，１１ｄ，１１ｅ）が設けられていれば、当該画像判定部２１ｂは省略することも可能である。

ここで、ウェアラブル端末装置２０側に画像判定部２１ｂを設けて構成されている場合には、当該画像判定部２１ｂによる判定結果のみを通信部（２２，１２）を介して制御装置１０の制御部１１へと送信すればよい。これを受けて、制御装置１０の制御部１１は、受信した判定結果情報に基づく制御を行う。したがって、この構成の場合、通信負荷を軽減させることができるという利点がある。

表示制御部２１ｃは、表示部２５を制御して表示パネル２５ｂ（図２参照）に所定の表示を行うための制御回路部である。

通信部２２は、制御装置１０との通信（情報の送受信）を司る制御回路等を含む送信部であり受信部である。通信部２２は、無線若しくは有線による所定の通信手段が適用される。通信部２２は、制御装置１０を介して作業者１００（又は第１撮像装置であるウェアラブル端末装置２０）とは異なる位置に設けられた第２撮像装置（補助カメラ３０）からの第２画像データを取得する通信部としても機能する。

さらに、通信部２２は、制御装置１０を介してデータベース１３との間で通信を行って、当該データベース１３の作業情報を参照することもできる。なお、通信部２２とデータベース１３とが直接通信を行うような構成としてもよい。

操作部２３は、当該ウェアラブル端末装置２０を操作するための複数の操作部材と、これら複数の操作部材に対応し各所定の操作入力信号を発生させる複数の電気部品等によって構成される構成部である（その詳細構成は不図示）。

撮像部２４は、撮像光学系２４ａ（図２参照）や図示しない撮像素子及びその駆動制御回路等を有して構成される構成部である。この撮像部２４は、撮像光学系２４ａによって形成された撮像対象物の光学像を撮像素子によって順次光電変換し、これによって得られた画像データに基く画像を表示部２５の表示パネル２５ｂに順次表示する機能を有する。また、得られた画像信号に基づいて所定の形態の画像データ（例えば動画像データ若しくは静止画像データ）を形成し、これを記録したり、通信部２２，１２を介して制御装置１０へと伝送する等の機能を有する。このような機能を有する撮像部２４自体の構成は、従来一般的な撮像装置における撮像部と略同様である。したがって、その詳細な構成及び図示は省略する。

なお、撮像素子としては、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等が適用される。このような撮像部は、作業中の作業者目線（視界、視野）に近い画像が得られ、両手の間で行われる両手を使った詳細作業（目視チェックも含め）が確認しやすい。

表示部２５は、撮像部２４によって取得された画像データに基づいて画像を表示するほか、画像に重畳させて各種の警告表示若しくは各種所定のメッセージ表示又はガイド表示（詳細後述）等を表示し得ると共に、適宜所定の動作モードの切り換えにより、当該ウェアラブル端末装置２０における各種の設定等のためのメニュー表示等を行う表示制御回路等を含む構成部である。

表示部２５は、導光部２５ａと、表示パネル２５ｂ等を有して構成されている。表示パネル２５ｂは、各種の表示を行うための表示画面と、その表示を実現するための表示制御回路等を含んで構成される構成部である。この表示パネル２５ｂとしては、例えば、液晶表示（Liquid Crystal Display；ＬＣＤ）部や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）表示部等が適用される。

導光部２５ａは、表示パネル２５ｂに表示される画像を所定の表示面へと導く構成部である。

ここで、本実施形態のウェアラブル端末装置２０における表示パネル２５ｂは、図２に示すように、例えば作業者の視線方向（図２の矢印Ｘ１方向）に正対する正対面とは異なる方向に向けて設置されている。

具体的には、例えば、図２において、作業者の視線方向を矢印Ｘ１で示し、表示パネル２５ｂの表示面の向く方向を矢印Ｘ２で示している。この場合において、導光部２５ａの長軸方向は、図２の矢印Ｘ２方向と一致するように設けている。したがって、表示パネル２５ｂの表示面の画像を形成する光は、導光部２５ａによって矢印Ｘ２方向へと導かれる。

そして、導光部２５ａの内部において、一方の端部（符号２５ｘ参照）には、当該導光部２５ａによって上記矢印Ｘ２方向に導かれた光を、矢印Ｘ１方向へと折り曲げて導く光屈曲部材（プリズム等）が配設されている。したがって、表示パネル２５ｂの表示面から発した光は、導光部２５ａを矢印Ｘ２方向へと導かれ、上記プリズム等を介して作業者の一方の眼によって視認可能な位置（図３の符号２５ｃ参照）に表示されるように構成されている。

音声入力部２７は、音声情報を入力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声入力部２７は、制御部２１によって制御されて、所定のタイミングで周囲環境下における音声情報を収集する。音声入力部２７としては、例えばマイクロフォン等が適用される。

音声入力部２７の配置としては、例えばウェアラブル端末装置２０を作業者が装着したとき、作業者の口近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、作業者は、音声入力部２７への音声入力を確実に行うことができる。

音声出力部２８は、音声情報を出力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声出力部２８は、制御部２１によって制御されて、所定のタイミングで音声情報（例えば警告，メッセージ等の音声情報や音声ガイド等）を出力する。音声出力部２８としては、例えばスピーカ等の発音装置が適用される。

音声出力部２８の配置としては、例えばウェアラブル端末装置２０を作業者が装着したとき、作業者の耳近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、作業者は、音声出力部２８からの音声出力を確実に聞き取ることができる。

支持部２９（図２参照）は、本ウェアラブル端末装置２０の各構成部を組み付けると共に、作業者の身体の一部（例えば顔面近傍等）に装着し得るように構成されたフレーム部材である。図２に示す支持部２９の構成例は、いわゆる眼鏡フレーム形状に構成した例示である。

なお、図示を省略しているが、本実施形態におけるウェアラブル端末装置２０は、電源供給源となるバッテリを有している。このバッテリは、当該ウェアラブル端末装置２０を駆動するために必要な電力を発生し、制御部２１によって制御されることによって、各構成部への電力供給が行われる。

このように構成されたウェアラブル端末装置２０を、作業者が装着したときの様子は、例えば図２，図３に示すようになる。

なお、図２において、作業者１００の右眼を符号１０１Ｒで示し、左眼を符号１０１Ｌで示している。また、同図２において、右眼１０１Ｒによる右眼視野を符号１１０Ｒで示す点線で示し、左眼１０１Ｌによる左眼視野を符号１１０Ｌで示している。

この場合において、作業者１００は、ウェアラブル端末装置２０の支持部２９を、例えば（作業者１００自身にとっての）右耳近傍に装着するものとする。

このように、ウェアラブル端末装置２０を装着状態としたとき、撮像部２４の撮像光学系２４ａは、作業者の視線方向（矢印Ｘ１方向）と略一致する方向に向けられる。そして、ウェアラブル端末装置２０を装着した状態で、作業者１００が頭を巡らせる等により視線方向を変更すると、撮像部２４の撮像光学系２４ａが向く方向も、視線方向に追随して変更される。したがって、作業者１００が当該ウェアラブル端末装置２０を装着した状態で撮像部２４によって取得される画像データは、作業者が見ている方向（視線方向）を含む所定の領域となる。ここで、撮像部２４によって取得される画像データの撮像領域を、図２，図３において示す符号２４ｃの枠線とする。この撮像領域２４ｃは、撮像光学系２４ａの画角によって任意に設定することができる。本実施形態においては、撮像領域２４ｃは、作業者１００の右眼視野１１０Ｒと左眼視野１１０Ｌとを含む領域となるように設定されている。

さらに、作業者１００がウェアラブル端末装置２０を装着した状態では、表示部２５の表示パネル２５ｂによる表示は、導光部２５ａを介して作業者１００の右眼視野１１０Ｒ内において、図２，図３の符号２５ｃで示す所定の領域に表示される。この表示領域２５ｃは、作業者１００の左右両眼の全視野（１１０Ｒ，１１０Ｌ）のうちの一部に視認可能な形態で、かつ作業者１００の視野を阻害しない程度の領域である。作業者１００は、通常状態では、左右両眼の全視野（１１０Ｒ，１１０Ｌ）を視認できると共に、視線移動を行うことで表示領域２５ｃを中止して表示部２５の表示内容を視認することができるように構成されている。

一方、二つの撮像装置（２０，３０）のうち他方の第２撮像装置は、補助カメラ３０である。補助カメラ３０は、一般的な形態の撮像装置若しくは作業台（不図示）等の近傍の所定の位置に載置若しくは固設される撮像装置である。

換言すると、補助カメラ３０は、作業者の目線相当の作業情報とは異なる作業情報を取得することができる形態の撮像装置である。

この補助カメラ３０は、作業者目線の画像とは異なる視野からの、いわば客観的な見地の情報を持つことが好ましく（システムとして情報がリッチになる）、主に第２画像データである静止画像データを取得する。エビデンス用に用いる場合は、後で人間が検証できるような静止画であることが好ましいからであるが、もちろん、それを連続的に取得すれば動画となるので、消費エネルギーや記録容量さえ問題なければ、こうした応用があってもよい。

補助カメラ３０の構成は、一般的な形態の撮像装置と略同様である。例えば、補助カメラ３０は、図１に示すように、少なくとも制御部３１と、通信部３２と、撮像部３４（第２の撮像部）等を含んで構成されている。

制御部３１は、補助カメラ３０の全体を統括的に制御する制御回路等を含む構成部である。この制御部３１は、例えば、ＣＰＵ（Central Processing Unit）等を用いたプロセッサ（processor；処理装置）によって構成されている。そして、制御部３１は、メモリ（不図示）に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。

制御部３１は、通信部３２を制御して制御装置１０との間で各種の情報の送受信（通信）を行い、撮像部３４を制御して画像データ等を取得する等の各種の制御を実行する。これらの制御に加えて、制御部３１は、上記制御装置１０の制御部１１からの制御信号を受けて上記制御装置１０と連携して当該補助カメラ３０を制御する。

通信部３２は、制御装置１０との通信（情報の送受信）を司る制御回路等を含む送信部であり受信部である。通信部３２は、無線若しくは有線による所定の通信手段が適用される。

なお、通信部３２は、制御装置１０を介してデータベース１３との間で通信を行って、当該データベース１３の作業情報を参照することもできる。ここで、通信部３２とデータベース１３とが直接通信を行うような構成としてもよい。

撮像部３４は、不図示の撮像光学系，撮像素子及びその駆動制御回路等を有して構成される構成部である。この撮像部３４は、撮像光学系によって形成された撮像対象物の光学像を撮像素子によって順次光電変換し、これによって得られた画像データを、通信部３２を介して制御装置１０へと伝送する等の機能を有する。また、同時に当該画像データに基く画像を表示部（不図示）を用いて順次表示する機能を有する。

このような機能を有する撮像部３４自体の構成は、上記ウェアラブル端末装置２０や従来一般的な撮像装置における撮像部と略同様である。例えば、図１においては図示を省略しているが、従来一般的な形態の撮像装置が具備する構成部材（操作部や表示部，バッテリ等）も有している。これらの構成部材については、従来一般的な形態の撮像装置と同様の構成及び作用を有するものであるので、その詳細説明は省略する。

なお、補助カメラ３０においても、制御部３１に画像判定部（作業判定部）を設けて構成してもよい。補助カメラ３０の制御部３１に画像判定部を設けて構成した場合には、上述のウェアラブル端末装置２０の制御部２１に画像判定部３１ｂを設けた場合と同様に、当該補助カメラ３０は画像判定部による判定結果のみを通信部（３２，１２）を介して制御装置１０の制御部１１へと送信すればよい。これを受けて、制御装置１０の制御部１１は、受信した判定結果情報に基づく制御を行う。したがって、この構成の場合、通信負荷を軽減させることができるという利点がある。

このように構成された補助カメラ３０は、作業者が所定の作業をする際の作業場所の近傍に固定配置される。この場合において、補助カメラ３０は、作業対象とする対象物とこれを扱う作業者の手元近傍が少なくとも撮像領域に含まれるような位置に配置される。またさらに、補助カメラ３０は、作業者の作業中の様子をも確認することができるように、作業者の全体像が撮像領域に含まれるように配置されていればなおよい。こうして、作業目線とは異なる画像が得られる。

このように構成された本実施形態の作業支援システム１を用いて行われる作用を以下に説明する。

本実施形態の作業支援システム１を用いて行う作業としては、各種の分野における各種の作業を想定することができるが、以下の説明においては、作業の具体的な一例として、医療器具等を扱う作業のうちの所定の医療器具等の洗浄等に関するメンテナンス作業を例に上げて説明する。具体的には、使用済みの医療器具である手術用器具や処置具等（例えばハサミ形状の器具。以下、ハサミと略記する）を洗浄して滅菌する作業（以下、器具洗浄滅菌作業という）を例示する。

まず、一般に行われる器具洗浄滅菌作業の概略的な流れを、図５のフローチャートによって簡略に説明する。図５は、医療器具のメンテナンス作業（器具洗浄滅菌作業）において作業者が行う作業の流れを示すフローチャートである。

図５に示すように、通常の器具洗浄滅菌作業は、まず、ステップＳ１１０１において、作業者がメンテナンス作業の対象とする対象物（器具）の確認を行う。

続いて、作業者は、ステップＳ１１０２において、メンテナンス環境の状態の確認を行う。ここで、メンテナンス環境とは、当該作業を行うための場所（部屋，台等）の環境である。また、環境の状態の確認とは、清潔な状態にあるか否か、即ち器具の洗浄滅菌作業に適した環境の状態であるか否かの確認である。通常の場合、専用のメンテナンス環境（部屋，台等）が用意されている。

続いて、作業者は、ステップＳ１１０３において、当該メンテナンス作業のうちの第１工程における第１作業を行う。

ここで、メンテナンス作業は、複数の作業をまとめた工程を複数行うことで成立する一連の作業として考えるものとする。即ち、一つの所定のメンテナンス作業は、複数の作業工程を所定の手順で実行していくことによって成立する。これら複数の作業工程のそれぞれには、さらに複数の具体的な作業行為が含まれており、これら複数の作業を所定の手順で実行することによって、個々の作業工程は成立する。

当該ステップＳ１１０３において、上記第１工程における第１作業としては、例えばメンテナンスツール（道具）の確認作業等がある。ここで、メンテナンスツールとは、例えば、器具を洗浄するための洗浄用のブラシ等である。この場合において、メンテナンスツールとしての洗浄用ブラシは、複数種類のものが用意されている。メンテナンスの対象とする器具毎に最適となるように、また、所定の器具における対象部位に応じて適するツールが用意され、メンテナンス作業の各工程，各作業毎に最適なツールが選択される必要がある。このことから、個々の作業前には、使用ツールの確認が必要になる。

次に、作業者は、ステップＳ１１０４において、当該第１工程における第２作業を行う。なお、この第２作業は、例えば、メンテナンス対象器具の所定の第１部位（例えばハサミの刃部等、具体的な部位）を洗浄する作業等であるが、その具体的な例示は省略する。

続いて、作業者は、ステップＳ１１０５において、当該第１工程における第３作業を行う。なお同様に、この第３作業は、例えば、メンテナンス対象器具の上記第１部位とは異なる所定の第２部位（例えばハサミの連結（ジョイント）部等、具体的な部位）を洗浄する作業等であるが、その具体的な例示は省略する。

次のステップＳ１１０６において、当該第１工程で規定されている複数の作業が終了したか否かの確認を行う。なお、この図５のフローチャートで示す作業例では、第１工程を第１作業〜第３作業で完了するものとしている。

したがって、この時点で、第１工程の作業が終了していないと判断されると、上記ステップＳ１１０４の処理に戻って、同様の処理を繰り返す。また、当該第１工程の全作業が終了したことが確認されると、次のステップＳ１１０７の処理に進む。

次に、ステップＳ１１０７において、第１工程の各作業に関するエビデンス化処理を行う。ここで、エビデンス化処理とは、作業者が、第１工程の各作業を完了したことを確認し、確認したことを証拠として明示する作業である。具体的には、例えば、各作業毎に予めリストアップされた確認すべき作業項目について、作業者が実行したか否かを確認し、記録するチェックリストの作成等である。

次に、ステップＳ１１０８において、当該メンテナンス作業（器具洗浄滅菌作業）における全ての作業工程が終了したか否かの確認を行う。ここで、作業工程が全て終了していないことが確認されると、ステップＳ１１１０の処理に進む。また、作業工程が全て終了したことが確認されると、次のステップＳ１１０９の処理に進む。

ステップＳ１１１０において、作業者は、現在手にしているメンテナンスツールを、次の作業工程で用いるメンテナンスツールに変更する作業を行う。そして、上記ステップＳ１１０３の処理に進む。

一方、全作業工程が終了したことが確認されると、ステップＳ１１０９において、作業者は、当該メンテナンス作業（器具洗浄滅菌作業）についての最終的なエビデンス化処理を行う。ここで、最終的なエビデンス化処理とは、例えば、各工程毎に作成されたチェックリストをまとめると共に、総合的かつ最終的な作業のチェックリストを作成し、エビデンス情報としてまとめる作業等である。

上記エビデンス情報とは、例えば、図６に示すように、複数の情報を所定の形態で纏めた一覧表形式の書類である。なお、エビデンス情報は、例えば紙面に印刷する形態の書類形式のものであってもよいし、電子的な形態のいわゆる電子ファイル形式のものであってもよい。図６は、メンテナンス作業で作成されるエビデンス情報の一例を示す図である。

エビデンス情報には、例えばメンテナンスの対象とする器具の情報（インデックス情報）と、このメンテナンス対象器具毎に決められている複数の作業工程と、各作業工程内で行われるべき複数の作業内容についての情報等と、各作業内容に応じた複数の確認項目等をリストアップした一覧表形式のデータ集である。

エビデンス情報に含まれる複数の確認項目は、例えば、図６に示すように、作業を行う周囲環境（例えば作業部屋，作業台等）や作業に使用するツール名，作業者名，作業時間（日時，開始終了時間）等である。これら複数の確認項目は、各作業工程の複数の作業毎に予め決められている。これらの確認項目リストに加えて、各作業中に取得される複数の画像（静止画像，動画像）データをエビデンス情報として記録し、各確認項目毎に対応する画像データ等を関連付けて記録する。

従来においては、エビデンス情報として記録される画像データ等は、一連の作業中において各作業が完了する都度、作業者のマニュアルオペレーションにより情報取得がなされていたものである。本実施形態の作業支援システム１では、これら画像データ等を含むエビデンス情報は、自動的に記録されるように構成している。

次に、本実施形態の作業支援システム１を使用する際の作用を、以下に説明する。図７は、本実施形態の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図である。

図７に示すように、本実施形態にて例示するメンテナンス作業（器具洗浄滅菌作業）を行う際には、作業者１００は、所定の作業部屋内に設置された作業台１５０に向かって椅子１５１に座った状態で作業を行う。このとき、作業者１００は、顔面近傍にウェアラブル端末装置２０を装着した状態である。これにより、ウェアラブル端末装置２０は、作業者１００の視線方向を含む所定の領域の画像データ（主に動画像データ）を取得する。

また、作業台１５０の台上には、補助カメラ３０が、作業者側に向けて載置されている。この補助カメラ３０は、作業者１００の少なくとも手元近傍を含む所定の領域の画像データを取得する。なお、補助カメラ３０は、水回りでの使用を考慮して、防水機能を有するものが望ましい。

これら二つの撮像装置（２０，３０）と連携する制御装置１０は、図７においては図示を省略している。これは、本実施形態にて例示する作業の作業場所が水回り近傍にあることから、制御装置１０を離れた場所に設置しているためである。

ここで例示するメンテナンス作業（器具洗浄滅菌作業）は、使用済みの医療器具である手術用器具や処置具等であるハサミ２００を洗浄して滅菌する作業である。したがって、作業台１５０には洗浄槽１５０ａが備わっている。さらに、当該洗浄槽１５０ａの上方には水道蛇口１５３が設置されている。この水道蛇口１５３のハンドル１５３ａを開栓方向に回転操作すると、流水口１５３ｂより流水１５４が流れ出る。

作業者１００は、洗浄槽１５０ａに溜めた洗浄液（例えば水）にてメンテナンス対象の具器（ハサミ２００）を所定のツール（洗浄用ブラシ３００）を用いてブラッシング洗浄する。

この場合において、ウェアラブル端末装置２０によって取得される画像データは、例えば図８に示すような画像となる。図８は、本実施形態の作業支援システムを用いたメンテナンス作業（器具洗浄滅菌作業）の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例である。

図８に示す画像表示例では、作業者１００が一方の手（左手１００Ｌ）にメンテナンス対象具器（ハサミ２００）を持ち、他方の手（右手１００Ｒ）に持った所定のツール（洗浄用ブラシ３００）を用いてブラッシング洗浄作業を行っているようすが示されている。このとき、ウェアラブル端末装置２０は作業者１００の手元近傍の領域を撮像している。

次に、本実施形態の作業支援システム１を使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行う際の作用を、以下に説明する。

上述したように、本実施形態の作業支援システム１は、作業者１００が所定の作業を行う際に、二つの撮像装置（ウェアラブル端末装置２０と補助カメラ３０）と制御装置１０とを連携させて作用するシステムである。

ここで、本実施形態の作業支援システム１の作用の概略を簡単に説明すると、次のようになる。

本実施形態の作業支援システム１において、二つの撮像装置（２０，３０）は、作業者が順次行う複数の作業の状況を適宜撮像する。こうして取得された各画像データは制御装置１０へと送信される。

制御装置１０は、上記二つの撮像装置（２０，３０）が取得した画像データを受信して、これら画像データ等と、データベースに予め蓄積された各種情報とに基づいて所定の判定処理を行う。ここで、制御装置１０によって行われる判定処理は、例えば、対象とする作業内容に応じて規定されている複数の確認項目、例えばメンテナンス対象の器具の判定，使用ツールの種類等の判定，作業行為（ブラッシング，水洗，擦拭，薬剤噴霧等）等の判定等である。

そして、制御装置１０は、上記判定処理結果に基づいて、各種の制御処理を行う。例えば、実行された作業行為が規定の作業に合致する（正しい作業である）との判定結果の場合には、確認チェック表の作成等を行い、加えてエビデンス記録を行う。このエビデンス記録は、例えば、図６で示すエビデンス情報に含める情報の記録処理等である。

また、例えば、実行された作業行為が規定の作業から外れている（作業ミスである）との判定結果の場合には、その旨の警告表示等を行うと共に、正しい作業のやり直しをさせる等のガイド表示等を行う。

なお、作業情報データベース１３ａに含まれる具体的な情報内容を、図１２によって例示する。図１２に示す例は、手術や処置等に用いる器具の一種である「ハサミ」を手術や処置等にて使用後に作業者のマニュアルオペレーションにて洗浄する際のメンテナンス作業（以下、ハサミ洗浄滅菌作業と略記する）を想定したデータベースの例示である。

図１２に示すように、当該作業情報データベースにおいて、メンテナンス対象欄［Ａ］は、メンテナンスの対象とする器具名称である。本例では、「対象１：ハサミ」と記録され、ハサミ洗浄滅菌作業を示している。なお、「対象２：○○○」には、他の器具名称が入ることになるが、ここ（図１２）では「対象１」についての情報以外の詳細な例示は省略する。

同図１２の作業情報データベースにおいて、作業工程欄［Ｂ］は、当該メンテナンス作業に含まれる複数の作業工程の例を作業順に列記している。ここで、ハサミ洗浄滅菌作業に含まれる作業工程は、例えば
「第１工程：ブラッシング」工程，
「第２工程：流水洗浄」工程，
「第３工程：擦拭」工程，
「第４工程：薬剤滅菌」工程
等がある。

「第１工程：ブラッシング」工程は、所定のツール（ブラシ等）を用いて所定の水槽中等でブラッシングする工程である。

「第２工程：流水洗浄」工程は、流水中にて水洗浄する工程である。

「第３工程：擦拭」工程は、所定のツール（ペーパー又は布等）を用いて擦拭し水や汚れを拭き取る工程である。

「第４工程：薬剤滅菌」工程は、所定の薬剤（アルコール等）を用いて（噴霧して）滅菌する工程である。

なお、ここで示す例示は、「ハサミ洗浄滅菌作業」についての例示である。したがって、対象器具によって行われるべき工程の種類や数は異なる。

同図１２の作業情報データベースにおいて、作業内容欄［Ｃ］は、各作業工程に含まれる複数の作業の例を作業順に列記している。

ここで、ハサミ洗浄滅菌作業の「第１工程：ブラッシング」工程に含まれる作業は、
「第１作業」としての「ツール確認」作業，
「第２作業」としての「第１部位ブラッシング」作業，
「第３作業」としての「第２部位ブラッシング」作業
等がある。各作業の具体的な情報は、次の作業情報欄「Ｄ」に記録されている。

即ち、同図１２の作業情報データベースにおいて、作業情報欄［Ｄ］には、各作業を明示する具体的な情報（例えば文字データ，画像データ等）が記録されている。なお、図１では、作業情報データベース１３ａのほかに画像データベース１３ｂを別体で設けた構成としているが、データベース１３の構成としては、両者を一体に構成した形態でもよい。

作業情報欄［Ｄ］の情報は、さらに、第１撮像装置（ウェアラブル端末装置２０）を用いて得られるウェアラブル端末装置情報［Ｄ１］と、第２撮像装置（補助カメラ３０）を用いて得られる補助カメラ情報［Ｄ２］とがある。ここで、ウェアラブル端末装置情報［Ｄ１］は主に動画像によって表される作業情報である。また、補助カメラ情報［Ｄ２］は主に静止画像によって表される作業情報である。

「第１工程：ブラッシング」工程に含まれる「第１作業」としての「ツール確認」作業は、当該作業工程において使用するツールの確認作業である。そのために、作業情報［Ｄ］は、ウェアラブル端末装置情報［Ｄ１］として、ツール（ブラシ）を補助カメラ３０の前面（撮像範囲内）にかざす行為を記録した動画像データ（例えば動きデータ等と呼ばれるデータ等）等が記録されている。
補助カメラ情報［Ｄ２］として、ツール（ブラシ）の拡大画像や、作業者１００の周囲環境の画像（図１２には「周囲画像」と記載）などがある。上記周囲画像は、例えば作業部屋，作業台等や、作業者１００自身の作業着等の情報が、テキスト若しくは画像等のデータで記録されている。

ここで、作業者が「ツール確認」作業を行う際には、次のような作業が行われる。即ち、まず、作業者１００は、これから行おうとする作業に使用する所定のツール（洗浄用ブラシ３００）を手に持って、これを補助カメラ３０の前面（撮像範囲内）にかざす行為を行う。この行為は、ウェアラブル端末装置２０によって動画像として記録される。図１３は、このときの状況を示す図である。即ち、図１３は、作業者１００が「ツール確認」作業のために、右手１００Ｒに持っている所定のツール（洗浄用ブラシ３００）を補助カメラ３０の前面（撮像範囲内）にかざしたときに、ウェアラブル端末装置２０によって取得される動画像のうちの一シーンを示している。なお、図１３において、点線斜線で示す部分は、洗浄槽１５０ａに水等の洗浄用液体が貯められているようすを示している。器具のブラッシング等は、主にこの洗浄槽１５０ａに貯められた水等の洗浄用液体中にて行われる。

作業者１００によって行われた当該行為（洗浄用ブラシ３００を補助カメラ３０の前面にかざす行為）がウェアラブル端末装置２０によって撮像される。同時に、補助カメラ３０も、その撮像範囲内に規定の形態の器具（ツール）が侵入する際のライブビュー画像が撮像されている。そして、両撮像装置（２０，３０）は、取得した動画像データ（ライブビュー画像データ）を、常に継続的に制御装置１０へと転送している。

制御装置１０は、受信した動画像データに基づいて所定の画像判定処理を実行する。例えば、上記規定の行為（ブラシをかざす行為）が検出されると、制御装置１０は、補助カメラ３０を制御して静止画像の撮像動作を実行する。これによって、使用ツール（洗浄用ブラシ３００）の拡大画像（静止画像）が記録される。このときに取得される静止画像は、例えば図１４に示すようなものになる。

さらに、これに続けて又は同時に、補助カメラ３０は、作業者１００自身を含めた周囲環境（例えば作業部屋，作業台等）の様子を静止画像として記録する（不図示）。

このようにして取得される画像データ等は、データベース１３に蓄積された画像データ等を参照することで、使用ツール（ブラシ）が当該作業に用いるのに正しいものであるか否か、実行された作業行為が正しいか否かを判定するのに寄与する。そして、その判定の結果、実行された行為が正しいと判定された場合には、取得された画像データ等はエビデンス情報として記録される。

「第１工程：ブラッシング」工程に含まれる「第２作業」としての「第１部位ブラッシング」作業は、対象器具「ハサミ」の第１部位をブラッシングする作業である。ここで、第１部位は「刃部」としている。この場合の作業情報は、ウェアラブル端末装置情報［Ｄ１］としては、作業画像に基づいて検出されるブラッシングの回数やブラッシング時間等がデータベース化されている。また、補助カメラ情報［Ｄ２］としては、ツール（ブラシ）の第１部位の部分拡大画像等である。なお、図１５は、第１部位（刃部）をブラッシングしている際にウェアラブル端末装置２０によって取得される動画像データの一シーンを示している。この作業は、洗浄槽１５０ａに満たされた水中にて行われる。なお、図１５の点線斜線で示す部分は、洗浄槽１５０ａに貯められている水等の洗浄用液体を示している。即ち、図１５においては、器具（ハサミ２００）を水等の洗浄用液体中にて洗浄用ブラシ３００でブラッシングしているようすを示している。

同様に、「第１工程：ブラッシング」工程に含まれる「第３作業」としての「第２部位ブラッシング」作業は、対象器具「ハサミ」の第２部位をブラッシングする作業である。ここで、第２部位は「ジョイント部」としている。この場合の作業情報は、上記「第２作業」と略同様である。即ち、ウェアラブル端末装置情報［Ｄ１］は、ブラッシングの回数，時間等がデータベース化され、補助カメラ情報［Ｄ２］としては、ツール（ブラシ）の第２部位の部分拡大画像等である。なお、図８は、第２部位（ジョイント部）をブラッシングしている際のウェアラブル端末装置２０によって取得される動画像データの一シーンを示している。

なお、「第２工程：流水洗浄」工程では、水道水の蛇口等をツールとして確認すると共に、蛇口をひねる行為の確認、その蛇口から流れる水道水（流水）の流量等の確認を行う。作業情報は、対象部位に対する規定の作業時間が記録されている。

「第３工程：擦拭」工程では、擦拭作業に用いるペーパー又は布等、規定の専用擦拭具についての確認は、例えば、擦拭具のパッケージ等の画像により、その銘柄等の確認を行う。作業情報は対象部位に対する規定の作業回数や作業時間等が記録されている。

「第４工程：薬剤滅菌」工程では、滅菌作業に用いる薬剤、例えばアルコール等の規定の専用薬剤のボトル等の画像により、その銘柄等の確認を行う。作業情報は対象部位に対する規定の作業回数や作業時間等が記録されている。

本実施形態の作業支援システム１を使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行う際の作用を、図９〜図１１のフローチャートを用いて以下に説明する。

図９は、本実施形態の作業支援システムにおける制御装置の作用を示すフローチャートである。図１０は、本実施形態の作業支援システムにおけるウェアラブル端末装置（第１撮像装置）の作用を示すフローチャートである。図１１は、本実施形態の作業支援システムにおける補助カメラ（第２撮像装置）の作用を示すフローチャートである。

まず、本実施形態の作業支援システム１において、各装置（制御装置１０，ウェアラブル端末装置２０，補助カメラ３０）の電源オン状態とされているものとする。この状態において、作業者１００は、図７で示す所定の環境下にあって、所定の作業を開始する。ここで説明する所定の作業は、医療器具のメンテナンス作業のうちの「ハサミ洗浄滅菌作業」を例示する。

即ち、制御装置１０は、電源オン状態で、所定の指示信号を受信する待機状態にある。また、ウェアラブル端末装置２０は、電源オン状態で、ライブビュー画像の撮像動作中であり、指示信号待機状態にある（図１０のステップＳ２０１）。同様に、補助カメラ３０も電源オン状態で、ライブビュー画像の撮像動作中であり、指示信号待機状態にある（図１１のステップＳ３０１）。

この状態で、作業者１００は、所定の作業場所にて、所定の「ハサミ洗浄滅菌作業」を開始する。まず、作業者１００は、「ハサミ洗浄滅菌作業」においてメンテナンス対象とする器具（ハサミ２００）を手に持って、これを補助カメラ３０の前面（撮像範囲内）にかざす行為を行う。

すると、ウェアラブル端末装置２０は、当該行為（ハサミ２００を補助カメラ３０の前面にかざす行為。以下、「かざす行為」と略記する）が行われたか否かの検出を行う（図１０のステップＳ２０２）。この検出処理は、例えば、ウェアラブル端末装置２０における制御部２１の画像判定部２１ｂにて行われる。ここで、器具を「かざす行為」が検出された場合には図１０のステップＳ２０３の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。

図１０のステップＳ２０３において、ウェアラブル端末装置２０の制御部２１は、上記器具を「かざす行為」が行われた旨の情報（以下、「かざした情報」と略記する）を制御装置１０へと送信する。その後、ステップＳ２０４のライブビュー画像撮像動作を行いつつ待機状態となる。

待機状態にある制御装置１０は、図９のステップＳ１０１にて、器具を「かざした情報」が受信されたか否かの確認を行う。ここで、器具を「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１０２の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。

図９のステップＳ１０２において、制御装置１０の制御部１１は、補助カメラ３０に対して所定の撮像動作を実行する要求指示（撮像要求指示）を送信する。その後、補助カメラ３０から撮像結果（ハサミ２００の画像データ等）が送信されてくるのを待機する。

補助カメラ３０は、図１１のステップＳ３０２において、制御装置１０からの撮像要求指示が受信されたか否かの確認を行う。ここで、撮像要求指示の受信が確認された場合には、所定の撮像動作を実行した後、図１１の次のステップＳ３０３の処理に進む。

なお、ここで行われる撮像動作によって取得される画像データは、例えばハサミ２００の拡大画像データのほか、例えば作業者１００自身を含めた周囲環境（例えば作業部屋，作業台等）の画像データである。周囲環境データを取得することによって、当該作業が正しい（規定された）作業環境下においてなされているか、作業者１００が正しい（規定された）装具、具体的には例えばマスク，手袋，顔面保護具等を着用しているか否かの確認ができる。

続いて、同図１１のステップＳ３０３において、撮像動作の結果取得された画像データ（主に静止画像データ）等の情報を制御装置１０へ向けて送信する。その後、ステップＳ３０１の処理に戻り、ライブビュー画像の撮像動作を継続して実行しながら、所定の指示信号の受信を待機する。

制御装置１０においては、補助カメラ３０による撮像結果（ハサミ２００の画像データ）を受信する（図９のステップＳ１０２）。

なお、ステップＳ３０２において、撮像要求指示の受信が確認されない場合には、図１１のステップＳ３０１の処理に戻り、ライブビュー画像の撮像動作を継続して実行しながら、所定の指示信号の受信を待機する。

図９に戻って、上述のステップＳ１０２の処理にて、制御装置１０は、補助カメラ３０からの撮像結果を受信したら、次のステップＳ１０３の処理に進む。

図９のステップＳ１０３において、制御装置１０は、制御部１１の対象物判定部１１ｄ，大きさ判定部１１ｅ等を制御してメンテナンス対象器具の判定処理を実行する。この判定処理は、上記ステップＳ１０２で受信した撮像結果（ハサミ２００の画像データ）と、データベース１３に蓄積されているメンテナンス対象器具の画像データ等を参照して行う処理である。

続いて、同図９のステップＳ１０４において、制御装置１０は、同様に、制御部１１の対象物判定部１１ｄ，大きさ判定部１１ｅ等を制御してメンテナンス環境の確認処理を行う。この確認処理は、ステップＳ１０３と同様に、上記ステップＳ１０２で受信した撮像結果（周囲環境や作業者の画像データ）と、データベース１３に蓄積されている対応データ等を参照して行う処理である。その後、制御装置１０は、所定の指示信号の受信待機状態となり、ステップＳ１０５の処理に進む。

続いて、同図９のステップＳ１０５において、制御装置１０は、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１１１の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する（ステップＳ１０５のループ処理）。

ここで、作業者１００は、「第１工程」の「第１作業」であるメンテナンスツールの確認作業を開始する。上述したように、この「第１作業：ツール確認」作業にて作業者１００が行う作業は、当該作業で使用する適切なツール（洗浄用ブラシ３００）を手に持って、このツール（洗浄用ブラシ３００）を補助カメラ３０の前面（撮像範囲内）にかざす行為である。

すると、上述のステップＳ２０４の処理にて待機状態となっているウェアラブル端末装置２０は、図１０のステップＳ２０５において、当該行為（洗浄用ブラシ３００を補助カメラ３０の前面にかざす行為。「かざす行為」と略記）が行われたか否かの検出を行う。この検出処理は、例えばウェアラブル端末装置２０における制御部２１の画像判定部２１ｂにて行われる。ここで、ツールを「かざす行為」が検出された場合には図１０のステップＳ２０６の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。

図１０のステップＳ２０６において、ウェアラブル端末装置２０の制御部２１は、上記ツールを「かざす行為」についての情報（「かざした情報」と略記）を制御装置１０へと送信する。

待機状態にある制御装置１０は、図９のステップＳ１０５にて、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１１１の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。

図９のステップＳ１１１において、制御装置１０の制御部１１は、作業判定部１１ａ等を制御してメンテナンスツールの確認作業（「第１作業」）の処理を実行する。

続いて、同図９のステップＳ１１２において、制御装置１０は、作業確認要求指示をウェアラブル端末装置２０へ送信する。この作業確認要求指示は、ツールを「かざした情報」送信後のウェアラブル端末装置２０により取得される動画像データを要求する指示信号である。

図１０のステップＳ２１１において、ウェアラブル端末装置２０は、作業確認要求指示を受信したか否かの確認を行う。ここで、作業確認要求指示を受信した場合には、次のステップＳ２１２の処理に進む。

続いて、同図１０のステップＳ２１２の処理にて、ウェアラブル端末装置２０は、取得した動画像データを制御装置１０へ送信する。その後ステップＳ２２１の処理に進む。

図９のステップＳ１１３において、制御装置１０は、上述のステップＳ２１１の処理にてウェアラブル端末装置２０から送信された動画像データを受信する。そして、制御装置１０は、受信した動画像データと、データベース１３に蓄積されている対応データとを比較する。そして、取得された動画像データに基づいて、作業者１００が行った作業が正しい（規定された）作業であるか否かを確認する。

次のステップＳ１１４において、上記比較結果に問題が無ければ、即ち作業者１００が行った作業（取得動画像）が正しい（規定された）作業であることが確認された場合（ＯＫである場合）には、次のステップＳ１１６の処理に進む。また、ＯＫではない場合には、ステップＳ１１５の処理に進む。

図９のステップＳ１１５において、制御装置１０の制御部１１のガイド部１１ｃは、所定の警告表示やガイド表示等に関する所定の情報を、ウェアラブル端末装置２０へ送信する。その後、ステップＳ１１６の処理に進む。

図１０のステップＳ２２１において、ウェアラブル端末装置２０は、警告表示やガイド表示等の情報を受信したか否かの確認を行う。ここで、当該情報の受信が確認された場合には、次のステップＳ２２２の処理に進む。また、確認されない場合には、上述のステップＳ２０１の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。

ステップＳ２２２において、ウェアラブル端末装置２０の制御部２１は、表示部２５，音声出力部２８等を制御して、所定の形態の警告表示，ガイド表示等を実行する。

なお、ここで、警告表示やガイド表示等は、表示部２５を用いた視覚的な情報表示のほか、音声出力部２８を用いた音声情報表示等がある。その後、上述のステップＳ２０１の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。

一方、制御装置１０は、ステップＳ１１６において、工程が終了したか否かの確認を行う。この確認は、例えばデータベース１３を参照する等による。ここで、工程が終了したことを確認すると、次のステップＳ１１７の処理に進む。また、工程終了が確認されない場合、即ち工程が終了しておらず、次の作業が存在する場合には、上述のステップＳ１１３の処理に戻る。

ステップＳ１１７において、制御装置１０は、終了した工程についてのエビデンス化処理を実行する。このエビデンス化処理は、取得した画像データ等を所定の形態で記録する等の処理である。その後、ステップＳ１２１の処理に進む。

続いて、ステップＳ１２１において、制御装置１０は、当該作業の全ての工程が終了したか否かの確認を行う。ここで、全行程の終了を確認した場合には、次のステップＳ１２２の処理に進む。また、全行程終了が確認されない場合には、ステップＳ１２３の処理に進む。

ここで、当該作業の全行程が終了していない場合、作業者１００は、手持ちのメンテナンスツール（前の作業で使用したツール）を、次の作業（例えば第２作業）で使用するメンテナンスツールに持ち替える（変更する）。

この場合において、制御装置１０は、図９のステップＳ１２３において、メンテナンスツールの変更を確認する。その後、ステップＳ１０５の処理に戻り、以降同様の処理を繰り返す。

一方、上述のステップＳ１２１の処理にて、全行程の終了を確認して、ステップＳ１２２の処理に進むと、このステップＳ１２２において、制御装置１０は、最終エビデンス化処理を実行する。この最終エビデンス化処理は、取得した複数の画像データ等を所定の位置ファイルとしてファイル化すると共に、上記ステップＳ１１４の処理にて出力されるＯＫ信号に基いて作成されるチェックリスト等の作成処理等である。その後、全ての処理を終了して、待機状態に戻る。

以上説明したように上記一実施形態によれば、作業支援システム１は、二つの撮像装置（２０，３０）と制御装置１０とを連携させて作用させることにより、複数の作業からなる所定の一連の作業を規定の作業手順及び作業手法に従って確実に実行するための作業支援を行うことができ、よって作業ミスを抑止することができる。

また、作業中における所定の行為や使用ツール，周囲環境等の状況を画像として記録してエビデンス化することができる。したがって、所定の作業が規定通りに確実に行われたか否かを作業後に保証することができる。

作業中に取得した画像データを有効に活用し、取得した複数の画像データと予め蓄積されているデータベースの作業情報とに基づいて作業ミスを排除すると共に、作業ミスがあったときには、作業者に対して警告すると共に、正しい手順を案内することでよって確実な作業を行うように支援することができる。

作業ミス（例えば手順の脱落や手順の順序ミス、規定作業の怠慢等）を確実に排除することができ、よって、誰もが規定の作業を円滑にかつ確実に行なうことができるようにすると共に、さらに作業経過のエビデンス（evidence；証拠）記録をも容易に行うことのできる。

なお、上述の一実施形態で説明した作業例（器具洗浄滅菌作業）では、第１工程〜第４工程の全ての作業工程を同じ場所で行うような説明としていたが、作業形態としては、このような形態のみではなく、例えば、作業によっては複数の作業工程の全てを同じ場所で行わずに、一部の作業工程を行う際に場所を変えるといった場合もあり得る。

例えば、上述の一実施形態で説明した作業例（器具洗浄滅菌作業）においては、第１工程，第２工程は洗浄槽１５０ａを有する作業台１５０で行い、第３工程，第４工程は場所を変えて別の作業台（不図示）を用いて行うようにしてもよい。

このことは、第１工程，第２工程は水周りで行う洗浄作業である一方、第３工程，第４工程は乾燥した場所で行うのが望ましい作業であるという理由がある。このような場合には、第３工程，第４工程の作業を行う別の作業台（不図示）には、上記補助カメラ３０と同等の別の個体の補助カメラを配設し、この別の補助カメラも、上記制御装置１０と連携し、当該制御装置１０の制御下で作用するように構成すればよい。

また、上述の一実施形態においては、補助カメラ３０は、作業台１５０の台上に載置した例を示しているが、補助カメラ３０の配置は、この例に限られることはない。

例えば、補助カメラを洗浄槽１５０ａの液体中に配設することも考えられる。このように構成した場合のようすを図１６に示している。図１６は、上記一実施形態の変形例の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図である。図１７は、図１６の変形例においてウェアラブル端末装置によって取得される動画像データの一シーンを示す図である。図１８は、図１６の変形例において補助カメラによって取得される静止画像データを示す図である。

この変形例の場合、液体中に配設する補助カメラ３０Ａは、防水機能を備えた撮像装置である。このように、洗浄槽１５０ａの液体中に補助カメラ３０Ａを配設した場合、液体中での作業をより明瞭に記録することができる。

なお、この構成とした場合には、補助カメラ３０Ａと制御装置１０との間の通信は、有線ケーブルを用いるか、または、無線通信用アンテナを水面上に露呈させるような構成とすることが必要である。

また、ウェアラブル端末装置２０の形態としては、上述の一実施形態及び変形例で示す形態のほかにも、例えば、作業を行う際に作業者が必ず装着するべき顔面保護具等に撮像機能を一体に組み込んだ構成とすることもできる。このような構成のウェアラブル端末装置とすれば、作業者は作業前に顔面保護具を必ず装着しなければならないので、別体のウェアラブル端末装置を装着する煩わしさを解消することができるのと同時に、作業者がウェアラブル端末装置を装着することを忘れてしまうといったミスを抑止することができる。

また、制御部をこの装置内に入れ込めば、作業者の目線相当の作業情報を取得するために目線画像データを取得する撮像部のみならず、所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースを有し、上記作業者とは異なる位置に設けられた補助カメラ装置からの補助画像を取得する通信部と、第１画像データと第２画像データに従って上記データベースの作業情報を検索したり判定したりする作業判定部と、を具備することを特徴とするウェアラブル装置となるし、データベースはこの装置の外部に持って、これを検索するようなシステムにしてもよい。同様の事は補助カメラに関しても言える。

なお、上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲，明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。

また、ここでは、説明の単純化のため、もっぱら全体を連携して制御する制御部を設けての説明を行ったが、個々の機器にその連携制御機能を持たせてもよい。ウェアラブル装置がそうした制御機能を持ってもよいし、制御装置の一部がウェアラブル装置という考え方も出来る。また、補助カメラと書いたものが制御装置の機能を持ってウェアラブル装置を制御してもよく、制御装置が補助カメラを有しているというシステムでもよい。さらに、これらは、通信によって各ステップの進捗を伝え合って、いくつかの装置が、全体として制御装置の役割を果たしてもよい。
そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク ＣＤ−ＲＯＭ等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。これらの記録媒体は、機器が制御を分担するために、分散させて配置したものであってもよい。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。

１……作業支援システム
１０……制御装置
１１……（制御装置の）制御部
１１ａ……作業判定部
１１ｂ……表示制御部
１１ｃ……ガイド部
１１ｄ……対象物判定部
１１ｅ……大きさ判定部
１２……（制御装置の）通信部
１３……データベース
１３ａ……作業情報データベース
１３ｂ……画像データベース
１４……エビデンス記録部
２０……ウェアラブル端末装置
２１……（ウェアラブル端末装置の）制御部
２１ｂ……（ウェアラブル端末装置の）画像判定部
２１ｃ……表示制御部
２２……（ウェアラブル端末装置の）通信部
２３……操作部
２４……（ウェアラブル端末装置の）撮像部
２４ａ……撮像光学系
２４ｃ……撮像領域
２５……表示部
２５ａ……導光部
２５ｂ……表示パネル
２５ｃ……表示領域
２５ｘ……端部
２７……音声入力部
２８……音声出力部
２９……支持部
３０，３０Ａ……補助カメラ
３１……（補助カメラの）制御部
３１ｂ……（補助カメラの）画像判定部
３２……（補助カメラの）通信部
３４……（補助カメラの）撮像部
１００……作業者
１００Ｌ……左手
１００Ｒ……右手
１０１Ｌ……左眼
１０１Ｒ……右眼
１１０Ｌ……左眼視野
１１０Ｒ……右眼視野
１５０……作業台
１５０ａ……洗浄槽
１５１……椅子
１５３……水道蛇口
１５３ａ……ハンドル
１５３ｂ……流水口
１５４……流水
２００……ハサミ
３００……洗浄用ブラシ

Claims (10)

1. 主に動画像データを取得する第１撮像装置と、
   主に静止画像データを取得する第２撮像装置と、
   上記第１撮像装置及び上記第２撮像装置を連携させて制御すると共に所定の作業の作業情報を取得する制御装置と、
   所定の作業に関する規定の作業情報が予め蓄積されたデータベースと、
   を具備し、
   上記第１撮像装置及び上記第２撮像装置を連携させて取得した画像データに基づいて所定の作業を支援する作業支援システム。
2. 上記第１撮像装置は、作業者の視界と略同等の撮像範囲の動画像データを取得し、作業者が装着するウェアラブル端末装置であり、
   上記第２撮像装置は、上記ウェアラブル端末装置とは異なる方向から所定の対象物を含む所定の撮像範囲の静止画像データを取得する補助カメラであり、
   上記制御装置は、上記ウェアラブル端末装置によって取得された動画像データにしたがって、上記補助カメラを制御して静止画像データを取得することを特徴とする請求項１に記載の作業支援システム。
3. 上記制御装置は、上記第１撮像装置及び上記第２撮像装置によって所定の作業の作業中に取得された画像データと、上記データベースに蓄積された上記作業情報のうちの上記所定の作業に対応する上記作業情報とを比較することにより、作業ミスを判定することを特徴とする請求項１に記載の作業支援システム。
4. 上記第１撮像装置は、さらに表示部を有し、
   上記制御装置により作業ミスが判定された場合には、上記制御装置は上記表示部を用いて警告表示を行うことを特徴とする請求項３に記載の作業支援システム。
5. 上記表示部は、視覚情報を表示する表示パネルであることを特徴とする請求項４に記載の作業支援システム。
6. 上記表示部は、音声情報を表示する発音装置であることを特徴とする請求項４に記載の作業支援システム。
7. 上記制御装置は、さらにエビデンス記録部を有し、
   上記エビデンス記録部は、上記第１撮像装置によって作業中に取得された動画像データと、上記第２撮像装置によって作業中に取得された静止画像データとを記録することを特徴とする請求項１に記載の作業支援システム。
8. 作業者の目線相当の作業情報を取得するために第１画像データを取得する第１の撮像部と、
   所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースと、
   上記作業者とは異なる位置に設けられた第２撮像装置からの第２画像データを取得する通信部と、
   上記第１画像データと上記第２画像データとを上記データベースの作業情報に従って判定する作業判定部と、
   を具備することを特徴とするウェアラブル装置。
9. ウェアラブル装置で作業者の目線相当の作業情報を取得するために第１画像データを取得する第１の撮像部の情報を受信する受信部と、
   所定の作業に関する規定の作業情報が予め蓄積されたデータベースと、
   当該撮像装置が出力する画像データと、上記第１画像データとを上記データベースの作業情報に従って判定する作業判定部と、
   を具備することを特徴とする撮像装置。
10. 作業者の目線相当の作業情報を取得するために第１画像データを取得し、
    上記作業者目線相当の作業情報とは異なる作業情報を取得するために第２画像データを取得し、
    上記第１画像データと上記第２画像データとを、所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースに従って作業を判定する
    ことを特徴とする作業支援方法。

Images