JP7494000B2

JP7494000B2 - 作業者端末、作業支援システム

Info

Publication number: JP7494000B2
Application number: JP2020083490A
Authority: JP
Inventors: 孝弘松田; 将史山本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-05-11
Filing date: 2020-05-11
Publication date: 2024-06-03
Anticipated expiration: 2040-05-11
Also published as: JP2021180369A

Description

本発明は、作業者の作業を支援する技術に関する。

現場作業を支援する技術として、撮像装置を備えた作業者端末を作業者が装着し、その作業者端末を介して様々な支援を提供する技術が開発されている。特許文献１には、撮像部を含む端末を用いて、ユーザに情報を提供する作業支援装置が開示されている。特許文献２には、撮影された画像の情報に基づき、カメラの位置・姿勢を補正する頭部装着式の映像表示装置が開示されている。

特開２０１９－０７９４６９号公報特開２００９－２００６９１号公報

作業者端末が備える撮像装置は、例えば作業者が作業現場にある設備などを撮像し、その画像を用いて様々な支援を提供するために用いられる。撮影環境や被撮像物は作業現場の状況に応じて様々であり、適切な撮像条件をセットしなければ画像品質が低下して適切な支援を提供できない可能性がある。

作業者が自ら撮像装置を操作して撮像条件を調整することもできる。しかし作業者は本来の作業を実施する必要があり、これとは別に撮像装置を調整する作業が発生すると、作業者にとって負担が大きい。そこで作業者の負担を増やすことなく、適切な撮像条件をセットすることができる技術が望まれる。

特許文献２のように、撮像した画像に基づいてカメラの位置などを補正する技術は、補正を実施する前に、補正処理のために供する画像を撮像する必要がある。したがって作業者は、補正処理のためだけに本来の作業とは別の撮像動作を実施する必要があり、少なくともその限りにおいて作業者にとって負担が生じる。

本発明は、上記のような課題に鑑みてなされたものであり、作業者にとっての負担を抑制しつつ、作業者端末が備える撮像装置の撮像条件を適切にセットすることができる技術を提供することを目的とする。

本発明に係る作業者端末は、作業者がいずれの作業を実施しているかを識別し、その識別した作業に対応する動作モードで動作するように、撮像部の動作モードを切り替える。

本発明によれば、作業者にとっての負担を抑制しつつ、作業者端末が備える撮像装置の撮像条件を適切にセットすることができる。

実施形態１に係る作業者端末１０の構成図である。作業者端末１０の動作を説明するフローチャートである。作業データ１０７の１例を示す。動作モードデータ１０６の１例を示す。動作モードデータ１０６の変形例を示す。作業者端末１０の変形例を示す。動作モードデータ１０６の変形例を示す。モード判断部１０４が作業内容の文字列の字数を識別する場合における動作モードデータ１０６の例を示す。モード判断部１０４が作業内容の文字列の画数を識別する場合における動作モードデータ１０６の例を示す。モード判断部１０４が作業内容の文字列の読み仮名の字数を識別する場合における動作モードデータ１０６の例を示す。作業内容の文字列に加えて、文字列の字体（フォント）を定義する場合における作業データ１０７の例である。作業内容の文字列に加えて、文字列の印字サイズを定義する場合における作業データ１０７の例である。作業内容の文字列に加えて、文字列の文字色を定義する場合における作業データ１０７の例である。モード判断部１０４が作業内容の文字列の字体にしたがって動作モードを決定する場合における動作モードデータ１０６の例を示す。モード判断部１０４が作業内容の文字列の印字サイズにしたがって動作モードを決定する場合における動作モードデータ１０６の例を示す。モード判断部１０４が作業内容の文字列の文字色にしたがって動作モードを決定する場合における動作モードデータ１０６の例を示す。モード判断部１０４が作業種別にしたがって動作モードを決定する場合における、動作モードデータ１０６の例である。実施形態２に係る作業支援システム１００の構成図である。実施形態２における作業者端末１０の動作を説明するフローチャートである。作業支援システム１００の変形例を示す。図１３の作業支援システム１００の動作を説明するフローチャートである。実施形態３に係る作業支援システム１００の構成図である。遠隔作業支援装置４０の動作を説明するフローチャートである。実施形態３に係る作業支援システム１００の変形例を示す。

＜実施の形態１＞
図１は、本発明の実施形態１に係る作業者端末１０の構成図である。作業者端末１０は、作業者２０が装着することにより、作業者２０の作業を支援する端末である。作業者２０は、作業対象３０に対して作業を実施し、作業者端末１０はその作業を支援する。

作業者端末１０は、撮像部１０１、入力部１０２、作業管理部１０３、モード判断部１０４、動作モード切替部１０５、動作モードデータ１０６、作業データ１０７を備えている。

作業管理部１０３、モード判断部１０４、動作モード切替部１０５は、１例としてプロセッサ１４０内に実装されたソフトウェアの処理として実現される。プロセッサ１４０は例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等により構成される。作業管理部１０３、モード判断部１０４、動作モード切替部１０５はデジタル回路として実現されてもよい。例えば、同一のＩＣ、例えばＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の集積回路内の機能ブロックとして存在していてもよい。以下では記載の便宜上、これら機能部を動作主体として説明するが、これら機能部がソフトウェアによって実装されている場合、実際の動作主体はそのソフトウェアを実行する演算装置である。後述するモード判断部２０４、作業指示部３１６、作業管理部３０３、音声認識部３２０、などの各機能部も同様である。

作業者端末１０は、例えば作業者２０の頭部に撮像部１０１を装着して使用される装置である。撮像部１０１は、作業者端末１０とケーブル等により接続されていてもよく、撮像部１０１以外の各機能部は作業者２０の頭部以外の箇所で保持される構成でもよい。

動作モードデータ１０６、作業データ１０７は、メモリ１５０内に記憶されている。メモリ１５０は、プロセッサ１４０が作業者端末１０を制御するために用いるデータ等を格納するメモリ領域であり、例えばフラッシュメモリ等により実現される。メモリ１５０は、ＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）や光ディスク等の書き込みおよび読み出しが可能な他の記憶メディアであってもよい。また、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の一時記憶領域であってもよい。

作業者２０は作業対象３０に対して、目視確認や操作などの作業を実施する。撮像部１０１は、作業者２０の視野の方向を撮影する向きで設置されており、作業時には作業対象３０の方向を撮影する。

図２は、作業者端末１０の動作を説明するフローチャートである。以下図２の各ステップを説明する。

ステップＳ２０２において、作業者２０は入力部１０２を用いて、作業を開始する旨を入力する。入力部１０２は、例えば押しボタンのような装置で実現される。

ステップＳ２０３において、作業管理部１０３は作業データ１０７を参照し、最初の作業についての情報を読み出す。作業データ１０７の具体例は後述する。本ステップにおいて、フローチャートには記載を省略するが、作業管理部１０３は読みだした作業内容の情報を通知部１０８により作業者２０に通知してもよい。通知部１０８の１例としては、ヘッドマウントディスプレイなどにより、視覚的に作業内容を通知する手段を用いることができる。通知部１０８は、スピーカーなどの音声によって通知する手段であってもよい。作業データ１０７の内容が図示しない印刷物等により作業者２０に把握されていれば、通知部１０８は省略されてもよい。

ステップＳ２０４において、作業管理部１０３は、読み出した作業データをモード判断部１０４に伝達する。モード判断部１０４は、その作業データを用いて動作モードデータ１０６を参照することにより、作業データに対応する動作モードを特定する。動作モードデータ１０６の具体例は後述する。

ステップＳ２０５において、動作モード切替部１０５は、モード判断部１０４が特定した動作モードデータに応じて、撮像部１０１の動作モードを設定する。

ステップＳ２０６において、作業者２０は通知された内容の作業を作業対象３０に対して実施する。

ステップＳ２０７において、作業者２０は入力部１０２を用いて、作業を終了した旨を入力する。

ステップＳ２０８において、作業管理部１０３は作業データ１０７を参照し、次の作業があるかを判定する。次の作業がある場合には、ステップＳ２０９に進み、作業管理部１０３は作業データ１０７を参照し、次の作業のデータを読みだした後、ステップＳ２０４に戻り、全ての作業が終了するまで同様の動作を繰り返す。次の作業がない場合、全ての作業が終了したことになり、本フローチャートを終了する。

図２のフローチャートが実施されている間、撮像部１０１は周辺環境を撮影し、図示しない記憶部に画像データを保存してもよい。または図示しないネットワークを介して、撮像した画像データを他の機器に送信してもよい。

図３は、作業データ１０７の１例を示す。作業データ１０７は例えば、作業の手順を示す番号と、作業内容を記述した文字列とが対応付けられたリストデータである。作業管理部１０３は例えば、作業者２０がＳ２０７において作業完了を入力するごとに作業番号をインクリメントすることにより、作業者２０が現在実施している作業を識別する。作業管理部１０３は、作業データ１０７から現在の作業番号に対応する作業内容についての情報（作業内容を記述した文字列）を読み出す。

図４Ａは、動作モードデータ１０６の１例を示す。動作モードデータ１０６は例えば、作業内容と撮影時のフォーカスモードとが対応付けられたリストデータである。モード判断部１０４は、作業内容のデータに対応したフォーカスモードを読み出す。例えば１行目のレコードによれば、作業番号１（または作業内容：名称ラベル確認「制御装置」）を実施するときは、撮像部１０１の撮影条件をオートフォーカスモードにセットすることが分かる。

図４Ｂは、動作モードデータ１０６の変形例を示す。作業内容のテキストは必ずしも必要ではなく、図４Ｂに示すように作業手順番号とフォーカスモードとの対応を示すリストによって動作モードデータ１０６を構成してもよい。

このように、作業内容に応じて撮像部１０１の動作モードを切り替えることにより、作業者２０は作業環境に応じて動作モードを調整するために撮像部１０１に対して追加操作をする必要がなく、作業にかかる時間の短縮が可能となる。動作モードを切り替えることによる効果について以下例を説明する。

作業者２０の頭部に撮像部１０１を装着した場合、作業の内容に応じて、作業対象３０の方向を作業者２０が見る時間や距離が異なる。例えば、図３の名称ラベル確認の作業を行う場合は、ラベルの文字が読み取り可能な位置まで作業者２０は作業対象３０に近づくことが予想され、またラベル文字を認識して読み上げる時間の間は頭部を静止させると予想される。

ラベル文字の認識と読み上げにかかる時間は、文字の種別によって異なる。例えば、漢字で記載された「制御装置」「電源操作スイッチ」などは、文字数に対して読み上げ文字数が多く、作業者２０の頭部の静止時間が長い。「ジェネレータ」「Ａ０１」などの仮名やアルファベットや数字は、読み上げ文字数が少なく、頭部の静止時間が短い。

一方、ラベルを撮像部１０１で撮影する場合、漢字などの画数の多い文字はスペースあたりの線が多いので、撮影画像のコントラストが低いと文字の判別が困難になる。仮名やアルファベットや数字などの画数の多い文字は、スペースあたりの線が少なく、撮影条件が多少悪くても文字の認識が可能な程度に撮影が可能である。

撮像部１０１がフォーカスモードをオートフォーカスと固定ピントで切替可能な場合、オートフォーカスにより撮影対象にピントを合わせると撮影画像のコントラストを高めることができるが、ピント合わせにかかる１秒程度の時間以上は、カメラが静止する必要がある。

したがって、漢字などの読み取りに時間を要する文字種を撮像するときはオートフォーカス機能をＯＮにすれば、作業者２０が読み取り作業により頭部を静止する時間の間でカメラのオートフォーカスが動作を完了することができるので、頭部の静止を意図する必要がない。一方、仮名やアルファベットや数字の場合は、撮影に要求されるコントラストが低いので、固定焦点をピントで短い静止時間で撮像することにより、作業者２０の時間的負担を軽減する。

以上のように検討した結果、動作モードデータ１０６の具体例として、ラベル文字列に応じて図４ＡＢに示すように、オートフォーカスモードと固定フォーカスモードを切り替えることとした。ただし作業内容に応じて、その他の動作モードをセットすることもできる。その他動作モードの具体例は後述する。

図５は、作業者端末１０の変形例を示す。図５に示す作業者端末１０は、入力部１０２に代えて、マイク１０９と音声認識部１１０を備えている。その他構成は図１と同様であるので、説明を省略する。

マイク１０９は作業者２０の発話内容を収音し、音声認識部１１０はその収音した音声を文字として認識する。作業管理部１０３は音声認識部１１０が認識した文字列から作業内容を識別する。以後の動作は図１の構成と同様である。

音声認識部１１０は、例えば「作業ＯＫ」など特定のキーワードなどを認識する。音声認識部１１０がキーワードを認識した場合、作業管理部１０３は例えば作業手順を示す番号を１つずつ加算する。この場合、作業者２０はリストの順に作業を実施し、各作業を完了するごとにキーワードを発話して、音声認識部１１０が動作する。

この他に、作業名称に含まれるキーワード「ラベル確認」「Ａ０１」などの組み合わせの音声認識、または作業番号の音声認識によって、特定の作業内容を選択してもよい。この場合、作業者２０は作業を実施する直前に作業名称を読み上げ確認することにより、音声認識部１１０が動作する。

作業者端末１０の一部は、タブレットやスマートフォンなどの電子機器の機能によって実現されてもよい。この場合、通知部１０８は、ディスプレイまたはスピーカーによって実現される。入力部１０２はタッチパネルによって実現される。プロセッサ１４０、メモリ１５０は電子機器内のＳｏＣ（ＳｙｓｔｅｍｏｎＣｈｉｐ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）によって実現される。作業者端末１０の一部がタブレットやスマートフォンにより実現される場合、図１の矢印で示した接続のうち、タブレットやスマートフォンの部分とそれ以外の部分とを繋ぐものはＢｌｕｅｔｏｏｔｈやＷｉｆｉなどの無線通信でもよいし、ＵＳＢやＭＩＰＩなどの有線接続であってもよい。

＜実施の形態１：作業データと動作モードデータの変形例＞
モード判断部１０４は、以上説明した動作以外に、作業内容を識別する機能を持つ構成が考えられる。例えば、モード判断部１０４は作業管理部１０３から受信した作業内容の文字列から文字種別を特定する。モード判断部１０４は「制御装置」「ジェネレータ」などのラベルの文字種別が、漢字、仮名、数字、アルファベットのいずれかであるかを判定する。例えば、文字コードの文字種別を対応付ける対応表をあらかじめメモリ１５０内に保持しておき、その対応表を参照することにより、作業内容文字列の文字種別を特定できる。その他適当な手法を用いてもよい。

図６は、動作モードデータ１０６の変形例を示す。モード判断部１０４が文字種別を判別できる場合、動作モードデータ１０６は、図６のように文字種別と動作モードとが対応付けられたデータとして構成することができる。モード判断部１０４は、判定した文字種別を用いて動作モードデータ１０６を参照することより、動作モードを決定する。

モード判断部１０４が文字種別を識別できる場合、動作モードデータ１０６のデータ量を少なくすることができる。例えば一連の作業の中で同じ作業を複数回実施する場合がある。この場合、作業番号ごとに動作モードを定義するよりも、作業内容の文字種別ごとに動作モードを定義したほうが、動作モードデータ１０６のデータサイズを抑制できる。文字種別によって動作モードを決定することにより、その利点を得られる。

モード判断部１０４は、作業内容の文字列の文字種別以外にも、文字列の字数、画数、読み仮名の字数、などを識別するようにしてもよい。作業内容の文字列の字数、画数、読み仮名の字数は、作業データ１０７の作業内容欄の文字列から判定することができる。

図７Ａ～図７Ｃは、モード判断部１０４が作業内容の文字列の字数、画数、読み仮名の字数、を識別する場合における動作モードデータ１０６の例を示す。この場合であっても動作モードデータ１０６は、作業内容文字列の字数、画数、読み仮名の字数、と撮影モードとの間の対応関係を定義する。モード判断部１０４は、識別した字数、画数、読み仮名の字数、を用いて動作モードデータ１０６を参照することにより、動作モードを決定することができる。

図８Ａ～図８Ｃは、作業内容の文字列に加えて、文字列の字体（フォント）、印字サイズ、文字色、などを定義する場合における作業データ１０７の例である。モード判断部１０４は、作業内容の文字列の文字種別以外にも、文字列の字体、印字サイズ、文字色、などに応じて動作モードを決定することもできる。この場合、作業データ１０７は、作業内容の文字列とともに、その文字列の字体、印字サイズ、文字色、などを併せて定義する。

図９Ａ～図９Ｃは、モード判断部１０４が作業内容の文字列の字体、印字サイズ、文字色、にしたがって動作モードを決定する場合における動作モードデータ１０６の例を示す。この場合であっても動作モードデータ１０６は、作業内容文字列の字体、印字サイズ、文字色、と撮影モードとの間の対応関係を定義する。モード判断部１０４は、文字列の字体、印字サイズ、文字色、を用いて動作モードデータ１０６を参照することにより、動作モードを決定することができる。

図７Ａ～図９Ｃに示すように、作業内容を表す文字列の属性にしたがって動作モードを定義する場合、作業データ１０７を定義する者と動作モードデータ１０６を定義する者を分けることができる。例えば作業手順の管理者が作業データ１０７を定義する場合、管理者は撮像部１０１の動作モードについては詳しくないが、作業対象３０上の文字列の属性については詳しい場合がある。この場合は管理者が作業データ１０７のみを定義し、動作モードデータ１０６については撮像部１０１に関して詳しい者が定義すればよい。これにより、様々な作業環境における動作モードを、包括的に定義することができる。

撮像部１０１の動作モードは、ラベル等の視認作業かそれ以外のスイッチ操作等の動作を伴う作業か、などのような作業種別により決定してもよい。あるいは、作業ごとの作業者２０と作業対象３０との間の距離（作業者２０の位置）、作業者２０が目視する範囲の作業対象３０の明るさ、作業者２０の作業姿勢、などによって動作モードを決定してもよい。これらを組み合わせてもよい。これらの情報は、作業内容ごとに作業データ１０７内にあらかじめ定義しておくことができる。モード判断部１０４は、現在の作業内容に対応するこれらの情報を作業データ１０７から取得する。

動作モード切替部１０５が切り替える撮像部１０１の動作モードは、オートフォーカスと固定フォーカスのうちいずれを実施するかに限るものではない。例えば撮像部１０１のズーム機能、ピント位置、絞り、シャッタースピード、図示しないフラッシュ照明の入り切り、撮影した映像を保存する際の解像度、動画データを取得する際のフレームレート、動画データを圧縮保存する際のビットレート、などのパラメータなどであってもよい。また、撮像部１０１がカラー画像と赤外線画像を取得できる機能を有し、カラー画像か赤外線画像のどちらを撮影するかを切り替えてもよい。また、これらの切り替え機能を複数備えていてもよい。

図１０は、モード判断部１０４が作業種別にしたがって動作モードを決定する場合における、動作モードデータ１０６の例である。ここでは撮像部１０１の動作モードをピント位置とした。モード判断部１０４は、作業データ１０７が記述している作業種別を用いて動作モードデータ１０６を参照することにより、動作モード（ピント位置）を決定する。この場合、作業によって作業者２０が作業対象３０に近づく距離が変わっても、撮像部１０１が撮影する映像のピントを最適にできる。文字を読み取る際には作業者２０は文字の大きさに応じて作業対象３０に近づくが、スイッチ操作等の場合は手の長さ程度の操作しやすい距離で作業するので、最適なピント位置が異なる。作業内容に応じて、接近距離を予測したピント位置を設定することにより、最適なピントとすることができる。

モード判断部１０４が判断に用いる情報が、例えばラベルの字数や文字サイズなど数値で表すことが可能であり、かつ動作モード切替部１０５が切り替える動作モードが例えばズーム倍率やピント位置や絞りなど数値で表すことが可能な場合は、入力として数値を受け取り、動作モードの数値を出力とする関数によって、動作モードを決定してもよい。この場合、動作モードデータ１０６はリスト情報ではなく、その関数を定義するパラメータを保持する。

＜実施の形態２＞
図１１は、本発明の実施形態２に係る作業支援システム１００の構成図である。作業支援システム１００は、作業者２０の作業を支援するシステムである。実施形態１と異なる主な差異点は、作業者端末１０がモード判断部１０４と動作モードデータ１０６を備えておらず、これに代えて遠隔作業支援装置４０がモード判断部２０４と動作モードデータ２０６（遠隔作業支援装置４０のメモリ内に格納されている）を備えることである。以下では実施形態１と同じ機能部については同じ符号を付与し、主に実施形態１とは異なる点を説明する。

遠隔作業支援装置４０は、作業者２０の作業を支援または管理する装置である。作業者端末１０は、通信部２０９とネットワーク５０を介して、遠隔作業支援装置４０と通信する。遠隔作業支援装置４０は、通信部２１４とネットワーク５０を介して作業者端末１０と通信する。遠隔作業支援装置４０のメモリは、例えばフラッシュメモリやハードディスク装置によって構成できる。

ネットワーク５０は例えばＷｉ－ｆｉ、Ｂｌｕｅｔｏｏｔｈ、移動体通信などの電磁波を用いた無線通信や、Ｅｔｈｅｒｎｅｔなどのケーブルを用いた有線通信によって接続される構成で実現できる。ネットワーク５０には図示しないルーターや交換機や中継器などが含まれていてもよいし、通信部２０９と通信部２１４が直接通信する形態でもよい。

図１２は、本実施形態２における作業者端末１０の動作を説明するフローチャートである。以下図１２の各ステップを説明する。

ステップＳ８０２において、作業者２０は入力部１０２を用いて、作業を開始する旨を入力する。

ステップＳ８０３において、作業管理部１０３は作業データ１０７を参照し、最初の作業の情報（作業内容を記述した文字列）を読み出す。

ステップＳ８０４において、作業管理部１０３は、通信部２０９とネットワーク５０経由で、作業内容を遠隔作業支援装置４０に送信する。遠隔作業支援装置４０は、通信部２１４を介して作業内容を受信する。モード判断部２０４は、動作モードデータ２０６を参照することにより、作業内容に対応する動作モードを読み出す。動作モードデータ２０６は、実施形態１における動作モードデータ１０６と同様のデータである。モード判断部２０４は、動作モードデータ２０６から読み出した動作モードを、通信部２１４経由で作業者端末１０に送信する。

ステップＳ８０５において、作業者端末１０は、遠隔作業支援装置４０から送信された動作モードデータを受信する。

ステップＳ８０６において、動作モード切替部１０５は、遠隔作業支援装置４０から送信された動作モードデータに応じ、撮像部１０１の動作モードを設定する。フローチャートには記載を省略するが、作業管理部１０３は読みだした作業内容の情報を通知部１０８により作業者に通知してもよい。通知手段は実施形態１と同様である。

ステップＳ８０７において、作業者２０は通知された内容の作業を作業対象３０に対して実施する。

ステップＳ８０８において、作業者２０は入力部１０２を用いて、作業を終了した旨を入力する。

ステップＳ８０９において、作業管理部１０３は作業データ１０７を参照し、次の作業があるかを判定する。次の作業がある場合には、ステップＳ８１０に進み、作業管理部１０３は作業データ１０７を参照し、次の作業のデータを読みだす。ステップＳ８０４に戻り、全ての作業が終了するまで動作を繰り返す。次の作業がない場合、全ての作業が終了したことになり、本フローチャートを終了する。

図１３は、作業支援システム１００の変形例を示す。この変形例では、作業データ２０７は遠隔作業支援装置４０の側に保持される。

図１４は、図１３の作業支援システム１００の動作を説明するフローチャートである。以下図１４の各ステップを説明する。Ｓ８０１、Ｓ８０２、Ｓ８０６、Ｓ８０７、Ｓ８０８、Ｓ８０９、Ｓ８１０は図１２と同じであるので、説明を省略する。

ステップＳ８１３において、作業支援システム１００内の設定を初期化する。例えば作業管理部１０３が保持する作業管理情報を初期値に設定する。

ステップＳ８１４において、作業管理部１０３が保持する作業管理情報（例えば作業者２０がこれから実施する作業番号）を通信部２０９によりネットワーク５０を介して、作業者端末１０から遠隔作業支援装置４０に送信する。遠隔作業支援装置４０は、通信部２１４を介して作業管理情報を受信し、モード判断部２０４は、作業データ２０７から作業内容を読み出し、さらに動作モードデータ２０６は、作業内容に対応する動作モードを読み出す。モード判断部２０４は、作業内容および動作モードデータを、通信部２１４により作業者端末１０に送信する。このとき、作業データ２０７内の全作業が終了している場合は、作業内容として全作業が終了した旨のデータを送信する。

ステップＳ８１５において、作業者端末１０は、遠隔作業支援装置４０から送信された作業内容データおよび動作モードデータを受信する。

ステップＳ８１９において、遠隔作業支援装置４０から送信された作業モードデータを参照し、全作業終了したかを判定する。全作業終了でない場合には、ステップＳ８０６に進む。全作業終了である場合、全ての作業が終了したことになり、本フローチャートを終了する。

ステップＳ８２０において、作業管理部１０３は作業の状態を１つ進め、ステップＳ８１４に戻る。全ての作業が終了するまで動作を繰り返す。

このように、作業データ２０７と動作モードデータ２０６を遠隔作業支援装置４０に集約することにより、作業支援システム１００はデータ保持領域を削減することができる。また、作業者２０および作業者端末１０が複数存在する場合も、作業データ２０７および動作モードデータ２０６を遠隔作業支援装置４０で管理することができ、データの更新や変更を一括して実施できる。

＜実施の形態３＞
図１５は、本発明の実施形態３に係る作業支援システム１００の構成図である。本実施形態３に係る作業支援システム１００は、実施形態２で説明した構成に加えて、１つの作業を実施するごとに、遠隔作業支援装置４０のユーザ（支援者６０）と作業者２０が相互通信しながら作業を進めることを想定したシステムである。したがって遠隔作業支援装置４０は、支援者６０が遠隔作業支援装置４０を操作するためのインターフェースを備える。以下では主に支援者６０が関与する部分について説明する。

作業者端末１０は、撮像部１０１、入力部１０２、作業管理部１０３、動作モード切替部１０５、通知部１０８、通信部２０９、録音部３１０、再生部３１１、マイク３１２、スピーカー３１３を備えている。撮像部１０１、入力部１０２、作業管理部１０３、動作モード切替部１０５、作業データ１０７、通知部１０８は、実施形態１の作業者端末１０と同様であり、説明を省略する。

遠隔作業支援装置４０は、モード判断部２０４、動作モードデータ２０６、作業データ２０７、通信部２１４、表示部３１５、作業指示部３１６、再生部３１７、入力部３１８、スピーカー３１９、録音部３２１、マイク３２２を備えている。通信部２０９、モード判断部２０４、動作モードデータ２０６、作業データ２０７、通信部２１４は実施形態２と同様であり、説明を省略する。

作業者端末１０の動作は、実施形態２で説明した図１４と同様である。図１４のフローチャートを実施している間、撮像部１０１は通信部２０９を介して、撮像した画像データを遠隔作業支援装置４０に送信する。遠隔作業支援装置４０は、その画像データを表示部３１５上で作業情報とともに表示する。支援者６０は表示部３１５に表示された画像により、作業者２０の視点映像を参照することができる。作業者端末１０と遠隔作業支援装置４０は図示しない記憶部を有してもよく、撮像部１０１が撮影した画像データをその記憶部に保存してもよい。画像データは動画像でも静止画像でもよい。撮影期間を例えばＳ８０７の間のみに限定して、消費電力や通信量を低減することもできる。

図１６は、遠隔作業支援装置４０の動作を説明するフローチャートである。以下図１６の各ステップを説明する。

ステップＳ１３０２において、通信部２１４は、作業者端末１０が送信した作業情報を受信する。例えば作業者２０が完了した作業番号情報を受信する。

ステップＳ１３０３において、受信した作業情報を表示部３１５に表示し、支援者６０に通知する。表示部３１５に表示する情報は、作業者端末１０が送信した情報に関連する、遠隔作業支援装置４０内に保持される作業データ２０７の一部であってもよい。例えば、作業番号情報に対応した作業内容の情報が表示される。作業データ２０７は、実施形態１における作業データ１０７と同様のデータである。

ステップＳ１３０４において、支援者６０は表示部３１５に表示された情報を確認し、入力部３１８を用いて指示情報を入力する。例えば、表示された情報に対して次の作業を行うように指示する。作業指示部３１６は指示内容を作業者端末１０に送信する。作業データ２０７を参照し、リストの全作業が終了している場合は、作業データとして全作業が終了した旨のデータを送信する。

ステップＳ１３０５において、モード判断部２０４は、作業指示部３１６が送信した指示内容に関連して、動作モードデータ２０６内から動作モードデータを選択する。動作モードデータ２０６は、実施形態１における動作モードデータ１０６と同様である。

ステップＳ１３０６において、モード判断部２０４は選択した動作モードデータを、ネットワーク５０を介して作業者端末１０に送信する。

本実施形態３においては、作業者２０と支援者６０が情報を共有して作業を進めることができる。撮像部１０１の動作モードを作業指示内容に応じて設定することにより、作業者２０も支援者６０も撮影の設定にかかる時間を短縮できる。

作業者端末１０は、マイク３１２により収音した作業者２０の会話や周囲の音を、録音部３１０により音声データ化して、通信部２０９により遠隔作業支援装置４０に送信する。遠隔作業支援装置４０は送信された音声データを通信部２１４により受信し、再生部３１７により再生して、スピーカー３１９により支援者６０に伝達する。同様に、遠隔作業支援装置４０は、マイク３２２により収音した支援者６０の会話を、録音部３２１により音声データ化して、通信部２１４により作業支援システム端末１１に送信する。作業支援システム端末１１は送信された音声データを通信部２０９により受信し、再生部３１１により再生して、スピーカー３１３により作業者２０に伝達する。これらにより、作業者２０と支援者６０は、音声による相互コミュニケーションをとりながら作業を進めることができる。

図１７は、本実施形態３に係る作業支援システム１００の変形例を示す。図１７に示す作業支援システム１００は、遠隔作業支援装置４０の入力部３１８に代えて、マイク３２２を用いる。遠隔作業支援装置４０はさらに、録音部３２１と音声認識部３２０を備え、マイク３２２に対する発話を音声認識によって文字列化する。詳細は後述する。

遠隔作業支援装置４０は、図１６に示すフローチャートに従って動作する。ただし一部のステップは図１６とは異なるので、以下その差異点を説明する。

本変形例においても、作業者端末１０から作業情報が送信されると、遠隔作業支援装置４０は図１６のフローチャートにしたがって動作する。

ステップＳ１３０２において、通信部２１４は作業情報を受信する。例えば作業者２０が完了した作業番号情報が送信される。

ステップＳ１３０３において、受信した作業情報に基づく情報を表示部３１５に表示または再生部３１７を介してスピーカー３１９により発音し、支援者６０に通知する。表示部３１５に表示するまたはスピーカー３１９で発音する情報は、作業者端末１０が送信した情報に関連する、遠隔作業支援装置４０内に保持される作業データ２０７の一部であってもよい。例えば、作業番号情報に対応した作業内容の情報である。

ステップＳ１３０４において、支援者６０は表示部３１５に表示された情報またはスピーカー３１９により再生された内容を確認し、マイク３２２を用いて指示情報を発話する。例えば、提示された情報に対して次の作業内容を発話する。録音部３２１は、マイク３２２により収音された音声をデータ化する。音声認識部３２０は、データ化された音声情報の音声認識を実施し、文字として認識する。音声認識部３２０の動作は、図５における音声認識部１１０と同様である。

作業管理部３０３は、音声認識部３２０に認識された文字情報から作業データを選択する。作業管理部３０３は例えば作業手順を示す番号を１つずつ加算する。この場合、支援者６０は、作業者２０が各作業を完了したことを表示部３１５またはスピーカー３１９から得た情報により認識し、次の作業を指示するキーワードを発話して音声認識部３２０が動作する。音声認識部３２０は、例えば「作業ＯＫ」など特定のキーワードが発話されたことを認識する。作業管理部３０３は、作業者端末１０から送信された作業情報と、作業データ２０７を参照して、次の作業データを選択する。

以上により、作業管理部３０３は作業データ２０７を参照し、作業データを選択する。作業管理部３０３は選択した作業データを作業者端末１０に送信する。作業データ２０７を参照し、リストの全作業が終了している場合は、作業データとして全作業が終了した旨のデータを送信する。

音声認識部３２０は、この他に作業名称に含まれるキーワード「ラベル確認」「Ａ０１」などの組み合わせの音声認識、または作業番号の音声認識によって、特定の作業内容を選択してもよい。

ステップＳ１３０５において、モード判断部２０４は、作業管理部３０３が選択した作業データをもとに、動作モードデータ２０６内から動作モードデータを選択する。動作モードデータ２０６は、実施形態１における動作モードデータ１０６と同様のデータで構成できる。

ステップＳ１３０６において、モード判断部２０４は選択した動作モードデータを作業者端末１０に送信する。

図１７の作業支援システム１００においては、支援者６０が発話した内容を音声認識部３２０が認識することによって作業データを選択する。このため、支援者６０は作業データを指定するための特別な入力を必要とせず、作業者２０に対して口頭で指示することができる。

１０・・・作業者端末
２０・・・作業者
３０・・・作業対象
１０１・・・撮像部
１０２・・・入力部
１０３・・・作業管理部
１０４・・・モード判断部
１０５・・・動作モード切替部
１０６・・・動作モードデータ
１０７・・・作業データ
１０８・・・通知部
１４０・・・プロセッサ
１５０・・・メモリ
１０９・・・マイク
１１０・・・音声認識部
４０・・・遠隔作業支援装置
５０・・・ネットワーク
２０４・・・モード判断部
２０６・・・動作モードデータ
２０９・・・通信部
２１４・・・通信部
６０・・・支援者
３０３・・・作業管理部
３１０・・・録音部
３１１・・・再生部
３１２・・・マイク
３１３・・・スピーカー
３１５・・・表示部
３１６・・・作業指示部
３１７・・・再生部
３１８・・・入力部
３１９・・・スピーカー
３２０・・・音声認識部
３２１・・・録音部
３２２・・・マイク

Claims

作業者が装着することによって前記作業者の作業を支援する作業者端末であって、
前記作業者の周辺を撮像する撮像部、
前記作業者がいずれの作業を実施しているかを識別する作業管理部、
前記撮像部の動作モードを切り替える動作モード切替部、
前記動作モードを指定するモード判断部、
を備え、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記動作モードを指定し、
前記動作モード切替部は、前記撮像部を、前記モード判断部が指定した前記動作モードへ切り替え、
前記作業者端末はさらに、前記作業者が実施する作業と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述した動作モードデータを格納する記憶部を備え、
前記作業者端末はさらに、前記作業者が実施する作業内容を文字列によって記述した作業データを格納する記憶部を備え、
前記動作モードデータは、前記作業データが記述している文字列の、種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述しており、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記文字列の、文字種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上を、前記文字列にしたがって特定し、
前記モード判断部は、前記特定した文字種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上を用いて前記動作モードデータを参照することにより、前記撮像部が実施すべき前記動作モードを特定する
ことを特徴とする作業者端末。
作業者が装着することによって前記作業者の作業を支援する作業者端末であって、
前記作業者の周辺を撮像する撮像部、
前記作業者がいずれの作業を実施しているかを識別する作業管理部、
前記撮像部の動作モードを切り替える動作モード切替部、
前記動作モードを指定するモード判断部、
を備え、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記動作モードを指定し、
前記動作モード切替部は、前記撮像部を、前記モード判断部が指定した前記動作モードへ切り替え、
前記作業者端末はさらに、前記作業者が実施する作業と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述した動作モードデータを格納する記憶部を備え、
前記作業者端末はさらに、前記作業者が実施する作業内容を文字列によって記述した作業データを格納する記憶部を備え、
前記作業データは、前記文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上を定義しており、
前記動作モードデータは、前記作業データが記述している文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述しており、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上を、前記作業データにしたがって特定し、前記モード判断部は、前記特定した字体、印字サイズ、文字色、のうちいずれか１つ以上を用いて前記動作モードデータを参照することにより、前記撮像部が実施すべき前記動作モードを特定する
ことを特徴とする作業者端末。
前記作業者端末はさらに、前記作業者が実施する作業を前記作業者によって指定する指定入力を受け取る入力インターフェースを備え、
前記作業管理部は、前記指定入力が指定する作業を、前記作業者が実施する作業として識別する
ことを特徴とする請求項１または２記載の作業者端末。
前記モード判断部は、前記作業管理部が識別した作業に対応する前記動作モードを、前記動作モードデータにしたがって特定し、
前記動作モード切替部は、前記モード判断部が特定した前記動作モードを実施するように前記撮像部をセットする
ことを特徴とする請求項３記載の作業者端末。
前記撮像部は、前記動作モードとして、
オートフォーカスを実施するか否か、ズーム機能、ピント位置、絞り、シャッタースピード、フラッシュ照明の入り切り、画像解像度、動画フレームレート、画像データ圧縮率、カラー画像と赤外線画像の切り替え、
のうちいずれか１つ以上を切り替えることができるように構成されており、
前記モード判断部は、前記動作モードデータにしたがって、
オートフォーカスを実施するか否か、ズーム機能、ピント位置、絞り、シャッタースピード、フラッシュ照明の入り切り、画像解像度、動画フレームレート、画像データ圧縮率、カラー画像と赤外線画像の切り替え、
のうちいずれか１つ以上を切り替えるように、前記撮像部をセットする
ことを特徴とする請求項４記載の作業者端末。
前記作業データは、前記作業者が実施する作業の、作業種別、作業対象の明るさ、作業対象の位置、前記作業者の作業姿勢、のうちいずれか１つ以上を記述しており、
前記動作モードデータは、前記作業者が実施する作業の、作業種別、作業対象の明るさ、作業対象の位置、前記作業者の作業姿勢、のうちいずれか１つ以上と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述しており、
前記モード判断部は、前記作業管理部が識別した作業に対応する作業の、作業種別、作業対象の明るさ、作業対象の位置、前記作業者の作業姿勢、のうちいずれか１つ以上を、前記作業データにしたがって特定し、
前記モード判断部は、前記特定した作業種別、作業対象の明るさ、作業対象の位置、前記作業者の作業姿勢、のうちいずれか１つ以上を用いて前記動作モードデータを参照することにより、前記撮像部が実施すべき前記動作モードを特定する
ことを特徴とする請求項１または２記載の作業者端末。
前記作業者端末はさらに、前記作業者の作業を遠隔から支援する遠隔作業支援装置と通信する通信部を備え、
前記作業管理部は、前記作業者が１つの前記作業を完了するごとにその旨を識別し、
前記通信部は、前記作業者が１つの前記作業を完了したことを前記作業管理部が識別すると、その旨を示す作業完了データを前記遠隔作業支援装置に対して送信し、
前記通信部は、前記作業完了データを前記遠隔作業支援装置に対して送信した後、次の作業を開始するように指示する作業開始指示を、前記遠隔作業支援装置から受信する
ことを特徴とする請求項１または２記載の作業者端末。
作業者の作業を支援する作業支援システムであって、
前記作業者が装着する作業者端末、
前記作業者に対して遠隔地から作業内容を指示する支援端末、
を備え、
前記作業者端末は、前記作業者の周辺を撮像する撮像部、前記撮像部の動作モードを切り替える動作モード切替部、を備え、
前記作業支援システムはさらに、前記動作モードを指定するモード判断部を備え、
前記作業支援システムはさらに、前記作業者がいずれの作業を実施しているかを識別する作業管理部を備え、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記動作モードを指定し、
前記動作モード切替部は、前記撮像部を、前記モード判断部が指定した前記動作モードへ切り替え、
前記作業者端末はさらに、前記作業者が実施する作業と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述した動作モードデータを格納する記憶部を備え、
前記作業者端末はさらに、前記作業者が実施する作業内容を文字列によって記述した作業データを格納する記憶部を備え、
前記動作モードデータは、前記作業データが記述している文字列の、種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述しており、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記文字列の、文字種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上を、前記文字列にしたがって特定し、
前記モード判断部は、前記特定した文字種別、文字数、画数、読み仮名の文字数、のうちいずれか１つ以上を用いて前記動作モードデータを参照することにより、前記撮像部が実施すべき前記動作モードを特定する
ことを特徴とする作業支援システム。
作業者の作業を支援する作業支援システムであって、
前記作業者が装着する作業者端末、
前記作業者に対して遠隔地から作業内容を指示する支援端末、
を備え、
前記作業者端末は、前記作業者の周辺を撮像する撮像部、前記撮像部の動作モードを切り替える動作モード切替部、を備え、
前記作業支援システムはさらに、前記動作モードを指定するモード判断部を備え、
前記作業支援システムはさらに、前記作業者がいずれの作業を実施しているかを識別する作業管理部を備え、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記動作モードを指定し、
前記動作モード切替部は、前記撮像部を、前記モード判断部が指定した前記動作モードへ切り替え、
前記作業者端末はさらに、前記作業者が実施する作業と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述した動作モードデータを格納する記憶部を備え、
前記作業者端末はさらに、前記作業者が実施する作業内容を文字列によって記述した作業データを格納する記憶部を備え、
前記作業データは、前記文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上を定義しており、
前記動作モードデータは、前記作業データが記述している文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上と、前記撮像部が実施すべき前記動作モードとの間の対応関係を記述しており、
前記モード判断部は、前記作業管理部が識別した作業に対応する前記文字列の、字体、印字サイズ、文字色、のうちいずれか１つ以上を、前記作業データにしたがって特定し、前記モード判断部は、前記特定した字体、印字サイズ、文字色、のうちいずれか１つ以上を用いて前記動作モードデータを参照することにより、前記撮像部が実施すべき前記動作モードを特定する
ことを特徴とする作業支援システム。
前記支援端末は、前記作業者が１つの前記作業を完了したことを示す作業完了データを、前記作業者端末から受信し、
前記支援端末は、前記作業完了データを前記作業者端末から受信した後、次の作業を開始するように指示する作業開始指示を、前記作業者端末に対して送信する
ことを特徴とする請求項８または９記載の作業支援システム。
前記モード判断部は、前記支援端末上に配置されており、
前記作業管理部は、前記作業者端末上に配置されている
ことを特徴とする請求項８または９記載の作業支援システム。