JP2014197802A - 作業支援システムおよびプログラム - Google Patents

Abstract

【課題】現在時刻以前に撮影された撮影画像の撮影時刻において生成された高解像画像を得ることができる作業支援システムおよびプログラム提供する。
【解決手段】ＨＭＤ１は撮影画像データから低解像画像データを生成し、撮影時刻のタイムスタンプＸを付加して送信バッファ５２Ｂに保存する（Ｐ１）。ＨＭＤ１は、間引き時間ごとに撮影画像データから高解像画像データを生成し、タイムスタンプＸを付加して格納バッファ５２Ｃに保存する（Ｐ２）。ＨＭＤ１は低解像画像データをＰＣ８０に順次送信し、ＰＣ８０は低解像画像を順次表示する（Ｐ３）。ＰＣ８０は指示者がキャプチャ操作を行ったときの低解像画像に付加されたタイムスタンプＹをキャプチャ要求信号とともに送信する（Ｐ４）。ＨＭＤ１はタイムスタンプＹに近いタイムスタンプＸを付加した高解像画像データを取得し（Ｐ５）、ＰＣ８０に送信する（Ｐ６）。
【選択図】図６

Description

本発明は、作業端末が撮影した撮影画像をネットワークを介して指示端末に送信することができる作業支援システムおよびプログラムに関する。

カメラで画像を撮影し、撮影画像をネットワークを介して端末装置に送信し、端末装置の表示手段に表示することができるシステムが知られている（例えば特許文献１参照）。ネットワーク上でのデータ転送等には時間が必要なため、特許文献１のカメラは、解像度が比較的低い、所定の解像度で撮影した撮影画像を端末装置に送信する。端末装置のユーザが撮影画像のズーム操作を行った場合、カメラは、撮影画像の解像度よりも高い解像度の高解像画像を撮影し、端末装置に送信する。端末装置は、ズーム操作に応じて撮影画像を拡大表示しながら、高解像画像を受信したら、高解像画像の拡大表示に切り換えることができる。

特開２００７−１８９５０３号公報

しかしながら特許文献１では、ユーザが撮影画像の操作を行った場合に、高解像画像の撮影が行われるので、撮影画像と高解像画像の撮影時刻は異なる。また、ネットワーク上でデータ転送等に遅延が生ずるため、カメラが画像を撮影してからユーザが撮影画像を閲覧するまでに、すでに遅延が生じている。さらに、ユーザが撮影画像を操作するのに伴い高解像画像の要求信号がカメラに到達するまでにかかる遅延と、高解像画像がネットワークを介して送られてくるまでにかかる遅延も生ずるため、もとの撮影画像の撮影時刻と高解像画像の撮影時刻に大きなズレを生ずる可能性がある。ユーザが操作を行ったときに表示手段に表示されていた撮影画像とは撮影時刻の異なる高解像画像が表示されるので、ユーザは、画像に対して違和感を覚える場合があった。

本発明は、上記の問題点を解決するためになされたものであり、現在時刻以前に撮影された撮影画像の撮影時刻において生成された高解像画像を得ることができる作業支援システムおよびプログラム提供することを目的とする。

本発明の第１態様によれば、作業者が利用し、作業に対する指示を受信して前記作業者に提示可能な作業端末と、指示者が利用し、前記作業者に対する作業の指示を前記作業端末に送信可能な指示端末とがネットワークを介して接続された作業支援システムであって、前記作業端末は、前記作業者の周囲の景色を撮影可能な撮影装置と、前記撮影装置が撮影した撮影画像のデータである撮影画像データと、前記撮影画像データの解像度を低くした低解像画像データとを少なくとも含む各種データを記憶する記憶装置と、前記記憶装置に、前記撮影画像データを第一所定時間、または所定数記憶する制御を行う記憶制御手段と、前記撮影装置が前記撮影画像を撮影した時刻を示す時刻情報を取得する第一取得手段と、前記第一取得手段が取得した前記時刻情報を前記撮影画像データおよび前記低解像画像データに対応付ける対応付け手段と、前記時刻情報が対応付けられた前記低解像画像データを前記指示端末に送信する第一送信手段と、前記撮影画像データを要求する情報であり前記時刻情報を含む要求情報を前記指示端末から受信した場合に、前記要求情報に含まれる前記時刻情報に基づく時刻である要求時刻と同じ時刻もしくは最も近い時刻を示す前記時刻情報が対応付けられた前記撮影画像データを前記記憶装置から取得する第二取得手段と、前記第二取得手段が取得した前記撮影画像データを前記指示端末に送信する第二送信手段と、を備え、前記指示端末は、複数の前記低解像画像データを前記作業端末から受信する第一受信手段と、前記第一受信手段が受信した前記低解像画像データのうち前記指示者が所望する前記低解像画像データに対応付けられた前記時刻情報を取得する第三取得手段と、前記指示者が所望する前記低解像画像データに対応する前記撮影画像データを要求する情報であり前記第三取得手段が取得した前記時刻情報を含む前記要求情報を、前記作業端末に送信する第三送信手段と、前記要求情報に基づいて前記作業端末が送信する前記撮影画像データを受信する第二受信手段と、を備えた作業支援システムが提供される。

作業端末は、指示端末において指示者が閲覧する低解像画像の時刻情報と同じ、もしくは近い時刻情報が対応付けられた撮影画像データを、キャプチャ画像として取得することができる。ゆえに指示者は所望する撮影画像データを得ることができ、もとの低解像画像とキャプチャした撮影画像との間に違和感を覚えにくい。また、低解像画像データや撮影画像データがネットワーク経由で送受信されることで生じる遅延が、ネットワークの状態によって変化しても、作業端末は、指示者が閲覧中の低解像画像に対応する撮影画像データを時刻情報に基づいて遡って記憶装置から取得して指示端末に送信するため、遅延の影響を受けない。ゆえに指示者は所望するデータ撮影画像を得ることができ、もとの低解像画像とキャプチャした撮影画像との間に違和感を覚えにくい。

ＨＭＤ１の外観を示す斜視図である。 ＨＭＤ１およびＰＣ８０の電気的構成を示すブロック図である。 ＰＣ８０のディスプレイ９２に表示する指示画面１００を示す図である。 ＨＭＤ１にインストールするＨＭＤ用作業支援プログラムのフローチャートである。 ＰＣ８０にインストールするＰＣ用作業支援プログラムのフローチャートである。 ＨＭＤ１とＰＣ８０とが行う処理の流れについて説明するためのシーケンス図である。 Ｔ３決定テーブル１５０を示す図である。

以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。

図１に示すように、本発明に係る画像表示装置（以下、「ヘッドマウントディスプレイ」または「ＨＭＤ」という。）１は、投影装置（以下、「ヘッドディスプレイ」または「ＨＤ」という。）１０と制御装置（以下、「コントロールボックス」または「ＣＢ」という。）５０を備える。作業者は、ＨＤ１０を頭部に装着し、ＣＢ５０を腰ベルトや腕等に装着してＨＭＤ１を使用する。ＨＭＤ１は、指示者が利用し、作業者に対する指示の情報をＨＭＤ１に送信するパーソナルコンピュータ（以下、「ＰＣ」という。図２参照）８０と、無線通信または有線通信を介して接続し、指示者が作業者を遠隔支援可能な作業支援システムを構成する。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方がそれぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。

ＨＤ１０は専用の装着具である眼鏡５に装着して使用する。ＨＤ１０は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けてもよい。ＨＤ１０は、作業者の眼に画像光を照射する。ＨＤ１０はハーネス７を介してＣＢ５０と着脱可能に接続する。ＣＢ５０は、ＨＤ１０を制御する。

ＨＤ１０の構成について説明する。ＨＤ１０は筐体２を備える。筐体２は、作業者側から見て右端側（図１における左側）にハーフミラー３を備える。ハーフミラー３は、作業者がＨＤ１０を頭部に装着したとき、作業者の眼（例えば左眼）の前方に配置される。ＨＤ１０は、筐体２の内部に、液晶ディスプレイ（以下、「ＬＣＤ」という。）１１（図２参照）と接眼光学系（図示略）を備える。ＬＣＤ１１は、ＣＢ５０からハーネス７を介して送信される画像信号に基づいて画像を表示する。ＬＣＤ１１は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部や、有機ＥＬ（Organic Electro-Luminescence）ディスプレイ等であってもよい。

接眼光学系は、ＬＣＤ１１に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー３によって少なくとも一部（例えば半分）が反射され、作業者の一方（例えば左）の眼球（図示略）に入射する。ハーフミラー３は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像（外界の風景）に重畳して画像を見ることができる。

眼鏡５は、ＨＤ１０を作業者の頭部に保持するための構成である。眼鏡５は、フレーム６において、左眼用レンズを支えるリム部の上面右端（作業者から見て上面左端）に、支持部４を備える。支持部４は、ＨＤ１０の筐体２を保持し、眼鏡５に取り付ける。支持部４は、筐体２の保持位置を上下方向および左右方向に調整することができる。作業者は、眼球の位置に合わせた位置にハーフミラー３を配置することができる。

眼鏡５は、フレーム６において、右耳に掛けるテンプル部に、カメラ１５、マイクロフォン（以下、「マイク」という。）１６およびイヤホン１７を備える。カメラ１５は、作業者の視野前方の外界の風景を撮影する。カメラ１５の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ１５の撮影方向および画角は、カメラ１５による外界の風景の撮影範囲が、ハーフミラー３を透過する実像に重ねることのできるＬＣＤ１１（図２参照）からの画像光の表示範囲とほぼ一致するように設定されている。カメラ１５は、肩や胸に装着したり、取り外して撮影できる構成にしてもよい。マイク１６は、作業者が発声する音声を収音する。イヤホン１７は、ＰＣ８０（図２参照）から受信する指示者の音声等を出力する。カメラ１５が撮影した撮影画像はＰＣ８０に送信され、指示者はマイク１６およびイヤホン１７を用いて作業者と会話し、撮影画像を参照しながら作業を指示する。なお、眼鏡５自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。

ＣＢ５０の構成について説明する。ＣＢ５０は箱型の筐体を有する。ＣＢ５０は電源ランプ６４を内蔵する電源スイッチ６３を含む操作部６２を備える。作業者は、電源スイッチ６３を操作し、ＨＭＤ１の電源をオンまたはオフにすることができる。作業者は、ＨＤ１０における各種設定や、使用時における各種操作等を、操作部６２を介して行うことが可能である。

ＣＢ５０は、公知の無線通信もしくは有線通信を行い、ネットワーク９を介してＰＣ８０（図２参照）と接続し、ＰＣ８０との間で音データや撮影画像データを含む各種データの送受信を行う。ＣＢ５０は、ＵＳＢインターフェイスを備え、ＵＳＢケーブルを用い、ＰＣ８０に接続してもよい。なお、後述するＰＣ８０は、パーソナルコンピュータであるが、スマートフォンやタブレット型携帯端末など、その他の機器であってもよい。

図２を参照し、ＨＭＤ１の電気的構成について説明する。ＨＤ１０は、ＬＣＤ１１、ＬＣＤドライバ１２、画像信号受信部１３、接続コントローラ１４を備える。接続コントローラ１４は、ハーネス７を介してＣＢ５０の接続コントローラ５５に接続し、ＨＤ１０とＣＢ５０との間での有線通信を行う。画像信号受信部１３は接続コントローラ１４に接続し、ＣＢ５０の画像信号送信部６０から送信される画像信号を受信する。ＬＣＤドライバ１２は、画像信号受信部１３が受信した画像信号に基づいてＬＣＤ１１に画像を表示させる。

また、接続コントローラ１４は、カメラ１５、マイク１６およびイヤホン１７に接続する。マイク１６はＡ／Ｄコンバータ（図示略）を内蔵し、入力される音をデジタル変換し、ハーネス７を介してＣＢ５０に送信する。イヤホン１７はＤ／Ａコンバータ（図示略）を内蔵し、ハーネス７を介してＣＢ５０から受信する音データをアナログ変換して出力する。カメラ１５はＣＭＯＳ型の受光セルが出力するＹＵＶ信号を符号化するエンコーダ（図示略）を内蔵し、ハーネス７を介してＣＢ５０に送信する。本実施形態のカメラ１５は、所定のフレームレートＣ［ｆｐｓ］（例えば１０ｆｐｓ）で撮影し、撮影画像のデータである撮影画像データを１フレームずつＣＢ５０に対して出力する。

ＣＢ５０の電気的構成について説明する。ＣＢ５０は、ＳｏＣ（System on a chip）６７、操作部６２、無線通信部６５および有線通信部６６を備える。ＳｏＣ６７は、ＨＭＤ１の制御に必要な各種機能を集積した集積回路である。ＳｏＣ６７は、ＣＰＵ５１、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、接続コントローラ５５、解像度処理部５６、画像圧縮部５７、画像処理部５８、ビデオＲＡＭ５９、画像信号送信部６０およびインターフェイス６１を備える。ＣＰＵ５１は、ＨＭＤ１全体の制御を司る。ＣＰＵ５１は、システムバスを介し、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、接続コントローラ５５、解像度処理部５６、画像圧縮部５７、画像処理部５８、ビデオＲＡＭ５９、画像信号送信部６０、インターフェイス６１と接続する。

ＲＡＭ５２は、各種フラグ、各種データ等を一時的に記憶する。後述するＨＭＤ用作業支援プログラムの実行において、ＣＰＵ５１は、ＲＡＭ５２に、フレームバッファ５２Ａ、送信バッファ５２Ｂ、格納バッファ５２Ｃの記憶領域を確保する。フレームバッファ５２Ａは、いわゆるＶＲＡＭとして使用される記憶領域であり、カメラ１５が撮影した撮影画像データをＨＤ１０から受信して、１〜数フレーム分の撮影画像データを保存する。送信バッファ５２Ｂは、ＰＣ８０に送信する低解像画像データ（後述）を公知のＦＩＦＯ（First-In-First-Out）処理に基づいて保存する記憶領域である。格納バッファ５２Ｃは、要求に応じてＰＣ８０に送信する高解像画像データ（後述）をＦＩＦＯ処理に基づいて保存する記憶領域である。

プログラムＲＯＭ５３は、後述するＨＭＤ用作業支援プログラムを含み、ＣＰＵ５１が実行する各種プログラム、各種プログラムが使用するフラグやデータの初期値等を記憶する。ＨＭＤ用作業支援プログラムを含む各種プログラムは、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶される。なおＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムも実行可能である。フラッシュＲＯＭ５４は、ＣＢ５０の出荷後にインストールされた各種プログラム、各種プログラムが使用するフラグやデータの設定値等を記憶する。ＨＭＤ用作業支援プログラムを含む各種プログラムは、図示しない記憶媒体に記憶され、図示しない読取装置に読み出されてフラッシュＲＯＭ５４にインストールされてもよいし、あるいはネットワーク９を介して接続可能なサーバ等（図示外）からダウンロードによりフラッシュＲＯＭ５４にインストールされてもよい。接続コントローラ５５は、ハーネス７を介してＨＤ１０の接続コントローラ１４に接続し、有線通信を行う。

解像度処理部５６は、フレームバッファ５２Ａに保存した撮影画像データの解像度を所定の解像度に変更し、高解像度の撮影画像データと低解像度の撮影画像データを生成する処理を行う。高解像度の撮影画像データは、カメラ１５から出力される撮影画像データのうち最大の解像度の画像データである。低解像度の撮影画像データは、撮影画像データを、高解像画像データよりも低い解像度に変更した画像データである。一例として、高解像度の撮影画像データの解像度を画素数として表し、例えば３００万画素であるとすると、低解像度の撮影画像データの画素数は、ネットワーク９を介したＰＣ８０への送信に比較的負荷がかかりにくい解像度（例えば３０万画素程度）であることが好ましい。高解像度の撮影画像データおよび低解像度の撮影画像データの解像度は、撮影画像データの解像度にあわせて任意に設定することができる。

画像圧縮部５７は、解像度処理部５６が生成した高解像度の撮影画像データおよび低解像度の撮影画像データを、例えばＪＰＥＧ画像に圧縮する処理を行う。ＣＰＵ５１は、画像圧縮部５７が高解像の撮影画像データを圧縮して生成した高解像画像データを格納バッファ５２Ｃに保存し、低解像度の撮影画像データを圧縮して生成した低解像画像データを送信バッファ５２Ｂに保存する。

画像処理部５８は、ＨＤ１０のＬＣＤ１１に表示する画像を形成する処理を行う。ビデオＲＡＭ５９は、画像処理部５８が形成した画像を仮想的に表示した仮想画面を記憶領域内に形成する。画像信号送信部６０は、ビデオＲＡＭ５９が形成した仮想画面に基づき、ＬＣＤ１１に表示するための画像信号を生成し、ハーネス７を介してＨＤ１０の画像信号受信部１３に送信する。インターフェイス６１は電源スイッチ６３および電源ランプ６４を含む操作部６２に接続し、ユーザによる操作の入力信号やランプの点灯信号等の入出力を行う。また、インターフェイス６１は、無線通信部６５および有線通信部６６に接続し、ネットワーク９に接続するＰＣ８０との間で送受信される各種データの入出力を行う。無線通信部６５および有線通信部６６は、ネットワーク９のアクセスポイント（図示略）へ無線または有線で接続し、ネットワーク９に接続するＰＣ８０と通信を行う。なお、無線通信部６５および有線通信部６６はネットワーク９を介さずに、直接、ＰＣ８０と無線または有線による接続を行って通信してもよい。

ＰＣ８０は、指示者が使用する公知のパーソナルコンピュータである。ＰＣ８０は、ＰＣ８０全体の制御を司るＣＰＵ８１を備える。ＣＰＵ８１は、データバスを介してＲＯＭ８２、ＲＡＭ８３、および入出力バス（以下、「Ｉ／Ｏバス」という。）８５と電気的に接続する。ＲＯＭ８２は、ＣＰＵ８１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ８３は、データを一時的に記憶する読み書き可能な記憶装置である。後述するＰＣ用作業支援プログラムの実行において、ＣＰＵ８１は、ＲＡＭ８３に、受信バッファ（図示略）の記憶領域を確保する。受信バッファは、ＨＭＤ１から受信する低解像画像データ（後述）を公知のＦＩＦＯ処理に基づいて保存する記憶領域である。

Ｉ／Ｏバス８５には、ハードディスクドライブ（以下、「ＨＤＤ」という。）８４、通信部８６、音声制御部８７、表示制御部８８、およびマウス、キーボード等の入力デバイス９３が接続されている。ＨＤＤ８４は、ＯＳやプログラム等がインストールされる記憶装置である。後述するＰＣ用作業支援プログラムは、ＨＤＤ８４にインストールされる。通信部８６は、ネットワーク９のアクセスポイント（図示略）へ有線通信または無線通信で接続し、ＰＣ８０をネットワーク９に接続する。音声制御部８７はマイク９０およびイヤホン９１を内蔵するヘッドセット８９に接続し、ＰＣ８０を利用する指示者の音声の入出力を制御する。表示制御部８８は、画像等をディスプレイ９２に表示するための描画処理を行う。入力デバイス９３は、指示者がＰＣ８０の操作の入力に用いる。

図３〜図６を参照し、作業支援プログラムについて説明する。作業支援プログラムは、ＨＭＤ１にインストールするＨＭＤ用作業支援プログラムと、ＰＣ８０にインストールするＰＣ用作業支援プログラムとを含む。ＨＭＤ用作業支援プログラムは、上記したように、ＨＭＤ１のＣＰＵ５１が実行するプログラムである。詳細については後述するが、ＨＭＤ用作業支援プログラムを実行するＣＰＵ５１は、概略、カメラ１５が撮影した撮影画像データから低解像画像データを生成し、撮影時刻を示すタイムスタンプと対応付けて、ＰＣ８０に送信する処理を行う。ＣＰＵ５１は、ＰＣ８０からキャプチャ要求信号とタイムスタンプを受信した場合に、タイムスタンプが一致する高解像画像データをＰＣ８０に送信する処理を行う。

ＰＣ用作業支援プログラムは、上記したように、ＰＣ８０ＣＰＵ８１が実行するプログラムである。詳細については後述するが、ＰＣ用作業支援プログラムを実行するＣＰＵ８１は、概略、ＨＭＤ１から受信する低解像画像データに基づく低解像画像をディスプレイ９２に表示する処理を行う。ＣＰＵ８１は、指示者がキャプチャ操作を行った場合に、表示中の低解像画像に対応付けられたタイムスタンプを取得して、ＨＭＤ１にキャプチャ要求信号とタイムスタンプを送信する。指示者は、ＰＣ８０がキャプチャ要求信号に応じてＨＭＤ１から受信する高解像画像データに基づく高解像画像に対し、拡大表示して細部のチェックを行ったり、作業者に対する指示を描き込んだりすることができる。

ＰＣ用作業支援プログラムの実行において、指示者が操作を行う指示画面１００について説明する。図３に示す指示画面１００は、ＰＣ８０のディスプレイ９２に表示され、指示者が、作業者の撮影した撮影画像を見ながら作業者への指示を行う画面である。指示画面１００の右上角部には、アプリケーション（ＰＣ用作業支援プログラム）の実行を終了する終了ボタン１０１が配置されている。指示画面１００の下段左側には、作業者がカメラ１５で撮影した撮影画像を表示する表示領域１１０が配置される。表示領域１１０は、ＨＭＤ１のＣＰＵ５１が表示画像データを低解像度に変換して圧縮し、ネットワーク９を介してＰＣ８０に送信した低解像画像データに基づく低解像画像１１１を表示する。低解像画像データはＣ［ｆｐｓ］（例えば１０ｆｐｓ）のフレームレートで送信され、ＣＰＵ８１は表示領域１１０に低解像画像１１１を映像として表示する。

指示画面１００の上段左側には、ＨＭＤ１に送信する画像を表示する表示領域１２０が配置される。表示領域１２０は、指示者がキャプチャ操作を行った場合に、そのタイミングに表示領域１１０に表示していた低解像画像１１１の１フレームに対応する高解像画像１２１を、キャプチャ画像として表示する。指示画面１００の上段右側には、表示領域１２０に表示する高解像画像１２１に対して指示者が編集を行う場合に使用するツールボタン１３０とキャプチャボタン１３１が配置される。ツールボタン１３０は、指示者が作業者に対する指示として、高解像画像１２１に自由線や文字等を描き込んだり、消去したりする場合に操作される。キャプチャボタン１３１は、指示者が所望する低解像画像１１１の１フレームの画像をキャプチャするキャプチャ操作を行う場合にクリックするボタンである。キャプチャボタン１３１は、キャプチャ状態を解除する場合にも操作される。なお、ツールボタン１３０は、キャプチャボタン１３１がクリックされキャプチャ状態にある場合に操作可能状態になる。表示領域１２０は、キャプチャ操作時以外は、指示者側のカメラ映像、指示者が表示したいドキュメント等の資料データ、低解像画像１１１を拡大した画像等を表示する。

指示者がキャプチャ操作を行った場合、表示領域１２０には、高解像画像１２１の左上隅にキャプチャ状態であることを示すキャプチャアイコン１２２が表示される。キャプチャアイコン１２２が表示されている間、指示者は、ツールボタン１３０の操作に応じて使用可能となる各種ツール（例えばエンピツツール１２３、テキストボックス１２４等）を用いることができる。指示者は、キャプチャ画像（高解像画像１２１）に重ねて表示されるレイヤー（図示略）に、各種ツールを用いて文字や線画等を描き込むことができる。表示領域１２０に表示される画像、すなわちキャプチャ画像と、キャプチャ画像に重ねたレイヤーの画像とを合成した画像の画像データは、ＨＭＤ１に送信される。ＨＭＤ１のＣＰＵ５１は、ＰＣ８０から受信した画像データに基づき画像信号を生成し、ＨＤ１０に送信して、表示領域１２０の画像と同様の画像をＬＣＤ１１に表示する。

次に、作業支援プログラムの実行に伴い、ＨＭＤ１のＣＰＵ５１およびＰＣ８０のＣＰＵ８１がそれぞれ行う処理の詳細について説明する。まず、図４を参照し、ＨＭＤ１のＣＰＵ５１がＨＭＤ用作業支援プログラムを実行して行う処理について説明する。作業者がＨＭＤ１のＣＢ５０に設けられた電源スイッチ６３を操作すると、ＣＰＵ５１は起動時における所定の動作をメインプログラム（図示略）の実行に従って行う。ＣＰＵ５１は無線通信部６５および有線通信部６６を稼働し、ネットワーク９に接続可能な通信部を介し、ネットワーク９に接続する。すなわちＣＰＵ５１は、有線通信部６６にネットワーク９に接続するネットワークケーブル（図示略）が接続されていれば、有線通信部６６を介してネットワーク９に接続する。ＣＰＵ５１は、無線通信部６５が接続可能なアクセスポイント（図示略）が見つかれば、無線通信部６５を介してネットワーク９に接続する。

ＣＰＵ５１は、ＨＭＤ用作業支援プログラムの実行を開始し、起動時に行う初期設定処理（図示略）を行う。ＣＰＵ５１は、ＲＡＭ５２に記憶するフラグやデータを初期化し、プログラムＲＯＭ５３に記憶されているフラグやデータの初期値と、フラッシュＲＯＭ５４に記憶されているフラグやデータの設定値をＲＡＭ５２に書き込む。ＣＰＵ５１はＲＡＭ５２に、フレームバッファ５２Ａ、送信バッファ５２Ｂ、格納バッファ５２Ｃの記憶領域をそれぞれ確保する。ＣＰＵ５１は、ネットワーク９を介してＰＣ８０と接続する。ＣＰＵ５１は、カメラ１５から撮影画像データを１フレームずつ取得し、フレームバッファ５２Ａに保存する処理を開始する。フレームバッファ５２Ａには１〜数フレームの撮影画像データが一時的に記憶される。ＣＰＵ５１は、マイク１６から音データを取得し、ネットワーク９を介してＰＣ８０に送信する処理を開始する。ＣＰＵ５１は、ネットワーク９を介してＰＣ８０から音データを受信し、イヤホン１７から出力する処理を開始する。また、ＣＰＵ５１は、ＰＣ８０から受信する画像データに基づき生成した画像信号をＨＤ１０に送信し、画像信号に基づく画像をＬＣＤ１１に表示する処理を開始する。

上記の初期設定処理が終了すると、ＣＰＵ５１は、フレームバッファ５２Ａに保存する撮影画像データを（Ｓ１）、画像処理部５８において高解像画像データに変換し、画像圧縮部５７においてＪＰＥＧ圧縮する。ＣＰＵ５１は、ＰＣ８０に、テスト信号と高解像画像データを送信する（Ｓ３）。ＣＰＵ５１は、テスト信号を送信するときに、遅延時間Ｔ１［秒］を計時するタイマーをスタートする。遅延時間Ｔ１は、ＨＭＤ１とＰＣ８０とがネットワーク９を介して行うデータの送受信にかかる時間である。後述するが、ＰＣ８０のＣＰＵ８１は、テスト信号と高解像画像データを受信した場合に、キャプチャ要求信号を送信する。ＨＭＤ１のＣＰＵ５１は、キャプチャ要求信号の受信を待機し（Ｓ５：ＮＯ）、受信すると（Ｓ５：ＹＥＳ）、テスト信号を送信してからキャプチャ要求信号を受信するまでにかかった時間を遅延時間Ｔ１として求める。

ＣＰＵ５１は、遅延時間Ｔ１に基づいて、記憶時間Ｔ２［秒］を決定する（Ｓ７）。記憶時間Ｔ２は、格納バッファ５２Ｃに保存する高解像画像データを保持する時間である。記憶時間Ｔ２は、カメラ１５が画像を撮影した時刻を基準に、低解像画像を指示者が閲覧するためＨＭＤ１からＰＣ８０へ低解像画像データを送信するのにかかる時間と、低解像画像データに対応する高解像画像データを要求するキャプチャ要求信号がＰＣ８０から届くまでにかかる時間と（すなわち遅延時間Ｔ１）を考慮して求められる。具体的に、記憶時間Ｔ２は、遅延時間Ｔ１にマージンαを積算して求められる。本実施形態において、マージンαは、初期値として例えば「５」が設定されている。すなわち、画像の撮影時刻を基準に、高解像画像データを格納バッファ５２Ｃに保持する記憶時間Ｔ２として、遅延時間Ｔ１の５倍の時間が設定される。

ＣＰＵ５１は、記憶時間Ｔ２に基づいて、間引き時間Ｔ３［秒］を決定する（Ｓ９）。キャプチャ要求信号を受信したＣＰＵ５１が、対応する高解像画像データをＰＣ８０に送信できるようにするため、格納バッファ５２Ｃは、マージンαを考慮した遅延時間分（すなわちＴ２時間分）の高解像画像データを保持する。格納バッファ５２Ｃの記憶容量Ａ［ｂｉｔ］は、あらかじめ設定されている。高解像画像データの1フレーム相当のデータ量がＢ［ｂｉｔ］である場合に、格納バッファ５２Ｃに保持可能な高解像画像のフレーム数は（Ａ／Ｂ）［フレーム］で与えられる。カメラ１５が撮影画像をフレームレートＣ［ｆｐｓ］で撮影した場合に、Ｔ２時間分の高解像画像のフレーム数は、Ｃ×Ｔ２［フレーム］となる。しかし、格納バッファ５２Ｃの記憶容量Ａが少ない場合、高解像画像データの1フレーム相当のデータ量がＢが大きい場合、フレームレートＣが大きい場合など、（Ａ／Ｂ）＜（Ｃ×Ｔ２）となる場合、格納バッファ５２ＣにＴ２時間分の高解像画像データを保持することができない。このような場合、ＣＰＵ５１は、間引き時間Ｔ３に基づき高解像画像データを間引いて格納バッファ５２Ｃに保存することで、Ｔ２時間分の高解像画像データを確保する。間引き時間Ｔ３は、マージンαを考慮した遅延時間と、格納バッファ５２Ｃの記憶可能な時間とに基づいて、必要に応じて設定すればよい。

具体的に、間引き時間Ｔ３は、Ｔ２／（Ａ／Ｂ）以上の（１／Ｃ）の整数倍値で与えられる。ＣＰＵ５１は、間引き時間Ｔ３が経過するごとに、その時点において生成した高解像画像データを格納バッファ５２Ｃに保存する。ただし、Ｔ３＜（１／Ｃ）の場合、Ｔ３は１フレームの時間未満なので、特に、間引く必要は無いことを意味する。この場合、ＣＰＵ５１は、フレームレートＣ通りに生成した高解像画像データを全て格納バッファ５２Ｃに保存する。ＣＰＵ５１は、間引き時間Ｔ３を求めたら、間引き時間Ｔ３を計時するタイマーをスタートする。なお、初回実行時において、ＣＰＵ５１は、後述するＳ２１の処理で間引き時間Ｔ３のタイマーがタイムアウトするように、タイマーの計時をＴ３秒からスタートする。

ＣＰＵ５１は、カメラ１５が新たに撮影した１フレームの撮影画像データをフレームバッファ５２Ａに保存する（Ｓ１１）。ＣＰＵ５１は、メインプログラム（図示略）の実行に従って稼働する時刻タイマー（図示略）から、現在時刻をタイムスタンプ（便宜上、「タイムスタンプＸ」とする。）として取得する（Ｓ１３）。ＣＰＵ５１は、解像度処理部５６において、フレームバッファ５２Ａに記憶する撮影画像データの解像度を低くし、画像圧縮部５７において、ＪＰＥＧ画像に圧縮する処理を行って低解像画像データを生成する（Ｓ１５）。ＣＰＵ５１は、低解像画像データに、Ｓ１３の処理で取得したタイムスタンプＸを対応付け（Ｓ１７）、送信バッファ５２Ｂに保存する。例えば、低解像画像データのプロパティを格納する領域に、タイムスタンプＸが付加される。ＣＰＵ５１は、送信バッファ５２Ｂに保存された低解像画像データを、ネットワーク９を介し、ＰＣ８０に送信する（Ｓ１９）。なお、低解像画像データをフレームレートＣに従ってＰＣ８０に送信するため、送信バッファ５２Ｂには、複数フレーム分の低解像画像データが保存されている。ＣＰＵ５１は、タイムスタンプＸの示す時刻が古い低解像画像データから順に、ＰＣ８０に送信する。

ＣＰＵ５１は、間引き時間Ｔ３を計時するタイマーを参照し、間引き時間Ｔ３が経過したら（Ｓ２１：ＹＥＳ）、間引き時間Ｔ３を計時するタイマーをゼロにリセットして新たに計時を開始し、処理をＳ２３に進める。ＣＰＵ５１は、Ｓ１３で取得した現在時刻を、格納バッファ５２Ｃに記憶する高解像画像データに対応付けられたタイムスタンプＸと比較する。ＣＰＵ５１は、格納バッファ５２Ｃに、現在時刻から記憶時間Ｔ２［秒］以上前の時刻のタイムスタンプＸが対応付けられた高解像画像データが保存されているか否か判断する（Ｓ２３）。ＣＰＵ５１は、該当する高解像画像データが格納バッファ５２Ｃに保存されていれば（Ｓ２３：ＹＥＳ）、該当する高解像画像データを削除してから処理をＳ２７に進める（Ｓ２５）。ＣＰＵ５１は、該当する高解像画像データが格納バッファ５２Ｃに保存されていなければ（Ｓ２３：ＮＯ）、そのまま処理をＳ２７に進める。

ＣＰＵ５１は、解像度処理部５６において、フレームバッファ５２Ａに記憶する撮影画像データの解像度と同じ高解像度の撮影画像データを生成する。ＣＰＵ５１は、画像圧縮部５７において、高解像度の撮影画像データに対してＪＰＥＧ画像に圧縮する処理を行って高解像画像データを生成する。ＣＰＵ５１は、生成した高解像画像データに、Ｓ１３の処理で取得したタイムスタンプＸを対応付けて（Ｓ２７）、格納バッファ５２Ｃに保存する（Ｓ２９）。上記同様、タイムスタンプＸは、高解像画像データのプロパティを格納する領域に付加される。このように、Ｓ２３、Ｓ２５の処理において、記憶時間Ｔ２を超える高解像画像データを格納バッファ５２Ｃから削除し、Ｓ２９の処理で、新たな高解像画像データを保存することで、ＣＰＵ５１は、格納バッファ５２Ｃにおいて、いわゆるＦＩＦＯ処理に基づき、一定時間（記憶時間Ｔ２）分の高解像画像データを保持する記憶処理を行うことができる。

ＣＰＵ５１は、処理をＳ３１に進め、ＰＣ８０からキャプチャ要求信号を受信していなければ（Ｓ３１：ＮＯ）、処理をＳ３９に進める。ＣＰＵ５１は、作業者が電源スイッチ６３を操作していなければ（Ｓ３９：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、次のフレームの撮影画像データから低解像画像データを生成し、タイムスタンプＸを対応付けて、ＰＣ８０に送信する処理を行う（Ｓ１１〜Ｓ１９）。Ｓ２１において、ＣＰＵ５１は、間引き時間Ｔ３が経過していなければ（Ｓ２１：ＮＯ）、処理をＳ３１に進め、高解像画像データを格納バッファ５２Ｃに保存する処理を行わない。なお、Ｔ３＜１／Ｃであり、間引き時間Ｔ３が１フレームの時間未満の場合、Ｓ１１の処理でカメラ１５が撮影した１フレームの撮影画像データをフレームバッファ５２Ａに保存する時間間隔よりも先に間引き時間Ｔ３が経過するため、ＣＰＵ５１は、Ｓ２１において常に処理をＳ２３に進める。

ＣＰＵ５１は、上記同様、キャプチャ要求信号の受信がなく（Ｓ３１：ＮＯ）、電源スイッチ６３の操作もなければ（Ｓ３９：ＮＯ）、処理をＳ１１に戻し、次のフレームの撮影画像データをフレームバッファ５２Ａに保存する。以降同様に、ＣＰＵ５１は、撮影画像データから低解像画像データを生成し（Ｓ１５）、タイムスタンプＸを対応付けて（Ｓ１７）、ＰＣ８０に送信する（Ｓ１９）。ＣＰＵ５１は、間引き時間Ｔ３が経過したときだけ（Ｓ２１：ＹＥＳ）、高解像画像データを生成してタイムスタンプＸを対応付け（Ｓ２７）、格納バッファ５２Ｃに保存する（Ｓ２９）。

Ｓ３１において、ＰＣ８０からキャプチャ要求信号を受信した場合（Ｓ３１：ＹＥＳ）、ＣＰＵ５１は、キャプチャ要求信号とともに受信するタイムスタンプ（便宜上、「タイムスタンプＹ」とする。）を取得する。タイムスタンプＹは、後述するＰＣ用作業支援プログラムの実行において、指示者がキャプチャ操作を行ったタイミングに表示領域１１０に表示していた低解像画像１１１のプロパティに格納されたタイムスタンプＸである。ＣＰＵ５１は、キャプチャ要求信号とともに取得したタイムスタンプＹが示す時刻（以下、「要求時刻」という。）を、格納バッファ５２Ｃに記憶する高解像画像データに対応付けられたタイムスタンプＸと比較する。ＣＰＵ５１は、タイムスタンプＸの示す時刻がタイムスタンプＹの示す要求時刻に最も近い時刻である高解像画像データを取得する（Ｓ３３）。言い換えると、ＣＰＵ５１は、格納バッファ５２Ｃに記憶する高解像画像データのうち、タイムスタンプＸが示す時刻と、タイムスタンプＹが示す要求時刻との時間差が、最も小さい高解像画像データを取得する。

ＣＰＵ５１は、取得した高解像画像データを、ネットワーク９を介し、ＰＣ８０に送信する（Ｓ３５）。ＣＰＵ５１は、ＰＣ８０からキャプチャ停止信号の受信を待機する（Ｓ３７：ＮＯ）。ＣＰＵ５１は、キャプチャ停止信号を受信すると（Ｓ３７：ＹＥＳ）、電源スイッチ６３の操作がなければ（Ｓ３９：ＮＯ）、処理をＳ１１に戻す。ＣＰＵ５１は、上記同様、撮影画像データに基づく低解像画像データの送信と高解像画像データの間引き保存を１フレームごとに繰り返して行う処理を再開する。作業者が電源スイッチ６３を操作した場合（Ｓ３９：ＹＥＳ）、ＣＰＵ５１は、ＨＭＤ用作業支援プログラムの実行を終了する。

次に、図５を参照し、ＰＣ８０のＣＰＵ８１がＰＣ用作業支援プログラムを実行して行う処理について説明する。指示者がＰＣ８０を操作してＰＣ用作業支援プログラムを起動すると、ＣＰＵ８１は、ＨＤＤ８４にインストールされたＰＣ用作業支援プログラムを実行する。ＣＰＵ８１は、ＰＣ用作業支援プログラムの起動時に行う初期設定処理（図示略）において、ＲＡＭ８３に記憶するフラグやデータを初期化し、通信部８６を稼働させ、ネットワーク９接続する。ＣＰＵ８１は、ヘッドセット８９のマイク９０から音データを取得し、ネットワーク９を介してＨＭＤ１に送信する処理を開始する。ＣＰＵ８１は、ネットワーク９を介してＨＭＤ１から音データを受信し、ヘッドセット８９のイヤホン９１から出力する処理を開始する。また、ＣＰＵ８１は、指示画面１００（図３参照）の表示領域１２０に表示する画像に基づく画像データを生成してＨＭＤ１に送信する処理を開始する。ＣＰＵ８１は、ＲＡＭ８３に、受信バッファ（図示略）の記憶領域を確保する。

ＣＰＵ８１は、上記の初期設定処理が終了すると、ＨＭＤ１からテスト信号および高解像画像データの受信を待機する（Ｓ５１：ＮＯ）。ＣＰＵ８１は、テスト信号および高解像画像データを受信すると（Ｓ５１：ＹＥＳ）、ＨＭＤ１に、キャプチャ要求信号を送信する（Ｓ５３）。前述したように、ＨＭＤ１のＣＰＵ５１は、ＰＣ８０のＣＰＵ８１がＳ５３の処理で送信したキャプチャ要求信号に基づき、遅延時間Ｔ１を決定する。

ＣＰＵ８１は、ＨＭＤ１のＣＰＵ５１がＳ１９の処理において送信する低解像画像データを受信して（Ｓ５５）、ＲＡＭ８３の受信バッファに保存する。ＣＰＵ８１は、受信バッファが記憶する低解像画像データを読み出し、低解像画像データに基づく低解像画像１１１を指示画面１００の表示領域１１０（図３参照）に表示する（Ｓ５７）。前述したように、指示者がキャプチャボタン１３１をクリックするキャプチャ操作を行った場合に、ＣＰＵ８１は、表示領域１２０にキャプチャ画像（低解像画像１１１に対応する高解像画像１２１）を表示する。キャプチャ操作が行われていなければ（Ｓ５９：ＮＯ）、ＣＰＵ８１は、処理をＳ７３に進め、指示者が終了ボタン１０１をクリックする操作を行っていなければ（Ｓ７３：ＮＯ）、処理をＳ５５に戻す。

ＣＰＵ８１は、次のフレームの低解像画像データを受信して受信バッファに保存し、表示領域１１０に表示する処理を行いながら、キャプチャ操作が行われるのを待つ。表示領域１１０には、低解像画像１１１がフレームレートＣに従って差し替えられる映像として表示される。Ｓ５９において、指示者によるキャプチャ操作が行われた場合（Ｓ５９：ＹＥＳ）、ＣＰＵ８１は、そのとき表示領域１１０に表示していた低解像画像１１１のプロパティに格納されたタイムスタンプＸを、タイムスタンプＹとして取得する（Ｓ６１）。

ＣＰＵ８１は、ＨＭＤ１に対してキャプチャ要求信号とタイムスタンプＹを送信する（Ｓ６３）。前述したように、ＨＭＤ１のＣＰＵ５１は、キャプチャ要求信号を受信すると、タイムスタンプＸの示す時刻がタイムスタンプＹの示す要求時刻に最も近い時刻である高解像画像データを格納バッファ５２Ｃから取得して、ＰＣ８０に送信する。ＰＣ８０のＣＰＵ８１は、ＨＭＤ１から高解像画像データを受信し（Ｓ６５）、受信バッファに保存する。ＣＰＵ８１は、受信バッファに記憶した高解像画像データを読み出し、高解像画像データに基づく高解像画像１２１を、キャプチャ画像として、指示画面１００の表示領域１２０（図３参照）に表示する（Ｓ６７）。前述したように、表示領域１２０に表示される画像の画像データはＨＭＤ１に送信され、ＬＣＤ１１に表示される。なお、キャプチャ操作が行われてから高解像度画像を取得し、表示領域１２０に表示されるまでの間は、高解像度画像取得中のメッセージを表示する。もしくは、低解像度１１１を表示領域１２０に表示して編集できるようにしてもよい。

図３に示すように、指示者は、キャプチャ状態において、ツールボタン１３０を操作してキャプチャ画像に対する編集を行うことができる。例えば、ツールボタン１３０のエンピツボタン１３２をクリックすると、カーソルがエンピツツール１２３に変化し、指示者は、キャプチャ画像に重ねたレイヤーに線画１２５等を描くことができる。また、ツールボタン１３０のテキストボタン１３３をクリックすると、テキストボックス１２４がレイヤー上に表示され、指示者は、テキストボックス１２４内に文字等を書き込むことができる。ＨＭＤ１のＬＣＤ１１にはキャプチャ画像に重ねて指示者が描き込んだ線画１２５やテキストボックス１２４が表示され、作業者に指示者から作業の指示が伝えられる。

図５に示すように、指示者がキャプチャ画像に対する編集を行っている間、ＣＰＵ８１は待機する（Ｓ６９：ＮＯ）。指示者がキャプチャ画像に対する編集を終え、キャプチャボタン１３１をクリックした場合（Ｓ６９：ＹＥＳ）、ＣＰＵ８１はキャプチャ状態を解除し、ＨＭＤ１に、キャプチャ停止信号を送信する（Ｓ７１）。前述したように、ＨＭＤ１のＣＰＵ５１は、キャプチャ停止信号を受信すると、撮影画像データに基づく低解像画像データの送信と高解像画像データの間引き保存を１フレームごとに繰り返して行う処理を再開する。ＰＣ８０のＣＰＵ８１は処理をＳ７３に進め、アプリケーションの終了操作が行われていなければ処理をＳ５５に戻し（Ｓ７３：ＮＯ）、表示領域１１０に低解像画像を映像として表示する処理を再開する。Ｓ７３において、指示者が終了ボタン１０１をクリックする操作を行った場合（Ｓ７３：ＹＥＳ）、ＣＰＵ８１は、ＰＣ用作業支援プログラムの実行を終了する。

上記説明した作業支援プログラムの実行において、ＨＭＤ１とＰＣ８０との間で送受信されるデータの流れについて、図６のシーケンス図を参照して説明する。なお、説明の便宜上、シーケンス図において説明する各処理は、作業支援プログラム（図４、図５参照）各処理を抜粋したものである。したがって、電子会議プログラムのフローチャートの各ステップと同一のステップ番号を付して説明を行う。また、図６において、数字を付加した丸囲み文字「Ｐ」で、説明のための区切りを表記する。なお、図６で、ＨＭＤ１およびＰＣ８０から図中下方へ向けて延びる矢印は、時間軸を示す。

（Ｐ１） ＨＭＤ１のＣＰＵ５１は、Ｓ１７の処理において、タイムスタンプＸを付加した低解像画像データを送信バッファ５２Ｂに保存し、Ｓ１９の処理において、順次、ＰＣ８０に送信する。例えば、フレームレートが１０ｆｐｓに設定されている場合、ＣＰＵ５１は、１００ｍｓごとに新たなタイムスタンプＸを付加した低解像画像データを送信する。

（Ｐ２） ＣＰＵ５１は、Ｓ２９の処理において、間引き時間Ｔ３（例えば１秒）ごとに、タイムスタンプＸを付加した高解像画像データを格納バッファ５２Ｃに保存する。すなわち、１００ｍｓごとに送信される低解像画像データと同じ撮影時刻を示すタイムスタンプＸが付加された高解像画像データが、１秒ごとに、格納バッファ５２Ｃに保存される。

（Ｐ３） ＰＣ８０のＣＰＵ８１が、Ｓ５５の処理において受信した低解像画像データを、Ｓ５７の処理において、順次、指示画面１００の表示領域１１０に映像として表示する。ネットワーク９を介した送信に伴う遅延等によって、低解像画像は、ＰＣ８０において、タイムスタンプＸが示す撮影時刻よりも遅れて表示される。

（Ｐ４） 作業者のキャプチャ操作に伴い、Ｓ６３の処理において、ＣＰＵ８１がキャプチャ要求信号をＨＭＤ１に送信する。ＣＰＵ８１は、さらに、キャプチャ操作を行ったときに表示領域１１０に表示していた低解像画像のタイムスタンプＸが示す時刻（ここでは「１５：１０：１５．２００」）を、タイムスタンプＹとして、キャプチャ要求信号とともに送信する。

（Ｐ５） Ｓ３１の処理において、キャプチャ要求信号を受信したＨＭＤ１のＣＰＵ５１は、Ｓ３３の処理において、タイムスタンプＹを、格納バッファ５２Ｃに記憶する高解像画像データのタイムスタンプＸと比較する。格納バッファ５２Ｃには、少なくとも、タイムスタンプＸが「１５：１０：１５．０００」を示す高解像画像データと、タイムスタンプＸが「１５：１０：１６．０００」を示す高解像画像データとが保存されているものとする。

（Ｐ６） ＣＰＵ５１は、Ｓ３５の処理において、タイムスタンプＹが示す要求時刻（「１５：１０：１５．２００」）に最も近い時刻（「１５：１０：１５．０００」）を示すタイムスタンプＸに対応付けられた高解像画像データを、ＰＣ８０に送信する。

（Ｐ７） ＰＣ８０のＣＰＵ８１は、Ｓ６５の処理において、ＨＭＤ１から高解像画像データを受信したら、Ｓ６７の処理において、指示画面１００の表示領域１２０に高解像画像を表示する。

（Ｐ８） 指示者が高解像画像に対する編集を終了したら、ＣＰＵ８１は、Ｓ７１の処理において、ＨＭＤ１にキャプチャ停止信号を送信する。

（Ｐ９） Ｓ３７の処理において、キャプチャ停止信号を受信したＨＭＤ１のＣＰＵ５１は、（Ｐ１）同様に、Ｓ１７の処理において送信バッファ５２Ｂに低解像画像データを保存し、Ｓ２９の処理において格納バッファ５２Ｃに高解像画像データを保存する処理を再開する。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。ＨＭＤ用作業支援プログラムにおいて、ＣＰＵ５１は、Ｓ１〜Ｓ９の処理をプログラムの実行開始時に行い、ネットワーク９の通信状態に応じた記憶時間Ｔ２および間引き時間Ｔ３の決定を行った。これに限らず、例えば、ＣＰＵ５１は、Ｓ１〜Ｓ９の処理を定期的に行って、時々刻々と変化するネットワーク９の通信状態にあわせて記憶時間Ｔ２および間引き時間Ｔ３を決定できるようにしてもよい。具体的に、例えば、図４に示すＨＭＤ用作業支援プログラムの初期設定処理（図示略）において計時を開始するタイマーを設け、ＣＰＵ５１は、所定時間経過するごとに、Ｓ３９：ＮＯの後、処理をＳ１１ではなく、Ｓ１に戻すようにすればよい。この場合、図５に示すＰＣ用作業支援プログラムも同様に、タイマーを設け、ＣＰＵ８１は、所定時間経過するごとに、Ｓ７３：ＮＯの後、処理をＳ５５ではなく、Ｓ５１に戻すようにすればよい。

ＣＰＵ５１は、Ｓ１７、Ｓ１９の処理において、すべての低解像画像データにタイムスタンプＸを付加してＰＣ８０に送信した。これに限らず、ＣＰＵ５１は、例えば、格納バッファ５２Ｃに保存する高解像画像データに対応した低解像画像データにのみ、タイムスタンプＸを付加し、ＰＣ８０に送信してもよい。例えば、Ｓ１５の処理とＳ１７の処理との間に、Ｔ３秒が経過したか否か判断するＳ２１と同様の処理を追加し、経過した場合に、ＣＰＵ５１は処理をＳ１７に進め、経過していない場合には、処理をＳ１９に進めるようにすればよい。この場合、ＰＣ８０のＣＰＵ８１は、タイムスタンプＸが付加された低解像画像データを受信するたびにタイムスタンプＸを取得し、ＲＡＭ８３に、タイムスタンプＹとして上書き保存する。この処理は、例えばＳ５５の処理とＳ５７の処理との間に追加すればよい。そして、指示者によるキャプチャ操作があった場合、ＣＰＵ８１は、Ｓ６１の処理において、ＲＡＭ８３に上書き保存した最新のタイムスタンプＹを取得し、Ｓ６３の処理において、キャプチャ要求信号とともに送信すればよい。ＨＭＤ１のＣＰＵ５１は、タイムスタンプＹと一致するタイムスタンプＸに対応付けられた高解像画像データをＰＣ８０に送信すればよい。

ＣＰＵ５１は、間引き時間Ｔ３ごとに高解像画像データを生成するが、高解像画像データを生成したタイミングから、Ｔ３秒後に新たな高解像画像データを生成するまでの間に生成する低解像画像データには、先の高解像画像データに対応付けたタイムスタンプＸを対応付けてもよい。具体的に、ＣＰＵ５１は、例えばＳ１３の処理で取得したタイムスタンプＸをＲＡＭ５２に上書き保持する処理をＴ３秒経過するたびに行い、Ｔ３秒ごとに、タイムスタンプＸを更新する。ＣＰＵ５１は、ＲＡＭ５２に上書き保存した最新のタイムスタンプＸを、Ｓ１７の処理で低解像画像データに対応付け、Ｓ２７の処理で、高解像画像データに対応付ければよい。このようにすれば、すべての低解像画像データは、間引いて生成される高解像画像データのうちのいずれかと同一時刻を示すタイムスタンプＸを有することができる。

本実施形態では、撮影画像データと高解像度画像データの解像度を同じとしたが、高解像度画像データの解像度は、解像度処理部５６により、撮影画像データの解像度（例えば３００万画素）よりも若干低い解像度（例えば２００万画素）に変更してもよい。

また、間引き時間Ｔ３の決定を、本実施形態ではネットワーク９を介したデータの送受信において生ずる遅延時間Ｔ１に基づき決定したが、ネットワーク９への接続形態に応じて設定してもよい。例えば、ＨＭＤ用作業支援プログラムの実行開始時に、ＣＰＵ５１は、ネットワーク９との接続形態が、無線通信部６５を介して行う無線接続であるか、有線通信部６６を介して行う有線接続であるか確認する。さらにＣＰＵ５１は、解像度処理部５６が生成する高解像画像データの解像度を示す解像度情報を取得する。ＣＰＵ５１は、図７に示すＴ３決定テーブル１５０（ＨＭＤ用作業支援プログラムとともにプログラムＲＯＭ５３に記憶されているものとする。）を参照し、ネットワーク９との接続形態と解像度情報とに基づいて、間引き時間Ｔ３を決定する。Ｔ３決定テーブル１５０は、高解像画像データの解像度が大きいほど、また、有線接続よりも無線接続である場合に、間引き時間Ｔ３が、より長く設定されるテーブルである。Ｔ３決定テーブル１５０を参照して間引き時間Ｔ３を決定すれば、遅延時間Ｔ１の計時にかかる時間を短縮でき、また、記憶時間Ｔ２、間引き時間Ｔ３の演算においてＣＰＵ５１にかかる負荷を低減することができる。

また、本実施形態では、格納バッファ５２Ｃに、記憶時間Ｔ２の経過を判断条件とするＦＩＦＯ処理を行って高解像画像データを保持したが、格納バッファ５２Ｃに保持可能な高解像画像のフレーム数（Ａ／Ｂ）の超過を判断条件とするＦＩＦＯ処理を行って、格納バッファ５２Ｃに高解像画像データを保持してもよい。なお、格納バッファ５２Ｃに保持可能な高解像画像のフレーム数（Ａ／Ｂ）が、「所定数」に相当する。

なお、上記変形例において、ＣＰＵは、Ｓ９においてＴ３決定テーブル１５０を参照し、ネットワーク９の接続形態と、高解像画像データの解像度情報とに応じて間引き時間Ｔ３を決定した。これに限らず、ＣＰＵ５１は、上記の解像度情報と、Ｓ１５において画像圧縮部５７が低解像画像データを生成する際の圧縮率とに応じてＴ３を決定するテーブルを参照し、間引き時間Ｔ３を決定してもよい。圧縮率が大きいほど、ＣＰＵ５１は、画像処理部５８における撮影画像データの圧縮処理に、時間がかかってしまう。したがって、撮影画像データの圧縮率が大きいほど、低解像画像データが送信される前の段階において生ずる遅延時間が大きくなる。すなわち、カメラ１５が撮影した時刻に対し、低解像画像データがＨＭＤ１から送信されてＰＣ８０が受信し、指示画面１００に表示するまでにかかる時間が大きくなる。ゆえに、低解像画像データの圧縮率の違いに応じて間引き時間Ｔ３を設定することは、好ましい。一例として、圧縮率が高圧縮率（例えば８０％未満）・低圧縮率（例えば８０％以上）の２段階設定である場合、図７のＴ３決定テーブル１５０における「無線接続」に高圧縮率を相当させ、「有線接続」に低圧縮率を相当させたテーブルを用いるとよい。なお、圧縮率は、作業者あるいは指示者が任意に設定できるようにしてもよい。

また、図７のＴ３決定テーブル１５０において、解像度情報とネットワーク９の接続形態とに基づいて決定する対象を、間引き時間Ｔ３だけでなく、記憶時間Ｔ２も決定できるようにしてもよい。このテーブルの決定結果に基づき、ＣＰＵ５１は、本実施形態のＳ２３、Ｓ２５の処理において、記憶時間Ｔ２に基づくＦＩＦＯ処理を行ってもよい。

以上説明したように、本発明に係る作業支援システムにおいて、ＨＭＤ１は、ＰＣ８０において指示者が閲覧する低解像画像のタイムスタンプと同じ、もしくは近いタイムスタンプが対応付けられた高解像画像データを、キャプチャ画像として取得することができる。ゆえに指示者は所望する高解像画像データを得ることができ、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えにくい。また、低解像画像データや高解像画像データがネットワーク経由で送受信されることで生じる遅延が、ネットワークの状態によって変化しても、ＨＭＤ１は、指示者が閲覧中の低解像画像に対応する高解像画像データをタイムスタンプに基づいて遡って取得してＰＣ８０に送信するため、遅延の影響を受けない。ゆえに指示者は所望する高解像画像データを得ることができ、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えにくい。

ＨＭＤ１は、高解像画像データを格納バッファ５２Ｃに間引いて記憶することで、高解像画像データを長時間にわたって格納バッファ５２Ｃに保持することができる。ＰＣ８０は、指示者が閲覧する低解像画像が撮影された時刻に近い撮影時刻を示すタイムスタンプが対応付けられた高解像画像データを得ることができる。ゆえに指示者は、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えにくい。

ＨＭＤ１は、格納バッファ５２Ｃに記憶時間Ｔ２分、あるいは保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持でき、それを超える分は削除できるので、格納バッファ５２Ｃの記憶容量一杯に高解像画像データを保持せずとも済み、システムが確保を要求する記憶容量を無駄に大きくせずとも済む。また、ＨＭＤ１が、格納バッファ５２Ｃに間引きを行わずに記憶時間Ｔ２分、あるいは保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持すれば、ＰＣ８０は、指示者が閲覧する低解像画像が撮影された時刻と同じ時刻を示すタイムスタンプが対応付けられた高解像画像データを得ることができる。ゆえに指示者は、所望する高解像画像データを得ることができ、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えることがない。

ネットワーク９を介した接続形態が無線接続であるか有線接続であるかによって、データの送受信において生ずる遅延の大きさが異なる。また、撮影画像データを低解像画像データに圧縮する圧縮率の大きさの違いによっても、データの送受信において生ずる遅延（この場合は低解像画像データが送信される前の段階において生ずる遅延）の大きさが異なる。ゆえに、ネットワーク９を介した接続形態、および、圧縮率の大きさの少なくとも一方を考慮して、記憶時間Ｔ２または保持可能なフレーム数（Ａ／Ｂ）を設定し、格納バッファ５２Ｃに記憶時間Ｔ２分または保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持することで、ＨＭＤ１は、指示者が所望する高解像画像データを確実に格納バッファ５２Ｃに保持することができる。

ＨＭＤ１は、格納バッファ５２Ｃの記憶容量に応じて記憶時間Ｔ２または保持可能なフレーム数（Ａ／Ｂ）を設定し、格納バッファ５２Ｃに記憶時間Ｔ２分または保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持することで、指示者が所望する高解像画像データを確実に格納バッファ５２Ｃに保持することができる。ゆえに指示者は、所望する高解像画像データを得ることができ、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えることがない。また、格納バッファ５２Ｃの記憶容量が足りず、記憶時間Ｔ２分または保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持できなくとも、ＨＭＤ１は、高解像画像データを間引いて保存することによって、指示者が所望する高解像画像データに撮影時刻が近い高解像画像データを格納バッファ５２Ｃに保持することができる。ゆえに指示者は、所望する高解像画像データに撮影時刻が近い高解像画像を得ることができ、もとの低解像画像とキャプチャした高解像画像との間に違和感を覚えにくい。

ＨＭＤ１は、ネットワークを介したデータの送受信において生ずる遅延時間を検出し、遅延時間Ｔ１に応じて記憶時間Ｔ２または保持可能なフレーム数（Ａ／Ｂ）を設定し、格納バッファ５２Ｃに記憶時間Ｔ２分または保持可能なフレーム数（Ａ／Ｂ）分の高解像画像データを保持すれば、指示者が所望する高解像画像データを確実に格納バッファ５２Ｃに保持することができる。

本実施形態では、ハーネス７を介したＨＤ１０とＣＢ５０との通信（ＬＣＤ１１に表示する画像データ転送、カメラ１５の撮影画像データ転送、マイク１６およびイヤホン１７の音声データ転送等）を、デジタルデータ通信によって行ったが、ＣＢ５０においてデータのＡ／Ｄ・Ｄ／Ａ変換し、アナログデータ通信によって行ってもよい。

なお、本発明においては、ＨＭＤ１が、「作業端末」に相当する。ＰＣ８０が、「指示端末」に相当する。カメラ１５が、「撮影装置」に相当する。ＲＡＭ５２が、「記憶装置」に相当する。記憶時間Ｔ２が、「第一所定時間」に相当する。Ｓ２３、Ｓ２５、Ｓ２９で、ＦＩＦＯ処理に基づいて記憶時間Ｔ２分の高解像画像データを格納バッファ５２Ｃに記憶するＣＰＵ５１が、「記憶制御手段」に相当する。タイムスタンプが、「時刻情報」に相当する。Ｓ１３で、タイムスタンプＸを取得するＣＰＵ５１が、「第一取得手段」に相当する。Ｓ１７で、低解像画像データにタイムスタンプＸを対応付けるＣＰＵ５１が、「対応付け手段」に相当する。Ｓ１９で、ＰＣ８０に低解像画像データを送信するＣＰＵ５１が、「第一送信手段」に相当する。キャプチャ要求信号が、「要求情報」に相当する。Ｓ３３で、タイムスタンプＹに最も近いタイムスタンプＸに対応付けられた高解像画像データを取得するＣＰＵ５１が、「第二取得手段」に相当する。Ｓ３５で、ＰＣ８０に高解像画像データを送信するＣＰＵ５１が、「第二送信手段」に相当する。

Ｓ５５で、ＨＭＤ１から低解像画像データを受信するＣＰＵ８１が、「第一受信手段」に相当する。Ｓ６１で、タイムスタンプＹとして、低解像画像データからタイムスタンプＸを取得するＣＰＵ８１が、「第三取得手段」に相当する。Ｓ６３で、ＨＭＤ１にキャプチャ要求信号とタイムスタンプＹを送信するＣＰＵ８１が、「第三送信手段」に相当する。Ｓ６５で、ＨＭＤ１から高解像画像データを受信するＣＰＵ８１が、「第二受信手段」に相当する。間引き時間Ｔ３が、「第二所定時間」に相当する。Ｓ９で、間引き時間Ｔ３を決定するＣＰＵ５１が、「第一決定手段」に相当する。Ｓ２３で、タイムスタンプＸの示す時刻が記憶時間Ｔ２以上前の時刻を示す高解像画像データがあるか否か判断するＣＰＵ５１が、「判断手段」に相当する。Ｓ２５で、記憶時間Ｔ２以上前の時刻を示すタイムスタンプＸに対応付けられた高解像画像データを削除するＣＰＵ５１が、「削除手段」に相当する。Ｓ３でテスト信号を送信してからＳ５でキャプチャ要求信号を受信するまでにかかる遅延時間Ｔ１を求めるＣＰＵ５１が、「検出手段」に相当する。

１ ヘッドマウントディスプレイ（ＨＭＤ）
９ ネットワーク
１５ カメラ
５１ ＣＰＵ
５２ ＲＡＭ
５２Ｃ 格納バッファ
６５ 無線通信部
６６ 有線通信部
８０ パーソナルコンピュータ（ＰＣ）
８１ ＣＰＵ
８３ ＲＡＭ
８６ 通信部
９２ ディスプレイ
Ａ 記憶容量
Ｂ 高解像画像データの1フレーム相当のデータ量
Ｃ フレームレート
Ｔ１ 遅延時間
Ｔ２ 記憶時間
Ｔ３ 間引き時間
Ｘ、Ｙ タイムスタンプ

Claims (8)

1. 作業者が利用し、作業に対する指示を受信して前記作業者に提示可能な作業端末と、指示者が利用し、前記作業者に対する作業の指示を前記作業端末に送信可能な指示端末とがネットワークを介して接続された作業支援システムであって、
   前記作業端末は、
   前記作業者の周囲の景色を撮影可能な撮影装置と、
   前記撮影装置が撮影した撮影画像のデータである撮影画像データと、前記撮影画像データの解像度を低くした低解像画像データとを少なくとも含む各種データを記憶する記憶装置と、
   前記記憶装置に、前記撮影画像データを第一所定時間、または所定数記憶する制御を行う記憶制御手段と、
   前記撮影装置が前記撮影画像を撮影した時刻を示す時刻情報を取得する第一取得手段と、
   前記第一取得手段が取得した前記時刻情報を前記撮影画像データおよび前記低解像画像データに対応付ける対応付け手段と、
   前記時刻情報が対応付けられた前記低解像画像データを前記指示端末に送信する第一送信手段と、
   前記撮影画像データを要求する情報であり前記時刻情報を含む要求情報を前記指示端末から受信した場合に、前記要求情報に含まれる前記時刻情報に基づく時刻である要求時刻と同じ時刻もしくは最も近い時刻を示す前記時刻情報が対応付けられた前記撮影画像データを前記記憶装置から取得する第二取得手段と、
   前記第二取得手段が取得した前記撮影画像データを前記指示端末に送信する第二送信手段と、
   を備え、
   前記指示端末は、
   複数の前記低解像画像データを前記作業端末から受信する第一受信手段と、
   前記第一受信手段が受信した前記低解像画像データのうち前記指示者が所望する前記低解像画像データに対応付けられた前記時刻情報を取得する第三取得手段と、
   前記指示者が所望する前記低解像画像データに対応する前記撮影画像データを要求する情報であり前記第三取得手段が取得した前記時刻情報を含む前記要求情報を、前記作業端末に送信する第三送信手段と、
   前記要求情報に基づいて前記作業端末が送信する前記撮影画像データを受信する第二受信手段と、
   を備えたことを特徴とする作業支援システム。
2. 前記作業端末の前記記憶制御手段は、前記撮影装置が撮影する全ての前記撮影画像の前記撮影画像データのうちの一部を間引いて前記記憶装置に記憶する時間間隔である第二所定時間を決定する第一決定手段を含み、
   前記記憶制御手段は、前記第一決定手段が決定した前記第二所定時間ごとに撮影した前記撮影画像データを前記記憶装置に記憶することを特徴とする請求項１に記載の作業支援システム。
3. 前記作業端末の前記第二取得手段は、前記指示端末から前記要求情報を受信した場合に、前記時刻情報に基づく時刻と前記要求時刻との時間差が最も小さい時刻を示す前記時刻情報が対応付けられた前記撮影画像データを前記記憶装置から取得することを特徴とする請求項２に記載の作業支援システム。
4. 前記作業端末の前記記憶制御手段は、
   前記記憶装置が記憶する前記撮影画像データのうち、前記時刻情報に基づく時刻から現在までの経過時間が前記第一所定時間以上経過した前記撮影画像データがあるか否か、または、前記記憶装置に記憶する前記撮影画像データの数が前記所定数以上であるか否かを判断する判断手段と、
   前記判断手段が、経過時間が前記第一所定時間以上経過した前記撮影画像データがある、または、前記所定数以上の前記撮影画像データが記憶されていると判断した場合に、前記記憶装置から、前記時刻情報に基づく時刻が最も古い前記撮影画像データから順に削除する削除手段と、
   を含むことを特徴とする請求項１から３のいずれかに記載の作業支援システム。
5. 前記作業端末の前記記憶制御手段は、ネットワークを介した前記指示端末との接続形態、および、前記撮影画像データを前記低解像画像データに圧縮する圧縮率の大きさの少なくとも一方に基づいて、前記第一所定時間の大きさまたは前記所定数の数を決定し、前記記憶装置に前記撮影画像データを記憶する制御を行うことを特徴とする請求項１から４のいずれかに記載の作業支援システム。
6. 前記作業端末の前記記憶制御手段は、ネットワークを介した前記指示端末との接続形態、および、前記撮影画像データを前記低解像画像データに圧縮する圧縮率の大きさの少なくとも一方と、前記記憶装置の記憶容量とに基づいて、
   前記第一所定時間分または前記所定数分の前記撮影画像データを前記記憶装置に記憶可能な場合は、前記第一所定時間の長さまたは前記所定数の数を決定して前記記憶装置に前記撮影画像データを記憶する制御を行い、
   前記第一所定時間分または前記所定数分の前記撮影画像データを前記記憶装置に記憶不可能な場合は、前記第一決定手段が決定した記第二所定時間ごとに前記第一選択手段が選択した前記撮影画像データを前記記憶装置に記憶する制御を行うこと
   を特徴とする請求項２から４のいずれかに記載の作業支援システム。
7. 前記作業端末は、前記指示端末との接続開始時または定期的に、前記指示端末との間で行うデータの送受信における遅延時間を検出する検出手段をさらに備え、
   前記記憶制御手段は、前記第一所定時間の長さ、または、前記所定数の数を、前記遅延時間に基づいて決定することを特徴とする請求項１から４のいずれかに記載の作業支援システム。
8. 作業者が利用し、指示者が利用する指示端末との間でネットワークを介して接続可能に構成された作業補助装置として用いる作業端末であり、前記作業者の周囲の景色を撮影可能な撮影装置と、前記撮影装置が撮影した撮影画像のデータである撮影画像データと、前記撮影画像データの解像度を低くした低解像画像データとを少なくとも含む各種データを記憶する記憶装置とを備え、前記指示端末から前記作業者に対する作業の指示を受信して前記作業者に提示可能な作業端末として機能させるためのプログラムであって、
   コンピュータに、
   前記記憶装置に、前記撮影画像データを第一所定時間、または所定数記憶する制御を行う記憶制御ステップと、
   前記撮影装置が前記撮影画像を撮影した時刻を示す時刻情報を取得する第一取得ステップと、
   前記第一取得ステップにおいて取得された前記時刻情報を前記撮影画像データおよび前記低解像画像データに対応付ける対応付けステップと、
   前記時刻情報が対応付けられた前記低解像画像データを前記指示端末に送信する第一送信ステップと、
   前記撮影画像データを要求する情報であり前記時刻情報を含む要求情報を前記指示端末から受信した場合に、前記要求情報に含まれる前記時刻情報に基づく時刻である要求時刻と同じ時刻もしくは最も近い時刻を示す前記時刻情報が対応付けられた前記撮影画像データを前記記憶装置から取得する第二取得ステップと、
   前記第二取得ステップにおいて取得された前記撮影画像データを前記指示端末に送信する第二送信ステップと、
   を実行させるプログラム。

Images