JP6568130B2 - 遠隔作業支援システムの作業者端末、支援者端末および映像伝送方法 - Google Patents

Description

本発明は、遠隔作業支援システムの作業者端末、支援者端末および映像伝送方法に係り、特に、支援者による作業支援に有益ではない映像は、支援者による作業支援に有益な映像よりも、その符号量を減じて作業者端末から支援者端末へ伝送することにより、作業支援に実質の影響を及ぼすことなく作業支援に要するデータ通信量を減ぜられる作業者端末、支援者端末および映像伝送方法を提供することにある。

従来、ネットワーク経由で映像・音声データをリアルタイムに伝送するシステムにおいて、頭部装着式のカメラで映像を撮影する構成では、映像に大きなブレが生じた際に映像内容を視聴しやすくする技術が特許文献１に開示されている。この技術によれば、頭部が高速に動いたことが前記カメラに付属のセンサで検知されるとフレームレートが減ぜられる。

特開2011-101300号公報

昨今、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介した映像伝送が用いられるようになってきている。例えば、現場作業の用途として、現場作業者が所持する端末で撮影された映像を、遠隔の作業支援者へリアルタイムに送信することができる。

このような用途を想定した場合、遠隔の支援者は、送られた映像を見ることによって、現場の状況や現場作業者の作業の様子を確認したり、作業の結果を確認したりすることが目的となる。このため、現場作業者が重要な作業を行っている最中であるか否か、あるいは作業の対象となる機器などの対象物を映しており、かつ同対象物に対して何らかの確認を行うべき段階であるか否か等によって、伝送された映像が視認しやすい映像であるべきか否かが異なってくる。

一方、スマートフォンやタブレット等のモバイル端末で用いられる通信では、ネットワークへの負荷を抑えられるように、高速通信の通信量に一定の制限を課するサービスが多い。このような通信の制限を考慮し、映像伝送において、ネットワーク帯域に空きがある場合でもデータの通信量を抑えるための処理が求められる。

すなわち、それらを考慮すると、現場作業における重要な箇所での映像伝送と、現場作業における重要でない箇所の映像伝送とでは、前者により多くのデータ量を割り当て、後者に割り当てるデータ量を削減することによって、データ通信量を抑えることが求められる。

しかしながら、特許文献１では、頭部の動きを角速度のみで判定している（頷きや頭を左右に振ったりする動作のみを想定している）ため、例えば、作業者が立ち上がったりしゃがんだりする動きや、作業者が移動している最中など、頭部が回転はしないがある一定速度以上で動く場合にはフレームレートを間引く処理が行われない。また、データ通信量を抑えるためにフレームレートの間引きしか行っておらず、ビットレートを含む他のパラメータは考慮されていない。

本発明の目的は、上記に技術課題を解決し、作業支援者が作業支援に不要な映像の符号量を優先的に低下させることにより、作業支援に影響を与えることなく、作業支援に要するデータ通信量を削減できる遠隔作業支援システムの作業者端末、支援者端末および映像伝送方法を提供することにある。

上記の目的を達成するために、本発明は、動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの作業者端末／支援者端末において、以下の構成を具備した点に特徴がある。

(1) 動画像を撮影するカメラと、動画像を符号化する符号化手段と、作業者の頭部および腕部の動きを検知する動きセンサと、前記各センサの出力データ系列に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備した。

(2) 符号化パラメータ決定手段は、低品質用の符号化パラメータとして、そのフレームレートを標準品質用のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように、そのビットレートを標準品質用のビットレートよりも低くするようにした。

(3) 所定の認識期間における前記動きセンサの出力データ系列に基づいて作業者のジェスチャを認識する手段と、認識されたジェスチャと予め対応付けられているコマンドを実行する手段とを具備し、所定の認識期間の始点を、前記頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を下回っていると判断されたタイミングとした。

(4) 腕部動きセンサの動作を制限して電力消費量を低減する節電手段を具備し、頭部の動きが前記第１閾値を上回る限りは前記腕部動きセンサの動作を制限し、頭部の動きが第１閾値を下回ると前記制限を解除するようにした。

(5) 複数の作業者端末から伝送された複数の動画像を同一スクリーン上に表示する遠隔作業支援システムの支援者端末において、伝送された各動画像の符号量の相対的な大小関係を判断する手段と、相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備した。

(6) 動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの映像伝送方法において、カメラで動画像を撮影し、動きセンサで作業者の頭部および腕部の動きを検知し、各センサの出力データ系列に基づいて動画像の符号化パラメータを決定し、動画像を前記符号化パラメータで符号化して支援者端末へ伝送するようにした。

本発明によれば、以下のような効果が達成される。

(1) 作業対象を注視しながら手作業している作業者の視野画像のように、作業支援者にとっての重要画像を、作業者の動きを検知するセンサの出力に基づいて判断し、重要画像であれば映像品質が相対的に高く、非重要画像であれば映像品質が相対的に低くなるように符号化パラメータを動的に変更するので、動画像を分析して判断する場合に較べて少ない処理負荷で精度良く、符号量が大きくなる期間を高品質が要求される重要画像の伝送時のみに制限できるようになる。

(2) 作業者が作業対象を注視していると推定される準重要画像については、フレームレートを低下させて符号量を減じると共に、1フレーム当たりのビット量がフレームレートの変更前後で同等になるようにビットレートも減じるので、支援者の主観品質を低下させることなく総データ量を減ぜられるようになる。

(3) 符号化パラメータを決定するために装備した動きセンサの出力データをジェスチャ認識にも利用し、認識結果に基づいて符号化パラメータの設定を含む様々なオプションを実現するようにしたので、作業者の必然的な動きに基づく符号化パラメータの設定のみならず、作業者の故意の動きに基づく符号化パラメータの設定も可能になり、符号化パラメータ設定の自由度や多様性が増加する。

(4) 頭部動きセンサおよび腕部動きセンサの各出力データ系列を用いて符号化パラメータを設定するにあたり、腕部動きセンサを、その出力データ系列が符号化パラメータの設定指標となるまではOFF状態にするので、電力消費量を削減できるようになる。

(5) 本発明の支援者端末によれば、重要画像をそれ以外の画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。

本発明の第１実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。 第1実施形態における符号化パラメータの設定手順を示したフローチャートである。 本発明の第２実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。 第２実施形態における符号化パラメータの設定手順を示したフローチャートである。 本発明の第３実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。 第３実施形態における符号化パラメータの設定手順を示したフローチャートである。 支援者端末において、複数の動画像の表示サイズおよび表示位置を重要度に応じて動的に変更する例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図であり、作業支援を受ける作業者が使用する作業者端末１０と、この作業者端末１０から伝送される動画像に基づいて作業者を支援する支援者が使用する支援者端末２０とを、インターネット等のネットワーク経由で接続して構成される。

作業者端末１０は、例えば作業者が頭部に装着するヘッドマウントディスプレイ（HMD）またはメガネ構造のスマートグラスであり、作業者の視線方向を撮影するカメラ１１を備える。撮影動画像符号化部１２は、例えばH.264などの符号化圧縮方式を採用し、カメラ１１が出力する動画像を、後述する符号化パラメータ決定部１５が決定した符号化パラメータ、例えば符号化ビットレート、空間解像度（VGA、QVGA、CIF、QCIF等）、時間解像度（フレームレート）およびピクチャタイプ（Iフレーム，Pフレーム，Bフレーム）に基づいて符号化する。

通信インタフェース１３は、符号化圧縮された動画像をインターネット経由で支援者端末２０へ伝送する。頭部動きセンサ１６は、作業者端末１０に固定されて作業者の頭の動きに連動して変位する、例えば３軸のジャイロ、加速度センサもしくは磁気センサまたはこれらを適宜に組み合わせたモーションセンサであり、作業者の頭部の変位量や位置を表すデータ系列を出力する。

腕部動きセンサ１７は、作業者の手首や腕などに装着して使用される、３軸のジャイロ、加速度センサもしくは磁気センサまたはこれらを適宜に組み合わせたモーションセンサであり、作業者の腕部の変位量や位置を表すデータ系列を出力する。

評価部１４は、前記頭部動きセンサ１６および／または腕部動きセンサ１７の出力データ系列に基づいて作業者の動きを推定し、この推定結果に基づいて動画像の重要度を評価する。

符号化パラメータ決定部１５は、前記評価部１４による評価結果に基づいて、重要画像以外の画像（非重要画像）の符号量が重要画像の符号量よりも少なくなる、換言すれば、非重要画像の映像品質が重要画像の映像品質よりも相対的に低くなるように符号化パラメータを動的に決定し、これを撮影動画像符号化部１２に適用する。

作業者と支援者との間での作業支援に係る通話や音声メッセージの送受は、作業者端末１０および支援者端末２０に実装された機能（図示省略）により実現しても良いし、あるいは当該システムとは独立した各自の通話端末を用いて実現するようにしても良い。

図２は、第１実施形態において符号化パラメータ決定部１５が各センサ１６，１７の出力データ系列に基づいて符号化パラメータを決定する手順を示したフローチャートであり、ここでは、符号化パラメータとしてフレームレートおよびビットレートを２段階（標準品質、低品質）のいずれかに決定する場合を例にして説明する。

ステップＳ１では、前記センサ１６，１７の出力データが取得、蓄積される。ステップＳ２では、現在時刻tよりT時間前の時刻t-Tの出力データが蓄積されているか否かが判断される。出力データが蓄積されていなければ、ステップＳ１へ戻って出力データの取得および蓄積が繰り返される。

出力データが蓄積されていればステップＳ３へ進み、頭部動きセンサ１６から取得した出力データ系列が解析される。ステップＳ４では、時刻tにおける頭部動きセンサ１６の3軸分の出力データをそれぞれx_h(t)，y_h(t)，z_h(t)、時刻t-Tから時刻tまでの出力データの移動平均をx_h_a(t)，y_h_a(t)，z_h_a(t)とし、ある閾値ε_xh、ε_yh、ε_zhに対して次式の条件Hが成立するか否かが判断される。

ここで、閾値εは例えば頭部動きセンサ１６が静止している場合でも発生するノイズなどによる出力データの微振動の幅に基づいて決定され、例えば微振動の幅の最大値の２倍程度に設定される。

前記条件Hが成立していると、作業者が別の作業へ移行する場合に固有の動きがあったと判断し、映像を「移行中」の非重要画像と評価してステップＳ９へ進む。これに対して、条件Hが成立していなければステップＳ５へ進み、腕部動きセンサ１７の出力データ系列が解析される。ステップＳ６では、解析結果に基づいて、次式で定義される条件Aが成立するか否かが判断される。

条件Aが成立すれば「作業中」と評価してステップＳ８へ進み、フレームレートおよびビットレートをそれぞれ標準値fs，bsに設定する。これに対して、条件Aが成立しなければ、作業者が作業対象を「注視中」の準重要画像と判断してステップＳ７へ進み、注視中に最適な第１種低品質符号化用の符号化パラメータ(1)を設定する。本実施形態では、フレームレートを低品質値flに設定し、ビットレートを、その標準値bsに所定の重み値wを乗じた値w・bsに設定する。

すなわち、作業者が作業対象を注視している動画像は支援者にとって準重要画像である可能性が高い。しかしながら、注視中の準重要画像は各画素ブロックの動きが少ないので、フレームレートを下げて符号量を減じても、映像品質の劣化を抑えることができる。

一方、フレームレートを下げたにもかかわらずビットレートを維持すると１フレーム当りのビット量が過剰となる。そこで、本実施形態ではフレームレートの変更前後で１フレームに割り当てられるビット量が同等となるように、次式(1)に基づいて前記重み値wを求める。

w=fl／fs …(1)

例えば、標準フレームレートfsが30fps、低フレームレートflが6fps、標準ビットレートbsが1Mbpsであれば、1フレーム当たりのビット量は33Kとなる。このとき、1フレーム当たりに割り当てたビット量が十分な画像品質を確保できる値であった場合、標準ビットレートbsのままでフレームレートを30fps（fs）から6fps（fl）へ低下させると、1フレーム当たりのビット量が167Kと過剰になってしまう。そこで、本実施形態ではフレームレートを低下させる前後で1フレーム当たりのビット量が33Kに維持されるように、前記重み値wを求めるようにしている。

なお、正確には各フレームに符号量が等分されるのではなく、フレームに依存して異なる符号量が割り当てられるが、簡単のため、ここでは等分された場合を想定して説明している。

一方、前記ステップＳ４において、条件Hが成立していると判断されれば、「移行中」と判断されてステップＳ９へ進み、映像品質の低下を厭わずに符号量を減じるべく、移行中に最適な第２種低品質符号化用の符号化パラメータ(2)を設定する。

本実施形態では、フレームレートが低フレームレートflに変更される。また、低フレームレートflへの変更に伴うビットレートの低下に加えて、さらにフレーム画質の低下も厭わずに符号量を減じるべく、次式(2)に基づいて「移行中」用の低ビットレートblが求められる。なお、係数αは０＜α＜１である。

bl=α・ｗ・bs …(2)

ステップＳ１０では、動画像の伝送が終了したか否かが判定される。終了していなければステップＳ１へ戻り、次の出力データの入力を待って上記の各処理を繰り返す。

本実施形態によれば、作業者の頭部および腕部の動きを検知して、カメラ画像が重要画像、準重要画像および非重要画像のいずれであるかを判断するので、従来技術のように、画像解析を行って各画像を評価する場合に比べて、極めて低い処理負荷で、かつ正確な画像評価が可能となり、作業支援に影響を与えることなく符号量を減ぜられるようになる。

また、本実施形態では「注視中」と判断された場合は、作業者が作業対象を注視しており、かつ頭部や腕部の動きが少ないことから、支援者にとって重要画像に準ずる準重要画像と評価するようにしている。そして、準重要画像と評価されると、フレームレートを下げても実質の品質が低下せず、またビットレートを下げても１フレーム当たりの符号量を維持できることから、フレームレートおよびビットレートの双方を下げることで、実質の映像品質を低下させることなく符号量を減じることが可能になる。

図３は、本発明の第２実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、ジェスチャ認識を併用して符号化パラメータを決定し、あるいは他のコマンドを実行できるようにした点に特徴がある。

HMDの操作においては、ハンズフリー操作を実現するためにジェスチャによる操作が用いられることがある。その際、作業者の作業を邪魔しない動きで自然にジェスチャを行える仕組みが必要である。

ジェスチャ認識部１８は、ジェスチャの認識を開始する区切りの指定、およびジェスチャを認識するための各センサ１６，１７の出力データ系列を得る際の条件を、各センサ１６，１７の出力データ系列または前記「作業中」、「注視中」、「移行中」の判断結果に基づいて制御する。コマンド実行部１９は、前記認識結果に基づいて各種の制御を実行する。

図４は、本発明の第２実施形態において、符号化パラメータ決定部１５が各センサ１６，１７の出力データ系列に基づいて符号化パラメータを決定する手順を示したフローチャートであり、ステップＳ２１では、ジェスチャ認識の開始点となる出力データであるか否かを示すフラグflagにfalse（認識の開始点ではない）が初期値として登録される。さらに、ジェスチャ認識を行う際に用いる各センサの出力データ系列の長さが所定長となったか否かを判定するための値countが初期化（=0）される。

ステップＳ２２〜Ｓ３０では、前記ステップＳ１〜Ｓ９と同様の処理が実行され、作業者の状態が「作業中」、「注視中」、「移行中」のいずれであるかに応じて符号化パラメータが決定される。

ここで、ステップＳ２７において、前記条件Aが成立していない（注視中）と判断され、ステップＳ２８において前記第１種低品質符号化(1)が選択される。ステップＳ３１では、flagがtrue（認識の開始点である）とされてcountが初期化される。

このように、本実施形態ではジェスチャ認識を行う開始点として、作業者が「注視中」と判定されたタイミングを採用している。これは、作業中や移動中に動作を止めずジェスチャを行うことは考えられず、一旦動作を止めてからジェスチャの動作を実行することが経験的に認められるからである。

一方、ステップＳ２５において条件Hが成立している（移行中）と判断されるか、あるいはステップＳ２７において条件Hが成立している（作業中）と判断されると、それぞれステップＳ２９，Ｓ３０へ進んで対応する符号化パラメータを設定した後、ステップＳ３３へ進んでフラグflagの状態が判断される。

ここで、flagがtrueでなければジェスチャ認識の開始点が設定されていないので、ステップＳ３２へ進んで伝送終了の判定が行われる。これに対して、flagがtrueであれば、ジェスチャ認識の開始点かジェスチャ認識の途中の状態なので、ステップＳ３４へ進んでcountが１つ増加される。ステップＳ３５では、countが予め設定した閾値count_thに達したか否かが判定される。

このように、本実施形態ではflagがtrueの状態で「作業中」または「移行中」と判定されたた場合にcountが増加する。すなわち、頭部および腕部の動きが閾値以下の状態から、その後、頭部または腕部の動きが閾値を上回る状態が継続する限りcountが増加する。そして、countが閾値count_thを超えると、ステップＳ３６へ進んでジェスチャ認識が実行される。

図４の例では、ジェスチャ認識対象となるデータの区間の開始部分の判断について、状態が特定の変化を起こしたとき（「注視中」から、「作業中」または「移行中」のいずれかに変化した場合）とし、同区間の終了部分については、状態が「作業中」または「移行中」と連続して判断された回数が一定以上となった場合とした。このうち、区間の終了部分の判断については、「作業中」または「移行中」と判断された状態から「注視中」と判断された状態に変化したときを区切りとすることや、前述の2つの方法を組み合わせて利用することも好ましい。これにより、countがcount_thを超える前に終了した動作をジェスチャ認識の対象動作とすることができる。

ステップＳ３６では、ジェスチャ認識部１８が、countが0からcount_thを超えるまでの間に取得、蓄積された頭部動きセンサ１６および腕部動きセンサ１７の各出力データ系列を入力として、予め所定のジェスチャごとに各センサの出力データ系列を機械学習して構築された識別器にかける。この際、それらの値を直接入力しても良く、また平均や分散などの統計量に変換して入力しても良い。

ステップＳ３７では、前記認識結果が参照され、前記識別器により入力データ系列が特定のジェスチャが実行された際の値と判定されるとステップＳ３８へ進む。ステップＳ３８では、当該ジェスチャに予め対応付けられているコマンドが実行される。ステップＳ３９では、前記flagおよびcountが初期化される。

一方、前記ステップＳ３７において、予め定義されたジェスチャではない、すなわち入力データ系列がジェスチャではなく作業中の動きの一部であったと判断されると、コマンドを実行することなくステップＳ３９へ進む。

本実施形態では、前記ステップＳ３６で認識されるジェスチャとして、以下のようなジェスチャを想定している。例えば、現場作業における重要箇所での作業対象の状態確認、作業内容に関する確認は非常に重要であり、その確認に用いられる動作に、例えば指差し確認がある。

指差し確認では所定の場所に視線を移し、手を使って視線を向けた場所に指差しを行う。この指差し確認の動作を頭部および腕部のセンサデータから検出し、指差しが行われたタイミングの画像を、前記符号化パラメータ決定部１５による決定結果にかかわらず標準画質または低画質で支援者側へ送付するといったオプションが可能になる。

この際、カメラ１１がズーム機能を備えていれば、ズームした画像が伝送されるようにしても良い。このようにすれば、作業対象に細かな文字が含まれており、通常の指差し確認時の距離では視認が難しい場合でも視認の容易な画像を伝送することが可能になる。

また、カメラに関するズーム等の操作や映像伝送を行うソフトウェアのUIの操作にジェスチャを利用することも好ましい。その際に、現場作業に係る腕の動きと混同が生じない動作を利用する必要がある。例えば、３次元空間の特定方向に一定速度以上で手を振る動作や、片方の腕で他方の腕を所定の回数軽く叩くといった特異的な動作を用いることが望ましい。これにより映像伝送のパラメータ設定のみならず、カメラや映像伝送ソフトウェアの操作をハンズフリーで実現できるようになる。

さらに、スマートグラスやHMD上で何らか資料を閲覧する場合、頭部や腕部の動きが少なくなったり、操作のために腕部が多少動いたりする場合があり、認識される状態は「注視中」または「作業中」となる。

しかしながら、このような資料閲覧中は特定の対象物を撮影する必要はないと考えられるので、前記符号化パラメータ決定部１５による決定結果にかかわらず、符号化パラメータを、符号量が減ぜられるように設定変更しても良い。

さらに、支援者側で何らかの対応が行われている最中の待ち状態において、支援者側が意図的に符号量を減じるように設定した符号化パラメータを、作業者側で元の状態に戻すといった処理についてもジェスチャで指定できるようにしても良い。

本実施形態によれば、符号化パラメータを決定するために装備した頭部動きセンサ１６および腕部動きセンサ１７の出力データをジェスチャ認識にも利用し、認識結果に基づいて符号化パラメータの設定を含む様々なオプションを実現できる。その結果、作業者の必然的な動きに基づく符号化パラメータの設定のみならず、作業者の故意の動きに基づく符号化パラメータの設定等も可能になるので、符号化パラメータ設定の自由度や多様性が増加する。

図５は、本発明の第３実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。

本実施形態は、符号化パラメータの決定に際して、頭部の動きが小さい場合（条件Hが成立）のみ腕部の動きが問われる点に着目し、腕部動きセンサ１７のON／OFFを、頭部の動きに基づいて動的に切り換えることで電力消費量を抑制する節電部３１を設けた点に特徴がある。

図６は、本発明の第３実施形態において、符号化パラメータ決定部１５が各センサ１６，１７の出力データ系列に基づいて符号化パラメータを決定する手順を示したフローチャートである。

ステップＳ５１では、前記節電部３１により頭部動きセンサ１６のみがONにされ、腕部動きセンサ１７はOFFにされる。ステップＳ５２〜Ｓ５５では、前記ステップＳ１〜Ｓ４と同様の処理が実行される。

ステップＳ５５において、前記条件Hが成立していないと判断されると、ステップＳ５６へ進んで腕部動きセンサ１７がONであるか否かが判断され、ONであればステップＳ５７へ進み、OFFであればステップＳ５９へ進む。ステップＳ５７〜Ｓ６１では、前記ステップＳ５〜Ｓ９と同様の処理が実行される。

このとき、ステップＳ５８において、前記条件Aが成立していないために「注視中」と判断され、ステップＳ５９で低品質符号化(1)が選択されると、ステップＳ６２、Ｓ６３では、その後の「作業中」への移行を検出するために、腕部動きセンサ１７がONでなければ前記節電部３１によりONに切り替えられる。

また、ステップＳ５５において、前記条件Hが成立する（移行中）と判断され、ステップＳ６１で低品質符号化(2)が選択されると、その後は一旦動きを止めて「注視中」を経由するか、引き続き「移行中」を繰り返すことを想定し、ステップＳ６４、Ｓ６５において、腕部動きセンサがONであればOFFに切り替えられる。

なお、本実施形態では「移行中」から動作の停止を伴わずに「作業中」へ移行するケースを想定していないが、これは、重要な作業前は確認が必ず入ることから「注視中」を必ず経由するとの経験則に基づくものである。

なお、腕部動きセンサ１７の処理量を減じる方法は、上記のように電源をOFFにすること限定されるものではなく、出力データの出力周期を延ばして単位時間当たりの出力データの送信回数を減じることで処理量を減じるようにしても良い。

本実施形態によれば、頭部動きセンサ１６および腕部動きセンサ１７の各出力データ系列を用いて符号化パラメータを設定するにあたり、腕部動きセンサ１７を、その出力データ系列が符号化パラメータの設定指標となるまではOFF状態にするので、電力消費量を削減できるようになる。

図７は、支援者端末２０において、複数の作業者端末１０から伝送された複数の動画像の表示サイズおよび表示位置を、各動画像の符号量の相対的な大小関係から推定される重要度に応じて動的に変更する例を示した図であり、ここでは、２つの作業者端末から伝送される２つの動画像を一つのスクリーン上に表示する場合を例にして説明する。

支援者端末２０は、各作業者端末１０から伝送される動画像の重要度を、例えばそのフレームレートに基づいて判断できる。例えば、フレームレートが前記標準フレームレートfs相当であれば重要画像と判断し、それ未満であれば非重要画像と判断しても良い。

あるいはフレームレートに代えてビットレートを検出し、ビットレートが前記標準ビットレートbs相当であれば重要画像と判断し、それ未満であれば非重要画像と評価するようにしても良い。

あるいは、フレームレートと共にビットレートを検出し、両方または少なくとも一方が標準レート相当であれば重要画像と判断し、それ未満であれば非重要画像と評価するようにしても良い。

同図(a)は、映像Aが重要画像、映像Bが非重要画像の場合の表示例を示した図であり、映像Aがスクリーン上に全面表示され、映像Bはスクリーンの左下の位置に略1/4の大きさで重畳表示されている。映像Bの重畳位置は上記に限定されるものではなく、支援者が映像Bをマウス等でドラックすることで自由に変更することができる。

同図(b)は、映像A，Bのいずれもが重要画像またはいずれもが非重要画像の場合の表示例を示した図であり、スクリーン上の左半分の領域に映像A、右半分の領域に映像Bが、同一サイズで並列表示されている。

同図(c)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像Bがスクリーン上に全面表示され、映像Aはスクリーンの右下の位置に略1/4の大きさで重畳表示されている。映像Aの重畳位置は上記に限定されるものではなく、支援者が映像Aをマウス等でドラックすることで自由に変更することができる。

同図(d)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像A，Bが並列、かつ映像Bが映像Aよりも大きなサイズで表示されている。

なお、このように複数の動画像の表示サイズや表示位置をその重要度に応じて制御する技術は、伝送中の動画像をリアルタイムで表示する場合のみならず、予め受信されてサーバ等に記憶されている複数の動画像を同時に再生する場合にも同様に適用できる。

本実施形態によれば、重要画像を非重要画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。

なお、上記の第１、第２実施形態では、頭部の動きを検知するセンサ１６と腕部の動きを検知するセンサ１７とを別々に設けたが、本発明はこれのみに限定されるものではなく、一つの動きセンサのみで頭部および腕部の動きを別々に検知できるのであれば、当該一つの動きセンサのみであっても良い。

また、上記の実施形態では、作業者端末１０としてのHMDやメガネ構造のスマートグラスが、カメラ１１および頭部動きセンサ１６のみならず符号化機能（１２，１４，１５）や通信機能（１３）も全て装備するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、作業者端末１０がカメラ１１および頭部動きセンサ１６のみを装備し、その出力データを腕部動きセンサ１７の出力データと共にスマートフォンやタブレットなどの通信端末へ提供し、当該通信端末が各センサの出力データ系列に応じて決定した符号化パラメータでカメラ画像を符号化して送信するようにしても良い。

１０…作業者端末，１１…カメラ，１２…撮影動画像符号化部，１３…通信インタフェース，１４…動画像評価部，１５…符号化パラメータ決定部，１６…頭部動きセンサ，１７…腕部動きセンサ，１８…ジェスチャ認識部，１９…コマンド実行部，２０…支援者端末，３１…節電部

Claims (21)

1. 動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの作業者端末において、
   動画像を撮影するカメラと、
   前記動画像を符号化する符号化手段と、
   作業者の頭部および腕部の動きを検知する動きセンサと、
   前記動きセンサの出力データ系列に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備したことを特徴とする遠隔作業支援システムの作業者端末。
2. 前記動きセンサが、作業者の頭部の動きを検知する頭部動きセンサ、および作業者の腕部の動きを検知する腕部動きセンサを含むことを特徴とする請求項１に記載の遠隔作業支援システムの作業者端末。
3. 前記符号化パラメータ決定手段は、頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を上回っていると、標準品質用の符号化パラメータに決定することを特徴とする請求項１または２に記載の遠隔作業支援システムの作業者端末。
4. 前記符号化パラメータ決定手段は、頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を下回っていると、標準品質よりも符号量を少なくできる第１種低品質用の符号化パラメータに決定することを特徴とする請求項１ないし３のいずれかに記載の遠隔作業支援システムの作業者端末。
5. 前記符号化パラメータ決定手段は、頭部の動きが所定の第１閾値を上回っていると、標準品質よりも符号量を少なくできる第２種低品質用の符号化パラメータに決定することを特徴とする請求項１ないし４のいずれかに記載の遠隔作業支援システムの作業者端末。
6. 前記符号化パラメータ決定手段は、前記第１種低品質用の符号化パラメータとして、そのフレームレートを標準品質用のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように、そのビットレートを標準品質用のビットレートよりも低くすることを特徴とする請求項４に記載の遠隔作業支援システムの作業者端末。
7. 前記符号化パラメータが、ビットレート、空間解像度、時間解像度およびピクチャタイプの少なくとも一つであることを特徴とする請求項１ないし６のいずれかに記載の遠隔作業支援システムの作業者端末。
8. 所定の認識期間における前記動きセンサの出力データ系列に基づいて作業者のジェスチャを認識する手段と、
   前記認識されたジェスチャと予め対応付けられているコマンドを実行する手段とを具備し、
   前記所定の認識期間の始点が、前記頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を下回っていると判断されたタイミングであることを特徴とする請求項１ないし７のいずれかに記載の遠隔作業支援システムの作業者端末。
9. 前記認識期間は、前記頭部の動きが所定の第１閾値を上回るか、または腕部の動きが所定の第２閾値を上回る状態が継続している所定の時間長であることを特徴とする請求項８に記載の遠隔作業支援システムの作業者端末。
10. 前記腕部動きセンサの動作を制限して電力消費量を低減する節電手段を具備し、
    頭部の動きが所定の第１閾値を上回る限りは前記腕部動きセンサの動作を制限し、頭部の動きが前記第１閾値を下回ると前記制限を解除することを特徴とする請求項２に記載の遠隔作業支援システムの作業者端末。
11. 前記節電手段は、前記腕部動きセンサの電源をOFFにすることで、その動作を制限することを特徴とする請求項１０に記載の遠隔作業支援システムの作業者端末。
12. 前記節電手段は、前記腕部動きセンサの出力データの送信周期を長くすることで、その動作を制限することを特徴とする請求項１０に記載の遠隔作業支援システムの作業者端末。
13. 前記請求項１ないし１２のいずれかに記載の複数の作業者端末から伝送された複数の動画像を同一スクリーン上に表示する遠隔作業支援システムの支援者端末において、
    伝送された各動画像の符号量の相対的な大小関係を判断する手段と、
    相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備したことを特徴とする遠隔作業支援システムの支援者端末。
14. 前記表示制御手段は、相対的に符号量の大きい動画像を小さい動画像よりも大きく表示することを特徴とする請求項１３に記載の遠隔作業支援システムの支援者端末。
15. 前記表示制御手段は、相対的に符号量の大きい動画像の上に符号量の小さい動画像を重畳表示することを特徴とする請求項１４に記載の遠隔作業支援システムの支援者端末。
16. 前記表示制御手段は、符号量が同一の複数の動画像を並列表示することを特徴とする請求項１３ないし１５のいずれかに記載の遠隔作業支援システムの支援者端末。
17. 動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの映像伝送方法において、
    カメラで動画像を撮影し、
    動きセンサで作業者の頭部および腕部の動きを検知し、
    前記動きセンサの出力データ系列に基づいて動画像の符号化パラメータを決定し、
    前記動画像を前記符号化パラメータで符号化して支援者端末へ伝送することを特徴とする遠隔作業支援システムの映像伝送方法。
18. 前記動きセンサが、作業者の頭部の動きを検知する頭部動きセンサ、および作業者の腕部の動きを検知する腕部動きセンサを含むことを特徴とする請求項１７に記載の遠隔作業支援システムの映像伝送方法。
19. 頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を上回っていると、標準品質用の符号化パラメータに決定することを特徴とする請求項１７または１８に記載の遠隔作業支援システムの映像伝送方法。
20. 頭部の動きが所定の第１閾値を下回り、腕部の動きが所定の第２閾値を下回っていると、標準品質よりも符号量を少なくできる第１種低品質用の符号化パラメータに決定することを特徴とする請求項１７ないし１９のいずれかに記載の遠隔作業支援システムの映像伝送方法。
21. 頭部の動きが所定の第１閾値を上回っていると、標準品質より符号量を少なくできる第２種低品質用の符号化パラメータに決定することを特徴とする請求項１７ないし２０のいずれかに記載の遠隔作業支援システムの映像伝送方法。