JP6604256B2 - 情報処理端末、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理端末、情報処理方法、及びプログラムに関する。

スマートフォン又はタブレット等のスマート端末が普及し、業務において活用がされるようになっている。スマート端末には、通常、カメラ、マイク、スピーカ等が搭載されている。そこで、スマート端末が撮影した作業現場の画像を遠隔のオフィス等におけるＰＣ（Personal Computer）等と共有することが考えられる。そうすることで、オフィス等に所在する熟練者は、複数の作業現場のそれぞれにおける作業者の作業を遠隔的に支援することができる。その結果、数少ない熟練者の知識や経験等を、複数の作業現場に効率的に適用することができる。

従来、遠隔地間において画像や音声を共有するシステムとして、テレビ会議システムが知られている。斯かるテレビ会議システムの仕組みを、作業者が利用するスマート端末と、熟練者が利用するＰＣ（Personal Computer）等に利用することで、熟練者による遠隔支援のためのシステムを容易に構築可能であると考えられる。

特開２００６−１４０７４７号公報 特開２０１４−０４５４３８号公報 特開平０９−００９２２号公報

しかしながら、一般的に、テレビ会議システムでは、通信相手となる端末同士が同様の機種であり、また、同様のネットワーク環境において利用されることが想定されている。したがって、このようなテレビ会議システムは、作業現場の作業者が利用するスマート端末と、オフィス等において熟練者が利用するＰＣとの間でのコラボレーションについては十分に考慮されていない。

具体的には、作業現場におけるスマート端末は、３Ｇ、ＬＴＥ（Long Term Evolution）、又はＷｉ−Ｆｉ（登録商標）等の無線通信を使用することが多い。無線通信は、電波状況や時間帯によって利用可能な帯域の変動が大きく、有線通信に比べて遅延も大きい。その結果、音声の音切れが多く発生して、相手側で音声が聞き取りにくいという現象が発生する可能性が有る。

特に、画像を送りながら音声で対話が行われている状況では、音声の品質が悪いと熟練者による現場の状況の把握が困難となり、作業効率が悪化してしまう。

本発明は、画像と共に送信される音声の品質の低下を抑制することを目的とする。

一つの態様では、情報処理端末は、画像データを入力する画像入力部と、音声データを入力する音声入力部と、前記画像データを符号化する符号化部と、符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する送信部と、前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する推定部とを有し、前記符号化部は、前記推定値より小さい帯域に収まるように前記画像データを符号化する。

一側面として、画像と共に送信される音声の品質の低下を抑制することができる。

本発明の実施の形態における作業支援システムの構成例を示す図である。 本発明の実施の形態における作業者端末のハードウェア構成例を示す図である。 本発明の実施の形態における各装置の機能構成例を示す図である。 作業者の移動状態を説明するための図である。 本実施の形態における画像データの転送の制御方法を説明するための図である。 作業者端末が実行する処理手順の一例を説明するためのフローチャートである。 支援者端末が実行する処理手順の一例を説明するためのフローチャートである。 利用可能帯域の推定処理の一例を説明するための図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における作業支援システムの構成例を示す図である。図１において、作業支援システム１は、作業者端末１０及び支援者端末２０等を含む。作業者端末１０及び支援者端末２０は、ＩＰネットワークＮ１等を介して通信可能に接続される。

作業者端末１０は、作業者によって所持及び利用される端末である。例えば、スマートフォン又はタブレット端末等のスマート端末が、作業者端末１０として利用されてもよい。または、眼鏡型の端末や、作業者の頭部に固定されて作業者の視線の方向を撮影可能なウェアラブルな端末等が作業者端末１０として利用されてもよい。

作業者とは、作業現場において作業を行う者をいう。作業者端末１０は、作業の対象物等に関する画像（動画像）や、作業者の音声等を入力し、当該画像及び音声を、ネットワークＮ１を介して支援者端末２０に送信する。作業者端末１０は、また、支援者端末２０から送信される音声を出力する。なお、作業者端末１０は、３Ｇ、ＬＴＥ（Long Term Evolution）、又はＷｉ−Ｆｉ（登録商標）等による無線通信網Ｎ２を介してＩＰネットワークＮ１に接続される。

支援者端末２０は、支援者が利用する端末である。支援者とは、作業者端末１０から送信される画像や音声を視聴しつつ、作業者による作業を遠隔から支援する者をいう。支援者端末２０は、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等である。

なお、作業支援システム１には、複数の作業者端末１０と複数の支援者端末２０とが含まれてもよい。

図２は、本発明の実施の形態における作業者端末のハードウェア構成例を示す図である。図２の作業者端末１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、入力装置１０７、カメラ１０８、マイク１０９、スピーカ１１０、及び加速度センサ１１１を有する。

作業者端末１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って作業者端末１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、例えば、タッチパネル又はボタン等であり、様々な操作指示を入力させるために用いられる。

カメラ１０８は、例えば、デジタルビデオカメラであり、作業の対象物等の画像を撮影（入力）する。マイク１０９は、作業者の声等の音声を入力する。スピーカ１１０は、支援者端末２０から送信される音声信号に基づいて音声を出力する。加速度センサ１１１は、作業者端末１０の移動等に応じて発生する振動を検出する。

なお、支援者端末２０も、図２に示されるようなハードウェア構成を有していてもよい。但し、支援者端末２０は、カメラ１０８及び加速度センサ１１１を有していなくてもよい。

図３は、本発明の実施の形態における各装置の機能構成例を示す図である。図３において、作業者端末１０は、入出力制御部１２１、音声圧縮部１２２、音声送受信部１２３、音声再生部１２４、画像表示部１２５、表示画像取得部１２６、画像差分検出部１２７、画像圧縮部１２８、画像送信制御部１２９、無線通信制御部１３０、遅延検出部１３１、帯域推定部１３２、画質調整部１３３、及び移動状態判定部１３４等を有する。これら各部は、例えば、作業者端末１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

入出力制御部１２１は、カメラ１０８からの画像データ（映像データ）の入力の制御、マイク１０９からの音声データの入力の制御、及び音声データに基づくスピーカ１１０からの音声の出力の制御等を行う。

音声圧縮部１２２は、入出力制御部１２１によってマイク１０９から入力される音声データを圧縮（符号化）する。音声送受信部１２３は、音声圧縮部１２２によって符号化される音声データについて支援者端末２０への送信制御を行ったり、支援者端末２０から受信される音声データについて受信制御を行ったりする。音声再生部１２４は、音声送受信部１２３によって受信される音声データを再生（例えば、デコード）する。

画像表示部１２５は、カメラ１０８によって撮影され、入出力制御部１２１によって入力される画像データを表示装置１０６に表示する。

表示画像取得部１２６は、画面キャプチャにより、表示装置１０６に表示されている画像データを取得する。

画像差分検出部１２７は、表示画像取得部１２６によって取得される画像データについて、既に（例えば、前回の送信時に）支援者端末２０へ送信した画像データとの差分の範囲（以下、「差分画像」という。）を検出する。すなわち、公知の画面共有技術において利用されている差分画像のみを転送する技術が、本実施の形態においても利用される。当該技術の利用は必須の事項ではない。

画像圧縮部１２８は、差分画像を符号化（圧縮）する。画像送信制御部１２９は、符号化された差分画像について、支援者端末２０への送信を制御する。

無線通信制御部１３０は、音声データ及び画像データに関する無線通信を制御する。

遅延検出部１３１は、作業者端末１０と支援者端末２０との通信の遅延の発生を検出する。本実施の形態では、音声送受信部１２３が有する音声データの受信バッファを参照することで当該遅延の発生が検出される。例えば、受信予定の音声データの全てが受信されていない状態において受信バッファが空になった場合、遅延検出部１３１は、遅延の発生を検出する。受信予定の音声データのデータサイズは、例えば、当該音声データのヘッダを参照することで特定可能である。但し、他の方法によって通信の遅延が検出されてもよい。

帯域推定部１３２は、支援者端末２０との間の通信において、実際に利用可能な帯域を推定する。

画質調整部１３３は、支援者端末２０へ送信する差分画像の画質を調整する。本実施の形態において、「画質」にはフレームレート（ＦＰＳ）は含まれない。具体的には、「画質」は、フレームごとの画質をいい、符号化によって変化する属性である。

移動状態判定部１３４は、加速度センサ１１１によって検出される作業者端末１０の振動に基づいて、作業者の移動状態を判定する。例えば、移動ベクトル及び移動速度が移動状態を判定するためのパラメータとして算出される。移動状態判定部１３４は、これらのパラメータが所定の条件を満たすか否かに基づいて、作業者が作業対象を撮影中であるか否かを判定する。移動状態の詳細については後述される。なお、作業者端末１０は、作業者と共に移動する。したがって、作業者の移動状態は、作業者端末１０の移動状態と等価である。

一方、支援者端末２０は、入出力制御部２１、通信制御部２２、音声送受信部２３、差分画像受信部２４、及び画像表示部２５等を有する。これら各部は、支援者端末２０にインストールされた１以上のプログラムが、支援者端末２０のＣＰＵに実行させる処理により実現される。

入出力制御部２１は、支援者端末２０に接続されたマイクからの音声データの入力や、支援者端末２０に接続されたスピーカへの音声データの出力等を制御する。

通信制御部２２は、作業者端末１０との通信を制御する。

音声送受信部２３は、入出力制御部２１によって入力される音声データの作業者端末１０への送信や、作業者端末１０から送信される音声データの受信等を制御する。

差分画像受信部２４は、作業者端末１０から送信される画像データ（差分画像）の受信等を制御する。画像表示部２５は、作業者端末１０から送信される画像データの表示を制御する。

続いて、作業者端末１０の移動状態について説明する。図４は、作業者の移動状態を説明するための図である。図４には、作業者の移動状態が、状態Ａ、状態Ｂ、及び状態Ｃに分類されて示されている。

状態Ａは、作業者が点検対象の設備へ移動中の状態である。この場合、作業者端末１０の加速度センサ１１１によって検出される振動は、手振れ等による小刻みなものであり、平均移動ベクトルは小さくなる傾向に有る。

状態Ｂは、作業者が点検対象の設備へ到着し、点検箇所を探している状態である。この場合、作業者の視線方向の変化に応じた振動が加速度センサ１１１によって検出される。したがって、平均移動ベクトルは中程度の値となる傾向に有る。

なお、状態Ｂは、特に作業者端末１０がウェアラブルな端末である場合に顕著に現れる状態である。

状態Ｃは、作業者が点検箇所を撮影して、支援者による支援を仰いでいる状態である。作業者端末１０のカメラ１０８によって撮影可能な範囲は小さいため、撮影可能な範囲に対して広範囲である点検箇所の全体を撮影するために、作業者は、作業者端末１０を平行移動させる必要が有る。そのため、状態Ｃにおいて、平均移動ベクトルは大きくなる傾向に有る。

上記より明らかなように、作業者と支援者との間で対話が行われるのは、主に状態Ｃにおいてである。したがって、本実施の形態では、状態Ｃにおいて、作業者と支援者との間のコミュニケーションが円滑化されるようにするために、以下のような方針で制御が行われる。
（１）通信の遅延が検出されたら、画像データの転送量を低下させ、できるだけ音声データの帯域を確保する。
（２）画像データの転送量の低下は、フレームレートの低下ではなく、画質の低下によって実現する。
（３）但し、状態Ｃ以外の場合は、フレームレートの低下によって、画像データの転送量を低下させる。

上記において、（１）は、作業者と支援者とのコミュニケーションにおいて、画像（映像）よりも音声の方が重要であるという経験的事実に基づく。すなわち、音声がとぎれてしまうと、相手の意思を把握することができず対話が困難になってしまうが、画質の低下によって対話が困難になる可能性が低いからである。すなわち、対話によって、画質の低下を補うことが可能であるからである。また、画質の低下が一時的なものであれば、コミュニケーションに対する影響は小さいからである。

（２）は、ぼやけた映像よりも不自然な動きの映像の方が、支援に対する悪影響が大きいという経験的事実に基づく。すなわち、画像データの転送量を低下させるため、フレームレートを低下させると、再生される映像は、不自然な動きとなる。一方、画質を低下させると、再生される映像はぼやけたものとなるが、画像の動きは滑らかである。

（３）は、状態Ｃ以外では、支援者とのコミュニケーションの重要性は低く、フレームレートを低下させた方が、画像データの転送量の削減効果や、作業者端末１０のバッテリの消費量の削減効果が大きいからである。

したがって、本実施の形態では、図５に示されるように画像データの転送が制御される。図５は、本実施の形態における画像データの転送の制御方法を説明するための図である。図５において、曲線Ｌ１は、実際に利用可能な帯域を示す。曲線Ｌ２は、画像（映像）と音声との転送量を示す。曲線Ｌ３は、曲線Ｌ２が示す転送量のうち音声のみの転送量を示す。なお、図５では、画像の転送量と音声の転送量との比率は必ずしも正確ではない。

図５に示されるように、本実施の形態では、曲線Ｌ１が示す利用可能帯域が低下して、通信に遅延が発生すると、曲線Ｌ２が示す転送量が低下するが、曲線Ｌ１が示す転送量は、破線によって示されるように低下が抑制される。これは、利用可能帯域に収まるように画像の転送量が小さくされることを意味する。すなわち、画像の転送量が低下することで、音声の転送量については、矢印ａ１によって示されるように低下を抑制することができる。なお、画像の転送量の低下は、画質の低下によって実現される。

以下、作業者端末１０及び支援者端末２０が実行する処理手順について説明する。図６は、作業者端末が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、音声送受信部１２３及び画像送信制御部１２９は、支援者端末２０との通信を接続する。続いて、画像送信制御部１２９は、画像データのフレームレート（ＦＰＳ）の初期値を３０に設定する（Ｓ１０２）。なお、３０という値は一例である。また、初期値は、例えば、補助記憶装置１０２等に記憶されている。

続いて、入出力制御部１２１は、カメラ１０８を用いた撮影を開始する（Ｓ１０３）。その結果、カメラ１０８によって撮影された画像データが、入出力制御部１２１によって入力される。当該画像データは、画像表示部１２５によって表示装置１０６に表示される。

続いて、表示画像取得部１２６は、表示装置１０６について画面キャプチャを実行して、表示装置１０６に表示されている画像データを取得する（Ｓ１０４）。続いて、画像差分検出部１２７は、当該画像データと最後に送信された画像データとの差分画像を検出する。なお、画像データが未送信の場合、ステップＳ１０４において取得された画像データの全範囲が差分画像として検出される。差分画像の検出は、公知技術を用いて行うことができる。

続いて、音声入力が無ければ（Ｓ１０６でＮｏ）、画像圧縮部１２８は、差分画像を符号化（圧縮）する（Ｓ１０７）。この際、画像圧縮部１２８は、画質調整部１３３から指定された帯域（ビットレート）以下となるように、差分画像を符号化する。例えば、ＭＰＥＧ／Ｈ２６４などの動画コーデックのエンコードモードのうち、ＣＢＲ（Constant Bitrate）モードにて符号化を行うことで、指定された帯域となるように差分画像を符号化することができる。なお、当初は、予め初期値として設定されているデフォルトの帯域（ビットレート）が指定される。

続いて、画像送信制御部１２９は、符号化された差分画像を支援者端末２０へ送信する（Ｓ１０８）。続いて、帯域推定部１３２は、差分画像の送信に要した時間等に基づいて、利用可能帯域の推定処理を実行する（Ｓ１０９）。利用可能帯域の推定処理では、利用可能帯域の推定値が取得される。なお、利用可能帯域の推定処理の一例については後述される。

続いて、画像送信制御部１２９は、利用可能帯域の推定値に基づいて、フレームレートを変更する（Ｓ１１０）。例えば、利用可能帯域の推定値から所定値（例えば、音声データの送信に必要な高い帯域（例えば、１２８ｋｂｐｓ））を差し引くことにより得られる帯域内に画像データの送信量が収まるように、フレームレートが変更される。

ステップＳ１０４以降が刻々と繰り返されている過程において、作業者が支援者に対して話しかけたりする等により、入出力制御部１２１によってマイク１０９からの音声データが入力されると（Ｓ１０６でＹｅｓ）、ステップＳ１１１以降が実行される。

ステップＳ１１１において、移動状態判定部１３４は、加速度センサ１１１によって振動が検出されているか否かを判定する（Ｓ１１１）。振動が検出されていない場合（Ｓ１１１でＮｏ）、ステップＳ１０７以降が継続される。振動が検出されている場合（Ｓ１１１でＹｅｓ）、移動状態判定部１３４は、加速度センサ１１１による振動の検出値に基づいて、作業者端末１０の移動ベクトル（平均移動ベクトル）及び移動速度を算出する（Ｓ１１２）。続いて、移動状態判定部１３４は、算出された移動ベクトルが閾値α以上であり、かつ、算出された移動速度が閾値β（例えば、１０ｃｍ／秒）以上であるか否かを判定する（Ｓ１１３）。当該判定は、現在の移動状態が状態Ｃに該当するか否かの判定に相当する。

算出された移動ベクトルが閾値α未満である場合、又は算出された移動速度が閾値β（例えば、１０ｃｍ／秒）未満である場合、すなわち、移動状態が状態Ｃに該当しない場合（Ｓ１１３でＮｏ）、ステップＳ１０７以降が継続される。一方、算出された移動ベクトルが閾値α以上であり、かつ、算出された移動速度が閾値β以上である場合、すなわち、移動状態が状態Ｃに該当する場合（Ｓ１１３でＹｅｓ）、作業者端末１０と支援者端末２０との通信に関して、所定時間（例えば、５０ｍ秒）以上の遅延の発生が遅延検出部１３１によって検出されているか否かが判定される（Ｓ１１４）。

所定時間以上の遅延が発生していることが検出されている場合（Ｓ１１４でＹｅｓ）、画質調整部１３３は、最後に実行されたステップＳ１０９において算出された利用可能帯域の推定値に合わせて差分画像の画質を調整する（Ｓ１１５）。例えば、画質調整部１３３は、利用可能帯域の推定値から所定値（例えば、音声データの送信に必要な高い帯域（例えば、１２８ｋｂｐｓ））を差し引くことにより得られる帯域（ビットレート）を、画像圧縮部１２８に指定する。したがって、利用可能帯域が下がれば、画像圧縮部１２８に指定される帯域は下がり、利用可能帯域が上がれば、画像圧縮部１２８に指定される帯域は上がる。

一方、所定時間以上の遅延が発生していることが検出されていない場合（Ｓ１１４でＮｏ）、画質調整部１３３は、予め初期値として設定されたデフォルトの帯域（ビットレート）を画像圧縮部１２８に指定する（Ｓ１１６）。

ステップＳ１１５又はＳ１１６の実行後におけるステップＳ１０７において、画像圧縮部１２８は、最後に画質調整部１３３から指定された帯域以下となるように、差分画像を圧縮（符号化）する。

ステップＳ１０４以降が繰り返される過程において、例えば、作業者によって撮影の終了指示が入力されると（Ｓ１１７でＹｅｓ）、図６の処理は終了する。

図７は、支援者端末が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ２０１において、音声送受信部２３及び差分画像受信部２４は、作業者端末１０との通信を接続する。以降は、イベントが発生すると、そのイベントに応じた処理が実行される。

例えば、差分画像受信部２４によって差分画像が受信されると（Ｓ２０２でＹｅｓ）、画像表示部２５は、当該差分画像を現在の表示画像に反映させる（Ｓ２０３）。その結果、支援者は、作業者端末１０が撮影している画像を見ることができる。

また、音声送受信部２３によって音声データが受信されると（Ｓ２０４でＹｅｓ）、入出力制御部２１は、当該音声データを再生する（Ｓ２０５）。

また、入出力制御部２１が、音声データ（支援者の声）を入力すると（Ｓ２０６でＹｅｓ）、音声送受信部２３は、当該音声データを作業者端末１０へ送信する（Ｓ２０７）。その結果、支援者は、作業者に対して指示等を与えることができる。

続いて、図６のステップＳ１０９の詳細について説明する。図８は、利用可能帯域の推定処理の一例を説明するための図である。図８の内容は、特開２０１３−２３８９９３号公報における開示内容の概要を本実施の形態に当てはめたものである。

まず、作業者端末１０は、通信の開始時に作業者端末１０の送信時刻を支援者端末２０に送信する（Ｓ３１）。支援者端末２０は、当該送信時刻と受信時刻との時間差Δｔを算出する（Ｓ３２）。

なお、例えば、ステップＳ３１の前後において、作業者端末１０と支援者端末２０との間の通信遅延が計測される。当該通信遅延は、例えば、ｐｉｎｇコマンド等を用いて計測することができる。例えば、時間差Δｔから当該通信遅延を差し引くことで、作業者端末１０における時刻と、支援者端末２０における時刻との差（以下、「時刻差」という。）が算出される。

続いて、作業者端末１０は、画像データの送信時に、送信時刻を付加する（Ｓ３３）。支援者端末２０は、当該画像データを受信すると、付加されている送信時刻と受信時刻との時間差と、受信した画像データのデータサイズとに基づいて転送速度を算出する（Ｓ３４）。この際、時間差は、時刻差によって補正される。

ステップＳ３５においても同様に、作業者端末１０は、画像データの送信時に、送信時刻を付加する。支援者端末２０は、当該画像データを受信すると、ステップＳ３４において算出した転送速度と、受信された画像データのデータサイズとに基づいて、当該画像データの予想受信時刻を算出する（Ｓ３６）。続いて、支援者端末２０は、予想受信時刻が、実際の受信時刻よりも閾値を超えて遅いか否かを判定する（Ｓ３７）。

予想受信時刻が、実際の受信時刻よりも閾値を超えて遅い場合、支援者端末２０は、ステップＳ３５における送信時刻と実際の受信時刻とデータサイズとに基づいて求まる転送速度を利用可能帯域の推定値として作業者端末１０に通知する（Ｓ３８）。作業者端末１０の帯域推定部１３２は、当該推定値を受信する。

上述したように、本実施の形態によれば、利用可能帯域が推定され、当該利用可能帯域から音声データの送信に必要な帯域が差し引かれた帯域に収まるように画像データが符号化される。したがって、画像と共に送信される音声の品質の低下を抑制することができる。

その結果、作業者端末１０と支援者端末２０との間で画像及び音声を送受信する作業支援システム１において、作業者端末１０で撮影した画像を現場とオフィスとでリアルタイムに共有しながら、オフィスの支援者は、作業者による説明を的確に聞き取ることができる。

すなわち、現場の作業者とオフィス等の支援者との音声コミュニケーションの品質を維持して、作業者端末１０の処理能力不足による音切れなどを抑制できるので、スムーズなコミュニケーションが維持できる。

特に、作業者が現場で作業対象を撮影しながら点検業務を行っている場面で、音質及びフレームレートを維持しながら、画質を一時的に低下させることで、フレームレートの高い滑らかな画像と、音質の高い音声とを支援者に送信することで、支援者による遠隔支援がスムーズに行えるようになる。

なお、本実施の形態において、作業者端末１０は、情報処理端末の一例である。支援者端末２０は、情報処理装置の一例である。入出力制御部１２１は、画像入力部及び音声入力部の一例である。画像圧縮部１２８は、符号化部の一例である。画像送信制御部１２９及び音声送受信部１２３は、送信部の一例である。帯域推定部１３２は、推定部の一例である。遅延検出部１３１は、第１の検出部の一例である。移動状態判定部１３４は、判定部の一例である。加速度センサ１１１は、第２の検出部の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

以上の説明に関し、更に以下の項を開示する。
（付記１）
画像データを入力する画像入力部と、
音声データを入力する音声入力部と、
前記画像データを符号化する符号化部と、
符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する送信部と、
前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する推定部とを有し、
前記符号化部は、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする情報処理端末。
（付記２）
前記ネットワークを介した通信の遅延を検出する第１の検出部を有し、
前記符号化部は、前記遅延が検出された場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記１記載の情報処理端末。
（付記３）
前記情報処理端末の振動を検出する第２の検出部と、
検出された振動に基づいて、前記情報処理端末の移動状態を判定する判定部とを有し、
前記符号化部は、前記遅延が検出された場合であって、前記判定部によって判定された移動状態が所定の条件を満たす場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記２記載の情報処理端末。
（付記４）
画像データを入力する処理と、
音声データを入力する処理と、
前記画像データを符号化する処理と
符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する処理と、
前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する処理とを情報処理端末が実行し、
前記符号化する処理は、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする情報処理方法。
（付記５）
前記ネットワークを介した通信の遅延を検出する処理を前記情報処理端末が実行し、
前記符号化する処理は、前記遅延が検出された場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記４記載の情報処理方法。
（付記６）
前記情報処理端末の振動を検出する処理と、
検出された振動に基づいて、前記情報処理端末の移動状態を判定する処理とを前記情報処理端末が実行し、
前記符号化する処理は、前記遅延が検出された場合であって、前記判定する処理において判定された移動状態が所定の条件を満たす場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記５記載の情報処理方法。
（付記７）
画像データを入力する処理と、
音声データを入力する処理と、
前記画像データを符号化する処理と
符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する処理と、
前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する処理とを情報処理端末に実行させ、
前記符号化する処理は、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とするプログラム。
（付記８）
前記ネットワークを介した通信の遅延を検出する処理を前記情報処理端末に実行させ、
前記符号化する処理は、前記遅延が検出された場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記７記載のプログラム。
（付記９）
前記情報処理端末の振動を検出する処理と、
検出された振動に基づいて、前記情報処理端末の移動状態を判定する処理とを前記情報処理端末に実行させ、
前記符号化する処理は、前記遅延が検出された場合であって、前記判定する処理において判定された移動状態が所定の条件を満たす場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
ことを特徴とする付記８記載のプログラム。

１０ 作業者端末
２０ 支援者端末
２１ 入出力制御部
２２ 通信制御部
２３ 音声送受信部
２４ 差分画像受信部
２５ 画像表示部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
１０８ カメラ
１０９ マイク
１１０ スピーカ
１１１ 加速度センサ
１２１ 入出力制御部
１２２ 音声圧縮部
１２３ 音声送受信部
１２４ 音声再生部
１２５ 画像表示部
１２６ 表示画像取得部
１２７ 画像差分検出部
１２８ 画像圧縮部
１２９ 画像送信制御部
１３０ 無線通信制御部
１３１ 遅延検出部
１３２ 帯域推定部
１３３ 画質調整部
１３４ 移動状態判定部
Ｂ バス
Ｎ１ ＩＰネットワーク
Ｎ２ 無線通信網

Claims (5)

1. 情報処理端末であって、
   画像データを入力する画像入力部と、
   音声データを入力する音声入力部と、
   前記画像データを符号化する符号化部と、
   符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する送信部と、
   前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する推定部と、
   前記情報処理端末の振動を検出する第２の検出部と、
   検出された振動に基づいて、前記情報処理端末の移動状態を判定する判定部とを有し、
   前記符号化部は、前記判定部によって判定された移動状態が所定の条件を満たす場合には前記画像データの画質を変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化し、前記判定部によって判定された移動状態が所定の条件を満たさない場合には前記画像データのフレームレートを変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化する、
   ことを特徴とする情報処理端末。
2. 前記ネットワークを介した通信の遅延を検出する第１の検出部を有し、
   前記符号化部は、前記遅延が検出された場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
   ことを特徴とする請求項１記載の情報処理端末。
3. 前記符号化部は、前記遅延が検出された場合であって、前記判定部によって判定された移動状態が所定の条件を満たす場合に、前記推定値より小さい帯域に収まるように前記画像データを符号化する、
   ことを特徴とする請求項２記載の情報処理端末。
4. 情報処理端末が、
   画像データを入力する処理と、
   音声データを入力する処理と、
   前記画像データを符号化する処理と
   符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する処理と、
   前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する処理と、
   前記情報処理端末の振動を検出する処理と、
   検出された振動に基づいて、前記情報処理端末の移動状態を判定する処理とを実行し、
   前記符号化する処理は、前記判定する処理において判定された移動状態が所定の条件を満たす場合には前記画像データの画質を変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化し、前記判定する処理において判定された移動状態が所定の条件を満たさない場合には前記画像データのフレームレートを変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化する、
   ことを特徴とする情報処理方法。
5. 情報処理端末に、
   画像データを入力する処理と、
   音声データを入力する処理と、
   前記画像データを符号化する処理と
   符号化された前記画像データと前記音声データとをネットワークを介して接続される情報処理装置に送信する処理と、
   前記ネットワークにおいて前記画像データ及び前記音声データの送信に利用可能な帯域の推定値を取得する処理と、
   前記情報処理端末の振動を検出する処理と、
   検出された振動に基づいて、前記情報処理端末の移動状態を判定する処理とを実行させ、
   前記符号化する処理は、前記判定する処理において判定された移動状態が所定の条件を満たす場合には前記画像データの画質を変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化し、前記判定する処理において判定された移動状態が所定の条件を満たさない場合には前記画像データのフレームレートを変更することで前記推定値より小さい帯域に収まるように前記画像データを符号化する、
   ことを特徴とするプログラム。

Images