JP6660869B2 - Remote work support system and worker terminal - Google Patents
Remote work support system and worker terminal Download PDFInfo
- Publication number
- JP6660869B2 JP6660869B2 JP2016223968A JP2016223968A JP6660869B2 JP 6660869 B2 JP6660869 B2 JP 6660869B2 JP 2016223968 A JP2016223968 A JP 2016223968A JP 2016223968 A JP2016223968 A JP 2016223968A JP 6660869 B2 JP6660869 B2 JP 6660869B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- important
- support system
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、遠隔作業支援システムおよびその作業者端末に係り、特に、支援者による作業支援に有益ではない非重要画像は、支援者による作業支援に有益な重要画像よりも、その映像品質を低下させて作業者端末から支援者端末へ伝送することにより、作業支援に実質の影響を及ぼすことなく作業支援に要するデータ総量を減ぜられる遠隔作業支援システムおよびその作業者端末を提供することにある。
The present invention relates to a remote work support system and a worker terminal thereof , and in particular, non-important images that are not useful for work support by a supporter have lower image quality than important images that are useful for work support by a supporter. The present invention provides a remote work support system capable of reducing the total amount of data required for work support without substantially affecting work support by transmitting data from the worker terminal to the supporter terminal, and a worker terminal thereof. .
従来、ネットワーク経由で映像・音声データをリアルタイムに伝送するシステムにおいて、データを受信する側の映像視聴者が、映像内容を視認しやすくする技術が、特許文献１に開示されている。この技術によれば、小さく揺れ動き視認しづらい映像に関して、揺れの影響を抑えて表示することで映像を視認しやすくできる。 2. Description of the Related Art Conventionally, in a system for transmitting video / audio data in real time via a network, Japanese Patent Application Laid-Open Publication No. H10-163873 discloses a technique that makes it easy for a video viewer on the data receiving side to visually recognize the video content. According to this technology, it is possible to easily recognize the image by suppressing the influence of the fluctuation on the image which is difficult to visually recognize due to the small swing motion.
具体的な処理として、フレーム間差分などにより映像内の動き変化量を算出し、動き変化量が大きいときは高フレームレートで伝送し、動き変化量が小さいときは間引きを行った低フレームレートで伝送を行うようにしている。 As specific processing, the amount of motion change in the video is calculated from the inter-frame difference, etc., and when the amount of motion change is large, transmission is performed at a high frame rate, and when the amount of motion change is small, thinning is performed at a low frame rate. Transmission is performed.
また、ネットワーク経由で映像・音声データをリアルタイムに伝送するシステムにおいて、頭部装着式のカメラで映像を撮影する構成では、映像に大きなブレが生じた際に映像内容を視聴しやすくする技術が特許文献２に開示されている。この技術によれば、頭部が高速に動いたことが前記カメラに付属のセンサで検知されるとフレームレートが減ぜられる。 Also, in a system that transmits video and audio data in real time via a network, a technology that makes it easy to view the video contents when a large blurring occurs in the video in the configuration that captures the video with a head-mounted camera is patented. It is disclosed in reference 2. According to this technique, the frame rate is reduced when the head moving at high speed is detected by a sensor attached to the camera.
昨今、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介した映像伝送が用いられるようになってきている。例えば、現場作業の用途として、現場作業者が所持する端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。 In recent years, with the spread of terminals such as smartphones and tablets, video transmission via a network has been used between terminals that are geographically separated. For example, as a use for site work, a video taken by a terminal carried by the site worker can be transmitted to a remote work manager in real time.
このような用途を想定した場合、遠隔の作業管理者は、送られた映像を見ることによって、現場の状況や現場作業者の作業の様子を確認したり、作業の結果を確認したりすることが目的となる。このため、現場作業者が重要な作業を行っている最中であるか否か、あるいは作業の対象となる機器などの対象物を映しており、かつ同対象物に対して何らかの確認を行うべき段階であるか否か等によって、伝送された映像が視認しやすい映像であるべきか否かが異なってくる。 Assuming such use, the remote work manager should check the status of the site, the state of the work of the site worker, and the result of the work by watching the sent video. Is the purpose. For this reason, it is necessary to check whether or not the on-site worker is performing important work, or to check the target object such as the equipment to be worked on. Whether or not the transmitted image should be a visually recognizable image depends on whether or not it is the stage.
一方、スマートフォンやタブレット等のモバイル端末で用いられる通信では、ネットワークへの負荷を抑えられるように、高速通信の通信量に一定の制限を課するサービスが多い。このような通信の制限を考慮し、映像伝送において、ネットワーク帯域に空きがある場合でもデータの通信量を抑えるための処理が求められる。 On the other hand, in communication used in mobile terminals such as smartphones and tablets, there are many services that impose a certain limit on the communication amount of high-speed communication so as to reduce the load on the network. In consideration of such communication restrictions, in video transmission, processing for suppressing the amount of data communication is required even when there is a vacancy in a network band.
すなわち、それらを考慮すると、現場作業における重要な箇所での映像伝送と、現場作業における重要でない箇所の映像伝送とでは、前者により多くのデータ量を割り当て、後者に割り当てるデータ量を削減することによって、データ通信量を抑えることが求められる。 In other words, considering these factors, by assigning a larger amount of data to the former and reducing the amount of data to be assigned to the latter, between video transmission at important places in field work and video transmission at unimportant places in field work. Therefore, it is required to reduce the amount of data communication.
しかしながら、特許文献１の技術は、映像の内容を考慮せずに動きの総量が小さい場合のみフレームレートを間引くという判断を行っている。しかしながら、発明者等の考察の結果、作業支援用の動画像を対象とした場合には、作業管理者が参照することを要しない動画像ほど動きの総量が多いことが確認されている。したがって、特許文献１の技術を作業支援用の動画像の伝送技術に適用してしまうと、作業管理者に必要とされない動画像の大部分が高品質で伝送されてしまうという技術課題があった。 However, the technique of Patent Literature 1 determines that the frame rate is reduced only when the total amount of motion is small without considering the content of the video. However, as a result of considerations by the inventors, it has been confirmed that, when a moving image for work support is targeted, a moving image that does not require the work manager to refer to has a larger total amount of movement. Therefore, if the technique of Patent Document 1 is applied to a technique for transmitting a moving image for work support, there is a technical problem that most of the moving images not required by the work manager are transmitted with high quality. .
特許文献２では、頭部の動きを角速度のみで判定している（頷きや頭を左右に振ったりする動作のみを想定している）ため、例えば、作業者が立ち上がったりしゃがんだりする動きや、作業者が移動している最中など、頭部が回転はしないがある一定速度以上で動く場合にはフレームレートを間引く処理が行われない。 In Patent Literature 2, the movement of the head is determined only by the angular velocity (only the operation of nodding and shaking the head left and right is assumed), and therefore, for example, the movement of the worker standing up or squatting, When the head does not rotate but moves at a certain speed or higher, such as while the worker is moving, the process of thinning out the frame rate is not performed.
また、特許文献１、２のいずれでも、データ通信量を抑えるためにフレームレートの間引きしか行っておらず、ビットレートを含む他のパラメータは考慮されていない。 Further, in each of Patent Documents 1 and 2, only frame rate thinning is performed to suppress the amount of data communication, and other parameters including the bit rate are not considered.
本発明の目的は、上記に技術課題を解決し、作業支援者が作業支援に不要な動画像の映像品質を優先的に低下させることにより、作業支援に影響を与えることなく、作業支援に要するデータ通信量を削減できる遠隔作業支援システムおよびその作業者端末を提供することにある。
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned technical problems, and to reduce the video quality of a moving image unnecessary for the work support by a work supporter, so that the work support is required without affecting the work support. An object of the present invention is to provide a remote work support system capable of reducing the amount of data communication and a worker terminal thereof .
上記の目的を達成するために、本発明は、動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの作業者端末／支援者端末において、以下の構成を具備した点に特徴がある。 In order to achieve the above object, the present invention is characterized in that a worker terminal / supporter terminal of a remote work support system that encodes a moving image and transmits the encoded video to the supporter terminal has the following configuration. .
(1) 本発明の作業者端末は、動画像を撮影するカメラと、前記動画像を符号化する符号化手段と、前記動画像が、その映像フレームの一部の領域が他の一部の領域よりも大きく動く重要画像であるか否かを評価する評価手段と、前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、符号化パラメータ決定手段は、重要画像以外の画像の符号量が重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定するようにした。 (1) The worker terminal of the present invention includes a camera that captures a moving image, an encoding unit that encodes the moving image, and the moving image, wherein a part of a region of a video frame is another part. An evaluation unit that evaluates whether or not the image is an important image that moves larger than an area; and a coding parameter determination unit that determines a coding parameter of the coding unit based on the evaluation result. The means determines the coding parameter such that the code amount of the image other than the important image is smaller than the code amount of the important image.
(2) 評価手段が、動画像のローカルモーションを推定するローカルモーション推定手段を具備し、ローカルモーションが所定の閾値を上回る動画像を重要画像と評価するようにした。 (2) The evaluating means includes a local motion estimating means for estimating a local motion of the moving image, and a moving image whose local motion exceeds a predetermined threshold value is evaluated as an important image.
(3) 評価手段が、動画像のローカルモーションを推定するローカルモーション推定手段と、動画像のグローバルモーションを推定するグローバルモーション推定手段とを具備し、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を上回る動画像を重要画像と評価するようにした。 (3) The evaluation means includes local motion estimation means for estimating a local motion of the moving image, and global motion estimating means for estimating a global motion of the moving image, wherein the global motion is lower than a first threshold and A moving image whose motion exceeds a second threshold is evaluated as an important image.
(4) 評価手段は、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を下回る動画像を準重要画像と評価し、前記符号化パラメータ決定手段は、準重要画像の符号量が重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定するようにした。 (4) The evaluation means evaluates a moving image in which the global motion is lower than the first threshold value and the local motion is lower than the second threshold value as a quasi-important image, and the coding parameter determining means determines a code of the quasi-important image. The coding parameter is determined such that the amount is reduced below the code amount of the important image.
(5) 符号化パラメータ決定手段は、準重要画像のフレームレートを重要画像のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように準重要画像のビットレートを重要画像のビットレートよりも低くするようにした。 (5) The encoding parameter determination means sets the frame rate of the quasi-important image lower than the frame rate of the important image, and sets the bit rate per frame to be equal before and after the change of the frame rate. The bit rate is made lower than the bit rate of the important image.
(6) 符号化パラメータ決定手段は、評価手段により同一の評価が所定時間継続したことを条件に、当該評価結果に応じた符号化パラメータを決定するようにした。 (6) The coding parameter determining means determines the coding parameter according to the evaluation result on condition that the same evaluation is continued for a predetermined time by the evaluating means.
(7) 本発明の支援者端末は、複数の作業者端末から伝送された各動画像の符号量の相対的な大小関係を判断する手段と、相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備した。 (7) The supporter terminal of the present invention is a means for determining the relative magnitude relation of the code amount of each moving image transmitted from a plurality of worker terminals, and a moving image having a relatively large code amount Display control means for displaying the image with priority over the image.
(8) 本発明の支援者端末は、伝送された動画像の再生フレームレートを、重要画像および当該重要画像よりもフレームレートの低い重要画像以外の画像のいずれであるかにかかわらず同一とし、例えば重要画像のフレームレートで再生するようにした。 (8) The supporter terminal of the present invention sets the playback frame rate of the transmitted moving image to be the same regardless of whether the image is an important image or an image other than an important image having a lower frame rate than the important image, For example, playback is performed at the frame rate of an important image.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1) 作業対象を注視しながら手作業している作業者の視野画像のように、作業支援者にとっての重要画像を、その映像の一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かに基づいて評価するので、専用の物理的なセンサ等を追加することなく動画像の評価が可能になる。 (1) An important image for the work supporter, such as a visual field image of a worker who is performing manual work while gazing at the work target, is a method in which the amount of change in the motion of one region of the image is changed by the amount of change in the motion of another region. Since the evaluation is performed based on whether or not the amount is larger than the amount, it is possible to evaluate the moving image without adding a dedicated physical sensor or the like.
(2) 動画像を、それが重要画像であれば映像品質が相対的に高く、非重要画像であれば映像品質が相対的に低くなるように符号化パラメータを動的に変更するので、符号量が大きくなる映像期間を、高品質が要求される重要画像の表示期間のみに制限できるようになる。 (2) The coding parameter is dynamically changed so that the video quality is relatively high if the video is important, and the video quality is relatively low if the video is not important. The video period in which the amount becomes large can be limited to only the display period of an important image requiring high quality.
(3) 動画像の一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かを、グローバルモーションやローカルモーションの推定結果に基づいて評価するようにしたので、重要画像の評価プロセスを汎用のアルゴリズムを用いて構築できるようになる。 (3) Whether the amount of change in motion in some areas of the moving image is greater than the amount of change in motion in other areas is evaluated based on the estimation results of global motion and local motion. Can be constructed using a general-purpose algorithm.
(4) 作業者が作業対象を注視していると推定される準重要画像については、フレームレートを低下させて符号量を減じると共に、1フレーム当たりのビット量がフレームレートの変更前後で同等になるようにビットレートも減じるので、支援者の主観品質を低下させることなく総データ量を減ぜられるようになる。 (4) For quasi-important images that are presumed that the worker is gazing at the work target, the frame rate is reduced to reduce the amount of code, and the number of bits per frame is the same before and after the frame rate is changed. Since the bit rate is also reduced, the total data amount can be reduced without lowering the subjective quality of the supporter.
(5) 本発明の支援者端末によれば、重要画像をそれ以外の画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。 (5) According to the supporter terminal of the present invention, the important image can be displayed in a larger size than the other images, so that the supporter can easily work.
(6) 本発明の支援者端末によれば、標準フレームレートの重要画像もそれ以外の画像も再生フレームレートを同一とされるので、重要画像以外は再生時間を自動的に短縮でき、全体の再生時間が短縮されて効率的な作業支援が可能になる。 (6) According to the supporter terminal of the present invention, since the important image at the standard frame rate and the other images have the same reproduction frame rate, the reproduction time can be automatically shortened for the non-important images. Reproduction time is shortened, and efficient work support becomes possible.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図であり、作業支援を受ける作業者が使用する作業者端末１０と、この作業者端末１０から伝送される動画像に基づいて作業者を支援する支援者が使用する支援者端末２０とを、インターネット等のネットワーク経由で接続して構成される。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing a configuration of a remote work support system according to an embodiment of the present invention. And a supporter terminal 20 used by a supporter who supports the worker based on the moving image, via a network such as the Internet.
作業者端末１０は、例えば作業者が頭に装着するヘッドマウントディスプレイ（HMD）またはメガネ構造のスマートグラスであり、作業者の視線方向を撮影するカメラ１１を備える。撮影動画像符号化部１２は、例えばH.264などの符号化圧縮方式を採用し、カメラ１１が出力する動画像を、後述する符号化パラメータ決定部１５が決定した符号化パラメータ、例えば符号化ビットレート、空間解像度（VGA、QVGA、CIF、QCIF等）、時間解像度（フレームレート）およびピクチャタイプ（Iフレーム，Pフレーム，Bフレーム）に基づいて符号化する。 The worker terminal 10 is, for example, a head-mounted display (HMD) worn by the worker on the head or a smart glass having a glasses structure, and includes a camera 11 for photographing the gaze direction of the worker. The photographed moving image encoding unit 12 adopts an encoding compression method such as H.264, and converts a moving image output by the camera 11 into an encoding parameter determined by an encoding parameter determination unit 15 described later, for example, encoding. Encoding is performed based on the bit rate, spatial resolution (VGA, QVGA, CIF, QCIF, etc.), temporal resolution (frame rate), and picture type (I frame, P frame, B frame).
通信インタフェース１３は、符号化圧縮された動画像をインターネット経由で支援者端末２０へ伝送する。動画像評価部１４は、動画像をその映像フレームの時系列変化に基づいて評価する。本実施形態では、各映像フレームを複数のブロックに分割し、時間的に前後するフレーム間での動きベクトルをブロック単位で計算する。そして、この動きベクトルの特徴に基づいて、映像フレームの一部の領域が他の領域よりも大きく変化する動画像を重要画像として評価する。なお、図１では動画像評価部１４はカメラ１１からの入力画像を評価する形で記載したが、撮影動画像符号化部１２が符号化の際に求めた動きベクトルの情報を評価に用いても良い。 The communication interface 13 transmits the encoded and compressed moving image to the supporter terminal 20 via the Internet. The moving image evaluation unit 14 evaluates a moving image based on a time-series change of the video frame. In the present embodiment, each video frame is divided into a plurality of blocks, and a motion vector between temporally preceding and succeeding frames is calculated for each block. Then, based on the feature of the motion vector, a moving image in which a part of a video frame changes more than other areas is evaluated as an important image. In FIG. 1, the moving image evaluation unit 14 evaluates an input image from the camera 11, but uses the information of the motion vector obtained by the captured moving image encoding unit 12 at the time of encoding for evaluation. Is also good.
符号化パラメータ決定部１５は、前記動画像評価部１４による評価結果に基づいて、重要画像以外の画像（非重要画像）の映像品質が、重要画像の映像品質よりも相対的に低くなる、換言すれば、非重要画像の符号量が重要画像の符号量よりも少なくなるように符号化パラメータを動的に決定し、これを撮影動画像符号化部１２に適用する。 The coding parameter determination unit 15 determines that the video quality of an image other than the important image (insignificant image) is relatively lower than the video quality of the important image based on the evaluation result by the moving image evaluation unit 14. Then, the encoding parameter is dynamically determined so that the code amount of the non-important image is smaller than the code amount of the important image, and the determined parameter is applied to the captured moving image encoding unit 12.
作業者と支援者との間での作業支援に係る通話や音声メッセージの送受は、作業者端末１０および支援者端末２０に実装された機能（図示省略）により実現しても良いし、あるいは当該システムとは独立した各自の通話端末を用いて実現するようにしても良い。 The communication and voice message transmission / reception relating to the work support between the worker and the supporter may be realized by a function (not shown) mounted on the worker terminal 10 and the supporter terminal 20, or You may make it implement | achieve using each telephone terminal independent of the system.
本実施形態によれば、映像フレーム上の一部の領域が他の領域よりも大きく動く動画像は、例えば作業対象を注視しながら手作業している作業者の視野画像のように、支援者にとって重要な重要画像とみなす一方、それ以外は非重要画像とみなして、その符号量が減ぜられる符号化パラメータを採用するので、作業支援に支障を来すことなく動画像のデータ総量を減じることができる。 According to the present embodiment, a moving image in which a part of a region on a video frame moves more than another region is, for example, a supporter, such as a visual field image of a worker who is performing manual work while gazing at a work target. Is regarded as an important image, while the others are regarded as non-important images, and the coding parameters for reducing the code amount are employed. Therefore, the total amount of moving image data is reduced without hindering work support. be able to.
図２は、本発明の第２実施形態に係る遠隔作業支援システムの主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表すので、その説明は省略する。 FIG. 2 is a functional block diagram showing a configuration of a main part of a remote work support system according to a second embodiment of the present invention. The same reference numerals as those described above denote the same or equivalent parts, and a description thereof will not be repeated. .
本実施形態では、前記動画像評価部１４がローカルモーション推定部１４ａを備え、所定の閾値を超えるローカルモーションが検知されると、これを重要画像と評価するようにした点に特徴がある。 The present embodiment is characterized in that the moving image evaluation unit 14 includes a local motion estimation unit 14a, and when a local motion exceeding a predetermined threshold is detected, this is evaluated as an important image.
前記ローカルモーション推定部１４ａは、各映像フレームを複数のブロックに分割し、時間的に前後するフレーム間／フィールド間での動きベクトルまたはオプティカルフローをブロック単位で計算する。そして、一部のブロックで所定の閾値を超える動き変化が検知されているか否かに基づいてローカルモーションを推定する。 The local motion estimating unit 14a divides each video frame into a plurality of blocks, and calculates a motion vector or an optical flow between temporally preceding and succeeding frames / fields on a block basis. Then, a local motion is estimated based on whether a motion change exceeding a predetermined threshold is detected in some blocks.
本実施形態によれば、ローカルモーションが検知されると、その動画像を映像フレーム上の一部の領域が他の領域よりも大きく動く重要画像とみなすので、ローカルモーションを推定する汎用のアルゴリズムを用いて重要画像を評価できるようになる。 According to the present embodiment, when a local motion is detected, the moving image is regarded as an important image in which some regions on the video frame move larger than other regions. Can be used to evaluate important images.
図３は、本発明の第３実施形態に係る遠隔作業支援システムの主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表すので、その説明は省略する。 FIG. 3 is a functional block diagram showing a configuration of a main part of a remote work support system according to a third embodiment of the present invention. The same reference numerals as those described above denote the same or equivalent parts, and a description thereof will not be repeated. .
本実施形態では、前記動画像評価部１４がローカルモーション推定部１４ａおよびグローバルモーション推定部１４ｂを備え、ローカルモーションおよびグローバルモーションの推定結果に基づいて動画像を評価するようにした点に特徴がある The present embodiment is characterized in that the video evaluation unit 14 includes a local motion estimation unit 14a and a global motion estimation unit 14b, and evaluates a video based on the estimation results of the local motion and the global motion.
グローバルモーションは、カメラのブレやパン・チルト・ズーム・ロールなどといった動きによって生じるものであり、前記グローバルモーション推定部１４ｂは、動画像の各フレーム間で画面全体での動きの変化（大きさと方向）を計測してグローバルモーションの向き及び大きさを推定する。 The global motion is caused by motion such as camera shake, pan / tilt / zoom / roll, and the global motion estimating unit 14b changes the motion (size and direction) of the entire screen between frames of the moving image. ) Is measured to estimate the direction and magnitude of the global motion.
図４は、第３実施形態において、前記符号化パラメータ決定部１５がグローバルモーションおよびローカルモーションの推定結果に応じて符号化パラメータを決定する手順を示したフローチャートであり、ここでは、符号化パラメータとしてフレームレートおよびビットレートを２段階（標準、低）のいずれかに決定する場合を例にして説明する。 FIG. 4 is a flowchart illustrating a procedure in which the coding parameter determination unit 15 determines a coding parameter according to the estimation result of the global motion and the local motion in the third embodiment. An example will be described in which the frame rate and the bit rate are determined in one of two levels (standard or low).
ステップＳ１では、時間的に前後する２つのフレーム（前回フレームf-1と今回フレームf）のフレーム間差分Dfが所定の閾値Dref以上であるか否かが判断される。例えば、作業者が次の作業対象の位置へ移行する場合などはフレーム間差分Dfが閾値Drefを超えるので、このような場合は、「移行中」の非重要画像と評価して後述するステップＳ８へ進む。 In step S1, it is determined whether or not the inter-frame difference Df between two temporally preceding and succeeding frames (previous frame f-1 and current frame f) is equal to or greater than a predetermined threshold value Dref. For example, when the worker moves to the next work target position, the inter-frame difference Df exceeds the threshold value Dref. In such a case, the image is evaluated as a “migrating” non-important image and a step S8 to be described later is performed. Proceed to.
これに対して、フレーム間差分Dfが所定の閾値Dref未満であればステップＳ２へ進み、各映像フレームの時系列変化に基づいて、前記グローバルモーション推定部１４ｂによりグローバルモーションGMが算出される。グローバルモーションGMは、ブロックごとに動きベクトルを求め、その平均値を求めるなどして全体の動きを代表するベクトルを計算することで求められる。ステップＳ３では、グローバルモーションGMが所定の閾値GMrefを超えているか否かが判断される。 On the other hand, if the inter-frame difference Df is less than the predetermined threshold Dref, the process proceeds to step S2, and the global motion GM is calculated by the global motion estimating unit 14b based on the time-series change of each video frame. The global motion GM is obtained by calculating a motion vector for each block, calculating an average value of the motion vectors, and calculating a vector representing the entire motion. In step S3, it is determined whether or not the global motion GM exceeds a predetermined threshold GMref.
本実施形態では、グローバルモーションGMが次式(1)で与えられる閾値GMref以上であるか否かが判断される。ただし、fsは標準のフレームレート、f(t)は評価タイミングtにおけるフレームレート、mは所定の重み値である。
In the present embodiment, it is determined whether or not the global motion GM is equal to or greater than a threshold GMref given by the following equation (1). Here, fs is a standard frame rate, f (t) is a frame rate at the evaluation timing t, and m is a predetermined weight value.
GMref=m×fs／f(t) …(1)
GMref = m × fs / f (t)… (1)
グローバルモーションGMが所定の閾値GMref以上であれば、図5(a)，(b)に示したように、パン[図５(a)]やズーム[図５(b)]といった、視野を「移行中」の非重要画像と評価して前記ステップＳ８へ進む。 If the global motion GM is equal to or larger than the predetermined threshold GMref, as shown in FIGS. 5 (a) and 5 (b), the visual field such as pan [FIG. 5 (a)] and zoom [FIG. The image is evaluated as a “important” non-important image and the process proceeds to step S8.
これに対して、グローバルモーションGMが所定の閾値GMrefを下回っていればステップＳ４へ進み、前記ローカルモーション推定部１４ａによりローカルモーションLMが算出される。ステップＳ５では、ローカルモーションLMが所定の閾値LMrefを超えているか否かが判断される。 On the other hand, if the global motion GM is lower than the predetermined threshold GMref, the process proceeds to step S4, where the local motion estimating unit 14a calculates the local motion LM. In step S5, it is determined whether or not the local motion LM has exceeded a predetermined threshold LMref.
ローカルモーションLMが所定の閾値LMref以上であれば、映像フレーム上の一部の領域が他の領域よりも大きく動く「作業中」の重要画像[図５(c)]と評価してステップＳ６へ進む。ステップＳ６では、フレームレートおよびビットレートとして、いずれも標準値fs，bsが採用される。 If the local motion LM is equal to or greater than the predetermined threshold LMref, a part of the area on the video frame moves larger than the other areas and is evaluated as an important image “working” [FIG. move on. In step S6, the standard values fs and bs are both used as the frame rate and the bit rate.
これに対して、前記ステップＳ５において、ローカルモーションLMが所定の閾値LMref未満と判断されると、現在の映像を作業者が作業対象を「注視中」の準重要画像と判断してステップＳ７へ進む。ステップＳ７では、注視中に最適な符号化パラメータが求められる。本実施形態では、フレームレートとして低品質値flが採用され、ビットレートとして、その標準値bsに所定の重み値wを乗じた値w・bsが採用される。 On the other hand, if it is determined in step S5 that the local motion LM is less than the predetermined threshold LMref, the operator determines that the current video is a quasi-important image in which the work target is "attentively watching" and proceeds to step S7. move on. In step S7, an optimal encoding parameter is determined during the gaze. In the present embodiment, a low quality value fl is adopted as the frame rate, and a value w · bs obtained by multiplying the standard value bs by a predetermined weight value w is adopted as the bit rate.
すなわち、作業者が作業対象を注視している動画像は支援者にとって重要画像である可能性が高い。しかしながら、注視中の準重要画像は各画素ブロックの動きが少ないので、フレームレートを下げて符号量を減じても、映像品質の劣化を抑えることができる。 That is, the moving image in which the worker is gazing at the work target is likely to be an important image for the supporter. However, since the movement of each pixel block is small in the quasi-important image being watched, deterioration of the video quality can be suppressed even if the frame rate is reduced and the code amount is reduced.
一方、フレームレートを下げたにもかかわらずビットレートを維持すると１フレーム当りのビット量が過剰となる。そこで、本実施形態ではフレームレートの変更前後で１フレームに割り当てられるビット量が同等となるように、次式(2)に基づいて前記重み値wを求める。
On the other hand, if the bit rate is maintained despite the lowering of the frame rate, the amount of bits per frame becomes excessive. Therefore, in the present embodiment, the weight value w is obtained based on the following equation (2) so that the amount of bits allocated to one frame before and after the change of the frame rate is equal.
w=fl／fs …(2)
w = fl / fs… (2)
例えば、標準フレームレートfsが30fps、低フレームレートflが6fps、標準ビットレートbsが1Mbpsであれば、1フレーム当たりのビット量は33Kとなる。このとき、1フレーム当たりに割り当てたビット量が十分な画像品質を確保できる値であった場合、標準ビットレートbsのままでフレームレートを30fps（fs）から6fps（fl）へ低下させると、1フレーム当たりのビット量が167Kと過剰になってしまう。そこで、本実施形態ではフレームレートを低下させる前後で1フレーム当たりのビット量が33Kに維持されるように、前記重み値wを求めるようにしている。
For example, if the standard frame rate fs is 30 fps, the low frame rate fl is 6 fps, and the standard bit rate bs is 1 Mbps, the bit amount per frame is 33K. At this time, if the amount of bits allocated per frame is a value that can ensure sufficient image quality, if the frame rate is reduced from 30 fps (fs) to 6 fps (fl) with the standard bit rate bs, 1 The bit amount per frame becomes 167K, which is excessive. Therefore, in the present embodiment, the weight value w is calculated so that the bit amount per frame is maintained at 33 K before and after the frame rate is reduced.
前記ステップＳ８では、映像品質の低下を厭わずに符号量を減じるべく、フレームレートが低フレームレートflに変更される。また、低フレームレートflへの変更に伴うビットレートの低下に加えて、さらにフレーム画質の低下も厭わずに符号量を減じるべく、次式(3)に基づいて「移行中」用の低ビットレートblが求められる。なお、係数αは０＜α＜１である。
In the step S8, the frame rate is changed to the low frame rate fl in order to reduce the code amount without fear of lowering the video quality. Also, in addition to the reduction of the bit rate accompanying the change to the low frame rate fl, the low bit rate for `` Migrating '' The rate bl is required. Note that the coefficient α is 0 <α <1.
bl=α・ｗ・bs …(3)
bl = α ・ w ・ bs… (3)
ステップＳ9では、動画像の伝送が終了したか否かが判定される。終了していなければ、ステップＳ１へ戻って上記の各手順が繰り返される。 In step S9, it is determined whether the transmission of the moving image has been completed. If not, the process returns to step S1 and the above-described procedures are repeated.
本実施形態によれば、映像フレームの一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かを、グローバルモーションおよびローカルモーションに基づいて評価するので、重要画像の評価プロセスに汎用アルゴリズムを用いることができる。 According to the present embodiment, whether or not the motion change amount of a part of the video frame is larger than the motion change amount of another region is evaluated based on the global motion and the local motion. Generic algorithms can be used for the process.
また、グローバルモーションおよびローカルモーションのいずれもが所定の閾値を下回った場合は、作業者が作業対象を注視しており、支援者にとって重要画像に準ずる準重要画像と評価するようにしている。そして、準重要画像と評価されると、フレームレートを下げても実質の品質が低下せず、またビットレートを下げても１フレーム当たりの符号量を維持できることから、フレームレートおよびビットレートの双方を下げることで、実質の映像品質を低下させることなく符号量を減じることが可能になる。 When both the global motion and the local motion fall below a predetermined threshold, the worker is gazing at the work target and is evaluated as a quasi-important image similar to an important image for the supporter. When the image is evaluated as a quasi-important image, the actual quality does not decrease even if the frame rate is reduced, and the code amount per frame can be maintained even if the bit rate is reduced. , It is possible to reduce the code amount without lowering the actual video quality.
なお、上記の実施形態では、ステップＳ１，Ｓ３，Ｓ５で動画像が評価されると、直ちにステップＳ６，Ｓ７，Ｓ８へ進んで各符号化パラメータが切り換わるものとして説明した。しかしながら、符号化パラメータが頻繁に切り換わり、支援者端末２０に表示される動画像の品質が短周期で変化すると支援者の主観品質が低下する恐れがある。そこで、各評価結果が所定の監視時間Δt以上継続することを条件に、動画像の評価結果が符号化パラメータに反映されるようにしても良い。 In the above-described embodiment, it has been described that when the moving image is evaluated in steps S1, S3, and S5, the process immediately proceeds to steps S6, S7, and S8, and the respective encoding parameters are switched. However, if the coding parameters are frequently switched and the quality of the moving image displayed on the supporter terminal 20 changes in a short period, the subjective quality of the supporter may be reduced. Therefore, on the condition that each evaluation result continues for a predetermined monitoring time Δt or more, the evaluation result of the moving image may be reflected in the encoding parameter.
図６は、動画像の評価結果が所定の監視時間Δt以上継続することを条件に、その評価結果を符号化パラメータに反映する手順を示したフローチャートであり、図７は、そのタイミングチャートである。 FIG. 6 is a flowchart showing a procedure for reflecting the evaluation result in the encoding parameter on condition that the evaluation result of the moving image continues for a predetermined monitoring time Δt or more, and FIG. 7 is a timing chart thereof. .
ステップＳ１では、時間的に前後する２つのフレームのフレーム間差分Dfが所定の閾値以上Drefであるか否かが判断される。フレーム間差分Dfが所定の閾値Dref未満であればステップＳ２へ進み、各フレームの時系列変化に基づいてグローバルモーションGMが算出される。ステップＳ３では、グローバルモーションGMが所定の閾値を超えているか否かが判断される。 In step S1, it is determined whether or not the inter-frame difference Df between two temporally adjacent frames is equal to or greater than a predetermined threshold value Dref. If the inter-frame difference Df is less than the predetermined threshold Dref, the process proceeds to step S2, and the global motion GM is calculated based on the time-series change of each frame. In step S3, it is determined whether or not the global motion GM exceeds a predetermined threshold.
グローバルモーションGMが所定の閾値GMrefを下回っていればステップＳ４へ進み、前記ローカルモーション推定部１４ａによりローカルモーションLMが算出される。ステップＳ５では、ローカルモーションLMが所定の閾値LMrefを超えているか否かが判断される。ローカルモーションLMが所定の閾値LMrefを超えていれば、現在の動画像を「作業中」の重要画像と評価してステップＳ５ａへ進む。 If the global motion GM is below the predetermined threshold GMref, the process proceeds to step S4, where the local motion estimating unit 14a calculates the local motion LM. In step S5, it is determined whether or not the local motion LM has exceeded a predetermined threshold LMref. If the local motion LM exceeds the predetermined threshold value LMref, the current moving image is evaluated as the “working” important image, and the process proceeds to step S5a.
ステップＳ５ａでは、重要判定回数カウンタc2がインクリメントされる。ステップＳ５ｂでは、後述する非重要判定回数カウンタc1および準重要判定回数カウンタc3がリセットされる。ステップＳ５ｃでは、カウンタc2が前記監視時間Δt相当の基準カウント値c2_refに達したか否かが判断される。 In step S5a, the importance determination counter c2 is incremented. In step S5b, a non-importance determination number counter c1 and a quasi-importance determination number counter c3 described later are reset. In step S5c, it is determined whether the counter c2 has reached the reference count value c2_ref corresponding to the monitoring time Δt.
ここで、図７の時刻t1〜t2の期間内のように、カウンタc2が未だ基準カウント値c2_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t4のように、時刻t3でカウンタc2が再カウントを開始した以降のカウント値が基準カウント値c2_refに達していれば、前記監視時間Δtが満了しているので、ステップＳ6へ進んで前記重要画像（作業中）用のフレームレートおよびビットレートが適用される。 Here, if the counter c2 has not yet reached the reference count value c2_ref as in the period from the time t1 to t2 in FIG. 7, the monitoring period Δt has not expired, so that the current encoding parameter is maintained. It returns to step S1. On the other hand, if the count value after the counter c2 starts re-counting at the time t3 has reached the reference count value c2_ref, such as at the time t4, the monitoring time Δt has expired, so that the step S6 Proceed to and apply the frame rate and bit rate for the important image (during work).
また、前記ステップＳ５において、ローカルモーションLMが所定の閾値LMrefを超えていないと判断されると、現在の動画像を作業者が注視中の準重要画像と評価してステップＳ５ｄへ進む。 If it is determined in step S5 that the local motion LM does not exceed the predetermined threshold LMref, the current moving image is evaluated as a quasi-important image that the operator is watching, and the process proceeds to step S5d.
ステップＳ５ｄでは、準重要判定回数カウンタc3がインクリメントされる。ステップＳ５ｅでは、非重要判定回数カウンタc1および重要判定回数カウンタc2がリセットされる。ステップＳ５ｆでは、カウンタc3が前記監視時間Δt相当の基準カウント値c3_refに達したか否かが判断される。 In step S5d, the quasi-importance determination number counter c3 is incremented. In step S5e, the non-importance determination counter c1 and the importance determination counter c2 are reset. In step S5f, it is determined whether or not the counter c3 has reached the reference count value c3_ref corresponding to the monitoring time Δt.
ここで、時刻t5〜t6の期間内のように、カウンタc3が未だ基準カウント値c3_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t8のように、時刻t7でカウンタc3が再カウントを開始した以降のカウント値が基準カウント値c3_refに達していれば、前記監視期間Δtが満了しているので、ステップＳ７へ進んで前記準重要画像（注視中）用のフレームレートおよびビットレートが適用される。 Here, if the counter c3 has not yet reached the reference count value c3_ref, as in the period from the time t5 to t6, the monitoring period Δt has not expired, so the process proceeds to step S1 while maintaining the current encoding parameter. Return. On the other hand, if the count value after the counter c3 starts re-counting at the time t7 has reached the reference count value c3_ref, as in the case of the time t8, the monitoring period Δt has expired. Then, the frame rate and bit rate for the quasi-important image (during watching) are applied.
さらに、前記ステップＳ３において、グローバルモーションGMが所定の閾値を超えていると判断されると、現在の動画像を作業者が移行中の非重要画像と評価してステップＳ５ｇへ進む。 Further, if it is determined in step S3 that the global motion GM exceeds the predetermined threshold, the current moving image is evaluated as a non-important image to which the worker is shifting, and the process proceeds to step S5g.
ステップＳ５ｇでは、非重要判定回数カウンタc1がインクリメントされる。ステップＳ５ｈでは、重要判定回数カウンタc2および準重要判定回数カウンタc3がリセットされる。ステップＳ５ｉでは、カウンタc1が前記監視時間Δt相当の基準カウント値c1_refに達したか否かが判断される。 In step S5g, the non-importance judgment number counter c1 is incremented. In step S5h, the importance determination counter c2 and the quasi-importance determination counter c3 are reset. In step S5i, it is determined whether or not the counter c1 has reached a reference count value c1_ref corresponding to the monitoring time Δt.
ここで、時刻t5〜t6の期間内のように、カウンタc1が未だ基準カウント値c1_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t8のように、時刻t7でカウンタc1が再カウントを開始した以降のカウント値が基準カウント値c1_refに達していれば、前記監視時間Δtが満了しているので、ステップＳ８へ進んで前記非重要画像（移行中）用のフレームレートおよびビットレートが適用される。 Here, if the counter c1 has not yet reached the reference count value c1_ref, as in the period from time t5 to t6, the monitoring period Δt has not expired, so the process proceeds to step S1 while maintaining the current encoding parameter. Return. On the other hand, if the count value after the counter c1 starts re-counting at the time t7 has reached the reference count value c1_ref, such as at the time t8, the monitoring time Δt has expired, and the process proceeds to step S8. Proceed to and apply the frame rate and bit rate for the insignificant image (during transition).
図８は、支援者端末２０において、複数の作業者端末１０から伝送された複数の動画像の表示サイズおよび表示位置を、その重要度に応じて動的に変更する例を示した図であり、ここでは、２つの作業者端末から伝送される２つの動画像を一つのスクリーン上に表示する場合を例にして説明する。 FIG. 8 is a diagram illustrating an example in which the display size and the display position of the plurality of moving images transmitted from the plurality of worker terminals 10 are dynamically changed in the supporter terminal 20 according to the importance. Here, a case where two moving images transmitted from two worker terminals are displayed on one screen will be described as an example.
同図(a)は、映像Aが重要画像、映像Bが非重要画像の場合の表示例を示した図であり、映像Aがスクリーン上に全面表示され、映像Bはスクリーンの左下の位置に略1/4の大きさで重畳表示されている。映像Bの重畳位置は上記に限定されるものではなく、支援者が映像Bをマウス等でドラックすることで自由に変更することができる。 FIG. 5A is a diagram showing a display example in which the image A is an important image and the image B is a non-important image.The image A is displayed on the entire screen, and the image B is located at the lower left position of the screen. It is superimposed and displayed in a size of about 1/4. The superimposed position of the image B is not limited to the above, and the supporter can freely change the image B by dragging the image B with a mouse or the like.
同図(b)は、映像A，Bのいずれもが重要画像またはいずれもが非重要画像の場合の表示例を示した図であり、スクリーン上の左半分の領域に映像A、右半分の領域に映像Bが、同一サイズで並列表示されている。 FIG. 3B is a diagram showing a display example in which both images A and B are important images or both are non-important images, and the image A and the right half are displayed in the left half area on the screen. Image B is displayed in the area in parallel at the same size.
同図(c)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像Bがスクリーン上に全面表示され、映像Aはスクリーンの右下の位置に略1/4の大きさで重畳表示されている。映像Aの重畳位置は上記に限定されるものではなく、支援者が映像Aをマウス等でドラックすることで自由に変更することができる。 FIG. 3C is a diagram showing a display example in a case where the image B is an important image and the image A is a non-important image, in which the image B is displayed entirely on the screen, and the image A is located at a lower right position of the screen. Is superimposed and displayed in a size of about 1/4. The superposition position of the image A is not limited to the above, and the supporter can freely change the image A by dragging the image A with a mouse or the like.
同図(d)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像A，Bが並列、かつ映像Bが映像Aよりも大きなサイズで表示されている。 FIG. 3D is a diagram showing a display example when the image B is an important image and the image A is a non-important image. The images A and B are displayed in parallel, and the image B is displayed in a size larger than the image A. Have been.
なお、このように複数の動画像の表示サイズや表示位置をその重要度に応じて制御する技術は、伝送中の動画像をリアルタイムで表示する場合のみならず、予め受信されてサーバ等に記憶されている複数の動画像を同時に再生する場合にも同様に適用できる。 The technique of controlling the display size and display position of a plurality of moving images according to their importance as described above is not limited to the case of displaying moving images being transmitted in real time, but is also received in advance and stored in a server or the like. The same applies to a case where a plurality of moving images are reproduced simultaneously.
本実施形態によれば、重要画像を非重要画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。 According to the present embodiment, the important image can be displayed in a larger size than the non-important image, so that the supporter can easily support the work.
図９は、重要画像（作業中）、準重要画像（注視中）および非重要画像（移行中）の各再生区間が混在した動画の再生方法を模式的に示した図であり、特に、フレームレートを低下させることで符号量を削減した準重要画像または非重要画像の再生方法を示している。 FIG. 9 is a diagram schematically showing a method of reproducing a moving image in which reproduction sections of an important image (during work), a quasi-important image (during watching), and a non-important image (during transition) are mixed. A method for reproducing a quasi-important image or a non-important image in which the code amount is reduced by reducing the rate is shown.
本実施形態では、フレームレートを伝送前に標準レートから低レートに変更することで伝送時の符号量を削減した準重要画像または非重要画像について、再生フレームレートを標準レートまで戻し、あるいは任意のフレームレートまで上げることで準重要画像や非重要画像の再生区間を自動的に早送りするようにした点に特徴がある。これにより、準重要画像および非重要画像の部分は再生時間を自動的に短縮する事が可能になるので、全体の再生時間が短縮されて効率的な作業支援が可能になる。 In the present embodiment, the reproduction frame rate is returned to the standard rate for a quasi-important image or an insignificant image in which the code amount during transmission is reduced by changing the frame rate from a standard rate to a low rate before transmission, or The feature is that the reproduction section of the semi-important image or the non-important image is automatically fast-forwarded by increasing the frame rate. This makes it possible to automatically reduce the reproduction time of the part of the semi-important image and the part of the non-important image, so that the entire reproduction time is shortened, and efficient work support becomes possible.
なお、再生フレームレートは伝送時のフレームレート以上であれば特に制限はないが、再生フレームレートを標準レートに固定とすれば、フレームレートを動的に変更する煩雑な制御を適用することなく、重要画像の高品質再生と準重要画像や非重要画像の早送り再生とを自動化できるようになる。 Note that the playback frame rate is not particularly limited as long as it is equal to or higher than the frame rate at the time of transmission, but if the playback frame rate is fixed at the standard rate, without applying complicated control for dynamically changing the frame rate, High-quality reproduction of important images and fast-forward reproduction of semi-important images and non-important images can be automated.
１０…作業者端末，１１…カメラ，１２…撮影動画像符号化部，１３…通信インタフェース，１４…動画像評価部，１５…符号化パラメータ決定部，２０…支援者端末 DESCRIPTION OF SYMBOLS 10 ... Worker terminal, 11 ... Camera, 12 ... Photographing moving image coding part, 13 ... Communication interface, 14 ... Moving image evaluation part, 15 ... Coding parameter determination part, 20 ... Supporter terminal
Claims (12)
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定することを特徴とする遠隔作業支援システムの作業者端末。 In the worker terminal of the remote work support system that encodes the moving image and transmits it to the supporter terminal,
A camera for capturing moving images,
Encoding means for encoding the moving image,
Local motion estimating means for estimating local motion between frames of the moving image,
Evaluation means for evaluating a moving image in which the local motion exceeds a predetermined threshold as an important image ,
Comprising an encoding parameter determining unit that determines an encoding parameter of the encoding unit based on the evaluation result,
Wherein the coding parameter determining means determines the coding parameter such that the code amount of a moving image transmitted per unit time is smaller than that of the important image except for the important image. Worker terminal of support system.
前記評価手段は、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を上回る動画像を前記重要画像と評価することを特徴とする請求項１に記載の遠隔作業支援システムの作業者端末。 Comprising a global motion estimation means for estimating the global motion of the moving image,
The evaluation unit, the global motion is below a first threshold value, and the local motion of the remote work support system according to claim 1, characterized in that evaluating said important image a moving image of more than a second threshold value Worker terminal.
前記符号化パラメータ決定手段は、単位時間に伝送される準重要画像の符号量が、単位時間に伝送される前記重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定することを特徴とする請求項２に記載の遠隔作業支援システムの作業者端末。 The evaluation means evaluates a moving image in which the global motion is lower than the first threshold and the local motion is lower than the second threshold as a quasi-important image,
In that said encoding parameter determining means, the code amount of the quasi-important images transmitted per unit time determines the coding parameters to be subtracted than the code amount of the key image to be transmitted per unit time An operator terminal of the remote operation support system according to claim 2.
前記符号化パラメータ決定手段は、準重要画像のフレームレートを重要画像のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように準重要画像のビットレートを重要画像のビットレートよりも低くすることを特徴とする請求項３に記載の遠隔作業支援システムの作業者端末。 The code amount is a bit rate, and is represented by a product of a bit amount per frame and a frame rate,
The encoding parameter determination means sets the frame rate of the quasi-important image lower than the frame rate of the important image, and sets the bit rate of the quasi-important image so that the bit amount per frame becomes equal before and after the change of the frame rate. 4. The worker terminal of the remote work support system according to claim 3 , wherein the bit rate is lower than the bit rate of the important image.
前記符号化パラメータが、ビットレート、空間解像度、時間解像度およびピクチャタイプの少なくとも一つであることを特徴とする請求項１ないし４のいずれかに記載の遠隔作業支援システムの作業者端末。 The code amount is a bit rate,
The worker terminal according to any one of claims 1 to 4 , wherein the encoding parameter is at least one of a bit rate, a spatial resolution, a temporal resolution, and a picture type.
前記作業者端末が
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定し、
前記支援者端末が、
単位時間に伝送された各動画像の符号量の相対的な大小関係を判断する手段と、
相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備したことを特徴とする遠隔作業支援システム。 In a remote work support system in which a worker terminal encodes a moving image and transmits it to a supporter terminal, and the supporter terminal displays a plurality of transmitted moving images on the same screen,
The worker terminal is
A camera for capturing moving images,
Encoding means for encoding the moving image,
Local motion estimating means for estimating local motion between frames of the moving image,
Evaluation means for evaluating a moving image in which the local motion exceeds a predetermined threshold as an important image,
Comprising an encoding parameter determining unit that determines an encoding parameter of the encoding unit based on the evaluation result,
The coding parameter determining means determines the coding parameter so that the code amount of a moving image transmitted in a unit time is reduced from the important image other than the important image,
The supporter terminal is
Means for determining the relative magnitude relationship of the code amount of each moving image transmitted in the unit time ,
A remote control support system comprising: display control means for displaying a moving image having a relatively large code amount prior to a moving image having a small code amount.
前記作業者端末が
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定し、
前記支援者端末が、
伝送された動画像の再生フレームレートを、重要画像および当該重要画像よりもフレームレートの低い重要画像以外の画像のいずれであるかにかかわらず同一とすることを特徴とする遠隔作業支援システム。 In a remote work support system in which a worker terminal encodes a moving image and transmits it to a supporter terminal, and the supporter terminal displays a plurality of transmitted moving images on the same screen,
The worker terminal is
A camera for capturing moving images,
Encoding means for encoding the moving image,
Local motion estimating means for estimating local motion between frames of the moving image,
Evaluation means for evaluating a moving image in which the local motion exceeds a predetermined threshold as an important image,
Comprising an encoding parameter determining unit that determines an encoding parameter of the encoding unit based on the evaluation result,
The encoding parameter determining means determines the encoding parameter so that the code amount of a moving image transmitted in a unit time is smaller than the important image except for the important image,
The supporter terminal is
A remote work support system, wherein a transmitted frame rate of a moving image is the same regardless of whether it is an important image or an image other than an important image having a lower frame rate than the important image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016223968A JP6660869B2 (en) | 2016-11-17 | 2016-11-17 | Remote work support system and worker terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016223968A JP6660869B2 (en) | 2016-11-17 | 2016-11-17 | Remote work support system and worker terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018082333A JP2018082333A (en) | 2018-05-24 |
| JP6660869B2 true JP6660869B2 (en) | 2020-03-11 |
Family
ID=62197292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016223968A Active JP6660869B2 (en) | 2016-11-17 | 2016-11-17 | Remote work support system and worker terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6660869B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020017798A (en) * | 2018-07-23 | 2020-01-30 | Ｓｕｐｅｒｓｈｉｐ株式会社 | Image distribution system, image distribution device, display device, and display program |
| JP6995083B2 (en) | 2019-05-15 | 2022-01-14 | Kddi株式会社 | Programs, devices and methods to generate a significant video stream from the original video stream |
| KR102342148B1 (en) * | 2020-07-24 | 2021-12-23 | (주)위즈너 | Kiosk and smart integrated task platform |
| JP7076061B1 (en) | 2020-12-23 | 2022-05-27 | ダイキン工業株式会社 | Worker terminal, moving image processing method and moving image processing program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3870124B2 (en) * | 2002-06-14 | 2007-01-17 | キヤノン株式会社 | Image processing apparatus and method, computer program, and computer-readable storage medium |
| JP2004363974A (en) * | 2003-06-05 | 2004-12-24 | Matsushita Electric Ind Co Ltd | Video encoding transmission device and video encoding amount control method |
| WO2008035745A1 (en) * | 2006-09-20 | 2008-03-27 | Panasonic Corporation | Monitor system, camera and video image coding method |
| JP2009118151A (en) * | 2007-11-06 | 2009-05-28 | Fujitsu Ltd | Communication system, transmitter, relay device, receiver, and transmission program |
| JP2011101300A (en) * | 2009-11-09 | 2011-05-19 | Konica Minolta Opto Inc | Photographing device and remote operation support system |
| JP2011199354A (en) * | 2010-03-17 | 2011-10-06 | Mitsubishi Electric Corp | Image processing unit, image reproducing unit, and image processing system |
| WO2013011671A1 (en) * | 2011-07-15 | 2013-01-24 | パナソニック株式会社 | Transmission device and transmission method |
| JP6225446B2 (en) * | 2013-03-26 | 2017-11-08 | 富士通株式会社 | Moving image data distribution apparatus, method, program, and system |
| JP6466638B2 (en) * | 2013-12-18 | 2019-02-06 | Kddi株式会社 | Terminal, system, program, and method for thinning frames of a captured moving image according to a motion change amount |
-
2016
- 2016-11-17 JP JP2016223968A patent/JP6660869B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018082333A (en) | 2018-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6660869B2 (en) | Remote work support system and worker terminal | |
| US11330262B2 (en) | Local image enhancing method and apparatus | |
| US9204086B2 (en) | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor | |
| US9723315B2 (en) | Frame encoding selection based on frame similarities and visual quality and interests | |
| JP2009533008A (en) | Temporal quality metrics for video coding. | |
| EP2599310B1 (en) | Method and apparatus for measuring video quality | |
| JP2009532984A (en) | Motion compensated frame rate conversion with protection against compensation artifacts | |
| WO2015130412A1 (en) | System and method for reducing latency in video delivery using model | |
| US10142664B2 (en) | Method and device for determining properties of a graphical overlay for a video stream | |
| JP6707334B2 (en) | Method and apparatus for real-time encoding | |
| CN113068001A (en) | Data processing method, device, equipment and medium based on cascade camera | |
| US20120219052A1 (en) | Picture transmission device, picture transmission method, and program | |
| JP2005073218A (en) | Image processing apparatus | |
| CN114500787A (en) | Generating substitute image frames based on camera motion | |
| JP4810088B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| EP4040431A1 (en) | Image processing device, image display system, image data transfer device, and image processing method | |
| JP6568130B2 (en) | Worker terminal, supporter terminal and video transmission method of remote work support system | |
| JPH10229558A (en) | Coder for moving image information | |
| JP2010171876A (en) | Communication device and communication system | |
| JP2004208146A (en) | Device and method for encoding moving image | |
| JP4653154B2 (en) | Status change distribution display device and method thereof | |
| KR101685421B1 (en) | Video image processing Apparatus and Masking method thereof | |
| WO2013073422A1 (en) | Video encoding device | |
| Dhodapkar | Preprocessing Logic to Enhance Videotelephony Services During Suboptimal Network Conditions | |
| Smith | Internet Congestion Control Research Group L. Han, Ed. Internet-Draft Huawei Technologies Intended status: Informational S. Appleby Expires: September 13, 2017 BT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6660869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |