JP2023057382A - System, information processing device, and program - Google Patents
System, information processing device, and program Download PDFInfo
- Publication number
- JP2023057382A JP2023057382A JP2021166885A JP2021166885A JP2023057382A JP 2023057382 A JP2023057382 A JP 2023057382A JP 2021166885 A JP2021166885 A JP 2021166885A JP 2021166885 A JP2021166885 A JP 2021166885A JP 2023057382 A JP2023057382 A JP 2023057382A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- camera
- processor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 40
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 230000036544 posture Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Operation Control Of Excavators (AREA)
Abstract
Description
本発明は、作業機械を遠隔操作するシステムの技術に関する。 The present invention relates to technology of a system for remotely controlling work machines.
車等の移動体からリアルタイムで撮影した映像を遠隔地に転送して表示させ、あたかもその移動体に搭乗しているような感覚をユーザに与えるシステムが開発されている。 2. Description of the Related Art A system has been developed in which an image captured in real time from a mobile object such as a car is transferred to a remote location and displayed, thereby giving the user a feeling as if he or she were on board the mobile object.
特許文献１には、車両の動作に応じた画像を送信して、ユーザに、運転者と旅行しているかのような疑似体験をさせるための画像処理システム、が記載されている。
特許文献２には、仮想空間をレンダリングする際、カメラで撮影した現実空間の映像を解析し、映像内から机上部分の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成するＶＲ機能部が記載されている。
In
クレーン車やブルドーザ、ショベルカー等の作業機械を遠隔操作する場合に、ユーザは、例えば作業機械の操縦席や、操縦席に相当する位置から撮影した映像を見ることで、その作業機械の操縦席にいるように各種の判断をすることが可能になる。しかし、作業機械から撮影可能な範囲には限界があり、その作業機械が置かれている状況や周囲の危険等は、その作業機械を外部から撮影した外観画像に現れることもある。 When remotely operating a working machine such as a crane truck, a bulldozer, or an excavator, a user can, for example, see an operator's seat of the working machine or an image taken from a position corresponding to the operator's seat, and thereby understand the operator's seat of the working machine. It is possible to make various judgments as if you were in However, there is a limit to the range that can be photographed from a working machine, and the situation in which the working machine is placed, the surrounding dangers, and the like may appear in an exterior image of the working machine that is photographed from the outside.
本発明の目的の一つは、作業機械の外部からその作業機械を撮影した映像を、その作業機械の遠隔操作をするユーザに見せることでその作業機械の操作性を向上させること、である。 One of the objects of the present invention is to improve the operability of a working machine by showing a user who remotely operates the working machine a video image of the working machine taken from outside the working machine.
本発明の請求項１に係るシステムは、作業機械と、前記作業機械から周囲を撮影する第１カメラと、ユーザの操作を受付ける操作子と、前記第１カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステムである。
A system according to
本発明の請求項２に係るシステムは、請求項１に記載の態様において、前記プロセッサは、前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更するシステムである。
In the system according to
本発明の請求項３に係るシステムは、請求項１又は２に記載の態様において、前記複数の画像は、前記作業機械の周囲から該作業機械を撮影した外観映像を含むシステムである。
A system according to
本発明の請求項４に係るシステムは、請求項３に記載の態様において、前記プロセッサは、前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成するシステムである。
In the system according to
本発明の請求項５に係るシステムは、請求項４に記載の態様において、前記プロセッサは、前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成するシステムである。
In the system according to claim 5 of the present invention, in the aspect according to
本発明の請求項６に係るシステムは、請求項１から５のいずれか１項に記載の態様において、前記作業機械に取り付けられた、前記第１カメラと異なる第２カメラ、を有し、前記複数の画像は、前記第２カメラから撮影した映像を含むシステムである。
Claim 6 of the present invention is the system according to any one of
本発明の請求項７に係るシステムは、請求項１から６のいずれか１項に記載の態様において、前記作業機械の周囲の音を収集するマイクと、前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有するシステムである。
Claim 7 of the present invention provides a system according to any one of
本発明の請求項８に係るシステムは、請求項１から７のいずれか１項に記載の態様において、前記作業機械を複数有し、前記プロセッサは、前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の前記選択画像を合成した合成映像を生成するシステムである。
According to claim 8 of the present invention, in the aspect of any one of
本発明の請求項９に係るシステムは、請求項１から８のいずれか１項に記載の態様において、前記作業機械は、前記ユーザの操作に応じて稼働するシステムである。
A system according to
本発明の請求項１０に係るシステムは、請求項１から９のいずれか１項に記載の態様において、前記操作子は、ユーザの視線による前記操作を受付けるシステムである。
A system according to claim 10 of the present invention is the system according to any one of
本発明の請求項１１に係るシステムは、請求項１から１０のいずれか１項に記載の態様において、前記第１カメラが受ける加速度を計測する計測器と、前記ユーザの身体を支持する支持体と、前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、を有し、前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示するシステムである。
According to
本発明の請求項１２に係るシステムは、請求項１から１１のいずれか１項に記載の態様において、前記作業機械の位置を測定する測位機、を有し、前記複数の画像は、前記測位機により測定された前記位置を示す地図を含むシステムである。
本発明の請求項１３に係る情報処理装置は、プロセッサを有し、前記プロセッサは、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置である。 According to a thirteenth aspect of the present invention, the information processing apparatus has a processor, and the processor selects from a plurality of images according to a user's operation from the image captured by the first camera that captures the surroundings of the working machine. A composite video is generated by synthesizing the one or more selected images so as to be arranged in the surroundings, and a display device attached to the user's head displays the composite video in the posture of the head. It is an information processing device that displays an image in a corresponding range.
本発明の請求項１４に係るプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムである。
A program according to
＜実施形態＞
＜システムの構成＞
図１は、本発明の実施形態に係るシステム９の構成の例を示す図である。システム９は、作業機械１に第１カメラ１１を設置して、作業機械１により移動する感覚をユーザＵに再現して提供するシミュレータシステムである。
<Embodiment>
<System configuration>
FIG. 1 is a diagram showing an example configuration of a
システム９は、作業機械１、情報処理装置２、入出力装置３、及び外部カメラ４を有する。図１に示すシステム９は、作業機械１、情報処理装置２、入出力装置３、及び外部カメラ４をそれぞれ１つずつ有するが、これらの数はそれぞれ２以上であってもよい。
The
作業機械１は、土木、建築等の作業に用いられる作業機械であって、例えばショベルカーである。この作業機械１は、例えば、操縦席等から見える光景をカメラで撮影してその映像を情報処理装置２に送る機構を有する。図１に示す作業機械１は、第１カメラ１１、第２カメラ１２、通信部１３、マイク１４、計測器１５、測位機１６、及び稼働部１７を有する。
The
第１カメラ１１は、作業機械１の例えば操縦席等に取り付けられたカメラであり、作業機械１から周囲を撮影する。図１に示す第１カメラ１１は、広角レンズを有する光学系と、その光学系で集光した光に応じて画像データを生成する撮像素子と、の複数の組を有し、これらによって自身の周囲のあらゆる方向を撮像する。この第１カメラ１１は、例えば、いわゆる全天球カメラ等と呼ばれるものである。
The
なお、第１カメラ１１は１つに限らず、２つ以上設けられていてもよい。例えば、複数の第１カメラ１１は、作業機械１において操縦席の他に、操縦室の外側（屋根、シャーシ、アーム等）にも設けられていてもよい。
In addition, the number of the
第２カメラ１２は、第１カメラ１１とともに作業機械１に取り付けられた、第１カメラ１１と異なるカメラである。つまり、第２カメラ１２を有するシステム９は、作業機械に取り付けられた、第１カメラとことなる第２カメラを有するシステムの例である。
The
図１に示す第２カメラ１２は、第１カメラ１１が設置された操縦席から、フレームや座席等により死角になる範囲を撮影するカメラである。この第２カメラ１２は、例えば、操縦席の後方の外壁に、進行方向の後ろ側に向けて取り付けられており、車輪等の移動装置と道との接地点を撮影する。
The
なお、第２カメラ１２の数は１つに限らず、なくてもよいし、また、２つ以上であってもよい。例えば、第２カメラ１２は、作業機械１の後方のみならず、前方、下方、左右であって、第１カメラ１１から死角になる複数箇所に設けられてもよい。
In addition, the number of the
マイク１４は、作業機械１に取り付けられ、作業機械１の周囲の音を収集するマイクロフォンである。つまり、マイク１４を有するシステム９は、作業機械の周囲の音を収集するマイクを有するシステムの例である。
Microphone 14 is a microphone that is attached to
図１に示すマイク１４は、例えば、作業機械１の操縦席や、操縦席の天板等に設置される。マイク１４は、第１カメラ１１や第２カメラ１２に内蔵されていてもよい。
The
計測器１５は、第１カメラ１１が受ける加速度を計測する計測器である。計測器１５は、例えば、圧電型、ピエゾ抵抗型、静電容量型等による三軸加速度センサである。この計測器１５は、ＭＥＭＳ（Micro Electro Mechanical Systems）が用いられてもよい。この計測器１５は、計測した加速度を示す計測データを生成し、情報処理装置２へ送信する。
The
なお、計測器１５が計測する物理量は加速度に限らない。計測器１５は、位置を計測してもよい。この場合、情報処理装置２は、例えば、取得した計測データが示す位置を時間で二階微分して第１カメラ１１が受ける加速度を求めてもよい。また、計測器１５は、第１カメラ１１の速度を計測してもよい。この場合、情報処理装置２は、例えば、取得した計測データが示す速度を時間で微分して第１カメラ１１が受ける加速度を求めてもよい。
Note that the physical quantity measured by the
測位機１６は、作業機械１の位置を測定する測位機であり、例えば、全地球航法衛星システム（ＧＮＳＳ： Global Navigation Satellite System）の航法衛星が発信する電波から航法信号を抽出して測位計算をする受信デバイスである。
The
通信部１３は、無線により情報処理装置２と制御信号や映像データ等をやり取りする通信回路を有する。図１に示す通信部１３は、例えば、ＬＰＷＡ（Low Power Wide Area）を用いた通信回線を有してもよい。また、作業機械１の移動に伴って通信線を繰り出し、又は収容する機構を有し、この通信線が作業機械１の移動を妨げないのであれば、通信部１３は、有線により作業機械１と情報処理装置２とを通信可能に接続してもよい。
The
通信部１３は、第１カメラ１１、及び第２カメラ１２で撮影された映像を示す映像データ、及び計測器１５が計測した計測データ、を情報処理装置２へ送信する。また、通信部１３は、マイク１４が収集した音を示す音声信号、及び測位機１６が測定した作業機械１の位置を示す位置データ、を情報処理装置２へ送信する。
The
稼働部１７は、作業機械１のブーム、アーム、バケット、ショベル等の作業機械や、車輪、無限軌道等の移動装置を制御して、作業機械１を稼働させる構成であり、通信部１３を経由して受信した制御信号に基づいてプロセッサが作業機械の油圧出力機構や、ガソリンエンジン、動力伝達機構等を制御する。
The operating
情報処理装置２は、例えばコンピュータである。図１に示す情報処理装置２は、プロセッサ２１、メモリ２２、及び通信部２３を有する。
The
プロセッサ２１は、メモリ２２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読出して実行することにより情報処理装置２の各部を制御する。プロセッサ２１は、例えばＣＰＵ（Central Processing Unit）である。
通信部２３は、無線により情報処理装置２を、作業機械１に通信可能に接続する通信回路である。なお、上述した通り、通信部２３は、有線により作業機械１と情報処理装置２とを通信可能に接続してもよい。
The communication unit 23 is a communication circuit that wirelessly connects the
メモリ２２は、プロセッサ２１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ２２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を有する。なお、メモリ２２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。
The
入出力装置３は、再現室等に設置され、ユーザに映像、音声等を出力し、ユーザからの操作を入力する装置である。図１に示す入出力装置３は、操作子３１、表示機３２、支持体３３、放音機３４、駆動機３５、及び特定部３６を有する。操作子３１、表示機３２、放音機３４、駆動機３５、及び特定部３６は、情報処理装置２のプロセッサ２１と、例えば、バス経由で接続しており、プロセッサ２１により制御される。なお、入出力装置３のこれらの構成は、情報処理装置２の通信部２３を経由してプロセッサ２１と通信可能に接続されてもよい。
The input/
操作子３１は、例えば、ユーザの手、指等が触れるタッチパネルやハンドル、ボタン等で構成され、ユーザの操作を受付ける。操作子３１は、表示機３２の内部であって、ユーザの眼球を撮影し、ユーザの視線を検知してこの視線による操作を受付けるデバイスであってもよい。この場合、操作子３１は、ユーザの視線による前記操作を受付ける操作子の例である。
The
また、操作子３１は、ユーザの手や指、瞼、舌、唇等に装着されて、これらの動作により表現されるジェスチャーを特定するウェアラブルデバイスであってもよい。また、操作子３１は、ユーザの発する音声を収集し、この音声が示す操作を自然言語解析によって解釈して特定する音声認識デバイスであってもよい。
Also, the
表示機３２は、ユーザＵの頭部Ｕｈに装着されて、上述した第１カメラ１１により撮影された映像を表示する表示機である。表示機３２は、例えば上述したＨＭＤである。表示機３２は、ユーザＵの眼前に配置される液晶ディスプレイによって映像を表示する、いわゆる接眼光学系のＨＭＤでもよい。また、表示機３２は、ユーザの網膜に直接、レーザ光等を投影する網膜投影型のＨＭＤでもよい。
The
支持体３３は、ユーザＵの身体（すなわち、胴体Ｕｔ、及び頭部Ｕｈ）を支持する構造物であり、例えば、図１に示す椅子、シート等である。なお、支持体３３は、椅子、シート等に限られず、例えば、ユーザＵを吊り下げるバンド、ロープ、網等であってもよい。
The
なお、支持体３３が直接、接触して支持するのは、ユーザＵの胴体Ｕｔであり、頭部Ｕｈは、胴体Ｕｔを介して、間接的に支持体３３により支持されている。ユーザＵは、支持体３３に着席した状態で、頭部Ｕｈを拘束されていないので、首を上下左右に振って見る方向を変えることができる。
It should be noted that the body Ut of the user U is directly contacted and supported by the
駆動機３５は、第１カメラ１１が受ける加速度に応じて支持体３３を駆動させる機構であり、例えば、スチュアート・プラットフォーム等の６自由度のアクチュエータ装置や、１自由度、又は多自由度のアクチュエータ装置等である。
The driving
特定部３６は、基準となる座標系（以下、基準座標系という）に対する表示機３２、及び支持体３３の各姿勢を特定する。ここで、基準座標系とは、支持体３３及び駆動機３５が設置されている、再現室等における慣性座標系である。
The specifying
特定部３６は、例えば、いわゆるカメラ方式と呼ばれるポジショントラッキングにより、表示機３２、及び支持体３３の各姿勢を特定する。この場合、表示機３２、及び支持体３３にはそれぞれＬＥＤ（light emitting diode）等の発光素子が設けられている。特定部３６は、この表示機３２、及び支持体３３に設けられた発光素子から照射される赤外線等の光を、例えば、再現室に設置された複数のカメラで捉えることにより、発光素子の位置を特定し、それらの位置から表示機３２、及び支持体３３の姿勢をそれぞれ特定する。
The specifying
なお、特定部３６による特定の方式は、上述したものに限られない。例えば、再現室の１箇所以上の位置に固定された１以上の発光素子が赤外線等の光を照射し、照射された光を表示機３２、又は支持体３３に備えられた複数のカメラや光センサ等で感知してもよい。この場合、特定部３６は、表示機３２、又は支持体３３に含まれる。
Note that the identification method by the
また、表示機３２は、ユーザＵの頭部Ｕｈに取り付けられているため、ユーザＵは、頭部Ｕｈを動かすことによって特定部３６に表示機３２の姿勢の変化を特定させることができる。したがって、特定部３６は、この表示機３２の姿勢の変化を、上述したジェスチャーとして受け取る操作子３１として機能してもよい。
In addition, since the
放音機３４は、プロセッサ２１の制御の下、音を放出するスピーカ等の放音機である。情報処理装置２のプロセッサ２１は、通信部１３、及び通信部２３を介してマイク１４により収集された音を示す音声信号を受付けると、この音のうち、特定部３６によって特定されるユーザの頭部の姿勢に応じた音を放出する。つまり、この放音機３４を有するシステムは、マイクにより収集された音のうち、ユーザの頭部の姿勢に応じた音を放出する放音機を有するシステムの例である。
The
情報処理装置２の通信部２３は、作業機械１から、映像データ、音声信号、位置データ、及び計測データを受信する。図１に示す駆動機３５は、情報処理装置２のプロセッサ２１の制御の下、通信部２３が受信した計測データに応じて支持体３３を駆動させる。
The communication unit 23 of the
情報処理装置２のプロセッサ２１は、支持体３３に対する表示機３２の姿勢に応じた範囲がユーザＵに見えるように映像を補正し、補正したその映像を表示機３２に表示させる。
The
例えば、図１に示すプロセッサ２１は、特定部３６により特定された、基準座標系に対する表示機３２、及び支持体３３の姿勢を示すデータをそれぞれ受信する。そして、このプロセッサ２１は、特定部３６が特定した表示機３２の姿勢と、支持体３３の姿勢と、の差分を用いて、第１カメラ１１により撮影された映像を補正する。
For example, the
表示機３２は、上述した補正された映像をユーザに表示する。つまり、この表示機３２は、支持体に対するユーザの頭部の姿勢に応じた範囲の映像を表示する表示機の例である。
The
外部カメラ４は、作業機械１の周囲から、この作業機械１を撮影するカメラである。外部カメラ４は、例えば情報処理装置２の図示しないインタフェースを介して有線、又は無線で情報処理装置２に接続されている。外部カメラ４は、作業機械１を撮影した映像（外観映像という）をプロセッサ２１に供給する。なお、外部カメラ４は、通信部２３を介してプロセッサ２１に接続されてもよい。
The
＜情報処理装置の機能的構成＞
図２は、情報処理装置２の機能的構成の例を示す図である。情報処理装置２のプロセッサ２１は、メモリ２２に記憶されたプログラムを実行することにより、受付部２１１、選択部２１２、生成部２１３、及び指示部２１４として機能する。なお、図２において、通信部１３、及び通信部２３は、いずれも省略されている。
<Functional Configuration of Information Processing Device>
FIG. 2 is a diagram showing an example of the functional configuration of the
受付部２１１は、入出力装置３の操作子３１からユーザの操作に応じた信号をバス経由で受信し、このユーザによる操作を受付ける。また、受付部２１１は、入出力装置３の特定部３６から基準座標系に対する表示機３２、及び支持体３３の各姿勢のデータを受付ける。
The receiving
さらに、受付部２１１は、作業機械１に設置されたマイク１４から音声信号を、計測器１５から、計測された加速度を示す計測データを、測位機１６から、測定された作業機械１の位置を示す位置データを、それぞれ受付ける。
Further, the
選択部２１２は、受付部２１１が受付けたユーザの操作の内容に応じて、第１カメラ１１を選択する。例えば、選択部２１２は、ユーザの手や視線等によるジェスチャーに応じて、作業機械１を選択し、その操縦席等に設置された第１カメラ１１を選択する。１台の作業機械１に複数の第１カメラ１１が設置されている場合、選択部２１２は、選択された作業機械１に設置されたそれら複数の第１カメラ１１のうち、予め決められた（いわゆるデフォルトの）第１カメラ１１を選択して、これにより撮影された全天球映像を取得すればよい。その後、ユーザが振り返って、選択された第１カメラ１１からではバックシートしか見えない範囲に視線が移ったり、その振り返ったユーザの頭部の姿勢が検知されたりしたとき、選択部２１２は、その視線や頭部の方向に応じて、作業機械１に設けられた複数の第１カメラ１１の中からいずれかを選択してもよい。
The
そして、選択部２１２は、受付けたユーザの操作の内容に応じて、第１カメラ１１により撮影された映像に合成する画像（以下、選択画像という）を選択する。この選択画像の複数のソース（つまり、出力元）の候補には、第２カメラ１２、外部カメラ４、及びメモリ２２が含まれる。選択部２１２は、１つの選択画像を選択してもよいし、複数の選択画像を選択してもよい。
Then, the
なお、選択部２１２は、受付部２１１が測位機１６から受付けた作業機械１の位置データに応じて、この位置データが示す位置を含む地図の画像を、選択画像として、例えば、メモリ２２に格納された地図データベースから選択してもよい。この場合、プロセッサ２１は、測位機により測定された、作業機械の位置を示す地図を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
Note that the
生成部２１３は、選択部２１２により選択された第１カメラ１１により撮影された映像に、上述したソースにより提供される選択画像を、ユーザの周囲に配置されているように合成した合成映像を生成する。
The
指示部２１４は、生成部２１３が生成した合成映像を表示機３２へ送信して、これを表示するように指示をする。指示部２１４は、上述した通り、特定部３６により特定された、基準座標系に対する表示機３２、及び支持体３３の姿勢を示すデータを用いて、映像を補正する。これにより、ユーザは、生成部２１３により生成された合成映像を、支持体３３に対する表示機３２の姿勢に応じた方向に沿って見る。
The
なお、例えば、選択部２１２は、ユーザの手や視線等によるジェスチャーに応じて、表示機３２への指示を列挙したメニューリストを選択してもよい。生成部２１３は、選択部２１２により選択されたメニューリストの画像を選択画像として映像に合成し、指示部２１４は、合成された合成映像を表示機３２に表示させる指示をすればよい。これにより、ユーザはメニューリストを見て、さらに操作子３１を操作する。
Note that, for example, the
したがって、このプロセッサ２１は、作業機械に設置された第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を、第１カメラの周囲に配置されているように合成した合成映像を生成するプロセッサの例である。
Therefore, the
そして、このプロセッサ２１を有する情報処理装置２は、プロセッサを有し、このプロセッサが、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置の例である。
The
また、表示機３２は、ユーザの頭部に装着されて、合成映像のうち、頭部の姿勢に応じた範囲の映像を表示する表示機の例である。
Further, the
なお、指示部２１４は、受付部２１１がマイク１４から受付けた音声信号を放音機３４に送信し、この音声信号に応じた音声を出力するように指示してもよい。この場合、放音機３４は、作業機械１に設置されたマイク１４により収集された周囲の音声を出力する。作業機械１に複数のマイク１４が設けられ、入出力装置３に複数の放音機３４が設けられている場合、指示部２１４は、特定部３６が特定した支持体３３、及び表示機３２の姿勢に応じて、複数のマイク１４から受付けた音声信号の一部又は全部を合成、変換してそれぞれの放音機３４で出力する音声を調整してもよい。
Note that the
このとき、指示部２１４は、例えば、第１カメラ１１が撮像している全方向のうち、支持体３３に対する表示機３２の方向に相当する方向を正面とした音像を、放音機３４によって再現する。また、マイク１４が、第１カメラ１１にそれぞれ内蔵されている場合、
選択部２１２は、受付けたユーザの操作の内容に応じて第１カメラ１１を選択するとともに、選択されたその第１カメラに内蔵されているマイク１４を選択してもよい。この場合、指示部２１４は、選択された第１カメラ１１に内蔵されているマイク１４が収集した音声を、放音機３４に再現するよう指示すればよい。
At this time, the
The
これによりユーザは、あたかも第１カメラ１１、又はマイク１４の設置部位にいるときのような音声を聞くことができる。ユーザは、作業機械１の周囲の状況を視覚のみからではなく、聴覚でも、意識的・無意識的のいずれかに関わらず捉えている。そのため、上述した音像の再現によりユーザは、作業機械１に実際に乗った感覚に近い感覚を得ることができ、事故等の予測がし易くなる。
This allows the user to hear sounds as if they were at the location where the
また、指示部２１４は、計測器１５により計測され、受付部２１１が受付けた加速度を示す計測データに応じて、支持体３３を駆動させるように駆動機３５に指示をしてもよい。
In addition, the
また、指示部２１４は、受付部２１１が操作子３１から受付けたユーザの操作に応じて作業機械１を稼働させるように稼働部１７に指示をしてもよい。この場合、作業機械１は、ユーザの操作に応じて稼働する作業機械の例である。
Further, the
選択部２１２が、外部カメラ４をソースとして選択すると、生成部２１３は、この外部カメラ４によって撮影された作業機械１の外観を示す外観映像を、第１カメラ１１の撮影した映像に、選択画像として合成する。
When the
図３は、外観映像が合成された合成映像の例を示す図である。図３に示す映像Ｇ１は、作業機械１に設けられた第１カメラ１１により撮影された映像である。この映像Ｇ１のうち、領域Ｒ１には、外部カメラ４が映りこんでいる。
FIG. 3 is a diagram showing an example of a synthesized image obtained by synthesizing an appearance image. A video G1 shown in FIG. The
図４は、作業機械１の外観を含む外観映像の例を示す図である。図４に示す外観映像Ｇ２は、外部カメラ４により撮影されたものである。この外観映像Ｇ２のうち、領域Ｒ２には、作業機械１が映りこんでいる。
FIG. 4 is a diagram showing an example of an external image including the external appearance of
ユーザが、外部カメラ４により撮影された外観映像Ｇ２を選択画像として選択する操作を行うと、この操作を受付けて情報処理装置２のプロセッサ２１は、外観映像Ｇ２を、決められた枠にはめ込む演算を行う。この枠とは、第１カメラ１１により撮影される、第１カメラ１１の周囲の空間に配置された仮想的な枠である。プロセッサ２１は、例えば、この枠の四隅の点に、外観映像Ｇ２の四隅が配置されるように、外観映像Ｇ２を変形し、変形した外観映像Ｇ２ｃを映像Ｇ１に重畳して、図３に示す合成映像を生成する。
When the user performs an operation to select the external image G2 captured by the
この場合、プロセッサ２１は、作業機械の周囲からこの作業機械を撮影した外観映像を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
In this case, the
また、選択部２１２が、第２カメラ１２をソースとして選択すると、生成部２１３は、この第２カメラ１２によって撮影された映像を、第１カメラ１１の撮影した映像に、選択画像として合成する。この場合、プロセッサ２１は、作業機械に取り付けられた、第１カメラと異なる第２カメラから撮影した映像を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
Also, when the
＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は組み合わされてもよい。
<Modification>
The above is the description of the embodiment, but the content of this embodiment can be modified as follows. Moreover, the following modifications may be combined.
＜１＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、第１カメラ１１により撮影された映像に合成する１以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、この選択画像の位置、大きさ、色相、彩度、明度、の少なくとも１つを、受付けたユーザの操作に応じて変更してもよい。この場合、このプロセッサ２１は、ユーザの操作に応じて、選択画像の合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更するプロセッサの例である。これにより、ユーザは、第１カメラ１１が撮影した映像に合成する選択画像の位置、大きさ、色相、彩度、明度、の少なくとも１つを変更することができる。
<1>
In the above-described embodiment, the
＜２＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、１以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、ユーザの操作によらずに１以上の選択画像を選択してもよい。例えば、プロセッサ２１は、外部カメラ４が作業機械１を撮影した外観映像が、作業機械１の危険を示しているか否かを判断して、この判断に基づき選択画像を選択してもよい。この場合、プロセッサ２１は、外観映像に対して、例えば、深層学習を用いた物体検出を行い、作業機械１が学習済みの危険状態に直面しているか否かを判断する。ここでいう、危険とは、作業機械１が移動し続けることにより、岩や他の作業機械等の障害物や、通行人等に衝突する事象等をいう。
<2>
In the above-described embodiment, the
そして、外観映像が作業機械１の危険を示している、と判断するとき、プロセッサ２１は、この外観映像を選択画像として選択し、第１カメラ１１が撮影した映像に合成して、合成映像を生成してもよい。
Then, when it is determined that the appearance image indicates danger of the
したがって、このプロセッサ２１は、外観映像が、作業機械の危険を示しているときに、この外観映像を合成した合成映像を生成するプロセッサの例である。
Therefore, this
＜３＞
また、システム９が有する情報処理装置２のプロセッサ２１は、外部カメラ４が作業機械１を撮影した外観映像が、作業機械１の危険を示していると判断するときに、第１カメラ１１が撮影した映像に合成する際に、この外観映像を強調してもよい。
<3>
In addition, when the
外観映像を強調する具体的な態様は、例えば、外観映像の輪郭に描かれる枠の色を、例えば無色から赤色に変更したり、枠の太さを太くしたり、外観映像に重ねて文字や数字、記号、イラスト等が表示されたりするものが挙げられる。 Specific aspects of emphasizing the exterior image include, for example, changing the color of the frame drawn on the outline of the exterior image from colorless to red, increasing the thickness of the frame, and superimposing text and text on the exterior image. Examples include those that display numbers, symbols, illustrations, and the like.
このプロセッサ２１は、外観映像が作業機械の危険を示しているときに、危険を示していないときに比べてこの外観映像を強調した合成映像を生成するプロセッサの例である。これにより、ユーザは、作業機械１が危険を示しているときの外観映像と、そうでないときの外観映像とを区別することができる。
This
＜４＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、受付けたユーザの操作の内容に応じて、第１カメラ１１を選択していたが、このときのユーザの操作は、選択画像の候補のうち、作業機械１と異なる作業機械（つまり、他の作業機械）を示す選択画像を指定して、その作業機械への乗り換えを指示するものであってもよい。乗り換えが指示されると、プロセッサ２１は、現在、選択されている作業機械１の第１カメラ１１を、指示された「他の作業機械」が有する第１カメラ１１に変更すればよい。
<4>
In the above-described embodiment, the
ここで、他の作業機械を示す選択画像とは、その作業機械の型番やロットナンバーを示す記号が描かれた画像であってもよいし、その作業機械の外観を撮影した画像であってもよい。さらに、「他の作業機械」を示す選択画像は、その作業機械を外部カメラ４で撮影した画像であってもよい。なお、乗り換えを指示する操作は、予め決められたジェスチャー等とのパターンマッチングをプロセッサ２１が行うことにより、検出されてもよい。
Here, the selected image indicating the other working machine may be an image in which a symbol indicating the model number or lot number of the working machine is drawn, or an image of the appearance of the working machine. good. Furthermore, the selected image indicating “another working machine” may be an image of the working machine captured by the
また、例えば、操作子３１がユーザの視線による操作を受付けるデバイスである場合、ユーザが他の作業機械を示す選択画像を一定の時間以上にわたって見続けたことを操作子３１が検知したときに、プロセッサ２１は、この視線による操作を、見続けられた他の作業機械への乗り換えを指示する操作として解釈してもよい。
Further, for example, in the case where the
ユーザの操作に応じて、第１カメラ１１を変更すると、プロセッサ２１は、変更後の第１カメラ１１により撮影された、その第１カメラ１１を搭載する作業機械１から見た周囲の映像に、１以上の選択画像を合成した合成映像を生成して、表示機３２に表示させる。これにより、ユーザは、選択画像に対して、乗り換え操作を行うだけで、操作する作業機械１を変更する「乗り換え」を行うことができる。
When the
この場合、このプロセッサ２１は、ユーザの操作が、選択画像のうち、他の作業機械を示す選択画像を指定して、その作業機械への乗り換えを指示するものである場合に、その作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の選択画像を合成した合成映像を生成するプロセッサの例である。
In this case, when the user's operation designates a selection image showing another work machine among the selection images and instructs to transfer to that work machine, the
＜５＞
情報処理装置２のプロセッサ２１によって実行されるプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムとして観念され得る。
<5>
A program executed by the
このプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。なお、上述したプロセッサ２１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。
This program can be provided in a state stored in a computer-readable recording medium such as magnetic recording media such as magnetic tapes and magnetic disks, optical recording media such as optical discs, magneto-optical recording media, and semiconductor memories. Also, this program may be downloaded via a communication line such as the Internet. Various devices other than the CPU may be applied as the control means exemplified by the
＜６＞
上述した実施形態において、入出力装置３は、支持体３３、及び駆動機３５を有していたが、これらを有しなくてもよい。この場合、特定部３６は、表示機３２の基準座標系における姿勢のみを特定し、支持体３３の姿勢を特定しなくてよい。
<6>
In the above-described embodiment, the input/
また、この場合、プロセッサ２１は、特定部３６が特定した表示機３２の姿勢の情報に基づいて第１カメラ１１により撮影された映像を補正すればよい。また、プロセッサ２１は、第１カメラ１１により撮影された映像を補正しなくてもよい。この場合、入出力装置３は、表示機３２の姿勢を特定する特定部３６を有しなくてもよい。
Also, in this case, the
１…作業機械、１１…第１カメラ、１２…第２カメラ、１３…通信部、１４…マイク、１５…計測器、１６…測位機、１７…稼働部、２…情報処理装置、２１…プロセッサ、２１１…受付部、２１２…選択部、２１３…生成部、２１４…指示部、２２…メモリ、２３…通信部、３…入出力装置、３１…操作子、３２…表示機、３３…支持体、３４…放音機、３５…駆動機、３６…特定部、４…外部カメラ、９…システム。
DESCRIPTION OF
Claims (14)
前記作業機械から周囲を撮影する第１カメラと、
ユーザの操作を受付ける操作子と、
前記第１カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、
前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステム。 a working machine;
a first camera that captures an image of the surroundings from the work machine;
an operator that accepts a user's operation;
a processor for generating a synthesized image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with the user's operation with the image captured by the first camera so as to be arranged around the image;
and a display device mounted on the head of the user for displaying an image in a range corresponding to the posture of the head out of the composite image.
前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更する
請求項１に記載のシステム。 The processor
2. The system according to claim 1, wherein at least one of position, size, hue, saturation, and brightness of said selected image in said synthesized video is changed according to said user's operation.
請求項１又は２に記載のシステム。 The system according to claim 1 or 2, wherein the plurality of images include exterior images of the work machine taken from around the work machine.
前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成する
請求項３に記載のシステム。 The processor
4. The system of claim 3, wherein the composite image is generated by combining the exterior image when the exterior image indicates a danger to the work machine.
前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成する
請求項４に記載のシステム。 The processor
5. The system of claim 4, wherein when the appearance image indicates the danger, the composite image is generated that emphasizes the appearance image compared to when the appearance image does not indicate the danger.
前記複数の画像は、前記第２カメラから撮影した映像を含む
請求項１から５のいずれか１項に記載のシステム。 a second camera attached to the work machine and different from the first camera;
6. The system according to any one of claims 1 to 5, wherein said plurality of images includes images taken from said second camera.
前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有する
請求項１から６のいずれか１項に記載のシステム。 a microphone that collects sounds around the work machine;
7. The system according to any one of claims 1 to 6, further comprising a sound emitter that emits a sound corresponding to the posture of the head among the sounds collected by the microphone.
前記プロセッサは、
前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の前記選択画像を合成した合成映像を生成する
請求項１から７のいずれか１項に記載のシステム。 Having a plurality of the working machines,
The processor
When the user's operation designates a selected image showing another working machine among the selected images and instructs to transfer to the other working machine, the surroundings are photographed from the other working machine. 8. The system according to any one of claims 1 to 7, wherein a synthesized image is generated by synthesizing one or more of the selected images with an image captured by the first camera.
請求項１から８のいずれか１項に記載のシステム。 The system according to any one of claims 1 to 8, wherein the work machine operates according to the user's operation.
請求項１から９のいずれか１項に記載のシステム。 The system according to any one of Claims 1 to 9, wherein the manipulator receives the manipulation by a user's line of sight.
前記ユーザの身体を支持する支持体と、
前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、
を有し、
前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示する
請求項１から１０のいずれか１項に記載のシステム。 a measuring instrument for measuring the acceleration received by the first camera;
a support for supporting the user's body;
a driving machine that drives the support according to the acceleration measured by the measuring instrument;
has
11. The system according to any one of claims 1 to 10, wherein said display displays an image of a range according to the posture of said head with respect to said support.
前記複数の画像は、前記測位機により測定された前記位置を示す地図を含む
請求項１から１１のいずれか１項に記載のシステム。 a positioning device that measures the position of the work machine;
12. The system according to any one of claims 1 to 11, wherein said plurality of images includes a map showing said position measured by said positioning device.
作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる
情報処理装置。 a processor, the processor comprising:
A composite image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with a user's operation with an image captured by a first camera that captures the surroundings from the working machine so as to be arranged in the surroundings. generate and
An information processing apparatus that causes a display device attached to the user's head to display an image in a range corresponding to the posture of the head out of the composite image.
作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、
を実現させるためのプログラム。 a computer having a processor,
A composite image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with a user's operation with an image captured by a first camera that captures the surroundings from the working machine so as to be arranged in the surroundings. function to generate,
A function of displaying an image of a range corresponding to the posture of the head out of the composite image on the display device attached to the user's head,
program to make it happen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166885A JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166885A JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023057382A true JP2023057382A (en) | 2023-04-21 |
Family
ID=86006252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021166885A Pending JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023057382A (en) |
-
2021
- 2021-10-11 JP JP2021166885A patent/JP2023057382A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11237594B2 (en) | Headset computer that uses motion and voice commands to control information display and remote devices | |
| US9884248B2 (en) | Display control method for head-mounted display (HMD) and image generation device | |
| US11755122B2 (en) | Hand gesture-based emojis | |
| US10996757B2 (en) | Methods and apparatus for generating haptic interaction for virtual reality | |
| KR101850028B1 (en) | Device for virtual tour experience and method thereof | |
| US20120293506A1 (en) | Avatar-Based Virtual Collaborative Assistance | |
| WO2015180497A1 (en) | Motion collection and feedback method and system based on stereoscopic vision | |
| US20130293466A1 (en) | Operation device | |
| JP7287257B2 (en) | Image processing device, display system, program and image processing method | |
| JP5013398B2 (en) | Mixed reality system and event input method | |
| JP2010257081A (en) | Image procession method and image processing system | |
| JP7268130B2 (en) | Head-mounted information processing device | |
| US6149435A (en) | Simulation method of a radio-controlled model airplane and its system | |
| JP2023057382A (en) | System, information processing device, and program | |
| JP2018164223A (en) | Display system | |
| US20220230357A1 (en) | Data processing | |
| WO2021002116A1 (en) | Information processing device, information processing method, and program | |
| US20240255991A1 (en) | Headset Computer That Uses Motion And Voice Commands To Control Information Display And Remote Devices | |
| WO2022149496A1 (en) | Entertainment system and robot | |
| US20240087334A1 (en) | Information process system | |
| JPH09305788A (en) | Information processor | |
| JP2022142517A (en) | Image display control device, image display control system and image display control method | |
| CN117596380A (en) | Augmented reality device display method, augmented reality device, and readable storage medium | |
| JP2018206103A (en) | Head-mounted display and work support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240711 |