JP2023057382A - System, information processing device, and program - Google Patents
System, information processing device, and program Download PDFInfo
- Publication number
- JP2023057382A JP2023057382A JP2021166885A JP2021166885A JP2023057382A JP 2023057382 A JP2023057382 A JP 2023057382A JP 2021166885 A JP2021166885 A JP 2021166885A JP 2021166885 A JP2021166885 A JP 2021166885A JP 2023057382 A JP2023057382 A JP 2023057382A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- camera
- processor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 40
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 230000036544 posture Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Operation Control Of Excavators (AREA)
Abstract
Description
本発明は、作業機械を遠隔操作するシステムの技術に関する。 The present invention relates to technology of a system for remotely controlling work machines.
車等の移動体からリアルタイムで撮影した映像を遠隔地に転送して表示させ、あたかもその移動体に搭乗しているような感覚をユーザに与えるシステムが開発されている。 2. Description of the Related Art A system has been developed in which an image captured in real time from a mobile object such as a car is transferred to a remote location and displayed, thereby giving the user a feeling as if he or she were on board the mobile object.
特許文献1には、車両の動作に応じた画像を送信して、ユーザに、運転者と旅行しているかのような疑似体験をさせるための画像処理システム、が記載されている。
特許文献2には、仮想空間をレンダリングする際、カメラで撮影した現実空間の映像を解析し、映像内から机上部分の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成するVR機能部が記載されている。
In
クレーン車やブルドーザ、ショベルカー等の作業機械を遠隔操作する場合に、ユーザは、例えば作業機械の操縦席や、操縦席に相当する位置から撮影した映像を見ることで、その作業機械の操縦席にいるように各種の判断をすることが可能になる。しかし、作業機械から撮影可能な範囲には限界があり、その作業機械が置かれている状況や周囲の危険等は、その作業機械を外部から撮影した外観画像に現れることもある。 When remotely operating a working machine such as a crane truck, a bulldozer, or an excavator, a user can, for example, see an operator's seat of the working machine or an image taken from a position corresponding to the operator's seat, and thereby understand the operator's seat of the working machine. It is possible to make various judgments as if you were in However, there is a limit to the range that can be photographed from a working machine, and the situation in which the working machine is placed, the surrounding dangers, and the like may appear in an exterior image of the working machine that is photographed from the outside.
本発明の目的の一つは、作業機械の外部からその作業機械を撮影した映像を、その作業機械の遠隔操作をするユーザに見せることでその作業機械の操作性を向上させること、である。 One of the objects of the present invention is to improve the operability of a working machine by showing a user who remotely operates the working machine a video image of the working machine taken from outside the working machine.
本発明の請求項1に係るシステムは、作業機械と、前記作業機械から周囲を撮影する第1カメラと、ユーザの操作を受付ける操作子と、前記第1カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステムである。
A system according to
本発明の請求項2に係るシステムは、請求項1に記載の態様において、前記プロセッサは、前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも1つを変更するシステムである。
In the system according to
本発明の請求項3に係るシステムは、請求項1又は2に記載の態様において、前記複数の画像は、前記作業機械の周囲から該作業機械を撮影した外観映像を含むシステムである。
A system according to
本発明の請求項4に係るシステムは、請求項3に記載の態様において、前記プロセッサは、前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成するシステムである。
In the system according to
本発明の請求項5に係るシステムは、請求項4に記載の態様において、前記プロセッサは、前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成するシステムである。
In the system according to claim 5 of the present invention, in the aspect according to
本発明の請求項6に係るシステムは、請求項1から5のいずれか1項に記載の態様において、前記作業機械に取り付けられた、前記第1カメラと異なる第2カメラ、を有し、前記複数の画像は、前記第2カメラから撮影した映像を含むシステムである。
Claim 6 of the present invention is the system according to any one of
本発明の請求項7に係るシステムは、請求項1から6のいずれか1項に記載の態様において、前記作業機械の周囲の音を収集するマイクと、前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有するシステムである。
Claim 7 of the present invention provides a system according to any one of
本発明の請求項8に係るシステムは、請求項1から7のいずれか1項に記載の態様において、前記作業機械を複数有し、前記プロセッサは、前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第1カメラにより撮影された映像に、1以上の前記選択画像を合成した合成映像を生成するシステムである。
According to claim 8 of the present invention, in the aspect of any one of
本発明の請求項9に係るシステムは、請求項1から8のいずれか1項に記載の態様において、前記作業機械は、前記ユーザの操作に応じて稼働するシステムである。
A system according to
本発明の請求項10に係るシステムは、請求項1から9のいずれか1項に記載の態様において、前記操作子は、ユーザの視線による前記操作を受付けるシステムである。
A system according to claim 10 of the present invention is the system according to any one of
本発明の請求項11に係るシステムは、請求項1から10のいずれか1項に記載の態様において、前記第1カメラが受ける加速度を計測する計測器と、前記ユーザの身体を支持する支持体と、前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、を有し、前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示するシステムである。
According to
本発明の請求項12に係るシステムは、請求項1から11のいずれか1項に記載の態様において、前記作業機械の位置を測定する測位機、を有し、前記複数の画像は、前記測位機により測定された前記位置を示す地図を含むシステムである。
本発明の請求項13に係る情報処理装置は、プロセッサを有し、前記プロセッサは、作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置である。 According to a thirteenth aspect of the present invention, the information processing apparatus has a processor, and the processor selects from a plurality of images according to a user's operation from the image captured by the first camera that captures the surroundings of the working machine. A composite video is generated by synthesizing the one or more selected images so as to be arranged in the surroundings, and a display device attached to the user's head displays the composite video in the posture of the head. It is an information processing device that displays an image in a corresponding range.
本発明の請求項14に係るプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムである。
A program according to
<実施形態>
<システムの構成>
図1は、本発明の実施形態に係るシステム9の構成の例を示す図である。システム9は、作業機械1に第1カメラ11を設置して、作業機械1により移動する感覚をユーザUに再現して提供するシミュレータシステムである。
<Embodiment>
<System configuration>
FIG. 1 is a diagram showing an example configuration of a
システム9は、作業機械1、情報処理装置2、入出力装置3、及び外部カメラ4を有する。図1に示すシステム9は、作業機械1、情報処理装置2、入出力装置3、及び外部カメラ4をそれぞれ1つずつ有するが、これらの数はそれぞれ2以上であってもよい。
The
作業機械1は、土木、建築等の作業に用いられる作業機械であって、例えばショベルカーである。この作業機械1は、例えば、操縦席等から見える光景をカメラで撮影してその映像を情報処理装置2に送る機構を有する。図1に示す作業機械1は、第1カメラ11、第2カメラ12、通信部13、マイク14、計測器15、測位機16、及び稼働部17を有する。
The
第1カメラ11は、作業機械1の例えば操縦席等に取り付けられたカメラであり、作業機械1から周囲を撮影する。図1に示す第1カメラ11は、広角レンズを有する光学系と、その光学系で集光した光に応じて画像データを生成する撮像素子と、の複数の組を有し、これらによって自身の周囲のあらゆる方向を撮像する。この第1カメラ11は、例えば、いわゆる全天球カメラ等と呼ばれるものである。
The
なお、第1カメラ11は1つに限らず、2つ以上設けられていてもよい。例えば、複数の第1カメラ11は、作業機械1において操縦席の他に、操縦室の外側(屋根、シャーシ、アーム等)にも設けられていてもよい。
In addition, the number of the
第2カメラ12は、第1カメラ11とともに作業機械1に取り付けられた、第1カメラ11と異なるカメラである。つまり、第2カメラ12を有するシステム9は、作業機械に取り付けられた、第1カメラとことなる第2カメラを有するシステムの例である。
The
図1に示す第2カメラ12は、第1カメラ11が設置された操縦席から、フレームや座席等により死角になる範囲を撮影するカメラである。この第2カメラ12は、例えば、操縦席の後方の外壁に、進行方向の後ろ側に向けて取り付けられており、車輪等の移動装置と道との接地点を撮影する。
The
なお、第2カメラ12の数は1つに限らず、なくてもよいし、また、2つ以上であってもよい。例えば、第2カメラ12は、作業機械1の後方のみならず、前方、下方、左右であって、第1カメラ11から死角になる複数箇所に設けられてもよい。
In addition, the number of the
マイク14は、作業機械1に取り付けられ、作業機械1の周囲の音を収集するマイクロフォンである。つまり、マイク14を有するシステム9は、作業機械の周囲の音を収集するマイクを有するシステムの例である。
Microphone 14 is a microphone that is attached to
図1に示すマイク14は、例えば、作業機械1の操縦席や、操縦席の天板等に設置される。マイク14は、第1カメラ11や第2カメラ12に内蔵されていてもよい。
The
計測器15は、第1カメラ11が受ける加速度を計測する計測器である。計測器15は、例えば、圧電型、ピエゾ抵抗型、静電容量型等による三軸加速度センサである。この計測器15は、MEMS(Micro Electro Mechanical Systems)が用いられてもよい。この計測器15は、計測した加速度を示す計測データを生成し、情報処理装置2へ送信する。
The
なお、計測器15が計測する物理量は加速度に限らない。計測器15は、位置を計測してもよい。この場合、情報処理装置2は、例えば、取得した計測データが示す位置を時間で二階微分して第1カメラ11が受ける加速度を求めてもよい。また、計測器15は、第1カメラ11の速度を計測してもよい。この場合、情報処理装置2は、例えば、取得した計測データが示す速度を時間で微分して第1カメラ11が受ける加速度を求めてもよい。
Note that the physical quantity measured by the
測位機16は、作業機械1の位置を測定する測位機であり、例えば、全地球航法衛星システム(GNSS: Global Navigation Satellite System)の航法衛星が発信する電波から航法信号を抽出して測位計算をする受信デバイスである。
The
通信部13は、無線により情報処理装置2と制御信号や映像データ等をやり取りする通信回路を有する。図1に示す通信部13は、例えば、LPWA(Low Power Wide Area)を用いた通信回線を有してもよい。また、作業機械1の移動に伴って通信線を繰り出し、又は収容する機構を有し、この通信線が作業機械1の移動を妨げないのであれば、通信部13は、有線により作業機械1と情報処理装置2とを通信可能に接続してもよい。
The
通信部13は、第1カメラ11、及び第2カメラ12で撮影された映像を示す映像データ、及び計測器15が計測した計測データ、を情報処理装置2へ送信する。また、通信部13は、マイク14が収集した音を示す音声信号、及び測位機16が測定した作業機械1の位置を示す位置データ、を情報処理装置2へ送信する。
The
稼働部17は、作業機械1のブーム、アーム、バケット、ショベル等の作業機械や、車輪、無限軌道等の移動装置を制御して、作業機械1を稼働させる構成であり、通信部13を経由して受信した制御信号に基づいてプロセッサが作業機械の油圧出力機構や、ガソリンエンジン、動力伝達機構等を制御する。
The operating
情報処理装置2は、例えばコンピュータである。図1に示す情報処理装置2は、プロセッサ21、メモリ22、及び通信部23を有する。
The
プロセッサ21は、メモリ22に記憶されているコンピュータプログラム(以下、単にプログラムという)を読出して実行することにより情報処理装置2の各部を制御する。プロセッサ21は、例えばCPU(Central Processing Unit)である。
通信部23は、無線により情報処理装置2を、作業機械1に通信可能に接続する通信回路である。なお、上述した通り、通信部23は、有線により作業機械1と情報処理装置2とを通信可能に接続してもよい。
The communication unit 23 is a communication circuit that wirelessly connects the
メモリ22は、プロセッサ21に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ22は、RAM(Random Access Memory)やROM(Read Only Memory)を有する。なお、メモリ22は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。
The
入出力装置3は、再現室等に設置され、ユーザに映像、音声等を出力し、ユーザからの操作を入力する装置である。図1に示す入出力装置3は、操作子31、表示機32、支持体33、放音機34、駆動機35、及び特定部36を有する。操作子31、表示機32、放音機34、駆動機35、及び特定部36は、情報処理装置2のプロセッサ21と、例えば、バス経由で接続しており、プロセッサ21により制御される。なお、入出力装置3のこれらの構成は、情報処理装置2の通信部23を経由してプロセッサ21と通信可能に接続されてもよい。
The input/
操作子31は、例えば、ユーザの手、指等が触れるタッチパネルやハンドル、ボタン等で構成され、ユーザの操作を受付ける。操作子31は、表示機32の内部であって、ユーザの眼球を撮影し、ユーザの視線を検知してこの視線による操作を受付けるデバイスであってもよい。この場合、操作子31は、ユーザの視線による前記操作を受付ける操作子の例である。
The
また、操作子31は、ユーザの手や指、瞼、舌、唇等に装着されて、これらの動作により表現されるジェスチャーを特定するウェアラブルデバイスであってもよい。また、操作子31は、ユーザの発する音声を収集し、この音声が示す操作を自然言語解析によって解釈して特定する音声認識デバイスであってもよい。
Also, the
表示機32は、ユーザUの頭部Uhに装着されて、上述した第1カメラ11により撮影された映像を表示する表示機である。表示機32は、例えば上述したHMDである。表示機32は、ユーザUの眼前に配置される液晶ディスプレイによって映像を表示する、いわゆる接眼光学系のHMDでもよい。また、表示機32は、ユーザの網膜に直接、レーザ光等を投影する網膜投影型のHMDでもよい。
The
支持体33は、ユーザUの身体(すなわち、胴体Ut、及び頭部Uh)を支持する構造物であり、例えば、図1に示す椅子、シート等である。なお、支持体33は、椅子、シート等に限られず、例えば、ユーザUを吊り下げるバンド、ロープ、網等であってもよい。
The
なお、支持体33が直接、接触して支持するのは、ユーザUの胴体Utであり、頭部Uhは、胴体Utを介して、間接的に支持体33により支持されている。ユーザUは、支持体33に着席した状態で、頭部Uhを拘束されていないので、首を上下左右に振って見る方向を変えることができる。
It should be noted that the body Ut of the user U is directly contacted and supported by the
駆動機35は、第1カメラ11が受ける加速度に応じて支持体33を駆動させる機構であり、例えば、スチュアート・プラットフォーム等の6自由度のアクチュエータ装置や、1自由度、又は多自由度のアクチュエータ装置等である。
The driving
特定部36は、基準となる座標系(以下、基準座標系という)に対する表示機32、及び支持体33の各姿勢を特定する。ここで、基準座標系とは、支持体33及び駆動機35が設置されている、再現室等における慣性座標系である。
The specifying
特定部36は、例えば、いわゆるカメラ方式と呼ばれるポジショントラッキングにより、表示機32、及び支持体33の各姿勢を特定する。この場合、表示機32、及び支持体33にはそれぞれLED(light emitting diode)等の発光素子が設けられている。特定部36は、この表示機32、及び支持体33に設けられた発光素子から照射される赤外線等の光を、例えば、再現室に設置された複数のカメラで捉えることにより、発光素子の位置を特定し、それらの位置から表示機32、及び支持体33の姿勢をそれぞれ特定する。
The specifying
なお、特定部36による特定の方式は、上述したものに限られない。例えば、再現室の1箇所以上の位置に固定された1以上の発光素子が赤外線等の光を照射し、照射された光を表示機32、又は支持体33に備えられた複数のカメラや光センサ等で感知してもよい。この場合、特定部36は、表示機32、又は支持体33に含まれる。
Note that the identification method by the
また、表示機32は、ユーザUの頭部Uhに取り付けられているため、ユーザUは、頭部Uhを動かすことによって特定部36に表示機32の姿勢の変化を特定させることができる。したがって、特定部36は、この表示機32の姿勢の変化を、上述したジェスチャーとして受け取る操作子31として機能してもよい。
In addition, since the
放音機34は、プロセッサ21の制御の下、音を放出するスピーカ等の放音機である。情報処理装置2のプロセッサ21は、通信部13、及び通信部23を介してマイク14により収集された音を示す音声信号を受付けると、この音のうち、特定部36によって特定されるユーザの頭部の姿勢に応じた音を放出する。つまり、この放音機34を有するシステムは、マイクにより収集された音のうち、ユーザの頭部の姿勢に応じた音を放出する放音機を有するシステムの例である。
The
情報処理装置2の通信部23は、作業機械1から、映像データ、音声信号、位置データ、及び計測データを受信する。図1に示す駆動機35は、情報処理装置2のプロセッサ21の制御の下、通信部23が受信した計測データに応じて支持体33を駆動させる。
The communication unit 23 of the
情報処理装置2のプロセッサ21は、支持体33に対する表示機32の姿勢に応じた範囲がユーザUに見えるように映像を補正し、補正したその映像を表示機32に表示させる。
The
例えば、図1に示すプロセッサ21は、特定部36により特定された、基準座標系に対する表示機32、及び支持体33の姿勢を示すデータをそれぞれ受信する。そして、このプロセッサ21は、特定部36が特定した表示機32の姿勢と、支持体33の姿勢と、の差分を用いて、第1カメラ11により撮影された映像を補正する。
For example, the
表示機32は、上述した補正された映像をユーザに表示する。つまり、この表示機32は、支持体に対するユーザの頭部の姿勢に応じた範囲の映像を表示する表示機の例である。
The
外部カメラ4は、作業機械1の周囲から、この作業機械1を撮影するカメラである。外部カメラ4は、例えば情報処理装置2の図示しないインタフェースを介して有線、又は無線で情報処理装置2に接続されている。外部カメラ4は、作業機械1を撮影した映像(外観映像という)をプロセッサ21に供給する。なお、外部カメラ4は、通信部23を介してプロセッサ21に接続されてもよい。
The
<情報処理装置の機能的構成>
図2は、情報処理装置2の機能的構成の例を示す図である。情報処理装置2のプロセッサ21は、メモリ22に記憶されたプログラムを実行することにより、受付部211、選択部212、生成部213、及び指示部214として機能する。なお、図2において、通信部13、及び通信部23は、いずれも省略されている。
<Functional Configuration of Information Processing Device>
FIG. 2 is a diagram showing an example of the functional configuration of the
受付部211は、入出力装置3の操作子31からユーザの操作に応じた信号をバス経由で受信し、このユーザによる操作を受付ける。また、受付部211は、入出力装置3の特定部36から基準座標系に対する表示機32、及び支持体33の各姿勢のデータを受付ける。
The receiving
さらに、受付部211は、作業機械1に設置されたマイク14から音声信号を、計測器15から、計測された加速度を示す計測データを、測位機16から、測定された作業機械1の位置を示す位置データを、それぞれ受付ける。
Further, the
選択部212は、受付部211が受付けたユーザの操作の内容に応じて、第1カメラ11を選択する。例えば、選択部212は、ユーザの手や視線等によるジェスチャーに応じて、作業機械1を選択し、その操縦席等に設置された第1カメラ11を選択する。1台の作業機械1に複数の第1カメラ11が設置されている場合、選択部212は、選択された作業機械1に設置されたそれら複数の第1カメラ11のうち、予め決められた(いわゆるデフォルトの)第1カメラ11を選択して、これにより撮影された全天球映像を取得すればよい。その後、ユーザが振り返って、選択された第1カメラ11からではバックシートしか見えない範囲に視線が移ったり、その振り返ったユーザの頭部の姿勢が検知されたりしたとき、選択部212は、その視線や頭部の方向に応じて、作業機械1に設けられた複数の第1カメラ11の中からいずれかを選択してもよい。
The
そして、選択部212は、受付けたユーザの操作の内容に応じて、第1カメラ11により撮影された映像に合成する画像(以下、選択画像という)を選択する。この選択画像の複数のソース(つまり、出力元)の候補には、第2カメラ12、外部カメラ4、及びメモリ22が含まれる。選択部212は、1つの選択画像を選択してもよいし、複数の選択画像を選択してもよい。
Then, the
なお、選択部212は、受付部211が測位機16から受付けた作業機械1の位置データに応じて、この位置データが示す位置を含む地図の画像を、選択画像として、例えば、メモリ22に格納された地図データベースから選択してもよい。この場合、プロセッサ21は、測位機により測定された、作業機械の位置を示す地図を含む複数の画像から、ユーザの操作に応じて選択された1以上の選択画像を、第1カメラ11の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
Note that the
生成部213は、選択部212により選択された第1カメラ11により撮影された映像に、上述したソースにより提供される選択画像を、ユーザの周囲に配置されているように合成した合成映像を生成する。
The
指示部214は、生成部213が生成した合成映像を表示機32へ送信して、これを表示するように指示をする。指示部214は、上述した通り、特定部36により特定された、基準座標系に対する表示機32、及び支持体33の姿勢を示すデータを用いて、映像を補正する。これにより、ユーザは、生成部213により生成された合成映像を、支持体33に対する表示機32の姿勢に応じた方向に沿って見る。
The
なお、例えば、選択部212は、ユーザの手や視線等によるジェスチャーに応じて、表示機32への指示を列挙したメニューリストを選択してもよい。生成部213は、選択部212により選択されたメニューリストの画像を選択画像として映像に合成し、指示部214は、合成された合成映像を表示機32に表示させる指示をすればよい。これにより、ユーザはメニューリストを見て、さらに操作子31を操作する。
Note that, for example, the
したがって、このプロセッサ21は、作業機械に設置された第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を、第1カメラの周囲に配置されているように合成した合成映像を生成するプロセッサの例である。
Therefore, the
そして、このプロセッサ21を有する情報処理装置2は、プロセッサを有し、このプロセッサが、作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置の例である。
The
また、表示機32は、ユーザの頭部に装着されて、合成映像のうち、頭部の姿勢に応じた範囲の映像を表示する表示機の例である。
Further, the
なお、指示部214は、受付部211がマイク14から受付けた音声信号を放音機34に送信し、この音声信号に応じた音声を出力するように指示してもよい。この場合、放音機34は、作業機械1に設置されたマイク14により収集された周囲の音声を出力する。作業機械1に複数のマイク14が設けられ、入出力装置3に複数の放音機34が設けられている場合、指示部214は、特定部36が特定した支持体33、及び表示機32の姿勢に応じて、複数のマイク14から受付けた音声信号の一部又は全部を合成、変換してそれぞれの放音機34で出力する音声を調整してもよい。
Note that the
このとき、指示部214は、例えば、第1カメラ11が撮像している全方向のうち、支持体33に対する表示機32の方向に相当する方向を正面とした音像を、放音機34によって再現する。また、マイク14が、第1カメラ11にそれぞれ内蔵されている場合、
選択部212は、受付けたユーザの操作の内容に応じて第1カメラ11を選択するとともに、選択されたその第1カメラに内蔵されているマイク14を選択してもよい。この場合、指示部214は、選択された第1カメラ11に内蔵されているマイク14が収集した音声を、放音機34に再現するよう指示すればよい。
At this time, the
The
これによりユーザは、あたかも第1カメラ11、又はマイク14の設置部位にいるときのような音声を聞くことができる。ユーザは、作業機械1の周囲の状況を視覚のみからではなく、聴覚でも、意識的・無意識的のいずれかに関わらず捉えている。そのため、上述した音像の再現によりユーザは、作業機械1に実際に乗った感覚に近い感覚を得ることができ、事故等の予測がし易くなる。
This allows the user to hear sounds as if they were at the location where the
また、指示部214は、計測器15により計測され、受付部211が受付けた加速度を示す計測データに応じて、支持体33を駆動させるように駆動機35に指示をしてもよい。
In addition, the
また、指示部214は、受付部211が操作子31から受付けたユーザの操作に応じて作業機械1を稼働させるように稼働部17に指示をしてもよい。この場合、作業機械1は、ユーザの操作に応じて稼働する作業機械の例である。
Further, the
選択部212が、外部カメラ4をソースとして選択すると、生成部213は、この外部カメラ4によって撮影された作業機械1の外観を示す外観映像を、第1カメラ11の撮影した映像に、選択画像として合成する。
When the
図3は、外観映像が合成された合成映像の例を示す図である。図3に示す映像G1は、作業機械1に設けられた第1カメラ11により撮影された映像である。この映像G1のうち、領域R1には、外部カメラ4が映りこんでいる。
FIG. 3 is a diagram showing an example of a synthesized image obtained by synthesizing an appearance image. A video G1 shown in FIG. The
図4は、作業機械1の外観を含む外観映像の例を示す図である。図4に示す外観映像G2は、外部カメラ4により撮影されたものである。この外観映像G2のうち、領域R2には、作業機械1が映りこんでいる。
FIG. 4 is a diagram showing an example of an external image including the external appearance of
ユーザが、外部カメラ4により撮影された外観映像G2を選択画像として選択する操作を行うと、この操作を受付けて情報処理装置2のプロセッサ21は、外観映像G2を、決められた枠にはめ込む演算を行う。この枠とは、第1カメラ11により撮影される、第1カメラ11の周囲の空間に配置された仮想的な枠である。プロセッサ21は、例えば、この枠の四隅の点に、外観映像G2の四隅が配置されるように、外観映像G2を変形し、変形した外観映像G2cを映像G1に重畳して、図3に示す合成映像を生成する。
When the user performs an operation to select the external image G2 captured by the
この場合、プロセッサ21は、作業機械の周囲からこの作業機械を撮影した外観映像を含む複数の画像から、ユーザの操作に応じて選択された1以上の選択画像を、第1カメラ11の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
In this case, the
また、選択部212が、第2カメラ12をソースとして選択すると、生成部213は、この第2カメラ12によって撮影された映像を、第1カメラ11の撮影した映像に、選択画像として合成する。この場合、プロセッサ21は、作業機械に取り付けられた、第1カメラと異なる第2カメラから撮影した映像を含む複数の画像から、ユーザの操作に応じて選択された1以上の選択画像を、第1カメラ11の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。
Also, when the
<変形例>
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は組み合わされてもよい。
<Modification>
The above is the description of the embodiment, but the content of this embodiment can be modified as follows. Moreover, the following modifications may be combined.
<1>
上述した実施形態において、システム9が有する情報処理装置2のプロセッサ21は、第1カメラ11により撮影された映像に合成する1以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、この選択画像の位置、大きさ、色相、彩度、明度、の少なくとも1つを、受付けたユーザの操作に応じて変更してもよい。この場合、このプロセッサ21は、ユーザの操作に応じて、選択画像の合成映像における位置、大きさ、色相、彩度、明度、の少なくとも1つを変更するプロセッサの例である。これにより、ユーザは、第1カメラ11が撮影した映像に合成する選択画像の位置、大きさ、色相、彩度、明度、の少なくとも1つを変更することができる。
<1>
In the above-described embodiment, the
<2>
上述した実施形態において、システム9が有する情報処理装置2のプロセッサ21は、1以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、ユーザの操作によらずに1以上の選択画像を選択してもよい。例えば、プロセッサ21は、外部カメラ4が作業機械1を撮影した外観映像が、作業機械1の危険を示しているか否かを判断して、この判断に基づき選択画像を選択してもよい。この場合、プロセッサ21は、外観映像に対して、例えば、深層学習を用いた物体検出を行い、作業機械1が学習済みの危険状態に直面しているか否かを判断する。ここでいう、危険とは、作業機械1が移動し続けることにより、岩や他の作業機械等の障害物や、通行人等に衝突する事象等をいう。
<2>
In the above-described embodiment, the
そして、外観映像が作業機械1の危険を示している、と判断するとき、プロセッサ21は、この外観映像を選択画像として選択し、第1カメラ11が撮影した映像に合成して、合成映像を生成してもよい。
Then, when it is determined that the appearance image indicates danger of the
したがって、このプロセッサ21は、外観映像が、作業機械の危険を示しているときに、この外観映像を合成した合成映像を生成するプロセッサの例である。
Therefore, this
<3>
また、システム9が有する情報処理装置2のプロセッサ21は、外部カメラ4が作業機械1を撮影した外観映像が、作業機械1の危険を示していると判断するときに、第1カメラ11が撮影した映像に合成する際に、この外観映像を強調してもよい。
<3>
In addition, when the
外観映像を強調する具体的な態様は、例えば、外観映像の輪郭に描かれる枠の色を、例えば無色から赤色に変更したり、枠の太さを太くしたり、外観映像に重ねて文字や数字、記号、イラスト等が表示されたりするものが挙げられる。 Specific aspects of emphasizing the exterior image include, for example, changing the color of the frame drawn on the outline of the exterior image from colorless to red, increasing the thickness of the frame, and superimposing text and text on the exterior image. Examples include those that display numbers, symbols, illustrations, and the like.
このプロセッサ21は、外観映像が作業機械の危険を示しているときに、危険を示していないときに比べてこの外観映像を強調した合成映像を生成するプロセッサの例である。これにより、ユーザは、作業機械1が危険を示しているときの外観映像と、そうでないときの外観映像とを区別することができる。
This
<4>
上述した実施形態において、システム9が有する情報処理装置2のプロセッサ21は、受付けたユーザの操作の内容に応じて、第1カメラ11を選択していたが、このときのユーザの操作は、選択画像の候補のうち、作業機械1と異なる作業機械(つまり、他の作業機械)を示す選択画像を指定して、その作業機械への乗り換えを指示するものであってもよい。乗り換えが指示されると、プロセッサ21は、現在、選択されている作業機械1の第1カメラ11を、指示された「他の作業機械」が有する第1カメラ11に変更すればよい。
<4>
In the above-described embodiment, the
ここで、他の作業機械を示す選択画像とは、その作業機械の型番やロットナンバーを示す記号が描かれた画像であってもよいし、その作業機械の外観を撮影した画像であってもよい。さらに、「他の作業機械」を示す選択画像は、その作業機械を外部カメラ4で撮影した画像であってもよい。なお、乗り換えを指示する操作は、予め決められたジェスチャー等とのパターンマッチングをプロセッサ21が行うことにより、検出されてもよい。
Here, the selected image indicating the other working machine may be an image in which a symbol indicating the model number or lot number of the working machine is drawn, or an image of the appearance of the working machine. good. Furthermore, the selected image indicating “another working machine” may be an image of the working machine captured by the
また、例えば、操作子31がユーザの視線による操作を受付けるデバイスである場合、ユーザが他の作業機械を示す選択画像を一定の時間以上にわたって見続けたことを操作子31が検知したときに、プロセッサ21は、この視線による操作を、見続けられた他の作業機械への乗り換えを指示する操作として解釈してもよい。
Further, for example, in the case where the
ユーザの操作に応じて、第1カメラ11を変更すると、プロセッサ21は、変更後の第1カメラ11により撮影された、その第1カメラ11を搭載する作業機械1から見た周囲の映像に、1以上の選択画像を合成した合成映像を生成して、表示機32に表示させる。これにより、ユーザは、選択画像に対して、乗り換え操作を行うだけで、操作する作業機械1を変更する「乗り換え」を行うことができる。
When the
この場合、このプロセッサ21は、ユーザの操作が、選択画像のうち、他の作業機械を示す選択画像を指定して、その作業機械への乗り換えを指示するものである場合に、その作業機械から周囲を撮影する第1カメラにより撮影された映像に、1以上の選択画像を合成した合成映像を生成するプロセッサの例である。
In this case, when the user's operation designates a selection image showing another work machine among the selection images and instructs to transfer to that work machine, the
<5>
情報処理装置2のプロセッサ21によって実行されるプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムとして観念され得る。
<5>
A program executed by the
このプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。なお、上述したプロセッサ21によって例示した制御手段としてはCPU以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。
This program can be provided in a state stored in a computer-readable recording medium such as magnetic recording media such as magnetic tapes and magnetic disks, optical recording media such as optical discs, magneto-optical recording media, and semiconductor memories. Also, this program may be downloaded via a communication line such as the Internet. Various devices other than the CPU may be applied as the control means exemplified by the
<6>
上述した実施形態において、入出力装置3は、支持体33、及び駆動機35を有していたが、これらを有しなくてもよい。この場合、特定部36は、表示機32の基準座標系における姿勢のみを特定し、支持体33の姿勢を特定しなくてよい。
<6>
In the above-described embodiment, the input/
また、この場合、プロセッサ21は、特定部36が特定した表示機32の姿勢の情報に基づいて第1カメラ11により撮影された映像を補正すればよい。また、プロセッサ21は、第1カメラ11により撮影された映像を補正しなくてもよい。この場合、入出力装置3は、表示機32の姿勢を特定する特定部36を有しなくてもよい。
Also, in this case, the
1…作業機械、11…第1カメラ、12…第2カメラ、13…通信部、14…マイク、15…計測器、16…測位機、17…稼働部、2…情報処理装置、21…プロセッサ、211…受付部、212…選択部、213…生成部、214…指示部、22…メモリ、23…通信部、3…入出力装置、31…操作子、32…表示機、33…支持体、34…放音機、35…駆動機、36…特定部、4…外部カメラ、9…システム。
DESCRIPTION OF
Claims (14)
前記作業機械から周囲を撮影する第1カメラと、
ユーザの操作を受付ける操作子と、
前記第1カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、
前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステム。 a working machine;
a first camera that captures an image of the surroundings from the work machine;
an operator that accepts a user's operation;
a processor for generating a synthesized image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with the user's operation with the image captured by the first camera so as to be arranged around the image;
and a display device mounted on the head of the user for displaying an image in a range corresponding to the posture of the head out of the composite image.
前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも1つを変更する
請求項1に記載のシステム。 The processor
2. The system according to claim 1, wherein at least one of position, size, hue, saturation, and brightness of said selected image in said synthesized video is changed according to said user's operation.
請求項1又は2に記載のシステム。 The system according to claim 1 or 2, wherein the plurality of images include exterior images of the work machine taken from around the work machine.
前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成する
請求項3に記載のシステム。 The processor
4. The system of claim 3, wherein the composite image is generated by combining the exterior image when the exterior image indicates a danger to the work machine.
前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成する
請求項4に記載のシステム。 The processor
5. The system of claim 4, wherein when the appearance image indicates the danger, the composite image is generated that emphasizes the appearance image compared to when the appearance image does not indicate the danger.
前記複数の画像は、前記第2カメラから撮影した映像を含む
請求項1から5のいずれか1項に記載のシステム。 a second camera attached to the work machine and different from the first camera;
6. The system according to any one of claims 1 to 5, wherein said plurality of images includes images taken from said second camera.
前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有する
請求項1から6のいずれか1項に記載のシステム。 a microphone that collects sounds around the work machine;
7. The system according to any one of claims 1 to 6, further comprising a sound emitter that emits a sound corresponding to the posture of the head among the sounds collected by the microphone.
前記プロセッサは、
前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第1カメラにより撮影された映像に、1以上の前記選択画像を合成した合成映像を生成する
請求項1から7のいずれか1項に記載のシステム。 Having a plurality of the working machines,
The processor
When the user's operation designates a selected image showing another working machine among the selected images and instructs to transfer to the other working machine, the surroundings are photographed from the other working machine. 8. The system according to any one of claims 1 to 7, wherein a synthesized image is generated by synthesizing one or more of the selected images with an image captured by the first camera.
請求項1から8のいずれか1項に記載のシステム。 The system according to any one of claims 1 to 8, wherein the work machine operates according to the user's operation.
請求項1から9のいずれか1項に記載のシステム。 The system according to any one of Claims 1 to 9, wherein the manipulator receives the manipulation by a user's line of sight.
前記ユーザの身体を支持する支持体と、
前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、
を有し、
前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示する
請求項1から10のいずれか1項に記載のシステム。 a measuring instrument for measuring the acceleration received by the first camera;
a support for supporting the user's body;
a driving machine that drives the support according to the acceleration measured by the measuring instrument;
has
11. The system according to any one of claims 1 to 10, wherein said display displays an image of a range according to the posture of said head with respect to said support.
前記複数の画像は、前記測位機により測定された前記位置を示す地図を含む
請求項1から11のいずれか1項に記載のシステム。 a positioning device that measures the position of the work machine;
12. The system according to any one of claims 1 to 11, wherein said plurality of images includes a map showing said position measured by said positioning device.
作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる
情報処理装置。 a processor, the processor comprising:
A composite image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with a user's operation with an image captured by a first camera that captures the surroundings from the working machine so as to be arranged in the surroundings. generate and
An information processing apparatus that causes a display device attached to the user's head to display an image in a range corresponding to the posture of the head out of the composite image.
作業機械から周囲を撮影する第1カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された1以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、
を実現させるためのプログラム。 a computer having a processor,
A composite image obtained by synthesizing one or more selected images selected from a plurality of images in accordance with a user's operation with an image captured by a first camera that captures the surroundings from the working machine so as to be arranged in the surroundings. function to generate,
A function of displaying an image of a range corresponding to the posture of the head out of the composite image on the display device attached to the user's head,
program to make it happen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021166885A JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021166885A JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023057382A true JP2023057382A (en) | 2023-04-21 |
Family
ID=86006252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021166885A Pending JP2023057382A (en) | 2021-10-11 | 2021-10-11 | System, information processing device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023057382A (en) |
-
2021
- 2021-10-11 JP JP2021166885A patent/JP2023057382A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11237594B2 (en) | Headset computer that uses motion and voice commands to control information display and remote devices | |
US9884248B2 (en) | Display control method for head-mounted display (HMD) and image generation device | |
US11755122B2 (en) | Hand gesture-based emojis | |
US10996757B2 (en) | Methods and apparatus for generating haptic interaction for virtual reality | |
KR101850028B1 (en) | Device for virtual tour experience and method thereof | |
US20120293506A1 (en) | Avatar-Based Virtual Collaborative Assistance | |
WO2015180497A1 (en) | Motion collection and feedback method and system based on stereoscopic vision | |
US20130293466A1 (en) | Operation device | |
JP7287257B2 (en) | Image processing device, display system, program and image processing method | |
JP5013398B2 (en) | Mixed reality system and event input method | |
JP2010257081A (en) | Image procession method and image processing system | |
JP7268130B2 (en) | Head-mounted information processing device | |
US6149435A (en) | Simulation method of a radio-controlled model airplane and its system | |
JP2023057382A (en) | System, information processing device, and program | |
JP2018164223A (en) | Display system | |
US20220230357A1 (en) | Data processing | |
WO2021002116A1 (en) | Information processing device, information processing method, and program | |
US20240255991A1 (en) | Headset Computer That Uses Motion And Voice Commands To Control Information Display And Remote Devices | |
WO2022149496A1 (en) | Entertainment system and robot | |
US20240087334A1 (en) | Information process system | |
JPH09305788A (en) | Information processor | |
JP2022142517A (en) | Image display control device, image display control system and image display control method | |
CN117596380A (en) | Augmented reality device display method, augmented reality device, and readable storage medium | |
JP2018206103A (en) | Head-mounted display and work support system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240711 |