JP6068710B1 - 俯瞰画像調整装置および俯瞰画像調整プログラム - Google Patents

俯瞰画像調整装置および俯瞰画像調整プログラム Download PDF

Info

Publication number
JP6068710B1
JP6068710B1 JP2016106890A JP2016106890A JP6068710B1 JP 6068710 B1 JP6068710 B1 JP 6068710B1 JP 2016106890 A JP2016106890 A JP 2016106890A JP 2016106890 A JP2016106890 A JP 2016106890A JP 6068710 B1 JP6068710 B1 JP 6068710B1
Authority
JP
Japan
Prior art keywords
adjustment
display
magnification
camera
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016106890A
Other languages
English (en)
Other versions
JP2017216489A (ja
Inventor
大廣 智則
智則 大廣
Original Assignee
株式会社ネクスコ・エンジニアリング北海道
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネクスコ・エンジニアリング北海道 filed Critical 株式会社ネクスコ・エンジニアリング北海道
Priority to JP2016106890A priority Critical patent/JP6068710B1/ja
Application granted granted Critical
Publication of JP6068710B1 publication Critical patent/JP6068710B1/ja
Publication of JP2017216489A publication Critical patent/JP2017216489A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供する。【解決手段】俯瞰画像を構成する各画像のカメラ位置・カメラ倍率・カメラ姿勢を画像処理で調整するための調整画面100を表示手段に表示する表示制御部61は、位置・倍率表示エリアの周囲に位置調整ボタンおよび倍率調整ボタンを表示するとともに、姿勢表示エリアの周囲に姿勢調整ボタンを表示し、位置調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示位置を平行移動させ、倍率調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示倍率を拡大・縮小させ、姿勢調整ボタンの調整指示に基づいて、姿勢調整用ラインの表示角度を回転移動させる。【選択図】 図5

Description

本発明は、除雪車や散布車等のような作業車の周囲の俯瞰画像を調整するための俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムに関するものである。
従来、普通自動車等の車両に取り付けた複数のカメラにより撮像された画像を合成し、車両の真上から周囲を見下ろすような俯瞰画像を表示する技術が提案されている。例えば、特開2006−277738号公報には、複数のカメラ画像データから俯瞰画像を作成する車載画像処理装置が開示されている。(特許文献1)。
特開2006−277738号公報
上記のような俯瞰画像を撮像する各カメラには、組み立て誤差によるバラツキが存在する他、車体への取り付け時には、カメラ位置やカメラ姿勢に組み付け誤差が発生する。このため、各カメラを取り付けた後は、ソフト的に基準設定からの誤差を校正するキャリブレーション作業が必要となる。しかしながら、当該キャリブレーション作業は、従来、車両メーカーやディーラーにおいてのみ行われており、当該作業を直感的に行えるような操作性の高いグラフィカルユーザインターフェースは存在していないという問題がある。
一方、除雪車や散布車等の作業車においては、普通乗用車等と比較して運転席から見えない死角が圧倒的に大きい。このため、当該死角の状況を確認するための作業員を別途配置等しているが、近年、作業員の確保が難しくなっている。このような背景から、作業車においても俯瞰画像を表示させたいというニーズが高まりつつある。しかしながら、作業車では、車体の大きさに比例して、俯瞰画像を表示するために必要なカメラの数が増大する。このため、上述したキャリブレーション作業を行うのに非常に手間と時間が掛かるという問題もある。
本発明は、このような問題点を解決するためになされたものであって、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供することを目的としている。
本発明に係る俯瞰画像調整装置は、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
また、本発明の一態様として、位置調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記位置調整ボタンとして、前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示してもよい。
さらに、本発明の一態様として、姿勢調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記姿勢調整ボタンとして、前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示してもよい。
また、本発明の一態様として、位置・倍率調整用ラインおよび姿勢調整用ラインの調整方向および調整量を視認しやすくするという課題を解決するために、前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた2本の縦軸と、所定の間隔で隔てられた2本の横軸とが互いに交差されていてもよい。
さらに、本発明の一態様として、俯瞰画像を構成する各画像の表示領域の形状を簡単かつ直感的に調整するという課題を解決するために、前記表示制御部は、前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示するようにしてもよい。
また、本発明に係る作業車用周囲表示装置は、上述したいずれかの態様の俯瞰画像調整装置によって調整された表示パラメータを記憶する表示パラメータ記憶部と、前記表示パラメータに基づいて各画像を合成し前記俯瞰画像を生成する俯瞰画像合成部とを有するものである。
また、本発明の一態様として、作業車の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを表示するという課題を解決するために、前記俯瞰画像を含む画面レイアウトを備えた表示モードとして、前記作業車の周囲全体の俯瞰画像を表示する通常俯瞰モードと、前記作業車の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有していてもよい。
また、本発明に係る作業車は、上述したいずれかの態様の作業車用周囲表示装置を備えてなるものである。
また、本発明に係る俯瞰画像調整プログラムは、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
本発明によれば、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる。
本発明に係る俯瞰画像調整装置および作業車用周囲表示装置の一実施形態を示すブロック図である。 本発明に係る作業車用周囲表示装置を搭載した作業車の一実施形態を示す、(a)右側面図、(b)平面図、(c)正面図および(d)背面図である。 本実施形態において、各表示モードにおける画面レイアウトの一例を示す図である。 本実施形態における表示パラメータの一例を示す図である。 本実施形態の俯瞰画像調整装置における調整画面の一例を示す図である。 本実施形態の俯瞰画像調整装置および俯瞰画像調整プログラムを用いて、俯瞰画像を調整する際の処理の流れを示すフローチャートである。 本実施形態におけるカメラ位置、カメラ倍率およびカメラ姿勢を調整する際の処理の流れを示すフローチャートである。 本実施形態において、カメラ位置、カメラ倍率およびカメラ姿勢を調整する際のイメージ図である。 本実施形態において、画像が(a)X方向にズレている場合、(b)Y方向にズレている場合、および(c)Z方向にズレている場合を示すイメージ図である。 本実施形態において、画像が(a)ヨー方向にズレている場合、(b)ピッチ方向にズレている場合、および(c)ロール方向にズレている場合を示すイメージ図である。 本実施形態において、表示領域の形状を調整する際の処理の流れを示すフローチャートである。 本実施形態において、パラメータ詳細設定ウィンドウの一例を示す図である。
以下、本発明に係る俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムの一実施形態について図面を用いて説明する。
本実施形態では、図1に示すように、作業車20に設けられた複数のカメラC1〜C6で撮像した各画像を合成してなる、作業車20の周囲の俯瞰画像を表示する作業車用周囲表示装置10と、この作業車用周囲表示装置10に表示される俯瞰画像を調整する俯瞰画像調整装置1とを備えている。以下、各構成について説明する。
作業車20は、除雪車としても兼用可能な剤散布車によって構成されており、除雪作業や凍結防止剤等の薬剤散布作業を行いながら、あるいは、その両方の作業を行いながら道路を走行するものである。本実施形態では、図2に示すように、作業車20の運転席近傍に作業車用周囲表示装置10が搭載されている。なお、本実施形態では、作業車20として剤散布車を採用しているが、この構成に限定されるものではない。すなわち、本発明に係る作業車20は、除雪車や剤散布車の他、ロータリー除雪車や万能車、トラクターショベル等のように、普通乗用車よりも大型で所定の作業を行うための全ての車両を含む概念である。
作業車用周囲表示装置10は、作業車20の真上から周囲を見下ろすような俯瞰画像を表示するものである。本実施形態において、作業車用周囲表示装置10は、図1に示すように、作業車20に設けられる複数のカメラC1〜C6と、俯瞰画像を表示する俯瞰画像表示モニタ11と、この俯瞰画像表示モニタ11に俯瞰画像等を表示する際の表示モードを切替えるモード切替スイッチ12とに接続されている。
カメラC1〜C6は、高精細度(HD:High Definition)カメラ等で構成されており、作業車20の周囲の画像を撮像するものである。本実施形態において、カメラC1〜C6は、図2に示すように、作業車20の左前側方を撮像するカメラC1と、左後側方を撮像するカメラC2と、右前側方を撮像するカメラC3と、右後側方を撮像するカメラC4と、前方を撮像するカメラC5と、後方を撮像するカメラC6とを有している。これら各カメラC1〜C6は、普通乗用車と比較して、地面から高い位置に設置されるため、より広範囲の俯瞰画像を撮像することができる。そして、各カメラC1〜C6は、撮像した各画像データを、リアルタイムで後述する俯瞰画像合成部14に出力するようになっている。
なお、本実施形態では、除雪車によって捲き上げられた雪の付着を防止するため、各カメラC1〜C6は、透明の電熱線ヒーターが設けられた専用ボックス(図示せず)に収納されている。そして、電熱線ヒーターのON/OFFを手動制御するスイッチが、作業車20内に設置されているとともに、電熱線ヒーターの温度が所定温度(例:40℃)に達すると自動でOFFされるようになっている。
俯瞰画像表示モニタ11は、液晶ディスプレイ等で構成されており、作業車20の周囲の俯瞰画像を表示するものである。本実施形態において、俯瞰画像表示モニタ11は、作業車20の運転席の前方など、運転手が常時確認できる場所に設置されている。そして、後述する俯瞰画像合成部14によって合成された俯瞰画像をリアルタイムで表示するようになっている。
モード切替スイッチ12は、作業車20の走行箇所または作業用途に応じて、異なる画面レイアウトを備えた表示モードを切替えるものである。本実施形態では、図3に示すように、俯瞰画像を含む画面レイアウトを備えた表示モードとして、作業車20の周囲全体の俯瞰画像を表示する通常俯瞰モードと、作業車20の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、作業車20の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、作業車20の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有している。また、俯瞰画像を含まない画面レイアウトを備えた表示モードとして、後方の通常画像のみを表示する後方確認モードと、側方の通常画像のみを表示する側方確認モードとを有している。
なお、通常俯瞰モードは、サービスエリアやパーキングエリア等において、周囲の安全を確認するのに好適である。拡大俯瞰モードは、高速道路の構内や本線料金所等において、周囲の安全を確認するのに好適である。後方俯瞰モードおよび後方俯瞰ミラーモードは、除雪作業や剤散布作業等の仕上がり具合を確認するのに好適である。後方確認モードは、駐車する際に後方を確認するのに好適である。側方確認モードは、高速道路本線への合流時や梯団除雪状態からの開放時に安全を確認するのに好適である。
作業車用周囲表示装置10は、CPU(Central Processing Unit)としての機能と、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとしての機能とを有するFPGA(Field-Programmable Gate Array)等を備えた基板によって構成されている。そして、図1に示すように、後述する各種の表示パラメータを記憶する表示パラメータ記憶部13と、各カメラC1〜C6から取得した画像を合成し俯瞰画像を出力する俯瞰画像合成部14とを有している。以下、各構成について説明する。
表示パラメータ記憶部13は、俯瞰画像を構成する各画像についての表示パラメータを記憶するものである。本実施形態において、表示パラメータ記憶部13には、図4に示すように、各カメラのカメラ位置を指定するパラメータとして、左右位置を指定するX値と、上下位置を指定するY値とが記憶される。また、各カメラのカメラ倍率を指定するパラメータとして、高さ位置(表示倍率)を指定するZ値とが記憶される。さらに、各カメラのカメラ姿勢を指定するパラメータとして、ロール角度を指定するロール値と、ピッチ角度を指定するピッチ値と、ヨー角度を指定するヨー値とが記憶される。さらに、各カメラで撮像された各画像の表示領域の形状を指定するパラメータとして、当該表示領域を指定する各頂点の座標値が記憶される。
そして、表示パラメータ記憶部13は、上述した俯瞰画像を含む4つの表示モード(通常俯瞰モード、各段俯瞰モード、後方俯瞰モード、後方俯瞰ミラーモード)のそれぞれについて、上述した各表示パラメータをパラメータファイルとして保存するようになっている。また、本実施形態において、表示パラメータ記憶部13は、俯瞰画像を表示する際の路面サイズを指定する全長および全幅についても保存しうるようになっている。
俯瞰画像合成部14は、各カメラC1〜C6で撮像した各画像を合成し、俯瞰画像を生成するものである。本実施形態において、俯瞰画像合成部14は、各カメラC1〜C6で撮像された画像を取得するとともに、モード切替スイッチ12で設定されている表示モードに対応するパラメータファイルを表示パラメータ記憶部13から読み出す。そして、当該パラメータファイルの各表示パラメータに基づいて、各画像を合成して俯瞰画像を生成し、俯瞰画像表示モニタ11へ出力するようになっている。また、本実施形態において、俯瞰画像合成部14は、俯瞰画像調整装置1から表示パラメータの調整指示が送信されてきた場合、当該調整後の表示パラメータに基づいて、俯瞰画像をリアルタイムで更新するようになっている。
つぎに、俯瞰画像調整装置1は、ノート型のパーソナルコンピュータやタブレット端末等のコンピュータによって構成されており、図1に示すように、主として、ユーザからの入力や指示を受け付ける入力手段2と、後述する調整画面100等を表示する表示手段3と、作業車用周囲表示装置10との間でデータ通信を行う通信手段4と、本実施形態の俯瞰画像調整プログラム1aや各種データを記憶する記憶手段5と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段6とから構成されている。以下、各構成手段について詳細に説明する。
入力手段2は、ユーザからの指示や入力を受け付けるためのものである。本実施形態において、入力手段2は、タッチパッドやマウスなどのポインティングデバイスや、テンキーなどの入力装置等によって構成されており、後述する調整画面100で入力された調整指示や数値および調整対象とするカメラの選択や表示モードの選択等を演算処理手段6へ出力するようになっている。
表示手段3は、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢を画像処理で調整するための調整画面100等を表示するためのものである。本実施形態において、表示手段3は、液晶ディスプレイ等で構成されており、後述する表示制御部61から入力された表示内容を表示するようになっている。なお、入力手段2および表示手段3は、入力手段2としての位置入力機能と、表示手段3としての表示機能とを兼ね備えたタッチパネル等によって構成されていてもよい。
通信手段4は、俯瞰画像調整装置1を作業車用周囲表示装置10とデータ通信させるためのものである。本実施形態において、通信手段4は、USBケーブル等によって構成されており、作業車用周囲表示装置10から現在の表示モードで使用されている表示パラメータを受信したり、作業車用周囲表示装置10に対して調整後の表示パラメータを送信するようになっている。
記憶手段5は、各種のデータを記憶するとともに、演算処理手段6が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段5は、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュメモリ等によって構成されており、図1に示すように、プログラム記憶部51と、調整パラメータ記憶部52と、GUIデータ記憶部53とを有している。以下、各構成部についてより詳細に説明する。
プログラム記憶部51には、本実施形態の俯瞰画像調整プログラム1aがインストールされている。そして、演算処理手段6が、俯瞰画像調整プログラム1aを実行することにより、俯瞰画像調整装置1としてのコンピュータを後述する各構成部として機能させるようになっている。
なお、俯瞰画像調整プログラム1aの利用形態は、上記構成に限られるものではない。例えば、USBメモリやCD−ROM等のように、コンピュータで読み取り可能な非一時的な記録媒体に俯瞰画像調整プログラム1aを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からASP(Application Service Provider)方式やクラウドコンピューティング方式で利用してもよい。
調整パラメータ記憶部52は、作業車用周囲表示装置10へ送信し、俯瞰画像を調整するための表示パラメータを記憶するものである。本実施形態において、調整パラメータ記憶部52は、上述した俯瞰画像を含む表示モードのそれぞれに対応付けて、図4で示した各表示パラメータを記憶しうるようになっている。
GUIデータ記憶部53は、表示手段3上で入力手段2による直感的な操作を可能にするグラフィカルユーザインタフェース(Graphical User Interface)を表示するためのGUIデータを記憶するものである。本実施形態において、GUIデータ記憶部53には、図5に示すような調整画面100等を表示するためのGUIデータが記憶されている。
ここで、本実施形態の調整画面100を構成するグラフィカルユーザインタフェースについて詳細に説明する。図5に示すように、調整画面100は、主として、カメラ位置およびカメラ倍率を調整するための位置・倍率表示エリア110と、カメラ姿勢を調整するための姿勢表示エリア120と、俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリア130とを有している。
位置・倍率表示エリア110には、図5に示すように、現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ライン111と、当該位置・倍率調整用ライン111の移動量を視認するための基準ライン112とが表示される。そして、位置・倍率表示エリア110の周囲には、カメラ位置の調整指示を受け付ける位置調整ボタン113,114と、カメラ倍率の調整指示を受け付ける倍率調整ボタン115とが配置されている。位置調整ボタン113,114としては、カメラの左右位置を調整する左右位置調整ボタン113が位置・倍率表示エリア110の左右位置に配置されている。また、カメラの上下位置を調整する上下位置調整ボタン114が位置・倍率表示エリア110の上下位置に配置されている。さらに、カメラの高さ位置によってカメラ倍率を調整する倍率調整ボタン115が位置・倍率表示エリア110の斜め上方位置に配置されている。
姿勢表示エリア120には、図5に示すように、現在のカメラ姿勢を示す姿勢調整用ライン121と、当該姿勢調整用ライン121の回転量を視認するための基準ライン122とが表示される。そして、姿勢表示エリア120の周囲には、カメラ姿勢の調整指示を受け付ける姿勢調整ボタンが配置されている。当該姿勢調整ボタンとしては、カメラのヨー角度を調整するヨー角度調整ボタン123が姿勢表示エリア120の左右位置に配置されている。また、カメラのピッチ角度を調整するピッチ角度調整ボタン124が姿勢表示エリア120の上下位置に配置されている。さらに、カメラのロール角度を調整するロール角度調整ボタン125が姿勢表示エリア120の斜め上方位置に配置されている。
なお、本実施形態において、位置・倍率調整用ライン111および姿勢調整用ライン121は、図5に示すように、所定の間隔で隔てられた2本の縦軸と、所定の間隔で隔てられた2本の横軸とが互いに交差されているが、この構成に限定されるものではない。カメラ位置やカメラ姿勢を表現しうるものであればどのようなグラフィカルユーザインターフェースであってもよい。
また、本実施形態において、倍率調整ボタン115およびロール角度調整ボタン125は、それぞれ位置・倍率表示エリア110および姿勢表示エリア120の斜め上方位置に設けられているが、斜め下方位置であってもよい。さらに、本実施形態では、図5に示すように、左右位置調整ボタン113、上下位置調整ボタン114、倍率調整ボタン115、ヨー角度調整ボタン123、ピッチ角度調整ボタン124およびロール角度調整ボタン125のそれぞれについて、1回の調整指示(1クリックや1タップ)あたりの調整値が異なるボタンを2つずつ用意しているが、この構成に限定されるものではなく、各ボタンは1つずつでもよく、3つ以上ずつ用意してもよい。
表示領域表示エリア130には、図5に示すように、選択されている表示モードの画面レイアウトに対応させて、各画像の現在の表示領域131が表示される。本実施形態において、各表示領域131は、ドラッグ・アンド・ドロップ操作が可能な複数の頂点132を有しており、各頂点132を多角形状に結んで構成されている。また、俯瞰画像を含む画面レイアウトのそれぞれについて、デフォルトの表示領域131の形状が予め登録されている。
また、本実施形態では、図5に示すように、位置・倍率表示エリア110および表示領域表示エリア130の上方に、送信ボタン116,126、取消ボタン117,127および確定ボタン118,128がそれぞれ配置されている。送信ボタン116,126は、カメラ位置、カメラ倍率、カメラ姿勢または表示領域131に対する調整後の表示パラメータを作業車用周囲表示装置10へ送信する指示を受け付けるものである。取消ボタン117,127は、調整中の表示パラメータをリセットし、作業車用周囲表示装置10の表示パラメータ記憶部13に記憶されている表示パラメータに戻す指示を受け付けるものである。確定ボタン118,128は、調整後の表示パラメータを作業車用周囲表示装置10へ送信し、表示パラメータ記憶部13に保存させる指示を受け付けるものである。
さらに、本実施形態では、図5に示すように、調整画面100の左上位置から下方に向けて順に、接続ボタン101と、現在表示パラメータ取得ボタン102と、全パラメータ送信ボタン103と、表示モード選択プルダウン104と、調整カメラ選択プルダウン105と、終了ボタン106とを有している。
接続ボタン101は、作業車用周囲表示装置10と通信接続するためのものである。現在表示パラメータ取得ボタン102は、作業車用周囲表示装置10から現在の表示モードで使用している表示パラメータを取得するものである。全パラメータ送信ボタン103は、ある表示モードにおける各カメラC1〜C6の全表示パラメータを予め設定してあるパラメータファイルを作業車用周囲表示装置10へ送信するものである。表示モード選択プルダウン104は、調整する表示モードを選択するものである。調整カメラ選択プルダウン105は、調整するカメラを選択するものである。終了ボタン106は、本俯瞰画像調整プログラム1aを終了させるものである。
つぎに、演算処理手段6は、上述した入力手段2、表示手段3、通信手段4および記憶手段5を制御するとともに、各種の演算処理を実行するものである。本実施形態において、演算処理手段6は、CPU(Central Processing Unit)等によって構成されており、記憶手段5にインストールされた俯瞰画像調整プログラム1aを実行することにより、図1に示すように、表示制御部61と、表示パラメータ取得部62と、指示入力判定部63と、表示パラメータ調整部64と、表示パラメータ送信部65として機能するようになっている。以下、各構成部についてより詳細に説明する。
表示制御部61は、表示手段3に表示させる内容を制御するためのものである。本実施形態において、表示制御部61は、本俯瞰画像調整プログラム1aが起動されると、GUIデータ記憶部53からGUIデータを読み出し、図5に示すような調整画面100を表示手段3に表示させる。そして、当該調整画面100上で各種の調整指示が入力手段2を介して入力された場合、当該調整指示に基づいて、位置・倍率表示エリア110内の位置・倍率調整用ライン111、または姿勢表示エリア120内の姿勢調整用ライン121を移動させるようになっている。
具体的には、表示制御部61は、いずれかの位置調整ボタン113,114が調整指示を受け付けた場合、当該調整指示に基づいて、位置・倍率調整用ライン111の表示位置を平行移動させる。すなわち、左右位置調整ボタン113または上下位置調整ボタン114のいずれかが押された場合、表示制御部61は、当該ボタンに対応する移動方向および移動量に従って全ての位置・倍率調整用ライン111を平行に移動させる。
また、表示制御部61は、倍率調整ボタン115が押された場合、当該ボタンに対応する拡大率の変化量または縮小率の変化量に従って、各位置・倍率調整用ライン111の表示倍率を拡大または縮小する。すなわち、高さ位置を低下させた場合、画像が拡大されるため、各位置・倍率調整用ライン111の間隔を広げるように平行移動させる。一方、高さ位置を増加させた場合、画像が縮小されるため、各位置・倍率調整用ライン111の間隔を狭めるように平行移動させる。
また、表示制御部61は、いずれかの姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ライン121の表示角度を回転移動させるようになっている。すなわち、ヨー角度調整ボタン123が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン121の横軸を回転移動させる。また、ピッチ角度調整ボタン124が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン121の縦軸を回転移動させる。さらに、ロール角度調整ボタン125が押された場合、当該ボタンに対応する回転方向および回転量に従って全ての姿勢調整用ライン121を回転移動させるようになっている。
また、本実施形態において、表示制御部61は、調整画面100上の表示領域表示エリア130内において、いずれかの表示領域131に対する調整指示が入力された場合、当該調整指示に基づいて、表示領域131の形状を変形させる。
具体的には、表示制御部61は、調整対象のカメラが選択されると、当該カメラに対応する表示領域131を強調表示する。そして、表示制御部61は、当該表示領域131を構成するいずれかの頂点132(図5に示す例では、丸で囲まれた5つの頂点132)が移動指示(ドラッグ・アンド・ドロップ操作等)を受け付けた場合、当該移動指示により移動された頂点132と移動されなかった頂点132とを結んでなる表示領域131を表示するようになっている。
表示パラメータ取得部62は、作業車用周囲表示装置10から表示パラメータを取得するものである。本実施形態において、表示パラメータ取得部62は、調整画面100上の現在表示パラメータ取得ボタン102が操作された場合、作業車用周囲表示装置10から現在の表示モードで使用されている表示パラメータを取得するようになっている。
指示入力判定部63は、入力手段2を介してユーザから入力された指示内容を判定するものである。本実施形態において、指示入力判定部63は、調整画面100上での入力操作を監視する。そして、所定の入力操作が行われたとき、当該入力操作に対応する調整指示、選択内容および数値等を表示パラメータ調整部64に提供するとともに、調整指示については表示パラメータ送信部65を介して作業車用周囲表示装置10の俯瞰画像合成部14へリアルタイムで送信するようになっている。
表示パラメータ調整部64は、調整画面100を介して入力された調整指示に基づいて、表示パラメータを調整するものである。本実施形態において、表示パラメータ調整部64は、調整画面100上で各種の調整ボタンが指示された場合、当該指示内容に応じて、表示パラメータ取得部62によって取得された表示パラメータの値、またはデフォルトの表示パラメータの値を調整するようになっている。
具体的には、表示パラメータ調整部64は、いずれかの位置調整ボタン113,114または倍率調整ボタン115の大ボタンが1回操作されるごとに、上述した路面サイズの設定値に0.02を乗じた長さ(mm)を増減し、いずれかの位置調整ボタン113,114または倍率調整ボタン115の小ボタンが1回操作されるごとに、当該設定値に0.005を乗じた長さ(mm)を増減するようになっている。
また、表示パラメータ調整部64は、いずれかの姿勢調整ボタン123〜125の大ボタンが1回操作されるごとに5度増減し、いずれかの姿勢調整ボタン123〜125の小ボタンが1回操作されるごとに1度増減するようになっている。
さらに、本実施形態において、表示パラメータ調整部64は、調整対象として選択されている表示領域131のいずれかの頂点132が移動指示を受け付けた場合、当該移動指示に基づいて、表示領域131パラメータの値を調整する。具体的には、移動された頂点132の座標値を移動先の座標値に変更するようになっている。
また、本実施形態において、表示制御部61および表示パラメータ調整部64は、表示領域131を調整した場合であって、当該表示領域131に隣接する表示領域131との間に隙間がある場合、当該隙間を空けないように、隣接する表示領域131の形状および座標値を自動調整するようになっている。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。なお、上記自動調整処理は、手動によって実行してもよい。
そして、表示制御部61および表示パラメータ調整部64は、調整画面100上の取消ボタン117,127が操作された場合、調整中の表示状態および表示パラメータをリセットし、作業車用周囲表示装置10の表示パラメータ記憶部13に記憶されている表示パラメータの値に戻すようになっている。
表示パラメータ送信部65は、調整後の表示パラメータを作業車用周囲表示装置10に送信するものである。本実施形態において、表示パラメータ送信部65は、各種の調整ボタンが操作されるごとに、調整後の表示パラメータをリアルタイムで作業車用周囲表示装置10に送信するようになっている。また、調整画面100上の送信ボタン116,126が操作された場合、調整後の表示パラメータを作業車用周囲表示装置10に送信するようになっている。
さらに、本実施形態において、表示パラメータ送信部65は、調整画面100上のファイルメニューから調整パラメータ記憶部52に保存されている表示パラメータのいずれかを選択した後、全パラメータ送信ボタン103が操作された場合、当該選択した表示パラメータを作業車用周囲表示装置10に送信するようになっている。
つぎに、本実施形態の俯瞰画像調整装置1、作業車用周囲表示装置10およびこれを備えた作業車20並びに俯瞰画像調整プログラム1aによる作用について説明する。
本実施形態の俯瞰画像調整装置1および俯瞰画像調整プログラム1aを用いて作業車用周囲表示装置10に表示される俯瞰画像を調整する場合、まず、図6に示すように、表示制御部61が、GUIデータ記憶部53からGUIデータを読み出し、表示手段3に調整画面100を表示する(ステップS1)。そして、接続ボタン101の操作に応じて俯瞰画像調整装置1が作業車用周囲表示装置10に接続されると、指示入力判定部63が現在表示パラメータ取得ボタン102が操作されたか否かを判定する(ステップS2)。
その判定の結果、現在表示パラメータ取得ボタン102が操作されない場合(ステップS2:NO)、表示モードの選択を受け付ける(ステップS3)。これにより、当該選択した表示モードに対する新規のパラメータファイルが作成される。一方、現在表示パラメータ取得ボタン102が操作された場合(ステップS2:YES)、作業車用周囲表示装置10で現在表示中の表示モードで使用されている表示パラメータが取得される。そして、表示制御部61が、取得した表示パラメータの表示モードに基づいて表示領域表示エリア130の画面レイアウトを更新する。
つぎに、指示入力判定部63が、調整するカメラの選択を受け付けると(ステップS4)、表示制御部61が、表示領域表示エリア130に表示されている表示領域131のうち、選択されたカメラに対応する表示領域131を強調表示する。そして、指示入力判定部63は、当該選択したカメラについて、カメラ位置、カメラ倍率またはカメラ姿勢の調整指示があったか否かを判定する(ステップS5)。その判定の結果、調整指示があれば(ステップS5:YES)、カメラ位置、カメラ倍率またはカメラ姿勢を調整する(ステップS6)。
ここで、カメラ位置、カメラ倍率またはカメラ姿勢を調整する際の具体的な処理について、図7を用いて詳細に説明する。なお、本実施形態では、図8に示すように、俯瞰画像の調整に際して、路面に載置した4つのマーカを撮像し、これらマーカの位置関係や大きさによって、各画像の位置ズレや歪み等を目視で判別している。ただし、この構成に限定されるものではなく、路面上の目印や模様等をマーカとして使用してもよい。
まず、図9(a)に示すように、各マーカの位置が左右のいずれかに寄っている場合、左右位置調整ボタン113を操作する(ステップS51:YES)。これにより、表示制御部61が、全ての位置・倍率調整用ライン111を左右のいずれかに平行移動させ(ステップS52)、略中央となるまで調整指示を促す。また、表示パラメータ調整部64がX値を変更するとともに、表示パラメータ送信部65が当該変更後のX値を作業車用周囲表示装置10へ送信する。
また、図9(b)に示すように、各マーカの位置が上下のいずれかに寄っている場合、上下位置調整ボタン114を操作する(ステップS53:YES)。これにより、表示制御部61が、全ての位置・倍率調整用ライン111を上下のいずれかに平行移動させ(ステップS54)、略中央となるまで調整指示を促す。また、表示パラメータ調整部64がY値を変更するとともに、表示パラメータ送信部65が当該変更後のY値を作業車用周囲表示装置10へ送信する。
あるいは、図9(c)に示すように、各マーカのサイズが小さい場合や大きい場合、倍率調整ボタン115を操作する(ステップS55:YES)。これにより、表示制御部61が、各位置・倍率調整用ライン111の間隔を広げたり狭めたりして表示倍率を拡大・縮小し(ステップS56)、所望の倍率となるまで調整指示を促す。また、表示パラメータ調整部64がZ値を変更するとともに、表示パラメータ送信部65が当該変更後のZ値を作業車用周囲表示装置10へ送信する。
以上のように、各位置・倍率調整用ライン111は、ユーザからの調整指示に応じた移動方向かつ移動量で、位置・倍率表示エリア110内を平行移動する。このため、直感性および操作性に優れており、ユーザは画像の位置ズレを簡単かつ迅速に調整する。また、左右位置調整ボタン113、上下位置調整ボタン114および倍率調整ボタン115が、その調整方向に合わせて位置・倍率表示エリア110の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、位置・倍率調整用ライン111は、2本の縦軸と2本の横軸とが互いに交差されているため、移動方向や移動量または拡大率や縮小率を視認しやすい。また、本実施形態では、位置・倍率表示エリア110内の基準ライン112が、各位置・倍率調整用ライン111の移動方向および移動量を視覚的かつ直感的に把握しやすくする。
つぎに、図10(a)に示すように、各マーカの大きさが左右で異なる場合、ヨー角度調整ボタン123を操作する(ステップS57:YES)。これにより、表示制御部61が、姿勢調整用ライン121の横軸を回転移動させ(ステップS58)、略水平となるように調整指示を促す。また、表示パラメータ調整部64がヨー値を変更するとともに、表示パラメータ送信部65が当該変更後のヨー値を作業車用周囲表示装置10へ送信する。
また、図10(b)に示すように、各マーカの大きさが上下で異なる場合、ピッチ角度調整ボタン124を操作する(ステップS59:YES)。これにより、表示制御部61が、姿勢調整用ライン121の縦軸を回転移動させ(ステップS60)、略垂直となるように調整指示を促す。また、表示パラメータ調整部64がピッチ値を変更するとともに、表示パラメータ送信部65が当該変更後のピッチ値を作業車用周囲表示装置10へ送信する。
あるいは、図10(c)に示すように、各マーカの配置が斜めになっている場合、ロール角度調整ボタン125を操作する(ステップS61:YES)。これにより、表示制御部61が、全ての姿勢調整用ライン121を回転移動させ(ステップS62)、真っ直ぐとなるように調整指示を促す。また、表示パラメータ調整部64がロール値を変更するとともに、表示パラメータ送信部65が当該変更後のロール値を作業車用周囲表示装置10へ送信する。
以上のように、各姿勢調整用ライン121は、ユーザからの調整指示に応じた回転方向かつ回転量で、姿勢表示エリア120内を回転移動する。このため、直感性および操作性に優れており、ユーザは画像の歪みや傾斜を簡単かつ迅速に調整する。また、ヨー角度調整ボタン123、ピッチ角度調整ボタン124およびロール角度調整ボタン125が、調整方向に合わせて姿勢表示エリア120の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、姿勢調整用ライン121は、2本の縦軸と2本の横軸とが互いに交差されているため、回転方向や回転量を視認しやすい。また、本実施形態では、姿勢表示エリア120内の基準ライン122が、各姿勢調整用ライン121の回転方向および回転量を視覚的かつ直感的に把握しやすくする。
なお、取消ボタン117が操作された場合(ステップS63:YES)、表示パラメータ調整部64が、調整中の表示パラメータをリセットするとともに、表示制御部61が位置・倍率調整用ライン111および姿勢調整用ライン121をそれぞれ調整前の位置、倍率および姿勢に戻す(ステップS64)。このため、カメラ位置、カメラ倍率およびカメラ姿勢の調整作業は簡単にやり直しが可能となる。
上述した処理は、確定ボタン118が操作されない限り(ステップS65:NO)、繰り返され、確定ボタン118が操作されると(ステップS65:YES)、表示パラメータ送信部65が調整後の表示パラメータを作業車用周囲表示装置10へ送信し、表示パラメータ記憶部13に保存させる(ステップS66)。
以上の処理により、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢が画像処理で調整されることとなる。また、本実施形態では、いずれかの調整ボタン113〜115,123〜125または取消ボタン117,127が操作される度に、作業車用周囲表示装置10の俯瞰画像合成部14が、リアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
図6のフローチャートに戻り、指示入力判定部63が、ステップS4で選択されたカメラについて、表示領域131に対する調整指示があったか否かを判定する(ステップS7)。すなわち、当該表示領域131のいずれかの頂点132が移動指示を受け付けたか否かを判定する。その結果、当該移動指示があれば(ステップS7:YES)、表示領域131の形状を調整する(ステップS8)。
ここで、表示領域131の形状を調整する際の具体的な処理について、図11を用いて詳細に説明する。まず、表示制御部61が、移動指示を受けた頂点132の位置を移動させ、当該移動後の頂点132と移動されなかった頂点132とを結んでなる表示領域131を表示する(ステップS71)。また、表示パラメータ調整部64が、当該頂点132の座標値を移動後の座標値に変更する。これにより、ユーザは、調整後の表示領域131を目視確認しながら直感的に調整することが可能となる。
つぎに、調整後の表示領域131と隣接する表示領域131との間に隙間がある場合(ステップS72)、表示制御部61および表示パラメータ調整部64が、当該隙間を空けないように、隣接する表示領域131の表示形状および座標値を自動調整する(ステップS73)。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。
なお、取消ボタン127が操作された場合(ステップS74:YES)、表示パラメータ調整部64が、調整中の表示パラメータをリセットするとともに、表示制御部61が移動した頂点132を元に戻し、調整前の表示領域131を表示する(ステップS75)。このため、表示領域131の調整作業は、簡単にやり直しが可能となる。
上述した処理は、確定ボタン128が操作されない限り(ステップS76:NO)、繰り返され、確定ボタン128が操作されると(ステップS76:YES)、表示パラメータ送信部65が調整後の表示パラメータを作業車用周囲表示装置10へ送信し、表示パラメータ記憶部13に保存させる(ステップS77)。
以上の処理により、俯瞰画像を構成する各画像の表示領域131の形状が画像処理で調整されることとなる。また、本実施形態では、いずれかの頂点132が移動される度に、または取消ボタン127が操作される度に、作業車用周囲表示装置10の俯瞰画像合成部14がリアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
図6のフローチャートに戻り、終了ボタン106が操作されると(ステップS9:YES)、本処理が終了する。一方、終了ボタン106が操作されない限り(ステップ9:NO)、再びステップS2に戻り、上述した処理が繰り返される。これにより、希望する俯瞰画像が得られるまで調整作業を繰り返すことが可能となる。
以上のような本実施形態によれば、以下のような効果を奏する。
1.直感性および操作性に優れたグラフィカルユーザインターフェースによって、簡単かつ迅速に作業車用周囲表示装置10に表示する俯瞰画像を調整することができる。
2.調整方向に合わせて配置された位置調整ボタン113,114および姿勢調整ボタンによって、直感性および操作性を向上することができる。
3.縦軸2本と横軸2本とからなる位置・倍率調整用ライン111および姿勢調整用ライン121によって、調整方向および調整量を視認しやすくすることができる。
4.俯瞰画像を構成する各画像の表示領域131の形状を簡単かつ直感的に調整することができる。
5.作業車20の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを作業車用周囲表示装置10に表示させることができる。
6.俯瞰画像を含む画面レイアウトを備えた複数の表示モードに対して、予め表示パラメータを調整し、最適な表示状態で切り換えることができる。
7.作業車20の周囲の安全および作業状況を確認するための俯瞰画像を効率的に調整することができる。
8.各画像間のつなぎ目や、俯瞰画像全体の歪み等を確認しながら、所望の俯瞰画像に調整することができる。
9.カメラ位置、カメラ倍率およびカメラ姿勢の調整量を一目で把握することができる。
10.調整画面100上の各種調整ボタンを操作することで、各画像の歪み、回転、表示位置、倍率の調整、およびその微調整ができる。
11.カメラの取付位置および取付角度をキャリブレーションすることができる。
12.通常俯瞰モードによって、サービスエリアやパーキングエリア等において、多方面から来る車両の位置を事前に確認することができる。
13.拡大俯瞰モードによって、高速道路の構内や本線料金所等において、作業車周辺の安全確認を行うことができる。
14.後方俯瞰モードや後方俯瞰ミラーモードによって、除雪作業後の路面状況や、薬剤散布後の路面状況を確認することができる。
15.作業車10の種類や作業内容に応じて、最も安全確認が重要となる撮影ポイントを簡単に設定することができる。
なお、本発明に係る俯瞰画像調整装置1は、前述した実施形態に限定されるものではなく、適宜変更することができる。例えば、上述した本実施形態では、俯瞰画像調整装置1が作業車用周囲表示装置10とは別体に構成されているが、この構成に限定されるものではない。すなわち、俯瞰画像調整装置1の俯瞰画像調整機能を作業車用周囲表示装置10に実装して一体化し、当該作業車用周囲表示装置10において、俯瞰画像を合成するとともに、上記調整処理を実行しうるように構成してもよい。
また、上述した本実施形態では、作業車20の左前側方を撮像するカメラC1と、左後側方を撮像するカメラC2と、右前側方を撮像するカメラC3と、右後側方を撮像するカメラC4と、前方を撮像するカメラC5と、後方を撮像するカメラC6とを有しているが、各カメラC1〜C6の取付位置は、この構成に限定されるものではない。例えば、作業車20の左斜前方を撮像するカメラC1と、左斜後方を撮像するカメラC2と、右斜前方を撮像するカメラC3と、右斜後方を撮像するカメラC4と、左側方を撮像するカメラC5と、右側方を撮像するカメラC6とを有していてもよい。これにより、最も安全確認が重要な斜め方向の視野が広がることとなる。
また、上述した本実施形態では、位置調整ボタン113,114、倍率調整ボタン115および姿勢調整ボタン123〜125によって調整指示を入力しているが、別途、各表示パラメータの数値を直接入力してもよい。例えば、図12に示すような、パラメータ詳細設定画面140を表示させ、俯瞰画像の路面サイズや、カメラ位置、カメラ倍率およびカメラ姿勢に関する表示パラメータを入力可能にしてもよい。なお、この構成によれば、数値入力後に、送信ボタンが操作されると、表示制御部61が、入力された各表示パラメータによって表示内容を制御するとともに、表示パラメータ送信部65が、各表示パラメータを作業車用周囲表示装置10に送信する。
1 俯瞰画像調整装置
1a 俯瞰画像調整プログラム
2 入力手段
3 表示手段
4 通信手段
5 記憶手段
6 演算処理手段
10 作業車用周囲表示装置
11 俯瞰画像表示モニタ
12 モード切替スイッチ
13 表示パラメータ記憶部
14 俯瞰画像合成部
20 作業車
51 プログラム記憶部
52 調整パラメータ記憶部
53 GUIデータ記憶部
61 表示制御部
62 表示パラメータ取得部
63 指示入力判定部
64 表示パラメータ調整部
65 表示パラメータ送信部
C1〜C6 カメラ
100 調整画面
101 接続ボタン
102 現在表示パラメータ取得ボタン
103 全パラメータ送信ボタン
104 表示モード選択プルダウン
105 調整カメラ選択プルダウン
106 終了ボタン
110 位置・倍率表示エリア
111 位置・倍率調整用ライン
112 基準ライン
113 左右位置調整ボタン
114 上下位置調整ボタン
115 倍率調整ボタン
116 送信ボタン
117 取消ボタン
118 確定ボタン
120 姿勢表示エリア
121 姿勢調整用ライン
122 基準ライン
123 ヨー角度調整ボタン
124 ピッチ角度調整ボタン
125 ロール角度調整ボタン
126 送信ボタン
127 取消ボタン
128 確定ボタン
130 表示領域表示エリア
131 表示領域
132 頂点
140 パラメータ詳細設定画面

Claims (6)

  1. 作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、
    前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、
    前記表示制御部は、
    前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
    前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
    前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整装置。
  2. 前記表示制御部は、前記位置調整ボタンとして、
    前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、
    前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示する、請求項1に記載の俯瞰画像調整装置。
  3. 前記表示制御部は、前記姿勢調整ボタンとして、
    前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、
    前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、
    前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示する、請求項1または請求項2に記載の俯瞰画像調整装置。
  4. 前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた2本の縦軸と、所定の間隔で隔てられた2本の横軸とが互いに交差されている、請求項1から請求項3のいずれかに記載の俯瞰画像調整装置。
  5. 前記表示制御部は、
    前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、
    前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示する、
    請求項1から請求項4のいずれかに記載の俯瞰画像調整装置。
  6. 作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、
    前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および/またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、
    前記表示制御部は、
    前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
    前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
    前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整プログラム。
JP2016106890A 2016-05-30 2016-05-30 俯瞰画像調整装置および俯瞰画像調整プログラム Active JP6068710B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016106890A JP6068710B1 (ja) 2016-05-30 2016-05-30 俯瞰画像調整装置および俯瞰画像調整プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016106890A JP6068710B1 (ja) 2016-05-30 2016-05-30 俯瞰画像調整装置および俯瞰画像調整プログラム

Publications (2)

Publication Number Publication Date
JP6068710B1 true JP6068710B1 (ja) 2017-01-25
JP2017216489A JP2017216489A (ja) 2017-12-07

Family

ID=57890562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016106890A Active JP6068710B1 (ja) 2016-05-30 2016-05-30 俯瞰画像調整装置および俯瞰画像調整プログラム

Country Status (1)

Country Link
JP (1) JP6068710B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962372B2 (ja) 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP2019087688A (ja) 2017-11-09 2019-06-06 Tdk株式会社 磁気センサ
JP7202195B2 (ja) * 2019-01-23 2023-01-11 本田技研工業株式会社 表示システム、走行制御装置、表示制御方法およびプログラム
JP2020147962A (ja) * 2019-03-12 2020-09-17 日立建機株式会社 周囲表示システム及びそれを備えた作業機械

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098098A (ja) * 2001-09-21 2003-04-03 Matsushita Electric Works Ltd 画像処理装置および画像処理システム
JP2003104149A (ja) * 2001-09-27 2003-04-09 Equos Research Co Ltd 駐車支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007124054A (ja) * 2005-10-25 2007-05-17 Canon Inc 画像処理パラメータ設定装置及び方法
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011114850A (ja) * 2009-11-30 2011-06-09 Yupiteru Corp 車両用映像記録装置、再生装置、プログラム
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2014125865A (ja) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd 作業機械の車体周囲表示装置
JP2014147057A (ja) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098098A (ja) * 2001-09-21 2003-04-03 Matsushita Electric Works Ltd 画像処理装置および画像処理システム
JP2003104149A (ja) * 2001-09-27 2003-04-09 Equos Research Co Ltd 駐車支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007124054A (ja) * 2005-10-25 2007-05-17 Canon Inc 画像処理パラメータ設定装置及び方法
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011114850A (ja) * 2009-11-30 2011-06-09 Yupiteru Corp 車両用映像記録装置、再生装置、プログラム
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2014125865A (ja) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd 作業機械の車体周囲表示装置
JP2014147057A (ja) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2017216489A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6068710B1 (ja) 俯瞰画像調整装置および俯瞰画像調整プログラム
RU2719048C1 (ru) Устройство дистанционного управления для крана, строительной машины и/или автопогрузчика
KR101856890B1 (ko) 작업 기계의 표시 시스템, 작업 기계의 표시 장치, 및 작업 기계의 표시 방법
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
EP2003018A2 (en) Camera system and mechanical apparatus
WO2018043301A1 (ja) 作業機械の画像表示システム
JP6321977B2 (ja) 重機用周辺監視装置
EP3335944B1 (en) Work vehicle
JP6275396B2 (ja) 仮想カメラを対話形式で制御するシステムおよび方法
JP7283059B2 (ja) 周辺監視装置
JP6223685B2 (ja) 画像処理装置および画像処理方法
US9233643B2 (en) Image generation device and operation support system
EP3512194B1 (en) Bird's-eye view image system, bird's-eye view image display method and program
EP2408203A2 (en) Imaging control system, and control apparatus and method for imaging apparatus
JP2013066010A (ja) 作業機の周囲監視装置
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
JP2008111269A (ja) 画像表示システム
US20220119233A1 (en) Method and device for controlling a materials handling and/or construction machine
JP4802012B2 (ja) カメラ制御装置およびカメラ制御方法
US20160301864A1 (en) Imaging processing system for generating a surround-view image
KR20180020274A (ko) 패널 변환
JP6990849B2 (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
US10354408B2 (en) Vehicle camera image processing
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
JP6468656B2 (ja) Ar情報表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161222

R150 Certificate of patent or registration of utility model

Ref document number: 6068710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250