JP2018206094A - 観測装置および車両制御システム - Google Patents
観測装置および車両制御システム Download PDFInfo
- Publication number
- JP2018206094A JP2018206094A JP2017111279A JP2017111279A JP2018206094A JP 2018206094 A JP2018206094 A JP 2018206094A JP 2017111279 A JP2017111279 A JP 2017111279A JP 2017111279 A JP2017111279 A JP 2017111279A JP 2018206094 A JP2018206094 A JP 2018206094A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- irradiation
- ground
- projection pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 230000005283 ground state Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】低コストでかつ簡易な構成で地面の状態を観測することができる観測装置および車両制御システムを提供する。【解決手段】車両1の周辺の地面Gに向けて投影パターンを照射するパターン照射部4a〜4dと、パターン照射部4a〜4dによる投影パターン6a〜6dの照射を制御する照射制御部13と、パターン照射部4a〜4dから離隔して配置され、パターン照射部4a〜4dによって照射された投影パターン6a〜6dを撮像する撮像部5a〜5dと、平坦面における投影パターン6a〜6dの画像と車両1の周辺の地面に照射された投影パターン6a〜6dを撮像部5a〜5dが撮像した画像とを比較して差異を算出する演算部14とを備える。【選択図】図3
Description
この発明は、車両周辺に照射した投影パターンに基づいて地面の状態を観測する観測装置およびこれを備えた車両制御システムに関する。
従来から、外界センサを用いて車両周辺の地表を観測する技術が提案されている。
例えば、特許文献1には、レーザ光、ミリ波、超音波などをプローブとした外界センサを用いて車両周辺の地表を観測する技術が記載されている。
例えば、特許文献1には、レーザ光、ミリ波、超音波などをプローブとした外界センサを用いて車両周辺の地表を観測する技術が記載されている。
しかしながら、外界センサを用いた観測では、外界センサで検出された情報から地面の状態を解析する必要があり、低コストで簡易な構成で地面の状態を観測することは困難になるという課題があった。
この発明は上記課題を解決するもので、低コストでかつ簡易な構成で地面の状態を観測することができる観測装置および車両制御システムを得ることを目的とする。
この発明に係る観測装置は、照射部、照射制御部、撮像部および演算部を備える。
照射部は、車両周辺の地面に向けて投影パターンを照射する。照射制御部は、照射部による投影パターンの照射を制御する。撮像部は、照射部から離隔して配置され、照射部によって照射された投影パターンを撮像する。演算部は、平坦面における投影パターンの画像と照射部によって車両周辺の地面に照射された投影パターンを撮像部が撮像した画像とを比較して差異を算出する。
照射部は、車両周辺の地面に向けて投影パターンを照射する。照射制御部は、照射部による投影パターンの照射を制御する。撮像部は、照射部から離隔して配置され、照射部によって照射された投影パターンを撮像する。演算部は、平坦面における投影パターンの画像と照射部によって車両周辺の地面に照射された投影パターンを撮像部が撮像した画像とを比較して差異を算出する。
この発明によれば、撮像部が照射部から離隔して配置されているので、平坦面における投影パターンの画像と車両周辺の地面に照射された投影パターンの撮像画像との間に、車両周辺の地面の状態に応じた差異が発生する。この差異を地面の状態の観測値として利用することで、低コストで簡易な構成で地面の状態を観測することができる。
実施の形態1.
図1は、この発明の実施の形態1に係る車両制御システムの構成を示す要部平面図である。図2は、実施の形態1に係る車両制御システムの構成を示す要部側面図である。
車両1は、あらかじめ設定された地点に向けて自律走行する車両であり、駆動輪2a,2bおよび従動輪3a,3bを備える。駆動輪2a,2bは、図示しない電動機からの駆動力が伝達されて回転駆動する。駆動輪2aと駆動輪2bとを互いに独立して駆動制御することで、車両1が任意の方向に走行する。従動輪3a,3bは、駆動輪2a,2bの旋回動作を妨げないように鉛直方向の軸周りに回動可能に車両下部に支持されている。
図1は、この発明の実施の形態1に係る車両制御システムの構成を示す要部平面図である。図2は、実施の形態1に係る車両制御システムの構成を示す要部側面図である。
車両1は、あらかじめ設定された地点に向けて自律走行する車両であり、駆動輪2a,2bおよび従動輪3a,3bを備える。駆動輪2a,2bは、図示しない電動機からの駆動力が伝達されて回転駆動する。駆動輪2aと駆動輪2bとを互いに独立して駆動制御することで、車両1が任意の方向に走行する。従動輪3a,3bは、駆動輪2a,2bの旋回動作を妨げないように鉛直方向の軸周りに回動可能に車両下部に支持されている。
パターン照射部4a〜4dは、地面Gに向けて投影パターンを照射する照射部である。例えば、パターン照射部4a〜4dは、プロジェクションランプあるいはレーザを用いて構成され、地面Gに可視光の投影パターンを照射する。投影パターンとは、車両1の周辺の地面に照射された光のパターンであり、任意の形状の図形パターンあるいはこれに文字パターンを組み合わせたパターンで実現される。例えば、投影パターンは、地面の凹凸に応じたパターンの歪みが視認しやすい方形格子状のパターンが好ましい。
なお、投影パターンは、可視光に限定されるものではなく、赤外光、紫外光などの不可視光であってもよく、この場合、撮像部5a〜5dを投影パターンの光の波長に対応したカメラで実現すればよい。
なお、投影パターンは、可視光に限定されるものではなく、赤外光、紫外光などの不可視光であってもよく、この場合、撮像部5a〜5dを投影パターンの光の波長に対応したカメラで実現すればよい。
図1および図2において、パターン照射部4aは、車両1の右側面方向の地面Gに投影パターンを照射し、パターン照射部4bは、車両1の左側面方向の地面Gに投影パターンを照射する。また、パターン照射部4cは、車両1の前面方向の地面Gに投影パターンを照射し、パターン照射部4dは、車両1の背面方向の地面Gに投影パターンを照射する。
撮像部5a〜5dは、パターン照射部4a〜4dから離隔して配置され、パターン照射部4a〜4dによって照射された投影パターンを撮像する撮像部である。すなわち、撮像部5a〜5dは、車両1の筐体における、パターン照射部4a〜4dとは異なる位置から露出している。なお、撮像部5a〜5dには、レーザレンジファインダよりも安価な光学カメラを用いることできる。
図1および図2において、撮像部5aは、パターン照射部4aから離隔して配置され、車両1の右側面方向の地面Gに照射された投影パターンを撮像する。撮像部5bは、パターン照射部4bから離隔して配置され、車両1の左側面方向の地面Gに照射された投影パターンを撮像する。撮像部5cは、パターン照射部4cから離隔して配置され、車両1の前面方向の地面Gに照射された投影パターンを撮像する。撮像部5dは、パターン照射部4dから離隔して配置され、車両1の背面方向の地面Gに照射された投影パターンを撮像する。
図3は、実施の形態1に係る車両制御システムの構成を示すブロック図である。図3において、図1および図2と同一の構成要素には同一符号を付して説明を省略する。図3に示す車両制御システムは、遠隔操作端末8の遠隔操作によって車両1の走行を制御する。遠隔操作端末8は、送受信部9との間で無線通信または有線通信を行う端末であり、オペレータaの入力操作に対応する操作情報を送受信部9に送信し、送受信部9からの情報を受信する。
図3に示す車両制御システムは、送受信部9、走行制御部10、外界センサ11、内界センサ12および観測装置Aを備える。送受信部9は、遠隔操作端末8との間で無線通信または有線通信を行って、遠隔操作端末8から受信した操作情報を走行制御部10に出力する。外界センサ11は、車両周辺の状況を検出するセンサであり、例えば、車両周辺の3次元形状を検出するか、または、車両周辺の映像を撮像する。内界センサ12は、車両1の挙動を検出するセンサであって、例えば、車両1の走行速度、加速度、角速度および傾斜角を検出する。
観測装置Aは、パターン照射部4a〜4d、撮像部5a〜5d、照射制御部13および演算部14を備える。照射制御部13は、パターン照射部4a〜4dによる投影パターンの照射を制御する。演算部14は、平坦面における投影パターンの画像とパターン照射部4a〜4dによって車両周辺の地面に照射された投影パターンを撮像部5a〜5dが撮像した画像とを比較して差異を算出する。
平坦面における投影パターンの画像は、平坦面における投影パターンを撮像画像と同じ座標系に変換して得られる画像であり、例えば、演算部14に予め設定されている。
平坦面における投影パターンの画像は、平坦面における投影パターンを撮像画像と同じ座標系に変換して得られる画像であり、例えば、演算部14に予め設定されている。
図4Aは、観測装置Aの機能を実現するハードウェア構成を示すブロック図である。図4Aにおいて、処理回路100は発光装置101およびカメラ102と接続されている。図4Bは、観測装置Aの機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図4Bにおいて、プロセッサ103およびメモリ104は、発光装置101およびカメラ102と接続されている。観測装置Aのパターン照射部4a〜4dは発光装置101であり、例えば、プロジェクションランプまたはレーザである。観測装置Aの撮像部5a〜5dはカメラ102である。
観測装置Aにおける照射制御部13および演算部14の各機能は、処理回路により実現される。すなわち、観測装置Aは、平坦面における投影パターンの画像と車両周辺の地面に照射された投影パターンの撮像画像とを比較し、車両周辺の地面の状態に応じた両画像間の差異を算出するまでの一連の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであっても、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
処理回路が図4Aに示す専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)またはこれらを組み合わせたものが該当する。
照射制御部13および演算部14のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
照射制御部13および演算部14のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
処理回路が図4Bに示すプロセッサ103である場合、照射制御部13および演算部14の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ104に記憶される。
プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することにより各部の機能を実現する。すなわち、観測装置Aは、プロセッサ103によって実行されるとき、前述した一連の処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。これらのプログラムは、照射制御部13および演算部14の手順または方法を、コンピュータに実行させるものである。
プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することにより各部の機能を実現する。すなわち、観測装置Aは、プロセッサ103によって実行されるとき、前述した一連の処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。これらのプログラムは、照射制御部13および演算部14の手順または方法を、コンピュータに実行させるものである。
メモリ104には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
照射制御部13および演算部14の各機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、照射制御部13については、専用のハードウェアとしての処理回路100がその機能を実現し、演算部14については、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
例えば、照射制御部13については、専用のハードウェアとしての処理回路100がその機能を実現し、演算部14については、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
次に動作について説明する。
送受信部9は、遠隔操作端末8から送信されたオペレータaの操作情報を受信すると、走行制御部10に出力する。走行制御部10は、操作情報に基づいて、駆動輪2a,2bの回転駆動を制御することにより、車両1が走行する。外界センサ11は、車両1の周辺の映像などの車両外の情報を取得し、内界センサ12は、車両1の走行速度などの車両内の情報を検出する。外界センサ11および内界センサ12によって検出された車両内外の情報は、送受信部9に出力される。
送受信部9は、遠隔操作端末8から送信されたオペレータaの操作情報を受信すると、走行制御部10に出力する。走行制御部10は、操作情報に基づいて、駆動輪2a,2bの回転駆動を制御することにより、車両1が走行する。外界センサ11は、車両1の周辺の映像などの車両外の情報を取得し、内界センサ12は、車両1の走行速度などの車両内の情報を検出する。外界センサ11および内界センサ12によって検出された車両内外の情報は、送受信部9に出力される。
送受信部9は、車両内外の情報を遠隔操作端末8に送信する。遠隔操作端末8は、送受信部9から受信した車両内外の情報をオペレータaに提示する。オペレータaは、車両1側から受信した車両内外の情報を参照しながら、車両1の遠隔操作を行うことができる。
送受信部9は、遠隔操作端末8から地面観測の操作情報を受信すると、この操作情報を照射制御部13に出力する。
送受信部9は、遠隔操作端末8から地面観測の操作情報を受信すると、この操作情報を照射制御部13に出力する。
照射制御部13は、送受信部9から入力した操作情報に従って、車両1の周辺の地面に投影パターン6a〜6dを照射するようにパターン照射部4a〜4dを制御し、投影パターン6a〜6dが照射された地面を撮像するように撮像部5a〜5dに指示する。
パターン照射部4a〜4dは、照射制御部13の制御によって、車両1の周辺の地面に投影パターン6a〜6dを照射する。照射処理に同期して、撮像部5a〜5dは、パターン照射部4a〜4dによって投影パターン6a〜6dが照射された地面を撮像する。
パターン照射部4a〜4dは、照射制御部13の制御によって、車両1の周辺の地面に投影パターン6a〜6dを照射する。照射処理に同期して、撮像部5a〜5dは、パターン照射部4a〜4dによって投影パターン6a〜6dが照射された地面を撮像する。
ここで、撮像部5a〜5dは、パターン照射部4a〜4dから離隔して配置されているので、平坦面における投影パターン6a〜6dの画像と、投影パターン6a〜6dが照射された車両周辺の地面の撮像画像との間に、地面の状態に応じた差異が発生する。演算部14は、これらの撮像画像を比較して上記差異を算出する。送受信部9は、演算部14によって算出された上記差異を示す情報を遠隔操作端末8に送信する。
遠隔操作端末8は、観測装置Aによって生成された上記差異を示す情報を視覚化して、オペレータaに提示する。オペレータaは、遠隔操作端末8から提示された情報に基づいて、車両1が走行している地面の状態を把握することができる。
遠隔操作端末8は、観測装置Aによって生成された上記差異を示す情報を視覚化して、オペレータaに提示する。オペレータaは、遠隔操作端末8から提示された情報に基づいて、車両1が走行している地面の状態を把握することができる。
投影パターン6a〜6dとしては、格子状のパターン、あるいは、光点によるグリッドパターンが挙げられる。演算部14は、例えば、撮像画像上の格子の交点またはグリッドの光点を特徴点として、特徴点の座標の差異、すなわち投影パターンの歪みが生じた位置の座標を算出する。
また、遠隔操作端末8は、演算部14によって算出された差異を、例えば、色彩または明度によるコンター表示で視覚化するか、あるいは、等高線表示で視覚化する。さらに、遠隔操作端末8は、視覚化した情報に加えて、投影パターン6a〜6dが照射された地面の撮像画像を表示してもよい。これにより、オペレータaは、直感的に地面の状態を把握することができる。
また、遠隔操作端末8は、演算部14によって算出された差異を、例えば、色彩または明度によるコンター表示で視覚化するか、あるいは、等高線表示で視覚化する。さらに、遠隔操作端末8は、視覚化した情報に加えて、投影パターン6a〜6dが照射された地面の撮像画像を表示してもよい。これにより、オペレータaは、直感的に地面の状態を把握することができる。
次に、地面の凹凸を観測する原理について説明する。
図5は、観測装置Aの観測原理を示す側面視概念図であり、パターン照射部4cにより投影パターンを車両前方の地面Gにおける平面と凸面とに照射し、撮像部5cによって撮像した場合を示している。また、図6は、観測装置Aの観測原理を示す別の側面視概念図であり、パターン照射部4cにより投影パターンを車両前方の地面Gにおける平面と凹面とに照射し、撮像部5cによって撮像した場合を示している。
図5は、観測装置Aの観測原理を示す側面視概念図であり、パターン照射部4cにより投影パターンを車両前方の地面Gにおける平面と凸面とに照射し、撮像部5cによって撮像した場合を示している。また、図6は、観測装置Aの観測原理を示す別の側面視概念図であり、パターン照射部4cにより投影パターンを車両前方の地面Gにおける平面と凹面とに照射し、撮像部5cによって撮像した場合を示している。
図5において、地面Gの平面は、A−C−Bという直線で表すことができる。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Eで地面Gの平面に照射される。点Eで反射した光は、点Fで撮像部5cに入射される。
一方、図5において、地面Gの凸面は、A−C−Hという曲線で表すことができる。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Jで地面Gの凸面に照射される。点Jで反射した光は、点Fで撮像部5cに入射される。図5に示すように、地面Gの凸面は、地面Gの平面での反射光E−Fに比べて角度θだけy軸方向の車両に近い側に変位して見える。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Eで地面Gの平面に照射される。点Eで反射した光は、点Fで撮像部5cに入射される。
一方、図5において、地面Gの凸面は、A−C−Hという曲線で表すことができる。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Jで地面Gの凸面に照射される。点Jで反射した光は、点Fで撮像部5cに入射される。図5に示すように、地面Gの凸面は、地面Gの平面での反射光E−Fに比べて角度θだけy軸方向の車両に近い側に変位して見える。
図6において、地面Gの平面は、図5と同様に、A−C−Bという直線で表される。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Eで地面Gの平面に照射される。点Eで反射した光は、点Fで撮像部5cに入射される。
一方、図6において、地面Gの凹面は、A−C−Kという折れ線で表すことができる。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Lで地面Gの凹面に照射される。点Lで反射した光は、点Fで撮像部5cに入射される。図6に示すように、地面Gの凹面は、地面Gの平面での反射光E−Fに比べて角度γだけy軸方向の車両から遠い側に変位して見える。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Eで地面Gの平面に照射される。点Eで反射した光は、点Fで撮像部5cに入射される。
一方、図6において、地面Gの凹面は、A−C−Kという折れ線で表すことができる。
点Dのパターン照射部4cから照射されて光軸中心を進む光は、点Lで地面Gの凹面に照射される。点Lで反射した光は、点Fで撮像部5cに入射される。図6に示すように、地面Gの凹面は、地面Gの平面での反射光E−Fに比べて角度γだけy軸方向の車両から遠い側に変位して見える。
図7は、車両周辺への投影パターン6a〜6cの照射例を示す図であり、車両1の周囲にある平坦な地面に投影パターン6a〜6dを照射した状態を示している。図8は、平坦面における投影パターン6cの画像を示す図である。図9は、凹凸がある地面への投影パターン6cの照射例を示す図であり、車両前方の凹凸がある地面に照射された投影パターン6cの撮像画像を示している。
車両1の周囲が平坦な地面である場合、照射制御部13は、車両1の右側方、左側方、前方、後方の地面Gに向けて投影パターン6a〜6dを照射するように、パターン照射部4a〜4dを制御する。図7の例では、パターン照射部4a〜4dによって方形格子状の投影パターン6a〜6dが平坦面に照射されている。撮像部5a〜5dは、投影パターン6a〜6dの照射に合わせて車両1の右側方、左側方、前方、後方の地面Gを撮像する。これにより、車両前方の撮像画像として、図8に示す画像を得ることができる。
車両1の周囲に凹凸がある場合、照射制御部13は、上記と同様に、車両1の右側方、左側方、前方、後方の地面Gに向けて投影パターン6a〜6dを照射するようにパターン照射部4a〜4dを制御する。図9の例では、パターン照射部4cによって、方形格子状の投影パターン6cが、凹凸がある面に照射されている。なお、図9において、投影パターン6a,6b,6dの記載を省略している。
地面Gの凹凸を示すために、等高線20a〜20h,21a〜21cを記載している。地面Gは、等高線20aの位置で最も低く、等高線20hに向かうにつれて高くなり、等高線20hの位置で最も高くなっている。等高線21a〜21cは、地面Gの凹部を表しており、等高線21aから等高線21cに向かうにつれて地面Gが低くなっている。
パターン照射部4cから車両前方の地面Gに照射された投影パターン6cは、地面Gの凹部および凸部によって、図9に示すように歪みが生じている。
すなわち、図5および図6に示したように、図9の投影パターン6cを撮像した画像では、地面Gの凸部が平坦な面に比べてy軸方向の車両1に近い側に撮像され、地面Gの凹部が平坦な面に比べてy軸方向の車両1から遠い側に撮像される。なお、x軸方向にも同様な変位が生じるが、ここでは説明を省略する。
すなわち、図5および図6に示したように、図9の投影パターン6cを撮像した画像では、地面Gの凸部が平坦な面に比べてy軸方向の車両1に近い側に撮像され、地面Gの凹部が平坦な面に比べてy軸方向の車両1から遠い側に撮像される。なお、x軸方向にも同様な変位が生じるが、ここでは説明を省略する。
図10は、図8の平坦な地面Gに照射された投影パターン6cの撮像画像と、図9の凹凸がある地面Gに照射された投影パターン6c’の撮影画像とを示す図である。図10において、投影パターン6cと投影パターン6c’と記載したが、両者は照射対象の地面が異なるだけで、同じパターン照射部4cから車両前方の地面Gに照射された投影パターン6cである。両撮像画像には、図10に示すように、地面Gの状態に応じた差異が発生する。演算部14は、これらの撮像画像を比較して上記差異を算出する。送受信部9は、演算部14によって算出された上記差異を示す情報を遠隔操作端末8に送信する。
遠隔操作端末8は、上記差異を示す情報を図10のように視覚化してオペレータaに提示する。この提示情報に基づいて、オペレータaは、車両1が走行している地面Gの凹凸を把握することができる。例えば、オペレータaは、遠隔操作端末8で車両1の走行を制御することにより、地面Gの凹凸を回避する経路で走行させることができる。
従来の遠隔操作車両において、オペレータは、外界センサによって取得された車両周辺の画像のみから地面の状態を把握しなければならず、地面の凹凸が分かり難かった。
これに対して、実施の形態1に係る車両制御システムでは、観測装置Aによって地面の状態を示す情報が得られるため、オペレータが、地面の凹凸を直感的に把握することができる。
これに対して、実施の形態1に係る車両制御システムでは、観測装置Aによって地面の状態を示す情報が得られるため、オペレータが、地面の凹凸を直感的に把握することができる。
さらに、演算部14が、上記差異から地面の状態に関する情報を生成してもよい。
例えば、演算部14が、凹凸がある地面Gを、色彩または明度を用いたコンター表示の画像情報を生成してもよく、また等高線表示した画像を生成してもよい。このように表示することで、オペレータは、地面Gの凹凸を直感的に把握しやすくなる。
例えば、演算部14が、凹凸がある地面Gを、色彩または明度を用いたコンター表示の画像情報を生成してもよく、また等高線表示した画像を生成してもよい。このように表示することで、オペレータは、地面Gの凹凸を直感的に把握しやすくなる。
地面Gの凹凸を観測する場合を示したが、平坦な地面G上にある障害物による凹凸であっても、同様な観測が可能である。すなわち、障害物がある地面Gに照射された投影パターンの撮像画像も、平坦な地面Gに照射された投影パターンの撮像画像との間で、図5と図6に示した差異が発生する。従って、演算部14が当該差異を算出することで、観測装置Aは、障害物による凹凸も観測することが可能である。
以上のように、実施の形態1に係る観測装置Aは、パターン照射部4a〜4d、照射制御部13、撮像部5a〜5dおよび演算部14を備える。この構成において、撮像部5a〜5dは、パターン照射部4a〜4dから離隔して配置されているので、平坦面における投影パターンの撮像画像と車両周辺の地面Gに照射された投影パターンの撮像画像との間に車両周辺の地面Gの状態に応じた差異が発生する。この差異を地面Gの状態の観測値として利用することで、低コストで簡易な構成で地面Gの状態を観測することができる。
また、実施の形態1に係る観測装置Aにおいて、演算部14が、上記撮像画像間の差異から地面Gの状態を示す情報を生成する。これにより、地面Gの状態が分かりやすい情報を得ることができる。
実施の形態2.
図11は、この発明の実施の形態2に係る車両制御システムの構成を示すブロック図である。図11において、図3と同一の構成要素には同一符号を付して説明を省略する。
図11に示す車両制御システムは、自律制御で走行する車両1Aに搭載されたシステムであり、走行制御部10A、外界センサ11、内界センサ12、入力部15、走行経路設定部16および観測装置Bを備える。車両1Aには、図1および図2に示した車両1と同様に、パターン照射部4a〜4d、撮像部5a〜5d、外界センサ11および内界センサ12が搭載されている。
図11は、この発明の実施の形態2に係る車両制御システムの構成を示すブロック図である。図11において、図3と同一の構成要素には同一符号を付して説明を省略する。
図11に示す車両制御システムは、自律制御で走行する車両1Aに搭載されたシステムであり、走行制御部10A、外界センサ11、内界センサ12、入力部15、走行経路設定部16および観測装置Bを備える。車両1Aには、図1および図2に示した車両1と同様に、パターン照射部4a〜4d、撮像部5a〜5d、外界センサ11および内界センサ12が搭載されている。
走行経路設定部16は、車両1Aを走行させる経路を設定する。例えば、走行経路設定部16は、入力部15によって受け付けられた中継地点、目的地点、障害物の位置および地図情報に基づいて、障害物を回避しながら中継地点を通って目的地点に至る経路を算出する。走行制御部10Aは、走行経路設定部16から設定された経路に沿って車両1Aが走行するように、図1および図2に示した駆動輪2a,2bの回転駆動を制御する。
観測装置Bは、パターン照射部4a〜4d、撮像部5a〜5d、照射制御部13および演算部14Aを備える。演算部14Aは、平坦な面に照射された投影パターンを撮像部5a〜5dが撮像した画像と車両周辺の地面に照射された投影パターンを撮像部5a〜5dが撮像した画像とを比較して差異を算出し、この差異から車両周辺の地面の状態に関する情報を生成する。車両周辺の地面の状態に関する情報は、例えば、地面の凹凸がある領域の位置を示す情報である。走行経路設定部16は、演算部14Aによって生成された上記情報に基づいて車両1Aの走行経路を算出する。
図11に示した車両制御システムにおける、走行制御部10A、照射制御部13、演算部14Aおよび走行経路設定部16の各機能は、処理回路によって実現される。
すなわち、車両制御システムは、これらの機能を実行するための処理回路を備える。
処理回路は、図4Aに示したような専用のハードウェアであってもよく、図4Bに示したような、メモリに格納されるプログラムを実行するプロセッサであってもよい。
すなわち、車両制御システムは、これらの機能を実行するための処理回路を備える。
処理回路は、図4Aに示したような専用のハードウェアであってもよく、図4Bに示したような、メモリに格納されるプログラムを実行するプロセッサであってもよい。
次に動作について説明する。
演算部14Aは、実施の形態1と同様にして、車両1Aの周辺の地面Gの凹凸に応じた撮像画像の差異を算出する。さらに、演算部14Aは、例えば、算出した上記差異から、車両1Aが回避すべき地面Gの凹凸がある位置の実空間(車両1Aが走行している3次元空間)における座標値を算出し、車両1Aの周辺の地面Gの状態に関する情報として走行経路設定部16に出力する。
演算部14Aは、実施の形態1と同様にして、車両1Aの周辺の地面Gの凹凸に応じた撮像画像の差異を算出する。さらに、演算部14Aは、例えば、算出した上記差異から、車両1Aが回避すべき地面Gの凹凸がある位置の実空間(車両1Aが走行している3次元空間)における座標値を算出し、車両1Aの周辺の地面Gの状態に関する情報として走行経路設定部16に出力する。
走行経路設定部16は、車両1Aの位置、地図情報および演算部14Aによって算出された上記情報に基づいて、地面Gの凹凸を回避する走行経路を算出する。走行制御部10Aは、走行経路設定部16によって算出された経路に従って車両1Aの走行を制御する。これにより、地面Gの凹凸に車両1Aが進入して転倒または障害物に衝突することを回避できる。
以上のように、実施の形態2に係る車両制御システムは、観測装置Bに加え、演算部14Aによって生成された情報に基づいて車両1Aの走行経路を算出する走行経路設定部16と、走行経路設定部16によって算出された走行経路に従って車両1Aの走行を制御する走行制御部10Aとを備える。これらの構成を有することで、車両1Aの周辺の地面の凹凸に応じた車両1Aの走行制御が可能である。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1,1A 車両、2a,2b 駆動輪、3a,3b 従動輪、4a〜4d パターン照射部、5a〜5d 撮像部、6a〜6d 投影パターン、8 遠隔操作端末、9 送受信部、10,10A 走行制御部、11 外界センサ、12 内界センサ、13 照射制御部、14,14A 演算部、15 入力部、16 走行経路設定部、20a〜20h,21a〜21c 等高線、100 処理回路、101 発光装置、102 カメラ、103 プロセッサ、104 メモリ。
この発明に係る観測装置は、遠隔操作端末からの遠隔操作によって走行する車両に搭載され、照射部、照射制御部、撮像部および演算部を備える。照射部は、車両周辺の地面に向けて投影パターンを照射する。照射制御部は、照射部による投影パターンの照射を制御する。撮像部は、照射部から離隔して配置され、照射部によって照射された投影パターンを撮像する。演算部は、平坦面における投影パターンの画像と照射部によって車両の周辺の地面に照射された投影パターンを撮像部が撮像した画像とを比較して、パターンの形状の差異を算出する。この構成において、遠隔操作端末が、演算部によって算出された差異を示す情報を表示することを特徴とする。
Claims (3)
- 車両周辺の地面に向けて投影パターンを照射する照射部と、
前記照射部による投影パターンの照射を制御する照射制御部と、
前記照射部から離隔して配置され、前記照射部によって照射された投影パターンを撮像する撮像部と、
平坦面における投影パターンの画像と前記照射部によって車両周辺の地面に照射された投影パターンを前記撮像部が撮像した画像とを比較して差異を算出する演算部と
を備えたことを特徴とする観測装置。 - 前記演算部は、前記差異から地面の状態に関する情報を生成すること
を特徴とする請求項1記載の観測装置。 - 車両周辺の地面に向けて投影パターンを照射する照射部と、
前記照射部による投影パターンの照射を制御する照射制御部と、
前記照射部から離隔して配置され、前記照射部によって照射された投影パターンを撮像する撮像部と、
平坦面における投影パターンの画像と前記照射部によって車両周辺の地面に照射された投影パターンを前記撮像部が撮像した画像とを比較して差異を算出し、前記差異から車両周辺の地面の状態に関する情報を生成する演算部と、
前記演算部によって生成された情報に基づいて車両の走行経路を算出する走行経路設定部と、
前記走行経路設定部によって算出された走行経路に従って車両の走行を制御する走行制御部と
を備えたことを特徴とする車両制御システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111279A JP2018206094A (ja) | 2017-06-06 | 2017-06-06 | 観測装置および車両制御システム |
PCT/JP2017/036978 WO2018225282A1 (ja) | 2017-06-06 | 2017-10-12 | 観測装置および車両制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111279A JP2018206094A (ja) | 2017-06-06 | 2017-06-06 | 観測装置および車両制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018206094A true JP2018206094A (ja) | 2018-12-27 |
Family
ID=64566165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111279A Pending JP2018206094A (ja) | 2017-06-06 | 2017-06-06 | 観測装置および車両制御システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018206094A (ja) |
WO (1) | WO2018225282A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01131589A (ja) * | 1987-11-17 | 1989-05-24 | Hitachi Ltd | 立体地形図表示装置 |
JPH0643935A (ja) * | 1992-07-24 | 1994-02-18 | Mutoh Ind Ltd | 走行ロボットの障害物検出装置 |
JPH09237400A (ja) * | 1996-03-01 | 1997-09-09 | Kokusai Electric Co Ltd | ディジタルマップシステム、航空機の障害物検出方法 |
JP2002251618A (ja) * | 2001-02-23 | 2002-09-06 | Pasuko:Kk | 画像地図、その作成装置及び作成方法 |
JP2005343391A (ja) * | 2004-06-04 | 2005-12-15 | Koden Kk | 遠隔操縦無人ボートおよび遠隔操縦装置 |
JP2012083892A (ja) * | 2010-10-08 | 2012-04-26 | Mitsubishi Heavy Ind Ltd | 自律走行制御装置及びそれを備えた自律走行車両 |
WO2016076319A1 (ja) * | 2014-11-13 | 2016-05-19 | ヤンマー株式会社 | 操作端末 |
JP2016166853A (ja) * | 2015-03-04 | 2016-09-15 | パナソニックIpマネジメント株式会社 | 位置推定装置および位置推定方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0290633B1 (de) * | 1987-05-09 | 1989-11-02 | Carl Schenck Ag | Verfahren zum Erkennen von Änderungen in Fahrraum eines unbemannten Fahrzeuges |
US9840003B2 (en) * | 2015-06-24 | 2017-12-12 | Brain Corporation | Apparatus and methods for safe navigation of robotic devices |
-
2017
- 2017-06-06 JP JP2017111279A patent/JP2018206094A/ja active Pending
- 2017-10-12 WO PCT/JP2017/036978 patent/WO2018225282A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01131589A (ja) * | 1987-11-17 | 1989-05-24 | Hitachi Ltd | 立体地形図表示装置 |
JPH0643935A (ja) * | 1992-07-24 | 1994-02-18 | Mutoh Ind Ltd | 走行ロボットの障害物検出装置 |
JPH09237400A (ja) * | 1996-03-01 | 1997-09-09 | Kokusai Electric Co Ltd | ディジタルマップシステム、航空機の障害物検出方法 |
JP2002251618A (ja) * | 2001-02-23 | 2002-09-06 | Pasuko:Kk | 画像地図、その作成装置及び作成方法 |
JP2005343391A (ja) * | 2004-06-04 | 2005-12-15 | Koden Kk | 遠隔操縦無人ボートおよび遠隔操縦装置 |
JP2012083892A (ja) * | 2010-10-08 | 2012-04-26 | Mitsubishi Heavy Ind Ltd | 自律走行制御装置及びそれを備えた自律走行車両 |
WO2016076319A1 (ja) * | 2014-11-13 | 2016-05-19 | ヤンマー株式会社 | 操作端末 |
JP2016166853A (ja) * | 2015-03-04 | 2016-09-15 | パナソニックIpマネジメント株式会社 | 位置推定装置および位置推定方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018225282A1 (ja) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6784295B2 (ja) | 距離測定システム、距離測定方法およびプログラム | |
JP6381807B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
JP5267727B2 (ja) | 画像位置調整装置 | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
JP5449572B2 (ja) | 路面形状認識装置及びそれを利用した自律移動装置 | |
JP6559253B2 (ja) | 車両の車両周囲を表示するための方法 | |
JP2017531178A (ja) | 環境を光学的にスキャンし測定するためのデバイスおよび方法ならびに制御の方法 | |
JP2015535337A (ja) | 角度スキャン速度の動的調整を伴うレーザスキャナ | |
US20180178650A1 (en) | Projection type display device and projection control method | |
JP5875232B2 (ja) | 物体検出装置、および、物体検出方法 | |
CN107076553B (zh) | 使用结构光的增强对象检测 | |
JP2014230215A (ja) | カメラ較正装置、およびカメラ較正方法 | |
WO2018193609A1 (ja) | 距離計測装置及び移動体 | |
CN110691716A (zh) | 提示装置 | |
US20190322210A1 (en) | Apparatus and method for notifying expected motion of vehicle | |
WO2018225282A1 (ja) | 観測装置および車両制御システム | |
JP6501805B2 (ja) | 画像処理装置および画像処理方法 | |
WO2020240918A1 (ja) | 作業支援システム、作業支援方法およびプログラム | |
JP6516241B2 (ja) | ジェスチャ入力装置 | |
JP6376991B2 (ja) | 表示システム | |
JP6874769B2 (ja) | 車両用表示装置 | |
JP2020144048A (ja) | 光源装置及び測距装置 | |
JP2017013671A (ja) | ヘッドアップディスプレイ装置 | |
JP2015142157A (ja) | 映像投影システム、投影制御装置、投影制御用プログラム | |
JP2017058142A (ja) | 投影装置及び投影システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190709 |