JP2023072514A - 点検計画作成システム及び点検計画作成方法 - Google Patents

点検計画作成システム及び点検計画作成方法 Download PDF

Info

Publication number
JP2023072514A
JP2023072514A JP2021185119A JP2021185119A JP2023072514A JP 2023072514 A JP2023072514 A JP 2023072514A JP 2021185119 A JP2021185119 A JP 2021185119A JP 2021185119 A JP2021185119 A JP 2021185119A JP 2023072514 A JP2023072514 A JP 2023072514A
Authority
JP
Japan
Prior art keywords
inspection
difficulty
inspection plan
difficulty level
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021185119A
Other languages
English (en)
Inventor
和哉 室谷
Kazuya Murotani
範安 長谷島
Noriyasu HASEJIMA
貴大 酒井
Takahiro Sakai
崇弘 山田
Takahiro Yamada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021185119A priority Critical patent/JP2023072514A/ja
Publication of JP2023072514A publication Critical patent/JP2023072514A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】自走式点検ロボットが実行可能な点検計画を容易に作成する。【解決手段】施設情報、点検対象の設置位置、及び撮影性能を基に、複数の点検対象の設置位置のそれぞれについて、走行経路上の任意地点における撮影難易度を評価する撮影難易度評価部231と、施設情報、点検対象の設置位置、及び撮影性能を基に、走行経路上の任意地点における走行難易度を評価する走行難易度評価部232と、点検計画を出力するとともに、点検計画の一部又は全部において、撮影難易度と走行難易度を用いて算出された総合的な難易度である実行難易度を出力する出力部24と、を備える。【選択図】図3

Description

本発明は、所定の経路を自律的に走行しながら設備点検を実施する自走式点検ロボット向けの点検計画を作成する点検計画作成システム及び点検計画作成方法に関する。
自走式点検ロボットは、ユーザーが作成した点検計画に従って、自律的に動作しながら点検作業を遂行することができる。点検計画は主に、自走式点検ロボットが走行すべき経路と、点検を実施すべき箇所の情報を含む。ユーザーが点検計画を作成する際、点検対象の設備の外観や施設内の地形、及び自走式点検ロボットの性能を鑑み、自走式点検ロボットにとって実行可能な計画を作成することが求められる。点検計画の作成を容易に行うための技術として、以下のような技術が知られている。
例えば、特許文献1には、撮影対象の位置や撮影装置の性能を入力とし、複数の撮影候補地点から対象を撮影した場合の撮影の評価値を事前に推定し、評価値の高い地点を撮影地点として選出し、選出された複数の撮影地点を結ぶことで経路を算出する技術が記載されている。この技術を用いると、撮影に適した地点とそれを結ぶ経路を自動的に作成することができるので、点検計画作成におけるユーザーの作業負担を軽減することができる。
国際公開第2019/171824号
自走式点検ロボットにとって実行可能な点検計画を作成するためには、前述のとおり、点検対象の設備の外観や施設内の地形を鑑みる必要がある。しかし、特許文献1に記載の技術ではこれらの情報を入力としていないため、実行不可能、もしくは実行困難な点検計画が作成される可能性がある。具体的には、例えば、自走式点検ロボットが点検箇所付近に近づけない、又は撮影地点に到達できない場所が存在したとして、特許文献1に記載の技術では、このような場所を通るような経路や撮影地点を作成する可能性がある。
または、例えば、点検箇所付近の路面が滑りやすく走行の難易度が高い場合、点検箇所付近に他に点検実施可能な箇所がない場合を除いて、そのような凹凸面上での点検は避けるべきであるが、特許文献1に記載の技術では、このような事情を考慮できない。その結果、自走式点検ロボットにとって実行不可能、又は実行困難な点検計画が作成される可能性がある。そのため、ユーザーは人手で点検計画の実行可能性を検証する必要があり、作業負担が増大する。
上記の状況から、自走式点検ロボットが実行可能な点検計画を容易に作成できる手段が要望されていた。
上記課題を解決するために、本発明の一態様の点検計画作成システムは、カメラを搭載した自走式点検ロボットの走行経路と、点検対象撮影箇所とを含む点検計画を作成する点検計画作成システムであって、自走式点検ロボットを運用する施設の外観と、路面の情報とを含む施設情報と、複数の点検対象の設置位置と、カメラの撮影性能とを含む事前情報とを、使用者が入力操作可能な事前情報入力インターフェースと、点検計画を使用者が作成操作可能な点検計画作成インターフェースと、を備える。また、上記点検計画作成システムは、施設情報、点検対象の設置位置、及び撮影性能を基に、複数の点検対象の設置位置のそれぞれについて、走行経路上の任意地点における撮影難易度を評価する撮影難易度評価部と、施設情報、点検対象の設置位置、及び撮影性能を基に、走行経路上の任意地点における走行難易度を評価する走行難易度評価部と、点検計画を出力するとともに、点検計画の一部又は全部において、撮影難易度と走行難易度を用いて算出された総合的な難易度である実行難易度を出力する出力部と、を備える。
また、本発明の一態様の点検計画作成方法は、カメラを搭載した自走式点検ロボットの走行経路と、点検対象撮影箇所とを含む点検計画を作成する点検計画作成システムによる点検計画作成方法であって、撮影難易度評価部により、自走式点検ロボットを運用する施設の外観と、路面の情報とを含む施設情報、複数の点検対象の設置位置、及びカメラの撮影性能を基に、複数の点検対象の設置位置のそれぞれについて、走行経路上の任意地点における撮影難易度を評価する処理と、走行難易度評価部により、施設情報、点検対象の設置位置、及び撮影性能を基に、走行経路上の任意地点における走行難易度を評価する処理と、出力部により、点検計画を出力するとともに、点検計画の一部又は全部において、撮影難易度と走行難易度を用いて算出された総合的な難易度である実行難易度を出力する処理と、を含む。
本発明の少なくとも一態様によれば、作成された点検計画について、点検対象の撮影の難易度と走行の難易度を併せて評価することで、自走式点検ロボットにとって実行しやすい点検計画かどうかをユーザーが容易に確認できる。これにより、本発明の一態様は、自走式点検ロボットが実行可能な点検計画を容易に作成することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第1の実施形態に係る点検計画作成システムと関連して動作する自走式点検ロボットの概要を説明するための模式図である。 自走式点検ロボットの動作を説明するための模式図である。 本発明の第1の実施形態に係る点検計画作成システムの構成例を示す図である。 本発明の第1の実施形態に係る点検計画の実行難易度の第1の表示例を示す図である。 本発明の第1の実施形態に係る点検計画の実行難易度の第2の表示例を示す図である。 点検計画作成システムが備える計算機のハードウェア構成例を示すブロック図である。 本発明の第1の実施形態に係る点検計画作成システムにおける撮影難易度の算出方法を説明するための模式図である。 本発明の第1の実施形態に係る点検計画作成システムにおける走行難易度の算出方法を説明するための模式図である。 本発明の第2の実施形態に係る点検計画作成システムにおいて撮影難易度評価部が撮影難易度を算出する方法を説明するための図であり、図9Aは撮影シーンの模式図、図9Bは当該撮影シーンの撮影画像の模式図である。 本発明の第2の実施形態に係る撮影難易度評価部が生成する、各ピクセルに自走式点検ロボットのカメラから物体までの距離を付加した仮想的な撮影画像を示す模式図である。 本発明の第2の実施形態に係る撮影難易度評価部が生成する、カメラの画角の範囲内に収まる仮想的な点群を示す模式図である。 本発明の第3の実施形態に係る点検計画作成システムにおいて撮影難易度評価部が撮影難易度を算出する方法を説明するための図であり、図12Aは参照画像の模式図、図12Bは撮影画像の模式図である。 本発明の第4の実施形態に係る撮影難易度評価部において、光源の映り込みにより画像の明瞭さが失われるリスクを撮影難易度として算出する方法を説明するための模式図である。 本発明の第5の実施形態に係る走行難易度評価部において、障害物への衝突リスクを走行難易度として評価する方法を説明するための模式図である。 本発明の第6の実施形態に係る走行難易度評価部において、自己位置推定の方式としてGNSSを用いた場合の、走行難易度の算出方法を説明するための模式図である。 本発明の第6の実施形態に係る走行難易度評価部において、自己位置推定の方式としてLiDARによるSLAM技術を用いた場合の、走行難易度の算出方法を説明するための図であり、図16Aは撮影シーンの模式図、図16Bは仮想点群から平面及び法線ベクトルを抽出する方法の概要を示した模式図である。 本発明の第6の実施形態に係る走行難易度評価部において、自己位置推定の方式としてカメラによるSLAM技術を用いた場合の、走行難易度の算出方法を説明するための図であり、図17Aは撮影シーンの模式図、図17Bは撮影画像の模式図である。 本発明の第7の実施形態に係る点検計画作成システムの出力部において、撮影難易度を背景表示する方法を説明するための模式図である。 本発明の第7の実施形態に係る点検計画作成システムの出力部において、走行難易度を背景表示する方法を説明するための模式図である。 本発明の第8の実施形態に係る点検計画作成システムの構成例を示す図である。 本発明の第8の実施形態の変形例に係る点検計画作成システムの動作の概要を説明するための模式図である。 本発明の第9の実施形態に係る点検計画作成システムの走行経路算出部において自動運転地図を作成する方法を説明するための図であり、図22Aは実行難易度に基づく二値画像例、図22Bは二値画像に細線化アルゴリズムを一回適用後の画像例、図22Cは二値画像に細線化アルゴリズムを少なくとも二回適用後の画像例をそれぞれ示す模式図である。
本発明による点検計画作成システムは、点検対象の撮影の難易度と、経路の走行の難易度を評価することで、点検計画の実行可能性をユーザーが簡単に確認することができる。以下、本発明を実施するための形態の例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。
<第1の実施形態>
本発明の第1の実施形態に係る点検計画作成システムを、図1から図9を用いて説明する。
[自走式点検ロボットの概要]
図1は、本発明の第1の実施形態に係る点検計画作成システムと関連して動作する自走式点検ロボットの概要を説明するための模式図である。図1には、施設の一例として、発電所や変電所などの電力施設内を自律的に走行して点検対象5の設備(例えば、発電設備や変電設備類)の点検を実施する自走式点検ロボット1が示されている。
自走式点検ロボット1は、自己位置推定機能を有し、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)から得られる信号を受信して自己位置を推定しながら、走行機構19によって自律的に走行する。図1では、自走式点検ロボット1は、通路2内の走行経路3を走行しているが、走行経路3は通路2内とは限らない。
カメラ11は、自走式点検ロボット1が点検対象5の設備(例えば、架線、鉄塔、及び計器などを含む変電設備類)を点検するための要素であり、点検対象5を撮影することができる。カメラ11はいかなる種類のカメラであってもよく、例えば、撮影方向を制御可能なPTZ(Pan-Tilt-Zoom)カメラを例示することができる。
図2は、自走式点検ロボット1の動作を説明するための模式図である。自走式点検ロボット1は、予め定められた走行経路3を自律走行し、点検対象撮影箇所4(撮影地点)に到達する。そして、自走式点検ロボット1は、ロボット本体に設けられたカメラ11を用いて点検対象5に指定された設備を撮影し、設備の外観の異常及び計器の異常の有無を確認する点検を実施する。このように、自走式点検ロボット1は、従来人手で行っている電力施設内での点検を自動化し、省力化することができる。
[点検計画作成システムの構成]
図3は、第1の実施形態に係る点検計画作成システム20の構成例を示す図である。図示する点検計画作成システム20は、事前情報入力インターフェース(図中、事前情報入力IF)21、点検計画作成インターフェース(図中、点検計画作成IF)22、実行難易度評価部23、及び出力部24から構成される。実行難易度評価部23は、撮影難易度評価部231と、走行難易度評価部232とを有する。
(事前情報入力IF)
事前情報入力IF21は、自走式点検ロボット1を運用する施設の外観と路面の情報を含む施設情報と、複数の点検対象5の設置位置と、カメラ11の性能情報と、を含む事前情報を入力するための要素である。事前情報入力IF21により事前に入力される事前情報は、実行難易度評価部23へ供給される。
施設情報のうち施設の外観を表す情報としては、例えば、施設内の3次元地形(建築物や設備等の人工物を含んでもよい)を表現した点群データやメッシュデータ、もしくは図面データを例示できる。路面の情報としては、施設の外観を表す情報のうち、路面部分の各地点に対して、摩擦係数や、凹凸の評価値、又は路面材質のような、路面の特性を表すデータ(特性情報)を付加したものを例示できる。施設情報としてはその他、自走式点検ロボット1の走行及び点検の能力と関係のある任意の要素を含めることができる。
点検対象5の設置位置としては、施設内での点検対象5の3次元座標、又は、点検対象5の地球上での位置を表す緯度、経度、標高を例示できる。カメラ11の性能情報としては、例えば、カメラ11の画角や解像度、焦点距離、受光感度などの情報や、カメラ11の撮影方向の操作可能範囲とその分解能、操作精度などの撮影性能全般を想定できる。その他、自走式点検ロボット1及びカメラ11の性能のうち、点検対象5や周囲の物体に対する撮影結果に影響を及ぼす要素も、カメラ11の性能情報に任意に含めることができる。
事前情報入力IF21は、上記のような事前情報を入力することができればその実装方法は任意の形態をとることができる。施設の外観を表す情報については、例えば、3次元CAD(Computer Aided Design)ツールを用いて、ユーザーが施設の3次元形状をモデリング(3次元モデリングデータを作成)する構成としてもよい。もしくは、例えば、LiDAR(Light Detection and Ranging)センサとSLAM(Simultaneous Localization and Mapping)技術を用いて作成した3次元点群ファイルを読み込む構成としてもよい。また、施設の規模、又は撮影地点から点検対象5までの距離によっては、RGB-D(Red Green Blue-Depth)カメラで撮影された2次元画像に対応する3次元点群を用いてもよい。また、事前情報入力IF21が、ネットワークを介して、施設の外観を表す3次元メッシュデータを読み込む構成でもよい。
路面の情報については、例えば、施設情報をディスプレイ上に視覚的に表示した上で、ユーザーがマウス操作を用いて路面の情報を付加する地点を選択し、キーボード操作を用いてその路面の特性情報を入力する構成としてもよい。もしくは、例えば、施設内で自走式点検ロボット1を実際に走行させた際のログデータを解析し、走行時の駆動モータ(不図示)の負荷から路面摩擦係数などの路面特性を推定するソフトウェアを別途用意し、そのソフトウェアが出力した路面特性を受信する構成としてもよい。
点検対象の設置位置については、例えば、点検対象のIDと3次元座標、もしくは緯度、経度、標高を入力するためのGUI(Graphical User Interface)をディスプレイ上に表示し、マウス操作とキーボード操作を用いてユーザーが手入力する構成としてもよい。もしくは、例えば、対象物の3次元位置を計測することが可能な機器によって点検対象ごとに計測した3次元位置が、自動的に上記施設情報に埋め込まれるようにソフトウェアを構成してもよい。そのような3次元位置計測機器としては、トータルステーションや、衛星測位システム(GNSS:Global Navigation Satellite System)の測量機を例示できる。
カメラ11の性能情報については、例えば、性能情報を入力するためのGUIをディスプレイ上に表示し、マウス操作とキーボード操作を用いてユーザーが手入力する構成としてもよい。
(点検計画作成IF)
点検計画作成IF22は、ユーザーが点検計画を作成するための要素である。点検計画作成IF22で作成された点検計画は、実行難易度評価部23へ供給される。点検計画作成IF22は、ユーザーの意図どおりの点検計画を作成することができればその実装方法は任意の形態をとることができる。
点検計画作成IF22の実装例として、走行経路3の作成については、例えば、ディスプレイに上記施設情報を表示し、入力機器(後述する図6の入力装置35)を用いて、ディスプレイに表示された施設情報上で走行経路3を直接描画することができる構成としてもよい。入力機器には、マウスやトラックパッド、タッチパネルなどを用いることができる。点検対象撮影箇所4については、例えば、入力機器を用いてディスプレイ上で特定の地点及び対応する点検対象を選択することで設定できる構成としてもよい。
また、点検計画作成IF22の異なる実装例として、走行経路3の作成については、例えば、施設で実際に点検を実施した作業員の歩行履歴を、GNSSなどを用いて記録したデータや、施設の規定の点検経路を表すデータを読み込む構成としてもよい。点検対象撮影箇所4については、例えば、施設で実際に点検を実施した作業員が点検を行った地点の履歴を、GNSSなどを用いて記録したデータや、施設の規定の点検箇所を表すデータを読み込む構成としてもよい。
また、点検計画作成IF22の異なる実装例として、例えば、点検計画作成システム20に何らかの方法により自動で点検計画を作成する機能を設け、上記機能をユーザーが起動できるトリガーを設ける構成としてもよい。具体的には、例えば、「点検計画自動作成」と表示したボタンをディスプレイ上に表示し、ユーザーがボタンを押下することで、点検計画を自動で作成する処理が開始される構成としてもよい。自動で点検計画を作成する機能については、第8の実施形態において詳述する。
(実行難易度評価部)
実行難易度評価部23は、点検計画の実行難易度を評価するための要素であり、撮影難易度評価部231と、走行難易度評価部232とを備える。
撮影難易度評価部231は、点検対象ごとに、自走式点検ロボット1を運用する施設の任意の地点における撮影の難易度を評価するための要素である。撮影難易度とは、ある地点を点検対象撮影箇所4に設定した場合に、自走式点検ロボット1により自律的に撮影されると推測される画像が、点検に適したものであるかどうかを判断するための指標であり、様々な定義を適用できる。
走行難易度評価部232は、自走式点検ロボット1を運用する施設の任意の地点における走行の難易度を評価するための要素である。走行難易度とは、ある地点を通る走行経路を設定した場合に、自走式点検ロボット1が自律的に該当地点を走行することが可能かどうかを判断するための指標であり、様々な定義を適用できる。
実行難易度評価部23は、撮影難易度評価部231で評価された点検計画の撮影難易度と、走行難易度評価部232で評価された点検計画の走行難易度とに基づいて、点検計画の総合的な難しさを表す実行難易度を評価する。
(出力部)
出力部24は、作成した点検計画を表示するとともに、点検計画全体もしくはその一部について、実行難易度評価部23で評価された実行難易度を出力するための要素である。出力部24は、点検計画と実行難易度を出力することができれば、その実装方法は任意の形態をとることができる。以下、点検計画の実行難易度の表示例について図4及び図5を用いて説明する。
(第1の表示例)
図4は、第1の実施形態に係る点検計画の実行難易度の第1の表示例を示す図である。出力部24の実装例として、図4に示すように、ディスプレイに背景として施設情報(例えば、点検対象5、通路2など)を表示し、施設情報に重畳して走行経路3及び点検対象撮影箇所4を表示することで点検計画を表示する構成としてもよい。さらに、点検対象撮影箇所4や走行経路3をマウスなどの入力機器(図6の入力装置35)で選択すると、ポップアップ表示PUにより選択箇所における実行難易度が表示される構成としてもよい。図4には、マウスカーソルCで選択した位置の実行難易度が“XX”であることが示されている。このような実装形式にすることで、ユーザーは確認したい箇所の実行難易度を確認でき、より適切な点検計画を立てることができる。
(第2の表示例)
図5は、第1の実施形態に係る点検計画の実行難易度の第2の表示例を示す図である。出力部24の異なる実装例として、図5に示すように、上記と同様に点検計画を表示し、点検計画の各部位における実行難易度の高低に応じて、点検計画の表示色を変える構成としてもよい。図5には、走行経路3上にある金属製のグレーチング7aで表示色が濃くなっており、他の部分よりも相対的に実行難易度が高いことがわかる。図8において説明するが、金属製のグレーチング7aは通常の路面よりも走行難易度が高い。このように実装形式にすることで、ユーザーは実行難易度が高い部分を即座に視認でき、点検計画作業がより簡便になる。
ここで、実行難易度についてさらに詳細に説明する。
実行難易度は、点検計画の全体又は一部毎に、撮影難易度と走行難易度を引数にとる関数として定義される。具体的な定義は様々に考えられるが、例えば次式(1)のように定義できる。
D(L1,L2)=a1×∫Dd(l)dl+a2×ΣDs(i) ・・・(1)
D(L1,L2)は、点検計画に含まれる走行経路3において始端から距離L1(図1参照)にある地点から距離L2の地点に至る、部分的な経路における実行難易度である。a1及びa2は重み係数である。重み係数は予め実験又はシミュレーションにより決定した値である。
Dd(l)は始端から距離lの地点における走行難易度であり、積分記号∫は変数lについて「l=L1」から「l=L2」までの部分積分を行うものとする。なお、これ以降、Dd(l)をDdと略記する場合がある。このとき、Ddは特定の地点における走行難易度を示すものとする。
また、距離L1の地点から距離L2の地点に至る部分的な経路の中に含まれる点検対象撮影箇所4の総数をNsとする。点検対象撮影箇所4のうちi箇所目の点検対象撮影箇所4における撮影難易度をDs(i)とし、総和記号Σはiについての総和を取るものとする。なお、これ以降、Ds(i)をDsと略記する場合がある。このとき、Dsは特定の点検対象撮影箇所4における撮影難易度を示すものとする。
以上のように点検計画の実行難易度を定義することで、点検計画に含まれる走行経路3の任意の部分における総合的な難易度を評価することができる。ただし、本実施形態では、実行難易度の具体的な定義の一例を開示したが、実行難易度の定義はこれに限定されない。また、実行難易度は必ずしも撮影難易度と走行難易度の両方を用いて算出する必要はなく、どちらか片方のみを用いて算出してもよい。例えば、撮影難易度をそのまま実行難易度としてもよく、走行難易度についても同様である。
[点検計画作成システムのハードウェア構成]
次に、点検計画作成システム20のハードウェアの構成について図6を参照して説明する。ここでは、点検計画作成システム20が備える計算機のハードウェアの構成例を説明する。
図6は、点検計画作成システム20が備える計算機のハードウェア構成例を示すブロック図である。図示する計算機30は、点検計画作成システム20で使用されるコンピューターとして用いられるハードウェアである。計算機30には、例えばパーソナルコンピュータ(PC)を用いることができる。計算機30は、システムバスにそれぞれ接続されたCPU(Central Processing Unit)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33を備える。さらに、計算機30は、表示装置34、入力装置35、不揮発性ストレージ36、及び通信インターフェース37を備える。
CPU31は、本実施形態に係る点検計画作成システム20の各機能を実現するソフトウェアのプログラムコードをROM32から読み出し、RAM33に展開して実行する。ROM32は、不揮発性メモリ(記録媒体)の一例として用いられる。ROM32には、OS(Operating System)、各種のパラメーター、点検計画作成システム20を機能させるためのプログラム等が記録される。RAM33には、CPU31の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれる。計算機30は、CPU31の代わりに、MPU(Micro Processing Unit)等の他の演算処理装置を備えてもよい。
表示装置34は、例えば、液晶ディスプレイなどのモニタであり、GUI画面やCPU31で行われた処理の結果等を表示する。入力装置35には、例えば、マウス、キーボードなどが用いられ、ユーザーは入力装置35を操作して情報や指示を入力することが可能である。表示装置34と入力装置35とは、タッチパネルとして一体に構成されてもよい。表示装置34及び入力装置35は、事前情報入力IF21及び点検計画作成IF22として機能することができる。
なお、点検計画作成システム20がウェブアプリケーションサーバとして構成され、当該ウェブアプリケーションサーバが点検計画作成機能を提供する場合、計算機30は、表示装置34及び入力装置35を備えなくてもよい。この場合、ユーザーが使用する図示しないノートPCやタブレット端末等を介して、点検計画作成システム20に対する情報や指示の入力及び出力が行われる。
不揮発性ストレージ36は、記録媒体の一例であり、プログラムが使用するデータやプログラムを実行して得られたデータなどを保存することが可能である。不揮発性ストレージ36に、OSや、CPU31が実行するプログラムを記録してもよい。例えば、不揮発性ストレージ36には、事前情報、及び作成された点検計画のデータが保存される。不揮発性ストレージ36としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気や光を利用するディスク装置、又は半導体メモリカード等が用いられる。なお、プログラムは、ローカルエリアネットワーク(LAN)、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して点検計画作成システム20に提供されてもよい。
通信インターフェース37には、例えばNIC(Network Interface Card)等が用いられる。通信インターフェース37は、端子が接続されたLAN等の通信ネットワーク又は専用線等を介して、外部装置との間で各種のデータを送受信することが可能に構成されている。通信インターフェース37は、点検計画作成システム20がネットワークを介して外部から情報を受信する場合に、事前情報入力IF21及び点検計画作成IF22として機能する。
[撮影難度の算出方法]
次に、本発明の第1の実施形態に係る点検計画作成システム20における撮影難易度の算出方法について図7を用いて説明する。
図7は、第1の実施形態に係る点検計画作成システム20における撮影難易度の算出方法を説明するための模式図である。実行難易度評価部23の撮影難易度評価部231(図3参照)は、カメラ11の点検対象5の正対位置からのずれ量(角度)である正対誤差θを用いて、撮影難易度を次式(2)のように評価する。ここで、Dsは前述のとおり撮影難易度を示し、b1は重み係数である。
Ds=b1×θ ・・・(2)
正対誤差θは、点検対象5表面(例えば正面)の一点鎖線で示す法線ベクトル6aと、点検対象撮影箇所4に自走式点検ロボット1が停止した場合のカメラ11の位置から点検対象5の中心に向かって延ばしたベクトル6b(破線)とのなす角度として定義される。変電設備に多く使用されるメータである円形アナログメータでは、文字盤から若干浮いた位置に針が設置されていることが多く、正面から確認しなければ正しく計測値を読み取ることができない。すなわち、正対誤差θが大きいほど撮影難易度Dsが高いため、(2)式を用いて撮影難易度Dsを評価することができる。
[走行難度の算出方法]
図8は、第1の実施形態に係る点検計画作成システム20における走行難易度の算出方法を説明するための模式図である。図8の白抜きの部分はアスファルトやコンクリート(以下、「アスファルト」等と称す)等の路面を示している。排水溝などに用いられる格子状のグレーチング7a(1),7a(2)は、一般的に金属製であり、アスファルトやコンクリートと比較して摩擦係数が小さい。このため、自走式点検ロボット1の走行機構19(例えばタイヤ)の接地部がスリップしやすく、走行制御精度が低下しやすい。砂利7bは、自走式点検ロボット1の走行時に砂利が転がることにより、グレーチングよりもさらに実質的な摩擦係数が小さい。このため、砂利7bでは、グレーチング7a(1),7a(2)以上に走行制御精度が低下しやすい。
このような場合、図8中に示すように、グレーチング7a(1),7a(2)や砂利7b上を避け、極力アスファルト等の路面を選択することで、自走式点検ロボット1が精度よく走行経路3上を走行することができる。ただし、自走式点検ロボット1がグレーチング7a(1),7a(2)と砂利7bのいずれかを走行せざるを得ないときは、より摩擦係数の大きいグレーチング7a(1),7a(2)上を走行することが望ましい。
図8では、点検計画として、点検対象5(1),5(2)のそれぞれに対する点検対象撮影箇所4(1),4(2)が設定された走行経路3が示されている。この走行経路3は、自走式点検ロボット1が砂利7bを避けてグレーチング7a(2)上を走行する経路である。
このように、路面の摩擦係数は走行制御精度に影響を与えるため、走行難易度の評価指標として適切である。具体的には、例えば、次式(3)を用いて走行難易度を評価できる。ここで、Ddは前述のとおり走行難易度、c1は重み係数、μは路面の摩擦係数である。摩擦係数μは、施設情報の一部として、入力済みであるものとする。
Dd=c1/μ ・・・(3)
走行難易度評価部232が、(3)式を用いて走行難易度Ddを評価することによって、スリップしやすい低摩擦路面で走行難易度Ddが高く評価されるので、走行制御の難易度を評価することができる。
なお、路面の各所の摩擦係数μを事前に登録するのが手間である場合は、代わりに、路面の材質を登録する構成としてもよい。例えば、アスファルト、金属、砂利、土、それ以外といった選択肢を用意し、ユーザーが選択した箇所の材質を登録できるようにしてもよい。この場合、各材質の摩擦係数を点検計画作成システム20内に規定値として埋め込んでおけば、ユーザーが摩擦係数を直接入力しなくとも、(3)式を用いて走行難易度Ddを評価することができる。
以上説明したように、第1の実施形態に係る点検計画作成システム20は、自走式点検ロボット1を運用する施設の外観と、路面の情報とを含む施設情報と、複数の点検対象5の設置位置と、カメラ11の撮影性能とを含む事前情報とを、ユーザーが入力操作可能な事前情報入力IF21と、点検計画をユーザーが作成操作可能な点検計画作成IF22と、を備える。また、点検計画作成システム20は、施設情報、点検対象5の設置位置、撮影性能を基に、複数の点検対象5の設置位置のそれぞれについて、走行経路3上の任意地点における撮影難易度を評価する撮影難易度評価部231と、施設情報、点検対象5の設置位置、撮影性能を基に、走行経路3上の任意地点における走行難易度を評価する走行難易度評価部232と、点検計画を出力するとともに、点検計画の一部又は全部において、撮影難易度と走行難易度を用いて算出された総合的な難易度である実行難易度を出力する出力部24と、を備える。
上記のように構成された第1の実施形態に係る点検計画作成システム20は、撮影難易度と走行難易度の評価値を用いて点検計画の実行難易度を総合的に評価し、これを視覚的に表示する。これにより、ユーザーは、点検計画が実行可能かどうかを簡単に確認できる。それゆえ、ユーザーの点検計画作成にかかる作業負担を低減することができる。
<第2の実施形態>
次に、本発明の第2の実施形態に係る点検計画作成システム20について図9及び図10を用いて説明する。第2の実施形態に係る点検計画作成システム20の基本構成は、第1の実施形態に係る点検計画作成システム20(図3参照)と同じである。以下では、本実施形態に係る点検計画作成システム20について、第1の実施形態に係る点検計画作成システム20と異なる点を主に説明する。
第1の実施形態に係る点検計画作成システム20では、撮影難易度の具体的な定義と算出方法の一例を示した。しかし、撮影難易度は他にも複数の方法で定義することができ、さらに複数の定義を併用することで、より実態に即した難易度の評価が可能になる。本実施形態では、撮影難易度の異なる定義及び算出方法を開示する。
図9は、第2の実施形態に係る点検計画作成システム20において撮影難易度評価部231(図3参照)が撮影難易度を算出する方法を説明するための図である。図9Aは撮影シーンの模式図、図9Bは当該撮影シーンの撮影画像の模式図である。
ここで、図9Aに示すとおり、自走式点検ロボット1と点検対象5の間に障害物8がある撮影シーンを想定する。図9Bは、このときにカメラ11で得られる撮影画像Imを示しており、撮影画像Im中に障害物8が映り込んでいる。自走式点検ロボット1は制御誤差等の影響で点検対象撮影箇所4に精度よく停止できない場合が存在するが、このような場合、撮影画像Im中の障害物8が点検対象5を隠してしまう可能性がある。したがって、撮影画像Im中の障害物8の映り込みは少ないことが望ましい。
本実施形態では、撮影画像Im中の障害物8の映り込みを評価する方法を2つ例示して説明する。なお、映り込みの評価方法はこれらに限定されず、任意の方法を用いることができる。
(第1の評価方法)
一つ目の評価方法では、施設情報として3次元CADツールなどを用いて作成した3次元モデリングデータ(仮想の写実的な映像を表すデータ)を使用することを想定する。3次元モデリングデータを利用すると、図9Aに示すような自走式点検ロボット1、点検対象5、及び障害物8を仮想空間上に配置することができる。このとき、事前情報入力IF21(図3参照)で入力したカメラ11の性能情報(画角、解像度など)を考慮することで、図9Bに示すような撮影画像Imを仮想空間上で仮想的に撮影することができる。例えば、画角は画像の大きさ、解像度は画像を構成するピクセルの大小に影響する。仮想的な撮影画像は、画像を構成するピクセルごとに、3次元モデリングデータとの対応を取ることで3次元位置を求めることができるので、カメラ11から各ピクセルに映っている物体までの距離を算出することができる。
図10は、第2の実施形態に係る撮影難易度評価部231が生成する、各ピクセルに自走式点検ロボット1のカメラ11から物体までの距離を付加した仮想的な撮影画像を示す模式図である。図10において、小さい一つの四角形が一つのピクセルを表しており、i行j列目のピクセルをpijと表す。各ピクセルに映っている物体までの距離の大小に応じて、網掛けの濃度を変更している。図10には、仮想的な撮影画像Imvに点検対象5と障害物8が含まれ、点検対象5の領域に網掛けH1、障害物8の領域に網掛けH2が表示された例が示されている。図10では説明のために、距離大が網掛けなし、距離中が薄い網掛けH1、距離小が濃い網掛けH2と、3段階で描画しているが、実際には、距離に応じた連続値(ポテンシャル場)を取る。ピクセルpijに付加された距離をdijとする。なお、物体の境界を写したピクセルについては、1ピクセルの間に手前の物体と奥の物体が映り込む場合があるが、このような場合は、1ピクセル中に映り込んでいる全ての物体までの距離の平均値を取ればよい。
図10に示すような、距離を付加した仮想的な撮影画像Imvが得られると、仮想的な撮影画像Imv内の映り込みの量を次式(4)のように評価できる。ここで、Gは映り込みの評価値とし、pmは点検対象5の中心を写したピクセルとし、関数dist(pk,pl)はピクセルpkとピクセルplとの間の画像上の距離とし、総和記号Σはiとjについての総和を取るものとする。ここでは、pkにpij、plにpmが適用される。
G=Σ(dist(pij,pm)×dij) ・・・(4)
(4)式を用いて映り込みの評価値Gを計算することで、画像に映り込んだ物体の画像中の面積を、点検対象5の中心までの距離で重みづけした値が得られる。映り込みの評価値Gが大きい場合、画像中の点検対象5が遮へいされる可能性が高くなる。したがって、撮影難易度Dsを、例えば、次式(5)のように算出できる。b2は重み係数である。
Ds=b2×G ・・・(5)
このように、第1の評価方法では、少なくとも、施設情報は、施設の外観を表す3次元モデリングデータを含み、カメラ11の性能情報は、カメラ11の画角の情報を含む。そして、撮影難易度評価部231は、点検対象撮影箇所4から撮影されると推測されるカメラ画像を、3次元モデリングデータとカメラ11の画角を用いて作成し、カメラ画像における、点検対象5以外の物体が映り込んだ画素の量によって撮影難易度を評価するように構成される。
(第2の評価方法)
図11は、第2の実施形態に係る撮影難易度評価部231が生成する、カメラ11の画角の範囲内に収まる仮想的な点群を示す模式図である。
2つ目の評価方法では、施設情報として3次元点群データを使用することを想定する。前述の3次元モデリングデータを用いる場合と同様に、図9Aに示した自走式点検ロボット1、点検対象5、障害物8、及び3次元点群データを仮想空間上に配置することができる。事前情報入力IF21で入力したカメラ11の性能情報を考慮し、カメラ11の画角の範囲Imp内に収まる点群を、図11に示すように算出することができる。ただし、路面を示す点群、及び点検対象5を示す点群より奥にある点群は、除去するものとする。
路面を示す点群の除去には、例えば、RANSAC(RANdom SAmple Consensus)を用いた平面推定アルゴリズムなどを用いることができる。点検対象5より奥にある点群の除去は、点検対象撮影箇所4から各点までの距離を計算し、点検対象撮影箇所4から点検対象5までの距離の方が小さくなる点を除去することで実行できる。
算出した点群の各点をci(0<i<n)とする。nは算出した点群に含まれる点ciの総数である。このとき、物体の映り込みの量を次式(6)で評価できる。ここで、diは点検対象撮影箇所4から点ciまでの距離、dmは点検対象撮影箇所4から点検対象5までの距離、総和記号Σはiについての総和を取るものとする。例えば、点検対象撮影箇所4から点検対象5までの距離dmは、点検対象撮影箇所4から点検対象5上の複数の点ciまでの距離の平均値、又は、点検対象撮影箇所4から点検対象5上の特定の点ci(例えば、重心)までの距離である。
G=Σ(dm-di) ・・・(6)
(6)式を用いて映り込みの評価値Gを計算することで、カメラ11の画角の範囲Imp内に収まる点群のうち、点検対象5より手前にある点ciの点数を、点検対象撮影箇所4への近さで重みづけした値が得られる。映り込みの評価値Gが大きい場合、画像中の点検対象5が障害物8で遮へいされる可能性が高くなる。したがって、前述の方法と同様に、撮影難易度評価部231は、式(6)で得られた映り込みの評価値Gを(5)式に用いて、撮影難易度Dsを算出できる。
このように、第2の評価方法では、少なくとも、施設情報は、施設の外観を表す3次元点群データを含み、カメラ11の性能情報は、カメラ11の画角の情報を含む。そして、撮影難易度評価部231は、点検対象撮影箇所4に自走式点検ロボット1が停止し、カメラ11を点検対象5に向けた場合に、画角内に収まる3次元点群のうち、点検対象5よりも手前にある3次元点群の量によって撮影難易度を評価するように構成される。
以上説明したように、第2の実施形態に係る点検計画作成システム20では、点検対象5の画像を撮影する際、他の物体がどの程度映り込むかを評価するので、自走式点検ロボット1の停止時の位置誤差によって、画像中の点検対象5が遮へいされるリスクがどの程度あるかを容易に確認することができる。
<第3の実施形態>
次に、本発明の第3の実施形態に係る点検計画作成システム20について図12を用いて説明する。以下では、第2の実施形態に係る点検計画作成システム20について、第1の実施形態及び第2の実施形態による点検計画作成システム20と異なる点を主に説明する。
第1の実施形態及び第2の実施形による点検計画作成システム20では、撮影難易度の具体的な定義と算出方法を複数例示した。本実施形態では、撮影難易度の異なる定義、算出方法を開示する。
図12は、本発明の第3の実施形態に係る点検計画作成システム20において撮影難易度評価部231(図3参照)が撮影難易度を算出する方法を説明するための図である。図12Aは参照画像の模式図、図12Bは撮影画像の模式図である。
自走式点検ロボット1は、第2の実施形態で述べたように、点検対象撮影箇所4に停止する際、停止位置に誤差を伴う場合がある。このとき、カメラ11の撮影画像中の所望の位置に点検対象5を撮影できない場合がある。例えば、撮影画像の中央に点検対象5が位置する図12Aのような画像(参照画像Im1)を撮影する必要がある場合であっても、図12Bに示すような画像(撮影画像Im2)が撮影されてしまう場合がある。
このような場合に対処するために、予め図12Aに示すような理想的な撮影画像を、参照画像Im1として事前に用意し、特徴点マッチング技術のような画像同士のマッチングを取る技術を用いて、実際の撮影画像Im2と参照画像Im1とのずれ量を見積もる。そして、画像のずれ量の見積もり結果を利用することで、点検対象5が撮影画像の所望の位置に写るように自走式点検ロボット1の停止位置を補正することが可能である。
なお、この場合、参照画像Im1は予め作業員が現地の施設で撮影することにより用意してもよいし、施設情報として、施設の外観を表す3次元モデリングデータが利用できる場合であれば、カメラ11の性能情報(例えば画角)を用いて仮想空間上で仮想的に点検対象5の画像を撮影することで用意してもよい。後者の場合、参照画像Im1を作成し、自走式点検ロボット1又は点検計画作成システム20が利用可能な形式でデータを保持させるのに適したユーザーインターフェースを、点検計画作成システム20に追加してもよい。
上記のような画像のずれ量の補正を行う場合、参照画像が画像同士のマッチングを行う上で適切な画像であることが求められる。具体的には、参照画像中に画像的な特徴が豊富に存在していることが求められる。
そこで、本実施形態に係る撮影難易度評価部231は、撮影難易度を、参照画像中の画像的な特徴の量によって評価する。具体的には、例えば、撮影難易度評価部231は、SIFT(Scale Invariant Feature Transform)、SURF(Speeded-up Robust Features)、又はAKAZE(Accelerated KAZE)特徴量のいずれかに付随する画像特徴点の計算を伴う特徴量計算を行い、計算された特徴点の数nfを用いて、次式(7)のように撮影難易度Dsを評価する。b3は重み係数である。
Ds=b3/nf ・・・(7)
(7)式によれば、参照画像の特徴点の数nfが多いほど撮影難易度Dsが低く評価される。そのため、参照画像の特徴点の数の多少、すなわち参照画像が停止位置の補正に適しているかどうかで撮影難易度Dsを評価することができる。
以上説明したように、第3の実施形態に係る点検計画作成システム20は、参照画像中の特徴量(例えば、特徴点の数)によって撮影難易度を評価するので、自走式点検ロボット1の停止位置誤差の影響を補正することが困難かどうかを容易に確認することができる。
<第4の実施形態>
次に、本発明の第4の実施形態に係る点検計画作成システム20について図13を用いて説明する。以下では、第4実施形態に係る点検計画作成システム20について、第1~第3の実施形態による点検計画作成システム20と異なる点を主に説明する。
第1~第3の実施形態による点検計画作成システム20では、撮影難易度の具体的な定義と算出方法を複数例示した。本実施形態では、撮影難易度の異なる定義、算出方法を開示する。
自走式点検ロボット1は、点検対象5の画像をカメラ11で撮影することにより点検を実施するため、撮影された画像は明瞭であることが求められる。このとき、照明や太陽などの光源が画像中に映り込むことで、画像のホワイトバランスが悪化し、画像の明瞭さが失われる場合がある。本実施形態に係る撮影難易度評価部231(図3参照)は、照明や太陽など光源の映り込みにより、画像の明瞭さが失われるリスクを撮影難易度として評価する。
図13は、照明や太陽などの映り込みにより画像の明瞭さが失われるリスクを撮影難易度として評価する方法を説明するための模式図である。図13に示すとおり、点検対象5の付近に照明9が存在する場合を想定する。このとき、点検対象撮影箇所4に停止した自走式点検ロボット1のカメラ11から、点検対象5へ向かうベクトルと、照明9へ向かうベクトルをそれぞれ計算し、両ベクトルによってなす角度αを計算する。照明9の設置位置は施設情報の一部として事前に入力済みであるとする。このとき、撮影難易度Dsを次式(8)で算出できる。
Ds=b4/α ・・・(8)
(8)式で算出した撮影難易度Dsは、角度αが小さいほど大きな値を取る。すなわち、カメラ11から見て、点検対象5と照明9が近いほど、撮影難易度Dsが高く評価される。これにより、照明9の影響で自走式点検ロボット1が取得する画像の明瞭さが失われそうな場合に、撮影難易度Dsを高く評価することができる。
照明9の代わりに、太陽の影響を評価する際も、前述した方法と同一の方法で評価することができる。ただし、太陽の位置は時間帯によって変化するので、カメラ11から太陽へ向かうベクトルを計算するには、点検を実施する時刻の情報が必要である。したがって、太陽の影響を評価する際は、点検計画が点検を実施する時刻の情報を含んでいるものとする。
以上説明したように、第4の実施形態に係る点検計画作成システム20では、撮影難易度評価部231は、点検対象撮影箇所4から照明9や太陽などの光源に向かうベクトルと、点検対象撮影箇所4から点検対象5に向かうベクトルとのなす角度αによって撮影難易度を評価するように構成されている。このように、光源(光)の映り込みを基に撮影難易度を評価することで、光源によって画像の明瞭さが失われるリスクの大きさを容易に確認することができる。
なお、本発明による点検計画作成システム20では、撮影難易度を評価する際、第1~第4の実施形態で例示したような撮影難易度の算出方法を組み合わせてもよい。具体的には、例えば、これまで例示した複数の撮影難易度の評価方法によって算出した値の重みづけ和を用いて撮影難易度を評価してもよい。
<第5の実施形態>
次に、本発明の第5の実施形態に係る点検計画作成システム20について図14を用いて説明する。以下では、第5の実施形態に係る点検計画作成システム20について、第1~第4の実施形態による点検計画作成システム20と異なる点を主に説明する。
第1の実施形態に係る点検計画作成システム20では、走行難易度の具体的な定義と算出方法を一つ例示した。しかし、走行難易度は他にも複数の方法で定義でき、さらに複数の方法の定義を併用することで、より実態に即した走行難易度の評価が可能になる。本実施形態では、走行難易度の異なる定義、算出方法を開示する。
自走式点検ロボット1は、走行制御の精度によっては、走行経路3からある程度逸脱しながら走行を行う場合がある。このとき、自走式点検ロボット1の近傍に障害物があれば、自走式点検ロボット1が障害物に衝突するリスクがある。あるいは、自走式点検ロボット1の近傍に溝があれば、自走式点検ロボット1が溝に転落するリスクがある。そこで、これらのリスクを走行難易度として評価することができれば、安全性の確認において有用である。
図14は、本発明の第5の実施形態に係る走行難易度評価部232(図3参照)において、障害物への衝突リスクを走行難易度として評価する方法を説明するための模式図である。図14において、路面のうち走行難易度が低い部分を白抜き(領域Ad0)、走行難易度が中程度の部分を薄い網掛け(領域Ad1)、走行難易度が高い部分を濃い網掛け(領域Ad2)で示している。走行難易度が高い領域Ad2は、障害物8と領域Ad1の間に位置し、障害物8に最も近い。図14では説明のために走行難易度を3段階で表示したが、実際には連続値(ポテンシャル場)を取ることができる。
図14に示すように、障害物8の周辺では走行難易度を高く、障害物8から遠ざかるにつれて走行難易度を低く評価することで、自走式点検ロボット1が障害物8に衝突するリスクを評価できる。具体的には、走行難易度Ddを次式(9)で算出する。ここで、関数mindist(x,y,θ)は、地点(x,y,θ)に存在する自走式点検ロボット1の外形表面から周囲に存在する障害物8の外形表面までの最短距離を出力する関数である。θは、自走式点検ロボット1の姿勢(例えば、路面に対する傾き)を表す。また、事前情報の一部として、自走式点検ロボット1の外形情報が入力済みであるとする。
Dd=c2/mindist(x,y,θ) ・・・(9)
式(9)を用いて走行難易度Ddを算出することで、任意地点に存在する自走式点検ロボット1の周囲の障害物8への衝突しやすさを評価することができる。また、溝15についても溝15の外形情報を用いることで、全く同様に、式(9)を用いて走行難易度Ddを算出することができる。
以上説明したように、第5の実施形態に係る点検計画作成システム20では、事前情報は、自走式点検ロボット1の外形の情報を含み、走行難易度評価部232は、路面上の任意地点に自走式点検ロボット1を配置した場合の、自走式点検ロボット1の外形から自走式点検ロボット1の周辺に存在する物体又は溝までの距離を算出し、算出した距離によって走行難易度を評価するように構成されている。
上記のように構成された第5の実施形態に係る点検計画作成システム20は、障害物8への衝突、及び溝15への転落リスクを走行難易度として評価できる。これにより、点検計画の安全性を容易に確認することができる。
<第6の実施形態>
次に、本発明の第6の実施形態に係る点検計画作成システム20について図15から図17を用いて説明する。以下では、本実施形態に係る点検計画作成システム20について、第1~第5の実施形態による点検計画作成システム20と異なる点を主に説明する。
第1~第5の実施形態による点検計画作成システム20では、走行難易度の具体的な定義と算出方法を複数例示した。本実施形態では、走行難易度の異なる定義、算出方法を開示する。
自走式点検ロボット1は、走行経路3に沿って自律走行を行う。この際、GNSSやSLAM技術を用いて、自走式点検ロボット1自身の位置である自己位置を推定し、走行経路3からの偏差に対してフィードバック制御をかけることで自律走行を実現する構成が一般的である。自己位置推定の精度が悪化すると、自走式点検ロボット1は走行経路3に精度よく追従することや、点検対象撮影箇所4に精度よく停止することができないので、安全上の問題や、点検品質の劣化の問題が生じる。そこで、自己位置推定の精度が悪化する可能性を走行難易度として評価することができれば、前述の問題を解決する上で有用である。
自走式点検ロボット1に使用できる自己位置推定の方式は複数存在するので、それらの方式ごとに、走行難易度の評価方法として適切な方法が複数考えられる。本実施形態では、自己位置推定の方式としてGNSS、LiDARを用いたSLAM技術、カメラを用いたSLAM技術を用いた場合のそれぞれについて有用な、走行難易度の評価方法を一例ずつ開示する。
[衛星測位システムを用いた場合]
図15は、本発明の第6の実施形態に係る走行難易度評価部232(図3参照)において、自己位置推定の方式としてGNSSを用いた場合の、走行難易度の算出方法を説明するための模式図である。図15では、施設内に障害物8が存在することを想定し、各障害物8の高さhi(0<i<n)が施設情報として利用可能なことを想定する。ここで、nは施設内の障害物8の総数である。高さhiの情報(標高情報の一例)は、事前情報入力IF21によりユーザーが直接入力してもよいし、施設情報に含まれる3次元メッシュデータや3次元点群データなどから点検計画作成システム20内で自動的に算出する構成としてもよい。
図15に示すように、本実施形態は、障害物8の周辺では走行難易度を高く、遠ざかるにつれて走行難易度を低く評価する点は第5の実施形態と同様だが、障害物8の高さhiを走行難易度に反映している点が第5の実施形態との違いである。すなわち、障害物8の高さhiが高いほど、走行難易度を高く評価する領域を広く設定している。具体的には、走行難易度Ddを次式(10)で算出する。ここで、iはmindist(x,y,θ)関数内で使用された自走式点検ロボット1に最も近い障害物8を表すインデックスである。c3は重み係数である。
Dd=hi×c3/mindist(x,y,θ) ・・・(10)
GNSSの性能は、高い障害物8によって衛星からの電波が遮断されたり、障害物8の壁面を経由したマルチパスが存在したりする場合に悪化する。このため、(10)式のように、自走式点検ロボット1の障害物8への近さを障害物8の高さで重みづけした値で走行難易度Ddを定義することで、GNSSの性能悪化のリスクを評価することができる。
図15では、自走式点検ロボット1の左側に図14の障害物8よりも高い障害物8´が存在する。この障害物8´の周辺では、図14の場合と比べて、走行難易度が高い濃い網掛けの領域Ad2が領域Ad2´に拡大し、走行難易度が中程度の薄い網掛けの領域Ad1が領域Ad1´に拡大している。そして、走行難易度が低い白抜きの領域Ad0が領域AD0´に縮小している。その結果、自走式点検ロボット1の走行経路が、走行難易度が中程度の領域Ad1´にかかっている。したがって、例えば、ユーザーは、図15に示す自走式点検ロボット1の走行経路(より正確には走行機構19)と走行難易度が形成する領域との位置関係を確認し、走行難易度が中程度の領域Ad1´を回避した走行経路を設定するか、中程度の走行難易度を許容して走行経路を設定するか、を選択する。
(変形例)
なお、本実施形態に係る変形例として、施設情報の標高情報に、溝15の深さdpが含まれてもよい。溝15が浅ければ自走式点検ロボット1は溝15の上を走行できるが、溝15が深い場合には自走式点検ロボット1は溝15の上を走行できない。走行難易度評価部232は、(10)式の“hi”を“dp”に置き換えて、溝15の周辺における走行難易度を評価する。なお、溝15の深さdpに基づいて走行難易度を評価する場合、自走式点検ロボット1の姿勢θを省略してもよい。なお、溝15の深さに加えて、溝15の幅を考慮してもよい。例えば、溝15が深い場合であっても、溝15の幅が走行機構19と比べて相対的に狭い場合には、自走式点検ロボット1は溝15の上を比較的容易に走行できる。
このように、本実施形態において、施設情報は、施設内の物体の高さを示す標高情報を含んでもよい。また、標高情報に、施設内の溝の深さを含んでもよい。走行難易度評価部232は、標高情報に基づいて走行難易度を評価する。
[LiDARによるSLAM技術を用いた場合]
図16は、本発明の第6の実施形態に係る走行難易度評価部232(図3参照)において、自己位置推定の方式としてLiDARによるSLAM技術を用いた場合の、走行難易度の算出方法を説明するための図である。図16Aは撮影シーンの模式図、図16Bは仮想点群から平面及び法線ベクトルを抽出する方法の概要を示した模式図である。自走式点検ロボット1は、LiDARセンサ12を備えるものとする。
図16Aに示すとおり、LiDARセンサ12は自走式点検ロボット1の周囲に放射状にレーザーLaを照射し、レーザーLaが物体で反射して戻るまでの時間を計測することで、自走式点検ロボット1から反射点までの距離を計測する。これにより、反射点の自走式点検ロボット1に対する相対的な3次元位置を取得できるので、3次元点群を得ることができる。特定の地点に自走式点検ロボット1が存在している場合に、LiDARセンサ12から性能情報(例えば、照射範囲(画角)、照射ポイントの分解能など)に応じて得られると推測される3次元点群として、施設情報を用いて仮想的に生成した点群である仮想点群を考え、その仮想点群の各点をci(0<i<n)と表す。ここで、nは点群に含まれる点ciの総数である。
図16Bに示すように、既述のRANSACなどの平面推定アルゴリズムを用いることで、仮想点群から物体の平面を抽出することができる。各平面の法線ベクトル10から、各平面の面積で重みづけしたベクトルである重み付き法線ベクトルを計算する。
典型的なLiDARによるSLAM技術では、異なる場所から取得した3次元点群同士をマッチングする処理を行うため、3次元点群内にマッチングを行うための特徴が豊富に含まれていることが望ましい。具体的な特徴は様々存在するが、典型的な例の一つは、3次元点群の中に異なる方向を向いた平面が複数種類含まれていることである。
そこで、例えば、次式(11)のように走行難易度Ddを定義することで、仮想点群に含まれる異なる方向を向いた平面の量を評価することができる。ここで、w1、w3はそれぞれ、抽出した全ての平面における重み付き法線ベクトルの第一主成分、第三主成分である。c4は重み係数である。主成分分析について詳細な説明は省略するが、第一主成分、第二主成分、及び第三主成分はそれぞれ直交する。第一主成分と第三主成分の関係がわかれば、第一~第三主成分の全体の関係がおおよそわかる。
Dd=c4×(1-w3/w1) ・・・(11)
第一主成分w1が第三主成分w3よりも著しく大きい場合、抽出した全ての平面がほぼ同じ方向を向いていることを意味する。このとき、(11)式は最大の値を取る。一方、第一主成分w1が第三主成分w3に近い場合、様々な方向を向いた平面が混在していることを意味する。このとき、(11)式は最少の値を取る。したがって、(11)式を用いて走行難易度Ddを評価することで、特定の地点がLiDARによるSLAM技術に適した環境かどうかを評価することができる。
このように、本実施形態において、事前情報は、自走式点検ロボット1に搭載されるLiDARセンサ12の性能を示すLiDAR性能情報を含んでもよい。そして、点検計画作成システム20は、LiDAR性能情報と施設情報を基に、任意地点にLiDARセンサ12(自走式点検ロボット1)を配置した場合に取得されると推測される点群である仮想点群を生成する仮想点群生成部(図示略)を、走行難易度評価部232又は実行難易度評価部23内に備える構成としてもよい。走行難易度評価部232は、上記の仮想点群を用いて走行難易度を評価する。
[カメラによるSLAM技術を用いた場合]
図17は、本発明の第6の実施形態に係る走行難易度評価部232(図3参照)において、自己位置推定の方式としてカメラによるSLAM技術を用いた場合の、走行難易度の算出方法を説明するための図である。図17Aは撮影シーンの模式図、図17Bは撮影画像の模式図である。図17Aに示す撮影シーンにおいて、カメラ11によって撮影されると推測される画像である仮想画像を図17Bに示している。
仮想画像は、第2の実施形態において図10を用いて説明した方法と同様に、カメラ11の性能情報(画角、解像度など)と施設情報を用いて生成する。図17Aでは自走式点検ロボット1の前方右側に障害物8a、前方左側に障害物8bが存在する例が示されており、図17Bに示す仮想画像に、障害物8a及び障害物8bが映り込んでいる。
典型的なカメラを用いたSLAM技術では、異なる位置から撮影した画像同士をマッチングによって対応づけ、差分を評価する。自走式点検ロボット1は、その評価の結果を利用して自己位置の推定を行う。このため、画像内にマッチングに適した特徴が豊富に含まれることが求められる。具体的な特徴は様々存在するが、典型的な例の一つは、SIFTやSURF、AKAZE特徴量のような特徴量(特徴点)である。そこで、第3の実施形態における式(7)と同様にして、次式(12)で走行難易度Ddを評価できる。nfは計算された特徴点の数である。c5は重み係数である。
Dd=c5/nf ・・・(12)
(12)式を用いて走行難易度Ddを評価することで、特定の地点から撮影されると推測される画像である仮想画像が、SLAMに適したものであるかどうかを評価できるので、その地点におけるSLAMの難易度を評価することができる。
このように、本実施形態において、点検計画作成システム20は、カメラ11の性能情報と施設情報を基に、任意地点にカメラ11(自走式点検ロボット1)を配置した場合に取得されると推測される画像である仮想画像を生成する仮想画像生成部(図示略)を、走行難易度評価部232又は実行難易度評価部23内に備える構成としてもよい。走行難易度評価部232は、上記の仮想画像を用いて走行難易度を評価する。
以上説明したように、第6の実施形態に係る点検計画作成システム20では、走行難易度評価部232は、自走式点検ロボット1の自己位置推定の精度に関連する情報を走行難易度に反映して、走行難易度を評価するように構成されている。自己位置推定の精度に関連する情報は、例えば、周辺に存在する物体の高さ、マッチングする3次元点群中の異なる向きの平面の多さ、マッチングする画像中の特徴点の多さである。
上記のように構成された第6の実施形態に係る点検計画作成システム20は、自己位置推定の精度が悪化しそうな地点の走行難易度を高く評価することで、自己位置推定が精度よく実行できるか否かを容易に確認できる。それにより、第6の実施形態は、点検計画に対して、安全上の問題や、点検品質の劣化の問題が生じるか否かを容易に確認できる。
なお、本発明による点検計画作成システム20では、走行難易度を評価する際、第5及び第6の実施形態で例示したような走行難易度の算出方法を組み合わせてもよい。具体的には、例えば、これまで例示した複数の走行難易度の評価方法によって算出した値の重みづけ和を用いて走行難易度を評価してもよい。
<第7の実施形態>
次に、本発明の第7の実施形態に係る点検計画作成システム20について図18及び図19を用いて説明する。以下では、第7の実施形態に係る点検計画作成システム20について、第1~第6の実施形態に係る点検計画作成システム20と異なる点を主に説明する。
第1~第6の実施形態による点検計画作成システム20では、図4及び図5に示したように、作成した点検計画と、実行難易度とを、ともに出力部24(図3参照)により表示した。しかし、上述した各実施形態では、実行難易度の表示が必ず作成済みの点検計画と紐づいていたため、点検計画の作成後しか実行難易度を確認できなかった。点検計画の作成後に実行難易度が高いことが判明した場合は、ユーザーは点検計画を再作成する必要があり、手間がかかっていた。
本実施形態では、ユーザーが点検計画作成IF22(図3参照)により点検計画の作成作業中に、撮影難易度、及び走行難易度を背景として出力部24(表示装置34)に表示することで、点検計画の再作成を不要にできる方法を開示する。
[撮影難易度の背景表示]
図18は、本発明の第7の実施形態に係る点検計画作成システム20の出力部24において、撮影難易度を背景表示する方法を説明するための模式図である。ユーザーがマウスなどの入力機器(図6の入力装置35)によるカーソル操作で、特定の点検対象5を選択した際、その撮影難易度の高低を施設情報の背景として表示している。これにより、ユーザーは選択中の点検対象5の点検対象撮影箇所4を設定する際、撮影難易度が低い部分を視覚的に確認できるので、撮影難易度が低い部分を選んで点検対象撮影箇所4を設定することが容易になる。
例えば、ユーザーが、入力機器を操作して、撮影難易度表示モード又は走行難易度表示モードを選択して表示できる構成とする。図18では、撮影難易度表示モードが表示されている。図18において、施設情報のうち、撮影難易度が高い部分を濃い網掛け(難易度Ds2)、撮影難易度が中程度の部分を薄い網掛け(難易度Ds1)、撮影難易度が低い部分を白抜き(難易度Ds0)で示している。ユーザーが、カーソルCで選択した点検対象5に対する撮影難易度が表示される。図18の例では、点検対象5の正面から外れる領域は難易度Ds2、点検対象5の正面に近くかつ距離が中程度の領域が難易度Ds1、そして、点検対象5の正面かつ距離が短い領域が難易度Ds0となっている。
[走行難易度の背景表示]
図19は、本発明の第7の実施形態に係る点検計画作成システム20の出力部24において、走行難易度を背景表示する方法を説明するための模式図である。撮影難易度の場合と同様、走行難易度の高低を施設情報の背景として表示している。ユーザーは走行経路3を設定する際、施設情報のうち走行難易度が低い部分を視覚的に確認できるので、走行難易度が低い領域を通過するような走行経路3を設定することが容易になる。
例えば、図19には、走行難易度表示モードが表示されている。図19において、施設情報の背景のうち、走行難易度が高い部分を濃い網掛け(難易度Dd2)、走行難易度が中程度の部分を薄い網掛け(難易度Dd1)、走行難易度が低い部分を白抜き(難易度Dd0)で示している。図19の例では、通路2から一定距離以上離れた領域かつ点検対象5が設置された領域は難易度Dd2、通路2の近く又は点検対象5の周辺の領域が難易度Dd1、そして、通路2の領域が難易度Ds0となっている。なお、図19の施設情報の例では、図5のグレーチング7aはないものとする。
以上説明したように、第7の実施形態に係る点検計画作成システム20において、点検計画作成IF22は、ユーザーの描画操作によって点検計画を作成する機能と、描画操作時の施設情報の背景表示として、走行難易度が高いもしくは低い領域を表示する機能と、点検対象ごとに撮影難易度が高いもしくは低い領域を表示する機能と、を備える。
上記のように構成された第7の実施形態に係る点検計画作成システム20では、点検計画作成IF22による点検計画の作成中に、撮影難易度、又は走行難易度を背景表示する。ユーザーは点検計画の作成作業中に、撮影難易度、又は走行難易度を確認することができるため、実行難易度の低い点検計画を作成することが容易になる。そのため、点検計画の再作成を不要にできる。それゆえ、点検計画の後戻り作業の発生を抑えて、ユーザーの作業負担を低減できる。
<第8の実施形態>
次に、本発明の第8の実施形態に係る点検計画作成システムについて図20を用いて説明する。以下では、第8の実施形態に係る点検計画作成システム20Aについて、第1~第7の実施形態による点検計画作成システム20と異なる点を主に説明する。
第1の実施形態(図2についての説明)で述べたとおり、点検計画作成システム20Aは、点検計画を自動で作成する機能を備えていてもよい。このとき、実行難易度の低い点検計画を自動で作成することができれば、ユーザーの点検計画を作成する手間を大幅に低減することができる。
図20は、本発明の第8の実施形態に係る点検計画作成システム20Aの構成例を示す図である。本実施形態に係る点検計画作成システム20Aは、撮影箇所算出部251と、走行経路算出部252と、から構成される点検計画生成部25を備える。ユーザーは、点検計画作成IF22により、事前情報として、点検を実施する複数の点検対象5を予め選択する、又はそのデータベースを点検計画作成システム20Aに保存する。
点検計画生成部25は、撮影箇所算出部251と走行経路算出部252により、実行難易度がより低い点検計画を自動で生成する。点検計画生成部25は、点検計画作成システム20Aの点検計画自動作成機能がアクティブでない場合には、実行難易度評価部23の評価結果はそのまま出力部24へ出力される。
撮影箇所算出部251は、予め選択された点検対象5のそれぞれについて、施設全域又は一部についての撮影難易度と走行難易度を用いて、実行難易度がより低い箇所を点検対象撮影箇所4として算出する。これにより、点検対象5の撮影に好適かつ、自走式点検ロボット1が動作可能な地点を点検対象撮影箇所4として出力することができる。
走行経路算出部252は、撮影箇所算出部251が算出した複数の点検対象撮影箇所4と、施設全域又は一部についての走行難易度とを用いて、走行難易度がより低い領域を通過しながら、複数の点検対象撮影箇所4を結ぶ走行経路3を算出する。これにより、自走式点検ロボット1が実際に走行可能できる走行経路3を作成することができる。
走行経路算出部252が、任意の2つの点検対象撮影箇所4の間を行き来するための走行経路3を作成するためには、任意の経路探索アルゴリズムを使用できる。例えば、走行難易度から生成したポテンシャル場を用いて、ポテンシャル法により走行経路3を生成してもよい。あるいは、走行経路算出部252は、Aスター探索や、RRT(Rapidly Randomized Tree)アルゴリズムによる経路探索において、走行難易度によるペナルティを設定することで、走行経路3を生成してもよい。
例えば、点検計画としては、走行経路全体で難易度が低い方が好ましいため、走行経路全体で難易度の許容合計点数を決めておく。走行難易度が高い経路が選択された場合には、ペナルティとして追加の点数を付与する。走行経路算出部252は、走行経路全体で難易度の合計点数が許容合計点数を超えないように、経路を選択する。走行難易度が高い経路が増えると走行経路全体の走行難易度の合計点数が大きくなるため、走行難易度が低い経路が点検計画の走行経路に採用されやすくなる。
また、点検対象撮影箇所4を巡る順番は、事前にユーザーが指定する構成としてもよいし、点検計画作成システム20A(例えば、走行経路算出部252)が自動で決定する構成としてもよい。点検計画作成システム20Aが点検対象撮影箇所4を巡る順番を自動で決定する場合は、任意の組合せ最適化アルゴリズムを用いることで、順番を決定することができる。
例えば、最初に順番を任意に設定し、生成された走行経路3の経路長や、走行難易度の高低などを引数にとる評価関数を設定する。そして、最初に任意に設定した順番を逐次的に組み替えながら、評価関数の値が小さくなるよう探索を行うことで、設定した評価関数が最小となる順番及び走行経路3を探索することができる。このような評価関数の最小化のためには、貪欲法や遺伝的アルゴリズム、蟻コロニー最適化のような、任意の組合せ最適化アルゴリズムを使用できる。
また、本実施形態では、走行経路3の作成において走行難易度を用いる方法を例示したが、走行難易度に加えて、任意の評価関数を追加して走行経路3の作成を行ってもよい。例えば、走行経路3の総延長を評価関数とすることで、より短い走行経路3を生成することができる。また、追加した評価関数と、走行難易度の重みとを調整することで、評価関数と走行難易度の優先度を調整することもできる。
また、本実施形態では、点検計画生成部25(図20参照)が点検計画を自動で生成する方法(点検計画自動作成機能)を開示した。この点検計画自動作成機能の起動条件としては、第1の実施形態でも説明したように、点検計画作成IF22が機能起動のための指令(トリガー信号)を出力するボタン等のインターフェースを備える構成としてもよい。すなわち、点検計画作成IF22は、点検計画自動作成機能を実行するための指令を点検計画生成部25へ出力する機能を有する。例えば、不図示のメニュー画面や、図4又は図5の実行難易度表示モードにおいて、点検計画作成IF22は「点検計画自動作成」と記載したボタンを、表示装置34(図6参照)の画面上に表示する。点検計画作成IF22はこのボタンが押下されたことを検知すると、点検計画生成部25は、点検計画作成IF22の指令を受けて点検計画自動作成機能の実行を開始する。なお、「点検計画自動作成」のボタンを、図18又は図19の各難易度表示モードにおいて表示してもよい。
また、異なる実装方法として、既存の点検計画が存在する、もしくは入力済みである場合を想定する。実行難易度評価部23が、点検計画作成システム20Aの点検計画生成部25が自動で生成した点検計画の実行難易度が、既存の点検計画よりも低いかどうかを判定する。そして、自動で生成された点検計画の実行難易度が、既存の点検計画の実行難易度よりも低いと判定された場合、点検計画の代替案として、出力部24が、点検計画生成部25が自動で生成した点検計画を提示する構成としてもよい。
この場合、点検計画作成IF22の実装方法は、例えば、「よりよい点検計画を探す」と表示したボタンを出力部24(表示装置34)に表示する。そして、ユーザーが当該ボタンを押下することで、出力部24に既存の点検計画が表示されるとともに代替案が表示され、ユーザーが所望の点検計画を選択できる実装としてもよい。
[変形例]
ここで、本実施形態に係る点検計画作成システム20Aの変形例について図21を用いて説明する。以下では、前述の第8の実施形態に係る点検計画作成システム20Aの構成をベースに、点検計画作成システム20Aと異なる点を主に説明する。この変形例では、走行経路の領域ごとに走行難易度を判定し、走行難易度の判定結果に基づいて自動で点検計画を生成する方法を開示する。
図21は、第8の実施形態の変形例に係る点検計画作成システム20Aの動作の概要を説明するための模式図である。本変形例では、点検計画作成システム20Aの走行難易度評価部232は、施設情報に含まれる路面等の走行難易度と所定の閾値とを比較する。次いで、走行難易度評価部232は、施設情報に含まれる領域を、走行難易度が閾値以上となる領域である走行困難領域と、走行難易度が閾値未満となる領域である走行容易領域とを算出する。次いで、走行難易度評価部232は、走行容易領域のうち走行困難領域に囲まれる走行容易領域を、走行困難領域に変更する。
点検計画生成部25は、走行難易度評価部232の動作後、最終的に施設情報に残っている走行容易領域の中から、点検計画を作成し、出力部24へ出力する。このような構成とすることで、明らかに自走式点検ロボット1が走行することが困難な領域が、走行経路3に含まれることを防止できる。
図21では、図8に示す施設情報と比較して、点検対象5(2)の右隣に点検対象5(3)が配置されている。点検対象5(3)の正面に位置する領域Arはアスファルト等の路面であるから、本来ならば走行難易度が低い走行容易領域である。したがって、自走式点検ロボット1は、路面の領域Arが砂利7bに囲まれていなければ、点検対象5(2)を撮影して左方向に進路を変更した後、そのまま点検対象5(3)の正面の位置まで進んで点検対象5(3)を撮影すればよい。
しかし、路面の領域Arは砂利7bに囲まれているため、自走式点検ロボット1が正常に領域Arに到達できない。このため、走行難易度評価部232は、路面の領域Arの評価を、走行容易領域から走行困難領域に変更する。点検計画生成部25の撮影箇所算出部251は、点検対象5(3)の点検対象撮影箇所4(3)として、点検対象5(3)と領域Arを結んだ延長線上の位置を設定する。
そして、点検計画生成部25の走行経路算出部252は、点検対象5(1)~5(2)に対する点検対象撮影箇所4(1)~(2)までは、図8の走行経路3と同じ走行経路3aを算出する。さらに、走行経路算出部252は、走行経路3aとして、点検対象撮影箇所4(2)から自走式点検ロボット1がUターンしてグレーチング7a(2)を超えた後、右方向に進路を変更し、点検対象撮影箇所4(3)で点検対象5(3)を撮影する経路を算出する。このような走行経路3aを有する点検計画を作成することで、点検対象5(3)からの距離が領域Arよりも遠くなるが、自走式点検ロボット1が走行困難領域を避けつつ、点検対象撮影箇所4(3)で点検対象5(3)を正面から撮影できる。
以上説明したように、第8の実施形態に係る点検計画作成システム20Aは、より実行難易度の低い点検計画を自動で作成することができるので、ユーザーの点検計画を作成する手間を大幅に低減することができる。
<第9の実施形態>
次に、本発明の第9の実施形態に係る点検計画作成システムについて図22を用いて説明する。以下では、本実施形態に係る点検計画作成システムについて、第1~第8の実施形態による点検計画作成システム20,20Aと異なる点を主に説明する。
前述の第8の実施形態では、走行経路3は、選択された全ての点検対象撮影箇所4を巡る一筆書きの経路を生成することを想定している。しかし、一筆書きの経路では、経路に含まれる点検対象撮影箇所4と、その巡回順序が一意に決まっており、巡回する点検対象撮影箇所4及び巡回順序を変更したいときに、点検計画の再作成が必要になり効率が悪いという課題がある。
上記課題を解決するために、道路地図のような、自走式点検ロボット1が走行可能な複数の経路の集合体を生成しておくことが有効である。このような経路の集合体を、本明細書では「自動運転地図」と呼称する。自動運転地図は、点検対象撮影箇所4の全てを直接又は間接的につなぐ経路の集合体であって、複数の枝分かれを含み、特定の出発地から目的地までの経路の候補を複数提供しうるものである。
このような自動運転地図を用いると、巡回する点検対象撮影箇所4や巡回順序を変更するときに、ダイクストラ法などの効率的な経路探索アルゴリズムを用いることができるので、点検計画の再作成の効率を向上することができる。
図22は、本発明の第9の実施形態に係る点検計画作成システム20A(図20参照)の走行経路算出部252において、自動運転地図を作成する方法を説明するための図である。図22Aは実行難易度に基づく二値画像例、図22Bは二値画像に細線化アルゴリズムを一回適用後の画像例、図22Cは二値画像に細線化アルゴリズムを少なくとも二回適用後の画像例をそれぞれ示す模式図である。
本実施形態に係る走行経路算出部252は、走行難易度が閾値以下となる領域を画像で表現した走行容易領域画像を生成し、走行容易領域画像に対して細線化アルゴリズムを適用することで、複数の点検対象撮影箇所4を結ぶ複数の走行経路群を算出する。例えば、走行経路算出部252は、実行難易度が閾値未満の領域を黒、閾値以上の領域を白で示した図22Aのような二値画像Ib1を生成する。なお、説明の都合上、黒と白を用いたが、色はこれらに限定されない。
次に、図22Aに示した太線の領域Ar1を含む二値画像Ib1に対して細線化アルゴリズムを適用する。細線化アルゴリズムは画像中の領域を細らせるアルゴリズムであり、図22Bに示すような中細線の領域Ar2を含む二値画像Ib2が得られる。細線化アルゴリズムを適切な回数適用することにより、図22Cに示すような、細線の集合としての領域Ar3を含む二値画像Ib3が得られる。これは、実行難易度が閾値未満の領域のおよそ中央を通る線であり、実行難易度が低いため、自動運転地図として利用することができる。
以上説明したように、第9の実施形態に係る点検計画作成システム20Aは、実行難易度の低い領域から自動運転地図を生成することができるので、巡回する点検対象撮影箇所4や巡回順序を変更する際に、点検計画の再作成を効率よく実施することができる。
<変形例>
さらに、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した各実施形態は本発明を分かりやすく説明するために点検計画作成システムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。
また、上述した各実施形態にかかる点検計画作成システムの各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
1…自走式点検ロボット、 2…点検計画作成システム、 3…走行経路、 4…点検対象撮影箇所(撮影地点)、 5…点検対象の設備、 8,8a,8b…障害物、 11…カメラ、 20…点検計画作成システム20、 21…事前情報入力IF、 22…点検計画作成IF、 23…実行難易度評価部、 231…撮影難易度評価部、 232…走行難易度評価部、 24…出力部、 25…点検計画生成部、 251…撮影箇所算出部、 252…走行経路算出部、 30…計算機、 PU…ポップアップ表示、 Im…撮影画像、 Imv…仮想的な撮影画像、 Imp…画角の範囲

Claims (15)

  1. カメラを搭載した自走式点検ロボットの走行経路と、点検対象撮影箇所とを含む点検計画を作成する点検計画作成システムであって、
    前記自走式点検ロボットを運用する施設の外観と、路面の情報とを含む施設情報と、複数の点検対象の設置位置と、前記カメラの撮影性能とを含む事前情報とを、使用者が入力操作可能な事前情報入力インターフェースと、
    前記点検計画を前記使用者が作成操作可能な点検計画作成インターフェースと、
    前記施設情報、前記点検対象の設置位置、及び前記撮影性能を基に、複数の前記点検対象の設置位置のそれぞれについて、前記走行経路上の任意地点における撮影難易度を評価する撮影難易度評価部と、
    前記施設情報、前記点検対象の設置位置、及び前記撮影性能を基に、前記走行経路上の任意地点における走行難易度を評価する走行難易度評価部と、
    前記点検計画を出力するとともに、前記点検計画の一部又は全部において、前記撮影難易度と前記走行難易度を用いて算出された総合的な難易度である実行難易度を出力する出力部と、を備える
    点検計画作成システム。
  2. 前記撮影難易度評価部は、前記点検対象の表面の法線ベクトルと、前記点検対象撮影箇所から前記点検対象に向かうベクトルがなす角度として示される正対誤差によって前記撮影難易度を評価する
    請求項1に記載の点検計画作成システム。
  3. 前記施設情報は、前記施設の外観を表す3次元モデリングデータを含み、
    前記撮影性能の情報は、前記カメラの画角の情報を含み、
    前記撮影難易度評価部は、前記点検対象撮影箇所から撮影されると推測されるカメラ画像を、前記3次元モデリングデータと前記画角の情報を用いて作成し、前記カメラ画像における、前記点検対象以外の物体が映り込んだ画素の量によって前記撮影難易度を評価する
    請求項1に記載の点検計画作成システム。
  4. 前記施設情報は、前記施設の外観を表す3次元点群データを含み、
    前記撮影性能の情報は、前記カメラの画角の情報を含み、
    前記撮影難易度評価部は、前記点検対象撮影箇所に前記自走式点検ロボットが停止し、前記カメラを前記点検対象に向けた場合に、前記画角内に収まる3次元点群のうち、前記点検対象よりも手前にある前記3次元点群の量によって前記撮影難易度を評価する
    請求項1に記載の点検計画作成システム。
  5. 前記施設情報は、前記施設の外観を表す3次元モデリングデータを含み、
    前記撮影性能の情報は、前記カメラの画角の情報を含み、
    前記撮影難易度評価部は、前記点検対象撮影箇所から撮影されると推測されるカメラ画像を、前記3次元モデリングデータと前記画角の情報とを用いて作成し、前記カメラ画像におけるSIFTもしくはSURFもしくはAKAZE特徴量のいずれかに付随する画像特徴点を計算し、前記画像特徴点の量によって前記撮影難易度を評価する
    請求項1に記載の点検計画作成システム。
  6. 前記撮影難易度評価部は、前記点検対象撮影箇所から光源に向かうベクトルと、前記点検対象撮影箇所から前記点検対象に向かうベクトルとのなす角度によって前記撮影難易度を評価する
    請求項1に記載の点検計画作成システム。
  7. 前記施設情報は、前記施設の路面の摩擦係数を含み、
    前記走行難易度評価部は、前記路面の摩擦係数を用いて前記走行難易度を評価する
    請求項1に記載の点検計画作成システム。
  8. 前記事前情報は、前記自走式点検ロボットの外形の情報を含み、
    前記走行難易度評価部は、前記路面上の任意地点に前記自走式点検ロボットを配置した場合の、前記自走式点検ロボットの外形から前記自走式点検ロボットの周辺に存在する物体又は溝までの距離を算出し、算出した前記距離によって前記走行難易度を評価する
    請求項1に記載の点検計画作成システム。
  9. 前記走行難易度評価部は、前記自走式点検ロボットの自己位置推定の精度に関連する情報を前記走行難易度に反映して、前記走行難易度を評価する
    請求項1に記載の点検計画作成システム。
  10. 前記点検計画作成インターフェースは、前記使用者の描画操作によって前記点検計画を作成する機能を備え、さらに、描画操作時の前記施設情報の背景表示として、前記走行難易度が高いもしくは低い領域を表示する機能と、前記点検対象ごとに前記撮影難易度が高いもしくは低い領域を表示する機能と、を備える
    請求項1に記載の点検計画作成システム。
  11. 前記実行難易度がより低い前記点検計画を自動で生成する点検計画生成部、を備え、
    前記出力部は、既存の点検計画の前記実行難易度が、前記点検計画生成部が生成した点検計画の前記実行難易度よりも高い場合に、前記点検計画生成部が生成した前記点検計画を代替案として出力する
    請求項1に記載の点検計画作成システム。
  12. 前記点検計画生成部は、
    前記撮影難易度と前記走行難易度とを用いて前記実行難易度を評価し、前記実行難易度がより低くなる箇所を前記点検対象撮影箇所として算出する撮影箇所算出部と、
    複数の前記点検対象撮影箇所を結ぶ前記走行経路として、前記走行難易度がより低い領域を通る走行経路を算出する走行経路算出部と、を備える
    請求項11に記載の点検計画作成システム。
  13. 前記走行難易度評価部は、前記施設情報に含まれる領域を、前記走行難易度が閾値以上となる領域である走行困難領域と、前記走行難易度が閾値未満となる領域である走行容易領域とを算出し、前記走行容易領域のうち前記走行困難領域に囲まれる走行容易領域を前記走行困難領域に変更し、
    前記点検計画生成部は、前記走行難易度評価部の動作後、最終的に前記施設情報に残っている前記走行容易領域の中から、前記点検計画を生成する
    請求項12に記載の点検計画作成システム。
  14. 前記走行経路算出部は、前記走行難易度が閾値以下となる領域を画像で表現した走行容易領域画像を生成し、前記走行容易領域画像に対して細線化アルゴリズムを適用することで、複数の前記点検対象撮影箇所を結ぶ複数の走行経路群を算出する
    請求項12に記載の点検計画作成システム。
  15. カメラを搭載した自走式点検ロボットの走行経路と、点検対象撮影箇所とを含む点検計画を作成する点検計画作成システムによる点検計画作成方法であって、
    撮影難易度評価部により、前記自走式点検ロボットを運用する施設の外観と、路面の情報とを含む施設情報、複数の点検対象の設置位置、及び前記カメラの撮影性能を基に、複数の前記点検対象の設置位置のそれぞれについて、前記走行経路上の任意地点における撮影難易度を評価する処理と、
    走行難易度評価部により、前記施設情報、前記点検対象の設置位置、及び前記撮影性能を基に、前記走行経路上の任意地点における走行難易度を評価する処理と、
    出力部により、前記点検計画を出力するとともに、前記点検計画の一部又は全部において、前記撮影難易度と前記走行難易度を用いて算出された総合的な難易度である実行難易度を出力する処理と、を含む
    点検計画作成方法。
JP2021185119A 2021-11-12 2021-11-12 点検計画作成システム及び点検計画作成方法 Pending JP2023072514A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021185119A JP2023072514A (ja) 2021-11-12 2021-11-12 点検計画作成システム及び点検計画作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021185119A JP2023072514A (ja) 2021-11-12 2021-11-12 点検計画作成システム及び点検計画作成方法

Publications (1)

Publication Number Publication Date
JP2023072514A true JP2023072514A (ja) 2023-05-24

Family

ID=86424313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021185119A Pending JP2023072514A (ja) 2021-11-12 2021-11-12 点検計画作成システム及び点検計画作成方法

Country Status (1)

Country Link
JP (1) JP2023072514A (ja)

Similar Documents

Publication Publication Date Title
Peel et al. Localisation of a mobile robot for bridge bearing inspection
CN109901139B (zh) 激光雷达标定方法、装置、设备和存储介质
EP3186685B1 (en) Three-dimensional elevation modeling for use in operating agricultural vehicles
US20190285412A1 (en) System and method for automatically acquiring two-dimensional images and three-dimensional point cloud data of a field to be surveyed
Truong-Hong et al. Quantitative evaluation strategies for urban 3D model generation from remote sensing data
JP5473383B2 (ja) 断面計測装置、断面計測方法および断面計測プログラム
JP4825836B2 (ja) 道路地図データ作成システム
Tang et al. Surveying, geomatics, and 3D reconstruction
WO2017098934A1 (ja) レーザ計測システム及びレーザ計測方法
JP5814620B2 (ja) 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
Jiang et al. Determination of construction site elevations using drone technology
US11846517B2 (en) Vector tile navigation
US11361502B2 (en) Methods and systems for obtaining aerial imagery for use in geospatial surveying
KR101074277B1 (ko) 구조물 윤곽선 추출장치 및 방법
US20230290055A1 (en) Surveying assistance system, information display terminal, surveying assistance method, and storage medium storing surveying assistance program
US20160371865A1 (en) System and method for deploying sensor based surveillance systems
JP7184249B2 (ja) 避雷保護範囲生成システムおよびプログラム
JP2023072514A (ja) 点検計画作成システム及び点検計画作成方法
JP2013073250A (ja) 自己位置推定装置、方法、及びプログラム
JP2022145441A (ja) 測量情報管理システム、測量情報管理方法、及び測量情報管理プログラム
Lyu et al. An efficient pixel shader-based ray-tracing method for correcting GNSS non-line-of-sight error with large-scale surfaces
JP2023128478A (ja) 点検計画作成装置、および、点検計画作成方法
Ojeda et al. Estimation of the Physical Progress of Work Using UAV and BIM in Construction Projects
KR101969863B1 (ko) Dsm 기반 항법위성의 관측환경 시뮬레이션 방법 및 장치
Pedersen et al. Multiple target single cycle instrument placement