JP2020038631A - 情報処理装置、情報処理方法、プログラムおよびシステム - Google Patents
情報処理装置、情報処理方法、プログラムおよびシステム Download PDFInfo
- Publication number
- JP2020038631A JP2020038631A JP2019134500A JP2019134500A JP2020038631A JP 2020038631 A JP2020038631 A JP 2020038631A JP 2019134500 A JP2019134500 A JP 2019134500A JP 2019134500 A JP2019134500 A JP 2019134500A JP 2020038631 A JP2020038631 A JP 2020038631A
- Authority
- JP
- Japan
- Prior art keywords
- information
- information processing
- control value
- image
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims 3
- 230000032258 transport Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000001276 controlling effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000011068 loading method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 101001063555 Canis lupus familiaris Epididymal sperm-binding protein 1 Proteins 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本実施形態では、運搬物を載せた無人搬送車(AGV)の移動制御について説明する。無人搬送車を以下では移動体と呼ぶ。この移動体は、複数種類の運搬物を搭載可能であり、この移動体に搭載された運搬物の形状によって、移動体が通行可能な経路が変化する。また、移動体システム12は、車体に搭載されたカメラの画像から空間の3次元構造を認識できる。図1では、天井に梁がある、壁や棚にでっぱりがあるような環境を移動体が移動する場合、運搬物の有無や高さによって、移動体が通ることができる場所が異なる。具体的には、運搬物の高さが破線Aより低い場合は、移動体システム12はこのまま直進可能である。しかし、運搬物15の高さは破線Bに到達するため、この場合は直進せずに迂回して進むよう移動制御する必要がある。また、運搬物が移動体システムの横幅方向にはみ出すような大きさである場合も、移動体システムは運搬物の形状を考慮した経路を走行する必要がある。また、無人搬送車のように工場や倉庫で使用される移動体は、タスクに応じて様々な運搬物を運び、指示された場所で積み下ろしを行う。あるタスクを実施する工程において移動体が搭載する運搬物の量や大きさは一定であるとは限らない。はじめに運搬物の形状についての情報を与えても、荷物の積み下ろしを行う前後で運搬物の形状についての情報を更新しなければならなかった。そこで、画像から得た運搬物の高さや縦横の3次元形状の情報に基づいて、運搬物が障害物に接触しない経路を移動体システムが走行するように、移動体の位置を制御する制御値(方向またはスピード)を決定する方法について述べる。図2に、情報処理システムの構成例を示す。運搬物センサ110が撮像した画像から推定した運搬物の3次元形状と、移動体システム12に搭載された環境センサ120が撮像した画像により推定した移動体システム12の位置姿勢情報とに基づいて、移動体システム12の制御を行う。
図2に、本実施形態において無人搬送車(AGV)と称する移動体の位置を制御する情報処理システムの構成例を示す。本実施形態における情報処理システム1は、少なくとも1つ以上の移動体システム12、移動体管理システム13、工程管理システム14から構成される。情報処理システム1は、例えば物流システムや生産システムなどである。
本実施形態において、運搬物15は、運搬物センサ110により撮像されていたが、これに限るものではない。例えば、運搬物センサ110の代わりに、環境センサ120を用いて運搬物15を撮像してもよい。この場合、環境センサ120と運搬物センサ110は同じ装置であってもよい。この場合、例えば、運搬物センサ100と環境センサ120を兼ねる移動体に広域カメラを搭載する。また、移動体を撮像できるように環境に設置する監視カメラを広角レンズカメラやパノラマカメラにして、環境と運搬物を搭載した移動体とを同時に撮像してもよい。運搬物センサ110が環境を撮像するとともに、運搬物も撮像することにより、より少ない撮像装置により、運搬物の形状・位置・種類に応じた移動体の移動制御を行うことが可能になる。また、複数のセンサを連動させて運搬物画像を取得してもよい。例えば、移動体に搭載したデプスカメラと、環境内に1つ以上設置された広域カメラから画像を取得する。複数のセンサを使うことによって死角が減り、運搬物の情報をより正確に推定できるようになる。
本実施形態において、運搬物センサ110は、移動体システム12に装着されていることを前提にしていたが、これに限るものではない。例えば、移動体と運搬物を観測可能な場所に設置され、工程管理システム14または、移動体システム12と通信可能である監視カメラを運搬物センサ110として利用してもよい。ここで、監視カメラは、工場や物流倉庫内といった使用環境の状況を監視するRGBカラーカメラである。工程管理システム14、または、移動体システム12中の保持部150が、環境の世界座標系上における監視カメラの位置姿勢を保持している。運搬物センサ110として監視カメラが、運搬物15の形状および位置姿勢の情報を観測する。観測された情報は、世界座標系における監視カメラ位置姿勢と、環境センサ120の位置姿勢とを用いて、移動体座標系における運搬物15の形状および位置の情報に変換されて、決定部1160に入力される。また、運搬物センサ110として用いられる外部カメラとしては、監視カメラに限るものではない。例えば、運搬物を移動体に積み込む自動機側に設置されたカメラを用いる。なお、カメラではなく、例えばラインセンサなどの2次元の距離センサを用いてもよい。また、環境に設置されたカメラ以外にも、他のAGVに搭載されたカメラや、ユーザが保持するカメラを利用してもよい。運搬物15を計測して、移動体システム12上の運搬物15の情報を取得できる限り、運搬物センサ110として用いるセンサに特に制限はない。
本実施形態において、運搬物情報取得部1120は、運搬物の3次元概略形状として3次元バウンディングボックスの値を取得していたが、これに限るものではない。例えば、デプスマップ中の運搬物候補の3次元点群そのものを形状として保持しても、3次元点群からメッシュを生成し、3次元ポリゴンモデルとして扱ってもよい。または、TSDF volume(Truncated Signed Distance Function volume)のような、ボクセルごとに最近傍の3次元表面までの符号付距離を格納した方式により運搬物の形状を保持する。または、物体の存在確率をボクセルに格納した占有格子マップの形で形状を表現する。運搬物の形状の推定手段および表現方法に特に制限はない。また、決定部1160が保持する移動体の形状の保持方法・表現も、同様に、バウンディングボックスのような概略形状に限るものではなく、上記記載の方法を用いて、詳細形状を保持してもよい。位置姿勢情報取得部1140が取得する運搬物の形状情報は、運搬物15の形状や大きさを表現できる限り、いかなるものを用いてもよく、そこに制限はない。
本実施形態においては、運搬物情報取得部1120では、平面部分と運搬物候補部分とのセグメンテーションにより、運搬物候補の3次元点群を判別していたが、特にこれに限るものではない。例えば、移動体システム12に積載または牽引される運搬物15と運搬物センサ110との間の概略の位置関係は既知である場合を考える。このとき、運搬物が存在する範囲を、デプスマップ中の3D ROI(Region of Interest)として、与えられるものとして処理を行ってもよい。この場合、運搬物情報取得部1120では、平面部分のセグメンテーションを行う代わりに、前述の運搬物が存在する範囲を表す3D ROIを利用して、3D ROI以内の3次元点群を、運搬物候補の3次元点群として抽出する。または、例えばスタックされた箱により構成されている運搬物のように、一部の運搬物の形状が既知である場合には、テンプレートマッチングや特徴点マッチングに基づく3次元物体検出を用いて、運搬物全体の形状の位置を求めてもよい。
本実施形態において、制御用マップは、あらかじめ事前に設定した占有格子マップを用いる方法に限定されない。例えば、環境センサ120から取得されたデプスマップおよび位置姿勢情報取得部1140で推定された位置姿勢の情報から、障害物がある領域とない領域を算出することで、占有格子マップを動的に更新してもよい。占有格子マップの生成は、事前情報なしに0から生成する。或いは、あらかじめ保存された占有格子マップを更新する形で取得する。周囲環境中の障害物の情報を表現できる限り、占有格子マップを生成・更新する方法に特に制限はない。占有格子マップを動的に更新することで、環境に新たに置かれた荷物などの、あらかじめ生成しておいた占有格子マップに含まれない障害物も考慮して、移動体を制御できる。
本実施形態においては、制御用マップとして三次元の占有格子マップを用いる方法、そして、環境センサ120の位置姿勢情報として6自由度の位置姿勢パラメータを推定する方法について述べたが、これに限定されるものではない。例えば、高さ方向の情報がない、2次元の占有格子マップを利用する。或いは、環境の床と水平な面上の二次元点群データ(と色情報との組み合わせ)や、環境の床と水平な面上の二次元モデルを、制御用マップとして利用する。また、位置姿勢情報は、環境の世界座標系上における移動体システム12の位置2自由度(環境の床に対して水平な面上の位置X、Y)と姿勢1自由度(環境の床に対して水平な面上での回転方向)との合計3自由度の位置姿勢パラメータであっても良い。制御用マップは、決定部1160が利用できる形で、周囲環境中の障害物の情報を保持できる限り、保持・表現方式に制限はなく、いかなる方式を用いてもよい。
本実施形態において、位置姿勢情報取得部1140が、環境中のシーンを表す3次元点群とデプスマップとのICPアルゴリズムに基づいて環境センサ120の位置姿勢を取得する方法について述べたが、位置姿勢を取得する方法は以上のものに限らない。例えば、位置姿勢推定用マップを事前に生成せずに、移動体システム12を環境内で移動させることで生成する。具体的には、移動体システム12をリモコンや手押しで操作しながら、移動体システム12に搭載している環境センサから取得したデプスマップを複数の視点で統合することで、3次元点群データを生成する。また、位置姿勢推定用マップとして、環境のCAD図面や地図画像をそのまま、あるいはデータフォーマット変換したものを利用して、位置姿勢取得に利用してもよい。また、環境センサ120としてデプスセンサではなく、環境中のシーンをカラー画像や濃淡画像として撮像する撮像装置を利用してもよい。この場合、撮像する画像はカラー画像でも濃淡画像でもよい。この場合、入力されたカラー画像や濃淡画像から3次元の特徴点により構成される特徴点マップを生成し、環境画像入力部に入力された画像中の特徴点と、特徴点マップ中の特徴点を対応付けることで、位置姿勢を取得する。これらの処理は、マップ情報を作成しつつ位置姿勢推定を行うSLAM(Simultaneous Localization and Mapping)技術として、数多く提案されておりそれらを利用すればよい。また、位置姿勢情報取得部1140での位置姿勢情報の推定は、Wi−Fi通信の通信状況や、環境内に設置されているビーコンを併用して求めてもよい。位置姿勢情報取得部1140において、世界座標系における移動体12の位置姿勢を取得できる限り、取得方法に特に制限はなく、いかなる方法を用いてもよい。
本実施形態において、物体の形状を取得する方法について述べたが、運搬物情報取得部1120が推定する運搬物の情報は形状に限るものではなく、例えば物体の種類や状態などの意味的情報を取得し、それに基づいて決定部1160が制御値を決定してもよい。具体的には、例えば、あらかじめガラスや液体などの壊れやすい性質の素材や揺らしては不都合な運搬物の種類を定義する。運搬物センサ110が撮像した運搬物15を含むカラー画像から、各画素が何の物体種であるかを判別するセマンティックセグメンテーションにより、運搬物候補領域の意味的クラスを推定することにより、運搬物の種類を推定する。そして、推定した種類があらかじめ定めた壊れやすい運搬物の種類に含まれるのであれば、決定部1160の制御値の最高速度を制限する。例えば、運搬物がガラス製であると推定された場合は、なるべく振動が少ない移動制御を行う。これにより、運搬物の種類に応じた速度の制御を行うことで、運搬物の運搬において、運搬物が揺れにくくなるように、または、運搬物が崩れにくくなるように移動体の移動制御を行うことが可能になる。
本実施形態において、運搬物情報は、運搬物画像入力部1110に入力された運搬物が撮像されたデプスマップから、形状を計測していたが、これに限るものではない。例えば、運搬物に付与されたIDタグを利用して、運搬物の情報を得てもよい。具体的には、例えば、運搬物の形状・種類の情報またはそれらに紐づく情報が格納されたIDタグを運搬物に付与しておく。或いは、運搬物センサ110または環境センサ120が撮像した画像から、運搬物情報取得部1120がIDタグを認識することで、運搬物の形状・種類の情報を取得する。また、運搬物の情報を得る手段としては、画像を用いる方法に限るものではなく、例えば、工程管理システム14または移動体管理システム13が各運搬物の形状や種類や位置を管理しておく。S110において、目標の位置及び姿勢を受信するタイミングで、運搬物画像入力部1110が積載される運搬物の情報を受信する。このように、運搬物の形状・種類の情報を得てもよい。この場合は、運搬物センサ110は運搬物画像入力部1120に接続されている必要性はなく、運搬物センサ110がなくても特に問題はない。
本実施形態において、移動体システム12は無人搬送車(AGV)の様々な形態に適用可能である。例えば、運搬物の下に潜り込んで押すことで運搬する移動体でもよい。また、車輪が縦横無尽に動くAGVでもよい。この場合、前後方向の制御値だけではなく、横方向の移動に対しても制御値を計算し、最適な制御値を決定する。また、けん引式のAGVでもよい。この場合、けん引する運搬物や台車との接合部の動きを考慮した制御値を取得する。けん引式の方が横揺れするため、通路の幅が十分広い経路を通るようにする等、移動体の形態によって制御値の決定の仕方を変えてもよい。なお、移動体システム12は、自動運転車、自律移動ロボットであってもよい。本実施形態で説明した情報処理装置をそれらに適用してもよい。また、フォーク可動部を備える自動搬送フォークリフトに対して、本実施形態を適用してもよい。ドローンといった飛行体に本実施形態を適用してもよい。
本実施形態において、運搬物情報取得部1110が推定した運搬物15の概略形状に基づいて、決定部1160が、運搬物を含む移動体と、障害物との接触を考慮した制御値を決定していたが、これに限るものではない。例えば、決定部1160が移動体管理システム13および工程管理システム14と通信して、運搬物と周囲環境との障害物との接触が発生しないような形状の移動体を代わりに用いるようにシステムを運用してもよい。具体的には、移動体管理システム13が複数の移動体システムに関して、それぞれの概略形状の情報を保持する。そして、決定部1160では、それらの複数の移動体システムの概略形状に対応した、複数の2次元占有格子を取得する。これによってもっとも最短経路で運搬可能となる形状を備える移動体システムを判別する。そして、判別した移動体が運搬物を運搬するように、決定部1160が移動体管理システム13に通信を行う。運搬物の形状に応じて、一つの移動体の制御のみを行うのではなく、複数の異なる形状の移動体を選択的に運用することで、全体のシステムが最適になるように運行を制御することが可能となる。
決定部1160が、3次元の制御用マップを2次元に射影せずに、移動体と接触する範囲を抜き出した部分的な3次元制御用マップを用いて、移動体の制御値を決定する方法について述べる。図5のS160では、決定部1160が、AGVを制御するための制御値を決定する。具体的には、占有格子マップ上で定義された目的地座標と、占有格子マップ上の移動体の位置姿勢とに基づいて、占有格子マップ上で障害物の存在する確率が高い格子を避け、両者のユークリッド距離が小さくなるような制御値を決定する。
実保持部1150が保持する制御用マップとして占有格子マップを保持し、占有格子マップに基づいて最適な経路を決定して、決定部1160が移動体の制御値を決定していたが、これに限るものではない。その他、決定部1160が、移動体形状と環境中の障害物とが接触しないように、目的地に到達するための制御値を決定するものであればどのような制御値を決定しても用いてもよい。例えば、複数のデプスマップをキーフレームとして保持し、キーフレームの集合として、制御用マップを保持してもよい。この場合、目標位置姿勢と現在の位置姿勢とのユークリッド距離を最小化する移動制御をしながら、例えば、現在の位置姿勢の最近傍となるキーフレーム中のデプスマップと、移動体全体の概略形状との最近接距離の計算を行う。距離が所定以下の場合は、移動を止める、旋回するなどの制御を行う。障害物として判定する閾値としては、例えば、0よりも上であれば障害物があると判定する。また、キーフレームとしてデプスマップを保持することに限定されるわけでもなく、環境画像入力部1120に入力されたデプスマップと、移動体全体の概略形状との最近接距離の計算を行い、移動体の制御を行ってもよい。
決定部1160は、Dynamic Window Approachを用いた。これは、現在の移動体の位置及び姿勢と入力された目標の位置及び姿勢とに基づいて、ある一時刻における両者のユークリッド距離を小さくするような制御値の取りうる全てのバリエーションを制御値の候補として算出する。しかしながら、障害物との衝突可能性の高い領域を回避してAGVの経路を設定できる方法であれば、制御値の算出方法は上記に限るものではない。例えば、ある一時刻ではなく、将来の複数の時刻における制御値のバリエーションを算出し、複数時刻の位置姿勢(予測軌跡)を算出し、予測軌跡を辿るような制御値を選択する手法であるGraph Search Approachを使用してもよい。この時、決定部1160は、2次元グリッドの占有格子マップの障害物が存在する確率が0の領域のみを通る予測軌跡を選択し、この予測軌跡を辿るような複数時刻の制御値を算出する。予測軌跡の選択方法は、移動経路が最小となるような予測軌跡を選択してもよいし、占有格子マップの障害物が存在する確率が0でない領域との距離が最大となるような予測軌跡や、ステアリングの変化が最小となるような予測軌跡を選択してもよい。また、現在位置から二次元空間の中から障害物のない一定領域をランダムにサンプリングする。そして、その地点をノードとして更に周囲の空間をランダムにサンプリングすることを繰り返して生成した予測軌跡を選択するRandomized Approachなど、任意の手法を用いることができる。
実施形態1では、保持部1150が保持する制御用マップとして占有格子マップを保持し、占有格子マップに基づいて最適な経路を取得して、決定部1160が移動体の制御値を取得していた。実施形態2では、制御用マップを保持せずに、環境センサが撮像する画像に基づいて、運搬物を含む移動体の位置を計算して、移動体の制御を行う方法について述べる。
実施形態1では、運搬物センサ110が取得したデプスマップから、運搬物15の概略形状を一度だけ計測し、計測した運搬物の形状を含む移動体とシーン中の障害物との接触を考慮した軌道を取得して移動体の制御を行っていた。実施形態3においては、運搬物15の形状と位置を常にトラッキングすることで、運搬物の位置や形状の変化に基づいて、移動体の制御を行う方法について述べる。
本実施形態では、決定部1160において、運搬物15の形状と位置の変化量に応じて、移動体の制御値を決定していたが、これに限るものではない。例えば、変化量に応じて、運搬物の崩れやズレの発生を判別したときに、制御値を取得する代わりに、不図示のアラームを鳴らして、異常を外部に示す。または、不図示のランプを点灯させて、異常を示す。または、移動体管理システム13に通信し、異常が発生したことをシステムに知らせる。
実施形態1から3に共通して適用できるUIについて説明する。撮像装置が取得した視覚情報や、取得部が取得した位置姿勢、物体の検出結果、マップ情報などをユーザが確認することを説明する。また、AGVは自動制御で動くためユーザの入力により制御することを説明する。ユーザがAGVの状況を確認できるよう、AGVを制御することもできるように、表示装置として例えばディスプレイにGUIを表示し、マウスやタッチパネルといった入力装置によりユーザからの操作を入力する。なお、本実施形態において、ディスプレイはAGVに搭載されているものとしているが、このような構成に限るものではない。つまり、通信I/F(H17)を介して、ユーザの持つモバイル端末のディスプレイを表示装置として用いる、移動体管理システムに接続された液晶ディスプレイを表示装置として用いる。AGVに搭載されている表示装置を用いる場合でも、AGVに搭載されていない表示装置を用いる場合でも、表示情報は、情報処理装置で生成することができる。また、AGVに搭載されていない表示装置を用いる場合には、表示装置に付随する計算機が、情報処理装置から表示情報の生成に必要な情報を取得し表示情報を生成してもよい。
本実施形態では、移動体の目的地と運搬物の種類に基づいて、タスクを効率的に実行できる運搬量または移動経路をユーザに対してリコメンドする情報処理装置について説明する。通常、例えば、同じ荷物を数回(又は数台)に分けて搬送する場合、1回あたりのタスクでなるべく多くの荷物を積めば、タスクの総所要時間は短縮できる。しかし、環境によっては、運搬物が多くなった場合に走行できる経路が限定され、結果遠回りになって所要時間が増加してしまうことがある。つまり、所要時間を最小にするのに最適な運搬物の量や積み方は環境によって変化しうる。そこで、本実施形態では、荷物の大きさと環境の構造を考慮して、最適な運搬量と搬送経路の組合せをユーザに提示する。これによって、効率的に移動体を制御できる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
15 運搬物
Claims (20)
- 運搬物を運搬する移動体の位置を制御する制御値を決定する情報処理装置であって、
前記運搬物を撮像した第1の画像に基づいて前記運搬物の3次元形状を特定可能な第1の情報と、前記移動体が移動する環境を撮像した第2の画像に基づいて前記環境における物体と前記移動体との距離を特定可能な第2の情報とを取得する取得手段と、
前記第1の情報と前記第2の情報に基づいて、前記運搬物と前記物体とが所定の距離より近づくことを抑制する前記制御値を決定する決定手段とを有することを特徴とする情報処理装置。 - 前記取得手段は、前記画像を入力として、前記運搬物の大きさを出力する学習済みモデルに基づいて、前記第1情報を取得することを特徴とする請求項1に記載の情報処理装置。
- 前記取得手段は、前記第2の画像に基づいて前記移動体の位置を取得し、
前記決定手段は、前記移動体の位置から予め定められた目的地の位置に到達するための前記制御値を決定することを特徴とする請求項1または2に記載の情報処理装置。 - 前記第1の情報は、前記運搬物の高さ方向の大きさを示す情報であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記決定手段は、前記環境における走行経路上に存在する段差の高さに基づいて前記所定の距離を決定する請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記第1の情報は、前記運搬物が前記移動体から幅方向にはみ出した大きさを示す情報であることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記第1の画像は、前記移動体に搭載された撮像装置によって撮像された画像であること特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記第1の画像は、前記移動体と前記運搬物とを観測可能な位置に設置された撮像装置によって撮像された画像であることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記第2の画像は、前記移動体に搭載された撮像装置によって撮像された画像であること特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記環境において前記物体の位置を示すマップを保持する保持手段を更に有し、
前記決定手段は、前記マップに基づいて前記物体が存在しない経路を走行するように前記制御値を決定することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。 - 前記マップは、前記環境を3次元で表現したマップであって、
前記決定手段は、前記運搬物の高さに合わせて抽出された前記マップに基づいて、前記物体が存在しない経路を走行するように前記制御値を決定することを特徴とする請求項10に記載の情報処理装置。 - 前記取得手段は、前記第1の画像に基づいて前記運搬物の種類を示す情報を取得し、
前記決定手段は、前記運搬物の種類を示す情報に基づいて前記運搬物の種類に応じた前記制御値を決定することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。 - 前記取得手段は、前記第1の画像の変化に従って前記第1情報を更新し、
前記決定手段は、更新された第1の情報に基づいて、前記運搬物の形状が変化した場合には前記運搬物の形状に応じた前記制御値を決定することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。 - 前記決定手段によって決定された前記制御値に基づいて、前記移動体の移動経路を示す表示情報を表示する表示手段を更に有することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
- 前記取得手段は、前記第1情報に基づいて、前記運搬物の高さに従って抽出された環境の3次元マップを更に取得し、
前記決定手段は、前記3次元マップに基づいて、前記制御値を決定することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。 - 運搬物を運搬する移動体の位置を制御する制御値を決定する情報処理装置であって、
前記移動体に搭載された撮像装置によって撮像された画像から推定された前記運搬物の3次元形状を特定可能な情報と、前記移動体が移動する環境のマップとに基づいて、前記運搬物の量と移動経路との組み合わせを取得する取得手段と、
前記組み合わせに基づいて、前記運搬物と前記環境における物体とが衝突しない前記移動経路を走行する前記制御値を決定する決定手段とを有することを特徴とする情報処理装置。 - 運搬物を運搬する移動体の位置を制御する制御値を決定する情報処理装置であって、
前記運搬物を撮像した第1の画像に基づいて前記運搬物の3次元形状を特定可能な第1の情報と、前記移動体が移動する環境を撮像した第2の画像に基づいて前記環境における物体と前記移動体との距離を特定可能な第2の情報とを取得する取得手段と、
前記第1の情報と前記第2の情報に基づいて、前記運搬物と前記物体とが衝突しない経路を走行する前記制御値を決定する決定手段とを有することを特徴とする情報処理装置。 - コンピュータを、請求項1乃至17のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
- 撮像装置と、運搬物を運搬する移動体の位置を制御する制御値を決定する情報処理装置を有する情報処理システムであって、
前記撮像装置は、前記移動体と前記運搬物とを観測可能な位置に設置されており、
前記情報処理装置は、
前記撮像装置によって前記運搬物を撮像した第1の画像に基づいて前記運搬物の3次元形状を特定可能な第1の情報を取得し、前記移動体が移動する環境を撮像した第2の画像に基づいて、前記環境における物体と前記移動体との距離を特定可能な第2の情報を取得する取得手段と、
前記第1の情報と前記第2の情報に基づいて、前記運搬物と、前記物体とが所定の距離より近づくことを抑制する制御値を決定する決定手段とを有することを特徴とする情報処理システム。 - 運搬物を運搬する移動体の位置を制御する制御値を決定する情報処理方法であって、
前記運搬物を撮像した第1の画像に基づいて前記運搬物の3次元形状を特定可能な第1の情報を取得し、前記移動体が移動する環境を撮像した第2の画像に基づいて、前記環境における物体と前記移動体との距離を特定可能な第2の情報を取得する取得工程と、
前記第1の情報と前記第2の情報に基づいて、前記運搬物と、前記物体とが所定の距離より近づくことを抑制する前記制御値を決定する決定工程とを有することを特徴とする情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/550,074 US11573574B2 (en) | 2018-08-30 | 2019-08-23 | Information processing apparatus, information processing method, information processing system, and storage medium |
DE102019123072.1A DE102019123072A1 (de) | 2018-08-30 | 2019-08-28 | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren, Informationsverarbeitungssystem und Speichermedium |
CN201910801597.2A CN110928291B (zh) | 2018-08-30 | 2019-08-28 | 信息处理装置、信息处理方法、信息处理***和存储介质 |
US18/153,787 US11989029B2 (en) | 2018-08-30 | 2023-01-12 | Information processing apparatus, information processing method, information processing system, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018161414 | 2018-08-30 | ||
JP2018161414 | 2018-08-30 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020038631A true JP2020038631A (ja) | 2020-03-12 |
JP2020038631A5 JP2020038631A5 (ja) | 2022-07-28 |
JP7479799B2 JP7479799B2 (ja) | 2024-05-09 |
Family
ID=69738113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134500A Active JP7479799B2 (ja) | 2018-08-30 | 2019-07-22 | 情報処理装置、情報処理方法、プログラムおよびシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7479799B2 (ja) |
CN (1) | CN110928291B (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507973A (zh) * | 2020-04-20 | 2020-08-07 | 上海商汤临港智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
WO2022145081A1 (ja) * | 2020-12-28 | 2022-07-07 | パナソニックIpマネジメント株式会社 | 搬送システム、搬送方法、経路情報作成システムならびに経路情報作成方法 |
WO2022190461A1 (ja) * | 2021-03-09 | 2022-09-15 | パナソニックIpマネジメント株式会社 | 荷物搬送システムおよび搬送体 |
WO2022202056A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024009673A1 (ja) * | 2022-07-06 | 2024-01-11 | 株式会社デンソー | 車両走行装置、車両走行プログラム |
JP7503927B2 (ja) | 2020-03-30 | 2024-06-21 | 株式会社フジタ | 建設作業管理システムおよび自動巡回移動体 |
JP7520585B2 (ja) | 2020-06-12 | 2024-07-23 | 株式会社竹中工務店 | データ変換システム、及びデータ変換プログラム |
EP4404152A1 (en) * | 2023-01-18 | 2024-07-24 | The Boeing Company | Autonomous vision system for monitoring cargo |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673276A (zh) * | 2020-05-13 | 2021-11-19 | 广东博智林机器人有限公司 | 目标物体识别对接方法、装置、电子设备及存储介质 |
JP7347349B2 (ja) * | 2020-07-07 | 2023-09-20 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理方法 |
CN113496046B (zh) * | 2021-01-18 | 2024-05-10 | 华翼(广东)电商科技有限公司 | 一种基于区块链的电商物流***及方法 |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
CN117313984A (zh) * | 2023-08-31 | 2023-12-29 | 中国标准化研究院 | 一种粮情监测方法、装置与*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0519848A (ja) * | 1991-07-17 | 1993-01-29 | Toshiba Corp | 無人搬送車 |
JPH07315763A (ja) * | 1994-05-20 | 1995-12-05 | Yaskawa Electric Corp | コンテナの自動運転制御方法 |
JP2008225704A (ja) * | 2007-03-09 | 2008-09-25 | Omron Corp | 作業評価装置、作業評価方法、および、制御プログラム |
JP2010044530A (ja) * | 2008-08-11 | 2010-02-25 | Hitachi Industrial Equipment Systems Co Ltd | 搬送ロボットシステム |
JP2012022467A (ja) * | 2010-07-13 | 2012-02-02 | Murata Mach Ltd | 自律移動体 |
JP2015068141A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社小松製作所 | 運搬機械 |
US9358975B1 (en) * | 2015-04-10 | 2016-06-07 | Google Inc. | Virtual moving safety limits for vehicles transporting objects |
WO2016103452A1 (ja) * | 2014-12-26 | 2016-06-30 | 株式会社日立製作所 | 搬送車及び搬送システム |
JP2016218933A (ja) * | 2015-05-26 | 2016-12-22 | 株式会社日立産機システム | 走行経路設定システム |
JP2017097847A (ja) * | 2015-11-12 | 2017-06-01 | 株式会社東芝 | 搬送装置、搬送システム、および搬送方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1215611A4 (en) * | 2000-02-14 | 2003-01-29 | Canon Kk | METHOD FOR COLLECTING USING AN INFORMATION PROCESSOR AND ORDERING PROCEDURE OR SALES PROCEDURE |
CN102332138A (zh) * | 2011-11-01 | 2012-01-25 | 安徽省一一通信息科技有限公司 | 包含有不规则货物分拣***的电子商务物流*** |
CN102582599A (zh) * | 2012-03-07 | 2012-07-18 | 浙江吉利汽车研究院有限公司 | 车辆制动控制***以及车辆紧急制动避让方法 |
US10025314B2 (en) * | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
CN106156752B (zh) * | 2016-07-25 | 2019-05-14 | 长安大学 | 一种基于逆投影三视图的车型识别方法 |
CN107169468A (zh) * | 2017-05-31 | 2017-09-15 | 北京京东尚科信息技术有限公司 | 用于控制车辆的方法和装置 |
-
2019
- 2019-07-22 JP JP2019134500A patent/JP7479799B2/ja active Active
- 2019-08-28 CN CN201910801597.2A patent/CN110928291B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0519848A (ja) * | 1991-07-17 | 1993-01-29 | Toshiba Corp | 無人搬送車 |
JPH07315763A (ja) * | 1994-05-20 | 1995-12-05 | Yaskawa Electric Corp | コンテナの自動運転制御方法 |
JP2008225704A (ja) * | 2007-03-09 | 2008-09-25 | Omron Corp | 作業評価装置、作業評価方法、および、制御プログラム |
JP2010044530A (ja) * | 2008-08-11 | 2010-02-25 | Hitachi Industrial Equipment Systems Co Ltd | 搬送ロボットシステム |
JP2012022467A (ja) * | 2010-07-13 | 2012-02-02 | Murata Mach Ltd | 自律移動体 |
JP2015068141A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社小松製作所 | 運搬機械 |
WO2016103452A1 (ja) * | 2014-12-26 | 2016-06-30 | 株式会社日立製作所 | 搬送車及び搬送システム |
US9358975B1 (en) * | 2015-04-10 | 2016-06-07 | Google Inc. | Virtual moving safety limits for vehicles transporting objects |
JP2016218933A (ja) * | 2015-05-26 | 2016-12-22 | 株式会社日立産機システム | 走行経路設定システム |
JP2017097847A (ja) * | 2015-11-12 | 2017-06-01 | 株式会社東芝 | 搬送装置、搬送システム、および搬送方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7503927B2 (ja) | 2020-03-30 | 2024-06-21 | 株式会社フジタ | 建設作業管理システムおよび自動巡回移動体 |
CN111507973A (zh) * | 2020-04-20 | 2020-08-07 | 上海商汤临港智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
JP2022539093A (ja) * | 2020-04-20 | 2022-09-07 | 上海商▲湯▼▲臨▼港智能科技有限公司 | 目標検出方法及び装置、電子機器、記憶媒体並びにプログラム |
CN111507973B (zh) * | 2020-04-20 | 2024-04-12 | 上海商汤临港智能科技有限公司 | 目标检测方法及装置、电子设备和存储介质 |
JP7520585B2 (ja) | 2020-06-12 | 2024-07-23 | 株式会社竹中工務店 | データ変換システム、及びデータ変換プログラム |
WO2022145081A1 (ja) * | 2020-12-28 | 2022-07-07 | パナソニックIpマネジメント株式会社 | 搬送システム、搬送方法、経路情報作成システムならびに経路情報作成方法 |
WO2022190461A1 (ja) * | 2021-03-09 | 2022-09-15 | パナソニックIpマネジメント株式会社 | 荷物搬送システムおよび搬送体 |
WO2022202056A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024009673A1 (ja) * | 2022-07-06 | 2024-01-11 | 株式会社デンソー | 車両走行装置、車両走行プログラム |
EP4404152A1 (en) * | 2023-01-18 | 2024-07-24 | The Boeing Company | Autonomous vision system for monitoring cargo |
Also Published As
Publication number | Publication date |
---|---|
JP7479799B2 (ja) | 2024-05-09 |
CN110928291B (zh) | 2023-10-13 |
CN110928291A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7479799B2 (ja) | 情報処理装置、情報処理方法、プログラムおよびシステム | |
US11989029B2 (en) | Information processing apparatus, information processing method, information processing system, and storage medium | |
JP7341652B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびシステム | |
US11086328B2 (en) | Autonomous cart for manufacturing and warehouse applications | |
AU2021230331B2 (en) | Robot obstacle collision prediction and avoidance | |
US11529736B2 (en) | Systems, apparatuses, and methods for detecting escalators | |
CN112631269B (zh) | 自主移动机器人及自主移动机器人的控制程序 | |
US20210103296A1 (en) | Unmanned aerial vehicle for inventory management and method of operating the same | |
Behrje et al. | An autonomous forklift with 3d time-of-flight camera-based localization and navigation | |
WO2022115215A1 (en) | Systems and methods for monocular based object detection | |
US20240150159A1 (en) | System and method for definition of a zone of dynamic behavior with a continuum of possible actions and locations within the same | |
KR102249485B1 (ko) | 로봇 자율주행 시스템 및 방법 | |
Anand et al. | Grid-based localization stack for inspection drones towards automation of large scale warehouse systems | |
US20230373769A1 (en) | Automated moving vehicle and control method thereof | |
EP4369134A1 (en) | Method and system for autonomous driving of a swap body transporter, and swap body transporter | |
US20230350420A1 (en) | Systems and methods for precisely estimating a robotic footprint for execution of near-collision motions | |
US20230236600A1 (en) | Operational State Detection for Obstacles in Mobile Robots | |
EP4369135A1 (en) | Method and system for swap body detection | |
WO2022018826A1 (ja) | 移動体制御システム、制御装置、及び、移動体制御方法 | |
US20240158216A1 (en) | Systems and Methods for Bystander Pose Estimation for Industrial Vehicles | |
WO2023192270A1 (en) | Validating the pose of a robotic vehicle that allows it to interact with an object on fixed infrastructure | |
CN117170362A (zh) | 一种基于机器视觉的物料搬运agv动态自主导航智能避障*** | |
WO2023192313A1 (en) | Continuous and discrete estimation of payload engagement/disengagement sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7479799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |