JP7341652B2 - 情報処理装置、情報処理方法、プログラム、およびシステム - Google Patents
情報処理装置、情報処理方法、プログラム、およびシステム Download PDFInfo
- Publication number
- JP7341652B2 JP7341652B2 JP2018207192A JP2018207192A JP7341652B2 JP 7341652 B2 JP7341652 B2 JP 7341652B2 JP 2018207192 A JP2018207192 A JP 2018207192A JP 2018207192 A JP2018207192 A JP 2018207192A JP 7341652 B2 JP7341652 B2 JP 7341652B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- orientation
- depth
- agv
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims 2
- 238000003384 imaging method Methods 0.000 claims description 216
- 238000000034 method Methods 0.000 claims description 133
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 description 117
- 230000000007 visual effect Effects 0.000 description 73
- 238000012545 processing Methods 0.000 description 38
- 238000007726 management method Methods 0.000 description 36
- 238000013459 approach Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 21
- 230000001276 controlling effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
- G01B11/10—Measuring arrangements characterised by the use of optical techniques for measuring diameters of objects while moving
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
- G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Description
マップ情報を保持する保持手段と、
前記撮像手段によって取得された前記奥行情報の信頼度に基づいて補正された前記奥行情報と前記マップ情報とに基づいて前記撮像手段の位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて前記移動体の移動を制御する制御値を得る制御手段。
本実施形態では、搬送車(AGV(Automated Guided Vehicle))または、自律移動ロボット(AMR(Autonomous Mobile Robot))等と称する移動体の移動制御について説明する。以下、移動体としてAGVを例に説明するが、移動体はAMRであっても良い。
実施形態1では、撮像部110がデプスマップD154dを算出し、本情報処理装置における入力部1110がデプスマップを入力していた。変形例として、撮像部110の位置姿勢を算出できれば、入力部1110が入力するのは撮像部110が算出したデプスマップに限らない。具体的には、撮像部110が内部で撮像部110座標系におけるポイントクラウドを算出していれば、入力部1110が、撮像部110が算出したポイントクラウドを入力することができる。このとき、算出部1120は、入力部1110が入力したポイントクラウドを用いて位置姿勢算出を行うことができる。なお、撮像部110が算出するポイントクラウドとは、図4における三次元点群D154のことである。また、入力部1110が、撮像部110が取得した一対の画像D154a、D154b、および撮像部110が保持する焦点距離を入力し、算出部1120が対応点探索およびステレオ法によってデプスマップを求めてもよい。また、それらに加えて入力部1110が、撮像部110が取得したRGB画像やグレー画像である画像を合わせて視覚情報として入力してもよい。つまり、撮像部110が行うデプスマップ算出を、かわりに算出部1120が行うこともできる。
実施形態1では、撮像部が取得したデプスマップを用いて撮像部の位置姿勢を算出していた。DAF(Dual Pixel Auto Focus)による撮像部は、特に撮像部から特定の距離範囲を高精度に計測することができる。そこで、実施形態2では、撮像部からの距離が特定の範囲外であってもモーションステレオによって奥行き値を算出することで、撮像部が取得したデプスマップをさらに高精度化し、位置姿勢を安定して、高精度に算出する。
算出したdnewを用いてデプスマップを更新する。デプスマップの全ての画素の更新を終えたら、デプスマップ補正ステップを終了し、実施形態1で説明したステップS150以降の処理を続ける。
本実施形態においては、デプスマップの補正における信頼度を、撮像部110が算出するデプスマップの奥行き値の計測誤差から算出し、重みαとしていた。しかしながら、撮像部110が取得したデプスマップとモーションステレオによって算出した奥行き値とを統合し、デプスマップを高精度化するような重みの値を算出する方法であればよい。例えば、デプスマップの奥行きの逆数に所定の係数βを積算した値を重みとする方法でもよい。また、入力画像の勾配を算出し、勾配方向と撮像部110における素子の配置方向との内積を重みとしてもよい。他にも、撮像部110における二つの画像D154aとD154bの基線長や視差画像D154fの基線長を撮像部110からさらに入力部1110が入力し、これと、モーションステレオにおける基線長の比を重みとして用いることもできる。また、本実施形態で説明したように各画素に重みを算出するのではなく、特定の画素のみ統合する方式や、一部の画素または全画素に同一の重みを適応して重み付き和を算出してもよい。また、ある過去1時刻だけでなく、複数時刻の画像、デプスマップを用いてモーションステレオを行ってもよい。
実施形態1、2では、撮像部110が取得したシーンを撮影した視覚情報を基に位置姿勢や制御値を算出していた。しかしながら、テクスチャのない壁や柱においては奥行き精度が低下することがある。そこで実施形態3では、シーンに対して所定のパターン光を投影し、それらパターン光を撮像部110が取得することで、奥行き精度を向上させる。
本実施形態においては、パターン光とはランダムパターンのことであった。しかしながら、テクスチャに乏しい領域にテクスチャを付与するようなパターンであれば何でもよい。例えば、ランダムドットパターンや縞パターン(制限はや格子パターンなど)を投影してもよい。なお、縞パターンでは,変調波長内と波長外の距離を判別できないという曖昧性があるが、周波数を変えて複数時刻で取得した入力画像から奥行き値を求めるグレーコード方式を用いることで曖昧性を排除することができる。
実施形態1、2では、撮像部が取得したシーンを撮影した視覚情報を基に位置姿勢や制御値を算出していた。実施形態3では、パターン光を投影してテクスチャの乏しいシーンに対する精度向上について述べた。実施形態4では、さらに他の三次元センサが計測したシーンの位置を表す三次元情報を合わせて用いる方法について述べる。
本実施形態においては、三次元計測装置410として3DLiDARを用いる方法について説明した。三次元計測装置410はこれに限るものでなく、撮像部110が取得した視覚情報を高精度化できる三次元情報が計測できるものであればよい。例えば、TOF(Time Of Flight)距離計測カメラであってもよいし、2台のカメラを備えたステレオカメラであってもよい。また、DAFによる撮像部110と別の単眼カメラを、撮像部110の光軸と一致させて配置したステレオ構成としてもよい。信頼度の特性が異なる撮像部110をさらに搭載し、これを三次元計測装置410とみなして同様にデプスマップを更新する構成でもよい。
実施形態1、2では、撮像部110が取得したシーンを撮影した視覚情報を基に位置姿勢や制御値を算出していた。実施形態3では、シーンに対して所定のパターン光を投影した。実施形態4では、さらに三次元計測装置が計測した三次元形状を合わせて用いていた。実施形態5では、視覚情報から物体を検出し、これを用いて移動体の制御を行う。特に本実施形態においては、AGVは荷物を搭載して運んでおり、目的地に到着すると棚やベルトコンベアに対して所定の位置に厳密に停止しなければならない場合について述べる。本実施形態では、撮像部110が撮像した棚やベルトコンベアといった物体の位置姿勢を算出することで厳密な位置姿勢を算出し、AGVを制御する方法について述べる。なお、本実施形態においては特に断りが無い限り物体の特徴情報とは物体の位置姿勢のことである。
本実施形態では、物体の検出にPPF特徴を用いていた。しかしながら、物体を検出することができる方法なら何でもよい。例えば、特徴量として三次元点の法線と周囲に位置する三次元点の法線との内積のヒストグラムを特徴量とするSHOT特徴を用いてもよい。また、ある三次元点の法線ベクトルを軸とする円柱面に周囲の三次元点を投影したSpin Imageを用いた特徴を用いてもよい。また、特徴量を用いずに物体を検出する方法として機械学習による学習モデルを用いることもできる。具体的には、デプスマップを入力すると物体領域が1、非物体領域が0を返すように学習したニューラルネットワークを学習モデルとして用いることができる。また、デプスマップから物体の6自由度を出力できるよう学習した学習モデルであれば、ステップS5110からS5130をまとめて物体の位置姿勢を算出してもよい。
実施形態1~4では、撮像部110が取得した視覚情報を基に高精度に安定して位置姿勢を算出し、移動体の制御値を算出する方法について述べた。実施形態5では、視覚情報から物体を検出し、これを用いて移動体の制御を行う方法について述べた。実施形態6では実施形態1~5の追加機能として、入力視覚情報を領域分割した結果を用いてAGVの制御やマップ情報の生成を高精度に安定して行う方法について述べる。特に、本実施形態においてはマップ情報の生成時に適応する方法を例示する。マップ情報には、時間が経過しても位置姿勢が変わらない静止物体を登録し、これらを用いて位置姿勢を算出する方がシーンの変化に対するロバスト性が向上する。そこで、視覚情報を意味的領域分割し、各画素が何の物体種であるかを判別する。そして、あらかじめ物体種毎に算出した静止物体らしさ情報を用いて階層的なマップ情報を生成する方法、およびそれらを用いた位置姿勢推定方法について述べる。なお、本実施形態においては、特に断りが無い限り物体の特徴情報とは物体の種類のことである。
本実施形態では(1)~(4)のレイヤーを用いていた。しかしながら、物体の移動具合に応じて複数レイヤーを持つ構成であればよく、(1)~(4)の任意の個数のレイヤーのみ保持部1130が保持する構成であってよい。また、これら以外にも特定の物体(AGVレイヤー、人レイヤー)や、柱レイヤー、ランドマーク(3Dマーカや充電ステーション)レイヤーを保持する構成としてもよい。
実施形態1から6に共通して適用できるUIについて説明する。撮像部が取得した視覚情報や、算出部が算出した位置姿勢、物体の検出結果、マップ情報などをユーザが確認することを説明する。また、AGVは自動制御で動くためユーザの入力により制御することを説明する。ユーザがAGVの状況を確認できるよう、AGVを制御することもできるように、表示装置として例えばディスプレイにGUIを表示し、マウスやタッチパネルといった入力装置によりユーザからの操作を入力する。なお、本実施形態において、ディスプレイはAGVに搭載されているものとしているが、このような構成に限るものではない。つまり、通信I/F(H17)を介して、ユーザの持つモバイル端末のディスプレイを表示装置として用いる、移動体管理システムに接続された液晶ディスプレイを表示装置として用いる、といったこともできる。AGVに搭載されている表示装置を用いる場合でも、AGVに搭載されていない表示装置を用いる場合でも、表示情報は、情報処理装置で生成することができる。また、AGVに搭載されていない表示装置を用いる場合には、表示装置に付随する計算機が、情報処理装置から表示情報の生成に必要な情報を取得し表示情報を生成してもよい。
実施形態6では、撮像部110が取得した視覚情報を意味的領域分割し、各画素が何の物体種であるかを判別しマップを生成する方法、およびそれらマップや判別した物体種に応じてAGVを制御する方法について述べた。実施形態8ではさらに、同一物体種でも状況によって異なる意味情報を認識し、それら認識結果を基にAGVを制御する方法について述べる。
本実施形態における撮像部110は、TOFカメラやステレオカメラなど、画像とデプスマップを取得できるものであれば何でもよい。さらには、画像のみを取得するRGBカメラや、モノクロカメラのような単眼カメラを用いてもよい。単眼カメラを用いる場合には位置及び姿勢の算出、占有マップの生成処理に奥行きが必要となるが、カメラの動きから奥行き値を算出することで本実施形態を実現する。なお、以降の実施形態において説明する撮像部110についても本実施形態と同様に構成する。
占有マップの接近拒絶度の値は物体の高さが高く、積み重なり数が大きい程大きく、距離が離れるほど小さくなる関数であれば本実施形態において説明した方法に限らない。例えば、物体の高さや積み重なり数に比例する関数としてもよいし、距離に反比例する関数としてもよい。物体の高さ、または積み重なり数のどちらか一方のみ考慮する関数でもよい。距離、物体の高さや積み重なり数に応じた占有の値を格納したリストを参照して定めてもよい。なお、このリストはあらかじめ外部メモリ(H14)に記憶しておいてもよいし、移動体管理システム13が保持しており、必要に応じて情報処理装置に通信I/F(H17)を介して情報処理装置80にダウンロードしてもよい。
本実施形態においては、撮像部110はAGVに搭載されていた例を示したが、AGVの進行方向を撮影できればAGVに搭載されている必要は無い。具体的には、天井に取り付けられた監視カメラを撮像装置110として用いてもよい。このときには、撮像装置110がAGVを撮影し、例えばICPアルゴリズムにより撮像装置110に対する位置姿勢を求めることができる。また、AGV上部にマーカを貼っておき、撮像装置110がマーカを検出することで位置姿勢を求めることもできる。また、撮像装置110がAGVの進行ルート上の物体を検出してもよい。撮像装置110は1台であっても複数台であってもよい。
本実施形態においては、意味情報とは物体の積み重なり度合のことであった。しかしながら、AGVが安全に、効率よく運行するための制御値を算出することのできる意味情報であれば、意味情報認識部8120はどのような意味情報を認識してもよい。また、その意味情報を用いて、制御部8130が制御値を算出してもよい。
入力画像に写る物体の外形を意味情報として用いることもできる。具体的には、検出した物体がとがっている場合にはそのような物体から距離をおいて走行するようにすることでAGVに傷を負わすことなく安全に運用できる。また、壁のように平らな物体であれば、一定距離を運行するようにすることで、AGVのふらつきを抑え、安定して効率よく運行できる。
本実施形態においては、意味情報を基にAGVを減速する方法を述べた。しかしながら、制御方法は上記の方法に限らず、AGVを効率的に、安全に運用できる方法であればよい。例えば、加減速のパラメータを変えるようにしてもよい。つまり意味情報に応じた減速においても緩やかに減速をするのか、急に減速するのかといった緻密な制御ができるようになる。回避のパラメータを変更してもよく、物体の近くを回避するのか、大きく回避するのか、ルートを変更して回避するのか、止まるのかといった制御を切り替えるように構成してもよい。また、AGVの制御値算出の頻度を増減する。頻度を増加させることでより緻密な制御ができるようになり、逆に低下させることにより緩徐に制御ができるようになる。このように意味情報を基に制御方法を変更することでより効率よく、安全にAGVを運用する。
実施形態8では、AGVの周りに存在する物体の積み重ね度合や形状、構造物の状態といった、ある一時刻の周囲の静的な意味情報を基にAGVを制御していた。実施形態9では、それらの時間的変化を踏まえてAGVを制御する。本実施形態における意味情報とは、画像に写る物体の移動量のことを指す。なお、本実施形態においては、画像に写る物体の移動量に加え、物体の種別も合わせて認識し、その結果をもとにAGVの制御値を算出する方法について述べる。具体的には、周囲の物体の種別として他の移動体であるAGVとそれらに積まれた荷物、および他のAGVの移動量を認識し、それら認識結果に基づいて自身(AGV)または他のAGVの制御値を算出する。
本実施形態においては、他の移動体としてAGVを検出していた。しかしながら、AGVに限らず、少なくとも位置や姿勢が変化し、それに応じてAGVの制御を変えることができればどのような物体を検出してもよい。具体的には、移動体としてフォークリフトや移動ロボットを検出してもよい。また、装置の一部の位置や姿勢が変化量を意味情報として認識し、それに応じてAGVの制御を変えてもよい。例えば、自動機やアームロボットのアーム、ベルトコンベアといった機器の可動部の移動量が例えば所定の動作速度より大きければ、よりAGVがそれらから所定の距離を離れて制御するようにしてもよい。
本実施形態においては、自分と他のAGVとどちらかが回避するような制御値を算出していたが、対象物の動きに応じて制御値を変えるような制御方法であればよい。具体的には、移動量の大小に応じて実施形態8で説明した占有マップの接近拒絶度の値を動的に更新し、これを用いてAGVの制御値を算出してもよい。
実施形態10ではさらに、人の作業や役割を認識した結果を基により安全にAGVを運行する方法について説明する。本実施形態においては、意味情報として人と人が保持する物体種をもとに人の作業種別を推定し、作業種別に応じてAGVの制御を行う。具体例を挙げると、人と人が押すハンドリフトを検出し作業種別として運搬作業を認識してAGVを回避させる制御や、人と人が持つ溶接機を検出し作業種別として溶接作業を認識しAGVのルートを変更するといった制御を実現する。なお、本実施形態においては、人と人が持つ物体に対応してAGVの制御を決める接近拒絶度のパラメータが、事前に人手によって与えられているものとする。パラメータとは具体的には、例えば、人が大きな荷物を持っている場合に0.4、人が台車を押していれば0.6、人が溶接機を持っていれば0.9といった値のことである。本実施形態においては、これらパラメータが保持されたパラメータリストを移動体管理システム13が保持している。必要に応じて情報処理装置に通信I/F(H17)を介して移動体管理システム13から情報処理装置80にダウンロードし、外部メモリ(H14)に保持して参照できるものとする。
実施形態10では、人と人が保持する物体の組み合わせを意味情報として認識していたが、人に付随する状態を認識してより安全にAGVを制御する方法であれば上記方法に限らない。
実施形態8から10に共通して適用できるUIについて説明する。撮像部110が取得した視覚情報や、位置姿勢算出部8110が算出した位置姿勢、マップ情報、制御値を提示するUIに加え、さらに実施形態8から10で説明した意味情報や占有マップに割り当てた値といった情報表示する。
本実施形態で説明したGUIは一例であって、意味情報認識部8120が算出した意味情報、制御部8130が算出した占有マップの接近拒絶度の値などを提示し、AGVの内部状態を把握するようにするGUIであればどのような可視化方法を用いてもよい。例えば色を変える、線の太さや実線・破線・二重線を切り替える、拡大縮小する、必要のない情報を隠す、というように表示情報を変更することもできる。このように表示情報の可視化方法を変えることで、ユーザがより直感的に表示情報を理解することができるようにする。
Claims (23)
- 移動体に搭載された撮像手段であって、撮像素子上の各々の受光部が2以上の受光素子によって構成される前記撮像手段によって推定された視差画像に基づいて、第1の方法によって取得された第1の奥行値の入力を受け付ける第1の入力手段と、
前記第1の方法とは異なる第2の方法によって取得された第2の奥行値との入力を受け付ける第2の入力手段と、
マップ情報を保持する保持手段と、
前記第1の奥行値の大きさに応じて決定された信頼度および前記第2の奥行値に基づいて補正された奥行情報と、前記マップ情報と、に基づいて前記撮像手段の位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて前記移動体の移動を制御する制御値を得る制御手段と、
を備えることを特徴とする情報処理装置。 - 前記奥行情報は、前記撮像手段が撮像した情報であり、前記撮像手段が前記受光素子を選択的に構成して生成したデプスマップであること、
を特徴とする請求項1記載の情報処理装置。 - 前記奥行情報は、前記撮像手段が撮像した情報であり、前記撮像手段が前記受光素子を選択的に構成して生成した空間中の三次元の位置情報を保持する三次元点群であること、を特徴とする請求項1記載の情報処理装置。
- 前記信頼度は、奥行値ごとの前記第1の奥行値の計測精度であり、
前記取得手段は、前記撮像手段によって取得された前記奥行値ごとの前記第1の奥行値の計測精度に基づいて補正された前記奥行情報と、前記マップ情報とに基づいて前記撮像手段の位置姿勢を取得すること、
を特徴とする請求項1に記載の情報処理装置。 - 前記取得手段は、前記奥行値ごとの前記第1の奥行値の計測精度と、前記奥行情報と、前記撮像手段が前記第1の奥行値を取得した第一の時刻より前の第二の時刻に取得した奥行値とに基づいて前記奥行情報を補正し、補正された前記奥行情報と前記マップ情報とに基づいて前記撮像手段の位置姿勢を取得すること、
を特徴とする請求項4に記載の情報処理装置。 - 前記制御手段がさらに、パターン光を投影するための投影装置を制御する制御値を算出する、
ことを特徴とする請求項1乃至5何れか1項に記載の情報処理装置。 - 前記入力手段がさらに、空間中の三次元位置を表す三次元情報を取得する三次元計測装置が計測した三次元情報の入力を受け付け、
前記取得手段がさらに、前記奥行情報と、前記三次元情報とを基に前記奥行情報を補正し、補正した奥行情報と前記マップ情報とに基づいて前記撮像手段の位置姿勢を取得すること、
を特徴とする請求項1乃至6何れか1項に記載の情報処理装置。 - 前記取得手段はさらに、前記奥行情報または前記マップ情報の何れか一方または両方から物体の位置姿勢情報を取得し、
前記制御手段は、前記物体の位置姿勢情報を基に前記移動体を制御する制御値を算出すること、
を特徴とする請求項1乃至7何れか1項に記載の情報処理装置。 - 前記制御手段がさらに、前記物体の位置姿勢情報を基に所定の物体が前記奥行情報の所定の地点に位置するように前記移動体を制御する制御値を算出すること、
を特徴とする請求項8記載の情報処理装置。 - 前記制御手段がさらに、前記物体の位置姿勢情報を基に所定の物体との衝突を避けるように前記移動体を制御する制御値を算出すること、
を特徴とする請求項8記載の情報処理装置。 - 前記取得手段がさらに、前記奥行情報を基に前記マップ情報を生成して補正し、
前記保持手段が、前記補正された前記マップ情報を保持すること
を特徴とする請求項1乃至10何れか1項に記載の情報処理装置。 - 前記取得手段がさらに、前記奥行情報を領域分割すること、
を特徴とする請求項1乃至11何れか1項に記載の情報処理装置。 - 前記取得手段がさらに、前記奥行情報を意味的な領域分割により領域分割すること、
を特徴とする請求項12記載の情報処理装置。 - 前記取得手段がさらに、前記領域分割の結果を基に前記マップ情報を生成し補正すること、を特徴とする請求項12または13記載の情報処理装置。
- 前記制御手段がさらに、前記領域分割の結果を基に前記移動体を制御する制御値を算出すること、
を特徴とする請求項12乃至14何れか1項に記載の情報処理装置。 - 前記制御手段がさらに、前記奥行情報、前記マップ情報、前記取得した位置姿勢、前記制御値の少なくとも一つを基に前記撮像手段のパラメータを調整する調整値を算出すること、
を特徴とする請求項1乃至15何れか1項記載の情報処理装置。 - 前記調整値とは、前記撮像手段のフォーカス値であること、
を特徴とする請求項16記載の情報処理装置。 - 前記調整値とは、前記撮像手段のズーム値であること、
を特徴とする請求項16記載の情報処理装置。 - 前記撮像手段は、光学装置を交換することが可能であり、
前記入力手段はさらに、前記交換した光学装置のパラメータを取得すること、
を特徴とする請求項1乃至18の何れか1項に記載の情報処理装置。 - 前記奥行情報、前記マップ情報、前記位置姿勢、前記制御値のうち少なくとも一つを基に表示情報を生成する表示情報生成手段
をさらに備えることを特徴とする請求項1乃至19の何れか1項に記載の情報処理装置。 - 移動体に搭載された撮像手段であって、撮像素子上の各々の受光部が2以上の受光素子によって構成される前記撮像手段によって推定された視差画像に基づいて第1の方法によって取得された第1の奥行値の入力を受け付ける第1の入力工程と、
前記第1の方法とは異なる第2の方法によって取得された第2の奥行値の入力を受け付ける第2の入力工程と、
マップ情報を保持手段に保持する工程と、
前記第1の奥行値の大きさに応じて決定された信頼度および前記第2の奥行値に基づいて補正された奥行情報と、前記マップ情報と、に基づいて前記撮像手段の位置姿勢を取得する取得工程と、
前記取得工程が取得した位置姿勢を基に移動体の移動を制御する制御値を算出する制御工程と、
を備えることを特徴とする情報処理方法。 - 移動体に搭載された撮像手段であって、撮像素子上の各々の受光部が2以上の受光素子によって構成される前記撮像手段と、
前記撮像手段によって推定された視差画像に基づいて、第1の方法によって取得された第1の奥行値の入力を受け付ける第1の入力手段と、
前記第1の方法とは異なる第2の方法によって取得された第2の奥行値との入力を受け付ける第2の入力手段と、
マップ情報を保持する保持手段と、
前記第1の奥行値の大きさに応じて決定された信頼度および前記第2の奥行値に基づいて補正された奥行情報と、前記マップ情報と、に基づいて前記撮像手段の位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて前記移動体の移動を制御する制御値を得る制御手段と、
を特徴とする情報処理システム。 - 移動体に搭載された撮像手段であって、撮像素子上の各々の受光部が2以上の受光素子によって構成される前記撮像手段と、
前記撮像手段によって推定された視差画像に基づいて、第1の方法によって取得された第1の奥行値の入力を受け付ける第1の入力手段と、
前記第1の方法とは異なる第2の方法によって取得された第2の奥行値との入力を受け付ける第2の入力手段と、
マップ情報を保持する保持手段と、
前記第1の奥行値の大きさに応じて決定された信頼度および前記第2の奥行値に基づいて補正された奥行情報と、前記マップ情報と、に基づいて前記撮像手段の位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて前記移動体の移動を制御する制御値を得る制御手段と、
前記制御値で前記移動体の移動を制御するアクチュエータと、を備えること、
を特徴とする移動体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003817 | 2018-01-12 | ||
JP2018003817 | 2018-01-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125345A JP2019125345A (ja) | 2019-07-25 |
JP7341652B2 true JP7341652B2 (ja) | 2023-09-11 |
Family
ID=67218687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018207192A Active JP7341652B2 (ja) | 2018-01-12 | 2018-11-02 | 情報処理装置、情報処理方法、プログラム、およびシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7341652B2 (ja) |
WO (1) | WO2019138834A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220282987A1 (en) * | 2019-08-08 | 2022-09-08 | Sony Group Corporation | Information processing system, information processing device, and information processing method |
JP7221183B2 (ja) * | 2019-09-20 | 2023-02-13 | 株式会社日立製作所 | 機械学習方法、フォークリフト制御方法、及び機械学習装置 |
JP7221839B2 (ja) * | 2019-10-08 | 2023-02-14 | 国立大学法人静岡大学 | 自律移動ロボットおよび自律移動ロボットの制御プログラム |
WO2021070651A1 (ja) * | 2019-10-10 | 2021-04-15 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN110826604A (zh) * | 2019-10-24 | 2020-02-21 | 西南交通大学 | 一种基于深度学习的物料分拣方法 |
CN110926425A (zh) * | 2019-11-01 | 2020-03-27 | 宁波大学 | 一种3d结构光相机的导航物流运输***及其控制方法 |
SG10201913873QA (en) * | 2019-12-30 | 2021-07-29 | Singpilot Pte Ltd | Sequential Mapping And Localization (SMAL) For Navigation |
US20210217194A1 (en) * | 2020-01-13 | 2021-07-15 | Samsung Electronics Co., Ltd. | Method and apparatus with object information estimation and virtual object generation |
KR20220127815A (ko) * | 2020-01-16 | 2022-09-20 | 소니그룹주식회사 | 표시 장치, 화상 생성 방법 및 프로그램 |
JP7429143B2 (ja) | 2020-03-30 | 2024-02-07 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP6849256B1 (ja) * | 2020-05-08 | 2021-03-24 | シンメトリー・ディメンションズ・インク | 3次元モデル構築システム、および3次元モデル構築方法 |
JP7497642B2 (ja) | 2020-07-30 | 2024-06-11 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
GB2598758B (en) * | 2020-09-10 | 2023-03-29 | Toshiba Kk | Task performing agent systems and methods |
JPWO2022113771A1 (ja) * | 2020-11-26 | 2022-06-02 | ||
US20240118707A1 (en) * | 2020-12-15 | 2024-04-11 | Nec Corporation | Information processing apparatus, moving body control system, control method, and non-transitory computer-readable medium |
JP7473016B2 (ja) | 2020-12-25 | 2024-04-23 | 日本電気株式会社 | システム、情報処理装置、方法、及びプログラム |
JP2022175900A (ja) * | 2021-05-14 | 2022-11-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN117321526A (zh) * | 2021-06-02 | 2023-12-29 | 国立大学法人东北大学 | 信息处理装置、移动体、信息处理方法以及程序 |
JP7447060B2 (ja) * | 2021-07-29 | 2024-03-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、自律走行ロボット装置、及びコンピュータプログラム |
US20230082486A1 (en) * | 2021-09-13 | 2023-03-16 | Southwest Research Institute | Obstacle Detection and Avoidance System for Autonomous Aircraft and Other Autonomous Vehicles |
DE102022108769A1 (de) * | 2022-04-11 | 2023-10-12 | Still Gesellschaft Mit Beschränkter Haftung | Umfeld-Überwachungs-System und Flurförderzeug mit einem Umfeld-Überwachungs-System |
JP2024007754A (ja) * | 2022-07-06 | 2024-01-19 | キヤノン株式会社 | 情報処理システム、情報処理装置、端末装置および情報処理システムの制御方法 |
WO2024057800A1 (ja) * | 2022-09-12 | 2024-03-21 | 株式会社島津製作所 | 移動体の制御方法、搬送装置、および作業システム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122904A (ja) | 2008-11-19 | 2010-06-03 | Hitachi Ltd | 自律移動ロボット |
JP2011137697A (ja) | 2009-12-28 | 2011-07-14 | Canon Inc | 照明装置及び該照明装置を用いた計測システム |
JP2011237215A (ja) | 2010-05-07 | 2011-11-24 | Nikon Corp | デプスマップ出力装置 |
JP2016045825A (ja) | 2014-08-26 | 2016-04-04 | 三菱重工業株式会社 | 画像表示システム |
JP2016170060A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 |
JP2016192028A (ja) | 2015-03-31 | 2016-11-10 | 株式会社デンソー | 自動走行制御装置および自動走行制御システム |
JP2017122993A (ja) | 2016-01-05 | 2017-07-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017156162A (ja) | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017161491A (ja) | 2015-07-29 | 2017-09-14 | ヤマハ発動機株式会社 | 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両 |
JP2017215525A (ja) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017103619A (ja) * | 2015-12-02 | 2017-06-08 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JP6755679B2 (ja) * | 2016-03-04 | 2020-09-16 | キヤノン株式会社 | 撮像装置 |
-
2018
- 2018-11-02 JP JP2018207192A patent/JP7341652B2/ja active Active
- 2018-12-20 WO PCT/JP2018/047022 patent/WO2019138834A1/ja active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122904A (ja) | 2008-11-19 | 2010-06-03 | Hitachi Ltd | 自律移動ロボット |
JP2011137697A (ja) | 2009-12-28 | 2011-07-14 | Canon Inc | 照明装置及び該照明装置を用いた計測システム |
JP2011237215A (ja) | 2010-05-07 | 2011-11-24 | Nikon Corp | デプスマップ出力装置 |
JP2016045825A (ja) | 2014-08-26 | 2016-04-04 | 三菱重工業株式会社 | 画像表示システム |
JP2016170060A (ja) | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法 |
JP2016192028A (ja) | 2015-03-31 | 2016-11-10 | 株式会社デンソー | 自動走行制御装置および自動走行制御システム |
JP2017161491A (ja) | 2015-07-29 | 2017-09-14 | ヤマハ発動機株式会社 | 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両 |
JP2017122993A (ja) | 2016-01-05 | 2017-07-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017156162A (ja) | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017215525A (ja) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2019138834A1 (ja) | 2019-07-18 |
JP2019125345A (ja) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7341652B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびシステム | |
US11830618B2 (en) | Interfacing with a mobile telepresence robot | |
US11861892B2 (en) | Object tracking by an unmanned aerial vehicle using visual sensors | |
US20240062663A1 (en) | User Interaction With An Autonomous Unmanned Aerial Vehicle | |
US11704812B2 (en) | Methods and system for multi-target tracking | |
US11989029B2 (en) | Information processing apparatus, information processing method, information processing system, and storage medium | |
US11468983B2 (en) | Time-dependent navigation of telepresence robots | |
JP7479799B2 (ja) | 情報処理装置、情報処理方法、プログラムおよびシステム | |
KR102597216B1 (ko) | 공항용 안내 로봇 및 그의 동작 방법 | |
WO2015017691A1 (en) | Time-dependent navigation of telepresence robots | |
Chatterjee et al. | Vision based autonomous robot navigation: algorithms and implementations | |
Bipin et al. | Autonomous navigation of generic monocular quadcopter in natural environment | |
Kenk et al. | Human-aware Robot Navigation in Logistics Warehouses. | |
Dinaux et al. | FAITH: Fast iterative half-plane focus of expansion estimation using optic flow | |
EP4024155B1 (en) | Method, system and computer program product of control of unmanned aerial vehicles | |
WO2023127337A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US12001216B2 (en) | Carpet detection method, movement control method, and mobile machine using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7341652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |