JP7367231B2 - 自律走行車、制御装置及びプログラム - Google Patents

自律走行車、制御装置及びプログラム Download PDF

Info

Publication number
JP7367231B2
JP7367231B2 JP2022557518A JP2022557518A JP7367231B2 JP 7367231 B2 JP7367231 B2 JP 7367231B2 JP 2022557518 A JP2022557518 A JP 2022557518A JP 2022557518 A JP2022557518 A JP 2022557518A JP 7367231 B2 JP7367231 B2 JP 7367231B2
Authority
JP
Japan
Prior art keywords
transport
target
autonomous vehicle
control device
conveyance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022557518A
Other languages
English (en)
Other versions
JPWO2022085625A1 (ja
JPWO2022085625A5 (ja
Inventor
耕志 寺田
達 礒部
潤 ▲羽▼鳥
遼介 奥田
博俊 九乗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Robotics
Original Assignee
Preferred Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Robotics filed Critical Preferred Robotics
Publication of JPWO2022085625A1 publication Critical patent/JPWO2022085625A1/ja
Publication of JPWO2022085625A5 publication Critical patent/JPWO2022085625A5/ja
Application granted granted Critical
Publication of JP7367231B2 publication Critical patent/JP7367231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

特許法第30条第2項適用 令和2年8月28日にhttps://www.mlit.go.jp/report/press/house04_hh_000956.html、https://www.mlit.go.jp/report/press/content/001359407.pdf#page=2、及びhttps://www.mlit.go.jp/report/press/content/001359411.pdfにて公開
本開示は、自律走行車、制御装置及びプログラムに関する。
自律走行車の一例である無人搬送車は、一般に産業用途に用いられ、予め定められたタスクに応じた搬送対象を、ユーザによる運転操作を伴うことなく、自動で搬送することができる。
一方で、無人搬送車の場合、例えば、ユーザの声による搬送指示に基づき、新たなタスクを認識したり、認識した新たなタスクに応じた搬送対象を、適宜判断して搬送することはできない。
特開2019-148881号公報
本開示は、音による搬送指示に応じたタスクを実行可能な自律走行車を提供する。
本開示の一態様による自律走行車は、例えば、以下のような構成を有する。即ち、
搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
前記搬送対象とドッキングするためのドッキング機構と、
音入力装置と、
前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と
を有し、
前記自律走行車は、キャスタ付きの搬送対象とドッキングし、
前記ドッキング機構は、前記自律走行車が前記搬送対象の下側のキャスタ間に進入して当該搬送対象とドッキングし、当該搬送対象が有する物品を当該搬送対象ごと搬送可能とする
図1は、自律走行車の利用シーンの一例を示す図である。 図2は、自律走行車の外観構成の一例を示す図である。 図3は、自律走行車の内部構成及び下面構成の一例を示す図である。 図4は、自律走行車が搬送対象となる棚とドッキングする様子を示した図である。 図5は、棚のキャスタと自律走行車のドッキング機構との位置関係を示す図である。 図6は、ドッキング時のドッキング機構の動作例を示す図である。 図7は、制御装置のハードウェア構成の一例を示す図である。 図8は、制御装置の機能構成の一例を示す図である。 図9は、搬送対象管理テーブルの一例を示す図である。 図10は、自律走行処理の流れを示すフローチャートの一例である。 図11は、音声指示による納入搬送処理の流れを示すフローチャートの一例である。 図12は、納入搬送時の自律走行車の動作例を示す図である。 図13は、音声指示による戻し搬送処理の流れを示すフローチャートの一例である。 図14は、戻し搬送時の自律走行車の動作例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
[第1の実施形態]
<自律走行車の利用シーン>
はじめに、第1の実施形態に係る自律走行車の利用シーンについて説明する。図1は、自律走行車の利用シーンの一例を示す図である。図1に示すように、自律走行車120は、例えば、自宅のリビング等の所定空間100において、ユーザ110がソファでくつろぐシーン等で利用される。
図1に示す利用シーンは、例えば、ユーザ110がノートPCを使用しようとして、自律走行車120に対して、
・ウェイクワードを発声した後、
・「ノートPCを持ってきて」と発声した場合(すなわち、音声による搬送指示(以降、音声指示と呼ぶ)が行われた場合)、
を示している。この場合、自律走行車120は、キャスタ付きの棚130~150の中から、ノートPCや書物等の仕事道具131が載置された棚130を搬送対象として特定し、棚130とドッキングした後、棚130をユーザ110の近傍の位置まで搬送する。なお、自律走行車120は、ウェイクワードなしに行われた音声指示に従うよう構成されてもよい。
このように、自律走行車120を利用すれば、ユーザ110は、音声指示を行うだけで、ソファから動くことなく、離れた位置にあるノートPCを手元に置くことができる。
なお、図1の例は、ユーザ110が音声指示を行った時点で、棚130が、所定空間100内のアンカ170の位置に待機していた場合を示している。また、図1の例は、アンカ170の位置に待機していた棚130を、ユーザ110の近傍の位置172まで搬送する際に、最短の搬送経路上に、障害物として、ごみ箱160が置かれていた場合を示している。
このような場合、自律走行車120は、棚130の搬送中にごみ箱160を検知し、点線矢印171に示す搬送経路で棚130を搬送することで、ごみ箱160との衝突を回避する。
また、図1には示していないが、自律走行車120が棚130をユーザ110の近傍の位置172まで搬送し、ユーザ110がノートPCを棚130から取り出した後、自律走行車120に対して、「棚を元の位置に戻して」との音声指示を行ったとする。この場合、自律走行車120は、棚130を、アンカ170の位置まで搬送する。
また、図1の例では、自律走行車120が搬送対象として棚130を搬送する場合について示したが、ユーザ110の音声指示の内容によっては、自律走行車120が、棚140または棚150を搬送対象として特定して搬送してもよい。また、図1の例では、自律走行車120が、ユーザ110の近傍の位置を棚130の搬送先の位置として特定した。しかしながら、ユーザ110の音声指示の内容によっては、自律走行車120が、所定空間100内に設置された所定の設置物(例えば、家具等)の近傍の位置や、所定空間100内の任意の位置を、棚130の搬送先の位置として特定してもよい。
<自律走行車の外観構成>
次に、自律走行車120の外観構成について説明する。図2は、自律走行車の外観構成の一例を示す図である。
図2の2aに示すように、自律走行車120は、全体として直方体の形状を有しており、搬送対象となる棚の最下段の下側に進入できるよう、高さ方向(z軸方向)及び幅方向(x軸方向)の寸法が規定されている。なお、自律走行車120の形状は直方体に限定されない。
自律走行車120の上面210には、搬送対象となる棚とドッキングするためのドッキング機構を構成する部材であるロックピン211が設置されている。また、自律走行車120の上面210には、LIDAR(Laser Imaging Detection and Ranging)212が設置されている。LIDAR212は、自律走行車120の上面210の高さ位置における、前後方向(y軸方向)及び幅方向(x軸方向)を測定範囲としており、LIDAR212による測定結果を用いることで、当該測定範囲にある障害物等を検出することができる。
自律走行車120の前面220には、前面RGBカメラ221と、ToF方式(Time of Flight方式)のカメラ(ToFカメラ222)とが設置されている。なお、本実施形態の前面RGBカメラ221は、ToFカメラ222の上側に設置されるが、前面RGBカメラ221の設置位置は、この位置に限定されない。
前面RGBカメラ221は、自律走行車120が前進方向に移動する際、例えば、
・搬送対象となる棚(例えば、棚130)、
・搬送先の近傍にいるユーザ(例えば、ユーザ110)、搬送先の近傍にある設置物、
・搬送経路上の障害物(例えば、ごみ箱160)、
等を撮影し、カラー画像を出力する。
ToFカメラ222は距離画像センサの一例であり、マルチパス問題を回避するために、自律走行車120が走行する走行面(図2の2bに示す床面240)が測定範囲に含まれない程度に、自律走行車120の前面220において上向きに設置される。マルチパス問題の一例として、光源から出射した光が床面240を経由して他の対象物で反射し、その反射光をToFカメラ222が受光することによる測定精度の悪化が挙げられる。本実施形態において、ToFカメラ222の自律走行車120の前面220における上向きの設置角度Θは、床面240に対して約50度であるとする。
また、ToFカメラ222は、自律走行車120が前進方向に移動する際、少なくともドッキングした棚が通過する領域(ドッキングした棚の高さ×ドッキングした棚の幅分の領域)を測定範囲として障害物等を撮影し、距離画像(深度画像)を出力する。なお、本実施形態において、ToFカメラ222の垂直画角θvは70度、水平画角θhは90度であるとする。
自律走行車120の下面230には、駆動輪231と、従動輪232とが設置され、自律走行車120を支持する。
駆動輪231は、幅方向(x軸方向)に1つずつ設置されており(幅方向に計2つ設置されており)、それぞれが独立してモータ駆動されることで、自律走行車120を、前進/後退方向(y軸方向)に移動させることができる。また、駆動輪231は、自律走行車120を、z軸周りに旋回させることができる。
従動輪232は、幅方向(x軸方向)に1つずつ(幅方向に計2つ)設置されている。また、従動輪232は、自律走行車120に対して、それぞれがz軸周りに旋回可能に設置されている。なお、従動輪232の設置位置や設置数は、上記以外でもよい。
<自律走行車の内部構成及び下面構成の詳細>
次に、自律走行車の内部構成及び下面構成の詳細について説明する。図3は、自律走行車の内部構成及び下面構成の一例を示す図である。
このうち、図3の3aは、自律走行車120の上面カバーを取り外して、真上から見た様子を示している。以下、図3の3aを参照しながら、自律走行車120の内部を構成する各部について説明する。
(a-1)第1制御基板及び第2制御基板
はじめに第1制御基板及び第2制御基板について説明する。図3の3aに示すように、自律走行車120は、第1制御基板311及び第2制御基板312を有する。本実施形態において、第1制御基板311は、例えば、電子デバイスを制御し、第2制御基板312は、例えば、駆動デバイスを制御する。ただし、第1制御基板311と第2制御基板312の役割区分はこれに限定されない。
なお、図3の3aの例では、第1制御基板311と第2制御基板312とが、分かれて設置される場合を示しているが、第1制御基板311と第2制御基板312とは、1つの基板として一体的に設置されてもよい。第1制御基板311と第2制御基板312とを分けて設置するか、一体的に設置するかに関わらず、本実施形態では、第1制御基板311が有する機能と第2制御基板312が有する機能の両方を備える装置を、制御装置310と称す。
(a-2)ドッキング機構
次に、ドッキング機構について説明する。図3の3aに示すように、自律走行車120は、搬送対象となる棚とドッキングするためのドッキング機構として、ソレノイド式のロックピン211と、フォトリフレクタ330とを有する。なお、本実施形態のドッキング機構はソレノイド式のロックピンを用いているが、ロックピンの昇降を、ソレノイド以外の電磁アクチュエータで行っても、ラックアンドピニオン機構、台形ねじ機構、空気圧駆動機構など、他のアクチュエータで行ってもよい。
本実施形態において、ソレノイド式のロックピン211は、幅方向(x軸方向)に1つずつ設置された駆動輪231の幅方向(x軸方向)の中心位置であって、駆動輪231の回転軸上に設置される(図3の3a、3bの一点鎖線参照)。
ソレノイド式のロックピン211は、圧縮コイルばねを内蔵しており、ソレノイドがONになるとロックピン211が吸引されて、圧縮コイルばねが縮む。一方、ソレノイド式のロックピン211は、ソレノイドがOFFになると、圧縮コイルばねの圧縮力により、上方(z軸方向、図3の3aの場合は紙面手前側)に突出する。なお、ソレノイドのON/OFFは、制御装置310によって制御される。
フォトリフレクタ330は、自律走行車120が、搬送対象となる棚の最下段の下側に進入した際に、搬送対象となる棚に取り付けられたロックガイドの孔(詳細は後述)にロックピン211を突出させることが可能であるか否かを判定するための信号を出力する。
自律走行車120は、フォトリフレクタ330より出力された信号に基づいて、ロックピン211を突出させることが可能であると判定した場合に、ソレノイドをOFFにする。なお、本実施形態でフォトリフレクタを用いてロックピン211とロックガイドの孔との対面状態を検出するようにしているが、フォトリフレクタ以外の方式で、この検出を行うようにしてもよい。フォトリフレクタ以外の方式としては、例えば、カメラや物理スイッチ、磁気式センサ、超音波センサ等を用いた方式が挙げられる。
これにより、ロックピン211がロックガイドの孔に向けて突出し、突出したロックピン211がロックガイドの孔に挿入される。この結果、自律走行車120と、搬送対象の棚とのドッキングが完了する。
なお、上述したように、ソレノイド式のロックピン211は、幅方向(x軸方向)に1つずつ設置された駆動輪231の幅方向(x軸方向)の中心位置に設置されている(幅方向において対称である)。このため、自律走行車120は、搬送対象となる棚の最下段の下側へ進入する際、前進方向で進入することも後退方向で進入することもできる。
一方、自律走行車120が、搬送対象の棚とドッキングした状態で、ソレノイドをONにすることで、ロックピン211を吸引すると、自律走行車120と搬送対象の棚との間のドッキングが解除される。
(a-3)各種入出力装置
次に、各種入出力装置について説明する。図3の3aに示すように、自律走行車120は、各種入出力装置として、上述したLIDAR212、前面RGBカメラ221、ToFカメラ222に加えて、後面RGBカメラ320、マイク301~304、スピーカ305~306を有する。
このうち、LIDAR212、前面RGBカメラ221、ToFカメラ222の設置位置、設置方向、測定範囲、測定対象等については説明済みであるため、ここでは説明を省略する。
後面RGBカメラ320は、自律走行車120が後退方向に移動する際、例えば、
・搬送対象となる棚(例えば、棚130)、
・搬送対象の棚の周辺の障害物、
等を撮影し、カラー画像を出力する。
マイク301~304は、音入力装置の一例であり、自律走行車120のコーナ部4か所(前面側2か所、後面側2か所)にそれぞれ設置され、それぞれの方向からの音を検出する。このように、自律走行車120のコーナ部4か所にマイク301~304を設置することで、自律走行車120の現在の位置及び向きに対して、音声指示を行ったユーザ110がいずれの方向にいるのかを判定し、ユーザ110の位置を推定することができる。
スピーカ305~306は、音声出力装置の一例であり、自律走行車120の側面方向に向かって、音声を出力する。スピーカ305~306は、例えば、ユーザ110による音声指示に対して、自律走行車120が認識したタスクの内容を確認するための音声を出力する。
一方、図3の3bは、自律走行車120を下面から見た様子を示している。以下、図3の3bを参照しながら、自律走行車120の下面を構成する各部について説明する。
(b-1)駆動輪
はじめに、駆動輪231について説明する。図3の3bに示すように、自律走行車120は、幅方向(x軸方向)に1つずつ設置された駆動輪231を有する。上述したように、駆動輪231は、それぞれが独立してモータ駆動されることで、自律走行車120を、前進/後退方向(y軸方向)に移動させたり、z軸周りに旋回させたりすることができる。
具体的には、駆動輪231の両方を正転させることで、自律走行車120を前進方向に移動させ、駆動輪231の両方を逆転させることで、自律走行車120を後退方向に移動させることができる。また、駆動輪231の一方を正転させ、他方を逆転させることで、自律走行車120を旋回させることができる。
なお、上述したように、駆動輪231の一方の回転軸と他方の回転軸とは、同軸上に形成されており、ソレノイド式のロックピン211は、同軸上において、駆動輪231の一方と駆動輪231の他方との中心位置に設置されている。このため、駆動輪231の一方を正転させ、駆動輪231の他方を逆転させた場合、自律走行車120は、ソレノイド式のロックピン211を中心に、旋回することになる。
(b-2)従動輪
次に、従動輪232について説明する。図3の3bに示すように、自律走行車120は、幅方向(x軸方向)に1つずつ設置された従動輪232を有する。上述したように、従動輪232は、それぞれが、z軸周りに旋回可能に設置されている。このため、例えば、自律走行車120が前進方向または後退方向に移動した後に旋回する場合、従動輪232は、その向きを旋回方向に直ちに追従させることができる。また、例えば、自律走行車120が旋回した後に前進方向または後退方向に移動する場合、従動輪232は、その向きを前進または後退方向に直ちに追従させることができる。
<ドッキングの概要>
次に、ドッキングの概要について説明する。図4は、自律走行車が搬送対象となる棚とドッキングする様子を示した図である。このうち、図4の4aは、自律走行車120が、アンカ170の位置に待機する、搬送対象となる棚130とドッキングする直前の様子を示したものである。
図4の4aに示すように、棚130は段数が3段の棚であり、最下段400の下側には、フレームガイド410、420が、自律走行車120の幅に応じた間隔で、略平行に取り付けられている。これにより、自律走行車120が、搬送対象となる棚130の最下段400の下側に進入する際の進入方向が規定される。また、フレームガイド410、420は、自律走行車120が搬送対象となる棚130を搬送する際、幅方向のガイド部として機能し、棚130が自律走行車120に対して幅方向にずれることを防止する。
また、棚130の足元には、キャスタ431~434が旋回可能に取り付けられている。これにより、自律走行車120は、ドッキングした棚130を容易に搬送することができる。
一方、図4の4bは、自律走行車120が搬送対象となる棚130にドッキングした後の様子を示したものである。図4の4bに示すように、棚130にドッキングした状態であっても、自律走行車120の前面220は、棚130の各段によって覆われない(前面220が、棚130の各段よりも前進方向に突出する)。このため、自律走行車120が棚130を搬送する際に、前面RGBカメラ221の測定範囲が、棚130のいずれかの段によって遮られることはない。
同様に、ToFカメラ222についても、自律走行車120が棚130を搬送する際に、測定範囲(垂直画角θv、水平画角θh)が、棚130のいずれかの段によって遮られることはない。
一方、LIDAR212は、自律走行車120が棚130にドッキングした状態で、自律走行車120の高さ位置における前方及び後方の測定範囲が遮られることはない。しかしながら、幅方向の測定範囲についてはフレームガイド410、420によって遮られる可能性がある。
このため、棚130のフレームガイド410、420には、LIDAR212の幅方向の測定範囲を遮蔽する割合を低減するために、開口部411、421が設けられている。これにより、自律走行車120が棚130を搬送する際に、LIDAR212は、自律走行車120の高さ位置における前方、後方及び幅方向の測定範囲を、棚130によって遮られることなく測定することができる。
なお、図4の4bにおいては示されていないが、マイク301及び302(前面側に設置されたマイク)も、自律走行車120が棚130にドッキングした状態で、棚130の各段よりも前進方向に突出した位置に配置される。このため、自律走行車120が棚130を搬送する際に、前面側のマイク301及び302の検出範囲が、棚130のいずれかの段によって遮られることはない。
<棚のキャスタの位置と自律走行車のドッキング機構の位置との関係>
次に、棚130に旋回可能に取り付けられたキャスタ431~434と、自律走行車120のドッキング機構との位置関係について説明する。図5は、棚のキャスタと自律走行車のドッキング機構との位置関係を示す図である。
このうち、図5の5aは、自律走行車120が棚130にドッキングした状態を、棚130の最下段400の真上から見た様子を示している。ただし、説明の便宜上、最下段400は、外枠のみを示している。また、図5の5bは、自律走行車120が棚130にドッキングした状態を、自律走行車120の前面220の方向から見た様子を示している。
図5の5aに示すように、棚130の4つのキャスタ431~434は、最下段400の角部に旋回可能に取り付けられている。4つのキャスタ431~434の旋回範囲は、符号501~符号504で示す通りであり、符号501~符号504の旋回範囲の中心位置が、キャスタ431~434の旋回中心の位置となる。
また、図5の5aに示すように、棚130の最下段400の下側には、ロックガイド510が取り付けられており、ロックガイド510には、ソレノイド式のロックピン211が突出した際に挿入される孔511が設けられている。
なお、ロックガイド510は、表面が、例えば、白色により構成されているものとする。これは、ロックガイド510の孔511にロックピン211を挿入することが可能であるか否かを、フォトリフレクタ330より出力される信号に基づいて判定する際に、判定しやすくするためである。
ロックガイド510の孔511にロックピン211を挿入することで、自律走行車120が棚130を搬送する際に、棚130が自律走行車120に対して前進方向または後退方向にずれることを防止することができる。なお、本実施形態では、ロックピン211が突出した状態にあるか否かを明示するために、突出した状態にあるロックピン211については、図面上、黒色で示すこととする。
ここで、ロックガイド510の孔511は、その中心位置が、棚130の4つのキャスタ431~434の各旋回中心に対する中心位置と一致するように構成されている(図5の5a、5bの破線及び一点鎖線参照)。このため、自律走行車120が棚130にドッキングした状態では、ロックピン211の中心位置は、棚130の4つのキャスタ431~434の各旋回中心に対しても中心位置となる。
上述したように、自律走行車120は、ロックピン211を中心に旋回するように構成されていることから、自律走行車120が旋回した場合、棚130は、4つのキャスタ431~434の各旋回中心に対する中心位置の周りを旋回することになる。つまり、自律走行車120が旋回した場合の、棚130の旋回範囲は符号520で示す範囲となる(自律走行車120は、棚130を、最小の旋回範囲で旋回させることができる)。
<ドッキング機構の動作例>
次に、自律走行車120が棚130にドッキングする場合のドッキング機構の動作例(ここでは、アンカ170の位置に待機していた棚130にドッキングする場合の動作例)について説明する。図6は、ドッキング時のドッキング機構の動作例を示す図である。図5の5aと同様に、図6は、棚130の最下段400の真上から見た様子を示している。ただし、説明の便宜上、最下段400は、外枠のみを示している。
図6の6aは、自律走行車120が搬送対象となる棚130の近傍の位置まで移動した後、前面RGBカメラ221により撮影されたカラー画像に基づき、棚130を探索した様子を示している。なお、棚130の探索方法は任意であり、例えば、予め算出された棚130の形状特徴量と、カラー画像から抽出された棚130の形状特徴量とに基づいて、パターンマッチングを行い、棚130を探索してもよい。あるいは、予め棚130に施された、棚130を識別するためのマーカを、カラー画像から抽出することで、棚130を探索してもよい。あるいは、深層学習ベースの物体認識モデルを用いて、カラー画像に対してインスタンスセグメンテーションを行うことで、棚130を探索してもよい。
更に、図6の6aは、自律走行車120が棚130を探索することができた場合に、棚130の位置と向き(フレームガイド410、420の向き)を認識し、ドッキングする際の進入方向に対して180度旋回した様子を示している。
180度旋回した自律走行車120は、後面RGBカメラ320により撮影されたカラー画像に基づいて、ドッキングを開始する。
具体的には、ソレノイドをONにすることで、ロックピン211を吸引した後、後退方向への移動を開始し、最下段400の下側であって、フレームガイド410とフレームガイド420との間に進入する。
図6の6bは、自律走行車120が後退方向に移動しながら、フレームガイド410とフレームガイド420との間に進入する様子を示している。進入中、自律走行車120は、フォトリフレクタ330の測定結果を監視し、ロックガイド510の孔511にロックピン211を挿入することが可能であるか否かを判定する。
図6の6cは、ロックガイド510の孔511にロックピン211を挿入することが可能な状態を示している。図6の6cに示す状態で、自律走行車120は、ソレノイドをOFFにすることで、ロックピン211を突出させ、孔511に挿入する。これにより、自律走行車120による、棚130へのドッキングが完了する。
<制御装置のハードウェア構成>
次に、制御装置310のハードウェア構成について説明する。図7は、制御装置のハードウェア構成の一例を示す図である。制御装置310は、構成要素として、プロセッサ701、主記憶装置(メモリ)702、補助記憶装置703、ネットワークインタフェース704、デバイスインタフェース705を有する。制御装置310は、これらの構成要素がバス706を介して接続されたコンピュータとして実現される。なお、図7の例では、制御装置310は、各構成要素を1個ずつ備えるものとして示しているが、制御装置310は、同じ構成要素を複数備えていてもよい。
制御装置310の各種演算は、1または複数のプロセッサを用いて、並列処理で実行されてもよい。また、各種演算は、プロセッサ701内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部または全部は、ネットワークインタフェース704を介して制御装置310と通信可能なクラウド上に設けられた外部装置730(プロセッサ及び記憶装置の少なくとも一方)により実行されてもよい。このように、制御装置310は、1台または複数台のコンピュータによる並列コンピューティングの形態をとってもよい。
プロセッサ701は、電子回路(処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA、又はASIC等)であってもよい。また、プロセッサ701は、専用の処理回路を含む半導体装置等であってもよい。なお、プロセッサ701は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ701は、量子コンピューティングに基づく演算機能を含むものであってもよい。
プロセッサ701は、制御装置310の内部構成の各装置等から入力された各種データや命令に基づいて各種演算を行い、演算結果や制御信号を各装置等に出力する。プロセッサ701は、OS(Operating System)や、アプリケーション等を実行することにより、制御装置310が備える各構成要素を制御する。
また、プロセッサ701は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいはデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
主記憶装置702は、プロセッサ701が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置702に記憶された各種データがプロセッサ701により読み出される。補助記憶装置703は、主記憶装置702以外の記憶装置である。なお、これらの記憶装置は、各種データ(例えば、後述する搬送対象管理テーブル格納部801、環境地図格納部802に格納されるデータ)を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。制御装置310において各種データを保存するための記憶装置は、主記憶装置702又は補助記憶装置703により実現されてもよく、プロセッサ701に内蔵される内蔵メモリにより実現されてもよい。
また、1つの主記憶装置702に対して、複数のプロセッサ701が接続(結合)されてもよいし、単数のプロセッサ701が接続されてもよい。あるいは、1つのプロセッサ701に対して、複数の主記憶装置702が接続(結合)されてもよい。制御装置310が、少なくとも1つの主記憶装置702と、この少なくとも1つの主記憶装置702に接続(結合)される複数のプロセッサ701とで構成される場合、複数のプロセッサ701のうち少なくとも1つのプロセッサが、少なくとも1つの主記憶装置702に接続(結合)される構成を含んでもよい。また、複数台の制御装置310に含まれる主記憶装置702とプロセッサ701とによって、この構成が実現されてもよい。さらに、主記憶装置702がプロセッサと一体になっている構成(例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ)を含んでもよい。
ネットワークインタフェース704は、無線又は有線により、通信ネットワーク740に接続するためのインタフェースである。ネットワークインタフェース704には、既存の通信規格に適合したもの等、適切なインタフェースが用いられる。ネットワークインタフェース704により、通信ネットワーク740を介して接続された外部装置730と各種データのやり取りが行われてもよい。なお、通信ネットワーク740は、WAN(Wide Area Network)、LAN(Local Area Network)、PAN(Personal Area Network)等のいずれか、又は、それらの組み合わせであってもよく、コンピュータとその他の外部装置730との間で情報のやり取りが行われるものであればよい。WANの一例としてインタネット等があり、LANの一例としてIEEE802.11やイーサネット等があり、PANの一例としてBluetooth(登録商標)やNFC(Near Field Communication)等がある。
デバイスインタフェース705は、外部装置750と直接接続するUSB等のインタフェースである。
外部装置750はコンピュータと接続されている装置である。外部装置750は、一例として、入力装置であってもよい。本実施形態において、入力装置は、例えば、カメラ(前面RGBカメラ221、ToFカメラ222、後面RGBカメラ320)、マイクロフォン(マイク301~304)、各種センサ(フォトリフレクタ330)等の電子デバイスであり、取得した情報をコンピュータに与える。
また、外部装置750は、一例として、出力装置であってもよい。本実施形態において、出力装置は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、又は有機EL(Electro Luminescence)パネル等の表示装置であってもよいし、音声等を出力するスピーカ(スピーカ305~306)等であってもよい。また、各種駆動装置(モータ、ソレノイド)等の駆動デバイスであってもよい。
また、外部装置750は、記憶装置(メモリ)であってもよい。例えば、外部装置750はネットワークストレージ等であってもよく、外部装置750はHDD等のストレージであってもよい。
また、外部装置750は、制御装置310の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータは、外部装置750の処理結果の一部又は全部を送信または受信してもよい。
<制御装置の機能構成>
次に、制御装置310の機能構成について説明する。図8は、制御装置の機能構成の一例を示す図である。制御装置310には制御プログラムがインストールされており、当該プログラムが実行されることで、制御装置310は、音声指示取得部810、搬送対象特定部821、搬送対象位置特定部822、ドッキング制御部823として機能する。また、制御装置310は、搬送先特定部831、搬送先位置特定部832、搬送制御部833として機能する。なお、制御装置310の各部の説明に際しては、音声指示に従って物品をユーザに送り届けるための搬送(「納入搬送」と称す)と、音声指示に従って納入搬送が行われた後の棚を、元の位置に戻す搬送(「戻し搬送」と称す)とに分けて説明する。
(1)納入搬送時の各部の機能
はじめに、納入搬送時の各部(音声指示取得部810~搬送制御部833)の機能について説明する。音声指示取得部810は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、ウェイクワードに続く音声指示を取得する。また、音声指示取得部810は、取得した音声指示を、搬送対象特定部821及び搬送先特定部831に通知する。
搬送対象特定部821は、音声指示取得部810より通知された音声指示を解析し、自律走行車120が搬送すべき物品(例えば、ノートPC)を特定する。また、搬送対象特定部821は、搬送対象管理テーブル格納部801を参照することで、特定した物品が載置された棚(例えば、棚130)を、納入搬送における搬送対象として特定する。更に、搬送対象特定部821は、特定した搬送対象となる棚を、搬送対象位置特定部822に通知する。
なお、取得した音声指示に、(搬送すべき物品の代わりに)搬送対象となる棚を示すワードが含まれている場合にあっては、搬送対象特定部821は、直接、搬送対象となる棚(例えば、棚130)を特定し、搬送対象位置特定部822に通知する。
搬送対象位置特定部822は、搬送対象特定部821より通知された、納入搬送における搬送対象となる棚が、現在、どの位置にあるかを、搬送対象管理テーブル格納部801を参照することで特定する。また、搬送対象位置特定部822は、特定した搬送対象となる棚の位置を示す座標(例えば、アンカ170の位置を示す座標)を、ドッキング制御部823に通知する。
ドッキング制御部823は、搬送対象位置特定部822より通知された、納入搬送における搬送対象となる棚の位置を示す座標と、自律走行車120の現在の位置を示す座標とに基づき自律走行車120を移動させ、搬送対象となる棚にドッキングするよう制御する。また、ドッキング制御部823は、自律走行車120による搬送対象となる棚へのドッキングが完了すると、搬送制御部833に、ドッキングが完了したことを通知する。
搬送先特定部831は、音声指示取得部810より通知された音声指示を解析し、納入搬送において搬送対象となる棚の搬送先の位置(例えば、ユーザ110の近傍の位置)を特定する。また、搬送先特定部831は、特定した搬送先の位置を、搬送先位置特定部832に通知する。
搬送先位置特定部832は、搬送先特定部831より通知された搬送先の位置が、所定空間100内の設置物(例えば、家具等)の近傍の位置である場合には、搬送先の位置を示す座標を、環境地図格納部802を参照することで特定する。なお、環境地図格納部802には、所定空間100内の各設置物の座標が格納されている。
また、搬送先位置特定部832は、搬送先特定部831より通知された搬送先が、ユーザ110の近傍の位置である場合には、
・マイク301~304において検出された音データのいずれから音声指示が取得されたかに基づいて判定した、ユーザ110がいる方向と、
・音声指示が取得された際の自律走行車120の現在の位置及び向きと、
に基づいて、搬送先の位置を示す座標を特定する。
なお、自律走行車120は、
・LIDAR212により測定された測定結果、
・前面RGBカメラ221により撮影されたカラー画像、
・ToFカメラ222により撮影された距離画像、
の少なくとも1つに基づいて、所定空間100内における自車の位置及び向きを所定周期で算出する。
更に、搬送先位置特定部832は、特定した搬送先の位置を示す座標を、搬送制御部833に通知する。
搬送制御部833は、ドッキング制御部823よりドッキング完了の通知があった場合に、搬送先位置特定部832より通知された搬送先の位置を示す座標に基づいて、自律走行車120を移動させるよう制御する。
搬送制御部833では、自律走行車120の移動中、LIDAR212による測定結果、前面RGBカメラ221によるカラー画像、ToFカメラ222による距離画像を参照する。そして、搬送制御部833は、自律走行車120の現在の位置を算出するとともに、搬送経路上に障害物を検知した場合には、衝突を回避するよう制御する。
また、搬送制御部833は、自律走行車120が搬送先の位置に到達した後は、納入搬送における搬送対象の棚とのドッキングを解除し、最下段400の下側から退出する。
(2)戻し搬送時の各部の機能
次に、戻し搬送時の各部(音声指示取得部810~搬送制御部833)の機能について説明する。音声指示取得部810は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、ウェイクワードに続く音声指示を取得する。また、音声指示取得部810は、取得した音声指示を、搬送対象特定部821及び搬送先特定部831に通知する。
搬送対象特定部821は、音声指示取得部810より通知された音声指示を解析し、自律走行車120によって元の位置に搬送されるべき棚(例えば、納入搬送後の棚130)を、戻し搬送における搬送対象として特定する。また、搬送対象特定部821は、特定した搬送対象を、搬送対象位置特定部822に通知する。
搬送対象位置特定部822は、搬送対象特定部821より通知された、戻し搬送における搬送対象となる棚が、現在、どの位置にあるかを搬送対象管理テーブル格納部801を参照することで特定する。また、搬送対象位置特定部822は、特定した搬送対象となる棚の位置を示す座標(例えば、ユーザ110の近傍の位置を示す座標)を、ドッキング制御部823に通知する。
ドッキング制御部823は、搬送対象位置特定部822より通知された、戻し搬送における搬送対象となる棚の位置を示す座標と、自律走行車120の現在の位置を示す座標とに基づき自律走行車120を移動させ、搬送対象となる棚にドッキングするよう制御する。また、ドッキング制御部823は、自律走行車120による搬送対象となる棚へのドッキングが完了すると、搬送制御部833に、ドッキングが完了したことを通知する。
搬送先特定部831は、音声指示取得部810より通知された音声指示を解析し、戻し搬送において搬送対象となる棚の搬送先の位置(例えば、アンカ170の位置)を特定する。また、搬送先特定部831は、特定した搬送先の位置を、搬送先位置特定部832に通知する。
搬送先位置特定部832は、搬送先特定部831より通知された搬送先の位置が、所定空間100内のアンカの位置(例えば、アンカ170の位置)である場合には、搬送先の位置を示す座標を、環境地図格納部802を参照することで特定する。
更に、搬送先位置特定部832は、特定した搬送先の位置を示す座標を、搬送制御部833に通知する。
搬送制御部833は、ドッキング制御部823よりドッキング完了の通知があった場合に、搬送先位置特定部832より通知された搬送先の位置を示す座標に基づいて、自律走行車120を移動させるよう制御する。
搬送制御部833では、自律走行車120の移動中、LIDAR212による測定結果、前面RGBカメラ221によるカラー画像、ToFカメラ222による距離画像を参照する。そして、搬送制御部833は、自律走行車の現在の位置を算出するとともに、搬送経路上に障害物を検知した場合には、衝突を回避するよう制御する。
また、搬送制御部833は、自律走行車120が搬送先の位置に到達した後は、戻し搬送における搬送対象の棚とのドッキングを解除し、最下段400の下側から退出する。
<搬送対象管理テーブルの具体例>
次に、搬送対象管理テーブル格納部801に格納された搬送対象管理テーブルの具体例について説明する。図9は、搬送対象管理テーブルの一例を示す図である。
図9に示すように、搬送対象管理テーブルは、搬送対象となる棚と、棚に載置されている物品とを対応付けるテーブルであり、搬送対象管理テーブル900には、情報の項目として、“棚情報”、“物品”、“タグ”が含まれる。
“棚情報”には、更に、“ID”、“初期位置”、“解除位置”、“ドッキング位置”が含まれる。“ID”には、それぞれの棚を識別するための識別子が格納される。“初期位置”には、自律走行車120が所定空間100内を走行中に最初に認識した棚の位置を示す座標が格納される。あるいは、“初期位置”には、ユーザ110が予め指定した位置(例えば、アンカ170の位置)を示す座標が格納される。
“解除位置”には、自律走行車120が搬送対象の棚とのドッキングを最後に解除した位置を示す座標が格納される。“ドッキング位置”には、自律走行車120が搬送対象となる棚と最後にドッキングした位置を示す座標が格納される。なお、各位置を示す座標は、環境地図上における座標である。ただし、各位置を示す座標に代えて、環境地図上で予め割り当てられた場所の名前が格納されてもよい。
“物品”には、搬送対象となる棚に載置された物品の名称が格納される。“タグ”には、対応する物品の種別が格納される。
なお、図9に示す搬送対象管理テーブル900の場合、“棚情報”と、“物品”、“タグ”とが、直接、対応付けられているが、これらは、間接的に対応付けられていてもよい。「間接的に対応付け」るとは、例えば、情報Aと情報Bとを対応付ける際に、情報Aと情報Cとを直接的に対応付け、かつ、情報Cと情報Bとを直接的に対応付けることで、情報Aと情報Bとを、情報Cを介して間接的に対応付けることを指す。
<自律走行処理の流れ>
次に、自律走行車120による自律走行処理の流れについて説明する。図10は、自律走行処理の流れを示すフローチャートの一例である。図10に示すように、自律走行車120による自律走行処理は、2種類の処理に大別することができる。
第1の処理は、音声指示による納入搬送処理である。音声指示による納入搬送処理とは、自律走行車120が、
・ユーザ110からの音声指示に基づいて、搬送対象となる棚及び搬送先の位置を特定し、
・特定した棚にドッキングし、
・特定した搬送先の位置(ここでは、ユーザ110の近傍の位置)まで、特定した棚を搬送する、
処理を指す(ステップS1001)。
第2の処理は、音声指示による戻し搬送処理である。音声指示による戻し搬送処理とは、第1の処理が完了した後に、自律走行車120が、
・ユーザ110からの音声指示に基づいて、搬送対象となる棚及び搬送先の位置を特定し、
・特定した棚にドッキングし、
・特定した搬送先の位置(ここでは、アンカ170の位置)まで、特定した棚を搬送する、
処理を指す(ステップS1002)。以下、第1の処理(ステップS1001:音声指示による納入搬送処理)及び第2の処理(ステップS1002:音声指示による戻し搬送処理)の詳細について説明する。
<音声指示による納入搬送処理の詳細>
はじめに、音声指示による納入搬送処理(ステップS1001)の詳細について図12を参照しながら、図11に沿って説明する。図11は、音声指示による納入搬送処理の流れを示すフローチャートの一例である。また、図12は、納入搬送時の自律走行車の動作例を示す図である。
ステップS1101において、自律走行車120は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、認識したウェイクワードに続いて検出された音声データを解析する。
なお、ウェイクワードは、自律走行車120に予め設定されているが、ユーザ110が任意のワードに変更することも可能である。
ステップS1102において、自律走行車120は、音声データを解析した結果、ユーザ110が物品を要求する音声指示(例えば、「ノートPCを持ってきて」)を取得したとする。この場合、自律走行車120では、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで納入搬送するタスクであると認識する。
また、自律走行車120では、マイク301~304で検出された音声データを解析することで、ユーザ110の音声がどの方向から発せられたか(ユーザ110がいる方向)を判定する。
なお、自律走行車120では、ユーザ110がいる方向についての判定結果を、予め作成された環境地図(例えば、所定空間100内の地図)上での、自律走行車120の位置を示す座標及び自律走行車120の向きを示す情報とともにメモリに保存する。
ステップS1103において、自律走行車120は、認識したタスクに基づいて、搬送対象となる棚を特定する。具体的には、自律走行車120では、搬送対象管理テーブル900を参照し、認識したタスクにおいて取り扱われる、特定の物品が対応付けられている棚を、搬送対象として特定する。本実施形態では、ノートPCが棚130と対応付けて管理されているため、自律走行車120では、棚130を搬送対象として特定する。
ステップS1104において、自律走行車120は、搬送対象となる棚の位置を示す座標を、搬送対象管理テーブル900を参照することで特定する。例えば、搬送対象となる棚が棚130である場合には、棚130の位置として、解除位置の座標(x1’,y1’)を特定する。解除位置の座標(x1’,y1’)は、自律走行車120が最後に棚130のドッキングを解除した位置であるので、その位置に棚130が存在する確率が高いからである。
なお、自律走行車120では、搬送対象管理テーブル900中の“初期位置”の座標を、搬送対象となる棚の位置を示す座標として特定してもよい。
ステップS1105において、自律走行車120は、ステップS1102において認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力する。例えば、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで納入搬送するタスクであった場合には、「ノートPCをユーザまで搬送します」という音声を、スピーカ305~306を介してユーザ110に出力する。
ステップS1106において、自律走行車120は、駆動輪231を制御して、搬送対象となる棚の位置に移動する。このとき、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて障害物を検出し、検出した障害物との衝突を回避しながら移動する。
なお、この時点では、自律走行車120は、棚130とドッキングしていないため、棚130がドッキングしていた場合には棚130に接触する障害物であっても、自律走行車120に接触しない障害物については、障害物として認識しない。
ステップS1107において、自律走行車120は、搬送対象となる棚130の近傍の位置に到達すると、自律走行車120を移動させながら、前面RGBカメラ221から取得したカラー画像を解析して、棚130を探索する(図12の12a参照)。なお、棚130を探索する方法としては、棚の形状のパターンマッチングや、深層学習ベースの物体認識モデルを用いた棚の認識等が挙げられるが、棚130を探索する方法は、これらに限定されない。例えば、棚に施されたマーカを認識することによっても棚を認識してもよい。なお、マーカの種類は問わない。例えば、バーコード、QRコード(登録商標)、ARコードなど、情報をエンコードするマーカでも、特徴的な模様を持つマーカでもよい。マーカを用いた棚の認識方法としては、例えば、自律走行車120で搬送可能な棚であることを示す情報を、所定のマーカと紐づけておき、当該所定のマーカを自律走行車が検出することで、搬送対象の棚を特定してもよい。
ステップS1108において、自律走行車120は、搬送対象となる棚130を探索することができた場合に、180度旋回し、棚130の最下段400の下側に、後退方向で進入する(図12の12b参照)。なお、自律走行車120では、後退方向で進入している間も、後面RGBカメラ320を用いて、棚130の最下段400の下側を認識し、最下段400との位置関係を調整しながら、自律走行車120の移動を制御する。
ステップS1109において、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動したことを、フォトリフレクタ330より出力された信号に基づいて判定する。
また、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動すると、ソレノイドをOFFにすることで、ロックピン211を突出させ、ロックピン211を孔511に挿入する。これにより、自律走行車120は、搬送対象となる棚130とのドッキングを完了する(図12の12c参照)。
ドッキングが完了すると、自律走行車120は、搬送対象となる棚130について、搬送対象管理テーブル900に格納されている“ドッキング位置”の座標を、実際にドッキングした位置の座標に更新する。
例えば、搬送対象となる棚130と、座標(x1”,y1”)の位置でドッキングした場合、自律走行車120は、搬送対象管理テーブルの棚130の“ドッキング位置”の座標を、(x1”,y1”)に更新する。
ステップS1110において、自律走行車120は、ステップS1102において認識したタスクに基づいて、ドッキングした棚130の搬送先の位置の座標を特定する。例えば、物品=ノートPCを、搬送先の位置=ユーザ110の近傍の位置、まで搬送するタスクの場合、自律走行車120は、ドッキングした棚130の搬送先の位置を示す座標として、ユーザ110の近傍の位置を示す座標を特定する。
なお、搬送先の位置として、ユーザ110の近傍の位置を特定した場合、自律走行車120は、ステップS1102においてメモリに保存した情報に基づいて、ユーザ110がいる可能性の高い位置を推定する。また、自律走行車120は、推定した位置の近傍の位置を示す、環境地図上の座標を特定する。ステップS1102においてメモリに保存した情報とは、自律走行車120の環境地図上の位置を示す座標及び自律走行車120の向きを示す情報、ユーザ110がいる方向についての判定結果である。
ステップS1111において、自律走行車120は、駆動輪231を制御して、特定した搬送先の位置(ユーザ110の近傍の位置)に移動する(図12の12d参照)。このとき、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて障害物を検出し、検出した障害物との衝突を回避しながら移動する。
なお、この時点では、既に自律走行車120は、棚130とドッキングしているため、自律走行車120が接触しない障害物であっても、棚130が接触する障害物については、これを回避しながら移動する。
ステップS1112において、自律走行車120は、搬送先の位置(例えば、ユーザ110の近傍の位置)に到達すると、ドッキングを解除する。また、自律走行車120は、搬送対象の棚130について、搬送対象管理テーブル900に記録されている“解除位置”を示す座標を、搬送先の位置を示す座標で更新する(図12の12e参照)。
例えば、棚130が環境地図上の座標(x1’’’,y’’’)により特定される位置まで搬送された後にドッキングが解除された場合にあっては、搬送対象管理テーブル900の棚130の解除位置を示す座標は、(x1’’’,y’’’)に更新される。
なお、自律走行車120は、搬送先の位置に到達した際、前面RGBカメラ221から取得したカラー画像を解析して、ユーザ110を探索し、ユーザ110を探索することができた場合に、ドッキングを解除する。
ステップS1113において、自律走行車120は、前面RGBカメラ221、ToFカメラ222、LIDAR212を用いて前方または後方の障害物の有無を確認する。そして、自律走行車120は、棚130の最下段400の下側から、前方あるいは後方のうち、障害物がない方向に退出する(図12の12f参照)。
前方または後方の両方に障害物がある場合には、一定時間、自律走行車120を待機させ、再度、前方あるいは後方の障害物の有無を確認する。つまり、自律走行車120は、前後方向の障害物の有無の確認と待機とを交互に繰り返す。
なお、確認と待機の繰り返しを所定回数行っても、まだ前後方向に障害物があることが確認された場合には、自律走行車120は、その場で待機してもよい。また、上記説明では、ドッキング解除後に前後方向の障害物の有無を確認したが、障害物の有無を確認することなく、ドッキング解除後は、ただちに、その場で待機するように構成してもよい。
<音声指示による戻し搬送処理の流れ>
次に、音声指示による戻し搬送処理(ステップS1002)の詳細について図14を参照しながら、図13に沿って説明する。図13は、音声指示による戻し搬送処理の流れを示すフローチャートの一例である。図14は、戻し搬送時の自律走行車の動作例を示す図である。
ステップS1301において、自律走行車120は、マイク301~304で検出された音データから、ユーザ110が発声したウェイクワードを認識し、認識したウェイクワードに続いて検出された音声データを解析する。
ステップS1302において、自律走行車120は、音声データを解析した結果、棚130を元の位置に搬送する音声指示(例えば、「棚を元の位置に戻して」)を取得したとする。この場合、自律走行車120では、搬送対象=棚を、搬送先の位置=元の位置、まで搬送するタスクであると認識する。
ステップS1303において、自律走行車120は、搬送対象となる棚の位置を示す座標を、搬送対象管理テーブル900を参照することで特定する。
ステップS1304において、自律走行車120は、駆動輪231を制御して、搬送対象となる棚130の位置に移動する。
ステップS1305において、自律走行車120は、搬送対象となる棚130の近傍の位置に到達すると、自律走行車120を移動させながら、前面RGBカメラ221から取得したカラー画像を解析し、棚130を探索する(図14の14a参照)。なお、棚130を探索する方法としては、棚の形状のパターンマッチングや、棚に施されたマーカの認識、深層学習ベースの物体認識モデルを用いた棚の認識等が挙げられるが、棚130を探索する方法は、これらに限定されない。
ステップS1306において、自律走行車120は、搬送対象となる棚130を探索することができた場合に、棚130の最下段400の下側に前進方向で進入する。
ステップS1307において、自律走行車120は、ロックガイド510の孔511にロックピン211を挿入することが可能な位置まで移動すると、ロックピン211を突出させ、孔511に挿入する。これにより、自律走行車120は、搬送対象となる棚130とのドッキングを完了する(図14の14b参照)。その後、自律走行車120は、所定の距離、後退方向に移動し、180度旋回する(図14の14c参照)。
ステップS1308において、自律走行車120は、ステップS1302において認識したタスクに基づいて、ドッキングした棚130の搬送先の位置を示す座標として、アンカ170の位置を示す座標を特定する。
ステップS1309において、自律走行車120は、駆動輪231を制御して、特定した搬送先の位置(アンカ170の位置)に移動する(図14の14d参照)。
ステップS1310において、自律走行車120は、搬送先の位置(アンカ170の位置)の近傍に到達すると、搬送先の位置(アンカ170の位置)での搬送対象の姿勢を特定し、180度旋回する。
ステップS1311において、自律走行車120は、後面RGBカメラ320から取得したカラー画像を解析して、アンカ170の位置を認識しながら、後退方向に移動することで、搬送対象の棚130をアンカ170の位置に戻す(図14の14e参照)。
ステップS1312において、自律走行車120は、棚130とのドッキングを解除する。また、自律走行車120は、搬送対象の棚130について、搬送対象管理テーブル900に記録されている“解除位置”を示す座標を、アンカ170の位置を示す座標で更新する。
ステップS1313において、自律走行車120は、前進方向に移動することで、搬送対象の棚130の最下段400の下側から退出する(図14の14f参照)。
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る自律走行車120は、
・搬送対象の棚とドッキングするためのドッキング機構を有する。
・ユーザの音声指示を取得するための音入力装置を有する。
・音入力装置を介して音声指示が取得された場合に、該音声指示に基づき特定した搬送対象の棚との、ドッキング機構によるドッキング、及び、該音声指示に基づき特定した搬送先の位置へのドッキングした搬送対象の棚の搬送、を制御する制御装置を有する。
これにより、第1の実施形態によれば、ユーザの音声指示に応じたタスクを実行可能な自律走行車を提供することができる。
[第2の実施形態]
上記第1の実施形態では、ソレノイド式のロックピン211とフォトリフレクタ330とを有するドッキング機構を例示したが、ドッキング機構はこれに限定されず、従来の任意の機構が適用されうる。また、上記第1の実施形態では、搬送対象となる棚の最下段の下側に進入したうえでドッキングする場合について説明したが、搬送対象となる棚の最下段の下側に進入することなくドッキングするように構成してもよい。例えば、搬送対象となる棚の脚部をグリッパでグリップすることで、ドッキングしてもよい。
また、上記第1の実施形態では、搬送対象として棚を例示したが、搬送対象は棚に限定されず、キャスタが旋回可能に取り付けられた家具であれば、他の家具であってもよい。
また、上記第1の実施形態では、搬送対象管理テーブルが予め搬送対象管理テーブル格納部801に格納されているものとして説明した。しかしながら、搬送対象管理テーブルは、例えば、ユーザ110による音声指示によって、逐次更新されてもよい。あるいは、ユーザ110が保持するスマート端末と自律走行車120とが、無線通信することによって、逐次更新されてもよい。
また、上記第1の実施形態では、アンカの位置にある棚とドッキングする場合において、自律走行車120は、棚の最下段の下側に進入する際、後退方向に移動するものとして説明した。しかしながら、棚の最下段の下側に、前進方向に移動することで進入してもよい。
また、上記第1の実施形態では、ユーザ110の音声指示に物品が含まれる場合に、当該物品と直接的に対応付けられている棚を特定することで、搬送対象となる棚を特定するものとして説明した。しかしながら、搬送対象となる棚の特定方法は、これに限定されず、例えば、当該物品と間接的に対応付けられている棚を特定するように、構成してもよい。
また、上記第1の実施形態では、納入搬送の一例として、アンカの位置に待機している棚とドッキングして搬送する場合について説明したが、ドッキングを最後に解除した解除位置にある棚とドッキングして搬送してもよい。また、上記第1の実施形態では、戻し搬送の一例として、ドッキングした棚をアンカの位置に戻す場合について説明したが、アンカ以外の位置として、最後にドッキングしたドッキング位置に戻してもよい。
また、上記第1の実施形態では、アンカの位置についての詳細な説明を省略したが、アンカの位置は、例えば、所定空間100内においてQRコード(登録商標)等の2次元の識別子が設置された位置であるとする。
また、上記第1の実施形態では、棚の初期位置がアンカの位置である場合について説明したが、棚の初期位置は、アンカの位置に限定されない。例えば、環境地図上の所定の位置を、棚の初期位置としてもよい。
また、上記第1の実施形態では、棚をアンカの位置に戻す際の、棚の姿勢の特定方法について言及しなかった。しかしながら、棚をアンカの位置に戻す際は、例えば、当該棚が納入搬送において自律走行車120とドッキングした際の棚の姿勢を特定し、当該姿勢と同じ姿勢となるように戻してもよい。あるいは、予め定められたデフォルトの姿勢となるように戻してもよい。
また、上記第1の実施形態では、ユーザからの音声指示によりタスクを認識した場合、タスクが完了するまで、次の音声指示がない場合について説明した。しかしながら、実行中のタスクが完了する前に、次の音声指示が入力されてもよい。
一例として、実行中のタスク(納入搬送するタスク)が完了する前に、他のタスクを要求する音声指示(例えば、「おやつを持ってきて」)が認識された場合について説明する。この場合、自律走行車120は、この新たなタスクを、実行中のタスクの後にキューイングし、実行中のタスクの完了後に、この新たなタスクに従って動作する。なお、ここでいう実行中のタスクとは、例えば、棚130を搬送先に搬送するタスクであり、新たなタスクとは、おやつが載置された棚(例えば、棚140)を、ユーザ110の近傍の位置まで搬送するタスクである。
また、他の一例として、実行中のタスク(納入搬送するタスク)が完了する前に、タスクのキャンセルを要求する音声指示(例えば、「運ぶのを中止して」)が認識された場合について説明する。この場合、自律走行車120は、搬送対象となる棚(例えば、棚130)にドッキングする前であれば、その場で移動を停止する。また、自律走行車120は、搬送対象となる棚とドッキングした後であれば、搬送対象の棚を、元の位置に戻す。
また、他の一例として、実行中のタスク(戻し搬送)が完了する前に、他のタスクを要求する音声指示(例えば、「おやつを持ってきて」)が認識された場合について説明する。この場合、自律走行車120は、搬送対象となる棚(例えば、棚130)とドッキングする前であれば、直ちに、新たなタスクに従って動作する。また、搬送対象となる棚(例えば、棚130)とドッキングした後であれば、搬送対象の棚をアンカ170の位置に戻すことなくその場でドッキングを解除して(つまり、アンカ170の位置への搬送を途中で停止して)新たなタスクに従って動作してもよい。あるいは、新たなタスクを、実行中のタスクの後にキューイングして実行中のタスクを完了した後に、この新たなタスクに従って動作してもよい。なお、
・実行中のタスクをキャンセルして新たなタスクを即座に実行するか、
・実行中のタスクを完了した後に新たなタスクを実行するか、
は、“搬送対象となる棚とドッキングした後に新たなタスクを要求する音声指示が認識されたときの自律走行車の挙動”として、ユーザによって予め設定されていてもよい。あるいは、新たなタスクの音声指示を認識したときに、ユーザによってその場で設定されてもよい。なお、ここでいう新たなタスクとは、おやつが載置された棚(例えば、棚140)を、ユーザ110の近傍の位置まで搬送するタスクである。
また、上記第1の実施形態では、ユーザ110が音声指示を行った際、当該音声指示に応じたタスクを、自律走行車120が直ちに実行する場合について説明した。しかしながら、ユーザ110の音声指示が、所定の時刻でのタスクの実行を予約する音声指示であった場合には、自律走行車120は、所定の時刻になってから、タスクを実行する。
例えば、ユーザ110の音声指示が、「午前9時に、仕事道具を机まで持ってきて」であったとする。この場合、自律走行車120は、音声指示が取得されたタイミングではタスクを実行せず、午前9時になったタイミングで、タスク(仕事道具が載置された棚130を、机の近傍の位置まで搬送するタスク)を実行する。
つまり、自律走行車120は、ユーザ110の音声指示に、タスクを実行するタイミングが含まれていた場合には、タスクを実行するタイミングが到来したことを検知し、当該音声指示に基づき特定したタイミングでタスクを実行する。なお、タスクを実行するタイミングの設定(予約ともいう)は音声指示によって行われる場合に限定されず、自律走行車120(制御装置310)と通信可能な外部装置730からの電子的な指示によって行われてもよい。この外部装置730としては、例えば、ユーザが所有するスマートフォンなどのモバイル端末が挙げられる。
また、上記第1の実施形態では、ユーザ110が音声指示を行った際、当該音声指示に応じたタスクを、自律走行車120が実行する機能について説明した。しかしながら、自律走行車120は、搬送タスクを特定のイベントが発生した場合に実行する機能を有してもよい。例えば、図1では、ユーザ110がくつろぐリビング等の所定空間100を示したが、住宅には他の空間もあり、当該他の空間において特定のイベントが発生した場合に、自律走行車120は、搬送タスクを自動的に実行してもよい。
例えば、玄関等に組み込まれたビルトインタイプの宅配ボックスを備える住宅において、自律走行車120が利用される場合であって、当該宅配ボックスに荷物が届けられた場合について説明する。この場合、自律走行車120は、荷物を宅配ボックスごと住宅内の所定の場所まで搬送するタスクを実行してもよい。このときの宅配ボックスには、例えば、住宅の宅配ボックスとして宅配ボックスの扉とドッキングすることが可能であって、かつ、自律走行車120とドッキングして搬送されることが可能な構造が採用されうる。
また、宅配ボックスは、例えば、扉の開閉操作が行われたことを検出する機能を有してもよい。そして、宅配ボックスは、扉の開操作が行われた後に閉操作が行われた(例えば、ロックされた)場合に、荷物が宅配ボックスに置かれたとみなして、所定の通知を、住宅内のローカルネットワークを介して自律走行車120に送信してもよい。
自律走行車120は、所定の通知を受信すると、宅配ボックスの位置まで移動し、荷物が置かれている宅配ボックスとドッキングして、当該宅配ボックスを所定の場所まで搬送した後、ドッキングを解除してもよい。このとき、所定の通知の受信、ドッキング機構及び搬送の制御は、制御装置310によって行われる。
なお、宅配ボックスによる所定の通知の送信は、扉の開閉操作を検出して行う方法のほか、宅配ボックスが重量変化を検出して行う方法であってもよい。あるいは、宅配業者が自身の端末で宅配完了通知を行うと、当該通知が所定の通知として、自律走行車120(の制御装置310)に届く方法であってもよい。
また、上記第1の実施形態では、自律走行車120が、認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力してから、搬送対象となる棚の位置に移動する場合について説明した(ステップS1105、S1106参照)。
しかしながら、認識したタスクに応じた音声の出力タイミングはこれに限定されず、例えば、自律走行車120が、搬送対象となる棚の位置への移動を開始してから、認識したタスクに応じた音声を、スピーカ305~306を介してユーザ110に出力してもよい。すなわち、自律走行車120は、搬送対象となる棚とドッキングして搬送を完了する前に、タスクに応じた音声を、スピーカから出力してもよい。搬送対象の搬送先への搬送が完了する前とは、搬送対象に向かっての移動開始時、移動中、搬送対象とドッキングする時、搬送対象とドッキングした後の搬送対象の搬送時、搬送中など、搬送が完了する前のいかなるタイミングであってもよい。
なお、上記各実施形態では、自律走行車120による搬送対象とのドッキング及び当該搬送対象の搬送が、音入力装置であるマイクを介して取得されたユーザの音声に基づいて制御されるものとして説明した。しかしながら、搬送対象とのドッキング及び搬送対象の搬送は、音入力装置であるマイクを介して取得された特定音に基づいて制御されてもよい。特定音としては、例えば、約M秒間隔でN回手をたたく一連の音や、口笛などが挙げられる。この場合、特定音ごとに搬送対象と搬送先の少なくとも一方が、予め設定されていてもよい。つまり、上記各実施形態の自律走行車120は、音入力装置を介して取得された音による搬送指示に基づいて、搬送対象とのドッキング及び当該搬送対象の搬送を制御してよい。
[その他の実施形態]
本明細書(請求項を含む)において、「a、bおよびcの少なくとも1つ(一方)」又は「a、b又はcの少なくとも1つ(一方)」の表現(同様な表現を含む)が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素(a、b及びc)以外の他の要素を加えることも含む。
また、本明細書(請求項を含む)において、「データを入力として/データに基づいて/に従って/に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等)を入力として用いる場合を含む。また「データに基づいて/に従って/に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び/又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等)を出力とする場合も含む。
また、本明細書(請求項を含む)において、「接続される(connected)」及び「結合される(coupled)」との用語が用いられる場合は、直接的な接続/結合、間接的な接続/結合、電気的(electrically)な接続/結合、通信的(communicatively)な接続/結合、機能的(operatively)な接続/結合、物理的(physically)な接続/結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続/結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
また、本明細書(請求項を含む)において、「AがBするよう構成される(A configured to B)」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的(permanent)又は一時的(temporary)な設定(setting/configuration)が、動作Bを実際に実行するように設定(configured/set)されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的(permanent)又は一時的(temporary)なプログラム(命令)の設定により、動作Bを実際に実行するように設定(configured)されていればよい。また、要素Aが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Bを実際に実行するように構築(implemented)されていればよい。
また、本明細書(請求項を含む)において、含有又は所有を意味する用語(例えば、「含む(comprising/including)」及び「有する(having)」等)が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
また、本明細書(請求項を含む)において、ある箇所において「1つ又は複数(one or more)」又は「少なくとも1つ(at least one)」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)は、必ずしも特定の数に限定されないものとして解釈されるべきである。
また、本明細書において、ある実施例の有する特定の構成について特定の効果(advantage/result)が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び/又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び/又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
また、本明細書(請求項を含む)において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書(請求項を含む)において、「1又は複数のハードウェアが第1の処理を行い、前記1又は複数のハードウェアが第2の処理を行う」等の表現が用いられている場合、第1の処理を行うハードウェアと第2の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1の処理を行うハードウェア及び第2の処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでよい。
また、本明細書(請求項を含む)において、複数の記憶装置(メモリ)がデータの記憶を行う場合、複数の記憶装置(メモリ)のうち個々の記憶装置(メモリ)は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。
本出願は、2020年10月19日に出願された日本国特許出願第2020-175627号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。

Claims (45)

  1. 搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
    前記搬送対象とドッキングするためのドッキング機構と、
    音入力装置と、
    前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と、
    を有し、
    前記自律走行車は、キャスタ付きの搬送対象とドッキングし、
    前記ドッキング機構は、前記自律走行車が前記搬送対象の下側のキャスタ間に進入して当該搬送対象とドッキングし、当該搬送対象が有する物品を当該搬送対象ごと搬送可能とする、自律走行車。
  2. 搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
    前記搬送対象とドッキングするためのドッキング機構と、
    音入力装置と、
    前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と、
    を有し、
    前記搬送対象は、キャスタ付きの棚である、自律走行車。
  3. 搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
    前記搬送対象とドッキングするためのドッキング機構と、
    音入力装置と、
    前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と、
    を有し、
    前記自律走行車は、住宅内を走行し、
    前記搬送対象は、前記住宅内に移動可能に設置された、前記自律走行車が潜り込んでドッキングする対象であり、
    前記搬送先の位置は、前記住宅内の位置であり、
    前記搬送対象の搬送は、前記住宅内で行われる、自律走行車。
  4. 前記搬送指示が物品を要求する搬送指示である場合、前記制御装置は、物品と当該物品を有する搬送対象とを対応付けるデータに基づいて、前記搬送指示において要求された物品を有する搬送対象を特定し、特定した搬送対象との前記ドッキング機構によるドッキングを制御する、請求項1乃至3のいずれか1項に記載の自律走行車。
  5. 搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
    前記搬送対象とドッキングするためのドッキング機構と、
    音入力装置と、
    前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と、
    を有し、
    前記搬送指示が物品を要求する搬送指示である場合、前記制御装置は、物品と当該物品を有する搬送対象とを対応付けるデータに基づいて、前記搬送指示において要求された物品を有する搬送対象を特定し、特定した搬送対象との前記ドッキング機構によるドッキングを制御する、自律走行車。
  6. 前記制御装置は、搬送対象の位置を示すデータを記憶するメモリを有し、
    前記制御装置は、前記搬送指示に基づき特定した搬送対象について、前記メモリに記憶されている前記データを参照することで位置を特定する、請求項1乃至5のいずれか1項に記載の自律走行車。
  7. 前記メモリは、更に、搬送対象と、当該搬送対象に載置された物品の名称または当該搬送対象に載置された物品の種別の少なくともいずれか一方とを、対応付けて記憶し、
    前記制御装置は、前記搬送指示が、前記物品の名称または前記物品の種別を指定することで物品を要求する搬送指示である場合、前記メモリを参照することで搬送対象の位置を特定する、請求項6に記載の自律走行車。
  8. 搬送対象とドッキングし、当該搬送対象を搬送する自律走行車であって、
    前記搬送対象とドッキングするためのドッキング機構と、
    音入力装置と、
    前記音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する制御装置と、
    を有し、
    前記制御装置は、搬送対象の位置を示すデータを記憶するメモリを有し、
    前記制御装置は、前記搬送指示に基づき特定した搬送対象について、前記メモリに記憶されている前記データを参照することで位置を特定し、
    前記メモリは、更に、搬送対象と、当該搬送対象に載置された物品の名称または当該搬送対象に載置された物品の種別の少なくともいずれか一方とを、対応付けて記憶し、
    前記制御装置は、前記搬送指示が、前記物品の名称または前記物品の種別を指定することで物品を要求する搬送指示である場合、前記メモリを参照することで搬送対象の位置を特定する、自律走行車。
  9. 前記制御装置は、前記特定した搬送対象の位置に基づき、前記自律走行車を移動させて前記搬送対象を探索し、前記搬送対象を探索することができた場合に、前記ドッキング機構によるドッキングを制御する、請求項6に記載の自律走行車。
  10. 前記制御装置は、前記ドッキング機構によるドッキングを制御した後に、ドッキング位置を示すデータを前記メモリに記憶する、請求項6に記載の自律走行車。
  11. 前記制御装置は、前記ドッキング機構によるドッキングを解除した後に、解除位置を示すデータを記憶する、請求項10に記載の自律走行車。
  12. 前記メモリは、更に、所定空間における設置物の位置を示すデータを記憶し、
    前記制御装置は、前記搬送指示に基づいて、搬送先の位置が設置物の近傍の位置であると特定した場合、前記メモリに記憶されている前記データを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項6に記載の自律走行車。
  13. 前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象が搬送される前の元の位置であると特定した場合、前記メモリに記憶されている前記搬送対象のドッキング位置を示すデータを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項12に記載の自律走行車。
  14. 前記メモリは、更に、搬送対象の初期位置として、アンカの位置を示すデータを記憶し、
    前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、前記メモリに記憶されている前記搬送対象のアンカの位置を示すデータを参照して搬送先の位置を特定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項6に記載の自律走行車。
  15. 前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、当該初期位置において最後にドッキングした際の搬送対象の姿勢と同じになるように、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項14に記載の自律走行車。
  16. 前記制御装置は、前記搬送指示に基づいて、搬送先の位置が、前記搬送対象の初期位置であると特定した場合、当該初期位置において予め定められたデフォルトの姿勢となるように、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項14に記載の自律走行車。
  17. 前記制御装置は、前記音声の内容に応じて、前記ドッキング機構によってドッキングされる前記搬送対象、及び、当該ドッキングした搬送対象の前記搬送先を特定する、請求項1乃至16のいずれか1項に記載の自律走行車。
  18. 前記制御装置は、搬送先が明示されていない場合であっても、前記音声の内容に基づいて、前記ドッキングした搬送対象の搬送先を特定する、請求項1乃至17のいずれか1項に記載の自律走行車。
  19. 前記特定した搬送先は、前記音声を発したユーザの近傍であり、
    前記制御装置は、前記音声が発せられた方向を判定し、少なくとも当該判定した方向に基づいて推定した位置を、前記搬送先の位置として特定する、請求項18に記載の自律走行車。
  20. 前記制御装置は、前記特定した搬送先に対して前記自律走行車のユーザによって予め指定された位置を、前記特定した搬送先の位置として特定する、請求項1乃至19のいずれか1項に記載の自律走行車。
  21. 前記制御装置は、前記特定した搬送対象に対して前記自律走行車のユーザによって予め指定された位置に基づいて、前記自律走行車を移動させながら当該搬送対象を探索し、当該探索によって発見された当該搬送対象とドッキングするように前記ドッキング機構によるドッキングを制御する、請求項1乃至20のいずれか1項に記載の自律走行車。
  22. 前記自律走行車は、前記ドッキング機構によってドッキング可能な複数の前記搬送対象を有する住宅内を走行し、
    前記制御装置は、前記搬送指示に基づき、前記複数の前記搬送対象のうちの1つを、当該搬送指示に基づいてドッキング及び搬送する対象として、特定する、請求項1乃至21のいずれか1項に記載の自律走行車。
  23. 前記特定した搬送対象は、前記自律走行車のユーザの所望する1以上の物品を有する搬送対象である、請求項1乃至22のいずれか1項に記載の自律走行車。
  24. 前記搬送指示が搬送対象を搬送する搬送指示である場合、前記制御装置は、前記搬送指示された搬送対象との前記ドッキング機構によるドッキングを制御する、請求項1乃至23のいずれか1項に記載の自律走行車。
  25. 前記搬送指示に基づいて、搬送先の位置がユーザの近傍の位置であると特定した場合、前記制御装置は、前記ユーザの音声が検出された方向から判定した前記ユーザがいる方向に向けて、当該搬送対象の搬送を制御する、請求項1乃至24のいずれか1項に記載の自律走行車。
  26. 前記搬送指示に基づいて、搬送先の位置がユーザの近傍の位置であると特定した場合、前記制御装置は、当該ユーザの音声が検出された方向から判定した当該ユーザがいる方向と、前記自律走行車の現在の位置及び向きとに基づいて当該ユーザの位置を推定することで、特定した搬送先の位置への前記搬送対象の搬送を制御する、請求項1乃至24のいずれか1項に記載の自律走行車。
  27. 前記制御装置は、前記搬送先の位置に搬送された前記搬送対象を、前記音入力装置を介して取得された更なる搬送指示に基づき、当該搬送対象に対して前記自律走行車のユーザによって予め指定された位置へ搬送するよう、前記自律走行車を制御する、請求項1乃至26のいずれか1項に記載の自律走行車。
  28. 前記制御装置は、前記搬送先の位置に搬送された前記搬送対象を、前記音入力装置を介して取得された更なる搬送指示であって当該搬送対象を予め指定された位置に戻す旨の搬送指示に基づき、当該搬送対象に対して前記自律走行車のユーザによって予め指定された位置へ搬送するよう、前記自律走行車を制御する、請求項1乃至27のいずれか1項に記載の自律走行車。
  29. 前記制御装置は、前記ドッキングした搬送対象の搬送を制御した後に、前記搬送対象との前記ドッキング機構によるドッキングを解除する、請求項1乃至28のいずれか1項に記載の自律走行車。
  30. 前記制御装置は、前記搬送指示に応じたタスクが完了する前であって、搬送対象との前記ドッキング機構によるドッキングの前に、当該タスクのキャンセルを要求する搬送指示が取得された場合、動作を停止する、請求項1乃至29のいずれか1項に記載の自律走行車。
  31. 前記制御装置は、前記搬送指示に応じたタスクが完了する前であって、搬送対象との前記ドッキング機構によるドッキングの後に、当該タスクのキャンセルを要求する搬送指示が取得された場合、当該搬送対象とドッキングした際の位置に当該搬送対象を搬送する、請求項1乃至30のいずれか1項に記載の自律走行車。
  32. 前記搬送対象とドッキングした際の位置に前記搬送対象を搬送する際に、新たな搬送指示が取得された場合、前記制御装置は、
    前記搬送対象の搬送先への搬送を途中で停止するか、搬送を完了してから、前記搬送対象との前記ドッキング機構によるドッキングを解除し、その後、当該新たな搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該新たな搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する、請求項31に記載の自律走行車。
  33. 前記搬送対象とドッキングしている前記自律走行車が当該搬送対象を搬送している最中に、新たな搬送指示が取得された場合、前記制御装置は、
    前記搬送対象の当該搬送を完了せずにその場で停止して前記搬送対象との前記ドッキング機構によるドッキングを解除し、その後、当該新たな搬送指示に基づき特定した新たな搬送対象まで前記自律走行車を移動させて当該新たな搬送対象との前記ドッキング機構によるドッキングを行って、当該新たな搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御する、請求項1乃至32のいずれか1項に記載の自律走行車。
  34. 前記制御装置は、予め設定された条件が満たされた場合に、前記搬送対象との前記ドッキング機構によるドッキング及び前記搬送先の位置への当該ドッキングした搬送対象の搬送を制御する、請求項1乃至33のいずれか1項に記載の自律走行車。
  35. 前記制御装置は、予め設定されたタイミングが到来したことを検知し、当該予め設定されたタイミングで、前記搬送対象との前記ドッキング機構によるドッキング及び前記搬送先の位置への当該ドッキングした搬送対象の搬送を制御する、請求項1乃至34のいずれか1項に記載の自律走行車。
  36. 前記制御装置は、前記搬送指示に基づき特定した搬送対象及び前記搬送指示に基づき特定した搬送先の少なくとも1つを含む音声を、当該搬送対象の当該搬送先への搬送が完了する前に出力する、請求項1乃至35のいずれか1項に記載の自律走行車。
  37. 前記制御装置は、前記搬送対象の特定において、前記自律走行車による搬送に対応していることを識別するための情報がエンコードされたマーカを有する対象を、前記搬送対象として特定する、請求項1乃至36のいずれか1項に記載の自律走行車。
  38. 前記自律走行車が走行する空間の地図を記憶する記憶装置を有し、
    前記位置は、前記地図上の位置によって特定される、請求項1乃至37のいずれか1項に記載の自律走行車。
  39. ドッキング機構によって搬送対象とドッキングして当該搬送対象を搬送する自律走行車の制御装置であって、
    音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御し、
    前記自律走行車は、キャスタ付きの搬送対象とドッキングし、
    前記ドッキング機構は、前記自律走行車が前記搬送対象の下側のキャスタ間に進入して当該搬送対象とドッキングし、当該搬送対象が有する物品を当該搬送対象ごと搬送可能とする、制御装置。
  40. ドッキング機構によって搬送対象とドッキングして当該搬送対象を搬送する自律走行車の制御装置であって、
    音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御し、
    前記搬送対象は、キャスタ付きの棚である、制御装置。
  41. ドッキング機構によって搬送対象とドッキングして当該搬送対象を搬送する自律走行車の制御装置であって、
    音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御し、
    前記自律走行車は、住宅内を走行し、
    前記搬送対象は、前記住宅内に移動可能に設置された、前記自律走行車が潜り込んでドッキングする対象であり、
    前記搬送先の位置は、前記住宅内の位置であり、
    前記搬送対象の搬送は、前記住宅内で行われる、制御装置。
  42. ドッキング機構によって搬送対象とドッキングして当該搬送対象を搬送する自律走行車の制御装置であって、
    音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御し、
    前記搬送指示が物品を要求する搬送指示である場合、物品と当該物品を有する搬送対象とを対応付けるデータに基づいて、前記搬送指示において要求された物品を有する搬送対象を特定し、特定した搬送対象との前記ドッキング機構によるドッキングを制御する、制御装置。
  43. ドッキング機構によって搬送対象とドッキングして当該搬送対象を搬送する自律走行車の制御装置であって、
    音入力装置を介して取得された音声による搬送指示に基づき特定した搬送対象との前記ドッキング機構によるドッキング、及び、当該搬送指示に基づき特定した搬送先の位置への当該ドッキングした搬送対象の搬送を制御し、
    前記制御装置は、搬送対象の位置を示すデータを記憶するメモリを有し、
    前記制御装置は、前記搬送指示に基づき特定した搬送対象について、前記メモリに記憶されている前記データを参照することで位置を特定し、
    前記メモリは、更に、搬送対象と、当該搬送対象に載置された物品の名称または当該搬送対象に載置された物品の種別の少なくともいずれか一方とを、対応付けて記憶し、
    前記制御装置は、前記搬送指示が、前記物品の名称または前記物品の種別を指定することで物品を要求する搬送指示である場合、前記メモリを参照することで搬送対象の位置を特定する、制御装置。
  44. 請求項39乃至43のいずれか1項に記載の制御装置を有する前記自律走行車。
  45. 請求項39乃至43のいずれか1項に記載の制御装置による処理を1以上のコンピュータに実行させるためのプログラム。
JP2022557518A 2020-10-19 2021-10-18 自律走行車、制御装置及びプログラム Active JP7367231B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020175627 2020-10-19
JP2020175627 2020-10-19
PCT/JP2021/038420 WO2022085625A1 (ja) 2020-10-19 2021-10-18 自律走行車

Publications (3)

Publication Number Publication Date
JPWO2022085625A1 JPWO2022085625A1 (ja) 2022-04-28
JPWO2022085625A5 JPWO2022085625A5 (ja) 2023-06-16
JP7367231B2 true JP7367231B2 (ja) 2023-10-23

Family

ID=81290866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022557518A Active JP7367231B2 (ja) 2020-10-19 2021-10-18 自律走行車、制御装置及びプログラム

Country Status (3)

Country Link
US (1) US20230259137A1 (ja)
JP (1) JP7367231B2 (ja)
WO (1) WO2022085625A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345435A (ja) 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2004243504A (ja) 2003-02-17 2004-09-02 Matsushita Electric Works Ltd ロボット及び該ロボットに情報提供可能な作業対象物並びに対人サービスロボット
JP2007152446A (ja) 2005-12-01 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットシステム
JP2008264901A (ja) 2007-04-17 2008-11-06 Ihi Corp 移動ロボット及びその自動連結方法、並びにパラレルリンク機構の駆動制御方法
JP2016120561A (ja) 2014-12-25 2016-07-07 トヨタ自動車株式会社 搬送ロボット、及びその制御方法
JP2018173830A (ja) 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099147A (ja) * 1998-09-18 2000-04-07 Shinko Electric Co Ltd 無人搬送車システムの操作盤および無人搬送車発進方法
JP2002087539A (ja) * 2000-09-18 2002-03-27 Murata Mach Ltd 搬送システム
JP6739299B2 (ja) * 2016-09-13 2020-08-12 株式会社日立製作所 搬送システム及び搬送方法
KR20180038871A (ko) * 2016-10-07 2018-04-17 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
JP2020091571A (ja) * 2018-12-04 2020-06-11 パナソニックIpマネジメント株式会社 移動型ロボット、制御方法、プログラム
JP7266432B2 (ja) * 2019-03-14 2023-04-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345435A (ja) 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2004243504A (ja) 2003-02-17 2004-09-02 Matsushita Electric Works Ltd ロボット及び該ロボットに情報提供可能な作業対象物並びに対人サービスロボット
JP2007152446A (ja) 2005-12-01 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットシステム
JP2008264901A (ja) 2007-04-17 2008-11-06 Ihi Corp 移動ロボット及びその自動連結方法、並びにパラレルリンク機構の駆動制御方法
JP2016120561A (ja) 2014-12-25 2016-07-07 トヨタ自動車株式会社 搬送ロボット、及びその制御方法
JP2018173830A (ja) 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム

Also Published As

Publication number Publication date
WO2022085625A1 (ja) 2022-04-28
US20230259137A1 (en) 2023-08-17
JPWO2022085625A1 (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
TWI665538B (zh) 進行障礙物之迴避動作的移動體及記錄其之電腦程式的記錄媒體
US11826897B2 (en) Robot to human feedback
US8010231B2 (en) Communication robot
US10503143B1 (en) Protection system for multi-zone robotic area
US10160114B2 (en) Trajectory planning with droppable objects
JP2019121364A (ja) 状況認識のためのモバイル清掃ロボット人工知能
US20220357174A1 (en) Stand-alone self-driving material-transport vehicle
KR102235003B1 (ko) 충돌 검출, 추정 및 회피
US10751876B2 (en) Moving robot, method of controlling moving robot, and control program
US11446810B1 (en) Robotic assistant
US20210333391A1 (en) Mobile robot and method of controlling the same
US20210157326A1 (en) Autonomous mobile body system, control program for autonomous mobile body, and control method for autonomous mobile body
US11474527B2 (en) Moving apparatus, information processing apparatus, and method
BR102013015314B1 (pt) Método para guiar um robô guiado automaticamente e aparelho
JP2008238383A (ja) ロボット
JP7367231B2 (ja) 自律走行車、制御装置及びプログラム
US11300963B1 (en) Robot movement constraint system
US20230120303A1 (en) Autonomously motile device with remote control
CN113544614B (zh) 移动体控制方法、移动体控制***
JP7367232B2 (ja) 自律走行車、システム、搬送対象及びガイド部
US11520332B1 (en) System for automated exploration by an autonomous mobile device using markers based on image features
JP2010145328A (ja) 物体検知システム、物体検知方法、タグ通信装置
JP2023184159A (ja) 自律走行車
US11720117B1 (en) System to facilitate autonomous mobile device movement
JP6650988B1 (ja) 制御システム、制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20230428

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20230428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7367231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150