JP2022523968A - 物品特徴適応 - Google Patents

Abstract

ピッキング動作を実施するためのロボットピッキングデバイスおよび方法。開示される方法は、物品の関心特徴を識別するために画像解析プロシージャを実行することであって、関心特徴は、ピッキングデバイスがピッキング動作を実施する能力に影響を及ぼし得る、ことと、ピッキングデバイスによって実行可能な把持計画を生成することであって、把持計画は、ピッキングデバイスがピッキング動作を実施することが可能であるように関心特徴に適応する、こととを伴い得る。

Description

（関連出願の相互参照）
本出願は、２０１９年３月６日に出願された同時係属中の米国仮出願第６２／８１４，３４３号の利益およびこれに対する優先権を主張し、米国仮出願第６２／８１４，３４３号の開示全体は、その全体が本明細書に記載されているかのように、参照によって援用される。

（技術分野）
本明細書に記載の実施形態は概して、ロボットデバイスおよび方法に関連し、排他的ではないが、より具体的には、ピッキング動作を実施するためのロボットデバイスおよび方法に関連する。

（背景）
倉庫環境での物流動作などの物流動作はしばしば、第一の場所（例えばコンテナ）から物品を収集することと第二の場所に（例えばコンベアベルト上に）物品を配置することとを行うロボットピッキングデバイスを含む。

従って、これらの動作は、ロボットピッキングデバイスが物品をまず成功裏に把持することを要求する。しかしながら、物品はしばしば、ピッキングデバイスが物品を把持する能力に影響を及ぼし得る１つまたは複数の特徴を含む。

例えば、多くの注文履行用途は、各々の物品に関連付けられたバーコードを処理前にスキャンすることを要求する。物品が、バーコードが覆い隠されるように把持される場合には、ピッキング動作は、意図された通りに成し遂げられないことがある。

これらの特徴を識別するための既存の技術は、物品の画像内のピクセルレベルの特徴を検出することを伴い、特徴（例えば強度勾配、空間周波数など）は、動作の対象である物品のタイプの構造に特化している。これらの技術はしばしば、これらの特徴が、オクルージョンを伴わず、タイプ、形状および照明におけるばらつきをほとんど伴わずにカメラに向くように方向付けられることを要求する。これらの技術はまた、主として、これらの特徴が、収集された画像内に目立って示されることが想定される用途において用いられる。従って、これらの既存の技術は、全てのシナリオにおいて物品および様々な特徴に適応することが不可能である。

ゆえに、既存技術の不利点を克服する、ピッキング動作を実施するためのシステムおよび方法に対するニーズが、存在する。

（概要）
本概要は、下の詳細な説明の項においてさらに説明される概念の選択を、簡略化された形で導入するために設けられている。本概要は、主張される主題の要となる特徴またはその本質となる特徴を識別または除外することを意図されておらず、主張される主題の範囲を決定する際に補助として用いられることも意図されていない。

一側面において、実施形態は、ピッキング動作を実施するための方法に関連する。方法は、ピッキング動作においてピッキングデバイスによって把持されることとなる第一の物品の画像を受け取ることと、メモリ上に格納された命令を実行するプロセッサを用いて、第一の物品の関心特徴を識別するために画像解析プロシージャを実行することであって、関心特徴は、ピッキングデバイスがピッキング動作を実施する能力に影響を及ぼし得る、ことと、プロセッサを用いて、ピッキングデバイスによって実行可能な把持計画を生成することであって、把持計画は、ピッキングデバイスがピッキング動作を実施することが可能であるように関心特徴に適応する、こととを含む。

いくつかの実施形態では、方法は、ピッキングデバイスを用いて、生成された把持計画を実行することをさらに含む。

いくつかの実施形態では、第一の物品の関心特徴は、スキャン可能印であり、生成された把持計画は、スキャン可能印がスキャンされ得ることを保証するように第一の物品を把持することをピッキングデバイスに命令する。いくつかの実施形態では、生成された把持計画は、スキャン可能印がスキャンされ得ることを保証するようにピッキングデバイスが第一の物品を把持し得るように、第一の物品を揺動させるピッキングデバイスを伴う。

いくつかの実施形態では、第一の物品の関心特徴は、構造コンポーネントであり、生成された把持計画は、構造コンポーネントと接触することまたは構造コンポーネントと接触しないことをピッキングデバイスに命令する。いくつかの実施形態では、生成された把持計画は、ピッキングデバイスが構造コンポーネントと接触し得るように、またはピッキングデバイスが構造コンポーネントと接触することなく第一の物品を把持し得るように第一の物品を揺動させるピッキングデバイスを伴う。

いくつかの実施形態では、画像解析プロシージャを実行することは、受け取られた画像を複数のセグメントへと分割することと、複数のセグメントの各々が関心特徴を含有する見込みに基づいて、候補の把持部位として複数のセグメントの各々を順位付けることとを含む。

いくつかの実施形態では、方法は、生成された把持計画に従って、ピッキングデバイスが第一の物品にアクセスしピッキング動作を実施するために、少なくとも第二の物品を移動させることをさらに含む。

いくつかの実施形態では、画像解析プロシージャを実行することは、第一の物品の関心特徴を識別するために機械学習プロシージャを実行することを伴う。

別の側面に従って、実施形態は、ピッキング動作を実施するためのシステムに関連する。システムは、把持されることとなる第一の物品の画像を受け取るためのインターフェースと、ピッキング動作において第一の物品を把持するように構成されているピッキングデバイスと、メモリ上に格納された命令を実行するプロセッサであって、第一の物品の関心特徴を識別するために画像解析プロシージャを実行することであって、関心特徴は、ピッキングデバイスがピッキング動作を実施する能力に影響を及ぼし得る、ことと、ピッキングデバイスによって実行可能な把持計画を生成することであって、把持計画は、ピッキングデバイスがピッキング動作を実施することが可能であるように関心特徴に適応する、こととを行うように構成されているプロセッサとを含む。

いくつかの実施形態では、ピッキングデバイスは、生成された把持計画を実行することによってピッキング動作において第一の物品を把持するように構成されている。

いくつかの実施形態では、第一の物品の関心特徴は、スキャン可能印であり、ピッキングデバイスは、生成された把持計画に従って、スキャン可能印がスキャンされ得ることを保証するように第一の物品を把持するように構成されている。いくつかの実施形態では、ピッキングデバイスは、生成された把持計画に従って、スキャン可能印がスキャンされ得ることを保証するようにピッキングデバイスが第一の物品を把持し得るように、第一の物品を揺動させるように構成されている。

いくつかの実施形態では、第一の物品の関心特徴は、第一の物品の構造コンポーネントであり、ピッキングデバイスは、生成された把持計画に従って構造コンポーネントと接触するように構成されているか、または生成された把持計画に従って構造コンポーネントと接触しないように構成されている。いくつかの実施形態では、ピッキングデバイスは、ピッキングデバイスが、生成された把持計画に従って構造コンポーネントと接触し得るように、または生成された把持計画に従って構造コンポーネントと接触しないこととなるように、第一の物品を揺動させるように構成されている。

いくつかの実施形態では、プロセッサは、受け取られた画像を複数のセグメントへと分割することと、複数のセグメントの各々が関心特徴を含有する見込みに基づいて、候補の把持部位として複数のセグメントの各々を順位付けることとを行うことによって画像解析プロシージャを実行する。

いくつかの実施形態では、ピッキングデバイスは、生成された把持計画に従って第一の物品にアクセスするために少なくとも第二の物品を移動させるようにさらに構成されている。

いくつかの実施形態では、プロセッサは、第一の物品の関心特徴を識別するために機械学習プロシージャを実行することによって画像解析プロシージャを実行する。

（図面の簡単な説明）
本開示の非限定的かつ非包括的な実施形態が、以下の図面の参照を伴って記載され、同類の参照番号は、別段指定されない限り様々な図全体を通して同類の部分を参照する。

図１は、一実施形態に従った、倉庫環境におけるピッキングデバイスを図示している。

図２は、別の実施形態に従った、倉庫環境におけるピッキングデバイスを図示している。

図３は、一実施形態に従った、ピッキング動作を実施するためのシステムを図示している。

図４は、一実施形態に従った、ピッキング動作を実施するための方法のフローチャートを図解している。

（詳細な説明）
様々な実施形態が、付属の図面の参照を伴って下に一層ことごとく記載され、付属の図面は、本明細書の一部を形成し、付属の図面は、具体的な例となる実施形態を示す。しかしながら、本開示の概念は、多くの異なる形態において実装され得、本明細書に記載の実施形態に限定されていると解釈されるべきでなく、むしろ、これらの実施形態は、本開示の概念の範囲、技術および実装を当業者へとことごとく伝えるために徹底的かつ完全な開示の一部として提供される。実施形態は、方法、システムまたはデバイスとして実践され得る。これに応じて、実施形態は、ハードウェア実装、全面ソフトウェア実装またはソフトウェアの側面とハードウェアの側面とを組み合わせた実装の形態をとり得る。ゆえに、以下の詳細な説明は、限定する意味合いにとられることとならない。

本明細書における「一実施形態」または「ある実施形態」への言及は、実施形態に関連して記載される具体的な特徴、構造または特性が、本開示に従った少なくとも１つの例となる実装または技術に含まれることを意味する。本明細書内の様々な箇所における「一実施形態では」というフレーズの出現は、必ずしもその全てが同一の実施形態を指しているとは限らない。本明細書内の様々な箇所における「いくつかの実施形態では」というフレーズの出現は、必ずしもその全てが同一の実施形態を指しているとは限らない。

続く説明のいくつかの部分は、コンピュータメモリ内部に格納された非過渡的信号に対する動作の記号表現の観点から提示される。これらの説明および表現は、データ処理技術における当業者の仕事の内容をその技術分野の他の当業者へと最も効率的に伝えるために当業者によって用いられる。このような動作は典型的に、物理量の物理操作を要求する。これらの物理量は通常、格納可能、転送可能、組み合わせ可能、比較可能かつ別様に他の操作が可能な電気信号、磁気信号または光信号の形態をとり、ただし必ずしもこれらを必要としない。ビット、値、要素、記号、文字、用語、数字またはこれらに類するものとしてこれらの信号に言及することは、主に慣用の理由のために、ときに便利である。さらに、モジュールまたはコードデバイスのような物理量の物理操作を要求するステップの、ある配列に言及することも、一般性を失うことがなく、ときに便利である。

しかしながら、これらの用語およびこれらに類似する用語の全ては、適切な物理量に関連付けられることとなり、単にこれらの物理量に適用される便利なラベルにすぎない。以下の検討から自明であるように、別段明確に述べられない限り、「処理」または「コンピューティング」または「計算」または「決定」または「表示」またはこれらに類するものなどの用語を利用した検討は、本説明全体を通して、コンピュータシステムメモリまたはレジスタまたは他のこのような情報格納、送信もしくは表示デバイス内部にある物理量（電子に関係する量）として表現されるデータを操作および変換するコンピュータシステムまたは類似の電子コンピューティングデバイスの作動およびプロセスに言及することが、理解される。本開示の一部は、ソフトウェア、ファームウェアまたはハードウェアにおいて具現化され得、ソフトウェアにおいて具現化されるときには多様なオペレーティングシステムによって用いられる異なるプラットフォームに常駐するために、かつそれらのプラットフォームから動作されるためにダウンロードされ得るプロセスおよび命令を含む。

本開示はまた、本明細書に記載の動作を実施するための装置に関連する。この装置は、要求される目的のために特別に構築され得、または、これは、コンピュータ内に格納されたコンピュータプログラムによって選択的にアクティベートまたは再構成される汎用コンピュータを備え得る。このようなコンピュータプログラムは、フロッピー（登録商標）ディスクを含む任意のタイプのディスク、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードもしくは光カード、特定用途向け集積回路（ＡＳＩＣ）または電子命令を格納することに適した任意のタイプの媒体などのコンピュータ読取り可能な記憶媒体内に格納され得、ただしこれらに限定されず、各々がコンピュータシステムバスへと結合され得る。さらに、本明細書内で言及されるコンピュータは、シングルプロセッサを含み得、または増大されたコンピューティング能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本明細書内で提示されるプロセスおよび表示は、いずれの具体的なコンピュータまたは他の装置にも本質的に関連するわけではない。様々な汎用システムは、本明細書に記載の教示に従ったプログラムと共に用いられることもあり、または、１つまたは複数の方法ステップを実施することに一層特化した装置を構築することが便利であることが、判明し得る。多様なこれらのシステムに対する構造が、下の説明において検討される。加えて、本開示の技術および実装を達成するのに充分な任意の具体的なプログラミング言語が、用いられ得る。本明細書内で検討されるように、多様なプログラミング言語が、本開示を実装するために用いられ得る。

加えて、本明細書内で用いられる言語は、主に可読性および教授の目的のために選択され得、開示される主題を画定または画成するためには選択されていないことがある。これに応じて、本開示は、本明細書に記載される概念の範囲の実例となるように、かつこれを限定しないように意図されている。

ピッキング動作は概して、ロボットピッキングデバイスが、（例えば棚、コンテナ、容器またはこれらに類するものから）物品を把持する把持試行を実行し、その後に別の場所に物品を配置することを伴う。「配置」場所は、別のコンテナ、容器、コンベアベルトまたはこれらに類するものであり得る。ピック場所および配置場所のタイプは、相違し得、ピッキング動作が実施されることとなる用途または環境に依存し得る。

先に検討されたように、ピッキング動作の対象である物品はしばしば、ピッキングデバイスがピッキング動作を実施することが可能かどうか（またはピッキングデバイスはどのようにピッキング動作を実施すべきか）に影響を及ぼし得るある関心特徴を含む。例えば、多くの注文履行用途は、各々の物品に関連付けられたバーコードを処理前にスキャンすることを要求する。バーコードが覆い隠されるように物品が把持される場合には、ピッキング動作は、意図された通りに成し遂げられないことがある。これらの状況では、人間のオペレータが、物品を調整するために介入することを必要とし得、または、その人間自身でピッキング動作を実施することさえ必要とし得る。これは必然的に、ダウンタイムの一因であり、人間のオペレータが介入することを要求されるのでリソースを費やす。

本明細書に記載の実施形態は、ピッキング動作を実施するための新規のシステムおよび方法を提供する。本明細書に記載のシステムおよび方法はまず、把持されることとなる物品が１つまたは複数の関心特徴を含むかどうかを決定し得る。本出願の文脈において、「関心特徴」という用語またはこれに類する用語は、ピッキングデバイスはどのように把持試行を実行すべきかに影響を及ぼす物品の特性を指し得る。いくつかのシナリオでは、関心特徴は、ピッキング動作中に回避されるべき何らかの特性を指し得る。これは、把持デバイスによって覆い隠されるべきでない、物品の外部にあるバーコード、ラベルまたは他の印を指し得る。別の例として、回避されるべき関心特徴は、敏感なコンポーネント（例えば炭酸飲料水の缶上のタブ、ガラスなど）を有する物品上の何らかの場所であり得る。

他のシナリオでは、関心特徴は、ピッキング動作中に接触されるべき場所または構造コンポーネントを指し得る。これらは、成功裏の把持試行の見込みを増大させるために把持試行中に接触されるべきアパーチャ、フック、平坦な面または任意の他のタイプの場所もしくは構造を指し得る。

物品が、１つまたは複数の関心特徴を含む場合には、本明細書に記載のシステムおよび方法は、任意の関心特徴に適応しピッキング動作によって実行可能な把持計画を生成し得る。これに応じて、これらの関心特徴は、ピッキングプロセスを改良するために、または成功裏のピッキング動作の見込みを別様に増大させるために活用され得る。

本明細書に記載のデバイスおよび方法は、多数の環境において多数の用途のために実装され得る。図１は、１つまたは複数のピッキングデバイス１０２がピックおよび配置動作を実施することを課され得る倉庫環境１００を図示している。例えば、握持デバイス１０２は、（例えば複数のアームセグメントもしくはリンクから形成される）アーム部分ならびにエンドエフェクタを備え得、シェルビングユニット１０４から物品をピックすることとコンテナ１０６内に物品を配置することとを課され得る。コンテナ１０６は、コンテナ１０６を握持デバイス１０２へと移動させることと、コンテナ１０６を握持デバイス１０２から移動させることとが行われるように構成されているコンベアベルト１０８上にあり得る。これに加えてまたは代えて、ピッキングデバイス１０２は、コンテナ１０６から物品をピックすることと、シェルビングユニット１０４、プットウォール、保管場所、別の容器もしくはコンテナまたはこれらに類するもの内に物品を配置することとを課され得る。

図２は、ピッキングデバイス２０２が、１つまたは複数のコンテナ２０４から物品をピックすることと、ローディングステーション２０６に物品を配置することとを課され得る倉庫環境２００における別の例となる用途を図示している。これらの物品はその後、さらなる発送、類別、処理またはこれらに類することのために発送コンテナ２０８内に配置され得る。

図３は、一実施形態に従った、ピッキング動作を実施するためのシステム３００を図示している。システム３００は、物流管理モジュール３０２、１つまたは複数のデータベース３０４およびピッキングデバイス３０６を含み得る。

物流管理モジュール３０２は、処理デバイスであり得、物流メモリ３１０上に格納された命令および解析モジュール３０８を含み得るかまたは別様に実行し得る。物流管理モジュール３０２は、データベース（単数または複数）３０４と動作可能に通信し得る。データベース（単数または複数）３０４は、例えば一般的に把持される物品および（該当する場合には）これに関連付けられた関心特徴、以前のピック試行およびピッキング動作の結果、把持計画もしくはピッキング方略またはこれらに類するものに関係するデータを格納し得る。

解析モジュール３０８は、（例えばピッキングデバイス３０６によって実施されない場合に）任意の要求される解析を実施するために、物流メモリ３１０内に格納された命令を実行し得る。これらの解析は、ピッキングデバイス３０６が何らかの関心特徴を有するかどうか、ピッキングデバイス３０６が物品を把持したことがあるかどうか、把持計画を生成するかどうか、またはこれらに類することを決定するために、受け取られた画像を解析することを伴い得る。

１つまたは複数のネットワークは、様々なアセットおよびコンポーネント３０２～０６をリンクし得る。ネットワーク（単数または複数）は、インターネット、イントラネット、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、フレームリレー接続、高度インテリジェントネットワーク（ＡＩＮ）接続、同期光ファイバーネットワーク（ＳＯＮＥＴ）接続、デジタルＴ１、Ｔ３、Ｅ１またはＥ３回線、デジタルデータサービス（ＤＤＳ）接続、デジタル加入者線（ＤＳＬ）接続、イーサネット（登録商標）接続、統合サービスデジタルネットワーク（ＩＳＤＮ）回線、Ｖ．９０、Ｖ．３４またはＶ．３４ｂｉｓアナログモデム接続などのダイヤルアップポート、ケーブルモデム、非同期転送モード（ＡＴＭ）接続、ファイバー分散データインターフェース（ＦＤＤＩ）接続、銅分散データインターフェース（ＣＤＤＩ）接続もしくは光／ＤＷＤＭネットワークのうちの任意の１つもしくは複数から構成され得、またはこれらへとインターフェース接続し得る。

ネットワーク（単数または複数）はまた、ワイヤレスアプリケーションプロトコル（ＷＡＰ）リンク、Ｗｉ－Ｆｉリンク、マイクロ波リンク、汎用パケット無線サービス（ＧＰＲＳ）リンク、グローバル移動通信システムＧ（ＳＭ）リンク、符号分割多重接続（ＣＤＭＡ）リンク、または携帯電話チャネルなどの時分割多元接続（ＴＤＭＡ）リンク、全地球測位システム（ＧＰＳ）リンク、セルラーデジタルパケットデータ（ＣＤＰＤ）リンク、リサーチ・イン・モーション社（ＲＩＭ）の複信ページングタイプデバイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンク、もしくはＩＥＥＥ８０２．１１ベースのリンクのうちの任意の１つもしくは複数から構成され得、これらを含み得、またはこれらへとインターフェース接続し得る。

ピッキングデバイス３０６は、１つまたは複数のピッキング動作を実施することを課され得る。先に検討されたように、ピッキング動作は概して、ピッキングデバイスが、第一の場所から物品を収集し、第二の場所に物品を配置することを伴う。本明細書に記載の実施形態に従って、ピッキングデバイス３０６は、ピッキング動作の一部として物品を把持するための少なくとも１つの把持デバイス３１２を含み得る。

把持デバイス３１２は、多様な手段を以て構成され得、ピックされることとなる物品（単数または複数）に依存し得る。いくつかの実施形態では、把持デバイス３１２は、複数のフィンガ部分を伴うエンドエフェクタとして構成され得る。これらの実施形態では、ピッキングデバイス３０６は、フィンガ部分が物品の両側にあるようにエンドエフェクタを物品の付近に位置付けることと、その後、フィンガ部分が物品と接触するようにそれらを閉じることとを行うことによって物品を把持し得る。フィンガ部分（単数または複数）が充分な量の力を物品へと加える場合には、それらはその後、ピッキング動作の要件に従って物品をピックアップし得、物品を別の場所へと移動させ得る。

他の実施形態では、把持デバイス３１２は、物品の把持を獲得するために吸引力を生成する１つまたは複数の吸引デバイスとして構成され得る。これらの実施形態では、把持デバイス３１２は、要求される吸引力を提供するために任意の要求される真空生成器および管類をさらに含み得る。

動作時、ピッキングデバイス３０６は、生成される吸引力が物品に吸引デバイス（単数または複数）と接触し続けさせるように、吸引デバイスを物品の充分近くへと移動させ得るかまたは物品と接触するように別様に移動させ得る。把持されると、吸引デバイスは、物品を望まれる場所へと移動させ得る。吸引力は、吸引デバイス（単数または複数）が、望まれる場所において物品を解放するように停止または低減され得る。

ピッキングデバイス３０６はさらに、１つまたは複数の画像収集デバイス３１４を含み得、これらを伴って構成され得、またはこれらと別様に通信し得る。これらの画像収集デバイス３１４は、ピックされることとなる物品（単数または複数）へと指向され得、ピッキング動作の対象である物体が何らかの関心特徴を含むかどうかを決定することを援助し得る、物品の方向付け、構成、場所または他のタイプの情報などの物品に関係する画像を収集し得る。

これらの画像収集デバイス３１４は、例えば、限定ではないが、ＲＧＢカメラ、ステレオスコピックカメラ、ＬＩＤＡＲ、ソナーセンサなどのうちの任意の１つまたは複数を含み得る。用いられる画像収集デバイス３１４の厳密なタイプまたは構成は、それらが本明細書に記載の実施形態の狙いを成し遂げるために要求されるデータを収集し得る限り相違し得、現在利用可能であるかまたは今後発明されるかにかかわらず任意のタイプのセンサデバイスを含み得る。

画像収集デバイス３１４の場所または配置は、同様に相違し得、用いられる画像収集デバイス３１４のタイプに依存し得る。例えば、把持デバイス３１２が、フィンガ部分を伴うエンドエフェクタとして構成される場合には、１つまたは複数の画像収集デバイス３１４は、エンドエフェクタのパームに埋め込まれ得る。

いくつかの実施形態では、システム３００は、ピッキングデバイス３０６によって標的とされる物品の画像を収集するために既製（ＯＴＳ）のＲＧＢカメラを用い得る。これらのカメラは、ピッキングエリアの俯瞰図を提供するために動作可能に配置され得る。厳密な構成に関係なく、収集された画像は、特徴適応（例えば回避）のためにシステム３００によってリアルタイムに利用され得、また、機械学習プロシージャなどの任意の実装される画像解析技術の訓練および洗練のために格納され得る。

インターフェース３１６は、収集された画像を受け取り得、収集された画像を解析のためにプロセッサ３１８へと伝達し得る。プロセッサ３１８は、受け取られた画像の解析のために、メモリ３２０上に格納された命令を実行し得る。メモリ３２０は、Ｌ１、Ｌ２、Ｌ３キャッシュまたはＲＡＭメモリ構成であり得る。上で検討されたように、メモリ３２０は、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＯＭおよびＰＲＯＭなどの不揮発性メモリまたは静的もしくは動的ＲＡＭなどの揮発性メモリを含み得る。メモリ３２０の厳密な構成／タイプは、主張される実施形態のステップを実施するための命令がプロセッサ３１８によって実行され得る限り、当然に相違し得る。

具体的には、プロセッサ３１８は、物品が何らかの関心特徴を有するかどうかを決定するために１つまたは複数の画像解析モジュール３２２を実行し得る。例えば、画像解析モジュール３２２は、収集された画像内の関心特徴を識別するために１つまたは複数の機械学習プロシージャ３２４を用い得る。これらのプロシージャは、入力として生のＲＧＢ画像を用い得、各々のピクセルが画像内の物品の関心特徴に属することの予測確率を含有する出力を生み出し得る。

いくつかの実施形態では、画像解析モジュール３２２によって実行される機械学習プロシージャ（単数または複数）３２４は、教師ありであり得、１つまたは複数のデータベース３０４内に格納された、あらかじめアノテーションされた画像に依拠し得る。例えば、各々の「訓練」画像は、ピクセルレベルでラベルされる関心特徴を含有する領域を有し得る。これらは、例えば、訓練フェーズの一部としてユーザによってラベルされていることがある。

スタンドアローンセマンティックセグメンテーションラベリングツール（図３に示されていない）が、訓練画像に対するアノテーションを作成するために用いられ得る。このツールのユーザは、画像の訓練セットから画像を提示され得る。ユーザはその後、画像内の各々の特徴に対するバウンディングポリゴンまたは他の指定を指示し得る。

例えば、訓練画像内の物品がバーコードを含む場合には、ユーザは、関心特徴としてバーコードを指定するためにバーコードを強調し得る。具体的には、ユーザは、ピッキング動作中に被覆されるべきでない関心特徴としてバーコードを指定し得る。

別の例として、訓練画像内の物品が、タブを伴う缶（例えば飲料缶）である場合には、ユーザは、ピッキング動作中に接触されるべきでない関心特徴としてタブを強調し得る。

さらに別の例として、訓練画像内の物品が平坦な面を含む場合には、ユーザは、（例えば把持デバイス３１２が１つまたは複数の吸引デバイスを伴って構成されている場合に）ピッキング動作の実行中に吸引デバイスが接触すべき関心特徴として平坦な面を強調し得る。さらに別の例として、訓練画像内の物品が、係合される場合に把持デバイス３１２が物品を把持することをより容易にする何らかのタイプのアパーチャ、スロットまたはフックを含む場合には、ユーザは、把持試行中に接触されるべき関心特徴としてこれらのコンポーネントを指定し得る。

画像は、任意の実装される機械学習プロシージャ３２４の汎化可能性を増大させるために多様な物品およびピッキングセットアップから取集され得る。拡大縮小、回転および照明変更などの画像前処理技術は、機械学習プロシージャ（単数または複数）３２４を実際のピッキング環境および物品の様々な物理的性質のばらつきに対して頑健にし得る。

回避されることとなる関心特徴は、多くの日常物についてありふれているので、ユーザは、訓練画像内のこれらの関心特徴を正確に識別するためにピッキングデバイス３０６または標的物品に精通していることを必要としない。従って、これは、例えばクラウドソーシングプラットフォームのユーザが、画像解析モジュール３２２によって用いられるラベルされた訓練画像を生み出すことを許容する。

把持計画モジュール３２６は、メモリ３２０内に格納された命令を実行することにより、ピッキングデバイス３０６によって実行されることとなる把持計画を生成し得る。把持計画は、ピッキングデバイス３０６によって適正に実行される場合に、把持デバイス３０６が、回避されることとなる関心特徴が接触されず被覆されない手段を以て物品を把持することを可能とするはずである。これに加えてまたは代えて、把持計画は、ピッキングデバイス３０６によって接触されるべき物品の関心特徴を具体的に指定し得る。

これに応じて、ピッキングデバイス３０６は、画像解析モジュール３２２からの出力を１つまたは複数の把持部位を選定するための判断プロセスへと統合し得る。いくつかの実施形態では、把持計画モジュール３２６は、部位が関心特徴を含有する見込みに基づいて候補のまたは潜在的な把持部位の順位付けを割当てかつ調整し得る。例えば、把持計画モジュール３２６は、ガラスなどの関心特徴を伴うピッキング部位が、好ましくは回避されるかまたはその全体が回避されるべきであることを指定する。これらの判断は、画像の予測エリアにおけるプロシージャの信頼度および物品そのものの知識に影響され得る。

すなわち、物品に関係する予備知識が、同様に考慮され得る。例えば、データベース（単数または複数）３０４は、何らかの関心特徴に適応するために把持デバイスはどのように物品を把持すべきかに影響を及ぼし得る物品の重量、形状、長さ、幅、深さ、内容物、表面の摩擦係数、構成（例えば物品が、把持するために理想的な何らかの特有の場所を有するかどうか）、変形可能性または任意の他のタイプのデータもしくは特性に関係するデータを格納し得る。

加えて、把持デバイス３１２が、物品を把持するときに回避されるべき関心特徴に接触せずこれを覆い隠さないことを保証するために、把持デバイス３１２のサイズおよび構成が、説明され得る。バーコードの場合には、これは、オクルージョンされていないスキャニングを許容し、または缶にあるタブのような特徴の場合には、これは、把持デバイス３１２がより高い頻度で物品を成功裏に把持することを許容する。

把持デバイス３１２が、フィンガ部分を伴うエンドエフェクタとして構成されている場合には、この構成およびサイズデータは、何らかの関心特徴に適応するためにピッキングデバイスはどのように物品を把持すべきかに影響を及ぼし得る、いくつのフィンガ部分が含まれるか、他のフィンガ部分に対するエンドエフェクタ上でのフィンガ部分の位置、フィンガ部分のサイズ（例えばそれらの長さ、幅）、しなやかさ、素材、曲げ点（単数もしくは複数）、可動域または任意の他のタイプの情報に関連し得る。

把持デバイス３１２が、吸引デバイスを伴って構成されている場合には、この構成およびサイズデータは、何らかの関心特徴に適応するためにピッキングデバイスはどのように物品を把持すべきかに影響を及ぼし得る吸引デバイスの数、吸引デバイス（単数もしくは複数）のサイズ、生成される力または任意の他のタイプの情報を含み得る。

関心特徴に適応することにおける成功は、ピッキングデバイス３０６が、例えばその最初の試みにおいて物品をピックアップおよびスキャンする（またはピッキング動作を別様に成功裏に完了する）能力によって評価され得る。これらの指標は、画像解析モジュール３２２からの予測を把持計画へと最良に統合する仕方を調整するために用いられ得る。これらはまた、機械学習プロシージャ３２４を洗練するために新しい有益な入力を自動的にキュレートするために用いられ得る。最初の試みにおいてピックおよびスキャン不可能であることの多くは、画像内の特徴の不正確なラベリングから生じ得る。スキャン時の不成功の試行からの画像においてアノテーションおよび訓練することによって、システムの頑健性は、さらに改良され得る。

図３に戻ってこれを参照すると、システム３００は、物品を揺動させるための揺動機構３２８をさらに含み得る。例えば、物品は、ピッキングデバイス３０６がピッキング動作を成功裏に実施することが不可能な位置または場所にあり得る。これに応じて、揺動機構３２８は、２０２０年２月６日に出願された、出願人の同時係属中のＰＣＴ出願第ＰＣＴ／ＵＳ２０／１６９６７号内で開示された動作などの揺動動作を実施し得、ＰＣＴ出願第ＰＣＴ／ＵＳ２０／１６９６７号の内容は、その全体が記載されているかのように参照によって本明細書に援用される。いくつかの実施形態では、ピッキングデバイス３０６または揺動機構３２８は、ピッキングデバイス３０６が望まれる物品を把持するために、別の物品をまず移動させることを必要とし得る。

図４は、一実施形態に従った、ピッキング動作を実施するための方法４００のフローチャートを図解している。ステップ４０２は、ピッキング動作においてピッキングデバイスによって把持されることとなる第一の物品の画像を受け取ることを伴う。この画像は、図３の画像収集デバイス３１４などのデバイスによって収集され得る。これらのデバイスは、ピッキングデバイスの一部として構成され得、またはピッキングデバイスから分離するが、第一の物品に関係する画像を収集するために動作可能に位置付けられ得る。

ステップ４０４は、メモリ上に格納された命令を実行するプロセッサを用いて、第一の物品の関心特徴を識別するために画像解析プロシージャを実行することを伴い、関心特徴は、ピッキングデバイスがピッキング動作を実施する能力またはピッキングデバイスはどのようにピッキング動作を実施すべきかに影響を及ぼし得る。先に検討されたように、関心特徴は、ピッキング動作中に接触および被覆されるべきでない、物品上のコンポーネントまたは場所を指し得る。

ステップ４０６においてピッキングデバイスがいずれの関心特徴も含まないことが決定される場合には、方法４００は、ステップ４１２へと進み得る。ステップ４１２は、ピッキングデバイスを用いて把持計画を実行することを伴う。本場合では、把持計画は、いずれかの関心特徴を説明することを伴わない。

しかしながら、ステップ４０６において物品が関心特徴を含むことが決定される場合には、方法４００は、ステップ４０８へと進み得る。ステップ４０８は、プロセッサを用いて、ピッキングデバイスによって実行可能な把持計画を生成することを伴う。本場合では、生成された把持計画は、ピッキングデバイスがピッキング動作を実施することが可能であるように関心特徴に適応する。いくつかのシナリオでは、関心特徴は、ピッキングデバイスによって回避されるべきであるか、接触されるべきでないか、または別様に被覆されるべきでない。これらのシナリオでは、把持計画は、ピッキングデバイスが、これらの関心特徴を回避するように物品を把持することを伴い得る。

他のシナリオでは、関心特徴は、ピッキングデバイスがピッキング動作を成功裏に実施することが可能である見込みを増大させるために、接触されるべき場所であり得る。これらのシナリオでは、把持計画は、ピッキングデバイスが、これらの関心特徴と接触するように物品を把持することを伴い得る。

ピッキングデバイスがピッキング動作を実施することが可能である場合には、方法４００は、ステップ４１２へと進み得、把持計画を実行し得る。別の場合には、物品は、ピッキングデバイスがピッキング動作を実施することが不可能であるように位置付けられ得る。これらの場合には、方法４００は、上で説明されたように物品を揺動させることを伴うステップ４１０へと進み得る。物品が揺動させられると、方法４００は、ステップ４１２へと進み得、ピッキングデバイスは、把持計画を実行し得る。

本開示の実施形態は、例えば、本開示の実施形態に従った方法、システムおよびコンピュータプログラム製品のブロック図および／または動作に関する図示の参照を伴って上において記載される。ブロック内に記された機能／行為は、任意のフローチャートにおいて示されているような順番から外れて行われ得る。例えば、伴われる機能性／行為によっては、連続して示された２つのブロックが、実際上は実質同時に実行され得、または、それらのブロックが、ときには逆順序で実行され得る。これに加えてまたは代えて、任意のフローチャートに示されるブロックの全てを実施および／または実行する必要は、ない。例えば、所与のフローチャートが、機能／行為を含有する５つのブロックを有する場合には、これは、５つのブロックのうちの３つのみが実施および／または実行される場合であり得る。本例では、５つのブロックのうちの３つのうちの任意のものが、実施および／または実行され得る。

ある値が第一の閾値を超える（またはそれより大きい）というステートメントは、その値が第一の閾値より僅かに大きな第二の閾値（例えば関連系の分解能において第一の閾値より高い１つの値である第二の閾値）に合うかまたはこれを上回るというステートメントと等価である。ある値が第一の閾値より低い（またはその範囲内である）というステートメントは、その値が第一の閾値より僅かに低い第二の閾値（例えば関連系の分解能において第一の閾値より低い１つの値である第二の値）より低いかまたはこれと等しいというステートメントと等価である。

具体的な詳細が、例となる構成（実装を含む）の徹底的な理解を提供するために説明内で与えられる。しかしながら、構成は、これらの具体的な詳細を伴わずに実践され得る。例えば、よく知られた回路、プロセス、アルゴリズム、構造および技術は、構成を分かりにくくすることを回避するために不要な詳細を伴わずに示されている。本説明は、例となる構成のみを提供し、特許請求の範囲、適用性または構成を限定しない。むしろ、先に行った構成の説明は、記載の技術を実装することを可能とする説明を当業者に提供する。様々な変更が、本開示の主旨または範囲から逸脱することなく要素の機能および配列について行われ得る。

例となる構成をいくつか説明してきたが、様々な改良、代わりとなる構造およびこれらと等価なものが、本開示の主旨から逸脱することなく用いられ得る。例えば、上の要素はより大きなシステムのコンポーネントであり得、このシステムでは、他のルールが、本開示の様々な実装または技術に優先し得、またはこれらを別様に改良し得る。また、多数のステップが、上の要素が考慮される前、考慮されている間または考慮された後に着手され得る。

本出願の説明および図示を提供してきたが、一当業者は、以下の特許請求の範囲から逸脱しない、本出願において検討される一般的発明概念の範囲内に収まるバリエーション、改良および代わりの実施形態を想定し得る。

Claims (18)

1. ピッキング動作を実施するための方法であって、該方法は、
   該ピッキング動作においてピッキングデバイスによって把持されることとなる第一の物品の画像を受け取ることと、
   メモリ上に格納された命令を実行するプロセッサを用いて、該第一の物品の関心特徴を識別するために画像解析プロシージャを実行することであって、該関心特徴は、該ピッキングデバイスが該ピッキング動作を実施する能力に影響を及ぼし得る、ことと、
   該プロセッサを用いて、該ピッキングデバイスによって実行可能な把持計画を生成することであって、該把持計画は、該ピッキングデバイスが該ピッキング動作を実施することが可能であるように該関心特徴に適応する、ことと
   を備える、方法。
2. 前記ピッキングデバイスを用いて、前記生成された把持計画を実行することをさらに備える、請求項１に記載の方法。
3. 前記第一の物品の前記関心特徴は、スキャン可能印であり、前記生成された把持計画は、該スキャン可能印がスキャンされ得ることを保証するように該第一の物品を把持することを前記ピッキングデバイスに命令する、請求項１に記載の方法。
4. 前記生成された把持計画は、前記スキャン可能印がスキャンされ得ることを保証するように前記ピッキングデバイスが前記第一の物品を把持し得るように、該ピッキングデバイスが該第一の物品を揺動させることを伴う、請求項３に記載の方法。
5. 前記第一の物品の前記関心特徴は、構造コンポーネントであり、前記生成された把持計画は、該構造コンポーネントと接触することまたは該構造コンポーネントと接触しないことを前記ピッキングデバイスに命令する、請求項１に記載の方法。
6. 前記生成された把持計画は、前記ピッキングデバイスが前記構造コンポーネントと接触し得るように、または該ピッキングデバイスが該構造コンポーネントと接触することなく前記第一の物品を把持し得るように、該ピッキングデバイスが該第一の物品を揺動させることを伴う、請求項５に記載の方法。
7. 前記画像解析プロシージャを実行することは、
   前記受け取られた画像を複数のセグメントへと分割することと、
   該複数のセグメントの各々が前記関心特徴を含有する見込みに基づいて、候補の把持部位として該複数のセグメントの各々を順位付けることと
   を含む、請求項１に記載の方法。
8. 前記生成された把持計画に従って、前記ピッキングデバイスが前記第一の物品にアクセスし前記ピッキング動作を実施するために、少なくとも第二の物品を移動させることをさらに備える、請求項１に記載の方法。
9. 前記画像解析プロシージャを実行することは、前記第一の物品の前記関心特徴を識別するために機械学習プロシージャを実行することを伴う、請求項１に記載の方法。
10. ピッキング動作を実施するためのシステムであって、該システムは、
    把持されることとなる第一の物品の画像を受け取るためのインターフェースと、
    ピッキング動作において該第一の物品を把持するように構成されているピッキングデバイスと、
    メモリ上に格納された命令を実行するプロセッサであって、
    該第一の物品の関心特徴を識別するために画像解析プロシージャを実行することであって、該関心特徴は、該ピッキングデバイスが該ピッキング動作を実施する能力に影響を及ぼし得る、ことと、
    該ピッキングデバイスによって実行可能な把持計画を生成することであって、該把持計画は、該ピッキングデバイスが該ピッキング動作を実施することが可能であるように該関心特徴に適応する、ことと
    を行うように構成されているプロセッサと
    を備える、システム。
11. 前記ピッキングデバイスは、前記生成された把持計画を実行することによって前記ピッキング動作において前記第一の物品を把持するように構成されている、請求項１０に記載のシステム。
12. 前記第一の物品の前記関心特徴は、スキャン可能印であり、前記ピッキングデバイスは、前記生成された把持計画に従って、該スキャン可能印がスキャンされ得ることを保証するように該第一の物品を把持するように構成されている、請求項１０に記載のシステム。
13. 前記ピッキングデバイスは、前記生成された把持計画に従って、前記スキャン可能印がスキャンされ得ることを保証するように該ピッキングデバイスが前記第一の物品を把持し得るように、該第一の物品を揺動させるように構成されている、請求項１２に記載のシステム。
14. 前記第一の物品の前記関心特徴は、該第一の物品の構造コンポーネントであり、前記ピッキングデバイスは、前記生成された把持計画に従って該構造コンポーネントと接触するように構成されているか、または該生成された把持計画に従って該構造コンポーネントと接触しないように構成されている、請求項１０に記載のシステム。
15. 前記ピッキングデバイスは、該ピッキングデバイスが、前記生成された把持計画に従って前記構造コンポーネントと接触し得るように、または該生成された把持計画に従って該構造コンポーネントと接触しないこととなるように、前記第一の物品を揺動させるように構成されている、請求項１４に記載のシステム。
16. 前記プロセッサは、
    前記受け取られた画像を複数のセグメントへと分割することと、
    該複数のセグメントの各々が前記関心特徴を含有する見込みに基づいて、候補の把持部位として該複数のセグメントの各々を順位付けることと
    を行うことによって前記画像解析プロシージャを実行する、請求項１０に記載のシステム。
17. 前記ピッキングデバイスは、前記生成された把持計画に従って前記第一の物品にアクセスするために少なくとも第二の物品を移動させるようにさらに構成されている、請求項１０に記載のシステム。
18. 前記プロセッサは、前記第一の物品の前記関心特徴を識別するために機械学習プロシージャを実行することによって前記画像解析プロシージャを実行する、請求項１０に記載のシステム。

Images