JP7252581B2 - 物品検出装置、物品検出方法、及び産業車両 - Google Patents

Description

本発明は、物品検出装置、物品検出方法、及び産業車両に関する。

従来の物品検出装置としては、例えば特許文献１に記載されている技術が知られている。特許文献１に記載の物品検出装置は、多層積みされたパレットをフォークリフトで取り出して搬送させる場合に、パレットの存在位置及びフォークの挿入位置の認識のために用いられる。この物品検出装置は、荷役対象であるパレットの位置を物品の全体の輪郭に対する相対的関係が既知な物品の特徴部から検出することで、当該パレットの前面の位置及び姿勢を演算している。

特開平５－１５７５１８号公報

特許文献１の技術は、正面方向から荷役対象であるパレットに近づいた後に、その位置を検出する場合には有効だが、近年、正面方向に限らず、パレットから離れた位置から周囲を観測し、対象となるパレットを検出し、その位置と姿勢を算出することが求められている。車体が荷役する物品の近傍に近付く前に、物品検出装置が物品の荷役対象部位の位置や姿勢を把握しておくことで、車体はスムーズに荷役を行えるような軌道で、物品に近付くことができる。

従って、本発明は、荷役対象である物品を、物品との位置関係によらずに検出することができる物品検出装置、物品検出方法、及び産業車両を提供することを目的とする。

本発明の一態様に係る物品検出装置は、荷役する物品を検出する物品検出装置であって、物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算部と、を備える。

この物品検出装置は、物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、を備えている。例えば、物品検出装置と物品との距離や位置関係により、物品検出装置の周囲の様子を示した周囲画像からは、直接的に物品を検出しにくい場合がある。これに対し、情報画像作成部は、物品検出装置の周囲を撮影した周囲画像に基づいて、物品の荷役対象部位を検出するのに適した情報画像を作成できる。また、物品検出装置は、情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算部を備える。このように、演算部は、物品の荷役対象部位を検出するのに適した情報画像を介して演算を行うことで、物品検出装置が物品の近傍に近付く前段階で、荷役対象部位の位置及び姿勢の少なくとも一方を演算できる。従って、荷役対象である物品を、物品との位置関係によらずに検出することができる。

物品検出装置は、情報画像を作成するための条件を調整する調整部を更に備えてよい。これにより、調整部は、物品検出装置が荷役対象部位を正確に検出し易いように情報画像を調整することができる。従って、演算部は、荷役対象部位の位置及び姿勢の少なくとも一方を、より高い精度で演算することができる。

物品検出装置において、情報画像は、周囲画像が取得された位置で取得される情報を、任意に設定した面に対して投影した画像であってよい。これにより、周囲画像が、直接的に荷役対象部位を検出しにくい位置から撮影されたものであったとしても、当該周囲画像が取得された位置で取得される情報を任意の面に投影することで、荷役対象部位を検出し易い適切な情報画像を作成することが可能となる。これにより、荷役対象部位が検出し易くなり、演算部は、正確に物品の状態を演算することができる。

物品検出装置において、情報画像作成部は、情報画像に対し、一つの画素に相当する寸法を対応付けており、演算部は、情報画像の画素と荷役対象部位の寸法との関係に基づいて、演算を行ってよい。このように、情報画像に示された荷役対象部位の大きさが、実際の寸法と一定の対応関係を有しているため、演算部は、物品の状態を正確に演算することができる。

物品検出装置において、演算部は、情報画像から検出された荷役対象部位のエッジ部に関する情報と、記憶部に予め記憶された荷役対象部位の実寸情報とのテンプレートマッチングを実施してよい。このように、演算部は、荷役対象部位の実寸情報を用いたテンプレートマッチングを行うことで、物品の状態を正確に演算することができる。

物品検出装置は、物品の荷役対象部位の特徴が投影される特徴面を設定する特徴面設定部を備え、特徴面設定部は、異なる位置で撮影された複数の周囲画像に基づいて、物品及び当該物品の周囲に関する三次元の復元形状を生成し、復元形状に基づいて特徴面を設定し、情報画像作成部は、特徴面を用いて情報画像を作成してよい。これにより、情報画像作成部は、物品が置かれた状態が未知の場合においても、物品の荷役対象部位の特徴を的確に示す情報画像を作成することができる。そして、このような特徴面は、物品や、物品の周囲に関する三次元の復元形状に基づいて設定される。以上より、演算部は、特徴面を用いて物品の状態を正確に演算することができる。

物品検出装置において、特徴面設定部は、周囲画像を撮影する場所の移動と同期して移動する移動平面を用いて、特徴面を設定してよい。この場合、特徴面設定部は、移動平面に投影された画像を異なる位置から複数取得することができる。これにより、特徴面設定部は、既存の手法を用いて短時間で三次元の復元形状を生成することができる。

物品検出装置において、周囲画像は魚眼カメラ、又は広角カメラで取得された画像であってよい。これにより、単眼のカメラにて物品検出装置の周囲を広い範囲の周囲画像として取得することが可能となる。

物品検出装置において、物品はパレットであり、情報画像にはパレットが存在する可能性がある領域を示すパレット候補部が付されており、演算部は、パレットの形状を模した第１の領域と第２の領域を有する形状パターンを有し、各々のパレット候補部に形状パターンを当てはめ、第１の領域及び第２の領域内の画素値ヒストグラムから、第１の領域及び第２の領域が均一領域であることの度合いを示す均一度を算出する。パレットの荷役対象部位である前面には、フォークを挿入するための穴部が形成されている。従って、穴部に対応する第２の領域は画素値ヒストグラムが均一な均一領域となり、穴部以外に対応する第１の領域は画素値ヒストグラムが均一な均一領域となる。従って、演算部は、第１の領域及び第２の領域が均一領域であることの度合いを示す均一度を算出し、当該均一度が高い場合は、パレット候補部にパレットが存在する可能性が高いと判断することができる。また、パレットの各領域の画素値そのものではなく、ヒストグラムのピーク位置に依らない、領域の均一度を算出しているため、演算部は、撮影時の明るさによらず、正確にパレットを検出できる。

物品検出装置において、演算部は、第１の領域及び第２の領域の総画素数に対する、画素値ヒストグラムにおけるピーク近傍の画素値を有する画素数の和、に基づいて均一度を算出してよい。これにより、演算部は、均一度をシンプルな演算で演算することができる。

物品検出装置において、演算部は、パレットと類似する対象物を模した類似形状パターンを更に有し、形状パターン及び類似形状パターンを用いることにより、パレット候補部から、パレットを識別する。すなわち、（例えば路面の白線など）パレットと類似して紛らわしい対象物がパレット候補部として抽出された場合でも、演算部は、そのような紛らわしい対象物について類似形状パターンに基づく均一度を算出し、形状パターンに基づく均一度との大小を比較することでどちらのパターンであるかを判定できる。従って、演算部は、紛らわしい対象物を誤ってパレットとして検出することを抑制できる。

物品検出装置において、演算部は、パレット候補部、第１の領域、及び第２の領域の形状を矩形とし、画素値ヒストグラムの算出に積分画像を用いてよい。パレットは前面の外形が矩形であり、穴部も矩形という形状を有している。従って、演算部が、矩形に領域が区切られた積分画像を用いることで、パレットの形状を活かして、演算を高速で行うことができる。

物品検出装置において、調整部は、周囲画像が取得された位置、及び当該位置で取得される情報を投影する投影面の幾何学的関係から、投影面の位置及び姿勢の変動に対する一致度変動における尾根型ピークの尾根線の傾きを推定し、当該傾きの傾き方向に基づいた一致度の極大値探索を行ってよい。この場合、調整部は、投影面の位置及び姿勢を全条件にわたって変動させて一致度を演算しなくとも、高速で一致度の極大値を探索することができる。

物品検出装置において、演算部は、周囲画像を取得する撮影部から物品への視線方向と荷役対象部位のなす角度に基づき、テンプレートマッチングで用いるテンプレートを補正してよい。この場合、演算部は、撮影部から物品への視線方向と荷役対象部位のなす角度を考慮して、物品のＲ面取りの影響などを考慮した適切なテンプレートマッチングを行うことができる。

本発明の一態様に係る物品検出方法は、荷役する物品を検出する物品検出方法であって、周囲を撮影した周囲画像を取得する画像取得ステップと、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成ステップと、情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算ステップと、を備える。

この物品検出方法によれば、上述の物品検出装置と同趣旨の作用・効果を得ることができる。

本発明の一態様に係る産業車両は、車体と、車体の周囲を撮影する撮影部と、撮影部で取得された画像に基づいて、荷役する物品を検出する制御を実施する制御部と、を備え、制御部は、撮影部から、車体の周囲を撮影した周囲画像を取得する画像取得部と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、情報画像に基づいて、荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算部と、を備える。

この産業車両によれば、上述の物品検出装置と同趣旨の作用・効果を得ることができる。

産業車両において、制御部は、物品の位置または姿勢の少なくともいずれか一方に関する情報に基づいて、車体の位置や姿勢を制御してよい。これにより、産業車両は、物品の荷役をスムーズに行うことができる。

本発明によれば、荷役対象である物品を、物品との位置関係によらずに検出することができる物品検出装置、物品検出方法、及び産業車両を提供することができる。

本発明の実施形態に係る物品検出装置を備えるフォークリフトの側面図である。 図１に示す物品検出装置及びそれに関わる構成要素を示すブロック構成図である。 フォークリフトがパレットを荷役するまでの動作を示す概略平面図である。 撮影部と棚及びパレットとの時系列に従った位置関係を示す概略平面図である。 周囲画像の一例を示す図である。 （ａ）は、図４において二点鎖線で示す撮影部の位置にて取得された投影画像を示し、（ｂ）は、図４において実線で示す撮影部の位置にて取得された投影画像を示す。 （ａ）は、棚に対して特徴面が設定された様子を示す斜視図であり、（ｂ）は、特徴面と複数の視点Ｖ１，Ｖ２，Ｖ３との位置関係を示す概略平面図である。 特徴面を用いて作成された情報画像を示す。 撮影部と棚及びパレットとの時系列に従った位置関係を示す概略平面図である。 （ａ）は、撮影部が図９の二点鎖線の位置に存在するときに得られる情報画像であり、（ｂ）は、撮影部が図９の実線の位置に存在するときに得られる情報画像である。 （ａ）はパレットの実寸情報の一例であり、（ｂ）は、テンプレートマッチングを行う時の情報画像の様子を示す図である。 特徴面と、検出されたパレットの前面に関して、移動しながら撮影した周囲画像について示した画像である。 撮影部と棚及びパレットとの時系列に従った位置関係を示す概略平面図である。 物品検出方法の処理内容を示すフロー図である。 情報画像においてパレット候補部が設定される様子を示した図である。 （ａ）はパレットの形状パターンを示す図であり、（ｂ）はパレットと類似した対象物の類似形状パターンを示す図である。 （ａ）は、パレットの箇所に設定されたパレット候補部にて取得された画素値ヒストグラムを示し、（ｂ）は、パレットと類似する箇所に設定されたパレット候補部にて取得された画素値ヒストグラムを示す。 積分画像の一例を示す図である。 （ａ）（ｂ）は、周囲画像が取得された位置、及び当該位置で取得される情報を投影する投影面の幾何学的関係を示す概念図である。 投影面の角度（θ）、視点からの距離（Ｄ）を変動させたときの一致度の分布の一例を示す図である。 図２０に示す分布に対して尾根線を示した図である。 （ａ）（ｂ）は、一致度の極大値の探索の手順について説明するための概念図である。 （ａ）（ｂ）は、一致度の極大値の探索の手順について説明するための概念図である。 （ａ）は、角のＲ面取り部と撮影部の視点との関係を示す概念図であり、（ｂ）は補正前のテンプレートを示す図であり、（ｃ）は補正後のテンプレートを示す図である。 撮影部３２から斜め方向にパレットをみた時の様子を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る物品検出装置を備える産業車両の側面図である。なお、以降の説明においては「左」「右」を用いて説明するが、これらは車両の後方から前方を見た時を基準としたときの「左」「右」に対応するものとする。図１に示すように、本実施形態では、物品を荷役する産業車両として、フォークリフト５０が例示されている。フォークリフト５０は、車体５１と、撮影部３２と、物品検出装置１００と、を備える。フォークリフト５０は、移動体２、及び荷役装置３を備える。本実施形態におけるフォークリフト５０はリーチ式のフォークリフトで、運転席１２に搭乗する運転手による手動運転と、後述する制御部１１０による自動運転とを切り替え可能である。あるいは、フォークリフト５０は制御部１１０による完全な自動運転が可能なものであってもよい。

移動体２は、前方へ延出する左右一対のリーチレグ４を備える。左右の前輪５は、左右のリーチレグ４にそれぞれ回転可能に支持されている。後輪６は、後一輪であって、操舵輪を兼ねた駆動輪である。移動体２の後部は、立席タイプの運転席１２となっている。運転席１２の前側にあるインストルメントパネル９には、荷役操作のための荷役レバー１０、及び前後進操作のためのアクセルレバー１１が設けられている。また、インストルメントパネル９の上面にはステアリング１３が設けられている。

荷役装置３は、移動体２の前側に設けられる。荷役レバー１０のうちのリーチレバー操作時には、リーチシリンダ（不図示）が伸縮駆動することによって、荷役装置３がリーチレグ４に沿って所定ストローク範囲内で前後方向に移動する。また、荷役装置３は、２段式のマスト２３、リフトシリンダ２４、ティルトシリンダ（不図示）及びフォーク２５を備える。荷役レバー１０のうちのリフトレバー操作時には、リフトシリンダ２４が伸縮駆動することによりマスト２３が上下方向にスライド伸縮し、これに連動してフォーク２５が昇降する。

次に、図２を参照して、本実施形態に係るフォークリフト５０の物品検出装置１００について更に詳細に説明する。図２は、本実施形態に係る物品検出装置１００及びそれに関わる構成要素を示すブロック構成図である。図２に示すように、物品検出装置１００は、制御部１１０を備えている。物品検出装置１００の制御部１１０は、荷役駆動系３０と、走行駆動系３１と接続されており、これらに制御信号を送信する。荷役駆動系３０は、荷役装置３を作動させるための駆動力を発生する駆動系である。走行駆動系３１は、移動体２を走行させるための駆動力を発生する駆動系である。

制御部１１０は、撮影部３２と接続されており、撮影部３２で撮影された画像を取得する。撮影部３２は、フォークリフト５０の車体５１の周囲を撮影する。撮影部３２は、図１に示す例では車体５１の天井部に設けられているが、車体５１の周囲を撮影できる位置であればどこに設けられてもよい。この撮影部３２の具体的な構成については、後述する。制御部１１０は、表示部３３と接続されており、各種画像データを表示部３３へ出力する。なお、制御部１１０による完全な自動運転が可能なフォークリフト５０の場合は、表示部３３や荷役レバー１０、アクセルレバー１１、ステアリング１３は備えなくてもよい。

物品検出装置１００は、荷役する物品を検出する装置である。また、物品検出装置１００の制御部１１０は、フォークリフト５０を自動操縦するための制御を行う。制御部１１０は、フォークリフト５０が荷役する物品に近接する前段階から、物品を検出して、当該物品の荷役対象部位の位置及び姿勢を把握する。これにより、制御部１１０は、フォークリフト５０が物品をスムーズに荷役できるように、物品に近接し、且つ、フォーク２５を荷役対象部位に挿入できるように制御する。

図３は、フォークリフト５０がパレット６１を荷役するまでの動作を示す概略平面図である。図３に示すように、フォークリフト５０が、棚６０に配置されたパレット６１（荷役する物品）を荷役する場合について説明する。制御部１１０は、フォークリフト５０が棚６０に近付くように走行制御する。このとき、制御部１１０は、フォークリフト５０が棚６０に対して、当該棚６０の横側から近付くように制御する（軌道ＴＬ１参照）。制御部１１０は、フォークリフト５０が棚６０の手前側で旋回するように制御する（軌道ＴＬ２参照）。このとき、フォークリフト５０は、棚６０の前面６０ａ及びパレット６１の前面６１ａ（荷役対象部位）と対向するような姿勢となる。そして、制御部１１０は、フォークリフト５０が棚６０のパレット６１の前面６１ａに直線的に近付き、パレット６１の前面６１ａで開口する穴部にフォーク２５を挿入するように制御する。このような制御を行う場合、制御部１１０は、旋回する前段階、すなわち軌道ＴＬ１を走行している段階からパレット６１を検出しておき、当該パレット６１の前面６１ａの位置及び姿勢を取得しておく。棚６０に複数のパレット６１が配置されている場合、制御部１１０は、今回の荷役動作では、どのパレット６１を取り出すかを予め把握しておき、棚６０の中から対象となるパレット６１を検出する。また、制御部１１０は、検出したパレット６１の位置及び姿勢を検出する。当該検出結果に基づいて、制御部１１０は、フォークリフト５０がパレット６１の前面６１ａの穴部にフォーク２５をスムーズに挿入できるように、フォークリフト５０の旋回位置や、旋回軌道を制御する。

制御部１１０は、装置を統括的に管理するＥＣＵ[Electronic Control Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵは、複数の電子ユニットから構成されていてもよい。図２に示すように、制御部１１０は、画像取得部１０１と、特徴面設定部１０２と、情報画像作成部１０３と、演算部１０４と、調整部１０６と、運転制御部１０７と、記憶部１０８と、を備える。

画像取得部１０１は、フォークリフト５０の車体５１の周囲を撮影した周囲画像を取得する。画像取得部１０１は、撮影部３２で撮影された周囲画像を時系列に取得する。撮影部３２は、所定の時間間隔で撮影を行うことで、時間の経過と共に複数の画像を撮影する。従って、画像取得部１０１が取得する周囲画像の列は、時間の経過に伴い、各時刻における周囲の様子を時系列で示した画像の集合として取り扱うことができる。フォークリフト５０は、時間の経過に伴い、棚６０に近付いてゆく。従って、図４に示すように、撮影部３２は、時間の経過に伴い、徐々に棚６０に近付いてゆく。画像取得部１０１が取得する周囲画像は、画像内の棚６０及びパレット６１が進行に伴って徐々に大きくなるような画像となる。なお、図４は、撮影部３２と棚６０及びパレット６１との時系列に従った位置関係を示す概略平面図である。図４では、制御部１１０の制御内容の理解を促進するために、パレット６１の前面６１ａと、棚６０の前面６０ａに対する傾斜角がデフォルメされて示されている。以降の図においても同様にデフォルメされた様子が示されている。

周囲画像は、魚眼カメラで取得された画像である。すなわち、撮影部３２は、魚眼カメラによって構成されている。魚眼カメラは、一般的な魚眼レンズを有することで、単眼で略１８０°の広視野で撮影を行うことができるカメラである。図５は、周囲画像の一例を示す図である。周囲画像は広視野で撮影されるため、図５に示すように、縁部に近い部分ほど、大きく湾曲するような画像となる。なお、図５では、パレット６１を配置した棚６０以外の周囲の構造物は省略されている。また、棚６０には中段にパレット６１Ａのみが配置され、上段にパレット６１Ｂのみが配置されている。ただし、棚６０には、多数のパレット６１が配置されてよい。また、パレット６１Ａ，６１Ｂ上の荷物は省略されている。フォークリフト５０が軌道ＴＬ１を走行しているとき（図３参照）、棚６０は、撮影部３２に対して、斜め前方に配置される。また、棚６０の前面６０ａ及びパレット６１の前面６１ａは、撮影部３２の進行方向と略平行に広がるような配置となる。周囲画像中では、棚６０及びパレット６１は、縁部側に湾曲した状態で表示される。

なお、撮影部３２を構成するカメラのレンズは魚眼レンズに限定されない。撮影部３２は、フォークリフト５０が棚６０から離れた位置、及び棚６０に近接した位置の両方にて、パレット６１の画像を取得できる程度の画角を有していればよい。すなわち、撮影部３２は、フォークリフト５０の前方の様子及び横側の様子を同時に撮影できるような広視野のカメラであればよい。なお、撮影部３２は、広視野で画像を撮影できればよく、広角カメラが採用されてもよい。また、撮影部３２は、複数方向に向けられた複数のカメラを組み合わせることで、広視野の画像を撮影してもよい。

特徴面設定部１０２は、パレット６１の前面６１ａの特徴が投影される特徴面ＳＦ（図７及び図９参照）を設定する。特徴面ＳＦの詳細な説明については後述する。

情報画像作成部１０３は、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した情報画像を作成する。情報画像作成部１０３は、特徴面ＳＦを用いて情報画像を作成する。上述のように、撮影部３２から直接取得できる周囲画像は、図５に示すように棚６０及びパレット６１が湾曲して示されるような画像である。また、周囲画像中では、棚６０及びパレット６１の写る大きさは、撮影部３２からの距離によって変動する。従って、周囲画像から直接的に、荷役対象のパレット６１を検出することは困難である。そこで、情報画像作成部１０３は、荷役対象のパレット６１の前面６１ａを検出し易いように、当該前面６１ａの形状的特徴や寸法的特徴などの情報が明確に示される情報画像を作成する。このように、パレット６１の前面６１ａに関する情報を認識し易い状態とは、これらの情報を情報画像から画像認識処理によって取得する場合の演算負荷が、少なくとも周囲画像から画像認識処理によって取得する場合の演算処理に比して、軽くできる状態であることを意味する。また、仮に演算の負荷を同じとした場合、情報画像から当該情報を取得する場合は、周囲画像から取得する場合よりも、正確に情報を取得することができる。

ここで、情報画像は、特徴面ＳＦが荷役対象であるパレット６１の前面６１ａ自体に設定されたときに、最も正確に前面６１ａの形状的特徴及び寸法的特徴を示すことができる（原理は後述する）。しかしながら、荷役対象であるパレット６１を特定できていない段階では、当該パレット６１の前面６１ａ自体に特徴面ＳＦを設定することは出来ない。従って、特徴面設定部１０２は、パレット６１の前面６１ａを近似可能な周辺の構造物の部位に対して、特徴面ＳＦを設定する。ここでは、各パレット６１の前面６１ａが、棚の前面６０ａと略一致するか、近接した位置にて略平行な状態で配置されることに基づき、図７（ａ）に示すように、棚６０の前面６０ａに対して特徴面ＳＦを設定する。

図７及び図８を参照して、特徴面ＳＦ及び情報画像について詳細に説明する。図７（ａ）は、棚６０に対して特徴面ＳＦが設定された様子を示す斜視図である。図７（ｂ）は、特徴面ＳＦと複数の視点Ｖ１，Ｖ２，Ｖ３との位置関係を示す概略平面図である。図８は、特徴面ＳＦを用いて作成された情報画像を示す。

特徴面ＳＦは、情報画像を作成するために三次元空間上に仮想的に設定される平面状の投影面である。なお、特徴面ＳＦに関する位置や姿勢は、設定する段階で既知となっている情報である。情報画像は、周囲画像が取得された位置で取得される情報を、認識し易い状態に変換した画像である。周囲画像が取得された位置で取得される情報は、当該位置から見たときの棚６０及びパレット６１の各部位の位置や大きさなどの情報を含む。情報画像作成部１０３は、周囲画像を特徴面ＳＦに投影することによって、情報画像を作成する。画像取得部１０１は、時系列に従って複数の周囲画像を取得しているため、情報画像作成部１０３も、周囲画像と同じ量の複数の情報画像を作成できる。

特徴面ＳＦは、パレット６１の前面６１ａの特徴が投影される投影面である。従って、特徴面ＳＦは、当該特徴面ＳＦに投影された情報画像の中に、パレット６１の前面６１ａの特徴が示されるように設定される。すなわち、特徴面ＳＦは、パレット６１の前面６１ａの特徴を的確に示すことができるような箇所に設定された投影面である。このように設定された特徴面ＳＦに投影されたパレット６１の前面６１ａの情報画像では、前面６１ａの特徴を示す情報が、画像認識処理で容易に認識できるような態様で示されることになる。前面６１ａの特徴とは、画像中において他の物品と区別できるような、前面６１ａに独特の外観的特徴のことを意味する。前面６１ａの特徴を示す情報とは、当該前面６１ａを特定することができる形状情報や寸法情報などである。

例えば、パレット６１の前面６１ａは、幅方向に延びる長方形の形状を有し、二つの穴部６２を有するという特徴がある。このようなパレット６１の前面６１ａ及び穴部６２は、周囲画像中では歪んで表示されるため（図５参照）、形状を特定し難いことに加え、寸法も把握することが難しく、画像認識処理によって特徴として検出することが困難である。これに対し、特徴面ＳＦに投影された画像では、このようなパレット６１の前面６１ａ及び穴部６２の形状が崩れることなく正確に示される（図１１（ａ）参照）。また、特徴面ＳＦに投影された画像では、パレット６１の前面６１ａを特定するための寸法Ｌ１，Ｌ２，Ｌ３も測定可能な態様で示されている（寸法の具体的な特定方法は後述）。特徴面ＳＦに投影された画像中では、パレット６１の前面６１ａの特徴が的確に示されている。すなわち、特徴面ＳＦに投影された画像中では、前面６１ａの特徴を示す情報が、画像認識処理によって容易に認識できるように変換された形で表示されている。このように、特徴面設定部１０２は、パレット６１の前面６１ａの特徴を示す情報を認識し易くなるような箇所に、特徴面ＳＦを設定する。

ここで、情報画像は、特徴面ＳＦが荷役対象のパレット６１の前面６１ａ自体に設定されたときに、最も正確に前面６１ａの形状的特徴及び寸法的特徴を示すことができる。しかしながら、荷役対象のパレット６１を特定できていない段階（物品の状態が未知の場合）では、当該パレット６１の前面６１ａ自体に特徴面ＳＦを設定することは出来ない。従って、特徴面設定部１０２は、パレット６１周辺の構造物の部位に対して、特徴面ＳＦを設定する。特徴面設定部１０２は、図７（ａ）に示すように、棚６０の前面６０ａに対して特徴面ＳＦを設定する。各パレット６１の前面６１ａは、前面６０ａに設定された特徴面ＳＦと略一致するか、近接した位置にて略平行な状態で配置される。よって、棚６０の前面６０ａに設定された特徴面ＳＦに投影された情報画像は、各パレット６１の前面６１ａの特徴を十分に示す画像となる。

図７（ｂ）に示すように、特徴面ＳＦ上に存在しているものは、どの視点から投影した画像であっても、実際にものが存在する位置に投影される。具体的には、棚６０の前面６０ａの一方の端部Ｐ１及び他方の端部Ｐ２は、特徴面ＳＦ上に存在している。よって、視点Ｖ１，Ｖ２，Ｖ３のいずれの視点から投影しても、情報画像中の端部Ｐ１，Ｐ２の位置は一定である。それに対し、棚６０の後面の端部Ｐ３は、視点Ｖ１から投影した場合、特徴面ＳＦ上の投影点Ｐ４の位置に投影される。そして、端部Ｐ３は、視点Ｖ２から投影した場合、特徴面ＳＦ上の投影点Ｐ４とは異なる投影点Ｐ５の位置に投影される。このように、三次元空間上で特徴面ＳＦ上に存在していないものは、情報画像中の位置も、視点によって変化する。一方、三次元空間上で特徴面ＳＦ上に存在するものは、視点によらず情報画像中で実際の形状的特徴や寸法的特徴などを維持する。なお、実際の撮影部３２は、棚６０を通り過ぎた視点Ｖ３の位置までは移動しないが、説明のために視点Ｖ３を例示した。

図８において、ハッチングが示されている箇所は、特徴面ＳＦ上、又は特徴面ＳＦに近接する位置に存在する箇所である。当該箇所は、視点が変わったとしても情報画像中での位置は略一定となる。ここでは、棚６０の前面６０ａ、及び各パレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａは、視点によらず、情報画像中で一定の位置及び大きさで示される。ここで、情報画像作成部１０３は、情報画像に対し、一つの画素に相当する寸法を対応付けている。すなわち、情報画像中の一画素が、実際の寸法としてはどの程度の大きさを示すかが一義的に決められている。よって、棚６０の前面６０ａ、及び各パレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａは、どの視点から投影したときの情報画像であるかに関わらず、情報画像中の大きさが一定となる。その一方、三次元空間上で特徴面ＳＦ上に存在していないものは、視点の変化によって情報画像中の位置が変動する。例えば、図８のハッチングを付した以外の箇所のうち、実線で示すものは、視点Ｖ１から見た時の様子を示し、一点鎖線は、視点Ｖ２から見た時の様子を示し、二点鎖線は、視点Ｖ３から見た時の様子を示す。

次に、図４及び図６を参照して、特徴面設定部１０２がどのようにして棚６０の前面に特徴面ＳＦを設定するかについて説明する。図４に示すように、特徴面設定部１０２は、周囲画像を撮影する場所の移動と同期して移動する移動平面ＤＦを投影面とする。周囲画像を撮影する場所の移動とは、フォークリフト５０の移動に伴う撮影部３２の移動である。移動平面ＤＦは、撮影部３２から所定距離だけ前方に配置され、棚６０の前面６０ａと対向する向きに設定されている。なお、移動平面ＤＦは、特徴面ＳＦとの区別を図面上でも明らかにするため、棚６０の前面６０ａに対して傾斜するように設定されているが、傾斜していなくてもよい。特徴面設定部１０２は、撮影部３２の視点から見た時の棚６０及びパレット６１を移動平面ＤＦに投影したときの投影画像を取得する。撮影部３２は、時間の経過と共に移動するため、特徴面設定部１０２は、移動平面ＤＦに投影された投影画像を時系列で複数取得することができる。これにより、時系列で連続的に撮影された周囲画像の一つ一つは、それぞれの撮影された時刻における位置に対応して取得されることになる。図６（ａ）は、図４において二点鎖線で示す撮影部３２の位置にて取得された投影画像を示す。図６（ｂ）は、図４において実線で示す撮影部３２の位置にて取得された投影画像を示す。図６に示すように、投影画像中の棚６０及びパレット６１Ａ，６１Ｂは、撮影部３２の移動に伴って投影画像中でも移動する。これらの複数の投影画像は、異なる位置で撮影された複数の画像から三次元形状を復元する既知の手法と同様にして、三次元の形状に関する情報を取得するのに用いることが可能である。なお、三次元形状を復元する際に用いられる複数の画像は、それぞれが異なる位置で撮影されていればよく、時系列で複数獲得された複数の周囲画像に限定されない。例えば、複数のカメラを用いた場合、同じ時刻に撮影された２枚以上の画像において、それぞれのカメラの位置における幾何学的関係に基づいて三次元形状を復元してもよい。

特徴面設定部１０２は、上記複数の投影画像に基づいて、パレット６１及び棚６０に関する三次元の復元形状を生成する。特徴面設定部１０２は、時系列の周囲画像及び移動平面ＤＦを用いて得られた複数の投影画像から、三次元の復元形状を生成する。特徴面設定部１０２は、ＳＦＭ[Structure From Motion]を用いた公知の方法で、棚６０及びパレット６１の三次元の形状を復元する。また、特徴面設定部１０２は、復元形状に基づいて特徴面ＳＦを設定する。特徴面設定部１０２は、公知のＲＡＮＳＡＣ[Random Sampling Consensus]を用いた平面の検出方法で、復元形状中の棚６０の前面６０ａの三次元面の方程式を算出し、特徴面ＳＦに設定する。

情報画像作成部１０３は、上述のように特徴面設定部１０２が特徴面ＳＦを設定したら、周囲画像を取得した位置で得られた情報を特徴面ＳＦに投影することで情報画像を作成する。図９は、撮影部３２と棚６０及びパレット６１との時系列に従った位置関係を示す概略平面図である。図９に示すように、特徴面ＳＦは、撮影部３２がどの位置に存在していても、常に棚６０の前面６０ａの位置に設定される。これにより、情報画像作成部１０３は、図１０に示すような情報画像を作成することができる。図１０（ａ）は、撮影部３２が図９の二点鎖線の位置に存在するときに得られる情報画像である。図１０（ｂ）は、撮影部３２が図９の実線の位置に存在するときに得られる情報画像である。図１０（ａ）の情報画像と図１０（ｂ）の情報画像とでは、特徴面ＳＦ上の棚６０の前面６０ａ及び特徴面ＳＦ近傍のパレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａは、略同じ位置にて略同じ大きさで示される。

演算部１０４は、情報画像に基づいて、荷役対象のパレット６１を検出する。また、演算部１０４は、情報画像に基づいて、荷役対象のパレット６１の前面６１ａの位置及び姿勢を演算する。ここで、前面６１ａの「位置」及び「姿勢」とは、ある時点における撮影部３２に対する前面６１ａの相対的な三次元位置及び姿勢（カメラ座標系における位置及び姿勢）と、絶対座標系における前面６１ａの三次元位置及び姿勢と、の両方の意味を含んでいる。本実施形態では、演算部１０４が、相対的な位置及び姿勢を演算する場合について説明する。すなわち、演算部１０４は、ある情報画像から位置及び姿勢を演算した場合、当該情報画像の元となる周囲画像の撮影が行われた場所から前面６１ａの基準点の距離を演算する。前面６１ａの基準点は、どこに設定されてもよく、前面６１ａの端部や中央位置などに設定されてよい。また、演算部１０４は、周囲画像の撮影が行われたときの撮影部３２の光軸に対して、前面６１ａがどの程度の角度をなして配置されているかを演算する。なお、演算部１０４が絶対座標系での撮影部３２の位置及び姿勢を把握している場合は、絶対座標系での前面６１ａの位置及び姿勢を演算することができる。

演算部１０４は、情報画像の画素とパレット６１の前面６１ａの寸法との関係に基づいて、パレット６１に関する演算を行う。すなわち、情報画像中では、一画素に相当する実際の寸法が一義的に決められている。よって、演算部１０４は、荷役対象のパレット６１の前面６１ａの実寸情報を記憶部１０８から読み出し、当該実寸情報と適合する物を情報画像中から抽出することで、前面６１ａを検出することができる。

演算部１０４は、情報画像から検出されたパレット６１の前面６１ａのエッジ部に関する情報と、記憶部１０８に予め記憶された前面６１ａの実寸情報とのテンプレートマッチングを実施する。図１１（ａ）はパレット６１の実寸情報の一例である。図１１（ｂ）は、テンプレートマッチングを行う時の情報画像の様子を示す図である。図１１（ａ）に示すように、実寸情報とは、パレット６１の実物におけるエッジ部に相当する部分の寸法関係に基づいて設定されるエッジテンプレートであり、一例として、パレット６１の前面６１ａの幅寸法Ｌ１と、高さ寸法Ｌ２と、穴部６２間の寸法Ｌ３と、が含まれる。テンプレートマッチングを行う場合、演算部１０４は、図１１（ａ）のように検出対象となるパレット６１の前面６１ａのエッジ部を検出すると共に、図１１（ｂ）のように情報画像中に存在する構造物などの物のエッジ部を検出する。演算部１０４は、公知の画像処理の方法を利用することで、画像中のエッジ部を検出する。このとき、演算部１０４は、水平方向に延びるエッジ部と、上下方向に延びるエッジ部と、を区別する。図１１では、水平方向に延びるエッジ部を実線で示し、上下方向に延びるエッジ部を二点鎖線で示す。演算部１０４は、パレット６１の前面６１ａのテンプレートを情報画像中でスキャニングすることで、情報画像中でテンプレートにマッチするオブジェクトを抽出する。演算部１０４は、抽出されたオブジェクトを荷役対象のパレット６１の前面６１ａとして検出する。なお、演算部１０４は、図１１（ｂ）中のパレット６１Ａを検出するときは、記憶部１０８からパレット６１Ａの実寸情報を読み出し、パレット６１Ｂを検出するときは、記憶部１０８からパレット６１Ｂの実寸情報を読み出す。

上述のように、演算部１０４が情報画像の中で荷役対象のパレット６１の前面６１ａを検出した時、パレット６１の前面６１ａと情報画像を生成した時の特徴面は略一致している。特徴面ＳＦの三次元位置及び姿勢は既知であるため、情報画像中のパレット６１の検出位置に基づいてパレット６１の三次元位置及び姿勢を演算でき、荷役対象のパレット６１の前面６１ａを特定することができる。図１２は、パレット６１Ａ，６１Ｂの前面６１Ａａ，６１Ｂａの位置及び姿勢を検出した結果を特徴面ＳＦとともに抽出して示した図である。図１２（ａ）は撮影部３２が荷役対象のパレット６１Ａから４ｍ離れた位置での結果を示す。図１２（ｂ）は３ｍ、図１２（ｃ）は２ｍ、図１２（ｄ）は１ｍ離れた位置での結果を示す。演算部１０４は、周囲画像から得られる情報に基づいて、各撮影位置でのパレット６１Ａの前面６１Ａａの位置及び姿勢を演算することができる。

調整部１０６は、情報画像を作成するための条件を調整することで、演算部１０４での演算精度を向上する。本実施形態では、調整部１０６は、情報画像を作成するための条件として、当該情報画像を作成するときに用いられる特徴面ＳＦの位置及び傾きを調整している。具体的には、情報画像を作成した時の特徴面ＳＦに関する三次元面の方程式を調整することで、演算部１０４での演算精度を向上する。上述の情報画像作成部１０３は、荷役対象のパレット６１を検出していない状態であったため、棚６０の前面６０ａと同一平面、又は当該平面の近傍に荷役対象のパレット６１の前面６１ａが存在するものとして、棚６０の前面６０ａに対して特徴面ＳＦを設定した。この場合、図９に示すように、荷役対象のパレット６１が特徴面ＳＦから離間していたり、特徴面ＳＦに対して傾斜している場合もある。このとき、情報画像中に示されるパレット６１の前面６１ａは、実際の前面６１ａの形状や大きさと僅かにずれてしまう。従って、調整部１０６は、荷役対象のパレット６１が検出された後、図１３に示すような、当該パレット６１の前面６１ａと一致する特徴面ＳＦを求める。具体的には、情報画像を作成した時の三次元面の方程式を構成するパラメータを変動させ、情報画像内のパレット６１の前面６１ａの位置や姿勢を算出し直し、エッジテンプレートとの一致度が最大となる情報画像を与えるパラメータを求める。求めた特徴面ＳＦは棚６０の前面６０ａよりも正確にパレット６１の前面６１ａに一致する。従って、演算部１０４は、高い演算精度で、パレット６１の前面６１ａの位置及び姿勢を演算できる。また、調整部１０６は、棚６０の前面６０ａに対して設定した特徴面ＳＦよりも狭い範囲の特徴面ＳＦをパレット６１の前面６１ａに対して設定する。従って、調整後の特徴面ＳＦを用いて作成した情報画像は、パレット６１の前面６１ａを拡大した画像となる。よって、演算部１０４は、高い演算精度で、パレット６１の前面６１ａの位置及び姿勢を演算できる。なお、位置と傾きの両方の調整だけでなく、位置だけを調整してもよいし、傾きだけを調整してもよい。

運転制御部１０７は、演算部１０４によって演算されたパレット６１の前面６１ａの位置及び姿勢に関する情報に基づいて、車体５１の位置や姿勢を制御する。運転制御部１０７は、軌道ＴＬ１を走行している時点で荷役対象のパレット６１の前面６１ａの位置及び姿勢を把握しているため、フォークリフト５０がパレット６１の前面６１ａの穴部にフォーク２５をスムーズに挿入できるように、フォークリフト５０の旋回位置や、旋回軌道（軌道ＴＬ２）を制御する。なお、運転制御部１０７は、物品検出装置１００の制御部１１０とは別個の制御ユニットとして構成されていてもよい。この場合、物品検出装置１００の制御部１１０は、演算結果を運転制御部１０７の制御ユニットへ出力し、運転制御部１０７は、物品検出装置１００の演算結果に基づいて運転制御を行う。

次に、図１４を参照して、本実施形態に係る物品検出方法の内容について説明する。図１４は、物品検出方法の処理内容を示すフロー図である。図１４に示す処理内容は、物品検出装置１００の制御部１１０によって実行される。ただし、図１４に示す処理内容は一例に過ぎず、これに限定されるものではない。

図１４に示すように、制御部１１０の画像取得部１０１は、車体５１の周囲を撮影した周囲画像を取得する画像取得ステップを実行する（ステップＳ１０）。画像取得ステップＳ１０において、画像取得部１０１は、撮影部３２で撮影された画像を周囲画像として取得する。次に、特徴面設定部１０２は、周囲画像を撮影する場所の移動と同期して移動する移動平面ＤＦに投影される投影画像を取得する投影画像取得ステップを実行する（ステップＳ２０）。次に、特徴面設定部１０２は、荷役対象のパレット６１の前面６１ａの特徴が示される特徴面ＳＦを設定する特徴面設定ステップを実行する（ステップＳ３０）。特徴面設定部１０２は、周囲画像から作成された移動平面ＤＦの投影画像に基づいて、パレット６１及び棚６０に関する三次元の復元形状を生成し、復元形状に基づいて棚６０の前面６０ａに特徴面ＳＦを設定する（図９参照）。

情報画像作成部１０３は、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成ステップを実行する（ステップＳ４０）。情報画像作成ステップＳ４０では、情報画像作成部１０３は、特徴面ＳＦを用いて情報画像を作成する。情報画像作成部１０３は、情報画像に対し、一つの画素に相当する寸法を対応付けている。

演算部１０４は、情報画像に基づいて、荷役対象のパレット６１を検出するパレット検出ステップを実行する（ステップＳ５０）。演算部１０４は、情報画像に基づいて、パレット６１の前面６１ａの位置及び姿勢を演算する演算ステップを実行する（ステップＳ６０）。演算ステップＳ６０において、演算部１０４は、情報画像の画素とパレット６１の前面６１ａの寸法との関係に基づいて、演算を行う。演算部１０４は、情報画像から検出されたパレット６１の前面６１ａのエッジ部に関する情報と、記憶部１０８に予め記憶された前面６１ａの実寸情報とのテンプレートマッチングを実施する（図１１参照）。これにより、演算部１０４は、荷役対象のパレット６１を検出し、前面６１ａの位置及び姿勢を演算する。

制御部１１０は、演算部１０４による演算の高精度化を図るための高精度化処理ステップを実行する（ステップＳ７０）。高精度化処理ステップＳ５０では、調整部１０６は、情報画像を作成した時の特徴面ＳＦに関する三次元面の方程式のパラメータを調整する。調整部１０６は、エッジテンプレートと一致度が最大となるパラメータを求め最も一致する情報画像を算出する三次元面の方程式を検出し、特徴面ＳＦを設定する（図１３参照）。そして、情報画像作成部１０３は、調整された特徴面ＳＦを用いて情報画像を作成する。演算部１０４は、調整された特徴面ＳＦを用いて作成された情報画像に基づいて、パレット６１の前面６１ａの位置及び姿勢を演算する。

運転制御部１０７は、演算部１０４によって演算されたパレット６１の前面６１ａの位置及び姿勢に関する情報に基づいて、車体５１の位置や姿勢を制御する運転制御ステップを実行する（ステップＳ８０）。運転制御ステップＳ８０では、運転制御部１０７は、フォークリフト５０がパレット６１の前面６１ａの穴部にフォーク２５をスムーズに挿入できるように、フォークリフト５０の旋回位置や、旋回軌道（軌道ＴＬ２）を制御する。以上により、図１４に示す処理が完了する。

次に、本実施形態に係る物品検出装置１００、物品検出方法、及びフォークリフト５０の作用・効果について説明する。

まず、本願との比較のため、パレット位置・姿勢検出の分野における既存技術について説明する。既存技術に係るパレット位置・姿勢検出の方法は、パレットに位置・姿勢検出用の特別なマークを付ける方法と、それを必要としない方法に大別できる。しかし、マークを付ける方法は手間がかかるうえ、汚れなどで使えなくなるという問題がある。その一方、マークを用いない方法の既存技術として、パレットのほぼ正面から取得した２次元濃淡画像からフォーク穴を検出し、精度よく位置・姿勢を算出する方法がある。または、レーザなどの三次元情報入力装置を備え、三次元ポイントクラウドの特徴点とパレット特徴点セットモデルとのマッチングによってパレットの位置・姿勢算出するような方法がある。しかし、いずれの方法も、対象パレットのほぼ正面の近距離から計測を行うものと仮定しており、それ以外の位置からのパレットの検出、位置・姿勢検出には有効に用いることができないという問題がある。

上述のような既存技術は、車両がある程度、パレットに近づいた後、より正確にその位置・姿勢を検出する半自動運転のような目的には有効であるが、正面方向に限らず離れた位置から周囲を観測し、対象となるパレットを検出し、その位置と姿勢を算出する場合には、有効に採用することができない。その一方、棚の前面を走行しながら数ｍ離れた位置のパレットを見つけ、荷役するような作業は、流通現場において日常的に行われる作業である。従って、本発明者らは、鋭意研究の結果、産業車両の自動化には、このような作業を有効に行う事ができる技術の開発が必要であることを見出した。

ここで、近年、安価で入手可能な魚眼カメラを産業車両に設置することで、移動しながら広範囲の周囲二次元画像を時系列に獲得することが可能になっている。このような周囲画像には、任意方向・任意距離にある対象の情報が含まれているが、広角画像内における歪みのため、対象とするパレットを探索し検出するのが難しい。そこで、本発明者らは、（移動ステレオの原理で周囲の三次元情報を獲得できることを活かし）広角の周囲画像を適切な三次元面に投影することで、対象パレットを最も探索しやすい投影画像（情報画像）に変換し、パレットを頑健に検出し、同時にその位置および姿勢を算出することが可能になるという知見を得るに至った。

そこで、物品検出装置１００は、荷役する物品を検出する物品検出装置１００であって、物品検出装置１００の周囲を撮影した周囲画像を取得する画像取得部１０１と、周囲画像に基づいて、物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部１０３と、情報画像に基づいて、前面６１ａの位置及び姿勢を演算する演算部１０４と、を備える。

この物品検出装置１００は、物品検出装置１００の周囲を撮影した周囲画像を取得する画像取得部１０１と、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部１０３と、を備えている。例えば、物品検出装置１００とパレット６１との距離や位置関係により、物品検出装置１００の周囲の様子を示した画像からは、直接的に物品を検出しにくい場合がある。具体的には、図５に示すように、魚眼カメラの周囲画像では、棚６０及びパレット６１が湾曲した状態で示されている。当該周囲画像からは、直接的にパレット６１を特定しにくい。これに対し、情報画像作成部１０３は、物品検出装置１００の周囲を撮影した周囲画像に基づいて、パレット６１の前面６１ａを検出するのに適した情報画像を作成できる。具体的には、図１０に示すように、情報画像中では、パレット６１の前面６１ａは、正面から撮影したような形状で示され、且つ、撮影位置によらず一定の大きさにて示される。また、物品検出装置１００は、情報画像に基づいて、パレット６１の前面６１ａの位置及び姿勢を演算する演算部１０４を備える。このように、演算部１０４は、パレット６１の前面６１ａを検出するのに適した情報画像を介して演算を行うことで、物品検出装置１００がパレット６１の近傍に近付く前段階で、前面６１ａの位置及び姿勢を演算できる。従って、荷役対象である物品を、物品との位置関係によらずに検出することができる。

物品検出装置１００は、情報画像を作成するための条件を調整する調整部１０６を更に備える。これにより、調整部１０６は、物品検出装置１００がパレット６１の前面６１ａを正確に検出し易いように情報画像を調整することができる。従って、演算部１０４は、パレット６１の前面６１ａの位置及び姿勢を、より高い精度で演算することができる。

物品検出装置１００において、情報画像は、周囲画像が取得された位置で取得される情報を、任意に設定した面に対して投影した画像である。これにより、周囲画像が、直接的に荷役対象部位を検出しにくい位置から撮影されたものであったとしても、当該周囲画像が取得された位置で取得される情報を任意の面に投影することで、パレット６１の前面６１ａを検出し易い適切な情報画像を作成することが可能となる。これにより、パレット６１の前面６１ａが検出し易くなり、演算部１０４は、正確に物品の状態を演算することができる。

物品検出装置１００において、情報画像作成部１０３は、情報画像に対し、一つの画素に相当する寸法を対応付けており、演算部１０４は、情報画像の画素とパレット６１の前面６１ａの寸法との関係に基づいて、演算を行う。このように、情報画像に示されたパレット６１の前面６１ａの大きさが実際の寸法と一定の対応関係を有しているため、演算部１０４は、パレット６１の状態を正確に演算することができる。

物品検出装置１００において、演算部１０４は、情報画像から検出されたパレット６１の前面６１ａのエッジ部に関する情報と、予め記憶されたパレット６１の前面６１ａの実寸情報とのテンプレートマッチングを実施する。このように、演算部１０４は、パレット６１の前面６１ａの実寸情報を用いたテンプレートマッチングを行うことで、パレット６１の状態を正確に演算することができる。

物品検出装置１００は、パレット６１の前面６１ａの特徴が投影される特徴面ＳＦを設定する特徴面設定部１０２を備え、特徴面設定部１０２は、異なる位置で撮影された複数の周囲画像に基づいて、パレット６１及びパレット６１の周囲（ここでは棚６０）に関する三次元の復元形状を生成し、復元形状に基づいて特徴面ＳＦを設定し、情報画像作成部１０３は、特徴面ＳＦを用いて情報画像を作成する。これにより、情報画像作成部１０３は、パレット６１が置かれた状態が未知の場合においても、パレット６１の前面６１ａの特徴を的確に示す情報画像を作成することができる。そして、このような特徴面ＳＦは、パレット６１や、パレット６１の周囲に関する三次元の復元形状に基づいて設定される。以上より、演算部１０４は、特徴面ＳＦを用いてパレット６１の状態を正確に演算することができる。

物品検出装置１００において、特徴面設定部１０２は、周囲画像を撮影する場所の移動と同期して移動する移動平面ＤＦを用いて、特徴面ＳＦを設定する。この場合、特徴面設定部１０２は、移動平面ＤＦに投影された画像を異なる位置から複数取得することができる。これにより、特徴面設定部１０２は、既存の手法を用いて短時間で三次元の復元形状を生成することができる。

物品検出装置１００において、周囲画像は魚眼カメラ、又は広角カメラで取得された画像である。これにより、単眼のカメラにて物品検出装置１００の周囲を広い範囲の周囲画像として取得することが可能となる。

本発明の実施形態に係る物品検出方法は、荷役する物品を検出する物品検出方法であって、周囲を撮影した周囲画像を取得する画像取得ステップＳ１０と、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成ステップＳ４０と、情報画像に基づいて、パレット６１の前面６１ａの位置及び姿勢の少なくとも一方を演算する位置・姿勢演算ステップＳ６０と、を備える。

この物品検出方法によれば、上述の物品検出装置１００と同趣旨の作用・効果を得ることができる。

本発明の実施形態に係るフォークリフト５０は、車体５１と、車体５１の周囲を撮影する撮影部３２と、撮影部３２で取得された画像に基づいて、荷役するパレット６１を検出する制御を実施する制御部１１０と、を備え、制御部１１０は、撮影部３２から、車体５１の周囲を撮影した周囲画像を取得する画像取得部１０１と、周囲画像に基づいて、パレット６１の前面６１ａに関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部１０３と、情報画像に基づいて、パレット６１の前面６１ａの位置及び姿勢の少なくとも一方を演算する演算部１０４と、を備える。

このフォークリフト５０によれば、上述の物品検出装置１００と同趣旨の作用・効果を得ることができる。

フォークリフト５０において、制御部１１０は、パレット６１の位置または姿勢の少なくともいずれか一方に関する情報に基づいて、車体５１の位置や姿勢を制御する。これにより、フォークリフト５０は、物品の荷役をスムーズに行うことができる。

本発明は、上述の実施形態に限定されるものではない。

例えば、上述の実施形態において、演算部１０４は、テンプレートマッチングを行うことでパレット６１を検出しているが、それに加えて、他の検出方法も実行してよい。演算部１０４は、テンプレートマッチングの結果と、他の検出方法の結果を総合的に判断してパレット６１を検出してよい。

具体的に、図１５に示すように、情報画像には、複数のパレット候補部ＤＥが付されている。パレット候補部ＤＥは、パレット６１が存在する可能性のある領域を示す。パレット候補部ＤＥは、例えば、テンプレートマッチングを行った結果、一致度が所定の閾値以上の領域に対して、設定される。その結果、パレット６１の箇所にパレット候補部ＤＥが設定される。しかし、パレット６１に類似する箇所にも、パレット候補部ＤＥが設定される。図１５の情報画像では、例えば、白線ＷＬ及びその周囲の箇所、棚６０の棚板６０ｂ及びその周囲の箇所が、パレット６１に類似する箇所として検出されている。

ここで、演算部１０４は、図１６（ａ）に示すような形状パターンＳＰ１を有する。形状パターンＳＰ１は、パレット６１の形状を模した第１の領域Ｅ１と第２の領域Ｅ２を有する。第１の領域Ｅ１は、パレット６１の前面６１ａの穴部以外の箇所に該当する。第１の領域Ｅ１は、光が当たりやすい箇所であるため、画像中で明るく示される。第２の領域Ｅ２は、パレット６１の前面６１ａの穴部の箇所に該当する。第２の領域Ｅ２は、光が当たりにくい箇所であるため、画像中で暗く示される。

演算部１０４は、各々のパレット候補部ＤＥに形状パターンＳＰ１を当てはめる。演算部１０４は、第１の領域Ｅ１内の画素値ヒストグラム（濃度ヒストグラム）を演算する。演算部１０４は、第２の領域Ｅ２内の画素値ヒストグラムを演算する。画素値ヒストグラムは、画像中の画素値の頻度（各画素値を持つ画素の個数）を示すグラフである。図１７（ａ）は、パレット６１の箇所に設定されたパレット候補部ＤＥにて取得された画素値ヒストグラムを示す。図１７（ｂ）は、パレット６１と類似する対象物に設定されたパレット候補部ＤＥにて取得された画素値ヒストグラムを示す。図中では、画素値ヒストグラムＨＴ１が第１の領域Ｅ１の画素値ヒストグラムを示し、画素値ヒストグラムＨＴ２が第２の領域Ｅ２の画素値ヒストグラムを示す。図１７の座標の横軸は濃度（画素値）を示し、縦軸は画素数を示す。

ここで、パレット候補部ＤＥに存在する画像が、パレット６１の画像である場合、第１の領域Ｅ１及び第２の領域Ｅ２における濃度は、各々ある範囲の値で略均一となる。従って、演算部１０４は、第１の領域Ｅ１及び第２の領域Ｅ２内の画素値ヒストグラムから、第１の領域Ｅ１及び第２の領域Ｅ２が均一領域であることの度合いを示す均一度を算出する。均一領域とは、濃度が所定の範囲の値にて均一となっている領域である。第１の領域Ｅ１及び第２の領域Ｅ２が、均一領域に一致しているほど、均一度は高くなる。

演算部１０４は、画素値ヒストグラムから、第１のピーク近傍域ＪＥ１及び第２のピーク近傍域ＪＥ２を抽出する。ピーク近傍域ＪＥ１，ＪＥ２は、各領域Ｅ１，Ｅ２の画素値ヒストグラムＨＴ１，ＨＴ２の一部の濃度範囲を抽出した領域である。図１７においては、ピーク近傍域ＪＥ１，ＪＥ２は、ハッチングが付された領域である。ピーク近傍域ＪＥ１，ＪＥ２は、画素値ヒストグラムＨＴ１，ＨＴ２のピーク（ＨＴ１ｐ，ＨＴ２ｐ）と、その前後の領域を含む。なお、ピーク近傍域ＪＥ１，ＪＥ２の上限側の境界及び下限の境界の濃度は、例えば、ピークＨＴ１ｐ，ＨＴ２ｐからの固定幅によって決定される。

図１７（ａ）に示すように、パレット６１においては、第１の領域Ｅ１内の画像は明るい濃度にて均一となるため、画素値ヒストグラムＨＴ１は、高い濃度の値の箇所にて大きなピークＨＴ１ｐを有し、多くの画素がピークＨＴ１ｐ周辺に集中する。また、第２の領域Ｅ２内の画像は暗い濃度にて均一となるため、画素値ヒストグラムＨＴ２は、低い濃度の値の箇所にて大きなピークＨＴ２ｐを有し、多くの画素がピークＨＴ２ｐ周辺に集中する。従って、第１の領域Ｅ１内に存在する総画素数（画素値ヒストグラムＨＴ１全体の面積）に対する、ピーク近傍域ＪＥ１内の画素数の割合が高くなる。また、第２の領域Ｅ２内に存在する総画素数（画素値ヒストグラムＨＴ２全体の面積）に対する、ピーク近傍域ＪＥ２内の画素数の割合が高くなる。なお、パレット６１に対する光の当たり具合などにより、第１の領域Ｅ１及び第２の領域Ｅ２における濃度は変動する。すなわち、画素値ヒストグラムＨＴ１，ＨＴ２のピークＨＴ１ｐ，ＨＴ２ｐの位置は、環境光やパレットの置かれた位置により異なる。しかし、ピークＨＴ１ｐ，ＨＴ２ｐの位置が変動しても、当該ピークＨＴ１ｐ，ＨＴ２ｐ周辺に画素が集中するという特徴は、どのパレット６１についても共通する。

一方、パレット６１に類似する箇所においては、第１の領域Ｅ１内に暗い濃度の部分が含まれたり、第２の領域Ｅ２内に明るい濃度の部分が含まれる。従って、図１７（ｂ）に示すように、画素値ヒストグラムＨＴ１及びＨＴ２は、複数のピークを有したり、ピーク近傍域ＪＥ１，ＪＥ２以外の箇所の画素数も大きくなる。この場合、各領域Ｅ１，Ｅ２内に存在する総画素数に対する、ピーク近傍域ＪＥ１，ＪＥ２内の画素数の割合が低くなる。なお、図１７（ｂ）のように、画素値ヒストグラムＨＴ１，ＨＴ２が複数のピーク（山頂）を有する場合、最も大きい山頂を「ピークＨＴ１ｐ，ＨＴ２ｐ」とする。

ここで、演算部１０４は、第１の領域Ｅ１及び第２の領域Ｅ２の総画素数に対する、画素値ヒストグラムにおけるピーク近傍域ＪＥ１，ＪＥ２の画素値を有する画素数の和、に基づいて均一度を算出してよい。総画素数は、画素値ヒストグラムＨＴ１内の総画素数と画素値ヒストグラムＨＴ２内の総画素数との和である。これにより、演算部１０４は、均一度をシンプルな演算で演算することができる。演算部１０４は、均一度が所定の閾値以上であれば、パレット候補部ＤＥにパレット６１が存在していることを検出する。演算部１０４は、均一度が所定の閾値より小さければ、パレット候補部ＤＥに存在する物体は、パレット６１ではないと判定する。

以上のように、物品検出装置１００において、物品はパレット６１である。情報画像にはパレット６１が存在する可能性がある領域を示すパレット候補部ＤＥが付されている。演算部１０４は、パレット６１の形状を模した第１の領域Ｅ１と第２の領域Ｅ２を有する形状パターンＳＰ１を有する。演算部１０４は、各々のパレット候補部ＤＥに形状パターンＳＰ１を当てはめ、第１の領域Ｅ１及び第２の領域Ｅ２内の画素値ヒストグラムから、第１の領域Ｅ１及び第２の領域Ｅ２が均一領域であることの度合いを示す均一度を算出する。パレット６１の荷役対象部位である前面６１ａには、フォークを挿入するための穴部が形成されている。従って、穴部に対応する領域は画素値ヒストグラムが均一な均一領域となり、穴部以外に対応する領域は画素値ヒストグラムが均一な均一領域となる。従って、演算部１０４は、第１の領域Ｅ１及び第２の領域Ｅ２が均一領域であることの度合いを示す均一度を算出し、当該均一度が高い場合は、パレット候補部ＤＥにパレットが存在する可能性が高いと判断することができる。また、パレット６１の各領域Ｅ１，Ｅ２の画素値そのものではなく、ヒストグラムのピーク位置に依らない、領域の均一度を算出しているため、演算部１０４は、撮影時の明るさによらず、正確にパレット６１を検出できる。

図１６（ｂ）に示すように、物品検出装置１００において、演算部１０４は、パレット６１と類似する類似形状パターンＳＰ２を更に有する。類似形状パターンＳＰ２は、路面に存在する白線ＷＬ（図１５参照）を模した形状パターンである。演算部１０４は、あるパレット候補部ＤＥについて、形状パターンＳＰ１を用いて均一度を算出し、類似形状パターンＳＰ２を用いて均一度を算出する。演算部１０４は、形状パターンＳＰ１を用いたときの均一度が、類似形状パターンＳＰ２を用いたときの均一度よりも高いことを、パレット検出の条件とする。

以上のように、演算部１０４は、形状パターンＳＰ１及び類似形状パターンＳＰ２を用いることにより、パレット候補部ＤＥから、パレット６１を識別する。すなわち、（例えば路面の白線ＷＬなど）パレット６１と類似して紛らわしい対象物が想定される場合に、演算部１０４は、そのような紛らわしい対象物について類似形状パターンＳＰ２を予め準備しておく。そして、演算部１０４は、紛らわしい対象物について類似形状パターンＳＰ２に基づく均一度を算出し、形状パターンＳＰ１に基づく均一度との大小を比較することでどちらのパターンであるかを判定できる。従って、演算部１０４は、紛らわしい対象物を誤ってパレット６１として検出することを抑制できる。

物品検出装置１００において、演算部１０４は、パレット候補部ＤＥ、第１の領域Ｅ１、及び第２の領域Ｅ２の形状を矩形とし、画素値ヒストグラムの算出に積分画像を用いてよい。パレット６１は前面６１ａの外形が矩形であり、穴部も矩形という形状を有している。図１８に示すように、積分画像は、任意の矩形内の総和を高速に算出する既存技術である。具体的には、演算部１０４は、各座標値に、画像の原点を左上隅、その座標値を右下隅とする長方形の領域を設定する。例えば、図１８（ａ）に示すように、「（ｉ，ｊ）」という座標について「ａ」で示す長方形の領域が設定される。そして、演算部１０４は、当該領域内の画素値の総和（Ｓ_aと表記されている）を記録した積分画像Ｉをあらかじめ算出しておく。任意の矩形領域内の総和は、その４隅の座標値の積分画像Ｉの値の加減算によって、高速に算出できる。例えば、図１８（ｂ）に示すように、演算部１０４は、「ｘ」で示す矩形領域の総和Ｓ_ｘを演算するときは、「（ｉ_２，ｊ_２）」の積分画像Ｉの値から、「（ｉ_２，ｊ_１）」及び「（ｉ_１，ｊ_２）」の積分画像Ｉの値を減算し、重複して減算された「（ｉ_１，ｊ_１）」の積分画像Ｉの値を加算することで、算出する。演算部１０４は、パレット候補部ＤＥでの各領域Ｅ１，Ｅ２内の画素値ヒストグラムを算出するときに、予めヒストグラムの各ビンｎごとに算出しておいた積分画像Ｉ_ｎを用いる。なお、ビンとは、画素値を所定の幅で区切り、その画素値の範囲内における画素数の和として一つのまとまりとしたものである。例えばビンを設定する画素値の幅を１０として、画素値が０～９、１０～１９、・・・毎の画素数を合算したものである。積分画像Ｉ_ｎを用いた演算は、公知の演算方法によって行われてよい。従って、演算部１０４が、パレット６１の矩形形状を活かして、積分画像Ｉ_ｎを用いることで、演算を高速で行うことができる。

また、演算部１０４は、パレット検出を行うときの、画像内の各位置における一致度（例えば正規化相互相関（ＺＮＣＣ））を演算するときに、積分画像を用いて高速に演算を行ってよい。

また、上述の実施形態においては、調整部１０６は、特徴面ＳＦが一度設定された後に、情報画像内のパレット６１とエッジテンプレートとの一致度が最大となるようにパラメータを調整した。ここで、調整部１０６は、一致度を最大にするためのパラメータを高速で探索できるように、次のような処理を行ってよい。すなわち、調整部１０６は、周囲画像が取得された位置、及び当該位置で取得される情報を投影する特徴面ＳＦの幾何学的関係を演算する。調整部１０６は、当該幾何学的関係から、特徴面ＳＦの位置及び姿勢の変動に対する一致度変動における尾根型ピークの尾根線の傾きを推定する。調整部１０６は、当該傾きの傾き方向に基づいた一致度の極大値探索を行う。

図１９を参照して、周囲画像が取得された位置、及び当該位置で取得される情報を投影する特徴面ＳＦの幾何学的関係について説明する。ここでは、周囲画像が取得された位置を視点Ｖ１とする。投影像ＰＦは、パレット６１の前面６１ａの特徴面ＳＦへの投影像である。

図１９（ａ）に示すように、実際のパレット６１の前面６１ａの長さは「ｌ_０」で示され、投影像ＰＦの長さは「ｌ」で示される。視点Ｖ１と前面６１ａの基準位置との間の離間距離を「Ｄ」、その正解値は「Ｄ_０」で示される。投影像ＰＦの実際の前面６１ａからの奥行ずれの大きさは「ΔＤ」で示される。このとき、このΔＤのずれによって生じる、ｌのｌ_０からのずれを表す「Δｌ_Ｄ」は、以下の式（１）で示される。

Δｌ_Ｄ ＝ （ｌ_０／Ｄ_０）× ΔＤ …（１）

図１９（ｂ）に示すように、視点Ｖ１と前面６１ａの中心点との間の基準線ＳＬ１を設定した場合、前面６１ａと基準線ＳＬ１との間の角度は「α」で示される。投影面である特徴面ＳＦの鉛直軸回りの角度を「θ」、実際の前面６１ａからの角度ずれの大きさは「Δθ」で示される。このとき、このΔθのずれによって生じる、ｌのｌ_０からのずれを表す「Δｌ_θ」は、以下の式（２）で示される。

Δｌ_θ ≒ （ｌ_０／ｔａｎα）× Δθ …（２）

上述の「Δｌ_Ｄ」「Δｌ_θ」が式（３）の関係を有する場合、式（３）に式（１）（２）を代入することで、式（４）が得られる。

Δｌ_Ｄ＋Δｌ_θ ＝ ０ …（３）
Δθ ≒ －（ｔａｎα／Ｄ_０）× ΔＤ …（４）

ここで、図２０にθ、Ｄを変動させたときの一致度の分布の一例を示す。三次元グラフの一方の水平軸のパラメータは「θ」であり、他方の水平軸は「Ｄ」であり、垂直軸のパラメータは一致度である。このように、特徴面ＳＦの位置及び姿勢に関連するパラメータを変動させると、一致度が変動することで、図２０に示すような山を描くような分布が得られる。当該分布の中には、一致度が最も高くなる極大値が存在する。調整部１０６は、極大値を探索し、当該極大値に対応するパラメータを取得することで、一致度を最も高くすることができる条件を把握することができる。しかし、調整部１０６が、全ての（θ，Ｄ）座標値についての一致度を演算すると、演算量が膨大になる。従って、調整部１０６は、少ない演算量にて、高速で極大値を探索する。

ここで、発明者らは、このような分布が、式（３）の関係から一致度が尾根型を形成することを見出している。従って、一致度の分布は、図２１に示すような尾根線ＲＬを有する。図２１では、分布の等高線が示されている。一致度の分布の中の極大値は、尾根線ＲＬの何れかの位置に存在する。従って、調整部１０６は、尾根線ＲＬの位置を推定し、尾根線ＲＬ付近を集中的に探索することで、極大値を速やかに探し当てる。

具体的な処理内容について、図２２及び図２３を参照して説明する。なお、図２２及び図２３には、理解のために分布の等高線が描かれている。しかし、調整部１０６は、このような等高線を演算するわけではなく、一致度がどのような分布となっているかは、初期段階では把握できていない。

まず、図２２（ａ）に示すように、調整部１０６は、上述の式（４）で示す傾きを有し、後述のように、この時点での特徴面ＳＦ上への投影像ＰＦにおける（θ,Ｄ）を通る直線を推定線ＥＬ１として設定する。推定線ＥＬ１は、尾根線ＲＬ（図２１参照）の傾きを推定した線である。推定線ＥＬ１の傾きは、尾根線ＲＬの傾きに沿ったものであると推定できる。その理由は、式（３）に示されるように、Δθによるｌの変動とΔＤによるｌの変動が打ち消しあうことが見出されたためであり、その時の打ち消しあうΔθとΔＤの関係式が式（４）となるからである。なお、この段階では、推定線ＥＬ１の傾きと尾根線ＲＬの傾きは略一致しているが、位置は尾根線ＲＬからずれている可能性がある。

演算の初期段階では、推定線ＥＬ１は、初期推定位置ＥＰ１を通過する。初期推定位置ＥＰ１は、図１４の高精度化処理ステップＳ７０が行われる初期段階における特徴面ＳＦに基づくパラメータによって設定される。すなわち、初期推定位置ＥＰ１は、ステップＳ６０で位置及び姿勢の演算が行われるときに用いられる特徴面ＳＦの位置及び姿勢に対応する位置である。

図２２（ｂ）は、推定線ＥＬ１が延びる方向（矢印Ａ）からみたときの、初期推定位置ＥＰ１の位置における一致度の山の断面形状線ＤＳ１を示す。断面形状線ＤＳ１の何れかの箇所には、尾根線ＲＬ（図２１参照）が存在している。そして、当該尾根線ＲＬの箇所には、極大値が存在している。従って、図２２（ａ）に示すように、調整部１０６は、初期推定位置ＥＰ１を通過し、且つ、推定線ＥＬ１と垂直な探索経路ＳＲ１を設定する。調整部１０６は、探索経路ＳＲ１に沿ってパラメータを変動させながら、一致度を演算する。これにより、調整部１０６は、探索経路ＳＲ１の中から、探索内極大値ＭＰ１を探し出す（図２２（ｂ）も参照）。探索経路ＳＲ１の長さは任意に設定可能である。調整部１０６は、探索内極大値ＭＰ１の箇所に尾根線ＲＬ（図２１参照）が存在すると推定する。従って、調整部１０６は、探索内極大値ＭＰ１を推定位置ＥＰ２として設定し、当該推定位置ＥＰ２の位置に推定線ＥＬ１をシフトする。これにより、調整部１０６は、図２３に示す新たな推定線ＥＬ２を設定する。

次に、調整部１０６は、推定線ＥＬ２と垂直な探索経路ＳＲ２を設定し、当該探索経路ＳＲ２に沿って一致度を演算する。調整部１０６は、推定線ＥＬ２が延びる方向に沿って、所定ピッチでシフトさせながら、複数の探索経路ＳＲ２を設定する。これにより、調整部１０６は、推定線ＥＬ２の近傍の何れかの箇所に、全体の中の極大値ＭＰ２を探し出すことができる。図２３（ｂ）は、推定線ＥＬ２と垂直な方向（矢印Ｂ）からみたときの、推定位置ＥＰ２を通る断面形状線ＤＳ２を示す。なお、極大値ＭＰ２は、推定線ＥＬ２から少しずれた位置に存在するため、厳密には断面形状線ＤＳ２上に存在していないが、図示されている。図２３（ｂ）に示すように、断面形状線ＤＳ２の右側から左側へ向けて探索を行うと、調整部１０６は、ある位置にて一致度がピークを迎え、それ以降は、一致度が低下してゆくことを把握できる。従って、調整部１０６は、ピークの位置における一致度が極大値ＭＰ２であると判断できる。以上により、調整部１０６は、極大値ＭＰ２を特定し、対応するパラメータを取得する。

以上のように、物品検出装置１００において、調整部１０６は、周囲画像が取得された位置、及び当該位置で取得される情報を投影する特徴面ＳＦの幾何学的関係から、特徴面ＳＦの位置及び姿勢の変動に対する一致度変動における尾根型ピークの尾根線ＲＬの傾きを推定し、当該傾きの傾き方向（推定線ＥＬ１，ＥＬ２が延びる方向）に基づいた一致度の極大値探索を行ってよい。この場合、調整部１０６は、特徴面ＳＦの位置及び姿勢を全条件にわたって変動させて一致度を演算しなくとも、高速で一致度の極大値ＭＰ２を探索することができると同時に、偽の極大値に到達することを抑制できる。

上述の実施形態では、演算部１０４は、パレット６１の前面６１ａのエッジ部に関する情報と、記憶部１０８に予め記憶された前面６１ａの実寸情報とのテンプレートマッチングを実施していた。このとき、パレット６１の角部の丸み（角Ｒ）を考慮してよい。すなわち、演算部１０４は、周囲画像を取得する撮影部３２から物品への視線方向と荷役対象部位のなす角度に基づき、テンプレートマッチングで用いるテンプレートを補正してよい。

具体的に、図２４（ａ）は、視点Ｖ１からパレット６１の手前側の角部ＥＧ１及び奥側の角部ＥＧ２を見た様子を示す概略図である。視点Ｖ１は、撮影部３２による撮像位置を示す。角部ＥＧ１，ＥＧ２において、丸みが付いていないと仮定した場合、エッジ部ＥＧＰ１，ＥＧＰ２は、各側面が交差する位置に設定される。これに応じ、図２４（ｂ）に示すように、テンプレートのエッジ部ＥＧＰ１，ＥＧＰ２が設定される。

しかし、手前側の角部ＥＧ１は、角が面取りされたＲ面取り部となっており丸みが付いているため、画像中で不明瞭に表示される（図２５参照）。また、奥側の角部ＥＧ２は、Ｒ面取り部となっており丸みが付いているため、実際に画像中で捉えられるエッジ部ＥＧＰ３は、仮想的なエッジ部ＥＧＰ２よりも手前側に存在する。従って、演算部１０４は、図２４（ｃ）に示すように、テンプレートにおいて、手前側のエッジ部ＥＧＰ１はテンプレートマッチングで用いられないように設定する。また、演算部１０４は、テンプレートにおいて、奥側のエッジ部の位置を、エッジ部ＥＧＰ２からエッジ部ＥＧＰ３に補正する。

以上より、物品検出装置１００において、演算部１０４は、周囲画像を取得する撮影部３２から物品への視線方向と荷役対象部位のなす角度に基づき、テンプレートマッチングで用いるテンプレートを補正してよい。この場合、演算部１０４は、撮影部３２から物品への視線方向と荷役対象部位のなす角度を考慮して、適切なテンプレートマッチングを行うことができる。

例えば、物品検出装置１００が、撮影部３２に対する棚６０の位置を予め把握している場合、特徴面設定部１０２は、移動平面ＤＦを用いて投影画像を取得する工程と、ＳＦＭ[Structure From Motion]を用いて棚６０及びパレット６１の三次元の復元形状を生成する工程と、ＲＡＮＳＡＣを用いて復元形状中の棚６０の前面６０ａの特徴面ＳＦを設定する工程と、を省略してよい。この場合、特徴面設定部１０２は、撮影部３２と棚６０との位置関係から棚６０の前面６０ａを演算し、当該前面６０ａに特徴面ＳＦを設定してよい。例えば、フォークリフト５０が予め定められたトラッカー上を走行する場合などは、物品検出装置１００は、撮影部３２に対する棚６０の位置を予め把握できる。

また、上述の実施形態では、演算部１０４は、パレット６１の前面６１ａの位置及び姿勢を両方演算したが、位置及び姿勢の一方のみを演算してよい。例えば、パレット６１の姿勢が棚６０に対して回転していないことが予め分かっている場合、演算部１０４は位置のみを演算してよい。また、パレット６１の位置が予め分かっている場合、演算部１０４は姿勢のみを演算してよい。

上述の実施形態では、フォークリフト５０が完全な自動操縦を行う場合について説明した。ただし、物品検出装置１００は、運転者がフォークリフト５０を運転する際や、遠隔操作を行う際の運転支援のために、上述の処理を行ってもよい。フォークリフト５０が、運転手による手動運転と、制御部１１０による自動運転とを切り替え可能なものである場合、フォークリフト５０は、手動運転と上述の実施形態のような自動運転を組み合わせた運転支援モードを有していてもよい。

上述の実施形態では、演算部１０４がテンプレートマッチングによってパレット６１を検出していた。これに代えて、演算部１０４は、パレット６１の実寸を用いてパレット６１を検出する限り、他の方法を採用してもよい。

また、上述の実施形態では、産業車両としてリーチ式のフォークリフトを例示したが、車体の向きを変えずに棚への荷役が可能なフォークリフトなどの産業車両に上述の物品検出装置１００が適用されてもよい。また、荷役対象の物品としてパレット６１を例示したが、段ボールなどを荷役対象の物品としてもよい。また、上述の物品検出装置は、産業車両に限らず、自動倉庫の物品搬送手段などに採用されてもよい。

情報画像を、荷役対象部位としてのパレット６１の前面６１ａの位置や傾きに基づいて調整する方法は、情報画像を作成した時の特徴面ＳＦに関する三次元面の方程式を調整することに限定されない。

類似形状パターンＳＰ２（図１６（ｂ）参照）は必要に応じて、複数準備されてもよい。これにより、パレット６１と類似して紛らわしい対象物をより区別することができ、紛らわしい対象物を誤ってパレット６１として検出することをさらに抑制できる。

各領域Ｅ１，Ｅ２内の画素値ヒストグラムの算出には、ビンを用いることに限られず、各画素値そのものを利用してもよい。

３２…撮影部、５０…フォークリフト（産業車両）、５１…車体、６１…パレット（物品）、６１ａ…前面（荷役対象部位）、１００…物品検出装置、１０１…画像取得部、１０２…特徴面設定部、１０３…情報画像作成部、１０４…演算部、１０６…調整部、１１０…制御部。

Claims (16)

1. 荷役する物品を検出する物品検出装置であって、
   前記物品検出装置の周囲を撮影した周囲画像を取得する画像取得部と、
   前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、
   前記情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算部と、を備え、
   前記情報画像は、前記周囲画像が取得された位置で取得される情報を、前記物品の前面を近似可能な周囲の構造物の部位に対して設定された面に対して投影した画像である、物品検出装置。
2. 前記情報画像を作成するための条件を調整する調整部を更に備える、請求項１に記載の物品検出装置。
3. 前記情報画像作成部は、前記情報画像に対し、一つの画素に相当する寸法を対応付けており、
   前記演算部は、前記情報画像の前記画素と前記荷役対象部位の寸法との関係に基づいて、演算を行う、請求項１又は２に記載の物品検出装置。
4. 前記演算部は、前記情報画像から検出された前記荷役対象部位のエッジ部に関する情報と、記憶部に予め記憶された前記荷役対象部位の実寸情報とのテンプレートマッチングを実施する、請求項１～３の何れか一項に記載の物品検出装置。
5. 前記物品の前記荷役対象部位の特徴が投影される特徴面を設定する特徴面設定部を備え、
   前記特徴面設定部は、
   異なる位置で撮影された複数の前記周囲画像に基づいて、前記物品及び当該物品の周囲に関する三次元の復元形状を生成し、
   前記復元形状に基づいて前記特徴面を設定し、
   前記情報画像作成部は、前記特徴面を用いて前記情報画像を作成する、請求項１～４の何れか一項に記載の物品検出装置。
6. 前記特徴面設定部は、前記周囲画像を撮影する場所の移動と同期して移動する移動平面を用いて、前記特徴面を設定する、請求項５に記載の物品検出装置。
7. 前記周囲画像は魚眼カメラ、又は広角カメラで取得された画像である、請求項１～６の何れか一項に記載の物品検出装置。
8. 前記物品はパレットであり、
   前記情報画像には前記パレットが存在する可能性がある領域を示すパレット候補部が付されており、
   前記演算部は、
   前記パレットの形状を模した第１の領域と第２の領域を有する形状パターンを有し、
   各々の前記パレット候補部に前記形状パターンを当てはめ、
   前記第１の領域及び前記第２の領域内の画素値ヒストグラムから、前記第１の領域及び前記第２の領域が均一領域であることの度合いを示す均一度を算出する、請求項３に記載の物品検出装置。
9. 前記演算部は、
   前記第１の領域及び前記第２の領域の総画素数に対する、前記画素値ヒストグラムにおけるピーク近傍域の画素値を有する画素数の和、に基づいて前記均一度を算出する、請求項８に記載の物品検出装置。
10. 前記演算部は、前記パレットと類似する対象物を模した類似形状パターンを更に有し、前記形状パターン及び前記類似形状パターンを用いることにより、前記パレット候補部から、前記パレットを識別する、請求項８又は９に記載の物品検出装置。
11. 前記演算部は、前記パレット候補部、前記第１の領域、及び前記第２の領域の形状を矩形とし、前記画素値ヒストグラムの算出に積分画像を用いる、請求項８～１０の何れか一項に記載の物品検出装置。
12. 前記調整部は、
    前記周囲画像が取得された位置、及び当該位置で取得される情報を投影する投影面の幾何学的関係から、前記投影面の位置及び姿勢の変動に対する一致度変動における尾根型ピークの尾根線の傾きを推定し、
    当該傾きの傾き方向に基づいた前記一致度の極大値探索を行う、請求項２に記載の物品検出装置。
13. 前記演算部は、前記周囲画像を取得する撮影部から前記物品への視線方向と前記荷役対象部位のなす角度に基づき、前記テンプレートマッチングで用いるテンプレートを補正する、請求項４に記載の物品検出装置。
14. 荷役する物品を検出する物品検出方法であって、
    周囲を撮影した周囲画像を取得する画像取得ステップと、
    前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成ステップと、
    前記情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算ステップと、を備え、
    前記情報画像は、前記周囲画像が取得された位置で取得される情報を、前記物品の前面を近似可能な周囲の構造物の部位に対して設定された面に対して投影した画像である、物品検出方法。
15. 車体と、
    前記車体の周囲を撮影する撮影部と、
    前記撮影部で取得された画像に基づいて、荷役する物品を検出する制御を実施する制御部と、を備え、
    前記制御部は、
    前記撮影部から、前記車体の周囲を撮影した周囲画像を取得する画像取得部と、
    前記周囲画像に基づいて、前記物品の荷役対象部位に関する情報を認識し易い状態に変換した情報画像を作成する情報画像作成部と、
    前記情報画像に基づいて、前記荷役対象部位の位置及び姿勢の少なくとも一方を演算する演算部と、を備え、
    前記情報画像は、前記周囲画像が取得された位置で取得される情報を、前記物品の前面を近似可能な周囲の構造物の部位に対して設定された面に対して投影した画像である、産業車両。
16. 前記制御部は、
    前記物品の位置または姿勢の少なくともいずれか一方に関する情報に基づいて、前記車体の位置や姿勢を制御する、請求項１５に記載の産業車両。
    

Images