JP6722733B2 - 判定装置および判定方法 - Google Patents

Description

本発明は、フォークリフトが、積荷を積載したパレットと正対しているか否かを判定する判定装置等に関する。

フォークリフトを用いた荷役作業においては、フォークリフトの運転者は、積荷を積載したパレットのフォークポケットにフォークを挿し込み、パレットごと積荷を持ち上げて、その積荷を運搬するという一連の操作を行う。これら一連の操作のうち、フォークポケットにフォークを挿し込むフォーク挿し込み操作の難易度が特に高く、運転者によっては、フォークの挿し込みに手間取ったり、パレットにフォークを衝突させてしまったりすることがある。

フォーク挿し込み操作を容易にするための技術としては、例えば特許文献１が挙げられる。特許文献１には、レーザ光線を反射する光線反射面を形成したパレットに、フォークと同じ高さのレーザ光線を照射し、運転手にその反射光を目印にしてフォークのパレットに対する高さ位置合わせを行わせる技術が開示されている。

特開２００５−２９８０００号公報

特許文献１に記載された技術によれば、フォークのパレットに対する高さ位置合わせは容易になる。しかしながら、フォークとパレットの高さ位置が合っていたとしても、フォークリフトがパレットに正対していなければ、フォーク挿し込み操作がスムーズに進まなかったり、パレットにフォークが接触したりすることがあった。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、フォークリフトがパレットに正対しているか否かを判定することができる判定装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る判定装置は、フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定部を備えている。

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、判定装置による判定方法であって、フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定ステップを含む。

本発明の一態様によれば、対象パレットを撮影した画像に基づき、フォークリフトが対象パレットに正対しているか否かを判定することができる。

本発明の実施形態１に係る判定装置の要部構成の一例を示すブロック図である。 本発明の実施形態１の概要について説明するための図である。 上記判定装置が実行する処理の一例を示すフローチャートである。 本発明の実施形態２の概要について説明するための図である。 本発明の実施形態２に係る判定装置における制御部の要部構成の一例を示すブロック図である。 本発明の実施形態３に係る判定装置における制御部の要部構成の一例を示すブロック図である。

〔実施形態１〕
（概要）
まず、図２を参照して、実施形態１の判定装置１による処理の概要を説明する。図２は、判定装置１による処理の概要について説明するための図である。図２の（ａ）では、架台上に載置された、積荷（荷役対象物）９００を積載したパレット（対象パレット）８００に対し、フォークリフト５が荷役作業を行う様子を示している。また、図２の（ｂ）では、同図の（ａ）の様子を上方から見た状態を示している。

フォークリフト５は、パレット８００に積載された積荷９００を、フォークリフト５のフォーク５０をパレット８００のフォークポケット８０１に挿入することにより、パレット８００ごと移動させる荷役作業を行う。判定装置１は、この荷役作業において、フォークリフト５がパレット８００と正対しているか否かを判定する装置である。なお、フォークポケット８０１は、図２の（ｂ）に示すように、左右一対のフォーク５０がそれぞれ挿入される左右一対の開口部からなる。

ここで、フォークリフト５のフォーク５０をパレット８００のフォークポケット８０１に適切に挿入させるためには、フォークリフト５がパレット８００に対して正対している必要がある。フォークリフト５がパレット８００に対して正対していないと、フォークリフト５のフォーク５０がフォークポケット８０１に入らなかったり、フォークポケット８０１の途中で引っかかったりするためである。

なお、フォークリフト５がパレット８００に対して、完全に正対（フォーク５０の突出方向とフォークポケット８０１の延在方向が平行な状態）となっていなくとも、正対に近い状態となっていれば荷役作業は問題なく行われる。このため、本明細書で「正対」という場合、完全な正対状態の他、荷役作業に支障がない範囲で完全な正対状態からずれた状態も含まれる。

本実施形態では、図２の（ａ）に示すように、フォークリフト５のフォーク５０の位置からパレット８００を撮影する撮影装置３を設けている。そして、判定装置１は、撮影装置３による撮影画像からフォークリフト５がパレット８００と正対しているか否かを判定する。ここで、正対していないと判定した場合、判定装置１は、例えば図２の（ｂ）に示すように、フォークリフト５がパレット８００に対して正対していない旨を報知する。なお、図２の（ｂ）に示す例では、「パレットに正対していません。車体の向きを調整して下さい」と報知している。

撮影装置３は、上述したように、フォークリフト５がパレット８００と正対しているか否かを判定するための画像を撮影する。撮影装置３が撮影する画像は静止画像であってもよいし、動画像であってもよい。なお、本実施形態では、静止画像を撮影する場合を想定している。

図２の例では、撮影装置３は、一対のフォーク５０における各基部の中間の位置に取り付けられており、その撮影方向はフォークリフト５の正面方向（水平方向）である。無論、撮影装置３はパレット８００におけるフォークポケット８０１が開口している側面を撮影できる位置に取り付ければよく、図示の例に限られない。ただし、フォーク５０の基部のようにフォーク５０の昇降に合わせて昇降する位置に撮影装置３を設置することにより、パレット８００およびフォークポケット８０１を正面あるいは正面に近い方向から撮影することができるので、このような位置に撮影装置３を設置することが好ましい。

（判定装置１の要部構成）
次に、図１を参照して判定装置１の要部構成について説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。図１に示されるように、判定装置１は、判定装置１の各部を統括して制御する制御部１０と、判定装置１が使用する各種データを記憶する記憶部２０、および音声を出力する音声出力部４０を備えている。また、制御部１０には、操作検出部１０１、撮影制御部１０２、入力データ生成部１０３、正対判定部１０４、および報知制御部１０５が含まれている。

操作検出部１０１は、フォークリフト５で所定の操作が行われたことを検出する。具体的には、操作検出部１０１は、フォーク５０を昇降させる操作が行われたこと、およびフォークリフト５の向きを調整する操作が行われたことを検出する。なお、上記検出の方法は特に限定されず、例えばフォークリフト５と通信することにより検出してもよいし、フォークリフト５またはその運転者を撮影した画像を解析することにより検出してもよいし、センサ等を用いて検出してもよい。以下説明するように、操作検出部１０１による上記操作の検出が撮影制御部１０２による撮影の契機となる。

撮影制御部１０２は、撮影装置３の動作を制御して、上述の撮影画像を撮影させる。本実施形態では、撮影装置３がフォーク５０と連動して昇降するので、撮影制御部１０２は、撮影装置３の撮影範囲にパレット８００が入ったときに撮影装置３に撮影を行わせる。具体的には、撮影制御部１０２は、フォーク５０の昇降が終了したタイミングで撮影装置３に撮影を行わせる。フォーク５０の昇降が終了したタイミングは、フォーク５０を昇降させる操作を操作検出部１０１が検出した後、該操作が検出されなくなったタイミングから特定可能である。

このように、昇降終了時点において撮影を行わせることにより、撮影装置３の撮影範囲にパレット８００が入ったタイミングで自動的に撮影を行うことができる。また、撮影回数を必要最小限に抑えることができるので、撮影画像を用いた判定装置１の処理回数や処理時間も必要最小限に抑えて、判定装置１の負荷が少ない効率的な処理が実現される。

なお、撮影の契機は上記の例に限定されない。例えば、フォーク５０をフォークポケット８０１に挿し込む際には、フォーク５０の傾きを調整するティルト操作が行われることが多い。このため、操作検出部１０１がティルト操作を検出し、撮影制御部１０２が当該操作が検出されたときに撮影を行わせてもよい。この他にも、例えば、操作検出部１０１は、撮影の契機として、フォークリフト５が低速で前進および後退を行いながら進行方向の微調整を行う等の、荷役作業の開始時に特有の態様でフォークリフト５が運転されていることを検出してもよい。

（入力データ生成部１０３と入力データについて）
入力データ生成部１０３は、正対判定部１０４が使用する学習済みモデルに入力する入力データを生成する。より詳細には、入力データ生成部１０３は、撮影装置３から撮影画像を取得して、取得した撮影画像から入力データを生成する。本実施形態では、撮影装置３から取得した撮影画像をそのまま入力データとする例を説明する。

入力データの生成に用いる上記撮影画像は、上記学習済みモデルの生成に用いた教師データの画像と同様の撮影条件で撮影した画像であることが好ましい。上記撮影条件には、例えば、撮影装置３と、被写体（パレット８００）との位置関係、被写体の背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば、教師データに用いた画像が、フォークの基部に固定した撮影装置で撮影された画像であれば、撮影画像もフォーク５０の基部に固定した撮影装置３で撮影されたものとすることが好ましい。

なお、入力データは、フォークリフト５とパレット８００との位置関係（正対しているか否か）の特徴が表れたデータであればよく、必ずしも撮影画像をそのまま入力データとする必要はない。例えば、入力データ生成部１０３は、撮影画像に対して所定の処理を施した画像を、入力データとしてもよい。上記所定の処理は、フォークリフト５とパレット８００との位置関係の特徴を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、撮影画像がカラー画像である場合、入力データ生成部１０３は、該撮影画像をグレースケール化したデータを、入力データとして正対判定部１０４に供給してもよい。あるいは、撮影画像が動画像である場合、入力データ生成部１０３は、該撮影画像を構成する一部のフレームを抽出し、該一部のフレームを入力データとして正対判定部１０４に供給してもよい。

さらに、入力データ生成部１０３は、例えば撮影画像に写る被写体の中から所定の被写体（例えばパレット８００）を検出し、検出した被写体が写る領域のみから入力データを生成してもよい。これにより、被写体の背景の影響を排除することができるので、正対判定部１０４における判定精度を高めることができる。なお、所定の被写体の検出には、例えばＣＮＮ（Convolutional Neural Network）等の学習済みモデルを用いることができる。

ただし、入力データ生成部１０３は、入力データとして、教師データと同じ形式のデータを生成する必要がある。例えば、教師データがグレースケールの静止画像であれば、入力データもグレースケールの静止画像とする必要がある。

（正対判定部１０４と学習済みモデルについて）
正対判定部１０４は、機械学習により生成された学習済みモデルを用いてフォークリフト５がパレット８００と正対しているか否かを判定する。この学習済みモデルの生成には、例えば、フォークリフト５とパレット８００とが正対している状態で撮影したパレット８００の画像と、正対していない状態で撮影したパレット８００の画像とを教師データとして用いることができる。

教師データが静止画像である場合、ＣＮＮの学習済みモデルを用いることにより、信頼性の高い出力データを得ることができる。また、正対している状態と、正対していない状態の境界となるような多数の画像を教師データとすることが好ましい。これにより、正対している（フォーク５０の挿し込みに支障がない）状態と、正対していない（フォーク５０の挿し込みに支障がある）状態とを適切に識別可能となる。このように、学習済みモデルを用いた本実施形態の正対判定では、厳密には正対していない状態であっても、フォーク５０の挿し込みに支障がない状態であれば正対していると判定するため、判定装置１は実用性が高いといえる。

正対判定部１０４は、以上のようにして生成された学習済みモデルに対し、入力データ生成部１０３が撮影画像から生成した入力データを入力する。これにより、学習済みモデルは、フォークリフト５がパレット８００と正対していない確率を示す出力データを出力すると共に、正対している確率を示す出力データを出力する。そして、正対判定部１０４は、これらの出力データに基づいて、フォークリフト５がパレット８００と正対しているか否かを判定する。例えば、正対判定部１０４は、正対している確率が正対していない確率よりも高ければ正対していると判定し、逆に、正対していない確率が正対している確率よりも高ければ正対していないと判定してもよい。

なお、正対判定部１０４は、正対していない状態で撮影したパレット８００の画像を教師データとする一方、正対している状態で撮影したパレット８００の画像は教師データに含めることなく生成した学習済みモデルを用いてもよい。同様に、正対判定部１０４は、正対している状態で撮影したパレット８００の画像を教師データとする一方、正対していない状態で撮影したパレット８００の画像を教師データに含めることなく生成した学習済みモデルを用いてもよい。これらの場合、正対判定部１０４は、学習済みモデルが出力した出力データが示す確率が閾値以上であるか否かによって、正対しているか否かを判定すればよい。例えば、正対判定部１０４は、前者の学習済みモデルを用いる場合、該学習済みモデルが出力した出力データが示す確率が閾値以上であれば正対していないと判定し、閾値未満であれば正対していると判定する。

（報知制御部１０５と報知の例について）
報知制御部１０５は、正対判定部１０４が、フォークリフト５がパレット８００と正対していないと判定した場合、その旨を音声出力部４０に報知させる。なお、報知の態様はこの例に限定されず、例えば報知制御部１０５は、表示装置にフォークリフト５がパレット８００と正対していないことを示す情報を表示させることによって報知してもよい。この表示装置は、判定装置１が備えていてもよいし、判定装置１の外部に設置されているものであってもよい。例えば、フォークリフト５が表示装置を備えている場合、報知制御部１０５は、フォークリフト５が備えている表示装置に上記情報を表示させて報知してもよい。また、例えば、フォークリフト５の運転者が所持する装置（例えば、眼鏡型等のウェアラブルデバイスや、携帯電話機やタブレット端末等）に上記情報を表示させてもよい。音声出力によって報知する場合も同様であり、報知制御部１０５は、判定装置１の外部に設置されている装置に音声出力させることにより、フォークリフト５がパレット８００と正対していないことを運転者に報知してもよい。

（処理の流れ）
次に、図３を参照して、判定装置１が実行する処理の流れについて説明する。図３は、判定装置１が実行する処理（判定方法）の一例を示すフローチャートである。

Ｓ１では、撮影制御部１０２は、撮影装置３の撮影範囲にパレット８００が入ったか否かを判定する。具体的には、撮影制御部１０２は、操作検出部１０１によるフォーク５０を昇降させる操作の検出結果に基づいて、撮影装置３の撮影範囲にパレット８００が入ったか否かを判定する。ここで撮影範囲に入ったと判定された場合（Ｓ１でＹＥＳ）、Ｓ２に進む。一方、撮影範囲に入っていないと判定された場合（Ｓ１でＮＯ）、Ｓ１に戻り、同様の処理を繰り返す。

Ｓ２では、撮影制御部１０２は、撮影装置３にパレット８００を含む撮影画像を撮影させ、Ｓ３に進む。そして、Ｓ３では、入力データ生成部１０３は、撮影装置３から撮影画像を取得し、入力データを生成する。実施形態１では、上述の通り、入力データ生成部１０３は、撮影画像をそのまま入力データとして用いる。

Ｓ４（正対判定ステップ）では、正対判定部１０４は、Ｓ３で生成された入力データを上述の学習済みモデルに入力し、該学習済みモデルからの出力データに基づいて、フォークリフト５がパレット８００と正対しているか否かを判定する。正対していると判定した場合（Ｓ４でＹＥＳ）、図３の処理は終了する。なお、この場合、報知制御部１０５は、正対している旨のメッセージを音声出力部４０に出力させてもよい。

一方、Ｓ４で正対していないと判定された場合（Ｓ４でＮＯ）には、Ｓ５に進む。Ｓ５では、報知制御部１０５が、音声出力部４０にフォークリフト５がパレット８００と正対していない旨を報知させる。そして、Ｓ６に進む。

Ｓ６では、操作検出部１０１は、フォークリフト５の方向を調整する操作が行われたか否かを判定する。ここで、方向を調整する操作が行われたと判定した場合（Ｓ６でＹＥＳ）、Ｓ２に戻る。この場合、正対判定部１０４は、該調整後に撮影装置３が撮影したパレット８００の画像から、フォークリフト５がパレット８００に正対しているか否かを判定することになる。これにより、方向を調整する操作を行った運転者に、その操作によってフォークリフト５がパレット８００に正対した状態となったか否かをフィードバックすることができる。よって、運転者は、スムーズにフォークリフト５をパレット８００に正対させることができる。

（実施形態１のまとめ）
以上のように、正対判定部１０４は、フォークリフト５に設置された撮影装置３にてフォークリフト５の荷役対象物が載置されたパレット８００を撮影した画像と、フォークリフト５がパレット８００に正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、フォークリフト５の荷役対象物が載置されたパレット８００を撮影装置３にて撮影した画像から、フォークリフト５がパレット８００に正対しているか否かを判定する。

これにより、パレット８００を撮影した画像に基づき、フォークリフト５がパレット８００に正対しているか否かを判定することができる。また、フォークリフト５がパレット８００に正対していないときには、報知制御部１０５がフォークリフト５の運転者への報知を行うので、荷役作業の失敗を未然に防ぐことができる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態３以降も同様である。

（概要）
実施形態１の判定装置１は、フォークリフト５がパレット８００と正対しているか否かを判定し、正対していない場合にその旨を報知する。これに対し、本実施形態の判定装置１は、フォークリフト５がパレット８００と正対しているか否かだけではなく、正対した状態からどの程度ずれているかも判定し、その判定結果を報知する。これにより、運転者はフォークリフト５の向きをスムーズに微調整してフォークリフト５をパレット８００に正対させることができる。

図４を参照して、本実施形態の概要を説明する。図４は、本実施形態の概要を説明するための図である。図４の（ａ）〜（ｃ）には、荷役作業を行おうとするフォークリフト５を上方から見た様子を示している。図４の（ａ）に示すように、フォークリフト５がパレット８００と正対していない場合、判定装置１の音声出力部４０は、フォークリフト５がパレット８００と正対していない旨を報知している。この報知は実施形態１と同様である。

その後、フォークリフト５の向きが調整され、図４の（ｂ）では、フォークリフト５がパレット８００に対し、図４の（ａ）よりは正対する状態に近付いたが、また正対しているとは言えない状態となっている。この状態において、音声出力部４０は、正対状態に近付いてはいるが、まだ正対していない旨を報知している。本実施形態では、正対した状態からずれている程度を判定するので、図４の（ｂ）のような報知が可能になる。

そして、さらにフォークリフト５の方向が調整された図４の（ｃ）では、フォークリフト５がパレット８００と正対する状態となっている。この状態において、音声出力部４０はフォークリフト５がパレット８００と正対している旨を報知している。なお、図４の（ｃ）の状態では、報知を省略してもよい。

（判定装置１の要部構成）
次に、図５を参照して、本実施形態における判定装置１の制御部１０の要部構成について説明する。図５は、制御部１０の要部構成の一例を示すブロック図である。本実施形態の制御部１０には、上述した実施形態１における制御部１０に含まれる各構成（図１参照）に加えて、ずれ度合い判定部１１１が含まれている。

ずれ度合い判定部１１１は、正対判定部１０４が使用する学習済みモデルからの出力データ（出力値）に基づき、フォークリフト５がパレット８００に正対している状態からずれている程度を判定する。具体的には、ずれ度合い判定部１１１は、正対判定部１０４が使用する学習済みモデルから出力される確率の値、すなわち正対していない状態に該当する確率および正対している状態に該当する確率の少なくとも何れかに基づいて上記の判定を行う。なお、以下では正対していない状態に該当する確率に基づいて判定する例を説明する。

ここで、パレット８００の撮影画像において、パレット８００が明らかに傾いている場合、つまり正対していない状態の特徴が撮影画像に顕著に表れている場合には、学習済みモデルの出力データは１００％に近い確率を示す。一方、パレット８００の撮影画像において、パレット８００の傾き度合いがより小さい場合、つまり正対していない状態の特徴が撮影画像に明確には表れていない場合には、学習済みモデルの出力データが示す確率はより低い値となる。ずれ度合い判定部１１１は、この性質を利用して上記の判定を行う。

具体的には、ずれ度合い判定部１１１は、学習済みモデルの出力データが示す確率値が何れの数値範囲に属するかに応じて、フォークリフト５がパレット８００に正対している状態からずれている程度を判定する。例えば、ずれ度合い判定部１１１の判定のため、正対していない状態に該当する確率値について、５０％未満、５０％以上８０％未満、８０％以上、の３つの数値範囲を設定しておいてもよい。そして、ずれ度合い判定部１１１は、上記確率値が８０％以上であった場合にずれ度合いが大きいと判定し、上記確率値が５０％以上８０％未満であった場合にずれ度合いが小さいと判定してもよい。なお、上記確率値が５０％未満の場合には、正対判定部１０４が正対していると判定するので、ずれ度合い判定部１１１による判定は省略される。

また、本実施形態の報知制御部１０５は、ずれ度合い判定部１１１の判定結果に応じた報知を行う。例えば、報知制御部１０５は、ずれ度合い判定部１１１がずれ度合いが大きいと判定した場合には、正対している状態から大きくずれていること、あるいはフォークリフト５の向きを大きく調整する必要があることを運転者に報知してもよい。同様に、報知制御部１０５は、ずれ度合い判定部１１１がずれ度合いが小さいと判定した場合には、正対している状態から少しずれていること、あるいはフォークリフト５の向きを少し調整する必要があることを運転者に報知してもよい。

また、ずれ度合い判定部１１１は、フォークリフト５の方向を調整する操作が行われた場合にずれ度合いを判定してもよい。そして、報知制御部１０５は、フォークリフト５の方向調整前のずれ度合いと、方向調整後のずれ度合いに応じた報知を行ってもよい。例えば、図４の（ａ）の例のように方向調整前にずれ度合いが大きいと判定されており、図４の（ｂ）の例のように方向調整後にずれ度合いが小さいと判定された場合、報知制御部１０５は、調整の向きが正しいことを報知してもよい。逆に、方向調整前にずれ度合いが小さいと判定されており、方向調整後にずれ度合いが大きいと判定された場合、報知制御部１０５は、調整の向きが誤っていること、あるいは逆方向に調整すべきことを報知してもよい。

（実施形態２のまとめ）
以上のように、実施形態２の判定装置１は、正対判定部１０４が使用する学習済みモデルからの出力データに基づき、フォークリフト５がパレット８００に正対している状態からずれている程度を判定するずれ度合い判定部１１１を備えている。これにより、フォークリフト５がパレット８００に正対している状態からどの程度ずれているかを運転者にフィードバックすることが可能になる。よって、運転者は、フォークリフト５の向きをスムーズに微調整してフォークリフト５をパレット８００に正対させることが可能になる。

なお、フォークリフト５とパレット８００とのずれ度合いが異なる教師データによる機械学習で生成した学習済みモデルを用いることによっても、ずれ度合いを判定することは可能である。ただし、本実施形態のように、正対しているか否かの判定を行うための学習済みモデルの出力データを利用する構成とした場合、学習済みモデルを生成するコストと学習済みモデルを用いた演算コストを増加させることなくずれ度合いを判定することができるので好ましい。

〔実施形態３〕
上述したように、荷役作業では、フォークリフト５のフォーク５０をパレット８００のフォークポケット８０１に挿入することによって、パレット８００ごと積荷を移動させる。ここで、フォークリフト５のフォーク５０はティルトさせることができるようになっており、フォークポケット８０１への挿入時にフォーク５０が水平になっていない場合、フォーク５０がフォークポケット８０１に接触してしまうことがある。つまり、フォークリフト５がパレット８００に正対していても、フォーク５０がティルト状態（フォーク５０の基部に対し、フォークの先端が上方または下方に位置している状態）であれば、荷役作業が失敗するおそれがある。

そこで、本実施形態では、フォークリフト５がパレット８００と正対しているか否かを判定すると共に、フォーク５０がティルト状態であるか否かを判定する例を説明する。図６を参照して、本実施形態における判定装置１の制御部１０の要部構成について説明する。図６は、制御部１０の要部構成の一例を示すブロック図である。本実施形態の制御部１０には、実施形態２の制御部１０（図５）に含まれる各部に加えて、ティルト判定部１２１が含まれている。なお、ずれ度合いを判定する必要がない場合には、ずれ度合い判定部１１１は省略してもよい。

ティルト判定部１２１は、フォーク５０がティルト状態であるか否か（フォーク５０が水平であるか傾いているか）を判定する。このティルト判定には、所定の位置からティルト状態のフォーク５０を撮影した画像から生成した教師データと、上記所定の位置から水平状態のフォーク５０を撮影した画像から生成した教師データとを用いた機械学習により生成した学習済みモデルを利用できる。

実施形態１で説明したように、一対のフォーク５０における各基部の中間に撮影装置３を配置し、水平方向前方に向けて撮影した場合、撮影画像にはフォーク５０が写る。このため、本実施形態では、上記撮影画像から入力データ生成部１０３が生成した入力データを、ティルト判定部１２１による判定にも流用する。これにより、１つの撮影画像から、正対判定とティルト判定との両方を行うことができる。無論、ティルト判定には、正対判定用とは別に撮影された画像を用いて生成した入力データを用いてもよい。また、同じ撮影画像を用いる場合であっても、正対判定用とは異なる、ティルト判定用の入力データを生成してもよい。

ティルト判定部１２１が、上記学習モデルに対して上記入力データを入力することにより、学習済みモデルは、フォーク５０がティルト状態である確率を示す出力データを出力すると共に、フォーク５０がティルト状態ではない確率を示す出力データを出力する。そして、ティルト判定部１２１は、これらの出力データに基づいて、フォーク５０がティルト状態であるか否かを判定する。この判定は、正対判定部１０４による判定と同様であるから説明を省略する。

そして、本実施形態の報知制御部１０５は、ティルト判定部１２１がティルト状態であると判定した場合には、その旨をフォークリフト５の運転者に報知する。報知の態様が特に限定されないことは、上記各実施形態における正対判定結果等の報知と同様である。

（実施形態３のまとめ）
以上のように、本実施形態の判定装置１は、ティルト状態のフォークを撮影した画像を教師データとして機械学習した学習済みモデルを用いて、フォーク５０を撮影した画像から、フォーク５０がティルト状態であるか否かを判定するティルト判定部１２１を備えている。よって、ティルト状態を自動で検出することができる。また、ティルト状態であると判定された場合には、報知制御部１０５がフォークリフト５の運転者への報知を行うので、荷役作業の失敗を未然に防ぐことが可能になる。

〔変形例〕
上述の各実施形態の構成は、運転者の操作によらず自動で荷役作業を行うことができるフォークリフトに適用することもできる。この場合、判定装置１は、報知制御部１０５の代わりに、フォークリフトの向き（正対する方向）を調整するための、フォークリフト制御部を備えていればよい。これにより、フォークリフト５とパレット８００を自動で正対させることができる。

〔分散処理について〕
上記各実施形態で説明した判定装置１の実行する処理の一部は、判定装置１と通信接続された１または複数の装置に実行させてもよい。例えば、正対判定部１０４の実行する処理の一部を、判定装置１と通信接続されたＡＩサーバに実行させてもよい。この場合、例えば、判定装置１は、入力データをＡＩサーバに送信し、該ＡＩサーバから出力データを受信して、フォークリフト５がパレット８００と正対しているか否かを判定する。

〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 判定装置
３ 撮影装置
５ フォークリフト
５０ フォーク
１０４ 正対判定部
１１１ ずれ度合い判定部
１２１ ティルト判定部
８００ パレット（対象パレット）
８０１ フォークポケット
９００ 積荷（荷役対象物）

Claims (4)

1. フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定部と、
   上記学習済みモデルからの出力値に基づき、上記フォークリフトが上記対象パレットに正対している状態からずれている程度を判定するずれ度合い判定部とを備え、
   上記ずれ度合い判定部は、上記フォークリフトが正対する方向を調整する操作が行われた場合、該調整後にもずれている程度を判定し、
   上記判定された調整後のずれている程度を用いて、上記調整の向きが正しいか、誤っているかを音声出力部に報知させる報知制御部を備え、
   上記報知制御部は、方向調整前に上記ずれている程度が大きいと判定され、かつ、方向調整後に上記ずれている程度が小さいと判定された場合、上記調整の向きが正しいことを上記音声出力部に報知させることを特徴とする判定装置。
2. 上記正対判定部は、上記フォークリフトが正対する方向を調整する操作が行われた場合に、該調整後に上記撮影装置が撮影した上記対象パレットの画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定することを特徴とする請求項１に記載の判定装置。
3. ティルト状態のフォークを撮影した画像を教師データとして機械学習した学習済みモデルを用いて、上記フォークリフトのフォークを撮影した画像から、当該フォークがティルト状態であるか否かを判定するティルト判定部を備えていることを特徴とする請求項１または２に記載の判定装置。
4. 判定装置による判定方法であって、
   フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定ステップと、
   上記学習済みモデルからの出力値に基づき、上記フォークリフトが上記対象パレットに正対している状態からずれている程度を判定するずれ度合い判定ステップとを含み、
   上記ずれ度合い判定ステップでは、上記フォークリフトが正対する方向を調整する操作が行われた場合、該調整後にもずれている程度を判定し、
   さらに、上記判定された調整後のずれている程度を用いて、上記調整の向きが正しいか、誤っているかを音声出力部に報知させる報知制御ステップを含み、
   上記報知制御ステップでは、方向調整前に上記ずれている程度が大きいと判定され、かつ、方向調整後に上記ずれている程度が小さいと判定された場合、上記調整の向きが正しいことを上記音声出力部に報知させることを特徴とする判定方法。

Images