JP2019091310A - 画像処理装置、摘み取り装置、画像処理方法、プログラム - Google Patents
画像処理装置、摘み取り装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2019091310A JP2019091310A JP2017220370A JP2017220370A JP2019091310A JP 2019091310 A JP2019091310 A JP 2019091310A JP 2017220370 A JP2017220370 A JP 2017220370A JP 2017220370 A JP2017220370 A JP 2017220370A JP 2019091310 A JP2019091310 A JP 2019091310A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible
- image processing
- determination target
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 0 CC*(CC)NN Chemical compound CC*(CC)NN 0.000 description 1
Images
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
【課題】判定対象物をより精度良く認識することができ自動的な収穫を行う摘み取り装置に応用する画像処理を行うことのできる画像処理装置を提供する。【解決手段】可視カメラから判定対象物の可視画像を取得する。可視カメラの位置と対応する位置に設けられたTOFセンサから判定対象物の距離画像を取得する。可視画像と距離画像に基づいて検出した判定対象物の色と連続面とに基づいて、対象物が所定の判定対象物であるかを判定する。【選択図】図1
Description
本発明は、画像処理装置、摘み取り装置、画像処理方法、プログラムに関する。
農作物を自動収穫するためには農作物である果実等の色や形状を正確に把握する必要がある。関連する技術が特許文献1に開示されている。
特許文献1の技術は農作物を自動的に収穫する技術ではないものの可視化カメラとTOFセンサを利用している。農作物を自動的に収穫する為により高度な技術が求められている。
そこでこの発明は、上述の課題を解決する画像処理装置、摘み取り装置、画像処理方法、プログラムを提供することを目的としている。
本発明の第1の態様によれば、画像処理装置は、可視カメラから判定対象物の可視画像を取得する可視画像取得部と、前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得する距離画像取得部と、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識部と、を備えることを特徴とする。
本発明の第2の態様によれば、摘み取り装置は、上述の画像処理装置を備えることを特徴とする。
本発明の第3の態様によれば、画像処理方法は、可視カメラから判定対象物の可視画像を取得し、前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得し、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定することを特徴とする。
本発明の第4の態様によれば、プログラムは、画像処理装置のコンピュータを、可視カメラから判定対象物の可視画像を取得する可視画像取得手段、前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得する距離画像取得手段、前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識手段、として機能させることを特徴とする。
本発明によれば、農作物等の判定対象物をより精度良く認識することができ自動的な収穫を行う摘み取り装置に応用することができる。
以下、本発明の一実施形態による画像処理装置、摘み取り装置、画像処理方法、プログラムを図面を参照して説明する。
図1は本実施形態による摘み取り装置の概略構成図である。
この図で示すように本実施形態における摘み取り装置1は、果樹2に実る果実fを摘み取る摘み取り装置である。果実fはたとえばさくらんぼ、りんご、みかんなどであってよい。摘み取り装置は果実f以外の判定対象物(例えば花、小物体等)を摘み取る装置であってもよい。摘み取り装置1はアーム10、アーム10の先端に設けられた可視カメラ11、TOF(Time of Flight)センサ12、摘み取り機構13、制御装置14、画像処理装置15を少なくとも備える。アーム10は伸縮機構や延伸角度変更機構を備えてよい。アーム10の先端の摘み取り機構13はマニピュレータ等である。アーム10の伸縮機構や延伸角度変更機構は、摘み取り機構13が果実fを取りやすい位置となるよう制御装置14によって伸縮量、角度が制御される。またアーム10の摘み取り機構13も制御装置14によって摘み取り動作の制御が行われる。
図1は本実施形態による摘み取り装置の概略構成図である。
この図で示すように本実施形態における摘み取り装置1は、果樹2に実る果実fを摘み取る摘み取り装置である。果実fはたとえばさくらんぼ、りんご、みかんなどであってよい。摘み取り装置は果実f以外の判定対象物(例えば花、小物体等)を摘み取る装置であってもよい。摘み取り装置1はアーム10、アーム10の先端に設けられた可視カメラ11、TOF(Time of Flight)センサ12、摘み取り機構13、制御装置14、画像処理装置15を少なくとも備える。アーム10は伸縮機構や延伸角度変更機構を備えてよい。アーム10の先端の摘み取り機構13はマニピュレータ等である。アーム10の伸縮機構や延伸角度変更機構は、摘み取り機構13が果実fを取りやすい位置となるよう制御装置14によって伸縮量、角度が制御される。またアーム10の摘み取り機構13も制御装置14によって摘み取り動作の制御が行われる。
<第一の実施形態>
図2は第一の実施形態による摘み取り装置を構成する各装置のブロック図である。
可視カメラ11は判定対象物である果実fを撮影することにより当該果実fを撮影領域に含む可視画像を生成して画像処理装置15へ出力する。
TOFセンサ12は判定対象物である果実fをセンシングすることにより当該果実fを撮影領域に含む距離画像を生成して画像処理装置15へ出力する。
画像処理装置15は可視画像と距離画像を用いて判定対象物を判定する。画像処理装置15は判定対象物の判定結果や制御情報を制御装置14へ出力する。
制御装置14は画像処理装置15から得た判定結果や制御情報に基づいてアーム10の延伸角度や伸縮量を制御する。
アーム10は、可視カメラ11、TOFセンサ12、摘み取り機構13の位置が判定対象物である果実fの近傍に位置するよう延伸角度や伸縮量が制御される。
図2は第一の実施形態による摘み取り装置を構成する各装置のブロック図である。
可視カメラ11は判定対象物である果実fを撮影することにより当該果実fを撮影領域に含む可視画像を生成して画像処理装置15へ出力する。
TOFセンサ12は判定対象物である果実fをセンシングすることにより当該果実fを撮影領域に含む距離画像を生成して画像処理装置15へ出力する。
画像処理装置15は可視画像と距離画像を用いて判定対象物を判定する。画像処理装置15は判定対象物の判定結果や制御情報を制御装置14へ出力する。
制御装置14は画像処理装置15から得た判定結果や制御情報に基づいてアーム10の延伸角度や伸縮量を制御する。
アーム10は、可視カメラ11、TOFセンサ12、摘み取り機構13の位置が判定対象物である果実fの近傍に位置するよう延伸角度や伸縮量が制御される。
図3は画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置15はCPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53、HDD(Solid State Drive)54、インタフェース55、通信モジュール56、データベース装置57、モニタ58等の各ハードウェアを備えたコンピュータである。制御装置14も同様の機能を備えたコンピュータである。なお図3のハードウェア構成は一例であって、例えば画像処理装置15や制御装置14はHDD54、モニタ58等は備えなくともよい。
この図が示すように画像処理装置15はCPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53、HDD(Solid State Drive)54、インタフェース55、通信モジュール56、データベース装置57、モニタ58等の各ハードウェアを備えたコンピュータである。制御装置14も同様の機能を備えたコンピュータである。なお図3のハードウェア構成は一例であって、例えば画像処理装置15や制御装置14はHDD54、モニタ58等は備えなくともよい。
図4は画像処理装置の機能ブロック図である。
画像処理装置15は、予め記憶する画像処理プログラムを実行する。これにより画像処理装置15は、制御部151、可視画像取得部152、距離画像取得部153、3次元画像生成部154、形状認識部155、位置制御情報生成部156、表示部157の各機能を備える。
画像処理装置15は、予め記憶する画像処理プログラムを実行する。これにより画像処理装置15は、制御部151、可視画像取得部152、距離画像取得部153、3次元画像生成部154、形状認識部155、位置制御情報生成部156、表示部157の各機能を備える。
制御部151は、画像処理装置15の各機能部を制御する。
可視画像取得部152は、可視カメラから判定対象物である果実fを含む可視画像を取得する。
距離画像取得部153は、可視カメラ11の位置と対応する位置に設けられたTOFセンサ12から判定対象物である果実fを含む距離画像を取得する。
3次元画像生成部154は可視画像と距離画像とを用いて果実fを含む3次元画像を生成する。
形状認識部155は、3次元画像に含まれる判定対象物である果実fの色と連続面とに基づいて、判定対象物となる領域が果実fであるかを判定する。
位置制御情報生成部156は、少なくとも距離画像に基づいて可視カメラ11とTOFセンサ12の判定対象物との位置の制御に利用される位置制御情報を生成する。
表示部157は画像処理装置15に備わるモニタ58等に3次元画像を表示する。
可視画像取得部152は、可視カメラから判定対象物である果実fを含む可視画像を取得する。
距離画像取得部153は、可視カメラ11の位置と対応する位置に設けられたTOFセンサ12から判定対象物である果実fを含む距離画像を取得する。
3次元画像生成部154は可視画像と距離画像とを用いて果実fを含む3次元画像を生成する。
形状認識部155は、3次元画像に含まれる判定対象物である果実fの色と連続面とに基づいて、判定対象物となる領域が果実fであるかを判定する。
位置制御情報生成部156は、少なくとも距離画像に基づいて可視カメラ11とTOFセンサ12の判定対象物との位置の制御に利用される位置制御情報を生成する。
表示部157は画像処理装置15に備わるモニタ58等に3次元画像を表示する。
図5は第一の実施形態による画像処理装置の処理フローを示す図である。
次に画像処理装置の処理フローを順を追って説明する。
摘み取り装置1が果樹2に接近し制御装置14の制御に基づいてアーム10を果実fに延ばす。アーム10尖端に取り付けられた可視カメラ11は果実fを撮影範囲に含む可視画像を画像処理装置15へ出力し、またTOFセンサ12は果実fを検出範囲に含む距離画像を画像処理装置15へ出力する。画像処理装置15の可視画像取得部152は可視画像を取得して3次元画像生成部154へ出力する(ステップS101)。距離画像取得部153は距離画像を取得して3次元画像生成部154へ出力する(ステップS102)。3次元画像生成部154は可視画像と距離画像とを用いて3次元画像を生成する(ステップS103)。3次元画像は各画素について色の情報(RGB値や輝度値)と各画素に対応する対象物までの距離情報(奥行き方向の距離の情報)を含む画像である。表示部157は3次元画像をモニタ58に出力してよい。
次に画像処理装置の処理フローを順を追って説明する。
摘み取り装置1が果樹2に接近し制御装置14の制御に基づいてアーム10を果実fに延ばす。アーム10尖端に取り付けられた可視カメラ11は果実fを撮影範囲に含む可視画像を画像処理装置15へ出力し、またTOFセンサ12は果実fを検出範囲に含む距離画像を画像処理装置15へ出力する。画像処理装置15の可視画像取得部152は可視画像を取得して3次元画像生成部154へ出力する(ステップS101)。距離画像取得部153は距離画像を取得して3次元画像生成部154へ出力する(ステップS102)。3次元画像生成部154は可視画像と距離画像とを用いて3次元画像を生成する(ステップS103)。3次元画像は各画素について色の情報(RGB値や輝度値)と各画素に対応する対象物までの距離情報(奥行き方向の距離の情報)を含む画像である。表示部157は3次元画像をモニタ58に出力してよい。
形状認識部155は3次元画像を取得する。形状認識部155は予め記憶する果実fの色に近い色を示す色情報の領域を3次元画像において特定する。また形状認識部155はその色情報の領域において隣り合う画素の距離情報を順次比較し連続面であるかを判定する。連続面であるかどうかの判定において形状認識部155は、一例として隣り合う画素間の距離情報が示す距離値の差を算出し、その差が所定の閾値未満であればそれら隣り合う画素間は連続面を構成すると判定する。形状認識部155は3次元画像中において特定した所定の果実fの色情報を示し、連続面であると判定して領域を1つの果実fの領域と判定する(ステップS104)。形状認識部155は3次元画像における1つの果実領域を示す画素情報を位置制御情報生成部156へ出力する。形状認識部155は3次元画像中において所定の果実fの色を示し連続面であると判定できる領域を複数認識した場合には、それぞれの領域を1つずつの果実領域と判定してよい。つまり形状認識部155は3次元画像中に映る1つまたは複数の所定の果実fの領域をそれぞれ認識する。形状認識部155は3次元画像中に果実f等の判定対象物が認識できない場合には、認識できないことを示す情報を位置制御情報生成部156へ出力してもよい。
位置制御情報生成部156は3次元画像における1つの果実領域の画素範囲と、その画素範囲に含まれる各画素の距離情報に基づいて、摘み取り機構13の位置制御情報を生成する(ステップS105)。制御情報には、アーム10の伸縮距離、アーム10の変更角度などの情報、移動ベクトルなどが含まれてよい。位置制御情報生成部156は位置制御情報を制御装置14へ出力する(ステップS106)。制御装置14は位置制御情報に基づいて、アーム10の伸縮、角度を制御する。制御情報に含まれる角度は、3次元空間におけるアーム10の基部に対応する所定の関節部を基点とした3軸方向の各角度を示す情報であってよい。制御情報にはアーム10を構成する複数の関節部の回転角度を示す情報が含まれていてもよい。位置制御情報生成部156は3次元画像における画像内の座標とその座標の距離によって演算によって位置制御情報を算出することができる。3次元座標内の座標とその座標における距離に基づく位置制御情報の対応関係は例えばデータテーブル等に記録された対応表に基づいて補完計算されてもよいし、所定の演算式に果実fと判定された3次元画像内の領域の各画素の座標やその画素の距離情報を代入して計算されてもよい。位置制御情報生成部156は形状認識部155から判定対象物が認識できないことを示す情報を取得した場合、アーム10を所定の角度や方向に所定距離移動させる所定の位置制御情報を生成して制御装置14へ出力してもよい。
形状認識部155は、未処理の果実fと推定される領域が3次元画像に含まれるかを判定する(ステップS107)。形状認識部155は3次元画像に未処理の果実fと推定される領域が含まれる場合にはステップS104からの処理を繰り返す。形状認識部155は3次元画像に未処理の果実fと推定される領域が含まれない場合には位置制御情報生成部156へ位置変更を指示する。位置制御情報生成部156はアームを所定の距離移動する情報を含む位置制御情報を生成する。位置制御情報生成部156はその位置制御情報を制御装置14へ出力する(ステップS108)。制御装置14はその位置制御情報を用いてアーム10の先端を所定の距離だけ移動させる。この状態で制御部151は処理を終了するかを判定する(ステップS109)。制御部151は処理を終了しない場合にはステップS101からの処理が行われるよう各機能部を制御する。
以上の処理により、画像処理装置15は3次元画像に含まれる果実fなどの所定の判定物を1つずつ精度よく認識することができる。これにより果実fなどの農作物の判定対象物をより精度良く認識して、その認識した判定対象物である果実fの位置に基づいて自動的な収穫を行う摘み取り装置で利用することができる。
<第二の実施形態>
第一の実施形態において摘み取り装置1は1組の可視カメラ11とTOFセンサ12を備え、画像処理装置15は当該1組の可視カメラ11とTOFセンサ12から得た画像情報に基づいて処理を行っている。
一方、第二の実施形態では摘み取り装置1は可視カメラ11とTOFセンサ12の組を2組備え、画像処理装置15は当該2組の可視カメラ11とTOFセンサ12から得た画像情報に基づいて処理を行う場合につて説明する。
第一の実施形態において摘み取り装置1は1組の可視カメラ11とTOFセンサ12を備え、画像処理装置15は当該1組の可視カメラ11とTOFセンサ12から得た画像情報に基づいて処理を行っている。
一方、第二の実施形態では摘み取り装置1は可視カメラ11とTOFセンサ12の組を2組備え、画像処理装置15は当該2組の可視カメラ11とTOFセンサ12から得た画像情報に基づいて処理を行う場合につて説明する。
図6は第二の実施形態による摘み取り装置を構成する各装置のブロック図である。
この図が示すように第二の実施形態による摘み取り装置1は、右側可視カメラ11−1、右側TOFセンサ12−1の組と、左側可視カメラ11−2、左側TOFセンサ12−2の、可視カメラ11とTOFセンサ12の組を2組備える。右側可視カメラ11−1と左側可視カメラ11−2はそれぞれ同じ位置の同じ判定対象物を撮影するようアーム10の先端に設置されている。右側TOFセンサ12−1と左側TOFセンサ12−2もそれぞれ同じ位置の同じ判定対象物をセンシングするようアーム10の先端に設置されている。なお右側可視カメラ11−1と左側可視カメラ11−2の間隔、右側TOFセンサ12−1と左側TOFセンサ12−2の間隔は一例としては10cm〜20cmである。
この図が示すように第二の実施形態による摘み取り装置1は、右側可視カメラ11−1、右側TOFセンサ12−1の組と、左側可視カメラ11−2、左側TOFセンサ12−2の、可視カメラ11とTOFセンサ12の組を2組備える。右側可視カメラ11−1と左側可視カメラ11−2はそれぞれ同じ位置の同じ判定対象物を撮影するようアーム10の先端に設置されている。右側TOFセンサ12−1と左側TOFセンサ12−2もそれぞれ同じ位置の同じ判定対象物をセンシングするようアーム10の先端に設置されている。なお右側可視カメラ11−1と左側可視カメラ11−2の間隔、右側TOFセンサ12−1と左側TOFセンサ12−2の間隔は一例としては10cm〜20cmである。
図7はアーム先端と判定対象物である果実の位置関係を示す図である。
図7で示すように制御装置14は、画像処理装置15から得た制御情報に基づいて右側可視カメラ11−1と左側可視カメラ11−2、右側TOFセンサ12−1と左側TOFセンサ12−2が果実f1,f2,f3に接近するようアーム10を制御する。これにより画像処理装置15は、同一の果実fに対して左右の異なる方向から撮影した右側可視画像と左側可視画像が取得できる。また画像処理装置15は同一の果実fに対して左右の異なる方向からセンシングして生成された右側距離画像と左側距離画像が取得できる。画像処理装置15はこれらの右側可視画像と左側可視画像と、右側距離画像と左側距離画像とを用いて3次元画像を生成する。
図7で示すように制御装置14は、画像処理装置15から得た制御情報に基づいて右側可視カメラ11−1と左側可視カメラ11−2、右側TOFセンサ12−1と左側TOFセンサ12−2が果実f1,f2,f3に接近するようアーム10を制御する。これにより画像処理装置15は、同一の果実fに対して左右の異なる方向から撮影した右側可視画像と左側可視画像が取得できる。また画像処理装置15は同一の果実fに対して左右の異なる方向からセンシングして生成された右側距離画像と左側距離画像が取得できる。画像処理装置15はこれらの右側可視画像と左側可視画像と、右側距離画像と左側距離画像とを用いて3次元画像を生成する。
上述の3次元画像の生成において3次元画像生成部154は、右側可視画像と右側可視画像を用いて各画素が対応する位置となるように合成し、右側から果実fを撮影した場合の右側3次元画像を生成する。また3次元画像生成部154は、左可視画像と左側可視画像を用いて各画素が対応する位置となるように合成し、左側から果実fを撮影した場合の左側3次元画像を生成する。3次元画像生成部154は右側3次元画像と左側3次元画像の各画素の距離情報に基づいて、距離情報や色情報が一致する右側3次元画像と左側3次元画像における合わせ位置の画素を特定し、その合わせ位置の画素において左右の3次元画像連結させた1つの3次元画像を生成する。
次に第二の実施形態による画像処理装置の処理フローを説明する。フローチャートは第一の実施形態と同様であるため省略する。
摘み取り装置1が樹木に接近し制御装置14の制御に基づいてアーム10を果実fに延ばす。アーム10尖端に取り付けられた右側可視カメラ11−1と左側可視カメラ11−2は果実fを撮影範囲に含む可視画像を画像処理装置15へ出力し、また右側TOFセンサ12−1と左側TOFセンサ12−2は果実fを検出範囲に含む距離画像を画像処理装置15へ出力する。画像処理装置15の可視画像取得部152は可視カメラ11−1、11−2から得た2つの可視画像(右側可視画像、左側可視画像)を取得して3次元画像生成部154へ出力する。距離画像取得部153はTOFセンサ12−1、12−2から得た2つの距離画像(右側距離画像、左側距離画像)を取得して3次元画像生成部154へ出力する。3次元画像生成部154は可視画像と距離画像とを用いて上述したように3次元画像を生成する。3次元画像は各画素について色の情報(RGB値や輝度値)と各画素に対応する対象物までの距離情報を含む画像である。表示部157は3次元画像をモニタ58に出力してよい。以降の処理は第一の実施形態と同様である。
摘み取り装置1が樹木に接近し制御装置14の制御に基づいてアーム10を果実fに延ばす。アーム10尖端に取り付けられた右側可視カメラ11−1と左側可視カメラ11−2は果実fを撮影範囲に含む可視画像を画像処理装置15へ出力し、また右側TOFセンサ12−1と左側TOFセンサ12−2は果実fを検出範囲に含む距離画像を画像処理装置15へ出力する。画像処理装置15の可視画像取得部152は可視カメラ11−1、11−2から得た2つの可視画像(右側可視画像、左側可視画像)を取得して3次元画像生成部154へ出力する。距離画像取得部153はTOFセンサ12−1、12−2から得た2つの距離画像(右側距離画像、左側距離画像)を取得して3次元画像生成部154へ出力する。3次元画像生成部154は可視画像と距離画像とを用いて上述したように3次元画像を生成する。3次元画像は各画素について色の情報(RGB値や輝度値)と各画素に対応する対象物までの距離情報を含む画像である。表示部157は3次元画像をモニタ58に出力してよい。以降の処理は第一の実施形態と同様である。
上述の第二の実施形態によれば、画像処理装置15は左右の可視カメラと左右のTOFセンサに基づいて得られた右側可視画像、左側可視画像、右側距離画像、左側距離画像に基づいて判定対象物である果実f等の農作物の死角の無い3次元画像を生成する。そして画像処理装置15はその3次元画像を用いて1つずつの判定対象物である果実fを精度良く認識する。これにより果実fや他の農作物等の判定対象物の自動収穫を実現するために必要な、当該判定対象物のより正確な部位と形状把握を行うことができる。
関連する技術においては色判別による部位と形状把握を行っているが、植物の茎や果柄の形状を把握する際、茎や果柄どうしが重なること、近似色の葉や他の食物が近傍にあること等により、色分別が困難となり1つの形状を誤認識する可能性があった。そして、ステレオカメラによりえられた撮影画像からのステレオ法による3次元計測(奥行き計測)を行い、ステレオカメラを構成する左右のカメラの撮影画像(物体)のマッチングを行う技術もあるが、植物の茎や果柄のマッチングを取る場合、少数であれは比較的簡単にマッチング可能であるものの、実際の植物においては、茎や果柄が密集しているケースが多く、左右のカメラで撮影した茎や果柄について、個々の相関を誤判定してしまうという問題があった。上記本願の画像処理装置および摘み取り装置によれば、農作物の自動収穫を実現するために必要な、より精度の高い判定対象物の形状把握と位置とを判定することができる。
図8は画像処理装置の最小構成を示す図である。
画像処理装置15は少なくとも、可視画像取得部152、距離画像取得部153、形状認識部155を備えればよい。
画像処理装置15は少なくとも、可視画像取得部152、距離画像取得部153、形状認識部155を備えればよい。
上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1・・・摘み取り装置
10・・・アーム
11・・・可視カメラ
12・・・TOFセンサ
13・・・摘み取り機構
14・・・制御装置
15・・・画像処理装置
151・・・制御部
152・・・可視画像取得部
153・・・距離画像取得部
154・・・3次元画像生成部
155・・・形状認識部
156・・・位置制御情報生成部
157・・・表示部
10・・・アーム
11・・・可視カメラ
12・・・TOFセンサ
13・・・摘み取り機構
14・・・制御装置
15・・・画像処理装置
151・・・制御部
152・・・可視画像取得部
153・・・距離画像取得部
154・・・3次元画像生成部
155・・・形状認識部
156・・・位置制御情報生成部
157・・・表示部
Claims (8)
- 可視カメラから判定対象物の可視画像を取得する可視画像取得部と、
前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得する距離画像取得部と、
前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識部と、
を備える画像処理装置。 - 前記判定対象物が果実であり、
前記形状認識部は前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて所定の前記果実であるかを判定する
請求項1に記載の画像処理装置。 - 複数組の前記可視画像取得部と前記距離画像取得部との組のそれぞれから取得した前記可視画像と前記距離画像とに基づいて3次元画像を生成する3次元画像生成部と、
を備える請求項1または請求項2に記載の画像処理装置。 - 前記形状認識部は、前記判定対象物が所定の果実の色である画像領域の各画素の距離情報に基づいて前記連続面を成す1つの果実を判定する
請求項2または請求項3の何れか一項に記載の画像処理装置。 - 前記距離画像に基づいて前記可視カメラと前記TOFセンサの前記判定対象物との位置の制御に利用される位置制御情報を生成する位置制御情報生成部と、
を備える請求項1から請求項4の何れか一項に記載の画像処理装置。 - 請求項1から請求項5の何れか一項に記載の画像処理装置を備え、前記判定対象物を摘み取る摘み取り装置。
- 可視カメラから判定対象物の可視画像を取得し、
前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得し、
前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する
画像処理方法。 - 画像処理装置のコンピュータを、
可視カメラから判定対象物の可視画像を取得する可視画像取得手段、
前記可視カメラの位置と対応する位置に設けられたTOFセンサから前記判定対象物の距離画像を取得する距離画像取得手段、
前記可視画像と前記距離画像に基づいて検出した前記判定対象物の色と連続面とに基づいて、前記判定対象物が所定の判定対象物であるかを判定する形状認識手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220370A JP2019091310A (ja) | 2017-11-15 | 2017-11-15 | 画像処理装置、摘み取り装置、画像処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220370A JP2019091310A (ja) | 2017-11-15 | 2017-11-15 | 画像処理装置、摘み取り装置、画像処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019091310A true JP2019091310A (ja) | 2019-06-13 |
Family
ID=66837382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220370A Pending JP2019091310A (ja) | 2017-11-15 | 2017-11-15 | 画像処理装置、摘み取り装置、画像処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019091310A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0554124A (ja) * | 1991-08-21 | 1993-03-05 | Iseki & Co Ltd | 果実収穫ロボツト等の視覚装置 |
JP2014127208A (ja) * | 2012-12-26 | 2014-07-07 | Ricoh Co Ltd | 物体検出方法及び物体検出装置 |
JP2017096817A (ja) * | 2015-11-25 | 2017-06-01 | 日本電信電話株式会社 | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム |
-
2017
- 2017-11-15 JP JP2017220370A patent/JP2019091310A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0554124A (ja) * | 1991-08-21 | 1993-03-05 | Iseki & Co Ltd | 果実収穫ロボツト等の視覚装置 |
JP2014127208A (ja) * | 2012-12-26 | 2014-07-07 | Ricoh Co Ltd | 物体検出方法及び物体検出装置 |
JP2017096817A (ja) * | 2015-11-25 | 2017-06-01 | 日本電信電話株式会社 | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム |
Non-Patent Citations (1)
Title |
---|
JOSEPH R. DAVIDSON ET AL.: "Proof-of-concept of a robotic apple harvester", 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), JPN6021044288, 19 October 2016 (2016-10-19), US, pages 634 - 639, XP033011469, ISSN: 0004634363, DOI: 10.1109/IROS.2016.7759119 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019194616A (ja) | 画像に基づく位置検出方法、装置、機器及び記憶媒体 | |
JP4488804B2 (ja) | ステレオ画像の関連付け方法及び3次元データ作成装置 | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
Bac et al. | Stem localization of sweet-pepper plants using the support wire as a visual cue | |
WO2017080102A1 (zh) | 飞行装置、飞行控制***及方法 | |
JP2011123071A (ja) | 撮像装置、オクルージョン領域の探索方法、及びプログラム | |
US9905016B2 (en) | Robot identification system | |
WO2009142841A2 (en) | Rectangular table detection using hybrid rgb and depth camera sensors | |
Li et al. | Vision-based pest detection and automatic spray of greenhouse plant | |
CN110926330A (zh) | 图像处理装置和图像处理方法 | |
US10055845B2 (en) | Method and image processing system for determining parameters of a camera | |
JP2019152924A (ja) | 自己位置同定システム、車両、及び処理装置 | |
US20220327721A1 (en) | Size estimation device, size estimation method, and recording medium | |
KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
Beltran et al. | A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect | |
JP2004338889A (ja) | 映像認識装置 | |
JP2004239791A (ja) | ズームによる位置計測方法 | |
JP6042146B2 (ja) | 対象物検出装置および対象物検出方法 | |
US20210042576A1 (en) | Image processing system | |
JP7187388B2 (ja) | 位置姿勢推定装置及び位置姿勢推定方法 | |
JP7229840B2 (ja) | 収穫装置およびその制御方法、並びにプログラム | |
KR20220026340A (ko) | 작물 영상 기반 작물 생육 계측 시스템, 및 방법 | |
Kang et al. | Accurate fruit localisation for robotic harvesting using high resolution lidar-camera fusion | |
KR102410300B1 (ko) | 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법 | |
JP2019091310A (ja) | 画像処理装置、摘み取り装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |