JP7397880B2 - 農業刈り作業機械のための画像収集装置及びその処理方法 - Google Patents

Description

本発明は、農業用機械分野に関し、特に農業刈り作業機械のための画像収集装置及びその画像処理方法に関する。

農業生産では、広範囲の植込み作業の最終的な仕事は、作物を収穫することである。茎稈作物の場合、最後の収穫作業には、作物の切断、収穫、さらには脱穀などが含まれる。現在、大型刈取機は、農業生産に対して非常に重要である。より高い刈取効率により、収穫を最大化することができ、良い仕上げ仕事は、その後の再播種又は茎稈の回収にさらに有利である。しかし、現在、既存の刈取機は、基本的に単純なカッターマシンであり、運送・脱穀機と組み合わせて、カッターを単純に拡大し、広げるものであるため、多くの欠点がある。

既存の刈取機は、主にヘッダー、コンベヤー、脱穀機及び貯留ビンで構成されている。さらに、それらの領域をどのような速度で刈取るかは、手動経験に依存し、したがって、刈取機を手動で操作する必要がある。いくつかの刈取機にはカメラが設けられているが、画像は、刈取作業の具体的な状態を全面的に反映することが困難である。図１に示すように、農業生産では、従来の刈取作業方式の状態が示されている。刈り入れ待ちの作物の位置、刈り取られた作物の位置、刈り取られている作物の状態は、いずれも従来の刈取に必要な状態情報である。例えば、農民が鎌を使用して行う刈取作業では、刈り入れ待ちの作物の位置から次の刈取作業の対象を判断し、刈り取られた作物の位置は後ろにあり、刈り取られている作物の切断位置である。したがって、これは非常にインテリジェントな操作手順であると言える。しかし、既存の刈取機は、基本的にこれらの状態情報を無視し、刈取作業を機械的に、繰り返し、差別化せずに行う。

既存の大型刈取機は、広範囲の作業を迅速に完了することができるが、効率的な作業の完了には手動経験が欠かせない。どこでどのような速度の刈取を行うかを手動で判断する必要があり、突然の問題の解決も手動の介入を必要とする。これらは、無人化操作により完了することが難しい。さらに、既存の刈取機は、必要な状態情報をリアルタイムで取得できず、刈取作業に必要な情報を全面的に取得できず、正確な判断を行うことができない。

また、農業生産の特殊性から、必要なのは機械の周りのシーンだけでない。機械の周りのシーン画像を取得した場合でも、その後の多くの識別処理が必要となるとも言える。これらのアルゴリズムは、農業生産に対してコストが高すぎ、長い時間がかかり、リアルタイム性が高い刈取作業の場合、機械の周りのシーンは重要ではない。さらに、都市交通に必要な距離とは異なり、農業生産における遠距離のシーン画像の用途が大きくなく、広大な土地の冗長な画像だけである。

農業分野での広範囲の生産のニーズを考慮して、農業刈り作業機械の作業に用いられる画像収集装置及びその画像処理方法は、市場によって追求されている。

本発明の１つの主な利点は、刈取作業に必要な情報を十分に考慮し、農業刈り作業機械の位置の画像を収集し、収集された複数の画像を効率的に処理する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像が刈り入れ待ちの作物の位置、刈り取られた作物の位置、刈り取られている作物の状態の情報を有して、農業刈り作業を支援する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、無人化された農業刈り作業に適用し、生産コストを削減し、インテリジェントな情報の統合を促進する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。
本発明の別の利点は、採集された画像及び処理後の画像が刈取作業の状態をリアルタイムで表示して、簡単で効率的な制御により、生産効率を向上させることができる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像が刈取作業の操作領域を全面的にカバーし、さらに刈取作業に必要な情報を把握する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像の有効性に基づき、前記処理方法が刈取作業の状態をリアルタイムで迅速に取得し、その後の制御の実行に役立つ、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、前記処理方法が前記作業機械の位置を補助的に位置決めし、その後の制御における進行位置及び速度の判断に寄与する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像が刈り取られている作物の状態を補助的に取得し、収穫作業の作業方法をリアルタイムに調整し、収穫効果を最大化する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、効果的な収集画像と比較的簡単な処理方法を利用することにより、その後の制御が作業状態に応じて直接反応してもよく、無人化操作に適している、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像が識別するのに適しており、画像のフィードバックから必要な作業情報を便利に取得でき、発生した問題に対してリアルタイムなアラームを取得することもできる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像には冗長な情報がなく、農業刈り作業の操作領域に対して採集し、リソースを十分に利用して処理の難しさを簡略化する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像が遠隔伝送に適しているため、刈取作業のリモートコントロールが可能となる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、採集された画像は、識別を簡略化するだけでなく、情報を抽出し、作業機械器の状態を迅速に把握するのにも適している作業機械、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、前記画像収集装置と前記画像処理方法は、作業機械に対する要求が高くなく、追加のデバイスとして機械に配置されて、異なるタイプの刈取作業機械の進化を促進することができる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、画像収集装置が異なる作業機械に応じて適応して構成され、取付けを最適化し、農業生産の安定性を向上させることができる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、前記画像収集装置が統一的に管理されることに適しているため、採集された画像が連携して処理され、処理プロセスが簡素化され、処理速度が向上する、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、予め設定された制御プログラムにより、前記画像収集装置と組み合わせてリアルタイムでフィードバックし、インテリジェント化された無人作業が実現され、監視されることができる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、前記画像収集装置は、適応性が高いだけでなく、異なるタイプの作業機械の効果は安定性が高く、幅広い用途に適している、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の別の利点は、作業機械に対する改造コストが低く、参照及び制御のためにより多くの作業状態を提供し、手動作業にも全面的な情報支援を提供できる、農業刈り作業機械のための画像収集装置及びその処理方法を提供することにある。

本発明の他の利点及び特徴は、以下の詳細な説明により十分に具体化され、添付の特許請求の範囲で特に指摘された手段及び装置の組み合わせによって実現されてもよい。

本発明の１つの態様によれば、前述の目的及びその他の目的と利点を実現することができる本発明の農業刈り作業機械用の画像取得装置は、機体と撮影コンポーネントとを備え、前記撮影コンポーネントは、前記機体の表面に取り付けられ、前記機体が起動されて刈取作業を行う過程で、前記機体の前部に操作領域が形成され、前記撮影コンポーネントは、採集範囲をカバーするように前記機体に取り付けられ、且つ前記操作領域に向かって画像の採集を行う。ここで、前記機体は、機体フレーム、少なくとも１つのホイールフレーム及び刈取フレームを含み、前記刈取フレームは、前記機体フレームの前部に配置され、前記ホイールフレームは、前記機体フレームの底部に支持され、前記ホイールフレームは、操作されて刈取フレーム及び前記機体フレームを前方に動かして、前方の農作物に対して切断及び搬送を行う。

本発明の１つの実施例によれば、前記撮影コンポーネントは、少なくとも１つの採集器及びプロセッサを含み、前記撮影コンポーネントの複数の採集器は、前記機体フレームの前部及び側部に予め向かって取り付けられ、前記採集器によって取得された画像は、前記プロセッサによって処理されてまとめられて、分析される。

本発明の１つの実施例によれば、前記採集器は、１つのパノラマカメラとして実施される。

本発明の１つの実施例によれば、前記採集器は、複数の広角カメラとして実施される。

本発明の１つの実施例によれば、前記採集器は、少なくとも３つであり、前記撮影コンポーネントの複数の採集器は、前記機体フレームの前部及び側部に予め向かって取り付けられ、前記採集器によって取得された画像は、前記プロセッサによって処理されてまとめられ、分析される。

本発明の１つの実施例によれば、前記プロセッサは、前記採集器の取付位置に従って画像処理を行う。

本発明の１つの実施例によれば、前記採集器は、さらに１つの遠景採集器、少なくとも１つの近景採集器及び少なくとも２つの側景採集器を含み、前記遠景採集器と前記近景採集器は、前記機体フレームの前部に取り付けられるように適合され、且つそれぞれ前記刈取フレームの上方及び下方に向かっており、前記側景採集器は、それぞれ前記機体フレームの両側に取り付けられ、且つそれぞれ前記機体の両側に面する。

本発明の１つの実施例によれば、前記遠景採集器は、前記ホイールフレームの上方に沿って向きを維持し、前記近景採集器は、前記ホイールフレームと前記ホイールフレームとの間の位置に沿って向きを維持する。

本発明の１つの実施例によれば、前記遠景採集器、前記近景採集器、及び前記側景採集器は、それぞれ取付位置に基づいて番号付けられ、前記プロセッサは、それぞれの異なる番号に基づいて対応する採集器の位置を取得し、画像の採集位置と組み合わせて画像処理を行う。

本発明の１つの実施例によれば、複数の前記遠景採集器は、一定の間隔をあけて取り付けられ、複数の前記近景採集器は、一定の間隔をあけて取り付けられる。

本発明の１つの実施例によれば、前記プロセッサは、前記採集器の取付位置に従って画像処理を行い、前記近景採集器によって採集された画像は、優先的にスティッチングされ、さらに他の前記採集器によって採集された画像とスティッチングされる。

本発明の１つの実施例によれば、前記プロセッサは、前記採集器の取付位置に従って画像処理を行い、前記遠景採集器によって採集された画像は、優先的にスティッチングされ、さらに他の前記採集器によって採集された画像とスティッチングされる。

本発明の１つの実施例によれば、近接している複数の採集器で採集された画像は優先的にスティッチングされ、さらに他の採集器で採集された画像とスティッチングされる。

本発明の１つの実施例によれば、前記刈取フレームの上方及び対応する下方に位置する前記遠景採集器と前記近景採集器によって採集された画像は、優先的にスティッチングされる。

本発明の１つの実施例によれば、前記刈取フレームの端部の下方に位置する前記近景採集器及び前記刈取フレームの端部の縁に位置する前記側景採集器によって採集された画像は、優先的にスティッチングされる。

本発明の別の態様によれば、本発明は、機体と画像収集装置とを備え、前記画像収集装置は、撮影コンポーネントと通信機とを含み、前記画像収集装置が前記機体に取り付けられ、前記通信機が前記撮影コンポーネントに通信可能に接続されて、前記撮影コンポーネントから採集された画像情報を取得し、さらに前記機体の動作位置及び作業速度の調整を支援する、農業刈り作業機械を提供する。

本発明の１つの実施例によれば、前記通信機は、前記撮影コンポーネントによって提供された情報をアップロードして取得されるのを待つ。

本発明の１つの実施例によれば、前記通信機は、前記撮影コンポーネントによって採集された画像の処理後の情報をリモートコントロール端子に伝送する。

本発明の１つの実施例によれば、前記撮影コンポーネントは、少なくとも１つの採集器及びプロセッサを含み、前記撮影コンポーネントの複数の採集器は、前記機体フレームの前部及び側部に予め向かって取り付けられ、前記採集器によって取得された画像は、前記プロセッサによって処理されてまとめられ、分析される。

本発明の１つの実施例によれば、前記採集器は少なくとも３つであり、前記撮影コンポーネントの複数の採集器は、前記機体フレームの前部及び側部に予め向かって取り付けられ、前記採集器によって取得された画像は、前記プロセッサによって処理されてまとめられて、前記通信機に伝送される。

本発明の１つの実施例によれば、前記プロセッサは、前記採集器の取付位置に従って画像処理を行う。

本発明の別の態様によれば、本発明は、農業刈り作業機械のための画像処理方法をさらに提供し、前記画像処理方法は、
機体の前部及び側部の複数の画像を収集するステップＩと、
採集された画像の位置に基づいて、画像をスティッチングするステップＩＩと、
スティッチングされた画像に基づいて、前記機体の周りの状態情報を取得するステップＩＩＩと、を含む。

本発明の１つの実施例によれば、ステップＩＩＩの後、前記機体の状態情報を遠隔で伝送するステップをさらに含む。

本発明の１つの実施例によれば、ステップＩＩでは、前記機体に取り付けられた複数の採集器の取付位置に従って、画像処理を行う。

本発明の１つの実施例によれば、ステップＩＩでは、向きが近い複数の前記採集器によって採集された画像は、優先的にスティッチングされる。

本発明の１つの実施例によれば、ステップＩＩでは、近接している複数の採集器で採集された画像は優先的にスティッチングされる。

以下の説明及び図面を理解することにより、本発明のさらなる目的及び利点は、十分に具体化される。

本発明のこれら及び他の目的、特徴及び利点は、以下の詳細な説明、図面及び特許請求の範囲によって十分に具体化される。

農業刈り作業の方式及びシーンの概略図である。 本発明の１つの好ましい実施例による農業刈り作業機械のための画像収集装置の全体的な概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像収集装置の側面概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像処理方法の部分概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像処理方法の部分概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像処理方法の部分概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像処理方法の概略図である。 本発明の上記の好ましい実施例による別の実行可能な方式での農業刈り作業機械のための画像処理方法の部分概略図である。 本発明の上記の好ましい実施例による上記の実行可能な方式での農業刈り作業機械のための画像処理方法の部分概略図である。 本発明の上記の好ましい実施例による農業刈り作業機械のための画像収集装置及びその処理方法の応用概略図である。

以下の説明は、当業者が本発明を実施できるように、本発明を開示するために使用される。以下の説明における好ましい実施例は、単なる例であり、当業者は、他の明らかな変形を考えることができる。以下の説明で定義される本発明の基本原理は、他の実施形態、変形形態、改良形態、同等形態、及び本発明の精神及び範囲を逸脱しない他の技術案に応用されてもよい。

当業者は、本発明の開示において、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「鉛直」、「水平」、「頂」、「底」、「内」、「外」などの用語で示される方位又は位置関係が添付図面に基づいて示される方位又は位置関係であり、本発明の説明を容易にして説明を簡素化するためのものだけであり、言及される装置又は素子が必ず特定の方位を有し、特定の方式で構造及び操作を行うことを示す又は示唆するものではないので、上記の用語は、本発明を限定するものと理解されるべきではないことを理解すべきである。

なお、用語「一」は、「少なくとも１つ」又は「１つ又は複数」として理解されるべきであり、即ち１つの実施例では、１つの素子の数が１つであってもよいが、他の実施例では、当該素子の数が複数であってもよく、用語「一」は数を制限するためのものとして理解されない。

農業刈り作業の状態情報のリアルタイムな収集及び処理により、その後の制御及び監視のための直接的なデータソースを提供し、作業効率を最適化するための基礎を提供する、農業刈り作業機械のための画像収集装置及びその処理方法を提供する。

本発明の１つの好ましい実施例では、図２～図１０に示すように、前記農業刈り作業機械は、機体１０及び撮影コンポーネント２０を備え、前記撮影コンポーネント２０は、前記機体１０の表面に取り付けられる。前記機体１０が起動されて刈取作業を行う過程で、前記機体１０の前部に操作領域１００が形成され、前記機体１０は、前記操作領域１００のみで刈取作業を行う。当業者は、前記機体１０の刈取作業について、前進する時に農作物の切断、搬送、脱穀、貯留などの操作を順次行うことを理解することができる。つまり、前記機体１０の前記操作領域１００には、刈り取られている作物に加えて、切断された作物及び刈り入れ待ちの作物が含まれる。また、前記操作領域１００は移動可能である。

前記撮影コンポーネント２０は、カバーするように前記機体１０に取り付けられ、前記操作領域１００に向かって画像の採集を行う。つまり、前記撮影コンポーネント２０の採集範囲は、前記機体１０の前部及び側部をカバーする。注意すべきこととして、行われた切断作業は機体１０によって保存される。前記撮影コンポーネント２０は、刈り取られている作物及び刈り入れ待ちの作物の前記操作領域１００に対して画像の採集を行う。好ましくは、この好ましい実施例では、前記撮影コンポーネント２０は、前記機体１０の前部及び２つの側部から取り付けられる。つまり、前記撮影コンポーネント２０は、前記操作領域１００に対して周辺部の前半分の方式で採集する。

注意すべきこととして、前記撮影コンポーネント２０によって採集された画像は、基本的に前記操作領域１００をカバーする。前記画像コンポーネント２０によって採集された画像は、前記機体１０の周りの画像を反映することができる。採集された画像は、さらなる処理を経た後に、操作領域１００の状態情報を体現することができる。

好ましくは、前記撮影コンポーネント２０によって採集された画像は、複数であってもよく、出力によって提供された画像は１つである。より好ましくは、前記撮影コンポーネント２０は、前記操作領域１００の状態情報を出力する。前記撮影コンポーネント２０によって採集された画像に基づいて、前記機体１０の作業中の状態を取得する。
さらに、前記画像収集装置は、前記撮影コンポーネント２０と通信機体３０とを備える。前記通信機３０は、前記撮影コンポーネント２０に通信可能に接続されて、前記撮影コンポーネント２０から、採集された画像の情報を取得する。前記画像収集装置は、前記機体１０に取り付けられている。前記機体１０が刈取作業を実行する場合、前記撮影コンポーネント２０は、前記操作領域１００の画像を取得し、前記通信機３０は、前記撮影コンポーネント２０によって提供された情報をアップロードして取得されるのを待つ。好ましくは、前記通信機３０は、前記撮影コンポーネント２０によって提供される１つの画像をリモートコントロール端子に伝送し、これにより、伝送のリアルタイム性が確保される。より好ましくは、前記通信機３０は、前記撮影コンポーネント２０によって採集された画像の処理後の情報をリモートコントロール端子に伝送し、これにより、伝送の速度が確保される。

この好ましい実施例では、前記撮影コンポーネント２０は、前記機体１０の前部及び側部に分散して配置されている。前記撮影コンポーネント２０によって収集された複数の画像は、スティッチングされ、さらに前記通信機３０を介して伝送される。

具体的には、図２及び図３に示すように、前記機体１０は、機体フレーム１１、少なくとも１つのホイールフレーム１２及び刈取フレーム１３を含み、前記刈取フレーム１３は、前記機体フレーム１１の前部に配置され、前記ホイールフレーム１２は、前記機体フレーム１１の底部に支持されている。前記ホイールフレーム１２は、操作されて前記刈取フレーム１３と前記機体フレーム１１を前方に動かして前方の農作物に対して切断及び搬送を行う。前記画像収集装置は、前記農業刈り作業機械の前記機体フレーム１１に配置されている。より具体的には、前記撮影コンポーネント２０は、前記機体フレーム１１上に配置され、前記撮影コンポーネント２０が面する前記操作領域１００は、前記ホイールフレーム１２及び前記刈取フレーム１３の採集を回避する。

さらに、この好ましい実施例では、前記撮影コンポーネント２０は、複数の採集器及びプロセッサ２４を含む。前記撮影コンポーネント２０の複数の採集器は、前記機体１１の前部及び側部に予め向かって取り付けられている。前記採集器によって取得された画像は、前記プロセッサ２４によって処理されてまとめられ、分析される。好ましくは、前記プロセッサ２４は、前記採集器の取付位置に従って画像の処理を行う。

具体的には、前記採集器は、複数の広角カメラとして実施されてもよいし、１つのパノラマカメラとして実施されてもよい。この好ましい実施例では、前記採集器は、図３に示すように、分散して取り付けられ、遠景採集器２１、少なくとも１つの近景採集器２２、少なくとも１つの側景採集器２３と分類されて呼ばれる。前記遠景採集器２１及び近景採集器２２は、前記機体フレーム１１の前部に適合され、それぞれ前記刈取フレーム１３の上方及び下方に面する。より具体的には、前記遠景採集器２１は、前記ホイールフレーム１２の上方に沿って収集し、前記近景採集器２２は、前記ホイールフレーム１２と前記ホイールフレーム１２の間の位置に沿って収集する。前記側景採集器２３は、それぞれ前記機体レーム１１の両側に取り付けられ、両側の作物の状態に対して画像の採集を行う。

つまり、前記遠景採集器２１によって採集された画像は、刈り入れ待ちの作物の状態に関連付けられ、前記近景採集器２２によって採集された画像は、刈り取られている作物に関連付けられる。前記側景採集器２３によって採集された画像は、前記操作領域１００の位置に関連付けられている。

好ましくは、前記景採集器２１、前記近景採集器２２及び前記側景採集器２３は、それぞれ取付位置に基づいて番号付けられている。前記プロセッサ２４は、それぞれの異なる番号に基づいて対応する採集器の位置を取得し、画像の採集位置と組み合わせて画像処理を行う。画像の位置ソースに基づいて処理するため、処理速度が向上する。特に画像スティッチング処理の場合、前記遠景採集器２１、前記近景採集器２２及び前記側景採集器２３の取付位置に基づいて、前記機体１０の周りの画像を迅速に取得し、それによって前記操作領域１００の状態を取得することができる。特に、前記遠景採集器２１、前記近景採集器２２及び前記側景採集器２３の異なる位置タイプに応じて、前記採集された画像中の前記機体フレーム１１、前記ホイールフレーム１２及び前記刈取フレーム１３は、デフォルトでは無視可能である。例えば、前記遠景採集器２１によって採集された画像の下縁は、前記刈取フレーム１３として考えられてもよく、処理過程では予め切断されるか又は無視される。例えば、前記近景採集器２２によって採集された画像の上縁は、前記刈取フレーム１３として考えられてもよく、下縁はホイールフレーム１２として考えられてもよい。これにより、切断されている作物の状態情報が取得される。例えば、前記側景採集器２３によって採集された画像の下縁は、ホイールフレーム１２として考えられてもよく、それによって前記機体１０の部分は、排除されてもよい。したがって、前記遠景採集器２１、前記近景採集器２２及び前記側景採集器２３によって採集された画像が前記プロセッサ２４によって迅速に初期処理されてスティッチングされた後、操作領域１００の状態情報が取得される。

具体的には、この好ましい実施例の画像処理方法を図４～図６に示す。農業刈り作業機械のための前記画像処理方法は、
機体１０の前部及び側部の複数の画像を収集するステップＩと、
採集された画像の位置に基づいて、画像をスティッチングするステップＩＩと、
スティッチングされた画像に基づいて、前記機体１０の周りの状態情報を取得するステップＩＩＩと、を含む。

具体的には、図４に示すように、この好ましい実施例では、複数の前記遠景採集器２１は、前記刈取フレーム１３の上方に向かって収集する。複数の前記遠景採集器２１は、前記機体１０の前部の前記操作領域１００がカバーされるように、一定の間隔で取り付けられる。つまり、複数の前記遠景採集器２１は、刈り入れ待ちの作物に対して画像の採集を行う（ステップＩ）。

次に、複数の前記遠景採集器２１の取付位置に基づいて、採集された画像が順次スティッチングされ、これにより、前記刈取フレーム１３の前方の刈り入れ待ちの作物の画像が収集される。注意すべきこととして、既存の画像スティッチングとは異なり、各画像を識別して画像の内容を判断することなく、取付位置、又は各画像における前記刈取フレーム１３に基づいて複数の画像を直接スティッチングし、これにより、前記機体１０の前方の全面的な画像を取得する（ステップＩＩ）。

次に、前記遠景採集器２１によって収集された前記機体１０の前方の全体的な画像に基づき、前記機体１０の前方の前記操作状態１００は、リアルタイムで取得され、状態情報を特徴付ける。好ましくは、前記採集された画像は、後でさらに詳細に分析されてもよい。

具体的には、図５に示すように、この好ましい実施例では、複数の前記遠景採集器２２は、前記刈取フレーム１３の下方に向かって、および前記ホイールフレーム１２１の間に集まる。複数の前記近景採集器２２は、前記機体１０の中央部の前記操作領域１００がカバーされるように、一定の間隔で取り付けられる。つまり、複数の前記近景採集器２２は、刈り取られている作物に対して画像の採集を行う（ステップＩ）。

次に、複数の前記近景採集器２２の取付位置に基づいて、採集された画像が順次スティッチングされ、これにより、前記刈取フレーム１３の下方の刈り取られている作物の画像が収集される。注意すべきこととして、既存の画像スティッチングとは異なり、画像ごとに識別して画像の内容を判断する必要がなく、取付位置又は各画像における前記刈取フレーム１３に基づいて複数の画像を直接スティッチングし、これにより、前記機体１０の作業中の全面的な画像を取得する（ステップＩＩ）。

次に、前記近景採集器２２によって収集された全体的な前記機体１０の動作画像に基づき、前記機体１０の作業領域１００における切断状態がリアルタイムで取得され、特徴付けられる。好ましくは、採集された画像は、後でさらに詳細に分析されてもよい。

具体的には、図６に示すように、この好ましい実施例では、複数の前記側景採集器２３は、前記機体フレーム１０の両側に向かって集まる。複数の前記側景採集器２３は、それぞれ前記機体レーム１０の左右両側に取り付けられ、前記機体の両側の作物の状態が取得される。つまり、一般的には、前記側景採集器２３は、刈り取りが終了した場所と刈り取り待ち場所に対して画像の採集をそれぞれ行う（即ち、ステップＩ）。

次に、複数の前記側景採集器２３の取付位置に基づいて、採集された画像が順次スティッチングされ、これにより、刈り取りが終了した場所と刈り取り待ち場所の画像が収集される。注意すべきこととして、既存の画像スティッチングとは異なり、画像ごとに識別して画像の内容を判断する必要がなく、直接に取付位置に基づき、例えば、前記機体１０の左側に取り付けられた側景採集器２３は、刈り取りが終了した作物状態を取得し、前記機体１０の右側に取り付けられた側景採集器２３は、刈り取り待ち場所の作物状態を取得する。これにより、前記機体１０が動作している左右にある作物の状態を取得し、さらに前記機体１０の位置を取得することができる（即ち、ステップＩＩ）。

次に、前記側景採集器２３によって収集された前記機体１０の側部画像に基づき、前記機体１０の前進方向及び速度を取得し、刈り取り前進方向の正確を確保し、刈り取り効率の向上を支援することができる。

さらに、前記遠景採集器２１、前記近景採集器２２及び前記側景採集器２３によって採集された画像が最後にスティッチングされ、前記機体１０の前記操作領域１００の状態情報が取得される。図７に示すように、前記機体１０の３つの側面の状態が全面的に取得される。好ましくは、前記撮影コンポーネント２０は、最後に、刈り取られている作物、刈り入れ待ちの作物及び場所での刈取作業の位置を含む、前記機体１０の上から下への観察角度と類似したものを得る。

さらに、前記画像処理方法は、ステップＩＩＩの後、前記機体１０の状態情報を遠隔で伝送するステップをさらに含む。

図１０に示すように、前記機体１０の動作状態は、遠隔で取得されてもよい。さらに、前記機体１０は、刈取作業中のパラメータが遠隔で制御される。例えば、前記近景採集器２２及び前記側景採集器２３によって採集された画像において作物が前記収穫フレーム１３から所定の距離だけ離れ、つまり、前記機体１０の動作は、必要な作物刈り取り領域からずれ、高効率の作物刈り取りを達成するために、前記刈取機１３を十分にいっぱいに充填する必要がある。より具体的には、例えば、フィードバックされた画像では、前記刈取フレーム１３におけるより左側の８０％が作物を刈り取っていると、この状態情報を遠隔で取得することができ、前記刈取フレーム１３が刈り入れ待ちの作物を十分にカバーするように、前記機体１０の前進方向を左へ調整する。

当然、前記機体１０の作業の調整は、手動で遠隔操作されてもよいし、所定のプログラムによって調整されてもよく、前記画像収集装置で得られた画像により、制御を支援して、無人化された農業生産を実現する。

本発明の上記の好ましい実施例の別の実行可能な方式での農業刈り作業機械のための画像収集装置は、図８～図９に示すように説明され、前記農業刈り作業機械は、機体１０Ａと撮影コンポーネント２０Ａとを備え、前記機体１０Ａと前記撮影コンポーネント２０Ａの構造は、上記の好ましい実施例の前記農業刈り作業機械の前記機体１０と前記撮影コンポーネント２０と類似するため、本発明では説明を省略する。

上記の実施形態との違いは、図４～図６は、同じタイプの取付位置に基づいて画像をスティッチングし、最後に３つの異なる前記遠景採集器２１Ａ、前記近景採集器２２Ａ、及び前記側景採集器によって最終的な画像に合成されたものであることである。本実施形態では、前記遠景採集器２１Ａ、前記近景採集器２２Ａ、及び前記側景採集器２３Ａの位置に基づき、位置が近い前記採集器によって採集された画像は、好ましくはスティッチングされ、さらに１つの画像に処理される。

好ましくは、前記刈取フレーム１３Ａの上方及び対応する下方に位置する前記遠景採集器２１Ａと前記近景採集器２２Ａによって採集された画像は、優先的にスティッチングされる。図８に示すように、複数の前記遠景採集器２１Ａと複数の前記近景採集器２２Ａは、取付位置が隣接していると考えられる。つまり、前記遠景採集器２１Ａと前記近景採集器２２Ａは、前記刈取フレーム１３Ａに対して同じ位置にある刈り入れ待ちの作物と刈り取られている作物に対して画像の採集を行う（即ち、ステップＩ）。

次に、前記刈取フレーム１３Ａの上方及び対応する下方に位置する前記遠景採集器２１Ａと前記近景採集器２２Ａの取付位置に応じて、採集された画像を順次スティッチングし、これにより、前記刈取フレーム１３Ａの上方及び対応する下方に位置する画像が収集される。注意すべきこととして、既存の画像スティッチングとは異なり、各画像を識別して画像の内容を判断する必要がなく、直接取付位置に基づき、前記機体１０のある位置上の作物の切断前後の全面的な画像を取得する（即ち、ステップＩＩ）。

次に、前記機体１０Ａのある位置の画像に基づき、前記機体１０Ａの前方の前記操作状態１００Ａは、リアルタイムで取得され、且つ状態情報が特徴付けられる。好ましくは、採集された画像は、後でさらに詳細に分析されてもよく、従来の手動切断の視野角に類似する。

また、前記刈取フレーム１３Ａの端部の下方に位置する前記近景採集器２１Ａと前記刈取フレーム１３Ａの端部の縁に位置する前記側景採集器２３Ａによって採集された画像は、先にスティッチングされる。図９に示すように、一側の前記側景採集器２１Ａと複数の前記近景採集器２２Ａは、取付位置が隣接していると考えられる。つまり、前記側景採集器２３Ａと前記近景採集器２２Ａは、前記刈取フレーム１３Ａに対して端部にある刈り取られている作物と刈り取られた作物に対して画像の採集を行う（ステップＩ）。

次に、前記刈取フレーム１３Ａの端部の下方に位置する前記近景採集器２２Ａ及び前記刈取フレーム１３Ａの端部の縁に位置する前記側景採集器２３Ａの取付位置に基づいて、採集された画像を順次スティッチングし、これにより、前記刈取フレーム１３Ａの端部に位置する画像は収集される。注意すべきこととして、既存の画像スティッチングとは異なり、各画像を識別して画像の内容を判断する必要がなく、直接取付位置に基づき、前記機体１０のある位置の作物の切断前後の全面的な画像を取得する（ステップＩＩ）。

次に、前記機体１０Ａのある位置にある画像に基づき、前記機体１０Ａの前方の前記操作状態１００Ａは、リアルタイムで取得され、状態情報を特徴付ける。好ましくは、採集された画像は、後でさらに詳細に分析されてもよく、従来の手動切断の視野角に類似する。本実施形態では、前記機体１０Ａの縁の動作状態がさらに取得され、これにより、前記機体１０Ａの動作位置及び動作速度を補助的に調整することが容易になる。

注意すべきこととして、前記遠景採集器２１Ａ、前記近景採集器２２Ａ及び前記側景採集器２３Ａを含む全ての前記採集器によって採集された画像が最後にスティッチングされ、前記機体１０Ａの前記操作領域１００Ａの画像が取得される。図７に示すように、前記機体１０Ａの作業前後の状態は、全面的に取得される。好ましくは、前記撮影コンポーネント２０Ａは、最後に、刈り取られている作物、刈り入れ待ちの作物及び場所での刈取作業の位置を含む、前記機体１０Ａの上から下への観察角度と類似したものを得る。

図１０に示すように、本実施形態では前記機体１０Ａの動作状態は、遠隔で取得されてもよい。さらに、前記機体１０Ａは、刈取作業中のパラメータが遠隔で制御される。例えば、前記近景採集器２２Ａ及び前記側景採集器２３Ａによって採集された画像において作物が前記刈取フレームから一定の距離だけ離れ、つまり、前記機体１０Ａの動作は、必要な作物刈り取り領域からずれ、高効率の作物刈り取りを達成するために、前記刈取機１３Ａを刈り取り待ち作成物に近づける必要がある。より具体的には、例えば、フィードバックされた画像において、前記刈取フレーム１３Ａにおけるより左側の刈り取られていない作物が前記側景採集器２３Ａに表示されると、この状態情報を遠隔で取得することができ、前記刈取フレーム１３が刈り入れ待ちの作物を十分にカバーするように、前記機体１０Ａの前進方向を左へ調整する。

当業者は、上記の説明及び図面に示される本発明の実施例が単なる例であり、本発明を制限するものではないことを理解すべきである。本発明の目的は既に完全かつ効果的に実現された。本発明の機能及び構造原理は、実施例において示され、説明されてきた。前記原理から逸脱することなく、本発明の実施形態は、任意の変形又は変更が行われてもよい。

Claims (16)

1. 農業刈り作業機械であって、
   機体と撮影コンポーネントとを備え、前記撮影コンポーネントは、前記機体の表面に取り付けられ、前記機体が起動されて刈取作業を行う過程において、前記機体の前部に操作領域が形成され、前記撮影コンポーネントは、採集範囲をカバーするように前記機体に取り付けられ、前記操作領域に向かって画像の採集を行い、
   前記機体は、機体フレーム、少なくとも２つのホイールフレーム及び刈取フレームを含み、前記刈取フレームは、前記機体フレームの前部に配置され、前記ホイールフレームは、前記機体フレームの底部に支持され、前記ホイールフレームは、刈取フレーム及び前記機体フレームを前方に動かして、前方の農作物に対して切断及び搬送を行い、
   前記撮影コンポーネントは、複数の採集器及びプロセッサを含み、
   前記採集器は、さらに１つの遠景採集器、少なくとも１つの近景採集器、及び少なくとも２つの側景採集器を含み、
   前記遠景採集器と前記近景採集器は、前記機体フレームの前部に取り付けられるように適合され、それぞれ前記刈取フレームの上方及び下方に向かっており、前記側景採集器は、それぞれ前記機体フレームの両側に取り付けられ、それぞれ前記機体の両側に面しており、
   前記遠景採集器、前記近景採集器及び前記側景採集器は、それぞれ取付位置に基づいて番号付けられ、前記プロセッサは、それぞれの異なる番号に基づいて対応する採集器の位置を取得し、画像の採集位置と組み合わせて画像処理を行い、
   前記採集器によって採集された画像の処理において、前記採集器の異なる位置タイプに応じて、前記採集器によって採集された画像における前記機体の部分は、予め切断されるか又は無視されることを特徴とする農業刈り作業機械。
2. 前記採集器は、１つのパノラマカメラとして実施されることを特徴とする請求項１に記載の農業刈り作業機械。
3. 前記採集器は、複数の広角カメラとして実施されることを特徴とする請求項１に記載の農業刈り作業機械。
4. 前記遠景採集器は、前記ホイールフレームの上方に沿って向きを維持し、前記近景採集器は、前記ホイールフレームと前記ホイールフレームの間の位置に沿って向きを維持することを特徴とする請求項１に記載の農業刈り作業機械。
5. 複数の前記遠景採集器は、一定の間隔をあけて取り付けられ、複数の前記近景採集器は、一定の間隔をあけて取り付けられることを特徴とする請求項１に記載の農業刈り作業機械。
6. 前記プロセッサは、採集器の取付位置に従って画像処理を行い、前記近景採集器によって採集された画像は、最初にスティッチングされ、さらに他の前記採集器によって採集された画像とスティッチングされることを特徴とする請求項１に記載の農業刈り作業機械。
7. 前記プロセッサは、前記採集器の取付位置に従って画像処理を行い、前記遠景採集器によって採集された画像は、最初にスティッチングされ、さらに他の前記採集器によって採集された画像とスティッチングされることを特徴とする請求項１に記載の農業刈り作業機械。
8. 近接している複数の採集器で採集された画像は最初にスティッチングされ、さらに他の採集器で採集された画像とスティッチングされることを特徴とする請求項１に記載の農業刈り作業機械。
9. 前記刈取フレームの上方及び対応する下方に位置する前記遠景採集器と前記近景採集器によって採集された画像は、最初にスティッチングされることを特徴とする請求項８に記載の農業刈り作業機械。
10. 前記刈取フレームの端部の下方に位置する前記近景採集器及び前記刈取フレームの端部の縁に位置する前記側景採集器によって採集された画像は、最初にスティッチングされることを特徴とする請求項８に記載の農業刈り作業機械。
11. 農業刈り作業機械であって、
    機体と画像収集装置とを備え、前記画像収集装置は、撮影コンポーネントと通信機とを含み、前記画像収集装置は、前記機体に取り付けられ、前記通信機は、前記撮影コンポーネントに通信可能に接続されて、前記撮影コンポーネントから採集された画像の情報を取得し、さらに、採集された画像の情報は前記機体の動作位置及び作業速度の調整を補助し、
    前記機体は、機体フレーム、刈取フレームを含み、
    前記撮影コンポーネントは、複数の採集器及びプロセッサを含み、
    前記採集器は、さらに１つの遠景採集器、少なくとも１つの近景採集器、及び少なくとも２つの側景採集器を含み、
    前記遠景採集器と前記近景採集器は、前記機体フレームの前部に取り付けられるように適合され、それぞれ前記刈取フレームの上方及び下方に向かっており、前記側景採集器は、それぞれ前記機体フレームの両側に取り付けられ、それぞれ前記機体の両側に面しており、
    前記遠景採集器、前記近景採集器及び前記側景採集器は、それぞれ取付位置に基づいて番号付けられ、前記プロセッサは、それぞれの異なる番号に基づいて対応する採集器の位置を取得し、画像の採集位置と組み合わせて画像処理を行い、
    前記採集器によって採集された画像の処理において、前記採集器の異なる位置タイプに応じて、前記採集器によって採集された画像における前記機体の部分は、予め切断されるか又は無視されることを特徴とする農業刈り作業機械。
12. 前記通信機は、前記撮影コンポーネントによって提供された情報をアップロードすることを特徴とする請求項１１に記載の農業刈り作業機械。
13. 農業刈り作業機械のための画像処理方法であって、
    機体の前部及び側部の複数の画像を収集するステップＩと、
    採集された画像の位置に基づいて、画像をスティッチングするステップＩＩと、
    スティッチングされた画像に基づいて、前記機体の周りの状態情報を取得するステップＩＩＩと、を含み、
    前記機体は、機体フレーム、刈取フレームを含み、前記農業刈り作業機械は、機体と撮影コンポーネントとを備え、前記撮影コンポーネントは、前記機体の表面に取り付けられ、
    前記撮影コンポーネントは、複数の採集器及びプロセッサを含み、
    前記採集器は、さらに１つの遠景採集器、少なくとも１つの近景採集器、及び少なくとも２つの側景採集器を含み、
    前記遠景採集器と前記近景採集器は、前記機体フレームの前部に取り付けられるように適合され、それぞれ前記刈取フレームの上方及び下方に向かっており、前記側景採集器は、それぞれ前記機体フレームの両側に取り付けられ、それぞれ前記機体の両側に面しており、
    ステップＩでは、前記機体が起動されて刈取作業を行う過程において、前記機体の前部に操作領域が形成され、前記撮影コンポーネントは、採集範囲をカバーするように前記機体に取り付けられ、前記操作領域に向かって画像の採集を行い、
    ステップＩＩでは、前記遠景採集器、前記近景採集器及び前記側景採集器は、それぞれ取付位置に基づいて番号付けられ、前記プロセッサは、それぞれの異なる番号に基づいて対応する採集器の位置を取得し、画像の採集位置と組み合わせて画像処理を行い、
    前記採集器によって採集された画像の処理において、前記採集器の異なる位置タイプに応じて、前記採集器によって採集された画像における前記機体の部分は、予め切断されるか又は無視されることを特徴とする農業刈り作業機械のための画像処理方法。
14. ステップＩＩＩの後に、
    前記機体の状態情報を遠隔で伝送するステップをさらに含むことを特徴とする請求項１３に記載の農業刈り作業機械のための画像処理方法。
15. ステップＩＩでは、向きが近い複数の前記採集器によって採集された画像は、最初にスティッチングされることを特徴とする請求項１３に記載の農業刈り作業機械のための画像処理方法。
16. ステップＩＩでは、近接している複数の採集器で採集された画像は最初にスティッチングされることを特徴とする請求項１３に記載の農業刈り作業機械のための画像処理方法。