JP7309160B2 - Tea picking method based on image and point cloud data processing - Google Patents
Tea picking method based on image and point cloud data processing Download PDFInfo
- Publication number
- JP7309160B2 JP7309160B2 JP2022095024A JP2022095024A JP7309160B2 JP 7309160 B2 JP7309160 B2 JP 7309160B2 JP 2022095024 A JP2022095024 A JP 2022095024A JP 2022095024 A JP2022095024 A JP 2022095024A JP 7309160 B2 JP7309160 B2 JP 7309160B2
- Authority
- JP
- Japan
- Prior art keywords
- cutter
- shoots
- tea
- region
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims description 40
- 240000003553 Leptospermum scoparium Species 0.000 claims description 40
- 235000015459 Lycium barbarum Nutrition 0.000 claims description 40
- 238000001931 thermography Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 241001122767 Theaceae Species 0.000 claims 4
- 244000269722 Thea sinensis Species 0.000 description 64
- 235000006468 Thea sinensis Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D91/00—Methods for harvesting agricultural products
- A01D91/04—Products growing above the soil
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Harvesting Machines For Specific Crops (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、茶葉摘み取りの技術分野に関し、特に画像および点群データ処理に基づく茶摘み方法に関する。 TECHNICAL FIELD The present invention relates to the technical field of tea leaf picking, and more particularly to a tea picking method based on image and point cloud data processing.
中国は、名実ともに茶葉の栽培・生産大国である。２０２０年、全国の荒茶の生産量と生産額は、それぞれ２９８．６０万トンと２６２６．５８億元に達した。しかし、伝統的な茶葉生産は、家庭単位で行われることが多く、茶葉の摘み取りから加工まですべて手作業が中心であり、労働集約型産業に属する。茶葉の摘み取りという観点からは、人力による摘み取りのコストが高いため、茶葉の生産コストが増加する一方、茶葉の摘み取り時間が短く、人力による摘み取りの効率が低いため、茶葉の生産量が大きく制限される。現在、中国の茶葉の摘み取りと労働者の矛盾は、すでに茶葉産業発展のボトルネックとなっている。そのため、多くの科学技術者は、自動茶摘み装置を研究して上述の問題を解決し始めている。 China is a major tea growing and producing country both in name and reality. In 2020, the output and value of crude tea nationwide reached 2.986 million tons and 262.658 billion yuan respectively. However, traditional tea leaf production is often done by households, and everything from picking tea leaves to processing is mainly done manually, and it belongs to a labor-intensive industry. From the point of view of picking tea leaves, the cost of picking by hand is high, so the production cost of tea leaves increases. be. At present, the contradiction between tea picking and workers in China has become a bottleneck for the development of tea industry. Therefore, many technologists have started researching automatic tea picking devices to solve the above problems.
既存の茶摘み機は、摘み方によって選択的茶摘み機と非選択的茶摘み機の２種類に分けられる。このうち、選択的茶摘み機は、主に名優茶の摘み取りに用いられるが、非選択的茶摘み機は、主に大衆茶の摘み取りに用いられる。現在普及して使用されている茶摘み機の多くは、大衆茶の生葉摘み用に生産されており、機械動力を利用してブレードを動かし、茶葉を迅速に切り取り、収集している。この種の茶摘み機は、摘み取り効率が高く、労働力コストと労働強度を下げることができ、茶摘みの人手不足という矛盾をある程度緩和した。 The existing tea plucking machines are divided into two types, selective tea plucking machines and non-selective tea plucking machines, depending on how they are picked. Among them, the selective tea plucking machine is mainly used for picking fine tea, while the non-selective tea plucking machine is mainly used for picking popular tea. Most of the tea plucking machines in widespread use today are produced for plucking fresh leaves of popular tea, and use mechanical power to move blades to quickly cut and collect tea leaves. This kind of tea picking machine has high picking efficiency, can reduce labor cost and labor intensity, and alleviates the contradiction of tea picking labor shortage to some extent.
茶摘み機は、摘み取り効率を高めることができるが、その選択性に乏しく、作業時に老葉と若葉を区別せずに切断することで、芽葉の大きさが異なり、バラツキが大きく、また茶樹に対する機械的損傷が大きく、同時に摘採葉の老葉と若葉が混在し、古茎や老葉と破損した葉の含有量が比較的高く、茶摘み機の普及および使用にある程度影響する。自動化やスマート化された茶摘み機械は、茶葉業界の切実な需要となっている。新梢の摘み取りの完全性と一致性を高め、茶葉全体の品質を高めるため、画像認識を用い、若芽を選択して摘み取るものが発展したが、茶樹の老葉と若葉が交互に重なるため、茶葉の色差が小さく、画像認識だけの方式では依然として摘み取り精度の問題を解決できない。 The tea picking machine can improve the picking efficiency, but its selectivity is poor. At the same time, the picked leaves are mixed with old leaves and young leaves, and the content of old stems, old leaves and broken leaves is relatively high, which affects the popularization and use of tea picking machines to some extent. Automated and smart tea picking machines are in desperate need of the tea leaf industry. In order to improve the completeness and consistency of picking of new shoots and improve the quality of the whole tea leaves, a method of picking young shoots selectively using image recognition was developed. The color difference of tea leaves is small, and the image recognition method still cannot solve the problem of picking accuracy.
上記の問題に対して、本発明の目的は、画像および点群データ処理に基づく茶摘み方法を開示し、サーモグラフィとレーザーレーダーによって茶樹の樹冠情報を処理するとともに、カッターと茶樹樹冠との間における相対位置を調整することにより、茶葉の摘み取り精度を効果的に向上することができる。 In view of the above problems, the purpose of the present invention is to disclose a tea picking method based on image and point cloud data processing, processing tea tree canopy information by thermography and laser radar, and By adjusting the relative positions, the tea leaf picking accuracy can be effectively improved.
具体的には、本発明の画像および点群データ処理に基づく茶摘み方法は、以下のステップを含む。
Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する。
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する。
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
Specifically, the tea picking method based on image and point cloud data processing of the present invention includes the following steps.
S1: A thermal image of the cutter and the crown of the tea tree is obtained by thermography, and point cloud information of the cutter and the crown of the tea tree is obtained by laser radar scanning.
S2: A region of interest S is selected from the captured thermal image of the canopy of the tea tree, and the number of young shoots n within the region of interest S is calculated.
S3: Based on the obtained point group information of the cutter and the tea tree crown, an approximate curve of the tea tree crown is obtained, and the distance d2 between the cutter and the tea tree crown is calculated.
S4: Judgment is made based on the number of young shoots n and the distance d2 between the cutter and the crown of the tea tree, the position of the cutter is further adjusted, and finally cut.
さらに、前記関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１である。 Furthermore, the region of interest S is a rectangular region with the same width as the length of the cutter, and is located directly in front of the cutter. The distance from the bottom straight line is d1.
さらに、前記ステップＳ２における若芽数は、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出される。 Furthermore, the number of shoots in step S2 is detected using a target detection algorithm YOLO-V5 in deep learning.
さらに、前記ステップＳ４において、カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなり、カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなる。 Further, in step S4, if the cutter is above the tea tree canopy, d2 is a positive value, and the greater the distance, the larger the value; if the cutter is below the tea tree canopy, d2 is: It is a negative value, and the farther the distance, the smaller the value.
さらに、前記Ｓ４ステップの具体的な判断基準は、以下である。
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上に移動させる必要がある。
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。
Furthermore, the specific judgment criteria of the S4 step are as follows.
If n<n1 and d2>0, it indicates that the number of shoots n in the region of interest S is too low, and the cutter is above the shoots at this time, no cutting is needed at this time, and the cutter position adjustment is not required.
If n<n1 and d2<0, indicating that the number of shoots n in the region of interest S is too low, and at this time the cutter is below the shoots and the cutter position is lower, cut at this time. is unnecessary and needs to be adjusted to move up.
If n>n1 and d2<−r, indicating that the number of shoots n in the region of interest S is sufficient and the cutter is below the shoots at this time, but the cutter position is too low at this time; At this point a cut is required and the cutter position needs to be moved up.
If n>n1 and −r<d2<0, indicating that the number of shoots n in the region of interest S is sufficient, and the cutter is below the shoots at this time, the cutter position is appropriate; Cutting is required at this point, and no adjustment of the cutter position is required.
If n>n1 and d2>0, then the number of shoots n in the region of interest S is sufficient, and at this time the cutter is above the shoots, indicating that the cutter position is too high, and at this time cutting is not possible. required and the cutter position must be adjusted downwards.
where r is the theoretical difference to tea shoots at the time of cutting the cutter, and n1 is the default number of shoots.
１）本発明は、画像および点群データ処理に基づく茶摘み方法を開示し、カッター位置と角度の自動制御問題を解決し、乗用式茶摘み機の茶園地形と茶冠の平坦度に対する要求を低減し、茶摘み機の応用範囲を広げた。
２）乗員の長時間の疲労作業によるカッター位置制御ミスの問題を減らし、摘み取りの効率と品質を保証する。
1) The present invention discloses a tea picking method based on image and point cloud data processing, solves the problem of automatic control of cutter position and angle, and satisfies the requirements for tea plantation topography and tea crown flatness of ride-on tea pickers. reduced, widening the application range of the tea picking machine.
2) To reduce the problem of cutter position control error caused by the crew's long fatigue work, and to ensure picking efficiency and quality.
以下、本発明を具体的な実施例に基づいて詳細に説明する。
（実施例）
Hereinafter, the present invention will be described in detail based on specific examples.
(Example)
本発明の画像および点群データ処理に基づく茶摘み方法は、サーモグラフィとレーザーレーダーを利用して茶葉の摘み取りを補助し、茶葉の摘み取り精度を効果的に向上させることができ、図１に示すような、移動ベース１および移動ベース１に取り付けられたフレーム２を含む茶摘み機を用いて実現することができる。フレーム２に茶摘み機構が固定的に取り付けられている。茶摘み機構は、トラックユニットと、トラックユニットに摺動可能に取り付けられた支持ステージ３を含む。トラックユニットは、平行に設置されたボールねじ４とローラートラック５を含む。支持ステージ３は、固定連結されたベース３１と支持板３２を含む。ボールねじ４とローラートラック５は、ベース３１内に穿設される。ボールねじ４の一端は、軸受座６を介してフレーム２に固定して取り付けられ、他端には、回転モータ７が固定的に接続されている。回転モータ７は、フレーム２に固定的に取り付けられている。ローラートラック５の両端は、いずれも軸受座６を介してフレーム２に固定的に取り付けられている。ローラートラック５には、開口が上向きの溝５１が開設されている。支持板３２における溝５１に対応する位置には、対称に設けられた２つの支持耳３３が固定的に取り付けられている。２つの支持耳３３の間に、移動ローラ３４が取り付けられている。移動ローラ３４は、溝５１内に位置し、かつ溝５１の底部に接触している。ボールねじ４とローラートラック５の構造により、支持ステージ３をより円滑に動作させることができる。使用時には、回転モータ７によりボールねじ４が回転駆動され、ボールねじ４が支持ステージ３を水平移動駆動することにより、切断ユニットの位置が調整される。一方、溝５１と移動ローラ３４の配置により、ベース３１とトラックユニットとの間の摩擦力が減少する。移動中、操作がよりスムーズになり、応答がより速くなり、消費電力の低減に有利になる。 The tea picking method based on image and point cloud data processing of the present invention can use thermography and laser radar to assist tea picking and effectively improve tea picking accuracy, as shown in FIG. Alternatively, it can be realized using a tea picker comprising a mobile base 1 and a frame 2 attached to the mobile base 1 . A tea picking mechanism is fixedly attached to the frame 2. - 特許庁The tea picking mechanism includes a track unit and a support stage 3 slidably attached to the track unit. The track unit comprises a ball screw 4 and a roller track 5 which are installed in parallel. The support stage 3 includes a base 31 and a support plate 32 that are fixedly connected. The ball screw 4 and roller track 5 are drilled in the base 31 . One end of the ball screw 4 is fixedly attached to the frame 2 via a bearing seat 6, and the rotary motor 7 is fixedly connected to the other end. The rotary motor 7 is fixedly attached to the frame 2 . Both ends of the roller track 5 are fixedly attached to the frame 2 via bearing seats 6 . The roller track 5 is provided with a groove 51 whose opening faces upward. Two symmetrical support ears 33 are fixedly attached to the support plate 32 at positions corresponding to the grooves 51 . A moving roller 34 is mounted between the two support ears 33 . The moving roller 34 is positioned within the groove 51 and is in contact with the bottom of the groove 51 . The structure of the ball screw 4 and roller track 5 allows the support stage 3 to operate more smoothly. During use, the ball screw 4 is rotationally driven by the rotary motor 7, and the ball screw 4 horizontally moves the support stage 3, thereby adjusting the position of the cutting unit. On the other hand, the arrangement of the grooves 51 and the moving rollers 34 reduces the frictional force between the base 31 and the track unit. During movement, the operation becomes smoother, the response becomes faster, and it is advantageous for reducing power consumption.
支持ステージ３には、２台の直流プッシャーモータ８が関節式に取り付けられている。２台の直流プッシャーモータ８は、支持ステージ３に対称に設置されている。支持ステージ３における２台の直流プッシャーモータ８の中間の位置には、さらにレーザーレーダーセンサ９とサーモグラフィ１０が固定して取り付けられている。本発明の茶摘み機は、さらにＰＬＣコントローラを含む。レーザーレーダーセンサ９、サーモグラフィ１０は、ＰＬＣコントローラの信号入力端と信号接続され、ＰＬＣコントローラの信号出力端は、直流プッシャーモータと信号接続されることで、切断の効率的な進行がある程度保証される。直流プッシャーモータ８のプッシャの自由端には、カッター１１が枢着されている。 Two DC pusher motors 8 are articulated on the support stage 3 . Two DC pusher motors 8 are installed symmetrically on the support stage 3 . A laser radar sensor 9 and a thermography 10 are also fixedly attached to the support stage 3 at an intermediate position between the two DC pusher motors 8 . The tea picker of the present invention further includes a PLC controller. The laser radar sensor 9 and the thermography 10 are signal-connected to the signal input end of the PLC controller, and the signal output end of the PLC controller is signal-connected to the DC pusher motor to ensure the efficient progress of cutting to some extent. . A cutter 11 is pivotally attached to the free end of the pusher of the DC pusher motor 8 .
前記茶摘み機による茶葉摘みは、具体的には、以下のステップで行われる。
Ｓ１：移動ベースを利用して茶摘み機を一畝の茶樹の端部に移動させ、カッターを茶樹の上方の樹冠位置に対応させ、支持ステージをカッターと一畝の茶樹の端部とが揃った状態に移動させる。カッターの上方に位置する直流プッシャーモータのプッシャーロッドは、いずれも伸長し、カッターの高さを、茶樹に接近しかつ接触しない状態まで下げる。サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択する。関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置する。関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１である。若芽数ｎは、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出されて算出される。
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する。カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなる。カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなる。
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断する。
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある。
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。
カッター位置を適正位置に調整した後、切断を行う。
Ｓ５：移動ベースを利用して茶摘み機を茶畝に沿って走行させ、カッターにより茶葉を切断し続け、切断中にサーモグラフィとレーザーレーダーは、茶樹樹冠の熱画像およびカッターと茶樹樹冠の点群データを継続的に検出し、算出したｎとｄ２がそれぞれｎ＜ｎ１かつ｜ｄ２｜＜ｒに保持されるようにＰＬＣコントローラで処理する。
Specifically, tea leaf picking by the tea picking machine is performed in the following steps.
S1: Use the moving base to move the tea plucking machine to the edge of a ridge of tea plant, align the cutter with the crown position above the tea plant, and align the support stage with the cutter and the edge of the ridge of tea plant. move it to the normal state. The pusher rods of the DC pusher motors above the cutter both extend, lowering the height of the cutter to close proximity and out of contact with the tea plants. A thermal image of the cutter and the crown of the tea tree is obtained by thermography, and point cloud information of the cutter and the crown of the tea tree is obtained by laser radar scanning.
S2: A region of interest S is selected from the captured thermal image of the tea tree canopy. The region of interest S is a rectangular area with a width equal to the length of the cutter and located directly in front of the cutter. In the region of interest S, the bottom straight line is the projection of the cutter onto the tea tree, and the distance between the front straight line and the bottom straight line is d1. The number of shoots n is detected and calculated using a target detection algorithm YOLO-V5 in deep learning.
S3: Based on the obtained point group information of the cutter and the tea tree crown, an approximate curve of the tea tree crown is obtained, and the distance d2 between the cutter and the tea tree crown is calculated. If the cutter is above the tea tree canopy, d2 is a positive value, and the greater the distance, the greater the value. If the cutter is under the tea tree canopy, d2 is negative and decreases with increasing distance.
S4: Judgment is made based on the number of shoots n and the distance d2 between the cutter and the tea tree canopy.
If n<n1 and d2>0, it indicates that the number of shoots n in the region of interest S is too low, and the cutter is above the shoots at this time, no cutting is needed at this time, and the cutter position adjustment is not required.
If n<n1 and d2<0, indicating that the number of shoots n in the region of interest S is too low, and at this time the cutter is below the shoots and the cutter position is lower, cut at this time. is unnecessary and needs to be adjusted to move up.
If n>n1 and d2<−r, indicating that the number of shoots n in the region of interest S is sufficient and the cutter is below the shoots at this time, but the cutter position is too low at this time; At this point a cut is required and the cutter position needs to be moved up.
If n>n1 and −r<d2<0, indicating that the number of shoots n in the region of interest S is sufficient, and the cutter is below the shoots at this time, the cutter position is appropriate; Cutting is required at this point, and no adjustment of the cutter position is required.
If n>n1 and d2>0, then the number of shoots n in the region of interest S is sufficient, and at this time the cutter is above the shoots, indicating that the cutter position is too high, and at this time cutting is not possible. required and the cutter position must be adjusted downwards.
where r is the theoretical difference to tea shoots at the time of cutting the cutter, and n1 is the default number of shoots.
After adjusting the cutter position to an appropriate position, perform cutting.
S5: The moving base is used to drive the tea plucking machine along the tea ridge, and the cutter continues to cut the tea leaves. The data is continuously detected and processed by the PLC controller so that the calculated n and d2 hold n<n1 and |d2|<r, respectively.
以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、限定するものではない。本発明は、好ましい実施例を参照して詳細に説明したが、当業者には理解されるように、本発明の技術的解決手段の趣旨および範囲から逸脱することなく、本発明の技術的解決手段を変更または均等に変更することが可能であり、それらはすべて本発明の特許請求の範囲に含まれるものである。本発明において詳細に説明されない技術、形状、構造の部分は、すべて公知技術である。 The above examples are only for describing the technical solutions of the present invention, but not for limiting them. Although the present invention has been described in detail with reference to preferred embodiments, it should be understood by those skilled in the art that the technical solutions of the present invention do not depart from the spirit and scope of the technical solutions of the present invention. Modifications or equivalent modifications of the means are possible, all of which fall within the scope of the claims of the present invention. The parts of technology, shape, and structure that are not described in detail in the present invention are all known technologies.
（付記）
（付記１）
以下のステップを含むことを特徴とする、画像および点群データ処理に基づく茶摘み方法：
Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る；
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する；
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する；
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
(Appendix)
(Appendix 1)
A tea picking method based on image and point cloud data processing, characterized by comprising the following steps:
S1: Acquire a thermal image of the cutter and the crown of the tea tree by thermography, and obtain point cloud information of the cutter and the crown of the tea tree by laser radar scanning;
S2: Select a region of interest S from the captured thermal image of the canopy of the tea tree, and calculate the number of young shoots n within the region of interest S;
S3: Based on the obtained point group information of the cutter and the tea tree crown, obtain an approximate curve of the tea tree crown and calculate the distance d2 between the cutter and the tea tree crown;
S4: Judgment is made based on the number of young shoots n and the distance d2 between the cutter and the crown of the tea tree, the position of the cutter is further adjusted, and finally cut.
（付記２）
前記関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、
前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１であることを特徴とする付記１に記載の画像および点群データ処理に基づく茶摘み方法。
(Appendix 2)
The region of interest S is a rectangular region with a width equal to the length of the cutter and located directly in front of the cutter,
In the image and point cloud data processing according to Supplementary Note 1, wherein the bottom straight line is the projection of the cutter onto the tea tree, and the distance between the front end straight line and the bottom straight line is d1. Based tea picking method.
（付記３）
前記ステップＳ２における若芽数は、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出されることを特徴とする付記２に記載の画像および点群データ処理に基づく茶摘み方法。
(Appendix 3)
The tea picking method based on image and point cloud data processing according to appendix 2, wherein the number of young shoots in step S2 is detected using a target detection algorithm YOLO-V5 in deep learning.
（付記４）
前記ステップＳ４において、カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなり、
カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする付記３に記載の画像および点群データ処理に基づく茶摘み方法。
(Appendix 4)
In step S4, when the cutter is above the canopy of the tea tree, d2 is a positive value, and the greater the distance, the greater the value;
The tea picking method based on image and point cloud data processing according to Supplementary Note 3, characterized in that when the cutter is under the tea tree canopy, d2 is a negative value, and the greater the distance, the smaller the value. .
（付記５）
前記Ｓ４ステップの具体的な判断基準は、以下であることを特徴とする付記１～４のいずれか１つに記載の画像および点群データ処理に基づく茶摘み方法：
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である；
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある；
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある；
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが充分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である；
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが充分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある；
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。
(Appendix 5)
The tea picking method based on image and point cloud data processing according to any one of Appendices 1 to 4, characterized in that the specific criteria for the S4 step are as follows:
If n<n1 and d2>0, it indicates that the number of shoots n in the region of interest S is too low, and the cutter is above the shoots at this time, no cutting is needed at this time, and the cutter position no adjustment is required;
If n<n1 and d2<0, indicating that the number of shoots n in the region of interest S is too low, and at this time the cutter is below the shoots and the cutter position is lower, cut at this time. is unnecessary and needs to be adjusted to move up;
If n>n1 and d2<−r, indicating that the number of shoots n in the region of interest S is sufficient and the cutter is below the shoots at this time, but the cutter position is too low at this time; At this point a cut is required and the cutter position needs to be moved up;
If n>n1 and −r<d2<0, it indicates that the number of shoots n in the region of interest S is sufficient and that the cutter is below the shoots at this point and the cutter position is appropriate. Cutting is required at this point, no adjustment of the cutter position is required;
If n>n1 and d2>0, then the number of shoots n in the region of interest S is sufficient, and at this point the cutter is above the shoots and the cutter position is too high, indicating that cutting is not possible at this point. required and the cutter position needs to be adjusted downward;
where r is the theoretical difference to tea shoots at the time of cutting the cutter, and n1 is the default number of shoots.
１ 移動ベース
２ フレーム
３ 支持ステージ
４ ボールねじ
５ ローラートラック
６ 軸受台
７ 回転モータ
８ 直流プッシャーモータ
９ レーザーレーダーセンサ
１０ サーモグラフィ
１１ カッター
３１ ベース
３２ 支持板
３３ 支持耳
３４ 移動ローラ
５１ 溝
REFERENCE SIGNS LIST 1 movement base 2 frame 3 support stage 4 ball screw 5 roller track 6 bearing stand 7 rotary motor 8 DC pusher motor 9 laser radar sensor 10 thermography 11 cutter 31 base 32 support plate 33 support ear 34 movement roller 51 groove
Claims (5)
Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る；
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する；
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する；
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。 A tea picking method based on image and point cloud data processing, characterized by comprising the following steps:
S1: Acquire a thermal image of the cutter and the crown of the tea tree by thermography, and obtain point cloud information of the cutter and the crown of the tea tree by laser radar scanning;
S2: Select a region of interest S from the captured thermal image of the canopy of the tea tree, and calculate the number of young shoots n within the region of interest S;
S3: Based on the obtained point group information of the cutter and the tea tree crown, obtain an approximate curve of the tea tree crown and calculate the distance d2 between the cutter and the tea tree crown;
S4: Judgment is made based on the number of young shoots n and the distance d2 between the cutter and the crown of the tea tree, the position of the cutter is further adjusted, and finally cut.
前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１であることを特徴とする請求項１に記載の画像および点群データ処理に基づく茶摘み方法。 The region of interest S is a rectangular region with a width equal to the length of the cutter and located directly in front of the cutter,
The image and point cloud data processing according to claim 1, wherein the region of interest S has a bottom straight line that is the projection of the cutter onto the tea tree, and a distance between the front straight line and the bottom straight line that is d1. Tea picking method based on.
カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする請求項３に記載の画像および点群データ処理に基づく茶摘み方法。 In step S4, when the cutter is above the canopy of the tea tree, d2 is a positive value, and the greater the distance, the greater the value;
Tea picking based on image and point cloud data processing according to claim 3, characterized in that when the cutter is under the tea tree canopy, d2 is a negative value, and the greater the distance, the smaller the value. Method.
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である；
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある；
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある；
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である；
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある；
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。 The tea picking method based on image and point cloud data processing according to any one of claims 1 to 4, characterized in that the specific criteria for the S4 step are as follows:
If n<n1 and d2>0, it indicates that the number of shoots n in the region of interest S is too low, and the cutter is above the shoots at this time, no cutting is needed at this time, and the cutter position no adjustment is required;
If n<n1 and d2<0, indicating that the number of shoots n in the region of interest S is too low, and at this time the cutter is below the shoots and the cutter position is lower, cut at this time. is unnecessary and needs to be adjusted to move up;
If n>n1 and d2<−r, indicating that the number of shoots n in the region of interest S is sufficient and the cutter is below the shoots at this time, but the cutter position is too low at this time; At this point a cut is required and the cutter position needs to be moved up;
If n>n1 and −r<d2<0, indicating that the number of shoots n in the region of interest S is sufficient, and the cutter is below the shoots at this time, the cutter position is appropriate; Cutting is required at this point, no adjustment of the cutter position is required;
If n>n1 and d2>0, then the number of shoots n in the region of interest S is sufficient, and at this time the cutter is above the shoots, indicating that the cutter position is too high, and at this time cutting is not possible. required and the cutter position needs to be adjusted downward;
where r is the theoretical difference to tea shoots at the time of cutting the cutter, and n1 is the default number of shoots.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111537896.3A CN114190166B (en) | 2021-12-15 | 2021-12-15 | Tea picking method based on image and point cloud data processing |
| CN202111537896.3 | 2021-12-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023088826A JP2023088826A (en) | 2023-06-27 |
| JP7309160B2 true JP7309160B2 (en) | 2023-07-18 |
Family
ID=80654158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022095024A Active JP7309160B2 (en) | 2021-12-15 | 2022-06-13 | Tea picking method based on image and point cloud data processing |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7309160B2 (en) |
| CN (1) | CN114190166B (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116058176A (en) * | 2022-11-29 | 2023-05-05 | 西北农林科技大学 | Fruit and vegetable picking mechanical arm control system based on double-phase combined positioning |
| CN117616999A (en) * | 2024-01-08 | 2024-03-01 | 华南农业大学 | Intelligent tea picking actuator, device and method |
| CN117616998A (en) * | 2024-01-08 | 2024-03-01 | 华南农业大学 | Intelligent tea bud picking actuator, device and method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000139164A (en) | 1998-11-05 | 2000-05-23 | Kawasaki Giken Kk | Picking of tea leaf |
| CN1620848A (en) | 2004-12-15 | 2005-06-01 | 西南交通大学 | Automatic tea plucker |
| CN202998870U (en) | 2013-01-18 | 2013-06-19 | 丽水学院 | Tea picking system |
| CN103999635A (en) | 2014-05-21 | 2014-08-27 | 浙江工业大学 | Intelligent automatic cutting type tea-leaf picker based on machine vision and working method |
| CN110178540A (en) | 2019-06-13 | 2019-08-30 | 西安邮电大学 | A kind of tea picking and working method based on image procossing |
| CN110188680A (en) | 2019-05-29 | 2019-08-30 | 南京林业大学 | Tea tree tender shoots intelligent identification Method based on factor iteration |
| CN111428712A (en) | 2020-03-19 | 2020-07-17 | 青岛农业大学 | Famous tea picking machine based on artificial intelligence recognition and recognition method for picking machine |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB253000A (en) * | 1925-12-01 | 1926-06-10 | Robert Vernon Yates | Improvements in tea harvesting machines |
| CN104063862B (en) * | 2014-06-18 | 2017-01-18 | 浙江工业大学 | Method for controlling cutting knife of tea-leaf picker based on visual inspection |
| CN112131982A (en) * | 2020-09-10 | 2020-12-25 | 安徽农业大学 | Tea tree tender shoot identification method based on convolutional neural network |
| CN113674226A (en) * | 2021-07-31 | 2021-11-19 | 河海大学 | Tea leaf picking machine tea leaf bud tip detection method based on deep learning |
| CN113592882B (en) * | 2021-08-09 | 2022-06-03 | 中国林业科学研究院资源信息研究所 | Crown extraction method based on multi-source remote sensing of unmanned aerial vehicle |
-
2021
- 2021-12-15 CN CN202111537896.3A patent/CN114190166B/en active Active
-
2022
- 2022-06-13 JP JP2022095024A patent/JP7309160B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000139164A (en) | 1998-11-05 | 2000-05-23 | Kawasaki Giken Kk | Picking of tea leaf |
| CN1620848A (en) | 2004-12-15 | 2005-06-01 | 西南交通大学 | Automatic tea plucker |
| CN202998870U (en) | 2013-01-18 | 2013-06-19 | 丽水学院 | Tea picking system |
| CN103999635A (en) | 2014-05-21 | 2014-08-27 | 浙江工业大学 | Intelligent automatic cutting type tea-leaf picker based on machine vision and working method |
| CN110188680A (en) | 2019-05-29 | 2019-08-30 | 南京林业大学 | Tea tree tender shoots intelligent identification Method based on factor iteration |
| CN110178540A (en) | 2019-06-13 | 2019-08-30 | 西安邮电大学 | A kind of tea picking and working method based on image procossing |
| CN111428712A (en) | 2020-03-19 | 2020-07-17 | 青岛农业大学 | Famous tea picking machine based on artificial intelligence recognition and recognition method for picking machine |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114190166A (en) | 2022-03-18 |
| JP2023088826A (en) | 2023-06-27 |
| CN114190166B (en) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7309160B2 (en) | Tea picking method based on image and point cloud data processing | |
| CN203191327U (en) | Printed circuit board (PCB) defect automatic detection device based on machine vision | |
| CN103444360A (en) | Intelligent tea leaf picking machine | |
| CN210604434U (en) | Online detection device for typical defects of curved glass of mobile phone | |
| CN114009214B (en) | Bionic tea-picking cutter, tea-picking device and tea-picking method | |
| CN108406887A (en) | A kind of strip garden stuff processing device and processing method based on image vision technology | |
| CN206122898U (en) | Automatic single -end laser cutting machine makes a video recording | |
| CN204450798U (en) | A kind of sheet material automatic processing device for having furniture made to order | |
| CN104526828A (en) | Automatic plate machining device for customizing furniture | |
| CN109220202B (en) | Famous tea picking machine and picking method thereof | |
| CN109197143B (en) | Intelligent double-arm tea picking machine for famous tea | |
| CN104626324B (en) | A kind of sheet material automatic processing method for having furniture made to order | |
| CN217193359U (en) | Laser cutting equipment supporting image recognition | |
| CN104842074A (en) | Laser engraving system with area-array camera | |
| CN204867817U (en) | Laser sculpture system with area array camera | |
| CN207264448U (en) | A kind of glass tape drift and the wide special vision detection system of plate | |
| CN110025029A (en) | Chicken fir root cutting device | |
| CN106027845A (en) | Scanner of stone slabs | |
| CN116778327A (en) | Real-time evaluation method for picking effect of bulk tea based on semantic segmentation | |
| CN210745352U (en) | Green plum single-angle image acquisition device | |
| CN211362463U (en) | Intelligent cutting device based on identification of head and tail of strip column-shaped fruit and vegetable | |
| CN110378901B (en) | Spherical flower and tree center measurement and pruning control method based on depth camera | |
| CN209478289U (en) | A kind of skin of beancurd shear | |
| CN114175887A (en) | Sugarcane bud segment segmentation method for multi-information fusion processing | |
| CN103327214A (en) | Portable intelligent document image collecting system and method based on computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7309160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |