JP6762629B2 - Field crop photography method and drone for photography - Google Patents
Field crop photography method and drone for photography Download PDFInfo
- Publication number
- JP6762629B2 JP6762629B2 JP2019570163A JP2019570163A JP6762629B2 JP 6762629 B2 JP6762629 B2 JP 6762629B2 JP 2019570163 A JP2019570163 A JP 2019570163A JP 2019570163 A JP2019570163 A JP 2019570163A JP 6762629 B2 JP6762629 B2 JP 6762629B2
- Authority
- JP
- Japan
- Prior art keywords
- crop
- exposure range
- flight mode
- altitude
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 210000005069 ears Anatomy 0.000 claims description 3
- 239000003814 drug Substances 0.000 description 21
- 229940079593 drug Drugs 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 241000196324 Embryophyta Species 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 241000209094 Oryza Species 0.000 description 8
- 235000007164 Oryza sativa Nutrition 0.000 description 8
- 235000009566 rice Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000012010 growth Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000009313 farming Methods 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241001466042 Fulgoromorpha Species 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009589 pathological growth Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/45—UAVs specially adapted for particular uses or applications for releasing liquids or powders in-flight, e.g. crop-dusting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
- B64U30/24—Coaxial rotors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
- B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
- B64U30/299—Rotor guards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/19—Propulsion using electrically powered motors
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Catching Or Destruction (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本願発明は、画像解析による圃場の作物生育状況把握のための作物の撮影方法、および、その撮影に適した無人飛行体（ドローン）に関する。 The present invention relates to a method for photographing a crop for grasping the growth state of a crop in a field by image analysis, and an unmanned aerial vehicle (drone) suitable for the photographing.
作物の生育状況を把握するためにドローン（無人飛行体、マルチコプター）等によって上空から圃場を撮影し、撮影した画像を解析する手法が知られている（たとえば、特許文献１）。圃場上を飛行するドローンを使用することで、衛星写真等を使用した場合と比較して精度が高い画像情報が得られるが、それでも正確な分析のために十分な情報が得られないという課題があった。 There is known a method of photographing a field from the sky with a drone (unmanned aerial vehicle, multicopter) or the like in order to grasp the growth state of a crop, and analyzing the photographed image (for example, Patent Document 1). By using a drone that flies over the field, image information with higher accuracy can be obtained compared to the case of using satellite photographs, but there is still the problem that sufficient information cannot be obtained for accurate analysis. there were.
たとえば、ウンカ等の作物の害虫は株元部分に発生することが多いが、上空からの撮影では株元部分を適切に撮影することは困難であった。同様に、株元に発生する病斑、および、水面に発生している雑草の撮影も困難であった。また、特に稲の場合には、風を受けた時の葉の形状の画像が得られればケイ素の蓄積量を把握でき、それに基づいて稲の育成度を推定し、肥料計画を最適化することが可能だが、上空からの撮影ではそれを適切に把握することが困難であった。 For example, pests of crops such as planthoppers often occur in the root part of the plant, but it was difficult to properly photograph the root part of the plant from the sky. Similarly, it was difficult to photograph the lesions on the root of the plant and the weeds on the surface of the water. Also, especially in the case of rice, if an image of the shape of the leaves when exposed to the wind is obtained, the amount of silicon accumulated can be grasped, and based on this, the degree of rice growth should be estimated and the fertilizer plan should be optimized. However, it was difficult to grasp it properly when shooting from the sky.
圃場の作物の株元、穂先、および、葉の側面を適切に撮影できるドローン（無人飛行体）を提供する。 Provided is a drone (unmanned aerial vehicle) capable of appropriately photographing the roots, tips, and sides of leaves of crops in the field.
本願発明は、カメラと回転翼と飛行制御手段とを備えた圃場撮影用の無人飛行体であって、前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元を前記カメラが撮影可能な高度と速度で、前記飛行制御手段が前記無人飛行体を飛行させる第一の飛行モードと、前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の穂先を前記カメラが撮影可能な高度と速度で、前記飛行制御手段が前記無人飛行体を飛行させる第二の飛行モードとを備える無人飛行体を提供することで上記課題を解決する。 The present invention is an unmanned flying object for field photography equipped with a camera, a rotary wing, and a flight control means, and the origin of the crop exposed by the downdraft generated by the rotary wing caused the crop to be knocked down. The first flight mode in which the flight control means flies the unmanned vehicle at an altitude and speed that can be photographed by the camera, and the crop exposed by being knocked down by the downdraft generated by the rotary blade. The above problem is solved by providing an unmanned flying object having a second flight mode in which the flight controlling means flies the unmanned flying object at an altitude and a speed at which the tip can be photographed by the camera.
また、本願発明は、前記第二の飛行モードにおける高度は前記第一の飛行モードにおける高度よりも高い段落０００６に記載の無人飛行体を提供することで上記課題を解決する。 The present invention also solves the above problems by providing the unmanned aerial vehicle according to paragraph 0006, wherein the altitude in the second flight mode is higher than the altitude in the first flight mode.
また、本願発明は、前記第二の飛行モードにおける高度が前記第一の飛行モードにおける高度と同一であり、前記第二の飛行モードにおける速度が前記第一の飛行モードにおける速度より速い、段落０００６に記載の無人飛行体を提供することで上記課題を解決する。 Further, in the present invention, the altitude in the second flight mode is the same as the altitude in the first flight mode, and the speed in the second flight mode is faster than the speed in the first flight mode. The above problem is solved by providing the unmanned aircraft described in.
また、本願発明は、さらに、前記作物の前記下降気流による露出範囲測定手段を備え、前記露出範囲測定手段が測定した前記作物の露出範囲に応じて、前記飛行制御手段が前記第一の飛行モードと前記第二の飛行モードとの切り替えを行なう段落０００６、段落０００７、または、段落０００８に記載の無人飛行体を提供することで上記課題を解決する。 Further, the present invention further includes the exposure range measuring means by the downdraft of the crop, and the flight control means is the first flight mode according to the exposure range of the crop measured by the exposure range measuring means. The above problem is solved by providing the unmanned air vehicle according to paragraph 0006, paragraph 0007, or paragraph 0008 that switches between the above and the second flight mode.
また、本願発明は、前記露出範囲測定手段は倒された作物の葉の曲率を測定することで、作物の露出範囲を測定する段落０００９に記載の無人飛行体を提供することで上記課題を解決する。 Further, the present invention solves the above problem by providing the unmanned flying object according to paragraph 0009, wherein the exposure range measuring means measures the curvature of a leaf of a fallen crop to measure the exposure range of the crop. To do.
また、本願発明は、前記露出範囲測定手段は、倒された作物の画像の色相、明度、または、彩度によって作物の露出範囲を測定する段落０００９に記載の無人飛行体を提供することで上記課題を解決する。 Further, according to the present invention, the exposure range measuring means provides the unmanned flying object according to paragraph 0009, which measures the exposure range of the crop by the hue, brightness, or saturation of the image of the collapsed crop. Solve the problem.
また、本願発明は、さらに、第三の飛行モードを備え、前記第三の飛行モードにおける下降気流は前記第二の飛行モードにおける下降気流よりも弱く、前記カメラが撮影を行なっていない時には、前記飛行制御手段が自動的に前記第三の飛行モードへの切り替えを行なう段落０００６、段落０００７、段落０００８、段落０００９、段落００１０、または、段落００１１に記載の無人飛行体を提供することで上記課題を解決する。 Further, the present invention further includes a third flight mode, and the downdraft in the third flight mode is weaker than the downdraft in the second flight mode, and when the camera is not taking a picture, the said The above-mentioned object by providing the unmanned flying object according to paragraph 0006, paragraph 0007, paragraph 0008, paragraph 0009, paragraph 0010, or paragraph 0011 in which the flight control means automatically switches to the third flight mode. To solve.
また、本願発明は、前記第三の飛行モードにおける高度は前記第二の飛行モードにおける高度よりも高い段落００１２に記載の無人飛行体を提供することで上記課題を解決する。 The present invention also solves the above problems by providing the unmanned aerial vehicle according to paragraph 0012, wherein the altitude in the third flight mode is higher than the altitude in the second flight mode.
また、本願発明は、前記第三の飛行モードにおける高度が前記第二の飛行モードにおける高度と同一であり、前記第三の飛行モードにおける速度が前記第二の飛行モードにおける速度より速い、段落００１２に記載の無人飛行体を提供することで上記課題を解決する。 Further, in the present invention, the altitude in the third flight mode is the same as the altitude in the second flight mode, and the speed in the third flight mode is faster than the speed in the second flight mode, paragraph 0012. The above problem is solved by providing the unmanned aircraft described in.
また、本願発明は、圃場の作物の株元、葉の側面、または穂先の撮影方法であって、カメラと回転翼とを備えた圃場撮影用の無人飛行体を使用し、前記カメラに前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元、葉の側面、または穂先を撮影させるステップを含む方法を提供することで上記課題を解決する。 Further, the present invention is a method of photographing the root of a crop in a field, the side surface of a leaf, or the tip of an ear, using an unmanned flying object for field photography provided with a camera and a rotor, and the rotation of the camera. The above problem is solved by providing a method including a step of photographing the root, the side surface of the leaf, or the tip of the crop exposed by the downdraft generated by the wing.
また、本願発明は、さらに、作物の露出範囲を測定するステップと、前記測定された露出範囲に応じて、機体の高度または速度を調整するステップとを含む段落００１５に記載の方法を提供することで上記課題を解決する。 The present invention also provides the method described in paragraph 0015, further including a step of measuring the exposure range of the crop and a step of adjusting the altitude or speed of the airframe according to the measured exposure range. To solve the above problem.
また、本願発明は、前記作物の露出範囲を測定するステップは、倒された作物の葉の曲率を測定するステップを含む段落００１６に記載の方法を提供することで上記課題を解決する。 The present invention also solves the above problem by providing the method described in paragraph 0016, wherein the step of measuring the exposure range of the crop comprises the step of measuring the curvature of the leaves of the fallen crop.
また、本願発明は、前記作物の露出範囲を測定するステップは、倒された作物の画像の色相、明度、または、彩度によって作物の露出範囲を測定するステップを含む段落００１６に記載の方法を提供することで上記課題を解決する。 Further, in the present invention, the method described in paragraph 0016, wherein the step of measuring the exposure range of the crop includes a step of measuring the exposure range of the crop by the hue, brightness, or saturation of the image of the collapsed crop. By providing it, the above problems will be solved.
また、本願発明は、カメラと回転翼とを備えた圃場撮影用の無人飛行体に圃場の作物の株元、葉の側面、または穂を撮影させるプログラムであって、前記カメラに前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元、葉の側面、または穂先を撮影させる命令群をコンピューターに実行させるプログラムを提供することで上記課題を解決する。 Further, the present invention is a program in which an unmanned flying object for field photography equipped with a camera and a rotor is used to photograph the root of a crop in the field, the side surface of a leaf, or an ear, and the camera is equipped with the rotor. The above problem is solved by providing a program that causes a computer to execute a group of commands for photographing the root, the side surface of a leaf, or the tip of the crop exposed by the downdraft of the crop generated by the downdraft.
また、本願発明は、さらに、作物の露出範囲を測定する命令群と、前記測定された露出範囲に応じて機体の高度または速度を調整する命令群とをコンピューターに実行させる段落００１９に記載のプログラムを提供することで上記課題を解決する。 Further, the present invention further describes the program according to paragraph 0019, which causes a computer to execute a group of instructions for measuring an exposure range of a crop and a group of instructions for adjusting the altitude or speed of an airframe according to the measured exposure range. The above problem is solved by providing.
また、本願発明は、前記作物の露出範囲を測定する命令群は、倒された作物の葉の曲率を測定する命令群を含む段落００２０に記載のプログラムを提供することで上記課題を解決する。 The present invention also solves the above problem by providing the program described in paragraph 0020, wherein the instruction group for measuring the exposure range of the crop includes the instruction group for measuring the curvature of the leaves of the fallen crop.
また、本願発明は、前記作物の露出範囲を測定する命令群は、倒された作物の画像の色相、明度、または、彩度によって作物の露出範囲を測定する命令群を含む段落００２０に記載のプログラムを提供することで上記課題を解決する。 Further, in the present invention, the instruction group for measuring the exposure range of the crop includes the instruction group for measuring the exposure range of the crop by the hue, lightness, or saturation of the image of the collapsed crop. The above problem is solved by providing a program.
圃場の作物の株元、穂先、および、葉の側面を適切に撮影できるドローン（無人飛行体）が提供される。 A drone (unmanned aerial vehicle) that can properly photograph the roots, tips, and sides of leaves of crops in the field is provided.
以下、図を参照しながら、本願発明を実施するための形態について説明する。図はすべて例示である。 Hereinafter, modes for carrying out the present invention will be described with reference to the drawings. All figures are illustrations.
図１に本願発明に係るドローン（100）の実施例の平面図を、図２にその底面図を、図３−ａにその（進行方向側から見た）正面図、図３−ｂにその右側面図、図３−ｃに斜視図を示す。なお、本願明細書において、ドローンとは、動力手段（電力、原動機等）、操縦方式（無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等）を問わず、複数の回転翼または飛行手段を有する飛行体全般を指すものとする。 1 is a plan view of an embodiment of the drone (100) according to the present invention, FIG. 2 is a bottom view thereof, FIG. 3-a is a front view thereof (viewed from the traveling direction side), and FIG. 3-b is a view thereof. A perspective view is shown in the right side view and FIG. 3-c. In the specification of the present application, the drone may be a power means (electric power, prime mover, etc.) and a maneuvering method (wireless or wired, autonomous flight type, manual maneuvering type, etc.). However, it shall refer to all aircraft having multiple rotors or means of flight.
回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）（ローターとも呼ばれる）は、ドローン（100）を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリー消費量のバランスを考慮し、8機（2段構成の回転翼が4セット）備えられていることが望ましい。 Rotors (101-1a, 101-1b, 101-2a, 101-2b, 101-3a, 101-3b, 101-4a, 101-4b) (also known as rotors) are used to fly the drone (100). It is desirable to have eight aircraft (four sets of two-stage rotor blades) in consideration of the balance between flight stability, aircraft size, and battery consumption.
モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4ａ、102-4b）は、回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）を回転させる手段（典型的には電動機だが発動機等であってもよい）であり、一つの回転翼に対して1機設けられていることが望ましい。１セット内の上下の回転翼（たとえば、101-1aと101-1b）、および、それらに対応するモーター（たとえば、102-1aと102-1b）は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転することが望ましい。 The motors (102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 102-4a, 102-4b) have rotor blades (101-1a, 101-1b, 101-2a). , 101-2b, 101-3a, 101-3b, 101-4a, 101-4b), which is a means (typically an electric motor, but may be a motor, etc.) for one rotor. It is desirable that one machine is installed. The upper and lower rotors (eg, 101-1a and 101-1b) in one set, and the corresponding motors (eg, 102-1a and 102-1b), are used for drone flight stability, etc. It is desirable that the axes are on the same straight line and rotate in opposite directions.
薬剤ノズル（103-1、103-2、103-3、103-4）は、薬剤を下方に向けて散布するための手段であり4機備えられていることが望ましい。薬剤タンク（104）は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン（100）の重心に近い位置でかつ重心より低い位置に設けられていることが望ましい。薬剤ホース（105-1、105-2、105-3、105-4）は、薬剤タンク（104）と各薬剤ノズル（103-1、103-2、103-3、103-4）とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ（106）は、薬剤をノズルから吐出するための手段である。 The drug nozzles (103-1, 103-2, 103-3, 103-4) are means for spraying the drug downward, and it is desirable that four drug nozzles are provided. The medicine tank (104) is a tank for storing the medicine to be sprayed, and it is desirable that the medicine tank (104) is provided at a position close to the center of gravity of the drone (100) and at a position lower than the center of gravity from the viewpoint of weight balance. The drug hose (105-1, 105-2, 1053, 105-4) connects the drug tank (104) and each drug nozzle (103-1, 103-2, 103-3, 103-4). It is made of a hard material and may also serve to support the drug nozzle. The pump (106) is a means for discharging the drug from the nozzle.
圃場撮影カメラ（107）は、ドローン（100）から圃場（農地）を撮影するためのカメラであり、機体の進行方向に対して後方にある圃場を撮影する向きに設置されていることが望ましい。また、圃場撮影カメラ（107）と機体の角度はステッピングモーター等の手段により可変となっていることが望ましい。 The field photography camera (107) is a camera for taking a picture of the field (farmland) from the drone (100), and it is desirable that the camera is installed so as to take a picture of the field behind the traveling direction of the aircraft. Further, it is desirable that the angle between the field photographing camera (107) and the machine body is variable by means such as a stepping motor.
図４に本願発明に係るドローン（100）を使用した圃場撮影用システムの実施例の全体概念図を示す。本図は模式図であって、縮尺は正確ではない。操縦器（401）は、使用者（402）の操作によりドローン（100）に指令を送信し、また、ドローン（100）から受信した情報（たとえば、位置、薬剤量、電池残量、圃場撮影カメラ映像等）を表示するための手段であり、コンピューター・プログラムを稼働する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本願発明に係るドローン（100）は自律飛行を行なうよう制御されることが望ましいが、離陸や帰還などの基本操作時、および、緊急時にはマニュアル操作が行なえるようになっていることが望ましい。操縦器（401）とドローン（100）はWi-Fi等による無線通信を行なうことが望ましい。 FIG. 4 shows an overall conceptual diagram of an embodiment of a field photography system using the drone (100) according to the present invention. This figure is a schematic diagram, and the scale is not accurate. The pilot (401) sends a command to the drone (100) by the operation of the user (402), and the information received from the drone (100) (for example, position, amount of drug, battery level, field photography camera). It is a means for displaying an image, etc.), and may be realized by a portable information device such as a general tablet terminal that runs a computer program. The drone (100) according to the present invention is preferably controlled to perform autonomous flight, but it is desirable that it can be manually operated during basic operations such as takeoff and return, and in an emergency. It is desirable that the pilot (401) and drone (100) perform wireless communication via Wi-Fi or the like.
圃場（403）は、ドローン（100）による撮影の対象となる田圃や畑等である。実際には、圃場（403）の地形は複雑であり、事前に地形図が入手できない場合、あるいは、地形図と現場の状況が食い違っている場合がある。通常、圃場（403）は家屋、病院、学校、他作物圃場、道路、鉄道等と隣接している。また、圃場（403）内に、建築物や電線等の障害物が存在する場合もある。 The field (403) is a rice field, a field, or the like to be photographed by the drone (100). In reality, the topography of the field (403) is complicated, and the topographic map may not be available in advance, or the topographic map and the situation at the site may be inconsistent. Normally, the field (403) is adjacent to houses, hospitals, schools, other crop fields, roads, railroads, and the like. In addition, there may be obstacles such as buildings and electric wires in the field (403).
基地局（404）は、Wi-Fi通信の親機機能等を提供する装置であり、RTK-GPS基地局としても機能し、ドローン（100）の正確な位置を提供できるようにすることが望ましい（Wi-Fi通信の親機機能とRTK-GPS基地局が独立した装置であってもよい）。営農クラウド（405）は、典型的にはクラウドサービス上で運営されているコンピューター群と関連ソフトウェアであり、操縦器（401）と携帯電話回線等で無線接続されていることが望ましい。営農クラウド（405）は、ドローン（100）が撮影した圃場（403）の画像を分析し、作物の生育状況を把握して、飛行ルートを決定するための処理を行なってよい。また、保存していた圃場（403）の地形情報等をドローン（100）に提供してよい。加えて、ドローン（100）の飛行および撮影映像の履歴を蓄積し、様々な分析処理を行なってもよい。 The base station (404) is a device that provides a master unit function for Wi-Fi communication, and it is desirable that it also functions as an RTK-GPS base station so that it can provide the accurate position of the drone (100). (The base unit function of Wi-Fi communication and the RTK-GPS base station may be independent devices). The farming cloud (405) is typically a group of computers and related software operated on a cloud service, and it is desirable that the farming cloud (405) is wirelessly connected to the controller (401) by a mobile phone line or the like. The farming cloud (405) may analyze the image of the field (403) taken by the drone (100), grasp the growing condition of the crop, and perform a process for determining the flight route. In addition, the topographical information of the stored field (403) may be provided to the drone (100). In addition, the history of the flight and captured images of the drone (100) may be accumulated and various analysis processes may be performed.
通常、ドローン（100）は圃場（403）の外部にある発着地点（406）から離陸し、圃場（403）に薬剤を散布した後に、あるいは、薬剤補充や充電等が必要になった時に発着地点（406）に帰還する。発着地点（406）から目的の圃場（403）に至るまでの飛行経路（侵入経路）は、営農クラウド（405）等で事前に保存されていてもよいし、使用者（402）が離陸開始前に入力してもよい。 Normally, the drone (100) takes off from the departure / arrival point (406) outside the field (403), sprays the chemicals on the field (403), or when it becomes necessary to replenish or charge the chemicals. Return to (406). The flight route (invasion route) from the departure / arrival point (406) to the target field (403) may be stored in advance in a farming cloud (405) or the like, or before the user (402) starts takeoff. You may enter in.
図５に本願発明に係る薬剤散布用ドローンの実施例の制御機能を表した模式図を示す。フライトコントローラー（501）は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリー、関連ソフトウェア等を含む組み込み型コンピューターであってよい。フライトコントローラー（501）は、操縦器（401）から受信した入力情報、および、後述の各種センサーから得た入力情報に基づき、ESC（Electronic Speed Control）等の制御手段を介して、モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の回転数を制御することで、ドローン（100）の飛行を制御する。モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の実際の回転数はフライトコントローラー（501）にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼（101）に光学センサー等を設けて回転翼（101）の回転がフライトコントローラー（501）にフィードバックされる構成でもよい。 FIG. 5 shows a schematic diagram showing a control function of an embodiment of the drug spraying drone according to the present invention. The flight controller (501) is a component that controls the entire drone, and may be an embedded computer including a CPU, memory, related software, and the like. The flight controller (501) uses a control means such as ESC (Electronic Speed Control) based on the input information received from the pilot (401) and the input information obtained from various sensors described later, and the motor (102-). The flight of the drone (100) is controlled by controlling the number of revolutions of 1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b). The actual rotation speed of the motors (102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b) is fed back to the flight controller (501) and is normal. It is configured so that it can monitor whether or not the rotation is being performed. Alternatively, the rotary blade (101) may be provided with an optical sensor or the like so that the rotation of the rotary blade (101) is fed back to the flight controller (501).
フライトコントローラー（501）が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっていることが望ましい。また、フライトコントローラー（501）が制御に使用する計算処理の一部が、操縦器（401）上、または、営農支援クラウド（405）上や他の場所に存在する別のコンピューターによって実行されてもよい。フライトコントローラー（501）は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。 It is desirable that the software used by the flight controller (501) be rewritable through a storage medium or the like for function expansion / change, problem correction, etc., or through communication means such as Wi-Fi communication or USB. Also, some of the calculations used by the flight controller (501) for control may be performed by another computer located on the pilot (401), on the farming support cloud (405), or elsewhere. Good. Due to the high importance of the flight controller (501), some or all of its components may be duplicated.
バッテリー（502）は、フライトコントローラー（501）、および、ドローンのその他の構成要素に電力を供給する手段であり、例えば充電式である。バッテリー（502）はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してフライトコントローラー（501）に接続されている。バッテリー（502）は電力供給機能に加えて、その内部状態（蓄電量、積算使用時間等）をフライトコントローラー（501）に伝達する機能を有するスマートバッテリーであってもよい。 The battery (502) is a means of powering the flight controller (501) and other components of the drone, eg, rechargeable. The battery (502) is connected to the flight controller (501) via a fuse or a power supply unit including a circuit breaker or the like. The battery (502) may be a smart battery having a function of transmitting its internal state (storage amount, total usage time, etc.) to the flight controller (501) in addition to the power supply function.
フライトコントローラー（501）は、Wi-Fi子機機能（503）を介して、さらに、基地局（404）を介して操縦器（401）とやり取りを行ない、必要な指令を操縦器（401）から受信すると共に、必要な情報を操縦器（401）に送信できる。基地局（404）は、Wi-Fiによる通信機能に加えて、RTK-GPS基地局の機能も備えていてもよい。RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール（504）により、ドローン（100）の絶対位置を数センチメートル程度の精度で測定可能となる。GPSモジュール（504）は重要性が高いため、二重化・多重化しており、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール（504）は別の衛星を使用するよう制御されている。 The flight controller (501) communicates with the pilot (401) via the Wi-Fi slave unit function (503) and further via the base station (404), and issues necessary commands from the pilot (401). At the same time as receiving, the necessary information can be transmitted to the controller (401). The base station (404) may also have an RTK-GPS base station function in addition to the Wi-Fi communication function. By combining the signal from the RTK base station and the signal from the GPS positioning satellite, the GPS module (504) can measure the absolute position of the drone (100) with an accuracy of several centimeters. Since the GPS module (504) is so important, it is duplicated and multiplexed, and each redundant GPS module (504) uses a different satellite to cope with the failure of a specific GPS satellite. Is controlled.
６軸ジャイロセンサー（505）はドローン機体の互いに直交する３方向の加速度を測定する手段（さらに、加速度の積分により速度を計算する手段）である。また、６軸ジャイロセンサー（505）は、上述の３方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサー（506）は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサー（507）は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザーセンサー（508）は、レーザー光の反射を利用してドローン機体と地表との距離を測定する手段であり、例えばIR（赤外線）レーザーを使用してよい。ソナー（509）は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサー類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサー（角速度センサー）、風力を測定するための風力センサーなどが追加されていてもよい。また、これらのセンサー類は二重化または多重化されていることが望ましい。 The 6-axis gyro sensor (505) is a means for measuring the acceleration of the drone aircraft in three directions orthogonal to each other (further, a means for calculating the velocity by integrating the acceleration). Further, the 6-axis gyro sensor (505) is a means for measuring the change in the attitude angle of the drone aircraft in the above-mentioned three directions, that is, the angular velocity. The geomagnetic sensor (506) is a means for measuring the direction of the drone body by measuring the geomagnetism. The barometric pressure sensor (507) is a means for measuring barometric pressure, and can also indirectly measure the altitude of the drone. The laser sensor (508) is a means for measuring the distance between the drone aircraft and the ground surface by utilizing the reflection of the laser beam, and for example, an IR (infrared) laser may be used. Sonar (509) is a means for measuring the distance between a drone aircraft and the surface of the earth by utilizing the reflection of sound waves such as ultrasonic waves. These sensors may be selected according to the cost target and performance requirements of the drone. In addition, a gyro sensor (angular velocity sensor) for measuring the inclination of the aircraft, a wind power sensor for measuring wind power, and the like may be added. Further, it is desirable that these sensors are duplicated or multiplexed.
流量センサー（510）は薬剤の流量を測定するための手段であり、薬剤タンク（104）から薬剤ノズル（103）に至る経路の複数の場所に設けられている。液切れセンサー（511）は薬剤の量が所定の量以下になったことを検知するセンサーである。圃場撮影カメラ（107）は圃場(403)を撮影し、画像分析を行なうためのデータを取得する手段であり、マルチスペクトルカメラであることが望ましい。障害物検知カメラ（513）はドローン障害物を検知するためのカメラであり、画像特性とレンズの向きが圃場撮影カメラ（107）とは異なるため、圃場撮影カメラ（106）とは別の機器であることが望ましい。スイッチ（514）はドローン（100）の使用者（402）が様々な設定を行なうための手段である。障害物接触センサー（515）はドローン（100）、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサーである。カバーセンサー（516）は、ドローン（100）の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサーである。薬剤注入口センサー（517）は薬剤タンク（104）の注入口が開放状態であることを検知するセンサーである。これらのセンサー類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。 The flow rate sensor (510) is a means for measuring the flow rate of the drug, and is provided at a plurality of locations on the path from the drug tank (104) to the drug nozzle (103). The liquid drainage sensor (511) is a sensor that detects that the amount of the drug has fallen below a predetermined amount. The field photography camera (107) is a means for photographing the field (403) and acquiring data for performing image analysis, and is preferably a multispectral camera. The obstacle detection camera (513) is a camera for detecting drone obstacles, and since the image characteristics and the orientation of the lens are different from those of the field photography camera (107), it is a device different from the field photography camera (106). It is desirable to have. The switch (514) is a means for the user (402) of the drone (100) to make various settings. The obstacle contact sensor (515) detects that the drone (100), in particular its rotor or propeller guard, has come into contact with an obstacle such as an electric wire, building, human body, standing tree, bird, or other drone. It is a sensor of. The cover sensor (516) is a sensor that detects that the operation panel of the drone (100) and the cover for internal maintenance are in the open state. The drug inlet sensor (517) is a sensor that detects that the inlet of the drug tank (104) is in an open state. These sensors may be selected according to the cost target and performance requirements of the drone, and may be duplicated or multiplexed.
フライトコントローラー（501）はポンプ（106）に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ（106）の現時点の状況（たとえば、回転数等）は、フライトコントローラー（501）にフィードバックされる構成となっていることが望ましい。 The flight controller (501) transmits a control signal to the pump (106) to adjust the drug discharge amount and stop the drug discharge. It is desirable that the current status of the pump (106) (for example, the number of revolutions) is fed back to the flight controller (501).
LED（517）は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー（518）は、音声信号によりドローンの状態（特にエラー状態）を知らせるための出力手段である。Wi-Fi子機機能（519）は操縦器（401）とは別に、たとえば、ソフトウェアの転送などのために外部のコンピューター等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth（登録商標）、ZigBee（登録商標）、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカー（520）は、録音した人声や合成音声等により、ドローンの状態（特にエラー状態）を知らせる出力手段である。天候状態によっては飛行中のドローン（100）の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯（521）はドローンの状態（特にエラー状態）を知らせるストロボライト等の表示手段である。これらの入出力手段は、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。 The LED (517) is a display means for informing the drone operator of the state of the drone. Display means such as a liquid crystal display may be used in place of or in addition to the LED. The buzzer (518) is an output means for notifying the state of the drone (particularly the error state) by an audio signal. The Wi-Fi slave unit function (519) is an optional component for communicating with an external computer or the like for transferring software, for example, apart from the control unit (401). In place of or in addition to the Wi-Fi slave function, other wireless communication means such as infrared communication, Bluetooth (registered trademark), ZigBee (registered trademark), NFC, or wired communication means such as USB connection You may use it. The speaker (520) is an output means for notifying the state of the drone (particularly the error state) by means of recorded human voice, synthetic voice, or the like. Depending on the weather conditions, it may be difficult to see the visual display of the drone (100) in flight. In such cases, voice communication is effective. The warning light (521) is a display means such as a strobe light for notifying the state of the drone (particularly the error state). These input / output means may be selected according to the cost target and performance requirements of the drone, and may be duplicated / multiplexed.
本願発明に係るドローン（100）は、圃場の作物の株元部分の撮影に適した株元撮影モード、圃場の作物の穂先部分の撮影に適した穂先撮影モード、または、その両方を備えることが望ましい。株元部分の撮影は、1株当たりの分蘖（出穂の数）の測定、１株当たりの総収穫量の推定、および、根本付近の病理診断や生育診断等に有効であり、穂先部分の撮影は、単位穂数当たりの収穫量、および、葉先付近の病理診断等に有効であることから、単に上空から作物全体を撮影する場合と比較して画像分析の価値を大幅に向上することができる。 The drone (100) according to the present invention may be provided with a stock root photographing mode suitable for photographing a stock root portion of a crop in a field, a tip photographing mode suitable for photographing a tip portion of a crop in a field, or both. desirable. The image of the root part is effective for measuring the number of crops per plant (number of heads), estimating the total yield per plant, and for pathological diagnosis and growth diagnosis near the root. Is effective for the yield per unit number of ears and pathological diagnosis near the tip of the leaf, so it is possible to greatly improve the value of image analysis compared to the case of simply photographing the entire crop from the sky. it can.
特に稲の場合、出穂後から分蘖が終わるまでの時期は、株元撮影と穂先撮影の両方を行なうことが望ましい。穂丈が十分長くなった後は、穂先撮影を頻繁に行ないつつ、定期的には株元撮影を実施し病理生育診断を行なうべきである。収穫が近づいた時期には穂先撮影を中心に行なう必要がある。したがって、本願発明に係るドローン（100）は、ユーザーの指令により、または、自動で株元撮影モードと穂先撮影モードを切り替えられることが望ましい。 Especially in the case of rice, it is desirable to take both the root photography and the tip photography during the period from the heading to the end of tillering. After the ear length is sufficiently long, the tip of the ear should be photographed frequently, and the root of the plant should be photographed regularly to diagnose the pathological growth. When the harvest is approaching, it is necessary to focus on the tip photography. Therefore, it is desirable that the drone (100) according to the present invention can switch between the stock root shooting mode and the tip shooting mode automatically or by a user's command.
図６に本願発明に係る圃場撮影用ドローンの実施例による撮影モードの基本的考え方を示す（本図は概念図であり、縮尺は正確ではない）。一般的にドローン（100）では、回転翼による気流（601）は機体の進行方向の後ろ方向に流れる。回転翼による気流は圃場の作物を一時的になぎ倒す効果を生じさせる。ドローンの回転翼が作り出す気流の影響を最も受ける作物はドローンの進行方向に対して後方であって、俯角約60度の方向にあることが発明者の実験により明らかになっているため、圃場撮影カメラ（107）をこの方向が撮影可能な位置に設置することが望ましい。これに対して、仮にカメラがドローンの直下方向しか撮影できない設計であると、葉の株元や側面の撮影のためにドローンをきわめて低速で移動させる、あるいは、ホバリング状態で撮影を行なう等の手順が必要となり、効率的な撮影を行なうことは不可能になってしまう。 FIG. 6 shows the basic concept of the photographing mode according to the embodiment of the field photography drone according to the present invention (this figure is a conceptual diagram, and the scale is not accurate). Generally, in a drone (100), the airflow (601) from the rotors flows backward in the direction of travel of the aircraft. The airflow from the rotor creates the effect of temporarily knocking down crops in the field. Field photography because the inventor's experiments have shown that the crops most affected by the airflow created by the drone's rotors are behind the drone's direction of travel, with a depression angle of approximately 60 degrees. It is desirable to install the camera (107) in a position where this direction can be taken. On the other hand, if the camera is designed so that it can only shoot in the direction directly below the drone, the procedure is to move the drone at an extremely low speed to shoot the roots and sides of the leaves, or to shoot in a hovering state. Is required, and efficient shooting becomes impossible.
図６-aは株元撮影モードを表わす。ドローン（100）の進行方向の後方に、下降気流によって生じた作物（602）の株元部分、および、葉の側面が上空に対して露出した領域（604）を圃場撮影カメラ（107）によって選択的に撮影する、あるいは、この領域より広い領域を撮影して画像処理により求める領域（604）を抽出することにより、作物の株元、および、葉の側面の画像を取得可能である。葉の側面が上空に対して露出した領域（604）の画像はそれ以外の領域と比較して明度や彩度が大きく異なるため画像処理による抽出は容易である。加えて、風を受けた時の作物の葉の湾曲形状から葉の厚みや硬度が推定できる。 FIG. 6-a shows the stock source shooting mode. Behind the direction of travel of the drone (100), the root portion of the crop (602) generated by the downdraft and the area (604) where the side surfaces of the leaves are exposed to the sky are selected by the field camera (107). It is possible to obtain an image of the root of the crop and the side surface of the leaf by photographing the area (604) obtained by image processing by photographing a region wider than this region. Since the image of the region (604) where the side surface of the leaf is exposed to the sky is significantly different in brightness and saturation as compared with the other regions, it is easy to extract by image processing. In addition, the thickness and hardness of the leaves can be estimated from the curved shape of the leaves of the crop when exposed to the wind.
図６-ｂは穂先撮影モードを表わす。基本的な考え方は、株元撮影モードと同様であるが、株元撮影モードの場合よりもドローン（100）の高度を高めて、作物（602）に向かう下降気流（601）の影響を弱めることで、作物（602）の穂先部分が上空に対して露出した領域（605）を創ることができ、株元撮影モードの場合と同様に、穂先部分のみの画像を効果的に取得することができる。 FIG. 6-b shows the tip shooting mode. The basic idea is the same as in the stock photography mode, but the altitude of the drone (100) should be higher than in the stock photography mode to reduce the influence of the downdraft (601) toward the crop (602). Therefore, it is possible to create an area (605) in which the tip portion of the crop (602) is exposed to the sky, and it is possible to effectively acquire an image of only the tip portion as in the case of the stock root shooting mode. ..
図６-cは通常移動モードを表わす。通常移動モードは、穂先撮影モードよりも、さらに高度を高めるため、作物（602）を倒す効果は小さい。株元や穂先の撮影を行なわない場合には、下降流による倒伏や稲穂へのダメージを最小化するために、ドローン（100）を通常移動モードで飛行させることが望ましい。また、撮影中のバッテリー切れの交換等に伴う飛行の中断・再開の際の移動も同様に通常移動モードとすることが望ましい。この場合には、フライトコントローラー（501）に搭載されたプログラム等により、自動的に通常移動モードへの切り替え、および、株元撮影モード、または、穂先撮影モードへの復帰を行なうことが望ましい。 FIG. 6-c shows the normal movement mode. Since the normal movement mode raises the altitude even higher than the tip shooting mode, the effect of defeating the crop (602) is small. It is desirable to fly the drone (100) in normal movement mode in order to minimize the lodging and damage to the rice ears due to the downward flow when the stock root and the tip of the ear are not photographed. In addition, it is desirable to set the normal movement mode for the movement when the flight is interrupted / resumed due to the replacement of the dead battery during shooting. In this case, it is desirable to automatically switch to the normal movement mode and return to the stock source shooting mode or the tip shooting mode by a program or the like mounted on the flight controller (501).
図６の各モードの切り替えは、ドローン（100）の高度を制御することによって行なうことが望ましい。株元撮影モード時の高度は地面からおよそ0.9メートル、あるいは、穂先から0.1メートルとし、穂先撮影モード時の高度は地面から1.1メートルから2.0メートル、あるいは、穂先から0.3メートルから1.2メートル、通常移動モード時の高度は2メートルから2.5メートル、あるいは、穂先から1.2メートルから1.7メートルとなるようにドローン（100）を制御することが望ましいことが発明者の実験により明らかになっている。この高度制御は、フライトコントローラー（501）に搭載されたプログラム等により自動的に行なうことが望ましい。 It is desirable to switch each mode in FIG. 6 by controlling the altitude of the drone (100). The altitude in the stock shooting mode is about 0.9 meters from the ground or 0.1 meters from the tip, and the altitude in the tip shooting mode is 1.1 to 2.0 meters from the ground or 0.3 to 1.2 meters from the tip, normal movement mode. Experiments by the inventor have shown that it is desirable to control the drone (100) so that the altitude of the hour is 2 to 2.5 meters, or 1.2 to 1.7 meters from the tip of the ear. It is desirable that this altitude control be automatically performed by a program or the like mounted on the flight controller (501).
ドローン（100）の高度の調整に代えて、または、ドローン（100）の高度の調整に合わせて飛行速度の変化により撮影モードを切り替えるようにしてもよい。ドローン（100）は進行方向に向けて機体を傾けることで飛行するため、飛行速度を下げるにより下降気流が機体の真下に向かうことになり、作物を倒す効果が増す。したがって、穂先撮影モードでの飛行速度を株元撮影モードでの速度より速め、通常飛行モードでの飛行速度を穂先撮影モードでの飛行速度より速めてもよい。たとえば、ドローン（100）の高度を対地2メートルで固定した場合に、速度を株元撮影モードでは時速約7キロメートルに、穂先撮影モードでは時速約20キロメートル、通常飛行モードでは時速約27キロメートルになるように制御することが望ましいことが発明者の実験により明らかになっている。 Instead of adjusting the altitude of the drone (100), or by changing the flight speed according to the adjustment of the altitude of the drone (100), the shooting mode may be switched. Since the drone (100) flies by tilting the aircraft in the direction of travel, lowering the flight speed causes the downdraft to go directly under the aircraft, increasing the effect of defeating crops. Therefore, the flight speed in the tip shooting mode may be faster than the speed in the stock source shooting mode, and the flight speed in the normal flight mode may be faster than the flight speed in the tip shooting mode. For example, if the altitude of the drone (100) is fixed at 2 meters above the ground, the speed will be about 7 km / h in the stock shooting mode, about 20 km / h in the tip shooting mode, and about 27 km / h in the normal flight mode. It has been clarified by the inventor's experiment that it is desirable to control such a method.
上記の各モードの高度や速度の数値は例示であり、作物の種類やドローン（100）が採用するテクノロジの変化に合わせて調整できることが望ましい。各撮影モードの目標高度と速度を事前に設定しておき、ユーザーが撮影モードの切り替えを指示するだけで、フライトコントローラー（501）に搭載されたプログラム等により制御を自動的に行なえるようにすることが望ましい。 The altitude and speed numbers for each of the above modes are examples, and it is desirable to be able to adjust them according to the type of crop and the technology adopted by the drone (100). The target altitude and speed of each shooting mode are set in advance, and the user can simply instruct to switch the shooting mode so that the control can be automatically performed by the program installed in the flight controller (501). Is desirable.
株元を効果的に撮影できるカメラの向きは移動速度に依存して変わるためドローン（100）の速度センサーにより、圃場撮影カメラ（107）の撮影方向をステッピングモーター等により可変として、移動速度に合わせて調整可能としてもよい。加えて、一時的になぎ倒される作物のドローン機体に対する相対位置は、風力と風向の影響を受けるため、ドローン（100）に風力・風向センサーを設けて、圃場撮影カメラ（107）の撮影方向を自動調整可能としてもよい。また、ドローン（100）の遠隔操縦装置に圃場撮影カメラ（107）が撮影した画像をリアルタイムで表示し、操作者が画像を確認しながら手動で圃場撮影カメラ（103）の方向を微調整可能としてもよい。株元部分、および、穂先部分が上空に対して露出した圃場の領域は他の領域との明度・色調の相違により、画像認識により区別できるため、当該領域が、撮影範囲の中心近くとなるように、圃場撮影カメラ（107）を自動的に調整してもよい。ドローン（100）がホバリング時、あるいは、低速（たとえば、毎秒約３メートル以下）で飛行中である時には圃場撮影カメラ（107）による撮影を行なわないような制御を行なってもよい。 Since the orientation of the camera that can effectively shoot the stock is changed depending on the moving speed, the speed sensor of the drone (100) makes the shooting direction of the field shooting camera (107) variable by a stepping motor etc. to match the moving speed. May be adjustable. In addition, since the relative position of the temporarily knocked down crop to the drone aircraft is affected by the wind power and wind direction, the drone (100) is provided with a wind power / wind direction sensor to automatically set the shooting direction of the field camera (107). It may be adjustable. In addition, the image taken by the field photography camera (107) is displayed in real time on the remote control device of the drone (100), and the operator can manually fine-tune the direction of the field photography camera (103) while checking the image. May be good. The area of the field where the root part and the tip part are exposed to the sky can be distinguished by image recognition due to the difference in brightness and color tone from other areas, so that the area should be near the center of the shooting range. In addition, the field photographing camera (107) may be automatically adjusted. When the drone (100) is hovering or flying at a low speed (for example, about 3 meters or less per second), control may be performed so as not to take a picture with the field camera (107).
各モードにおけるドローン（100）の目標高度を予め設定した固定値ではなく、圃場撮影カメラ（107）が撮影する圃場の作物の画像に基づいてリアルタイムで制御するようにしてもよい。図７−ａに示すようになぎ倒された作物の茎（701）の曲率（1/r）を画像分析により測定することで、作物が株元撮影に十分なほど倒されているかを推定してもよい。画像分析により得られた曲率が、事前の実験等によって得られた望ましい曲率になっていない場合には、所定の曲率になるまで、高度をさらに低下、または、速度をさら増すようにドローン（100）を制御することが望ましい。 The target altitude of the drone (100) in each mode may be controlled in real time based on the image of the crop in the field taken by the field photographing camera (107) instead of the fixed value set in advance. By measuring the curvature (1 / r) of the stem (701) of the crop that has been knocked down as shown in Fig. 7-a by image analysis, it is estimated whether the crop has been knocked down sufficiently for stock photography. May be good. If the curvature obtained by image analysis is not the desired curvature obtained by prior experiments, etc., the drone (100) is used to further reduce the altitude or increase the speed until the desired curvature is reached. ) Is desirable.
図９−ｂに示すように、圃場全体の画像（902）において、作物の茎が露出した領域（903）、および、穂先が露出した領域（904）の面積が、事前の実験等によって得られた望ましい値の範囲になっていない場合に、当該望ましい範囲になるよう、ドローン（100）の高度、速度、またはその両方を制御してもよい。なお、領域（903）と領域（904）は、圃場全体の画像（902）と比較して、色相、明度、または、彩度が大きく異なるため、画像分析によりその範囲をリアルタイムで特定することが可能である。 As shown in FIG. 9-b, in the image (902) of the entire field, the areas of the area where the stem of the crop was exposed (903) and the area where the tip of the ear was exposed (904) were obtained by a prior experiment or the like. If the value is not in the desired range, the altitude, speed, or both of the drone (100) may be controlled to reach the desired range. Since the area (903) and the area (904) are significantly different in hue, lightness, or saturation from the image (902) of the entire field, the range can be specified in real time by image analysis. It is possible.
圃場撮影カメラ（106）により撮影された株元の画像データを分析することで従来は得ることができなかった様々な情報が得られる。たとえば、近赤外線画像（たとえば、波長780nm近辺）の分析によりクロロフィルの存在を検知でき、これにより画像から作物部分のみを抽出できる。作物部分の画像にエッジ検出を適用し、葉の輪郭線を抽出することで、風を受けた時の葉の曲がり具合が測定できる。これにより、葉厚が推定でき、作物の生育状況を推定できる。特に、作物が稲の場合には、ケイ素の蓄積量を把握することもできる（ケイ素が多ければ葉の硬度が増すからである）。また、近赤外線画像の分析により判明した、作物部分がない部分である水面領域から（エッジ検出処理によって検出された）直線部分が密集している部分は株元であると推定できる。株元に対して近赤外線量が低下している部分をエッジ検出し、斑点状の領域が見られた時はウンカが付着していることが推定できる。株元に赤色が濃い領域が存在する場合には紋枯病が発生していることが推定できる。また、通常、株は20センチメートルから30センチメートルの等間隔で植えられているため、画像上で水面領域が等間隔に現われない場合は、雑草が発生していることが推定できる。また、これらの従来型画像解析に加えて、多数の画像データ例をニューラルネット（望ましくは、ディープ・ニューラルネット）の入力として機械学習を行なわせることで効率的に精度の高い分析を行なえることが発明者の実験により明らかになっている。 By analyzing the image data of the stock source taken by the field camera (106), various information that could not be obtained in the past can be obtained. For example, analysis of a near-infrared image (eg, near 780 nm wavelength) can detect the presence of chlorophyll, which allows only the crop portion to be extracted from the image. By applying edge detection to the image of the crop part and extracting the outline of the leaf, the degree of bending of the leaf when it receives the wind can be measured. As a result, the leaf thickness can be estimated, and the growth status of the crop can be estimated. In particular, when the crop is rice, the amount of silicon accumulated can be grasped (because the amount of silicon increases the hardness of the leaves). In addition, it can be estimated that the portion where the straight line portion (detected by the edge detection process) is dense from the water surface region where there is no crop portion, which is found by the analysis of the near-infrared image, is the stock origin. Edge detection is performed on the portion where the amount of near-infrared rays is reduced with respect to the stock origin, and when a speckled region is observed, it can be estimated that planthoppers are attached. If there is a dark red area at the root of the plant, it can be estimated that blight is occurring. In addition, since the plants are usually planted at equal intervals of 20 cm to 30 cm, it can be estimated that weeds are growing if the water surface areas do not appear at equal intervals on the image. Further, in addition to these conventional image analyzes, it is possible to efficiently perform highly accurate analysis by performing machine learning as an input of a large number of image data examples of a neural network (preferably a deep neural network). Has been clarified by the inventor's experiment.
同様に、穂先の画像についても、ディープラーニングを用いた穂先形状認識やマルチスペクトルカメラを用いたNDVI解析を飛行中にリアルタイムで実行することで、従来の単なる上空からの撮影と比較してはるかに有用な情報が取得可能である。 Similarly, for tip images, by performing tip shape recognition using deep learning and NDVI analysis using a multispectral camera in real time during flight, it is far far more than conventional mere aerial photography. Useful information can be obtained.
図８に、本願発明に係る圃場撮影用ドローンの方向転換時の動作の例を示す（本図は概念図であり縮尺は正確ではない）。なお、図８におけるドローン（800）は、図１、図２、および、図３に示したドローンを、機体の向きをわかりやすくするよう簡略化して模式的に示したものである。通常、ドローンが飛行方向を転換する際は、図８−ａに示すように、機体の絶対的方向は変化させずに移動方向だけを変化させるような制御を行なう。しかし、このような方向転換方式では、圃場撮影カメラ（107）が常にドローン（800）の進行方向の後ろ側を撮影できるようにするために、複数（典型的には４機）の圃場撮影カメラ（107）を設けて適宜切り替えて撮影を行なう、あるいは、ステッピングモーター等の手段により機体の進行方向に合わせて、圃場撮影カメラ（107）の位置を変化させることなどが必要になり、機体の重量増、コスト増、制御の複雑性増などの点で好ましくない。 FIG. 8 shows an example of the operation of the field photography drone according to the present invention when the direction is changed (this figure is a conceptual diagram and the scale is not accurate). The drone (800) in FIG. 8 is a schematic representation of the drones shown in FIGS. 1, 2, and 3 in a simplified manner so that the orientation of the aircraft can be easily understood. Normally, when the drone changes the flight direction, as shown in FIG. 8-a, control is performed so that only the moving direction is changed without changing the absolute direction of the aircraft. However, in such a direction change method, a plurality of (typically four) field photography cameras are used so that the field photography camera (107) can always photograph the rear side in the traveling direction of the drone (800). It is necessary to provide (107) and switch appropriately for shooting, or to change the position of the field camera (107) according to the traveling direction of the aircraft by means such as a stepping motor, and the weight of the aircraft. It is not preferable in terms of increased cost, increased control complexity, and the like.
代替の方法として、図８−ｂのように、方向転換の際には機体の絶対的向きそのものを変えることが望ましい。このような方式を採ることで、１機の圃場撮影カメラ（107）をドローン（800）に設置するだけで、常にドローン（800）の進行方向の後方を撮影することができる。前述のように、俯角の調整が必要となることはあり得るが、複数のカメラを設ける方法やカメラの方向自体を変化させる方法と比較して、コスト、重量、および、正確性の点で有利である。 As an alternative method, it is desirable to change the absolute orientation of the aircraft itself when changing direction, as shown in FIG. 8-b. By adopting such a method, it is possible to always take a picture of the rear of the drone (800) in the traveling direction simply by installing one field photography camera (107) on the drone (800). As mentioned above, it may be necessary to adjust the depression angle, but it is advantageous in terms of cost, weight, and accuracy compared to the method of providing multiple cameras or changing the direction of the cameras themselves. Is.
（本願発明による技術的に顕著な効果）
本願発明に係るドローンにより、圃場の作物全体の株元、葉の側面、穂先の画像を効率的に取得可能である。得られた結果を分析することで効果的かつ効率的な害虫対策や施肥計画に結び付けることができる。また、作物が稲である場合には、風を受けた時の葉の形状の画像によってケイ素の蓄積量を把握し、それに基づいて稲の育成度を推定し、肥料計画を最適化することが可能となる。
(Technically remarkable effect of the present invention)
With the drone according to the present invention, it is possible to efficiently acquire images of the root, the side surface of the leaf, and the tip of the entire crop in the field. By analyzing the obtained results, it can be linked to effective and efficient pest control and fertilization planning. In addition, when the crop is rice, it is possible to grasp the amount of silicon accumulated from the image of the shape of the leaves when receiving the wind, estimate the degree of rice growth based on it, and optimize the fertilizer plan. It will be possible.
Claims (17)
前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元を前記カメラが撮影可能な高度と速度で、前記飛行制御手段が前記無人飛行体を飛行させる第一の飛行モードと、
前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の穂先を前記カメラが撮影可能な高度と速度で、前記飛行制御手段が前記無人飛行体を飛行させる第二の飛行モードとを備える
無人飛行体。An unmanned aerial vehicle for field photography equipped with a camera, rotor blades, and flight control means.
The first flight in which the flight control means flies the unmanned flying object at an altitude and speed at which the camera can photograph the root of the crop exposed by the downdraft generated by the rotor blades. Mode and
A second flight mode in which the flight control means flies the unmanned aerial vehicle at an altitude and speed at which the camera can photograph the tips of the crop exposed by the downdraft generated by the rotor blades. An unmanned aerial vehicle equipped with.
請求項１に記載の無人飛行体。The unmanned aerial vehicle according to claim 1, wherein the altitude in the second flight mode is higher than the altitude in the first flight mode.
前記第二の飛行モードにおける速度が前記第一の飛行モードにおける速度より速い、
請求項１に記載の無人飛行体。The altitude in the second flight mode is the same as the altitude in the first flight mode,
The speed in the second flight mode is faster than the speed in the first flight mode.
The unmanned aerial vehicle according to claim 1.
前記露出範囲測定手段が測定した前記作物の露出範囲に応じて、前記飛行制御手段が前記第一の飛行モードと前記第二の飛行モードとの切り替えを行なう請求項１、請求項２、または、請求項３に記載の無人飛行体。Further, an exposure range measuring means for the downdraft of the crop is provided.
Claim 1, claim 2, or claim 2, in which the flight control means switches between the first flight mode and the second flight mode according to the exposure range of the crop measured by the exposure range measuring means. The unmanned aircraft according to claim 3.
前記第三の飛行モードにおける下降気流は前記第二の飛行モードにおける下降気流よりも弱く、
前記カメラが撮影を行なっていない時には、前記飛行制御手段が自動的に前記第三の飛行モードへの切り替えを行なう請求項１、請求項２、請求項３、請求項４、請求項５、またたは、請求項６に記載の無人飛行体。In addition, it has a third flight mode,
The downdraft in the third flight mode is weaker than the downdraft in the second flight mode.
1, claim 2, claim 3, claim 4, claim 5, and claim 1, when the camera is not taking a picture, the flight control means automatically switches to the third flight mode. Or the unmanned flying object according to claim 6.
請求項７に記載の無人飛行体。The unmanned aerial vehicle according to claim 7, wherein the altitude in the third flight mode is higher than the altitude in the second flight mode.
前記第三の飛行モードにおける速度が前記第二の飛行モードにおける速度より速い、
請求項７に記載の無人飛行体。The altitude in the third flight mode is the same as the altitude in the second flight mode,
The speed in the third flight mode is faster than the speed in the second flight mode.
The unmanned aerial vehicle according to claim 7.
カメラと回転翼とを備えた圃場撮影用の無人飛行体を使用し、
前記カメラに前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元、葉の側面、または穂先を撮影させるステップを含む方法。It is a method of photographing the root of the crop in the field, the side of the leaf, or the tip of the ear.
Using an unmanned aerial vehicle for field photography equipped with a camera and rotor,
A method comprising the step of having the camera photograph the root, leaf side, or tip of the crop exposed by the crop being knocked down by the downdraft generated by the rotor.
前記測定された露出範囲に応じて、機体の高度または速度を調整するステップとを含む
請求項１０に記載の方法。In addition, the steps to measure the exposure range of the crop,
10. The method of claim 10, comprising the step of adjusting the altitude or speed of the airframe according to the measured exposure range.
前記カメラに前記回転翼が発生する下降気流により作物が倒されることにより露出した前記作物の株元、葉の側面、または穂先を撮影させる命令群をコンピューターに実行させるプログラム。A program that allows an unmanned aerial vehicle for field photography equipped with a camera and rotors to photograph the roots, sides of leaves, or ears of crops in the field.
A program that causes a computer to execute a group of commands for the camera to photograph the root, the side surface of a leaf, or the tip of a crop exposed by the downdraft generated by the rotor blades.
前記測定された露出範囲に応じて機体の高度または速度を調整する命令群とをコンピューターに実行させる
請求項１４に記載のプログラム。In addition, a group of commands to measure the exposure range of the crop,
14. The program of claim 14, which causes a computer to execute instructions that adjust the altitude or speed of the airframe according to the measured exposure range.
The program according to claim 15, wherein the instruction group for measuring the exposure range of the crop includes an instruction group for measuring the exposure range of the crop by the hue, lightness, or saturation of the image of the collapsed crop.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018153952 | 2018-08-20 | ||
| JP2018153952 | 2018-08-20 | ||
| PCT/JP2019/032186 WO2020040063A1 (en) | 2018-08-20 | 2019-08-16 | Field crop photographing method and photographing drone |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020040063A1 JPWO2020040063A1 (en) | 2020-08-27 |
| JP6762629B2 true JP6762629B2 (en) | 2020-09-30 |
Family
ID=69592962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019570163A Active JP6762629B2 (en) | 2018-08-20 | 2019-08-16 | Field crop photography method and drone for photography |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6762629B2 (en) |
| WO (1) | WO2020040063A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112129757A (en) * | 2020-10-15 | 2020-12-25 | 安阳工学院 | Plant disease and insect pest self-adaptive detection system and method |
| JP7498955B2 (en) | 2020-10-21 | 2024-06-13 | 国立研究開発法人農業・食品産業技術総合研究機構 | Crop monitoring device and crop monitoring method |
| CN112399052A (en) * | 2020-11-06 | 2021-02-23 | 深圳慧源创新科技有限公司 | Picture switching method and device and electronic equipment |
| JP7514536B2 (en) | 2021-03-24 | 2024-07-11 | 国立研究開発法人農業・食品産業技術総合研究機構 | Damage estimation device and damage estimation system |
| JP7370087B2 (en) * | 2021-05-25 | 2023-10-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | Information processing device, information processing method, and program |
| CN113628186A (en) * | 2021-08-09 | 2021-11-09 | 海南青峰生物科技有限公司 | System for measuring rice spike number based on 5G communication and image recognition |
| CN114706410A (en) * | 2022-04-02 | 2022-07-05 | 深圳市道通智能航空技术股份有限公司 | Flight control method, unmanned aerial vehicle and readable storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4532318B2 (en) * | 2005-03-25 | 2010-08-25 | ヤマハ発動機株式会社 | Unmanned helicopter |
| JP5890569B1 (en) * | 2015-08-12 | 2016-03-22 | ヒロボー株式会社 | Multi-rotor type helicopter and method of spraying medicine using the same |
| JP6787074B2 (en) * | 2016-11-22 | 2020-11-18 | コニカミノルタ株式会社 | Fertilization design method, fertilizer design program, and fertilizer design system |
-
2019
- 2019-08-16 WO PCT/JP2019/032186 patent/WO2020040063A1/en active Application Filing
- 2019-08-16 JP JP2019570163A patent/JP6762629B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020040063A1 (en) | 2020-08-27 |
| WO2020040063A1 (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6762629B2 (en) | Field crop photography method and drone for photography | |
| CN111556986B (en) | Unmanned aerial vehicle, control method thereof and computer readable recording medium | |
| JP6913979B2 (en) | Drone | |
| JP6889502B2 (en) | Drones, drone control methods, and drone control programs | |
| JP7311146B2 (en) | Field management system | |
| JP6982908B2 (en) | Driving route generator, driving route generation method, and driving route generation program, and drone | |
| JP7353630B2 (en) | Drone control system, drone control method, and drone | |
| JP7008999B2 (en) | Driving route generation system, driving route generation method, and driving route generation program, and drone | |
| JP2022084735A (en) | Drone, drone control method, and drone control program | |
| JP6887142B2 (en) | Field image analysis method | |
| JP6973829B2 (en) | Field photography camera | |
| JP7359464B2 (en) | Crop growing system | |
| WO2021205559A1 (en) | Display device, drone flight propriety determination device, drone, drone flight propriety determination method, and computer program | |
| JP2022088441A (en) | Drone steering device and steering program | |
| JP6806403B2 (en) | Drones, drone control methods, and drone control programs | |
| JP7011233B2 (en) | Spraying system and spraying management device | |
| WO2021224970A1 (en) | Positioning system, mobile body, speed estimating system, positioning method, and speed estimating method | |
| JP7411259B2 (en) | Plant pathology diagnosis system, plant pathology diagnosis method, plant pathology diagnosis device, and drone | |
| WO2021152741A1 (en) | Crop-growing system | |
| JP7285557B2 (en) | Driving route generation system, driving route generation method, driving route generation program, and drone | |
| JP7169022B2 (en) | Harvest forecast system, harvest forecast method, harvest forecast program, and harvest time forecast system | |
| WO2021192220A1 (en) | Flight control system | |
| WO2021205510A1 (en) | Flight control system | |
| WO2021166101A1 (en) | Operation device and drone operation program | |
| JP7075127B2 (en) | Field analysis method, field analysis program, field analysis device, drone system and drone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200903 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6762629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316303 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S803 | Written request for registration of cancellation of provisional registration |
Free format text: JAPANESE INTERMEDIATE CODE: R316803 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S803 | Written request for registration of cancellation of provisional registration |
Free format text: JAPANESE INTERMEDIATE CODE: R316803 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |