JP2021093593A - Image processing device, image processing method, program, and recording medium - Google Patents
Image processing device, image processing method, program, and recording medium Download PDFInfo
- Publication number
- JP2021093593A JP2021093593A JP2019222093A JP2019222093A JP2021093593A JP 2021093593 A JP2021093593 A JP 2021093593A JP 2019222093 A JP2019222093 A JP 2019222093A JP 2019222093 A JP2019222093 A JP 2019222093A JP 2021093593 A JP2021093593 A JP 2021093593A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- image processing
- unit
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 145
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 199
- 238000001514 detection method Methods 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 17
- 239000003086 colorant Substances 0.000 claims description 10
- 230000001681 protective effect Effects 0.000 description 69
- 238000004891 communication Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C17/00—Aircraft stabilisation not otherwise provided for
- B64C17/02—Aircraft stabilisation not otherwise provided for by gravity or inertia-actuated apparatus
- B64C17/06—Aircraft stabilisation not otherwise provided for by gravity or inertia-actuated apparatus by gyroscopic apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
本開示は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。 The present disclosure relates to an image processing apparatus, an image processing method, a program, and a recording medium.
従来、無人航空機がその周囲の障害物との衝突による影響を低減することが検討されている。例えば、内部フレームと、内部フレームに取り付けられた内部飛行推進システムと、外部フレームと、ジンバルシステムと、制御システムと、電源と、外部フレーム駆動システムと、カメラと、を備える無人航空機が知られている(特許文献1参照)。ジンバルシステムは、内部飛行推進システムと外部フレームとを結合する2つの回転結合部を有する。 Conventionally, it has been studied to reduce the influence of an unmanned aerial vehicle colliding with an obstacle around it. For example, unmanned aerial vehicles equipped with an internal frame, an internal flight propulsion system attached to the internal frame, an external frame, a gimbal system, a control system, a power supply, an external frame drive system, and a camera are known. (See Patent Document 1). The gimbal system has two rotary couplings that connect the internal flight propulsion system and the external frame.
特許文献1の無人航空機では、カメラは、外部フレームの外側に配置されるか、外部フレームの内側でカメラの撮像範囲に外部フレームが重ならないように配置されている。この場合、カメラの撮像範囲に外部フレームが存在しない状態となり、カメラへの障害物の衝突に対する耐性が不十分となる。また、カメラを含む無人航空機の全体が外部フレームに包囲されることを想定すると、カメラの撮像範囲に外部フレームが重なり、撮像画像に基づく画像の画質が劣化し得る。例えば、画像における意図しない領域に合わせて、焦点位置が決定されたり、明るさが調整されたり、ホワイトバランスが調整されたりする可能性がある。これは、例えば、撮像範囲に外部フレームが存在することで、所望の被写体の他に外部フレームを加味して画像の検波が行われることに起因し得る。よって、人航空機の外部からの衝撃に対してカメラを十分に保護可能であり、無人航空機により撮像される画像の検波精度が向上することが望ましい。 In the unmanned aerial vehicle of Patent Document 1, the camera is arranged outside the outer frame or inside the outer frame so that the outer frame does not overlap the imaging range of the camera. In this case, the external frame does not exist in the image pickup range of the camera, and the resistance to collision of obstacles with the camera becomes insufficient. Further, assuming that the entire unmanned aerial vehicle including the camera is surrounded by the external frame, the external frame overlaps the imaging range of the camera, and the image quality of the image based on the captured image may deteriorate. For example, the focal position may be determined, the brightness may be adjusted, or the white balance may be adjusted according to an unintended area in the image. This may be due to, for example, that the presence of the external frame in the imaging range causes the detection of the image by adding the external frame in addition to the desired subject. Therefore, it is desirable that the camera can be sufficiently protected against an impact from the outside of the human aircraft and that the detection accuracy of the image captured by the unmanned aerial vehicle is improved.
一態様において、画像処理装置は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置であって、画像を処理する画像処理部を備え、画像処理部は、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定し、フレームの色が第1の色の状態で撮像部によりシーンが撮像された第1の画像を取得し、第1の画像と第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出する。 In one aspect, the image processing device is an image processing device that processes an image captured by an imaging unit included in an air vehicle surrounded by a frame body, and includes an image processing unit that processes the image, and the image processing unit includes an image processing unit. , The first color, which is included in the entire color of the scene imaged by the imaging unit in a state where the frame color of the frame body is a predetermined color, is small, and the frame color is imaged in the state of the first color. A first image in which a scene is captured by a unit is acquired, and detection used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on the first image and the first color. Calculate the value.
画像処理部は、第1の画像の前に、シーンが撮像された第2の画像を取得し、第2の画像の色全体に含まれる割合が小さい第1の色を特定してよい。 The image processing unit may acquire a second image in which the scene is captured before the first image, and specify a first color having a small proportion included in the entire color of the second image.
画像処理部は、第2の画像に対して色相検波し、色相検波により第2の画像において各色相の画素の画素数を示す色相ヒストグラムを算出し、色相ヒストグラムにおいて画素数が閾値以下の色相に相当する第1の色を特定してよい。 The image processing unit performs hue detection on the second image, calculates a hue histogram showing the number of pixels of each hue in the second image by hue detection, and sets the number of pixels to a hue equal to or less than the threshold in the hue histogram. The corresponding first color may be specified.
第2の画像は、撮像部により撮像された撮像画像を基に変換されたRGB画像でよい。 The second image may be an RGB image converted based on the captured image captured by the imaging unit.
画像処理装置は、第1の色の情報を提示させる第1の制御部、を更に備えてよい。 The image processing device may further include a first control unit, which causes the information of the first color to be presented.
フレーム体は、複数の色に発光可能な発光部を有してよい。発光部の発光を制御し、フレーム体のフレームの色を第1の色に変更する第2の制御部、を更に備えてよい。 The frame body may have a light emitting portion capable of emitting light in a plurality of colors. A second control unit that controls the light emission of the light emitting unit and changes the color of the frame of the frame body to the first color may be further provided.
画像処理部は、第1の画像の高周波成分を抽出した第3の画像を生成し、第3の画像から、第1の画像における第1の色の成分を減算して第4の画像を生成し、第4の画像に対して自動焦点制御に用いられる検波値を算出してよい。 The image processing unit generates a third image obtained by extracting the high-frequency component of the first image, and subtracts the first color component in the first image from the third image to generate a fourth image. Then, the detection value used for the automatic focus control may be calculated for the fourth image.
画像処理部は、第1の画像から、第1の画像における第1の色の成分を減算して第5の画像を生成し、第5の画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出してよい。 The image processing unit subtracts the first color component in the first image from the first image to generate a fifth image, and performs automatic exposure control or automatic white balance control on the fifth image. The detection value used may be calculated.
画像処理装置は、検波値に基づいて、撮像部による撮像を制御する第3の制御部、を更に備えてよい。 The image processing device may further include a third control unit that controls imaging by the image pickup unit based on the detected value.
第3の制御部は、検波値に基づいて、撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び画像処理部による第1の画像に対する画像処理の少なくとも1つを制御してよい。 The third control unit may control at least one of the lens, shutter, aperture, dimming filter, and image processing of the first image by the image processing unit based on the detection value.
フレーム体は、撮像部に対して回転自在でよい。 The frame body may be rotatable with respect to the imaging unit.
画像処理装置は、飛行体でよい。 The image processing device may be a flying object.
一態様において、画像処理方法は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理方法であって、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、フレームの色が第1の色の状態で撮像部によりシーンが撮像された第1の画像を取得するステップと、第1の画像と第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、を有する。 In one aspect, the image processing method is an image processing method for processing an image captured by an imaging unit included in an air vehicle surrounded by a frame body, and the frame color of the frame body is imaged in a predetermined color state. Acquires the step of identifying the first color in which the proportion of the entire color of the scene captured by the unit is small, and the first image in which the scene is captured by the imaging unit with the frame color being the first color. A step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on a first image and a first color.
第1の色を特定するステップは、第1の画像の前に、シーンが撮像された第2の画像を取得するステップと、第2の画像の色全体に含まれる割合が小さい第1の色を特定するステップと、を含んでよい。 The step of identifying the first color is a step of acquiring a second image in which the scene is captured before the first image, and a first color in which the proportion of the entire color of the second image is small. May include steps to identify.
第1の色を特定するステップは、第2の画像に対して色相検波するステップと、色相検波により第2の画像において各色相の画素の画素数を示す色相ヒストグラムを算出するステップと、色相ヒストグラムにおいて画素数が閾値以下の色相に相当する第1の色を特定するステップと、を含んでよい。 The steps for specifying the first color are a step of performing hue detection on the second image, a step of calculating a hue histogram indicating the number of pixels of each hue in the second image by hue detection, and a hue histogram. In, a step of specifying a first color corresponding to a hue in which the number of pixels is equal to or less than a threshold value may be included.
第2の画像は、撮像部により撮像された撮像画像を基に変換されたRGB画像でよい。 The second image may be an RGB image converted based on the captured image captured by the imaging unit.
画像処理方法は、第1の色の情報を提示させるステップ、を更に含んでよい。 The image processing method may further include a step of presenting the information of the first color.
フレーム体は、複数の色に発光可能な発光部を有してよい。画像処理方法は、発光部の発光を制御し、フレーム体のフレームの色を第1の色に変更するステップ、を更に含んでよい。 The frame body may have a light emitting portion capable of emitting light in a plurality of colors. The image processing method may further include a step of controlling the light emission of the light emitting unit and changing the color of the frame of the frame body to the first color.
検波値を算出するステップは、第1の画像の高周波成分を抽出した第3の画像を生成するステップと、第3の画像から、第1の画像における第1の色の成分を減算して第4の画像を生成するステップと、第4の画像に対して自動焦点制御に用いられる検波値を算出するステップと、を含んでよい。 The step of calculating the detection value is the step of generating a third image obtained by extracting the high frequency component of the first image, and the step of subtracting the first color component in the first image from the third image. The step of generating the image of 4 and the step of calculating the detection value used for the automatic focus control for the 4th image may be included.
検波値を算出するステップは、第1の画像から、第1の画像における第1の色の成分を減算して第5の画像を生成するステップと、第5の画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出するステップと、を含んでよい。 The steps for calculating the detection value include a step of subtracting the first color component in the first image from the first image to generate a fifth image, and automatic exposure control or automatic exposure control for the fifth image. It may include a step of calculating the detection value used for automatic white balance control.
画像処理方法は、検波値に基づいて、撮像部による撮像を制御するステップ、を更に含んでよい。 The image processing method may further include a step of controlling imaging by the imaging unit based on the detected value.
撮像部による撮像を制御するステップは、検波値に基づいて、撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び第1の画像に対する画像処理の少なくとも1つを制御するステップを含んでよい。 The step of controlling the image pickup by the image pickup unit may include a step of controlling at least one of the lens, the shutter, the aperture, the dimming filter, and the image processing for the first image of the image pickup unit based on the detection value.
フレーム体は、撮像部に対して回転自在でよい。 The frame body may be rotatable with respect to the imaging unit.
画像処理方法は、画像処理装置により実行されてよい。画像処理装置は、飛行体でよい。 The image processing method may be executed by the image processing apparatus. The image processing device may be a flying object.
一態様において、プログラムは、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、フレームの色が第1の色の状態で撮像部によりシーンが撮像された第1の画像を取得するステップと、第1の画像と第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、を実行させるためのプログラムである。 In one aspect, the program is captured by an image processing device that processes an image captured by an image pickup unit included in an air vehicle surrounded by a frame body, and the image pickup unit captures the frame color of the frame body in a predetermined color state. A step of specifying a first color that is contained in a small proportion of the entire color of the scene, and a step of acquiring a first image in which the scene is captured by the imaging unit with the frame color being the first color. It is a program for executing a step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on a first image and a first color. ..
一態様において、記録媒体は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、フレームの色が第1の色の状態で撮像部によりシーンが撮像された第1の画像を取得するステップと、第1の画像と第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium is imaged by an image processing device that processes an image captured by the image pickup unit included in the flying object surrounded by the frame body, and by the image pickup unit in a state where the frame color of the frame body is a predetermined color. A step of specifying a first color that is contained in a small proportion of the entire color of the scene to be performed, and a step of acquiring a first image in which the scene is captured by the imaging unit with the frame color being the first color. , A program for executing a step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on a first image and a first color. It is a computer-readable recording medium that has been recorded.
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present disclosure. Sub-combinations of these feature groups can also be inventions.
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。画像処理装置は、例えば無人航空機であるが、他の装置(例えば端末、送信機、サーバ、その他の画像処理装置)でもよい。画像処理方法は、飛行体の動作が規定されたものである。また、記録媒体は、プログラム(例えば飛行体に各種の処理を実行させるプログラム)が記録されたものである。 In the following embodiment, an unmanned aerial vehicle (UAV) will be illustrated as an air vehicle. The image processing device is, for example, an unmanned aerial vehicle, but may be another device (for example, a terminal, a transmitter, a server, or other image processing device). The image processing method defines the operation of the flying object. Further, the recording medium is a recording medium in which a program (for example, a program for causing an air vehicle to execute various processes) is recorded.
以下の実施形態でいう「部」又は「装置」とは、単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラム等のソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、又は2つ以上の構成の機能が例えば1つの物理的構成によって実現されていても構わない。また、実施形態でいう「取得」は、単に情報や信号などを直接に取得する動作を示すものに限定されず、例えば処理部が、通信部を介して取得、すなわち受信することのほか、記憶部(例えばメモリなど)から取得することのいずれも含む。これらの用語の理解や解釈は、特許請求の範囲の記載についても同様である。 The “part” or “device” in the following embodiments is not limited to a physical configuration realized only by hardware, but also includes a “part” or “device” in which the functions of the configuration are realized by software such as a program. Further, the functions of one configuration may be realized by two or more physical configurations, or the functions of two or more configurations may be realized by, for example, one physical configuration. Further, the "acquisition" referred to in the embodiment is not limited to simply indicating an operation of directly acquiring information, signals, etc. For example, the processing unit acquires, that is, receives the information via the communication unit, and also stores the memory. Includes any acquisition from a unit (eg, memory, etc.). The understanding and interpretation of these terms are the same for the description of the scope of claims.
図1は、実施形態における飛行体システム10の構成例を示す模式図である。飛行体システム10は、無人航空機100及び端末80を備える。無人航空機100及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1では、端末80が携帯端末(例えばスマートフォン、タブレット端末)であることを例示しているが、その他の端末(例えば、PC(Personal Computer)、制御棒により無人航空機100の操縦が可能な送信機(プロポ))でもよい。
FIG. 1 is a schematic view showing a configuration example of the flying
図2は、無人航空機100の具体的な外観の一例を示す図である。図2には、無人航空機100が移動方向STV0に飛行する場合の斜視図が示される。
FIG. 2 is a diagram showing an example of a specific appearance of the unmanned
図2に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が設定される。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が設定され、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が設定される。 As shown in FIG. 2, a roll axis (see x-axis) is set in a direction parallel to the ground and along the moving direction STV0. In this case, the pitch axis (see y-axis) is set in the direction parallel to the ground and perpendicular to the roll axis, and the yaw axis (see z-axis) is perpendicular to the ground and perpendicular to the roll axis and pitch axis. Is set.
無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、保護フレーム体300と、を含む構成である。なお、保護フレーム体300は、無人航空機100に含まれず、無人航空機100とは別体として扱われてもよい。なお、ジンバル200で支持された保護フレーム体300を、ジンバルボールとも称する。ジンバル200は、少なくとも、撮像部220の姿勢を安定化させる。
The unmanned
UAV本体102は、複数の回転翼211(プロペラ)を備える。UAV本体102は、複数の回転翼211の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼211を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。UAV本体102には、プロセッサ、メモリ、アクチュエータ、バッテリ、等が収容されてよい。
The UAV
ジンバル200は、ピッチ回転フレーム201、ロール回転フレーム202、及びヨー回転フレーム203を含む。ピッチ回転フレーム201は、連結体206に挿通される。連結体206には、UAV本体102及び撮像部220が連結される。ピッチ回転フレーム201は、連結部207を介してロール回転フレーム202に連結されてよい。ロール回転フレーム202は、ここでは円形の形状を有するが、これに限られない。ロール回転フレーム202は、連結部208を介してヨー回転フレーム203に連結されてよい。ヨー回転フレーム203は、ここでは円形の形状を有するが、これに限られない。ヨー回転フレーム203は、連結部209を介して保護フレーム体300に連結される。ピッチ回転フレーム201、ロール回転フレーム202、及びヨー回転フレーム203は、例えばアクチュエータの駆動力によって回転してよい。
The
ピッチ回転フレーム201は、連結部207を基準としてロール回転フレーム202に対して回転可能であり、つまりピッチ軸を中心に回転可能である。ロール回転フレーム202は、連結部208を基準としてヨー回転フレーム203に対して回転可能であり、つまりロール軸を中心に回転可能である。ヨー回転フレーム203は、連結部209を基準として保護フレーム体300に対して回転可能であり、つまりヨー軸を中心に回転可能である。なお、ピッチ回転フレーム201は、連結体206に対して回転可能でも連結体206と一体的に回転可能でもよい。
The
また、ロール回転フレーム202は、連結部207を基準としてピッチ回転フレーム201に対して回転可能でよく、つまりピッチ軸を中心に回転可能でよい。ヨー回転フレーム203は、連結部208を基準としてロール回転フレーム202に対して回転可能でよく、つまりロール軸を中心に回転可能でよい。保護フレーム体300は、連結部209を基準としてヨー回転フレーム203に対して回転可能でよく、つまりヨー軸を中心に回転可能でよい。なお、保護フレーム体300は、ヨー回転フレーム203に対して回転可能でもヨー回転フレーム203と一体的に回転可能でもよい。
Further, the
したがって、撮像部220は、ジンバル200に回転可能に支持される。撮像部220は、ピッチ軸、ロール軸、及びヨー軸の少なくとも1つを回転中心として、回転自在である。同様に、保護フレーム体300は、ジンバル200に回転可能に支持される。保護フレーム体300は、ピッチ軸、ロール軸、及びヨー軸の少なくとも1つを回転中心として、回転自在である。
Therefore, the
撮像部220は、図2では直方体の形状に形成されているが、これに限られない。撮像部220は、撮像部220のレンズが撮像部220の筐体の側面(例えば前面)から露出して設けられており、前面の方向(前方)を撮像可能である。前方は、無人航空機100の機首の方向でよく、例えば図2の移動方向STV0と一致してもよいし、一致しなくてもよい。撮像部220は、ジンバル200によって3軸方向のいずれにも回転可能であるので、ジンバル200の回転制御により、3次元空間における全方向を撮像可能でよい。
The
保護フレーム体300は、UAV本体102、ジンバル200、及び撮像部220を包囲し、保護フレーム体300の内部に収容する。これにより、保護フレーム体300に内包されたUAV本体102、ジンバル200、及び撮像部220は、保護フレーム体300の外部からの衝撃に対して耐性を有する。よって、例えば無人航空機100の周囲に障害物が存在しても、無人航空機100の各部(例えば撮像部220)の姿勢を高精度に維持できる。
The
保護フレーム体300は、多数の保護フレーム310の組み合わせにより形成される。保護フレーム体300は、例えば略多面体の形状に形成される。図2では、3つの保護フレーム310により略正三角形が形成され、略三角形が多数組み合わされて保護フレーム体300が形成されている。なお、保護フレーム体300の形状はこれに限られない。
The
このように、保護フレーム体300は、ジンバル200にジンバル200の外側から連結されてよい。これにより、撮像部220の姿勢が安定し、3次元空間における撮像範囲を安定して得やすくなる。
In this way, the
また、保護フレーム体300は、回転翼211を包囲してよい。この場合、無人航空機100は、回転翼211についても外部からの衝撃に対する耐性を向上できる。また、無人航空機100は、例えば障害物の近傍を飛行する必要がある場合でも、無人航空機100が障害物に衝突して落下することを抑制できる。
Further, the
撮像部220は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラを含んでよい。無人航空機100は、任意の場所を飛行可能であり、無人航空機100の周囲に飛行を阻害し得る障害物が存在する場所(例えば比較的狭い空間、屋内)を飛行してよい。撮像部220に撮像される被写体は、任意の被写体を含み得るが、屋内に設置された物体、工事現場や点検現場に存在する物体、等を含んでよい。撮像部220により撮像された撮像画像は、静止画像及び動画像の少なくとも一方を含んでよい。動画像は、ライブビュー画像を含んでよい。
The
なお、図2では、ジンバル200は、ピッチ軸、ロール軸、及びヨー軸の3軸方向に対して姿勢を安定させる3軸ジンバルであるが、これに限られない。例えば、ピッチ軸及びロール軸の2軸方向に対して姿勢を安定させる2軸ジンバルでもよい。
In FIG. 2, the
なお、図2では、撮像部220のレンズが筐体の前面に設置されているが、これに限られない。撮像部220は、3次元空間における上下前後左右のいずれの方向に向いて設置されてもよい。また、図2では図示していないが、撮像部220は、連結体206に対してロール軸、ピッチ軸、及びヨー軸の少なくとも1つの方向に回転可能であってよい。
In FIG. 2, the lens of the
なお、図2では、撮像部220が1つであること、撮像部220が連結体206に連結して設けられること、を例示したが、これに限られない。撮像部220は、複数存在してよい。例えば、撮像部220は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラを含んでもよい。また、撮像部220が、UAV本体102の側面(例えば前面)や底面に設けられてよい。複数の撮像部220は、ペアとなり、いわゆるステレオカメラとして機能してよい。撮像部220は、単焦点レンズ又は魚眼レンズを有してよい。
Note that FIG. 2 illustrates that there is only one
なお、連結体206は、UAV本体102又は撮像部220の一部でもよい。また、撮像部220は、UAV本体102に組み込まれてもよい。
The connecting
図3は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信部150と、記憶部160と、ジンバル200と、回転翼機構210と、撮像部220と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、保護フレーム体300と、を含む構成である。
FIG. 3 is a block diagram showing an example of the hardware configuration of the unmanned
UAV制御部110は、プロセッサ(例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor))を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
UAV制御部110は、記憶部160に格納されたプログラムに従って無人航空機100の飛行を制御してよい。UAV制御部110は、端末80による飛行の制御の指示に従って、無人航空機100の飛行を制御してよい。
The
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
The
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
The
UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を記憶部160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信部150を介して端末80から取得してよい。UAV制御部110は、3次元地図データベースを参照して、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
The
UAV制御部110は、撮像部220の撮像範囲を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220の画角を示す画角情報を撮像部220から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、ジンバル200のロール軸、ピッチ軸及びヨー軸の少なくとも1つの基準回転角度からの回転角度を示してよい。
The
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定してよい。
The
UAV制御部110は、記憶部160から撮像範囲の情報を取得してよい。UAV制御部110は、通信部150を介して撮像範囲の情報を取得してよい。
The
UAV制御部110は、ジンバル200、回転翼機構210、及び撮像部220を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御してよい。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御してよい。
The
撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像部220の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220の撮像方向は、撮像部220の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。
The imaging range is defined by latitude, longitude, and altitude. The imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude. The imaging range may be a range in two-dimensional spatial data defined by latitude and longitude. The imaging range may be specified based on the angle of view and imaging direction of the
UAV制御部110は、複数の撮像部220により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。なお、無人航空機100は、障害物を回避できない可能性もある。なお、UAV制御部110は、障害物の回避機能を有していなくてもよい。この場合でも、無人航空機100は、保護フレーム体300の存在により衝突等が生じても保護され得る。
The
UAV制御部110は、無人航空機100の周囲の環境の情報として、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。この立体情報は、無人航空機100の周囲の環境の情報として用いられてよい。オブジェクトは、屋内に配置された物体、建物、等の少なくとも一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部220から得られたそれぞれの撮像画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、3次元地図や3次元設計図を参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。3次元地図や3次元設計図は、記憶部160に格納されていてもよいし、ネットワーク上に存在するサーバに保持されていてもよい。3次元設計図は、工事現場や点検現場で用いられるものであってよい。
The
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。
The
撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。
When the
UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている保護フレーム体300の向きを制御してよい。この場合、UAV制御部110は、ピッチ軸、ロール軸、及びヨー軸の少なくとも1つを回転中心として、保護フレーム体300を回転させてよい。また、UAV制御部110は、保護フレーム体300の回転方向、所定時間当たりの回転量(回転速度)、等を制御してよい。つまり、例えば障害物と接触して保護フレーム体300が回転するだけでなく、UAV制御部110が、自発的に保護フレーム体300を回転させてよい。なお、UAV制御部110は、自発的に回転させなくてもよく、保護フレーム体300が自発的に回転しなくてもよい。
The
通信部150は、他の通信装置(例えば端末80)と通信する。通信部150は、任意の無線通信方式により無線通信してよい。通信部150は、任意の有線通信方式により有線通信してよい。通信部150は、撮像部220により撮像された撮像画像や撮像画像に基づく画像を、端末80に送信してよい。通信部150は、撮像画像や撮像画像に基づく画像に関する付加情報(メタデータ)を、端末80に送信してよい。通信部150は、端末80から飛行の制御の指示の情報を取得してよい。飛行の制御の指示の情報は、無人航空機100が飛行するための飛行経路や飛行位置、撮像部220により撮像するための撮像位置の情報を含んでよい。
The
記憶部160は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種画像は、撮像画像や撮像画像に基づく画像を含んでよい。プログラムは、UAV制御部110がジンバル200、回転翼機構210、撮像部220、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290、及び保護フレーム体300を制御するのに必要なプログラムを含んでよい。記憶部160は、コンピュータ読み取り可能な記録媒体でよい。記憶部160は、メモリを含み、ROM(Read Only Memory)、RAM(Random Access Memory)、等を含んでよい。記憶部160は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USB(Universal Serial bus)メモリ、その他のストレージの少なくとも1つを含んでよい。記憶部160の少なくとも一部が、無人航空機100から取り外し可能であってよい。
The
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
The
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に保護フレーム体300を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に保護フレーム体300を回転させることで、保護フレーム体300の向きを変更してよい。
The
回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータと、を有する。回転翼機構210は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。
The
撮像部220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像画像や撮像画像に基づく画像は、撮像部220が有するメモリ又は記憶部160に格納されてよい。
The
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
The
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
The
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
The
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
The
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。
The
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
The
図4は、無人航空機100が備える撮像部220の構成例を示すブロック図である。
FIG. 4 is a block diagram showing a configuration example of the
撮像部220は、筐体220zを有する。撮像部220は、筐体220zの内部に、カメラプロセッサ11、シャッタ12、撮像素子13、画像処理部14、メモリ15、シャッタ駆動部19、素子駆動部20、ゲイン制御部21、及びフラッシュ18を有する。また、撮像部220は、筐体220zの内部に、NDフィルタ32、絞り33、レンズ群34、レンズ駆動部36、ND駆動部38、及び絞り駆動部40を有する。なお、撮像部220における各構成の少なくとも一部は、設けられなくてもよい。なお、カメラプロセッサ11及び画像処理部14は、異なるプロセッサにより各機能がされてもよいし、同一のプロセッサによりにより各機能が実現されてもよい。
The
カメラプロセッサ11は、撮像に関する撮像条件を決定する。撮像条件は、露光時間、露光量、焦点位置、等を含んでよい。撮像条件は、画像を撮像するための撮像モードに応じて決定されてよい。撮像条件は、過去に撮像された画像に基づいて決定されてもよい。カメラプロセッサ11は、撮像条件に基づいて、各駆動部(例えば素子駆動部20、シャッタ駆動部19、絞り駆動部40、ND駆動部38、レンズ駆動部36)を制御し、各構成部(例えば、撮像素子13、シャッタ12、絞り33、NDフィルタ、レンズ群34の少なくとも1つ)が動作してよい。
The
カメラプロセッサ11は、例えば撮像条件に従って、自動露光(AE:Automatic Exposure)制御を行ってよい。カメラプロセッサ11は、自動露光制御では、例えば、シャッタ12、絞り33、及びNDフィルタ32の少なくとも1つを制御して、撮像時の露光量を調整してよい。カメラプロセッサ11は、例えば撮像条件に従って、自動焦点制御(AF:Automatic Focus)を行ってよい。カメラプロセッサ11は、自動焦点制御では、例えばレンズ群34のレンズを制御して、焦点位置を制御してよい。
The
また、カメラプロセッサ11は、撮像された画像に関する画像条件を決定する。画像条件は、ホワイトバランス、等を含んでよい。画像条件は、画像を撮像するための撮像モードに応じて決定されてよい。画像条件は、過去に撮像された画像に基づいて決定されてもよい。カメラプロセッサ11は、画像条件に基づいて、各構成部(例えばゲイン制御部21、画像処理部14)を制御してよい。
In addition, the
カメラプロセッサ11は、例えば画像条件に従って、画像処理部14と連動して、自動ホワイトバランス制御(AWB:Automatic White Balance)を行ってよい。
The
カメラプロセッサ11は、撮像素子13にタイミング信号を供給する素子駆動部20に、撮像の指示を送出してよい。
The
シャッタ12は、例えばフォーカルプレーンシャッタであり、シャッタ駆動部19により駆動される。シャッタ12の開放時に入射した光は、撮像素子13の撮像面上に結像する。撮像素子13は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子13には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。
The
ゲイン制御部21は、撮像素子13から入力された画像信号に対してノイズを低減し、画像信号を増幅するゲイン(利得)を制御する。
The
画像処理部(ISP:Image Signal Processor)14は、ゲイン制御部21によって増幅された画像信号に対し、アナログデジタル変換を行って画像データを生成する。画像処理部14は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。画像処理部14は、ホワイトバランスを調整してよい。画像処理部14は、ゲイン制御部21と連動し、ゲインを加味して、ホワイトバランスを調整してよい。
The image processing unit (ISP: Image Signal Processor) 14 performs analog-to-digital conversion on the image signal amplified by the
また、画像処理部14は、RAW画像からRGB画像への変換を行ってよい。画像処理部14は、RAW画像又はRGB画像に対して色相検波を行ってよい。画像処理部14は、色相検波の結果に基づいて、3A検波を行い、検波値を算出してよい。3A検波に係る「3A」には、自動露光制御(AE)、自動焦点制御(AF)及び自動ホワイトバランス制御(AWB)が含まれる。3A検波の検波値は、自動露光制御、自動焦点制御及び自動ホワイトバランス制御に用いられる少なくとも1つの検波値を含む。検波値の算出は、複数の画像に基づいて算出された複数の3A検波の検波値の統計値(例えば平均値)を含んでよい。
Further, the
メモリ15は、各種データや画像データや各種プログラムを記憶する記憶媒体である。各種プログラムは、例えば、AEアルゴリズム、AFアルゴリズム、及びAWBアルゴリズムを含んでよい。
The
シャッタ駆動部19は、カメラプロセッサ11から指示されたシャッタスピードでシャッタ12を開閉する。シャッタスピードによって露光量を調整可能である。
The
素子駆動部20は、タイミングジェネレータであり、カメラプロセッサ11からの撮像の指示に従い、撮像素子13にタイミング信号を供給し、撮像素子13の電荷の蓄積動作、読み出し動作、リセット動作等を行う。
The
フラッシュ18は、カメラプロセッサ11の指示に従い、夜間撮像時や逆光時(逆光補正時)に閃光し、被写体を照明する。フラッシュ18には、例えばLED(light Emitting Diode)ライトが用いられる。なお、フラッシュ18は省かれてもよい。
The
レンズ群34は、被写体からの光を集光して撮像素子13に結像する。レンズ群34は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ、等を含んでよい。レンズ群34は、レンズ駆動部36によって駆動される。レンズ駆動部36は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、レンズ群34を光軸opの方向(光軸方向)に移動させてよい。レンズ駆動部36は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、筐体220zの一部でありレンズ群34を収容する鏡筒を前後方向に伸縮させてよい。レンズを移動させることで、焦点位置を調整可能である。
The
絞り33は、絞り駆動部40によって駆動される。絞り駆動部40は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、絞り33の開口を拡縮する。絞り33の開口具合によって、露出量を調整可能である。
The diaphragm 33 is driven by the
NDフィルタ32は、光軸opの方向(光軸方向)において、例えば絞り33の近傍に配置され、入射する光の量を制限する減光を行う。ND駆動部38は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、NDフィルタ32を光軸op上に挿抜してよい。NDフィルタ32による減光量によって、露出量を調整可能である。
The
図5は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、操作部83、通信部85、記憶部87、及び表示部88を備える。端末80は、無人航空機100の飛行制御の指示を希望するユーザに所持され得る。
FIG. 5 is a block diagram showing an example of the hardware configuration of the terminal 80. The terminal 80 includes a
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
端末制御部81は、通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してもよい。端末制御部81は、記憶部87に保持されたデータや情報を取得してもよい。端末制御部81は、通信部85を介して、無人航空機100へ、データや情報を送信してもよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてもよい。表示部88に表示される情報や通信部85により無人航空機100へ送信される情報は、無人航空機100が飛行するための飛行経路や飛行位置、撮像部220により撮像するための撮像位置の情報を含んでよい。
The
操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等の入力装置を含んでもよい。タッチパネルは、操作部83と表示部88とで構成されてよい。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
The
通信部85は、各種の無線通信方式により、無人航空機100との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LANや公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。
The
記憶部87は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種プログラムは、端末80で実行されるアプリケーションプログラムを含んでよい。記憶部87は、コンピュータ読み取り可能な記録媒体でよい。記憶部87は、ROM、RAM、等を含んでよい。記憶部87は、HDD、SSD、SDカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。記憶部87の少なくとも一部が、端末80から取り外し可能であってよい。
The
記憶部87は、無人航空機100から取得された撮像画像や撮像画像に基づく画像を保持してよい。記憶部87は、撮像画像や撮像画像に基づく画像の付加情報を保持してよい。
The
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、例えば、撮像画像や撮像画像に基づく画像を表示してよい。表示部88は、アプリケーションプログラムの実行に係る各種データや情報を表示してもよい。
The
次に、無人航空機100の動作について説明する。
図6は、無人航空機100による動作の概要を説明するための図である。
Next, the operation of the unmanned
FIG. 6 is a diagram for explaining an outline of operation by the unmanned
UAV制御部110は、所定の撮像開始トリガに応じて、撮像部220による撮像を開始する。撮像開始時には、保護フレーム体300の保護フレーム310の色が初期値となっている。保護フレーム310の色の初期値は、任意の色でよく、例えば黒色である。撮像部220による撮像は、複数の画像の撮像であり、連続する画像の撮像でも不連続の画像の撮像でもよく、動画の撮像でも静止画の撮像でよい。撮像開始トリガは、通信部150を介して端末80から撮像開始指示を受けたこと、撮像を開始するための所定の時刻となったことを検知したこと、等を含んでよい。動画の撮像の場合、例えば1秒当たり30枚(30fpsに相当)又は60枚(60fpsに相当)の撮像画像が得られてよい。
The
無人航空機100は、飛行中又は非飛行中に、撮像部220が、所定のシーンを撮像する。シーンは、撮像範囲を示してもよいし、被写体を示してもよいし、撮像環境を示してもよい。また、シーンは、無人航空機100に設定された撮像モードに連動してもよい。例えば、撮像モードは、端末80の操作部83を介して指定され、撮像モードの情報が通信部85及び通信部150を介して無人航空機100へ送られてもよい。同じシーンでは、撮像範囲に含まれる色成分が類似し、つまり撮像画像の色成分が類似する。
In the unmanned
画像処理部14は、撮像素子13からの画像信号を受け、撮像画像としてRAW画像G11を取得する。画像処理部14は、RAW画像G11をRGB画像G12に変換する。画像処理部14は、RGB画像G12に対して色相検波を行い、色相検波の結果に応じて、RGB画像G12の色全体に含まれる割合が小さい色、つまり割合が所定以下の色を特定する。つまり、画像処理部14は、撮像されるシーンにおいて少ない色を特定する。例えば、風景のシーンが撮像された場合、自然界では紫色の割合が小さいため、紫色が特定の色とされ得る。
The
なお、RGB画像G12への変換は必須ではなく、省略されてもよい。この場合、画像処理部14は、RAW画像G11に対して色相検波を行い、色相検波の結果に応じて、RAW画像G11の色全体に含まれる割合が小さい色を特定する。
The conversion to the RGB image G12 is not essential and may be omitted. In this case, the
画像処理部14は、この特定された色を、保護フレーム体300の保護フレーム310の色に指定する。よって、RAW画像G11及びRGB画像G12の少なくとも1つは、保護フレーム310の色を指定するための画像であり、フレーム色指定用画像G1とも称する。
The
保護フレーム体300の保護フレーム310のフレーム色は、上記の特定(指定)された色に変更される。例えば、保護フレーム310のフレーム色が紫色に変更される。
The frame color of the
この場合、様々な色の保護フレーム310を予め用意しておき、任意の人や装置が、特定された色の保護フレーム310に交換してよい。この場合、UAV制御部110(第1の制御部の一例)は、特定された色(第1の色の一例)の情報を提示部(例えば表示部、音声出力部、振動部)に提示させてよい。提示部は、例えば端末80が備えていてよい。この場合、端末80の端末制御部81が、通信部150及び通信部85を介して無人航空機100から特定された色の情報を取得し、提示部に提示させてよい。これにより、変更すべき保護フレーム300体の保護フレーム310の色を端末80のユーザが確認でき、変更すべき色の保護フレーム310に手動で容易に交換できる。また、保護フレーム310の交換の際には、無人航空機100は、例えば端末80を所持するユーザの位置へ帰還するよう飛行制御されてよい。保護フレーム310の交換後には、無人航空機100は、撮像対象のシーンの撮像を再開してよい。
In this case, protection frames 310 of various colors may be prepared in advance, and any person or device may replace the protection frames 310 with the protection frames 310 of the specified color. In this case, the UAV control unit 110 (an example of the first control unit) causes the presentation unit (for example, the display unit, the audio output unit, the vibration unit) to present the information of the specified color (an example of the first color). You can. The presentation unit may be provided by, for example, the terminal 80. In this case, the
また、保護フレーム体300が、複数の色に発光可能な発光部を有してよい。発光部は、例えばLEDを含んで構成されてよい。発光部は、保護フレーム体300におけるいずれかの位置に配置され、保護フレーム体300のいずれかの位置を照射して発光させてよい。また、発光部は、各保護フレーム310内にLEDに埋め込まれており、LEDが発光することで埋め込まれた保護フレーム310の位置が発光してよい。UAV制御部110(第2の制御部の一例)は、発光部の発光を制御し、保護フレーム体300の保護フレーム310の色を上記の特定された色に変更してよい。
Further, the
これにより、無人航空機100は、保護フレーム体300の保護フレーム310の色を、自動で簡単に特定された色に変更できる。また、手動による保護フレーム310の交換と異なり、無人航空機100が保護フレーム310の交換場所へ移動(例えばユーザの位置へ帰還)することが不要であるので、無人航空機100が飛行しながら保護フレーム310の色を変更できる。よって、無人航空機100は、動画のように連続的に画像を撮像しながら、保護フレーム310の色をシーンに応じて柔軟に変更可能である。
As a result, the unmanned
無人航空機100は、保護フレーム310のフレーム色が変更された状態で、飛行中又は非飛行中に、撮像部220が、所定のシーンを撮像する。このシーンは、撮像開始後に既に撮像されたシーン(以前に撮像されたシーン)と同じである。したがって、以前に撮像されたシーンと同様の色分布のシーンの画像が撮像される。
In the unmanned
画像処理部14は、撮像素子13からの画像信号を受け、撮像画像としてRAW画像G21を取得する。画像処理部14は、RAW画像G21に対して、3A検波を行う。RAW画像G21は、3A検波を行うための画像であり、3A検波用画像G2とも称する。この場合、画像処理部14は、RAW画像G21に基づく画像における保護フレーム310の色(例えば紫色)の領域をマスクし、3A検波の対象外とする。マスクされた領域(マスク領域MR)は、3A検波に加味されず、3A検波において影響を受けない。マスク領域MRは、RAW画像G21に基づく画像において保護フレーム310が占拠する画素の数や形状を有する。画像処理部14は、一部領域がマスクされたRAW画像G21に基づく画像に対して、3A検波を行い、検波値を算出する。
The
画像処理部14は、RAW画像G21の3A検波の結果(つまり検波値)に基づいて、RAW画像G21をRGB画像G22に変換する。RGB画像G22は、以降の画像処理の対象とされたり、端末80の表示部88等により表示されたりしてよい。
The
また、カメラプロセッサ11は、RAW画像G21の3A検波の検波値に基づいて、撮像部220による撮像を制御する。例えば、カメラプロセッサ11は、レンズ群34に含まれる1つ以上のレンズを制御し、自動焦点制御に用いられる検波値を基に、自動焦点制御を行ってよい。カメラプロセッサ11は、シャッタ12(例えばシャッタスピード)、NDフィルタ32、及び絞り33の少なくとも1つを制御し、自動露光制御に用いられる検波値を基に、自動露光制御を行ってよい。カメラプロセッサ11は、画像処理部14を制御し、自動ホワイトバランス制御に用いられる検波値を基に、自動ホワイトバランス制御を行ってよい。なお、レンズ群34、シャッタ12、NDフィルタ32、及び絞り33の制御では、これらを駆動するための駆動部が、カメラプロセッサ11により制御されてよい。
Further, the
このように、無人航空機100(画像処理装置の一例)は、保護フレーム体300(フレーム体の一例)に包囲された無人航空機100(飛行体の一例)が備える撮像部220に撮像された画像を処理する。無人航空機100は、画像を処理する画像処理部14を備える。画像処理部14は、保護フレーム体300の保護フレーム310の色が所定の色の状態で撮像部220に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定してよい。画像処理部14は、保護フレーム310の色が第1の色の状態で撮像部220によりシーンが撮像された3A検波用画像G2(第1の画像の一例)を取得してよい。画像処理部14は、3A検波用画像G2と第1の色とに基づいて、3A制御に用いられる検波値を算出してよい。3A制御は、自動露出制御(AF制御)と自動焦点制御(AE制御)と自動ホワイトバランス制御(AWB制御)との少なくとも1つを含む。
As described above, the unmanned aerial vehicle 100 (an example of an image processing device) captures an image captured by an
これにより、無人航空機100は、撮像部220により撮像されるシーンに保護フレーム体300の一部が位置する場合でも、保護フレーム310の色をこのシーンにはあまり含まれない第1の色として撮像できる。よって、無人航空機100は、第1の色を加味して3A検波に用いる検波値を算出することで、所望の被写体ではない保護フレーム体300の影響を除外した検波値を導出可能である。よって、無人航空機100は撮像範囲における意図しない一部の領域(例えば保護フレーム310がある領域)にフォーカスしたり、この領域を基準として明るさやホワイトバランスを調整したりすることを抑制できる。
As a result, the unmanned
また、無人航空機100は、撮像部220を保護フレーム体300が包囲することで、撮像部220への外部からの衝撃に対する耐性を向上できる。また、無人航空機100は、高精度な3A検波の検波値を得ることができるので、撮像部220による撮像制御を高精度に実施でき、点検作業に支障が出ることを抑制できる。このように、無人航空機100の外部からの衝撃に対して撮像部220を十分に保護可能であり、撮像画像に基づく画像の検波精度を向上でき、画質の低下を抑制できる。
Further, in the unmanned
また、カメラプロセッサ11(第3の制御部の一例)は、3A検波の検波値に基づいて、撮像部220による撮像を制御してよい。これにより、無人航空機100は、保護フレーム310の影響を除外した検波値を用いることで、撮像部220の撮像範囲における意図しない一部の領域にフォーカスしたり、この領域を基準として明るさやホワイトバランスを調整したりすることを抑制できる。
Further, the camera processor 11 (an example of the third control unit) may control the image pickup by the
また、カメラプロセッサ11は、3A検波の検波値に基づいて、撮像部220のレンズ群34のレンズ、シャッタ12、絞り33、NDフィルタ32(減光フィルタの一例)、及び画像処理部14による3A検波用画像G2に対する画像処理の少なくとも1つを制御してよい。これにより、無人航空機100は、撮像部220が備える各部を用いて撮像時の露光量を調整したり、焦点位置を調整したり、ホワイトバランスを調整したりできる。
Further, the
また、上記の画像処理や撮像制御を、無人航空機100が主に行ってよい。この場合、3A検波の検波値の導出や検波値に基づく撮像制御を1つの装置で行うことができ、効率的な処理を実施でき、処理時間を短縮できる。また、これらの処理を行うための装置を、無人航空機100とは別体として用意することが不要となる。なお、上記の画像処理や撮像制御を、他の装置(例えば端末80、送信機)が主に行ってもよい。
Further, the unmanned
また、無人航空機100は、保護フレーム体300が撮像部220に対して回転自在であってよい。この場合、撮像部220の撮像範囲において、保護フレーム310の位置が変化する。この場合でも、無人航空機100は、移動可能な保護フレーム310の影響を除外して、高精度な3A検波の検波値を導出できる。よって、無人航空機100は、高精度な3A検波の検波値を用いて3A制御を実施できる。したがって、無人航空機100は、保護フレーム310が動いても、3A制御の制御品質を一定に保つことができ、得られる画像の画質を一定に維持できる。例えば、無人航空機100は、保護フレーム310が回転したことによる焦点位置や露出量やホワイトバランスが急激に変化することを抑制できる。
Further, in the unmanned
図7は、保護フレーム310のフレーム色の特定例を示す図である。
FIG. 7 is a diagram showing a specific example of the frame color of the
画像処理部14は、フレーム色指定用画像G1として取得されたRGB画像G12に対して色相検波を行い、色相検波の結果に応じて、RGB画像G12の色全体に含まれる割合が小さい色を特定するための処理(フレーム色特定処理ともいう)を行う。この特定された色が、保護フレーム310のフレーム色として指定される。なお、ここではフレーム色指定用画像G1がRGB画像G12であることを例示するが、RAW画像G11であってもよい。
The
フレーム色特定処理では、画像処理部14は、RGB画像G12の各画素のRGB値をH(HUE)値(色相値)に変換する。つまり、画像処理部14は、RGB画像G12の各画素のRGB値を基に、H値(色相値)に変換する。この場合、画像処理部14は、(式1)を用いて、RGB値を基にH値を算出してよい。
In the frame color specifying process, the
つまり、画像処理部14は、R値、G値、B値が同一である場合、(式1)の1行目のように示され、H値は不定(Undefined)となる。R値、G値、B値のうちB値が最小値である場合、H値は(式1)の2行目のように示される。R値、G値、B値のうちR値が最小値である場合、H値は(式1)の3行目のように示される。R値、G値、B値のうちG値が最小値である場合、H値は(式1)の4行目のように示される。
That is, when the R value, the G value, and the B value are the same, the
画像処理部14は、RGB画像G12のRGB色空間の値から、HSV色空間の値を算出してよい。つまり、画像処理部14は、H値だけでなく、S(Saturation)値(彩度値)、V(Value)値(明度値)を算出してよい。よって、H値、S値、V値により特定される色は、図7では円柱により示されたHSV色空間におけるいずれかの位置に分布される。
The
画像処理部14は、算出されたH値を蓄積し、H値のヒストグラムである色相ヒストグラムHGを生成する。色相ヒストグラムHGは、HSV色成分で示されたRGB画像G12における各色相の画素の画素数を示す。色相ヒストグラムHGでは、横軸がH値(Hue)を示し、縦軸がそのH値となる画素の画素数(Cnt)を示す。色相ヒストグラムHGにより、どの色相の画素数が多く、どの色相の画素数が少ないかが認識可能である。
The
画像処理部14は、色相ヒストグラムHGを参照し、画素数が閾値th以下の色相を特定する。なお、画素数が閾値th以下には、RGB画像G12の全画素数に依存せずに所定の画素数が閾値th以下であることを含んでよいし、RGB画像G12の全画素数に対する所定の色相の割合が閾値th以下であることを含んでよい。よって、RGB画像G12において絶対的な画素数の少ない色(色相)やRGB画像G12において相対的な画素数の少ない色が特定される。つまり、画像が撮像されたシーンにおいて少ない色が特定される。
The
画像処理部14は、例えば、色相ヒストグラムHG2に示すように、画素数が最小である色相(H_frame)を特定する。画像処理部14は、この特定された色を、保護フレーム体300の保護フレーム310の新たな色に指定する。
The
このように、画像処理部14は、3A検波用画像G2の前に、3A検波用画像G2と同じシーンが撮像されたフレーム色指定用画像G1(第2の画像の一例)を取得してよい。画像処理部14は、フレーム色指定用画像G1の色全体に含まれる割合が小さい第1の色(例えばH_frame)を特定してよい。
In this way, the
これにより、無人航空機100は、撮像部220による3A検波用画像G2の取得の前に、フレーム色指定用画像G1を取得するという簡単な動作を追加するだけで、シーンにない新たなフレーム色を容易に特定できる。また、無人航空機100は、撮像部220により動画のような連続的な画像シーケンスを得る場合には、一連の画像シーケンス内において、異なる画像フレームを用いて、保護フレーム310の色の指定と保護フレーム310の影響を抑制した3A検波とを実施できる。画像シーケンスは、時系列に並ぶ複数の画像フレームを有する。
As a result, the unmanned
また、画像処理部14は、フレーム色指定用画像G1に対して色相検波してよい。画像処理部14は、色相検波によりフレーム色指定用画像G1において各色相の画素の画素数を示す色相ヒストグラムHGを算出してよい。画像処理部14は、色相ヒストグラムHGにおいて画素数が閾値th以下の色相に相当する第1の色を特定してよい。
Further, the
これにより、無人航空機100は、色相検波の実施や色相ヒストグラムHGの生成という容易な処理により、撮像シーンに少ない色を特定でき、特定された色を保護フレーム310の新たな色に指定できる。
As a result, the unmanned
また、フレーム色指定用画像G1は、撮像部220により撮像されたRAW画像G11を基に変換されたRGB画像G12でよい。これにより、RAW画像G11を用いるよりもより高精度に、撮像シーンに含まれる色成分が少ない色を特定できる。また、RGBからHSVへの変換は汎用性が高く、実施し易い。なお、フレーム色指定用画像G1として、RAW画像G11が用いられてもよい。
Further, the frame color designation image G1 may be an RGB image G12 converted based on the RAW image G11 captured by the
次に、保護フレーム体300を加味した3A検波について説明する。
図8は、保護フレーム310を加味した自動焦点制御用の検波例を示す図である。
Next, 3A detection including the
FIG. 8 is a diagram showing an example of detection for automatic focus control in which the
自動焦点制御用の検波は、3A検波用画像G2を用いて行われる。3A検波用画像G2は、RAW画像G21である。 The detection for automatic focus control is performed using the image G2 for 3A detection. The 3A detection image G2 is a RAW image G21.
画像処理部14は、RAW画像G21に対して高周波成分を抽出し、エッジ画像G3を生成する。つまり、画像処理部14は、RAW画像G21をHPF(High Pass Filter)に通し、遮断周波数より高い周波数成分をほぼ減衰させず、遮断周波数より低い周波数成分を低減させる。エッジ画像G3では、高周波成分(つまりエッジ、輪郭)が強調される。図8では、エッジ画像G3において、被写体としての〇,△,□、及び保護フレーム310の輪郭が示されている。
The
画像処理部14は、RAW画像G21の各画素から保護フレーム310の画素を抽出する。この場合、画像処理部14は、RAW画像G21が撮像された際の保護フレーム310の色の画素を抽出する。保護フレーム310の色の画素の領域が、マスク領域MRとなる。
The
画像処理部14は、エッジ画像G3からマスク領域MRを減算し、マスク領域MRが除外されたAF検波用画像G4を生成する。図8では、AF検波用画像G4において、被写体としての〇,△,□の輪郭が示されている。画像処理部14は、AF検波用画像G4に対して自動焦点制御を行うための検波(AF検波)を行い、AF検波の検波値を算出する。つまり、AF検波では高周波成分が検波され、フォーカスが合わせやすいようにがされている。
The
このように、画像処理部14は、3A検波用画像G2の高周波成分を抽出したエッジ画像G3(第3の画像の一例)を生成してよい。画像処理部14は、エッジ画像G3から、3A検波用画像G2における変更後の保護フレーム310の色(第1の色の一例)の成分を減算して、AF検波用画像G4(第4の画像の一例)を生成してよい。画像処理部14は、AF検波用画像G4に対して自動焦点制御に用いられる検波値を算出してよい。
In this way, the
AF検波のための高周波成分の抽出では、エッジが際立つため、保護フレーム310のような線状の部材が抽出され易く、AF検波の検波値に影響を与えやすい。これに対し、無人航空機100は、3A検波用画像G2の高周波成分(画像のエッジ部分)について、色を基準に保護フレーム体300の影響を抑制でき、自動焦点制御の精度を向上できる。
In the extraction of the high frequency component for AF detection, since the edge is conspicuous, a linear member such as the
図9は、保護フレーム310を加味した自動露出制御用又は自動ホワイトバランス制御用の検波例を示す図である。
FIG. 9 is a diagram showing an example of detection for automatic exposure control or automatic white balance control in which the
自動露出制御用又は自動ホワイトバランス制御用の検波は、3A検波用画像G2を用いて行われる。3A検波用画像G2は、RAW画像G21である。 Detection for automatic exposure control or automatic white balance control is performed using the 3A detection image G2. The 3A detection image G2 is a RAW image G21.
画像処理部14は、RAW画像G21の各画素から保護フレーム310の画素を抽出する。この場合、画像処理部14は、RAW画像G21が撮像された際の保護フレーム310の色の画素を抽出する。保護フレーム310の色の画素の領域が、マスク領域MRとなる。
The
画像処理部14は、RAW画像G21からマスク領域MRを減算し、マスク領域MRが除外されたAE/AWB検波用画像G5を生成する。図9では、AE/AWB検波用画像G5において、被写体としての〇,△,□が示されている。画像処理部14は、AE/AWB検波用画像G5に対して自動露出制御を行うための検波(AE検波)を行い、AE検波の検波値を算出する。画像処理部14は、AE/AWB検波用画像G5に対して自動ホワイトバランス制御を行うための検波(AWB検波)を行い、AWB検波の検波値を算出する。AE/AWB検波は、AE検波及びAWB検波の少なくとも1つを示す。
The
このように、画像処理部14は、3A検波用画像G2から、3A検波用画像G2における変更後の保護フレーム310の色(第1の色の一例)の成分を減算してAE/AWB検波用画像G5(第5の画像の一例)を生成してよい。画像処理部14は、AE/AWB検波用画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出してよい。
In this way, the
これにより、無人航空機100は、3A検波用画像G2について、色を基準に保護フレーム体300の影響を抑制でき、自動露出制御及び自動ホワイトバランス制御の少なくとも一方の精度を向上できる。
As a result, the unmanned
図10は、無人航空機100による動作例を示すフローチャートである。
FIG. 10 is a flowchart showing an operation example by the unmanned
画像処理部14は、撮像部220により所定のシーンが撮像されたRAW画像G11を取得する(S11)。画像処理部14は、RAW画像G11を基に、RGB画像G12を生成する(S12)。画像処理部14は、RGB画像G12に対して色相検波し、シーン中に少ない色を特定する(S13)。保護フレーム体300の保護フレーム310を、手動又は自動で、特定された色のフレームに変更する(S14)。なお、S12は省略可能である。
The
画像処理部14は、次の画像フレームのRAW画像G21を取得する(S15)。このRAW画像G21の撮像シーンは、S11で得られたRAW画像G11の撮像シーンと同じである。画像処理部14は、RAW画像G21における保護フレーム体300の保護フレーム310の領域をマスク領域MRとして除外し、3A検波の検波値を算出する(S16)。具体的には、画像処理部14は、AF検波の検波値、AE検波の検波値、及びAWB検波の検波値の少なくとも1つを算出する。
The
カメラプロセッサ11は、算出された3A検波の検波値に基づいて、撮像部220を制御する(S17)。例えば、カメラプロセッサ11は、撮像部220のシャッタ12、絞り33、及びNDフィルタ32の少なくとも1つを制御して、自動露光制御を行ってよい。カメラプロセッサ11は、撮像部220のレンズ群34のレンズを制御して、自動焦点制御を行ってよい。カメラプロセッサ11は、画像処理部14を介して3A検波用画像G2に対する画像処理を行い、自動ホワイトバランス制御を行ってよい。
The
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。 Although the present disclosure has been described above using the embodiments, the technical scope of the present disclosure is not limited to the scope described in the above-described embodiments. It will be apparent to those skilled in the art to make various changes or improvements to the embodiments described above. It is clear from the description of the claims that the form with such changes or improvements may be included in the technical scope of the present disclosure.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and step in the device, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". As long as the output of the previous process is not used in the subsequent process, it can be realized in any order. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. is not it.
上記実施形態では、撮像部220が撮像制御及び画像処理の機能を有するが、撮像部220の一部の機能を他装置や他部で分散して実施してもよい。例えば、UAV制御部110が、撮像部220が撮像制御及び画像処理の機能の少なくとも一部を行ってもよい。
In the above embodiment, the
10 飛行体システム
80 端末
81 端末制御部
83 操作部
85 通信部
87 記憶部
88 表示部
100 無人航空機
110 UAV制御部
150 通信部
160 記憶部
200 ジンバル
210 回転翼機構
220 撮像部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
300 保護フレーム体
310 保護フレーム
HG,HG2 色相ヒストグラム
G1 フレーム色指定用画像
G11 RAW画像
G12 RGB画像
G2 3A検波用画像
G21 RAW画像
G22 RGB画像
G3 エッジ画像
G4 AF検波用画像
G5 AE/AWB検波用画像
10
Claims (26)
前記画像を処理する画像処理部を備え、
前記画像処理部は、
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定し、
前記フレームの色が前記第1の色の状態で前記撮像部により前記シーンが撮像された第1の画像を取得し、
前記第1の画像と前記第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出する、
画像処理装置。 An image processing device that processes an image captured by an imaging unit included in an air vehicle surrounded by a frame body.
An image processing unit for processing the image is provided.
The image processing unit
A first color having a small proportion of the total color of the scene imaged by the imaging unit in a state where the frame color of the frame body is a predetermined color is specified.
When the color of the frame is the first color, the first image in which the scene is captured by the imaging unit is acquired.
Based on the first image and the first color, a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control is calculated.
Image processing device.
前記第1の画像の前に、前記シーンが撮像された第2の画像を取得し、
前記第2の画像の色全体に含まれる割合が小さい前記第1の色を特定する、
請求項1に記載の画像処理装置。 The image processing unit
Prior to the first image, a second image in which the scene was captured was acquired.
Identifying the first color, which is less contained in the overall color of the second image.
The image processing apparatus according to claim 1.
前記第2の画像に対して色相検波し、
色相検波により前記第2の画像において各色相の画素の画素数を示す色相ヒストグラムを算出し、
前記色相ヒストグラムにおいて前記画素数が閾値以下の色相に相当する前記第1の色を特定する、
請求項2に記載の画像処理装置。 The image processing unit
Hue detection was performed on the second image,
A hue histogram showing the number of pixels of each hue in the second image is calculated by hue detection.
In the hue histogram, the first color corresponding to the hue whose number of pixels is equal to or less than the threshold value is specified.
The image processing apparatus according to claim 2.
請求項2又は3に記載の画像処理装置。 The second image is an RGB image converted based on the captured image captured by the imaging unit.
The image processing apparatus according to claim 2 or 3.
請求項1〜4のいずれか1項に記載の画像処理装置。 A first control unit for presenting the information of the first color is further provided.
The image processing apparatus according to any one of claims 1 to 4.
発光部の発光を制御し、前記フレーム体の前記フレームの色を前記第1の色に変更する第2の制御部、を更に備える、
請求項1〜4のいずれか1項に記載の画像処理装置。 The frame body has a light emitting portion capable of emitting light in a plurality of colors.
A second control unit that controls the light emission of the light emitting unit and changes the color of the frame of the frame body to the first color is further provided.
The image processing apparatus according to any one of claims 1 to 4.
前記第1の画像の高周波成分を抽出した第3の画像を生成し、
前記第3の画像から、前記第1の画像における前記第1の色の成分を減算して第4の画像を生成し、
前記第4の画像に対して前記自動焦点制御に用いられる前記検波値を算出する、
請求項1〜6のいずれか1項に記載の画像処理装置。 The image processing unit
A third image obtained by extracting the high frequency component of the first image is generated.
A fourth image is generated by subtracting the first color component in the first image from the third image.
The detection value used for the automatic focus control is calculated for the fourth image.
The image processing apparatus according to any one of claims 1 to 6.
前記第1の画像から、前記第1の画像における前記第1の色の成分を減算して第5の画像を生成し、
前記第5の画像に対して前記自動露出制御又は前記自動ホワイトバランス制御に用いられる前記検波値を算出する、
請求項1〜7のいずれか1項に記載の画像処理装置。 The image processing unit
A fifth image is generated by subtracting the first color component in the first image from the first image.
The detection value used for the automatic exposure control or the automatic white balance control is calculated for the fifth image.
The image processing apparatus according to any one of claims 1 to 7.
請求項1〜8のいずれか1項に記載の画像処理装置。 A third control unit that controls imaging by the imaging unit based on the detection value is further provided.
The image processing apparatus according to any one of claims 1 to 8.
請求項9に記載の画像処理装置。 The third control unit controls at least one of the lens, shutter, aperture, dimming filter, and image processing of the first image by the image processing unit based on the detection value. ,
The image processing apparatus according to claim 9.
請求項1〜10のいずれか1項に記載の画像処理装置。 The frame body is rotatable with respect to the imaging unit.
The image processing apparatus according to any one of claims 1 to 10.
請求項1〜11のいずれか1項に記載の画像処理装置。 The image processing device is the flying object.
The image processing apparatus according to any one of claims 1 to 11.
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、
前記フレームの色が前記第1の色の状態で前記撮像部により前記シーンが撮像された第1の画像を取得するステップと、
前記第1の画像と前記第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、
を有する画像処理方法。 It is an image processing method that processes an image captured by an imaging unit included in an air vehicle surrounded by a frame body.
A step of specifying a first color in which the frame color of the frame body is a predetermined color and the proportion of the entire color of the scene imaged by the imaging unit is small is small.
A step of acquiring a first image in which the scene is captured by the imaging unit while the color of the frame is the first color.
A step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on the first image and the first color.
Image processing method having.
前記第1の画像の前に、前記シーンが撮像された第2の画像を取得するステップと、
前記第2の画像の色全体に含まれる割合が小さい前記第1の色を特定するステップと、を含む、
請求項13に記載の画像処理方法。 The step of identifying the first color is
Prior to the first image, a step of acquiring a second image in which the scene was captured, and
A step of identifying the first color, which is contained in a small proportion of the entire color of the second image, is included.
The image processing method according to claim 13.
前記第2の画像に対して色相検波するステップと、
色相検波により前記第2の画像において各色相の画素の画素数を示す色相ヒストグラムを算出するステップと、
前記色相ヒストグラムにおいて前記画素数が閾値以下の色相に相当する前記第1の色を特定するステップと、を含む、
請求項14に記載の画像処理方法。 The step of identifying the first color is
The step of hue detection for the second image and
A step of calculating a hue histogram showing the number of pixels of each hue in the second image by hue detection, and a step of calculating a hue histogram.
Including the step of identifying the first color corresponding to the hue in which the number of pixels is equal to or less than the threshold value in the hue histogram.
The image processing method according to claim 14.
請求項14又は15に記載の画像処理方法。 The second image is an RGB image converted based on the captured image captured by the imaging unit.
The image processing method according to claim 14 or 15.
請求項13〜16のいずれか1項に記載の画像処理方法。 Further comprising the step of presenting the first color information.
The image processing method according to any one of claims 13 to 16.
前記発光部の発光を制御し、前記フレーム体の前記フレームの色を前記第1の色に変更するステップ、を更に含む、
請求項13〜16のいずれか1項に記載の画像処理方法。 The frame body has a light emitting portion capable of emitting light in a plurality of colors.
A step of controlling the light emission of the light emitting unit and changing the color of the frame of the frame body to the first color is further included.
The image processing method according to any one of claims 13 to 16.
前記第1の画像の高周波成分を抽出した第3の画像を生成するステップと、
前記第3の画像から、前記第1の画像における前記第1の色の成分を減算して第4の画像を生成するステップと、
前記第4の画像に対して前記自動焦点制御に用いられる前記検波値を算出するステップと、を含む、
請求項13〜18のいずれか1項に記載の画像処理方法。 The step of calculating the detection value is
A step of generating a third image obtained by extracting a high frequency component of the first image, and
A step of subtracting the first color component in the first image from the third image to generate a fourth image.
The fourth image includes a step of calculating the detection value used for the automatic focus control.
The image processing method according to any one of claims 13 to 18.
前記第1の画像から、前記第1の画像における前記第1の色の成分を減算して第5の画像を生成するステップと、
前記第5の画像に対して前記自動露出制御又は前記自動ホワイトバランス制御に用いられる前記検波値を算出するステップと、を含む、
請求項13〜19のいずれか1項に記載の画像処理方法。 The step of calculating the detection value is
A step of subtracting the component of the first color in the first image from the first image to generate a fifth image.
The fifth image includes a step of calculating the detection value used for the automatic exposure control or the automatic white balance control.
The image processing method according to any one of claims 13 to 19.
請求項13〜20のいずれか1項に記載の画像処理方法。 A step of controlling imaging by the imaging unit based on the detection value is further included.
The image processing method according to any one of claims 13 to 20.
請求項21に記載の画像処理方法。 The step of controlling the image pickup by the image pickup unit is a step of controlling at least one of the lens, shutter, aperture, dimming filter, and image processing of the first image of the image pickup unit based on the detection value. Including,
The image processing method according to claim 21.
請求項13〜22のいずれか1項に記載の画像処理方法。 The frame body is rotatable with respect to the imaging unit.
The image processing method according to any one of claims 13 to 22.
前記画像処理装置は、前記飛行体である、
請求項13〜23のいずれか1項に記載の画像処理方法。 The image processing method is executed by an image processing apparatus.
The image processing device is the flying object.
The image processing method according to any one of claims 13 to 23.
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、
前記フレームの色が前記第1の色の状態で前記撮像部により前記シーンが撮像された第1の画像を取得するステップと、
前記第1の画像と前記第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、
を実行させるためのプログラム。 An image processing device that processes the image captured by the image pickup unit of the flying object surrounded by the frame body.
A step of specifying a first color in which the frame color of the frame body is a predetermined color and the proportion of the entire color of the scene imaged by the imaging unit is small is small.
A step of acquiring a first image in which the scene is captured by the imaging unit while the color of the frame is the first color.
A step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on the first image and the first color.
A program to execute.
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第1の色を特定するステップと、
前記フレームの色が前記第1の色の状態で前記撮像部により前記シーンが撮像された第1の画像を取得するステップと、
前記第1の画像と前記第1の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも1つに用いられる検波値を算出するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 An image processing device that processes the image captured by the image pickup unit of the flying object surrounded by the frame body.
A step of specifying a first color in which the frame color of the frame body is a predetermined color and the proportion of the entire color of the scene imaged by the imaging unit is small is small.
A step of acquiring a first image in which the scene is captured by the imaging unit while the color of the frame is the first color.
A step of calculating a detection value used for at least one of automatic exposure control, automatic focus control, and automatic white balance control based on the first image and the first color.
A computer-readable recording medium on which the program for executing the program is recorded.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222093A JP6803960B1 (en) | 2019-12-09 | 2019-12-09 | Image processing equipment, image processing methods, programs, and recording media |
PCT/CN2020/133313 WO2021115175A1 (en) | 2019-12-09 | 2020-12-02 | Image processing apparatus, image processing method, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222093A JP6803960B1 (en) | 2019-12-09 | 2019-12-09 | Image processing equipment, image processing methods, programs, and recording media |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6803960B1 JP6803960B1 (en) | 2020-12-23 |
JP2021093593A true JP2021093593A (en) | 2021-06-17 |
Family
ID=73836023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019222093A Active JP6803960B1 (en) | 2019-12-09 | 2019-12-09 | Image processing equipment, image processing methods, programs, and recording media |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6803960B1 (en) |
WO (1) | WO2021115175A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015117003A (en) * | 2013-01-23 | 2015-06-25 | 国立大学法人 名古屋工業大学 | Land (and, possibly, water) traveling flight body with protect frame and automatic charging device |
CN107628247A (en) * | 2017-09-04 | 2018-01-26 | 佛山市道道电子科技有限公司 | A kind of new unmanned plane |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050337A (en) * | 2004-08-05 | 2006-02-16 | Sony Corp | Imaging apparatus, imaging method, and imaging control program |
JP6000133B2 (en) * | 2013-01-08 | 2016-09-28 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus, imaging system, and imaging method |
US9725170B2 (en) * | 2013-06-11 | 2017-08-08 | Ecole Polytechnique Federale De Lausanne (Epfl) | Vertical take-off and landing aerial vehicle |
JP6868789B2 (en) * | 2016-11-08 | 2021-05-12 | ソニーグループ株式会社 | Image transfer device, image transfer method, program, moving image generation system |
EP3450310A1 (en) * | 2017-09-05 | 2019-03-06 | Flyability SA | Unmanned aerial vehicle with protective outer cage |
CN110217400A (en) * | 2019-04-28 | 2019-09-10 | 戴成伟 | A kind of patrol unmanned machine of interior anticollision industry |
-
2019
- 2019-12-09 JP JP2019222093A patent/JP6803960B1/en active Active
-
2020
- 2020-12-02 WO PCT/CN2020/133313 patent/WO2021115175A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015117003A (en) * | 2013-01-23 | 2015-06-25 | 国立大学法人 名古屋工業大学 | Land (and, possibly, water) traveling flight body with protect frame and automatic charging device |
CN107628247A (en) * | 2017-09-04 | 2018-01-26 | 佛山市道道电子科技有限公司 | A kind of new unmanned plane |
Also Published As
Publication number | Publication date |
---|---|
WO2021115175A1 (en) | 2021-06-17 |
JP6803960B1 (en) | 2020-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11649052B2 (en) | System and method for providing autonomous photography and videography | |
CN107205111B (en) | Image pickup apparatus, mobile apparatus, image pickup system, image pickup method, and recording medium | |
US20210075953A1 (en) | Imaging apparatus, unmanned moving object, imaging method, system, and program | |
JP2019110462A (en) | Control device, system, control method, and program | |
WO2020011230A1 (en) | Control device, movable body, control method, and program | |
WO2018214401A1 (en) | Mobile platform, flying object, support apparatus, portable terminal, method for assisting in photography, program and recording medium | |
JP2019216343A (en) | Determination device, moving body, determination method, and program | |
JP2021096865A (en) | Information processing device, flight control instruction method, program, and recording medium | |
JP7501535B2 (en) | Information processing device, information processing method, and information processing program | |
JP6790318B2 (en) | Unmanned aerial vehicles, control methods, and programs | |
JP6803960B1 (en) | Image processing equipment, image processing methods, programs, and recording media | |
US20210092306A1 (en) | Movable body, image generation method, program, and recording medium | |
WO2021115192A1 (en) | Image processing device, image processing method, program and recording medium | |
WO2018123013A1 (en) | Controller, mobile entity, control method, and program | |
JP6790206B1 (en) | Control devices, control methods, programs, and recording media | |
JP6641574B1 (en) | Determination device, moving object, determination method, and program | |
JP2019212961A (en) | Mobile unit, light amount adjustment method, program, and recording medium | |
CN112313942A (en) | Control device for image processing and frame body control | |
WO2021026754A1 (en) | Focus control method and apparatus for photography apparatus, and unmanned aircraft | |
WO2020011198A1 (en) | Control device, movable component, control method, and program | |
JP2021033177A (en) | Adapter, imaging apparatus, support mechanism, and moving object | |
JP2021027409A (en) | Control apparatus, imaging apparatus, mobile body, control method, and program | |
CN111373735A (en) | Shooting control method, movable platform and storage medium | |
JP2021193412A (en) | Device, imaging device, imaging system, and mobile object | |
JP6569157B1 (en) | Control device, imaging device, moving object, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6803960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |