JP2020522002A - 移動ターゲットを認識、追跡、および合焦するための方法及びシステム - Google Patents
移動ターゲットを認識、追跡、および合焦するための方法及びシステム Download PDFInfo
- Publication number
- JP2020522002A JP2020522002A JP2019563569A JP2019563569A JP2020522002A JP 2020522002 A JP2020522002 A JP 2020522002A JP 2019563569 A JP2019563569 A JP 2019563569A JP 2019563569 A JP2019563569 A JP 2019563569A JP 2020522002 A JP2020522002 A JP 2020522002A
- Authority
- JP
- Japan
- Prior art keywords
- target
- moving target
- distance
- imaging device
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims abstract description 89
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 238000010801 machine learning Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 28
- 230000033001 locomotion Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000013016 damping Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001494479 Pecora Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/66—Sonar tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Radar Systems Or Details Thereof (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
[項目1]
移動ターゲットを認識、追跡、および合焦するための方法であって、
撮像デバイスに対して移動する上記移動ターゲットを認識するステップと、
上記移動ターゲットを追跡するステップと、
上記撮像デバイスから上記移動ターゲットまでの距離を決定するステップと
を含む方法。
[項目2]
上記決定された距離に基づいて上記移動ターゲットに合焦するステップをさらに含む、項目1に記載の方法。
[項目3]
上記移動ターゲットを認識するステップが深層機械学習のニューラルネットワークによって行われる、項目1に記載の方法。
[項目4]
上記ニューラルネットワークが1つまたは複数の畳込み層を含む、項目3に記載の方法。
[項目5]
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目3に記載の方法。
[項目6]
上記撮像デバイスが可動物体に設置される、項目1に記載の方法。
[項目7]
上記移動ターゲットを追跡するステップが、上記可動物体の推進デバイスを制御することによって行われる、項目6に記載の方法。
[項目8]
上記距離を決定するステップがレーザ測定デバイスによって行われる、項目1に記載の方法。
[項目9]
上記距離を決定するステップが超音波測定デバイスによって行われる、項目1に記載の方法。
[項目10]
上記移動ターゲットに合焦するステップが、上記撮像デバイスの焦点距離を調整することによって行われる、項目2に記載の方法。
[項目11]
上記移動ターゲットが、複数の移動ターゲットのうちの1つまたは複数である、項目1に記載の方法。
[項目12]
移動ターゲットを認識、追跡、および合焦するためのシステムであって、
制御装置を備え、上記制御装置が、1つまたは複数のプロセッサを有し、
撮像デバイスに対して移動する上記移動ターゲットを認識すること、
上記移動ターゲットを追跡すること、および
上記撮像デバイスから上記移動ターゲットまでの距離を決定すること
を行うように構成される、システム。
[項目13]
上記制御装置が、上記決定された距離に基づいて上記移動ターゲットに合焦するようにさらに構成される、項目12に記載のシステム。
[項目14]
上記移動ターゲットの認識が深層機械学習のニューラルネットワークによって行われる、項目12に記載のシステム。
[項目15]
上記ニューラルネットワークが1つまたは複数の畳込み層を含む、項目14に記載のシステム。
[項目16]
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目14に記載のシステム。
[項目17]
上記撮像デバイスが可動物体に設置される、項目12に記載のシステム。
[項目18]
上記移動ターゲットを追跡することが、上記可動物体の推進デバイスを制御することによって行われる、項目17に記載のシステム。
[項目19]
上記距離を決定することがレーザ測定デバイスによって行われる、項目12に記載のシステム。
[項目20]
上記距離を決定することが超音波測定デバイスによって行われる、項目12に記載のシステム。
[項目21]
上記制御装置が、上記撮像デバイスの焦点距離を調整するようにさらに構成される、項目13に記載のシステム。
[項目22]
上記移動ターゲットが、複数の移動ターゲットの1つまたは複数である、項目12に記載のシステム。
[項目23]
複数のデバイスと通信し、移動ターゲットを認識、追跡、および合焦するように構成された制御装置を備える無人航空機(UAV)システムであって、上記制御装置が、1つまたは複数のプロセッサを備え、上記プロセッサが、
撮像デバイスに対して移動する上記移動ターゲットを認識すること、
上記移動ターゲットを追跡すること、および
上記撮像デバイスから上記移動ターゲットまでの距離を決定すること
を行うように構成される、無人航空機(UAV)システム。
[項目24]
上記制御装置が、上記決定された距離に基づいて上記移動ターゲットに合焦するようにさらに構成される、項目23に記載のUAV。
[項目25]
上記移動ターゲットを認識することが深層機械学習のニューラルネットワークによって行われる、項目23に記載のUAV。
[項目26]
上記ニューラルネットワークが1つまたは複数の畳込み層を含む、項目25に記載のUAV。
[項目27]
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目25に記載のUAV。
[項目28]
上記距離を決定することがレーザ測定デバイスによって行われる、項目23に記載のUAV。
[項目29]
上記制御装置が、上記撮像デバイスの焦点距離を調整するようにさらに構成される、項目24に記載のUAV。
[項目30]
実行されるときに、移動ターゲットを認識、追跡、合焦するための方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体であって、上記方法が、
撮像デバイスに対して移動する上記移動ターゲットを認識するステップと、
上記移動ターゲットを追跡するステップと、
上記撮像デバイスから上記移動ターゲットまでの距離を決定するステップと
を含む、非一時的なコンピュータ可読媒体。
Claims (30)
- 移動ターゲットを認識、追跡、および合焦するための方法であって、
撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、
前記移動ターゲットを追跡するステップと、
前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップと
を含む方法。 - 前記決定された距離に基づいて前記移動ターゲットに合焦するステップをさらに含む、請求項1に記載の方法。
- 前記移動ターゲットを認識するステップが深層機械学習のニューラルネットワークによって行われる、請求項1に記載の方法。
- 前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項3に記載の方法。
- 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項3に記載の方法。
- 前記撮像デバイスが可動物体に設置される、請求項1に記載の方法。
- 前記移動ターゲットを追跡するステップが、前記可動物体の推進デバイスを制御することによって行われる、請求項6に記載の方法。
- 前記距離を決定するステップがレーザ測定デバイスによって行われる、請求項1に記載の方法。
- 前記距離を決定するステップが超音波測定デバイスによって行われる、請求項1に記載の方法。
- 前記移動ターゲットに合焦するステップが、前記撮像デバイスの焦点距離を調整することによって行われる、請求項2に記載の方法。
- 前記移動ターゲットが、複数の移動ターゲットのうちの1つまたは複数である、請求項1に記載の方法。
- 移動ターゲットを認識、追跡、および合焦するためのシステムであって、
制御装置を備え、前記制御装置が、1つまたは複数のプロセッサを有し、
撮像デバイスに対して移動する前記移動ターゲットを認識すること、
前記移動ターゲットを追跡すること、および
前記撮像デバイスから前記移動ターゲットまでの距離を決定すること
を行うように構成される、システム。 - 前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項12に記載のシステム。
- 前記移動ターゲットの認識が深層機械学習のニューラルネットワークによって行われる、請求項12に記載のシステム。
- 前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項14に記載のシステム。
- 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項14に記載のシステム。
- 前記撮像デバイスが可動物体に設置される、請求項12に記載のシステム。
- 前記移動ターゲットを追跡することが、前記可動物体の推進デバイスを制御することによって行われる、請求項17に記載のシステム。
- 前記距離を決定することがレーザ測定デバイスによって行われる、請求項12に記載のシステム。
- 前記距離を決定することが超音波測定デバイスによって行われる、請求項12に記載のシステム。
- 前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項13に記載のシステム。
- 前記移動ターゲットが、複数の移動ターゲットの1つまたは複数である、請求項12に記載のシステム。
- 複数のデバイスと通信し、移動ターゲットを認識、追跡、および合焦するように構成された制御装置を備える無人航空機(UAV)システムであって、前記制御装置が、1つまたは複数のプロセッサを備え、前記プロセッサが、
撮像デバイスに対して移動する前記移動ターゲットを認識すること、
前記移動ターゲットを追跡すること、および
前記撮像デバイスから前記移動ターゲットまでの距離を決定すること
を行うように構成される、無人航空機(UAV)システム。 - 前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項23に記載のUAV。
- 前記移動ターゲットを認識することが深層機械学習のニューラルネットワークによって行われる、請求項23に記載のUAV。
- 前記ニューラルネットワークが1つまたは複数の畳込み層を含む、請求項25に記載のUAV。
- 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項25に記載のUAV。
- 前記距離を決定することがレーザ測定デバイスによって行われる、請求項23に記載のUAV。
- 前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項24に記載のUAV。
- 実行されるときに、移動ターゲットを認識、追跡、合焦するための方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体であって、前記方法が、
撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、
前記移動ターゲットを追跡するステップと、
前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップと
を含む、非一時的なコンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/086948 WO2018218640A1 (en) | 2017-06-02 | 2017-06-02 | Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020522002A true JP2020522002A (ja) | 2020-07-27 |
Family
ID=64454310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563569A Pending JP2020522002A (ja) | 2017-06-02 | 2017-06-02 | 移動ターゲットを認識、追跡、および合焦するための方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11006033B2 (ja) |
EP (1) | EP3613208A4 (ja) |
JP (1) | JP2020522002A (ja) |
CN (1) | CN109479088A (ja) |
WO (1) | WO2018218640A1 (ja) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9758246B1 (en) * | 2016-01-06 | 2017-09-12 | Gopro, Inc. | Systems and methods for adjusting flight control of an unmanned aerial vehicle |
CN110235026A (zh) * | 2017-01-26 | 2019-09-13 | 御眼视觉技术有限公司 | 基于对齐的图像和激光雷达信息的车辆导航 |
US10491824B2 (en) | 2017-09-26 | 2019-11-26 | Gopro, Inc. | Combined mechanical and electronic image stabilization |
US11496684B2 (en) | 2017-12-11 | 2022-11-08 | Gopro, Inc. | Combined mechanical and electronic image stabilization |
US10678238B2 (en) * | 2017-12-20 | 2020-06-09 | Intel IP Corporation | Modified-reality device and method for operating a modified-reality device |
US10827123B1 (en) | 2018-01-05 | 2020-11-03 | Gopro, Inc. | Modular image capture systems |
US11747481B2 (en) * | 2018-07-20 | 2023-09-05 | The Boeing Company | High performance three dimensional light detection and ranging (LIDAR) system for drone obstacle avoidance |
US11601587B2 (en) * | 2018-09-09 | 2023-03-07 | Viewnetic Ltd. | System and method for monitoring plants in plant growing areas |
US10855926B2 (en) * | 2018-12-06 | 2020-12-01 | Heimavista Inc. | Automatic object tracking system and automatic object tracking method |
US11159734B2 (en) * | 2018-12-06 | 2021-10-26 | Heimavista Inc. | Automatic object tracking system and automatic object tracking method |
CN109765939A (zh) * | 2018-12-21 | 2019-05-17 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 无人机的云台控制方法、装置和存储介质 |
US11919124B2 (en) * | 2018-12-28 | 2024-03-05 | Ebara Corporation | Pad-temperature regulating apparatus, method of regulating pad-temperature, polishing apparatus, and polishing system |
CN109831622B (zh) * | 2019-01-03 | 2021-06-22 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN109934848B (zh) * | 2019-03-07 | 2023-05-23 | 贵州大学 | 一种基于深度学习的运动物体精准定位的方法 |
CN110133663B (zh) * | 2019-05-08 | 2023-03-10 | 西安联丰迅声信息科技有限责任公司 | 一种分布式声像联合校准定位方法 |
CN110147122A (zh) * | 2019-06-14 | 2019-08-20 | 深圳市道通智能航空技术有限公司 | 一种移动目标的追踪方法、装置及无人机 |
JP7408303B2 (ja) * | 2019-06-18 | 2024-01-05 | 株式会社ミツトヨ | 測定装置 |
CN110232371B (zh) * | 2019-06-24 | 2021-08-31 | 北京理工大学 | 基于小样本的高精度hrrp雷达多目标识别方法 |
KR102239134B1 (ko) * | 2019-06-28 | 2021-04-12 | (주)스마트모션 | 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템 |
CN112154654A (zh) * | 2019-08-21 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 比赛拍摄方法、电子设备、无人机与存储介质 |
WO2021077270A1 (zh) * | 2019-10-21 | 2021-04-29 | 深圳市大疆创新科技有限公司 | 一种获取目标距离的方法、控制装置及移动平台 |
WO2021081808A1 (zh) * | 2019-10-30 | 2021-05-06 | 深圳市大疆创新科技有限公司 | 基于人工神经网络的物体检测的***及方法 |
CN110992731B (zh) * | 2019-12-12 | 2021-11-05 | 苏州智加科技有限公司 | 基于激光雷达的3d车辆检测方法、装置及存储介质 |
CN111136648B (zh) * | 2019-12-27 | 2021-08-27 | 深圳市优必选科技股份有限公司 | 一种移动机器人的定位方法、定位装置及移动机器人 |
KR20210094798A (ko) * | 2020-01-22 | 2021-07-30 | 한화테크윈 주식회사 | 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성 |
CN111539991B (zh) * | 2020-04-28 | 2023-10-20 | 北京市商汤科技开发有限公司 | 目标跟踪方法及装置、存储介质 |
CN113671981A (zh) * | 2020-05-14 | 2021-11-19 | 北京理工大学 | 远程激光制导飞行器控制***及其控制方法 |
US11758272B2 (en) * | 2020-06-02 | 2023-09-12 | Intelligent Fusion Technology, Inc. | Apparatus and method for target detection and localization |
WO2022015238A1 (en) * | 2020-07-15 | 2022-01-20 | Singapore University Of Technology And Design | Aerial vehicle and method of forming the same, method of determining dimension of object |
CN112040128A (zh) * | 2020-09-03 | 2020-12-04 | 浙江大华技术股份有限公司 | 工作参数的确定方法及装置、存储介质、电子装置 |
WO2022077113A1 (en) * | 2020-10-14 | 2022-04-21 | One Cup Productions Ltd. | Animal visual identification, tracking, monitoring and assessment systems and methods thereof |
CN111935412B (zh) * | 2020-10-19 | 2021-04-13 | 广东科凯达智能机器人有限公司 | 一种巡检目标自动识别跟踪的方法、***及机器人 |
CN112307921B (zh) * | 2020-10-22 | 2022-05-17 | 桂林电子科技大学 | 一种车载端多目标识别跟踪预测方法 |
CN112312113B (zh) * | 2020-10-29 | 2022-07-15 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和*** |
CN112822469B (zh) * | 2020-12-31 | 2022-04-12 | 广景视睿科技(深圳)有限公司 | 一种自动对焦投影方法及*** |
CN112926382B (zh) * | 2021-01-08 | 2022-06-24 | 浙江大学 | 一种改善目标聚类特性的深度学习激光水下目标识别仪 |
US11611707B2 (en) * | 2021-05-24 | 2023-03-21 | Anduril Industries, Inc. | Auto-focus tracking for remote flying targets |
US11606492B2 (en) | 2021-05-24 | 2023-03-14 | Anduril Industries, Inc. | Auto-focus acquisition for remote flying targets |
CN115412652B (zh) * | 2021-05-26 | 2024-03-22 | 哈尔滨工业大学(深圳) | 用于无人售货机的图像数据采集装置和方法 |
JP2023003033A (ja) * | 2021-06-23 | 2023-01-11 | キヤノン株式会社 | 電子機器および電子機器の制御方法 |
CN113608232B (zh) * | 2021-06-30 | 2024-06-04 | 湖南宏动光电有限公司 | 一种激光动态扫描测距方法及*** |
CN113610924B (zh) * | 2021-10-09 | 2021-12-17 | 中南大学 | 顾及地形效应的线性逼近高精度坐标反算方法、设备和介质 |
CN113920197A (zh) * | 2021-10-18 | 2022-01-11 | 山东新一代信息产业技术研究院有限公司 | 一种激光雷达辅助摄像机自动调焦聚焦的方法 |
CN114363599A (zh) * | 2022-02-24 | 2022-04-15 | 北京蜂巢世纪科技有限公司 | 基于电子变焦的追焦距方法、***、终端及存储介质 |
CN114463686B (zh) * | 2022-04-11 | 2022-06-17 | 西南交通大学 | 基于复杂背景下的移动目标检测方法和*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
JP2000172997A (ja) * | 1998-12-03 | 2000-06-23 | Hitachi Ltd | 走行環境認識装置 |
JP2004040514A (ja) * | 2002-07-04 | 2004-02-05 | Nippon Hoso Kyokai <Nhk> | 自動追尾撮像装置及び自動追尾撮像方法 |
JP2004265432A (ja) * | 2004-04-05 | 2004-09-24 | Hitachi Ltd | 走行環境認識装置 |
JP2013149175A (ja) * | 2012-01-22 | 2013-08-01 | Suzuki Motor Corp | オプティカルフロー処理装置及び表示半径マップ生成装置 |
JP2015005799A (ja) * | 2013-06-19 | 2015-01-08 | キヤノン株式会社 | 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体 |
JP2016191979A (ja) * | 2015-03-30 | 2016-11-10 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
JP2017076193A (ja) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | 脳活動解析装置、脳活動解析方法および脳活動解析プログラム |
WO2017066927A1 (en) * | 2015-10-20 | 2017-04-27 | SZ DJI Technology Co., Ltd. | Systems, methods, and devices for setting camera parameters |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8244469B2 (en) * | 2008-03-16 | 2012-08-14 | Irobot Corporation | Collaborative engagement for target identification and tracking |
CN102396002B (zh) * | 2009-04-15 | 2015-07-08 | 丰田自动车株式会社 | 目标探测装置 |
CN101790048B (zh) * | 2010-02-10 | 2013-03-20 | 深圳先进技术研究院 | 智能摄像***及方法 |
JP2014081420A (ja) * | 2012-10-15 | 2014-05-08 | Olympus Imaging Corp | 追尾装置及びその方法 |
WO2014194345A1 (en) | 2013-01-30 | 2014-12-11 | Newsouth Innovations Pty Limited | Real-time rotation, shift, scale and skew visual recognition system |
DE102013224704A1 (de) * | 2013-12-03 | 2015-06-03 | Robert Bosch Gmbh | Verfahren zur automatischen Fokussierung einer Kamera |
EP3172589B1 (en) * | 2014-07-25 | 2019-03-27 | Robert Bosch GmbH | Method for mitigating radar sensor limitations with video camera input for active braking for pedestrians |
CN105518555B (zh) * | 2014-07-30 | 2017-11-03 | 深圳市大疆创新科技有限公司 | 目标追踪***及方法 |
US20160224703A1 (en) * | 2015-01-30 | 2016-08-04 | AgriSight, Inc. | Growth stage determination system and method |
CN204859351U (zh) * | 2015-03-31 | 2015-12-09 | 深圳市莫孚康技术有限公司 | 基于视频目标跟踪的自动跟焦装置 |
CN104766481A (zh) * | 2015-04-29 | 2015-07-08 | 深圳市保千里电子有限公司 | 一种无人机进行车辆跟踪的方法及*** |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及*** |
CN104796672B (zh) * | 2015-05-09 | 2018-04-20 | 合肥工业大学 | 一种无人机应急监控云台装置 |
CN107209854A (zh) * | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的***和方法 |
CN105391939B (zh) * | 2015-11-04 | 2017-09-29 | 腾讯科技(深圳)有限公司 | 无人机拍摄控制方法和装置、无人机拍摄方法和无人机 |
CN105391927A (zh) * | 2015-12-11 | 2016-03-09 | 天津十彩动画科技有限公司 | 具有自动追踪定位功能的3d摄影机 |
CN105744163B (zh) * | 2016-02-23 | 2019-01-25 | 湖南拓视觉信息技术有限公司 | 一种基于深度信息跟踪对焦的摄像机及摄像方法 |
CN106249267A (zh) * | 2016-09-30 | 2016-12-21 | 南方科技大学 | 一种目标定位追踪方法和装置 |
CN106603914B (zh) * | 2016-12-14 | 2020-01-14 | 山东锦程航空科技有限公司 | 一种基于光机电一体化无人机定焦***及定焦方法 |
-
2017
- 2017-06-02 JP JP2019563569A patent/JP2020522002A/ja active Pending
- 2017-06-02 EP EP17828639.9A patent/EP3613208A4/en not_active Withdrawn
- 2017-06-02 WO PCT/CN2017/086948 patent/WO2018218640A1/en unknown
- 2017-06-02 CN CN201780019445.6A patent/CN109479088A/zh active Pending
-
2018
- 2018-04-25 US US15/962,344 patent/US11006033B2/en active Active
-
2021
- 2021-04-29 US US17/244,026 patent/US11283986B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
JP2000172997A (ja) * | 1998-12-03 | 2000-06-23 | Hitachi Ltd | 走行環境認識装置 |
JP2004040514A (ja) * | 2002-07-04 | 2004-02-05 | Nippon Hoso Kyokai <Nhk> | 自動追尾撮像装置及び自動追尾撮像方法 |
JP2004265432A (ja) * | 2004-04-05 | 2004-09-24 | Hitachi Ltd | 走行環境認識装置 |
JP2013149175A (ja) * | 2012-01-22 | 2013-08-01 | Suzuki Motor Corp | オプティカルフロー処理装置及び表示半径マップ生成装置 |
JP2015005799A (ja) * | 2013-06-19 | 2015-01-08 | キヤノン株式会社 | 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体 |
JP2016191979A (ja) * | 2015-03-30 | 2016-11-10 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
JP2017076193A (ja) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | 脳活動解析装置、脳活動解析方法および脳活動解析プログラム |
WO2017066927A1 (en) * | 2015-10-20 | 2017-04-27 | SZ DJI Technology Co., Ltd. | Systems, methods, and devices for setting camera parameters |
Also Published As
Publication number | Publication date |
---|---|
US20210250490A1 (en) | 2021-08-12 |
US11283986B2 (en) | 2022-03-22 |
US11006033B2 (en) | 2021-05-11 |
CN109479088A (zh) | 2019-03-15 |
EP3613208A1 (en) | 2020-02-26 |
US20180352144A1 (en) | 2018-12-06 |
WO2018218640A1 (en) | 2018-12-06 |
EP3613208A4 (en) | 2020-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11283986B2 (en) | Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar | |
US11704812B2 (en) | Methods and system for multi-target tracking | |
US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
US20210065400A1 (en) | Selective processing of sensor data | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US11263761B2 (en) | Systems and methods for visual target tracking | |
US10447912B2 (en) | Systems, methods, and devices for setting camera parameters | |
US10914590B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
US10466718B2 (en) | Camera configuration on movable objects | |
US11310412B2 (en) | Autofocusing camera and systems | |
WO2016187760A1 (en) | Sensor fusion using inertial and image sensors | |
CN104854428A (zh) | 传感器融合 | |
JP2019050007A (ja) | 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220201 |