JP2023507940A - 密着検知カメラシステム - Google Patents
密着検知カメラシステム Download PDFInfo
- Publication number
- JP2023507940A JP2023507940A JP2022536697A JP2022536697A JP2023507940A JP 2023507940 A JP2023507940 A JP 2023507940A JP 2022536697 A JP2022536697 A JP 2022536697A JP 2022536697 A JP2022536697 A JP 2022536697A JP 2023507940 A JP2023507940 A JP 2023507940A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sensor
- lidar
- image sensor
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000004140 cleaning Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 16
- 230000008447 perception Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 230000002209 hydrophobic effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000015654 memory Effects 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 18
- 230000000295 complement effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000005043 peripheral vision Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 239000012530 fluid Substances 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 239000007921 spray Substances 0.000 description 6
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 241001441724 Tetraodontidae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0005—Devices preventing the lights from becoming dirty or damaged, e.g. protection grids or cleaning by air flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0017—Devices integrating an element dedicated to another function
- B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0029—Spatial arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【選択図】図18
Description
本出願は、2019年12月30日に出願された米国仮出願第62/954,930号の出願日の利益を主張する、2020年1月8日に出願された米国特許出願第16/737,263号の継続出願であり、これらの出願の開示内容全体は、参照により本明細書に組み込まれる。
図1Aは、ミニバン、セダン、またはスポーツユーティリティビークルなどの、乗客用車両100の斜視図を示す。図1Bは、乗客用車両100の上から見た図を示す。乗客用車両100は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋根上ハウジング102は、ライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および/または音響センサを含み得る。車両100の前端に位置するハウジング104、ならびに車両の運転者側および乗客側のハウジング106a、106bは各々、ライダーセンサおよび/または他のセンサを組み込むことができる。例えば、ハウジング106aは、車両のクォーターパネルに沿って運転者側のドアの前に位置し得る。示されるように、乗客用車両100はまた、レーダーユニット、ライダー、および/または車両の後部屋根部分にも向かって位置するカメラのための、ハウジング108a、108bを含む。他のハウジング110a、110bは、後部クォーターパネル、例えば、後部車輪の上および後ろに沿って位置し得る。
上述され、図に示された構造および構成を考慮して、様々な実装形態を、本技術の態様に従ってここで説明する。
カメラ、ライダー、レーダー、ならびに/またはその他のセンササブシステムの高度および向きは、車両上の様々なハウジングの配置、および車両のタイプに依存し得る。例えば、センサアセンブリが大型SUV(例えば、車両100)の屋根の上または上方に装着されている場合、高度は通常、アセンブリがセダンまたはスポーツカー(例えば、車両150)の屋根の上に装着されている場合よりも高くなる。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。車両上の配置を変化させることで、各ハウジング内のセンサのために好適な視野を取得することができる。これは、車両にじかに隣接する(例えば、車両から1~2メートル以内または3メートル以内の)物体を検出するため、ならびに車両からより遠い物体を検出するために、非常に重要である場合がある。駐車空間から出る前に、すぐ付近をチェックすること、保護されていない左折を行うかどうかを判断することなど、様々なシナリオで、隣接する物体および遠隔の物体を検出するための要件がある場合がある。
上記を考慮して、本技術の態様は、車両の閾値距離内にある物体のためのセンサスイートの一部として密接検知カメラシステムを提供する。このカメラシステムは、自動運転システムが車両から一定の距離内にある運転可能な物体と運転不可能な物体とを区別することができない場合に、車両が動かなくなるか(動いていないとき)または不自然に行動するのを防止するように設計されている。例として、密接検知カメラシステムは、例えば、車両から6~10メートル以内の閾値距離内にある物体についてのセンサ情報を提供するように構成されている。場合によっては、閾値距離は、車両から2~3メートル以内であってもよい。この情報は、車両の隣に立っている歩行者、車両に隣接して駐車している自転車もしくはオートバイ、およびボール、建設標識、または近くの付近にある可能性のあるその他の物体などの物体を検出および分類するのを助けるために使用される。
本技術の態様によれば、多数の異なるセンサ(例えば、ライダー、カメラ、レーダーなど)を含む統合されたセンサアセンブリを備えたハウジングは、車両に沿って様々な場所に位置し得る。図1A~図1Cは、かかる統合されたセンサアセンブリの例示的なハウジング配置を示している。上で考察されるように、各場所は、特定の視野を有する、車両のセンサからの車両の周りの特定のカバレッジを提供する。異なる配置に大きな利益(または欠点)がある可能性があるため、各センサを、ハウジングに沿って、および他のセンサに対して、配置することは重要である。センサハウジングのうちの1つ以上は、上記のように、密接検知カメラアセンブリを有し得る。いくつかの実施例について、以下で考察する。
Claims (21)
- 自律運転モードで動作するように構成された車両のための外部検知システムであって、前記外部検知システムが、
前記車両の周りの外部環境の少なくともある領域内、および前記車両の閾値距離内にある物体を検出するように構成された視野を有するライダーセンサと、
前記ライダーセンサに隣接して配設され、かつ前記車両の前記閾値距離内にある前記外部環境の前記領域の重なり合う視野を有するように前記車両に沿って配置された画像センサであって、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供する、画像センサと、
前記画像センサおよび前記ライダーセンサに動作可能に連結された制御システムと、を備え、前記制御システムが、
前記ライダーセンサの動作を開始して、前記車両の前記閾値距離内にある前記領域内のライダーデータを取得することと、
前記車両が運転行為を実施する前に、前記画像センサによる画像キャプチャを開始することと、
前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信することと、
前記ライダーデータの処理を実施して、前記車両の前記閾値距離内にある前記領域内の物体を検出することと、
前記キャプチャされたイメージの処理を実施して、前記検出された物体を分類することと、
前記検出された物体の分類に基づいて、前記車両の1つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を行うように構成された1つ以上のプロセッサを含む、外部検知システム。 - 前記検出された物体の分類が、前記検出された物体のサイズ、近接、または向きのうちの少なくとも1つを判断することを含む、請求項1に記載の外部検知システム。
- 前記画像センサが、前記検出された物体によって占められる最小閾値体積を観察するように構成されている、請求項1に記載の外部検知システム。
- 前記最小閾値体積が、前記検出された物体を包含する3D形状の少なくとも50%である、請求項3に記載の外部検知システム。
- 前記画像センサが、前記ライダーセンサから0.3メートル以内に配設されている、請求項1に記載の外部検知システム。
- 前記画像センサおよび前記ライダーセンサが、前記車両の外部表面上に配置された同じセンサハウジング内に配設されている、請求項1に記載の外部検知システム。
- 前記閾値距離が、前記車両から3メートル以内である、請求項1に記載の外部検知システム。
- 前記画像センサのレンズが、疎水性コーティングを有する、請求項1に記載の外部検知システム。
- 前記画像センサが、密接検知カメラシステムの一部であり、前記密接検知カメラシステムが、前記画像センサの前記視野を照らすように構成された少なくとも1つの照明器をさらに含む、請求項1に記載の外部検知システム。
- 前記少なくとも1つの照明器が、前記画像センサの片側に隣接して配置されている、請求項9に記載の外部検知システム。
- 前記少なくとも1つの照明器が、前記画像センサの上に配置されている、請求項9に記載の外部検知システム。
- 前記少なくとも1つの照明器が、前記画像センサの両側の上に配置された一対の照明器を備える、請求項9に記載の外部検知システム。
- 前記密接検知カメラシステムが、前記画像センサおよび/または前記少なくとも1つの照明器を洗浄するように構成された少なくとも1つの洗浄機構をさらに含む、請求項9に記載の外部検知システム。
- 前記画像センサが、前記ライダーセンサの下に垂直に位置合わせされている、請求項1に記載の外部検知システム。
- 前記画像センサが、前記ライダーセンサの上に垂直に位置合わせされている、請求項1に記載の外部検知システム。
- 自律運転モードで動作するように構成された車両であって、前記車両が、
運転システムであって、
前記車両のブレーキを制御するように構成された減速システム、
前記車両の加速を制御するように構成された加速システム、および
車輪の向きと前記車両の方向を制御するように構成されたステアリングシステム、を含む、運転システムと、
外部検知システムと、を備え、前記外部検知システムが、
前記車両の周りの外部環境の少なくともある領域内、および前記車両の閾値距離内にある物体を検出するように構成された視野を有するライダーセンサ、
前記ライダーセンサに隣接して配設され、かつ前記車両の前記閾値距離内にある前記外部環境の前記領域の重なり合う視野を有するように前記車両に沿って配置された画像センサであって、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供する、画像センサ、および
前記画像センサおよび前記ライダーセンサに動作可能に連結された制御システム、を含み、前記制御システムが、
前記ライダーセンサの動作を開始して、前記車両の前記閾値距離内にある前記領域内のライダーデータを取得すること、
前記運転システムが運転行為を実施する前に、前記画像センサによる画像キャプチャを開始すること、
前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信すること、
前記ライダーデータの処理を実施して、前記車両の前記閾値距離内にある前記領域内の物体を検出すること、
前記キャプチャされたイメージの処理を実施して、前記検出された物体を分類すること、および
前記検出された物体の分類に基づいて、前記車両の1つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を行うように構成された1つ以上のプロセッサを含む、車両。 - 前記画像センサが、前記検出された物体によって占められる最小閾値体積を観察するように構成されている、請求項16に記載の車両。
- 前記画像センサが、前記ライダーセンサから0.3メートル以内に配設されている、請求項16に記載の車両。
- 前記画像センサおよび前記ライダーセンサが、前記車両の外部表面上に配置された同じセンサハウジング内に配設されている、請求項16に記載の車両。
- 方法であって、
自律運転モードで動作するように構成された車両の制御システムによって、前記車両の知覚システムのライダーセンサの動作を開始して、前記車両の周りの領域内の閾値距離内にあるライダーデータを取得することと、
前記制御システムによって、前記車両が運転行為を実施する前に、前記知覚システムの画像センサによる画像キャプチャを開始することであって、前記画像センサが、前記ライダーセンサに隣接して配設され、かつ前記閾値距離内にある前記車両の周りの前記領域の重なり合う視野を有するように前記車両に沿って配置され、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供することと、
前記制御システムによって、前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信することと、
前記制御システムによって、前記ライダーデータを処理して、前記車両の前記閾値距離内にある前記領域内の物体を検出することと、
前記制御システムによって、前記キャプチャされたイメージを処理して、前記検出された物体を分類することと、
前記制御システムによって、前記検出された物体の分類に基づいて、前記車両の1つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を含む、方法。 - 前記検出された物体の分類が、前記検出された物体のサイズ、近接、または向きのうちの少なくとも1つを判断することを含む、請求項20に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962954930P | 2019-12-30 | 2019-12-30 | |
US62/954,930 | 2019-12-30 | ||
US16/737,263 | 2020-01-08 | ||
US16/737,263 US11557127B2 (en) | 2019-12-30 | 2020-01-08 | Close-in sensing camera system |
PCT/US2020/061260 WO2021137964A1 (en) | 2019-12-30 | 2020-11-19 | Close-in sensing camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023507940A true JP2023507940A (ja) | 2023-02-28 |
JP7454674B2 JP7454674B2 (ja) | 2024-03-22 |
Family
ID=76547020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022536697A Active JP7454674B2 (ja) | 2019-12-30 | 2020-11-19 | 密着検知カメラシステム |
Country Status (7)
Country | Link |
---|---|
US (3) | US11557127B2 (ja) |
EP (1) | EP4061683A4 (ja) |
JP (1) | JP7454674B2 (ja) |
KR (1) | KR102665624B1 (ja) |
CN (1) | CN115066360A (ja) |
CA (1) | CA3164984A1 (ja) |
WO (1) | WO2021137964A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11247616B2 (en) * | 2019-07-25 | 2022-02-15 | Ford Global Technologies, Llc | Sensor airflow apparatus |
US11453348B2 (en) * | 2020-04-14 | 2022-09-27 | Gm Cruise Holdings Llc | Polyhedral sensor calibration target for calibrating multiple types of sensors |
US11743564B2 (en) * | 2020-10-22 | 2023-08-29 | Uatc, Llc | Sensor platform for autonomous vehicles |
JP7283461B2 (ja) * | 2020-11-19 | 2023-05-30 | トヨタ自動車株式会社 | 車両制御装置 |
CN112455353A (zh) * | 2021-01-07 | 2021-03-09 | 蔚来汽车科技(安徽)有限公司 | 一种支架、支架总成、车顶装置以及车辆 |
CN112671499B (zh) * | 2021-03-16 | 2022-04-01 | 深圳安途智行科技有限公司 | 多传感器同步方法及***、以及主控制设备 |
WO2023122131A1 (en) * | 2021-12-23 | 2023-06-29 | Stoneridge Electronics Ab | Camera monitor system including integrated range sensor |
US12008681B2 (en) * | 2022-04-07 | 2024-06-11 | Gm Technology Operations Llc | Systems and methods for testing vehicle systems |
US20240059311A1 (en) * | 2022-08-18 | 2024-02-22 | Gm Cruise Holdings Llc | Automated window closure |
US20240106987A1 (en) * | 2022-09-20 | 2024-03-28 | Waymo Llc | Multi-Sensor Assembly with Improved Backward View of a Vehicle |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120265416A1 (en) * | 2009-07-27 | 2012-10-18 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
JP2017520443A (ja) * | 2014-04-16 | 2017-07-27 | ディエルエイチ・ボウルズ・インコーポレイテッドdlhBOWLES Inc. | 複数の画像センサを同時に清掃するための統合的複数画像センサ及びレンズ洗浄ノズルアセンブリ及びその方法 |
US20180244195A1 (en) * | 2017-02-24 | 2018-08-30 | Tesla, Inc. | Vehicle technologies for automated turn signaling |
JP2019158662A (ja) * | 2018-03-14 | 2019-09-19 | トヨタ自動車株式会社 | 物標認識装置及び車両走行制御システム |
US20190384313A1 (en) * | 2018-06-14 | 2019-12-19 | Waymo Llc | Camera ring structure for autonomous vehicles |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7796081B2 (en) | 1997-10-22 | 2010-09-14 | Intelligent Technologies International, Inc. | Combined imaging and distance monitoring for vehicular applications |
JP4312880B2 (ja) | 1999-06-03 | 2009-08-12 | エルベックスビデオ株式会社 | テレビカメラ |
JP4285092B2 (ja) | 2003-05-23 | 2009-06-24 | 市光工業株式会社 | カメラユニット付きアウターミラー |
WO2005088962A1 (ja) | 2004-03-16 | 2005-09-22 | Hiroshi Arisawa | 追尾装置、及びモーションキャプチャ装置 |
JP2007187618A (ja) | 2006-01-16 | 2007-07-26 | Omron Corp | 物体識別装置 |
US8330647B2 (en) * | 2006-06-08 | 2012-12-11 | Vista Research, Inc. | Sensor suite and signal processing for border surveillance |
US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
DE102009002626A1 (de) | 2009-04-24 | 2010-10-28 | Robert Bosch Gmbh | Sensoranordnung für Fahrerassistenzsysteme in Kraftfahrzeugen |
RU2012137375A (ru) | 2010-02-01 | 2014-03-10 | Янгкук Электроникс Ко., Лтд | Камера слежения и наблюдения и система дистанционного наблюдения с таким же применением |
IL204089A (en) * | 2010-02-21 | 2014-06-30 | Elbit Systems Ltd | A method and system for detection and tracking based on frequency multiplicity and multiplicity |
US8671504B2 (en) * | 2010-04-28 | 2014-03-18 | Denso Corporation | Cover of vehicle optical sensor and vehicle optical sensor device |
KR101030763B1 (ko) | 2010-10-01 | 2011-04-26 | 위재영 | 이미지 획득 유닛, 방법 및 연관된 제어 유닛 |
US8958911B2 (en) | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
CN103608696B (zh) | 2012-05-22 | 2016-05-11 | 韩国生产技术研究院 | 3d扫描***和获得3d图像的方法 |
US9234618B1 (en) | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
GB201303076D0 (en) * | 2013-02-21 | 2013-04-10 | Isis Innovation | Generation of 3D models of an environment |
US9831630B2 (en) | 2014-02-06 | 2017-11-28 | GM Global Technology Operations LLC | Low cost small size LiDAR for automotive |
KR101644370B1 (ko) * | 2014-10-23 | 2016-08-01 | 현대모비스 주식회사 | 물체 검출 장치 및 그 동작 방법 |
US9625582B2 (en) * | 2015-03-25 | 2017-04-18 | Google Inc. | Vehicle with multiple light detection and ranging devices (LIDARs) |
KR101957794B1 (ko) * | 2015-10-05 | 2019-03-13 | 엘지전자 주식회사 | 카메라 모듈 및 카메라 모듈의 결로방지 시스템 |
WO2018105136A1 (ja) | 2016-12-06 | 2018-06-14 | 本田技研工業株式会社 | 車両周辺情報取得装置および車両 |
US10254215B2 (en) * | 2016-04-07 | 2019-04-09 | Verifood, Ltd. | Spectrometry system applications |
US20170297488A1 (en) | 2016-04-19 | 2017-10-19 | GM Global Technology Operations LLC | Surround view camera system for object detection and tracking |
CN107444264A (zh) * | 2016-05-31 | 2017-12-08 | 法拉第未来公司 | 使用相机检测车辆附近的物体 |
US20170357267A1 (en) | 2016-06-10 | 2017-12-14 | Cnh Industrial America Llc | Autonomous work vehicle obstacle detection system |
US10093311B2 (en) * | 2016-07-06 | 2018-10-09 | Waymo Llc | Testing predictions for autonomous vehicles |
EP3786007B1 (en) | 2016-07-18 | 2022-07-06 | Uatc, Llc | Sensor cleaning system for vehicles |
US10203696B2 (en) * | 2016-07-26 | 2019-02-12 | Waymo Llc | Determining drivability of objects for autonomous vehicles |
US20180032822A1 (en) | 2016-08-01 | 2018-02-01 | Ford Global Technologies, Llc | Vehicle exterior monitoring |
KR102462502B1 (ko) | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | 스테레오 카메라 기반의 자율 주행 방법 및 그 장치 |
US10852418B2 (en) | 2016-08-24 | 2020-12-01 | Magna Electronics Inc. | Vehicle sensor with integrated radar and image sensors |
US10210760B2 (en) * | 2016-09-21 | 2019-02-19 | Dura Operating, Llc | System and method for autonomous parking of a vehicle |
US20180095473A1 (en) | 2016-10-03 | 2018-04-05 | Navya | Autonomous electric vehicle for transportation of goods and/or people |
JP7157054B2 (ja) | 2017-01-26 | 2022-10-19 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
US20180288320A1 (en) * | 2017-04-03 | 2018-10-04 | Uber Technologies, Inc. | Camera Fields of View for Object Detection |
US10677897B2 (en) | 2017-04-14 | 2020-06-09 | Luminar Technologies, Inc. | Combining lidar and camera data |
CN110537109B (zh) | 2017-04-28 | 2024-02-20 | 深圳市大疆创新科技有限公司 | 用于自主驾驶的感测组件 |
US20180372875A1 (en) | 2017-06-27 | 2018-12-27 | Uber Technologies, Inc. | Sensor configuration for an autonomous semi-truck |
US10447973B2 (en) | 2017-08-08 | 2019-10-15 | Waymo Llc | Rotating LIDAR with co-aligned imager |
KR102058050B1 (ko) | 2017-08-16 | 2019-12-20 | 엘지전자 주식회사 | 운행 보조 시스템 및 차량 |
US10523880B2 (en) | 2017-09-28 | 2019-12-31 | Waymo Llc | Synchronized spinning LIDAR and rolling shutter camera system |
CN109709530A (zh) | 2017-10-26 | 2019-05-03 | 株式会社小糸制作所 | 传感***及车辆 |
US10628962B2 (en) * | 2017-11-08 | 2020-04-21 | Worldcam Llc | Determining vehicle dwell time within predetermined zones |
GB2569654B (en) | 2017-12-22 | 2022-09-07 | Sportlight Tech Ltd | Apparatusses, systems and methods for object tracking |
CN108189777A (zh) | 2017-12-27 | 2018-06-22 | 江苏远洋车灯有限公司 | 一种带有全景摄像的车灯 |
US20190204845A1 (en) | 2017-12-29 | 2019-07-04 | Waymo Llc | Sensor integration for large autonomous vehicles |
JP6947849B2 (ja) | 2018-01-18 | 2021-10-13 | 本田技研工業株式会社 | 車両制御装置 |
CN108332716A (zh) | 2018-02-07 | 2018-07-27 | 徐州艾特卡电子科技有限公司 | 一种自动驾驶汽车环境感知*** |
JP6926020B2 (ja) | 2018-03-29 | 2021-08-25 | ヤンマーパワーテクノロジー株式会社 | 障害物検知システム |
CN208238805U (zh) | 2018-03-30 | 2018-12-14 | 郑州宇通客车股份有限公司 | 一种自动驾驶客车环境感知***及自动驾驶客车 |
JP6522255B1 (ja) | 2018-04-24 | 2019-05-29 | 三菱電機株式会社 | 行動選択装置、行動選択プログラム及び行動選択方法 |
DE102018004782A1 (de) * | 2018-06-15 | 2019-12-19 | Daimler Ag | Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung |
CN109308714A (zh) | 2018-08-29 | 2019-02-05 | 清华大学苏州汽车研究院(吴江) | 基于分类惩罚的摄像头和激光雷达信息配准方法 |
US10674052B1 (en) | 2018-12-12 | 2020-06-02 | Valeo North America, Inc. | Common cover lens for camera and illuminators |
KR101998298B1 (ko) | 2018-12-14 | 2019-07-09 | 위고코리아 주식회사 | 카메라 및 라이다 센서를 이용한 차량 자율주행방법 |
US10793094B2 (en) * | 2019-02-20 | 2020-10-06 | Ford Global Technologies, Llc | Communication grille assembly |
US11161502B2 (en) * | 2019-08-13 | 2021-11-02 | Zoox, Inc. | Cost-based path determination |
-
2020
- 2020-01-08 US US16/737,263 patent/US11557127B2/en active Active
- 2020-11-19 WO PCT/US2020/061260 patent/WO2021137964A1/en unknown
- 2020-11-19 CN CN202080096224.0A patent/CN115066360A/zh active Pending
- 2020-11-19 CA CA3164984A patent/CA3164984A1/en active Pending
- 2020-11-19 JP JP2022536697A patent/JP7454674B2/ja active Active
- 2020-11-19 EP EP20909280.8A patent/EP4061683A4/en active Pending
- 2020-11-19 KR KR1020227021850A patent/KR102665624B1/ko active IP Right Grant
-
2022
- 2022-12-14 US US18/081,260 patent/US11887378B2/en active Active
-
2023
- 2023-11-07 US US18/503,422 patent/US20240144697A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120265416A1 (en) * | 2009-07-27 | 2012-10-18 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
JP2017520443A (ja) * | 2014-04-16 | 2017-07-27 | ディエルエイチ・ボウルズ・インコーポレイテッドdlhBOWLES Inc. | 複数の画像センサを同時に清掃するための統合的複数画像センサ及びレンズ洗浄ノズルアセンブリ及びその方法 |
US20180244195A1 (en) * | 2017-02-24 | 2018-08-30 | Tesla, Inc. | Vehicle technologies for automated turn signaling |
JP2019158662A (ja) * | 2018-03-14 | 2019-09-19 | トヨタ自動車株式会社 | 物標認識装置及び車両走行制御システム |
US20190384313A1 (en) * | 2018-06-14 | 2019-12-19 | Waymo Llc | Camera ring structure for autonomous vehicles |
Also Published As
Publication number | Publication date |
---|---|
EP4061683A1 (en) | 2022-09-28 |
EP4061683A4 (en) | 2023-12-06 |
KR20220102658A (ko) | 2022-07-20 |
CA3164984A1 (en) | 2021-07-08 |
US20210201054A1 (en) | 2021-07-01 |
US20230186643A1 (en) | 2023-06-15 |
US11557127B2 (en) | 2023-01-17 |
KR102665624B1 (ko) | 2024-05-20 |
JP7454674B2 (ja) | 2024-03-22 |
US11887378B2 (en) | 2024-01-30 |
WO2021137964A1 (en) | 2021-07-08 |
CN115066360A (zh) | 2022-09-16 |
US20240144697A1 (en) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7457811B2 (ja) | 周囲センサハウジング | |
JP7454674B2 (ja) | 密着検知カメラシステム | |
JP6981218B2 (ja) | 車両用洗浄システム | |
US10373378B2 (en) | Augmented reality system for vehicle blind spot prevention | |
US11801905B2 (en) | Efficient autonomous trucks | |
DE102017206228A1 (de) | Fahrzeug und Verfahren zum Steuern desselben | |
CN111566511A (zh) | 大型自主车辆的传感器集成 | |
US10803643B2 (en) | Electronic device and user interface apparatus for vehicle | |
WO2011035882A2 (de) | Nachrüstsystem für ein fahrzeug, nachrüstkomponente und verfahren zum durchführen einer funktion zur fahrerunterstützung | |
US11822011B2 (en) | Mirrors to extend sensor field of view in self-driving vehicles | |
CN114556253A (zh) | 自驾驶车辆中的传感器视场 | |
US11977165B2 (en) | Self-reflection filtering | |
US20220063509A1 (en) | Moving body | |
US11919451B2 (en) | Vehicle data display system | |
US20220063656A1 (en) | Moving body | |
US11965991B1 (en) | Surface fouling detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7454674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |