JP2023537700A - 追尾車両センサシステム - Google Patents
追尾車両センサシステム Download PDFInfo
- Publication number
- JP2023537700A JP2023537700A JP2023506550A JP2023506550A JP2023537700A JP 2023537700 A JP2023537700 A JP 2023537700A JP 2023506550 A JP2023506550 A JP 2023506550A JP 2023506550 A JP2023506550 A JP 2023506550A JP 2023537700 A JP2023537700 A JP 2023537700A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- radar
- view
- pcb
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 245
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012634 optical imaging Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 36
- 239000000463 material Substances 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 239000004020 conductor Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 12
- JFIMDKGRGPNPRQ-UHFFFAOYSA-N 1,2,3,4,5-pentachloro-6-(2,3,4,5-tetrachlorophenyl)benzene Chemical compound ClC1=C(Cl)C(Cl)=CC(C=2C(=C(Cl)C(Cl)=C(Cl)C=2Cl)Cl)=C1Cl JFIMDKGRGPNPRQ-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar Systems Or Details Thereof (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Cameras In General (AREA)
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
提供されるのは、先導体を追跡及び追尾するように構成されている追尾車両に有用な検知システムである。検知システムは、協働的に先導体を追跡及び追尾するように構成されている複数の検知技術を含み得る。幾つかの実施形態において、複数の検知技術は、立体カメラ測距システム、広視野単眼カメラ、レーダ撮像システム、あるいは他のセンサ技術のうち一以上を含み得る。様々な実施形態において、車両は、シャシ、シャシにより支持されて複数の車輪を駆動するように配置されている駆動機構、シャシにより支持されるボデー、そして任意で、ボデー内に画定される内側空間を具備し得る。幾つかの実施形態において、追尾車両は例えば二輪可動運搬装置であり得る。
Description
(関連出願の相互参照)
本出願は、「車両の先導体追跡システム(Leader Tracking System for Vehicles)」の名称で2020年8月6日に出願された米国仮特許出願第63/061,897号の優先権を主張し、参照によりその全体が本出願に援用される。
本出願は、「車両の先導体追跡システム(Leader Tracking System for Vehicles)」の名称で2020年8月6日に出願された米国仮特許出願第63/061,897号の優先権を主張し、参照によりその全体が本出願に援用される。
本出願は、現在では2021年 発行の米国特許第 号である2020年10月20日出願の米国特許出願第17/049,141号の継続出願である2021年8月3日出願の米国特許出願第17/444,296号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年5月21日に発行された米国特許第10,293,676号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年1月8日に発行された米国特許第10,173,738号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年4月17日に出願されて2020年2月13日に米国特許出願公開第2020/0047826号として公開された米国特許出願第16/342,732号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年7月16日に発行された米国特許第10,351,190号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2020年3月31日に出願されて2020年7月30日に米国特許出願公開第2020/0239098号として公開された米国特許出願第16/652,545号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2018年11月7日に出願されて2019年5月9日に米国特許出願公開第2019/0137629号として公開された米国特許出願第16/183,198号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年10月22日に出願されて2020年4月23日に米国特許出願公開第2020/0124159号として公開された米国特許出願第16/660,560号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本出願は、2019年10月22日に出願されて2020年4月23日に米国特許出願公開第2020/0122797号として公開された米国特許出願第16/660,570号に関連しているがその優先権は主張せず、参照によりその全体が本出願に援用される。
本明細書は、概して自動走行車両の為のセンサシステム及び方法に、排他的にではないがより詳しく記すと、追尾車両に使用される撮像システムに関する。
追尾車両は、同じか類似の経路で先導体を自動的に追尾する車両である。先導体を捕捉及び追跡する追尾車両の能力は、明るい日光、暗闇、雨、霧等により影響を受け得る。また、シーン内での目標の潜在性が高いほど、追尾車両が目標を区別して「正しい」もの、つまり先導体を選択するのは困難である。これらの課題を考慮すると、モノリシックセンサシステムを備える追尾車両は、先導体の捕捉、追跡、及び/又は追尾に問題を抱えている。
先導体の捕捉、追跡、及び/又は追尾の改良を可能にするセンサシステムを提供することは有利であろう。先導体の捕捉、追跡、及び/又は追尾の改良を可能にする車載センサシステムを提供することも有利であろう。更に、先導体の捕捉、追跡、及び/又は追尾を改良するように協働する複数のセンサタイプを含むセンサシステムを提供することが有利であろう。
発明概念の一態様によれば、二以上のセンサ技術の組み合わせを採用して人などの先導体を捕捉及び追跡する追尾車両が提供される。
様々な実施形態において、追尾車両は可動運搬車両であり得る。
様々な実施形態において、追尾車両は二以上の車輪を有し得る。
様々な実施形態において、センサ技術は三次元(3D)電波撮像と広視野(FOV)単眼撮像とを含む。
様々な実施形態において、センサ技術は3D光学撮像と広FOV単眼撮像とを含む。
様々な実施形態において、センサ技術は3D光学撮像と3D電波撮像とを含む。
様々な実施形態において、センサ技術は3D光学撮像と3D電波撮像と広FOV単眼撮像とを含む。
本発明概念の別の態様によれば、協働的に先導体を追跡するように構成されている異なるタイプの撮像センサを具備する複数の異なる検知システムと、異なるタイプの撮像センサを格納して車両に結合されるように構成されているカバーを含むセンサモジュールとを具備するセンサ機器が提供される。
様々な実施形態において、複数の異なる検知システムは、少なくとも二つの重複視野を含む複数の視野を提供する。
様々な実施形態において、複数の視野は少なくとも三つの重複視野を含む。
様々な実施形態において、複数の異なる検知システムは少なくとも二つの異なるタイプの撮像システムを含む。
様々な実施形態において、複数の異なる検知システムは、少なくとも一つのアンテナを具備する少なくとも一つの3D電波撮像センサを具備する3D電波撮像システムを含む。
様々な実施形態において、カバーは、少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを含む。
様々な実施形態において、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートとを具備し、レーダPCBは、カバーのレドームエリアとヒートシンクプレートとの間で平行に配設される。
様々な実施形態において、複数の異なる検知システムは、少なくとも一つの三次元(3D)電波撮像センサと少なくとも一つの広角視野(FOV)単眼カメラとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートと、広角FOV単眼カメラとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されて広角FOV単眼カメラがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートと広角FOV単眼カメラとが実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは3D光学撮像システムと広FOV単眼システムとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D光学撮像システムは、センサシステムPCBと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクと、広角FOV単眼カメラとを具備する。センサシステムPCBと広角FOV単眼カメラとは、実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは3D光学撮像システムと3D電波撮像システムとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートと、センサシステムPCBを具備する3D光学撮像システムと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されてステレオカメラがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートとセンサシステムPCBとが実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは、3D光学撮像システムと3D電波撮像システムと広FOV単眼システムとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートとを具備し、3D光学撮像システムは、センサシステムPCBと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクと、広角FOV単眼カメラとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されて広角FOV単眼カメラとステレオカメラとがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートとセンサシステムPCBと広角FOV単眼カメラとが実装プレートに結合される。
様々な実施形態において、3D電波撮像センサの視野は90度と180度との間である。
様々な実施形態において、少なくとも一つの3D電波撮像センサの視野は約160度である。
様々な実施形態において、少なくとも一つの広角視野(FOV)単眼カメラの視野は45度から135度である。
様々な実施形態において、少なくとも一つの広角視野(FOV)単眼カメラの視野は約90度である。
様々な実施形態において、3D電波撮像センサの視野は90度と180度との間である。
様々な実施形態において、少なくとも一つの3D電波撮像センサの視野は約130度である。
様々な実施形態において、この機器は更に、複数の異なる検知システムのうちの少なくとも一つの検知システムを起動させて先導体の少なくとも一つの特性を記録するペアリング動作を開始するように先導体により作動可能であるカバー内の少なくとも一つのユーザインタフェース機構を具備するユーザインタフェースを具備する。
様々な実施形態において、ユーザインタフェースは、先導体と関連する生体情報を収集するように構成されている生体認証センサを具備し、生体情報を使用して先導体の少なくとも一つの特性が判断される。
様々な実施形態において、車両は追尾車両である。
本発明概念の別の態様によれば、シャシと、シャシにより支持されて複数の車輪を駆動するように配置されている駆動機構と、シャシにより支持されているボデーと、センサ機器とを具備する追尾車両が用意される。センサ機器は、協働的に先導体を追跡するように構成されている異なるタイプの撮像センサを具備する複数の異なる検知システムと、異なるタイプの撮像センサを格納して車両に結合されるように構成されているカバーを含むセンサモジュールとを具備する。
様々な実施形態において、複数の異なる検知システムは、少なくとも二つの重複視野を含む複数の視野を提供する。
様々な実施形態において、複数の視野は少なくとも三つの重複視野を含む。
様々な実施形態において、複数の異なる検知システムは少なくとも二つの異なるタイプの撮像システムを含む。
様々な実施形態において、複数の異なる検知システムは、少なくとも一つのアンテナを具備する少なくとも一つの3D電波撮像センサを具備する3D電波撮像システムを含む。
様々な実施形態において、カバーは、少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを含む。
様々な実施形態において、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートとを具備し、レーダPCBはカバーのレドームエリアとヒートシンクプレートとの間で平行に配設される。
様々な実施形態において、複数の異なる検知システムは、三次元(3D)電波撮像システムと広角視野(FOV)単眼カメラとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートと、広角FOV単眼カメラとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されて広角FOV単眼カメラがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートと広角FOV単眼カメラとが実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは3D光学撮像システムと広FOV単眼カメラとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D光学撮像システムは、センサシステムPCBと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクと、広角FOV単眼カメラとを具備する。センサシステムPCBと広角FOV単眼カメラとは、実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは3D光学撮像システムと3D電波撮像システムとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートとを具備し、3D光学撮像システムは、センサシステムPCBと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されてステレオカメラがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートとセンサシステムPCBとが実装プレートに結合される。
様々な実施形態において、複数の異なる検知システムは、3D光学撮像システムと3D電波撮像システムと広FOV単眼カメラとを含む。
様々な実施形態において、センサモジュールは、カバーが結合される実装プレートを具備し、3D電波撮像システムは、少なくとも一つのアンテナを具備するレーダPCBと、レーダPCBに隣接するヒートシンクプレートとを具備し、3D光学撮像システムは、センサシステムPCBと、センサシステムPCBに結合されるステレオカメラと、ステレオカメラに結合される立体カメラヒートシンクと、広角FOV単眼カメラとを具備する。レーダPCBとヒートシンクプレートとがカバーのレドームエリアの近くで実装プレートの底部エリアに平行に配設されて広角FOV単眼カメラとステレオカメラとがレーダPCB及びヒートシンクプレートの上方で実装プレートの上部エリアに配設されるように、レーダPCBとヒートシンクプレートとセンサシステムPCBと広角FOV単眼カメラとが実装プレートに結合される。
様々な実施形態において、3D電波撮像センサの視野は90度と180度との間である。
様々な実施形態において、少なくとも一つの3D電波撮像センサの視野は約160度である。
様々な実施形態において、少なくとも一つの広角視野(FOV)単眼カメラの視野は45度から135度である。
様々な実施形態において、少なくとも一つの広角視野(FOV)単眼カメラの視野は約90度である。
様々な実施形態において、3D電波撮像センサの視野は90度と180度との間である。
様々な実施形態において、少なくとも一つの3D電波撮像センサの視野は約130度である。
様々な実施形態において、車両は更に、複数の異なる検知システムのうちの少なくとも一つの検知システムを起動させて先導体の少なくとも一つの特性を記録するペアリング動作を開始するように先導体により作動可能であるカバー内の少なくとも一つのユーザインタフェース機構を具備するユーザインタフェースを具備する。
様々な実施形態において、ユーザインタフェースは、先導体と関連する生体情報を収集するように構成されている生体認証センサを具備し、生体情報を使用して先導体の少なくとも一つの特性が判断される。
様々な実施形態において、ユーザインタフェース機構は、先導体と車両とがペアリングされていることを表示する少なくとも一つの出力デバイスを含み、少なくとも一つの出力デバイスは任意で少なくとも一つのライトを含む。
様々な実施形態において、複数の車輪は二つの車輪である。
様々な実施形態において、追尾車両は可動運搬車両であり得る。
本発明概念の別の態様によれば、第1視野を確立するのに使用される第1センサデータを提供する一以上の第1センサを具備する第1センサシステムと、第1視野と重複する第2視野を確立するのに使用される第2センサデータを提供する一以上の第2センサを具備する第2センサシステムと、第1センサデータと第2センサデータとを処理して第1及び第2視野内の先導体を追跡及び追尾するように構成されている少なくとも一つのプロセッサとを具備するセンサシステムが提供される。
様々な実施形態において、先導体は、少なくとも一つのコンピュータ記憶デバイスに記憶された一以上の特性を有する被捕捉先導体である。
様々な実施形態において、少なくとも一つのプロセッサは、先導体を捕捉するペアリング動作で第1センサデータ及び/又は第2センサデータのうち少なくとも幾つかを処理し、先導体の一以上の特性を特定して少なくとも一つのコンピュータ記憶デバイスに記憶するように構成されている。
様々な実施形態において、システムは更に、ペアリング動作を開始するように先導体により作動可能な少なくとも一つのユーザインタフェース機構を具備するユーザインタフェースを具備する。
様々な実施形態において、ユーザインタフェースは、ペアリング動作で少なくとも一つのプロセッサにより使用される先導体と関連した生体情報を収集するように構成されている生体認証センサを具備する。
様々な実施形態において、第1センサシステムと第2センサシステムのうち少なくとも一方は三次元レーダ撮像システムを具備する。
様々な実施形態において、第1センサシステムと第2センサシステムのうち少なくとも一方は三次元立体撮像システムを具備する。
様々な実施形態において、第1センサシステムと第2センサシステムのうち少なくとも一方は広視野単眼撮像システムを具備する。
様々な実施形態において、第1センサシステムは三次元レーダ撮像システムを具備し、第2センサシステムは三次元立体撮像システム及び/又は広視野単眼撮像システムを具備する。
様々な実施形態において、第1センサシステムは三次元立体撮像システムを具備し、第2センサシステムは三次元レーダ撮像システム及び/又は広視野単眼撮像システムを具備する。
様々な実施形態において、システムは更に、第1視野と重複する第3視野を確立するのに使用される第3センサデータを提供する一以上の第3センサを具備する第3センサシステムを具備し、少なくとも一つのプロセッサは、第3センサデータを処理して第1、第2、及び第3視野内で先導体を追跡及び追尾するようにも構成されている。
様々な実施形態において、第1センサシステムは三次元立体撮像システムを具備し、第2センサシステムは三次元レーダ撮像システムを具備し、第3センサシステムは広視野単眼撮像システムを具備する。
様々な実施形態において、システムは更に、一以上の第1センサのうちの少なくとも一つの第1センサと一以上の第2センサのうちの少なくとも一つの第2センサとを格納するカバーを含むセンサモジュールを具備する。
様々な実施形態において、少なくとも一つの第1センサは三次元レーダ撮像システムの少なくとも一つのアンテナを含み、カバーは、少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを含む。
様々な実施形態において、センサモジュールは更に、カバーが装着される実装プレートを含み、実装プレートは車両に結合されるように構成されている。
様々な実施形態において、車両は、第1センサデータ及び第2センサデータを受けて先導体を追跡及び追尾する走行システムを具備する追尾車両である。
様々な実施形態において、センサモジュールは更に、センサシステム及び/又は車両と先導体をペアリングするペアリング動作を開始するように先導体により作動可能である少なくとも一つのユーザインタフェース機構を具備するユーザインタフェースを含む。
様々な実施形態において、先導体を捕捉するペアリング動作で少なくとも一つのプロセッサにより使用される先導体と関連した生体情報を収集するように構成されている生体認証センサをユーザインタフェースが具備する。
本発明概念の別の態様によれば、上の段落のうち一以上のいずれかに提示されたセンサシステムを具備する車両が提供される。
様々な実施形態において、車両は、第1センサデータ、第2センサデータ、そして任意で第3センサデータを受けて先導体を追跡及び追尾する走行システムを具備する追尾車両である。
本発明概念の別の態様によれば、複数の異なるタイプの撮像センサデータを提供して複数の視野を提供する複数のセンサシステムと、複数のタイプのセンサデータを処理して複数の視野内の先導体を追跡及び追尾するように構成されている少なくとも一つのプロセッサとを具備するセンサシステムが提供される。
様々な実施形態において、複数の視野は重複視野を含む。
様々な実施形態において、重複視野は異なる角度幅を有する。
様々な実施形態において、複数のセンサシステムは、三次元立体撮像システムと三次元レーダ撮像システムと広視野単眼撮像システムとから成るグループから選択される少なくとも二つのセンサを具備する。
様々な実施形態において、複数のセンサシステムは、三次元立体撮像システムと三次元レーダ撮像システムと広視野単眼撮像システムを少なくとも具備する。
様々な実施形態において、複数のセンサシステムは三次元レーダ撮像システムと広視野単眼撮像システムとを少なくとも具備する。
様々な実施形態において、複数のセンサシステムは三次元立体撮像システムと三次元レーダ撮像システムとを少なくとも具備する。
様々な実施形態において、複数のセンサシステムは三次元立体撮像システムと広視野単眼撮像システムとを少なくとも具備する。
本発明概念の別の態様によれば、複数の異なるタイプのセンサデータを収集して複数の視野を提供するように構成されている複数の異なるタイプの撮像センサと、複数の異なるタイプの撮像センサをモジュールに格納するように構成されているカバーとを具備するセンサモジュール機器が提供される。
様々な実施形態において、複数の視野は少なくとも二つの重複視野を含む。
様々な実施形態において、重複視野は異なる角度幅を有する。
様々な実施形態において、複数の異なるタイプの撮像センサは少なくとも二つの異なるタイプの撮像センサを含む。
様々な実施形態において、複数の異なるタイプの撮像センサは少なくとも三つの異なるタイプの撮像センサを含む。
様々な実施形態において、複数の異なるタイプの撮像センサは、少なくとも一つの三次元立体撮像センサと少なくとも一つの三次元レーダ撮像センサと少なくとも一つの広視野単眼センサとから成るグループから選択される少なくとも二つのセンサを具備する。
様々な実施形態において、複数の異なるタイプの撮像センサは、少なくとも一つの三次元立体撮像センサと少なくとも一つの三次元レーダ撮像センサと少なくとも一つの広視野単眼カメラとを少なくとも具備する。
様々な実施形態において、複数の異なるタイプの撮像センサは、少なくとも一つの三次元レーダ撮像センサと少なくとも一つの広視野単眼カメラとを少なくとも具備する。
様々な実施形態において、複数の異なるタイプの撮像センサは、少なくとも一つの三次元立体撮像センサと少なくとも一つの三次元レーダ撮像センサとを少なくとも具備する。
様々な実施形態において、複数の異なるタイプの撮像センサは、少なくとも一つの三次元立体撮像センサと少なくとも一つの広視野単眼カメラとを少なくとも具備する。
様々な実施形態において、機器は更に、カバーを受容して車両又は表面にモジュールを実装するように構成されている実装プレートを具備する。
本発明概念の別の態様によれば、複数の異なるタイプのセンサシステムを用意することと、複数の異なるタイプのセンサシステムを使用して複数の視野を確立することと、複数の異なるタイプのセンサシステムのうちの少なくとも一つからのセンサデータを使用して異なる視野内又は視野間で先導体を追跡することとを包含する先導体追跡方法が提供される。
様々な実施形態において、この方法は更に、複数の異なるタイプのセンサシステムの複数の異なるタイプのセンサを含むセンサモジュールを用意することであって、センサモジュールが追尾車両に結合されるかその一部を形成することと、複数の異なるタイプのセンサからのセンサデータを使用して先導体を追尾するように車両を走行させることとを包含する。
様々な実施形態において、追尾車両は、シャシと、シャシにより支持されて複数の車輪を駆動するように配置されている駆動機構と、シャシにより支持されているボデーと、少なくとも一つのプロセッサとを具備する。
様々な実施形態において、複数の異なるタイプのセンサシステムは3Dステレオ測距システムと広視野単眼カメラと3Dレーダ測距システムとを含み、この方法は更に、3Dステレオ測距システムの視野から出る先導体を検出することと、広視野単眼カメラを使用して先導体を追跡することと、3Dステレオ測距システムの視野から出た後で先導体が3Dレーダ測距システムの視野内に入るように追尾車両を回転させることとを包含する。
様々な実施形態において、この方法は更に、先導体を追跡する前提条件として先導体を捕捉することを包含する。
様々な実施形態において、先導体の捕捉は、先導体と車両との間のペアリング動作を実施することと、先導体と関連する特性を記憶することとを含む。
様々な実施形態において、複数の異なるタイプのセンサシステムは3Dレーダシステムと広視野単眼カメラとを具備する。
様々な実施形態において、複数の異なるタイプのセンサシステムは3D立体システムと広視野単眼カメラとを具備する。
様々な実施形態において、複数の異なるタイプのセンサシステムは3D立体システムと3Dレーダシステムとを具備する。
様々な実施形態において、複数の異なるタイプのセンサシステムは3D立体システムと3Dレーダシステムと広視野単眼カメラとを具備する。
様々な実施形態において、異なる視野は異なる角度幅を有する。
本発明概念の趣旨及び範囲を逸脱することなく、上の記載に挙げられた特徴が多様な手法で組み合わされ得ることを当業者は認識するだろう。
添付図面と付随する詳細な説明とを考慮すると、本発明がより明白になるだろう。そこに描かれている実施形態は限定としてではなく例として提示されており、同様の参照番号は同じか類似の要素を指す。図面は必ずしも一定縮尺ではなく、むしろ発明の態様を例示することが強調されている。
発明概念の態様による追尾車両の一実施形態の正面斜視図である。
発明概念の態様による図1の追尾車両実施形態の背面斜視図である。
発明概念の態様による図1の追尾車両実施形態の左側面図である。
発明概念の態様による図1の追尾車両実施形態の右側面図である。
発明概念の態様による図1の追尾車両実施形態の上面図である。
発明概念の態様による、図1の追尾車両実施形態の機能ブロック図の一実施形態である。
発明概念の態様による、約130度の水平視野を有することを特徴とする単眼撮像システムを具備するセンサシステムの一部分の一実施形態の上面図である。
発明概念の態様による、約90度の水平視野を有することを特徴とする立体撮像システムを具備するセンサシステムの一部分の一実施形態の上面図である。
発明概念の態様による、約160度の水平視野を有することを特徴とするレーダシステムを具備するセンサシステムの一部分の一実施形態の上面図である。
発明概念の態様による、センサモジュールの一実施形態の正面斜視図である。
発明概念の態様による、図8Aのセンサモジュールの背面斜視図である。
発明概念の態様による、センサモジュールカバーの一実施形態の背面斜視図である。
発明概念の態様による、図9Aのセンサモジュールカバーの正面図である。
発明概念の態様による、図9Aのセンサモジュールカバーの背面図である。
発明概念の態様による、図9Aのセンサモジュールカバーの断面図である。
発明概念の態様による、図8A及び8Bのセンサモジュールの一実施形態の分解正面斜視図である。
発明概念の態様による、図10Aのセンサモジュールの分解背面斜視図である。
発明概念の態様による、カバーを含まない図10Aのセンサモジュールの一実施形態の分解正面斜視図である。
発明概念の態様による、図10A乃至10Cのセンサモジュールのユーザインタフェースの一実施形態の分解上面斜視図である。
発明概念の態様による、図11Aのユーザインタフェースの一実施形態の分解底面斜視図である。
発明概念の態様による、単眼撮像システムと立体撮像システムとレーダ撮像システムとを具備するセンサモジュールの内側部分の一実施形態の正面図である。
図12Aのセンサモジュールの内側部分の一実施形態の側面図である。
図12Aのセンサモジュールの内側部分の一実施形態の正面斜視図である。
図12Aのセンサモジュールの一実施形態の分解正面斜視図である。
図12Aのセンサモジュールの一実施形態の背面内側斜視図である。
発明概念の態様による、センサモジュールのレーダヒートシンクの一実施形態の正面斜視図である。
発明概念の態様による、図13Aのレーダヒートシンクの一実施形態の背面斜視図である。
発明概念の態様による、レーダシステムプリント回路基板の一実施形態を示す。
発明概念の態様による、レーダシステムプリント回路基板の一実施形態を示す。
発明概念の態様による、レーダシステムプリント回路基板の一実施形態を示す。
発明概念の態様による、図13A及び13Bのレーダヒートシンクに結合された図14A乃至14Cのレーダシステムプリント回路基板の一実施形態の正面斜視図である。
発明概念の態様による、立体撮像システムと単眼撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、立体撮像システムと単眼撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、立体撮像システムと単眼撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、立体撮像システムとレーダ撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、立体撮像システムとレーダ撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、立体撮像システムとレーダ撮像システムとを具備するセンサモジュール部分の一実施形態の図である。
発明概念の態様による、単眼撮像システムとレーダ撮像システムとを具備するセンサモジュールの内側部分の一実施形態の図である。
発明概念の態様による、単眼撮像システムとレーダ撮像システムとを具備するセンサモジュールの内側部分の一実施形態の図である。
発明概念の態様による、単眼撮像システムとレーダ撮像システムとを具備するセンサモジュールの内側部分の一実施形態の図である。
発明概念の態様による、センサシステム及び/又はモジュールを使用して先導体を追跡及び追尾する方法の一実施形態である。
幾つかの例示的な実施形態が示されている添付図面を参照して、本発明概念の様々な態様が以下で充分に記載される。しかしながらこの発明概念は多くの異なる形態で具現化され得るのであって、本明細書に提示される例示的実施形態に限定されると解釈されるべきではない。
本明細書では様々な要素を記載するのに第1、第2等の語が使用されるが、これらの要素はこれらの語に限定されるべきではないことが理解されるだろう。これらの語は、必要な要素の順序を意味するのではなく一つの要素を別の要素と区別するのに使用される。例えば、本発明概念の範囲を逸脱することなく、第1要素が第2要素と呼ばれてもよく、同様に、第2要素が第1要素と呼ばれてもよい。本明細書で使用される際に、「及び/又は」の語は関連して挙げられている項目のうち一以上のいかなる、そして全ての組み合わせを含む。
ある要素が別の要素の「上に」あるかこれに「接続」又は「結合」されると言及される時には、他の要素の直上にあるかこれに直接接続又は結合され得る、あるいは介在要素が存在し得ることが理解されるだろう。対照的に、ある要素が別の要素の「直上」にあるか「直接接続」又は「直接結合」されると言及される時には、介在要素はない。要素間の関係を記載するのに使用される別の単語は同じように解釈されるべきである(「間に」と「間に直に」、「隣接して」と「直ぐ隣接して」等)。
本明細書で記載される用語は、特定の実施形態を記載することのみを目的としており、本発明概念を限定することは意図されていない。本明細書で使用される際に、単数形の“a”、“an”、及び“the”は、そうではないことを文脈が明示していない限り、複数形も含むことが意図されている。「包含/具備する(comprises)」、「包含/具備する(comprising)」、「含む(includes)」、及び/又は、「含む(including)」は、本明細書で使用される時に、記載の特徴、ステップ、動作、要素、及び/又は、コンポーネントの存在を明確にしているが、一以上の別の特徴、ステップ、動作、要素、コンポーネント、及び/又は、これらのグループの存在又は追加を排除しないことが更に理解されるだろう。
「真下に(beneath)」、「下方に(below)」、「下方の(lower)」、「上方に(above)」、「上方の(upper)」、その他のような空間的相対語は、例えば図に示されているような別の要素及び/又は特徴に対する或る要素及び/又は特徴の関係を記載するのに使用され得る。空間的相対語は、図に描かれている配向に加えて使用及び/又は動作時のデバイスの多様な配向を内含する意図があることが理解されるだろう。例えば、図のデバイスが逆転した場合に、別の要素又は特徴の「下方に(below)」及び/又は「真下に(beneath)」と記載された要素が別の要素又は特徴の「上方に」配向されることになるだろう。デバイスはそれ以外の配向(例えば90度回転か他の配向)でもよく、本明細書で使用される空間的相対記述子は適宜解釈される。
理想的な例示的実施形態(及び中間構造)の概略図である断面図を参照して、例示的実施形態が記載される。そのため、例えば製造技術及び/又は公差の結果としての図例の形状からの変形が予想されるはずである。ゆえに、例示的実施形態は、本明細書に図示されている領域の特定形状に限定されると解釈されるべきではないが、例えば製造の結果である形状の相違を含むものとする。
機能的特徴、動作、及び/又はステップが本明細書に記載されるか、本発明概念の様々な実施形態に含まれると理解される限りは、このような機能的特徴、動作、及び/又はステップが機能ブロック、ユニット、モジュール、動作、及び/又は方法において具現化され得る。そしてこのような機能ブロック、ユニット、モジュール、動作、及び/又は方法がコンピュータプログラムコードを含む限りは、このようなコンピュータプログラムコードは、例えば少なくとも一つのコンピュータプロセッサにより実行可能である非一時的メモリ及び媒体などのコンピュータ可読媒体に記憶され得る。
図1乃至5は、本発明概念の態様によるセンサシステムを具備する追尾車両の一実施形態について異なる図を提供する。本明細書で使用される際に、「追尾」車両は、移動している「先導体」50を追尾する装備及び構成を持つ自動運転車両である。先導体50は、例えば、人、車両、可動ロボット、あるいは自律車両であり得る。追尾車両として、先導体を捕捉及び追跡する性能は先導体を追尾するのに有用である。本明細書で記載される実施形態において、追尾車両は陸上車両であるが、他の実施形態で追尾車両は、航空機、船舶ビークル、あるいは空中及び陸上ビークルや水陸両用ビークルなど、陸上、水上、及び/又は、空中ビークルの組み合わせであり得る。
先導体50を「捕捉」する為に、追尾車両及び/又はそのセンサシステムが先導体とペアリングされる。センサシステムを介して、あるいはユーザ入力デバイスを介して、あるいはその組み合わせにより捕捉されたデータを通して先導体を明確に認識することにより、追尾車両が先導体とペアリングされ得る。ペアリングに使用されるデータは、それゆえ、様々な実施形態において画像センサからの画像データ及び/又は他のユーザインタフェースデバイスからの生体認証データであり得る。幾つかの実施形態において、追尾車両は、有線とワイヤレスのいずれかでの電子通信を通して先導体とのペアリングを行ない得る。一例として、幾つかの実施形態では、赤外線、ブルートゥース(登録商標)、あるいは他の短距離ワイヤレス通信技術を使用して、追尾車両と先導体とがペアリングを行なうことが可能である。(ブルートゥースの商標はブルートゥースSIG社(Bluetooth SIG Inc.)により所有されている。)幾つかの実施形態では、追尾車両が一つの技術を使用して先導体とペアリングするがその後で少なくとも一つの別の技術を使用して追跡及び/又は追尾することが可能である。
図1は、発明概念の態様による追尾車両100の一実施形態の正面斜視図である。図2は、発明概念の態様による図1の実施形態の背面斜視図である。図3は、発明概念の態様による図1の実施形態の左側面図である。図4は、発明概念の態様による図1の実施形態の右斜視図である。そして図5は、発明概念の態様による図1の実施形態の上面図である。
図1に示されているもののような幾つかの実施形態において、追尾車両100は、シャシ(不図示)と、シャシにより支持されて複数の車輪24,25を駆動するように配置されている駆動機構(不図示)と、シャシにより支持されるボデー10とを具備する。不可欠ではないが、幾つかの実施形態で、ボデー10は内側空間を含むか画定し得る。内側空間は、多様なタイプの物品又はシステムのいずれかを保持、支持、支承、及び/又は、保管するように構成され得る。幾つかの実施形態において、追尾車両100は、先導体50、例えば人を特定及び捕捉してから先導体を追跡及び追尾できるロボット追尾車両であり得る。
図1に示されているもののような幾つかの実施形態において、追尾車両100は、蓋部112により覆われ得る内側空間へのアクセスを提供するボデー10の開口部を具備する。幾つかの実施形態では、開口部内に形成されて、取り出し可能な積載物を内側空間で収容及び支持するように構成されている支持面を含む周縁部を、追尾車両100が具備する。幾つかの実施形態において、運搬装置蓋部112は、開口部の気密、水密、及び/又は、熱シールを提供するように構築及び配置され得る。幾つかの実施形態で、蓋部は、蓋部の容易な開口及び/又は閉止の為に構成された構造又は装備であるグリップ113を含み得る。幾つかの実施形態において、グリップ113は、蓋部の輪郭の凹部の形態を取るかこれを含み得る。
図1及び2に示されているもののような幾つかの実施形態において、複数の車輪は、この実施形態ではボデー10に部分的に格納されている第1車輪25と第2車輪45とを含み得る二つの車輪である。この実施形態で、第1車輪25と第2車輪45とは、車両ボデー10の両側に配設されている。別の実施形態では、車輪の数と車輪の配置とが異なり得る。更に別の実施形態では、追尾車両は車輪を含まなくてもよい。
幾つかの実施形態において、各車輪25,45は、車輪25,45の外面を実質的に画定するリムも含み得る。幾つかの実施形態では、各リムの周りにタイヤが配設され得る。各タイヤがリムとともに回転するように、タイヤは当該のリムに着脱可能に取り付けられ得る。タイヤは、ゴム、ポリマー、又は他の適当な材料で製作され得る。タイヤは中実であるか流体が充填され得る。タイヤは、車輪25,45と地面との間に摩擦接触を設けて車両100の性能を強化し得る。
図1乃至5の実施形態において、車両100は、少なくとも一つのセンサモジュール200を含む少なくとも一つのセンサシステムを含む。少なくとも一つのセンサモジュール200は、先導体を追跡及び追尾するように構成されている一以上のタイプのセンサを含み得る。幾つかの実施形態において、少なくとも一つのセンサモジュールは、複数のセンサモジュールである。幾つかの実施形態において、少なくとも一つのセンサモジュールは、複数の異なるセンサタイプを統合するセンサモジュールを含む。幾つかの実施形態において、複数の異なるセンサタイプは、単眼カメラ、ステレオカメラ、レーダ、赤外センサ、ライダーセンサ、及び/又は、超音波センサから成るグループから選択される一以上のセンサを含む。この実施形態において、センサモジュール200は追尾車両の前部に設置され、車両が前方方向に進む際に概ね前方向きである。
図2を参照すると、車両100は電源ボタン122及び充電ポート124も含み得る。この実施形態において、電源ボタン122と充電ポート124とは車両100の後部に設置される。様々な実施形態において、車両は、充電ポート124を介して充電され得る充電式バッテリ電源(不図示)を含む。
幾つかの実施形態において、車両100は、その環境の特徴を明らかにして人などの先導体を追跡するように構成されている少なくとも一つのセンサを具備する。本明細書に記載されるように、センサ組み合わせの様々な実施形態は、好ましくは組み合わせ内の異なるタイプのセンサの強度を活用しながら、先導体を追跡及び追尾するのに使用され得る。様々な実施形態は、少なくとも一つのセンサモジュール200を含む図1乃至5の追尾車両100の状況における他のタイプのセンサとのレーダの使用を含む。
図6は、発明概念の態様による図1乃至5の追尾車両実施形態100の機能ブロック図の一実施形態である。追尾車両100の様々な動作に有用なコンピュータ命令とデータとを記憶及び処理する為の様々なコアコンピュータ記憶処理要素150が設けられ得る。センサモジュール200は、センサデータをコア150に提供するように構成され得る。コア150は、追尾車両100のセンサデータと、ユーザ入力デバイスを含む他の入力デバイスからの他の何らかの入力とに基づいて、センサモジュール200と駆動システム170とを制御するように構成され得る。
汎用プロセッサ152は、主要な、そして補助的又は補足的な処理と車両100の制御とを実施するように構成され得る。汎用プロセッサ152又は車両の他の何らかのプロセッサにより使用される実行可能なコンピュータコードを記憶するように、少なくとも一つのコンピュータ記憶デバイス及び/又はコンピュータ記憶システム154が含まれ得る。コンピュータ記憶装置154はまた、センサ及び車両の動作、構成、及び/又は、データ記録と関連するデータを記憶するように構成され得る。
センサデータ及び/又はユーザインタフェースデータ、例えばボタンを使用して先導体と追尾体とのペアリングに作用するように専用のペアリングプロセッサ156が含まれ得る。センサモジュール200を含むセンサシステムのセンサにより捕捉されたセンサデータを制御、操作、及び処理するように、センサデータプロセッサ160が含まれ得る。このような処理は、センサデータの前処理、後処理、解析、及び/又は、記憶を限定ではなく含み得る。駆動システム170を制御するように走行プロセッサ158が含まれ得る。ナビゲーションシステムは、例えばセンサデータプロセッサ160及び/又は汎用プロセッサ152により処理されたセンサデータを利用して、後で、例えばペアリング後に先導体を追跡及び追尾できる。様々な実施形態において、センサシステムは、センサモジュール200(とともに車両の運用システムの一部を形成し得る他のセンサ)と、センサデータプロセッサ160と、コンピュータ記憶装置154の少なくとも一部分とを含み得る。
センサシステム及び/又はセンサモジュール200に含まれ得る様々なタイプのセンサに関して、電子画像センサを使用する光学撮像システムは、画面に投影される3Dシーンを表現する高解像度カラー及び強度情報を提供する。画像表現は一般的に、矩形アレイとして配置される画素(ピクセル)に分割される。最新のソリッドステートセンサは数十メガピクセルの解像度を供与できる。一般的な消費者用CMOSセンサは5~20メガピクセルの範囲に及び、工業グレードのセンサは1~10メガピクセルの範囲に及ぶ。多くの用途は、画像の第3次元である「奥行」を表現するシーンの各要素までの距離の理解を必要とする。光学撮像を使用して奥行情報を得る為に一般に使用される技術は二つある。
一番目は飛行時間(TOF)撮像と呼ばれる。このタイプのシステムでは、シーンへの同じ視認軸線上で画像センサに近接した位置から明るい赤外光が点滅する。センサの各ピクセルは、反射光がピクセルで受容されるまでの点滅の起動から時間を測定して、シーン部分までの距離の推定値を提供する。高出力要件、低解像度、そして距離を含めて、このタイプのシステムに多数の欠点が見られる。
二番目は立体測距と呼ばれる。このタイプのシステムでは、二つの同一のカメラが一定の安定した関係で配置される。二つの画像は同時的に捕捉され、その結果としての画像はピクセルごとに比較されて、シーンの特徴についての二つのカメラ間でのピクセル視差を測定することにより判断された各ピクセルの距離測定値とともに2D画像表現を提供する。立体カメラは画像センサを使用できるので、その用途の為の画像の品質が得られ、明るい光の点滅を必要としないので、TOFカメラより消費電力が少ない。また、撮像装置の解像度と機器内でのその間の距離とを選択することにより距離及び精度が最適化され得る。
レーダシステムは、無線周波数(RF)信号の発出及び反射を採用して目標までの距離を特定する。多数のアンテナシステムは、X、Y、又は高度及び方位角の情報とともに目標までの距離を提供できる。最新のソリッドステートレーダシステムは、検知された各ボクセルについてx,y,z及び速度情報を提供する高解像度撮像を提供できる。しかしながら、レーダシステムは光学システムと同じ速度で作動できず、同じ高解像度を未だ有さず、シーン内のカラーについての情報を提供しない。
単眼撮像システムは、それ自体では距離データを提供できないが、目標が特定可能である場合には方位情報を提供できる。測距撮像装置の性能の最適化は概ね、そのFOVを90度以下まで制限することを必要とする。3D測距システムのFOVの側方まで先導体が移動する状態では、広FOV単眼カメラでやはり方位角が判断され、車両が正しい向きに回転されて3DセンサFOVで先導体を再捕捉し得る。
図7乃至18は、追尾車両100に搭載使用されて先導体を効率的かつ効果的に追跡及び追尾できる様々なセンサモジュール実施形態の例としての、センサモジュール200及び/又はそのコンポーネントの態様及び実施形態を記している。図7A乃至7Cは、センサモジュール200に含まれ得るかその一部を形成し得る異なるタイプのセンサにより提供され得る異なる視野(FOV)を示す。異なる視野は重複視野であって、センサモジュールの構成に応じて異なる角度幅を有し得る。
図7Aは、発明概念の態様による、約130度の水平視野を有するという特徴を持つ(広視野カメラ212を具備する)単眼撮像システム210を具備するセンサモジュール200の一実施形態の一部分の上面図である。代替実施形態において、単眼撮像システム210は、異なる範囲の水平視野を有するという特徴を持つ。
図7Bは、発明概念の態様による、約90度の水平視野を有するという特徴を持つ(ステレオカメラ222を具備する)立体撮像システム220を具備するセンサモジュール200の一実施形態の一部分の上面図である。代替実施形態において、立体撮像システム220は、異なる範囲の水平視野を有するという特徴を持つ。
図7Cは、発明概念の態様による、約160度の水平視野を有するという特徴を持つレーダシステム230を具備するセンサモジュール200の一実施形態の上面図である。代替実施形態において、レーダ撮像システム230は、異なる範囲の水平視野を有するという特徴を持つものであり得る。
下に記載されるのは、異なるセンサタイプの組み合わせ、例えば単眼カメラ、ステレオカメラ、及び/又は、レーダを利用するセンサモジュールの様々な実施形態である。三つのセンサタイプ全てが用意されるか別のタイプのセンサが用意される実施形態において、二以上のセンサタイプの物理的共存は、存在する全てのセンサタイプが全ての追跡及び追尾動作で必要又は使用されることを必要としているわけではない。車両100は、用意された搭載センサの異なる組み合わせを異なる環境及び/又は状況で利用して追跡及び追尾動作を実施できる。
3D光学撮像と3D電波撮像及び広FOV単眼撮像との組み合わせ
幾つかの実施形態において、センサシステムは、立体測距技術を採用する光学撮像システムと、可変環境条件下でロバスト3D点群を提供する高解像度マルチアンテナレーダ撮像システムとを含む。この実施形態において、センサモジュール200は、立体測距カメラシステム220と、レーダ撮像センサ232を含む4D(x,y,z,v)レーダ測距システム230とを含む。ステレオ及びレーダシステム220,230は車両100で相互の近くに置かれて、類似及び重複視野(FOV)を有する。図7B及び7Cを参照すること。3DセンサのFOVの外側に先導体が出た時に方位情報を提供するように、追加の広FOV単眼撮像カメラシステム210が含まれ得る。例えば、単眼カメラのFOVは図7Aに示されているようなものであり得る。
この実施形態では、立体測距光学撮像システム220と4Dレーダ測距センサ230と広FOV単眼システム210との使用が組み合わされる。全てのセンサは、車両100の追跡システム、例えばコア150に情報を供与する。追跡システムは、画像情報とともに点情報を監視して、車両100に対する先導体50の位置を計算する。一つのセンサ又は別のセンサが日光など何らかの外的要因により影響を受ける場合でも、外乱が取り除かれるまで動作を維持するように別のセンサが適切な情報を提供できる。3D測距システムのFOVの側方へ先導体が移動する状態でも、広FOV単眼カメラで方位角が判断され、車両を正しい向きに回転させて3DセンサFOV内で先導体を再捕捉できる。
図8Aは、発明概念の態様によるセンサモジュール200の一実施形態の正面斜視図である。図8Bは、発明概念の態様による図8Aのセンサモジュールの背面斜視図である。各図には、電子機器、コネクタ、レンズ、及び/又は、様々なセンサのアンテナを含むセンサモジュールの内側要素と、センサモジュール200の様々な実施形態を包含するユーザインタフェースデバイスとを収容及び保護する構造要素として、センサモジュールカバー202が示されている。
これらの図で、センサモジュール200は立体測距カメラシステム230を含み、ステレオカメラレンズカバー223a,223bが示されている。センサモジュール200は単眼カメラシステム210も含み、単眼カメラレンズ213が示されている。この実施形態で、センサモジュール200は赤外(IR)パターン投影装置240も光源として含み、IR透過性レンズカバー243が示されている。
センサモジュール200がレーダを含むこれらの実施形態において、カバー202又は少なくともカバー部分はレーダ撮像システム230のレドームエリア203を含み得る。レドームエリア203は、電波に対して透過性である材料で形成され、センサモジュール200の内側のレーダ機器を保護するように構成されている。センサモジュールがライダー又は超音波機器を含む場合には、当業者に理解されるようにカバー202が適宜形成されなければならないだろう。
この実施形態において、カバー202は、発明概念の態様により少なくとも一つのユーザインタフェース250も含む。示されている実施形態において、ユーザインタフェース250は少なくとも一つのボタン252と少なくとも一つのライト254とを具備する。示されている実施形態において、少なくとも一つのボタンは円形ボタン252を包含する。代替実施形態において、ボタン252は、方形、矩形、三角形、あるいは他の適当な多角形又はその組み合わせを限定ではなく含む異なる形状を有し得る。幾つかの実施形態において、センサモジュールは複数のボタンを具備し得る。幾つかの実施形態において、ユーザインタフェース250及び/又は少なくとも一つのボタン252は、指紋スキャナ、網膜スキャナ、あるいは他の生体認証センサなどの生体認証センサを含み得る。
幾つかの実施形態において、ユーザインタフェース250はボタン252を一つ具備する。代替実施形態において、ユーザインタフェース250は異なる数のボタン252を具備する。
幾つかの実施形態において、ユーザインタフェース250は一以上のライト254を具備する。示されている実施形態において、一以上のライト254は、円形ボタン252を囲繞するリング状のライトを包含する。代替実施形態において、一以上のライト254は、方形、矩形、三角形、あるいは適当な多角形又はその組み合わせを限定ではなく含む異なる形状又はパターンのライトを包含する。ライトパターンは一以上のボタン252の形状に対応し得る。
様々な実施形態において、ボタン252が押された(あるいは他の形で係合した)時に車両100及びセンサモジュール200の前にいる先導体により、追尾車両100と先導体50とのペアリングが達成される。ペアリングが完了して車両が先導体を捕捉すると、リング状のライト254が点灯し、追尾車両100は(センサモジュール200を含む)センサシステムを利用して先導体を追跡及び追尾する。
先導体50は、その軌道、相対サイズ、形状、色等により特定、追跡、及び追尾され得る。先導体についてより多くの情報がコアシステム150に利用可能であるほど、車両100の追尾動作が高い信頼性を持つ。様々な実施形態において、追尾車両100は先導体50を追跡する為のカメラセンサを採用する。これらのセンサは明るい日光、暗闇、雨、霧等に影響され得る。また、シーン内の目標が潜在的であるほど、システムが目標を区別して「正しい」もの、つまり先導体を選択することが困難になる。本発明概念の態様によるセンサシステム及びセンサモジュールの実施形態は、多数のセンサ技術を統合してモノリシックシステムの短所を克服する。
図8Bの背面斜視図は、様々な実施形態による、カバー202に収容される様々な電子機器を示す。電子機器の実施形態が以下で考察される。
図9A乃至9Dには、発明概念の態様によるセンサモジュールカバー202の一実施形態の様々な図が描かれている。図9Aは、センサモジュールカバー202の背面斜視図である。図9Bは、図9Aのセンサモジュールカバーの正面図である。図9Cは、図9Aのセンサモジュールカバーの背面図である。図9Dは、図9Aのセンサモジュールカバーの断面図である。
示されている実施形態では、カバー202の下方部分にレドームエリア203が形成され、カバー202の上方部分においてレドームエリア203の上方には一以上の別のセンサ又はデバイスが設置されている。代替実施形態では、レドームエリア203がカバー202の異なる位置にあってもよい。
幾つかの実施形態において、レドームエリア203は1.1mmかその程度の厚さである。代替実施形態において、レドームエリア203は異なる厚さを有し得る。幾つかの実施形態において、レドームエリア203は約50mmの高さ(h1)と約71.4mmの幅(w1)であり得る。代替実施形態では、レドームエリア203の寸法が異なっていてもよい。
図と以下の考察から明白になるように、カバー202は、様々なカメラレンズとともにこれから露出したUI及び他のデバイスを収納するように形成された様々な開口部を含む。
図10Aは、発明概念の態様による、図8A及び8Bのセンサモジュール200の一実施形態の正面分解斜視図である。図10Bは、発明概念の態様による、図10Aのセンサモジュールの背面分解斜視図である。図10Cは、発明概念の態様による、カバー202を含まない図10Aのセンサモジュール200の一実施形態の正面分解斜視図である。
これらの図は、カバー202とUIデバイス250とIRパターン投影装置240とを具備するセンサモジュール200を示す。UIデバイス250とIRパターン投影装置とは幾つかの実施形態ではセンサモジュール200の一部であり得るが、他の実施形態では一方又は両方がセンサモジュールとは別に設けられ得る。示されている実施形態において、センサモジュール200は更に単眼カメラシステム210と立体カメラシステム220とレーダ撮像システム230とを含み、図7A乃至7Cの例に示されているように、各々が異なる視野を生成することが可能である。他の実施形態において、センサモジュールは、上記の二つのみの組み合わせ、上記の一方と異なるセンサタイプとの組み合わせ、あるいはレーダ撮像センサのみを例として含み得る。発明概念の範囲内で他のセンサ構成も可能である。
図11Aは、発明概念の態様による、ユーザインタフェース250の一実施形態の上面分解斜視図である。図11Bは、発明概念の態様による、ユーザインタフェース250の一実施形態の底面分解斜視図である。
上で考察されたように、この実施形態で、UI250は、リング状のライト254、例えば発光ダイオード(LED)により囲繞されているボタン252を含む。UI250は少なくとも車両100のペアリング動作で使用される。ボタン252は、コア150と通信する導線253が延出するプリント回路基板(PCB)を含む。ボタン252とライト254とを支持するハウジング256が設けられる。ワイヤ及び/又はコネクタセット255は、ハウジング256の底部の開口部を通してライト254に接続されている。
図12A乃至12Eは、発明概念の態様によるセンサモジュール200の内側部分の一実施形態の異なる図を示す。これらの実施形態において、センサモジュール200は単眼カメラシステム210と立体カメラシステム220とレーダ撮像システム230とを含む。図12A乃至12Eに示されている図では、内側コンポーネントを示すようにカバー202が省略されている。
幾つかの実施形態において、このセンサモジュール200の構成(例えば単眼撮像と立体撮像とレーダ撮像)は、図1に示された実施形態の特性のうち一以上を持つ追尾車両100に取り付けられる。
図12A乃至12Eは、発明概念の態様による、センサモジュール200の内側部分の一実施形態の図である。図12Aは、センサモジュール200の内側部分の一実施形態の正面図である。図12Bは、図12Aのセンサモジュール200の内側部分の一実施形態の側面図である。図12Cは、図12Aのセンサモジュール200の内側部分の一実施形態の正面斜視図である。図12Dは、図12Aのセンサモジュール200の内側部分の一実施形態の正面分解斜視図である。そして図12Eは、図12Aのセンサモジュール200の内側部分の一実施形態の背面斜視図である。
図12A乃至12Eの実施形態を参照すると、幾つかの実施形態において、センサモジュール200は実装フレーム204を具備する。幾つかの実施形態において、実装フレーム204は、センサモジュール200を追尾車両100に結合するように構成されており、硬質材料、例えばプラスチック、樹脂、又は金属で形成されるかこれを含み得る。
幾つかの実施形態において、センサモジュール200はプリント回路基板(PCB)206を具備する。PCB206は、様々なコネクタと、通信経路と、単眼撮像システム210、立体撮像システム220、及び/又はレーダ撮像システム230の動作をサポートするのに有用な集積回路とを具備し得る。
幾つかの実施形態では、センサモジュール200がレンズマウント214を具備する。幾つかの実施形態において、レンズマウント214は、単眼撮像システム210の単眼カメラ212を実装フレーム214に固定するように構成されている。例えば図8A及び9Aに示されているように、単眼カメラレンズ213がセンサモジュールカバー202の開口部と整合されてこれから露出されるように、レンズマウント214は単眼カメラ212を実装フレーム204に固定する。
幾つかの実施形態において、センサモジュール200は、センサモジュール200内での、そして内側コンポーネント間での光の漏出を防止及び/又は軽減するように機能するライトシールド226を具備する。この実施形態において、ライトシールド226は三つの円形開口部226a,226b,226cを含む。開口部226a及び226bは、立体測距カメラ220のステレオカメラ222を形成するカメラ222a,222bを受容する。様々な実施形態において、ライトシールド226はPCB206と実装フレーム204との間に配設及び固定され得る。PCB206は、ステレオカメラ222を受容する少なくとも一つの開口部を画定するか含み得る。
図12Eに示されているもののような幾つかの実施形態において、センサモジュール200は立体カメラヒートシンク228も具備する。ヒートシンク228は、PCB206の開口部に延在するステレオカメラ222a,222bの後側に結合され得る。ヒートシンク228は、例えば、一以上のスクリュあるいは別のタイプの締結具又は接着剤を使用して、PCB206及び/又はヒートシンク228に固定され得る。例えば図12Eを参照すること。ヒートシンク228及び/又はPCB206は、例えば、一以上のスクリュあるいは別のタイプの締結具又は接着剤を使用して、実装プレート204に固定され得る。例えば図12Eを参照すること。
幾つかの実施形態では、IRパターン投影装置240を受容するように開口部226cが形成される。開口部226cは、センサモジュールカバー202のIRパターン投影装置レンズ243の為の対応の開口部と整合される。IRパターン投影装置240とレンズカバー243とが任意で設けられるが、省略されてもよい。様々な実施形態において、IRパターン投影装置240は低照明状態で光源として使用され得る。
図12A乃至12Eの実施形態において、センサモジュールはレーダ撮像システム230を含む。図12Eに示されているもののような幾つかの実施形態において、センサモジュール200はレーダヒートシンク238を具備する。
図13Aは、発明概念の態様によるレーダヒートシンク238の一実施形態の正面斜視図である。この図では、レーダシステムプリント回路基板(PCB)231に面するレーダシンク238の側が示されている。図13Bは、発明概念の態様によるレーダヒートシンク238の一実施形態の背面斜視図である。この図で、レーダヒートシンク238の後ろのPCB側はPCB206に面している。図13Aでヒートシンク238の前のレーダ側は、レーダPCB231の結合部を収納する切除部又は凹部を含み、前向きである。ヒートシンク238はこの構造を有するように形成され得るか、熱伝導性ヒートシンク材料で製作されたプレートの表面から切除部又は凹部がエッチングされるか切り抜かれ得る。ヒートシンク238は、レーダシステムPCB231からカメラシステムPCB206までのコネクタ235の通路を収納する切欠き237も含む。
図14A乃至14Cは、発明概念の態様によるレーダシステムPCB231の一実施形態を示す。図14Aは、発明概念の態様によるレーダシステムPCB231の一実施形態の正面図である。図14Bは、図14AのレーダシステムPCB231の一実施形態の背面図である。そして図14Cは、図14AのレーダシステムPCB231の一実施形態の側面図である。
幾つかの実施形態において、レーダシステムPCB231は追尾車両100のセンサモジュール200の一部を形成する。幾つかの実施形態において、レーダ撮像システム230の一以上のレーダセンサ又はアンテナ232(例えば232a,232b)はレーダシステムPCB231に結合される。図14Aに示されている実施形態において、二つのアンテナ232a,232bはレーダシステムPCB231に結合される。代替実施形態では、異なる数のアンテナ232がレーダシステムPCB231に結合されてもよい。幾つかの実施形態において、レーダシステム230は、レーダシステムプリント回路基板231に結合されていない一以上のアンテナ232を具備する。
示されている実施形態において、レーダアンテナ232a及び232bは、レーダPCB231内の同じ平面で直交して配向されている。代替実施形態では、一以上のアンテナ232がレーダシステムPCB231において異なる構成を持ち得る。
図15は、発明概念の態様による、レーダヒートシンク238に結合されたレーダシステムPCB231の一実施形態の正面斜視図である。図12A乃至12Eに示されているように、レーダPCB231とヒートシンク238との間に配設された実装ブラケット204で、レーダPCB231がレーダヒートシンク238に結合され得る。
幾つかの実施形態において、レーダシステムPCB231は一以上の締結具237を使用してレーダヒートシンク238に結合されている。図15に示されているもののような幾つかの実施形態において、一以上の締結具237は一以上の3×2mmウェハのヘッドスクリュ237を含む。図15に示されている実施形態では、3個の3×2mmウェハのヘッドスクリュ237a,237b,237cを使用してレーダシステムプリント回路基板231がレーダヒートシンク238に結合されている。代替実施形態では、異なる数及び/又はタイプの締結具237が使用され得る。代替実施形態において、一以上の締結具237のポジションは異なり得る。
代替実施形態では、にかわ、はんだ、テープ、あるいは二つの物品を結合する為の適当な機構を限定ではなく含む一以上の代替的な締結具を使用して、レーダシステムPCB231がレーダヒートシンク238に結合される。
三次元(3D)光学撮像と広視野(FOV)単眼撮像との組み合わせ
幾つかの実施形態において、センサシステムは、立体測距技術を実行するように構成されている立体カメラを採用する光学撮像システムと、可変環境条件下でロバスト画像と3D点群とを提供する広視野単眼撮像システムとを含む。このシステムは、立体測距カメラシステム220と広FOV単眼撮像システム210とを具備する。ステレオ及び単眼システム220,210は、車両で互いの近くに置かれて、重複する視野(FOV)を有する。立体測距カメラシステム220は、各々がステレオカメラレンズ223を有する一対のカメラ222を含む。単眼カメラシステム210は、単眼カメラレンズ213を有する単眼カメラ212を含む。
この実施形態では、立体測距光学撮像システム220と広FOV単眼撮像システム210との使用が組み合わされる。両方のシステム210,220が、コア150などの追跡システムへ情報を供与する。追跡システムは画像情報とともに点情報を監視して、車両100に対する先導体の位置を計算する。日光など幾つかの外的要因により一つのセンサ又は別のセンサが影響を受ける事象でも、別のセンサが適切な情報を提供して外乱が取り除かれるまで動作を維持できる。3D測距システムのFOVの側方に先導体が移動する状態においても、広FOV単眼カメラ212で方位角が判断され、車両100が正しい向きに回転されて3DセンサFOV内で先導体を再捕捉する。例えば図7A及び7Bを参照すること。
図16A乃至16Cは、発明概念の態様による、立体撮像システム220と単眼撮像システム210とを具備するセンサモジュール200の内側部分の一実施形態の図である。本明細書ではセンサモジュール200部分が上で考察されており、重複する記載はここでは省略される。
図16Aは、発明概念の態様による、立体撮像システム220と単眼撮像システム210とを具備するセンサモジュール200の内側部分の一実施形態の正面図である。図16Bは、図16Aの立体撮像システム220と単眼撮像システム210とを具備するセンサモジュール200の内側部分の一実施形態の斜視図である。図16Cは、図16Aのセンサモジュール200の内側部分の一実施形態の側面図である。これらの図の全てにおいて、レーダシステムが省略されている。
幾つかの実施形態において、このセンサモジュール200の構成(例えば広FOV単眼撮像を伴う3D光学撮像)が、図1の実施形態の特性のうち一以上を備える追尾車両100に取り付けられる。
3D立体光学撮像とレーダ撮像との組み合わせ
幾つかの実施形態において、センサシステムは、マシンビジョン技術を採用する立体測距撮像システムと、可変環境条件下でロバスト3D点群を提供する高解像度マルチアンテナレーダ撮像システムとを含む。このシステムは、一対のカメラ222a,222bを有するステレオカメラシステム220と、少なくとも一つのアンテナ232を有する4D(x,y,z,v)レーダ測距システム230とを含む。ステレオカメラ222とレーダシステム230とは、車両100で互いの近くに置かれて、重複する視野(FOV)を有する。図7B及び7Cを参照すること。
この実施形態では、立体測距光学撮像システム220と高解像度レーダシステム230との使用が組み合わされる。両方のセンサ222,232は、追跡システム、例えばコア150へ情報を供与する。追跡システムは画像情報とともに点情報を監視して、車両100に対する先導体50の位置を計算する。一つのセンサ又は別のセンサが日光など幾つかの外的要因により影響を受ける事象でも、別のセンサが適切な情報を提供して外乱が取り除かれるまで動作を維持できる。
図17A乃至17Cは、発明概念の態様によるセンサモジュール200の内側部分の一実施形態の図である。図17A乃至17Cに示されている図で、内側コンポーネントを示すようにカバー202が省略されている。この実施形態において、センサモジュール200は、立体撮像システム220とレーダ撮像システム230とを少なくとも具備する。図17A乃至17Cの実施形態では、単眼カメラシステム210が省略され得る。本明細書ではセンサモジュール200部分が上で考察されたが、重複する記載はここでは省略される。
図17Aは、センサモジュール200の内側部分の一実施形態の正面図である。図17Bは、図17Aのセンサモジュール200の部分の実施形態の斜視図である。図17Cは、図17Aのセンサモジュール200の内側部分の一実施形態の側面図である。
幾つかの実施形態において、このセンサモジュール200の構成(例えばレーダ撮像を伴う3D光学撮像)は、図1に示された実施形態の特性のうち一以上を備える追尾車両100に取り付けられる。
レーダと広FOV単眼光学撮像との組み合わせ
幾つかの実施形態において、センサシステムは、マシンビジョン技術を採用する光学撮像システムと、可変環境条件下でロバスト3D点群を提供する高解像度マルチアンテナレーダ撮像システムとを含む。このシステムは、カラーカメラ212を含む広FOV単眼カメラシステム210と、少なくとも一つのアンテナ232を含む4D(x,y,z,v)レーダ測距システム230とを含む。カメラ及びレーダシステム210,230は車両100で互いの近くに置かれて、重複する視野(FOV)を有する。例えば図7A及び7Cを参照すること。
レーダシステムは、RF信号の発出及び反射を採用して目標までの距離を特定する。多数のアンテナシステムは、X、Y、あるいは高度及び方位角の情報とともに目標までの距離を提供できる。最新のソリッドステートレーダシステムは、検知された各ボクセルについてx,y,z及び速度情報を提供する高解像度撮像を提供できる。しかしながら、レーダシステムは光学システムと同じ速度で作動できず、同じ高解像度を未だ有さず、シーン内のカラーについてのいかなる情報も提供できない。
単眼撮像システムはそれ自体では距離データを提供できないが、目標が特定可能である場合には方位角情報を提供できる。測距撮像装置の性能を最適化するには、概して、そのFOVが90度以下に制限される必要がある。先導体が3D測距システムのFOVの側方へ移動する状態でも、方位角が広FOV単眼カメラで判断され、車両が右向きに回転されて3DセンサFOVで先導体を再捕捉し得る。
この実施形態では、広FOV単眼光学撮像システム210と高解像度レーダシステム230との使用が組み合わされる。両方のセンサ212,232は、追跡システム、例えばコア150へ情報を供与する。追跡システムは画像情報とともに点情報を監視して、車両100に対する先導体の位置を計算する。日光など何らかの外的要因により一つのセンサ又は別のセンサが影響を受ける事象でも、外乱が取り除かれるまで動作を維持するのに適切な情報を別のセンサが提供できる。レーダ測距システムのFOVの側方へ先導体が移動する状態でも、広FOV単眼カメラ212で方位角が判断され、車両100が右向きに回転されてレーダセンサ232FOVで先導体を再捕捉し得る。
図18A乃至18Cは、発明概念の態様による、単眼撮像システム210とレーダ撮像システム230とを具備するセンサモジュール200の内側部分の一実施形態の図である。図18A乃至18Cに示されている図では、内側コンポーネントを示すようにカバー202が省略されている。本明細書ではセンサモジュール200の部分が上で考察されたので、重複する記載はここでは省略される。
図18Aは、発明概念の態様による、単眼撮像システム210とレーダ撮像システム230とを具備するセンサモジュール200の内側部分の一実施形態の正面図である。図18Bは、図18Aのセンサモジュール200の内側部分の一実施形態の斜視図である。図18Cは、図18Aのセンサモジュール200の内側部分の一実施形態の側面図である。
幾つかの実施形態において、このセンサモジュール200の構成(例えばレーダ撮像を伴う単眼撮像)は、図1に示されている実施形態の特性のうち一以上を備える追尾車両100に取り付けられる。
図19は、発明概念の態様による、センサシステム及び/又はモジュールを使用して先導体を追跡及び追尾する方法900の一実施形態である。
ステップ902では、複数の異なるタイプの検知システム及び/又はセンサを具備するセンサシステムが用意される。このようなセンサは、単眼カメラ、立体カメラ、及び/又は、3Dレーダ撮像システムを限定ではなく含み得る。ステップ904では、追跡される先導体が捕捉される。任意であるが、複数の異なる検知システム及び/又はセンサのうち少なくとも一つの検知システム及び/又はセンサを起動させて先導体の少なくとも一つの特性を記録するペアリング動作を開始させるように先導体により作動可能である少なくとも一つのユーザインタフェース機構を具備するユーザインタフェースが含まれ得る。幾つかの実施形態において、ユーザインタフェースは、先導体と関連する生体情報を収集するように構成されている生体認証センサを具備し、生体情報を使用して先導体の少なくとも一つの特性が判断される。先導体が捕捉されてその特性がメモリに記憶され、ペアリング動作が完了すると、複数の異なるタイプの検知システム及び/又はセンサが先導体を追跡及び/又は追尾するのに使用され得る。複数の異なるタイプの検知システム及び/又はセンサを含まずに先導体の捕捉とペアリングとが別々に達成され得るという点で、ステップ904は任意である。
ステップ906では、複数の異なるタイプの検知システム及び/又はセンサが、複数の異なる視野(FOV)を確立するのに使用される。二以上のFOVは重複し得るが、異なるFOVは異なる角度幅を有し得る。先導体の移動に応じて、先導体が異なる視野の重複部分に常に位置しているわけではない。それゆえ、ステップ908では、異なるセンサ及びセンサシステムが相補的に作動し、異なるセンサ及びセンサシステムの部分集合は先導体のポジションに応じてそのFOV内で先導体を追跡し得る。しかし幾つかの事例において、ステップ908では先導体は異なるFOVの重複部分にあって、多数のセンサ又はセンサシステムにより同時に追跡され得る。
幾つかの実施形態において、センサシステムは、車両、例えば追尾車両、及び又は、固定か常置の表面に結合されるかその一部を形成するセンサモジュールを含む。ステップ910では、追尾車両に結合されるかその一部を形成する時に、車両は、先導体が様々なFOV内で動き回る際に複数の異なるタイプの検知システム及び/又はセンサからのセンサデータを使用して走行できる。
追尾車両の状況における発明概念の態様が示され記載されたが、センサシステム及びセンサモジュールは、先導体の移動を追尾するのにセンサシステム又は他のシステムが有用である更に広い用途を有し得る。幾つかの実施形態は、他の車両タイプとともに、そして静止状態で、例えばセンサモジュールが異なるタイプの可動機器、静止物体、あるいは壁などの常置構造に装着可能である際に、センサシステム及び/又はセンサモジュールを使用することを含み得る。それゆえ、様々な実施形態において、センサモジュールは、例えば実装プレートを介して、異なるタイプの表面に結合されるように構成され得る。
付加的に、本開示の利益を受ける当業者は、本発明を逸脱することなくセンサモジュールが他のフォームファクタを取り得ることを認識するだろう。発明は、本明細書に示されている特定のフォームファクタにより制限されない。本開示の利益を受ける当業者は、他の様々なタイプのセンサ技術により生成されるセンサデータが追尾車両による先導体50の追跡及び追尾を可能にする実施形態では特に、開示された形態の検知技術との組み合わせで、あるいはその代わりに、このような技術が使用され得ることも認識するだろう。
上記では、最良の態様及び/又は他の好適な実施形態と考えられるものが記載されているが、様々な変形が行われ得ること、様々な形態及び実施形態で本発明概念が実行され得ること、そして多数の用途で適用されてそのうち幾つかのみが本明細書に記載されていることは了解されている。各請求項の範囲に内含される全ての変更及び変形を含めて、文字通り記載されるものとその全ての同等物であるものを請求することが以下の請求項で意図されている。
明瞭性の為に他の実施形態の状況で記載されている本発明概念の或る特徴が単一の実施形態において組み合わせで提供され得ることが認識されている。逆に、簡潔性の為に単一の実施形態の文脈で記載されている本発明概念の様々な特徴は、別々に、あるいは適当な下位組み合わせでも提供され得る。
例えば、(独立であれ従属であれ)いずれかの請求項に提示されている特徴の全てが何らかの所与の手法で組み合わされ得ることが認識されるだろう。
Claims (100)
- 協働的に先導体を追跡するように構成されている異なるタイプの撮像センサを具備する複数の異なる検知システムと、
前記異なるタイプの撮像センサを格納して車両に結合するように構成されているカバーを含むセンサモジュールと、
を具備するセンサ機器。 - 前記複数の異なる検知システムが、少なくとも二つの重複視野を含む複数の視野を提供する、請求項1に記載の機器。
- 前記複数の視野が少なくとも三つの重複視野を含む、請求項1に記載の機器。
- 前記複数の異なる検知システムが少なくとも二つの異なるタイプの撮像システムを含む、請求項1に記載の機器。
- 前記複数の異なる検知システムが、少なくとも一つのアンテナを具備する少なくとも一つの3D電波撮像センサを具備する3D電波撮像システムを含む、請求項1に記載の機器。
- 少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを前記カバーが含む、
請求項5に記載の機器。 - 前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記カバーの前記レドームエリアと前記ヒートシンクプレートとの間に前記レーダPCBが平行に配設される、
請求項6に記載の機器。 - 前記複数の異なる検知システムが、三次元(3D)電波撮像センサと広角視野(FOV)単眼カメラとを含む、請求項1に記載の機器。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
前記広角FOV単眼カメラと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記広角FOV単眼カメラが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項8に記載の機器。 - 前記複数の異なる検知システムが、3D光学撮像センサと広FOV単眼カメラとを含む、請求項1に記載の機器。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
前記広角FOV単眼カメラと、
を具備し、
前記センサシステムPCBと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項10に記載の機器。 - 前記複数の異なる検知システムが、3D光学撮像システムと3D電波撮像システムとを含む、請求項1に記載の機器。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記ステレオカメラが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記センサシステムPCBとが前記実装プレートに結合される、
請求項12に記載の機器。 - 前記複数の異なる検知システムが、3D光学撮像システムと、3D電波撮像システムと、広角FOV単眼カメラを有する広FOV単眼撮像システムとを含む、請求項1に記載の機器。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
前記広角FOV単眼カメラと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記広角FOV単眼カメラと前記ステレオカメラとが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記センサシステムPCBと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項14に記載の機器。 - 前記3D電波撮像センサの視野が90度と180度との間である、請求項14又は15に記載の機器。
- 前記少なくとも一つの3D電波撮像センサの視野が約160度である、請求項16に記載の機器。
- 前記少なくとも一つの広角視野(FOV)単眼カメラの視野が45度から135度である、請求項14乃至17に記載の機器。
- 前記少なくとも一つの広角視野(FOV)単眼カメラの視野が約90度である、請求項18に記載の機器。
- 前記3D電波撮像センサの視野が90度と180度との間である、請求項14乃至19に記載の機器。
- 前記少なくとも一つの3D電波撮像センサの視野が約130度である、請求項20に記載の機器。
- 前記複数の異なる検知システムのうちの少なくとも一つの検知システムを起動させて前記先導体の少なくとも一つの特性を記録するペアリング動作を開始するように前記先導体により作動可能である前記カバー内の少なくとも一つのユーザインタフェース機構を具備するユーザインタフェース、
を更に具備する、請求項1に記載の機器。 - 前記先導体と関連する生体情報を収集するように構成されている生体認証センサを前記ユーザインタフェースが具備し、前記生体情報を使用して前記先導体の前記少なくとも一つの特性が判断される、請求項22に記載の機器。
- 前記車両が追尾車両である、請求項1に記載の機器。
- シャシと、
前記シャシにより支持されて複数の車輪を駆動するように配置される駆動機構と、
前記シャシにより支持されるボデーと、
センサ機器であって、
協働的に先導体を追跡するように構成されている異なるタイプの撮像センサを具備する複数の異なる検知システムと、
前記異なるタイプの撮像センサを格納するとともに車両に結合されるように構成されているカバーを含むセンサモジュールと、
を具備するセンサ機器と、
を具備する追尾車両。 - 前記複数の異なる検知システムが、少なくとも二つの重複視野を含む複数の視野を提供する、請求項25に記載の車両。
- 前記複数の視野が少なくとも三つの重複視野を含む、請求項25に記載の車両。
- 前記複数の異なる検知システムが少なくとも二つの異なるタイプの撮像システムを含む、請求項25に記載の車両。
- 前記複数の異なる検知システムが、少なくとも一つのアンテナを具備する少なくとも一つの3D電波撮像センサを具備する3D電波撮像システムを含む、請求項25に記載の車両。
- 前記少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを前記カバーが含む、
請求項29に記載の車両。 - 前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記カバーの前記レドームエリアと前記ヒートシンクプレートとの間で前記レーダPCBが平行に配設される、
請求項30に記載の車両。 - 前記複数の異なる検知システムが、三次元(3D)電波撮像システムと広角視野(FOV)単眼カメラとを含む、請求項25に記載の車両。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
前記広角FOV単眼カメラと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記広角FOV単眼カメラが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項32に記載の車両。 - 前記複数の異なる検知システムが3D光学撮像システムと広FOV単眼カメラとを含む、請求項25に記載の車両。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
前記広角FOV単眼カメラと、
を具備し、
前記センサシステムPCBと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項34に記載の車両。 - 前記複数の異なる検知システムが、少なくとも一つの3D光学撮像システムと3D電波撮像システムとを含む、請求項25に記載の車両。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのアンテナを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記ステレオカメラが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記センサシステムPCBとが前記実装プレートに結合される
請求項36に記載の車両。 - 前記複数の異なる検知システムが、3D光学撮像システムと、3D電波撮像システムと、広角FOV単眼カメラを有する広FOV単眼撮像システムとを含む、請求項25に記載の車両。
- 前記センサモジュールが、
前記カバーが結合される実装プレート、
を具備し、
前記3D電波撮像システムが、
少なくとも一つのカメラを具備するレーダPCBと、
前記レーダPCBに隣接するヒートシンクプレートと、
を具備し、
前記3D光学撮像システムが、
センサシステムPCBと、
前記センサシステムPCBに結合されるステレオカメラと、
前記ステレオカメラに結合される立体カメラヒートシンクと、
前記広角FOV単眼カメラと、
を具備し、
前記レーダPCBと前記ヒートシンクプレートとが前記カバーのレドームエリアの近くで前記実装プレートの底部エリアに平行に配設されて前記広角FOV単眼カメラと前記ステレオカメラとが前記レーダPCB及び前記ヒートシンクプレートの上方で前記実装プレートの上部エリアに配設されるように、前記レーダPCBと前記ヒートシンクプレートと前記センサシステムPCBと前記広角FOV単眼カメラとが前記実装プレートに結合される、
請求項38に記載の車両。 - 前記3D電波撮像センサの視野が90度と180度との間である、請求項38又は39に記載の車両。
- 前記少なくとも一つの3D電波撮像センサの視野が約160度である、請求項40に記載の車両。
- 前記少なくとも一つの広角視野(FOV)単眼カメラの視野が45度から135度である、請求項38乃至41に記載の車両。
- 前記少なくとも一つの広角視野(FOV)単眼カメラの視野が約90度である、請求項42に記載の車両。
- 前記3D電波撮像センサの視野が90度と180度との間である、請求項38乃至43に記載の車両。
- 前記少なくとも一つの3D電波撮像センサの視野が約130度である、請求項44に記載の車両。
- 前記複数の異なる検知システムのうちの少なくとも一つの検知システムを起動させて前記先導体の少なくとも一つの特性を記録するペアリング動作を開始するように前記先導体により作動可能である前記カバー内の少なくとも一つのユーザインタフェース機構を具備するユーザインタフェース、
を更に具備する、請求項25に記載の車両。 - 前記先導体と関連する生体情報を収集するように構成されている生体認証センサを前記ユーザインタフェースが具備し、前記生体情報を使用して前記先導体の前記少なくとも一つの特性が判断される、請求項46に記載の車両。
- 前記先導体と前記車両とがペアリングされていることを表示する少なくとも一つの出力デバイスを前記ユーザインタフェース機構が含み、少なくとも一つの出力デバイスが任意で少なくとも一つのライトを含む、請求項46又は47あるいは他のいずれかの請求項に記載の車両。
- 前記複数の車輪が二つの車輪である、請求項25あるいは他のいずれかの請求項に記載の車両。
- 前記追尾車両が可動運搬車両である、請求項25あるいは他のいずれかの請求項に記載の車両。
- 第1視野を確立するのに使用される第1センサデータを提供する一以上の第1センサを具備する第1センサシステムと、
前記第1視野と重複する第2視野を確立するのに使用される第2センサデータを提供する一以上の第2センサを具備する第2センサシステムと、
前記第1センサデータと前記第2センサデータとを処理して前記第1及び第2視野の中の先導体を追跡及び追尾するように構成されている少なくとも一つのプロセッサと、
を具備するセンサシステム。 - 前記先導体が、少なくとも一つのコンピュータ記憶デバイスに記憶される一以上の特性を有する被捕捉先導体である、請求項51に記載のシステム。
- 前記先導体を捕捉するペアリング動作において、前記第1センサデータ及び/又は前記第2センサデータのうち少なくとも幾つかを処理して、前記先導体の前記一以上の特性を特定して前記少なくとも一つのコンピュータ記憶装置に記憶するように前記少なくとも一つのプロセッサが構成されている、請求項52に記載のシステム。
- 前記ペアリング動作を開始するように前記先導体により作動可能である少なくとも一つのユーザインタフェース機構を具備するユーザインタフェース、
を更に具備する、請求項53に記載のシステム。 - 前記ペアリング動作で前記少なくとも一つのプロセッサにより使用されて前記先導体と関連の生体情報を収集するように構成されている生体認証センサを前記ユーザインタフェースが具備する、請求項54に記載のシステム。
- 前記第1センサシステム及び前記第2センサシステムの少なくとも一方が三次元レーダ撮像システムを具備する、請求項51に記載のシステム。
- 前記第1センサシステム及び前記第2センサシステムの少なくとも一方が三次元立体撮像システムを具備する、請求項51に記載のシステム。
- 前記第1センサシステム及び前記第2センサシステムの少なくとも一方が広視野単眼撮像システムを具備する、請求項51に記載のシステム。
- 前記第1センサシステムが三次元レーダ撮像システムを具備して、前記第2センサシステムが三次元立体撮像システム及び/又は広視野単眼撮像システムを具備する、請求項51に記載のシステム。
- 前記第1センサシステムが三次元立体撮像システムを具備して、前記第2センサシステムが三次元レーダ撮像システム及び/又は広視野単眼撮像システムを具備する、請求項51に記載のシステム。
- 前記第1視野と重複する第3視野を確立するのに使用される第3センサデータを提供する一以上の第3センサを具備する第3センサシステム、
を更に具備し、
前記第3センサデータも処理して前記第1、第2、及び第3視野内で先導体を追跡及び追尾するように前記少なくとも一つのプロセッサが構成されている、
請求項51に記載のシステム。 - 前記第1センサシステムが三次元立体撮像システムを具備し、
前記第2センサシステムが三次元レーダ撮像システムを具備し、
前記第3センサシステムが広視野単眼撮像システムを具備する、
請求項61に記載のシステム。 - 前記一以上の第1センサのうちの少なくとも一つの第1センサと前記一以上の第2センサのうちの少なくとも一つの第2センサとを格納するカバー、
を含むセンサモジュール、
を更に具備する、請求項51乃至62のいずれかに記載のシステム。 - 前記少なくとも一つの第1センサが三次元レーダ撮像システムの少なくとも一つのアンテナを含み、前記少なくとも一つのアンテナの電波に対して透過性である材料で形成されたレドームエリアを前記カバーが含む、請求項63に記載のシステム。
- 前記カバーが装着される実装プレートを前記センサモジュールが更に含み、車両に結合されるように前記実装プレートが構成されている、請求項63又は64に記載のシステム。
- 前記車両が、前記第1センサデータ及び第2センサデータを受けて前記先導体を追跡及び追尾する走行システムを具備する追尾車両である、請求項65に記載のシステム。
- 前記センサモジュールが更に、
前記センサシステム及び/又は車両と前記先導体をペアリングするペアリング動作を開始するように前記先導体により作動可能である少なくとも一つのユーザインタフェース機構を具備するユーザインタフェース、
を含む、請求項63乃至66に記載のシステム。 - 前記先導体と関連しており、前記先導体を捕捉する前記ペアリング動作で前記少なくとも一つのプロセッサにより使用される生体情報を収集するように構成されている生体認証センサを前記ユーザインタフェースが具備する、請求項67に記載のシステム。
- 請求項51乃至68のいずれかに記載のセンサシステムを具備する車両。
- 前記車両が、前記第1センサデータ、前記第2センサデータ、そして任意で前記第3センサデータを受けて前記先導体を追跡及び追尾する走行システムを具備する追尾車両である、請求項69に記載の車両。
- 複数の異なるタイプの撮像センサデータを提供して複数の視野を提供する複数のセンサシステムと、
前記複数のタイプのセンサデータを処理して前記複数の視野内で先導体を追跡及び追尾するように構成されている少なくとも一つのプロセッサと、
を具備するセンサシステム。 - 前記複数の視野が重複視野を含む、請求項71に記載のシステム。
- 前記重複視野が異なる角度幅を有する、請求項72に記載のシステム。
- 前記複数のセンサシステムが、
三次元立体撮像システムと、
三次元レーダ撮像システムと、
広視野単眼撮像システムと、
から成るグループから選択される少なくとも二つのセンサ、
を具備する、請求項71乃至73に記載のシステム。 - 前記複数のセンサシステムが、
三次元立体撮像システムと、
三次元レーダ撮像システムと、
広視野単眼撮像システムと、
を少なくとも具備する、請求項71乃至73に記載のシステム。 - 前記複数のセンサシステムが、
三次元レーダ撮像システムと、
広視野単眼撮像システムと、
を少なくとも具備する、請求項71乃至73に記載のシステム。 - 前記複数のセンサシステムが、
三次元立体撮像システムと、
三次元レーダ撮像システムと、
を少なくとも具備する、請求項71乃至73に記載のシステム。 - 前記複数のセンサシステムが、
三次元立体撮像システムと、
広視野単眼撮像システムと、
を少なくとも具備する、請求項71乃至73に記載のシステム。 - 複数の異なるタイプのセンサデータを収集して複数の視野を提供するように構成されている複数の異なるタイプの撮像センサと、
前記複数の異なるタイプの撮像センサをモジュールに格納するように構成されているカバーと、
を具備する、センサモジュール装置。 - 前記複数の視野が少なくとも二つの重複視野を含む、請求項79に記載の装置。
- 前記重複視野が異なる角度幅を有する、請求項80に記載のシステム。
- 前記複数の異なるタイプの撮像センサが少なくとも二つの異なるタイプの撮像センサを含む、請求項79に記載の装置。
- 前記複数の異なるタイプの撮像センサが少なくとも三つの異なるタイプの撮像センサを含む、請求項79に記載の装置。
- 少なくとも一つの三次元立体撮像センサと、
少なくとも一つの三次元レーダ撮像センサと、
少なくとも一つの広視野単眼センサと、
から成るグループから選択された少なくとも二つのセンサを前記複数の異なるタイプの撮像センサが具備する、請求項79に記載の装置。 - 前記複数の異なるタイプ撮像センサが、
少なくとも一つの三次元立体撮像センサと、
少なくとも一つの三次元レーダ撮像センサと、
少なくとも一つの広視野単眼撮像センサと、
を少なくとも具備する、請求項79に記載の装置。 - 前記複数の異なるタイプの撮像センサが、
少なくとも一つの三次元レーダ撮像センサと、
少なくとも一つの広視野単眼撮像センサと、
を少なくとも具備する、請求項79に記載の装置。 - 前記複数の異なるタイプの撮像センサが、
少なくとも一つの三次元立体撮像センサと、
少なくとも一つの三次元レーダ撮像センサと、
を少なくとも具備する、請求項79に記載の装置。 - 前記複数の異なるタイプの撮像センサが、
少なくとも一つの三次元立体撮像センサと、
少なくとも一つの広視野単眼撮像センサと、
を少なくとも具備する、請求項79に記載の装置。 - 前記カバーを収容して前記モジュールを車両又は表面に実装するように構成されている実装プレート、
を更に具備する、請求項79に記載の装置。 - 複数の異なるタイプのセンサシステムを用意することと、
前記複数の異なるタイプのセンサシステムを使用して複数の視野を確立することと、
前記複数の異なるタイプのセンサシステムのうちの少なくとも一つからのセンサデータを使用して前記異なる視野内又は視野間で先導体を追跡することと、
を包含する、先導体追跡方法。 - 前記複数の異なるタイプのセンサシステムの前記複数の異なるタイプのセンサを含むセンサモジュールを用意して、前記センサモジュールが追尾車両に結合されるか前記追尾車両の一部を形成することと、
前記複数の異なるタイプのセンサからのセンサデータを使用して前記先導体を追尾するように前記車両を走行させることと、
を更に包含する、請求項90に記載の方法。 - シャシと、
前記シャシにより支持されて複数の車輪を駆動するように配置されている駆動機構と、
前記シャシにより支持されるボデーと、
少なくとも一つのプロセッサと、
を前記追尾車両が具備する、請求項91に記載の方法。 - 前記複数の異なるタイプのセンサシステムが3Dステレオ測距システムと広視野単眼カメラと3Dレーダ測距システムとを含み、前記方法が更に、
前記3Dステレオ測距システムの視野から出る前記先導体を検出することと、
前記広視野単眼カメラを使用して前記先導体を追跡することと、
前記3Dステレオ測距システムの視野から出た後で前記先導体が前記3Dレーダ測距システムの視野内に入るように前記追尾車両を回転させることと、
を包含する、請求項90乃至92に記載の方法。 - 前記先導体を追跡する前提条件として前記先導体を捕捉すること、
を更に包含する、請求項90乃至93に記載の方法。 - 前記先導体の捕捉が、
前記先導体と前記車両との間でペアリング動作を実施して前記先導体と関連する特性を記憶すること、
を含む、請求項94に記載の方法。 - 前記複数の異なるタイプのセンサシステムが3Dレーダシステムと広視野単眼カメラとを具備する、請求項90乃至95に記載の方法。
- 前記複数の異なるタイプのセンサシステムが3D立体システムと広視野単眼カメラとを具備する、請求項90乃至95に記載の方法。
- 前記複数の異なるタイプのセンサシステムが3D立体システムと3Dレーダシステムとを具備する、請求項90乃至95に記載の方法。
- 前記複数の異なるタイプのセンサシステムが3D立体システムと3Dレーダシステムと広視野単眼カメラとを具備する、請求項90乃至95に記載の方法。
- 前記異なる視野が異なる角度幅を有する、請求項90乃至99に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063061897P | 2020-08-06 | 2020-08-06 | |
US63/061,897 | 2020-08-06 | ||
PCT/US2021/044942 WO2022032095A1 (en) | 2020-08-06 | 2021-08-06 | Follower vehicle sensor system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023537700A true JP2023537700A (ja) | 2023-09-05 |
JPWO2022032095A5 JPWO2022032095A5 (ja) | 2024-07-16 |
Family
ID=80114410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023506550A Pending JP2023537700A (ja) | 2020-08-06 | 2021-08-06 | 追尾車両センサシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11716522B2 (ja) |
EP (1) | EP4193230A1 (ja) |
JP (1) | JP2023537700A (ja) |
KR (1) | KR20230048346A (ja) |
WO (1) | WO2022032095A1 (ja) |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2511732B (en) * | 2013-02-01 | 2015-11-18 | Cambridge Comm Systems Ltd | Antenna arrangement of a wireless node |
WO2016126297A2 (en) * | 2014-12-24 | 2016-08-11 | Irobot Corporation | Mobile security robot |
JP6363528B2 (ja) * | 2015-02-09 | 2018-07-25 | 株式会社デンソー | レーダ装置搭載構造 |
US20180032042A1 (en) * | 2016-08-01 | 2018-02-01 | Qualcomm Incorporated | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data |
US9917355B1 (en) | 2016-10-06 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wide field of view volumetric scan automotive radar with end-fire antenna |
US10293676B2 (en) | 2016-10-18 | 2019-05-21 | Piaggio Fast Forward, Inc. | Vehicle having non-axial drive |
US10173738B2 (en) | 2016-10-18 | 2019-01-08 | Piaggio Fast Forward, Inc. | Vehicle having stabilization system |
JP2020503204A (ja) | 2016-10-18 | 2020-01-30 | ピアジオ ファスト フォワード インク | 非軸駆動および安定化システムを有する車両 |
USD890024S1 (en) | 2016-12-06 | 2020-07-14 | Piaggio Fast Forward, Inc. | Vehicle |
IT201700114497A1 (it) | 2017-10-11 | 2019-04-11 | Piaggio Fast Forward Inc | Veicolo a due ruote con sistema di stabilizzazione lineare |
US11474254B2 (en) | 2017-11-07 | 2022-10-18 | Piaggio Fast Forward Inc. | Multi-axes scanning system from single-axis scanner |
WO2019213264A1 (en) | 2018-05-01 | 2019-11-07 | Piaggio Fast Forward, Inc. | Method for determining self-driving vehicle behavior models, a self-driving vehicle, and a method of navigating a self-driving vehicle |
US10727960B2 (en) * | 2018-06-08 | 2020-07-28 | Inscape Data, Inc. | System and methods of detecting human presence in the vicinity of a radio frequency receiver system |
US10405196B1 (en) * | 2018-10-10 | 2019-09-03 | Verizon Patent And Licensing Inc. | System and method for identifying wireless coverage for multi-occupant structures |
US11180208B2 (en) | 2018-10-22 | 2021-11-23 | Piaggio Fast Forward, Inc. | Mobile carrier with interchangeable payloads |
USD911405S1 (en) | 2018-10-22 | 2021-02-23 | Piaggio Fast Forward, Inc. | Mobile carrier |
CN112996685B (zh) | 2018-10-22 | 2024-06-21 | 皮亚吉奥科技有限公司 | 移位组件及包括其的移动载具 |
-
2021
- 2021-08-06 WO PCT/US2021/044942 patent/WO2022032095A1/en unknown
- 2021-08-06 EP EP21852472.6A patent/EP4193230A1/en active Pending
- 2021-08-06 KR KR1020237006836A patent/KR20230048346A/ko unknown
- 2021-08-06 JP JP2023506550A patent/JP2023537700A/ja active Pending
- 2021-08-06 US US17/444,608 patent/US11716522B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20230048346A (ko) | 2023-04-11 |
WO2022032095A1 (en) | 2022-02-10 |
EP4193230A1 (en) | 2023-06-14 |
US11716522B2 (en) | 2023-08-01 |
US20220046155A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210291751A1 (en) | Vehicular driver monitoring system with camera having micro lens array | |
US20240080414A1 (en) | Rotating lidar with co-aligned imager | |
US10401872B2 (en) | Method and system for collision avoidance | |
EP3420428B1 (en) | Systems and methods for visual target tracking | |
KR102550678B1 (ko) | 비-강성 스테레오 비전 카메라 시스템 | |
US11019322B2 (en) | Estimation system and automobile | |
US9940527B2 (en) | Driving assist system for vehicle and method thereof | |
US9823340B2 (en) | Method for time of flight modulation frequency detection and illumination modulation frequency adjustment | |
US20180108150A1 (en) | Systems and methods for in-field stereocamera calibration | |
CN113271400A (zh) | 成像装置和电子设备 | |
US10589860B2 (en) | Spherical infrared emitter | |
KR102261329B1 (ko) | 안테나, 차량용 레이더, 및 이를 구비하는 차량 | |
JP2019049457A (ja) | 画像処理装置および測距装置 | |
CN107678041B (zh) | 用于检测对象的***和方法 | |
WO2019135544A1 (ko) | 차량 주변의 이미지를 제공하는 전자 장치 및 방법 | |
CN109618108B (zh) | 电子设备和移动平台 | |
US11454723B2 (en) | Distance measuring device and distance measuring device control method | |
CN107122770A (zh) | 多目相机***、智能驾驶***、汽车、方法和存储介质 | |
US10663295B2 (en) | Distance measurement system, mobile object, and component | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
US9734429B2 (en) | Method, system and computer program product for detecting an obstacle with a camera | |
CN114845917A (zh) | 用于杂散光实时感测的微透镜 | |
CN109587304B (zh) | 电子设备和移动平台 | |
JP2023537700A (ja) | 追尾車両センサシステム | |
CN109660731B (zh) | 电子设备和移动平台 |