WO2023067868A1 - 車載撮像システム - Google Patents
車載撮像システム Download PDFInfo
- Publication number
- WO2023067868A1 WO2023067868A1 PCT/JP2022/029254 JP2022029254W WO2023067868A1 WO 2023067868 A1 WO2023067868 A1 WO 2023067868A1 JP 2022029254 W JP2022029254 W JP 2022029254W WO 2023067868 A1 WO2023067868 A1 WO 2023067868A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- vehicle
- imaging system
- image
- vehicle imaging
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000004378 air conditioning Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000009467 reduction Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 239000013585 weight reducing agent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Definitions
- the present invention relates to the configuration of an imaging system mounted on a vehicle, and more particularly to a technique effectively applied to a stereo camera that uses a plurality of cameras to generate parallax images and measure distance.
- ADAS Advanced Driver Assistance Systems
- an in-vehicle camera is used to monitor the surroundings of the vehicle and recognize the vehicle, and is used for alerts and collision avoidance.
- In-vehicle cameras used for ADAS are stereo cameras that can record information in the depth direction by simultaneously photographing an object from different directions with multiple (generally two) cameras. ing. It is also possible to detect the sizes, positions, and velocities of multiple three-dimensional objects through stereoscopic processing of images captured by multiple cameras.
- ADAS is divided into systems for luxury vehicles and systems for general vehicles, and in-vehicle cameras are required to be designed with scalability (versatility) in mind.
- Patent Document 1 Japanese Patent Application Laid-Open No. 2002-200000 discloses an information processing device that supports obtaining an image suitable for a user's instruction to photograph an object at any timing by using a camera installed on a mobile object.
- Patent Document 2 discloses a "vehicle driving environment detection device capable of accurately detecting not only objects in front of the vehicle but also objects present on the left and right sides in front of the vehicle and calculating distance information necessary for driving control.” disclosed.
- Patent Document 3 discloses an "image display system capable of improving safety during driving".
- Patent Document 4 discloses "an imaging control device capable of realizing highly accurate distance measurement using a set of cameras arranged in the vertical direction”.
- JP 2020-106890 A Japanese Unexamined Patent Application Publication No. 2020-51942 JP 2013-62657 A WO2018/180579
- in-vehicle cameras for ADAS are required to be designed with scalability (versatility) in mind and to further improve functionality and redundancy as stereo cameras.
- the ECU that controls the in-vehicle camera should not be specialized for stereo cameras, but have a versatile hardware configuration.
- Patent Documents 1 to 4 described above describes a specific configuration that simultaneously achieves the above-described reduction in size and weight, cost reduction, and scalability (versatility) of the on-vehicle camera.
- an object of the present invention is to provide an in-vehicle imaging system that is capable of simultaneously achieving size reduction, weight reduction, cost reduction, and scalability (versatility) in an in-vehicle imaging system.
- the present invention provides an in-vehicle imaging system mounted on a vehicle, comprising: a first camera; a second camera installed at a position different from that of the first camera; an image processing unit that processes images acquired by one camera and the second camera, the first camera and the second camera are connected by a first communication line; The camera and the image processing section are connected by a second communication line.
- an in-vehicle imaging system that is capable of simultaneously achieving reductions in size, weight, cost, and scalability (versatility).
- FIG. 2 is a diagram conceptually showing an area where distance information is obtained by an on-vehicle camera; It is a figure which shows the vehicle-mounted imaging system which concerns on Example 2 of this invention. It is a figure which shows the vehicle and vehicle-mounted camera which concern on Example 3 of this invention. It is a figure which shows the vehicle-mounted imaging system which concerns on Example 3 of this invention.
- FIG. 10 is a diagram showing an in-vehicle imaging system according to Example 6 of the present invention
- FIG. 10 is a diagram showing an in-vehicle imaging system according to Example 6 of the present invention
- 1 is a diagram showing a conventional in-vehicle imaging system
- FIG. 1 is a diagram showing a conventional in-vehicle imaging system
- FIG. 10 is a diagram showing a conventional in-vehicle imaging system
- FIGS. 11A and 11B are both diagrams showing a conventional in-vehicle imaging system.
- FIG. 11A shows a monocular camera system for general vehicle models
- FIG. 11B shows a stereo camera system for luxury vehicle models in which one camera is added to the monocular camera to form a stereo camera.
- an image signal captured by the camera head 2 is transmitted to the image recognition ECU 5, and image processing is performed by the general-purpose SoC 13 mounted on the image recognition ECU 5.
- a camera head 3 and another image recognition ECU 5 are further added to form a stereo camera.
- An image signal captured by the camera head 3 is transmitted to another image recognition ECU 5, image processing is performed by the general-purpose SoC 13 mounted on the image recognition ECU 5, and distortion correction is performed by the image processing chip 33 mounted on the same image recognition ECU 5. , luminance correction, calibration, stereo matching processing, and the like are executed.
- the conventional in-vehicle imaging system 32 for luxury car models is configured as described above, and has many video signal lines, which is disadvantageous in terms of size and weight reduction and reliability of the in-vehicle imaging system, and also leads to an increase in cost.
- the image recognition ECU 5 since the image recognition ECU 5 has a stereo processing function, it cannot be used as an ECU for a monocular camera, and the ECU is designed exclusively for a stereo camera.
- FIG. 1 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
- FIG. 2 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG.
- two camera heads 2 and 3 are mounted near the rearview mirror of the vehicle 1.
- the in-vehicle imaging system 4 mounted on the vehicle 1, as shown in FIG. 2, includes a camera head 2 (first camera) and a camera head 3 (second 2 cameras) and an image recognition ECU 5 (image processing unit) for processing images acquired by the camera heads 2 and 3 .
- the camera heads 2 and 3 are connected by a communication line 14 (first communication line), and the camera head 3 and the image recognition ECU 5 are connected by a communication line 15 (second communication line).
- the camera head 2 (first camera) transmits an image signal of an image captured by the imaging element 6 to the camera head 3 (second camera) via the serializer 8 and the communication line 14 (first communication line). .
- the camera head 3 (second camera) has an image processing chip 11 (parallax image generation unit) that generates a parallax image. and generate a parallax image.
- image processing chip 11 parllax image generation unit
- the camera head 3 transmits the image signal of the camera head 2 input via the deserializer 9, the image signal of the image captured by the imaging element 7, and the parallax image generated by the image processing chip 11 to the serializer 10 and the communication line. 15 (second communication line) to the image recognition ECU 5 (image processing unit).
- the above signals input to the image recognition ECU 5 (image processing unit) via the deserializer 12 are image-processed by the general-purpose SoC 13 .
- the vehicle-mounted imaging system 4 of this embodiment is configured as described above, and can reduce the number of video signal lines and ECUs compared to the conventional vehicle-mounted imaging system shown in FIG. 11B.
- the image recognition ECU 5 since the image recognition ECU 5 does not need to have a hardware configuration specialized for stereo cameras, it can support a scalable system.
- the communication line 14 also serves as power supply from the camera head 3 to the camera head 2, so there is no need to separately provide a power supply line for the camera head 2.
- the image processing chip 11 which is a semiconductor device, has a distortion correction function, a brightness correction function (calibration function), a stereo matching process (parallax image generation function), have.
- FIG. 3A is a diagram showing a vehicle and an in-vehicle camera of this embodiment.
- FIG. 3B is a diagram conceptually showing a region where distance information is obtained by an onboard camera.
- FIG. 4 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG. 3A.
- the image processing chip 11 is mounted on the camera head 3, and heat generated from the image processing chip 11 may affect reliability.
- two camera heads such as an upper camera head 16 and a lower camera head 17, are vertically arranged with respect to the vehicle 1, as shown in FIG. 3A. That is, the lower camera head 17 and the upper camera head 16 are mounted at different heights.
- the area from which distance information can be obtained is expanded compared to the horizontal arrangement described in Example 1 (FIG. 1). be able to.
- the lower camera head 17 is arranged near the air conditioning mechanism (defroster 21) of the vehicle 1.
- a communication line 20 connects the defroster 21 and the image recognition ECU 5 (general-purpose SoC 13).
- the lower camera head 17 is provided with a temperature sensor 19, and when the temperature sensor 19 detects a predetermined temperature, the defroster 21 controls the air conditioning mechanism of the vehicle 1 so as to cool the lower camera head 17. .
- another temperature sensor 18 different from the temperature sensor 19 is also provided in the upper camera head 16, and the air conditioning of the vehicle 1 is adjusted so that the difference between the value of the temperature sensor 18 and the value of the temperature sensor 19 is within a predetermined range.
- a mechanism (defroster 21) may be controlled.
- FIG. 5 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
- FIG. 6 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG.
- two camera heads are vertically arranged as in the second embodiment (FIG. 3A).
- FIG. 6 shows a schematic configuration of the lower camera head 22 with built-in image processing chip.
- the lower camera head 22 with built-in image processing chip has an L-shaped structure in which the camera housing is divided into a sensor substrate portion having a sensor substrate 25 and a main substrate portion having a main substrate 23 .
- An image processing chip 11 is mounted on the main board 23 , and heat generated from the image processing chip 11 is radiated to the housing via a heat spreader (radiator plate) 24 .
- the main board portion is cooled by the defroster 21 .
- an air conditioning mechanism for the camera head with built-in image processing chip 11 is provided. 21) enables cooling.
- the main board the board on which the image processing chip 11 is mounted
- the protruding part from the dashboard 27 can be reduced. If the image processing chip 11 is incorporated in the camera head, the housing of the camera head becomes large.
- the reflection of the dashboard 27 on the windshield 26 can be prevented and a clearer image can be taken.
- FIG. 7 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
- the two camera heads are vertically arranged, namely, an upper camera head 16 and a lower camera head 22 with an image processing chip built-in.
- the sensor is embedded inside the dashboard so as not to obstruct the view.
- the dashboard has the vehicle's air conditioning system.
- the air conditioning mechanism the defroster 21
- FIG. 8 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
- the two camera heads are vertically arranged, namely, an upper camera head 16 and a lower camera head 22 with an image processing chip built-in.
- the upper camera head 16 is arranged on the front upper side of the cowl, and the image processing chip built-in lower camera head 22 is arranged on the front lower side of the cowl.
- FIGS. 9 and 10 are diagrams showing the in-vehicle imaging system of this embodiment.
- FIG. 9 shows the situation when the camera head 2 (first camera) fails
- FIG. 10 shows the situation when the camera head 3 (second camera) fails.
- the camera head 2 or the camera head 3 when either the camera head 2 or the camera head 3 fails, it can be used as a conventional monocular camera system as shown in FIG. 11A. Redundancy can be provided.
- the camera head 3 can be either the camera head 2 (first camera) or the camera head 3 (second camera) when the common area of the imaging areas of the camera head 2 (first camera) and the camera head 3 (second camera) is equal to or larger than a predetermined area.
- 3 can be considered to be approximately the same as the imaging area of the monocular camera, so that the image signal of either the camera head 2 or the camera head 3 is transmitted to the image recognition ECU 5 (image processing unit). You can do it.
- the image recognition ECU 5 image processing unit
- the image recognition ECU 5 image processing unit Processing load can be reduced.
- the present invention is not limited to the above-described embodiments, and includes various modifications.
- the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
- it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
Abstract
車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ(汎用性)を同時に実現可能な車載撮像システムを提供する。車両に搭載される車載撮像システムであって、第1のカメラと、前記第1のカメラと異なる位置に設置された第2のカメラと、前記第1のカメラおよび前記第2のカメラで取得した画像を処理する画像処理部と、を備え、前記第1のカメラと前記第2のカメラとは、第1の通信線によって接続され、前記第2のカメラと前記画像処理部とは、第2の通信線によって接続されることを特徴とする。
Description
本発明は、車両に搭載される撮像システムの構成に係り、特に、複数のカメラを用いて視差画像を生成し距離測定を行うステレオカメラに適用して有効な技術に関する。
交通事故を未然に防止するため、自動車や自動二輪車向けのADAS(Advanced Driver Assistance Systems:先進運転支援システム)の導入が進んでいる。例えば、車載カメラを利用して車両周辺の監視や車両認識を行い、注意喚起(アラート)・衝突回避などに活用している。
ADASに使用される車載カメラには、複数の(一般的には2つの)カメラで対象物を異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたステレオカメラが用いられている。複数のカメラで撮影した画像の立体視処理により、複数の立体物の大きさ、位置、速度を検出することもできる。
ADASは、高級車種向けのシステムと一般車種向けのシステムに分かれており、車載カメラにはスケーラビリティ(汎用性)を考慮した設計が求められている。
また、車載カメラでは、ルームミラーの裏側等に単眼カメラを設置する従来のセンシングシステムに対して、カメラを1台追加して機能向上や冗長性向上を狙ったセンシングシステムの開発も進められている。
本技術分野の背景技術として、例えば、特許文献1のような技術がある。特許文献1には、「移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得られるように支援する情報処理装置」が開示されている。
また、特許文献2には、「車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出することのできる車両の走行環境検出装置」が開示されている。
また、特許文献3には、「運転時の安全性を向上できる画像表示システム」が開示されている。
また、特許文献4には、「垂直方向に並べられた1組のカメラによる距離計測を、高精度に実現させることが可能な撮像制御装置」が開示されている。
上述したように、ADAS向けの車載カメラでは、スケーラビリティ(汎用性)を考慮した設計と、ステレオカメラとしてのさらなる機能向上及び冗長性向上が要求されている。
しかしながら、単に従来の単眼カメラにカメラを1台追加してステレオ視を実現しようとした場合、それらを制御するための電子制御装置(ECU)や通信線の数が増加してしまい、車載システムの小型軽量化や低コスト化に不利である。
また、スケーラビリティ(汎用性)を考慮した設計に対応するためには、車載カメラを制御するECUはステレオカメラに特化せず、汎用性のあるハードウェア構成とすることが望まれる。
上記特許文献1から特許文献4のいずれにも、上述したような車載カメラの小型軽量化及び低コスト化、スケーラビリティ(汎用性)を同時に実現するような具体的な構成については記載されていない。
そこで、本発明の目的は、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ(汎用性)を同時に実現可能な車載撮像システムを提供することにある。
上記課題を解決するために、本発明は、車両に搭載される車載撮像システムであって、第1のカメラと、前記第1のカメラと異なる位置に設置された第2のカメラと、前記第1のカメラおよび前記第2のカメラで取得した画像を処理する画像処理部と、を備え、前記第1のカメラと前記第2のカメラとは、第1の通信線によって接続され、前記第2のカメラと前記画像処理部とは、第2の通信線によって接続されることを特徴とする。
本発明によれば、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ(汎用性)を同時に実現可能な車載撮像システムを実現することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。
先ず、図11A及び図11Bを参照して、従来の車載撮像システムの構成と課題について説明する。図11A及び図11Bは、いずれも従来の車載撮像システムを示す図である。図11Aは、一般車種向けの単眼カメラシステムを示しており、図11Bは、単眼カメラにカメラを1台追加してステレオカメラとした高級車種向けのステレオカメラシステムを示している。
図11Aに示すように、従来の一般車種向けの車載撮像システム31では、カメラヘッド2により撮影した画像信号を画像認識ECU5に伝送し、画像認識ECU5に搭載された汎用SoC13で画像処理を行っている。
一方、図11Bに示すように、従来の高級車種向けの車載撮像システム32では、上記の構成に加えて、カメラヘッド3及び別の画像認識ECU5をさらに追加し、ステレオカメラとして構成している。カメラヘッド3により撮影した画像信号を別の画像認識ECU5に伝送し、画像認識ECU5に搭載された汎用SoC13で画像処理を行うとともに、同じ画像認識ECU5に搭載された画像処理チップ33により、歪み補正、輝度補正、キャリブレーション、ステレオマッチング処理等が実行される。
従来の高級車種向けの車載撮像システム32は、上記のように構成されており、映像信号線が多く、車載撮像システムの小型軽量化や信頼性の点で不利であり、コスト増加にも繋がる。
また、画像認識ECU5にステレオ処理機能を持たせているため、単眼カメラ用のECUに流用することができず、ステレオカメラ専用設計のECUになってしまう。
次に、図1及び図2を参照して、本発明の実施例1に係る車載撮像システムについて説明する。図1は、本実施例の車両及び車載カメラを示す図である。図2は、図1の車両に搭載される車載撮像システムを示す図である。
図1に示すように、本実施例では、車両1のルームミラー近傍に2つのカメラヘッド2,3が搭載されている。
車両1に搭載される車載撮像システム4は、図2に示すように、主要な構成として、カメラヘッド2(第1のカメラ)と、カメラヘッド2と異なる位置に設置されたカメラヘッド3(第2のカメラ)と、カメラヘッド2およびカメラヘッド3で取得した画像を処理する画像認識ECU5(画像処理部)とを備えている。
カメラヘッド2とカメラヘッド3とは、通信線14(第1の通信線)によって接続され、カメラヘッド3と画像認識ECU5とは、通信線15(第2の通信線)によって接続されている。
カメラヘッド2(第1のカメラ)は、撮像素子6により撮影した画像の画像信号をシリアライザ8及び通信線14(第1の通信線)を介してカメラヘッド3(第2のカメラ)に伝送する。
カメラヘッド3(第2のカメラ)は、視差画像を生成する画像処理チップ11(視差画像生成部)を有しており、画像処理チップ11は、カメラヘッド2の画像信号とカメラヘッド3の画像信号とを用いて視差画像を生成する。
カメラヘッド3は、デシリアライザ9を介して入力されたカメラヘッド2の画像信号と、撮像素子7により撮影した画像の画像信号と、画像処理チップ11で生成した視差画像とを、シリアライザ10及び通信線15(第2の通信線)を介して画像認識ECU5(画像処理部)へ伝送する。
デシリアライザ12を介して画像認識ECU5(画像処理部)へ入力された上記の各信号は、汎用SoC13により画像処理される。
本実施例の車載撮像システム4は、以上のように構成されており、図11Bに示す従来の車載撮像システムに比べて、映像信号線及びECUの数を減らすことができる。
また、画像認識ECU5は、ステレオカメラに特化したハードウェア構成にする必要がないため、スケーラブルなシステムに対応することができる。
なお、通信線14は、カメラヘッド3からカメラヘッド2への電源供給も兼ねており、カメラヘッド2の電源供給線を別途設ける必要はない。
また、半導体装置である画像処理チップ11は、画像信号を処理するISP機能(Image Signal Processor)に加えて、歪み補正機能や輝度補正機能(キャリブレーション機能)、ステレオマッチング処理(視差画像生成機能)を有している。
図3Aから図4を参照して、本発明の実施例2に係る車載撮像システムについて説明する。図3Aは、本実施例の車両及び車載カメラを示す図である。図3Bは、車載カメラにより距離情報が得られる領域を概念的に示す図である。図4は、図3Aの車両に搭載される車載撮像システムを示す図である。
本実施例では、さらに高機能な車載撮像システムについて説明する。
特に、高級車種向けのシステムでは、より広範囲の距離情報を取得したい、路面上の小さな落下物や路面の凹凸をより精度よく計測したい、遠方の距離精度を高めたいという要求もある。
また、実施例1で説明した車載撮像システムでは、カメラヘッド3に画像処理チップ11を搭載しており、画像処理チップ11からの発熱が信頼性に影響を与える可能性も考えられる。
そこで、本実施例では、図3Aに示すように、車両1に対して2つのカメラヘッドを、上部カメラヘッド16と下部カメラヘッド17のように縦型に配置している。つまり、下部カメラヘッド17は、上部カメラヘッド16と高さの異なる位置に搭載されている。
図3Aのように2つのカメラヘッドを縦型配置にすることで、図3Bに示すように、実施例1(図1)で説明した横型配置に比べて、距離情報が得られる領域を拡大することができる。
これにより、水平方向の略全画角で距離情報を得られるとともに、横方向のエッジ成分を多く持つ物体を検知し易くなる。また、2つのカメラヘッドを縦型に配置することで、ワイパーの払拭範囲内で基線長(2つのカメラヘッド間の距離)を長くとることが可能になるため、遠方の距離精度を向上することができる。
また、本実施例では、図4に示すように、下部カメラヘッド17を車両1の空調機構(デフロスタ21)の近傍に配置している。そして、デフロスタ21と画像認識ECU5(汎用SoC13)とを通信線20で接続している。
また、下部カメラヘッド17には、温度センサ19が設けられており、温度センサ19が所定の温度を検知した場合、デフロスタ21により下部カメラヘッド17を冷却するように車両1の空調機構を制御する。
なお、例えば寒冷地等において、気温が極度に低下したような場合は、デフロスタ21により下部カメラヘッド17を加温して、下部カメラヘッド17の動作を担保することも可能である。
さらに、上部カメラヘッド16にも温度センサ19とは異なる別の温度センサ18を設け、温度センサ18の値と温度センサ19の値との差が、所定の範囲内になるように車両1の空調機構(デフロスタ21)を制御するようにしても良い。
下部カメラヘッド17の発熱を抑えるとともに、2つのカメラヘッドの温度が略同じになるよう制御することで、熱によるカメラの光学特性の差を抑え、測距精度劣化を抑制することができる。
図5及び図6を参照して、本発明の実施例3に係る車載撮像システムについて説明する。図5は、本実施例の車両及び車載カメラを示す図である。図6は、図5の車両に搭載される車載撮像システムを示す図である。
図5に示すように、本実施例では、実施例2(図3A)と同様に、2つのカメラヘッドを縦型配置にしている。
但し、実施例2(図3A)の下部カメラヘッド17に替えて、画像処理チップ内蔵下部カメラヘッド22を備える点において、実施例2(図3A)とは異なっている。
図6に、画像処理チップ内蔵下部カメラヘッド22の概略構成を示す。
画像処理チップ内蔵下部カメラヘッド22は、カメラ筐体を、センサ基板25を備えたセンサ基板部と、メイン基板23を備えたメイン基板部とに分けたL字構造になっている。
メイン基板23には、画像処理チップ11が搭載されており、画像処理チップ11からの発熱は、ヒートスプレッダ(放熱板)24を介して筐体に放熱している。メイン基板部は、デフロスタ21により冷却される。
本実施例のように、画像処理チップ内蔵下部カメラヘッド22をウィンドシールド26近傍のダッシュボード27上またはダッシュボード27内に配置することで、画像処理チップ11を内蔵したカメラヘッドの空調機構(デフロスタ21)による冷却が可能となる。
なお、メイン基板部(画像処理チップ11を実装した基板)をダッシュボードの下に隠れるように設置することで、ダッシュボード27からの突起部分を少なくすることができる。カメラヘッドに画像処理チップ11を内蔵すると、カメラヘッドの筐体が大きくなるが、図6のような構成とすることで、カメラヘッドの搭載性向上とドライバの視界確保が可能となる。
また、ウィンドシールド26近傍のダッシュボード27上に、無反射素材28を配置することで、ウィンドシールド26へのダッシュボード27の映り込みを防止し、より鮮明な画像を撮影することができる。
図7を参照して、本発明の実施例4に係る車載撮像システムについて説明する。図7は、本実施例の車両及び車載カメラを示す図である。
本実施例では、車両29としてトラックの例を説明する。本実施例においても、2つのカメラヘッドを、上部カメラヘッド16と画像処理チップ内蔵下部カメラヘッド22の縦型配置にしている。
トラック等の大型車は、下部(ダッシュボード)にスペースの余裕がある。そこで、実施例3(図6)のように、ダッシュボード内部に埋め込むようにして、視界の妨げにならないようにする。
また、ダッシュボードには車両の空調システムがある。ダッシュボード上に画像処理チップ11を内蔵したカメラヘッドを配置することで、空調機構(デフロスタ21)による冷却が可能となる。
図8を参照して、本発明の実施例5に係る車載撮像システムについて説明する。図8は、本実施例の車両及び車載カメラを示す図である。
本実施例では、車両30として自動二輪車の例を説明する。本実施例においても、2つのカメラヘッドを、上部カメラヘッド16と画像処理チップ内蔵下部カメラヘッド22の縦型配置にしている。
上部カメラヘッド16は、カウルの前面上部側に配置され、画像処理チップ内蔵下部カメラヘッド22は、カウルの前面下部側に配置されている。
画像処理チップ内蔵下部カメラヘッド22をカウルの前面下部側に配置することで、直射日光を避け、走行時の空気流による空冷効果が得易くなる。
図9及び図10を参照して、本発明の実施例6に係る車載撮像システムについて説明する。図9及び図10は、いずれも本実施例の車載撮像システムを示す図である。図9は、カメラヘッド2(第1のカメラ)の失陥時の様子を示しており、図10は、カメラヘッド3(第2のカメラ)の失陥時の様子を示している。
図9及び図10に示すように、カメラヘッド2(第1のカメラ)及びカメラヘッド3(第2のカメラ)のいずれか一方が失陥した場合、カメラヘッド3(第2のカメラ)は、画像処理チップ11(視差画像生成部)での視差画像の生成を停止し、失陥していない方のカメラの画像信号を画像認識ECU5(画像処理部)へ伝送する。
このような構成とすることで、カメラヘッド2またはカメラヘッド3のいずれか一方が失陥した場合には、図11Aに示すような従来の単眼カメラシステムとして使用することができ、車載カメラシステムに冗長性を持たせることができる。
なお、カメラヘッド3(第2のカメラ)は、カメラヘッド2(第1のカメラ)とカメラヘッド3(第2のカメラ)の撮像エリアの共通領域が所定以上ある場合、カメラヘッド2またはカメラヘッド3で撮像される単眼カメラとしての撮像エリアはほぼ同等であるとみなすことができるため、カメラヘッド2またはカメラヘッド3のいずれか一方の画像信号を画像認識ECU5(画像処理部)へ伝送するようにしても良い。
一方、カメラヘッド2(第1のカメラ)とカメラヘッド3(第2のカメラ)の撮像エリアの共通領域が所定未満の場合、カメラヘッド2及びカメラヘッド3で撮像される単眼カメラとしての撮像エリアが異なるとみなすことができるため、カメラヘッド2及びカメラヘッド3の両方の画像信号を画像認識ECU5(画像処理部)へ伝送する。
このような構成とすることで、カメラヘッド2(第1のカメラ)とカメラヘッド3(第2のカメラ)の撮像エリアの共通領域が所定以上ある場合に、画像認識ECU5(画像処理部)の処理負荷を軽減することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
1,29,30…車両、2,3…カメラヘッド、4,31,32…車載撮像システム、5…画像認識ECU、6,7…撮像素子、8,10…シリアライザ、9,12…デシリアライザ、11,33…画像処理チップ、13…汎用SoC、14,15,20…通信線、16…上部カメラヘッド、17…下部カメラヘッド、18,19…温度センサ、21…デフロスタ、22…画像処理チップ内蔵下部カメラヘッド、23…メイン基板、24…ヒートスプレッダ(放熱板)、25…センサ基板、26…ウィンドシールド、27…ダッシュボード、28…無反射素材
Claims (11)
- 車両に搭載される車載撮像システムであって、
第1のカメラと、
前記第1のカメラと異なる位置に設置された第2のカメラと、
前記第1のカメラおよび前記第2のカメラで取得した画像を処理する画像処理部と、を備え、
前記第1のカメラと前記第2のカメラとは、第1の通信線によって接続され、
前記第2のカメラと前記画像処理部とは、第2の通信線によって接続される車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記第2のカメラは、視差画像を生成する視差画像生成部を有し、
前記第1のカメラは、前記第1の通信線を介して前記第1のカメラの画像信号を前記第2のカメラに伝送し、
前記視差画像生成部は、前記第1のカメラの画像信号と前記第2のカメラの画像信号とを用いて前記視差画像を生成し、
前記第2のカメラは、前記第1のカメラの画像信号と、前記第2のカメラの画像信号と、前記視差画像生成部で生成した前記視差画像と、を前記第2の通信線を介して前記画像処理部へ伝送する車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記第2のカメラは、前記第1のカメラと高さの異なる位置に搭載される車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記第2のカメラから前記第1のカメラに電源を供給する車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記第2のカメラは、温度センサを有し、
前記温度センサが所定の温度を検知した場合、前記車両の空調機構により前記第2のカメラを冷却または加温する車載撮像システム。 - 請求項5に記載の車載撮像システムであって、
前記第1のカメラは、前記温度センサと異なる別の温度センサを有し、
前記第1のカメラの温度センサの値と前記第2のカメラの温度センサの値との差が、所定の範囲内になるように前記車両の空調機構を制御する車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記第2のカメラは、視差画像生成機能を備えた半導体を有し、
前記第1のカメラの画像と前記第2のカメラの画像とでステレオマッチング処理を行い、
前記半導体によって生成された視差情報を含む距離画像を前記画像処理部へ出力する車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記車両は、乗用車またはトラックであり、
前記第2のカメラは、前記車両のダッシュボード上またはダッシュボード内に配置される車載撮像システム。 - 請求項1に記載の車載撮像システムであって、
前記車両は、自動二輪車であり、
前記第1のカメラは、カウルの前面上部側に配置され、
前記第2のカメラは、前記カウルの前面下部側に配置される車載撮像システム。 - 請求項2に記載の車載撮像システムであって、
前記第1のカメラおよび前記第2のカメラのいずれか一方が失陥した場合、
前記第2のカメラは、前記視差画像生成部での視差画像の生成を停止し、失陥していない方のカメラの画像信号を前記画像処理部へ伝送する車載撮像システム。 - 請求項2に記載の車載撮像システムであって、
前記第2のカメラは、前記第1のカメラと前記第2のカメラの撮像エリアの共通領域が所定以上ある場合、前記第1のカメラまたは前記第2のカメラのいずれか一方の画像信号を前記画像処理部へ伝送し、
前記第1のカメラと前記第2のカメラの撮像エリアの共通領域が所定未満の場合、前記第1のカメラおよび前記第2のカメラの両方の画像信号を前記画像処理部へ伝送する車載撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023554273A JPWO2023067868A1 (ja) | 2021-10-18 | 2022-07-29 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021170234 | 2021-10-18 | ||
JP2021-170234 | 2021-10-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023067868A1 true WO2023067868A1 (ja) | 2023-04-27 |
Family
ID=86059032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/029254 WO2023067868A1 (ja) | 2021-10-18 | 2022-07-29 | 車載撮像システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023067868A1 (ja) |
WO (1) | WO2023067868A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230367325A1 (en) * | 2022-05-10 | 2023-11-16 | Ghost Autonomy Inc. | Controlling camera sensor operating temperatures in an autonomous vehicle |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039217A (ja) * | 1999-07-27 | 2001-02-13 | Ichikoh Ind Ltd | 車両用確認装置 |
JP2004312063A (ja) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | 撮像装置、画像表示システム及び画像表示方法 |
JP2012011989A (ja) * | 2010-07-05 | 2012-01-19 | Saxa Inc | 駅ホームの監視カメラシステム |
JP2016121917A (ja) * | 2014-12-24 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
JP2019004348A (ja) * | 2017-06-16 | 2019-01-10 | ディーピーティー株式会社 | 移動体用映像表示装置およびその方法 |
JP2021039018A (ja) * | 2019-09-04 | 2021-03-11 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP2021051476A (ja) * | 2019-09-24 | 2021-04-01 | 京セラ株式会社 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
-
2022
- 2022-07-29 WO PCT/JP2022/029254 patent/WO2023067868A1/ja active Application Filing
- 2022-07-29 JP JP2023554273A patent/JPWO2023067868A1/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039217A (ja) * | 1999-07-27 | 2001-02-13 | Ichikoh Ind Ltd | 車両用確認装置 |
JP2004312063A (ja) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | 撮像装置、画像表示システム及び画像表示方法 |
JP2012011989A (ja) * | 2010-07-05 | 2012-01-19 | Saxa Inc | 駅ホームの監視カメラシステム |
JP2016121917A (ja) * | 2014-12-24 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
JP2019004348A (ja) * | 2017-06-16 | 2019-01-10 | ディーピーティー株式会社 | 移動体用映像表示装置およびその方法 |
JP2021039018A (ja) * | 2019-09-04 | 2021-03-11 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP2021051476A (ja) * | 2019-09-24 | 2021-04-01 | 京セラ株式会社 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230367325A1 (en) * | 2022-05-10 | 2023-11-16 | Ghost Autonomy Inc. | Controlling camera sensor operating temperatures in an autonomous vehicle |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023067868A1 (ja) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11634073B2 (en) | Multi-camera vehicular vision system | |
CN108621943B (zh) | 用于在车辆电子显示器上动态显示图像的***和方法 | |
US9667922B2 (en) | Viewing system for vehicles, in particular commercial vehicles | |
US20170332052A1 (en) | Multi-camera image stitching calibration system | |
US20170140542A1 (en) | Vehicular image processing apparatus and vehicular image processing system | |
US10474898B2 (en) | Image processing apparatus for vehicle | |
WO2019123840A1 (ja) | 撮像装置、撮像システム、および表示システム | |
JP4512293B2 (ja) | 監視システムおよび監視方法 | |
US20070223910A1 (en) | Object detecting system | |
US20030202096A1 (en) | Apparatus for monitoring rear of vehicle | |
US20150332098A1 (en) | System and method for estimating vehicle dynamics using feature points in images from multiple cameras | |
KR20170067549A (ko) | 차량 주변 영상 정보 제공 시스템 및 방법 | |
US10112552B2 (en) | Vehicle vision system with camera viewing through windshield | |
US10209480B2 (en) | Camera system in or for a motor vehicle and driver assistance system | |
WO2023067868A1 (ja) | 車載撮像システム | |
JP2007223342A (ja) | 車両の後方監視カメラ及び運転支援装置 | |
JP2011151731A (ja) | 車両周辺監視装置 | |
KR20180053077A (ko) | 듀얼 카메라 타입 사이드 카메라 및 이를 포함하는 차량 후방 정보 확인 시스템 | |
US20230007190A1 (en) | Imaging apparatus and imaging system | |
JP5119675B2 (ja) | 車両周辺監視装置 | |
JP5831331B2 (ja) | 車両の後側方撮影装置 | |
WO2016088150A1 (ja) | 車載用表示装置、車両及び表示方法 | |
JP2020100213A (ja) | 移動体用撮影システム | |
US11491872B2 (en) | Vehicle and method for displaying an image onto a windshield | |
US20230048226A1 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22883180 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023554273 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112022005080 Country of ref document: DE |