JP2020191575A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2020191575A
JP2020191575A JP2019096743A JP2019096743A JP2020191575A JP 2020191575 A JP2020191575 A JP 2020191575A JP 2019096743 A JP2019096743 A JP 2019096743A JP 2019096743 A JP2019096743 A JP 2019096743A JP 2020191575 A JP2020191575 A JP 2020191575A
Authority
JP
Japan
Prior art keywords
image processing
vehicle
camera
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019096743A
Other languages
English (en)
Other versions
JP7115420B2 (ja
Inventor
政夫 木村
Masao Kimura
政夫 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019096743A priority Critical patent/JP7115420B2/ja
Priority to US16/882,144 priority patent/US11272111B2/en
Publication of JP2020191575A publication Critical patent/JP2020191575A/ja
Application granted granted Critical
Publication of JP7115420B2 publication Critical patent/JP7115420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】カメラの発熱を抑制するとともに画像処理性能を向上させる。【解決手段】画像処理装置4は、車両に搭載されて車両の外部を互いに異なる画角で撮像する広角カメラ11および望遠カメラ12から取得した画像データを用いて画像認識処理を実行する。画像処理装置4は、車速を示す車速検出信号を取得する。画像処理装置4は、取得された車速検出信号が示す車速が、画角との間で負の相関を有するように設定された停止速度閾値以下である場合に、望遠カメラ12による撮像を停止する。【選択図】図1

Description

本開示は、車両に搭載された撮像装置から取得した画像データを用いて画像処理を実行する画像処理装置に関する。
車両に搭載される前方監視カメラは、画素数増加および機能追加に伴い、カメラモジュール内で処理するデータ量が大幅に増加してきている。そして、データ処理量の増加に伴い、カメラモジュールの消費電力も増大している。これにより、カメラモジュールの発熱も増加するため、カメラモジュールに搭載されるデバイスの動作限界温度を超えないようにする必要がある。
特許文献1には、車両の速度に応じて、広角レンズを有するビデオカメラ(以下、広角カメラ)と、望遠レンズを有するビデオカメラ(以下、望遠カメラ)とを切り替えて作動させる技術が記載されている。
特開2006−24120号公報
しかし、特許文献1に記載の技術では、広角カメラと望遠カメラとを排他的に作動させているため、高速走行時には広角カメラを利用することができず、画像処理性能が低下してしまう恐れがあった。
本開示は、カメラの発熱を抑制するとともに画像処理性能を向上させることを目的とする。
本開示の一態様は、車両に搭載されて車両の外部を互いに異なる画角で撮像する複数の撮像装置(11,12)から取得した画像データを用いて画像処理を実行する画像処理装置(4)であって、車速取得部(32)と、速度停止制御部(S30〜S50,S90〜S110)とを備える。
車速取得部は、車両の走行速度を示す車速情報を取得するように構成される。速度停止制御部は、対象撮像装置(12)毎に、車速取得部により取得された車速情報が示す走行速度が、画角との間で負の相関を有するように対象撮像装置毎に設定された停止速度閾値以下である場合に、対象撮像装置による撮像を停止するように構成される。対象撮像装置は、複数の撮像装置のうち最も画角が大きい撮像装置(11)以外の撮像装置である。なお、「画角との間で負の相関を有する」とは、画角の増大に伴い連続的に停止速度閾値が減少することだけではなく、画角の増大に伴い段階的に停止速度閾値が減少することも含む。
このように構成された本開示の画像処理装置は、対象撮像装置(すなわち、最も画角が大きい撮像装置以外の撮像装置)毎に、走行速度が停止速度閾値以下である場合に撮像を停止する。これにより、本開示の画像処理装置は、走行速度に応じて、作動させる必要がない対象撮像装置による撮像を停止することができ、撮像装置の発熱を抑制することができる。
また、本開示の画像処理装置は、車両が高速で走行中であっても、対象撮像装置(すなわち、最も画角が大きい撮像装置以外の撮像装置)と、最も画角が大きい撮像装置とを同時に作動させることができる。これにより、本開示の画像処理装置は、画像処理性能を向上させることができる。
画像処理システムの構成を示すブロック図である。 カメラ停止制御処理を示すフローチャートである。 画角制御処理を示すフローチャートである。 CMOSイメージセンサの受光面と、小画角切出領域と、大画角切出領域とを示す図である。 周期制御処理を示すフローチャートである。
以下に本開示の実施形態を図面とともに説明する。
本実施形態の画像処理システム1は、車両に搭載され、図1に示すように、車載カメラ群2と、センサ群3と、画像処理装置4とを備える。
車載カメラ群2は、広角カメラ11および望遠カメラ12で構成される。広角カメラ11および望遠カメラ12は、画像処理システム1を搭載した車両(以下、自車両という)の前側に取り付けられており、自車両の前方を連続して撮像する。
広角カメラ11は、約180度の画角で撮像が可能なカメラである。望遠カメラ12は、広角カメラ11よりも画角が狭く、遠くの物体を拡大して撮像可能なカメラである。広角カメラ11および望遠カメラ12の撮像素子は、CMOSイメージセンサである。本実施形態では、広角カメラ11のCMOSイメージセンサにおける画素数と、望遠カメラ12のCMOSイメージセンサにおける画素数とが等しい。
センサ群3は、車速センサ21、加速度センサ22および温度センサ23で構成されている。車速センサ21は、自車両の走行速度(以下、車速)を検出し、検出結果を示す車速検出信号を出力する。加速度センサ22は、自車両の進行方向の加速度を検出し、検出結果を示す加速度検出信号を出力する。温度センサ23は、望遠カメラ12の温度を検出し、検出結果を示す温度検出信号を出力する。
画像処理装置4は、カメラインタフェース(以下、カメラI/F)31と、車両インタフェース(以下、車両I/F)32と、記憶部33と、制御部34とを備える。
カメラI/F31は、広角カメラ11および望遠カメラ12から撮像画像データを入力するためのインタフェースである。車両I/F32は、センサ群3から検出信号を入力するためのインタフェースである。記憶部33は、各種データを記憶するための記憶装置である。
制御部34は、CPU41、ROM42およびRAM43等を備えたマイクロコンピュータを中心に構成された電子制御装置である。マイクロコンピュータの各種機能は、CPU41が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ROM42が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、CPU41が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。また、制御部34を構成するマイクロコンピュータの数は1つでも複数でもよい。
制御部34は、広角カメラ11および望遠カメラ12からの撮像画像データから、所定の対象物を認識する画像認識処理を実行する。所定の対象物には、例えば、白線などの区画線、人、自動車および自転車などの移動体、信号および標識などの静止物等が含まれる。画像から対象物を認識する方法として、例えば、パターンマッチング、および、学習モデルを用いた計算処理などが挙げられる。
次に、画像処理装置4の制御部34のCPU41が実行するカメラ停止制御処理の手順を説明する。カメラ停止制御処理は、制御部34に電源が供給されて制御部34が起動した直後に開始される処理である。
カメラ停止制御処理が実行されると、CPU41は、図2に示すように、まずS10にて、広角カメラ11および望遠カメラ12の両方を作動させる。これにより、広角カメラ11および望遠カメラ12は、撮像を開始する。
次にCPU41は、S20にて、自車両の加速度に応じて停止速度閾値Vth1を設定する。具体的には、CPU41は、加速度センサ22からの加速度検出信号が示す加速度と停止速度閾値Vth1との対応関係が設定された閾値設定マップを参照して停止速度閾値Vth1を算出する。閾値設定マップは、停止速度閾値Vth1と加速度との間で負の相関を有するように設定されている。なお、「加速度との間で負の相関を有する」とは、加速度の増大に伴い段階的に停止速度閾値Vth1が減少することだけではなく、加速度の増大に伴い連続的に停止速度閾値Vth1が減少することも含む。
そしてCPU41は、S30にて、車速センサ21からの車速検出信号が示す車速Vvが停止速度閾値Vth1以下であるか否かを判断する。ここで、車速Vvが停止速度閾値Vth1以下である場合には、CPU41は、S40にて、RAM43に設けられた速度停止フラグF1をセットして、S60に移行する。以下の説明において、フラグをセットするとは、そのフラグの値を1にすることを示し、フラグをクリアするとは、そのフラグの値を0にすることを示す。
一方、車速Vvが停止速度閾値Vth1を超えている場合には、CPU41は、S50にて、速度停止フラグF1をクリアして、S60に移行する。
S60に移行すると、CPU41は、温度センサ23からの温度検出信号が示す温度Tcが予め設定された停止温度閾値Vth2以上であるか否かを判断する。ここで、温度Tcが停止温度閾値Vth2以上である場合には、CPU41は、S40にて、RAM43に設けられた温度停止フラグF2をセットして、S90に移行する。一方、温度Tcが停止温度閾値Vth2未満である場合には、CPU41は、S80にて、温度停止フラグF2をクリアして、S90に移行する。
S90に移行すると、CPU41は、速度停止フラグF1と温度停止フラグF2との両方がクリアされているか否かを判断する。ここで、速度停止フラグF1と温度停止フラグF2との少なくとも一方がセットされている場合には、CPU41は、S100にて、望遠カメラ12の作動を停止して、S20に移行する。一方、速度停止フラグF1と温度停止フラグF2との両方がクリアされている場合には、CPU41は、S110にて、望遠カメラ12を作動させて、S20に移行する。
次に、制御部34のCPU41が実行する画角制御処理の手順を説明する。画角制御処理は、制御部34の動作中において繰り返し実行される処理である。
画角制御処理が実行されると、CPU41は、図3に示すように、まずS210にて、車速センサ21からの車速検出信号が示す車速Vvが予め設定された広角画角閾値Vth3以下であるか否かを判断する。ここで、車速Vvが広角画角閾値Vth3以下である場合には、CPU41は、S220にて、広角カメラ11の画像処理領域を小さくし、S240に移行する。一方、車速Vvが広角画角閾値Vth3を超えている場合には、CPU41は、S230にて、広角カメラ11の画像処理領域を大きくし、S240に移行する。
具体的には、図4に示すように、広角カメラ11のCMOSイメージセンサの受光面RP1において、小画角切出領域RS1と、大画角切出領域RB1とが設定されている。大画角切出領域RB1は、小画角切出領域RS1より広い。小画角切出領域RS1が設定されている場合には、広角カメラ11は、小画角切出領域RS1内の撮像画像データを出力する。これにより、広角カメラ11の画像処理領域が小さくなる。一方、大画角切出領域RB1が設定されている場合には、広角カメラ11は、大画角切出領域RB1内の撮像画像データを出力する。これにより、広角カメラ11の画像処理領域が大きくなる。
すなわち、S220では、CPU41は、広角カメラ11からの撮像画像データの出力領域を小画角切出領域RS1に設定することにより、広角カメラ11の画像処理領域を小さくする。一方、S230では、CPU41は、広角カメラ11からの撮像画像データの出力領域を大画角切出領域RB1に設定することにより、広角カメラ11の画像処理領域を大きくする。
S240に移行すると、CPU41は、図3に示すように、まずS240にて、車速センサ21からの車速検出信号が示す車速Vvが予め設定された望遠画角閾値Vth4以下であるか否かを判断する。ここで、車速Vvが望遠画角閾値Vth4以下である場合には、CPU41は、S250にて、望遠カメラ12の画像処理領域を小さくし、画角制御処理を終了する。一方、車速Vvが望遠画角閾値Vth4を超えている場合には、CPU41は、S260にて、望遠カメラ12の画像処理領域を大きくし、画角制御処理を終了する。
具体的には、図4に示すように、望遠カメラ12のCMOSイメージセンサの受光面RP2において、小画角切出領域RS2と、大画角切出領域RB2とが設定されている。大画角切出領域RB2は、小画角切出領域RS2より広い。小画角切出領域RS2が設定されている場合には、望遠カメラ12は、小画角切出領域RS2内の撮像画像データを出力する。これにより、望遠カメラ12の画像処理領域が小さくなる。一方、大画角切出領域RB2が設定されている場合には、望遠カメラ12は、大画角切出領域RB2内の撮像画像データを出力する。これにより、望遠カメラ12の画像処理領域が大きくなる。
すなわち、S250では、CPU41は、望遠カメラ12からの撮像画像データの出力領域を小画角切出領域RS2に設定することにより、望遠カメラ12の画像処理領域を小さくする。一方、S260では、CPU41は、望遠カメラ12からの撮像画像データの出力領域を大画角切出領域RB2に設定することにより、望遠カメラ12の画像処理領域を大きくする。
次に、制御部34のCPU41が実行する周期制御処理の手順を説明する。周期制御処理は、制御部34の動作中において繰り返し実行される処理である。
周期制御処理が実行されると、CPU41は、図5に示すように、まずS210にて、車速センサ21からの車速検出信号が示す車速Vvに基づいて、自車両が停止しているか否かを判断する。ここで、自車両が停止していない場合には、CPU41は、S320にて、制御部34が実行する画像認識処理の実行周期を、予め設定された通常実行周期(本実施形態では、例えば100ms)に設定して、周期制御処理を終了する。一方、自車両が停止している場合には、CPU41は、S330にて、画像認識処理の実行周期を、通常実行周期より長くなるよう設定された停止時実行周期(本実施形態では、例えば200ms)に設定して、周期制御処理を終了する。
このように構成された画像処理装置4は、車両に搭載されて車両の外部を互いに異なる画角で撮像する広角カメラ11および望遠カメラ12から取得した画像データを用いて画像認識処理を実行する。
画像処理装置4は、車速を示す車速検出信号を取得する。画像処理装置4は、取得された車速検出信号が示す車速Vvが、画角との間で負の相関を有するように設定された停止速度閾値Vth1以下である場合に、望遠カメラ12による撮像を停止する。なお、「画角との間で負の相関を有する」とは、画角の増大に伴い連続的に停止速度閾値Vth1が減少することだけではなく、画角の増大に伴い段階的に停止速度閾値Vth1が減少することも含む。
このように画像処理装置4は、望遠カメラ12(すなわち、最も画角が大きい広角カメラ11以外のカメラ)について、車速が停止速度閾値Vth1以下である場合に撮像を停止する。これにより、画像処理装置4は、車速に応じて、作動させる必要がない望遠カメラ12による撮像を停止することができ、望遠カメラ12の発熱を抑制することができる。
また画像処理装置4は、車両が高速で走行中であっても、望遠カメラ12(すなわち、最も画角が大きい広角カメラ11以外のカメラ)と、広角カメラ11(すなわち、最も画角が大きいカメラ)とを同時に作動させることができる。これにより、画像処理装置4は、画像認識性能を向上させることができる。例えば、画像処理装置4は、自車両が高速で走行している場合において車線を変更するときに、望遠カメラ12からの画像データに基づいて、車両の前方に存在する車両を検出するとともに、広角カメラ11からの画像データに基づいて、自車両の付近を走行している車両を検出することができる。また画像処理装置4は、自車両が高速で走行している場合において、望遠カメラ12からの画像データに基づいて、車両の前方に存在する車両を検出するとともに、広角カメラ11からの画像データに基づいて自車両付近の白線を検出して、自車両が車線からはみ出していないか否かを判断することができる。
また、広角カメラ11および望遠カメラ12の撮像素子は、CMOSイメージセンサである。そして画像処理装置4は、車速と広角カメラ11および望遠カメラ12の画像処理領域とが正の相関を有するようにして、CMOSイメージセンサの受光面RP1,RP2において画像データを取得する領域を変更する。なお、「車速と画像処理領域とが正の相関を有する」とは、車速の増大に伴い連続的に画像処理領域が増大することだけではなく、車速の増大に伴い段階的に画像処理領域が増大することも含む。これにより、画像処理装置4は、車速が小さい状況、すなわち、望遠カメラ12を用いて自車両から遠くの物体を検出する必要がない状況において、画像データを取得する望遠カメラ12の画素数を低減することができる。これにより、画像処理装置4は、望遠カメラ12内で処理するデータ量を低減することができ、望遠カメラ12の発熱を抑制することができる。さらに画像処理装置4は、車速が小さい状況、すなわち、広角カメラ11からの画像データを用いて画像認識処理の必要性が低い状況において、画像データを取得する広角カメラ11の画素数を低減することができる。これにより、画像処理装置4は、広角カメラ11内で処理するデータ量を低減することができ、広角カメラ11の発熱を抑制することができる。
また画像処理装置4は、自車両が停止しているか否かを判断する。そして画像処理装置4は、自車両が停止していると判断した場合に、自車両が停止していないと判断した場合よりも画像認識処理の実行周期を長くする。これにより、画像処理装置4は、自車両が停止しており画像認識処理の必要性が低い状況において、画像処理装置4の処理負荷を低減することができ、画像処理装置4の発熱を抑制することができる。
また画像処理装置4は、自車両に作用する加速度を示す加速度検出信号を取得する。画像処理装置4は、取得された加速度検出信号が示す加速度との間で負の相関を有するように停止速度閾値Vth1を設定する。なお、「加速度との間で負の相関を有する」とは、加速度の増大に伴い連続的に停止速度閾値Vth1が減少することだけではなく、加速度の増大に伴い段階的に停止速度閾値Vth1が減少することも含む。これにより、画像処理装置4は、車速が急激に大きくなったにも関わらず望遠カメラ12が作動していないという事態の発生を抑制することができる。
また画像処理装置4は、望遠カメラ12の温度を示す温度検出信号を取得する。画像処理装置4は、取得された温度検出信号が示す温度が停止温度閾値Vth2以上である場合に、望遠カメラ12による撮像を停止する。これにより、画像処理装置4は、望遠カメラ12の発熱を抑制することができる。
以上説明した実施形態において、広角カメラ11は最も画角が大きい撮像装置に相当し、望遠カメラ12は対象撮像装置に相当し、車両I/F32は車速取得部に相当し、S30〜S50,S90〜S110は速度停止制御部としての処理に相当し、車速検出信号は車速情報に相当する。
また、S210〜S260は撮像領域変更部としての処理に相当し、S310は停止判断部としての処理に相当し、S330は周期変更部としての処理に相当し、車両I/F32は加速度取得部に相当し、S20は閾値設定部としての処理に相当し、加速度検出信号は加速度情報に相当する。
また、車両I/F32は温度取得部に相当し、S60〜S110は温度停止制御部としての処理に相当し、温度検出信号は温度情報に相当する。
以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、種々変形して実施することができる。
[変形例1]
例えば上記実施形態では、2つのカメラを備えて、一方のカメラが常時作動している形態を示した。しかし、3つ以上のカメラを備えている場合には、車速が小さくなるにつれて、画角の小さいカメラから順に作動を停止していくようにしてもよい。この場合には、最も画角の大きいカメラは、作動を停止することなく、常時作動している。例えば、車載カメラ群2が、画角が大きい順に第1カメラ、第2カメラおよび第3カメラで構成されており、第2カメラの停止速度閾値を第2停止速度閾値、第3カメラの停止速度閾値を第3停止速度閾値とする。この場合に、第2停止速度閾値は、第3停止速度閾値より小さくなるように設定されている。すなわち、車両が高速で走行している場合には、第1カメラ、第2カメラおよび第3カメラの全てが作動している。そして、車速が小さくなってくると、まず、第3カメラが作動を停止し、更に車速が小さくなると、第2カメラが作動を停止する。第1カメラは、車速に関わらず常時作動しており、車両が停止しても作動している。換言すると、車両が停止している状態では、第1カメラのみが作動しており、車速が大きくなってくると、まず、第2カメラが作動を開始し、更に車速が大きくなると、第3カメラが作動を開始する。
[変形例2]
例えば上記実施形態では、車載カメラ群2が広角カメラ11および望遠カメラ12で構成され、望遠カメラ12の温度Tcが停止温度閾値Vth2以上である場合に、望遠カメラ12の作動を停止する形態を示した。しかし、車載カメラ群2が3つ以上のカメラで構成されている場合にも適用可能である。例えば、車載カメラ群2が、画角が大きい順に第1カメラ、第2カメラおよび第3カメラで構成されており、第2カメラの停止温度閾値を第2温度速度閾値、第3カメラの停止温度閾値を第3停止温度閾値とする。この場合には、第2カメラの温度が第2温度速度閾値以上である場合に、第2カメラが作動を停止し、第3カメラの温度が第3温度速度閾値以上である場合に、第3カメラが作動を停止する。そして、第1カメラは、温度に関わらず常時作動している。
[変形例3]
上記実施形態では、車速Vvが画角閾値以下である場合には、画像処理領域を小さくし、車速Vvが画角閾値を超えている場合には、画像処理領域を大きくする形態を示した。しかし、車速Vvの増大に伴い段階的に画像処理領域を大きくするようにしてもよいし、車速Vvの増大に伴い連続的に画像処理領域を大きくするようにしてもよい。
[変形例4]
上記実施形態では、停止速度閾値Vth1が一定値である形態を示した。しかし、車速が停止速度閾値Vth1より大きくなった後に用いる停止速度閾値Vth1と、車速が停止速度閾値Vth1より小さくなった後に用いる停止速度閾値Vth1とを異ならせるようにしてもよい。すなわち、停止速度閾値Vth1にヒステリシス処理を施すようにしてもよい。同様に、停止温度閾値Vth2にヒステリシス処理を施すようにしてもよい。
[変形例5]
上記実施形態では、広角カメラ11と望遠カメラ12とでCMOSイメージセンサの画素数が等しい形態を示した。しかし、望遠カメラ12は広角カメラ11よりも撮像する領域が狭いため、望遠カメラ12のCMOSイメージセンサの画素数が、広角カメラ11のCMOSイメージセンサの画素数より少ないようにしてもよい。
[変形例6]
上記実施形態では、複数のカメラを備えている場合において、車速に応じてカメラの画像処理領域を変更する形態を示したが、1つのカメラしか備えていない場合においても、車速に応じてカメラの画像処理領域を変更するようにしてもよい。
[変形例7]
上記実施形態では、望遠カメラ12の温度が高くなると望遠カメラ12の作動を停止する形態を示した。しかし、望遠カメラ12の温度が高くなると、望遠カメラ12の画像処理領域を小さくしたり、画像認識処理の実行周期を長くしたりするようにしてもよい。
[変形例8]
上記実施形態では、S210〜S260の処理で、CMOSイメージセンサの受光面において、小画角切出領域と大画角切出領域とを設定することにより、広角カメラ11および望遠カメラ12の画像処理領域を小さくしたり大きくしたりする形態を示した。しかし、S210〜S260の処理において、広角カメラ11および望遠カメラ12から取得した画像データにおいて画像処理を実行する領域を、小画角切出領域または大画角切出領域に設定することにより、画像処理領域を小さくしたり大きくしたりするようにしてもよい。これにより、画像処理装置4は、画像処理装置4内で処理するデータ量を低減することができ、画像処理装置4の発熱を抑制することができる。S210〜S260においてこのように処理を行った場合には、S210〜S260は処理領域変更部としての処理に相当する。
本開示に記載の画像処理装置4及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理装置4及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理装置4及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理装置4に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
上述した画像処理装置4の他、当該画像処理装置4を構成要素とするシステム、当該画像処理装置4としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、撮像制御方法など、種々の形態で本開示を実現することもできる。
4…画像処理装置、11…広角カメラ、12…望遠カメラ、32…車両I/F

Claims (7)

  1. 車両に搭載されて前記車両の外部を互いに異なる画角で撮像する複数の撮像装置(11,12)から取得した画像データを用いて画像処理を実行する画像処理装置(4)であって、
    前記車両の走行速度を示す車速情報を取得するように構成された車速取得部(32)と、
    複数の前記撮像装置のうち最も前記画角が大きい前記撮像装置(11)以外の前記撮像装置を対象撮像装置(12)として、前記対象撮像装置毎に、前記車速取得部により取得された前記車速情報が示す前記走行速度が、前記画角との間で負の相関を有するように前記対象撮像装置毎に設定された停止速度閾値以下である場合に、前記対象撮像装置による撮像を停止するように構成された速度停止制御部(S30〜S50,S90〜S110)と
    を備える画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    複数の前記撮像装置の撮像素子は、CMOSイメージセンサであり、
    前記走行速度と前記撮像装置の画像処理領域とが正の相関を有するようにして、前記CMOSイメージセンサの受光面において前記画像データを取得する領域を変更するように構成された撮像領域変更部(S210〜S260)を備える画像処理装置。
  3. 請求項1に記載の画像処理装置であって、
    前記走行速度と前記撮像装置の画像処理領域とが正の相関を有するようにして、前記撮像装置から取得した前記画像データにおいて前記画像処理を実行する領域を変更するように構成された処理領域変更部(S210〜S260)を備える画像処理装置。
  4. 請求項1〜請求項3の何れか1項に記載の画像処理装置であって、
    前記車両が停止しているか否かを判断するように構成された停止判断部(S310)と、
    前記車両が停止していると前記停止判断部が判断した場合に、前記車両が停止していないと前記停止判断部が判断した場合よりも前記画像処理の実行周期を長くするように構成された周期変更部(S330)を備える画像処理装置。
  5. 請求項1〜請求項4の何れか1項に記載の画像処理装置であって、
    前記車両に作用する加速度を示す加速度情報を取得するように構成された加速度取得部(32)と、
    前記加速度取得部により取得された前記加速度情報が示す前記加速度との間で負の相関を有するように前記停止速度閾値を設定するように構成された閾値設定部(S20)と
    を備える画像処理装置。
  6. 請求項1〜請求項5の何れか1項に記載の画像処理装置であって、
    前記対象撮像装置毎に、前記対象撮像装置の温度を示す温度情報を取得するように構成された温度取得部(32)と、
    前記対象撮像装置毎に、前記温度取得部により取得された前記温度情報が示す前記温度が、前記対象撮像装置毎に設定された停止温度閾値以上である場合に、前記対象撮像装置による撮像を停止するように構成された温度停止制御部(S60〜S110)と
    を備える画像処理装置。
  7. 請求項1〜請求項6の何れか1項に記載の画像処理装置であって、
    前記走行速度が前記画角との間で負の相関を有するとは、前記画角の増大に伴い前記停止速度閾値が減少することである画像処理装置。
JP2019096743A 2019-05-23 2019-05-23 画像処理装置 Active JP7115420B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019096743A JP7115420B2 (ja) 2019-05-23 2019-05-23 画像処理装置
US16/882,144 US11272111B2 (en) 2019-05-23 2020-05-22 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096743A JP7115420B2 (ja) 2019-05-23 2019-05-23 画像処理装置

Publications (2)

Publication Number Publication Date
JP2020191575A true JP2020191575A (ja) 2020-11-26
JP7115420B2 JP7115420B2 (ja) 2022-08-09

Family

ID=73454788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096743A Active JP7115420B2 (ja) 2019-05-23 2019-05-23 画像処理装置

Country Status (2)

Country Link
US (1) US11272111B2 (ja)
JP (1) JP7115420B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328152B2 (en) * 2019-06-17 2022-05-10 Pixart Imaging Inc. Recognition system employing thermal sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006024120A (ja) * 2004-07-09 2006-01-26 Sumitomo Electric Ind Ltd 車両用画像処理システム及び画像処理装置
WO2016194228A1 (ja) * 2015-06-05 2016-12-08 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP2018196066A (ja) * 2017-05-19 2018-12-06 株式会社ユピテル ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2006178652A (ja) 2004-12-21 2006-07-06 Sumitomo Electric Ind Ltd 車両周辺認識システム及び画像処理装置
US8786704B2 (en) * 2007-08-09 2014-07-22 Donnelly Corporation Vehicle mirror assembly with wide angle element
JP5454983B2 (ja) 2012-12-13 2014-03-26 コニカミノルタ株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
JP6722051B2 (ja) * 2016-06-10 2020-07-15 株式会社Soken 物体検出装置、及び物体検出方法
US10981505B2 (en) * 2017-02-28 2021-04-20 Gentex Corporation Auto switching of display mirror assembly
US10969237B1 (en) * 2018-03-23 2021-04-06 Apple Inc. Distributed collection and verification of map information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006024120A (ja) * 2004-07-09 2006-01-26 Sumitomo Electric Ind Ltd 車両用画像処理システム及び画像処理装置
WO2016194228A1 (ja) * 2015-06-05 2016-12-08 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP2018196066A (ja) * 2017-05-19 2018-12-06 株式会社ユピテル ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム

Also Published As

Publication number Publication date
JP7115420B2 (ja) 2022-08-09
US20200374465A1 (en) 2020-11-26
US11272111B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
KR20170090347A (ko) 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법
JP6429452B2 (ja) 車載用画像処理装置及び半導体装置
US10055656B2 (en) Traffic signal detection device and traffic signal detection method
JP2008021196A (ja) 車両の周囲環境認識装置及びシステム
CN109835266B (zh) 摄像装置模块
JP6011935B2 (ja) 車載カメラシステムおよびカメラレンズ異常検知方法
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
JP7115420B2 (ja) 画像処理装置
JP2008243013A (ja) 撮像システム
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP2010061375A (ja) 物体認識装置及びプログラム
JP2018005811A (ja) 車両の接近物体検出装置
JP2014126921A (ja) 車載画像処理装置
JP2013168738A (ja) 露光制御装置
CN110611772B (zh) 车用取像装置及其曝光参数设定方法
US20220301185A1 (en) Information processing apparatus, information processing method, and storage medium for estimating movement amount of moving object
JP2008060988A (ja) 走行環境情報取得装置
JP6161582B2 (ja) 画像処理装置
US11146732B2 (en) Control apparatus, lens apparatus, image pickup apparatus, and image pickup system
JP6323262B2 (ja) 車両の接近物体検出装置
US9781337B2 (en) Image processing device, image processing method, and recording medium for trimming an image based on motion information
JP4957851B2 (ja) 手ぶれ検出装置、手ぶれ検出方法、および手ぶれ検出プログラム
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
JPWO2021005702A1 (ja) 顔検出処理装置および顔検出処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R151 Written notification of patent or utility model registration

Ref document number: 7115420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151