JP7163418B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7163418B2
JP7163418B2 JP2020569266A JP2020569266A JP7163418B2 JP 7163418 B2 JP7163418 B2 JP 7163418B2 JP 2020569266 A JP2020569266 A JP 2020569266A JP 2020569266 A JP2020569266 A JP 2020569266A JP 7163418 B2 JP7163418 B2 JP 7163418B2
Authority
JP
Japan
Prior art keywords
image
vehicle
bird
eye view
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569266A
Other languages
English (en)
Other versions
JPWO2020157901A1 (ja
Inventor
琢也 谷口
智能 小城戸
成晃 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020157901A1 publication Critical patent/JPWO2020157901A1/ja
Application granted granted Critical
Publication of JP7163418B2 publication Critical patent/JP7163418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転支援装置に関する。
従来において、車両の後側方を運転者が監視するためのサイドミラーが車両に設けられている。ただし、従来のサイドミラーを運転者が監視しても運転者が視認できない後側方の死角範囲が存在する。したがって、従来のサイドミラーでは死角となっていた死角範囲の状況を運転者が把握することを可能にする技術が求められる。そこで、表示範囲の広い広角カメラを使用して、広範囲の領域をディスプレイに表示させる技術が提案されている（例えば、特許文献１参照）。
特開２０１７－１９４５９号公報
ここで、特許文献１に記載の従来技術では、実際に人が目で見る映像と違って、広角カメラの映像が歪んでいるので、従来のサイドミラーの視界を確保することができず、結果として、自車両周辺の物体との距離感を運転者がつかむことが困難である。したがって、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする新たな技術が求められる。
本発明は、上述のような課題を解決するためになされたものであり、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする運転支援装置を得ることを目的とする。
本発明における運転支援装置は、自車両の後側方を撮影する後側方監視カメラと、それぞれが自車両の周辺を撮影する複数の周辺監視カメラと、後側方監視カメラによって撮影された自車両の後側方の画像である後側方画像と、複数の周辺監視カメラによって撮影された自車両の周辺の画像である周辺画像とを取得する運転支援ＥＣＵと、画像を表示する表示装置と、を備え、運転支援ＥＣＵは、複数の周辺監視カメラから取得した周辺画像から、自車両の周囲の俯瞰画像を生成し、生成した俯瞰画像から、死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成し、後側方監視カメラから取得した後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成し、生成した切り出し俯瞰画像と、生成した後側方変換画像とを配置した合成画像を生成し、生成した合成画像を表示装置が表示するように表示装置を制御するものである。
本発明によれば、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする運転支援装置を得ることができる。
本発明の実施の形態１における運転支援装置を示す構成図である。 本発明の実施の形態１における後側方監視カメラおよび４つの周辺監視カメラのそれぞれの自車両への設置位置を示す上面図である。 本発明の実施の形態１における死角範囲を示す図である。 本発明の実施の形態１における画像処理部が切り出し俯瞰画像を生成する処理を示す図である。 本発明の実施の形態１における表示装置が表示する合成画像を示す図である。 本発明の実施の形態１における運転支援装置によって行われる一連の運転支援動作を示すフローチャートである。 本発明の実施の形態１における運転支援ＥＣＵの制御部によって行われる一連の検知処理を示すフローチャートである。
以下、本発明による運転支援装置を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。
実施の形態１．
図１は、本発明の実施の形態１における運転支援装置を示す構成図である。図２は、本発明の実施の形態１における後側方監視カメラ１０および４つの周辺監視カメラ２１～２４のそれぞれの自車両への設置位置を示す上面図である。
図１に示す運転支援装置は、自車両に搭載されている。自車両は、例えば四輪自動車である。図１に示す運転支援装置は、後側方監視カメラ１０、第１の周辺監視カメラ２１、第２の周辺監視カメラ２２、第３の周辺監視カメラ２３、第４の周辺監視カメラ２４、運転支援ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０、表示装置４０、警報装置５０、スピーカ６０および操作パネル７０を備える。
後側方監視カメラ１０は、自車両の後側方を撮影する。なお、実施の形態１では、後側方監視カメラ１０は、自車両の後側方の具体例として、自車両の左後側方を撮影するように構成される場合を例示する。
後側方監視カメラ１０は、図２に示すように、自車両の左サイドミラーの位置Ｐ２に設置されている。後側方監視カメラ１０は、自車両の左後側方を撮影し、撮影した自車両の左後側方の画像である左後側方画像を運転支援ＥＣＵ３０に出力する。左サイドミラーは、自車両の左後側方を運転者が監視するためのミラーである。
後側方監視カメラ１０の向きは、サイドミラーの向きと同様となっている。後側方監視カメラ１０の画角は、サイドミラーと同様に、画像に映り込む物体との間の距離感をつかむことが可能な画角となっている。このような後側方監視カメラ１０の映像を表示するシステムを構築することで、サイドミラーで見える後側方の景色を運転者が見ることが可能となる。このようなシステムは、電子ミラーとも呼ばれ、公知のシステムである。
４つの周辺監視カメラ２１～２４のそれぞれは、自車両の異なる位置に設置されており、自車両の周辺を撮影する。
第１の周辺監視カメラ２１は、図２に示すように、自車両の前方の位置Ｐ１に設置されている。第１の周辺監視カメラ２１は、自車両の周辺として自車両の前方を撮影し、撮影した自車両の前方の画像である第１の周辺画像を運転支援ＥＣＵ３０に出力する。
第２の周辺監視カメラ２２は、図２に示すように、自車両の左サイドミラーの位置Ｐ２に設置されている。第２の周辺監視カメラ２２は、自車両の周辺として自車両の左側方を撮影し、撮影した自車両の左側方の画像である第２の周辺画像を運転支援ＥＣＵ３０に出力する。
第３の周辺監視カメラ２３は、図２に示すように、自車両の右サイドミラーの位置Ｐ３に設置されている。第３の周辺監視カメラ２３は、自車両の周辺として自車両の右側方を撮影し、撮影した自車両の右側方の画像である第３の周辺画像を運転支援ＥＣＵ３０に出力する。右サイドミラーは、自車両の右後側方を運転者が監視するためのミラーである。
第４の周辺監視カメラ２４は、図２に示すように、自車両の後方の位置Ｐ４に設置されている。第４の周辺監視カメラ２４は、自車両の周辺として自車両の後方を撮影し、撮影した自車両の後方の画像である第４の周辺画像を運転支援ＥＣＵ３０に出力する。
各周辺監視カメラ２１～２４は、車両の外側を向いており、各周辺監視カメラ２１～２４によって撮影された画像に自車両の周辺の路面が映り込むようになっている。各周辺監視カメラ２１～２４は、画角が１８０°以上の広角レンズが用いられており、４つの周辺監視カメラ２１～２４によって自車両の全周囲が捉えられるようになっている。
運転支援ＥＣＵ３０は、後側方監視カメラ１０によって撮影された左後側方画像と、４つの周辺監視カメラ２１～２４によって撮影された周辺画像とを取得する。運転支援ＥＣＵ３０は、俯瞰画像生成部３１、画像処理部３２および制御部３３を備える。
俯瞰画像生成部３１は、４つの周辺監視カメラ２１～２４のそれぞれから第１の周辺画像、第２の周辺画像、第３の周辺画像および第４の周辺画像を取得する。これら４つの周辺画像は、自車両周囲３６０°の領域をカバーする。俯瞰画像生成部３１は、自車両の鉛直方向から俯瞰する視点になるように、これら４つの周辺画像を変形して配置することで、自車両周囲の俯瞰画像を生成する。このような俯瞰画像の視点は、上空から鉛直方向に見下ろす視点である。
俯瞰画像生成部３１が俯瞰画像を生成する場合に上空から斜めに見下ろす視点になるように、視点の方向を、操作パネル７０によって自由に変更可能である。
４つの周辺監視カメラ２１～２４と、俯瞰画像生成部３１の機能とによって構成されるシステムは、サラウンドビューシステムとも呼ばれ、公知のシステムである。
画像処理部３２は、後側方監視カメラ１０から左後側方画像を取得し、俯瞰画像生成部３１から俯瞰画像を取得する。画像処理部３２は、取得した俯瞰画像から、運転者の死角範囲を含む切り出し範囲の画像を切り出し、切り出した画像を切り出し俯瞰画像として生成する。
ここで、運転者の死角範囲について、図３を参照しながら説明する。図３は、本発明の実施の形態１における死角範囲を示す図である。なお、図３では、物体Ａの例である二輪自動車が死角範囲に存在する場合を例示している。
図３に示すように、自車両の左サイドミラーを運転者が監視しても運転者が視認できない後側方の死角範囲が存在する。このような死角範囲に物体Ａが存在する場合、その物体Ａを運転者が把握することが困難である。
続いて、画像処理部３２が切り出し俯瞰画像を生成する処理について、図４を参照しながら説明する。図４は、本発明の実施の形態１における画像処理部３２が切り出し俯瞰画像を生成する処理を示す図である。なお、図４では、物体Ａの例である二輪自動車が切り出し範囲に存在する場合を例示している。
図４に示すように、画像処理部３２は、俯瞰画像生成部３１から取得した俯瞰画像から、切り出し範囲の画像を切り出し、切り出した画像を切り出し俯瞰画像として生成する。この切り出し範囲は、上述の死角範囲を含む範囲であり、予め定められた範囲である。
画像処理部３２は、運転者が左サイドミラーを見たときと同じ見え方にするために、取得した左後側方画像を、左右を反転させた画像に変換し、その変換後の画像を左後側方変換画像として生成する。左後側方変換画像は、左後側方画像に対して鏡像の関係にある。
画像処理部３２は、生成した切り出し俯瞰画像と、生成した左後側方変換画像とを隣接させて配置した合成画像を生成する。画像処理部３２は、生成した合成画像を制御部３３に出力する。
画像処理部３２が俯瞰画像を切り出す切り出し範囲を、操作パネル７０によって自由に変更可能である。
制御部３３は、画像処理部３２から合成画像を取得し、取得した合成画像を表示装置４０が表示するように表示装置４０を制御する。
制御部３３は、画像処理部３２から取得した合成画像内において物体を検知した場合、合成画像内の物体の存在を示す報知を行う。
制御部３３は、上述の報知の一例として、合成画像内の物体の存在を示す印を合成画像に描画する。この印は、自車両周辺に物体が存在していることを運転者に警告するためのものである。
制御部３３は、上述の報知の別例として、合成画像内の物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。この警告音は、自車両周辺に物体が存在していることを運転者に警告するためのものである。
制御部３３は、画像処理部３２から取得した合成画像内において物体を検知しない場合、上述の報知を行わない。
表示装置４０は、自車両の室内に設置されており、画像を表示する。具体的には、表示装置４０は、制御部３３からの制御に従って、合成画像を表示する。ここで、表示装置４０が表示する合成画像の一例について、図５を参照しながら説明する。図５は、本発明の実施の形態１における表示装置４０が表示する合成画像を示す図である。なお、図５では、切り出し俯瞰画像に物体Ａの例である二輪自動車が映り込んでおり、左後側方変換画像に物体Ｂの一例である四輪自動車が映り込んでいる場合を例示している。
図５に示すように、表示装置４０によって表示される合成画像は、切り出し俯瞰画像と左後側方変換画像とを隣接させて配置した画像である。切り出し俯瞰画像では、物体Ａの存在を示す印の例として、物体Ａの周囲を囲む枠が制御部３３によって描画されている。左後側方変換画像では、物体Ｂの存在を示す印の例として、物体Ｂの周囲を囲む枠が制御部３３によって描画されている。
このような合成画像を表示装置４０が表示することによって、運転者に対して運転支援のための視界を提供することが可能となる。表示装置４０は、例えば、左側を注意しなければならないことを運転者が分かりやすいように、運転者の左側に設置されている。
警報装置５０は、自車両の室内に設置されているスピーカ６０を駆動することで音を発生させる。具体的には、警報装置５０は、制御部３３からの制御に従って、スピーカ６０を駆動することで警告音を発生させる。このような警告音を警報装置５０が発生させることによって、表示装置４０に表示されている合成画像を確認するように運転者に促すことが可能となる。
操作パネル７０は、表示装置４０によって表示される合成画像の見え方を運転者が調整するためのものである。運転者が操作パネル７０を操作することで、俯瞰画像生成部３１が生成する俯瞰画像の視点方向を自由に変更可能である。このように、運転支援装置は、運転支援ＥＣＵ３０が生成する俯瞰画像の視点方向を変更可能に構成されている。
また、運転者が操作パネル７０を操作することで、画像処理部３２が俯瞰画像を切り出す切り出し範囲を自由に変更可能である。これにより、運転者は、自身の死角範囲に合わせて切り出し範囲を任意に設定することができる。このように、運転支援装置は、運転支援ＥＣＵ３０が俯瞰画像を切り出す切り出し範囲を変更可能に構成されている。
次に、本実施の形態１における運転支援装置の一連の運転支援動作について、図６を参照しながら説明する。図６は、本発明の実施の形態１における運転支援装置によって行われる一連の運転支援動作を示すフローチャートである。なお、運転支援装置は、例えば、或る動作周期で、図６に示す一連の処理を繰り返し行う。
ステップＳ１０１において、俯瞰画像生成部３１は、４つの周辺監視カメラ２１～２４のそれぞれから取得した第１の周辺画像、第２の周辺画像、第３の周辺画像および第４の周辺画像を用いて、俯瞰画像を生成する。その後、処理がステップＳ１０２へと進む。
このように、運転支援ＥＣＵ３０は、４つの周辺監視カメラ２１～２４から取得した周辺画像から、自車両の周囲の俯瞰画像を生成する。
ステップＳ１０２において、画像処理部３２は、ステップＳ１０１で生成された俯瞰画像から切り出し範囲の画像を切り出すことで切り出し俯瞰画像を生成する。その後、処理がステップＳ１０３へと進む。
このように、運転支援ＥＣＵ３０は、生成した俯瞰画像から、切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成する。
ステップＳ１０３において、画像処理部３２は、後側方監視カメラ１０から取得した左後側方画像を、左右を反転させた画像に変換することで、左後側方変換画像を生成する。その後、処理がステップＳ１０４へと進む。
このように、運転支援ＥＣＵ３０は、後側方監視カメラ１０から取得した左後側方画像を、左右を反転させた画像に変換することで、左後側方変換画像を生成する。
ステップＳ１０４において、画像処理部３２は、ステップＳ１０２で生成された切り出し俯瞰画像と、ステップＳ１０３で生成された左後側方変換画像とを隣接させて配置した合成画像を生成する。その後、処理がステップＳ１０５へと進む。
このように、運転支援ＥＣＵ３０は、生成した切り出し俯瞰画像と、生成した左後側方変換画像とを配置した合成画像を生成する。
ステップＳ１０５において、制御部３３は、ステップＳ１０４で生成された合成画像に対して検知処理を行い、検知処理の結果に応じて、表示装置４０および警報装置５０を制御する。その後、処理がステップＳ１０６へと進む。なお、検知処理の詳細については、後述する図７のフローチャートを参照して説明する。
ステップＳ１０６において、表示装置４０は、ステップＳ１０５での検知処理後の合成画像を表示する。その後、処理がステップＳ１０７へと進む。
ステップＳ１０７において、警報装置５０は、ステップＳ１０５での検知処理の結果、制御部３３から警報通知を受けたか否かを判定する。警報通知を受けたと判定された場合には、処理がステップＳ１０８へと進み、警報通知を受けていないと判定された場合には、処理が終了となる。
ステップＳ１０８において、警報装置５０は、制御部３３から受けた警報通知に応じて、スピーカ６０を駆動することで警告音を発生させる。その後、処理が終了となる。
次に、先の図６のステップＳ１０５で実行される一連の検知処理について、図７を参照しながら説明する。図７は、本発明の実施の形態１における運転支援ＥＣＵ３０の制御部３３によって行われる一連の検知処理を示すフローチャートである。
ステップＳ２０１において、制御部３３は、先の図６のステップＳ１０４で生成された合成画像内において物体を検知したか否かを判定する。合成画像内において物体を検知したと判定された場合には、処理がステップＳ２０２へと進む。一方、合成画像内において物体を検知してないと判定された場合には、処理がステップＳ２１０へと進む。
ステップＳ２０２において、制御部３３は、ステップＳ２０１で検知された物体である検知物体の位置を検知する。その後、処理がステップＳ２０３へと進む。
なお、制御部３３は、公知の物体検知アルゴリズムを適用することで、合成画像内の物体を物体の位置とともに検知するように構成されている。このような物体検知アルゴリズムとしては、例えば、ディープラーニングによる物体検知アルゴリズムが挙げられ、より具体的には、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ)が挙げられる。
ステップＳ２０３において、制御部３３は、検知物体の周囲を囲む枠を合成画像に第１の色で描画する。第１の色は、例えば、黄色である。その後、処理がステップＳ２０４へと進む。
このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知した場合、合成画像内の物体の存在を示す印を合成画像に描画する。
ステップＳ２０４において、制御部３３は、検知物体が前回の検知処理で検知されたか否かを判定する。検知物体が前回の検知処理で検知されたと判定された場合には、処理がステップＳ２０６へと進む。一方、その検知物体が前回の検知処理で検知されていないと判定された場合には、処理がステップＳ２０５へと進む。
ステップＳ２０５において、制御部３３は、第１の警報通知を警報装置５０に送信する。その後、処理がステップＳ２１０へと進む。警報装置５０は、制御部３３から第１の警報通知を受けると、今回の検知処理で新たに検知された物体が存在することを示す第１の警告音を発生させる。
このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知した場合、合成画像内の物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。
ステップＳ２０６において、制御部３３は、前回の検知処理で検知された検知物体の位置と、今回の検知処理で検知された検知物体の位置とを比較する。その後、処理がステップＳ２０７へと進む。このような位置比較が行われることで、自車両に接近してくる物体を抽出することが可能となる。
ステップＳ２０７において、制御部３３は、ステップＳ２０６での位置比較の結果、検知物体の位置が自車両に接近する方向に変位したか否かを判定する。検知物体の位置が自車両に接近する方向に変位したと判定された場合には、処理がステップＳ２０８へと進む。一方、検知物体の位置が自車両に接近する方向に変位していないと判定された場合には、処理がステップＳ２１０へと進む。
ステップＳ２０８において、制御部３３は、自車両に接近する方向に位置が変位したと判定された検知物体、すなわち自車両に接近してくる検知物体の周囲を囲む枠を合成画像に第２の色で描画する。第２の色は、第１の色とは異なっている。第２の色は、例えば、赤色である。その後、処理がステップＳ２０９へと進む。
このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知し、さらに合成画像内の物体が自車両に接近してくる場合、自車両に接近してくる物体の存在を示す印を合成画像に描画する。
ステップＳ２０９において、制御部３３は、第２の警報通知を警報装置５０に送信する。その後、処理がステップＳ２１０へと進む。警報装置５０は、制御部３３から第２の警報通知を受けると、自車両に接近してくる物体が存在することを示す第２の警告音を発生させる。なお、第２の警告音は、第１の警告音と同じであってもよいし、第１の警告音と異なっていてもよい。
このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知し、さらに合成画像内の物体が自車両に接近してくる場合、自車両に接近してくる物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。
ステップＳ２１０において、制御部３３は、表示装置４０が合成画像を表示するように表示装置４０に表示指令を送信する。その後、処理が終了となる。表示装置４０は、制御部３３から表示指令を受けると、一連の検知処理後の合成画像を表示する。
なお、実施の形態１では、後側方監視カメラ１０は、自車両の後側方の具体例として、自車両の左後側方を撮影するように構成される場合を例示したが、これに限定されない。すなわち、後側方監視カメラ１０は、自車両の右後側方を撮影するように構成されていてもよい。
上述の場合、切り出し範囲は、自車両の右サイドミラーを運転者が監視しても、運転者が視認できない右後側方の死角範囲を含む範囲となる。俯瞰画像生成部３１は、生成した俯瞰画像から、この切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成するように構成される。また、画像処理部３２は、運転者が右サイドミラーを見たときと同じ見え方にするために、後側方監視カメラ１０から取得した右後側方画像を、左右を反転させた画像に変換することで、右後側方変換画像を生成するように構成される。
以上、本実施の形態１によれば、運転支援装置の運転支援ＥＣＵ３０は、複数の周辺監視カメラ２１～２４から取得した周辺画像から、自車両の周囲の俯瞰画像を生成し、生成した俯瞰画像から、運転者の死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成するように構成されている。また、運転支援ＥＣＵ３０は、後側方監視カメラ１０から取得した後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成するように構成されている。さらに、運転支援ＥＣＵ３０は、生成した切り出し俯瞰画像と、生成した後側方変換画像とを配置した合成画像を生成し、生成した合成画像を表示装置４０が表示するよう表示装置４０を制御するように構成されている。
このように、合成画像を構成する後側方変換画像を表示することによって、従来のサイドミラーの視界を確保することができ、その結果、自車両周辺の物体との距離感をつかむことが可能になる。さらに、合成画像を構成する切り出し俯瞰画像も表示することによって、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することが可能になる。
なお、上述した実施の形態１における運転支援装置の運転支援ＥＣＵ３０の各機能は、処理回路によって実現される。各機能を実現する処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサであってもよい。
処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。俯瞰画像生成部３１、画像処理部３２および制御部３３の各部の機能それぞれを個別の処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。
一方、処理回路がプロセッサの場合、俯瞰画像生成部３１、画像処理部３２および制御部３３の各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアは、プログラムとして記述され、メモリに格納される。プロセッサは、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。
上述のプログラムは、上述した各部の機能をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリが該当する。また、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等も、メモリに該当する。
なお、上述した各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述した各部の機能を実現することができる。
１０ 後側方監視カメラ、２１ 第１の周辺監視カメラ、２２ 第２の周辺監視カメラ、２３ 第３の周辺監視カメラ、２４ 第４の周辺監視カメラ、３０ 運転支援ＥＣＵ、３１ 俯瞰画像生成部、３２ 画像処理部、３３ 制御部、４０ 表示装置、５０ 警報装置、６０ スピーカ、７０ 操作パネル。

Claims (8)

  1. 自車両の後側方を撮影する後側方監視カメラと、
    それぞれが前記自車両の周辺を撮影する複数の周辺監視カメラと、
    前記後側方監視カメラによって撮影された前記自車両の後側方の画像である後側方画像と、前記複数の周辺監視カメラによって撮影された前記自車両の周辺の画像である周辺画像とを取得する運転支援ＥＣＵと、
    画像を表示する表示装置と、
    を備え、
    前記運転支援ＥＣＵは、
    前記複数の周辺監視カメラから取得した前記周辺画像から、前記自車両の周囲の俯瞰画像を生成し、生成した前記俯瞰画像から、死角範囲及び自車両の一部のみを含む切り出し範囲の画像を左右反転させずにそのまま切り出すことで、切り出し俯瞰画像を生成し、
    前記後側方監視カメラから取得した前記後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成し、
    生成した前記切り出し俯瞰画像と、生成した前記後側方変換画像とを配置した合成画像を生成し、生成した前記合成画像を前記表示装置が表示するように前記表示装置を制御する
    運転支援装置。
  2. 前記運転支援ＥＣＵは、生成した前記合成画像内において物体を検知した場合、前記合成画像内の前記物体の存在を示す報知を行う
    請求項１に記載に記載の運転支援装置。
  3. 前記運転支援ＥＣＵは、前記報知として、
    前記物体の存在を示す印を前記合成画像に描画する
    請求項２に記載の運転支援装置。
  4. 前記運転支援ＥＣＵは、さらに前記合成画像内の前記物体が前記自車両に接近してくる場合、前記報知として、
    前記自車両に接近してくる前記物体の存在を示す印を前記合成画像に描画する
    請求項２または３に記載の運転支援装置。
  5. 音を発生させる警報装置をさらに備え、
    前記運転支援ＥＣＵは、前記報知として、
    前記物体の存在を示す警告音を前記警報装置が発生させるように前記警報装置を制御する
    請求項２から４のいずれか１項に記載の運転支援装置。
  6. 前記運転支援ＥＣＵは、さらに前記合成画像内の前記物体が前記自車両に接近してくる場合、前記報知として、
    前記自車両に接近してくる前記物体の存在を示す警告音を前記警報装置が発生させるように前記警報装置を制御する
    請求項２から５のいずれか１項に記載の運転支援装置。
  7. 前記運転支援ＥＣＵが前記俯瞰画像を切り出す前記切り出し範囲を変更可能に構成されている
    請求項１から６のいずれか１項に記載の運転支援装置。
  8. 前記運転支援ＥＣＵが生成する前記俯瞰画像の視点方向を変更可能に構成されている
    請求項１から７のいずれか１項に記載の運転支援装置。
JP2020569266A 2019-01-31 2019-01-31 運転支援装置 Active JP7163418B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003339 WO2020157901A1 (ja) 2019-01-31 2019-01-31 運転支援装置

Publications (2)

Publication Number Publication Date
JPWO2020157901A1 JPWO2020157901A1 (ja) 2021-09-09
JP7163418B2 true JP7163418B2 (ja) 2022-10-31

Family

ID=71841470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569266A Active JP7163418B2 (ja) 2019-01-31 2019-01-31 運転支援装置

Country Status (5)

Country Link
US (1) US11708032B2 (ja)
JP (1) JP7163418B2 (ja)
CN (1) CN113329913A (ja)
DE (1) DE112019006793T5 (ja)
WO (1) WO2020157901A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230415652A1 (en) * 2020-10-23 2023-12-28 Sony Group Corporation Camera module, information processing system, information processing method, and information processing apparatus
WO2022192663A1 (en) * 2021-03-12 2022-09-15 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed
GB2623296A (en) * 2022-10-05 2024-04-17 Continental Automotive Tech Gmbh System and method for evaluation of the driving of a vehicle
CN116605141B (zh) * 2023-06-26 2024-02-09 江苏泽景汽车电子股份有限公司 电子后视镜的显示方法、装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030078A (ja) 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012257106A (ja) 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016168877A (ja) 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2018074286A (ja) 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
WO2012056528A1 (ja) * 2010-10-27 2012-05-03 トヨタ自動車株式会社 運転補助装置
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
JP2013100057A (ja) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd 運転支援装置
JP6443247B2 (ja) 2015-07-14 2018-12-26 株式会社デンソー 車両用表示装置
JP6699427B2 (ja) * 2015-11-17 2020-05-27 株式会社Ｊｖｃケンウッド 車両用表示装置および車両用表示方法
JP7010221B2 (ja) * 2016-07-13 2022-01-26 ソニーグループ株式会社 画像生成装置、画像生成方法、及び、プログラム
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030078A (ja) 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012257106A (ja) 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016168877A (ja) 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2018074286A (ja) 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置

Also Published As

Publication number Publication date
US20220111794A1 (en) 2022-04-14
JPWO2020157901A1 (ja) 2021-09-09
WO2020157901A1 (ja) 2020-08-06
US11708032B2 (en) 2023-07-25
DE112019006793T5 (de) 2021-11-04
CN113329913A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
JP7163418B2 (ja) 運転支援装置
US8330816B2 (en) Image processing device
JP5120880B2 (ja) 画像処理装置及び画像処理方法
US11336839B2 (en) Image display apparatus
KR101967305B1 (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
JP2009081666A (ja) 車両用周辺監視装置および映像表示方法
JPWO2011036892A1 (ja) 運転支援表示装置
US11283995B2 (en) Image display apparatus
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP2016170663A (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP2015009646A (ja) 運転支援装置
JP2020028027A (ja) 車両用周辺表示装置
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP2005182305A (ja) 車両走行支援装置
WO2020097439A1 (en) Driver assistance system having rear-view camera and cross-traffic sensor system with simultaneous view
KR102632361B1 (ko) 어라운드 뷰 영상 제공 시스템
JP2011109286A (ja) 車両周辺監視装置および車両周辺監視方法
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP6187322B2 (ja) 画像表示装置、画像表示システム
KR20130081914A (ko) 차량용 카메라 노출 제어 장치 및 그 방법
JP5617678B2 (ja) 車両用表示装置
KR101659276B1 (ko) Avm 시스템 및 avm 영상을 이용한 문 열림 감지 방법
US20230316771A1 (en) Apparatus for controlling vehicle including camera and method for the same
KR20190066396A (ko) 이종 카메라를 이용한 충돌 경고 방법 및 장치
JP2018107574A (ja) 車両用視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220801

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220808

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150