JP2017091284A - 車両用画像処理装置および車両用画像処理システム - Google Patents

車両用画像処理装置および車両用画像処理システム Download PDF

Info

Publication number
JP2017091284A
JP2017091284A JP2015221773A JP2015221773A JP2017091284A JP 2017091284 A JP2017091284 A JP 2017091284A JP 2015221773 A JP2015221773 A JP 2015221773A JP 2015221773 A JP2015221773 A JP 2015221773A JP 2017091284 A JP2017091284 A JP 2017091284A
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015221773A
Other languages
English (en)
Other versions
JP6091586B1 (ja
Inventor
教文 程原
Norifumi Hodohara
教文 程原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015221773A priority Critical patent/JP6091586B1/ja
Priority to US15/153,018 priority patent/US10183621B2/en
Priority to DE102016212405.6A priority patent/DE102016212405B4/de
Application granted granted Critical
Publication of JP6091586B1 publication Critical patent/JP6091586B1/ja
Publication of JP2017091284A publication Critical patent/JP2017091284A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】従来の車両搭載された撮影装置の撮影画像では障害物が近距離に存在する場合に画角に入りきらないなど十分に検知できなかった。【解決手段】車両前方の対象物検知用の撮影装置と駐車支援用の撮影装置の画像を合成することで、従来では検知を行うことが難しかった領域、例えば自車両から近距離に位置しているために撮影装置に全体の映像が映りきらないような障害物を、合成画像により検知することができる車両用画像処理システムおよび車両用画像処理装置を提供する【選択図】図２

Description

この発明は、複数カメラを用いた車両用画像処理装置および車両用画像処理システムに関するものである。
従来、車両運転時の自車両の前方に位置する障害物の検知には、遠距離の障害物を検知するのに有利な画角のあまり広くない単眼のカメラ、または距離測定にも使用する複眼カメラが用いられてきた（特許文献１）。
一方で、駐車支援を目的として、自車両の周辺を撮影し、運転者に情報提供するため、広範囲な地面を映すのに有利な広い画角を有する複数のカメラを使用し、これら複数のカメラの映像を合成して表示する発明がされている（特許文献２）
特許第３９１７２８５号公報 特開２０１４−４１３９８号公報
単眼カメラによる対象物の検知では、主にフロントガラスにカメラを取り付けて前方の歩行者や車両などの障害物を判断する。しかし、遠方の障害物を効果的に検知するためには、カメラはある程度狭角である必要があり、その場合、自車両から近距離に位置する障害物は、足元がカメラの画角に入りきらなくなる。
また、広角のカメラを使用したとしても、多くの一般車両ではボンネットが前に張り出しているためにフロントガラスに設置されたカメラからは近距離の対象物の足元は隠れてしまう。よって、テンプレートマッチングを用いた画像処理では、そのような対象物の検知は検知率が下がるか、または検知不可能となってしまう。
複眼カメラを用いる場合でも、上述した単眼カメラと同じく、フロントガラスの内側に設置されているため、自車両から近距離の対象物の足元はカメラの画角に入りきらない。複眼カメラによって対象物までの距離を測定することは可能だが、対象物の属性（歩行者か車両かなど）を判断するにあたってはテンプレートマッチングによる検知が必要であり、前述の単眼カメラと同じ検知率の低下などが生じる。
また、複眼カメラによる測距の実用化にあたっては、精度向上および計算モデル簡略化のために、複眼カメラの光軸を出来るだけ平行にする必要がある。すなわち測距を目的として複眼にしているために、複眼カメラの撮影領域は（基線長との兼ね合いもあるが）、できるだけ被っている必要があり、撮影領域自体は単眼カメラを用いる場合とほとんど変わらない。また当然のように、複眼カメラはカメラを複数用いるためにコストや設置スペースが増加してしまうという問題もある。
一方、駐車支援を目的として設置されるカメラは、車両周辺の地面を撮影するために、主に車両の外側に、下向きに複数取り付けられ、広角を撮影できる魚眼レンズを有する。車両の前方方向においては、バンパー付近に取り付けられることが多い。これらのカメラを用いても車両前方の障害物を検知することが可能である。しかし、地面を主に撮影する目的で装着されたカメラであるために、障害物が近距離に存在する場合には障害物の足元しか撮影範囲に収まらず、そのような障害物は正しく検知を行うことが難しい。
そこで、車両周辺の対象物が１つのカメラに収まらないような位置にあっても、正しく検知を行うことができるような画像処理システムが求められている。
本発明は、上記のような課題を解決するために行われたものであって、車両前方の対象物検知用のカメラと駐車支援用のカメラの画像を組み合わせることで、従来では検知を行うことが難しかった領域、例えば自車両から近距離に位置しているためにカメラ映像に全身が映りきらないような障害物を効果的に検知する車両用画像処理装置および車両用画像処理システムを提供することを目的とする。
この発明の車両用画像処理装置は、車両前方を撮影した第１の撮影画像と、この第１の撮影画像と撮影領域が一部重複し、車両周辺を撮影した第２の撮影画像とが入力される入力部、第２の撮影画像が第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、射影画像変換部の出力画像と第１の撮影画像とが連続するように合成される第１の画像合成部、第１の画像合成部で合成された画像から車両前方の障害物が検知される検知判断部を備えている。
また、この発明の車両用画像処理システムは、上記車両用画像処理装置と、車両に搭載され、車両前方を撮影する第１の撮影装置と、車両に搭載され、第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、車両用画像処理装置からの出力が表示される表示装置とを備えている。
この発明の車両用画像処理装置により、１つの撮影画像に収まり切らない車両前方の障害物を、複数の撮影画像を合成し、検知判断を行うことが可能となる。
また、この発明の車両用画像処理システムにより、１つの撮影装置に収まり切らない車両前方の障害物を、複数の撮影装置で得られた画像を合成し、検知判断を行い、運転者に表示することが可能となる。
この発明の実施の形態１における車両用画像処理システムの要部を示す概略図である。 この発明の実施の形態１における車両用画像処理システムおよび車両用画像処理装置の機能ブロック図である。 この発明の実施の形態１における射影変換部の動作概要図である。 この発明の実施の形態１における画像減算部の動作概要図である。 この発明の実施の形態１における距離判別部の動作概要図である。 この発明の実施の形態１における画像合成部および検知判断部の動作概要図である。 この発明の実施の形態１における短冊合成部の動作概要図である。
実施の形態１．
図１はこの発明の実施の形態１である車両用画像処理システムの要部を示す概略図である。図において、車両１に取り付けられた前方上方カメラ２、前方下方カメラ３、後方カメラ４、左方カメラ５、右方カメラ６からの画像データは、画像処理装置７により画像処理された後、映像表示装置８に映し出される。
前方上方カメラ２は、レンズ、光学センサ、画像送信部で構成され、主に車両１のフロントガラスの車内側、ルームミラーの裏側（フロントガラス側）の左右中央に設置される。地面からの高さは、１５００ｍｍ、また車両先端からの奥行は１５００ｍｍとする。
前方上方カメラ２の傾きは、地面と水平になるように、すなわち、パン、チルト、ロールのそれぞれの角度が０度になるように設置する。車両前方を遠くまで撮影できるように水平画角５０度のレンズを使用する。撮影解像度は横１２８０ピクセル、縦９６０ピクセルとする。得られた画像データはＬＶＤＳ（Low Voltage Differential Signaling）などの高速伝送路を用いて画像処理装置７に送られる。
前方下方カメラ３は、前方上方カメラ２と同じく、レンズ、光学センサ、画像送信部で構成され、主に車両１の外側、前方バンパー付近の左右中央に設置される。地面からの高さは８００ｍｍとする。車両前方の広範囲の地面を撮影できるように、カメラを下向きに、チルト角を３０度傾けて取り付ける。レンズは水平画角１８０度の魚眼レンズを使用する。撮影解像度は、横１２８０ピクセル、縦７２０ピクセルとし、得られた画像データは画像処理装置７に送られる。
後方カメラ４、左方カメラ５、右方カメラ６は、前方下方カメラ３と同じく車両周辺の地面を撮影するために設置されるカメラであり、後方カメラ４は車両後方のナンバープレートの上部に、左方カメラ５、右方カメラ６はそれぞれサイドミラー下部に設置する。それぞれのカメラが設置された位置の直下の地面が撮影領域に含まれるようにチルト角を下に傾けて設置される。レンズは前方下方カメラ３と同じく魚眼レンズを使用し、撮影解像度は、横１２８０ピクセル、縦７２０ピクセルとする。得られた画像データは、画像処理装置７に送られる。
図２は、この発明の画像処理システムの機能ブロック図である。各カメラからの画像データは、画像処理装置７に入力され、画像処理を施された後、映像表示装置８に出力される。画像処理装置７は、各画像受信部（図示せず）、輝度・歪み補正部７１、俯瞰変換部７２、射影変換部７３、画像合成部７４、画像減算部７５、距離判別部７６、短冊合成部７７、検知判断部７８で構成される。以下に各部の役割と画像データの流れを説明する。
高速伝送により上述した５つのカメラから送られてきた画像データは、画像受信部（図示せず）にて差動信号から並列信号に復元された後、輝度・歪み補正部７１へ送られ、それぞれのカメラの画像間輝度差を低減する補正および、それぞれのレンズに合わせた歪み補正を行う。輝度・歪み補正された画像データのうち、前方下方カメラ３、後方カメラ４、左方カメラ５、右方カメラ６の各カメラからの画像データについては、俯瞰変換部７２に送られ、それぞれの画像を車両上空から俯瞰したような視点へ射影変換した後、地面が自然に繋がるように1枚の画像に合成する。さらに車両自体を上空から俯瞰した既存の静止画データを重畳し、トップビューの俯瞰画像の画像データとして映像表示装置８に送られる。
輝度・歪み補正された画像データのうち、前方下方カメラ３の画像データについては上述した俯瞰変換部７２に送られると共に射影変換部７３にも送られ、前方上方カメラ２と同じ視点になるように射影変換された後、画像合成部７４、画像減算部７５に送られる。
前方上方カメラ２からの画像データは輝度・歪み補正部７１で補正された後、画像合成部７４、画像減算部７５に送られる。
画像減算部７５では射影変換部７３で変換された射影画像群の画像データと、前方上方カメラ画像とで撮影領域の重なる部分について比較される。すなわち、画像の差分をとったものを差分画像群の画像データとし、距離判別部７６に送られる。
距離判別部７６では、差分画像群を縦長の短冊領域に分割し、それぞれの短冊領域について距離を判別し、ラベル付けした情報を短冊合成部７７に送られる。
短冊合成部７７では、ラベル付けされた距離情報を元に、差分画像群の画像データから適切な短冊領域を抜出し、前方上方カメラ２からの画像と合成する。合成された短冊合成画像の画像データは映像表示装置８に送られる。
画像合成部７４では輝度・歪み補正された前方上方カメラ画像および、射影画像群の画像データを距離ごとに合成し、合成画像群の画像データを作成し、検知判断部７８へ送る。
検知判断部７８では画像合成部７４から送られた合成画像群の画像データにテンプレートマッチングを用いた検知を行い、車両前方の障害物を抽出し、その情報は映像表示装置８に送られる。
映像表示装置８は、画像処理装置７から得られた障害物判定情報を運転者に提示する。俯瞰変換部７２から送信された俯瞰画像、短冊合成部７７から送信された短冊合成画像、及び検知判断部７９から送信された障害物情報を表示するための液晶ディスプレイを有する。どの画像や情報を運転者に提供するかについては、運転者によるボタン操作によって切り替えても良いし、情報の緊急度および車両の速度や舵角などのセンサ情報から判断して自動的に切り替わるようにしてもよい。
運転者の目に留まりやすいダッシュボード近くに設置された、カーナビゲーションや速度メーターパネルがこの映像表示装置８の役割を果たす。
次に各部の役割につき、詳細に説明する。
図３は射影変換部７３の動作概要図である。射影変換部７３では、輝度・歪み補正部７１で輝度・歪み補正された前方下方カメラ画像（以下、補正下方画像と称す）１００を射影変換し、射影画像２００、２１０、２２０を作成する。
図３の左に位置する枠が補正下方画像１００である。枠内には２人の歩行者１０１、１０２が映し出されているが、前方下方カメラが低い位置に取り付けられていることと、歩行者１０１、１０２が車両１から近い位置に立っていることから、歩行者１０１、１０２の上半身はカメラの撮像領域内に収まらず、下半身のみが映し出されている。２人の歩行者１０１、１０２は車両１からそれぞれ１ｍおよび０．５ｍに位置している。
補正下方画像１００は、前方上方カメラ２の画像と比較あるいは、合成するために、前方上方カメラ２と同じ視点から見たように射影変換が行われる。射影変換は、画像中の任意の４点の座標を別の４点の座標に変換する処理であり、補正下方画像１００中に映った４点、例えば図示はしないが、四角の板の四隅などの座標を、前方上方カメラ２に映った同物体の４点の座標に射影変換すれば、仮想的に前方上方カメラ２と同じ視点から見たような画像に変換できる。しかし、前方上方カメラ２と前方下方カメラ３は取付け位置が上下および前後にずれているため、射影変換を行った面（先ほどの例では、四角の板を含む平面）以外の場所では、前方上方カメラ２の画像とズレが生じてしまう。
そこで、補正下方画像１００に対する射影変換を複数の面について行い、複数の射影画像による射影画像群２０００を生成する。この複数の面は車両１の直進軸と直交する複数の平面に対応させるようにしてもよい。例えば、図３の右側に位置する３つの枠は、射影画像２００、２１０、２２０の画像イメージであり、車両１の先端から前方に０．５ｍ、１ｍ、１．５ｍの距離において前方上方カメラの光軸と直交する平面での射影変換を、補正下方画像１００対して行ったものである。射影画像はもっと広範囲、あるいは細かい距離で分割して作成してもよい。なお、これらの射影変換に使用するパラメータは、カメラ取付け時に四角の平面のターゲットを撮影することであらかじめ算出することが可能である。あるいは、前方上方カメラ２および前方下方カメラ３の位置・姿勢から算出することが可能である。射影画像２００、２１０、２２０等の射影画像群２０００の画像データは、画像合成部７４および画像減算部７５へ送られる。
図４は画像減算部７５の動作概要図である。画像減算部７５では、輝度・歪み補正部７１で輝度・歪み補正された前方上方カメラ画像（以下、補正上方画像）３００と上述した射影画像２００、２１０、２２０とを順次比較し、画素値（明るさ）の差分画像を作成する。
比較するにあたり、補正上方画像と射影画像の重複する部分を抜き出す。図４中、左側に補正上方画像３００、中央に射影画像２００、２１０、２２０等からなる射影画像群を示す。射影画像中、破線で区切られた２人の歩行者の腰付近に相当する部分が重複している。射影画像の距離ごとに、これら補正上方画像と重複する部分の画素ごとの差分をとると、図４中、右側に示された差分画像４００、４１０、４２０等からなる差分画像群が生成される。ここでは差の少ない部分を白色で、差の大きな部分を横線で模式的に示している。例えば、差分画像４００では、補正上方画像３００と０．５ｍ地点の射影画像２００との差分をとっているが、０．５ｍに位置する歩行者の領域では差が少なく、１ｍ地点に位置する歩行者の領域では差は大きくなる。これは、射影画像２００が、車両前方０．５ｍの面に合わせて射影変換を行った画像であるため、車両前方０．５ｍに位置する物体は補正上方画像とのズレが少なく、それ以外の場所では補正上方画像とのズレが大きくなるためである。差分画像４１０では、補正上方画像３００と１ｍ地点の射影画像２１０との差分をとっているため、１ｍに位置する歩行者の領域で差が少なく、０．５ｍに位置する歩行者の領域では差が大きくなる。差分画像４２０では、補正上方画像と１．５ｍ地点の射影画像２２０との差分をとっているため、１ｍに位置する歩行者、０．５ｍに位置する歩行者の両方の領域で補正上方画像との差が大きくなる。
差分画像４００、４１０、４２０等の差分画像群は距離判別部７６へ送られる。
図５は距離判別部７６の動作概要図である。距離判別部７６では、上述した画像減算部で生成された差分画像から画像中の領域ごとの距離を判別する。
まず、図５に示すように、差分画像４００、４１０、４２０を例えば、短冊領域ａ、ｂ、ｃ・・ｏに分割する。そして短冊領域それぞれについて、領域内の画素値（画像減算部７５で求めた画素ごとの差分の値）の積算値５００を計算する。それぞれの差分画像の同じ短冊領域ごとに積算値５００を比較し、最も積算値の小さい（差の値が小さくズレが小さい）短冊領域の差分画像の距離（差分画像を求めるために使用した射影画像に対応する距離）をその短冊領域に存在する物体の距離としてラベル付けを行う。例えば、図５中、差分画像４００、４１０、４２０のそれぞれについて、短冊領域ｃにつき積算値５００を比較し、差分画像４１０の短冊領域ｃの積算値が最も小さい値を示しており、この短冊領域に存在する物体の距離は１ｍであると判別できるので、１とラベル付けする。なお、このラベル付けの際、最も低い値を示した積算値が所定の閾値よりも大きい場合は、該当する距離無しとみなして、ラベル付けを行わない。このように判別された距離ラベル情報５１０は短冊合成部７７に送られる。
図６は、画像合成部７４、および検知判断部７８の動作概要図である。
画像合成部７４では、上述した補正上方画像と射影画像群を合成する。図６中、右側に位置するのが合成画像６００、６１０である。ここで、０．５ｍに対応する射影画像２００と補正上方画像３００とを合成した合成画像６００を見ると、車両１から１ｍに位置する歩行者１０１は合成の境界線でズレが発生しているが、０．５ｍに位置する歩行者１０２はズレ無く合成されている。これは、画像減算部７５の説明で述べた通り、射影面が０．５ｍの地点に合わせられているためである。同様に、１ｍに対応する射影画像２１０と補正上方画像３００との合成画像６１０においては、１ｍの地点に存在する物体はズレ無く連続的に合成され、それ以外の距離に位置する物体は境界線でズレが発生する。
検知判断部７８では、合成画像６００、６１０など、合成画像群のそれぞれにおいてＨＯＧ（Histograms of Oriented Gradients）などの特徴量を用いたテンプレートマッチングによる障害物検知処理を行う。ここで、０．５ｍに対応した合成画像６００では、０．５ｍの位置の歩行者１０２は検知することができるが、１ｍの位置の歩行者１０１は、境界線でのズレにより形状が本来の歩行者とは異なっているため検知することが困難である。逆に１ｍに対応した合成画像６１０では０．５ｍの歩行者１０２の検知は困難になるが、１ｍの位置の歩行者は検知が可能である。従って、合成画像の対応する距離が、その合成画像中において検知できた対象の距離を表しており、そこから検知対象の距離を判別することが可能である。
対象物の距離測定には前述した距離判別部７６で得られる距離ラベル情報５１０を用いてもよい。このようにして検知された障害物の位置や属性等の情報は映像表示装置８に送られ、車両１と障害物が衝突する危険性などを運転者に警告する。
図７は短冊合成部７７の動作概要図である。
短冊合成部７７でも画像合成部７４同様、補正上方画像と射影画像群とを合成する。ただし、その際に、射影画像群を縦長の短冊領域に分割し、距離ラベル情報５１０と対応する短冊領域を抜出して、補正上方画像と合成を行う。例えば図７に示す通り、距離ラベル情報５１０で、「１」とラベル付けされた短冊領域ｃからｆは射影画像２１０の短冊領域ｃからｆを抜き出し、「０．５」とラベル付けされた短冊領域iからlは射影画像２００の短冊領域iからlを抜き出し、補正上方画像３００と合成する。こうして合成された短冊合成画像７００は、短冊領域ごとに適切な距離の射影画像を合成しているため、今回例示した０．５ｍ、１ｍ、１．５ｍの地点に直立する物体に関しては、境界線でのズレが無くなり、人間の目に自然に映る。この短冊合成画像７００は、映像表示装置８に送られ、検知判断部７８で得られた情報等を用いて、適切なタイミングで運転者に提供される。
上記実施の形態１では、前方上方カメラ２の視点で前方下方カメラ３の画像データを射影変換部７３にて射影変換したが、前方上方カメラ２および前方下方カメラ３のそれぞれの視点以外の別の視点からの画像を得るために、前方上方カメラ２および前方下方カメラ３の両方の画像データを射影変換してもよい。例えば、路面に描かれたペイントなどを検知する際に、前方上方カメラおよび前方下方カメラの撮影画像両方を上空から見たような視点に射影変換すれば、前方上方カメラおよび前方下方カメラにまたがって映り込んでいるようなペイントも検知することが可能となる。
このように実施の形態１に係る車両用画像処理システムは、従来においては前方上方カメラ２のみでは映しきれない範囲まで跨って存在している車両前方の障害物を、前方下方カメラ３の画像を合成することで仮想的に視野を広げ、検知処理を行うことを可能にする。
また、前方上方カメラ２および前方下方カメラ３の両方の画像データを射影変換することにより、前方上方カメラ２および前方下方カメラ３の取付け位置・姿勢に固定されることなく、任意の自由な視点からの画像を合成することができる。検知判断部７８にて検知処理を行う際や、映像表示装置８において運転者に合成画像を提供する際に、より最適な視点を選択することが可能となり、前方上方カメラ２のみ、あるいは前方下方カメラ３のみの画像では得られない広範囲の画像を見ることができる。
また、前方下方カメラ３は、前方上方カメラ２の画像と合成して車両前方近距離における障害物検知を補助する役割および、駐車支援を目的としたトップビュー表示に使用するカメラの一つとしての役割を兼用することができ、それぞれの役割に応じて別々のカメラを用意するよりもコストおよび設置スペースの面で有利である。
また、前方上方カメラ２および前方下方カメラ３の取付け位置が大きく異なっていて、同じ視点に射影変換しても２つの画像間にズレが生じてしまう場合においても、所定の複数距離に対応した射影画像２００、２１０、２２０などの射影画像群を用意しておくことで、それらの距離に対応した合成画像６００、６１０などの合成画像群を作成することができ、所定の距離に存在する障害物について検知処理を行うことが可能となる。また、ある距離に対応する合成画像において、合成の境界線の両側に跨る何らかの障害物が検知できたということは、その障害物は合成画像が対応する距離に位置しているはずであるから、その障害物の車両前方からの距離を判別することも可能である。
また、射影画像群のそれぞれの射影画像２００、２１０、２２０と前方上方カメラ２の画像との重複する部分について画素ごとの差分を演算し、短冊状の領域ごとに差分値を積算して比較し、積算値の最も小さい短冊領域に対応した射影面の距離をその領域の距離としてラベル付けすることで、重複部分の車両１からの距離を判別することが可能となる。これにより、パターンマッチングなどを行わずに、対象物までの距離を求めることができる。さらにステレオカメラなどを使った視差による測距ではなく、射影面を利用したものであるので、それぞれのカメラの画角、光軸の方向、前後位置などの違いによる複雑な計算モデルを構築する必要がない。
また、縦長の短冊状領域に分割して距離を求めることで、障害物が地面に直立しているという仮定から、画像が重複している部分以外の画像についても同距離と推定することができ、この距離情報により、運転者に対し視野が広くかつズレの無い自然な短冊合成画像７００を提供することができる。従って、運転者は歩行者の上半身のみ、又は下半身のみの画像ではなく、歩行者の全身が映った画像を見ることができるため、より適切な状況判断を行うことができる。
なお、この発明は、その発明の範囲内において、実際の形態を適宜、変形、省略することが可能である。
１ 車両、２ 前方上方カメラ、３ 前方下方カメラ、４ 後方カメラ、５ 左方カメラ、６ 右方カメラ、７ 画像処理装置、８ 映像表示装置、７１ 輝度・歪み補正部、７２ 俯瞰変換部、７３ 射影変換部、７４ 画像合成部、７５ 画像減算部、７６ 距離判別部、７７ 短冊合成部、７８ 検知判断部
この発明の車両用画像処理装置は、車両前方を撮影した第１の撮影画像と、この第１の撮影画像と撮影領域が一部重複し、車両周辺を撮影した第２の撮影画像とが入力される入力部、第２の撮影画像が第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、射影画像変換部の出力画像と第１の撮影画像とが連続するように合成される第１の画像合成部、第１の画像合成部で合成された画像から車両前方の障害物が検知される検知判断部を備え、射影画像変換部は車両から距離の異なる複数の射影面に対応した射影画像群が出力され、第１の画像合成部は、複数の射影面に対応した合成画像群が出力されることを特徴とする。
また、この発明の車両用画像処理システムは、上記車両用画像処理装置と、車両に搭載され、車両前方を撮影する第１の撮影装置と、車両に搭載され、第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、車両用画像処理装置からの出力が表示される表示装置とを備えている。
この発明の車両用画像処理装置により、１つの撮影画像に収まり切らない車両前方の障害物を、車両から距離の異なる複数の射影面に対応した合成画像群から、検知判断を行うことが可能となる。
また、この発明の車両用画像処理システムにより、１つの撮影装置に収まり切らない車両前方の障害物を、車両から距離の異なる複数の射影面に対応した合成画像群から、検知判断を行い、運転者に表示することが可能となる。

Claims (8)

  1. 車両前方を撮影した第１の撮影画像と前記第１の撮影画像と撮影領域が一部重複し車両周辺を撮影した第２の撮影画像とが入力される入力部、
    前記第２の撮影画像が前記第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、
    前記射影画像変換部の出力画像と前記第１の撮影画像とが連続するように合成される第１の画像合成部、
    前記第１の画像合成部で合成された画像から前記車両前方の障害物が検知される検知判断部、
    を備えた車両用画像処理装置。
  2. 前記射影画像変換部は前記車両から距離の異なる複数の射影面に対応した射影画像群が出力され、前記第１の画像合成部は、前記複数の射影面に対応した合成画像群が出力されることを特徴とする請求項１に記載の車両用画像処理装置。
  3. 前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの類似が演算される画像減算部、所定の領域ごとに比較され、最も類似する領域に対応した前記射影画像の射影面の距離がその領域の距離としてラベル付けされる距離判別部を備えたことを特徴とする請求項２に記載の車両用画像処理装置。
  4. 前記ラベル付けされた領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される第２の画像合成部を備えたことを特徴とする請求項３に記載の車両用画像処理装置。
  5. 前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの差分が演算される画像減算部、短冊状の領域ごとに差分値を積算して比較され、積算値の最も小さい短冊状領域に対応した前記射影面の距離がその領域の距離としてラベル付けされる距離判別部、前記ラベル付けされた短冊状領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される短冊合成部とを備えたことを特徴とする請求項２に記載の車両用画像処理装置。
  6. 前記第１の撮影画像は、射影変換されていることを特徴とする請求項１から５のいずれか一項に記載の車両用画像処理装置。
  7. 請求項１から６のいずれか一項に記載の車両用画像処理装置と、
    車両に搭載され、車両前方を撮影する第１の撮影装置と、
    車両に搭載され、前記第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、
    前記車両用画像処理装置の出力が表示される表示装置と、
    を備えた車両用画像処理システム。
  8. 前記第２の撮影装置は、前記車両を上空から見たように俯瞰する俯瞰画像を出力する際にも使用されることを特徴とする、請求項７に記載の車両用画像処理システム。
JP2015221773A 2015-11-12 2015-11-12 車両用画像処理装置および車両用画像処理システム Active JP6091586B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015221773A JP6091586B1 (ja) 2015-11-12 2015-11-12 車両用画像処理装置および車両用画像処理システム
US15/153,018 US10183621B2 (en) 2015-11-12 2016-05-12 Vehicular image processing apparatus and vehicular image processing system
DE102016212405.6A DE102016212405B4 (de) 2015-11-12 2016-07-07 Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221773A JP6091586B1 (ja) 2015-11-12 2015-11-12 車両用画像処理装置および車両用画像処理システム

Publications (2)

Publication Number Publication Date
JP6091586B1 JP6091586B1 (ja) 2017-03-08
JP2017091284A true JP2017091284A (ja) 2017-05-25

Family

ID=58261950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221773A Active JP6091586B1 (ja) 2015-11-12 2015-11-12 車両用画像処理装置および車両用画像処理システム

Country Status (3)

Country Link
US (1) US10183621B2 (ja)
JP (1) JP6091586B1 (ja)
DE (1) DE102016212405B4 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6645642B1 (ja) * 2019-05-30 2020-02-14 三菱電機ビルテクノサービス株式会社 エレベーターの乗客検出装置およびエレベーターシステム
JPWO2019003910A1 (ja) * 2017-06-27 2020-04-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020090273A (ja) * 2018-12-07 2020-06-11 ナインボット（ベイジン）テック カンパニー リミテッドＮｉｎｅｂｏｔ（Ｂｅｉｊｉｎｇ）Ｔｅｃｈ．Ｃｏ．，Ｌｔｄ スクーター
JP2020090272A (ja) * 2018-12-07 2020-06-11 ナインボット（ベイジン）テック カンパニー リミテッドＮｉｎｅｂｏｔ（Ｂｅｉｊｉｎｇ）Ｔｅｃｈ．Ｃｏ．，Ｌｔｄ スクーター
JP2020188332A (ja) * 2019-05-13 2020-11-19 スズキ株式会社 後方表示装置
JP2022532204A (ja) * 2019-05-29 2022-07-13 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング モバイル・プラットフォーム周辺部の覆い隠された領域の調和がとれた描写を実施するための方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014212819A1 (de) * 2014-07-02 2016-01-07 Zf Friedrichshafen Ag Ortspositionsabhängige Darstellung von Fahrzeugumfelddaten auf einer mobilen Einheit
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
US11288820B2 (en) * 2018-06-09 2022-03-29 Lot Spot Inc. System and method for transforming video data into directional object count
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
JP7201706B2 (ja) * 2018-12-18 2023-01-10 日立Astemo株式会社 画像処理装置
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
US11538231B2 (en) * 2020-04-06 2022-12-27 Nvidia Corporation Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
EP3964395B1 (en) * 2020-09-04 2024-07-17 Volvo Truck Corporation A method and system for adapting to a vehicle configuration an image displayed on a monitor, and vehicle using such system
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
JP2022182335A (ja) * 2021-05-28 2022-12-08 株式会社Subaru 車両の車外撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3917285B2 (ja) * 1998-02-18 2007-05-23 富士重工業株式会社 ステレオ画像処理装置
JP2010117800A (ja) * 2008-11-11 2010-05-27 Toshiba It & Control Systems Corp 駐車場監視装置及び方法
JP2010244326A (ja) * 2009-04-07 2010-10-28 Alpine Electronics Inc 車載周辺画像表示装置
JP2013115738A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 車両周辺撮影装置および車両周辺画像の処理方法
JP2014041398A (ja) * 2012-08-21 2014-03-06 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
JP2015179482A (ja) * 2014-03-20 2015-10-08 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP2001195699A (ja) * 2000-01-14 2001-07-19 Yazaki Corp 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
EP1850595B1 (en) * 2005-02-15 2016-07-13 Panasonic Intellectual Property Management Co., Ltd. Periphery supervising device, and periphery supervising method
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP5053043B2 (ja) * 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
JP5223811B2 (ja) * 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
US9886636B2 (en) 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3917285B2 (ja) * 1998-02-18 2007-05-23 富士重工業株式会社 ステレオ画像処理装置
JP2010117800A (ja) * 2008-11-11 2010-05-27 Toshiba It & Control Systems Corp 駐車場監視装置及び方法
JP2010244326A (ja) * 2009-04-07 2010-10-28 Alpine Electronics Inc 車載周辺画像表示装置
JP2013115738A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 車両周辺撮影装置および車両周辺画像の処理方法
JP2014041398A (ja) * 2012-08-21 2014-03-06 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像生成方法
JP2015179482A (ja) * 2014-03-20 2015-10-08 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金澤靖: ""平行平面群に対する射影変換行列を用いた単眼移動カメラによるシーンの三次元復元"", 画像ラボ, vol. 第２０巻, 第１２号, JPN6016039624, 10 December 2009 (2009-12-10), JP, pages 34 - 37, ISSN: 0003468432 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019003910A1 (ja) * 2017-06-27 2020-04-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP7131554B2 (ja) 2017-06-27 2022-09-06 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020090273A (ja) * 2018-12-07 2020-06-11 ナインボット（ベイジン）テック カンパニー リミテッドＮｉｎｅｂｏｔ（Ｂｅｉｊｉｎｇ）Ｔｅｃｈ．Ｃｏ．，Ｌｔｄ スクーター
JP2020090272A (ja) * 2018-12-07 2020-06-11 ナインボット（ベイジン）テック カンパニー リミテッドＮｉｎｅｂｏｔ（Ｂｅｉｊｉｎｇ）Ｔｅｃｈ．Ｃｏ．，Ｌｔｄ スクーター
US11150661B2 (en) 2018-12-07 2021-10-19 Ninebot (Beijing) Tech Co., Ltd. Scooter having a contracting steering handle for unmanned operation
US11603158B2 (en) 2018-12-07 2023-03-14 Ninebot (Beijing) Tech Co., Ltd. Scooter
JP2020188332A (ja) * 2019-05-13 2020-11-19 スズキ株式会社 後方表示装置
JP7306047B2 (ja) 2019-05-13 2023-07-11 スズキ株式会社 後方表示装置
JP2022532204A (ja) * 2019-05-29 2022-07-13 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング モバイル・プラットフォーム周辺部の覆い隠された領域の調和がとれた描写を実施するための方法
JP7444902B2 (ja) 2019-05-29 2024-03-06 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング モバイルプラットフォーム周辺部の不明領域の調和された表現を実施する方法
JP6645642B1 (ja) * 2019-05-30 2020-02-14 三菱電機ビルテクノサービス株式会社 エレベーターの乗客検出装置およびエレベーターシステム
WO2020240783A1 (ja) * 2019-05-30 2020-12-03 三菱電機ビルテクノサービス株式会社 エレベーターの乗客検出装置およびエレベーターシステム

Also Published As

Publication number Publication date
DE102016212405A1 (de) 2017-05-18
JP6091586B1 (ja) 2017-03-08
US20170140542A1 (en) 2017-05-18
DE102016212405B4 (de) 2024-07-25
US10183621B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP6731116B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US8885045B2 (en) Device and method for monitoring vehicle surroundings
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2002335524A (ja) 運転支援装置
US20130250070A1 (en) Image synthesis device
JP7247173B2 (ja) 画像処理方法及び装置
JP2002359838A (ja) 運転支援装置
JP5516998B2 (ja) 画像生成装置
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
TWI533694B (zh) 車用障礙物偵測顯示系統
WO2020012879A1 (ja) ヘッドアップディスプレイ
US20170011539A1 (en) Image processing apparatus and image processing method
JP2012105090A (ja) 駐車支援装置
CN105793909B (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
US20160037154A1 (en) Image processing system and method
JP5831331B2 (ja) 車両の後側方撮影装置
JP2017117357A (ja) 立体物検知装置
JP6179249B2 (ja) 車両検出装置
JP6999239B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170207

R151 Written notification of patent or utility model registration

Ref document number: 6091586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250