JP7315303B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP7315303B2
JP7315303B2 JP2018011779A JP2018011779A JP7315303B2 JP 7315303 B2 JP7315303 B2 JP 7315303B2 JP 2018011779 A JP2018011779 A JP 2018011779A JP 2018011779 A JP2018011779 A JP 2018011779A JP 7315303 B2 JP7315303 B2 JP 7315303B2
Authority
JP
Japan
Prior art keywords
image
unit
final
vehicle
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018011779A
Other languages
English (en)
Other versions
JP2019129499A (ja
Inventor
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018011779A priority Critical patent/JP7315303B2/ja
Priority to US16/257,279 priority patent/US10821900B2/en
Priority to CN201910073541.XA priority patent/CN110087022B/zh
Publication of JP2019129499A publication Critical patent/JP2019129499A/ja
Application granted granted Critical
Publication of JP7315303B2 publication Critical patent/JP7315303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、画像処理装置に関する。
従来、撮像部（カメラ）により撮像された撮像画像データに基づき画像を表示装置に表示させる場合、表示装置の表示領域の大きさに適したサイズに縮小する必要がある。このような場合には、例えばバイリニア補間等の画像処理手法を利用することができる。しかしながら、バイリニア補間等を実行する場合、画像を元サイズから５０％以下に縮小すると、画素抜け等が生じて画質が低下してしまうことが知られている。そのため、例えば、バイリニア補間等を利用する場合、縮小率が５０％以下にならないように縮小処理を複数回実行して、目的とするサイズ（画素数）の画像を生成する技術が提案されている。
特開２００６－５００９０号公報
近年、車載カメラを搭載する車両が増加し、撮像した画像を車載の表示装置で逐次表示する場合が増えている。車両上で画像を表示する場合、単に撮像した画像を表示するだけでなく、車両の周囲の状況を運転者に把握しやすくするために、様々な処理が行われる。例えば、注目させたい部分を中心に表示させたり、車両の周囲全体を俯瞰視させる俯瞰画像を表示させたりしている。このとき、車載の表示装置の表示領域のサイズには制限があるため、撮像画像のサイズ（画素数）を５０％以下に縮小する箇所が発生することがあった。したがって、車載装置の限られた処理能力の中で、車載カメラで撮像した画像をより迅速で軽負荷で処理して、高品質の縮小画像が提供できる画像処理装置が提供できれば有意義である。
本発明の実施形態にかかる画像処理装置は、例えば、車両の周囲の状況を撮像する撮像部から出力される撮像画像データに基づく第１画像を取得する取得部と、上記第１画像に対して、当該第１画像の視点から表示装置の表示領域に表示する最終画像の視点に変換する視点変換処理を実行する視点変換部と、上記第１画像に対して、縮小率５０％以上の縮小処理であって、かつ上記最終画像の最終画素数より多い第２画素数に縮小する中間縮小処理を実行する中間縮小部と、を有し、上記視点変換部と上記中間縮小部との協働により前記中間縮小処理の縮小制限をかけつつ前記撮像部から遠い部分より近い部分の縮小率を小さくした視点変換された上記第２画素数の第２画像を生成する中間画像生成部と、縮小率５０％以上の縮小処理であって、かつ上記第２画像の上記第２画素数を上記最終画像の上記最終画素数になるように最終縮小処理を実行する最終画像生成部と、を備える。例えば、撮像部が撮像した画像に対して視点変換処理を施す場合、撮像部に近い部分は、撮像部に遠い部分に比べて縮小率が小さくなる傾向があるが、上述の構成によれば、例えば、視点変換処理を施す段階で、表示装置の表示する最終画像の最終画素数よりは多い第２画素数の中間サイズである第２画像を生成する。つまり、縮小率が高くサイズ（画素数）が比較的多い段階で視点変換を行うので、画像内で縮小され過ぎる部分（例えば、画素抜け部分等）が生じ難くすることができる。また、その状態で最終画素数に縮小するので、第２画像全体を迅速に軽負荷で均一に縮小することができるので、部分的な画質のばらつきが抑制され、画質低下が軽減された表示に適した最終画像の生成ができる。
本発明の実施形態にかかる画像処理装置の上記取得部は、例えば、上記車両の周囲の状況を撮像する複数の上記撮像部から出力される撮像画像データに基づく複数の上記第１画像を取得し、上記中間画像生成部は、複数の上記第１画像に対して上記視点変換処理を実行したそれぞれの画像を繋ぎ合わせて、上記第２画像としての合成画像を生成してもよい。この構成によれば、例えば、縮小による画素抜け等の影響を受けにくい中間サイズである第２画像の段階で、最終画像と同様な視点の合成画像を生成して、最終画像に縮小する。その結果、合成画像である最終画像の画質の低下が軽減され、視認しやすい画像が表示できる。
本発明の実施形態にかかる画像処理装置の上記中間画像生成部は、例えば、付加画像が重畳された上記第２画像を生成してもよい。この構成によれば、例えば、画素数が多い段階で重畳した付加画像（例えば、線図等）のドット間の段差（曲線等を描画する時のドットの連結部のガタガタ）が、最終画像に縮小する際に均一に鈍されるので、付加画像全体が滑らかになる。その結果、最終画像における付加画像の不自然さが緩和され、視認しやすい画像が生成できる。
なお、上記構成において、上記最終画像生成部は、上記第２画素数に対して上記最終縮小処理を実行する場合、縮小率５０％以上の縮小処理を少なくとも１回以上実行するようにしてもよい。
図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な平面図である。 図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。 図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。 図４は、実施形態にかかる画像処理装置で処理した画像の一例であり、付加画像を重畳した中間サイズの第２画像を示す模式図である。 図５は、実施形態にかかる画像処理装置で処理した画像の一例であり、付加画像を重畳した最終画像を示す模式図である。 図６は、実施形態にかかる画像処理装置で処理した画像を表示した表示装置の表示画面の一例を示す模式図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。
複数の撮像部１４で得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域を設けてもよい。例えば、撮像部１４ａの撮像した撮像画像データの右側の端部と撮像部１４ｃが撮像した撮像画像データの前方側の端部とが重複する。そして、二つの画像を繋げる（合成する）場合、前方画像の撮像画像データと右側方画像の撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、前方画像と右側方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像、左側方画像と後方画像、後方画像と右側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。
図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図２に例示されるように、画像処理システム１００（画像処理装置）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）が含まれる。画像処理システム１００（画像処理装置）では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。
ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central processing unit）や、ＲＯＭ２４ｂ（read only memory）、ＲＡＭ２４ｃ（random access memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid state drive、フラッシュメモリ）等を有している。
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。
ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。表示制御部２４ｄは、例えば、撮像部１４で撮像された撮像画像データの画素数を維持した状態（オリジナルの画質を維持した状態）で取得したり、逐次所定のサイズに縮小しながら取得したりするキャプチャ部を含んでもよい。したがって、表示制御部２４ｄは画像の「取得部」としても機能する。表示制御部２４ｄが、オリジナルの画質を維持した状態で画像を取得する場合、別途、パターン認識や形状認識等の処理を行う際に撮像画像データを利用する場合に有利となる。また、表示制御部２４ｄは、撮像画像データを縮小処理する場合、縮小率を５０％以上で行うことで、キャプチャ処理時の画素抜け等による画質の劣化を抑制または軽減することができる。キャプチャ部は、ハードウェアで構成されてもソフトウェアで構成されてもよい。キャプチャ部をハードウェアで構成する場合、ソフトウェアで構成する場合に比べて、画像の取り込みや縮小処理の速度が向上できるとともに、ＥＣＵ２４の負荷の軽減ができる。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）に画像処理、例えば視点変換処理等を施して表示装置１６に表示させる際に、撮像部１４で撮像した画像のサイズ（画素数）を表示装置１６で表示可能なサイズに縮小する過程で、車両１０を運転する際に有益な画像情報となるように表示態様を変換する。例えば、ＥＣＵ２４は、複数の撮像部１４が撮像した撮像画像データを合成して俯瞰画像に変換して表示装置１６に表示させる視点変換画像表示モードを実現することができる。なお、ＥＣＵ２４は、視点変換処理等を施さずに、撮像部１４が撮像した撮像画像データをそのままの状態または、歪み補正や切出し処理、縮小処理等を行った状態で表示装置１６に表示する実画像表示モードを実現することもできる。
図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａの構成の例示的なブロック図である。ＣＰＵ２４ａは、上述したような画像処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、中間画像生成部２８、最終画像生成部３０、実画像処理部３２、モード切替部３４、出力部３６等のモジュールを備える。また、中間画像生成部２８は、第１画像取得部２８ａ、視点変換部２８ｂ、中間縮小部２８ｃ、合成部２８ｄ、付加画像取得部２８ｅ、重畳処理部２８ｆ等を含む。また、最終画像生成部３０は、中間画像取得部３０ａ、最終縮小部３０ｂ等を含む。実画像処理部３２は、第１画像取得部３２ａ、歪み補正部３２ｂ、切出処理部３２ｃ、実画像縮小部３２ｄ、保存処理部３２ｅ等を含む。
中間画像生成部２８は、各撮像部１４が出力して表示制御部２４ｄでキャプチャされた各第１画像に対して、表示装置１６の表示領域に表示する最終画像として、例えば視点変換された車両１０の周囲を俯瞰視した俯瞰画像を表示するために必要な中間画像を生成する。中間画像とは、第１画像に対して視点変換処理を施すことにより、視点が第１画像の視点から表示装置１６の表示領域に表示する最終画像の視点と同じ視点の画像に変換するとともに、最終画像の最終画素数より多い第２画素数になるように中間画像生成処理を施した第２画像である。また、中間画像には、種々の付加画像を重畳する処理が実行されてもよい。したがって、中間画像生成部２８は、表示装置１６で表示する最終画像と同様な視点で、画素数が最終画像の最終画素数より多い画像を生成する。
最終画像生成部３０は、中間画像生成部２８で生成された第２画像に基づき、表示装置１６の表示領域に表示させるための最終画像を生成するための処理を実行する。
実画像処理部３２は、撮像部１４で撮像された撮像画像データに視点変換処理を施すことなく表示装置１６に表示したり、別途画像処理で流用するためのデータとして一時的に保存したりする処理を実行する。
モード切替部３４は、表示装置１６に撮像部１４で撮像した撮像画像データに基づく画像を表示する場合の表示態様を、例えば、操作入力部２０の操作に基づいて切り替える。例えば、最終画像生成部３０で視点変換を施された最終画像と、実画像処理部３２で処理した実画像とを並べて表示する表示モードや実画像処理部３２で処理した実画像のみを表示する表示モードや、通常画面としてナビゲーション画面やオーディオ画面等を表示する表示モード等に切り替える。
出力部３６は、最終画像生成部３０で生成された視点変換処理済みの最終画像や実画像処理部３２で処理した実画像等を表示制御部２４ｄに出力し、表示装置１６に逐次表示させる。
中間画像生成部２８の第１画像取得部２８ａは、表示制御部２４ｄが取り込んだ各撮像部１４の撮像画像データを第１画像として逐次取得する。なお、表示制御部２４ｄは、前述したように、例えば、撮像部１４で撮像された撮像画像データの画素数を維持した状態（オリジナルの画質状態）でキャプチャしたり、逐次所定のサイズに縮小しながらキャプチャしたりすることができる。中間画像生成部２８の第１画像取得部２８ａは、車載の表示装置１６に最終画像として、例えば、車両１０の周囲を俯瞰視した俯瞰画像を表示する場合、撮像部１４が撮像した撮像画像データを縮小して合成することが前提となる。したがって、第１画像取得部２８ａは、表示制御部２４ｄにおいて、所定の縮小率、例えば５０％以上の縮小率で取り込まれた撮像画像データを逐次取得する。なお、表示制御部２４ｄのキャプチャ時の縮小率は、中間画像生成部２８の縮小処理能力や、撮像部１４の撮像画像数と最終画像の最終画素数との差分等に応じて適宜決定することができる。
視点変換部２８ｂと中間縮小部２８ｃとは協働して、第１画像取得部２８ａが取得した第１画像に対して、表示装置１６の表示領域に表示する最終画像の最終画素数より多い、視点変換された第２画素数の第２画像を生成する。撮像部１４で撮像された撮像画像データに基づく画像（実画像）に対して、視点変換部２８ｂが視点変換処理を行う場合、撮像部１４が撮像した撮像画像データにおいて、撮像部１４に近い部分は、撮像部１４から遠い部分に比べて縮小率が小さくなる傾向がある。しかしながら、中間縮小部２８ｃが実施する縮小は、「最終画像の最終画素数より多い画素数の画像を生成する」、という制限のもとで実施されるので、極端に縮小率が小さい縮小処理が実施されることが防止され、第１画像の一部、例えば、撮像部１４に近い部分で縮小され過ぎることが防止できる。つまり、第２画像の生成段階での画素抜け等に起因する画質の低下が抑制できる。例えば、撮像部１４に近い部分にグレーチング等が存在した場合、画素抜けが生じるとグレーチングの目が粗くなり、違和感のある画像になるが、そのような不都合が抑制できる。
視点変換部２８ｂは、各撮像部１４が撮像した撮像画像データに基づく各画像（第１画像）について視点変換を行い、例えば、車両１０の上方の仮想視点から俯瞰した俯瞰画像に変換する。なお、視点変換部２８ｂは、仮想視点の位置を適宜設定することができる。例えば、表示装置１６に表示する最終画像が、車両１０の前方から当該車両１０を臨むような画像の場合、仮想視点位置を車両１０の前方位置に設定する。同様に、車両１０の後方や側方から車両１０を臨むように仮想視点位置を切り替えることができる。この他、例えば、車両１０が所定距離移動したときにその位置で運転席から見える風景を最終画像とするように、車両１０から車外を臨むような仮想視点を設定するようにしてもよい。
また、中間縮小部２８ｃは、第２画素数までに縮小するために、複数回の縮小処理を実行してもよいが、一度の縮小処理の縮小率は５０％以上となるようにすることで、縮小処理による画素抜け等の画質低下を抑制する。中間縮小部２８ｃは、第１画像を表示装置１６の表示領域に表示させる最終画像のサイズ（画素数）の例えば、１．５～１．７倍の大きさに縮小することができる。なお、視点変換部２８ｂにおける視点変換処理の過程で最終画像の最終画素数より多い画素数の前述したような中間画像が生成される場合には、中間縮小部２８ｃを省略してもよい。
合成部２８ｄは、視点変換部２８ｂが変換した複数の視点変換画像を繋ぎ合わせて、一つの画像とする。例えば、図４には、中間画像である第２画像３８の模式的な合成例が示されている。図４は、車両１０を中心とする俯瞰画像である。合成部２８ｄは、例えば、撮像部１４ａの撮像画像データに基づく俯瞰画像の右側の端部と撮像部１４ｃの撮像画像データに基づく俯瞰画像の前方側の端部とを繋ぎ合わせる。同様に、合成部２８ｄは、撮像部１４ａの撮像画像データに基づく俯瞰画像の左側の端部と撮像部１４ｄの撮像画像データに基づく俯瞰画像の前方側の端部とを繋ぎ合わせる。また、合成部２８ｄは、撮像部１４ｄの撮像画像データに基づく俯瞰画像の後方側の端部と撮像部１４ｂの撮像画像データに基づく俯瞰画像の左側の端部とを繋ぎ合わせ、撮像部１４ｂの撮像画像データに基づく俯瞰画像の右側の端部と撮像部１４ｃの撮像画像データに基づく俯瞰画像の後方側の端部とを繋ぎ合わせる。また、合成部２８ｄは、各繋ぎ合わせの際にブレンド処理を施し、画像間の明るさや色合いの違いによる繋ぎ合わせ部分の違和感（境界線等）の発生を軽減する。なお、合成部２８ｄは、最終画像の表示態様に応じて、合成態様を変化させることができる。例えば、最終画像である俯瞰画像が後方領域を含まない態様で指定された場合、合成部２８ｄは、撮像部１４ａによる前方画像と撮像部１４ｃ、撮像部１４ｄによる側方画像の三面構成の俯瞰画像を合成する。また、例えば、車両１０の右側方から車両１０を臨むような最終画像の表示が指定されている場合、合成部２８ｄは、撮像部１４ｃによる右側方画像のみを用いた画像を合成画像とする。
付加画像取得部２８ｅは、合成部２８ｄが合成した合成画像に付加画像を重畳する場合に、例えば、ＲＯＭ２４ｂやＳＳＤ２４ｆ等から付加画像を取得する。付加画像としては、図４に示すように、例えば、車両１０に対応する自車アイコン４０や車輪１２の移動予測線４２等を含む。各撮像部１４が撮像する撮像画像データには、車両１０の一部しか映り込んでいない。例えば、撮像部１４ａの撮像画像データには、車両１０のフロントバンパ１０ａの一部のみが映り、撮像部１４ｂの撮像画像データには、車両１０のリヤバンパ１０ｂの一部のみが映り込んでいる。また、撮像部１４ｃ，１４ｄの撮像画像データには、車両１０の側方部分（ドアの一部等）しか映り込んでいない。したがって、これらの撮像画像データに基づき視点変換を行っても車両１０の俯瞰画像を構成することはできない。そのため、予め車両１０の形状に対応する自車アイコン４０をＲＯＭ２４ｂ等に記憶しておき、必要な場合に読み出す。また、移動予測線４２は、車両１０のステアリングホイールの操作状態（操舵方向）に応じて形状（延びる方向）が変化する線状の画像である。この他、付加画像としては、車両１０の端部、例えば、フロントバンパ１０ａの端部から前方へ延びる車幅ガイド線画像やフロントバンパ１０ａからの離間距離を示す距離ガイド線画像等がある。同様に、車両１０のリヤバンパ１０ｂから後方へ延びる車幅ガイド線画像や距離ガイド線画像等がある。図４の場合、移動予測線４２は一例として旋回方向の外輪側前輪と内輪側後輪のみに対して表示されているが、全輪に対して移動予測線４２を表示するようにしてもよい。なお、後輪側の移動予測線４２は、車両１０の旋回半径に基づく形状が表示される。
重畳処理部２８ｆは、付加画像取得部２８ｅが取得した付加画像を合成部２８ｄが合成した合成画像（例えば俯瞰画像）に重畳する。例えば、自車アイコン４０の場合、繋ぎ合わせた四つの俯瞰画像の中央に重畳する。また、移動予測線４２の場合は、ＲＯＭ２４ｂから取得した基本形状の移動予測線４２（例えば、直線形状）をステアリングホイールの操舵量やステアリングホイールの操舵により姿勢を変化させる車両１０の旋回半径に基づき描画状態を逐次変化させながら表示される。なお、移動予測線４２等の画像は、複数のドットで構成されているので、例えば、図４に示すように、移動予測線４２として大きく曲がった線を描画する場合、線を構成する複数のドット４２ａが少しずつずれた状態で表示される。つまり、ギザギザの線として描画される（図４の場合、説明のため移動予測線４２のみを誇張して表示して、ドット４２ａによるギザギザを示している）。後述するが、この移動予測線４２のギザギザ状態は、最終画像生成部３０における縮小処理により鈍されて、見た目上滑らかな線になり、表示品質を向上させることができる。なお、重畳処理部２８ｆは、描画する付加画像の状態に応じて、付加画像の表示色を変化させたり、点滅表示させたりしてもよい。
最終画像生成部３０の中間画像取得部３０ａは、中間画像生成部２８で生成された第２画像３８（中間画像）を取得する。続いて最終縮小部３０ｂは、取得した第２画像３８のサイズ（第２画素数）を表示装置１６の表示領域に表示させるための最終画像のサイズ（最終画素数）になるように縮小（最終縮小処理を実行）する。この場合も、最終縮小部３０ｂは、最終画素数までに縮小するために、複数回の縮小処理を実行してもよいが、一度の縮小処理の縮小率は５０％以上となるようにする。この場合、中間画像取得部３０ａが取得する第２画像３８は、既に最終画像の視点と同じ視点の画像なので、第２画像は、画像全体が均一に迅速かつ軽負荷で縮小される。つまり、部分的に縮小の程度が異なることがなく、部分的な画素抜け等が発生しない。したがって、最終縮小による不均一な画質低下が抑制できる。
図５は、画像処理システム１００で処理した画像の一例であり、最終画像４４の模式的な表示例が示されている。上述したように、最終画像４４の表示内容は、サイズ（画素数）が異なるのみで、図４の第２画像３８の表示内容と同じであるが、最終縮小部３０ｂによって全体が縮小されることにより、第２画像３８においてガタガタに表示されていた付加画像としての移動予測線４２（ドット４２ａ）は、鈍されて見た目上滑らかな移動予測線４６になる。同様に最終画像４４に描画される自車アイコン４０についても自車アイコン４０を構成する線が鈍されて滑らかな状態で表示される。その結果、最終画像４４は、より見やすい画像となる。
実画像処理部３２の第１画像取得部３２ａは、表示制御部２４ｄが取り込んだ各撮像部１４の撮像画像データを第１画像として逐次取得する。なお、表示制御部２４ｄは、前述したように、例えば、撮像部１４で撮像された撮像画像データの画素数を維持した状態（オリジナルの画質状態）でキャプチャしたり、逐次所定のサイズに縮小しながらキャプチャしたりすることができる。実画像処理部３２の第１画像取得部３２ａは、車載の表示装置１６に実画像、つまり視点変換処理を施さない画像を表示したり、別途、パターン認識や形状認識等に利用したり、別途画像処理を施して表示したりするために、基本的には、撮像部１４が撮像したときの撮像画像データの画素数を維持した状態で取得する。なお、第１画像取得部３２ａは、中間画像生成部２８の第１画像取得部２８ａと同様に、画像品質に影響しない範囲（画素抜けが生じない範囲）で適宜縮小処理を実施した状態の第１画像を取得するようにしてもよい。
歪み補正部３２ｂは、第１画像取得部３２ａが取得した第１画像の歪み補正を行う。前述したように、撮像部１４は、広範囲の撮像を可能にするために、魚眼レンズや広角レンズを備えているため、撮像画像データに基づく画像は、周縁部が大きく湾曲している。その結果、そのままの状態で表示装置１６に表示する場合、車両１０の周辺状況は認識し難いものになる。そこで、歪み補正部３２ｂは、周囲の歪み補正を実施し、認識しやすい画像に修正する。
切出処理部３２ｃは、歪み補正部３２ｂにより歪み補正が成された第１画像に対し、用途ごとに必要な部分を適宜切り出すことができる。例えば、撮像部１４ａが撮像した前方画像の中から中央付近の領域のみを表示装置１６に表示する場合や、車両１０の旋回方向の画像が表示装置１６の中央に表示されるようにする場合、該当する領域を表示装置１６の表示領域のサイズに応じて切り出す。また、現在撮像した画像を将来利用する場合、例えば、車両１０が走行することにより例えば、車両１０の床下に入った部分等の画像（過去画）表示する場合、切出処理部３２ｃは、利用予定の部分（将来必要な部分）を切り出だす。
実画像縮小部３２ｄは、歪み補正部３２ｂが歪み補正をした第１画像や切出処理部３２ｃが切り出した第１画像の一部を表示装置１６の表示領域に表示する場合に、表示領域のサイズに対応するように縮小処理する。この場合も実画像縮小部３２ｄは、表示装置１６の表示領域のサイズに縮小する場合、複数回の縮小処理を実行してもよいが、一度の縮小処理の縮小率は５０％以上となるようにすることで、画素抜け等により画質の低下を抑制することができる。
保存処理部３２ｅは、歪み補正部３２ｂや切出処理部３２ｃ等で処理した画像をＲＡＭ２４ｃやＳＳＤ２４ｆに一時的に保存し、必要なときに呼び出して利用する。この場合、基本的には、画像は、縮小前または最低限の縮小を施した状態で保存することができる。その結果、オリジナル画像の画質が維持可能であり、後のタイミングで画質のよい状態で画像処理や認識処理を実施することができるので、高品質の表示や高精度の検出が可能になる。
図６は、実施形態にかかる画像処理システム１００で処理した画像を表示した表示装置１６の表示画面の一例を示す模式図である。図６の場合、表示装置１６の表示領域は、一例として、領域Ｐ１と領域Ｐ２に二分割されている。領域Ｐ１には、最終画像生成部３０で生成された最終画像４４（俯瞰画像）が表示されている。前述したように、最終画像４４においては、自車アイコン４０から延びる滑らかな移動予測線４６が表示される。また、自車アイコン４０の後方には、撮像部１４ｄで撮像された他車両４８が、視点変換され俯瞰視された状態で表示されている。また、領域Ｐ２には、実画像処理部３２で生成された実画像５０として、例えば、撮像部１４ａが撮像した撮像画像データに基づく前方画像が表示されている。図６の場合、領域Ｐ２に、撮像部１４ａが撮像した撮像画像データ（第１画像）に対して、歪み補正部３２ｂにより歪み補正、切出処理部３２ｃによる切出し処理、実画像縮小部３２ｄによる縮小処理が施されて、主として、前進走行を実行する際に最低限認識が必要と考えられる範囲が表示されている。実画像５０の下端（運転者から見て手前側）には、車両１０としてフロントバンパ１０ａの一部が映り込み、実画像５０の表示基準になっている。
なお、図６に示す実画像５０には、車両１０の走行を支援する指標（ガイド線）として、車幅ガイド線画像５２と、距離ガイド線画像５４等が重畳表示されている。車幅ガイド線画像５２は、路面に接するように左側車幅ガイド線画像５２ａと右側車幅ガイド線画像５２ｂとが、例えば、フロントバンパ１０ａから前方２．５ｍに相当する位置まで延びるように描画される。また、距離ガイド線画像５４は、左側車幅ガイド線画像５２ａと右側車幅ガイド線画像５２ｂとを跨ぐように、車幅方向に延びる複数の線で構成される。距離ガイド線画像５４は、例えば、車両１０のフロントバンパ１０ａの前方、例えば、０．５ｍの位置を示す第１距離ガイド線画像５４ａ、１．０ｍの位置を示す第２距離ガイド線画像５４ｂ、２．５ｍの位置を示す第３距離ガイド線画像５４ｃ等を含む。なお、距離ガイド線画像５４は三本に限らず、例えば、運転者の設定により増減してもよいし、各距離ガイド線画像５４の間隔も適宜設定できるようにしてもよい。また、車幅ガイド線画像５２および距離ガイド線画像５４は、車両１０のステアリングホイールの転舵状態（前輪１２Ｆの操舵状態、舵角状態）に応じて描画位置（方向）が変更可能である。図６の場合、ステアリングホイールが中立点から右に転舵されている状態が一例として示されている。
このように、本実施形態の画像処理システム１００は、視点変換を行い、かつ表示装置１６の表示領域に最適なサイズに縮小する場合でも、最終画像４４と同じ視点で最終画素数より多い第２画像数の第２画像３８を生成する。その結果、第２画像３８の生成段階で、５０％以下の極端な縮小が抑制しやすく、画素抜け等の画質低下原因を排除しやすくなる。また、その状態から最終画像４４の最終画素数まで画像全体を縮小する。その際に、縮小率が５０％以下にならないようにしている。その結果、画素抜け等により最終画像４４の画質が低下することが抑制できる。また、最終画像４４に縮小する場合、当該最終画像４４と同じ視点の第２画像３８を均一に迅速かつ軽負荷で縮小することが可能である。したがって、車載装置の限られた処理能力の中で、撮像部１４で撮像した画像をより迅速で軽負荷で処理して、高品質の縮小画像が提供できる。
なお、図６の場合、一例として、領域Ｐ１（最終画像４４の表示領域）と領域Ｐ２（実画像５０の表示領域）の領域比を約１：３にしている場合を示したが、操作入力部２０等の操作により、領域比を変更してもよい。例えば、最終画像４４を表示する領域Ｐ１を実画像５０を表示する領域Ｐ２より大きくしてもよいし、等分にしてもよい。また、最終画像４４と実画像５０のいずれか一方を表示するようにしてもよい。領域Ｐ１のサイズを変更する場合は、領域Ｐ１のサイズに応じて、例えば、最終縮小部３０ｂにおける縮小率を変更したり、縮小率５０％以上での縮小回数を変更したりすることで対応することができる。同様に、領域Ｐ２のサイズを変更する場合は、領域Ｐ２のサイズに応じて、例えば、実画像縮小部３２ｄにおける縮小率を変更したり、縮小率５０％以上での縮小回数を変更したりすることで対応することができる。
なお、図６には、移動予測線４６や車幅ガイド線画像５２、距離ガイド線画像５４等の付加画像を重畳した状態を示したが、操作入力部２０等の操作により、重畳の有無や重畳内容を変更してもよい。また、図６は、車両１０が前進可能な状態（例えば、シフトポジションが「Ｄレンジ」の場合）の表示例である。車両１０が後進可能な状態（例えば、シフトポジションが「Ｒレンジ」の場合）は、移動予測線４６や車幅ガイド線画像５２、距離ガイド線画像５４等の付加画像は、後輪１２Ｒやリヤバンパ１０ｂを基準に描画される。これらの切り替えは、シフト操作部の操作にしたがって自動的に切り替えられてもよい。
本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２０…操作入力部、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｂ…ＲＯＭ、２４ｃ…ＲＡＭ、２４ｄ…表示制御部、２４ｆ…ＳＳＤ、２８…中間画像生成部、２８ａ…第１画像取得部、２８ｂ…視点変換部、２８ｃ…中間縮小部、２８ｄ…合成部、２８ｅ…付加画像取得部、２８ｆ…重畳処理部、３０…最終画像生成部、３０ａ…中間画像取得部、３０ｂ…最終縮小部、３２…実画像処理部、３２ａ…第１画像取得部、３２ｂ…歪み補正部、３２ｃ…切出処理部、３２ｄ…実画像縮小部、３２ｅ…保存処理部、３４…モード切替部、３６…出力部、３８…第２画像、４０…自車アイコン、４２，４６…移動予測線、４２ａ…ドット、４４…最終画像、５０…実画像、１００…画像処理システム。

Claims (4)

  1. 車両の周囲の状況を撮像する撮像部から出力される撮像画像データに基づく第１画像を取得する取得部と、
    前記第１画像に対して、当該第１画像の視点から表示装置の表示領域に表示する最終画像の視点に変換する視点変換処理を実行する視点変換部と、前記第１画像に対して、縮小率５０％以上の縮小処理であって、かつ前記最終画像の最終画素数より多い第２画素数に縮小する中間縮小処理を実行する中間縮小部と、を有し、前記視点変換部と前記中間縮小部との協働により前記中間縮小処理の縮小制限をかけつつ前記撮像部から遠い部分より近い部分の縮小率を小さくした視点変換された前記第２画素数の第２画像を生成する中間画像生成部と、
    縮小率５０％以上の縮小処理であって、かつ前記第２画像の前記第２画素数を前記最終画像の前記最終画素数になるように最終縮小処理を実行する最終画像生成部と、
    を備える画像処理装置。
  2. 前記取得部は、前記車両の周囲の状況を撮像する複数の前記撮像部から出力される撮像画像データに基づく複数の前記第１画像を取得し、
    前記中間画像生成部は、複数の前記第１画像に対して前記視点変換処理を実行したそれぞれの画像を繋ぎ合わせて、前記第２画像としての合成画像を生成する請求項１に記載の画像処理装置。
  3. 前記中間画像生成部は、付加画像が重畳された前記第２画像を生成する請求項１または請求項２に記載の画像処理装置。
  4. 前記最終画像生成部は、前記第２画素数に対して前記最終縮小処理を実行する場合、縮小率５０％以上の縮小処理を少なくとも１回以上実行する、請求項１から請求項３のいずれか１項に記載の画像処理装置。
JP2018011779A 2018-01-26 2018-01-26 画像処理装置 Active JP7315303B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018011779A JP7315303B2 (ja) 2018-01-26 2018-01-26 画像処理装置
US16/257,279 US10821900B2 (en) 2018-01-26 2019-01-25 Image processing device
CN201910073541.XA CN110087022B (zh) 2018-01-26 2019-01-25 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018011779A JP7315303B2 (ja) 2018-01-26 2018-01-26 画像処理装置

Publications (2)

Publication Number Publication Date
JP2019129499A JP2019129499A (ja) 2019-08-01
JP7315303B2 true JP7315303B2 (ja) 2023-07-26

Family

ID=67391274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018011779A Active JP7315303B2 (ja) 2018-01-26 2018-01-26 画像処理装置

Country Status (3)

Country Link
US (1) US10821900B2 (ja)
JP (1) JP7315303B2 (ja)
CN (1) CN110087022B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113988A4 (en) * 2020-02-28 2023-06-21 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND IMAGE PROCESSING SYSTEM
JP2022125859A (ja) 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008153882A (ja) 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
WO2011158609A1 (ja) 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP2013253426A (ja) 2012-06-07 2013-12-19 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4455364B2 (ja) 2004-03-09 2010-04-21 キヤノン株式会社 解像度変換方法及び装置
JP2006050090A (ja) * 2004-08-02 2006-02-16 Canon Inc 画像縮小方法、画像縮小装置、および、画像縮小プログラムを記録した記録媒体
US20100007734A1 (en) * 2007-01-16 2010-01-14 Pioneer Corporation Vehicular image processing device, and vehicular image processing program
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9292909B2 (en) * 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JPWO2012164712A1 (ja) * 2011-06-02 2014-07-31 日立建機株式会社 作業機械の周囲監視装置
RU2544775C1 (ru) * 2011-09-12 2015-03-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов
EP2981077B1 (en) 2013-03-28 2017-09-27 Aisin Seiki Kabushiki Kaisha Periphery monitoring device and program
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008153882A (ja) 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
WO2011158609A1 (ja) 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP2013253426A (ja) 2012-06-07 2013-12-19 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置

Also Published As

Publication number Publication date
US20190232874A1 (en) 2019-08-01
CN110087022B (zh) 2022-04-19
US10821900B2 (en) 2020-11-03
CN110087022A (zh) 2019-08-02
JP2019129499A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
JP6115104B2 (ja) 車両の制御装置、及び制御方法
US10909750B2 (en) Periphery monitoring device
JP2007214769A (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP7039879B2 (ja) 表示制御装置
CN110877572A (zh) 周边监视装置
JP6958163B2 (ja) 表示制御装置
JP7315303B2 (ja) 画像処理装置
JP2019186622A (ja) 画像処理装置
JP3961969B2 (ja) 車両周辺画像処理システム
JP5195776B2 (ja) 車両周辺監視装置
WO2016072300A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
JP2018206323A (ja) 画像処理装置
JP4679816B2 (ja) 車両周辺表示制御装置
US20200402206A1 (en) Image processing device, image processing method, and program
JP6727946B2 (ja) 車両用カメラモニタシステム及び車両
CN111937378B (zh) 图像处理装置
WO2023248827A1 (en) Solid-state imaging device and electronic device
JP2023046571A (ja) カメラシステム、移動体、制御方法、及びコンピュータプログラム
JP2024094614A (ja) 撮像装置、移動体、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221007

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221021

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221025

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221209

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221213

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230104

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230214

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150