JP7251401B2 - 周辺映像生成装置、周辺映像生成方法、およびプログラム - Google Patents

周辺映像生成装置、周辺映像生成方法、およびプログラム Download PDF

Info

Publication number
JP7251401B2
JP7251401B2 JP2019147985A JP2019147985A JP7251401B2 JP 7251401 B2 JP7251401 B2 JP 7251401B2 JP 2019147985 A JP2019147985 A JP 2019147985A JP 2019147985 A JP2019147985 A JP 2019147985A JP 7251401 B2 JP7251401 B2 JP 7251401B2
Authority
JP
Japan
Prior art keywords
image
peripheral
unit
video
shielded area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019147985A
Other languages
English (en)
Other versions
JP2021029037A5 (ja
JP2021029037A (ja
Inventor
貴弘 小口
陽介 服部
雄介 関川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019147985A priority Critical patent/JP7251401B2/ja
Priority to PCT/JP2020/028542 priority patent/WO2021029203A1/ja
Priority to DE112020003788.6T priority patent/DE112020003788T5/de
Priority to CN202080056408.4A priority patent/CN114206674A/zh
Publication of JP2021029037A publication Critical patent/JP2021029037A/ja
Publication of JP2021029037A5 publication Critical patent/JP2021029037A5/ja
Priority to US17/650,201 priority patent/US20220156985A1/en
Application granted granted Critical
Publication of JP7251401B2 publication Critical patent/JP7251401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、周辺映像生成装置、周辺映像生成方法、およびプログラムに関する。
従来から、車両周辺の状況を正確に認識させるために、車両に搭載されたカメラにて撮影した映像をドライバに提供する装置が知られていた。例えば、特許文献１は、車両の前方、後方、左側および右側に設置されたカメラにて撮影された映像をトップビュー形態に補正して、ドライバに提供する周辺映像生成装置の発明を開示している。
特表２０１２－５１４５５８号公報
上記したようなトップビュー映像において、数ｍ以上の領域を合成しようとすると、周辺にある物体によって遮蔽された領域は切り立った映像となり、画面端にいくほど直感的に把握しにくいという状況があった。
本開示は上記背景に鑑み、物体の存在にかかわらず、違和感のない周辺映像を生成できる周辺映像生成装置等を提供することを目的とする。
本開示は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
本開示にかかる周辺映像生成装置（１）は、複数のカメラ（２０）にて撮影した周辺映像データを入力する映像入力部（１０）と、前記周辺映像データを合成して所定の視点から見た合成映像を生成する映像合成部（１２）と、前記周辺映像データに基づいて周辺にある物体の立体形状を推定する立体形状推定部（１３）と、前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定する遮蔽領域推定部（１４）と、深層学習を用いて前記遮蔽領域の映像を推論する推論部（１５）と、前記推論部にて推論された映像を前記合成映像の前記遮蔽領域に重畳する映像重畳部（１６）とを備える。なお、立体形状推定部は、測距センサ（２２）にて検知した検知データに基づいて、立体形状を推定してもよい。
本開示によれば、周辺にある物体によって遮蔽された領域についても違和感のない映像を表示することができる。
第１の実施の形態の周辺映像生成装置の構成を示す図である。 ＧＡＮの構成を示す図である。 第１の実施の形態の周辺映像生成装置の動作を示す図である。 第２の実施の形態の周辺映像生成装置の構成を示す図である。 第２の実施の形態の周辺映像生成装置の動作を示す図である。 第３の実施の形態の周辺映像生成装置の構成を示す図である。 第３の実施の形態の周辺映像生成装置の動作を示す図である。
以下、本開示の実施の形態の周辺映像生成装置について、図面を参照して説明する。以下に説明する実施の形態の周辺映像生成装置は、車両に搭載され、車両の周辺のトップビュー映像を生成し、表示するのに用いられる。実施の形態では、一例として、駐車場において周辺映像を生成するシーンについて説明する。なお、本発明の周辺映像生成装置の用途は車両に限定されるものではなく、その他の用途で用いられてもよい。
（第１の実施の形態）
図１は、第１の実施の形態の周辺映像生成装置１の構成を示す図である。周辺映像生成装置１は、車載に搭載された４台のカメラ２０と、ディスプレイ２１に接続されている。４台のカメラ２０は、車両の前後左右をそれぞれ撮影するカメラ２０である。ディスプレイ２１は、ナビゲーション装置のディスプレイ２１と兼用でよく、カメラ２０で撮影した映像を表示する。
周辺映像生成装置１は、４台のカメラ２０にて撮影した周辺映像データを入力する映像入力部１０と、映像入力部１０に入力された周辺映像データを処理してトップビュー映像を生成する映像処理部１１と、トップビュー映像を出力する映像出力部１７と、メモリ１８と、電源部１９とを有している。映像出力部１７は、映像データをディスプレイ２１に送信する。
映像処理部１１は、周辺映像データを合成して車両の上方から見たトップビュー映像を生成する映像合成部１２と、周辺映像データに基づいて周辺にある物体の立体形状を推定する立体形状推定部１３と、立体形状の推定結果を用いて、合成映像において所定の視点から見えない遮蔽領域を推定する遮蔽領域推定部１４と、深層学習を用いて遮蔽領域の映像を推論する推論部１５と、推論部１５にて推論された映像を合成映像の遮蔽領域に重畳する映像重畳部１６とを備えている。
映像合成部１２は、映像入力部１０に入力された４台のカメラ２０からの映像データを合成し、トップビュー映像を生成する。映像合成部１２には、例えば、特許文献１に記載されたような公知の技術を用いることができる。
立体形状推定部１３は、映像入力部１０に入力された各カメラ２０からの映像データに、ＳｆＭ（Structure from Motion）の技術を用いて、映像に映る物体の立体形状を推定する。ＳｆＭは、例えば、織田和夫著「解説：Structure from Motion (SfM) 第一回 SfMの概要とバンドル調整」写真測量とリモートセンシング55巻3号に記載されている技術である。立体形状推定部１３は、各カメラ２０の映像データから推定した結果を重畳して、車両周辺にある物体の立体形状を推定する。
遮蔽領域推定部１４は、推定された物体の立体形状の情報を用いて、トップビュー映像において、物体によって遮蔽されて見えていない遮蔽領域を推定し、遮蔽領域にマスクをする。
推論部１５は、深層学習によって作られた生成器を用いて遮蔽領域の映像を推論する。本実施の形態では、深層学習としては、ＧＡＮ（敵対的生成ネットワーク）を用いる。
図２は、ＧＡＮについて説明するための図である。ＧＡＮは、Generator（以下、「Ｇ」ともいう）とDiscriminator（以下、「Ｄ」ともいう）を備えている。「Ｇ」は、「Ｄ」を騙すような画像を生成するニューラルネットワークモデルであり、「Ｄ」は「Ｇ」により生成された画像（偽データ）を正解の画像（真データ）とを識別するニューラルネットワークモデルである。ＧＡＮでは、「Ｇ」と「Ｄ」の学習を交互に行う。ここでは、最初に、「Ｇ」の学習について述べる。ベクトルｚをサンプルして「Ｇ」に与え、画像（偽データ）を出力する。この画像を「Ｄ」に与え、真／偽を判定させる。「Ｄ」によって真と判定されるように、「Ｇ」のパラメータを更新し、学習を行う。これにより、「Ｇ」は「Ｄ」を騙す画像を生成するようになる。
次に、「Ｇ」のパラメータを固定し、「Ｄ」の学習を行う。「Ｄ」に教師データ（真データ）を与えたときの出力と、「Ｇ」で生成された画像（偽データ）を与えたときの出力の差が大きくなるように「Ｄ」のパラメータを更新する。これにより、「Ｇ」で生成された画像（偽データ）を識別できるようになる。
上記の「Ｇ」と「Ｄ」の学習を交互に繰り返すことにより、「Ｇ」は本物に近い画像を生成できるようになる。
推論部１５は、あらかじめＧＡＮによって生成されたGenerator（生成器）を有している。なお、ＧＡＮによるGeneratorの学習には、実際の駐車場の映像を用いてもよいが、駐車場の画像をＣＧで作成し、ＣＧ画像において遮蔽領域を自動にラベル付け教師データを用いてもよい。ＣＧで駐車場の画像を生成する方法によれば、大量の教師データを容易に準備できる。
推論部１５は、遮蔽領域推定部１４でマスクされた領域を欠落部とした穴埋め問題として、マスクされた遮蔽領域の映像をGeneratorを用いて推論する。
映像重畳部１６は、推論部１５にて推論した遮蔽領域の映像を、トップビュー映像に重畳する。映像重畳部１６は、推論部１５にて推定された映像を、トップビュー映像とは異なる表示態様で重畳し、見えない領域であることが分かるようにする。異なる表示態様とは、例えば、推論した映像に半透明の着色をするなどである。
以上、本実施の形態の周辺映像生成装置１の構成について説明したが、上記した周辺映像生成装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、通信インターフェース等を備えたＥＣＵである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した周辺映像生成装置１が実現される。このようなプログラムも本発明の範囲に含まれる。以下に説明する他の実施の形態も同様に、プログラムによって実現することができる。
図３は、第１の実施の形態の周辺映像生成装置１の動作を示す図である。周辺映像生成装置１は、４台のカメラ２０から映像データが入力されると（Ｓ１０）、４台のカメラ２０の映像データを合成してトップビュー映像を生成する（Ｓ１１）。また、これと並行して、周辺映像生成装置１は、映像データにＳｆＭの技術を用いて、映像に映る物体の立体形状を推定する（Ｓ１２）。
次に、周辺映像生成装置１は、物体の立体形状の情報を用いて、トップビュー映像において見えない遮蔽領域を推定する（Ｓ１３）。続いて、周辺映像生成装置１は、ＧＡＮによって遮蔽領域の映像を推論し（Ｓ１４）、推論された映像をトップビュー映像に重畳する（Ｓ１５）。
以上、第１の実施の形態の周辺映像生成装置１の構成および動作について説明した。
第１の実施の形態の周辺映像生成装置１は、物体によって遮られて見えない遮蔽領域の映像を推論し、推論された映像を重畳するので違和感のないトップビュー映像を表示することができる。また、推論された映像を、トップビュー映像とは異なる表示態様で重畳するので、実際には見えない遮蔽領域であることをドライバに認識させることができる。これにより、ドライバが推論された映像を信じて運転操作をするというリスクを回避できる。また、人やバイク等が飛び出してくる可能性のある遮蔽領域に注意を喚起する効果もある。
本実施の形態では、遮蔽領域の映像を推論する手段として、ＧＡＮを用いる例について説明したが、ＧＡＮ以外によって映像の推論を行ってもよい。例えば、変分オートエンコーダ（ＶＡＥ）や、自己回帰型モデルを用いて、遮蔽領域の映像の推論を行ってもよい。
なお、本実施の形態の周辺映像生成装置１が適用される好適なシーンについて説明すると、自動運転で駐車を行う自動バレーパーキングである。このシーンでは、ドライバが運転するわけではないので、遮蔽領域に推論した映像を重畳しても問題がないので、違和感がない映像であることが重要になるからである。
（第２の実施の形態）
図４は、第２の実施の形態の周辺映像生成装置２の構成を示す図である。第２の実施の形態の周辺映像生成装置２は、第１の実施の形態で説明した構成に加え、ＬＩＤＡＲ２２から検知データを取得する検知データ取得部２３を備えている。第２の実施の形態では、立体形状推定部１３は、ＬＩＤＡＲ２２から取得した検知データを用いて、車両周辺にある物体の立体形状を推定する。
図５は、第２の実施の形態の周辺映像生成装置２の動作を示す図である。
周辺映像生成装置２は、４台のカメラ２０から映像データが入力されると（Ｓ２０）、４台のカメラ２０の映像データを合成してトップビュー映像を生成する（Ｓ２１）。また、これと並行して、周辺映像生成装置２は、ＬＩＤＡＲ２２からのデータを取得し（Ｓ２２）、取得したデータに基づいて車両周辺にある物体の立体形状を推定する（Ｓ２３）。
次に、周辺映像生成装置２は、物体の立体形状の情報を用いて、トップビュー映像において見えない遮蔽領域を推定する（Ｓ２４）。続いて、周辺映像生成装置２は、ＧＡＮによって遮蔽領域の映像を推論し（Ｓ２５）、推論された映像をトップビュー映像に重畳する（Ｓ２６）。
以上、第２の実施の形態の周辺映像生成装置２の構成および動作について説明した。第２の実施の形態の周辺映像生成装置２は、第１の実施の形態と同様に、違和感のないトップビュー映像を表示することができる。また、第２の実施の形態では、ＬＩＤＡＲ２２から取得したデータを用いて物体の立体形状を精度良く推定することができる。
本実施の形態では、物体の立体形状の推定にＬＩＤＡＲ２２のデータを用いる例を挙げたが、ＬＩＤＡＲ２２以外の測距センサを用いることも可能である。例えば、レーダ、超音波ソナー、ミリ波レーダ等を用いることができる。
（第３の実施の形態）
図６は、第３の実施の形態の周辺映像生成装置３の構成を示す図である。第３の実施の形態の周辺映像生成装置３は、遮蔽領域の映像を深層学習を用いて推定するのではなく、車両がおかれた環境の画像を用いて生成する点が異なる。
第３の実施の形態の周辺映像生成装置３は、通信部２４を有し、駐車場を管理する駐車場管理装置３０と通信を行う。駐車場管理装置３０は、管理している駐車場の画像を記憶した記憶部を備えている。駐車場管理装置３０は、車両に搭載された周辺映像生成装置３から駐車場の画像の送信を要求されると、その画像を周辺映像生成装置３に送信する。
第３の実施の形態の周辺映像生成装置３の映像処理部１１は、第１の実施の形態の周辺映像生成装置１が備えていた推論部１５に代えて、遮蔽領域映像生成部２５を備えている。遮蔽領域映像生成部２５は、駐車場管理装置３０から受信した駐車場の画像を加工して遮蔽領域の映像を生成する。駐車場の画像から遮蔽領域の形状を切り出してもよいし、駐車場の画像にフィルタをかけて画像をぼかした上で、遮蔽領域の形状を切り出してもよい。
図７は、第３の実施の形態の周辺映像生成装置３の動作を示す図である。周辺映像生成装置３は、４台のカメラ２０から映像データが入力されると（Ｓ３０）、４台のカメラ２０の映像データを合成してトップビュー映像を生成する（Ｓ３１）。また、これと並行して、周辺映像生成装置３は、映像データにＳｆＭの技術を用いて、映像に映る物体の立体形状を推定する（Ｓ３２）。
次に、周辺映像生成装置３は、物体の立体形状の情報を用いて、トップビュー映像において見えない遮蔽領域を推定する（Ｓ３３）。続いて、周辺映像生成装置３は、駐車場管理装置３０から駐車場の画像を取得し（Ｓ３４）、取得した画像を用いて遮蔽領域の映像を生成し（Ｓ３５）、生成された映像をトップビュー映像に重畳する（Ｓ３６）。
以上、第３の実施の形態の周辺映像生成装置３の構成および動作について説明した。
第３の実施の形態の周辺映像生成装置３は、上述した実施の形態と同様に、違和感のないトップビュー映像を表示することができる。また、第３の実施の形態では、駐車場の画像を用いるので、遮蔽領域の映像を生成することが容易である。遮蔽領域は、カメラ２０にて映像データを取得できていない領域なので、映像データが取得できていないことを違和感なく表示することで、遮蔽領域に起因するリスクを低減できる。
なお、本実施の形態では、車両のおかれた環境の画像として、車両が実際にいる駐車場の画像を取得する例を挙げたが、車両が実際におかれた駐車場そのものの画像でなくてもよく、車両がおかれた駐車場という種類の環境の画像を用いて、遮蔽領域の映像を生成してもよい。
本開示は、周辺の映像を生成する装置として有用であり、例えば、車両の周辺映像を生成するのに用いることができる。
１～３・・・周辺映像生成装置、１０・・・映像入力部、１１・・・映像処理部、
１２・・・映像合成部、１３・・・立体形状推定部、１４・・・遮蔽領域推定部、
１５・・・推論部、１６・・・映像重畳部、１７・・・映像出力部、１８・・・メモリ、
１９・・・電源部、２０・・・カメラ、２１・・・ディスプレイ、
２２・・・ＬＩＤＡＲ、２３・・・検知データ取得部、２４・・・通信部、
２５・・・遮蔽領域映像生成部、３０・・・駐車場管理部、３１・・・記憶部

Claims (12)

  1. 複数のカメラ（２０）にて撮影した周辺映像データを入力する映像入力部（１０）と、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成する映像合成部（１２）と、
    前記周辺映像データに基づいて周辺にある物体の立体形状を推定する立体形状推定部（１３）と、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定する遮蔽領域推定部（１４）と、
    深層学習を用いて前記遮蔽領域の映像を推論し生成する推論部（１５）と、
    前記推論部にて推論し生成された映像を前記合成映像の前記遮蔽領域に重畳する映像重畳部（１６）と、
    前記映像重畳部によって生成された映像を出力する映像出力部（１７）と、
    を備える周辺映像生成装置（１）。
  2. 複数のカメラにて撮影した周辺映像データを入力する映像入力部と、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成する映像合成部と、
    測距センサ（２２）にて検知した検知データを取得する検知データ取得部（２３）と、
    前記検知データに基づいて周辺にある物体の立体形状を推定する立体形状推定部と、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定する遮蔽領域推定部と、
    深層学習を用いて前記遮蔽領域の映像を推論し生成する推論部と、
    前記推論部にて推論し生成された映像を前記合成映像の前記遮蔽領域に重畳する映像重畳部と、
    前記映像重畳部によって生成された映像を出力する映像出力部と、
    を備える周辺映像生成装置。
  3. 前記複数のカメラは車両に搭載されており、
    前記映像合成部は、前記車両の上方からのトップビュー映像を合成する請求項１または２に記載の周辺映像生成装置。
  4. 前記映像重畳部は、前記推論部にて推定された映像を、前記合成映像とは異なる表示態様で前記遮蔽領域に重畳する請求項１から３のいずれか１項に記載の周辺映像生成装置。
  5. 車両に搭載された複数のカメラにて撮影した周辺映像データを入力する映像入力部と、
    前記周辺映像データを合成して前記車両の上方からのトップビュー映像を生成する映像合成部と、
    前記周辺映像データまたは測距センサの検知データに基づいて、周辺にある物体の立体形状を推定する立体形状推定部と、
    前記立体形状の推定結果を用いて、前記トップビュー映像において前記車両の上方から見えない遮蔽領域を推定する遮蔽領域推定部と、
    前記車両がおかれた環境の画像を記憶した記憶装置から前記環境の画像を取得し、前記環境の画像に基づいて前記遮蔽領域の映像を生成する遮蔽領域映像生成部と、
    前記遮蔽領域映像生成部にて生成された映像を前記トップビュー映像の前記遮蔽領域に、前記トップビュー映像とは異なる表示態様で重畳する映像重畳部と、
    を備える周辺映像生成装置。
  6. 前記遮蔽領域推定部は、前記遮蔽領域をマスクし、
    前記推論部は、マスクをされた遮蔽領域の映像を推論する、請求項１に記載の周辺映像生成装置。
  7. 前記推論部は、マスクをされた遮蔽領域の映像を欠落部とした穴埋め問題として推論する、請求項１に記載の周辺映像生成装置。
  8. 前記遮蔽領域映像生成部は、前記車両がおかれた環境の画像を記憶した車外の記憶装置から前記環境の画像を取得し、前記環境の画像に基づいて前記遮蔽領域の映像を生成する
    請求項５に記載の周辺映像生成装置。
  9. 周辺の映像を生成する方法であって、
    複数のカメラにて撮影した周辺映像データを入力するステップと、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成するステップと、
    前記周辺映像データに基づいて周辺にある物体の立体形状を推定するステップと、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定するステップと、
    深層学習を用いて前記遮蔽領域の映像を推論し生成するステップと、
    推論し生成された映像を前記合成映像の前記遮蔽領域に重畳するステップと、
    重畳することで生成された映像を出力するステップと、
    を備える周辺映像生成方法。
  10. 周辺の映像を生成する方法であって、
    複数のカメラにて撮影した周辺映像データを入力するステップと、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成するステップと、
    測距センサにて検知した検知データを取得するステップと、
    前記検知データに基づいて周辺にある物体の立体形状を推定するステップと、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定するステップと、
    深層学習を用いて前記遮蔽領域の映像を推論し生成するステップと、
    推論し生成された映像を前記合成映像の前記遮蔽領域に重畳するステップと、
    重畳することで生成された映像を出力するステップと、
    を備える周辺映像生成方法。
  11. 周辺の映像を生成するためのプログラムであって、コンピュータに、
    複数のカメラにて撮影した周辺映像データを入力するステップと、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成するステップと、
    前記周辺映像データに基づいて周辺にある物体の立体形状を推定するステップと、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定するステップと、
    深層学習を用いて前記遮蔽領域の映像を推論し生成するステップと、
    推論し生成された映像を前記合成映像の前記遮蔽領域に重畳するステップと、
    重畳することで生成された映像を出力するステップと、
    を実行させるプログラム。
  12. 周辺の映像を生成するためのプログラムであって、コンピュータに、
    複数のカメラにて撮影した周辺映像データを入力するステップと、
    前記周辺映像データを合成して所定の視点から見た合成映像を生成するステップと、
    測距センサにて検知した検知データを取得するステップと、
    前記検知データに基づいて周辺にある物体の立体形状を推定するステップと、
    前記立体形状の推定結果を用いて、前記合成映像において前記所定の視点から見えない遮蔽領域を推定するステップと、
    深層学習を用いて前記遮蔽領域の映像を推論し生成するステップと、
    推論し生成された映像を前記合成映像の前記遮蔽領域に重畳するステップと、
    重畳することで生成された映像を出力するステップと、
    を実行させるプログラム。
JP2019147985A 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム Active JP7251401B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019147985A JP7251401B2 (ja) 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム
PCT/JP2020/028542 WO2021029203A1 (ja) 2019-08-09 2020-07-22 周辺映像生成装置、周辺映像生成方法、およびプログラム
DE112020003788.6T DE112020003788T5 (de) 2019-08-09 2020-07-22 Peripheres-Video-Erzeugungsvorrichtung, Verfahren zur Erzeugung peripherer Videos, und Programm
CN202080056408.4A CN114206674A (zh) 2019-08-09 2020-07-22 周边影像生成装置、周边影像生成方法以及程序
US17/650,201 US20220156985A1 (en) 2019-08-09 2022-02-07 Peripheral video generation device, peripheral video generation method, and storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019147985A JP7251401B2 (ja) 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2021029037A JP2021029037A (ja) 2021-02-25
JP2021029037A5 JP2021029037A5 (ja) 2021-11-11
JP7251401B2 true JP7251401B2 (ja) 2023-04-04

Family

ID=74569578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019147985A Active JP7251401B2 (ja) 2019-08-09 2019-08-09 周辺映像生成装置、周辺映像生成方法、およびプログラム

Country Status (5)

Country Link
US (1) US20220156985A1 (ja)
JP (1) JP7251401B2 (ja)
CN (1) CN114206674A (ja)
DE (1) DE112020003788T5 (ja)
WO (1) WO2021029203A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020101637A1 (de) * 2020-01-24 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft Erzeugen einer Draufsicht auf ein Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (ja) 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 探査不能領域推定装置及び運転支援システム
JP2010072836A (ja) 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
JP2018122627A (ja) 2017-01-30 2018-08-09 株式会社デンソー 車両制御装置
JP2018142297A (ja) 2017-02-27 2018-09-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP7003730B2 (ja) 2018-02-27 2022-01-21 トヨタ自動車株式会社 金属積層造形方法
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (ja) 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 探査不能領域推定装置及び運転支援システム
JP2010072836A (ja) 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
JP2018122627A (ja) 2017-01-30 2018-08-09 株式会社デンソー 車両制御装置
JP2018142297A (ja) 2017-02-27 2018-09-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置およびプログラム

Also Published As

Publication number Publication date
DE112020003788T5 (de) 2022-06-30
US20220156985A1 (en) 2022-05-19
JP2021029037A (ja) 2021-02-25
CN114206674A (zh) 2022-03-18
WO2021029203A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US10891715B2 (en) Deep neural network for image enhancement
KR102330744B1 (ko) 신경망을 이용한 장면 이해 및 생성
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US10810754B2 (en) Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
JP4966431B2 (ja) 画像処理装置
EP2437494A1 (en) Device for monitoring area around vehicle
JP2017520133A (ja) 車両周辺イメージ生成装置および方法
JP7461504B2 (ja) モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体
JP7251401B2 (ja) 周辺映像生成装置、周辺映像生成方法、およびプログラム
KR20170019793A (ko) 어라운드뷰 제공 장치 및 방법
WO2021101732A1 (en) Joint rolling shutter correction and image deblurring
Schick et al. Evaluation of video-based driver assistance systems with sensor data fusion by using virtual test driving
CN114600151A (zh) 用于深度致密化的域适应
KR101470198B1 (ko) 영상 합성 장치 및 방법
Kikuchi et al. Automatic diminished reality-based virtual demolition method using semantic segmentation and generative adversarial network for landscape assessment
JP2021029037A5 (ja)
CN117201705B (zh) 一种全景图像的获取方法、装置、电子设备及存储介质
JP7304922B2 (ja) 周辺監視システム
JP2015182670A (ja) 運転支援装置
WO2023195056A1 (ja) 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
EP4276763A1 (en) Image generation for testing an electronic vehicle guidance system
EP3182367A1 (en) Apparatus and method for generating and visualizing a 3d model of an object
WO2022244800A1 (ja) 画像処理アルゴリズム評価装置
WO2018016316A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレプレゼンスシステム
JP2009282736A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151