JP7115300B2 - 画像生成装置及び画像表示システム - Google Patents
画像生成装置及び画像表示システム Download PDFInfo
- Publication number
- JP7115300B2 JP7115300B2 JP2018243138A JP2018243138A JP7115300B2 JP 7115300 B2 JP7115300 B2 JP 7115300B2 JP 2018243138 A JP2018243138 A JP 2018243138A JP 2018243138 A JP2018243138 A JP 2018243138A JP 7115300 B2 JP7115300 B2 JP 7115300B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional object
- bird
- unit
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 101
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 20
- 238000006467 substitution reaction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 230000001629 suppression Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本開示の一局面である画像生成装置は、立体物の種類に応じて異なる処理により重畳画像を取得する。そのため、本開示の一局面である画像生成装置は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる。
本開示の別の局面は、車両(3)の周辺を撮影するカメラ(37、39、41、43)から、撮影画像(73)を取得するように構成された画像取得ユニット(9)と、前記撮影画像に基づき、俯瞰画像(49、49A、49B、49C)を生成するように構成された俯瞰画像生成ユニット(11)と、前記撮影画像において、人(75)又は二輪車である特定立体物を認識するように構成された特定立体物認識ユニット(13)と、前記撮影画像のうち、前記特定立体物を表す部分(77)を、前記俯瞰画像のうち、前記特定立体物が存在する位置に重畳するように構成された重畳ユニット(15)と、を備える画像生成装置(1)である。
<第1実施形態>
1.画像生成装置1の構成
画像生成装置1の構成を、図1、図2に基づき説明する。図1に示すように、画像生成装置1は車両3に搭載されている。画像生成装置1は、制御部2と、代替画像データベース47と、を備える。制御部2は、CPU5と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ7とする)と、を有するマイクロコンピュータを備える。
代替画像データベース47は、上述したとおり、立体物の代替画像を記憶している。立体物の代替画像とは、立体物を表す画像である。立体物の代替画像として、車両の代替画像、電柱の代替画像がある。
画像生成装置1が実行する処理を、図3~図6に基づき説明する。図3のステップ1では、画像取得ユニット9が、前カメラ37、右カメラ39、左カメラ41、及び後カメラ43のそれぞれから、撮影画像を取得する。
ステップ6では、前記ステップ5で推測した車両の属性と対応付けられた車両の代替画像を、第2重畳ユニット25が代替画像データベース47から読み出す。車両の代替画像は、立体物を表す重畳画像に対応する。データベース47は記憶媒体に対応する。代替画像を代替画像データベース47から読み出すことは、重畳画像を記憶媒体から読み出す処理に対応する。
影推定ユニット27が俯瞰画像における立体物の影の位置を推定する方法として、例えば、以下の第1の方法、第2の方法がある。第1の方法では、まず、撮影画像において、立体物と、その立体物の影とを認識する。次に、認識した立体物と影とに基づき、立体物に対する影の相対的な位置を特定する。次に、立体物に対する影の相対的な位置を俯瞰画像に適用し、俯瞰画像における立体物の影の位置を推定する。第2の方法では、日付、時刻、車両3が存在する位置の緯度及び経度等に基づき、俯瞰画像における立体物の影の位置を推定する。
ステップ15では、第1重畳ユニット15が、前記ステップ12で抽出した特定部分77を、俯瞰画像のうち、前記ステップ3で認識した特定立体物が存在する位置に重畳する。
ステップ20では、前記ステップ19で推測した電柱の属性と対応付けられた電柱の代替画像を、第2重畳ユニット25が代替画像データベース47から読み出す。電柱の代替画像は、立体物を表す重畳画像に対応する。データベース47は記憶媒体に対応する。代替画像を代替画像データベース47から読み出すことは、重畳画像を記憶媒体から読み出す処理に対応する。
ステップ22では、色分けユニット35が、俯瞰画像に対し、色分け処理を行う。色分け処理とは、俯瞰画像を、立体物が存在する領域、フリー領域、及び未定領域に分け、領域ごとに色を異ならせる処理である。フリー領域とは、いずれかの撮影画像に表れている領域であって、立体物が存在しない領域である。未定領域とは、いずれの撮影画像にも表れていない領域である。
3.画像生成装置1が奏する効果
(1A)画像生成装置1は、認識した立体物の種類に応じて異なる処理により重畳画像を取得する。すなわち、画像生成装置1は、認識した立体物の種類が歩行者又は二輪車である場合、撮影画像のうち、歩行者又は二輪車を表す部分を用いて重畳画像を生成する処理を行う。また、画像生成装置1は、認識した立体物の種類が車両又は電柱である場合、重畳画像を代替画像データベース47から読み出す処理を行う。そのため、画像生成装置1は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる。
(1B)画像生成装置1は、俯瞰画像のうち、特定立体物が存在する位置に、特定部分77を重畳する。特定部分77は、撮影画像のうち、特定立体物を表す部分である。そのため、重畳された特定部分77の属性は、実際の特定立体物の属性と一致する。その結果、ユーザが俯瞰画像を見たとき、ユーザに違和感が生じ難い。
(1G)画像生成装置1は、俯瞰画像のうち、車両が存在し、重畳画像から外れている部分を、別のカメラの撮影画像を俯瞰画像に変換した画像で代替する。別のカメラの撮影画像とは、車両は撮影範囲に含まず、前記重畳画像から外れている部分は撮影範囲に含む撮影画像である。そのため、画像生成装置1は、俯瞰画像のうち、歪んだ車両が表れている部分を低減できる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(3)車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ14のように立体物の影を俯瞰画像において認識してもよい。そして、代替画像が表す立体物の位置が、認識した影を生じる位置となるように、代替画像を俯瞰画像に重畳することができる。
(4)車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ16のように第1パラメータと第2パラメータとを取得することができる。この場合の第1パラメータは、代替画像の輝度又はコントラストである。そして、前記ステップ17のように、第1パラメータと第2パラメータとの差が減少するように、第1パラメータ又は第2パラメータを調整することができる。
(5)車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ7のように、俯瞰画像において立体物の影の位置を推定することができる。そして、前記ステップ9のように、推定した影の位置に、影の代替画像を重畳することができる。
(6)本開示に記載の画像生成装置1及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像生成装置1及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像生成装置1及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像生成装置1に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
Claims (16)
- 画像生成装置(1)であって、
車両(3)の周辺を撮影するカメラ(37、39、41、43)から、撮影画像(73)を取得するように構成された画像取得ユニット(9)と、
前記撮影画像に基づき、俯瞰画像(49、49A、49B、49C)を生成するように構成された俯瞰画像生成ユニット(11)と、
前記撮影画像において、立体物を認識するように構成された立体物認識ユニット(13)と、
前記立体物認識ユニットが認識した前記立体物を表す重畳画像を取得するように構成された重畳画像取得ユニット(15、25)と、
前記俯瞰画像において前記立体物が存在する位置の少なくとも一部に、前記重畳画像取得ユニットが取得した前記重畳画像を重畳するように構成された重畳ユニット(15、25)と、
を備え、
前記重畳画像取得ユニットは、前記立体物認識ユニットが認識した前記立体物の種類に応じて異なる処理により前記重畳画像を取得するように構成され、
前記重畳画像取得ユニットは、前記立体物認識ユニットが認識した前記立体物の種類に応じて、前記撮影画像を用いて前記重畳画像を生成する処理により前記重畳画像を取得する場合と、予め記憶媒体に記憶された前記重畳画像を前記記憶媒体から読み出す処理により前記重畳画像を取得する場合とがある画像生成装置。 - 請求項1に記載の画像生成装置であって、
前記重畳画像取得ユニットが行う前記処理として、前記撮影画像を用いて前記重畳画像を生成する処理、及び、予め記憶媒体に記憶された前記重畳画像を前記記憶媒体から読み出す処理の少なくとも一方がある画像生成装置。 - 請求項2に記載の画像生成装置であって、
少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が歩行者又は二輪車である場合、前記重畳画像取得ユニットは、前記撮影画像のうち、前記立体物認識ユニットが認識した前記立体物を表す部分を用いて前記重畳画像を生成する処理を行う画像生成装置。 - 請求項2又は3に記載の画像生成装置であって、
少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が電柱である場合、前記重畳画像取得ユニットは、前記重畳画像を前記記憶媒体から読み出す処理を行い、前記重畳ユニットは、前記俯瞰画像において前記電柱の上部が存在する位置に、前記記憶媒体から読み出された前記重畳画像を重畳する画像生成装置。 - 請求項2~4のいずれか1項に画像生成装置であって、
少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が車両である場合、前記重畳画像取得ユニットは、前記重畳画像を前記記憶媒体から読み出す処理を行い、前記重畳ユニットは、前記俯瞰画像において前記車両が存在する位置に、前記記憶媒体から読み出された前記重畳画像を重畳する画像生成装置。 - 請求項5に記載の画像生成装置であって、
前記画像取得ユニットは、複数の前記カメラからそれぞれ前記撮影画像を取得するように構成され、
前記俯瞰画像生成ユニットは、複数の前記カメラから取得した複数の前記撮影画像に基づき、前記俯瞰画像を生成するように構成され、
前記俯瞰画像のうち、車両が存在し、前記重畳画像から外れている特定範囲を、前記特定範囲の生成に使用された前記撮影画像を撮影した前記カメラとは異なる前記カメラの前記撮影画像であって、前記車両は撮影範囲に含まず、前記特定範囲は撮影範囲に含む前記撮影画像を俯瞰画像に変換した画像で代替するように構成された代替ユニットをさらに備える画像生成装置。 - 請求項1~6のいずれか1項に記載の画像生成装置であって、
前記重畳画像における前記立体物の移動方向を推測するように構成された移動方向推測ユニット(17)をさらに備え、
前記重畳ユニットは、前記重畳画像における前記移動方向と、前記俯瞰画像における前記移動方向とが一致するように、前記重畳画像を前記俯瞰画像に重畳するように構成された画像生成装置。 - 請求項1~7のいずれか1項に記載の画像生成装置であって、
前記俯瞰画像において前記立体物の影を認識するように構成された影認識ユニット(19)をさらに備え、
前記重畳ユニットは、前記重畳画像が表す前記立体物の位置が、前記影認識ユニットにより認識した影を生じる位置となるように、前記重畳画像を前記俯瞰画像に重畳するように構成された画像生成装置。 - 請求項1~8のいずれか1項に記載の画像生成装置であって、
前記重畳画像の輝度又はコントラストである第1パラメータ、及び、前記俯瞰画像のうち、前記立体物が存在する位置の周囲の輝度又はコントラストである第2パラメータを取得するように構成されたパラメータ取得ユニット(21)と、
前記第1パラメータと前記第2パラメータとの差が減少するように、前記第1パラメータ又は前記第2パラメータを調整するように構成されたパラメータ調整ユニット(23)と、
をさらに備える画像生成装置。 - 請求項1~9のいずれか1項に記載の画像生成装置であって、
前記俯瞰画像において、前記立体物の影の位置を推定する影推定ユニット(27)と、
前記俯瞰画像のうち、前記影推定ユニットが推定した影の位置に、前記立体物の影を表す影画像を重畳するように構成された影重畳ユニット(29)と、
をさらに備える画像生成装置。 - 車両(3)の周辺を撮影するカメラ(37、39、41、43)から、撮影画像(73)を取得するように構成された画像取得ユニット(9)と、
前記撮影画像に基づき、俯瞰画像(49、49A、49B、49C)を生成するように構成された俯瞰画像生成ユニット(11)と、
前記撮影画像において、人(75)又は二輪車である特定立体物を認識するように構成された特定立体物認識ユニット(13)と、
前記撮影画像のうち、前記特定立体物を表す部分(77)を、前記俯瞰画像のうち、前記特定立体物が存在する位置に重畳するように構成された重畳ユニット(15)と、
を備える画像生成装置(1)。 - 請求項11に記載の画像生成装置であって、
前記撮影画像において、前記特定立体物の移動方向を推測するように構成された移動方向推測ユニット(17)をさらに備え、
前記重畳ユニットは、前記撮影画像における前記移動方向と、前記俯瞰画像における前記移動方向とが一致するように、前記特定立体物を表す部分を前記俯瞰画像に重畳するように構成された画像生成装置。 - 請求項11又は12に記載の画像生成装置であって、
前記俯瞰画像において前記特定立体物の影を認識するように構成された影認識ユニット(19)をさらに備え、
前記重畳ユニットは、前記特定立体物の位置が、前記影認識ユニットにより認識した影を生じる位置となるように、前記特定立体物を表す部分を前記俯瞰画像に重畳するように構成された画像生成装置。 - 請求項11~13のいずれか1項に記載の画像生成装置であって、
前記特定立体物を表す部分の輝度又はコントラストである第1パラメータ、及び、前記俯瞰画像のうち、前記特定立体物が存在する位置の周囲の輝度又はコントラストである第2パラメータを取得するように構成されたパラメータ取得ユニット(21)と、
前記第1パラメータと前記第2パラメータとの差が減少するように、前記第1パラメータ又は前記第2パラメータを調整するように構成されたパラメータ調整ユニット(23)と、
をさらに備える画像生成装置。 - 請求項11~14のいずれか1項に記載の画像生成装置であって、
前記撮影画像において、車両を認識するように構成された車両認識ユニット(13)と、
前記俯瞰画像のうち、前記車両認識ユニットが認識した車両が存在する位置に、車両を表す重畳画像を重畳するように構成された車両重畳ユニット(25)と、
前記俯瞰画像において、前記車両認識ユニットが認識した車両の影の位置を推定する影推定ユニット(27)と、
前記俯瞰画像のうち、前記影推定ユニットが推定した影の位置に、車両の影を表す影画像を重畳するように構成された影重畳ユニット(29)と、
をさらに備える画像生成装置。 - 請求項1~15のいずれか1項に記載の画像生成装置と、
前記画像生成装置が生成した画像を表示する画像表示装置(45)と、
を備える画像表示システム(4)。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243138A JP7115300B2 (ja) | 2018-12-26 | 2018-12-26 | 画像生成装置及び画像表示システム |
PCT/JP2019/048703 WO2020137583A1 (ja) | 2018-12-26 | 2019-12-12 | 画像生成装置及び画像表示システム |
US17/357,745 US11863900B2 (en) | 2018-12-26 | 2021-06-24 | Image generation apparatus and image display system for superimposition of three-dimensional objects into bird's view images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243138A JP7115300B2 (ja) | 2018-12-26 | 2018-12-26 | 画像生成装置及び画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020107963A JP2020107963A (ja) | 2020-07-09 |
JP7115300B2 true JP7115300B2 (ja) | 2022-08-09 |
Family
ID=71127192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018243138A Active JP7115300B2 (ja) | 2018-12-26 | 2018-12-26 | 画像生成装置及び画像表示システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11863900B2 (ja) |
JP (1) | JP7115300B2 (ja) |
WO (1) | WO2020137583A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11948227B1 (en) * | 2023-04-18 | 2024-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007265281A (ja) | 2006-03-29 | 2007-10-11 | Denso It Laboratory Inc | 自影判定方法 |
JP2010251939A (ja) | 2009-04-14 | 2010-11-04 | Hyundai Motor Co Ltd | 車両周囲画像表示システム |
JP2012257106A (ja) | 2011-06-09 | 2012-12-27 | Aisin Seiki Co Ltd | 画像生成装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3102250B2 (ja) * | 1994-02-14 | 2000-10-23 | 三菱自動車工業株式会社 | 車両用周囲情報表示装置 |
EP2437494B1 (en) * | 2009-05-25 | 2017-10-11 | Panasonic Intellectual Property Management Co., Ltd. | Device for monitoring area around vehicle |
CN103609100B (zh) | 2011-06-09 | 2017-09-29 | 爱信精机株式会社 | 图像生成装置 |
JP5516998B2 (ja) | 2011-06-09 | 2014-06-11 | アイシン精機株式会社 | 画像生成装置 |
KR20160015972A (ko) * | 2014-08-01 | 2016-02-15 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
EP3048558A1 (en) * | 2015-01-21 | 2016-07-27 | Application Solutions (Electronics and Vision) Ltd. | Object detecting method and object detecting apparatus |
KR102528004B1 (ko) * | 2016-07-25 | 2023-05-02 | 현대모비스 주식회사 | 어라운드 뷰 생성 장치 및 그 방법 |
JP2018074286A (ja) * | 2016-10-26 | 2018-05-10 | 三菱自動車工業株式会社 | 運転支援装置 |
-
2018
- 2018-12-26 JP JP2018243138A patent/JP7115300B2/ja active Active
-
2019
- 2019-12-12 WO PCT/JP2019/048703 patent/WO2020137583A1/ja active Application Filing
-
2021
- 2021-06-24 US US17/357,745 patent/US11863900B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007265281A (ja) | 2006-03-29 | 2007-10-11 | Denso It Laboratory Inc | 自影判定方法 |
JP2010251939A (ja) | 2009-04-14 | 2010-11-04 | Hyundai Motor Co Ltd | 車両周囲画像表示システム |
JP2012257106A (ja) | 2011-06-09 | 2012-12-27 | Aisin Seiki Co Ltd | 画像生成装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020137583A1 (ja) | 2020-07-02 |
JP2020107963A (ja) | 2020-07-09 |
US20210321049A1 (en) | 2021-10-14 |
US11863900B2 (en) | 2024-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5049300B2 (ja) | 障害物検出表示装置 | |
JP2004021307A (ja) | 運転支援装置 | |
DE112016004437T5 (de) | Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit | |
US20120069153A1 (en) | Device for monitoring area around vehicle | |
JP2018530045A (ja) | 一連のイメージからのオブジェクトの3d再構成のための方法、一連のイメージからのオブジェクトの3d再構成を実行するように構成されたコンピュータ読取可能記憶媒体及び装置 | |
CN106896925A (zh) | 一种虚拟现实与真实场景融合的装置 | |
CN104811684B (zh) | 一种图像的三维美颜方法及装置 | |
CN106997618A (zh) | 一种虚拟现实与真实场景融合的方法 | |
JP2007220004A (ja) | テレビおよび認証装置 | |
CN103295210B (zh) | 婴儿图像合成方法及装置 | |
WO2018188277A1 (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
JP2013005234A (ja) | 車載カメラ装置 | |
CN109717966B (zh) | 用于牙齿整形的影像仿真方法及其影像仿真装置 | |
US11961215B2 (en) | Modular inpainting method | |
JP6189116B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2009211513A (ja) | 画像処理装置及びその方法 | |
CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
KR101995411B1 (ko) | 신체 모델 생성 장치 및 방법 | |
JP7115300B2 (ja) | 画像生成装置及び画像表示システム | |
CN106981100A (zh) | 一种虚拟现实与真实场景融合的装置 | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
KR20150040194A (ko) | 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법 | |
JP7203205B2 (ja) | 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法 | |
CN111083345B (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
KR102152078B1 (ko) | 3d 얼굴 모델 생성 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7115300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |