JP2017502404A - ボウル形状イメージングシステム - Google Patents
ボウル形状イメージングシステム Download PDFInfo
- Publication number
- JP2017502404A JP2017502404A JP2016538099A JP2016538099A JP2017502404A JP 2017502404 A JP2017502404 A JP 2017502404A JP 2016538099 A JP2016538099 A JP 2016538099A JP 2016538099 A JP2016538099 A JP 2016538099A JP 2017502404 A JP2017502404 A JP 2017502404A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fisheye
- region
- computing system
- bowl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000006978 adaptation Effects 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 43
- 230000033001 locomotion Effects 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000010354 integration Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000013213 extrapolation Methods 0.000 claims description 6
- 241000251468 Actinopterygii Species 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 1
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 1
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 1
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 1
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 1
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 1
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 1
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本明細書で開示した技術の例示的な例が、以下に提供される。本技術の実施形態は、以下に記載の例の任意の1以上及び任意の組合せを含み得る。
Claims (40)
- ボウル形状画像を利用するためのコンピューティングシステムであって、
第1のシーンを含む第1の魚眼画像を撮影する第1の魚眼カメラと、
オーバーラップ領域において前記第1のシーンとオーバーラップする第2のシーンを含む第2の魚眼画像を撮影する第2の魚眼カメラと、
前記第1の魚眼画像と前記第2の魚眼画像との結合画像を生成する結合画像生成モジュールと、
前記第1の魚眼画像及び前記第2の魚眼画像のうちの少なくとも1つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するオブジェクト分類モジュールと、
前記結合画像に基づいて、ボウル形状画像の一部を生成するボウル生成モジュールと、
を備えたコンピューティングシステム。 - 前記結合画像生成モジュールは、
前記第1の魚眼画像及び前記第2の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する1以上の特徴を検出する特徴検出モジュールと、
前記の検出された1以上の特徴に対して特徴照合を実行して、前記第1の魚眼画像及び前記第2の魚眼画像の1以上の合致した特徴を決定する特徴照合モジュールと、
(i)前記第1の魚眼画像及び前記第2の魚眼画像の前記1以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第1の魚眼画像の第1の継ぎ目を決定し、(ii)前記第1の魚眼画像及び前記第2の魚眼画像の前記1以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第2の魚眼画像の第2の継ぎ目を決定し、(iii)前記第1の魚眼画像及び前記第2の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、(iv)前記第1の継ぎ目及び前記第2の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第3の継ぎ目を決定する継ぎ目決定モジュールと、
前記の決定された第3の継ぎ目において前記第1の魚眼画像の前記投影と前記第2の魚眼画像の前記投影とを結合することにより、前記第1の魚眼画像と前記第2の魚眼画像との結合画像を生成する画像統合モジュールと、
を含む、請求項1記載のコンピューティングシステム。 - 前記特徴照合モジュールは、さらに、前記第1の魚眼カメラ及び前記第2の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく、請求項2記載のコンピューティングシステム。
- 前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む、請求項3記載のコンピューティングシステム。
- 前記第3の継ぎ目を決定することは、前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の平均継ぎ目として、第3の継ぎ目を決定することを含む、請求項2乃至5いずれか一項記載のコンピューティングシステム。
- 前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも1つを実行する、請求項2乃至5いずれか一項記載のコンピューティングシステム。
- 前記画像統合モジュールは、(i)前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第1の魚眼画像の前記投影の端部と、(ii)前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第2の魚眼画像の前記投影の端部と、を強調しないようにする、請求項2乃至5いずれか一項記載のコンピューティングシステム。
- 前記結合画像生成モジュールは、
前記第1の魚眼画像と前記第2の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
(i)前記第1の魚眼カメラ及び前記第2の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第1の魚眼カメラ及び前記第2の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、(ii)前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
を含む、請求項1記載のコンピューティングシステム。 - 前記オーバーラップ画像領域を決定することは、
前記第1の魚眼画像及び前記第2の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する1以上の特徴を検出し、
前記の検出された1以上の特徴に対して特徴照合を実行して、前記第1の魚眼画像及び前記第2の魚眼画像の1以上の合致した特徴を決定する
ことを含む、請求項9記載のコンピューティングシステム。 - 前記オーバーラップ画像領域を決定することは、前記第1の魚眼カメラ及び前記第2の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む、請求項9記載のコンピューティングシステム。
- 前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む、請求項9記載のコンピューティングシステム。
- 前記勾配制約方程式を適用することは、
前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
∇I(x,t)u+It(x,t)=0を確実にする
ことを含み、ここで、∇I(x,t)は、前記空間微分係数であり、uは、前記複数の魚眼画像の2次元速度であり、It(x,t)は、前記時間微分係数である、請求項12記載のコンピューティングシステム。 - 前記オーバーラップ画像領域の画像を生成することは、前記第1の魚眼画像及び前記第2の魚眼画像のうちの少なくとも1つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項9乃至13いずれか一項記載のコンピューティングシステム。
- 前記オーバーラップ画像領域の画像を生成することは、前記第1の魚眼画像及び前記第2の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項9乃至13いずれか一項記載のコンピューティングシステム。
- 前記オブジェクト分類モジュールは、
前記第1の魚眼画像及び前記第2の魚眼画像のうちの1つの魚眼画像内の前記関心領域を決定する関心領域決定モジュールと、
(i)前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、(ii)前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
を含む、請求項1記載のコンピューティングシステム。 - 前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する、請求項16記載のコンピューティングシステム。
- 前記関心領域を決定することは、前記第1の魚眼画像及び前記第2の魚眼画像のうちの少なくとも1つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する、請求項16記載のコンピューティングシステム。
- 前記関心領域決定モジュールは、さらに、
前記第1の魚眼画像及び前記第2の魚眼画像のうちの前記1つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成し、
前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成する
ことを含み、
前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む、請求項16乃至18いずれか一項記載のコンピューティングシステム。 - 前記オブジェクト分類を実行することは、
前記コンピューティングシステムのメモリからオブジェクトプロファイルを取得し、
前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
ことを含む、請求項16乃至18いずれか一項記載のコンピューティングシステム。 - 前記ボウル生成モジュールは、
(i)生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、(ii)前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第1の半軸を決定し、(iii)前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第1の半軸と前記第1の半軸に垂直な第2の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第2の半軸を決定するボウルジオメトリモジュールと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
を含む、請求項1記載のコンピューティングシステム。 - 前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュール
をさらに備えた請求項21記載のコンピューティングシステム。 - 前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
対応する前記水平スライスの前記第1の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第1の半軸を決定することを含む、請求項21記載のコンピューティングシステム。 - 前記水平オフセットは、前記車両の前記長さの半分よりも長い、請求項23記載のコンピューティングシステム。
- 前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、1に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である、請求項21乃至25いずれか一項記載のコンピューティングシステム。 - 前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する、請求項21乃至25いずれか一項記載のコンピューティングシステム。
- 対応する前記水平スライスの前記第2の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第1の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該水平スライスの前記第2の半軸を決定することを含む、請求項21乃至25いずれか一項記載のコンピューティングシステム。
- 画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成し、
前記コンピューティングシステムのディスプレイ上に、前記ボウル形状画像の前記一部を表示する
表示モジュール
をさらに備えた請求項21記載のコンピューティングシステム。 - 前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む、請求項29記載のコンピューティングシステム。
- コンピューティングデバイス上でボウル形状画像を利用するための方法であって、
前記コンピューティングデバイスにより、第1のシーンが撮影された第1の魚眼画像と、オーバーラップ領域において前記第1のシーンとオーバーラップする第2のシーンが撮影された第2の魚眼画像と、を受信するステップと、
前記コンピューティングデバイスにより、前記第1の魚眼画像と前記第2の魚眼画像との結合画像を生成するステップと、
前記コンピューティングデバイスにより、前記第1の魚眼画像及び前記第2の魚眼画像のうちの少なくとも1つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するステップと、
前記コンピューティングデバイスにより、前記結合画像に基づいて、ボウル形状画像の一部を生成するステップと、
を含む方法。 - 前記ボウル形状画像の一部を生成することは、
生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定することと、
前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第1の半軸を決定することと、
前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第1の半軸と前記第1の半軸に垂直な第2の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第2の半軸を決定することと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成することと、
を含む、請求項31記載の方法。 - ボウル形状画像を生成するためのコンピューティングデバイスであって、
(i)生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、(ii)前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第1の半軸を決定し、(iii)前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第1の半軸と前記第1の半軸に垂直な第2の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第2の半軸を決定するボウルジオメトリモジュールと、
前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
を備えたコンピューティングデバイス。 - 前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、
前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
対応する前記水平スライスの前記第1の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第1の半軸を、
- 複数の魚眼カメラにより生成された魚眼画像を結合するためのコンピューティングデバイスであって、
第1のシーンが撮影された第1の魚眼画像と、オーバーラップ領域において前記第1のシーンとオーバーラップする第2のシーンが撮影された第2の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する1以上の特徴を検出する特徴検出モジュールと、
前記の検出された1以上の特徴に対して特徴照合を実行して、前記第1の魚眼画像及び前記第2の魚眼画像の1以上の合致した特徴を決定する特徴照合モジュールと、
(i)前記第1の魚眼画像及び前記第2の魚眼画像の前記1以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第1の魚眼画像の第1の継ぎ目を決定し、(ii)前記第1の魚眼画像及び前記第2の魚眼画像の前記1以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第2の魚眼画像の第2の継ぎ目を決定し、(iii)前記第1の魚眼画像及び前記第2の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、(iv)前記第1の継ぎ目及び前記第2の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第3の継ぎ目を決定する継ぎ目決定モジュールと、
前記の決定された第3の継ぎ目において前記第1の魚眼画像の前記投影と前記第2の魚眼画像の前記投影とを結合することにより、前記第1の魚眼画像と前記第2の魚眼画像との結合画像を生成する画像統合モジュールと、
を備えたコンピューティングデバイス。 - 前記第3の継ぎ目を決定することは、前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の平均継ぎ目として、第3の継ぎ目を決定することを含み、
前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第1の継ぎ目及び前記第2の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも1つを実行する、請求項35記載のコンピューティングデバイス。 - オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、
第1の魚眼カメラにより生成された第1の魚眼画像と第2の魚眼カメラにより生成された第2の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
(i)前記第1の魚眼カメラ及び前記第2の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第1の魚眼カメラ及び前記第2の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、(ii)前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
を備えたコンピューティングデバイス。 - 前記オブジェクトの動きを決定することは、
前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
∇I(x,t)u+It(x,t)=0を確実にする
ことを含み、ここで、∇I(x,t)は、前記空間微分係数であり、uは、前記複数の魚眼画像の2次元速度であり、It(x,t)は、前記時間微分係数である、請求項37記載のコンピューティングデバイス。 - 魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、
魚眼画像内の関心領域を決定する関心領域決定モジュールと、
(i)前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、(ii)前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
を備えたコンピューティングデバイス。 - 前記オブジェクト分類を実行することは、
前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得し、
前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
ことを含む、請求項39記載のコンピューティングデバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2013/076644 WO2015094298A1 (en) | 2013-12-19 | 2013-12-19 | Bowl-shaped imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017502404A true JP2017502404A (ja) | 2017-01-19 |
JP6224251B2 JP6224251B2 (ja) | 2017-11-01 |
Family
ID=53400552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016538099A Expired - Fee Related JP6224251B2 (ja) | 2013-12-19 | 2013-12-19 | ボウル形状イメージングシステム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10210597B2 (ja) |
EP (1) | EP3085074B1 (ja) |
JP (1) | JP6224251B2 (ja) |
KR (1) | KR101811157B1 (ja) |
CN (1) | CN105765966B (ja) |
WO (1) | WO2015094298A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6371553B2 (ja) * | 2014-03-27 | 2018-08-08 | クラリオン株式会社 | 映像表示装置および映像表示システム |
JP6374695B2 (ja) * | 2014-04-28 | 2018-08-15 | 日立建機株式会社 | 路肩検出システムおよび鉱山用運搬車両 |
JP6386794B2 (ja) * | 2014-06-04 | 2018-09-05 | 日立建機株式会社 | 運搬車両 |
US10442355B2 (en) * | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
US9437001B2 (en) | 2014-09-18 | 2016-09-06 | Intel Corporation | Tracking objects in bowl-shaped imaging systems |
US9990550B2 (en) * | 2014-09-19 | 2018-06-05 | Bendix Commercial Vehicle Systems Llc | Wide baseline object detection stereo system |
JP6554280B2 (ja) * | 2014-11-28 | 2019-07-31 | 株式会社デンソーテン | データ処理装置、画像処理方法、及び、プログラム |
US20160191795A1 (en) * | 2014-12-30 | 2016-06-30 | Alpine Electronics, Inc. | Method and system for presenting panoramic surround view in vehicle |
US10026450B2 (en) * | 2015-03-31 | 2018-07-17 | Jaguar Land Rover Limited | Content processing and distribution system and method |
WO2017053612A1 (en) * | 2015-09-25 | 2017-03-30 | Nyqamin Dynamics Llc | Automated capture of image data for points of interest |
CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技(北京)有限公司 | 一种全景辅助泊车***、装置及全景图像显示方法 |
TWI543611B (zh) * | 2015-11-20 | 2016-07-21 | 晶睿通訊股份有限公司 | 影像接合方法及具有影像接合功能的攝影系統 |
KR20180111798A (ko) * | 2016-01-03 | 2018-10-11 | 휴먼아이즈 테크놀로지즈 리미티드 | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 |
DE102016202948A1 (de) * | 2016-02-25 | 2017-08-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs |
CN105702060B (zh) * | 2016-03-04 | 2018-06-12 | 重庆交通大学 | 基于全息投影技术的城市信号交叉口安全导向方法及*** |
US10102668B2 (en) * | 2016-05-05 | 2018-10-16 | Nvidia Corporation | System, method, and computer program product for rendering at variable sampling rates using projective geometric distortion |
DE102016117518A1 (de) | 2016-09-16 | 2018-03-22 | Connaught Electronics Ltd. | Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug |
CN107967665B (zh) * | 2016-10-20 | 2021-07-13 | 株式会社理光 | 图像处理方法和图像处理装置 |
US20180150703A1 (en) * | 2016-11-29 | 2018-05-31 | Autoequips Tech Co., Ltd. | Vehicle image processing method and system thereof |
EP3523777A4 (en) * | 2016-12-06 | 2019-11-13 | SZ DJI Technology Co., Ltd. | SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE |
US10733697B2 (en) * | 2016-12-27 | 2020-08-04 | Intel IP Corporation | Convolutional neural network for wide-angle camera images |
KR102329061B1 (ko) * | 2017-01-10 | 2021-11-19 | 삼성전자주식회사 | 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치 |
WO2018131813A1 (en) | 2017-01-10 | 2018-07-19 | Samsung Electronics Co., Ltd. | Method and apparatus for generating metadata for 3d images |
US10518702B2 (en) * | 2017-01-13 | 2019-12-31 | Denso International America, Inc. | System and method for image adjustment and stitching for tractor-trailer panoramic displays |
FR3062224B1 (fr) * | 2017-01-25 | 2020-08-28 | Valeo Schalter & Sensoren Gmbh | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images |
JP6708154B2 (ja) * | 2017-03-28 | 2020-06-10 | カシオ計算機株式会社 | 対象物検出装置、対象物検出方法、及びプログラム |
DE102017206175A1 (de) * | 2017-04-11 | 2018-10-11 | Conti Temic Microelectronic Gmbh | Surround-View-System für ein Fahrzeug |
CN106991415A (zh) * | 2017-06-05 | 2017-07-28 | 北京汽车集团有限公司 | 用于车载鱼眼相机的图像处理方法和装置 |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
DE102017114611A1 (de) * | 2017-06-30 | 2019-01-03 | Connaught Electronics Ltd. | Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug |
US10475154B2 (en) * | 2017-08-11 | 2019-11-12 | Caterpillar Inc. | Machine surround view system and method for generating 3-dimensional composite surround view using same |
JP6962372B2 (ja) * | 2017-08-25 | 2021-11-05 | 株式会社ソシオネクスト | 補正装置、補正プログラム及び記録媒体 |
CN109509231A (zh) * | 2017-09-14 | 2019-03-22 | 宝沃汽车(中国)有限公司 | 全景***标定设备 |
JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
US10380714B2 (en) * | 2017-09-26 | 2019-08-13 | Denso International America, Inc. | Systems and methods for ambient animation and projecting ambient animation on an interface |
US10618471B2 (en) * | 2017-11-30 | 2020-04-14 | Robert Bosch Gmbh | Virtual camera panning and tilting |
DE102018102047A1 (de) | 2018-01-30 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem |
DE102018203405A1 (de) * | 2018-03-07 | 2019-09-12 | Zf Friedrichshafen Ag | Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
CN108833911A (zh) * | 2018-08-21 | 2018-11-16 | 安徽江淮汽车集团股份有限公司 | 一种车辆360全景功能的测试方法及*** |
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
GB2581191B (en) | 2019-02-08 | 2022-02-16 | Jaguar Land Rover Ltd | Image system for a vehicle |
WO2020164744A1 (en) * | 2019-02-15 | 2020-08-20 | Toyota Motor Europe | Systems and methods for image normalization |
US11153481B2 (en) * | 2019-03-15 | 2021-10-19 | STX Financing, LLC | Capturing and transforming wide-angle video information |
US11037000B2 (en) | 2019-09-27 | 2021-06-15 | Gm Cruise Holdings Llc | Intent-based dynamic change of resolution and region of interest of vehicle perception system |
US11070721B2 (en) * | 2019-09-27 | 2021-07-20 | Gm Cruise Holdings Llc | Intent-based dynamic change of compute resources of vehicle perception system |
KR102076113B1 (ko) * | 2019-10-14 | 2020-02-11 | (주)비에스아이시스템 | 쓰레기 무단 투기 영상 감시 장치 |
US11418773B2 (en) * | 2020-04-21 | 2022-08-16 | Plato Systems, Inc. | Method and apparatus for camera calibration |
US11288553B1 (en) | 2020-10-16 | 2022-03-29 | GM Global Technology Operations LLC | Methods and systems for bowl view stitching of images |
KR102535136B1 (ko) | 2021-08-05 | 2023-05-26 | 현대모비스 주식회사 | 영상정합장치 및 방법 |
US20230350412A1 (en) | 2022-04-28 | 2023-11-02 | Caterpillar Inc. | Digital panning of panoramic video to follow machine worktool movement |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP2013127739A (ja) * | 2011-12-19 | 2013-06-27 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 |
JP2013207637A (ja) * | 2012-03-29 | 2013-10-07 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びにコンピュータプログラム |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5559695A (en) * | 1994-12-27 | 1996-09-24 | Hughes Aircraft Company | Apparatus and method for self-calibrating visual time-to-contact sensor |
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
DE60009114T2 (de) * | 1999-09-20 | 2004-08-05 | Matsushita Electric Industrial Co. Ltd. | Vorrichtung zur unterstützung von kraftfahrzeugführern |
EP1303140A4 (en) * | 2000-07-19 | 2007-01-17 | Matsushita Electric Ind Co Ltd | MONITORING SYSTEM |
US6781594B2 (en) | 2001-08-21 | 2004-08-24 | Sony Computer Entertainment America Inc. | Method for computing the intensity of specularly reflected light |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
US7139432B2 (en) * | 2002-04-10 | 2006-11-21 | National Instruments Corporation | Image pattern matching utilizing discrete curve matching with a mapping operator |
WO2003093857A2 (en) * | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
CN100447614C (zh) | 2002-09-24 | 2008-12-31 | 西健尔 | 图像显示装置 |
JP3962676B2 (ja) * | 2002-11-29 | 2007-08-22 | キヤノン株式会社 | 画像処理方法及び装置 |
KR100526817B1 (ko) * | 2003-04-22 | 2005-11-08 | 학교법인 중앙대학교 | 스테레오 영상 구현 시 기본행렬을 구하는 방법 |
US7336299B2 (en) | 2003-07-03 | 2008-02-26 | Physical Optics Corporation | Panoramic video system with real-time distortion-free imaging |
JP2006311272A (ja) | 2005-04-28 | 2006-11-09 | Denso Corp | 車両用映像表示装置 |
JP4934308B2 (ja) | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
WO2007054862A2 (en) * | 2005-11-08 | 2007-05-18 | Koninklijke Philips Electronics N.V. | Method and system for filtering elongated features |
JP2007183877A (ja) | 2006-01-10 | 2007-07-19 | Nissan Motor Co Ltd | 車両用運転支援装置及び俯瞰映像の表示方法 |
US7576639B2 (en) | 2006-03-14 | 2009-08-18 | Mobileye Technologies, Ltd. | Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle |
KR100966875B1 (ko) | 2006-09-26 | 2010-06-29 | 삼성전자주식회사 | 전방위 영상을 이용한 로봇의 위치 결정방법 |
US8189959B2 (en) * | 2008-04-17 | 2012-05-29 | Microsoft Corporation | Image blending using multi-splines |
EP2285109B1 (en) * | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5439890B2 (ja) | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
JP5271154B2 (ja) * | 2009-05-29 | 2013-08-21 | 富士通テン株式会社 | 画像生成装置及び画像表示システム |
CN101626513A (zh) | 2009-07-23 | 2010-01-13 | 深圳大学 | 全景视频生成方法及*** |
JP5299513B2 (ja) * | 2009-08-12 | 2013-09-25 | 日本電気株式会社 | 障害物検知装置及び方法並びに障害物検知システム |
JP2011086111A (ja) * | 2009-10-15 | 2011-04-28 | Mitsubishi Electric Corp | 撮像装置校正方法及び画像合成装置 |
US9041807B2 (en) * | 2010-01-29 | 2015-05-26 | Fujitsu Ten Limited | Image processing device and image processing method |
CN102972035A (zh) | 2010-06-30 | 2013-03-13 | 富士胶片株式会社 | 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法 |
US8454147B2 (en) | 2010-07-31 | 2013-06-04 | Xerox Corporation | Method and system for delivering solid-ink pellets |
JP2011155651A (ja) | 2011-02-10 | 2011-08-11 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
EP2511137B1 (en) * | 2011-04-14 | 2019-03-27 | Harman Becker Automotive Systems GmbH | Vehicle Surround View System |
EP2523163B1 (en) * | 2011-05-10 | 2019-10-16 | Harman Becker Automotive Systems GmbH | Method and program for calibrating a multicamera system |
EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
KR101265667B1 (ko) * | 2011-06-21 | 2013-05-22 | ㈜베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
EP2541498B1 (en) * | 2011-06-30 | 2017-09-06 | Harman Becker Automotive Systems GmbH | Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system |
US8447116B2 (en) * | 2011-07-22 | 2013-05-21 | Honeywell International Inc. | Identifying true feature matches for vision based navigation |
EP2554434B1 (en) | 2011-08-05 | 2014-05-21 | Harman Becker Automotive Systems GmbH | Vehicle surround view system |
KR101913837B1 (ko) | 2011-11-29 | 2018-11-01 | 삼성전자주식회사 | 파노라마 영상 생성 방법 및 이를 적용한 영상기기 |
TW201333896A (zh) * | 2012-02-14 | 2013-08-16 | yan-hong Jiang | 使用視訊雷達的遠距交通管理系統 |
US9275485B2 (en) * | 2012-06-28 | 2016-03-01 | The University Of Utah Research Foundation | Seam network processing for panorama weaving |
CN102930601B (zh) | 2012-10-10 | 2015-09-30 | 中国人民解放军信息工程大学 | 一种双模三维地形立体环境的构建方法 |
CN104937634B (zh) * | 2012-12-26 | 2018-04-03 | 哈曼国际工业有限公司 | 用于生成环绕视图的方法和*** |
US9762889B2 (en) * | 2013-05-08 | 2017-09-12 | Sony Corporation | Subtitle detection for stereoscopic video contents |
US10442355B2 (en) | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
-
2013
- 2013-12-19 CN CN201380081051.5A patent/CN105765966B/zh active Active
- 2013-12-19 US US14/367,987 patent/US10210597B2/en active Active
- 2013-12-19 JP JP2016538099A patent/JP6224251B2/ja not_active Expired - Fee Related
- 2013-12-19 KR KR1020167012786A patent/KR101811157B1/ko active IP Right Grant
- 2013-12-19 WO PCT/US2013/076644 patent/WO2015094298A1/en active Application Filing
- 2013-12-19 EP EP13899483.5A patent/EP3085074B1/en active Active
-
2018
- 2018-04-10 US US15/950,011 patent/US10692173B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP2013127739A (ja) * | 2011-12-19 | 2013-06-27 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 |
JP2013207637A (ja) * | 2012-03-29 | 2013-10-07 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びにコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3085074A1 (en) | 2016-10-26 |
CN105765966A (zh) | 2016-07-13 |
CN105765966B (zh) | 2020-07-10 |
KR20160072190A (ko) | 2016-06-22 |
WO2015094298A1 (en) | 2015-06-25 |
US20150178884A1 (en) | 2015-06-25 |
KR101811157B1 (ko) | 2018-01-25 |
EP3085074A4 (en) | 2017-08-30 |
US10692173B2 (en) | 2020-06-23 |
US10210597B2 (en) | 2019-02-19 |
US20180232851A1 (en) | 2018-08-16 |
EP3085074B1 (en) | 2020-02-26 |
JP6224251B2 (ja) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6224251B2 (ja) | ボウル形状イメージングシステム | |
EP3195584B1 (en) | Object visualization in bowl-shaped imaging systems | |
US11727587B2 (en) | Method and system for scene image modification | |
US11635767B2 (en) | System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles | |
JP6371553B2 (ja) | 映像表示装置および映像表示システム | |
JP6453449B2 (ja) | ボウル型イメージングシステムにおけるオブジェクト追跡 | |
WO2015180659A1 (zh) | 图像处理方法和图像处理装置 | |
KR20120130788A (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
CN110166680B (zh) | 设备成像方法、装置、存储介质及电子设备 | |
JP7013144B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
US11893707B2 (en) | Vehicle undercarriage imaging | |
JP2020140497A (ja) | 演算装置、視差算出方法 | |
WO2021254107A1 (zh) | 电子装置以及在显示设备上显示图像的方法 | |
WO2023056199A1 (en) | A system and method to improve object detection accuracy by focus bracketing | |
Aslan et al. | Depth image super resolution via multi-hypothesis estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6224251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |