JP7162750B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP7162750B2 JP7162750B2 JP2021545056A JP2021545056A JP7162750B2 JP 7162750 B2 JP7162750 B2 JP 7162750B2 JP 2021545056 A JP2021545056 A JP 2021545056A JP 2021545056 A JP2021545056 A JP 2021545056A JP 7162750 B2 JP7162750 B2 JP 7162750B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- pixel
- image
- captured image
- position recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Description
Claims (7)
- 2次元の撮像画像を順次取得する画像取得部と、
順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行部と、
順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの3次元位置認識を実行して3次元マップを作成する3次元マップ作成部と、
前記撮像画像の撮像位置を視点として前記3次元マップをレンダリングすることにより2次元画像を作成するレンダリング部と、
前記2次元画像に対して、前記撮像画像のピクセルのうち、3次元位置認識が制限されたピクセルを合成する合成部と、
を含み、
前記3次元マップ作成部は、前記撮像画像の各ピクセルの3次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とする画像処理装置。 - 前記3次元マップ作成部は、ピクセルに付されたラベルが、移動するオブジェクトの種類を示す場合に、該ピクセルの3次元位置認識を制限する、ことを特徴とする請求項1に記載の画像処理装置。
- 前記3次元マップ作成部は、前記撮像画像の各ピクセルに付されたラベルに基づいて、前記撮像画像を複数の領域に分割し、領域ごとに該領域に含まれるピクセルの3次元位置認識を実行する、ことを特徴とする請求項1または2に記載の画像処理装置。
- 前記3次元マップ作成部は、領域ごとの3次元位置認識結果を合成することで前記3次元マップを作成する、ことを特徴とする請求項3に記載の画像処理装置。
- 前記3次元マップ作成部は、さらに、前記ラベルに応じて予め設定された重み係数を用いて、前記3次元位置認識を制限することを特徴とする請求項1に記載の画像処理装置。
- 2次元の撮像画像を順次取得する画像取得ステップと、
順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行ステップと、
順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの3次元位置認識を実行して3次元マップを作成する3次元マップ作成ステップと、
前記撮像画像の撮像位置を視点として前記3次元マップをレンダリングすることにより2次元画像を作成するレンダリングステップと、
前記2次元画像に対して、前記撮像画像のピクセルのうち、3次元位置認識が制限されたピクセルを合成する合成ステップと、
を含み、
前記3次元マップ作成ステップにおいて、前記撮像画像の各ピクセルの3次元位置認識は、該ピクセルに付されたラベルに応じて制限される、ことを特徴とする画像処理方法。 - 2次元の撮像画像を順次取得する画像取得手順と、
順次取得された前記撮像画像の各ピクセルに、該ピクセルにより表されたオブジェクトの種類を表すラベルを付すオブジェクト種類認識実行手順と、
順次取得された前記撮像画像に基づいて、前記撮像画像の各ピクセルの3次元位置認識を実行して3次元マップを作成する3次元マップ作成手順と、
前記撮像画像の撮像位置を視点として前記3次元マップをレンダリングすることにより2次元画像を作成するレンダリング手順と、
前記2次元画像に対して、前記撮像画像のピクセルのうち、3次元位置認識が制限されたピクセルを合成する合成手順と、
をコンピュータに実行させるプログラムであって、
前記3次元マップ作成手順において、前記撮像画像の各ピクセルの3次元位置認識を、該ピクセルに付されたラベルに応じて制限する、ことを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035972 WO2021048985A1 (ja) | 2019-09-12 | 2019-09-12 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021048985A1 JPWO2021048985A1 (ja) | 2021-03-18 |
JP7162750B2 true JP7162750B2 (ja) | 2022-10-28 |
Family
ID=74866314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021545056A Active JP7162750B2 (ja) | 2019-09-12 | 2019-09-12 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12014459B2 (ja) |
JP (1) | JP7162750B2 (ja) |
WO (1) | WO2021048985A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11734477B2 (en) * | 2018-03-08 | 2023-08-22 | Concurrent Technologies Corporation | Location-based VR topological extrusion apparatus |
US10887582B2 (en) | 2019-01-22 | 2021-01-05 | Fyusion, Inc. | Object damage aggregation |
US11776142B2 (en) * | 2020-01-16 | 2023-10-03 | Fyusion, Inc. | Structuring visual data |
US11605151B2 (en) | 2021-03-02 | 2023-03-14 | Fyusion, Inc. | Vehicle undercarriage imaging |
CN114067068A (zh) * | 2021-11-11 | 2022-02-18 | 武汉理工大学重庆研究院 | 一种环境建图方法、装置、设备及存储介质 |
JP7254222B1 (ja) | 2022-01-20 | 2023-04-07 | 三菱電機エンジニアリング株式会社 | 環境地図生成装置、環境地図生成方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015111283A1 (ja) | 2014-01-23 | 2015-07-30 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
JP2019028861A (ja) | 2017-08-02 | 2019-02-21 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
JP2019134428A (ja) | 2019-02-13 | 2019-08-08 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778406B2 (ja) * | 1991-03-11 | 1995-08-23 | 工業技術院長 | 多視点距離データの統合方法 |
US7324682B2 (en) * | 2004-03-25 | 2008-01-29 | Mitutoyo Corporation | System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US9462301B2 (en) * | 2013-03-15 | 2016-10-04 | Google Inc. | Generating videos with multiple viewpoints |
WO2017079341A2 (en) * | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
EP3552147A1 (en) * | 2016-12-12 | 2019-10-16 | The Charles Stark Draper Laboratory, Inc. | System and method for semantic simultaneous localization and mapping of static and dynamic objects |
US10338594B2 (en) * | 2017-03-13 | 2019-07-02 | Nio Usa, Inc. | Navigation of autonomous vehicles to enhance safety under one or more fault conditions |
US10558864B2 (en) * | 2017-05-18 | 2020-02-11 | TuSimple | System and method for image localization based on semantic segmentation |
US11676296B2 (en) * | 2017-08-11 | 2023-06-13 | Sri International | Augmenting reality using semantic segmentation |
KR102472767B1 (ko) * | 2017-09-14 | 2022-12-01 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
GB2583676B (en) * | 2018-01-18 | 2023-03-29 | Gumgum Inc | Augmenting detected regions in image or video data |
US10657388B2 (en) * | 2018-03-13 | 2020-05-19 | Honda Motor Co., Ltd. | Robust simultaneous localization and mapping via removal of dynamic traffic participants |
US11922636B2 (en) * | 2018-10-09 | 2024-03-05 | Google Llc | Placing augmented reality objects in an image based on device position |
JP6757392B2 (ja) * | 2018-11-21 | 2020-09-16 | 株式会社モルフォ | 画像生成装置、画像生成方法及び画像生成プログラム |
US11151391B2 (en) * | 2018-12-10 | 2021-10-19 | Here Global B.V. | Method and apparatus for creating a visual map without dynamic content |
US11003945B2 (en) * | 2019-05-22 | 2021-05-11 | Zoox, Inc. | Localization using semantically segmented images |
US10769848B1 (en) * | 2019-05-24 | 2020-09-08 | Adobe, Inc. | 3D object reconstruction using photometric mesh representation |
-
2019
- 2019-09-12 US US17/635,951 patent/US12014459B2/en active Active
- 2019-09-12 JP JP2021545056A patent/JP7162750B2/ja active Active
- 2019-09-12 WO PCT/JP2019/035972 patent/WO2021048985A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015111283A1 (ja) | 2014-01-23 | 2015-07-30 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
JP2019028861A (ja) | 2017-08-02 | 2019-02-21 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
JP2019134428A (ja) | 2019-02-13 | 2019-08-08 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Non-Patent Citations (1)
Title |
---|
TATENO, Keisuke et al.,CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction,[online],2017年,https://arxiv.org/pdf/1704.03489.pdf |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021048985A1 (ja) | 2021-03-18 |
US12014459B2 (en) | 2024-06-18 |
WO2021048985A1 (ja) | 2021-03-18 |
US20220335681A1 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7162750B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US10102639B2 (en) | Building a three-dimensional composite scene | |
Zollmann et al. | Image-based ghostings for single layer occlusions in augmented reality | |
Kadambi et al. | 3d depth cameras in vision: Benefits and limitations of the hardware: With an emphasis on the first-and second-generation kinect models | |
US8401225B2 (en) | Moving object segmentation using depth images | |
JP2020526818A (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
Shen et al. | Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background | |
US20200320727A1 (en) | Method and apparatus for generating a three-dimensional model | |
CN110998659A (zh) | 图像处理***、图像处理方法、及程序 | |
Rambach et al. | [poster] augmented things: Enhancing ar applications leveraging the internet of things and universal 3d object tracking | |
JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN110832542B (zh) | 识别处理设备、识别处理方法和程序 | |
JP7499280B2 (ja) | 人物の単眼深度推定のための方法およびシステム | |
Macedo et al. | Occlusion handling in augmented reality: past, present and future | |
US11900552B2 (en) | System and method for generating virtual pseudo 3D outputs from images | |
US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
US9208606B2 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
US11275434B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7178499B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
Zhang et al. | Setforge-synthetic RGB-D training data generation to support CNN-based pose estimation for augmented reality | |
US11315334B1 (en) | Display apparatuses and methods incorporating image masking | |
JP7479978B2 (ja) | 内視映像表示システム、内視映像表示装置及び内視映像表示方法 | |
Penk et al. | DeNos22: A Pipeline to Learn Object Tracking Using Simulated Depth. | |
Jiddi | Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality | |
Alldieck et al. | Reconstructing 3D Human Avatars from Monocular Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7162750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |