JP2018026064A - 画像処理装置、画像処理方法、システム - Google Patents
画像処理装置、画像処理方法、システム Download PDFInfo
- Publication number
- JP2018026064A JP2018026064A JP2016158912A JP2016158912A JP2018026064A JP 2018026064 A JP2018026064 A JP 2018026064A JP 2016158912 A JP2016158912 A JP 2016158912A JP 2016158912 A JP2016158912 A JP 2016158912A JP 2018026064 A JP2018026064 A JP 2018026064A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- viewpoint
- objects
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 239000002131 composite material Substances 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 46
- 238000001514 detection method Methods 0.000 description 42
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 被写体を複数の視点から撮像するための複数のカメラに対応する複数のカメラ視点のうちオブジェクトのオクルージョンが発生していないカメラ視点を特定する。該特定したカメラ視点において撮像された画像中のオブジェクトを合成することで合成オブジェクトを生成し、該合成オブジェクトを含む画像を、仮想視点における画像として生成する。
【選択図】 図1
Description
本実施形態では、仮想視点コンテンツを生成するための画像処理装置の一例について説明する。本実施形態における仮想視点コンテンツとは、仮想的な視点から被写体を撮像した場合に得られる画像を模擬して生成される仮想視点画像を含むコンテンツである。仮想的な視点(仮想視点)は、ユーザ(オペレータ)により指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。また、本実施形態の仮想視点コンテンツは、仮想的な視点から収音した場合に得られる音声を模擬して生成される仮想視点音声が含まれるようにしても良い。本実施形態では、仮想視点画像の生成方法について以下で詳細に説明する。
上記の「カメラ2A及びカメラ2Bに近接する仮想視点における仮想視点画像を画像処理装置3に生成させる指示」には様々なものが考えられる。例えば、競技場1を俯瞰した俯瞰図に各カメラ2の配置図を重ねた図面を表示部に表示してユーザに提示し、ユーザは該図面上の任意の位置を仮想視点の位置として指定する。制御部12は、図面上で指定された位置に近接するカメラを選択する。また、仮想視点の位置を、隣接するカメラ間の中点位置と規定する場合、ユーザは上記図面上で2つのカメラを指定することで、該2つのカメラの中点位置を仮想視点の位置として設定するようにしても良い。
第1の実施形態では、図3に示した各機能部は何れもハードウェアで実装されるものとして説明した。しかし、記録部6をメモリで実装し、それ以外の機能部をソフトウェア(コンピュータプログラム)で実装しても良い。この場合、このソフトウェアを実行可能なコンピュータ装置は、上記の画像処理装置3に適用することができる。画像処理装置3に適用可能なコンピュータ装置のハードウェア構成例について、図6のブロック図を用いて説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 被写体を複数の視点から撮像するための複数のカメラに対応する複数のカメラ視点のうちオブジェクトのオクルージョンが発生していないカメラ視点を特定する特定手段と、
前記特定手段が特定したカメラ視点において撮像された画像中のオブジェクトを合成することで合成オブジェクトを生成し、該合成オブジェクトを含む画像を、仮想視点における画像として生成する生成手段と
を備えることを特徴とする画像処理装置。 - 前記特定手段は、前記複数のカメラ視点のうち第1カメラ視点において撮像された画像中の複数のオブジェクトの位置を、前記複数のカメラ視点のうち第2カメラ視点において撮像された画像中の位置に変換した場合、前記複数のオブジェクトが前記第2カメラ視点における前記複数のオブジェクトより少ない数のオブジェクトに対応する場合、前記第2カメラ視点においてオクルージョンが発生していると判断することを特徴とする請求項1に記載の画像処理装置。
- 前記特定手段は、前記複数のオブジェクトの位置の変換の結果が前記第2カメラ視点において撮像された画像中のオブジェクトの領域内ではない場合には、該第2カメラ視点にてオクルージョンが発生していないと判断することを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記仮想視点の位置と、前記特定手段が特定したカメラ視点の位置と、の間の距離に応じた合成比でもって、前記特定手段が特定したカメラ視点において撮像した画像中のオブジェクトを合成することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記合成をモーフィングによって行うことを特徴とする請求項4に記載の画像処理装置。
- 前記複数のカメラ視点は、撮像対象のフィールドを囲むように設置されていることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 更に、
前記仮想視点における画像を出力する出力手段を備えることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 被写体を複数の視点から撮像するための複数のカメラと、画像処理装置と、を有するシステムであって、
前記画像処理装置は、
前記複数のカメラに対応する複数のカメラ視点のうちオブジェクトのオクルージョンが発生していないカメラ視点を特定する特定手段と、
前記特定手段が特定したカメラ視点において撮像された画像中のオブジェクトを合成することで合成オブジェクトを生成し、該合成オブジェクトを含む画像を、仮想視点における画像として生成する生成手段と
を備えることを特徴とするシステム。 - 画像処理装置が行う画像処理方法であって、
被写体を複数の視点から撮像するための複数のカメラに対応する複数のカメラ視点のうちオブジェクトのオクルージョンが発生していないカメラ視点を特定する特定工程と、
前記特定工程で特定したカメラ視点において撮像された画像中のオブジェクトを合成することで合成オブジェクトを生成し、該合成オブジェクトを含む画像を、仮想視点における画像として生成する生成工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至7の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016158912A JP6882868B2 (ja) | 2016-08-12 | 2016-08-12 | 画像処理装置、画像処理方法、システム |
US15/663,163 US10244163B2 (en) | 2016-08-12 | 2017-07-28 | Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium |
EP17185816.0A EP3285484B1 (en) | 2016-08-12 | 2017-08-10 | Image processing apparatus, image generation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016158912A JP6882868B2 (ja) | 2016-08-12 | 2016-08-12 | 画像処理装置、画像処理方法、システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018026064A true JP2018026064A (ja) | 2018-02-15 |
JP2018026064A5 JP2018026064A5 (ja) | 2019-09-19 |
JP6882868B2 JP6882868B2 (ja) | 2021-06-02 |
Family
ID=59745166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016158912A Active JP6882868B2 (ja) | 2016-08-12 | 2016-08-12 | 画像処理装置、画像処理方法、システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10244163B2 (ja) |
EP (1) | EP3285484B1 (ja) |
JP (1) | JP6882868B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020087005A (ja) * | 2018-11-27 | 2020-06-04 | キヤノン株式会社 | 画像処理装置、画像生成方法およびプログラム |
WO2021161878A1 (ja) * | 2020-02-14 | 2021-08-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
JP7030452B2 (ja) * | 2017-08-30 | 2022-03-07 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
KR102178239B1 (ko) * | 2017-12-14 | 2020-11-12 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
JP7132730B2 (ja) * | 2018-03-14 | 2022-09-07 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
US10818077B2 (en) * | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
CN110798673B (zh) * | 2019-11-13 | 2021-03-19 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
WO2021131375A1 (ja) * | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170487A (ja) * | 2010-02-17 | 2011-09-01 | Kddi Corp | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
JP2015022510A (ja) * | 2013-07-18 | 2015-02-02 | 凸版印刷株式会社 | 自由視点画像撮像装置およびその方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8154633B2 (en) * | 2007-11-16 | 2012-04-10 | Sportvision, Inc. | Line removal and object detection in an image |
JP5969376B2 (ja) | 2012-12-19 | 2016-08-17 | Kddi株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、およびプログラム |
-
2016
- 2016-08-12 JP JP2016158912A patent/JP6882868B2/ja active Active
-
2017
- 2017-07-28 US US15/663,163 patent/US10244163B2/en active Active
- 2017-08-10 EP EP17185816.0A patent/EP3285484B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170487A (ja) * | 2010-02-17 | 2011-09-01 | Kddi Corp | 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム |
JP2015022510A (ja) * | 2013-07-18 | 2015-02-02 | 凸版印刷株式会社 | 自由視点画像撮像装置およびその方法 |
Non-Patent Citations (1)
Title |
---|
TAKAYOSHI KOYAMA ET AL.: "Live Mixed-Reality 3D Video in Soccer Stadium", [ONLINE], JPN6021012797, 27 October 2003 (2003-10-27), ISSN: 0004482441 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020087005A (ja) * | 2018-11-27 | 2020-06-04 | キヤノン株式会社 | 画像処理装置、画像生成方法およびプログラム |
WO2021161878A1 (ja) * | 2020-02-14 | 2021-08-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
JP2021128592A (ja) * | 2020-02-14 | 2021-09-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
JP7427467B2 (ja) | 2020-02-14 | 2024-02-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6882868B2 (ja) | 2021-06-02 |
US20180048810A1 (en) | 2018-02-15 |
US10244163B2 (en) | 2019-03-26 |
EP3285484B1 (en) | 2021-05-26 |
EP3285484A1 (en) | 2018-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
WO2019205852A1 (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
US9697581B2 (en) | Image processing apparatus and image processing method | |
US10785469B2 (en) | Generation apparatus and method for generating a virtual viewpoint image | |
JP2008033958A (ja) | データ処理システムおよび方法 | |
JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
CN111273772B (zh) | 基于slam测绘方法的增强现实交互方法、装置 | |
JP7027049B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017037426A (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2015072091A1 (ja) | 画像処理装置、画像処理方法及びプログラム記憶媒体 | |
Placitelli et al. | 3D point cloud sensors for low-cost medical in-situ visualization | |
JP2019144958A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN112634439B (zh) | 一种3d信息展示方法及装置 | |
CN112652056B (zh) | 一种3d信息展示方法及装置 | |
CN113167568A (zh) | 坐标计算装置、坐标计算方法和计算机可读记录介质 | |
CN113168706A (zh) | 视频流的帧中的对象位置确定 | |
JP2020057038A (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
CN110914871A (zh) | 获取三维场景的方法与装置 | |
WO2021176877A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2023160072A1 (zh) | 增强现实ar场景中的人机交互方法、装置和电子设备 | |
JP7074694B2 (ja) | 情報端末装置及びプログラム | |
JP7119853B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
US20240144530A1 (en) | Method, program, and system for 3d scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6882868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |