JP2018191254A - 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム - Google Patents
画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム Download PDFInfo
- Publication number
- JP2018191254A JP2018191254A JP2017094877A JP2017094877A JP2018191254A JP 2018191254 A JP2018191254 A JP 2018191254A JP 2017094877 A JP2017094877 A JP 2017094877A JP 2017094877 A JP2017094877 A JP 2017094877A JP 2018191254 A JP2018191254 A JP 2018191254A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- information
- virtual viewpoint
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 230000010365 information processing Effects 0.000 title claims description 8
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 29
- 238000011144 upstream manufacturing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 description 15
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 4
- 241000723353 Chrysanthemum Species 0.000 description 2
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
撮像手段が撮像した撮像画像を取得する取得手段と、
複数の撮像手段により得られた複数の画像と仮想視点の位置および方向とに基づいて仮想視点画像を生成するための生成処理の一部を、前記撮像画像に行って処理済み情報を得る処理手段と、
前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定する判定手段と、
前記判定手段により前記撮像画像が前記生成に適していると判定された場合には前記処理済み情報を送信し、前記判定手段により前記撮像画像が前記仮想視点画像の生成に適していないと判定された場合には、前記撮像画像が仮想視点画像の生成に適しないことを示す不適情報を送信する送信手段と、を備える。
図1は、画像処理システム100の構成例を示すブロック図である。画像処理システム100では、競技場(スタジアム)やコンサートホールなどの施設に設置された複数のカメラ及びマイクを用いて撮影及び集音が行われる。画像処理システム100は、センサシステム110a〜センサシステム110z、画像コンピューティングサーバ200、コントローラ300、スイッチングハブ180、及びエンドユーザ端末190を有する。カメラアダプタ120a〜120z、画像コンピューティングサーバ200、コントローラ300は、それぞれCPU、メモリを含むコンピュータ装置である。以下に説明されるカメラアダプタ120a〜120z、画像コンピューティングサーバ200、コントローラ300の動作は、それぞれの装置においてCPUがメモリに格納されたプログラムを実行することにより実現され得る。あるいは、各動作の一部または全体が専用のハードウエアにより実現されてもよい。
第1実施形態では、カメラアダプタ120が、自カメラ画像が仮想視点コンテンツを生成するのに不向きな不適画像であるか否かを判定し、不適画像と判断された場合に、不適情報とともにその不適画像をサーバへ伝送する。これにより、仮想カメラ操作UI330において、生成された仮想視点コンテンツに替えて不適画像の表示を行うことが可能とした。第2実施形態では、カメラで撮影した画像が仮想視点コンテンツを生成するのに不向きな画像であるか否かを判定し、所定期間にわたって不向きな画像と判断された場合に、不適情報とともにカメラで撮影された画像をサーバへ伝送する。なお、第2実施形態の画像処理システム100の構成は第1実施形態と同様である。
第1実施形態および第2実施形態のカメラアダプタ120は、不適画像とともに不適情報を送信した。第3実施形態では、自カメラ画像が不適画像であると判断された場合に、まず、カメラアダプタ120は、不適情報を画像コンピューティングサーバ200へ送信する。そして、仮想カメラ操作UI330へのオペレータの操作により不適画像の表示が指示された場合に、不適情報を出力したセンサシステム110に対して不適画像の送信要求を出力する。この要求を受けたカメラアダプタ120は、不適情報とともに不適画像と判定された自カメラ画像を送信する。仮想カメラ操作UI330では、カメラアダプタ120から送信された自カメラ画像(不適画像)を、仮想視点コンテンツに代えて表示する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 撮像手段が撮像した撮像画像を取得する取得手段と、
複数の撮像手段により得られた複数の画像と仮想カメラの位置及び姿勢とに基づいて仮想視点画像を生成するための生成処理の一部を、前記撮像画像に行って処理済み情報を得る処理手段と、
前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定する判定手段と、
前記判定手段により前記撮像画像が前記生成に適した画像であると判定された場合には前記処理済み情報を送信し、前記判定手段により前記撮像画像が前記生成に適していないと判定された場合には、前記撮像画像が仮想視点画像の生成に適しないことを示す不適情報を送信する送信手段と、を備えることを特徴とする画像処理装置。 - 前記送信手段は、前記判定手段により前記撮像画像が前記仮想視点画像の生成に適していないと判定された場合には、前記不適情報に加えて、前記撮像画像を送信することを特徴とする請求項1に記載の画像処理装置。
- 前記処理手段は、前記撮像画像から抽出したオブジェクト画像の情報を前記処理済み情報として生成し、
前記判定手段は、前記オブジェクト画像に基づいて、前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記送信手段は、前記処理済み情報として、前記オブジェクト画像と背景画像を圧縮して送信することを特徴とする請求項3に記載の画像処理装置。
- 前記送信手段は、前記撮像画像の送信データ量を前記処理済み情報の送信データ量よりも低減させることを特徴とする請求項2に記載の画像処理装置。
- 前記送信手段は、前記撮像画像を圧縮することを特徴とする請求項5に記載の画像処理装置。
- 前記送信手段は、前記撮像画像を、前記処理済み情報のフレームレートよりも低いフレームレートで送信することを特徴とする請求項5または6に記載の画像処理装置。
- 前記送信手段は、前記撮像画像が前記生成処理に適していない状態が所定時間にわたって継続した場合に前記不適情報を送信することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記送信手段は、前記判定手段により前記撮像画像が前記生成に適していないと判定された場合に前記不適情報を送信すると共に、外部からの要求に応じて前記不適情報に対応する撮像画像を送信することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記判定手段は、各々が撮像手段を有する複数の画像処理装置がデイジーチェーンにより接続されている場合において、上流側の画像処理装置から受信したオブジェクト画像と、前記撮像画像から分離されたオブジェクト画像に基づいて前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 請求項1乃至10のいずれか1項に記載の画像処理装置と、
前記撮像手段と、を備えることを特徴とする撮像装置。 - 各々が撮像装置を含む複数のセンサシステムから得られた複数の撮像画像と、仮想カメラの位置及び姿勢とに基づいて仮想視点画像を生成する生成処理により得られた仮想視点画像を、表示装置に表示させる表示制御手段と、
前記複数のセンサシステムのうち、前記仮想視点画像の生成に適さない撮像画像を撮像した撮像装置を有するセンサシステムが送信した不適情報を受信する受信手段と、を備え、
前記表示制御手段は、前記不適情報に対応する撮像画像を取得し、表示装置に表示させる、ことを特徴とする情報処理装置。 - 仮想カメラの位置と姿勢を指示する指示手段をさらに備え、
前記生成処理では、前記指示手段により指示された仮想カメラの位置と姿勢に基づく仮想視点画像を生成することを特徴とする請求項12に記載の情報処理装置。 - 前記不適情報を受信したことを報知する報知手段をさらに備えることを特徴とする請求項12または13に記載の情報処理装置。
- 複数の撮像装置から得られた画像と仮想カメラの位置及び姿勢とに基づいて仮想視点画像を生成するための生成処理を行う画像処理システムであって、
前記生成処理の一部を、撮像手段から取得した撮像画像に行って処理済み情報を得る処理手段と、
前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定する判定手段と、
前記判定手段により適していると判定された場合には前記処理済み情報を送信し、前記判定手段により適していないと判定された場合には、前記撮像画像が生成に適しないことを示す不適情報を送信する送信手段と、を各々が有する複数のセンサシステムと、
前記複数のセンサシステムから送信された処理済み情報を受信し、受信した処理済み情報に基づいて仮想視点画像を生成するサーバ装置と、
前記サーバ装置により生成された仮想視点画像を表示装置に表示させる情報処理装置と、を備え、前記情報処理装置は、前記不適情報に対応する撮像画像を取得し、表示装置に表示させる、ことを特徴とする画像処理システム。 - 撮像手段が撮像した撮像画像を取得する取得工程と、
複数の撮像装置により得られた複数の画像と仮想カメラの位置及び姿勢とに基づいて仮想視点画像を生成するための生成処理の一部を、前記撮像画像に行って処理済み情報を得る処理工程と、
前記撮像画像が前記仮想視点画像の生成に適しているか否かを判定する判定工程と、
前記判定工程において前記撮像画像が前記生成に適した画像であると判定された場合には前記処理済み情報を送信し、前記判定工程において前記撮像画像が前記生成処理に適していないと判定された場合には、前記撮像画像が前記仮想視点画像の生成に適しないことを示す不適情報を送信する送信工程と、を有することを特徴とする画像処理方法。 - コンピュータを請求項1乃至10のうち何れか1項に記載の画像処理装置の各手段として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094877A JP6871801B2 (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
US15/974,134 US20180330163A1 (en) | 2017-05-11 | 2018-05-08 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094877A JP6871801B2 (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018191254A true JP2018191254A (ja) | 2018-11-29 |
JP6871801B2 JP6871801B2 (ja) | 2021-05-12 |
Family
ID=64097232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017094877A Active JP6871801B2 (ja) | 2017-05-11 | 2017-05-11 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180330163A1 (ja) |
JP (1) | JP6871801B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102178239B1 (ko) * | 2017-12-14 | 2020-11-12 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
JP2020010300A (ja) * | 2018-07-12 | 2020-01-16 | キヤノン株式会社 | 映像生成装置、映像生成装置の制御方法及びプログラム |
JP7250493B2 (ja) * | 2018-12-03 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、三次元形状データの生成方法およびプログラム |
JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
WO2021117482A1 (ja) * | 2019-12-09 | 2021-06-17 | ソニーグループ株式会社 | 情報処理装置および方法、プログラム、並びに、情報処理システム |
JP7324251B2 (ja) * | 2021-07-09 | 2023-08-09 | キヤノン株式会社 | 情報処理装置および情報処理方法、映像表示システム、プログラム |
JP7459199B1 (ja) * | 2022-09-20 | 2024-04-01 | キヤノン株式会社 | 画像処理システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246667A (ja) * | 2003-02-14 | 2004-09-02 | Keiogijuku | 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム |
JP2016119513A (ja) * | 2014-12-18 | 2016-06-30 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
US9041722B2 (en) * | 2007-11-16 | 2015-05-26 | Sportvision, Inc. | Updating background texture for virtual viewpoint animations |
-
2017
- 2017-05-11 JP JP2017094877A patent/JP6871801B2/ja active Active
-
2018
- 2018-05-08 US US15/974,134 patent/US20180330163A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246667A (ja) * | 2003-02-14 | 2004-09-02 | Keiogijuku | 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム |
JP2016119513A (ja) * | 2014-12-18 | 2016-06-30 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180330163A1 (en) | 2018-11-15 |
JP6871801B2 (ja) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6871801B2 (ja) | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム | |
CN109275358B (zh) | 根据用户所选择的视点从具有菊花链连接的照相机阵列生成虚拟图像的方法和设备 | |
CN109565580B (zh) | 信息处理设备、图像生成方法、控制方法和程序 | |
KR102121931B1 (ko) | 제어 디바이스, 제어 방법 및 저장 매체 | |
KR102208473B1 (ko) | 상이한 프레임 레이트들로 전경 화상 및 배경 화상을 송신하는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치 | |
CN109565582B (zh) | 控制装置及其控制方法和计算机可读存储介质 | |
JP6894687B2 (ja) | 画像処理システム、画像処理装置、制御方法、及び、プログラム | |
US20200204784A1 (en) | Information processing apparatus and control method therefor | |
JP7042571B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2019022151A (ja) | 情報処理装置、画像処理システム、制御方法、及び、プログラム | |
JP2018191251A (ja) | 情報処理システム、情報処理方法、およびプログラム | |
JP2019008429A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2019134428A (ja) | 制御装置、制御方法、及び、プログラム | |
JP2021119459A (ja) | 生成装置、生成方法 | |
JP7297969B2 (ja) | 情報処理装置、プログラム、生成方法、及び、システム | |
JP7204789B2 (ja) | 制御装置、制御方法、及び、プログラム | |
JP2019075740A (ja) | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム | |
JP7134636B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2021093648A (ja) | 画像データ処理装置、画像データ処理方法、及びプログラム | |
JP2019080183A (ja) | 画像伝送装置、画像伝送方法、及びプログラム | |
JP2018191236A (ja) | 情報処理システム、情報処理方法、装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200501 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6871801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |