JP5562103B2 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP5562103B2 JP5562103B2 JP2010095094A JP2010095094A JP5562103B2 JP 5562103 B2 JP5562103 B2 JP 5562103B2 JP 2010095094 A JP2010095094 A JP 2010095094A JP 2010095094 A JP2010095094 A JP 2010095094A JP 5562103 B2 JP5562103 B2 JP 5562103B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- virtual viewpoint
- frame
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 116
- 238000000034 method Methods 0.000 title claims description 80
- 230000008569 process Effects 0.000 claims description 74
- 238000003672 processing method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 62
- 238000012216 screening Methods 0.000 description 51
- 238000012937 correction Methods 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000000872 buffer Substances 0.000 description 8
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
キャプチャPC202は、カメラからの映像をキャプチャし、画像処理PC203へ伝送する。図3は、キャプチャPC202が実行する処理の概要を示す図である。送信経路の帯域の問題で受信したデータを遅延無く送ることができない場合があるので、予め指定された秒数分だけバッファリングする機能を有する。また、画像処理PC203で適用する仮想視点映像生成処理には、撮影時のレンズ特性データが必要となる。しかしながら、レンズ特性データはカメラの撮影時設定(例えば、f値、画角、撮影距離)によって変化することが知られているので、キャプチャPCは撮影時設定に応じたレンズ補正データをレンズ補正値データベースから取得する手段を備える。取得したレンズ補正データは、画像データに付加して送信する(図4)。レンズ補正データには、歪曲、周辺光量、倍率色収差などの様々な補正データが考えられるが、説明を簡単にするため本実施例では歪曲と周辺光量の補正データを格納するものとする。また、仮想視点映像を生成するためには、撮影用カメラ101の位置、方向、姿勢や画角などの情報が必要となる。そこで、画像データにこれらの情報も付加する。
画像処理PC203は、キャプチャPC202から受信した映像を加工し、画像表示PC204へ送信する。図8は、画像処理PC内の処理の概要を示す図である。キャプチャPCと同様に、全てのキャプチャPCと接続した状態を維持するため、キャプチャPC台数分のデータ受信スレッドを起動する。
画像表示PC204は、次の機能を持つ。
(b)バックアップ映像の上映(バックアップ上映)
図11は、画像表示PC内204の処理の概要を示す図である。画像表示PC204は、画像処理PC203と同様に、各画像処理PC203に対応する受信スレッドを持ち、受信したデータをバッファリングする。本PCには大容量のメモリを搭載し、上映対象となる全ての映像をバッファリングできるようにする。これは、バックアップ映像を生成するために必要である。
管理サーバPC201は、システム全体を管理する。具体的には、次のような機能を持つ。
(b)各PCにおける映像バッファリング時間の変更
(c)a、bに基づいた上映コントロール情報の生成
(d)シナリオデータ、上映コントロール情報の配布
(e)キャプチャPC、画像処理PCの設定ファイルの配布
ここで、PCやカメラの有効判定処理について説明する。図14は、有効判定処理の流れを示すフローチャートである。まず、画像表示PCに対して問い合わせを行い(ステップS1401)、予め定めた時間TA以内に応答が返ってくるかどうかを確認する(ステップS1402)。ここで、画像表示PC、画像処理PCは、問い合わせに対して0を返す。キャプチャPCは、カメラが認識できない場合は1、カメラは認識できるがキャプチャエラーが多く発生した場合は2、それ以外は0を返す。
本実施例における仮想視点映像生成処理では、ある高さ一定の面を基準面として、この基準面にある物体が、カメラ切り替え時にスムーズに接続されるように映像を生成する。この仮想視点映像生成処理では、以下に挙げる映像補正、変換、映像効果付加を一貫して行う。
(2)周辺光量落ち補正
(3)仮想視点映像とカメラ映像の間に生ずるパース変換
(4)仮想視点映像に対する周辺光量落ち効果の付加
(5)歪曲効果の付加
本実施例では、歪曲特性および周辺光量落ち特性を有するカメラの撮影画像から、仮想カメラの歪曲特性および周辺光落ち特性に応じた仮想視点の画像を生成する。本実施例の仮想視点映像生成処理は、上記操作を一貫して行うため効率が良く、リアルタイム性が求められる本実施例の画像処理装置に適している。
仮想視点映像生成処理は、仮想視点映像の画素毎に処理を進めていく。ここで、画素値を決定しようとしている注目画素の座標を
Zbaseとする。位置
Iout,i=Dp,c,i・Ip,c,i
ステップS1706までの処理により、仮想視点映像の画素位置
カメラ選択処理は、正常に動作している撮影用カメラに関するカバー率に基づいて実行する。図18は、カバー率を示す図である。カバー率とは、仮想視点映像生成処理によって得る出力画像に対し、カメラによる撮影画像が含まれる割合である。したがって、カバー率の算出は、対象フレームの基準面の高さに基づいて行う。図18(a)は出力画像全ての画素が、撮影画像の画素により得られており、カバー率は100%となる。一方図18(b)は出力画像の一部の領域が撮影範囲の外を参照しており、カバー率は100%未満となる。
この場合は、連続選択回数を考慮したカメラ選択処理を実行する。本実施例では、連続選択回数の上限をNとする。まず、連続選択回数がN回未満であれば、このカメラを選択したままとする(ステップS2205)。N回以上連続選択されている場合には、シナリオ上次に選択されることになるカメラc_nextで代用可能かどうかを確認する(ステップS2206)。ここで、代用可能かどうかは、カバー率に基づいて判断する。代用可能な場合、現在処理中のフレーム以降でカメラc_selが連続選択されているフレームについて、選択カメラをc_nextに変更する(ステップS2207〜S2210)。代用可能でない場合、エラーを通知して処理を終了する(ステップS2221)。
この場合は、カメラ切り替え頻度を考慮したカメラ選択処理を実行する。まず、選択されているカメラc_selが、2つ前に選択されたカメラc_prev2と同じかどうかを判定する(ステップS2212)。同じ場合、選択カメラがc_selとc_prevが交互に切り替わっている可能性があるので、これを回避する処理を実行する。
実施例1では、撮影用カメラで得た画像データを全て送信していた。しかしながら、撮影用カメラの画角に対してシナリオで指定された画角が狭い場合には、画像データ全てを送信する必要は無い。そこで本実施例では、キャプチャPCから画像処理PCへ画像データを送信する前に、撮影画像中のどの部分が必要かを判断し、必要最低限の部分のみを送信する。本実施例におけるキャプチャPCの処理の概要を、図23に示す。実施例1の仮想視点映像生成処理で述べたように、シナリオデータの利用により、撮影画像データ中のどの領域が必要かを決定する(送信領域決定処理)。
Claims (4)
- 複数のカメラによる実視点の実画像から仮想視点の複数のフレームを含む仮想視点映像を生成する画像処理装置であって、
前記仮想視点の位置姿勢として与えられる仮想視点情報を取得する取得手段と、
前記複数のフレームのそれぞれについて、フレームの仮想視点情報と複数のカメラの視点情報との位置関係に基づき、前記複数のカメラからフレームの仮想視点の画像を生成する際に使用する画像を撮影するカメラを選択する選択手段と、
前記複数のフレームのそれぞれについて選択されたカメラの再選択処理を行う再選択処理手段とを有し、
前記再選択処理手段は、注目フレームについて選択されたカメラと該注目フレームの前フレームについて選択されたカメラとが異なる場合は、前記注目フレームの仮想視点の画像に対し前記前フレームについて選択されたカメラの撮影画像が含まれる割合が所定の値より大きい場合は、該注目フレームについて選択されたカメラを該前フレームについて選択されたカメラに変更することを特徴とする画像処理装置。 - 前記前フレームで選択されたカメラの内、前記注目フレームの仮想視点の画像に対し撮影画像が含まれる割合が所定の値より大きいカメラの中から、前記フレームの仮想視点の位置姿勢と前記複数のカメラの視点の位置姿勢が近いカメラを選択することを特徴とする請求項1記載の画像処理装置。
- コンピュータ装置を制御して、請求項1又は請求項2に記載された画像処理装置の各手段として機能させることを特徴とするコンピュータが読み取り可能なプログラム。
- 複数のカメラによる実視点の実画像から仮想視点の複数のフレームを含む仮想視点映像を生成する画像処理装置であって、
前記仮想視点の位置姿勢として与えられる仮想視点情報を取得する取得工程と、
前記複数のフレームのそれぞれについて、フレームの仮想視点情報と複数のカメラの視点情報との位置関係に基づき、前記複数のカメラからフレームの仮想視点の画像を生成する際に使用する画像を撮影するカメラを選択する選択工程と、
前記複数のフレームのそれぞれについて選択されたカメラの再選択処理を行う再選択処理工程とを有し、
前記再選択処理工程は、注目フレームについて選択されたカメラと該注目フレームの前フレームについて選択されたカメラとが異なる場合は、前記注目フレームの仮想視点の画像に対し前記前フレームについて選択されたカメラの撮影画像が含まれる割合が所定の値より大きい場合は、該注目フレームについて選択されたカメラを該前フレームについて選択されたカメラに変更することを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010095094A JP5562103B2 (ja) | 2010-04-16 | 2010-04-16 | 画像処理装置および方法 |
US13/082,739 US8953046B2 (en) | 2010-04-16 | 2011-04-08 | Information processing apparatus for selecting a camera to be used to generate a virtual viewpoint video from images shot by a plurality of cameras |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010095094A JP5562103B2 (ja) | 2010-04-16 | 2010-04-16 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011228845A JP2011228845A (ja) | 2011-11-10 |
JP5562103B2 true JP5562103B2 (ja) | 2014-07-30 |
Family
ID=44787936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010095094A Expired - Fee Related JP5562103B2 (ja) | 2010-04-16 | 2010-04-16 | 画像処理装置および方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8953046B2 (ja) |
JP (1) | JP5562103B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015128254A (ja) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
US10559095B2 (en) * | 2016-08-31 | 2020-02-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium |
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
JP6957215B2 (ja) * | 2017-06-06 | 2021-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6924079B2 (ja) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | 情報処理装置及び方法及びプログラム |
JP7033865B2 (ja) * | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP7046567B2 (ja) | 2017-11-13 | 2022-04-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7182865B2 (ja) * | 2017-11-28 | 2022-12-05 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP7072378B2 (ja) | 2017-12-13 | 2022-05-20 | キヤノン株式会社 | 画像生成装置およびその制御方法、画像生成システム、プログラム |
JP2019135617A (ja) * | 2018-02-05 | 2019-08-15 | キヤノン株式会社 | 情報処理装置およびその制御方法、画像処理システム |
JP2019191915A (ja) | 2018-04-25 | 2019-10-31 | キヤノン株式会社 | 映像生成装置、映像生成装置の制御方法及びプログラム |
WO2020045186A1 (ja) * | 2018-08-31 | 2020-03-05 | キヤノン株式会社 | 情報処理装置、方法、及びプログラム |
US10818077B2 (en) * | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
WO2022091215A1 (ja) * | 2020-10-27 | 2022-05-05 | Amatelus株式会社 | 映像配信装置、映像配信システム、映像配信方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
JPH09231408A (ja) * | 1996-02-28 | 1997-09-05 | Matsushita Electric Ind Co Ltd | 動画像合成装置 |
US6014163A (en) * | 1997-06-09 | 2000-01-11 | Evans & Sutherland Computer Corporation | Multi-camera virtual set system employing still store frame buffers for each camera |
US6980690B1 (en) * | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
JP2004088247A (ja) | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム |
SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
JP4395082B2 (ja) * | 2005-01-31 | 2010-01-06 | 株式会社国際電気通信基礎技術研究所 | 映像生成装置、及びプログラム |
JP2008217243A (ja) | 2007-03-01 | 2008-09-18 | Mitsubishi Electric Corp | 画像生成装置 |
-
2010
- 2010-04-16 JP JP2010095094A patent/JP5562103B2/ja not_active Expired - Fee Related
-
2011
- 2011-04-08 US US13/082,739 patent/US8953046B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20110254958A1 (en) | 2011-10-20 |
JP2011228845A (ja) | 2011-11-10 |
US8953046B2 (en) | 2015-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5562103B2 (ja) | 画像処理装置および方法 | |
JP5570284B2 (ja) | 画像処理装置および方法 | |
CN110073414B (zh) | 图像处理设备、方法和非暂时性计算机可读存储介质 | |
JP6100089B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101451734B1 (ko) | 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 | |
US20160277772A1 (en) | Reduced bit rate immersive video | |
WO2019120638A1 (en) | Scalable fov+ for vr 360 video delivery to remote end users | |
CN102385747A (zh) | 用于生成全景图像的处理装置及方法 | |
US11250619B2 (en) | Image processing apparatus and method | |
EP2724343A1 (en) | Video remixing system | |
JP2019036791A (ja) | 画像処理装置、画像処理システム、制御方法、及び、プログラム | |
JP2004246667A (ja) | 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム | |
JP2015212876A (ja) | 映像再生システム | |
JP2018136793A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6952456B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US10194087B2 (en) | Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium | |
CN105100595A (zh) | 摄像设备及其控制方法 | |
KR20180083795A (ko) | 촬상 제어 장치, 그 제어 방법 및 컴퓨터 판독가능한 저장 매체 | |
JP7339786B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
CN108184053A (zh) | 嵌入式图像处理方法及装置 | |
WO2017094241A1 (en) | Display processing apparatus, display processing method, and computer-readable medium for executing display processing method | |
US11375126B2 (en) | Imaging apparatus, information processing apparatus, operation method, information processing method, and storage medium | |
JP2020145651A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
KR102337699B1 (ko) | 영상 처리 장치 및 방법 | |
KR102241240B1 (ko) | 영상 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140610 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5562103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |