JP6450306B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6450306B2 JP6450306B2 JP2015236707A JP2015236707A JP6450306B2 JP 6450306 B2 JP6450306 B2 JP 6450306B2 JP 2015236707 A JP2015236707 A JP 2015236707A JP 2015236707 A JP2015236707 A JP 2015236707A JP 6450306 B2 JP6450306 B2 JP 6450306B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- energy
- images
- generating
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
公知文献1:山内悠嗣、外2名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月
公知文献2:Laurent Itti, Christof Koch, and Ernst Niebur,"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259 (1998)
g(x、y)=αIi(x、y)+(1−α)Ii+1(x、y) … (式1)
α(x)=(x−xs)/(xe−xs) … (式2)
(式2)において、xs及びxeは、図4に示すように重複領域25の両端のx座標であり、xs<xeである。
次に、本発明の第1の実施形態による画像処理装置を説明する。第1の実施形態は、前述した合成処理中に行う境界処理について変形を加えたものである。第1の実施形態では、前述したように、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。ここで、図7を参照して仮想全天球画像の生成処理について簡単に説明する。図7は、仮想全天球画像の生成処理を示す模式図である。まず、カメラCi−1、Ci、Ci+1によって撮影されたそれぞれの動画(映像)からそれぞれ取得された入力画像を事前に獲得する。カメラによって撮影された動画(映像)は、複数フレームの画像により構成されるものであり、ここでは処理対象フレームの画像を入力画像として獲得する。また、エネルギー画像の生成のために、処理対象フレームよりも過去の1つまたは複数のフレームの画像も事前に獲得する。そして、得られたそれぞれの入力画像から前景となる切り出し画像Si−1、Si、Si+1をそれぞれ切り出す。
公知文献3: Avidan, Shai, and Ariel Shamir. "Seam carving for content-aware image resizing." ACM Transactions on graphics (TOG). Vol. 26. No. 3. ACM, 2007.
次に、本発明の第2の実施形態による画像処理装置を説明する。第2の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、視聴者が注目している領域(視線方向)に部分画像の境界(継ぎ目)があると目に付きやすいという問題である。そこで、本実施形態では、視聴者が注目している方向(視聴者が見ている可能性が高い領域であり、視野のほぼ中央のことである)にはシームを作らないようにする。図14は、向いている方向で重み付けを行う例を示す図である。視聴者は、図14(A)に示すように、視線の方向にシームを作ってしまうとシームに基づいて結合した結合線が目立つことになる。
次に、本発明の第3の実施形態による画像処理装置を説明する。第3の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、結合部(継ぎ目)が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図15は、中心からの距離で重み付けを行う例を示す図である。本手法の性質上、中心に結合部(継ぎ目)を設定した方が幾何学的に正しい画像となる(図15(A))。
次に、本発明の第4の実施形態による画像処理装置を説明する。第4の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、結合部(継ぎ目)が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図17は、前景の動きの速さに基づいてエネルギーをも求める例を示す図である。本手法の性質上、中心に結合部(継ぎ目)を設定した方が幾何学的に正しい画像となる。
Claims (9)
- 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記共通する部分において、前記画像に映っている前景画像であるオブジェクトの進行方向の領域にある画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成する第1のエネルギー画像生成手段と、
前記第1のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記オブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定手段と、
前記共通する部分における中心部分を特定する中心特定手段と、
前記中心特定手段により特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成手段と、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成手段と、
を備え、
前記結合線決定手段は、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理装置。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記共通する部分において、前記画像に映っている前景であるオブジェクトごとに速度を閾値判定し、速度が速いと判定されたオブジェクトを除くオブジェクトの領域の画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成する第1のエネルギー画像生成手段と、
前記第1のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記前景の画像であるオブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定手段と、
前記共通する部分における中心部分を特定する中心特定手段と、
前記中心特定手段により特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成手段と、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成手段と、
を備え、
前記結合線決定手段は、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理装置。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記共通する部分において、前記画像に映っている前景画像であるオブジェクトの進行方向の領域にある画素、及び、前記画像に映っている前景であるオブジェクトごとに速度を閾値判定し、速度が速いと判定されたオブジェクトを除くオブジェクトの領域の画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成する第1のエネルギー画像生成手段と、
前記第1のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記オブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定手段と、
前記共通する部分における中心部分を特定する中心特定手段と、
前記中心特定手段により特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成手段と、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成手段と、
を備え、
前記結合線決定手段は、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理装置。 - 前記結合線決定手段は、シームカービング処理によって求めた前記共通する部分の前記2つの画像を結合する際に並べた方向と直交する方向のシームを結合線とする、
請求項1から3のいずれか1項に記載の画像処理装置。 - 前記2つの画像は、所定の位置に設けた仮想視点から見た仮想全天球画像を生成する際に用いる請求項1から3のいずれか1項に記載の画像処理装置。
- 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記共通する部分において、前記画像に映っている前景画像であるオブジェクトの進行方向の領域にある画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成するエネルギー画像生成ステップと、
前記第1のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分において、前記オブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定ステップと、
前記共通する部分における中心部分を特定する中心特定ステップと、
前記中心特定ステップにおいて特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成ステップと、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成ステップと、
を有し、
前記結合線決定ステップにおいて、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理方法。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記共通する部分において、前記画像に映っている前景であるオブジェクトごとに速度を閾値判定し、速度が速いと判定されたオブジェクトを除くオブジェクトの領域の画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成するエネルギー画像生成ステップと、
前記第1のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分において、前記前景の画像であるオブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定ステップと、
前記共通する部分における中心部分を特定する中心特定ステップと、
前記中心特定ステップにおいて特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成ステップと、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成ステップと、
を有し、
前記結合線決定ステップにおいて、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理方法。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記共通する部分において、前記画像に映っている前景画像であるオブジェクトの進行方向の領域にある画素、及び前記画像に映っている前景であるオブジェクトごとに速度を閾値判定し、速度が速いと判定されたオブジェクトを除くオブジェクトの領域の画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成するエネルギー画像生成ステップと、
前記第1のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分において、前記オブジェクトを避けつつ、前記エネルギーが小さい一連の画素を求めることにより、前記共通する部分の中心に近い位置に前記結合線を決定する結合線決定ステップと、
前記共通する部分における中心部分を特定する中心特定ステップと、
前記中心特定ステップにおいて特定された前記中心部分のエネルギーが小さくなる第2のエネルギー画像を生成する第2のエネルギー画像生成ステップと、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成ステップと、
を有し、
前記結合線決定ステップにおいて、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する、
画像処理方法。 - コンピュータを、請求項1から5のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236707A JP6450306B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236707A JP6450306B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102785A JP2017102785A (ja) | 2017-06-08 |
JP6450306B2 true JP6450306B2 (ja) | 2019-01-09 |
Family
ID=59016532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015236707A Active JP6450306B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6450306B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7231825B2 (ja) * | 2019-04-18 | 2023-03-02 | 日本電信電話株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8340463B1 (en) * | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Candidate pruning for patch transforms |
JP5531603B2 (ja) * | 2009-12-21 | 2014-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2013228896A (ja) * | 2012-04-26 | 2013-11-07 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
-
2015
- 2015-12-03 JP JP2015236707A patent/JP6450306B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017102785A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5801812B2 (ja) | 3dビデオへの仮想インサート | |
JP7034666B2 (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
JP6894962B2 (ja) | 自由視点映像用画像データのキャプチャ方法及び装置、プログラム | |
US9361660B2 (en) | Image processing device and method, supplement image generation device and method, program, and recording medium | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
US20190132529A1 (en) | Image processing apparatus and image processing method | |
KR101538947B1 (ko) | 실감형 자유시점 영상 제공 장치 및 방법 | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
WO2022002181A1 (zh) | 自由视点视频重建方法及播放处理方法、设备及存储介质 | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6450306B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
JP6450305B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6606242B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6416741B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2017102784A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Calagari et al. | Sports VR content generation from regular camera feeds | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
JP6218220B2 (ja) | 撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム | |
JP6416740B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6411991B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |