JP6392739B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6392739B2 JP6392739B2 JP2015236708A JP2015236708A JP6392739B2 JP 6392739 B2 JP6392739 B2 JP 6392739B2 JP 2015236708 A JP2015236708 A JP 2015236708A JP 2015236708 A JP2015236708 A JP 2015236708A JP 6392739 B2 JP6392739 B2 JP 6392739B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- energy
- images
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 143
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 36
- 230000008878 coupling Effects 0.000 claims description 20
- 238000010168 coupling process Methods 0.000 claims description 20
- 238000005859 coupling reaction Methods 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 13
- 238000005304 joining Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 35
- 239000002131 composite material Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 27
- 230000009466 transformation Effects 0.000 description 23
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 22
- 239000000203 mixture Substances 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000002156 mixing Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
公知文献1:山内悠嗣、外2名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月
公知文献2:Laurent Itti, Christof Koch, and Ernst Niebur,"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259 (1998)
g(x、y)=αIi(x、y)+(1−α)Ii+1(x、y) … (式1)
α(x)=(x−xs)/(xe−xs) … (式2)
(式2)において、xs及びxeは、図4に示すように重複領域25の両端のx座標であり、xs<xeである。
次に、本発明の第1の実施形態による画像処理装置を説明する。第1の実施形態は、前述した合成処理中に行う境界処理について変形を加えたものである。第1の実施形態では、前述したように、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。ここで、図7を参照して仮想全天球画像の生成処理について簡単に説明する。図7は、仮想全天球画像の生成処理を示す模式図である。まず、カメラCi−1、Ci、Ci+1によって撮影されたそれぞれの動画(映像)からそれぞれ取得された入力画像を事前に獲得する。カメラによって撮影された動画(映像)は、複数フレームの画像により構成されるものであり、ここでは処理対象フレームの画像を入力画像として獲得する。また、エネルギー画像の生成のために、処理対象フレームよりも過去の1つまたは複数のフレームの画像も事前に獲得する。そして、得られたそれぞれの入力画像から前景となる切り出し画像Si−1、Si、Si+1をそれぞれ切り出す。
公知文献3: Avidan, Shai, and Ariel Shamir. "Seam carving for content-aware image resizing." ACM Transactions on graphics (TOG). Vol. 26. No. 3. ACM, 2007.
次に、本発明の第2の実施形態による画像処理装置を説明する。第2の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、部分画像の合成時に目に付きにくい境界とするものである。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、視聴者が注目している領域(視線方向)に部分画像の境界(継ぎ目)があると目に付きやすいという問題である。そこで、本実施形態では、視聴者が注目している方向(視聴者が見ている可能性が高い領域であり、視野のほぼ中央のことである)にはシームを作らないようにする。図14は、向いている方向で重み付けを行う例を示す図である。視聴者は、図14(A)に示すように、視線の方向にシームを作ってしまうとシームに基づいて結合した結合線が目立つことになる。
次に、本発明の第3の実施形態による画像処理装置を説明する。第3の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、結合部(継ぎ目)が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図15は、中心からの距離で重み付けを行う例を示す図である。本手法の性質上、中心に結合部(継ぎ目)を設定した方が幾何学的に正しい画像となる(図15(A))。
次に、本発明の第4の実施形態による画像処理装置を説明する。第4の実施形態では、第1の実施形態と同様に、ブレンディング処理を行うのではなく、結合部(継ぎ目)が部分画像の中心から離れると幾何的整合性が崩れてしまうことを防止するための結合方法である。前述したように、シームカービングによって、単に継ぎ目を求めて結合しただけでは、以下のような問題が生じる。すなわち、結合部が部分画像の中心から離れた位置に生成されてしまうと、画像の幾何的整合性が崩れてしまうという問題である。そこで、本実施形態では、整合性が崩れない位置に結合部を設けるようにする。図17は、前景の動きの速さに基づいてエネルギーをも求める例を示す図である。本手法の性質上、中心に結合部(継ぎ目)を設定した方が幾何学的に正しい画像となる。
Claims (13)
- 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記画像に映っている前景画像であるオブジェクトのうち、移動速度が閾値を超えている前記オブジェクトを避けずに、移動速度が前記閾値以下である前記オブジェクトを避けつつ、前記オブジェクトの移動方向とは逆の方向の位置に前記結合線を配置することを決定する結合線決定手段を備える画像処理装置。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成する第1のエネルギー画像生成手段と、
前記第1のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する結合線決定手段と
を備え、
前記人間の目に敏感に感じる画素の領域は、視聴者の頭の向きを既知として、前記視聴者の視線方向の領域、前記視聴者の視野のほぼ中央の領域、または、前記視聴者が向いている方向の領域である、画像処理装置。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成する第1のエネルギー画像生成手段と、
前記第1のエネルギー画像のエネルギーが小さい画素を探索しながら前記共通部分において、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する結合線決定手段と
を備え、
前記人間の目に敏感に感じる画素の領域は、前記共通する部分の中心の領域である、画像処理装置。 - 前記画像に映っている前景画像であるオブジェクトのうち、移動速度が閾値を超えている前記オブジェクトを避けずに、移動速度が前記閾値以下である前記オブジェクトを避けつつ、前記オブジェクトの移動方向とは逆の方向の位置に前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する請求項2または請求項3に記載の画像処理装置。
- 前記2つの画像のうちの一方の前記共通する部分において、前記オブジェクトの動きを検出する動き検出手段と、
前記動き検出手段による検出結果に基づき、前記オブジェクトの移動先の領域のエネルギーが大きくなる第2のエネルギー画像を生成する第2のエネルギー画像生成手段と、
前記第1のエネルギー画像と第2のエネルギー画像を加算して第3のエネルギー画像を生成する第3のエネルギー画像生成手段をさらに備え、
前記結合線決定手段は、前記第3のエネルギー画像に基づき、前記エネルギーが小さい一連の画素を求めることにより前記結合線を決定する請求項4に記載の画像処理装置。 - 前記結合線決定手段は、シームカービング処理によって求めた前記共通する部分の前記2つの画像を結合する際に並べた方向と直交する方向のシームを結合線とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記2つの画像は、所定の位置に設けた仮想視点から見た仮想全天球画像を生成する際に用いる請求項1から6のいずれか1項に記載の画像処理装置。
- 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置であって、
前記画像に映っている前景画像であるオブジェクトを避けつつ、前記オブジェクトの移動方向とは逆の方向の位置に前記結合線を配置することを決定する結合線決定手段を備え、
入力画像である前記第1画像及び前記第2画像は、異なる位置から同時刻に撮影された画像である、画像処理装置。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記画像に映っている前景画像であるオブジェクトのうち、移動速度が閾値を超えている前記オブジェクトを避けずに、移動速度が前記閾値以下である前記オブジェクトを避けつつ、前記オブジェクトの移動方向とは逆の方向に位置に前記結合線を配置することを決定する結合線決定ステップを有する画像処理方法。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成するエネルギー画像生成ステップと、
前記第1のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分における前記結合線を配置することを決定する結合線決定ステップと
を有し、
前記人間の目に敏感に感じる画素の領域は、視聴者の頭の向きを既知として、前記視聴者の視線方向の領域、前記視聴者の視野のほぼ中央の領域、または、前記視聴者が向いている方向の領域である、画像処理方法。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記共通する部分において、人間の目に敏感に感じる画素はそのエネルギーが大きいと定義される第1のエネルギー画像を生成するエネルギー画像生成ステップと、
前記第1のエネルギー画像のエネルギーが小さい画像を探索しながら前記共通部分における前記結合線を配置することを決定する結合線決定ステップと
を有し、
前記人間の目に敏感に感じる画素の領域は、前記共通する部分の中心の領域である、画像処理方法。 - 第1の映像から取得された画像である第1画像と、第2の映像から取得された画像であって前記第1画像と撮像領域の一部が共通する画像である第2画像との2つの画像を結合する際に、共通する部分において前記2つの画像を結合するための結合線を決定する画像処理装置が行う画像処理方法であって、
前記画像に映っている前景画像であるオブジェクトを避けつつ、前記オブジェクトの移動方向とは逆の方向に位置に前記結合線を配置することを決定する結合線決定ステップを有し、
入力画像である前記第1画像及び前記第2画像は、異なる位置から同時刻に撮影された画像である、画像処理方法。 - コンピュータを、請求項1から8のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236708A JP6392739B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015236708A JP6392739B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017103672A JP2017103672A (ja) | 2017-06-08 |
JP6392739B2 true JP6392739B2 (ja) | 2018-09-19 |
Family
ID=59015691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015236708A Active JP6392739B2 (ja) | 2015-12-03 | 2015-12-03 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6392739B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6600335B2 (ja) * | 2017-07-07 | 2019-10-30 | 日本電信電話株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP7231825B2 (ja) * | 2019-04-18 | 2023-03-02 | 日本電信電話株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3339980B2 (ja) * | 1994-02-18 | 2002-10-28 | 松下電器産業株式会社 | 画像合成装置 |
JP4994955B2 (ja) * | 2007-05-28 | 2012-08-08 | 中部電力株式会社 | 移動体識別装置、移動体識別プログラム |
JP2011130327A (ja) * | 2009-12-21 | 2011-06-30 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5754312B2 (ja) * | 2011-09-08 | 2015-07-29 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法、並びにプログラム |
-
2015
- 2015-12-03 JP JP2015236708A patent/JP6392739B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017103672A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7034666B2 (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
JP6894962B2 (ja) | 自由視点映像用画像データのキャプチャ方法及び装置、プログラム | |
JP5801812B2 (ja) | 3dビデオへの仮想インサート | |
US9361660B2 (en) | Image processing device and method, supplement image generation device and method, program, and recording medium | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
US20190132529A1 (en) | Image processing apparatus and image processing method | |
KR101538947B1 (ko) | 실감형 자유시점 영상 제공 장치 및 방법 | |
WO2022002181A1 (zh) | 自由视点视频重建方法及播放处理方法、设备及存储介质 | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6450306B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
JP6450305B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6606242B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6416741B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2017102784A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Calagari et al. | Sports VR content generation from regular camera feeds | |
JP6416740B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6218220B2 (ja) | 撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム | |
JP6411991B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR101947799B1 (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6392739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |