JP2007134986A - ショット境界検出装置 - Google Patents
ショット境界検出装置 Download PDFInfo
- Publication number
- JP2007134986A JP2007134986A JP2005326355A JP2005326355A JP2007134986A JP 2007134986 A JP2007134986 A JP 2007134986A JP 2005326355 A JP2005326355 A JP 2005326355A JP 2005326355 A JP2005326355 A JP 2005326355A JP 2007134986 A JP2007134986 A JP 2007134986A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shot boundary
- luminance
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】低輝度画像、白黒画像、あるいは画面の側片領域にイメージの不変部分を有する画像を含む動画像であっても、ショット境界を精度よく抽出することのできるショット境界検出装置を提供する。
【解決手段】可変長復号部1で部分復号された画像は、中央領域抽出部2で水平又は/及び垂直方向に分割された画像の上下又は左右の領域が廃棄され、中央領域の画像が抽出される。該中央領域の画像は、フレーム間輝度差分値演算部3、色差ヒストグラム相関値演算部4,および暗さ判定部5に入力する。暗さ判定部5は、フレームの平均輝度値を求め、これが予め定められた閾値より小さければこれを低輝度画像または白黒画像と判定してショット境界判定部6に通知する。ショット境界判定部6は、低輝度画像または白黒画像と判定された画像の場合、フレーム間輝度差分値Dnにγ(>1)を乗じてショット境界判定処理を行う。
【選択図】 図1
【解決手段】可変長復号部1で部分復号された画像は、中央領域抽出部2で水平又は/及び垂直方向に分割された画像の上下又は左右の領域が廃棄され、中央領域の画像が抽出される。該中央領域の画像は、フレーム間輝度差分値演算部3、色差ヒストグラム相関値演算部4,および暗さ判定部5に入力する。暗さ判定部5は、フレームの平均輝度値を求め、これが予め定められた閾値より小さければこれを低輝度画像または白黒画像と判定してショット境界判定部6に通知する。ショット境界判定部6は、低輝度画像または白黒画像と判定された画像の場合、フレーム間輝度差分値Dnにγ(>1)を乗じてショット境界判定処理を行う。
【選択図】 図1
Description
この発明はショット境界検出装置に関し、特に暗い画像や字幕が入った画像などを含む動画像から精度よくショット境界を検出できるショット境界検出装置に関する。
従来の動画像カット点検出装置の一例として、下記の特許文献1に開示されているものがある。該特許文献1には、動画像カット点検出処理の概要として、図5に示されているものが示されている。
ステップS21で画像が入力されると、ステップS22で該画像から符号化パラメータが抽出され、ステップS23で該抽出された符号化パラメータを用いて瞬時カット点であるか否かの判断がなされる。この判断が否定の時には、ステップS24に進んで特殊カット画面であるディゾルブ検出が行われ、さらにステップS26に進んでワイプ検出が行われる。一方、ステップS23で瞬時カット点であると判断された時にはステップS29でフラッシュ検出か否かの判断がなされ、フラッシュ検出でないと判断されると瞬時カットと決定され、ステップS30で瞬時カット登録がなされる。また、ステップS25,S27では、それぞれディゾルブ登録、ワイプ登録がなされる。
下記の特許文献2には、前記瞬時カット点検出の一手法として、フレーム間輝度差分値、ヒストグラム相関値、および色差ヒストグラム相関値を用いて、フレームn−1、n、n+1の瞬時的な変化を調べ、カット画面であるか非カット画面であるかを識別することが開示されている。
特開平11−252509号公報
特開平7−236153号公報
しかしながら、前記特許文献2に示されている瞬時カット点検出手法では、暗い画像、白黒画像、あるいは画面の上部または下部に字幕やマーケット情報のようなイメージの不変部分が入る画像においては、ショット境界の検出精度が低くなるという課題があった。
本発明の目的は、前記した従来技術の課題を解消し、低輝度画像、白黒画像、あるいは画面の側片に近い領域に不変部分を有する画像を含む動画像であっても、ショット境界を精度よく抽出できるショット境界検出装置を提供することにある。
前記した目的を達成するために、本発明は、符号化画像を部分復号する手段と、該部分復号された画像から、字幕などの画像の不変部分が入る領域を除去する手段と、前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備した点に第1の特徴がある。
また、符号化画像を部分復号する手段と、該部分復号された画像を水平または垂直方向にm(m≧3)分割し、上下または左右の周辺の分割領域の少なくとも1つを除去する手段と、前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備した点に第2の特徴がある。
さらに、本発明は、前記ショット境界を検出する手段は、フレーム間輝度差分値Dnを求める手段と、画像の平均輝度値を検出し、該平均輝度値が予め定められた閾値より小さい場合に、前記フレーム間輝度差分値Dnにγ(γ>1)を乗じる手段と、γDnが予め定められた閾値Thより大きければショット境界の候補とする手段とを具備する点に第3の特徴がある。
本発明によれば、字幕などの不変部分が入っていない画像領域を用いてショット境界の検出を行えるので、該ショット境界の検出精度を向上することができる。
また、本発明によれば、画像を水平または垂直方向にm(m≧3)分割し、上下又は左右の周辺の分割領域の少なくとも1つを除去した画像を用いてショット境界を検出するようにしたので、画像上下又は左右の周辺領域に、字幕やマーケット情報などの不変情報が乗っても、これらがカットされる可能性が高くなる。このため、画像情報のみからショット境界の検出が行われることになり、ショット境界の検出精度を向上することができる。
また、低輝度画像や白黒画像などの場合には、フレーム間輝度差分値Dnに1より大きい値γを乗じてフレーム間輝度差分値を実質的に大きくなるように補正したので、低輝度画像や白黒画像などの場合のショット境界の検出精度を向上させることができるようになる。
以下に、図面を参照して、本発明を詳細に説明する。図1は、本発明のショット境界検出装置の概略の構成を示すブロック図である。なお、このショット境界検出は、図5のステップS23の処理に相当する。
本発明のショット境界検出は、一部復号(または、部分復号)された画像データから検出される。すなわち、例えばMPEG等で符号化された符号化画像ストリームaは、可変長復号部(VLD)1に入力し、一部復号される。該一部復号された画像データbは、次いで、中央領域抽出部2に入力し、字幕などの画像の不変部分が入る領域を除去される。該中央領域抽出部2は、一具体例として、水平方向にm分割(m≧3)された画像の中央領域を抽出する。例えば、図2に示されているように、画像は4分割され、中央の2つの分割領域(図の斜線領域)が抽出され、上下の各1つの領域は除去される。この理由は、1フレームの画像データbの前記上下の各1つの領域には、字幕やマーケット情報などの不変情報が表示される可能性があるからである。なお、前記上下の領域のいずれか一方を除去するだけでもよい。
フレーム間輝度差分値演算部3は、下記の(1)式の演算により、フレーム間輝度差分値Dnを求める。
ここに、M,Nは、それぞれ8×8画素からなるブロックの垂直、水平方向の1フレーム当たりの総数である。また、Yn(i,j)は、n番目のフレームのブロック(i、j)の輝度ブロック平均値である。
また、色差ヒストグラム相関値演算部4は、下記の(2)式により、色差ヒストグラム相関値ρnを求める。
ここに、Hn,k,l(k、l=0,1,2,・・・,hc−1)は1フレーム中のDC色差信号Cb、Crデータをhcクラスに分類することにより得られるヒストグラムであり、その詳細は例えば前記特許文献2の段落[0029]〜[0032]に説明されている。
暗さ判定部5は、下記の(3)式から1フレームの平均輝度値aveYnを求め、その平均輝度値が予め定められた閾値Th_dより小さければ、低輝度画像または白黒画像と判定し、その旨をショット境界判定部6に通知する。
次に、ショット境界判定部6は、前記フレーム間輝度差分値演算部3および色差ヒストグラム相関値演算部4で求められたフレーム間輝度差分値Dnと色差ヒストグラム相関値ρnを用いて、ショット境界の判定を行う。
次に、本実施形態の動作を、図3のフローチャートを参照して説明する。ステップS1では、可変長復号部1に符号化画像ストリームaが入力する。ステップS2では、中央領域抽出部2にて、画像を水平方向に複数分割し、その中央領域が選択される。ステップS3では、フレーム間輝度値差分演算部3にて、前記(1)式により、フレーム間輝度差分値Dnが求められる。ステップS4では、暗さ判定部5にて、前記(3)式により、1フレーム当たりの平均輝度値aveYnが求められる。ステップS5では、該平均輝度値aveYnが前記閾値Th_dより小さいか否かまたは白黒画像であるか否かが判定される。この判断が肯定の場合には、画像が暗い(低輝度画像)または白黒画像であると判定し、ステップS6に進む。ステップS6では、前記フレーム間輝度差分値Dnにある定数γ(ただし、γ>1.0)が乗じられる。そして、ステップS7に進んで、Dn>Th_preが成立するかどうかの判断がなされる。低輝度画像や白黒画像では、一般にフレーム間輝度差分値Dnが小さくなり、ショット境界が検出されにくくなるからである。ステップS5の判断が否定の時、すなわち画像が明るいときには、ステップS6はスキップされる。なお、ステップS5で平均輝度値aveYnによる暗さ判定を多段階に判定し、ステップS6における定数γを該暗さの程度に応じて異なる値に設定してもよい。
ステップS7の判断が肯定の時には、さらにステップS8の判断がなされる。すなわち、αDn>Dnー1、Dn+1かつρn>ρnー1、ρn+1が成立するか否かの判断がなされる。ここに、αは重み係数であり、1より大きい値である。ステップS7の判断が肯定になると、ショット境界と判断し、否定になると、ステップS9の判断を行う。
ショット境界が大きい動きをもつシーン中に存在する場合には、フレーム間差が非常に大きくなり、ステップS8の式ではショット境界が判定できない。よって、ステップS9の判断を行う。すなわち、ρn>Th_acが成立するか否かの判断を行う。ここに、Th_acは、ρn中のピーク値を決定するための閾値である。ステップS9の判断が肯定の場合にはショット境界と判断し、否定の場合はステップS10に進む。
連続する2つのショットにおいて、単にカメラアングルが異なる場合には、色差ヒストグラムは類似する。このため、ステップS8、S9の判定でショット境界を検出するのは困難である。しかし、画素差はこれらのショット境界で大変大きいから、輝度差分値のピーク検出が有効である。そこで、ステップS10の判断、すなわちβDn>Dnー1、Dn+1又はDn−Th_ad>Dnー1、Dn+1が成立する時にはショット境界と判断する。ここに、βとTh_adは、それぞれDnのピーク値を検出するための重みファクタと閾値である。
本発明者が、「TRECVID2005」テストデータに対して、本発明の処理、すなわちステップS2とS6の処理を使用しない場合(従来方式)、ステップS6の処理を使用した場合、ステップS2の処理を使用した場合、およびステップS6とS2の両方を使用した場合について、ショット境界を検出した場合、その検出率は図4のようになった。このことから、本発明の処理を導入すると、ショット境界の検出精度が向上することが確かめられた。
前記した実施形態では、前記中央領域抽出部2は画面を水平方向にm分割しその中央領域を抽出する例であったが、画面を垂直方向にm分割して左右の側片を含む領域を除去して中央領域を抽出するようにしてもよい。または、画面の水平、垂直両方向の周辺領域を除去して中央領域の画像部分のみを抽出するようにしてもよい。
1・・・可変長復号部、2・・・中央領域抽出部、3・・・フレーム間輝度差分値演算部、4・・・色差ヒストグラム相関値演算部、5・・・暗さ判定部、6・・・ショット境界判定部。
Claims (3)
- 符号化画像を部分復号する手段と、
該部分復号された画像から、字幕などの画像の不変部分が入る周辺領域を除去する手段と、
前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備したことを特徴とするショット境界検出装置。 - 符号化画像を部分復号する手段と、
該部分復号された画像を水平または垂直方向にm(m≧3)分割し、上下または左右の周辺の分割領域の少なくとも1つを除去する手段と、
前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備したことを特徴とするショット境界検出装置。 - 請求項1または2に記載のショット境界検出装置において、
前記ショット境界を検出する手段は、フレーム間輝度差分値Dnを求める手段と、画像の平均輝度値を検出し、該平均輝度値が予め定められた閾値より小さい場合に、前記フレーム間輝度差分値Dnにγ(γ>1)を乗じる手段と、γDnが予め定められた閾値Thより大きければショット境界の候補とする手段とを具備することを特徴とするショット境界検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005326355A JP2007134986A (ja) | 2005-11-10 | 2005-11-10 | ショット境界検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005326355A JP2007134986A (ja) | 2005-11-10 | 2005-11-10 | ショット境界検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007134986A true JP2007134986A (ja) | 2007-05-31 |
Family
ID=38156286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005326355A Pending JP2007134986A (ja) | 2005-11-10 | 2005-11-10 | ショット境界検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007134986A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017112448A (ja) * | 2015-12-15 | 2017-06-22 | 日本放送協会 | 映像シーン分割装置及び映像シーン分割プログラム |
KR20180121340A (ko) * | 2017-04-28 | 2018-11-07 | 연세대학교 산학협력단 | 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 |
CN110119652A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频的镜头分割方法及装置 |
-
2005
- 2005-11-10 JP JP2005326355A patent/JP2007134986A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017112448A (ja) * | 2015-12-15 | 2017-06-22 | 日本放送協会 | 映像シーン分割装置及び映像シーン分割プログラム |
KR20180121340A (ko) * | 2017-04-28 | 2018-11-07 | 연세대학교 산학협력단 | 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 |
KR102163556B1 (ko) * | 2017-04-28 | 2020-10-07 | 연세대학교 산학협력단 | 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치 |
CN110119652A (zh) * | 2018-02-06 | 2019-08-13 | 上海全土豆文化传播有限公司 | 视频的镜头分割方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9905031B2 (en) | Method and related apparatus for capturing and processing image data | |
US8582915B2 (en) | Image enhancement for challenging lighting conditions | |
JP2005235220A (ja) | 動画像の字幕検出方法および装置 | |
CN110830787B (zh) | 一种检测花屏图像的方法及装置 | |
US11301974B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and storage medium | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
US20090147845A1 (en) | Image coding method and apparatus | |
JP2010200295A (ja) | 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 | |
JP2007134986A (ja) | ショット境界検出装置 | |
EP2383665B1 (en) | Matching weighting information extracting device | |
CA2973492C (en) | Detection of solid color frames for determining transitions in video content | |
JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
CN104112266B (zh) | 一种图像边缘虚化的检测方法和装置 | |
JP5754931B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
US20080063063A1 (en) | Electronic device and method for block-based image processing | |
JP6348020B2 (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
JP2003061112A (ja) | カメラワーク検出装置およびカメラワーク検出方法 | |
CN102625029B (zh) | 自适应阈值字幕检测方法 | |
JP4869323B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2016129281A (ja) | 画像処理装置 | |
CN110248182B (zh) | 一种场景片段镜头检测方法 | |
Wang et al. | Accurate silhouette extraction of a person in video data by shadow evaluation | |
JP4282512B2 (ja) | 画像処理装置、画像処理装置における2値化閾値管理方法及び画像処理プログラム | |
KR20100016803A (ko) | 내용 적응적 해상도 비디오 압축을 위한 영상 분석 장치 및방법 | |
JP3390308B2 (ja) | 動画像の特殊カット点検出装置 |