JP2679778B2 - 画像の動き検出装置 - Google Patents
画像の動き検出装置Info
- Publication number
- JP2679778B2 JP2679778B2 JP12737590A JP12737590A JP2679778B2 JP 2679778 B2 JP2679778 B2 JP 2679778B2 JP 12737590 A JP12737590 A JP 12737590A JP 12737590 A JP12737590 A JP 12737590A JP 2679778 B2 JP2679778 B2 JP 2679778B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- detecting
- correction
- movement
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、撮像装置の揺れやパンニングなどにより、
撮像された画像の全体が動く場合でも、背景とは異なる
動きをもつ物体だけを検出することが可能なように構成
された画像の動き検出装置に関するものである。
撮像された画像の全体が動く場合でも、背景とは異なる
動きをもつ物体だけを検出することが可能なように構成
された画像の動き検出装置に関するものである。
従来の技術 画像内で動きを持つ物体を検出する装置として、従
来、第10図に示すような装置がある。これはフレームメ
モリ３に前フレームの画像信号を記憶しておき、現フレ
ームの画像信号34が入力されるとき、前フレームと現フ
レームの各画素の信号の差分をとり、この差分値が所定
の値を超えるとき、その画素を動き領域であるとするも
のである。たとえば、第11図（ａ）に示すように、背景
が静止した状態で物が動くような場合、この装置は２フ
レーム間差分を取ることにより第11図（ｂ）に示すよう
に、画像内で動きを持つ物体として、移動物だけを検出
することができる。
来、第10図に示すような装置がある。これはフレームメ
モリ３に前フレームの画像信号を記憶しておき、現フレ
ームの画像信号34が入力されるとき、前フレームと現フ
レームの各画素の信号の差分をとり、この差分値が所定
の値を超えるとき、その画素を動き領域であるとするも
のである。たとえば、第11図（ａ）に示すように、背景
が静止した状態で物が動くような場合、この装置は２フ
レーム間差分を取ることにより第11図（ｂ）に示すよう
に、画像内で動きを持つ物体として、移動物だけを検出
することができる。
発明が解決しようとする課題 しかしながら、従来の画像の動き検出装置では第12図
（ａ）に示すように、パンニングなどの撮像装置の動き
によって、背景が静止していない状態では、この装置で
は２フレーム間差分を取ることにより第12図（ｂ）に示
すように、背景も動き領域として検出されるため、画像
内で移動物だけを検出できない。
（ａ）に示すように、パンニングなどの撮像装置の動き
によって、背景が静止していない状態では、この装置で
は２フレーム間差分を取ることにより第12図（ｂ）に示
すように、背景も動き領域として検出されるため、画像
内で移動物だけを検出できない。
本発明は、上記従来の課題を解決するもので、背景が
静止していない状態でも、背景とは異なる動きをもつ物
体だけを検出することができる画像の動き検出装置を提
供することを目的とする。
静止していない状態でも、背景とは異なる動きをもつ物
体だけを検出することができる画像の動き検出装置を提
供することを目的とする。
課題を解決するための手段 請求項１記載の本発明は、画像信号の全体の動きを検
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像の信号の
変化する領域を動き領域として検出する動き領域検出手
段と、前記検出された動き領域のうち、前記補正が不完
全であるために前記動き領域検出手段により誤検出され
た領域を除去するとともに、前記画面全体の動きベクト
ルに応じて、前記除去の対象となる領域の大きさの基準
を適応的に変化させるフィルタ手段を備えた画像の動き
検出装置である。
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像の信号の
変化する領域を動き領域として検出する動き領域検出手
段と、前記検出された動き領域のうち、前記補正が不完
全であるために前記動き領域検出手段により誤検出され
た領域を除去するとともに、前記画面全体の動きベクト
ルに応じて、前記除去の対象となる領域の大きさの基準
を適応的に変化させるフィルタ手段を備えた画像の動き
検出装置である。
請求項２記載の本発明は、画像信号の全体の動きを検
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像の少なく
とも２フレーム以上を比較し、その比較結果から信号の
異なる領域を動き領域として検出する動き領域検出手段
と、前記検出された動き領域のうち、前記補正が不完全
であるために前記動き領域検出手段により誤検出された
領域を除去するとともに、前記画面全体の動きベクトル
の振幅又は分散に応じて、前記除去の対象となる領域の
大きさの基準を適応的に変化させるフィルタ手段を備え
た画像の動き検出装置である。
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像の少なく
とも２フレーム以上を比較し、その比較結果から信号の
異なる領域を動き領域として検出する動き領域検出手段
と、前記検出された動き領域のうち、前記補正が不完全
であるために前記動き領域検出手段により誤検出された
領域を除去するとともに、前記画面全体の動きベクトル
の振幅又は分散に応じて、前記除去の対象となる領域の
大きさの基準を適応的に変化させるフィルタ手段を備え
た画像の動き検出装置である。
請求項３記載の本発明は、画像信号の全体の動きを検
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像を用いて
信号の値の異なる領域を検出する手段と、検出された画
面全体の動きの大きさに応じて、前記補正が不完全であ
るために前記異なる領域を検出する手段により誤検出さ
れた領域を予測し、これを適応的に除去する除去手段を
備えた画像の動き検出装置である。
出する検出手段と、前記検出手段により検出された動き
に基づいて画像信号の全体の動きを補正する補正手段
と、前記補正手段によって補正された補正画像を用いて
信号の値の異なる領域を検出する手段と、検出された画
面全体の動きの大きさに応じて、前記補正が不完全であ
るために前記異なる領域を検出する手段により誤検出さ
れた領域を予測し、これを適応的に除去する除去手段を
備えた画像の動き検出装置である。
請求項４記載の本発明は、画像信号の全体の動きを動
きベクトルとして検出する検出手段と、その検出された
動きベクトルに基づいて画像信号の全体の動きを補正す
る補正手段と、前記補正手段によって補正された補正画
像を含む少なくとも２フレーム以上の画像を比較し、そ
の比較結果から信号の値の異なる領域を検出する比較検
出手段と、前記検出された動きベクトルの振幅量又は分
散に応じて、前記補正が不完全であるために前記比較検
出手段により誤検出された領域を予測し、その補正が不
完全な領域を適応的に除去する除去手段とを備えた画像
の動き検出装置である。
きベクトルとして検出する検出手段と、その検出された
動きベクトルに基づいて画像信号の全体の動きを補正す
る補正手段と、前記補正手段によって補正された補正画
像を含む少なくとも２フレーム以上の画像を比較し、そ
の比較結果から信号の値の異なる領域を検出する比較検
出手段と、前記検出された動きベクトルの振幅量又は分
散に応じて、前記補正が不完全であるために前記比較検
出手段により誤検出された領域を予測し、その補正が不
完全な領域を適応的に除去する除去手段とを備えた画像
の動き検出装置である。
請求項５記載の本発明は、加速度センサを用いて撮像
状態を検出しその検出結果を信号化して出力する出力手
段と、前記撮像状態を表す信号を用いて画像信号の全体
の動きを検出する検出手段と、前記検出手段により検出
された動きをもとに、画像信号の全体の動きを補正する
補正手段と、前記補正手段によって補正された補正画像
を含む少なくとも２フレーム以上の画像を比較し、その
比較結果から信号の値の異なる領域を検出する比較検出
手段を備えた画像の動き検出装置である。
状態を検出しその検出結果を信号化して出力する出力手
段と、前記撮像状態を表す信号を用いて画像信号の全体
の動きを検出する検出手段と、前記検出手段により検出
された動きをもとに、画像信号の全体の動きを補正する
補正手段と、前記補正手段によって補正された補正画像
を含む少なくとも２フレーム以上の画像を比較し、その
比較結果から信号の値の異なる領域を検出する比較検出
手段を備えた画像の動き検出装置である。
請求項６記載の本発明は、撮像状態を表す信号を出力
する出力手段と、前記撮像状態を表す信号を用いて画像
信号の全体の動きを検出する検出手段と、前記検出手段
により検出された動きをもとに、画像信号の全体の動き
を補正する補正手段と、前記補正手段によって補正され
た補正画像を含む少なくとも２フレーム以上の画像を比
較し、その比較結果から信号の値の異なる領域を検出す
る比較検出手段と、前記検出された画像信号の全体の動
きに応じて、前記補正が不完全である領域の大きさを予
測し、その補正が不完全であるために前記比較検出手段
により誤検出された領域を適応的に除去する除去手段と
を備えた画像の動き検出装置である。
する出力手段と、前記撮像状態を表す信号を用いて画像
信号の全体の動きを検出する検出手段と、前記検出手段
により検出された動きをもとに、画像信号の全体の動き
を補正する補正手段と、前記補正手段によって補正され
た補正画像を含む少なくとも２フレーム以上の画像を比
較し、その比較結果から信号の値の異なる領域を検出す
る比較検出手段と、前記検出された画像信号の全体の動
きに応じて、前記補正が不完全である領域の大きさを予
測し、その補正が不完全であるために前記比較検出手段
により誤検出された領域を適応的に除去する除去手段と
を備えた画像の動き検出装置である。
作用 本発明の画像の動き検出装置において、全体の動きを
補正する手段により、撮像装置の撮像方向の変化などに
よる画像の画面全般の動きが補正される。この補正され
た出力画像信号を用いて動き検出を行うことにより、全
体の動きとは異なる動きをもつ移動物だけを検出するこ
とが可能となる。また、除去手段により、検出された信
号の値の異なる領域の中の、補正が不完全な領域を除去
するので、動きベクトルの検出誤差や、画像の歪みなど
による、背景部分のエッジ等での動き領域を誤って検出
することがない。
補正する手段により、撮像装置の撮像方向の変化などに
よる画像の画面全般の動きが補正される。この補正され
た出力画像信号を用いて動き検出を行うことにより、全
体の動きとは異なる動きをもつ移動物だけを検出するこ
とが可能となる。また、除去手段により、検出された信
号の値の異なる領域の中の、補正が不完全な領域を除去
するので、動きベクトルの検出誤差や、画像の歪みなど
による、背景部分のエッジ等での動き領域を誤って検出
することがない。
実施例 以下に本発明の実施例を図面を参照して説明する。
第１図は本発明の第１の実施例における画像の動き検
出装置のブロック図を示すものである。第１図におい
て、１は動きベクトル検出手段、２は代表動きベクトル
決定手段、３、3aはフレームメモリ、４は読みだし制御
手段、５は差分、しきい値処理手段、６はメディアンフ
ィルタ、７は動き振幅・分散算出手段、34は入力端子で
ある。
出装置のブロック図を示すものである。第１図におい
て、１は動きベクトル検出手段、２は代表動きベクトル
決定手段、３、3aはフレームメモリ、４は読みだし制御
手段、５は差分、しきい値処理手段、６はメディアンフ
ィルタ、７は動き振幅・分散算出手段、34は入力端子で
ある。
この画像の動き検出装置の動作を第２図を用いながら
説明する。
説明する。
まず、第２図において、８は前フレームの画像、９は
現フレームの画像、10は画像内の移動物の動きベクト
ル、11は画像内の背景の動きベクトル、12は画像内の移
動物、13は画面内の各動きベクトル検出領域、14は０ベ
クトル、15は画像内の背景の動きベクトルの逆ベクト
ル、16は２フレームの画像を差分、しきい値処理して検
出される移動物の領域、17は２フレームの動き補正が完
全でないため、画像を差分、しきい値処理したとき動き
領域として検出される背景のエッジ部分、18は前フレー
ムの画面位置、19は現フレームの画面位置である。
現フレームの画像、10は画像内の移動物の動きベクト
ル、11は画像内の背景の動きベクトル、12は画像内の移
動物、13は画面内の各動きベクトル検出領域、14は０ベ
クトル、15は画像内の背景の動きベクトルの逆ベクト
ル、16は２フレームの画像を差分、しきい値処理して検
出される移動物の領域、17は２フレームの動き補正が完
全でないため、画像を差分、しきい値処理したとき動き
領域として検出される背景のエッジ部分、18は前フレー
ムの画面位置、19は現フレームの画面位置である。
まず本装置の入力端子34に、第２図（ａ）に示すよう
に、前フレームの画像８に対し、背景と移動物12を含め
た全般に動きをもつ現フレームの画像９が入力される。
動きベクトルを検出手段１において、第２図（ｂ）に示
すように、画面を16分割した各動きベクトル検出領域13
でそれぞれ画像の動きベクトルが検出される。移動物12
の主に存在する領域では、移動物12の動きベクトル10が
検出され、おもに背景の絵柄が存在する領域では、背景
の動きベクトル11が検出される。また、絵柄が存在しな
いような領域では、０ベクトル14を検出する。代表動き
ベクトル決定手段２では、各動きベクトル検出領域13か
ら検出される16のベクトルの統計的に最も多くのベクト
ルが一致しているベクトルを、背景の動きベクトル11と
して決定し出力する。前記統計的に最も多くのベクトル
が一致しているベクトルを算出する方法は、ベクトルの
水平方向垂直方向のベクトル値について２次元ヒストグ
ラムをとり、その２次元ヒストグラム値が最大となるベ
クトル値を求めるものである。この動作を簡単に第２図
（ｆ）、（ｇ）を用いて説明する。第２図（ｆ）は代表
動きベクトル決定手段２に入力される動きベクトルの点
を検出範囲内でプロットしたものである。この第２図
（ｇ）はこのヒストグラムを、水平方向だけから見たも
のである。この最大点を検出することにより、背景の動
きベクトル11を出力する。フレームメモリ３はこの背景
の動きベクトル11が検出される間、現フレームの画像信
号を記憶する。読みだし制御手段４は動きベクトル11を
基にして、第２図（ｃ）に示すように、前フレームの出
力位置18を基準に、動きベクトル11の逆ベクトル15の方
向に現フレームの出力位置19をシフトしてフレームメモ
リ３から画像信号を読みだし、出力する。フレームメモ
リ3aは読みだし制御手段４の前フレームの出力を記憶す
る。差分、しきい値処理手段５は、フレームメモリ3aか
らの前フレームの画像信号と、読みだし制御手段４の現
フレームの画像信号の差分を取り、その絶対値がしきい
値を超えるところの画素を、動き領域として出力する。
その出力が第２図（ｄ）の16、17のように斜線で示す部
分である。ただし、動きベクトル検出の微少な誤差や、
またはシェーディングなどの画像の歪み、または画面の
回転などにより、平行移動では背景の動きを完全に補正
できない場合、17に示すように背景の絵柄のエッジ部分
に、動き領域として検出される場合がある。これは一般
にエッジ部分のみに点または線状に発生するので、メデ
ィアンフィルタ６により、取り除くことができ、第２図
（ｅ）に示すように移動物による動き領域16だけが出力
される。この背景のエッジ部分に発生する動き領域とし
て検出される部分の大きさは、たとえばシェーディング
などの画像の歪みを原因とする場合、背景の動きベクト
ルの大きさより予測できる。また検出誤差や、画面の回
転を原因とする場合、動きベクトル検出手段１で検出さ
れる各検出領域の動きベクトルの一致度つまり、第２図
（ｇ）に示す背景の動きベクトル11に集まる動きベクト
ルの分散29の大きさより予測できる。動き振幅・分散算
出手段７は、背景の動きベクトル11の振幅、分散29を求
め、メディアンフィルタ６に出力する。メディアンフィ
ルタ６は、動き振幅・分散算出手段７より入力される背
景の動きベクトル11、分散29より、これに応じてメディ
アンフィルタのマトリクスの大きさを変化させる。この
ことにより、動きが大きく、背景のエッジ部分に発生す
る動き領域の部分か大きくなってもこれを取り除くこと
ができる。
に、前フレームの画像８に対し、背景と移動物12を含め
た全般に動きをもつ現フレームの画像９が入力される。
動きベクトルを検出手段１において、第２図（ｂ）に示
すように、画面を16分割した各動きベクトル検出領域13
でそれぞれ画像の動きベクトルが検出される。移動物12
の主に存在する領域では、移動物12の動きベクトル10が
検出され、おもに背景の絵柄が存在する領域では、背景
の動きベクトル11が検出される。また、絵柄が存在しな
いような領域では、０ベクトル14を検出する。代表動き
ベクトル決定手段２では、各動きベクトル検出領域13か
ら検出される16のベクトルの統計的に最も多くのベクト
ルが一致しているベクトルを、背景の動きベクトル11と
して決定し出力する。前記統計的に最も多くのベクトル
が一致しているベクトルを算出する方法は、ベクトルの
水平方向垂直方向のベクトル値について２次元ヒストグ
ラムをとり、その２次元ヒストグラム値が最大となるベ
クトル値を求めるものである。この動作を簡単に第２図
（ｆ）、（ｇ）を用いて説明する。第２図（ｆ）は代表
動きベクトル決定手段２に入力される動きベクトルの点
を検出範囲内でプロットしたものである。この第２図
（ｇ）はこのヒストグラムを、水平方向だけから見たも
のである。この最大点を検出することにより、背景の動
きベクトル11を出力する。フレームメモリ３はこの背景
の動きベクトル11が検出される間、現フレームの画像信
号を記憶する。読みだし制御手段４は動きベクトル11を
基にして、第２図（ｃ）に示すように、前フレームの出
力位置18を基準に、動きベクトル11の逆ベクトル15の方
向に現フレームの出力位置19をシフトしてフレームメモ
リ３から画像信号を読みだし、出力する。フレームメモ
リ3aは読みだし制御手段４の前フレームの出力を記憶す
る。差分、しきい値処理手段５は、フレームメモリ3aか
らの前フレームの画像信号と、読みだし制御手段４の現
フレームの画像信号の差分を取り、その絶対値がしきい
値を超えるところの画素を、動き領域として出力する。
その出力が第２図（ｄ）の16、17のように斜線で示す部
分である。ただし、動きベクトル検出の微少な誤差や、
またはシェーディングなどの画像の歪み、または画面の
回転などにより、平行移動では背景の動きを完全に補正
できない場合、17に示すように背景の絵柄のエッジ部分
に、動き領域として検出される場合がある。これは一般
にエッジ部分のみに点または線状に発生するので、メデ
ィアンフィルタ６により、取り除くことができ、第２図
（ｅ）に示すように移動物による動き領域16だけが出力
される。この背景のエッジ部分に発生する動き領域とし
て検出される部分の大きさは、たとえばシェーディング
などの画像の歪みを原因とする場合、背景の動きベクト
ルの大きさより予測できる。また検出誤差や、画面の回
転を原因とする場合、動きベクトル検出手段１で検出さ
れる各検出領域の動きベクトルの一致度つまり、第２図
（ｇ）に示す背景の動きベクトル11に集まる動きベクト
ルの分散29の大きさより予測できる。動き振幅・分散算
出手段７は、背景の動きベクトル11の振幅、分散29を求
め、メディアンフィルタ６に出力する。メディアンフィ
ルタ６は、動き振幅・分散算出手段７より入力される背
景の動きベクトル11、分散29より、これに応じてメディ
アンフィルタのマトリクスの大きさを変化させる。この
ことにより、動きが大きく、背景のエッジ部分に発生す
る動き領域の部分か大きくなってもこれを取り除くこと
ができる。
次に、以下本発明の第２の実施例について、図面を参
照しながら説明する。第３図は本発明の第２の実施例に
おける画像の動き検出装置のブロック図を示すものであ
る。第３図において、第１図と、同じ要素には、同じ番
号をつけている。この画像の動き検出装置の動作を第４
図を用いながら説明する。第４図において、第２図と、
同じ要素には、同じ番号をつけている。
照しながら説明する。第３図は本発明の第２の実施例に
おける画像の動き検出装置のブロック図を示すものであ
る。第３図において、第１図と、同じ要素には、同じ番
号をつけている。この画像の動き検出装置の動作を第４
図を用いながら説明する。第４図において、第２図と、
同じ要素には、同じ番号をつけている。
まず本装置の入力端子34に、第１の実施例と同様に、
第４図（ａ）に示すように、前フレームの画像８に対
し、背景と移動物12を含めた全般に動きをもつ現フレー
ムの画像９が入力される。動きベクトル検出１と代表動
きベクトル決定手段２の動作は、第１の実施例と同様で
ある。フレームメモリ３はこの背景の動きベクトル11が
検出されるあいだ現フレームの画像信号を記憶する。そ
のとき同時に、フレームメモリ3aは前フレームの画像信
号を記憶している。読みだし制御手段４は動きベクトル
11を基にして、第４図（ｃ）に示すように、現フレーム
の位置19を基準に、動きベクトル11の方向に前フレーム
の出力位置18をシフトして、フレームメモリ3aから画像
信号を読みだし、出力する。差分、しきい値処理手段５
は、フレームメモリ３からの現フレームの画像信号と、
読みだし制御手段４の出力の前フレームの画像信号の差
分を取り、その絶対値がしきい値を超えるところの画素
を、動き領域として出力する。その出力が第４図（ｄ）
の16、17のように斜線で示す部分である。これも第１の
実施例同様、動きベクトル検出の微少な誤差や、または
シェーディングなどの画像の歪みにより、背景の動きを
完全に補正できない場合、17に示すように背景の絵柄の
エッジ部分に、動き領域として検出される場合がある。
振幅算出手段７、メディアンフィルタ６は第１の実施例
と同様に動作し、これを取り除き、第４図（ｅ）に示す
ように移動物による動き領域16だけが出力される。ここ
で第１の実施例は前フレームの補正出力画面を基準にし
て現フレームの位置をシフトするため第２図（ｅ）に示
すように補正された画面の座標を基準に、移動物による
動き領域16が出力されるが、第２の実施例は現フレーム
を基準にして現フレームの位置をシフトするため第４図
（ｅ）に示すように現フィールドの画面の座標を基準
に、移動物による動き領域16が出力される。
第４図（ａ）に示すように、前フレームの画像８に対
し、背景と移動物12を含めた全般に動きをもつ現フレー
ムの画像９が入力される。動きベクトル検出１と代表動
きベクトル決定手段２の動作は、第１の実施例と同様で
ある。フレームメモリ３はこの背景の動きベクトル11が
検出されるあいだ現フレームの画像信号を記憶する。そ
のとき同時に、フレームメモリ3aは前フレームの画像信
号を記憶している。読みだし制御手段４は動きベクトル
11を基にして、第４図（ｃ）に示すように、現フレーム
の位置19を基準に、動きベクトル11の方向に前フレーム
の出力位置18をシフトして、フレームメモリ3aから画像
信号を読みだし、出力する。差分、しきい値処理手段５
は、フレームメモリ３からの現フレームの画像信号と、
読みだし制御手段４の出力の前フレームの画像信号の差
分を取り、その絶対値がしきい値を超えるところの画素
を、動き領域として出力する。その出力が第４図（ｄ）
の16、17のように斜線で示す部分である。これも第１の
実施例同様、動きベクトル検出の微少な誤差や、または
シェーディングなどの画像の歪みにより、背景の動きを
完全に補正できない場合、17に示すように背景の絵柄の
エッジ部分に、動き領域として検出される場合がある。
振幅算出手段７、メディアンフィルタ６は第１の実施例
と同様に動作し、これを取り除き、第４図（ｅ）に示す
ように移動物による動き領域16だけが出力される。ここ
で第１の実施例は前フレームの補正出力画面を基準にし
て現フレームの位置をシフトするため第２図（ｅ）に示
すように補正された画面の座標を基準に、移動物による
動き領域16が出力されるが、第２の実施例は現フレーム
を基準にして現フレームの位置をシフトするため第４図
（ｅ）に示すように現フィールドの画面の座標を基準
に、移動物による動き領域16が出力される。
以下本発明の第３の実施例について、図面を参照しな
がら説明する。第５図は本発明の第３の実施例における
画像の動き検出装置のブロック図を示すものである。第
５図において、第２図と、同じ要素には、同じ番号をつ
けている。第５図において、1aは動きベクトル検出手段
である。この画像の動き検出装置の動作を第６図を用い
ながら説明する。第６図（ａ）において、第２図と、同
じ要素には、同じ番号をつけている。
がら説明する。第５図は本発明の第３の実施例における
画像の動き検出装置のブロック図を示すものである。第
５図において、第２図と、同じ要素には、同じ番号をつ
けている。第５図において、1aは動きベクトル検出手段
である。この画像の動き検出装置の動作を第６図を用い
ながら説明する。第６図（ａ）において、第２図と、同
じ要素には、同じ番号をつけている。
第６図（ｂ）において、26は相関関数、27は背景部分
で得られる相関関数、28は移動物の領域で得られる相関
関数である。
で得られる相関関数、28は移動物の領域で得られる相関
関数である。
まず本装置に、第６図（ａ）に示すように、前フレー
ムの画像８に対し、背景と移動物12を含めた全般に動き
をもつ現フレームの画像９が入力される。動きベクトル
検出手段1aにおいては、まず、画面全体のデータについ
て第６図（ｂ）に示すように、動きベクトル検出範囲内
の偏移における差分の絶対値を相関関数26として求め
る。この相関関数26は、背景部分で得られる相関関数27
と移動物の領域で得られる相関関数28を加算したもので
ある。ここで、移動物の面積が背景に対して十分小さけ
れば、相関関数27の平均的振幅が相関関数28に比べ十分
大きくなるため、相関関数26の最小点を求めることによ
り、背景の動きベクトル11を求めることができる。動き
ベクトル検出手段1aはこのようにして、相関関数26の最
小点を求め、背景の動きベクトル11を検出し、出力す
る。フレームメモリ３はこの背景の動きベクトル11が検
出される間、現フレームの画像信号を記憶する。そのと
き同時に、フレームメモリ3aは前フレームの画像信号を
記憶している。以後、読みだし制御手段４、差分、しき
い値処理手段５、メディアンフィルタ６の動作は第２の
実施例と同様である。
ムの画像８に対し、背景と移動物12を含めた全般に動き
をもつ現フレームの画像９が入力される。動きベクトル
検出手段1aにおいては、まず、画面全体のデータについ
て第６図（ｂ）に示すように、動きベクトル検出範囲内
の偏移における差分の絶対値を相関関数26として求め
る。この相関関数26は、背景部分で得られる相関関数27
と移動物の領域で得られる相関関数28を加算したもので
ある。ここで、移動物の面積が背景に対して十分小さけ
れば、相関関数27の平均的振幅が相関関数28に比べ十分
大きくなるため、相関関数26の最小点を求めることによ
り、背景の動きベクトル11を求めることができる。動き
ベクトル検出手段1aはこのようにして、相関関数26の最
小点を求め、背景の動きベクトル11を検出し、出力す
る。フレームメモリ３はこの背景の動きベクトル11が検
出される間、現フレームの画像信号を記憶する。そのと
き同時に、フレームメモリ3aは前フレームの画像信号を
記憶している。以後、読みだし制御手段４、差分、しき
い値処理手段５、メディアンフィルタ６の動作は第２の
実施例と同様である。
以下本発明の第４の実施例について、図面を参照しな
がら説明する。第７図は本発明の第４の実施例における
画像の動き検出装置のブロック図を示すものである。第
７図において、第１図と、同じ要素には、同じ番号をつ
けている。第７図において、20は撮像装置に取り付けら
れた加速度センサ、21はズーム倍率センサ、22は動き算
出手段、26は読みだし制御、データ補間手段である。こ
の画像の動き検出装置の動作を第８図を用いながら説明
する。第８図において、第２図と、同じ要素には、同じ
番号をつけている。第８図において、23は前フレームに
対する現フレームの画面中心部分の動きベクトル、24は
前フレームに対する現フレームの画面中心を中心とする
周辺部分の動きの回転角度、25は前フレームに対する現
フレームのズーム倍率の変化の割合である。
がら説明する。第７図は本発明の第４の実施例における
画像の動き検出装置のブロック図を示すものである。第
７図において、第１図と、同じ要素には、同じ番号をつ
けている。第７図において、20は撮像装置に取り付けら
れた加速度センサ、21はズーム倍率センサ、22は動き算
出手段、26は読みだし制御、データ補間手段である。こ
の画像の動き検出装置の動作を第８図を用いながら説明
する。第８図において、第２図と、同じ要素には、同じ
番号をつけている。第８図において、23は前フレームに
対する現フレームの画面中心部分の動きベクトル、24は
前フレームに対する現フレームの画面中心を中心とする
周辺部分の動きの回転角度、25は前フレームに対する現
フレームのズーム倍率の変化の割合である。
まず本装置の入力端子34に、第８図（ａ）に示すよう
に、前フレームの画像８に対し、背景と移動物12を含め
た全般に動きをもつ現フレームの画像９が入力される。
フレームメモリ3aは前フレームの画像信号を記憶してい
る。
に、前フレームの画像８に対し、背景と移動物12を含め
た全般に動きをもつ現フレームの画像９が入力される。
フレームメモリ3aは前フレームの画像信号を記憶してい
る。
このとき、撮像装置に取り付けられた加速度センサ20
より、撮像装置の撮影方向の角度の変化および、撮影方
向を中心とした回転角度が、動き算出手段22に入力され
る。また同時にズーム倍率センサ21から、ズーム倍率が
動き算出手段22に入力される。動き算出手段22は、第８
図（ａ）に示す前フレームに対する現フレームの画面中
心部分の動きベクトル23、前フレームに対する現フレー
ムの画面中心を中心とする周辺部分の動きの回転角度2
4、前フレームに対する現フレームのズーム倍率の変化
の割合25を算出する。読みだし制御、データ補間手段26
は、第８図（ｂ）に示すように、現フレームの位置19を
基準に、フレームメモリ3aから前フレームの画像信号を
読みだし、データ補間を行い出力する。差分、しきい値
処理手段５は、フレームメモリ３からの現フレームの画
像信号と、読みだし制御手段４の出力の前フレームの画
像信号の差分を取り、その絶対値がしきい値を超えると
ころの画素を、動き領域として出力する。その出力が第
８図（ｃ）の16、17のように斜線で示す部分である。こ
れも第１の実施例同様、動きベクトル検出の微少な誤差
や、またはシェーディングなどの画像の歪みにより、背
景の動きを完全に補正できない場合、17に示すように背
景の絵柄のエッジ部分に、動き領域として検出される場
合がある。振幅算出手段７、メディアンフィルタ６は第
１の実施例と同様に動作し、これを取り除き、第８図
（ｄ）に示すように移動物による動き領域16だけが出力
される。
より、撮像装置の撮影方向の角度の変化および、撮影方
向を中心とした回転角度が、動き算出手段22に入力され
る。また同時にズーム倍率センサ21から、ズーム倍率が
動き算出手段22に入力される。動き算出手段22は、第８
図（ａ）に示す前フレームに対する現フレームの画面中
心部分の動きベクトル23、前フレームに対する現フレー
ムの画面中心を中心とする周辺部分の動きの回転角度2
4、前フレームに対する現フレームのズーム倍率の変化
の割合25を算出する。読みだし制御、データ補間手段26
は、第８図（ｂ）に示すように、現フレームの位置19を
基準に、フレームメモリ3aから前フレームの画像信号を
読みだし、データ補間を行い出力する。差分、しきい値
処理手段５は、フレームメモリ３からの現フレームの画
像信号と、読みだし制御手段４の出力の前フレームの画
像信号の差分を取り、その絶対値がしきい値を超えると
ころの画素を、動き領域として出力する。その出力が第
８図（ｃ）の16、17のように斜線で示す部分である。こ
れも第１の実施例同様、動きベクトル検出の微少な誤差
や、またはシェーディングなどの画像の歪みにより、背
景の動きを完全に補正できない場合、17に示すように背
景の絵柄のエッジ部分に、動き領域として検出される場
合がある。振幅算出手段７、メディアンフィルタ６は第
１の実施例と同様に動作し、これを取り除き、第８図
（ｄ）に示すように移動物による動き領域16だけが出力
される。
なお、第１、第２の実施例では、２フレーム間の画像
全体の平行移動の動きを補正しているが、平行移動の動
きだけではなく、全体的な回転、拡大の動きをたとえ
ば、第７図（ａ），（ｂ）のように検出し、第８図
（ａ），（ｂ）のように２フレームの一方を回転、拡大
処理して、２のフレーム間の全体的動きを補正し、その
全体的動きとは異なる動き領域を検出する装置とするこ
とも当然考えられる。
全体の平行移動の動きを補正しているが、平行移動の動
きだけではなく、全体的な回転、拡大の動きをたとえ
ば、第７図（ａ），（ｂ）のように検出し、第８図
（ａ），（ｂ）のように２フレームの一方を回転、拡大
処理して、２のフレーム間の全体的動きを補正し、その
全体的動きとは異なる動き領域を検出する装置とするこ
とも当然考えられる。
また第４の実施例では加速度センサとズーム倍率セン
サの出力を用いて、撮像方向とズーム倍率の変化を算出
したが、これは撮像状状態を信号化するものであれば良
い。
サの出力を用いて、撮像方向とズーム倍率の変化を算出
したが、これは撮像状状態を信号化するものであれば良
い。
たとえば第５の実施例として第９図に示す画像の動き
検出装置が考えられる。第４の実施例と異なる点は、撮
像装置の撮像方向を制御する手段30、ズーム倍率を制御
する手段31等を備え、それぞれより撮像方向制御信号、
ズーム倍率制御信号を出力する点と、また動き算出手段
22において、第４の実施例の加速度センサの出力の代わ
りに撮像方向の制御信号を用い、また同様にズーム倍率
センサの代わりにズーム倍率制御信号を用いる点であ
る。
検出装置が考えられる。第４の実施例と異なる点は、撮
像装置の撮像方向を制御する手段30、ズーム倍率を制御
する手段31等を備え、それぞれより撮像方向制御信号、
ズーム倍率制御信号を出力する点と、また動き算出手段
22において、第４の実施例の加速度センサの出力の代わ
りに撮像方向の制御信号を用い、また同様にズーム倍率
センサの代わりにズーム倍率制御信号を用いる点であ
る。
発明の効果 以上のように本発明は、画像信号の全体の動きを補正
する手段と、その補正手段の出力の２フレームの画像を
比較し、異なる出力値の領域を検出する手段を有するこ
とにより、撮像装置の揺れやパンニングにより、画像全
体が動いている場合でも、その画像全体の動きとは異な
る動きをもつ移動物だけを検出できる画像の動き検出装
置を実現できるものである。
する手段と、その補正手段の出力の２フレームの画像を
比較し、異なる出力値の領域を検出する手段を有するこ
とにより、撮像装置の揺れやパンニングにより、画像全
体が動いている場合でも、その画像全体の動きとは異な
る動きをもつ移動物だけを検出できる画像の動き検出装
置を実現できるものである。
第１図は本発明の第１の実施例の画像の動き検出装置の
ブロック図、第２図は本発明の第１の実施例における画
像の動き検出装置の動作を説明するための画像図、第３
図は本発明の第２の実施例の画像の動き検出装置のブロ
ック図、第４図は本発明の第２の実施例における画像の
動き検出装置の動作を説明するための画像図、第５図は
本発明の第３の実施例の画像の動き検出装置のブロック
図、第６図は本発明の第３の実施例における画像の動き
検出装置の動作を説明するための画像図、第７図は本発
明の第４の実施例の画像の動き検出装置のブロック図、
第８図は本発明の第４の実施例における画像の動き検出
装置の動作を説明するための画像図、第９図は本発明の
第５の実施例の画像の動き検出装置のブロック図、第10
図は従来例の画像の動き検出装置のブロック図、第11
図、第12図は従来例の画像の動き検出装置の動作を説明
するための画像図である。 １、1a……動きベクトル検出手段、２……代表動きベク
トル決定手段、３、3a……フレームメモリ、４……読み
だし制御手段、５……差分、しきい値処理手段、６……
メディアンフィルタ、７……動き振幅・分散算出手段、
８……前フレームの画像、９……現フレームの画像、10
……画像内の移動物の動きベクトル、11……画像内の背
景の動きベクトル、12……画像内の移動物、13……画面
内の各動きベクトル検出領域、14……０ベクトル、15…
…画像内の背景の動きベクトルの逆ベクトル、16……移
動物による動き領域、17……動き領域として検出される
背景のエッジ部分、18……前フレームの画面位置、19…
…現フレームの画面位置、20……加速度センサ、21……
ズーム倍率センサ、22……動き算出手段、23……画面中
心における背景の動きベクトル、24……画面中心におけ
る背景の動きの回転角、25……ズーム倍率の変化、26…
…読みだし制御、データ補間手段、29……動きベクトル
の分散、30……撮像方向制御手段、31……ズーム倍率制
御手段、34……画像入力端子。
ブロック図、第２図は本発明の第１の実施例における画
像の動き検出装置の動作を説明するための画像図、第３
図は本発明の第２の実施例の画像の動き検出装置のブロ
ック図、第４図は本発明の第２の実施例における画像の
動き検出装置の動作を説明するための画像図、第５図は
本発明の第３の実施例の画像の動き検出装置のブロック
図、第６図は本発明の第３の実施例における画像の動き
検出装置の動作を説明するための画像図、第７図は本発
明の第４の実施例の画像の動き検出装置のブロック図、
第８図は本発明の第４の実施例における画像の動き検出
装置の動作を説明するための画像図、第９図は本発明の
第５の実施例の画像の動き検出装置のブロック図、第10
図は従来例の画像の動き検出装置のブロック図、第11
図、第12図は従来例の画像の動き検出装置の動作を説明
するための画像図である。 １、1a……動きベクトル検出手段、２……代表動きベク
トル決定手段、３、3a……フレームメモリ、４……読み
だし制御手段、５……差分、しきい値処理手段、６……
メディアンフィルタ、７……動き振幅・分散算出手段、
８……前フレームの画像、９……現フレームの画像、10
……画像内の移動物の動きベクトル、11……画像内の背
景の動きベクトル、12……画像内の移動物、13……画面
内の各動きベクトル検出領域、14……０ベクトル、15…
…画像内の背景の動きベクトルの逆ベクトル、16……移
動物による動き領域、17……動き領域として検出される
背景のエッジ部分、18……前フレームの画面位置、19…
…現フレームの画面位置、20……加速度センサ、21……
ズーム倍率センサ、22……動き算出手段、23……画面中
心における背景の動きベクトル、24……画面中心におけ
る背景の動きの回転角、25……ズーム倍率の変化、26…
…読みだし制御、データ補間手段、29……動きベクトル
の分散、30……撮像方向制御手段、31……ズーム倍率制
御手段、34……画像入力端子。
Claims (6)
- 【請求項１】画像信号の全体の動きを検出する検出手段
と、前記検出手段により検出された動きに基づいて画像
信号の全体の動きを補正する補正手段と、前記補正手段
によって補正された補正画像の信号の変化する領域を動
き領域として検出する動き領域検出手段と、前記検出さ
れた動き領域のうち、前記補正が不完全であるために前
記動き領域検出手段により誤検出された領域を除去する
とともに、前記画面全体の動きベクトルに応じて、前記
除去の対象となる領域の大きさの基準を適応的に変化さ
せるフィルタ手段を備えたことを特徴とする画像の動き
検出装置。 - 【請求項２】画像信号の全体の動きを検出する検出手段
と、前記検出手段により検出された動きに基づいて画像
信号の全体の動きを補正する補正手段と、前記補正手段
によって補正された補正画像を含む少なくとも２フレー
ム以上を比較し、その比較結果から信号の異なる領域を
動き領域として検出する動き領域検出手段と、前記検出
された動き領域のうち、前記補正が不完全であるために
前記動き領域検出手段により誤検出された領域を除去す
るとともに、前記画面全体の動きベクトルの振幅又は分
散に応じて、前記除去の対象となる領域の大きさの基準
を適応的に変化させるフィルタ手段を備えたことを特徴
とする画像の動き検出装置。 - 【請求項３】画像信号の全体の動きを検出する検出手段
と、前記検出手段により検出された動きに基づいて画像
信号の全体の動きを補正する補正手段と、前記補正手段
によって補正された補正画像を用いて信号の値の異なる
領域を検出する手段と、検出された画面全体の動きの大
きさに応じて、前記補正が不完全であるために前記異な
る領域を検出する手段により誤検出された領域を予測
し、これを適応的に除去する除去手段を備えたことを特
徴とする画像の動き検出装置。 - 【請求項４】画像信号の全体の動きを動きベクトルとし
て検出する検出手段と、その検出された動きベクトルに
基づいて画像信号の全体の動きを補正する補正手段と、
前記補正手段によって補正された補正画像を含む少なく
とも２フレーム以上の画像を比較し、その比較結果から
信号の値の異なる領域を検出する比較検出手段と、前記
検出された動きベクトルの振幅量又は分散に応じて、前
記補正が不完全であるために前記比較検出手段により誤
検出された領域を予測し、その補正が不完全な領域を適
応的に除去する除去手段とを備えたことを特徴とする画
像の動き検出装置。 - 【請求項５】加速度センサを用いて撮像状態を検出しそ
の検出結果を信号化して出力する出力手段と、前記撮像
状態を表す信号を用いて画像信号の全体の動きを検出す
る検出手段と、前記検出手段により検出された動きをも
とに、画像信号の全体の動きを補正する補正手段と、前
記補正手段によって補正された補正画像を含む少なくと
も２フレーム以上の画像を比較し、その比較結果から信
号の値の異なる領域を検出する比較検出手段を備えたこ
とを特徴とする画像の動き検出装置。 - 【請求項６】撮像状態を表す信号を出力する出力手段
と、前記撮像状態を表す信号を用いて画像信号の全体の
動きを検出する検出手段と、前記検出手段により検出さ
れた動きをもとに、画像信号の全体の動きを補正する補
正手段と、前記補正手段によって補正された補正画像を
含む少なくとも２フレーム以上の画像を比較し、その比
較結果から信号の値の異なる領域を検出する比較検出手
段と、前記検出された画像信号の全体の動きに応じて、
前記補正が不完全である領域の大きさを予測し、その補
正が不完全であるために前記比較検出手段により誤検出
された領域を適応的に除去する除去手段とを備えたこと
を特徴とする画像の動き検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12737590A JP2679778B2 (ja) | 1990-05-16 | 1990-05-16 | 画像の動き検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12737590A JP2679778B2 (ja) | 1990-05-16 | 1990-05-16 | 画像の動き検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0422280A JPH0422280A (ja) | 1992-01-27 |
| JP2679778B2 true JP2679778B2 (ja) | 1997-11-19 |
Family
ID=14958431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12737590A Expired - Fee Related JP2679778B2 (ja) | 1990-05-16 | 1990-05-16 | 画像の動き検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2679778B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002251615A (ja) * | 2001-02-22 | 2002-09-06 | Sony Corp | 画像処理装置及び方法並びにロボット装置及びその制御方法 |
| KR101830804B1 (ko) * | 2010-12-23 | 2018-02-21 | 삼성전자주식회사 | 적응 필터링을 이용한 디지털 이미지 안정화 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| CN1655620B (zh) | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
| JP2006014121A (ja) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | 画像符号化方法、画像符号化装置および撮像装置 |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| JP4656912B2 (ja) | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
| JP4625349B2 (ja) * | 2005-03-14 | 2011-02-02 | 三菱重工業株式会社 | 監視装置 |
| JP4985251B2 (ja) * | 2007-09-10 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、フォーカス制御方法、フォーカス制御プログラム |
| JP5041316B2 (ja) * | 2008-04-08 | 2012-10-03 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
| JP5082142B2 (ja) * | 2008-04-08 | 2012-11-28 | 富士フイルム株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61113377A (ja) * | 1984-11-07 | 1986-05-31 | Sony Corp | テレビジヨン信号の動き検出装置 |
-
1990
- 1990-05-16 JP JP12737590A patent/JP2679778B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002251615A (ja) * | 2001-02-22 | 2002-09-06 | Sony Corp | 画像処理装置及び方法並びにロボット装置及びその制御方法 |
| JP4618470B2 (ja) * | 2001-02-22 | 2011-01-26 | ソニー株式会社 | 画像処理装置及び方法並びにロボット装置及びその制御方法 |
| KR101830804B1 (ko) * | 2010-12-23 | 2018-02-21 | 삼성전자주식회사 | 적응 필터링을 이용한 디지털 이미지 안정화 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0422280A (ja) | 1992-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1578116B1 (en) | Image processor | |
| EP1570652B1 (en) | Image stabilisation system and method | |
| US10636126B2 (en) | Image processing device, imaging apparatus, image processing method, image processing program, and recording medium | |
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JPH0832048B2 (ja) | 動きベクトル検出装置 | |
| JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
| JPH08251474A (ja) | 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置 | |
| JPH04151982A (ja) | 動きベクトル検出装置 | |
| JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP3465264B2 (ja) | ビデオデータの動き検出装置および方法 | |
| JPH04213973A (ja) | 画像ゆれ補正装置 | |
| JPH0686149A (ja) | 動きベクトル検出装置及びビデオカメラ | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| JP2944369B2 (ja) | ビデオカメラの手振れ補正装置およびビデオカメラ | |
| JP3209785B2 (ja) | 動きベクトル検出装置 | |
| JP3639640B2 (ja) | 動きベクトル検出装置 | |
| JP2676978B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JPH0316470A (ja) | 手振れ補正装置 | |
| JP2792906B2 (ja) | パンニング検出回路 | |
| JPH05145828A (ja) | 画像の手振れ判定装置 | |
| JP2516580B2 (ja) | 画像動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |