JP5190968B2 - Moving image compression method and compression apparatus - Google Patents
Moving image compression method and compression apparatus Download PDFInfo
- Publication number
- JP5190968B2 JP5190968B2 JP2009201608A JP2009201608A JP5190968B2 JP 5190968 B2 JP5190968 B2 JP 5190968B2 JP 2009201608 A JP2009201608 A JP 2009201608A JP 2009201608 A JP2009201608 A JP 2009201608A JP 5190968 B2 JP5190968 B2 JP 5190968B2
- Authority
- JP
- Japan
- Prior art keywords
- importance
- compression
- rate
- moving image
- compression rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像シーンを分析して重要度の高いシーンを取りこぼしなくかつデータ量を大きく削減して圧縮する動画像の圧縮方法及び圧縮装置に関する。 The present invention relates to a moving image compression method and a compression apparatus for compressing video scenes by analyzing video scenes without compressing highly important scenes and greatly reducing the amount of data.
現在、動画像情報は様々な場面で活用されており、特に映像監視分野においては、これらの情報を記憶媒体等に保存している。例えば、街中や建物内の防犯対策に利用されている防犯カメラでは、設置場所付近の状況を長時間撮影して記憶媒体に保存している。また、常に稼動し続ける防犯カメラを複数台連携させた安全管理システムが導入され、保存すべきデータ量は、さらに膨大になっている。現存の記憶媒体を有効活用するためにも、より効率的な動画像圧縮技術が必要とされる。 Currently, moving image information is used in various situations, and particularly in the field of video surveillance, such information is stored in a storage medium or the like. For example, in a security camera used for crime prevention measures in a city or in a building, the situation near the installation location is photographed for a long time and stored in a storage medium. In addition, a safety management system in which a plurality of security cameras that are constantly in operation is linked is introduced, and the amount of data to be stored is further increased. In order to make effective use of existing storage media, more efficient moving image compression technology is required.
映像監視分野の従来技術として、特許文献１のように、監視映像において、画面内の動き量を算出し、その動き量がある閾値を越えたときのみ「異常」として動画像を出力し、それ以外の正常時には静止画を出力するデータ圧縮方法が知られている。また、特許文献２のように、人感センサと連動させ、人の存在が検知されたときのみ映像を出力することで保存データ量を圧縮する方法が知られている。従来技術では、画面内に動きがあったときのみにデータを保存し、動きがないときのデータを削除することでデータ量の削減を図っている。しかしながら、画面内に動きがないときにはフレーム間の冗長性が高く、既存の動画像圧縮手法（ＭＰＥＧなど）により、すでにデータ量が少なくなった状態であるので、その部分を削除しても大きなデータ圧縮効果は得られない。また、動き量に閾値を設けて保存をするかしないかを判断する場合は、閾値の設定に圧縮結果が敏感となって、保存すべき重要なシーンを保存しそこねるリスクがある。
As a conventional technique in the field of video surveillance, as in
本発明者らは、高次局所自己相関特徴を拡張し、時間方向の相関も加えた特徴である、立体高次局所自己相関（Ｃｕｂｉｃ Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ。以下、ＣＨＬＡＣとも記す）特徴を用いて動作認識を行う技術を開発してきた（特許文献３〜５参照）。 The present inventors have extended the higher-order local autocorrelation feature and added the correlation in the time direction. The feature is a cubic higher-order local auto-correlation (hereinafter also referred to as CHLAC) feature. The technology which performs motion recognition using has been developed (see Patent Documents 3 to 5).
また、本発明者らは、立体高次局所自己相関（ＣＨＬＡＣ）特徴を用いた動作認識技術を、コンテキストの重要度評価に応用した動画像圧縮法を非特許文献１において提案した。動画像のシーン内容にまで踏み込んだ圧縮処理であり、利便性の向上や動画像のデータ量削減の効果があった。
In addition, the present inventors have proposed a moving image compression method in which a motion recognition technique using a cubic higher-order local autocorrelation (CHLAC) feature is applied to context importance evaluation in Non-Patent
従来の映像監視技術のように、画面内に動きがあったときにのみデータを保存してデータ量の削減を図るようにする場合、既に指摘した問題点の他に、動きのある映像がすべて異常と判断されてしまいデータ量が多くなってしまう問題がある。また、人感センサを用いて異常を判断する場合は、感知エリアにセンサを設置する必要があり、また人が多い場所であるとデータ量が多くなってしまう問題がある。映像監視には、映像のシーン内容にまで踏み込んで異常を判断する必要がある。また、防犯カメラなどの監視映像のみに限らず、長時間に亘る膨大な映像データを記録再生するにあたり重要なシーンをもれなく高画質で保存し且つデータ量を少なくする必要がある。例えば、医療現場で手術内容の映像記録等がある。このように、映像シーンの分析技術として、正常な動きと異常な動きを判断して映像データ量を削減する手法が必要である。 When saving data by reducing the amount of data only when there is movement in the screen, as in the conventional video surveillance technology, all the moving images are in addition to the problems already pointed out. There is a problem that the amount of data increases because it is determined to be abnormal. In addition, when an abnormality is determined using a human sensor, it is necessary to install the sensor in the sensing area, and there is a problem that the amount of data increases if the place has many people. For video surveillance, it is necessary to step into the scene content of the video and determine the anomaly. In addition to monitoring video from a security camera or the like, it is necessary to store important scenes with high image quality and to reduce the amount of data when recording and reproducing enormous amounts of video data over a long period of time. For example, there is a video recording of surgical contents at a medical site. As described above, as a technique for analyzing a video scene, a method for reducing the amount of video data by determining normal motion and abnormal motion is necessary.
本発明者らが非特許文献１で提案した手法においては、動画像の圧縮時に、重要ではないシーンに対して低フレームレートを採用することで、動画像全体のデータ量削減をねらった。図１２は、動画像と圧縮後のデータ量を横軸の長さとして示した比較図である。図１２の最上段Ａは、無圧縮の動画像のデータ量、中段Ｂは、既存圧縮法（ＭＰＥＧ、ＤｉｖＸ等）を用いて圧縮した圧縮動画像のデータ量、下段Ｃは、さらに重要でないシーンに対して低フレームレート採用した圧縮動画像のデータ量を示す。図中の星印部分は、利用者にとって重要なシーンを示している。下段Ｃの星印のない部分は、利用者側にとって重要ではないシーンが低フレームレートに圧縮されていることを示している。非特許文献１では、重要ではないシーンと重要なシーンとの切り替わり部分に、チャプターを入れて保存することで、視聴時の利便性を向上させることを行っていた。また、重要なシーンと重要ではないシーンの判別には、ＣＨＬＡＣ特徴による異常判別手法（特許文献４参照）を用いてシーン分析を行っていた。この手法では、監視の観点から、防犯カメラの設置場所において、異常行動が映っているシーンは重要であり、通常行動が映っているシーンは重要でないとしている。具体的には、重要ではないシーンのフレームレートを１／１０にしてデータ量を削減していた。
In the method proposed by the present inventors in Non-Patent
しかしながら、上記手法について研究を重ねた結果、本発明者らは次のような問題が生じていることに気がついた。上記手法のような方法では、重要度を「質的」に、つまり、重要か重要ではないかの二値として扱っている。図１３は、二値で判別する場合の具体的な例を示す図である。図１３の横軸は動画像のフレーム番号、縦軸は重要度を表す。図１３のように、動画像のフレームについて重要度を算出し、閾値を設定して、閾値を超えるフレーム番号を重要なシーン、閾値以下のフレーム番号を重要ではないシーンと判別して、重要ではないシーンに対して、大きな圧縮率で圧縮する。そうすると、重要度を「質的」に扱うこの手法には、閾値の決定が必要であり、この閾値によっては重要なシーンを取りこぼす可能性があるという問題がある。これは、閾値前後の重要度において極端な圧縮率の差が生じるためである。 However, as a result of repeated studies on the above method, the present inventors have noticed that the following problems have occurred. In a method such as the above method, the degree of importance is treated “qualitatively”, that is, as a binary value that is important or not important. FIG. 13 is a diagram illustrating a specific example in the case of discriminating with binary values. The horizontal axis in FIG. 13 represents the frame number of the moving image, and the vertical axis represents the importance. As shown in FIG. 13, the importance level is calculated for a frame of a moving image, a threshold value is set, a frame number exceeding the threshold value is determined as an important scene, and a frame number equal to or lower than the threshold value is determined as an unimportant scene. Compress with a large compression ratio for scenes that do not exist. Then, in this method of treating the importance level “qualitatively”, it is necessary to determine a threshold value, and there is a problem that an important scene may be missed depending on the threshold value. This is because an extreme difference in compression ratio occurs between the importance levels before and after the threshold.
本発明は、これらの問題を解決しようとするものであり、映像監視や、映像の記録再生、映像情報伝達等において、映像シーンの分析を行い、正常な動きと異常な動きを判断して重要度の高い映像を取りこぼし無くかつデータ量を削減して圧縮することを目的とするものである。 The present invention is intended to solve these problems, and it is important to analyze video scenes in video monitoring, video recording / playback, video information transmission, etc., and judge normal and abnormal movements. The purpose is to compress high-definition video without missing it and reducing the amount of data.
本発明は、上記目的を達成するために、以下の特徴を有するものである。 In order to achieve the above object, the present invention has the following features.
本発明の方法は、動画像を圧縮する方法であって、動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出することを特徴とする。また、本発明の方法は、該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させることを特徴とする。具体的には、前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させる。前記圧縮率を、フレームレートを変化させることにより漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することが好ましい。また、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントを、可変にすることがより好ましい。さらに、前記下限ポイントを、目標とするデータ量に応じて自動調整するようにすると利便性が増す。 The method of the present invention is a method for compressing a moving image, wherein the degree of deviation from a frequently occurring action on the moving image is regarded as an importance level, and the importance level is calculated using a three-dimensional higher-order local autocorrelation feature. It is characterized by that. Further, the method of the present invention gradually changes the compression rate according to the importance value so that the compression rate decreases as the importance level increases and the compression rate decreases as the importance level decreases. Features. Specifically, the compression rate is gradually changed by changing any one or more of a frame rate, a frame size, and an image quality control parameter. It is preferable that the compression rate is gradually changed by changing a frame rate, and a higher frame rate is adopted for a scene with a higher importance level, and a lower frame rate is adopted for a scene with a lower importance level. More preferably, the lower limit point of the degree of importance for assigning the maximum frame rate of the frame rate is variable. Furthermore, convenience is increased if the lower limit point is automatically adjusted according to the target data amount.
本発明の装置は、動画像を圧縮する装置であって、動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部を備えることを特徴とする。また、本発明の装置は、該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部を備えることを特徴とする。具体的には、前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させる。前記圧縮処理部は、フレームレートを変化させることにより圧縮率を漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することが好ましい。また、前記圧縮処理部は、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントが可変であるとより好ましい。さらに、前記圧縮処理部は、前記下限ポイントを、目標とするデータ量に応じて自動調整してもよい。なお、前記算出部や圧縮処理部は、算出処理や圧縮処理がプログラムにより実行される演算処理部を含む。 The apparatus of the present invention is an apparatus for compressing a moving image. The degree of deviation from a frequently occurring action on the moving image is regarded as an importance level, and the importance level is calculated using a three-dimensional higher-order local autocorrelation feature. An importance level calculation unit is provided. Further, the apparatus of the present invention is a compression process in which the compression rate is gradually changed in accordance with the importance value so that the compression rate is decreased as the importance level is increased and the compression rate is increased as the importance level is decreased. It comprises a part. Specifically, the compression processing unit gradually changes the compression rate by changing any one or more of a frame rate, a frame size, and an image quality control parameter. Preferably, the compression processing unit gradually changes a compression rate by changing a frame rate, and adopts a high frame rate for a scene having a higher importance and a lower frame rate for a scene having a lower importance. . More preferably, the compression processing unit has a variable lower limit point for assigning the maximum frame rate of the frame rate. Furthermore, the compression processing unit may automatically adjust the lower limit point according to a target data amount. The calculation unit and the compression processing unit include an arithmetic processing unit in which the calculation process and the compression process are executed by a program.
本発明では、動きの大小で保存の有無を判断するのではなく、動画像の内容にまで踏み込んでシーンの重要度を判断し、それに応じて圧縮率を変化させるので、重要ではないシーンには、低いフレームレートやフレームサイズを適用することができ、データ量を大きく削減できる。また、本発明では、重要度は、映像上で頻繁に起こる行動を立体高次局所自己相関により学習し、そこからの逸脱の度合いを重要度とするので、映像監視や手術シーン等において、異常な動きと正常な動きを的確に判断でき、重要度の高いシーを取りこぼしなく高画質で保存できる。 In the present invention, rather than determining whether or not to save based on the magnitude of the motion, the level of the scene is determined by stepping into the content of the moving image, and the compression rate is changed accordingly. A low frame rate and frame size can be applied, and the amount of data can be greatly reduced. Further, in the present invention, the importance is learned by three-dimensional higher-order local autocorrelation based on the behavior that frequently occurs on the image, and the degree of deviation from that is regarded as the importance. Accurate movements and normal movements can be accurately determined, and high-importance seas can be stored in high quality without losing sight.
また、重要度に閾値を設けて重要か重要でないかの質的な判断をするのではなく、重要度を量的に扱い、重要度が高いほど圧縮率を小さくし、重要度が低いほど圧縮率を高くするように漸次変化させるので、重要度のわずかな差で圧縮率が大きく変わることがなくなり、重要なシーンの取りこぼしの問題を軽減する。具体的に、本発明では、圧縮率を変化させる際に、フレームレートを漸次変化させ、重要ではないシーンほど低フレームレートを採用することで、重要なシーンを取りこぼすことなく動画像全体のデータ量を削減できた。また、本発明のように、最大フレームレートを割り当てる重要度の下限ポイントを可変にした場合、最大６０％のデータ量削減効果が可能となった。また、最大フレームレートを割り当てる重要度の下限ポイントに応じて、割り当てられるフレームレートが変化し、圧縮後の動画像データ量が変化するので、下限ポイントを自動調整することにより、圧縮後の動画像データ量を、ユーザーが指定するデータ量に近づけることができる。よって、目標とするデータ量に応じたかつ重要シーンの取りこぼしがない圧縮ができる。 Also, instead of setting a threshold for importance and making a qualitative judgment as to whether it is important or not, the importance is handled quantitatively, the higher the importance, the smaller the compression ratio, and the lower the importance, compression. Since the ratio is gradually changed so as to increase the ratio, the compression ratio does not change greatly due to a slight difference in importance, and the problem of missing important scenes is reduced. Specifically, in the present invention, when the compression rate is changed, the frame rate is gradually changed, and a lower frame rate is adopted for an unimportant scene, so that the entire moving image data is not lost. We were able to reduce the amount. In addition, when the lower limit point of the importance level for assigning the maximum frame rate is made variable as in the present invention, the data amount can be reduced by a maximum of 60%. In addition, since the allocated frame rate changes and the amount of moving image data after compression changes according to the lower limit point of importance for assigning the maximum frame rate, the compressed moving image can be adjusted by automatically adjusting the lower limit point. The amount of data can be brought close to the amount of data specified by the user. Therefore, it is possible to perform compression according to the target data amount and without missing important scenes.
本発明では、動画像の内容にまで踏み込んでシーンの重要度を判断し、それに応じて圧縮率を変化させる。特に重要度を量的に扱い、重要度が高いほど圧縮率を小さくし、重要度が低いほど圧縮率を高くするように、重要度の度合いに応じて反比例関係又は多段階的に、圧縮率を漸次変化させる。本発明では、映像上で頻繁に起こる行動を通常行動とし、それをＣＨＬＡＣと統計的手法を組み合わせることにより学習し、そこからの逸脱の度合いを重要度として算出する。 In the present invention, the importance of the scene is determined by stepping down to the content of the moving image, and the compression rate is changed accordingly. In particular, the degree of importance is treated quantitatively, the higher the importance, the smaller the compression ratio, and the lower the importance, the higher the compression ratio. Is gradually changed. In the present invention, an action that frequently occurs on an image is set as a normal action, which is learned by combining CHLAC and a statistical method, and a degree of deviation from the learning is calculated as an importance level.
重要度の低い通常行動シーンは、異常行動シーンと比べると高画質保存を求められていない。本発明は、「量的」に算出される重要度に応じて動画像を圧縮するための適応型動画像圧縮方法である。図１は、圧縮率の割り当て方について、本発明の特徴を従来手法と対比して説明する図である。図１の横軸は重要度、縦軸は圧縮率を示す。従来の閾値を用いる手法では、「質的」と記載して点線に示すように、重要度の閾値以下の映像に対して圧縮率を大きくしていた。これに対して、本発明では、「量的」として実線で示すように、重要度が高いほど圧縮率を小さく高画質に残し、重要度が低いほど圧縮率を高くするので、動画像全体のデータ量を削減できる。図１の重要度と圧縮率の関係は、「反比例」の関係である。また、重要度と圧縮率の関係は、図１に限らず、広義の単調減少の関係であればよく、二値でなくおよそ漸次変化する関係であればよい。具体的な圧縮率は保存データ量等に応じて適宜算出することができる。また、本発明では、「量的」に算出される重要度をそのまま扱うことで、重要度のわずかな差で圧縮率が大きく変わることが無くなり、重要なシーンの取りこぼしの問題が軽減される。 Normal action scenes with low importance are not required to preserve high image quality compared to abnormal action scenes. The present invention is an adaptive moving image compression method for compressing a moving image in accordance with the importance calculated quantitatively. FIG. 1 is a diagram for explaining the characteristics of the present invention in comparison with a conventional method, in terms of how to assign a compression ratio. In FIG. 1, the horizontal axis indicates importance, and the vertical axis indicates compression rate. In the conventional method using a threshold value, as indicated by a dotted line with “qualitative”, the compression rate is increased for a video less than or equal to the threshold value of importance. On the other hand, in the present invention, as indicated by a solid line as “quantitative”, the higher the importance, the smaller the compression rate is left in high image quality, and the lower the importance is, the higher the compression rate is. Data volume can be reduced. The relationship between importance and compression rate in FIG. 1 is an “inverse proportion” relationship. Further, the relationship between the importance level and the compression rate is not limited to FIG. 1, and may be a monotonically decreasing relationship in a broad sense, or may be a relationship that gradually changes instead of a binary value. A specific compression rate can be appropriately calculated according to the amount of stored data. Further, in the present invention, by treating the importance calculated “quantitatively” as it is, the compression ratio does not change greatly due to a slight difference in importance, and the problem of missing important scenes is reduced.
（第１の実施の形態）
第１の実施の形態について、図２〜３を参照しながら説明する。動画像には様々なシーンが含まれており、ユーザーにとってシーンの重要さの度合が違う。ここで防犯カメラを例にすると、重要ではないシーンとしては、正常行動、つまり防犯カメラの設置場所において、頻繁に見受けられる通常行動が映っているシーンがあげられる。一方、重要なシーンとは、異常行動が映っているシーンとなる。本発明では、動画像に含まれる各行動に、頻度に応じて重要度を付加する。即ち、防犯カメラの設置場所において、頻繁に見受けられる頻度の高い通常行動シーンは、重要度が低く、一方、頻度の低いシーンは、異常行動（通常ではない行動）シーンであるとみて、重要度が高くなると仮定している。
(First embodiment)
A first embodiment will be described with reference to FIGS. Various scenes are included in the moving image, and the degree of importance of the scene is different for the user. Here, taking a security camera as an example, an unimportant scene includes a normal action, that is, a scene that shows a normal action that is frequently seen at the location of the security camera. On the other hand, an important scene is a scene in which abnormal behavior is reflected. In the present invention, importance is added to each action included in the moving image according to the frequency. That is, a normal action scene with a high frequency that is frequently seen at the installation location of the security camera is low in importance, while a low-frequency scene is considered as an abnormal action (unusual action) scene. Is assumed to be high.
（シーン分析について）
まず、本実施の形態において、動画像に含まれるシーンの重要度判断をするためのシーン分析技術について説明する。頻度に応じて重要度を量的に算出するには、統計的な定義に基づく手法をシーン分析に適用する。この統計的な定義により、主観によらない客観的なシーン分析が可能となる。例えば、「歩く」という行動は、一般的には重要なシーン（通常ではない行動）であるとは考えにくい。しかし、「走る」行動が常な環境下においては、「歩く」行動が重要なシーン（異常行動）になる可能性がある。このように、ユーザーが前もって異常行動を想定し、列挙する必要がないため、主観的な思い込みに起因する問題を避け、さらにユーザーの負担が軽減される。
(About scene analysis)
First, a scene analysis technique for determining importance of a scene included in a moving image in the present embodiment will be described. To quantitatively calculate the importance according to the frequency, a method based on a statistical definition is applied to scene analysis. This statistical definition enables objective scene analysis independent of subjectivity. For example, the action “walking” is generally not considered to be an important scene (unusual action). However, in an environment where the “running” behavior is normal, the “walking” behavior may become an important scene (abnormal behavior). In this way, it is not necessary for the user to assume abnormal behaviors in advance and enumerate them, so that problems caused by subjective assumptions are avoided and the burden on the user is further reduced.
具体的には、学習用動画像から特徴量を抽出し、この特徴量に統計的手法である主成分分析を用いることで、学習用の動画像に含まれる頻繁に起こる行動の特徴空間内での分布を学習する。次に、この分布に基づき圧縮対象動画像の特徴量を評価し、シーンの重要度を検出する。なお、学習用動画像を用いる例を説明したが、学習用動画像は、わざわざ学習用動画像を準備する代わりに、主に通常行動を撮影している動画像を学習用として利用してもよい。 Specifically, feature values are extracted from learning videos, and the principal component analysis, which is a statistical method, is used for the feature values. Learn the distribution of. Next, the feature amount of the compression target moving image is evaluated based on this distribution, and the importance of the scene is detected. In addition, although the example which uses the moving image for learning was demonstrated, the moving image for learning may use the moving image which mainly image | photographed normal action for learning instead of preparing the moving image for learning intentionally. Good.
本実施の形態では、動画像から抽出する特徴量に、立体高次局所自己相関（ＣＨＬＡＣ）特徴を用いる。ＣＨＬＡＣ特徴（２５１次元のベクトル）は、物の形と動き情報を表現できる特徴があり、形や動きを認識したい対象（例えば動画像に写っている人間や車など）の切り出し作業が不要で、かつモデルを用意する必要がなく、計算量が少ないという利点を持つ。この特徴を用いることにより、大規模な計算機を利用せずともシーン分析が行えるので、既存の防犯カメラシステムへ組み込むことができる。 In the present embodiment, a cubic higher-order local autocorrelation (CHLAC) feature is used as a feature amount extracted from a moving image. The CHLAC feature (251-dimensional vector) has a feature that can express the shape and motion information of an object, and does not require the work of extracting a target (for example, a person or a car shown in a moving image) whose shape or motion is to be recognized. In addition, there is no need to prepare a model, and the calculation amount is small. By using this feature, scene analysis can be performed without using a large-scale computer, so that it can be incorporated into an existing security camera system.
本実施の形態におけるシーンの重要度の算出に関して、まず、通常部分空間の形成について説明する。動画像に含まれる正常行動は頻繁に起こるある種の行動であるため、抽出される特徴ベクトルは２５１次元の特徴空間内で、ある限定された領域に集中して分布することになる。ここでは、そのような分布を部分空間により近似し、正常（通常）部分空間を形成する。そのため、主成分分析により主成分ベクトルを求める。主成分ベクトルＵ（下記（数１））は、自己相関行列Ｒを用いて、下記（数２）の固有値問題より求まる。 Regarding the calculation of the importance of a scene in the present embodiment, first, formation of a normal partial space will be described. Since the normal action included in the moving image is a kind of frequently occurring action, the extracted feature vector is concentrated and distributed in a limited area in the 251 dimensional feature space. Here, such a distribution is approximated by a subspace to form a normal (normal) subspace. Therefore, a principal component vector is obtained by principal component analysis. The principal component vector U (the following (Expression 1)) is obtained from the eigenvalue problem of the following (Expression 2) using the autocorrelation matrix R.
固有値行列Λ＝ｄｉａｇ（λ１，・・・，λ２５１）に基づいて、累積寄与率ηｋ（０以上1以下）は、下記（数３）と表され、累積寄与率ηｋがＣ（例えばＣ＝０．９９）となる次元までの固有ベクトルｕ１，・・・ｕｋにより張られる空間を、頻繁に起こる行動の部分空間（以下、通常部分空間と呼ぶ）として採用する。 Based on the eigenvalue matrix Λ = diag (λ 1 ,..., Λ 251 ), the cumulative contribution rate η k (0 or more and 1 or less) is expressed as (Equation 3) below, and the cumulative contribution rate η k is C ( for example C = of 0.99) and consisting eigenvector u 1 to dimension the space spanned by · · · u k, subspace of frequently occurring actions (hereinafter, referred to as a normal subspace) is adopted as.
このようにして得られた直交基底Ｕｋ＝［ｕ１，・・・ｕｋ］によって張られる部分空間への射影子は、Ｐ＝ＵｋＵ’ ｋとして表され、それに対する直交補空間への射影子は、Ｉ２５１を単位行列として、Ｐ⊥＝Ｉ２５１−Ｐとなる。この時、入力Ｘの通常部分空間への垂直距離ｄ⊥は、直交補空間への射影成分で表され、下記（数４）と表すことができる。 The projection onto the subspace spanned by the orthogonal basis U k = [u 1 ,... U k ] obtained in this way is expressed as P = U k U ′ k , and the orthogonal complement space for it of Shaeiko as a unit matrix I 251, a P ⊥ = I 251 -P. At this time, the vertical distance d ⊥ to normal subspace of the input X is represented by the projective component of the orthogonal complement, can be expressed as the following equation (4).
本実施の形態では、この垂直距離ｄ⊥を、頻繁に起こる行動かどうかの指標として、重要度と呼ぶ。この重要度が大きいほど、そのシーンの頻度が低いことを意味し、重要なシーンと判断できる。 In the present embodiment, this vertical distance d ⊥ is referred to as importance as an indicator of whether or not the action occurs frequently. The greater the importance, the lower the frequency of the scene, and it can be determined that the scene is important.
（重要度に応じた可変圧縮について）
本実施の形態では、上述した方法で算出される重要度を用いて、動画像の圧縮率を適応的に変化させる。実際に、学習用動画像として、建物内で複数人が歩いている動画像を用いて、通常部分空間を構成した後、圧縮対象動画像として、同じ場所で別の時間に撮影した動画像のフレームごとの重要度ｄ⊥を検出した場合の例を、図２に示す。例えば、全ての人が歩く行動を取っている場合のフレームは、頻度が高い行動のため、低い重要度となる。一方、例えば、人が走る行動が含まれているフレームの場合は、頻度が低い行動のため、高い重要度が検出される。
(Variable compression according to importance)
In the present embodiment, the compression rate of the moving image is adaptively changed using the importance calculated by the method described above. Actually, after constructing a normal subspace using moving images of multiple people walking in a building as moving images for learning, moving images taken at the same place at different times as compressed moving images FIG. 2 shows an example when the importance d ⊥ for each frame is detected. For example, the frame when all people are walking is a low-priority because of the high-frequency behavior. On the other hand, for example, in the case of a frame including an action that a person runs, a high degree of importance is detected because the action is less frequent.
本実施の形態では、重要度に応じて圧縮率を漸次変化させるために、重要度と圧縮率を「反比例」の関係とする。即ち、重要なシーンほど低い圧縮率、重要ではないシーンほど高い圧縮率を採用する。図３は、重要度に応じたフレームレートの対応付けを表す図である。例えば図３のように、検出される重要度の最大値には、最大フレームレート（３０ｆｐｓ）を採用し、重要度の最大値の半値には、最大フレームレートの半値（１５ｆｐｓ）を採用する。重要度に応じて圧縮率を変化させるために、フレームレートを重要度と比例関係にする。 In the present embodiment, in order to gradually change the compression rate in accordance with the importance, the importance and the compression rate are in an “inverse proportion” relationship. That is, a lower compression ratio is adopted for an important scene, and a higher compression ratio is adopted for an unimportant scene. FIG. 3 is a diagram illustrating association of frame rates according to importance. For example, as shown in FIG. 3, the maximum frame rate (30 fps) is adopted as the maximum value of the detected importance, and the half value (15 fps) of the maximum frame rate is adopted as the half value of the maximum importance. In order to change the compression rate according to the importance, the frame rate is proportional to the importance.
本実施の形態の例として、重要度とフレームレートとの関係として図３の例を示したが、図３のように直線である必要はなく、重要度に対応してフレームレートが単調増加する関係であれば最適なデータ量になるよう適宜設定できる。 As an example of the present embodiment, the example of FIG. 3 is shown as the relationship between the importance and the frame rate. However, it is not necessary to be a straight line as shown in FIG. 3, and the frame rate monotonously increases according to the importance. If there is a relationship, it can be set as appropriate so as to obtain an optimum data amount.
（第２の実施の形態）
第２の実施の形態は、第１の実施の形態において、重要度に応じたフレームレートの対応づけを変化させるものである。第２の実施の形態について、図４〜１１を参照して説明する。第１の実施の形態の図３のように、検出される重要度の最大値を最大フレームレートに固定すると、ユーザーの意図に反し、圧縮の掛け過ぎや掛けなさすぎが発生する可能性がある。例えば、突出して高い重要度が１ヶ所検出された場合や、すべて同じような低い重要度が検出された場合である。そこで、本実施の形態では、図４に示すように、最大フレームレートを割り当てる重要度の下限ポイントを可変にした。図４において、横軸は重要度、縦軸はフレームレートを示している。図４に左右の矢印で示されるように、下限ポイントを可変にして、実線から点線のように、重要度とフレームレートの対応付けを可変にする。これにより、閾値の決定なしに、フレームレートを重要度に対応づけることができ、なおかつ、ある程度の選択性をユーザーに与えることが可能となる。
(Second Embodiment)
In the second embodiment, the correspondence of the frame rate according to the importance is changed in the first embodiment. A second embodiment will be described with reference to FIGS. As shown in FIG. 3 of the first embodiment, when the maximum value of the detected importance is fixed to the maximum frame rate, there is a possibility that over-compression or over-compression may occur against the user's intention. . For example, there is a case where one projecting high importance level is detected, or a case where all the same low importance levels are detected. Therefore, in the present embodiment, as shown in FIG. 4, the lower limit point of the importance level for assigning the maximum frame rate is made variable. In FIG. 4, the horizontal axis indicates the importance, and the vertical axis indicates the frame rate. As shown by the left and right arrows in FIG. 4, the lower limit point is made variable, and the correspondence between the importance level and the frame rate is made variable from the solid line to the dotted line. As a result, the frame rate can be associated with the importance without determining the threshold value, and a certain degree of selectivity can be given to the user.
実際に、２種類の屋外の道路で撮影したサンプル動画像（屋外動画像１、２）を用意して、本発明の有効性を検証した。学習用動画像には、頻度が高いと考えられる、人の歩行や、車の走行など日常風景が含まれている動画像を用いた。それに対し圧縮対象動画像には、頻度が低いと考えられる、柵の乗り越えや、人の転倒などが含まれている動画像を用いた。これらのサンプル動画像には既存圧縮法（ＭＰＥＧ４）が施されており、フレームレートは３０ｆｐｓ、フレームサイズは３２０×２４０である。シーン分析では、累積寄与率の上限Ｃを０．９９９９とした。下限ポイントの設定には図５のような３種類（小、中、大）を用意した。図５は、下限ポイント大（最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを、重要度の最大値に設定）、下限ポイント中（同じく下限ポイントを、重要度の最大値の３／４に設定）、下限ポイント小（同じく下限ポイントを、重要度の半値に設定）の場合の設定例である。図６は、下限ポイント大の場合の、重要度とフレームレートの例である。なお、実験プログラムの仕様上、割り当てられるフレームレートは、図６に示すように、元動画像のフレームレートの約数（整数）のみとなったが、適宜設定できる。
Actually, sample moving images (outdoor moving
重要度に応じたフレームレートを動画像に施す具体的な処理としては、検出される重要度から１秒ごとの代表重要度として、１秒区間内の重要度の最大値を検出し、この代表重要度と前述したフレームレートの割り当て方により、１秒ごとにフレームレートを変化させた。屋外動画像１、２のシーン分析の結果から代表重要度を算出した結果をそれぞれ図７及び８に示す。そして、屋外動画像１、２の該代表重要度を用いてフレームレートを割り当てた結果をそれぞれ図９及び１０に示す。図９と図１０では、下限ポイント小の場合を実線、中の場合を破線、大の場合を点線で表す。この結果から、代表重要度に応じて割り当てられるフレームレートが変化していることが確認できる。また、下限ポイントに応じて、割り当てられるフレームレートが変化していることも確認できる。図９及び１０の結果をもとに動画像のデータ量を、元動画を基準にして図１１に示す。元動画とは、本実施の形態を施さず、その他の条件は同一にして再圧縮した動画像（既存の圧縮手法を施した動画像）のことである。図１１に示した割合は、元動画に対する、本実施の形態を施した屋外動画像１と２のデータ量の割合である。下限ポイントの設定を小にした場合は、元動画の５１％（屋外動画像１の場合）と６８％（屋外動画像２の場合）、下限ポイントの設定を中にした場合は、元動画の４４％（屋外動画像１の場合）と５５％（屋外動画像２の場合）、下限ポイントの設定を大にした場合は、元動画の４０％（屋外動画像１の場合）と４４％（屋外動画像２の場合）であった。このことから、下限ポイントの設定に応じて圧縮効果が変化したことが確認できる。屋外動画像１、２共に、下限ポイントが「大」の場合に最大のデータ量削減効果を得ることができ、屋外動画像１においては、６０％の削減効果が確認できた。
As a specific process for applying a frame rate according to importance to a moving image, a maximum value of importance in one second interval is detected as representative importance for every second from detected importance, and this representative The frame rate was changed every second depending on the importance and the frame rate allocation method described above. Results of calculating the representative importance from the results of scene analysis of the outdoor moving
（比較例）
重要度を「質的」に扱う二値による従来の圧縮法を屋外動画像１に施したところ、データ量削減効果は約４２％であった。ここで、重要か重要でないかを判別するための閾値は、図５に示す下限ポイント「小」の位置（検出される重要度の最大値の半値）に設定し、重要なシーンを３０ｆｐｓ、重要ではないシーンを、視認性の観点から現実的であると考えられる５ｆｐｓとした。一方、重要度を「量的」に扱う本実施の形態を屋外動画像１に施したものは、上述のようにデータ量が５１％でありデータ量削減効果は約４９％（下限ポイント「小」の場合）である。このことから、重要度を「量的」に扱う本実施の形態１又は２の圧縮方法の方が、データ量削減効果が高いことが確認できた。
(Comparative example)
When the conventional compression method using binary processing that treats the degree of importance as “qualitative” was applied to the outdoor moving
（第３の実施の形態）
第１及び２の実施の形態では、フレームレートを可変にして圧縮率を変化させたが、第３の実施の形態では、重要度に対応して、既存の圧縮手法において圧縮率を変化させることが可能な他のパラメータを可変にする。例えば、１枚の画像のピクセル数（解像度）に対応するフレームサイズを可変にすることにより、圧縮率を変える。または、各動画像の画質を可変にすることにより圧縮率を変えることができる。例えば量子化ビット数等の、既存圧縮手法における画質を制御する制御パラメータを変化させるとよい。さらには、フレームレート、フレームサイズ、画質を可変にする等の手法の組み合わせによって、重要度に対応して圧縮率を変化させ、重要なシーンほど低い圧縮率、重要ではないシーンほど高い圧縮率を採用することができる。
(Third embodiment)
In the first and second embodiments, the compression rate is changed by changing the frame rate, but in the third embodiment, the compression rate is changed in the existing compression method according to the importance. Make other parameters variable. For example, the compression ratio is changed by changing the frame size corresponding to the number of pixels (resolution) of one image. Alternatively, the compression rate can be changed by changing the image quality of each moving image. For example, the control parameters for controlling the image quality in the existing compression method such as the number of quantization bits may be changed. In addition, the compression rate is changed according to the importance by combining the frame rate, frame size, image quality, etc., so that the lower the compression rate for the important scene, the higher the compression rate for the less important scene. Can be adopted.
（第４の実施の形態）
第２の実施の形態では、最大フレームレートを割り当てる下限ポイントを選択性にしたが、第４の実施の形態では、最小フレームレートを割り当てる上限ポイントを選択性にする。また、第２の実施の形態の最大フレームレートを割り当てる下限ポイントを選択性にし、かつ、最小フレームレートを割り当てる上限ポイントを選択性にすることができる。
(Fourth embodiment)
In the second embodiment, the lower limit point to which the maximum frame rate is allocated is made selective. In the fourth embodiment, the upper limit point to which the minimum frame rate is allocated is made selective. In addition, the lower limit point to which the maximum frame rate of the second embodiment is assigned can be made selective, and the upper limit point to which the minimum frame rate is assigned can be made selective.
（第５の実施の形態）
映像の記録のための媒体容量や、保存可能なデータ量は限られるので、第５の実施の形態では、圧縮後の動画像のデータ量が所定の値に制限される場合の実施の形態を示す。図１１の結果から、下限ポイントが小さくなるほどデータ量は大きくなり、下限ポイントが大きくなるほどデータ量は小さくなることがいえる。そこで、本実施の形態では、圧縮後の目標データ量を指定して、最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを自動調整し、指定データ量に近づける。
(Fifth embodiment)
Since the medium capacity for video recording and the amount of data that can be stored are limited, the fifth embodiment is an embodiment in which the data amount of a moving image after compression is limited to a predetermined value. Show. From the results of FIG. 11, it can be said that the smaller the lower limit point, the larger the data amount, and the larger the lower limit point, the smaller the data amount. Therefore, in the present embodiment, the target data amount after compression is designated, and the lower limit point of importance for assigning the maximum frame rate of 30 fps is automatically adjusted to approach the designated data amount.
具体的な工程を以下説明する。圧縮後の目標データ量を指定して、最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを探索し、探索された下限ポイントの位置で実際に動画像に圧縮をかける工程を１パス目とする。 Specific steps will be described below. A step of searching for a lower limit point of importance assigning a maximum frame rate of 30 fps by designating a target data amount after compression and actually compressing a moving image at a position of the searched lower limit point is defined as a first pass.
まず１パス目を次のように行う。動画像をシーン分析し、フレームごとの重要度を算出する。圧縮後に残す総フレーム数と圧縮後のデータ量が比例の関係にあると仮定すれば、下限ポイントをある値に設定した場合の圧縮後データ量の予想値が求まる。例えば、シーン分析の結果、ある下限ポイントの設定値で、圧縮後の総フレーム数が、元動画の半分になったとすると、圧縮後のデータ量は、元動画の半分のデータ量になると予想できる。仮に、この予想値がユーザーの指定した目標データ量よりも大きな値であれば、より圧縮率を上げるために、下限ポイントの設定を上方修正する必要がある。逆に予想値が目標データ量よりも小さな値であれば、圧縮率を下げるために、下限ポイントの設定を下方修正する必要がある。そこでこの予想値が、ユーザーの指定した目標データ量にほぼ一致するように、最適な下限ポイントの位置を探索する。探索には、予想値と目標値との誤差を評価関数として、例えば２分法などの既存の探索手法を用いれば圧縮後のデータ量の計算回数（予想回数）が少なくてすむ。仮にこの探索時に圧縮後のデータ量の予想値ではなく、実際に圧縮をかけた際のデータ量を用いた場合は、探索点の移動毎に圧縮処理を伴うため非常に時間がかかることになるが、本実施の形態の方法によれば予想値を用いて探索を行うので、探索にかかる時間を大幅に短縮できる。次に最適な下限ポイントの位置（予想値を用いた探索なので実際には最適ではない）が探索により発見された後、発見された下限ポイントの位置で、実際に上記第１の実施の形態のように圧縮をかける。ここで、最適な下限ポイントの位置（ユーザーの指定した目標データ量を満たすと予想される下限ポイントの位置）が前記探索によって発見されない場合はユーザーに警告するとよい。 First, the first pass is performed as follows. Scene analysis of moving images is performed to calculate the importance for each frame. Assuming that the total number of frames remaining after compression is proportional to the amount of data after compression, an expected value of the amount of data after compression when the lower limit point is set to a certain value can be obtained. For example, as a result of scene analysis, if the total number of frames after compression is half that of the original movie at a certain lower limit point setting value, the amount of data after compression can be expected to be half that of the original movie. . If the predicted value is larger than the target data amount designated by the user, the lower limit point setting needs to be corrected upward in order to further increase the compression rate. Conversely, if the expected value is smaller than the target data amount, the lower limit point setting needs to be corrected downward in order to reduce the compression rate. Therefore, an optimum lower limit point position is searched so that the predicted value substantially matches the target data amount designated by the user. For the search, if the error between the predicted value and the target value is used as an evaluation function and an existing search method such as a bisection method is used, the number of times of calculation of the data amount after compression (expected number of times) can be reduced. If the amount of data actually compressed is used instead of the expected amount of data after compression at the time of this search, it will take a very long time because a compression process is involved each time the search point is moved. However, according to the method of the present embodiment, the search is performed using the predicted value, so that the time required for the search can be greatly shortened. Next, after the optimal lower limit point position (which is not optimal because it is a search using an expected value) is found by the search, the position of the detected lower limit point is actually the position of the first embodiment. Apply compression. Here, when the optimum lower limit point position (the position of the lower limit point expected to satisfy the target data amount designated by the user) is not found by the search, the user may be warned.
続いて２パス目を次のように行う。実際には「フレーム数とデータ量」は正確には比例の関係にはないことから、ユーザーの指定したデータ量から乖離する。そこで、圧縮後のデータ量の予想値と実際に圧縮処理の結果得られたデータ量との誤差を補正する。１パス目で得られたデータ量が予想値のＡ倍（つまりはユーザーの指定したデータ量のＡ倍）であったとすれば、２パス目のデータ量の目標値をＡ分の１とすることで再度探索を行う。１パス目と同様に再探索の際には、予想値のみを用いて圧縮処理は行わない。再探索の結果得られた新たな下限ポイントで再度圧縮をかけて終了する。２パス目の圧縮後でもユーザーの指定値からはずれている可能性があるが、１パス目で終了するよりも高い精度が得られる。また、さらに同様の下限ポイント位置探索及び圧縮を繰り返すことにより高精度が得られる。 Subsequently, the second pass is performed as follows. Actually, since “the number of frames and the amount of data” is not exactly proportional, it deviates from the amount of data specified by the user. Therefore, an error between the predicted value of the data amount after compression and the data amount actually obtained as a result of the compression process is corrected. If the data amount obtained in the first pass is A times the expected value (that is, A times the data amount specified by the user), the target value of the data amount in the second pass is set to 1 / A. Search again. Similar to the first pass, in the re-search, only the predicted value is used and the compression process is not performed. The compression is again performed at the new lower limit point obtained as a result of the re-search, and the process is terminated. Even after compression in the second pass, there is a possibility that it deviates from the value specified by the user, but higher accuracy is obtained than in the case of finishing in the first pass. Furthermore, high accuracy can be obtained by repeating similar lower limit point position search and compression.
圧縮率を可変にする方法として、フレームレートを可変にする場合で説明したが、フレームレート以外のフレームサイズや画質を可変にする等の制御パラメータを可変にする場合、解像度（ピクセル数）とデータ量が比例の関係にあるとの仮定や、画質の制御パラメータとデータ量が数式で表せるような単純な関係にあるとの仮定をおいて同様に実施できる。本実施の形態のように、下限ポイントをユーザーの要求するデータ量に応じて自動で調整するようにすれば、利便性が向上する。また自動調整するパラメータを最大フレームレートを割り当てる下限ポイントとして説明したが、第４の実施の形態で述べたように最小フレームレートを割り当てる上限ポイントを自動調整してもよく、さらに、下限ポイントと上限ポイントの二つを同時に自動調整してもよい。 The method of changing the compression rate has been described in the case of changing the frame rate. However, when changing the control parameters such as changing the frame size and image quality other than the frame rate, the resolution (number of pixels) and the data are set. The same can be done with the assumption that the amount is in a proportional relationship and the assumption that the control parameter of the image quality and the data amount have a simple relationship that can be expressed by a mathematical expression. If the lower limit point is automatically adjusted according to the data amount requested by the user as in the present embodiment, the convenience is improved. Further, although the parameter for automatic adjustment has been described as the lower limit point for assigning the maximum frame rate, as described in the fourth embodiment, the upper limit point for assigning the minimum frame rate may be automatically adjusted. Two of the points may be automatically adjusted simultaneously.
上記実施の形態で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。 The examples shown in the above embodiment are described for easy understanding of the invention, and are not limited to this embodiment.
本発明によれば、監視映像データの保存容量が大幅に削減可能となり、算出された重要度をインデックスとしてユーザーに提供することで、映像データ検証時の作業効率も向上させられる。これにより大規模の監視カメラシステム（１００台規模）においては特に大きな付加価値を与えられる。また監視映像保存の仕組みをネットワーク上（クラウドなど）で長期保存するサービスにおいても有用である。 According to the present invention, the storage capacity of monitoring video data can be greatly reduced, and the calculated importance is provided to the user as an index, so that the work efficiency at the time of video data verification can be improved. As a result, a particularly large added value can be given to a large-scale surveillance camera system (100 units). It is also useful in services that store surveillance video storage mechanisms over a network (such as the cloud) for a long time.
Claims (8)
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出し、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる方法であり、
前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させるものであり、
前記フレームレート又は前記フレームサイズ又は前記画質制御パラメータの、最大のものを割り当てる重要度の、下限ポイントを、可変にすることにより、重要度と圧縮率の対応付けを可変にすることを特徴とする動画像圧縮方法。 A method of compressing a moving image ,
The degree of deviation from a frequently occurring action on a moving image is regarded as an importance, and the importance is calculated using a three-dimensional local autocorrelation feature ,
A method of gradually changing the compression rate according to the importance value so that the compression rate is decreased as the importance level increases and the compression rate is increased as the importance level decreases .
The compression rate is gradually changed by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The correspondence between the importance level and the compression rate is made variable by changing the lower limit point of the importance level to which the largest one of the frame rate or the frame size or the image quality control parameter is assigned. dynamic image compression method that.
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出し、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる方法であり、
前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させるものであり、
前記圧縮率を、フレームレートを変化させることにより漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用し、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントを、可変にすることにより、重要度と圧縮率の対応付けを可変にすることを特徴とする動画像圧縮方法。 A method of compressing a moving image ,
The degree of deviation from a frequently occurring action on a moving image is regarded as an importance, and the importance is calculated using a three-dimensional local autocorrelation feature ,
A method of gradually changing the compression rate according to the importance value so that the compression rate is decreased as the importance level increases and the compression rate is increased as the importance level decreases .
The compression rate is gradually changed by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The compression rate is gradually changed by changing a frame rate, a higher frame rate is adopted for a scene with higher importance, a lower frame rate is adopted for a scene with lower importance, and the maximum frame of the frame rate is adopted. the lower point of importance assigning a rate, by a variable, the dynamic image compression method you characterized by the association severity and compression ratio variable.
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出し、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる方法であり、
前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させるものであり、
前記フレームレート又は前記フレームサイズ又は前記画質制御パラメータの、最小のものを割り当てる重要度の上限ポイントを、可変にすることにより、重要度と圧縮率の対応付けを可変にすることを特徴とする動画像圧縮方法。 A method of compressing a moving image ,
The degree of deviation from a frequently occurring action on a moving image is regarded as an importance, and the importance is calculated using a three-dimensional local autocorrelation feature ,
A method of gradually changing the compression rate according to the importance value so that the compression rate is decreased as the importance level increases and the compression rate is increased as the importance level decreases .
The compression rate is gradually changed by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The frame rate or the frame size or image quality control parameter, the minimum limit points of importance for allocating those, by a variable, characterized by the association severity and compression ratio variable dynamic image compression method.
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部と、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部とを備え、
前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させるものであり、
前記圧縮処理部は、前記フレームレート又は前記フレームサイズ又は前記画質制御パラメータの、最大のものを割り当てる重要度の下限ポイントが、可変であることにより、重要度と圧縮率の対応付けが可変であることを特徴とする動画像圧縮装置。 A device for compressing moving images ,
An importance calculating unit that calculates a degree of deviation from a frequently occurring action on a moving image as an importance, and calculates the importance using a three-dimensional higher-order local autocorrelation feature ;
A compression processing unit that gradually changes the compression rate in accordance with the value of importance so that the compression rate decreases as the importance level increases and the compression rate decreases as the importance level decreases .
The compression processing unit gradually changes the compression rate by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The compression processing unit can change the correspondence between the importance level and the compression rate because the lower limit point of the importance level to which the maximum frame rate or the frame size or the image quality control parameter is assigned is variable. dynamic image compression apparatus you wherein a.
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部と、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部とを備え、
前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させるものであり、
前記圧縮処理部は、フレームレートを変化させることにより圧縮率を漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用し、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントが可変であることにより、重要度と圧縮率の対応付けが可変であることを特徴とする動画像圧縮装置。 A device for compressing moving images ,
An importance calculating unit that calculates a degree of deviation from a frequently occurring action on a moving image as an importance, and calculates the importance using a three-dimensional higher-order local autocorrelation feature ;
A compression processing unit that gradually changes the compression rate in accordance with the value of importance so that the compression rate decreases as the importance level increases and the compression rate decreases as the importance level decreases .
The compression processing unit gradually changes the compression rate by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The compression processing unit gradually changes a compression rate by changing a frame rate, adopts a higher frame rate for a scene with a higher importance level, adopts a lower frame rate for a scene with a lower importance level, and by lower point of importance to assign a maximum frame rate of the rate is variable, dynamic image compression apparatus you wherein the correspondence severity and compression is variable.
動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部と、
該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部とを備え、
前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させるものであり、
前記圧縮処理部は、前記フレームレート又は前記フレームサイズ又は前記画質制御パラメータの、最小のものを割り当てる重要度の上限ポイントが可変であることにより、重要度と圧縮率の対応付けが可変であることを特徴とする動画像圧縮装置。 A device for compressing moving images ,
An importance calculating unit that calculates a degree of deviation from a frequently occurring action on a moving image as an importance, and calculates the importance using a three-dimensional higher-order local autocorrelation feature ;
A compression processing unit that gradually changes the compression rate in accordance with the value of importance so that the compression rate decreases as the importance level increases and the compression rate decreases as the importance level decreases .
The compression processing unit gradually changes the compression rate by changing any one or more of a frame rate, a frame size, and an image quality control parameter ,
The compression processing unit is capable of changing the correspondence between the importance level and the compression rate by changing the upper limit point of the importance level to which the smallest one of the frame rate, the frame size, or the image quality control parameter is variable. dynamic image compression apparatus said.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009201608A JP5190968B2 (en) | 2009-09-01 | 2009-09-01 | Moving image compression method and compression apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009201608A JP5190968B2 (en) | 2009-09-01 | 2009-09-01 | Moving image compression method and compression apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011055204A JP2011055204A (en) | 2011-03-17 |
| JP5190968B2 true JP5190968B2 (en) | 2013-04-24 |
Family
ID=43943769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009201608A Expired - Fee Related JP5190968B2 (en) | 2009-09-01 | 2009-09-01 | Moving image compression method and compression apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5190968B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6319545B2 (en) * | 2013-03-15 | 2018-05-09 | パナソニックＩｐマネジメント株式会社 | Image coding apparatus, photographing system, photographing and recording system, image quality coding method, and image coding control program |
| KR20230156153A (en) * | 2014-03-24 | 2023-11-13 | 돌비 인터네셔널 에이비 | Method and device for applying dynamic range compression to a higher order ambisonics signal |
| JP6317272B2 (en) * | 2015-02-10 | 2018-04-25 | 日本電信電話株式会社 | Video encoded stream generation method, video encoded stream generation apparatus, and video encoded stream generation program |
| JP2021022179A (en) * | 2019-07-29 | 2021-02-18 | コベルコ建機株式会社 | Data processing system of construction machine |
| CN114630120B (en) * | 2020-12-14 | 2024-03-29 | 瑞昱半导体股份有限公司 | Video compression method and circuit system based on self-adaptive compression rate |
| WO2023145447A1 (en) * | 2022-01-27 | 2023-08-03 | ソニーグループ株式会社 | Information processing method, information processing system, and program |
| WO2023243398A1 (en) * | 2022-06-13 | 2023-12-21 | コニカミノルタ株式会社 | Unusual behavior discrimination method, unusual behavior discrimination program, and unusual behavior discrimination device |
| CN116208863A (en) * | 2022-12-30 | 2023-06-02 | 浙江中尊检测技术有限公司 | Image data compression uploading method and device and electronic equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0630402A (en) * | 1992-07-13 | 1994-02-04 | Canon Inc | Image coding device |
| US6832006B2 (en) * | 2001-07-23 | 2004-12-14 | Eastman Kodak Company | System and method for controlling image compression based on image emphasis |
| JP4368767B2 (en) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | Abnormal operation detection device and abnormal operation detection method |
-
2009
- 2009-09-01 JP JP2009201608A patent/JP5190968B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011055204A (en) | 2011-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5190968B2 (en) | Moving image compression method and compression apparatus | |
| JP6842395B2 (en) | Use of image analysis algorithms to provide training data to neural networks | |
| JP6016332B2 (en) | Image processing apparatus and image processing method | |
| JP5478047B2 (en) | Video data compression pre-processing method, video data compression method and video data compression system using the same | |
| CN111401177A (en) | End-to-end behavior recognition method and system based on adaptive space-time attention mechanism | |
| US9224211B2 (en) | Method and system for motion detection in an image | |
| JP2018522448A (en) | Technology to predict perceptual video quality | |
| AU2020244611A1 (en) | Source-consistent techniques for predicting absolute perceptual video quality | |
| TWI511529B (en) | Frame encoding selection based on frame similarities and visual quality and interests | |
| EP2309454A2 (en) | Apparatus and method for detecting motion | |
| AU2022201403A1 (en) | Quantifying perceptual quality model uncertainty via bootstrapping | |
| CN114627150A (en) | Data processing and motion estimation method and device based on event camera | |
| EP2950529B1 (en) | Video image storage method and apparatus | |
| US9183446B2 (en) | Image processing apparatus and image processing method | |
| JP5119740B2 (en) | VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, VIDEO SIGNAL PROCESSING METHOD PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO SIGNAL PROCESSING METHOD PROGRAM | |
| KR102574353B1 (en) | Device Resource-based Adaptive Frame Extraction and Streaming Control System and method for Blocking Obscene Videos in Mobile devices | |
| US20150288973A1 (en) | Method and device for searching for image | |
| CN105631419B (en) | Face identification method and device | |
| CN110505480B (en) | Monitoring scene-oriented fast perception video coding method | |
| CN113038129A (en) | Method and equipment for acquiring data samples for machine learning | |
| CN113630600A (en) | Human visual system adaptive video coding | |
| Beniwal et al. | Assessing the impact of video compression on background subtraction | |
| US12022096B2 (en) | Human visual system adaptive video coding | |
| KR102557904B1 (en) | The Method of Detecting Section in which a Movement Frame Exists | |
| KR20110103196A (en) | System and method for controlling quality of image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120127 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121217 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130124 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5190968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |