JP2008072665A - Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program - Google Patents
Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program Download PDFInfo
- Publication number
- JP2008072665A JP2008072665A JP2006251779A JP2006251779A JP2008072665A JP 2008072665 A JP2008072665 A JP 2008072665A JP 2006251779 A JP2006251779 A JP 2006251779A JP 2006251779 A JP2006251779 A JP 2006251779A JP 2008072665 A JP2008072665 A JP 2008072665A
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame rate
- motion
- evaluation
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数のフレーム画像により構成される映像の動きの滑らかさを評価する映像評価装置、映像評価方法及び映像評価プログラムに関する。 The present invention relates to a video evaluation apparatus, a video evaluation method, and a video evaluation program for evaluating the smoothness of motion of a video composed of a plurality of frame images.
また、本発明は、複数のフレーム画像により構成される映像のフレームレートを決定する映像フレームレート決定装置、映像フレームレート決定方法及び映像フレームレート決定プログラムに関する。 The present invention also relates to a video frame rate determination device, a video frame rate determination method, and a video frame rate determination program for determining a frame rate of a video composed of a plurality of frame images.
一般的に、「映像」に対する取得、蓄積、伝送、表示、符号化及び復号化を含む処理は、1秒あたりのフレーム数が一定である状態で、すなわち、固定フレームレートで行われている。 In general, processing including acquisition, storage, transmission, display, encoding, and decoding for “video” is performed in a state where the number of frames per second is constant, that is, at a fixed frame rate.
例えば、米国及び日本で採用されている全国テレビジョン標準委員会(National Television Standards Committee:NTSC)規格では、フレームレートは、29.97fpsと定義されており、ヨーロッパで採用されている全国テレビション標準委員会によって確立された位相交番ライン(Phase Alternating Line:PAL)規格では、フレームレートは、25fpsと定義されている(非特許文献1参照)。 For example, according to the National Television Standards Committee (NTSC) standard adopted in the United States and Japan, the frame rate is defined as 29.97 fps, and the national television standard adopted in Europe. In the phase alternating line (PAL) standard established by the committee, the frame rate is defined as 25 fps (see Non-Patent Document 1).
また、24fpsや15fpsの固定フレームレートで、上述の映像に対する処理が行われる場合もある。 In some cases, the above-described image processing is performed at a fixed frame rate of 24 fps or 15 fps.
ここで、「映像」とは、単一の静止画像である「フレーム画像」が複数連続することにより構成されるものであり、「フレームレート」とは、1秒あたりに処理されるフレーム画像数であり、「fps(frame per second)」とは、フレームレートを表す単位である。 Here, “video” is composed of a plurality of “frame images” that are a single still image, and “frame rate” is the number of frame images processed per second. “Fps (frame per second)” is a unit representing a frame rate.
固定フレームレートで処理される映像において、1秒あたりに処理されるフレーム画像数が増加すると、連続するフレーム画像の時間間隔が短くなるため、より滑らかな動きの映像として処理することが可能となる。 In a video processed at a fixed frame rate, if the number of frame images processed per second increases, the time interval between successive frame images is shortened, so that it can be processed as a smoother motion video. .
例えば、30fpsのフレームレートで処理される映像は、15fpsのフレームレートで処理される映像に比べて、映像の動きを時間的により細かく表現できるため、滑らかな動きの映像となる。 For example, a video processed at a frame rate of 30 fps can be expressed with a smooth motion because the motion of the video can be expressed more finely in time than a video processed at a frame rate of 15 fps.
一方で、固定フレームレートで処理される映像において、1秒あたりに処理されるフレーム画像数が増加すると、単位時間あたりの処理量、処理に伴うデータ量及び電力消費量が増加する。 On the other hand, when the number of frame images processed per second in a video processed at a fixed frame rate increases, the processing amount per unit time, the amount of data accompanying the processing, and the power consumption increase.
例えば、映像の取得においては、フレームレートが増加することにより、単位時間あたりに取得すべきフレーム画像数が増加し、単位時間あたりの処理量及び処理に伴う電力消費量が増加する。 For example, in the acquisition of video, as the frame rate increases, the number of frame images to be acquired per unit time increases, and the processing amount per unit time and the power consumption associated with the processing increase.
また、映像の蓄積においては、フレームレートが増加することにより、単位時間あたりに蓄積すべきフレーム数が増加し、単位時間あたりの処理に伴うデータ量が増加する。 In video storage, as the frame rate increases, the number of frames to be stored per unit time increases, and the amount of data associated with processing per unit time increases.
また、映像の処理量やデータ量に応じて、フレームレートを可変にする映像処理方法が存在する。 There is also a video processing method in which the frame rate is variable according to the video processing amount and data amount.
例えば、映像の符号化においては、符号化すべきデータ量が多い場合には、符号化時のバッファメモリの占有量が規定値を超えてしまうため、フレームレートを削減して、単位時間あたりに符号化するフレーム数を削減する(特許文献1参照)。
しかしながら、固定フレームレートで、映像に対する処理を行う場合、滑らかな動きを実現するために、処理を行うためのフレームレートを高くすると、処理量、処理に伴うデータ量及び電力消費量が増加するという問題点があった。 However, when processing a video at a fixed frame rate, increasing the frame rate for processing in order to achieve smooth motion increases the processing amount, the amount of data accompanying the processing, and the power consumption. There was a problem.
逆に、固定フレームレートで、映像に対する処理を行う場合に、処理量、処理に伴うデータ量及び電力消費量を低減するために、フレームレートを低くすると、映像の動きの滑らかさが低下し、ギクシャクした動きの映像となってしまうという問題点があった。 Conversely, when processing a video at a fixed frame rate, reducing the frame rate to reduce the amount of processing, the amount of data accompanying the processing, and the power consumption reduces the smoothness of the motion of the video, There was a problem that it became an image of jerky movements.
また、可変フレームレートで、映像に対する処理を行う場合にも、映像の動きの滑らかさを考慮せずに、処理量や処理に伴うデータ量のみに応じて、フレームレート(処理を行うフレームの時間間隔)を変化させると、同様に、映像の動きの滑らかさが低下し、ギクシャクした動きの映像となってしまうという問題点があった。 Also, when processing a video at a variable frame rate, the frame rate (the time of the frame to be processed) is determined according to only the amount of processing and the amount of data accompanying the processing without considering the smoothness of the motion of the video. Similarly, when the (interval) is changed, there is a problem in that the smoothness of the motion of the image is reduced, resulting in a jerky motion image.
ここで、映像の動きの滑らかさは、映像の持つ特徴に関係がある。例えば、映像の動きが全く無い場合や、映像の動きが非常に小さい場合は、フレームレートを低くしても、動きの滑らかさは低下しない。 Here, the smoothness of the motion of the video is related to the characteristics of the video. For example, when there is no motion of the video or when the motion of the video is very small, even if the frame rate is lowered, the smoothness of motion does not decrease.
また、一般的に、映像における空間周波数が高い場合、その動きを正確に把握するには、フレームレートを高くする必要があり、フレームレートを低くすると、動きの滑らかさが低下する。 In general, when the spatial frequency in an image is high, it is necessary to increase the frame rate in order to accurately grasp the movement. When the frame rate is decreased, the smoothness of the movement decreases.
そこで、本発明は、上述の課題に鑑みてなされたものであり、映像の動き特徴量、当該映像のフレームレート及び当該映像を構成するフレーム画像における空間周波数の分析結果を考慮して、当該映像の動きの滑らかさを評価することによって、当該映像の特徴に応じた、より高い精度の動きの滑らかさの評価を行うことができる映像評価装置、映像評価方法及び映像評価プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and takes into account the motion feature amount of the video, the frame rate of the video, and the analysis result of the spatial frequency in the frame image constituting the video. Providing a video evaluation apparatus, a video evaluation method, and a video evaluation program capable of evaluating the smoothness of movement with higher accuracy according to the characteristics of the video by evaluating the smoothness of the movement of the video Objective.
また、本発明は、動きの滑らかさを示す評価値を一定以上に保つフレームレートを決定する映像フレームレート決定装置、映像フレームレート決定方法及び映像フレームレート決定プログラムを提供することを目的とする。 Another object of the present invention is to provide a video frame rate determination device, a video frame rate determination method, and a video frame rate determination program that determine a frame rate that maintains an evaluation value indicating the smoothness of motion at a certain level or higher.
本発明の第1の特徴は、複数のフレーム画像により構成される映像の動きの滑らかさを評価する映像評価装置であって、入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する動き特徴量抽出部と、入力された前記映像のフレームレートを取得するフレームレート取得部と、入力された前記映像を構成するフレーム画像における空間周波数を分析する空間周波数分析部と、抽出された前記動き特徴量と、取得された前記フレームレートと、前記空間周波数の分析結果とを用いて、前記映像の動きの滑らかさを示す評価値を算出する評価部とを具備することを要旨とする。 A first feature of the present invention is a video evaluation device that evaluates the smoothness of motion of a video composed of a plurality of frame images, and based on the frame images constituting the input video, A motion feature amount extraction unit that extracts a motion feature amount, a frame rate acquisition unit that acquires a frame rate of the input video, and a spatial frequency analysis unit that analyzes a spatial frequency in a frame image constituting the input video And an evaluation unit that calculates an evaluation value indicating the smoothness of the motion of the video by using the extracted motion feature amount, the acquired frame rate, and the analysis result of the spatial frequency. This is the gist.
本発明の第2の特徴は、複数のフレーム画像により構成される映像の動きの滑らかさを評価する映像評価装置であって、入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する動き特徴量抽出部と、入力された前記映像のフレームレートを取得するフレームレート取得部と、抽出された前記動き特徴量と、取得された前記フレームレートとを用いて、前記映像の評価の対象となる空間周波数範囲を決定する空間周波数範囲決定部と、入力された前記映像を構成するフレーム画像における前記空間周波数範囲内の信号強度値と所定閾値との比較結果に基づいて、前記映像の動きの滑らかさを示す評価値を算出する評価部とを具備することを要旨とする。 A second feature of the present invention is a video evaluation device that evaluates the smoothness of motion of a video composed of a plurality of frame images, and based on the inputted frame images that constitute the video, Using a motion feature amount extraction unit that extracts a motion feature amount, a frame rate acquisition unit that acquires a frame rate of the input video, the extracted motion feature amount, and the acquired frame rate, Based on a comparison result between a spatial frequency range determination unit that determines a spatial frequency range to be evaluated for the video, and a signal intensity value in the spatial frequency range in a frame image constituting the input video and a predetermined threshold value And an evaluation unit that calculates an evaluation value indicating the smoothness of the motion of the video.
本発明の第2の特徴において、前記空間周波数決定部は、所定のフレームレートにおいて所定の動き特徴量を有する映像の動きを正しく表示できる空間周波数の限界値を示すナイキスト境界線と、所定のフレームレートにおいて所定の動き特徴量を有する映像の動きに関する品質が一定以上に保たれる空間周波数の限界値を示す映像品質境界線とを用いて、前記空間周波数範囲を決定してもよい。 In the second aspect of the present invention, the spatial frequency determination unit includes a Nyquist boundary line indicating a limit value of a spatial frequency capable of correctly displaying a motion of a video having a predetermined motion feature amount at a predetermined frame rate, and a predetermined frame. The spatial frequency range may be determined using a video quality boundary line indicating a limit value of a spatial frequency at which a quality related to motion of a video having a predetermined motion feature amount at a rate is maintained at a certain level or higher.
本発明の第3の特徴は、本発明の第1又は第2の特徴に係る映像評価装置を具備しており、複数のフレーム画像により構成される映像のフレームレートを決定する映像フレームレート決定装置であって、前記映像を蓄積する蓄積部と、前記映像の第1のフレームレートを発生するフレームレート発生部と、前記蓄積部に蓄積されている前記映像と、前記フレームレート発生部により発生された前記第1のフレームレートとを含む映像信号を生成する映像信号生成部と、前記映像評価装置により算出された前記評価値を用いて、前記映像の第2のフレームレートを決定するフレームレート決定部とを具備することを要旨とする。 According to a third aspect of the present invention, there is provided a video evaluation apparatus according to the first or second aspect of the present invention, wherein the video frame rate determination apparatus determines a frame rate of a video composed of a plurality of frame images. A storage unit that stores the video, a frame rate generation unit that generates a first frame rate of the video, the video that is stored in the storage unit, and the frame rate generation unit. A frame rate determination for determining a second frame rate of the video by using a video signal generation unit that generates a video signal including the first frame rate and the evaluation value calculated by the video evaluation device; It is made a summary.
本発明の第4の特徴は、複数のフレーム画像により構成される映像の動きの滑らかさを評価する映像評価方法であって、入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する工程と、入力された前記映像のフレームレートを取得する工程と、入力された前記映像を構成するフレーム画像における空間周波数を分析する工程と、抽出された前記動き特徴量と、取得された前記フレームレートと、前記空間周波数の分析結果とを用いて、前記映像の動きの滑らかさを示す評価値を算出する工程とを有することを要旨とする。 According to a fourth aspect of the present invention, there is provided a video evaluation method for evaluating the smoothness of motion of a video composed of a plurality of frame images, wherein the video based on the input frame images constituting the video A step of extracting a motion feature, a step of acquiring a frame rate of the input video, a step of analyzing a spatial frequency in a frame image constituting the input video, and the extracted motion feature And a step of calculating an evaluation value indicating the smoothness of the motion of the video using the acquired frame rate and the analysis result of the spatial frequency.
本発明の第5の特徴は、複数のフレーム画像により構成される映像の動きの滑らかさを評価する映像評価方法であって、入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する工程と、入力された前記映像のフレームレートを取得する工程と、抽出された前記動き特徴量と、取得された前記フレームレートとを用いて、前記映像の評価の対象となる空間周波数範囲を決定する工程と、入力された前記映像を構成するフレーム画像における前記空間周波数範囲内の信号強度値と所定閾値との比較結果に基づいて、前記映像の動きの滑らかさを示す評価値を算出する工程とを有することを要旨とする。 A fifth feature of the present invention is a video evaluation method for evaluating the smoothness of motion of a video composed of a plurality of frame images, wherein the video based on the input frame images constituting the video A step of extracting a motion feature, a step of acquiring a frame rate of the input video, a target of evaluation of the video using the extracted motion feature and the acquired frame rate The smoothness of the motion of the video is shown based on a result of comparing the signal intensity value in the spatial frequency range in the frame image constituting the input video and a predetermined threshold in the step of determining the spatial frequency range of And a step of calculating an evaluation value.
本発明の第5の特徴において、前記空間周波数範囲を決定する工程において、所定のフレームレートにおいて所定の動き特徴量を有する映像の動きを正しく表示できる空間周波数の限界値を示すナイキスト境界線と、所定のフレームレートにおいて所定の動き特徴量を有する映像の動きに関する品質が一定以上に保たれる空間周波数の限界値を示す映像品質境界線とを用いて、前記空間周波数範囲を決定してもよい。 In the fifth aspect of the present invention, in the step of determining the spatial frequency range, a Nyquist boundary line indicating a limit value of a spatial frequency capable of correctly displaying a motion of a video having a predetermined motion feature amount at a predetermined frame rate; The spatial frequency range may be determined using a video quality boundary line indicating a limit value of a spatial frequency at which a quality related to a motion of a video having a predetermined motion feature amount at a predetermined frame rate is maintained above a certain level. .
本発明の第6の特徴は、本発明の第4又は第5の特徴に係る映像評価方法を有しており、複数のフレーム画像により構成される映像のフレームレートを決定する映像フレームレート決定方法であって、前記映像の第1のフレームレートを発生する工程と、蓄積部に蓄積されている前記映像と、前記フレームレートを発生する工程において発生された前記第1のフレームレートとを含む映像信号を生成する工程と、前記映像評価方法により算出された前記評価値を用いて、前記映像の第2のフレームレートを決定する工程とを有することを要旨とする。 According to a sixth aspect of the present invention, there is provided a video evaluation method according to the fourth or fifth aspect of the present invention, wherein the video frame rate determination method determines a frame rate of a video composed of a plurality of frame images. An image including a step of generating a first frame rate of the image, the image stored in the storage unit, and the first frame rate generated in the step of generating the frame rate. The gist of the present invention is to include a step of generating a signal and a step of determining a second frame rate of the video using the evaluation value calculated by the video evaluation method.
本発明の第7の特徴は、コンピュータを、本発明の第1又は第2の特徴に係る映像評価装置として機能させる映像評価装置であることを要旨とする。 A seventh feature of the present invention is a video evaluation device that causes a computer to function as the video evaluation device according to the first or second feature of the present invention.
本発明の第8の特徴は、コンピュータを、本発明の第3の特徴に係る映像フレームレート決定装置として機能させる映像フレームレート決定プログラムであることを要旨とする。 The eighth feature of the present invention is summarized as a video frame rate determination program that causes a computer to function as the video frame rate determination device according to the third feature of the present invention.
以上説明したように、本発明によれば、映像の動き特徴量、当該映像のフレームレート及び当該映像を構成するフレーム画像における空間周波数の分析結果を考慮して、当該映像の動きの滑らかさを評価することによって、当該映像の特徴に応じた、より高い精度の動きの滑らかさの評価を行うことができる映像評価装置、映像評価方法及び映像評価プログラムを提供することができる。 As described above, according to the present invention, the smoothness of the motion of the video is considered in consideration of the motion feature quantity of the video, the frame rate of the video, and the analysis result of the spatial frequency in the frame image constituting the video. By performing the evaluation, it is possible to provide a video evaluation device, a video evaluation method, and a video evaluation program that can evaluate the smoothness of motion with higher accuracy according to the characteristics of the video.
また、本発明によれば、動きの滑らかさを示す評価値を一定以上に保つフレームレートを決定する映像フレームレート決定装置、映像フレームレート決定方法及び映像フレームレート決定プログラムを提供するができる。 In addition, according to the present invention, it is possible to provide a video frame rate determination device, a video frame rate determination method, and a video frame rate determination program that determine a frame rate that maintains an evaluation value indicating the smoothness of motion at a certain level or more.
(本発明の第1の実施形態に係る映像評価装置)
図1乃至図8を参照して、本発明の第1の実施形態に係る映像評価装置10の構成について説明する。
(Image evaluation apparatus according to the first embodiment of the present invention)
With reference to FIG. 1 thru | or FIG. 8, the structure of the image | video evaluation apparatus 10 which concerns on the 1st Embodiment of this invention is demonstrated.
本実施形態に係る映像評価装置10は、複数のフレーム画像により構成される映像の動きの滑らかさを評価するように構成されている。 The video evaluation apparatus 10 according to the present embodiment is configured to evaluate the smoothness of motion of a video composed of a plurality of frame images.
映像評価装置10は、物理的には、CPU(中央処理装置)や、メモリ等の記憶装置や、通信装置等を備えるコンピュータにより実現されていてもよい。また、映像評価装置10は、携帯電話等の移動体通信端末により実現されていてもよい。すなわち、映像評価装置10には、情報処理を行うことが可能な装置が、広く適用され得る。 The video evaluation apparatus 10 may be physically realized by a computer including a CPU (Central Processing Unit), a storage device such as a memory, a communication device, and the like. The video evaluation apparatus 10 may be realized by a mobile communication terminal such as a mobile phone. That is, an apparatus capable of performing information processing can be widely applied to the video evaluation apparatus 10.
図1に示すように、映像評価装置10は、その機能的な構成要素として、入力部101と、動き特徴量抽出部102と、フレームレート取得部103と、空間周波数分析部104と、評価部105とを備えている。
As shown in FIG. 1, the video evaluation apparatus 10 includes, as its functional components, an
入力部101は、外部から入力された映像信号107を取得するように構成されている。
The
なお、映像信号107は、単一の静止画像であるフレーム画像が複数連続することにより構成される映像と、当該映像のフレームレートに関する情報を含む信号である。
Note that the
入力部101は、外部から入力された映像信号107の中から抽出した映像を複数のフレーム画像108に分解し、分解したフレーム画像108を動き特徴量抽出部102へ出力するように構成されている。
The
また、入力部101は、外部から入力された映像信号107の中から抽出したフレームレートに関する情報109をフレームレート取得部103へ出力するように構成されている。
The
また、入力部101は、外部から入力された映像信号107の中から抽出した映像を複数のフレーム画像110に分解し、分解したフレーム画像110を空間周波数分析部104へ出力するように構成されている。
The
動き特徴量抽出部102は、入力部101により入力されたフレーム画像108に基づいて、当該映像の動き特徴量111を抽出し、抽出した当該映像の動き特徴量111を評価部105へ出力するように構成されている。
The motion feature
具体的には、第1に、動き特徴量抽出部102は、入力部101から、連続する2枚のフレーム画像を読み込む。説明のため、この連続する2枚のフレーム画像を、順に、フレーム画像P0、フレーム画像P1と名付ける。
Specifically, first, the motion feature
第2に、動き特徴量抽出部102は、入力部101から読み込んだフレーム画像P1を、一定の大きさ(8画素x8画素)のブロックに分割する。
Second, the motion feature
第3に、動き特徴量抽出部102は、フレーム画像P1のフレーム画像の各ブロックについて、フレーム画像P0の所定の探索範囲内で類似する画像信号パターンを、ブロックマッチングによって探索する。
Third, the motion feature
第4に、動き特徴量抽出部102は、フレーム画像P1におけるブロックの画像信号パターンと、当該画像信号パターンに最も類似するフレーム画像P0における画像信号パターンとの間の空間的な変位量である動きベクトルを検出する。図2は、ブロックマッチングによる動きベクトルの探索の様子を表す図である。
Fourth, the motion feature
第5に、動き特徴量抽出部102は、フレーム画像P1の各ブロックの動きベクトルを用いて、フレーム画像P1の各ブロックのx方向及びy方向の動きの大きさを計算する。
Fifth, the motion feature
図2では、フレーム画像P1の当該ブロックの動きベクトルは、(MVx、MVy)であり、当該ブロックのx方向及びy方向の動きの大きさは、それぞれ、|MVx|、|MVy|(||は、絶対値を算出する記号とする)となる。 In FIG. 2, the motion vector of the block of the frame image P1 is (MVx, MVy), and the magnitudes of motion in the x direction and y direction of the block are | MVx | and | MVy | (|| Is a symbol for calculating an absolute value).
第6に、動き特徴量抽出部102は、フレーム画像P1における全てのブロックのx方向及びy方向の動きの大きさの中で、x方向及びy方向それぞれの動きの大きさの最大値|MVx|max及び|MVy|maxを、動き特徴量111として評価部105へ出力する。
Sixth, the motion feature
フレームレート取得部103は、入力部101により入力されたフレームレートに関する情報109から、上述の映像のフレームレート112を取得して、評価部105へ出力するように構成されている。
The frame
具体的には、入力部101により入力されたフレームレートに関する情報109が、フレームレートの値そのものである場合、フレームレート取得部103は、当該フレームレートの値fを、フレームレート112として評価部105へ出力するように構成されている。
Specifically, when the
また、入力部101により入力されたフレームレートに関する情報109が、連続するフレーム画像の時間間隔である場合、フレームレート取得部103は、連続するフレーム画像の時間間隔から計算したフレームレートを、フレームレート112として評価部105へ出力するように構成されている。
In addition, when the
なお、連続するフレームの時間間隔が、s秒である場合、フレームレートの値fは、1/s(fps)によって計算される。 When the time interval between successive frames is s seconds, the frame rate value f is calculated by 1 / s (fps).
また、フレームレート取得部103が、入力部101により入力されたフレームレートに関する情報109からフレームレートを計算する方法は、上記の方法には限定されない。
The method by which the frame
空間周波数分析部104は、入力部101により入力されたフレーム画像110における空間周波数を分析するように構成されている。
The spatial
具体的には、空間周波数分析部104は、入力部101により入力されたフレーム画像110内で各空間周波数における電力の累積値を算出し、算出した電力の累積値を、空間周波数特徴量113(空間周波数の分析結果)として評価部105へ出力するように構成されている。
Specifically, the spatial
図3を用いて、空間周波数分析部104の機能について具体的に説明する。図3に示すように、空間周波数分析部104は、2次元フーリエ変換部1041と、累積値算出部1042とを具備する。
The function of the spatial
2次元フーリエ変換部1041が、入力部101により入力されたフレーム画像P1(1041)に対して2次元フーリエ変換処理を施すことによって、各周波数における電力1043を計算して、累積値算出部1042へ出力する用に構成されている。
The two-dimensional
図4(a)は、入力部101により入力されたフレーム画像P1を示し、図4(b)は、当該フレーム画像P1に対して2次元フーリエ変換処理を施すことによって各周波数における電力1043の計算結果を含む2次元フーリエ変換画像F1を示す。
FIG. 4A shows a frame image P1 input by the
累積値算出部1042は、2次元フーリエ変換部1041により入力された各周波数における電力1043を用いて、図4(c)に示すように、水平方向(x方向)の空間周波数μにおけるν方向の全ての電力を足し合わせ、空間周波数μにおける電力の累積値であるμ成分累積値を算出するように構成されている。
The accumulated
また、累積値算出部1042は、2次元フーリエ変換部1041により入力された各周波数における電力1043を用いて、図4(d)に示すように、垂直方向(y方向)の空間周波数νにおけるμ方向の全ての電力を足し合わせ、空間周波数νにおける電力の累積値であるν成分累積値を算出するように構成されている。
Further, the cumulative
また、累積値算出部1042は、算出したμ成分累積値及びν成分累積値を、空間周波数特徴量113(空間周波数の分析結果)として評価部105へ出力するように構成されている。
Further, the cumulative
評価部105は、動き特徴量抽出部102により抽出された動き特徴量と、フレームレート取得部103により取得されたフレームレートと、空間周波数分析部104からの空間周波数特徴量113(空間周波数の分析結果)とを用いて、入力された映像の動きの滑らかさを示す評価値114を算出して出力するように構成されている。
The
具体的には、評価部105は、動き特徴量抽出部102から入力されたx方向の動きの大きさ|MVx|max及びy方向の動きの大きさ|MVy|maxと、フレームレート取得部103から入力されたフレームレートの値fと、空間周波数分析部104から入力されたμ成分累積値及びν成分累積値とを用いて、評価値114を算出するように構成されている。
Specifically, the
図5を用いて、評価部105の機能について詳細に説明する。図5に示すように、評価部105は、メモリ10501と、μ方向空間周波数範囲決定部10502と、x方向動きの滑らかさ値算出部10503と、ν方向空間周波数範囲決定部10504と、y方向動きの滑らかさ値算出部10505と、評価値算出部10506とを具備している。
The function of the
μ方向空間周波数範囲決定部10502は、動き特徴量抽出部102から入力された動き特徴量111の中から抽出されたx方向の動きの大きさ(速さ)|MVx|maxと、フレームレート取得部103から入力されたフレームレートの値f(112)とを用いて、μ方向空間周波数範囲情報10507を取得して、x方向動きの滑らかさ値算出部10503へ出力するように構成されている。
The μ-direction spatial frequency
具体的には、μ方向空間周波数範囲決定部10502は、メモリ10501内に予め蓄積されている「x方向のナイキスト境界線情報」に基づいて、図6に示すように、フレームレートfにおけるx方向のナイキスト境界線上で、x方向の動きの大きさ|MVx|maxにおける点の空間周波数μ1を取得する。
Specifically, the μ-direction spatial frequency
また、μ方向空間周波数範囲決定部10502は、メモリ10501内に予め蓄積されている「動きの滑らかさ境界線情報」に基づいて、図6に示すように、フレームレートfにおけるx方向の動きの滑らかさ境界線上で、x方向の動きの大きさ|MVx|maxにおける点の空間周波数μ0を取得する。
Also, the μ-direction spatial frequency
そして、μ方向空間周波数範囲決定部10502は、取得したμ0及びμ1を、μ方向空間周波数範囲情報10507としてx方向動きの滑らかさ値算出部10503へ出力する。
Then, the μ-direction spatial frequency
ここで、「フレームレートfにおけるx方向のナイキスト境界線」は、所定のフレームレートfにおいて、映像のx方向の動きを正しく表示できる境界を示すものである。 Here, the “Nyquist boundary line in the x direction at the frame rate f” indicates a boundary at which the motion in the x direction of the video can be correctly displayed at the predetermined frame rate f.
例えば、「フレームレートfにおけるx方向のナイキスト境界線」は、所定のフレームレートfにおいて所定の動き特徴量(|MVx|max)を有する映像の動きを正しく表示できる空間周波数の限界値μ1を示す。 For example, “the Nyquist boundary line in the x direction at the frame rate f” indicates the limit value μ1 of the spatial frequency that can correctly display the motion of the video having the predetermined motion feature quantity (| MVx | max) at the predetermined frame rate f. .
すなわち、「フレームレートfにおけるx方向のナイキスト境界線」は、水平方向(x方向)に空間周波数μを持ち、かつ、x方向の動きの大きさが|MVx|である映像を、フレームレートfで表示した場合に、当該映像のx方向の見かけ上の動きの大きさが|MVx|に保たれる境界である。 That is, the “Nyquist boundary line in the x direction at the frame rate f” is an image having the spatial frequency μ in the horizontal direction (x direction) and the motion magnitude in the x direction is | MVx | This is a boundary where the magnitude of the apparent movement of the video in the x direction is maintained at | MVx |.
なお、映像は、かかる境界線より上部の領域では、静止して見えたり、逆方向に動いて見えたり、|MVx|とは異なる動きの大きさで動いて見えたりする。 Note that in the region above the boundary line, the video appears to be stationary, appears to move in the opposite direction, or appears to move with a magnitude of movement different from | MVx |.
また、「フレームレートfにおけるx方向の動きの滑らかさ境界線」は、x方向の動きの滑らかさに関する映像品質境界線であり、所定のフレームレートfにおいて、映像のx方向の動きが滑らかと感じられる限界の動きの大きさと空間周波数との関係を示すものである。 The “smooth boundary line in the x direction at the frame rate f” is a video quality boundary line regarding the smoothness of the motion in the x direction, and the motion in the x direction of the video is smooth at a predetermined frame rate f. It shows the relationship between the magnitude of the perceived limit movement and the spatial frequency.
例えば、「フレームレートfにおけるx方向の動きの滑らかさ境界線」は、所定のフレームレートfにおいて所定の動き特徴量(|MVx|max)を有する映像の動きに関する品質が一定以上に保たれる空間周波数の限界値を示す。 For example, in the “smooth boundary line in the x direction at the frame rate f”, the quality related to the motion of the video having the predetermined motion feature quantity (| MVx | max) at the predetermined frame rate f is maintained above a certain level. Indicates the limit value of the spatial frequency.
なお、かかる境界線より上部では、x方向の映像の動きがギクシャクして見える。 Note that the motion of the video in the x direction appears jerky above the boundary.
また、「フレームレートfにおけるx方向の動きの滑らかさ境界線」は、フレームレートfにおいて、水平方向(x方向)に空間周波数μを持つ映像のx方向の動きの大きさを変化させた場合に、映像の動きがギクシャクして見えるかどうかについて判断する主観評価で予め決定される。 The “smooth boundary line in the x direction at the frame rate f” is obtained when the magnitude of the motion in the x direction of the video having the spatial frequency μ in the horizontal direction (x direction) is changed at the frame rate f. In addition, it is determined in advance by subjective evaluation for judging whether or not the motion of the video looks jerky.
メモリ10501内には、各フレームレートにおけるx方向のナイキスト境界線及び動きの滑らかさ境界線が、それぞれx方向のナイキスト境界線情報及び動きの滑らかさ境界線情報として予め蓄積されている。 In the memory 10501, the Nyquist boundary line in the x direction and the smoothness boundary line of motion at each frame rate are stored in advance as Nyquist boundary line information in the x direction and smoothness boundary line of motion, respectively.
同様に、ν方向空間周波数範囲決定部10504は、動き特徴量抽出部102から入力された動き特徴量111の中から抽出されたy方向の動きの大きさ(速さ)|MVy|maxと、フレームレート取得部103から入力されたフレームレートの値f(112)とを用いて、ν方向空間周波数範囲情報10508を取得して、y方向動きの滑らかさ値算出部10505へ出力するように構成されている。
Similarly, the ν-direction spatial frequency
具体的には、ν方向空間周波数範囲決定部10504は、メモリ10501内に予め蓄積されている「y方向のナイキスト境界線情報」に基づいて、図7に示すように、フレームレートfにおけるy方向のナイキスト境界線上で、y方向の動きの大きさ|MVy|maxにおける点の空間周波数ν1を取得する。
Specifically, the ν-direction spatial frequency
また、ν方向空間周波数範囲決定部10504は、メモリ10501内に予め蓄積されている「動きの滑らかさ境界線情報」に基づいて、図7に示すように、フレームレートfにおけるy方向の動きの滑らかさ境界線上で、y方向の動きの大きさ|MVy|maxにおける点の空間周波数ν0を取得する。
Also, the ν-direction spatial frequency
そして、ν方向空間周波数範囲決定部10504は、取得したν0及びν1を、ν方向空間周波数範囲情報10508としてy方向動きの滑らかさ値算出部10505へ出力する。
The ν-direction spatial frequency
ここで、「フレームレートfにおけるy方向のナイキスト境界線」は、所定のフレームレートfにおいて、映像のy方向の動きを正しく表示できる境界を示すものである。 Here, the “Nyquist boundary line in the y direction at the frame rate f” indicates a boundary at which the motion in the y direction of the video can be correctly displayed at the predetermined frame rate f.
例えば、「フレームレートfにおけるy方向のナイキスト境界線」は、所定のフレームレートfにおいて所定の動き特徴量(|MVy|max)を有する映像の動きを正しく表示できる空間周波数の限界値ν1を示す。 For example, “the Nyquist boundary line in the y direction at the frame rate f” indicates the limit value ν1 of the spatial frequency at which a motion of a video having a predetermined motion feature quantity (| MVy | max) can be correctly displayed at a predetermined frame rate f. .
すなわち、「フレームレートfにおけるy方向のナイキスト境界線」は、垂直方向(y方向)に空間周波数νを持ち、かつ、y方向の動きの大きさが|MVy|である映像を、フレームレートfで表示した場合に、当該映像のy方向の見かけ上の動きの大きさが|MVy|に保たれる境界である。 That is, the “Nyquist boundary line in the y direction at the frame rate f” is an image having a spatial frequency ν in the vertical direction (y direction) and a motion magnitude in the y direction of | MVy | Is the boundary where the magnitude of the apparent movement in the y direction of the video is maintained at | MVy |.
なお、映像は、かかる境界線より上部の領域では、静止して見えたり、逆方向に動いて見えたり、|MVy|とは異なる動きの大きさで動いて見えたりする。 Note that in the region above the boundary line, the image may appear to be stationary, appear to move in the opposite direction, or appear to move with a magnitude of movement different from | MVy |.
また、「フレームレートfにおけるy方向の動きの滑らかさ境界線」は、y方向の動きの滑らかさに関する映像品質境界線であり、所定のフレームレートfにおいて、映像のy方向の動きが滑らかと感じられる限界の動きの大きさと空間周波数との関係を示すものである。 The “smooth boundary line in the y direction at the frame rate f” is a video quality boundary line relating to the smoothness of the y direction motion, and the y direction motion of the video is smooth at a predetermined frame rate f. It shows the relationship between the magnitude of the perceived limit movement and the spatial frequency.
例えば、「フレームレートfにおけるy方向の動きの滑らかさ境界線」は、所定のフレームレートfにおいて所定の動き特徴量(|MVy|max)を有する映像の動きに関する品質が一定以上に保たれる空間周波数の限界値を示す。 For example, the “smooth boundary line in the y direction at the frame rate f” keeps the quality related to the motion of a video having a predetermined motion feature quantity (| MVy | max) at a predetermined frame rate f above a certain level. Indicates the limit value of the spatial frequency.
なお、かかる境界線より上部では、y方向の映像の動きがギクシャクして見える。 Note that the motion of the video in the y direction appears jerky above the boundary.
また、「フレームレートfにおけるy方向の動きの滑らかさ境界線」は、フレームレートfにおいて、垂直方向(y方向)に空間周波数νを持つ映像のy方向の動きの大きさを変化させた場合に、映像の動きがギクシャクして見えるかどうかについて判断する主観評価で予め決定される。 The “smooth boundary line in the y direction at the frame rate f” is obtained when the magnitude of the movement in the y direction of the video having the spatial frequency ν in the vertical direction (y direction) is changed at the frame rate f. In addition, it is determined in advance by subjective evaluation for judging whether or not the motion of the video looks jerky.
メモリ10501内には、各フレームレートにおけるy方向のナイキスト境界線及び動きの滑らかさ境界線が、それぞれy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報として予め蓄積されている。 In the memory 10501, the Nyquist boundary line in the y direction and the smoothness boundary line of motion at each frame rate are stored in advance as Nyquist boundary line information in the y direction and smoothness boundary line of motion, respectively.
x方向動きの滑らかさ値算出部10503は、空間周波数分析部104から入力された空間周波数特徴量113の中から抽出したμ成分累積値と、μ方向空間周波数範囲決定部1052から入力されたμ方向空間周波数範囲情報10507とを用いて、μ0からμ1の間のμ方向空間周波数範囲内のμ成分累積値を全て加算することによって、x方向の動きの滑らかさ値Sx(10509)を算出して、評価値算出部10506へ出力するように構成されている。
The x-direction motion smoothness
また、y方向動きの滑らかさ値算出部10505は、空間周波数分析部104から入力された空間周波数特徴量113の中から抽出したν成分累積値と、ν方向空間周波数範囲決定部10504から入力されたν方向空間周波数範囲情報10508とを用いて、ν0からν1の間のν方向空間周波数範囲内のν成分累積値を全て加算することによって、y方向の動きの滑らかさ値(Sy)10510を算出して、評価値算出部10506へ出力するように構成されている。
Also, the y-direction motion smoothness
図8(a)は、x方向の動きの滑らかさ値Sxを算出するために加算する累積値の領域を示す図であり、図8(b)は、y方向の動きの滑らかさ値Syを算出するために加算する累積値の領域を示す図である。 FIG. 8A is a diagram illustrating a region of accumulated values to be added to calculate the smoothness value Sx of the motion in the x direction, and FIG. 8B illustrates the smoothness value Sy of the motion in the y direction. It is a figure which shows the area | region of the cumulative value added in order to calculate.
評価値算出部10506は、x方向動きの滑らかさ値算出部10503から入力されたx方向の動きの滑らかさ値10509と、y方向動きの滑らかさ値算出部10505から入力されたy方向の動きの滑らかさ値10510とを比較し、大きい方を当該フレーム画像における動きの滑らかさ値Sとするように構成されている。
The evaluation
また、評価値算出部10506は、動きの滑らかさ値Sと所定閾値とを比較し、当該フレーム画像における動きの滑らかさの評価値Eを算出するように構成されている。
The evaluation
具体的には、評価値算出部1053は、所定のフレーム画像における動きの滑らかさ値(信号強度値)を「S」とし、所定閾値を「T」とする場合、動きの滑らかさを示す評価値を「E」を「T−S」によって算出するように構成されている。 Specifically, the evaluation value calculation unit 1053 evaluates the smoothness of motion when the smoothness value (signal intensity value) of motion in a predetermined frame image is “S” and the predetermined threshold is “T”. The value is configured to calculate “E” by “TS”.
さらに、評価値算出部10506は、全てのフレーム画像における動きの滑らかさを示す評価値Eの平均値を算出して、動きの滑らかさを示す評価値114として出力する。
Further, the evaluation
(本発明の第1の実施形態に係る映像評価方法)
以下、図9乃至図11を参照して、本実施形態に係る映像評価方法について説明する。
(Video Evaluation Method According to First Embodiment of the Present Invention)
Hereinafter, the video evaluation method according to the present embodiment will be described with reference to FIGS. 9 to 11.
第1に、図9を参照して、本実施形態に係る映像評価方法の全体動作について説明する。 First, the overall operation of the video evaluation method according to the present embodiment will be described with reference to FIG.
図9に示すように、ステップS901において、入力部101が、外部から入力された映像と、当該映像のフレームレートに関する情報を読み込む。
As shown in FIG. 9, in step S <b> 901, the
ステップS902において、動き特徴量抽出部101が、当該映像の動き特徴量を抽出する。
In step S902, the motion feature
ステップS903において、フレームレート取得部103が、入力されたフレームレートに関する情報から、当該映像のフレームレートを取得する。
In step S903, the frame
ステップS904において、空間周波数分析部104が、当該映像を構成するフレーム画像における空間周波数特徴量について分析する。
In step S904, the spatial
ステップS905において、評価部105が、当該映像の動き特徴量と、当該空間周波数特徴量と、当該映像のフレームレートとを用いて、入力された映像の動きの滑らかさについて評価する。
In step S905, the
第2に、図10を参照して、空間周波数分析部104の処理方法について説明する。
Second, the processing method of the spatial
図10に示すように、ステップS1001において、2次元フーリエ変換部1041が、入力された映像に対して2次元フーリエ変換処理を施すことによって、各周波数における電力を計算する。
As shown in FIG. 10, in step S1001, the two-dimensional
ステップS10021において、累積値算出部1042が、各周波数における電力を用いて、水平方向の空間周波数μにおけるν方向の全ての電力を足し合わせることによって空間周波数μにおける電力の累積値であるμ成分累積値を算出する。
In step S10021, the cumulative
また、ステップS10022において、累積値算出部1042が、垂直方向の空間周波数νにおけるμ方向の全ての電力を足し合わせることによって空間周波数νにおける電力の累積値であるν成分累積値を算出する。
In step S10022, the cumulative
ここで、ステップS10021とステップS10022を合わせて、ステップS1002とする。 Here, step S10021 and step S10022 are combined to form step S1002.
第3に、図11を参照して、評価部105の処理方法について説明する。
Third, the processing method of the
図11に示すように、ステップS11011において、μ方向空間周波数範囲決定部10502が、映像のx方向の動きの大きさ|MVx|maxと、フレームレートfとを用いて、メモリ10501内に予め蓄積されているx方向のナイキスト境界線情報及び動きの滑らかさ境界線情報を取得する。
As illustrated in FIG. 11, in step S11011, the μ-direction spatial frequency
ステップS11012において、μ方向空間周波数範囲決定部10502が、取得した「ナイキスト境界線情報」に基づいて、図6に示すように、フレームレートfにおけるx方向のナイキスト境界線上で、x方向の動きの大きさ|MVx|maxにおける点の空間周波数μ1を取得する。
In step S11012, the μ-direction spatial frequency
また、ステップS11013において、μ方向空間周波数範囲決定部10502が、取得した「動きの滑らかさ境界線情報」に基づいて、図6に示すように、フレームレートfにおけるx方向の動きの滑らかさ境界線上で、x方向の動きの大きさ|MVx|maxにおける点の空間周波数μ0を取得する。
Also, in step S11013, the μ-direction spatial frequency
ステップS11014において、μ方向空間周波数範囲決定部10502が、μ方向空間周波数範囲をμ0からμ1に決定する。
In step S11014, the μ direction spatial frequency
ここで、ステップS11011〜ステップS11014をまとめてステップS1101とする。 Here, step S11011 to step S11014 are collectively referred to as step S1101.
ステップS11021において、ν方向空間周波数範囲決定部10504が、映像のy方向の動きの大きさ|MVy|maxと、フレームレートfとを用いて、メモリ10501内に予め蓄積されているy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報を取得する。
In step S11021, the ν-direction spatial frequency
ステップS11022において、ν方向空間周波数範囲決定部10504が、取得した「ナイキスト境界線情報」に基づいて、図7に示すように、フレームレートfにおけるy方向のナイキスト境界線上で、y方向の動きの大きさ|MVy|maxにおける点の空間周波数ν1を取得する。
In step S11022, the ν-direction spatial frequency
また、ステップS11023において、ν方向空間周波数範囲決定部10504が、取得した「動きの滑らかさ境界線情報」に基づいて、図7に示すように、フレームレートfにおけるy方向の動きの滑らかさ境界線上で、y方向の動きの大きさ|MVy|maxにおける点の空間周波数ν0を取得する。
Further, in step S11023, the ν-direction spatial frequency
ステップS11024において、ν方向空間周波数範囲決定部10504が、ν方向空間周波数範囲をν0からν1に決定する。
In step S11024, the ν direction spatial frequency
ここで、ステップS11021〜ステップS11024をまとめてステップS1102とする。 Here, step S1101021 to step S11024 are collectively referred to as step S1102.
ステップS1103において、x方向動きの滑らかさ値算出部10503が、μ0からμ1の間のμ方向空間周波数範囲内のμ成分累積値を全て加算することによってx方向の動きの滑らかさ値Sxを算出する。
In step S1103, the x-direction motion smoothness
また、ステップS1104において、y方向動きの滑らかさ値算出部10505が、ν0からν1の間のν方向空間周波数範囲内のν成分累積値を全て加算することによってy方向の動きの滑らかさ値Syを算出する。
In step S1104, the y-direction motion smoothness
ステップS11051において、評価値算出部10506が、x方向の動きの滑らかさ値Sxとy方向の動きの滑らかさ値Syとを比較する。
In step S11051, the evaluation
x方向の動きの滑らかさ値Sxが、y方向の動きの滑らかさ値Syより大きい場合は、ステップS11052において、評価値算出部10506が、当該フレーム画像における動きの滑らかさ値Sを、x方向の動きの滑らかさ値Sxとする。
When the smoothness value Sx of the motion in the x direction is larger than the smoothness value Sy of the motion in the y direction, in step S11052, the evaluation
それ以外の場合は、ステップS11053において、評価値算出部10506が、当該フレーム画像における動きの滑らかさ値Sを、y方向の動きの滑らかさ値Syとする。
In other cases, in step S11053, the evaluation
ステップS11054において、評価値算出部10506が、当該フレーム画像における動きの滑らかさを示す評価値Eを、所定閾値Tを用いて、「S−T」によって算出する。
In step S11054, the evaluation
ステップS11055において、評価値算出部10506が、全てのフレーム画像における動きの滑らかさをします評価値Eの平均値を算出する)。
In step S11055, the evaluation
ここで、ステップS11051〜S11055をまとめてステップS1105とする。 Here, steps S11051 to S11055 are collectively referred to as step S1105.
(本発明の第1の実施形態に係る映像評価プログラム)
図12を参照して、コンピュータを、上述した本実施形態に係る映像評価装置10として機能させるための映像評価プログラム50について説明する。
(Video evaluation program according to the first embodiment of the present invention)
With reference to FIG. 12, a
図12に示すように、映像評価プログラム50は、処理を統括するメインモジュールプログラム1201と、入力ジュール1202と、動き特徴量抽出モジュール1203と、フレームレート取得モジュール1204と、空間周波数分析モジュール1205と、評価モジュール1206とを備える。
As shown in FIG. 12, the
入力ジュール1202、動き特徴量抽出モジュール1203、フレームレート取得モジュール1204、空間周波数分析モジュール1205及び評価モジュール1206がコンピュータに行わせる機能は、それぞれ対応する入力部101、動き特徴量抽出部102、フレームレート取得部103、空間周波数分析部104、評価部105の機能と同様である。
The functions that the
なお、映像評価プログラム50は、例えば、CD−ROM、DVD或いはROM等の記憶媒体又は半導体メモリによって提供される。
Note that the
また、映像評価プログラム40は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。 The video evaluation program 40 may be provided via a network as a computer data signal superimposed on a carrier wave.
(本発明の第1の実施形態に係る映像評価装置の作用・効果)
本実施形態に係る映像評価装置10によれば、入力部101が、外部から入力された映像信号の中から抽出した映像を複数のフレーム画像及びフレームレートに関する情報に分離して出力し、動き特徴量抽出部102が、入力されたフレーム画像に基づいて当該映像の動き特徴量を抽出し、フレームレート取得部103が、入力されたフレームレートに関する情報からフレームレートを取得し、空間周波数分析部104が、入力されたフレーム画像における空間周波数特徴量を算出し、評価部105が、動き特徴量と空間周波数特徴量とフレームレートから、入力された当該映像の動きの滑らかさを評価するので、映像の動き特徴量、フレームレート及び空間周波数を考慮して、より高い精度の動きの滑らかさの評価を行うことができる。
(Operation / Effect of Image Evaluation Apparatus According to First Embodiment of the Present Invention)
According to the video evaluation apparatus 10 according to the present embodiment, the
(変更例1)
なお、映像信号107は、複数のフレーム画像により構成される映像や、当該映像のフレームレートに関する情報の他に、当該映像の動きに関する情報や、当該映像の空間周波数に関する情報を含む信号であってもよい。
(Modification 1)
Note that the
かかる場合、動き特徴量抽出部102は、入力部101により入力された当該映像の動きに関する情報から、直接、動き特徴量を算出して評価部105へ出力するように構成されていてもよい。
In such a case, the motion feature
また、空間周波数分析部104は、入力部101により入力された当該映像の空間周波数に関する情報から、直接、空間周波数特徴量を算出して評価部105へ出力するように構成されていてもよい。
Further, the spatial
また、動き特徴量抽出部102は、必ずしも、8画素x8画素のブロック単位で、動きベクトルの検出を行うように構成されている必要はなく、任意の大きさのブロック単位で、動きベクトルの検出を行うように構成されていてもよい。
In addition, the motion feature
また、動き特徴量抽出部102は、必ずしも、ブロック単位で、動きベクトルの検出を行うように構成されている必要はない。
Further, the motion feature
例えば、動き特徴量抽出部102は、フレーム画像全体で、動き探索を行って、フレーム画像ごとに、1つの動きベクトルを検出するように構成されていてもよい。
For example, the motion feature
また、動き特徴量抽出部102は、フレーム画像内の1画素ごとに、動きベクトルを検出するように構成されていてもよい。
Further, the motion feature
また、動き特徴量抽出部102は、フレーム画像を、当該フレーム画像内のオブジェクト領域ごとに分割し、オブジェクト領域ごとに、動きベクトルを検出するように構成されていてもよい。
Further, the motion feature
また、動き特徴量抽出部102は、動き探索の方法として、必ずしもブロックマッチングを用いる必要はなく、濃度勾配法やその他のあらゆる映像の動きの変位量を検出する方法を用いることができる。
The motion feature
また、動き特徴量抽出部102によって出力される動き特徴量は、各フレーム画像の各ブロックのx方向及びy方向の動きベクトルの大きさの最大値には限らず、平均値、中間値、最小値又は最頻値であってもよい。
The motion feature amount output by the motion feature
また、動き特徴量抽出部102によって出力される動き特徴量は、各フレーム画像単位で検出された1つの動きベクトルのx方向及びy方向の大きさであってもよい。
Also, the motion feature amount output by the motion feature
また、動き特徴量抽出部102によって出力される動き特徴量は、各フレーム画像を、当該フレーム画像内のオブジェクト領域ごとに分割し、オブジェクト領域ごとに検出した動きベクトルのx方向及びy方向の大きさの最大値、平均値、中間値、最小値又は最頻値であってもよい。
In addition, the motion feature amount output by the motion feature
また、動き特徴量抽出部102によって出力される動き特徴量は、必ずしも、フレーム画像単位で、x方向及びy方向にそれぞれ1つである必要はなく、ブロック単位又はオブジェクト単位で、x方向及びy方向にそれぞれ1つであってもよい。
Further, the motion feature amount output by the motion feature
かかる場合、空間周波数分析部104によって出力される空間周波数特徴量は、それぞれ、各フレーム画像のブロックごとに分析した空間周波数特徴量であってもよいし、各フレーム画像を当該フレーム画像内のオブジェクト領域に分割し、オブジェクト領域ごとに分析した空間周波数特徴量であってもよい。
In such a case, the spatial frequency feature amount output by the spatial
さらに、かかる場合、評価部105によって算出されるx方向及びy方向の動きの滑らかさ値は、それぞれ、ブロック単位又はオブジェクト単位ごとに1つであってもよい。
Further, in such a case, the smoothness value of the motion in the x direction and the y direction calculated by the
かかる場合、評価部105は、あるフレーム画像におけるブロック単位又はオブジェクト単位ごとに1つ算出されたx方向及びy方向の動きの滑らかさ値の中での最大の動きの滑らかさ値を、当該フレーム画像における動きの滑らかさ値Sとしてもよい。
In this case, the
また、特徴量抽出部102によって出力される動き特徴量は、必ずしも、x方向及びy方向でそれぞれ1つである必要はなく、任意の直交する2つの方向にそれぞれ1つであってもよい。
In addition, the motion feature amount output by the feature
かかる場合、空間周波数分析部104によって出力される空間周波数特徴量は、必ずしも、μ方向及びν方向である必要はなく、特徴量抽出部102で動き特徴量を抽出した任意の直交する2つの方向について分析した空間周波数特徴量であってもよい。
In such a case, the spatial frequency feature amount output by the spatial
また、かかる場合、評価部105によって算出される動きの滑らかさ値は、必ずしも、x方向及びy方向である必要はなく、特徴量抽出部102で動き特徴量を抽出した任意の直交する2つの方向について算出してもよい。
In this case, the smoothness value of the motion calculated by the
また、空間周波数分析部104によって算出される各周波数における電力は、必ずしも、2次元フーリエ画像を用いて算出する必要はなく、フレーム画像の各周波数における電力量を算出するあらゆる方法を用いることができる。
Further, the power at each frequency calculated by the spatial
また、評価部105によってメモリ内に予め蓄積されているx方向及びy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報を取得する方法は、ルックアップテーブルを参照する方法であってもよいし、ナイキスト境界線情報及び動きの滑らかさ境界線情報を表す数式を保持しておき、その数式から導き出してもよい。
Further, the method of acquiring the Nyquist boundary line information and the motion smoothness boundary line information in the x direction and the y direction that are stored in the memory in advance by the
また、評価部105によって算出される動きの滑らかさ値は、必ずしも、x方向の動きの滑らかさ値及びy方向の動きの滑らかさ値のうちの大きい方の値である必要はなく、x方向の動きの滑らかさ値とy方向の動きの滑らかさ値との和又は平均値、或いは、x方向の動きの滑らかさ値及びy方向の動きの滑らかさ値のうちの小さい方の値であってもよい。
In addition, the motion smoothness value calculated by the
また、評価部105によって算出される各フレーム画像の動きの滑らかさを示す評価値Eは、必ずしも、動きの滑らかさ値Sと所定閾値Tとを用いて、「S−T」により算出しなくてもよい。
The evaluation value E indicating the smoothness of the motion of each frame image calculated by the
評価部105によって算出される各フレーム画像における動きの滑らかさを示す評価値Eは、動きの滑らかさ値Sが大きくなるほど、当該評価値Eが小さくなるあらゆる関数を用いてもよい。
As the evaluation value E indicating the smoothness of motion in each frame image calculated by the
また、評価部105によって算出される各フレーム画像の動きの滑らかさを示す評価値Eは、動きの滑らかさ値Sと所定閾値Tとを比較し、その大小関係によって一定値に決定してもよい。
Also, the evaluation value E indicating the smoothness of the motion of each frame image calculated by the
また、評価部105によって出力される評価値は、入力された映像信号に含まれる全てのフレーム画像における動きの滑らかさを示す評価値Eの平均値には限らず、入力された映像信号に含まれる全てのフレーム画像における動きの滑らかさを示す評価値Eの最大値、中間値、最小値又は最頻値であってもよい。
The evaluation value output by the
また、評価部105によって出力される評価値は、必ずしも、入力された映像信号に含まれる全てのフレーム画像を通して1つの評価値である必要はなく、何枚かのフレーム画像、1枚ごとのフレーム画像、各フレーム画像のブロック単位又は各フレーム画像のオブジェクト単位に、1つの評価値であってもよい。
Further, the evaluation value output by the
(本発明の第2の実施形態に係る映像評価装置)
図13乃至図16を参照して、本発明の第2の実施形態に係る映像評価装置20について説明する。以下、本実施形態に係る映像評価装置20について、上述の第1の実施形態に係る映像評価装置10との相違点に着目して説明する。
(Video evaluation apparatus according to the second embodiment of the present invention)
A video evaluation apparatus 20 according to the second embodiment of the present invention will be described with reference to FIGS. Hereinafter, the video evaluation apparatus 20 according to the present embodiment will be described by focusing on differences from the video evaluation apparatus 10 according to the first embodiment described above.
図13に示すように、映像評価装置20は、その機能的な構成要素として、入力部1301と、動き特徴量抽出部1302と、フレームレート取得部1303と、空間周波数範囲決定部1304と、評価部1305とを備えている。
As shown in FIG. 13, the video evaluation apparatus 20 includes, as its functional components, an
入力部1301は、外部から入力された映像信号1306の中から抽出した映像を複数のフレーム画像1307に分解して、動き特徴量抽出部1302へ出力するように構成されている。
The
また、入力部1301は、外部から入力された映像信号1306の中から抽出した映像を複数のフレーム画像1308に分解して、評価部1305へ出力するように構成されている。
The
また、入力部1301は、外部から入力された映像信号1306の中から抽出したフレームレートに関する情報1309をフレームレート取得部1303へ出力するように構成されている。
Further, the
動き特徴量抽出部1302は、入力部1301により入力されたフレーム画像1307に基づいて、入力された映像の動き特徴量を抽出し、動き特徴量1310として空間周波数範囲決定部1304へ出力するように構成されている。
The motion feature
具体的には、動き特徴量抽出部1302は、上述の動き特徴量抽出部102と同様の方法で、入力された映像の動き特徴量を抽出するように構成されている。
Specifically, the motion feature
フレームレート取得部1303は、入力部1301により入力されたフレームレートに関する情報1309から、入力された映像のフレームレート1311を取得し、空間周波数範囲決定部1304へ出力するように構成されている。
The frame
具体的には、フレームレート取得部1303は、上述のフレームレート取得部103と同様の方法で、入力された映像のフレームレート1311を取得するように構成されている。
Specifically, the frame
空間周波数範囲決定部1304は、動き特徴量抽出部1302から入力された動き特徴量1310と、フレームレート取得部1303から入力されたフレームレート1311とを用いて、映像の動きの滑らかさについての評価の対象となる空間周波数範囲を決定し、決定した空間周波数範囲を示す空間周波数範囲情報1312を評価部1305へ出力するように構成されている。
The spatial frequency
図14を参照して、空間周波数範囲決定部1304が空間周波数範囲情報1312を決定する方法について具体的に説明する。
With reference to FIG. 14, the method by which the spatial frequency
図14に示すように、空間周波数範囲決定部1304は、メモリ13041と、ナイキスト境界周波数検出部13042と、動きの滑らかさ境界周波数検出部13043と、空間周波数範囲情報決定部13044とを具備している。
As shown in FIG. 14, the spatial frequency
メモリ13041には、各フレームレートにおけるx方向及びy方向のナイキスト境界線情報と、動きの滑らかさ境界線(動きの滑らかさに関する映像品質境界)情報とが保存されている。
The
かかる各フレームレートにおけるx方向及びy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報は、上述の第1の実施形態における評価部105のメモリ10501内に予め蓄積されているx方向及びy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報と同一である。
The Nyquist boundary line information and the motion smoothness boundary line information in the x direction and the y direction at each frame rate are stored in advance in the memory 10501 of the
ナイキスト境界周波数検出部13042は、動き特徴量抽出部1302から入力された動き特徴量1310と、フレームレート取得部1303から入力されたフレームレート1311とを用いて、動き特徴量1310に対応する「フレームレートfにおけるx方向及びy方向のナイキスト境界線」上の空間周波数をメモリ13041から取得し、ナイキスト境界周波数13045として空間周波数範囲情報決定部13044へ出力するように構成されている。
The Nyquist boundary
すなわち、ナイキスト境界周波数検出部13042は、フレームレートfにおけるx方向の動きの大きさが|MVx|maxである場合、図6に示すように、「フレームレートfにおけるx方向のナイキスト境界線」上の空間周波数μ1をメモリ13041から取得するように構成されている。
That is, when the magnitude of motion in the x direction at the frame rate f is | MVx | max, the Nyquist boundary
また、ナイキスト境界周波数検出部13042は、フレームレートfにおけるy方向の動きの大きさが|MVy|maxである場合、図7に示すように、「フレームレートfにおけるy方向のナイキスト境界線」上の空間周波数ν1をメモリ13041から取得するように構成されている。
Further, when the magnitude of the movement in the y direction at the frame rate f is | MVy | max, the Nyquist boundary
ナイキスト境界周波数検出部13042は、空間周波数μ1及びν1を、ナイキスト境界周波数13045として空間周波数範囲情報決定部13044へ出力するように構成されている。
The Nyquist boundary
動きの滑らかさ境界周波数検出部13043は、動き特徴量抽出部1302から入力された動き特徴量1310と、フレームレート取得部1303から入力されたフレームレート1311とを用いて、動き特徴量1310に対応する「フレームレートfにおけるx方向及びy方向の動きの滑らかさ境界線」上の空間周波数をメモリ13041から取得し、動きの滑らかさ境界周波数13046として空間周波数範囲情報決定部13044へ出力するように構成されている。
The motion smoothness boundary
すなわち、動きの滑らかさ周波数検出部13043は、フレームレートfにおけるx方向の動きの大きさが|MVx|maxである場合、図6に示すように、「フレームレートfにおけるx方向の動きの滑らかさ境界線」上の空間周波数μ0をメモリ13041から取得するように構成されている。
That is, when the magnitude of the motion in the x direction at the frame rate f is | MVx | max, the motion smoothness
また、動きの滑らかさ境界周波数検出部13043は、フレームレートfにおけるy方向の動きの大きさが|MVy|maxである場合、図7に示すように、「フレームレートfにおけるy方向の動きの滑らかさ境界線」上の空間周波数ν0をメモリ13041から取得するように構成されている。
In addition, when the magnitude of the motion in the y direction at the frame rate f is | MVy | max, the smoothness boundary
動きの滑らかさ境界周波数検出部13043は、空間周波数μ0及びν0を、動きの滑らかさ境界周波数13046として空間周波数範囲情報決定部13044へ出力するように構成されている。
The motion smoothness boundary
空間周波数範囲情報決定部13044は、ナイキスト境界周波数検出部13042から入力されたナイキスト境界周波数13045と、動きの滑らかさ境界周波数検出部13043から入力された動きの滑らかさ境界周波数13046とを用いて、空間周波数範囲情報1312を決定し、空間周波数範囲決定部1304の出力として出力するように構成されている。
The spatial frequency range
すなわち、図6に示すように、x方向のナイキスト境界線周波数がμ1であり、x方向の動きの滑らかさ境界線周波数がμ0であった場合、空間周波数範囲情報決定部13044は、x方向の空間周波数範囲情報をμ0≦μ≦μ1と決定する。
That is, as shown in FIG. 6, when the Nyquist boundary line frequency in the x direction is μ1 and the smoothness boundary line frequency in the x direction is μ0, the spatial frequency range
また、図7に示すように、y方向のナイキスト境界線周波数がν1であり、y方向の動きの滑らかさ境界線周波数がν0であった場合、空間周波数範囲情報決定部13044は、y方向の空間周波数範囲情報をν0≦ν≦ν1と決定する。
Also, as shown in FIG. 7, when the Nyquist boundary line frequency in the y direction is ν1 and the smoothness boundary line frequency in the y direction is ν0, the spatial frequency range
評価部1305は、入力部1301により入力されたフレーム画像1308と、空間周波数範囲決定部1304により入力された空間周波数範囲情報1312とに基づいて、入力された前記映像を構成するフレーム画像における空間周波数範囲内の信号強度値を算出し、かかる信号強度値と所定閾値との比較結果に基づいて、当該映像の動きの滑らかさを示す評価値を算出して、評価装置20の出力として評価値1314を出力するように構成されている。
The
図15に示すように、評価部1305は、2次元フーリエ変換部13051と、信号強度値算出部13052と、評価値算出部13053とを具備している。
As illustrated in FIG. 15, the
2次元フーリエ変換部13051は、入力部1301により入力されたフレーム画像1308に対して2次元フーリエ変換処理を施して、各周波数における電力を含む2次元フーリエ画像13054を作成し、信号強度値算出部13052へ出力するように構成されている。
A two-dimensional
信号強度値算出部13052は、2次元フーリエ変換部13051により入力された2次元フーリエ画像13054と、空間周波数範囲決定部1304により入力された空間周波数範囲情報1312とを用いて、信号強度値13055を算出し、評価値算出部13053へ出力するように構成されている。
The signal strength
図16を用いて、信号強度値算出部13052による信号強度値の算出方法について具体的に説明する。
The signal strength value calculation method by the signal strength
図16(a)は、x方向の信号強度値の算出方法を説明するための図であり、図16(b)は、y方向の信号強度値の算出方法を説明するための図である。 FIG. 16A is a diagram for explaining a method for calculating a signal intensity value in the x direction, and FIG. 16B is a diagram for explaining a method for calculating a signal intensity value in the y direction.
第1に、信号強度値算出部13052は、2次元フーリエ画像13054の各周波数成分の電力について、x方向の空間周波数μにおけるν方向の全ての電力を足し合わせることによって、空間周波数μにおける電力の累積値であるμ成分累積値を算出する。
First, the signal intensity
第2に、信号強度値算出部13052は、空間周波数範囲情報1312を用いて、x方向の空間周波数範囲であるμ0≦μ≦μ1におけるμ成分累積値(図16(a)における破線斜線部)を足し合わせることによって、x方向の信号強度値を算出する。
Second, the signal intensity
第3に、信号強度値算出部13052は、2次元フーリエ画像13054の各周波数成分の電力について、y方向の空間周波数νにおけるμ方向の全ての電力を足し合わせすることによって、空間周波数νにおける電力の累積値であるν成分累積値を算出する。
Third, the signal intensity
第4に、信号強度値算出部13052は、空間周波数範囲情報1312を用いて、y方向の空間周波数範囲であるν0≦ν≦ν1においてν成分累積値(図16(b)における実線斜線部)を足し合わせることによって、y方向の信号強度値を算出する。
Fourthly, the signal intensity
第5に、信号強度値算出部13052は、x方向の信号強度とy方向の信号強度とを比較し、大きい方の値を信号強度値13055として評価値算出部13053へ出力する。
Fifth, the signal strength
評価値算出部13053は、信号強度値算出部13052から入力された信号強度値13055と所定閾値との比較結果を、評価値1314を出力するように構成されている。
The evaluation
具体的には、評価値算出部13053は、あるフレーム画像における信号強度値を「S」とし、所定閾値を「T」とする場合、動きの滑らかさの評価値Eを「T−S」により算出するように構成されている。
Specifically, the evaluation
さらに、評価値算出部13053は、全てのフレーム画像における動きの滑らかさを示す評価値Eの平均値を算出し、動きの滑らかさの評価値1314として出力するように構成されている。
Further, the evaluation
(本発明の第2の実施形態に係る映像評価方法)
以下、図17乃至図19を参照して、本実施形態に係る映像評価方法について説明する。
(Video Evaluation Method According to Second Embodiment of the Present Invention)
Hereinafter, the video evaluation method according to the present embodiment will be described with reference to FIGS. 17 to 19.
第1に、図17を参照して、本実施形態に係る映像評価方法の全体動作について説明する。 First, the overall operation of the video evaluation method according to the present embodiment will be described with reference to FIG.
図17に示すように、ステップS1801において、入力部1301が、外部から入力された映像と、当該映像のフレームレートに関する情報を読み込む。
As shown in FIG. 17, in step S1801, the
ステップS1802において、動き特徴量抽出部1302が、当該映像の動き特徴量を抽出する。
In step S1802, the motion feature
ステップS1803において、フレームレート取得部1303が、入力されたフレームレートに関する情報に基づいて、当該映像のフレームレートを取得する。
In step S1803, the frame
ステップS1804において、空間周波数範囲決定部1304が、当該映像の動きの滑らかさを評価する対象となる空間周波数範囲を決定する。
In step S1804, the spatial frequency
ステップS1805において、評価部1305が、当該映像の動きの滑らかさについて評価する。
In step S1805, the
第2に、図18を参照して、空間周波数範囲決定部1304の処理方法について説明する。
Second, the processing method of the spatial frequency
図18に示すように、ステップS1901において、空間周波数範囲決定部1304は、入力された映像の動き特徴量及びフレームレートを読み込む。
As shown in FIG. 18, in step S1901, the spatial frequency
ステップS1902において、ナイキスト境界周波数検出部13042が、当該フレームレートにおける動き特徴量に対応するナイキスト境界周波数を、メモリ13041から検出する。
In step S1902, the Nyquist boundary
ステップS1903において、動きの滑らかさ境界周波数検出部13043が、当該フレームレートにおける当該動き特徴量に対応する動きの滑らかさ境界周波数を、メモリ13041から検出する。
In step S1903, the motion smoothness boundary
ステップS1904において、空間周波数範囲情報決定部13044が、ナイキスト境界周波数と動きの滑らかさ境界周波数との間の空間周波数範囲を示す空間周波数範囲情報として決定する。
In step S1904, the spatial frequency range
第3に、図19を参照して、評価部1305の処理方法について説明する。
Third, the processing method of the
図19に示すように、ステップS2001において、2次元フーリエ変換部13051が、入力されたフレーム画像に対して2次元フーリエ変換処理を施す。
As shown in FIG. 19, in step S2001, the two-dimensional
ステップS20021において、信号強度値算出部13052が、上述の空間周波数範囲内における2次元フーリエ画像の各周波数成分の電力を累積して、電力の累積値を算出する。
In step S20021, the signal intensity
ステップS20022において、信号強度値算出部13052が、空間周波数範囲内における電力の累積値を全て足し合わせることによって信号強度値を算出する。
In step S20022, the signal strength
ここで、ステップ20021とステップ20022をあわせてステップS2002とする。 Here, step S20021 and step S20022 are collectively referred to as step S2002.
ステップS20031において、評価値算出部13053が、算出した信号強度値と所定の閾値との比較結果に基づいて、各フレーム画像における評価値を算出する。
In step S20031, the evaluation
ステップS20032において、評価値算出部13053が、全てのフレーム画像における動きの滑らかさを示す評価値の平均値を算出し、動きの滑らかさを示す評価値として出力する。
In step S20032, the evaluation
ここで、ステップS20321とステップS20322をあわせてステップS2032とする。 Here, step S20321 and step S20322 are combined into step S2032.
(本発明の第2の実施形態に係る映像評価プログラム)
図20を参照して、コンピュータを、上述した本実施形態に係る映像評価装置20として機能させるための映像評価プログラム60について説明する。
(Video evaluation program according to the second embodiment of the present invention)
With reference to FIG. 20, a
図20に示すように、映像評価プログラム60は、処理を統括するメインモジュールプログラム2101と、入力モジュール2102と、動き特徴量抽出モジュール2103と、フレームレート取得モジュール2104と、空間周波数範囲決定モジュール2105と、評価モジュール2106とを備える。
As shown in FIG. 20, the
入力モジュール2102、動き特徴量抽出モジュール2103、フレームレート取得モジュール2104、空間周波数範囲決定モジュール2105及び評価モジュール2106が、コンピュータに行わせる機能は、それぞれ対応の入力部1301、動き特徴量抽出部1302、フレームレート取得部1303、空間周波数範囲決定部1304及び評価部1305の機能と同様である。
The functions that the
なお、映像評価プログラム60は、例えば、CD−ROM、DVD或いはROM等の記憶媒体又は半導体メモリによって提供される。
Note that the
また、映像評価プログラム60は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
The
(本発明の第2の実施形態に係る映像評価装置の作用・効果)
本実施形態に係る映像評価装置20によれば、入力部1301が、外部から入力された映像信号の中から抽出された映像を複数のフレーム画像及びフレームレートに関する情報を出力し、動き特徴量抽出部1302が、入力されたフレーム画像に基づいて当該映像の動き特徴量を抽出し、フレームレート取得部1303が、入力されたフレームレートに関する情報に基づいて当該映像のフレームレートを取得し、空間周波数範囲決定部1304が、当該映像の動きの滑らかさを評価する対象となる空間周波数範囲を決定し、評価部1305が、フレーム画像における当該空間周波数範囲内の信号強度値を算出し、かかる信号強度値と所定の閾値とを比較することによって、当該映像の動きに関する品質を評価するので、当該映像のフレームレートと当該映像の動き特徴量と空間周波数情報とに応じた、より高い精度の動きの滑らかさについて評価を行うことができる。
(Operation / Effect of Video Evaluation Apparatus According to Second Embodiment of the Present Invention)
According to the video evaluation apparatus 20 according to the present embodiment, the
また、本実施形態に係る映像評価装置20によれば、空間周波数範囲決定部1304が、映像の動きを正しく表示できる境界であるナイキスト境界線と、当該映像の動きに関する品質が一定以上に保たれる境界である動きの滑らかさ境界線を用いて、当該映像の評価の対象となる空間周波数範囲を決定するので、当該映像の動きの滑らかさに関係する空間周波数の範囲に着目した評価を行うことができる。
In addition, according to the video evaluation device 20 according to the present embodiment, the spatial frequency
(変更例2)
なお、映像信号1306は、複数のフレーム画像により構成される映像や、当該映像のフレームレートに関する情報の他に、当該映像の動きに関する情報を含む信号であってもよい。
(Modification 2)
Note that the
かかる場合、動き特徴量抽出部1302は、入力部1301により入力された当該映像の動きに関する情報から、直接、動き特徴量を算出して空間周波数範囲決定部1304へ出力するように構成されていてもよい。
In such a case, the motion feature
また、動き特徴量抽出部1302は、必ずしも、8画素x8画素のブロック単位で、動きベクトルの検出を行うように構成されている必要はなく、任意の大きさのブロック単位で、動きベクトルの検出を行うように構成されていてもよい。
The motion feature
また、動き特徴量抽出部1302は、必ずしも、ブロック単位で、動きベクトルの検出を行うように構成されている必要はない。
Further, the motion feature
例えば、動き特徴量抽出部1302は、フレーム画像全体で、動き探索を行って、フレーム画像ごとに、1つの動きベクトルを検出するように構成されていてもよい。
For example, the motion feature
また、動き特徴量抽出部1302は、フレーム画像内の1画素ごとに、動きベクトルを検出するように構成されていてもよい。
The motion feature
また、動き特徴量抽出部1302は、フレーム画像を、当該フレーム画像内のオブジェクト領域ごとに分割し、オブジェクト領域ごとに、動きベクトルを検出するように構成されていてもよい。
Further, the motion feature
また、動き特徴量抽出部1302は、動き探索の方法として、必ずしもブロックマッチングを用いる必要はなく、濃度勾配法やその他のあらゆる映像の動きの変位量を検出する方法を用いることができる。
In addition, the motion feature
また、動き特徴量抽出部1302によって出力される動き特徴量は、各フレーム画像の各ブロックのx方向及びy方向の動きベクトルの大きさの最大値には限らず、平均値、中間値、最小値又は最頻値であってもよい。
In addition, the motion feature amount output by the motion feature
また、動き特徴量抽出部1302によって出力される動き特徴量は、各フレーム画像単位で検出された1つの動きベクトルのx方向及びy方向の大きさであってもよい。
Further, the motion feature amount output by the motion feature
また、動き特徴量抽出部1302によって出力される動き特徴量は、各フレーム画像を、当該フレーム画像内のオブジェクト領域ごとに分割し、オブジェクト領域ごとに検出した動きベクトルのx方向及びy方向の大きさの最大値、平均値、中間値、最小値又は最頻値であってもよい。
In addition, the motion feature amount output by the motion feature
また、動き特徴量抽出部1302によって出力される動き特徴量は、必ずしも、フレーム画像単位で、x方向及びy方向にそれぞれ1つである必要はなく、ブロック単位又はオブジェクト単位で、x方向及びy方向にそれぞれ1つであってもよい。
Further, the motion feature amount output by the motion feature
かかる場合、空間周波数範囲決定部1304によって出力される空間周波数範囲情報は、それぞれ、各フレーム画像のブロックごとに決定した空間周波数範囲情報であってもよいし、各フレーム画像を当該フレーム画像内のオブジェクト領域に分割し、オブジェクト領域ごとに決定した空間周波数範囲情報であってもよい。
In such a case, the spatial frequency range information output by the spatial frequency
さらに、かかる場合、評価部1305によって算出されるx方向及びy方向の信号強度値は、それぞれ、ブロック単位又はオブジェクト単位ごとに1つであってもよい。
Further, in this case, the signal intensity value in the x direction and the y direction calculated by the
かかる場合、評価部1305は、あるフレーム画像におけるブロック単位又はオブジェクト単位ごとに1つ算出されたx方向及びy方向の信号強度値の中での最大の信号強度値を、当該フレーム画像における信号強度値としてもよい。
In such a case, the
また、動き特徴量抽出部1302によって出力される動き特徴量は、必ずしも、x方向及びy方向でそれぞれ1つである必要はなく、任意の直交する2つの方向にそれぞれ1つであってもよい。
Further, the motion feature amount output by the motion feature
かかる場合、空間周波数範囲決定部1304によって出力される空間周波数範囲情報は、必ずしも、x方向及びy方向である必要はなく、動き特徴量抽出部1302で動き特徴量を抽出した任意の直交する2つの方向について決定した空間周波数範囲情報であってもよい。
In such a case, the spatial frequency range information output by the spatial frequency
また、かかる場合、評価部1305によって算出される信号強度値は、必ずしも、x方向及びy方向である必要はなく、動き特徴量抽出部1302で動き特徴量を抽出した任意の直交する2つの方向について算出してもよい。
In such a case, the signal intensity values calculated by the
また、空間周波数範囲決定部1304によってメモリ内に予め蓄積されているx方向及びy方向のナイキスト境界線情報及び動きの滑らかさ境界線情報を取得する方法は、ルックアップテーブルを参照する方法であってもよいし、ナイキスト境界線情報及び動きの滑らかさ境界線情報を表す数式を保持しておき、その数式から導き出してもよい。
The method of acquiring the Nyquist boundary line information and the motion smoothness boundary line information in the x direction and the y direction stored in advance in the memory by the spatial frequency
また、評価部1305によって算出される信号強度値は、必ずしも、2次元フーリエ画像を用いて算出する必要はなく、フレーム画像の各周波数における電力量を算出するあらゆる方法を用いることができる。
In addition, the signal intensity value calculated by the
また、評価部1305によって算出される信号強度値は、必ずしも、x方向の信号強度値及びy方向の信号強度値のうちの大きい方の値である必要はなく、x方向の信号強度値とy方向の信号強度値との和又は平均値、或いは、x方向の信号強度値及びy方向の信号強度値のうちの小さい方の値であってもよい。
Further, the signal strength value calculated by the
また、評価部1305によって算出される各フレーム画像の動きの滑らかさを示す評価値Eは、必ずしも、信号強度値Sと所定閾値Tとを用いて、「S−T」により算出しなくてもよい。
Further, the evaluation value E indicating the smoothness of the motion of each frame image calculated by the
評価部1305によって算出される各フレーム画像における動きの滑らかさを示す評価値Eは、信号強度値Sが大きくなるほど、当該評価値Eが小さくなるあらゆる関数を用いてもよい。
As the evaluation value E indicating the smoothness of motion in each frame image calculated by the
また、評価部1305によって算出される各フレーム画像の動きの滑らかさの評価値Eは、信号強度値Sと所定閾値Tとを比較し、その大小関係によって一定値に決定してもよい。
Further, the evaluation value E of the smoothness of motion of each frame image calculated by the
また、評価部1305によって出力される評価値は、入力された映像信号に含まれる全てのフレーム画像における動きの滑らかさを示す評価値Eの平均値には限らず、入力された映像信号に含まれる全てのフレーム画像における動きの滑らかさを示す評価値Eの最大値、中間値、最小値又は最頻値であってもよい。
The evaluation value output by the
また、評価部1305によって出力される評価値は、必ずしも、入力された映像信号に含まれる全てのフレーム画像を通して1つの評価値である必要はなく、何枚かのフレーム画像、1枚ごとのフレーム画像、各フレーム画像のブロック単位又は各フレーム画像のオブジェクト単位に、1つの評価値であってもよい。
Further, the evaluation value output by the
(本発明の第3の実施形態に係る映像フレームレート決定装置)
図21を参照して、本発明の第3の実施形態に係る映像フレームレート決定装置220について説明する。
(Video frame rate determination device according to the third embodiment of the present invention)
With reference to FIG. 21, a video frame rate determining apparatus 220 according to a third embodiment of the present invention will be described.
本実施形態に係る映像フレームレート決定装置220は、物理的には、CPU(中央処理装置)や、メモリといった記憶装置や、通信装置等を備えるコンピュータにより実現されていてもよい。 The video frame rate determination device 220 according to the present embodiment may be physically realized by a computer including a CPU (Central Processing Unit), a storage device such as a memory, a communication device, and the like.
また、映像フレームレート決定装置220は、携帯電話といった移動体通信端末により実現されていてもよい。すなわち、映像フレームレート決定装置220には、情報処理可能な装置が広く適用され得る。 Further, the video frame rate determination device 220 may be realized by a mobile communication terminal such as a mobile phone. That is, a device capable of information processing can be widely applied to the video frame rate determination device 220.
図21に示すように、映像フレームレート決定装置220は、機能的に、蓄積部2201と、フレームレート発生部2202と、映像信号生成部2203と、映像信号評価部2204と、フレームレート決定部2205とを備えている。
As shown in FIG. 21, the video frame rate determination device 220 functionally includes a
なお、映像フレームレート決定装置220は、複数のフレーム画像2208により構成される映像2206のフレームレート2211を決定するように構成されている。
Note that the video frame rate determination device 220 is configured to determine the
蓄積部2201は、フレームレート2211を決定すべき対象である映像2206を取得して蓄積するように構成されている。
The
また、蓄積部2201は、フレームレート発生部2202から入力されるフレームレート2207に応じて、蓄積されている映像2206を構成する複数のフレーム画像2208を抽出して、映像信号生成部2203へ出力するように構成されている。
Further, the
フレームレート発生部2202は、動きの滑らかさについて評価するための対象である第1のフレームレート2207を発生し、蓄積部2201と映像信号生成部2203とフレームレート決定部2205とに出力するように構成されている。
The frame
映像信号生成部2203は、蓄積部2201から入力されたフレーム画像2208(蓄積部2201に蓄積されている映像2206)と、フレームレート発生部2202から入力されたフレームレート2207とを含む映像信号2209を生成して、映像信号評価部2204に出力するように構成されている。
The video
映像信号評価部2204は、映像信号生成部2203から入力された映像信号2209を用いて、当該映像信号2209に含まれている映像の動きの滑らかさについて評価することによって、上述の評価値2210を算出してフレームレート決定部2205へ出力するように構成されている。
The video
なお、映像信号評価部2204は、上述の第1の実施形態に係る映像評価装置10又は第2の実施形態に係る映像評価装置20の機能と同一の機能を有しているものとする。
Note that the video
フレームレート決定部2205は、フレームレート発生部2202から入力されたフレームレート2207と、映像信号評価部2204から入力された評価値2210とを用いて、上述の映像に対する処理を行う第2のフレームレートであるフレームレート2211を決定して出力するように構成されている。
The frame
具体的には、フレームレート決定部2205は、フレームレート発生部2202から入力されたフレームレート2207と、映像信号評価部2204から入力された評価値2210とある一定値との関係とを用いて、第2のフレームレート2211を決定するように構成されている。
Specifically, the frame
フレームレート決定部2205は、映像信号評価部2204から入力された評価値2210が、ある一定値より大きくなる場合は、第2のフレームレート2211を、第1のフレームレート2207とある一定値との差に比例して小さくして出力する。
When the
また、フレームレート決定部2205は、映像信号評価部2204から入力された評価値2210が、ある一定値より小さくなる場合は、第2のフレームレート2211を、第1のフレームレート2207とある一定値との差に比例して大きくして出力する。
In addition, when the
また、本実施形態に係る映像フレームレート決定装置220において、フレームレート発生部2202が、多様な値の第1のフレームレート2207を発生し、映像信号評価部2204において算出した評価値2210が、上述のある一定値と一致した場合、フレームレート決定部2205が、第2のフレームレート2211として、第1のフレームレート2207と同一のフレームレートを出力するようにしてもよい。
Further, in the video frame rate determination device 220 according to the present embodiment, the frame
なお、フレームレート決定部2205における比較に用いられる上述のある一定値は、予め決定されておいてもよいし、外部から与えられてもよい。
Note that the certain value described above used for comparison in the frame
また、フレームレート発生部2202により発生される第1のフレームレート2207は、予め決定されておいてもよいし、外部から与えられてもよい。
Further, the
また、フレームレート発生部2202は、予め決定されておいた複数のフレームレートの中から、1つ以上のフレームレートを選択して発生するように構成されていてもよい。
The frame
(本発明の第3の実施形態に係る映像フレームレート決定方法)
図22を参照して、本実施形態に係る映像フレームレート決定方法について説明する。
(Video frame rate determination method according to the third embodiment of the present invention)
With reference to FIG. 22, the video frame rate determination method according to the present embodiment will be described.
図22に示すように、ステップS2301において、フレームレート発生部2102が、第1のフレームレートを発生する。
As shown in FIG. 22, in step S2301, the
ステップS2302において、蓄積部2201が、かかる第1のフレームレートで、蓄積されているフレーム画像を抽出する。
In step S2302, the
ステップS2303において、映像信号生成部2203が、蓄積部2201から抽出した複数のフレーム画像を用いて映像を生成し、生成した映像及び当該映像の滑らかさを評価するための第1のフレームレートを含む映像信号を生成する。
In step S2303, the video
ステップS2304において、映像信号評価部2204が、かかる映像信号に含まれる映像の動きの滑らかさについて評価する。
In step S2304, the video
ステップS2305において、フレームレート決定部2205が、フレームレート発生部2202から入力された第1のフレームレートと、映像信号評価部2204から入力された評価値Eとを用いて、当該映像に対する処理を行う第2のフレームレートを決定する。
In step S2305, the frame
(本発明の第3の実施形態に係る映像フレームレート決定プログラム)
図23を参照して、コンピュータを、上述の第3の実施形態に係る映像フレームレート決定装置220として機能させるための映像フレームレート決定プログラム240について説明する。
(Video frame rate determination program according to the third embodiment of the present invention)
With reference to FIG. 23, a video frame
図24に示すように、映像フレームレート決定プログラム240は、処理を統括するメインモジュールプログラム2401と、蓄積モジュール2402と、フレームレート発生モジュール2403と、映像信号生成モジュール2404と、映像信号評価モジュール2405と、フレームレート決定モジュール2406とを備える。
As shown in FIG. 24, the video frame
蓄積モジュール2402、フレームレート発生モジュール2403、映像信号生成モジュール2404、映像信号評価モジュール2405及びフレームレート決定モジュール2406が、コンピュータに行わせる機能は、それぞれ対応する蓄積部2201、フレームレート発生部2202、映像信号生成部2203、映像信号評価部2204及びフレームレート決定部2205の機能と同様である。
The functions that the
なお、映像フレームレート決定プログラム240は、例えば、CD−ROMやDVD或いはROM等の記憶媒体又は半導体メモリによって提供される。
The video frame
また、映像フレームレート決定プログラム240は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
The video frame
(本発明の第3の実施形態に係る映像フレームレート決定装置の作用・効果)
本実施形態に係る映像フレームレート決定装置22によれば、映像信号評価部2204が、フレームレート発生部2202により発生された第1のフレームレートにおける映像の滑らかさについて評価し、第2のフレームレート2211を決定するため、映像の動きの滑らかさを示す評価値を用いて、当該映像の動きの滑らかさがある一定値(評価値)となるように、当該映像のフレームレートを決定することができる。
(Operation / Effect of Video Frame Rate Determination Device According to Third Embodiment of the Present Invention)
According to the video frame rate determination device 22 according to the present embodiment, the video
10、20…映像評価装置
101、1301…入力部
102、1302…動き特徴量抽出部
103、1303…フレームレート取得部
104…空間周波数分析部
1041、13051…2次元フーリエ変換部
1042…累積値算出部
1304…空間周波数範囲決定部
13042…ナイキスト境界周波数検出部
13043…動きの滑らかさ境界周波数検出部
13044…周波数範囲情報決定部
105、1305…評価部
10501、13041…メモリ
10502…μ方向空間周波数範囲決定部
10503…x方向動きの滑らかさ値算出部
10504…ν方向空間周波数範囲決定部
10505…y方向動きの滑らかさ値算出部
10506、13053…評価値算出部
13052…信号強度値算出部
220…映像フレームレート決定装置
2201…蓄積部
2202…フレームレート発生部
2203…映像信号生成部
2204…映像信号評価部
2205…フレームレート決定部
50、60…映像評価プログラム
1201、2101、2401…メインモジュール
1202、2102…入力モジュール
1203、2103…動き特徴量抽出モジュール
1204、2104…フレームレート取得モジュール
1205…空間周波数分析モジュール
1206、2106…評価モジュール
2105…空間周波数範囲決定モジュール
240…映像フレームレート決定プログラム
2402…蓄積モジュール
2403…フレームレート発生モジュール
2404…映像信号生成モジュール
2405…映像信号評価モジュール
2406…フレームレート決定モジュール
DESCRIPTION OF SYMBOLS 10, 20 ...
Claims (10)
入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する動き特徴量抽出部と、
入力された前記映像のフレームレートを取得するフレームレート取得部と、
入力された前記映像を構成するフレーム画像における空間周波数を分析する空間周波数分析部と、
抽出された前記動き特徴量と、取得された前記フレームレートと、前記空間周波数の分析結果とを用いて、前記映像の動きの滑らかさを示す評価値を算出する評価部とを具備することを特徴とする映像評価装置。 A video evaluation device for evaluating the smoothness of movement of a video composed of a plurality of frame images,
A motion feature amount extraction unit that extracts a motion feature amount of the video based on the input frame image constituting the video;
A frame rate acquisition unit for acquiring a frame rate of the input video;
A spatial frequency analysis unit for analyzing a spatial frequency in a frame image constituting the input video;
An evaluation unit that calculates an evaluation value indicating the smoothness of the motion of the video using the extracted motion feature amount, the acquired frame rate, and the analysis result of the spatial frequency. Characteristic video evaluation device.
入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する動き特徴量抽出部と、
入力された前記映像のフレームレートを取得するフレームレート取得部と、
抽出された前記動き特徴量と、取得された前記フレームレートとを用いて、前記映像の評価の対象となる空間周波数範囲を決定する空間周波数範囲決定部と、
入力された前記映像を構成するフレーム画像における前記空間周波数範囲内の信号強度値と所定閾値との比較結果に基づいて、前記映像の動きの滑らかさを示す評価値を算出する評価部とを具備することを特徴とする映像評価装置。 A video evaluation device for evaluating the smoothness of movement of a video composed of a plurality of frame images,
A motion feature amount extraction unit that extracts a motion feature amount of the video based on the input frame image constituting the video;
A frame rate acquisition unit for acquiring a frame rate of the input video;
A spatial frequency range determining unit that determines a spatial frequency range to be evaluated for the video, using the extracted motion feature amount and the acquired frame rate;
An evaluation unit that calculates an evaluation value indicating the smoothness of the movement of the video based on a comparison result between a signal intensity value within the spatial frequency range in the frame image constituting the input video and a predetermined threshold value; A video evaluation apparatus characterized by:
前記映像を蓄積する蓄積部と、
前記映像の第1のフレームレートを発生するフレームレート発生部と、
前記蓄積部に蓄積されている前記映像と、前記フレームレート発生部により発生された前記第1のフレームレートとを含む映像信号を生成する映像信号生成部と、
前記映像評価装置により算出された前記評価値を用いて、前記映像の第2のフレームレートを決定するフレームレート決定部とを具備することを特徴とする映像フレームレート決定装置。 A video frame rate determination device comprising the video evaluation device according to any one of claims 1 to 3, wherein the video frame rate determination device determines a frame rate of a video composed of a plurality of frame images.
A storage unit for storing the video;
A frame rate generator for generating a first frame rate of the video;
A video signal generation unit that generates a video signal including the video stored in the storage unit and the first frame rate generated by the frame rate generation unit;
A video frame rate determination device comprising: a frame rate determination unit that determines a second frame rate of the video using the evaluation value calculated by the video evaluation device.
入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する工程と、
入力された前記映像のフレームレートを取得する工程と、
入力された前記映像を構成するフレーム画像における空間周波数を分析する工程と、
抽出された前記動き特徴量と、取得された前記フレームレートと、前記空間周波数の分析結果とを用いて、前記映像の動きの滑らかさを示す評価値を算出する工程とを有することを特徴とする映像評価方法。 A video evaluation method for evaluating the smoothness of movement of a video composed of a plurality of frame images,
Extracting a motion feature amount of the video based on the input frame image constituting the video;
Obtaining a frame rate of the input video;
Analyzing a spatial frequency in a frame image constituting the inputted video;
Using the extracted motion feature quantity, the acquired frame rate, and the spatial frequency analysis result to calculate an evaluation value indicating the smoothness of the motion of the video, Video evaluation method.
入力された前記映像を構成するフレーム画像に基づいて、該映像の動き特徴量を抽出する工程と、
入力された前記映像のフレームレートを取得する工程と、
抽出された前記動き特徴量と、取得された前記フレームレートとを用いて、前記映像の評価の対象となる空間周波数範囲を決定する工程と、
入力された前記映像を構成するフレーム画像における前記空間周波数範囲内の信号強度値と所定閾値との比較結果に基づいて、前記映像の動きの滑らかさを示す評価値を算出する工程とを有することを特徴とする映像評価方法。 A video evaluation method for evaluating the smoothness of movement of a video composed of a plurality of frame images,
Extracting a motion feature amount of the video based on the input frame image constituting the video;
Obtaining a frame rate of the input video;
Determining a spatial frequency range to be evaluated for the video, using the extracted motion feature amount and the acquired frame rate;
Calculating an evaluation value indicating the smoothness of the motion of the video based on a comparison result between a signal intensity value within the spatial frequency range in the frame image constituting the video and the predetermined threshold value. A video evaluation method characterized by
前記映像の第1のフレームレートを発生する工程と、
蓄積部に蓄積されている前記映像と、前記フレームレートを発生する工程において発生された前記第1のフレームレートとを含む映像信号を生成する工程と、
前記映像評価方法により算出された前記評価値を用いて、前記映像の第2のフレームレートを決定する工程とを有することを特徴とする映像フレームレート決定方法。 A video frame rate determination method for determining a frame rate of a video composed of a plurality of frame images, comprising the video evaluation method according to any one of claims 5 to 7.
Generating a first frame rate of the video;
Generating a video signal including the video stored in the storage unit and the first frame rate generated in the step of generating the frame rate;
And a step of determining a second frame rate of the video using the evaluation value calculated by the video evaluation method.
請求項1乃至3のいずれか一項に記載の映像評価装置として機能させることを特徴とする映像評価プログラム。 Computer
A video evaluation program that causes the video evaluation apparatus according to any one of claims 1 to 3 to function.
請求項4に記載の映像フレームレート決定装置として機能させることを特徴とする映像フレームレート決定プログラム。 Computer
5. A video frame rate determination program that functions as the video frame rate determination device according to claim 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006251779A JP2008072665A (en) | 2006-09-15 | 2006-09-15 | Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006251779A JP2008072665A (en) | 2006-09-15 | 2006-09-15 | Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008072665A true JP2008072665A (en) | 2008-03-27 |
Family
ID=39293811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006251779A Pending JP2008072665A (en) | 2006-09-15 | 2006-09-15 | Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008072665A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471954B2 (en) | 2009-05-22 | 2013-06-25 | Sanyo Electric Co., Ltd. | Electronic camera |
US8913788B2 (en) | 2011-06-23 | 2014-12-16 | Canon Kabushiki Kaisha | Apparatus, method and program for determining the smoothness of motion in video data |
JP2015176488A (en) * | 2014-03-17 | 2015-10-05 | キヤノン株式会社 | Information processing device and control method thereof, and program |
US10051274B2 (en) | 2013-10-25 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing apparatus, method of calculating information according to motion of frame, and storage medium |
-
2006
- 2006-09-15 JP JP2006251779A patent/JP2008072665A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471954B2 (en) | 2009-05-22 | 2013-06-25 | Sanyo Electric Co., Ltd. | Electronic camera |
US8913788B2 (en) | 2011-06-23 | 2014-12-16 | Canon Kabushiki Kaisha | Apparatus, method and program for determining the smoothness of motion in video data |
US10051274B2 (en) | 2013-10-25 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing apparatus, method of calculating information according to motion of frame, and storage medium |
JP2015176488A (en) * | 2014-03-17 | 2015-10-05 | キヤノン株式会社 | Information processing device and control method thereof, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6335504B2 (en) | Image processing apparatus, image processing method, and program | |
WO2005084036A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and computer program | |
JP5445467B2 (en) | Credit information section detection method, credit information section detection device, and credit information section detection program | |
US8401318B2 (en) | Motion vector detecting apparatus, motion vector detecting method, and program | |
JP2005229600A (en) | Motion compensation interpolating method by motion estimation of superposed block base and frame rate conversion device applying the same | |
JP5163429B2 (en) | Motion vector detection apparatus, processing method thereof, and program | |
KR20180037042A (en) | A motion vector field coding method and a decoding method, and a coding and decoding apparatus | |
JP2008011158A (en) | Method and device for motion vector search | |
CN111246212B (en) | Geometric partitioning mode prediction method and device based on encoding and decoding end, storage medium and terminal | |
JP2010148037A (en) | Moving image playback apparatus, moving image playback method and moving image playback program | |
US20100080299A1 (en) | Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus | |
KR20110086826A (en) | Method, apparatus and software for determining motion vectors | |
KR101932916B1 (en) | Motion estimation system and method thereof, display controller comprising the system, and electronic device comprsing the controller | |
JP5979145B2 (en) | Video area detector | |
JP2008072665A (en) | Video evaluation device, video frame rate determination apparatus, video evaluation method, video frame rate determination method, video evaluation program, and video frame rate determination program | |
Duarte et al. | Fast affine motion estimation for vvc using machine-learning-based early search termination | |
JP4617883B2 (en) | Image processing apparatus and method, program, and recording medium | |
US9420306B2 (en) | Estimating method of predicted motion vector | |
JP2009212605A (en) | Information processing method, information processor, and program | |
JP2010114596A (en) | Motion vector detection apparatus, motion vector processing method and program | |
JP4622264B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4622265B2 (en) | Motion vector detection device, motion vector detection method, and program | |
US9076228B2 (en) | Image processing device, image processing method, and image processing system | |
JP5683153B2 (en) | Image processing apparatus and image processing method | |
JP2008098796A (en) | Video encoding method, video encoding device, video encoding program, and recording medium thereof |