JP7315821B2 - Image generation device, image generation method, and program - Google Patents
Image generation device, image generation method, and program Download PDFInfo
- Publication number
- JP7315821B2 JP7315821B2 JP2019069989A JP2019069989A JP7315821B2 JP 7315821 B2 JP7315821 B2 JP 7315821B2 JP 2019069989 A JP2019069989 A JP 2019069989A JP 2019069989 A JP2019069989 A JP 2019069989A JP 7315821 B2 JP7315821 B2 JP 7315821B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- time
- region
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像生成装置、画像生成方法、及びプログラムに関する。 The present invention relates to an image generation device, an image generation method, and a program.
映像符号化国際規格によって規定されたH.264/AVC(Advanced Video Coding)及びH.265/HEVC(High Efficiency Video Coding)等の通信方式は、「長時間参照フレーム」という機構を有している。これは、例えばテレビ会議等の映像内の背景部分のように変化しない領域の画像や、回転物のように特定周期で同じ絵柄が現れるような映像の特定フレームをフレームメモリに長時間格納して、符号化時及び復号時に参照し続けることができるようにする機構である。また、符号化や参照はされるが表示はされない画像(以下、「追加画像」という。)を生成し、当該追加画像を用いて入力映像の符号化及び復号を行う機構も存在する。従来、この長時間参照フレームの機構と追加画像の機構を用いることによって、符号化効率を向上させるとともに、伝送路誤りに対してより頑健な符号化を実現する技術がある。例えば、特許文献1に記載の映像符号化装置は、連続する複数の符号化対象画像における同位置の画素の画素値について平均値又はメディアン値等を算出することによって追加画像(背景画像)を生成する。 H.264 defined by the International Video Coding Standard. 264/AVC (Advanced Video Coding) and H.264/AVC. A communication system such as H.265/HEVC (High Efficiency Video Coding) has a mechanism called "long-term reference frame". For example, an image of an area that does not change, such as a background portion in a video of a video conference, or a specific frame of a video in which the same pattern appears at a specific cycle, such as a rotating object, is stored in a frame memory for a long period of time. , is a mechanism that allows continued reference during encoding and decoding. There is also a mechanism that generates an image that is coded and referenced but not displayed (hereinafter referred to as an "additional image") and uses the additional image to encode and decode the input video. Conventionally, there is a technology that uses the long-time reference frame mechanism and the additional image mechanism to improve coding efficiency and realize coding that is more robust against transmission path errors. For example, the video encoding device described in Patent Document 1 generates an additional image (background image) by calculating the average value or median value of pixel values of pixels at the same position in a plurality of consecutive encoding target images. do.
特許文献1に記載の映像符号化装置のように、複数の符号化対象画像における同位置の画素の画素値を用いて追加画像(背景画像)を生成する従来の符号化は、例えば上記のテレビ会議等のように、変化しない背景と短時間に大きく変化する前景との差が顕著な映像を符号化する場合において有効である。しかしながら、このような従来の符号化では、例えば揺らぐ水面を通して見える水底の映像等のように、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化した場合に、動き補償予測の予測精度が低下することがある。これにより、符号量の増大や復号画像の画質の低下が生じるという課題があった。 Conventional encoding that generates an additional image (background image) using pixel values of pixels at the same position in a plurality of encoding target images, such as the video encoding device described in Patent Document 1, is used in the above-described television, for example. This is effective in encoding video where there is a significant difference between a background that does not change and a foreground that changes greatly in a short period of time, such as in a conference. However, in such conventional encoding, when encoding an image including non-linear motion, irregular motion, or slow and fast motion, such as an image of the bottom of the water that can be seen through a swaying water surface, motion compensation is required. The prediction accuracy of the prediction may be reduced. As a result, there is a problem that the amount of code increases and the image quality of the decoded image deteriorates.
本発明は、上記のような技術的背景に鑑みてなされたものであり、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化する場合であっても、符号量の増大や画質の低下を抑えることができる追加画像を生成することができる技術を提供することを目的とする。 The present invention has been made in view of the above technical background. It is an object of the present invention to provide a technology capable of generating an additional image that can suppress the increase and the deterioration of image quality.
本発明の一態様は、第1の被写体の性質に起因して第2の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部を備える画像生成装置である。 One aspect of the present invention is for encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to the properties of the first subject. An image generating apparatus for generating a reference image to be processed, wherein the reference image is generated in which a change in the image based on the property of the first subject is suppressed and an apparent deformation of the second subject is suppressed. An image generation device including a reference image generation unit.
また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記時系列フレーム群を構成する第1のフレームの一部領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの一部領域を前記参照画像の第2の領域とするように前記参照画像を生成する。 Further, according to one aspect of the present invention, there is provided the image generation device described above, wherein the reference image generation unit converts a partial region of a first frame that constitutes the time-series frame group into a first region of the reference image. and the reference image is generated such that a partial area of a second frame constituting the time-series frame group is set as a second area of the reference image.
また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記第2のフレームの一部領域を前記第2の領域とした後、前記時系列フレーム群を構成する第3のフレームの一部領域を前記第2の領域とする場合、前記第2のフレームの一部領域と前記第3のフレームの一部領域とのメディアンとなる画像を前記第2の領域とする。 Further, according to one aspect of the present invention, in the image generation device described above, the reference image generation unit sets the partial region of the second frame as the second region, and then converts the time-series frame group into When the partial area of the constituting third frame is used as the second area, the image that is the median between the partial area of the second frame and the partial area of the third frame is the second area. area.
また、本発明の一態様は、上記の画像生成装置であって、前記時系列フレーム群を用いて得られた暫定的な参照画像である暫定参照画像を取得する暫定参照画像取得部をさらに備え、前記参照画像生成部は、前記第1の領域の位置を、前記第1のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置とし、前記第2の領域の位置を、前記第2のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置として、前記参照画像を生成する。 Further, according to one aspect of the present invention, the image generation device described above further includes a provisional reference image obtaining unit that obtains a provisional reference image, which is a provisional reference image obtained using the time-series frame group. , the reference image generation unit sets the position of the first region to the same position as the reference position in the provisional reference image in the prediction targeting the partial region of the first frame, and the second The reference image is generated by setting the position of the area of (1) to the same position as the reference position in the temporary reference image in the prediction targeting the partial area of the second frame.
また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部によって生成された前記参照画像は、前記時系列フレーム群を符号化する映像符号化装置によって符号化される画像であって、かつ、前記映像符号化装置に対応する映像復号装置によって復号される映像において表示されない画像である。 Further, one aspect of the present invention is the image generation device described above, wherein the reference image generated by the reference image generation unit is encoded by a video encoding device that encodes the time-series frame group. An image that is not displayed in a video decoded by a video decoding device corresponding to the video encoding device.
また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記時系列フレーム群を構成するフレームにおいて予測された位置が整数位置である場合、前記参照画像の対応する領域の画素に対して第1の重みを加え、前記時系列フレーム群を構成するフレームにおいて予測された位置が非整数位置を含む場合、原画像の画素値に基づいて前記非整数位置の画素の画素値を生成し、生成された前記画素値を、前記参照画像の対応する領域の複数の画素の画素値とし、更に前記参照画像の対応する領域の複数の画素に対してそれぞれ第2の重みを加え、かつ、前記複数の画素に対して与えられた前記第2の重みの和が前記第1の重みと等しくなるようにする。 Further, according to one aspect of the present invention, in the image generation device described above, the reference image generation unit generates the reference image when the predicted position in the frames constituting the time-series frame group is an integer position. A first weight is added to pixels in the corresponding region, and if the predicted positions in the frames constituting the time-series frame group include non-integer positions, the non-integer positions are calculated based on the pixel values of the original image. generating pixel values of pixels; using the generated pixel values as pixel values of a plurality of pixels in a corresponding region of the reference image; and the sum of the second weights given to the plurality of pixels is made equal to the first weight.
また、本発明の一態様は、上記の画像生成装置であって、不可視の物体の性質に起因して被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、前記不可視の物体の性質に基づく画像の変化が抑制され、前記被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部を備える。 Another aspect of the present invention is the above-described image generating apparatus, wherein the time-series frame group is a set of frames captured such that the subject appears to be temporally deformed due to the properties of the invisible object. wherein a change in the image based on the property of the invisible object is suppressed, and the apparent deformation of the object is suppressed in the reference image and a reference image generation unit that generates the
また、本発明の一態様は、第1の被写体の性質に起因して第2の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成方法であって、前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成ステップを有する画像生成方法である。 Further, one aspect of the present invention is a case of encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to a property of the first subject. wherein a change in the image based on the property of the first subject is suppressed, and the reference image in which apparent deformation of the second subject is suppressed. An image generating method having a reference image generating step for generating a reference image.
また、本発明の一態様は上記の画像生成装置としてコンピュータを機能させるためのプログラムである。 Another aspect of the present invention is a program for causing a computer to function as the image generation device.
本発明により、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化する場合であっても、符号量の増大や画質の低下を抑えることができる追加画像を生成することができる。 To generate an additional image capable of suppressing an increase in code amount and deterioration in image quality even when encoding video including non-linear motion, irregular motion, or slow and fast motion, according to the present invention. can be done.
以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。はじめに、例えばH.265/HEVCやH.264/AVC等の一般的な映像符号化装置の構成について説明する。 A video encoding device according to an embodiment of the present invention will be described below with reference to the drawings. First, see, for example, H. 265/HEVC and H.265/HEVC. The configuration of a general video encoding device such as H.264/AVC will be described.
図1は、一般的な映像符号化装置の機能構成を示すブロック図である。図1に示すように、一般的な映像符号化装置(以下、単に「映像符号化装置」という。)は、符号化対象の映像信号100(原信号)を入力として、当該映像信号100を、例えばn×n画素のブロックに分割する。そして、映像符号化装置は、予測と直交変換といった処理を通してブロック単位で符号化を行う。映像符号化装置は、当該符号化によって生成された符号化データ106(「0」と「1」の二値信号列であるビットストリーム)を出力する。
FIG. 1 is a block diagram showing the functional configuration of a typical video encoding device. As shown in FIG. 1, a general video encoding device (hereinafter simply referred to as a "video encoding device") receives a
図1に示すように、映像符号化装置は、減算部102と、変換部103と、量子化部104と、エントロピー符号化部105と、逆量子化部107と、逆変換部108と、加算部109と、歪除去フィルタ110と、フレームメモリ111と、画面内予測部112と、画面間予測部113と、を含んで構成される。
As shown in FIG. 1, the video coding apparatus includes a
次に、図2を参照して、図1に示す映像符号化装置の処理動作を説明する。図2は、一般的な映像符号化装置の処理動作を示すフローチャートである。 Next, the processing operation of the video encoding device shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a flowchart showing processing operations of a general video encoding device.
まず、映像符号化装置は、例えば外部の装置(図示せず)等からの映像信号100の入力を受け付け、入力された映像信号100を例えばn×n画素のブロックに分割する。そして、映像符号化装置は、ブロック単位に分割された映像信号100を減算部102に入力する。
First, the video encoding device receives an input of a
減算部102は、映像信号100をブロック単位に取得する。また、減算部102は、予測単位(PU;Prediction Unit)と呼ばれる処理単位ごとに別途生成された予測信号101を、画面内予測部112又は画面間予測部113から取得する。そして、減算部102は、映像信号100から予測信号101を減算することによって、予測残差信号119(原信号との差分信号)を生成する(ステップS1)。減算部102は、生成された予測残差信号119を変換部103へ出力する。
The
変換部103は、減算部102から出力された予測残差信号119を取得する。変換部103は、取得した予測残差信号119に対して、サンプリングを行い離散的な信号に変換する離散コサイン変換(DCT;Discrete Cosine Transform)を行う(ステップS2)。変換部103は、離散コサイン変換がなされた予測残差信号119を量子化部104へ出力する。
量子化部104は、変換部103から出力された予測残差信号119を取得する。量子化部104は、取得した予測残差信号119を量子化する(ステップS2)。量子化部104は、量子化された予測残差信号119を、エントロピー符号化部105及び逆量子化部107へ出力する。
エントロピー符号化部105は、量子化部104から出力された予測残差信号119を取得する。エントロピー符号化部105は、取得した予測残差信号119をエントロピー符号化することによって符号化データ106を生成する(ステップS3)。エントロピー符号化部105は、生成された符号化データ106を、例えば本映像符号化装置に対応する映像復号装置等の外部の装置(図示せず)へ出力する。
その一方で、逆量子化部107も、量子化部104から出力された予測残差信号119を取得する。逆量子化部107は、取得した予測残差信号119を逆量子化する(ステップS4)。逆量子化部107は、逆量子化された予測残差信号119を逆変換部108へ出力する。
On the other hand, the
逆変換部108は、逆量子化部107から出力された予測残差信号119を取得する。逆変換部108は、取得した予測残差信号119に対して、逆離散コサイン変換(逆DCT)を行う(ステップS4)。逆変換部108は、逆離散コサイン変換がなされた予測残差信号119を加算部109へ出力する。
加算部109は、逆変換部108から出力された予測残差信号119を取得する。また、加算部109は、予測単位(PU)ごとに別途生成された予測信号101を、画面内予測部112又は画面間予測部113から取得する。加算部109は、予測残差信号119と予測信号101とを加算することによって復号映像を示す信号を生成する(ステップS5)。
加算部109は、生成された信号を歪除去フィルタ110へ出力する。
歪除去フィルタ110は、加算部109から出力された、復号映像を示す信号を取得する。歪除去フィルタ110は、取得した信号に対して、歪除去を行う(ステップS6)、歪除去フィルタ110は、歪み除去がなされた信号をフレームメモリ111に記憶させる(ステップS7)。
フレームメモリ111に蓄積される信号は、本映像符号化装置に対応する映像復号装置が求める復号映像信号と同じ信号となる。なお、フレームメモリ111に蓄積された信号は、通常、所定の時刻が経過すると自動的に消去される。ただし、長時間参照される指示が付された信号(すなわち、長時間参照フレーム)は、自動的には削除されず、明示的な削除指示がなされた際に削除される。また、参照されないことを示す指示が付された信号は、フレームメモリ111に記憶されない。
The signal stored in the
画面内予測部112又は画面間予測部113は、フレームメモリ111にと蓄積された信号を参照し、画面内予測(イントラ予測)又は画面間予測(インター予測)を行い、次のブロックの符号化に用いられる予測信号101を生成する(ステップS8)。画面内予測部112又は画面間予測部113は、生成された予測信号101を減算部102及び加算部109へ出力する。
The
映像符号化装置に入力された画像の全てのブロックについて、上記ステップS1~ステップS8までの処理が繰り返された後、図2のフローチャートが示す映像符号化装置の動作が終了する。 After the processing of steps S1 to S8 is repeated for all blocks of the image input to the video encoding device, the operation of the video encoding device shown in the flowchart of FIG. 2 ends.
図3は、一般的な映像符号化装置における追加画像の利用を説明するための模式図である。図3に示すように、映像符号化装置は、追加画像を参照したり、符号化対象のフレームの前後のフレームを参照したり、同一フレーム内の他の画素を参照したりすることによって予測を行い、原画(入力画像)の各フレームを符号化する。 FIG. 3 is a schematic diagram for explaining the use of additional images in a general video encoding device. As shown in FIG. 3, the video encoding device performs prediction by referring to additional images, frames before and after a frame to be encoded, and other pixels within the same frame. to encode each frame of the original image (input image).
追加画像は、符号化が行われる前に、原画を用い予め生成される。例えば、原画の各フレームの同位置の画素ごとに、画素値の平均値あるいはメディアン値がそれぞれ算出される。そして、算出された平均値あるいはメディアン値を画素値とする追加画像が生成される。 The additional image is pre-generated using the original image before encoding takes place. For example, the average value or the median value of the pixel values is calculated for each pixel at the same position in each frame of the original image. Then, an additional image is generated in which the calculated average value or median value is used as the pixel value.
[映像符号化システムの構成]
以下、本発明の一実施形態に係る映像符号化システムの全体構成について説明する。
図4は、本発明の一実施形態に係る映像符号化システムの全体構成図である。図4に示すように、映像符号化システムは、映像符号化装置301と、画像生成装置302と、を含んで構成される。
[Configuration of video encoding system]
An overall configuration of a video encoding system according to an embodiment of the present invention will be described below.
FIG. 4 is an overall configuration diagram of a video encoding system according to one embodiment of the present invention. As shown in FIG. 4 , the video encoding system includes a
映像符号化装置301は、図1及び図2を参照して機能構成及び動作を説明した、一般的な映像符号化装置である。映像符号化装置301は、生成された符号化データ303を、例えば映像符号化装置301に対応する映像復号装置等の外部の装置(図示せず)へ出力する。なお、映像符号化装置301は、画像生成装置302からの追加画像信号304の入力を受け付け、当該追加画像信号304に基づく追加画像を参照して映像信号3001を符号化する。
The
画像生成装置302は、映像符号化装置301に入力される映像信号300と同一の映像信号の入力を受け付ける。画像生成装置302は、入力された映像信号300に基づいて追加画像を生成する。画像生成装置302は、生成された追加画像を示す追加画像信号304を映像符号化装置301へ出力する。
The
[追加画像の生成]
以下、本発明の一実施形態に係る画像生成装置302による追加画像の生成について説明する。
[Generate additional images]
Generation of additional images by the
図5は、本発明の一実施形態に係る画像生成装置302による追加画像の生成を示す説明図である。まず、画像生成装置302は、任意の方法により、暫定の追加画像(以下、「暫定追加画像」という。)を生成する。なお、画像生成装置302は、上述した従来の追加画像の生成方法、すなわち、原画の各フレームの同位置の画素ごとに、画素値の平均値あるいはメディアン値をそれぞれ算出する方法等によって、暫定追加画像を生成してもよい。
FIG. 5 is an explanatory diagram showing generation of an additional image by the
画像生成装置302は、暫定追加画像を参照しながら、原画の各フレームに対してそれぞれ動き補償予測符号化を行う。ここで、画像生成装置302は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測された領域にあたる画像(原信号)を、別途生成した更新用の追加画像(以下、「更新用追加画像」という。)にコピーする。このとき、画像生成装置302は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。
The
上記のように、暫定追加画像が参照される度に、原画の画像が更新用追加画像にコピーされるため、その都度、更新用追加画像が更新されていく。なお、画像生成装置302は、任意の方法により、初期時点の更新用追加画像を生成することができる。例えば、画像生成装置302は、上記生成された暫定追加画像と同一の画像を、初期時点の更新用追加画像として用いてもよい。
As described above, each time the provisional additional image is referenced, the original image is copied to the update additional image, so the update additional image is updated each time. Note that the
画像生成装置302は、所定のフレーム数の動き補償予測符号化を終えた場合、その時点における更新用追加画像を、新たな暫定追加画像とする。そして、画像生成装置302は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う。
When the motion-compensated predictive encoding of a predetermined number of frames is completed, the
このように、画像生成装置302は、原画のフレーム群に対する動き補償予測符号化を繰り返し行い、その都度、暫定追加画像を更新していく。そして、画像生成装置302は、所定の条件が満たされた場合、当該フレーム群に対する動き補償予測符号化の繰り返し処理を終了させる。画像生成装置302は、繰り返し処理を終了させた時点における暫定追加画像を最終的な追加画像とし、当該最終的な追加画像に基づく追加画像信号304を映像符号化装置301へ出力する。
In this way, the
なお、動き補償予測符号化の繰り返し処理を終了させるための上記所定の条件とは、例えば、画像圧縮率の値が収束すること(すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になること)である。あるいは、上記所定の条件は、1つ前の繰り返し処理と比較して画像圧縮率が悪化すること、画像圧縮率が所定の値を満たすこと、又は、所定の回数の繰り返し処理が行われたこと等であってもよい。 Note that the predetermined condition for terminating the iterative processing of the motion compensation predictive encoding is, for example, that the value of the image compression rate converges (that is, the improvement rate of the image compression rate is equal to that of the previous iterative processing). within a predetermined value). Alternatively, the predetermined condition is that the image compression rate is worse than that of the previous iteration, that the image compression rate satisfies a predetermined value, or that the iteration has been performed a predetermined number of times. etc.
なお、画像生成装置302は、更新用追加画像において、複数のフレームからコピーが行われた画素については、例えばコピーされた複数の画素値の平均値を当該画素の画素値とする。
Note that the
なお、画像生成装置302は、映像信号300においてシーンチェンジを検出した場合には、検出した時点で新たな暫定追加画像及び更新用追加画像を生成するようにしてもよい。
Note that when detecting a scene change in the
なお、上記生成された最終的な追加画像を示す追加画像信号304は、映像符号化装置301へ出力され、映像信号300の符号化に用いられる。また、追加画像信号304も符号化がなされる。そして、映像符号化装置301は、原画と追加画像とが符号化されたデータである符号化データ303を出力する。
An additional image signal 304 representing the generated final additional image is output to the
映像符号化装置301に対応する映像復号装置(図示せず)は、映像符号化装置301から出力された符号化データ303を取得する。そして、映像復号装置は、原画と追加画像とが符号化された符号化データ303を復号する。なお、復号された追加画像は、映像復号装置による原画に対する復号処理において参照のために用いられるが、表示はされない画像である。
A video decoding device (not shown) corresponding to the
なお、上記のように、例えば、画素値の平均値あるいはメディアン値をそれぞれ算出することによって初期時点の更新用追加画像が生成された場合、平均値やメディアン値が用いられることから、当初の更新用追加画像は鮮明度が低い(ぼやけた)画像となる。その後、上述したように、更新用追加画像に対して原画そのもののコピーがなされるため、上記の繰り返し処理が行われる度に、更新用追加画像の鮮明度は高くなっていく。 As described above, for example, when the additional image for update at the initial time point is generated by calculating the average value or the median value of the pixel values, the average value and the median value are used. The added image for is a less sharp (blurred) image. After that, as described above, since the original image itself is copied to the additional image for update, the sharpness of the additional image for update increases each time the above-described repeated processing is performed.
なお、上述したように、画像生成装置302は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、原画における予測された領域の画像をコピーしていく。そのため、更新用追加画像は、不規則な被写体の動きの影響が排除された画像に近いものとなる。すなわち、例えば揺らぐ水面等の不規則な動きの影響が排除された、揺らぎのない、水底あるいは水中の物体の画像に近いものとなる。
Note that, as described above, the
なお、動き補償予測によって予測された原画上の位置は、整数の座標値で表すことができる画素位置(以下、「整数位置」という。)ではない場合がある。この場合、画像生成装置302は、以下のようにして原画を更新用追加画像にコピーすればよい。
Note that the positions on the original image predicted by motion compensation prediction may not be pixel positions that can be represented by integer coordinate values (hereinafter referred to as "integer positions"). In this case, the
図6~8は、本発明の一実施形態に係る画像生成装置302による追加画像生成時の重み付けを示す説明図である。図6は、コピー元の原画におけるコピー対象の画素の画素位置が、X座標及びY座標ともに整数位置である場合を示している。この場合、画像生成装置302は、例えば、原画上の画素の画素値に対して、重み4の重み付けを行ったうえで更新用追加画像へのコピーを行う。
6 to 8 are explanatory diagrams showing weighting during additional image generation by the
また、図7は、コピー元の原画におけるコピー対象の画素の画素位置が、X座標は整数位置ではない位置(以下、「非整数位置」という。)であり、Y座標は整数位置である場合を示している。この場合、画像生成装置302は、X軸方向に隣り合う整数位置の画素値を用いて補間を行うことによって、X軸方向に隣り合う整数位置の間に存在する非整数位置における画素値を算出する。そして、画像生成装置302は、算出された補間画像の画素値に対してそれぞれ重み2の重み付けを行ったうえで、更新用追加画像の整数位置へのコピーを行う。
FIG. 7 shows a case where the pixel position of the pixel to be copied in the original image of the copy source is a position where the X coordinate is not an integer position (hereinafter referred to as "non-integer position") and the Y coordinate is an integer position. is shown. In this case, the
また、図8は、コピー元の原画におけるコピー対象の画素の画素位置が、X座標及びY座標ともに非整数位置である場合を示している。この場合、画像生成装置302は、X軸方向及びY軸方向に隣り合う整数位置の画素値を用いて補間を行うことによって、当該整数位置に囲まれた非整数位置における画素値を算出する。そして、画像生成装置302は、算出された補間画像の画素値に対して、それぞれ重み1の重み付けを行ったうえで、更新用追加画像の整数位置へのコピーを行う。
Also, FIG. 8 shows a case where the pixel position of the pixel to be copied in the original image of the copy source is a non-integer position for both the X coordinate and the Y coordinate. In this case, the
このように、画像生成装置302は、コピー元の原画におけるコピー対象の画素の画素位置が整数位置であっても、あるいは、コピー元の原画におけるコピー対象の画素の画素位置が非整数位置であっても、コピーされる画素値に対して付与される重みの和が等しくなるようにして更新用追加画像への画像のコピーを行う。
In this way, the
なお、ある画像領域に対して、暫定追加画像と暫定追加画像以外の画像とから双方向動き補償予測がなされる場合には、更新用追加画像への原画のコピーが行われないようにすることが好ましい。なぜならば、当該画像領域は、有効な追加画像を生成するにあたって相応しくないためである。 In addition, when bidirectional motion compensation prediction is performed for a certain image area from a temporary additional image and an image other than the temporary additional image, copying of the original image to the update additional image should be prevented. is preferred. This is because the image area is not suitable for generating a valid additional image.
なお、補間の方法については、例えばH.265/HEVC等で用いられている一般的な方法を用いることができる。 As for the method of interpolation, see, for example, H.264. A general method used in H.265/HEVC or the like can be used.
[画像生成装置の機能構成]
以下、本発明の一実施形態に係る画像生成装置302の機能構成について説明する。画像生成装置302は、第1の被写体(例えば水面)の性質に起因して第2の被写体(例えば、水底又は水中の物体)が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群(原信号)を符号化する場合に参照される追加画像(参照画像)を生成するための装置である。
[Functional Configuration of Image Generating Device]
The functional configuration of the
図9は、本発明の一実施形態に係る画像生成装置302の機能構成を示すブロック図である。図9に示すように、画像生成装置302は、映像信号取得部321と、暫定追加画像生成部322と、更新用追加画像生成部323と、繰り返し処理部324と、追加画像信号出力部325と、を含んで構成される。
FIG. 9 is a block diagram showing the functional configuration of the
映像信号取得部321は、映像符号化装置301に入力される映像信号300と同一の映像信号を取得する。映像信号取得部321は、取得した映像信号300を、暫定追加画像生成部322及び繰り返し処理部324へ出力する。
The video
暫定追加画像生成部322は、映像信号取得部321から出力された映像信号300を取得する。映像信号取得部321は、取得した映像信号300に基づいて暫定追加画像を生成する。暫定追加画像生成部322は、生成した暫定追加画像を繰り返し処理部324へ出力する。このように、暫定追加画像生成部322(暫定参照画像取得部)は、映像信号300に基づく原画の時系列フレーム群を用いて得られた暫定的な参照画像である暫定追加画像(暫定参照画像)を得る。
The temporary
更新用追加画像生成部323は、更新用追加画像を生成する。更新用追加画像生成部323は、例えば、暫定追加画像生成部322によって生成された暫定追加画像と同一の画像を更新用追加画像として用いる。更新用追加画像生成部323は、生成された更新用追加画像を繰り返し処理部324へ出力する。
The update additional
繰り返し処理部324は、映像信号取得部321から出力された映像信号300を取得する。また、繰り返し処理部324は、暫定追加画像生成部322から出力された暫定追加画像を取得する。また、繰り返し処理部324は、更新用追加画像生成部323から出力された更新用追加画像を取得する。
The
繰り返し処理部324は、暫定追加画像を参照しながら、映像信号300に基づく原画の各フレームに対してそれぞれ動き補償予測符号化を行う。繰り返し処理部324は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測された領域の画像(原信号)を、更新用追加画像にコピーする。このとき、繰り返し処理部324は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。
The
映像信号300に基づく所定数の全てのフレームに対して、上記の符号化及び更新用追加画像へのコピーが完了した場合、繰り返し処理部324は、繰り返し処理の終了条件を満たすか否かについての判定を行う。例えば、繰り返し処理部324は、画像圧縮率の値が収束したこと(すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になったこと)を終了条件として、判定を行う。
When the above-described encoding and copying to the additional image for update are completed for all of the predetermined number of frames based on the
終了条件を満たしていないと判定した場合、繰り返し処理部324は、その時点における更新用追加画像を新たな暫定追加画像とする。そして、繰り返し処理部324は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う。
If it is determined that the termination condition is not satisfied, the
一方、繰り返し処理部324は、ステップS107において終了条件を満たしたと判定した場合、その時点の暫定追加画像を最終的な追加画像として、追加画像信号出力部325へ出力する。
On the other hand, when it is determined in step S107 that the termination condition is satisfied, the
繰り返し処理部324(参照画像生成部)は、上記の構成によって、第1の被写体(例えば水面)の性質に基づく画像の変化が抑制され、第2の被写体(例えば、水底又は水中の物体)の見かけ上の変形が抑制された追加画像(参照画像)を生成していく。また、繰り返し処理部324は、映像信号300に基づく時系列フレーム群を構成する第1のフレームの一部領域を更新用追加画像(参照画像)の第1の領域とし、時系列フレーム群を構成する第2のフレームの一部領域を更新用追加画像(参照画像)の第2の領域とするように更新用追加画像(参照画像)を生成する。
With the above configuration, the repetition processing unit 324 (reference image generation unit) suppresses changes in the image based on the properties of the first subject (for example, the water surface), and the second subject (for example, the bottom of the water or an underwater object). An additional image (reference image) in which apparent deformation is suppressed is generated. Further, the
また、繰り返し処理部324(参照画像生成部)は、第2のフレームの一部領域を第2の領域とした後、時系列フレーム群を構成する第3のフレームの一部領域を第2の領域とする場合、第2のフレームの一部領域と第3のフレームの一部領域とのメディアンとなる画像を第2の領域とする。 Further, the repetition processing unit 324 (reference image generation unit) sets the partial area of the second frame to the second area, and then sets the partial area of the third frame constituting the time-series frame group to the second area. In the case of an area, an image that is the median between the partial area of the second frame and the partial area of the third frame is taken as the second area.
また、繰り返し処理部324(参照画像生成部)は、第1の領域の位置を、第1のフレームの一部領域を対象とした予測の際の暫定追加画像(暫定参照画像)内の参照位置と同じ位置とし、第2の領域の位置を、第2のフレームの一部領域を対象とした予測の際の暫定追加画像(暫定参照画像)内の参照位置と同じ位置として、更新用追加画像(参照画像)を生成する。 In addition, the repetition processing unit 324 (reference image generation unit) sets the position of the first region to a reference position in a temporary additional image (temporary reference image) when performing prediction targeting a partial region of the first frame. , and the position of the second region is set to the same position as the reference position in the provisional additional image (temporary reference image) when predicting a partial region of the second frame, and the additional image for update (reference image).
なお、繰り返し処理部324(参照画像生成部)によって生成された最終的な追加画像(参照画像)は、時系列フレーム群を符号化する映像符号化装置301によって符号化される画像であって、かつ、映像符号化装置301に対応する映像復号装置(図示せず)によって復号される映像において表示されない画像である。
Note that the final additional image (reference image) generated by the repetition processing unit 324 (reference image generation unit) is an image encoded by the
繰り返し処理部324(参照画像生成部)は、時系列フレーム群を構成するフレームにおいて予測された位置が整数位置である場合、更新用追加画像(参照画像)の対応する領域の画素に対して第1の重みを加える。また、繰り返し処理部324は、時系列フレーム群を構成するフレームにおいて予測された位置が非整数位置を含む場合、原画像の画素値に基づいて当該非整数位置の画素の画素値を生成し、生成された当該画素値を、更新用追加画像(参照画像)の対応する領域の複数の画素の画素値とする。そして、繰り返し処理部324は、更に更新用追加画像(参照画像)の対応する領域の複数の画素に対してそれぞれ第2の重みを加える。ここで、繰り返し処理部324は、当該複数の画素に対して与えられた第2の重みの和が、第1の重みと等しくなるようにする。
When the position predicted in the frames constituting the time-series frame group is an integer position, the repetition processing unit 324 (reference image generation unit) repeats the pixels in the corresponding region of the additional image for update (reference image). Add a weight of 1. Further, when the predicted position in the frames constituting the time-series frame group includes a non-integer position, the
追加画像信号出力部325は、繰り返し処理部324から出力された追加画像を取得する。追加画像信号出力部325は、当該追加画像を示す追加画像信号304を、映像符号化装置301へ出力する。
The additional image
[画像生成装置の動作]
以下、本発明の一実施形態に係る画像生成装置302の動作について説明する。
図10は、本発明の一実施形態に係る画像生成装置302の動作を示すフローチャートである。本フローチャートは、画像生成装置302に対して、映像符号化装置301に入力される映像信号300と同一の映像信号が入力される際に開始する。
[Operation of image generation device]
The operation of the
FIG. 10 is a flowchart illustrating the operation of the
映像信号取得部321は、映像信号300を取得する(ステップS101)。暫定追加画像生成部322は、取得した映像信号300に基づいて暫定追加画像を生成する(ステップS102)。更新用追加画像生成部323は、更新用追加画像を生成する(例えば、ステップS102で生成した暫定追加画像と同一の画像を更新用追加画像として用いる)(ステップS103)。
The video
繰り返し処理部324は、生成された暫定追加画像を参照して、映像信号300に基づく原画の各フレームに対してそれぞれ動き補償予測符号化を行う(ステップS104)。繰り返し処理部324は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測の対象となった領域の画像(原信号)を、更新用追加画像にコピーする(ステップS105)。このとき、繰り返し処理部324は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。
The
映像信号300に基づく所定数の全てのフレームに対して、上記ステップS104による符号化、及び上記ステップS105による更新用追加画像へのコピーが完了した場合(ステップS106・YES)、繰り返し処理部324は、繰り返し処理の終了条件を満たすか否かについての判定を行う(ステップS107)。例えば、繰り返し処理部324は、画像圧縮率の値が収束したこと(すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になったこと)を終了条件として、判定を行う。
When the encoding in step S104 and copying to the update additional image in step S105 are completed for all the predetermined number of frames based on the video signal 300 (step S106, YES), the
終了条件を満たしていないと判定した場合(ステップS107・NO)、繰り返し処理部324は、その時点における更新用追加画像を新たな暫定追加画像をとするように、当該暫定追加画像更新する(ステップS108)。そして、繰り返し処理部324は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う(ステップS104)。
If it is determined that the end condition is not satisfied (step S107, NO), the
一方、繰り返し処理部324が、ステップS107において終了条件を満たしたと判定した場合(ステップS107・NO)、追加画像信号出力部325は、その時点における暫定追加画像を最終的な追加画像として、当該追加画像を示す追加画像信号304を、映像符号化装置301へ出力する(ステップS109)。以上で、図10のフローチャートが示す画像生成装置302の動作が終了する。
On the other hand, when the
以上説明したように、本発明の一実施形態に係る画像生成装置302は、第1の被写体(例えば水面)の性質に起因して第2の被写体(例えば、水底又は水中の物体)が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像(追加画像)を生成する装置である。そして、画像生成装置302は、前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する繰り返し処理部324(参照画像生成部)を備える。
As described above, the
上記の構成を備えることによって、画像生成装置302は、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化の対象にする場合であっても、符号量の増大や画質の低下を抑えることができる。
With the above configuration, the
なお、上述した実施形態においては、一例として、符号化対象の映像が、揺らぐ水面を通して見える水底、あるいは水中の物体が撮像された映像である場合について説明したが、これに限られるものではない。例えば、本発明は、曲面に映っている物体、不可視の物体あるいは大気の揺らぎの影響を受けて揺らいで見える物体、風によってはためく旗、及び、脈動・拍動・鼓動する細胞あるいは物体等の、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像に対する符号化全般において有効である。 In the above-described embodiment, as an example, the case where the image to be encoded is an image of the bottom of the water that can be seen through the swaying water surface or an image of an underwater object has been described, but it is not limited to this. For example, the present invention can be applied to objects reflected on a curved surface, invisible objects or objects that appear to sway under the influence of atmospheric fluctuations, flags fluttering in the wind, and cells or objects that pulsate, pulsate, or beat. It is effective in general coding for images that include non-linear motion, irregular motion, or fast-paced motion.
上述した実施形態における画像生成装置302の一部または全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
Part or all of the
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。 Although the embodiments of the present invention have been described above with reference to the drawings, it is clear that the above embodiments are merely examples of the present invention and that the present invention is not limited to the above embodiments. Therefore, additions, omissions, substitutions, and other modifications of components may be made without departing from the technical idea and gist of the present invention.
102…減算部、103…変換部、104…量子化部、105エントロピー符号化部、107…逆量子化部、108…逆変換部、109…加算部、110…歪除去フィルタ、111…フレームメモリ、112…画面内予測部、113…画面間予測部、301…映像符号化装置、302…画像生成装置、321…映像信号取得部、322…暫定追加画像生成部、323…更新用追加画像生成部、324…繰り返し処理部、325…追加画像信号出力部
102
Claims (6)
非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
を備え、
前記参照画像生成部は、
前記時系列フレーム群を構成する第1のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第2の領域とするように前記参照画像を生成する
画像生成装置。 Generating a reference image that is referred to when encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to the properties of the first subject An image generation device,
A change in the image based on the property of the first subject, which is a property of non-linear movement, irregular movement, or slow and fast movement, is suppressed, and the apparent deformation of the second subject is suppressed. a reference image generation unit that generates the reference image,
The reference image generation unit
A region predicted by motion-compensated predictive coding of a first frame constituting the time-series frame group is defined as a first region of the reference image, and the motion compensation is performed on a second frame constituting the time-series frame group. An image generation device that generates the reference image such that a region predicted by predictive coding is set as a second region of the reference image.
前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
を備え、
前記参照画像生成部は、
前記時系列フレーム群を構成する第1のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第2の領域とするように前記参照画像を生成し、
前記第2のフレームの一部領域を前記第2の領域とした後、前記時系列フレーム群を構成する第3のフレームの一部領域を前記第2の領域とする場合、前記第2のフレームの一部領域と前記第3のフレームの一部領域とのメディアンとなる画像を前記第2の領域とする
画像生成装置。 Generating a reference image that is referred to when encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to the properties of the first subject An image generation device,
a reference image generating unit configured to generate the reference image in which a change in the image based on the property of the first subject is suppressed and the apparent deformation of the second subject is suppressed;
The reference image generation unit
A region predicted by motion-compensated predictive coding of a first frame constituting the time-series frame group is defined as a first region of the reference image, and the motion compensation is performed on a second frame constituting the time-series frame group. generating the reference image so that the region predicted by predictive coding is the second region of the reference image;
After setting a partial area of the second frame as the second area, when setting a partial area of a third frame constituting the time-series frame group as the second area, the second frame and an image that is the median of the partial area of the third frame and the partial area of the third frame as the second area.
前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部と、
前記時系列フレーム群を用いて得られた暫定的な前記参照画像である暫定参照画像を取得する暫定参照画像取得部と、
を備え、
前記参照画像生成部は、
前記時系列フレーム群を構成する第1のフレームの一部領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの一部領域を前記参照画像の第2の領域とするように前記参照画像を生成し、
前記第1の領域の位置を、前記第1のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置とし、前記第2の領域の位置を、前記第2のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置として、前記参照画像を生成する
画像生成装置。 Generating a reference image that is referred to when encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to the properties of the first subject An image generation device,
a reference image generation unit configured to generate the reference image in which a change in the image based on the property of the first subject is suppressed and the apparent deformation of the second subject is suppressed;
a provisional reference image acquisition unit that acquires a provisional reference image that is the provisional reference image obtained using the time-series frame group;
with
The reference image generation unit
A partial area of a first frame constituting the time-series frame group is defined as a first area of the reference image, and a partial area of a second frame constituting the time-series frame group is defined as a second area of the reference image. generating the reference image so as to be an area of
The position of the first region is set to the same position as the reference position in the provisional reference image during prediction targeting the partial region of the first frame, and the position of the second region is set to the position of the second region. 2. An image generation device that generates the reference image at the same position as the reference position in the provisional reference image during prediction targeting a partial area of the frame of No. 2.
非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記不可視の物体の性質に基づく画像の変化が抑制され、前記被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
を備え、
前記参照画像生成部は、
前記時系列フレーム群を構成する第1のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第2の領域とするように前記参照画像を生成する
画像生成装置。 An image generation device that generates a reference image that is referred to when encoding a time-series frame group, which is a set of frames in which an object is apparently deformed over time due to the properties of an invisible object. There is
A change in the image based on the property of the invisible object, which is a property of non-linear movement, irregular movement, or slow and fast movement, is suppressed, and the reference image is suppressed in apparent deformation of the subject. a reference image generator that generates
The reference image generation unit
A region predicted by motion-compensated predictive coding of a first frame constituting the time-series frame group is defined as a first region of the reference image, and the motion compensation is performed on a second frame constituting the time-series frame group. An image generation device that generates the reference image such that a region predicted by predictive coding is set as a second region of the reference image.
非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記第1の被写体の性質に基づく画像の変化が抑制され、前記第2の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成ステップと、
前記時系列フレーム群を構成する第1のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第1の領域とし、前記時系列フレーム群を構成する第2のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第2の領域とするように前記参照画像を生成するステップと、
を有する画像生成方法。 Generating a reference image that is referred to when encoding a time-series frame group, which is a set of frames captured such that a second subject appears to be temporally deformed due to the properties of the first subject An image generation method comprising:
A change in the image based on the property of the first subject, which is a property of non-linear movement, irregular movement, or slow and fast movement, is suppressed, and the apparent deformation of the second subject is suppressed. a reference image generating step of generating the reference image;
A region predicted by motion-compensated predictive coding of a first frame constituting the time-series frame group is defined as a first region of the reference image, and the motion compensation is performed on a second frame constituting the time-series frame group. generating the reference image so that the region predicted by predictive coding is the second region of the reference image;
An image generation method comprising:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019069989A JP7315821B2 (en) | 2019-04-01 | 2019-04-01 | Image generation device, image generation method, and program |
PCT/JP2020/014529 WO2020203962A1 (en) | 2019-04-01 | 2020-03-30 | Image generation device, image generation method, and program |
US17/600,009 US11800129B2 (en) | 2019-04-01 | 2020-03-30 | Image generation apparatus, image generation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019069989A JP7315821B2 (en) | 2019-04-01 | 2019-04-01 | Image generation device, image generation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170891A JP2020170891A (en) | 2020-10-15 |
JP7315821B2 true JP7315821B2 (en) | 2023-07-27 |
Family
ID=72669022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019069989A Active JP7315821B2 (en) | 2019-04-01 | 2019-04-01 | Image generation device, image generation method, and program |
Country Status (3)
Country | Link |
---|---|
US (1) | US11800129B2 (en) |
JP (1) | JP7315821B2 (en) |
WO (1) | WO2020203962A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088801A (en) | 1997-02-13 | 2004-03-18 | Mitsubishi Electric Corp | Moving image decoding apparatus and moving image decoding method |
JP2017092886A (en) | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | Video encoding method, video encoder and video encoding program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5943445A (en) * | 1996-12-19 | 1999-08-24 | Digital Equipment Corporation | Dynamic sprites for encoding video data |
JP5091098B2 (en) * | 2008-12-10 | 2012-12-05 | 富士フイルム株式会社 | Image composition apparatus, image composition method, and image composition program |
JP6772000B2 (en) * | 2016-08-26 | 2020-10-21 | キヤノン株式会社 | Image processing equipment, image processing methods and programs |
US10460515B2 (en) * | 2017-08-07 | 2019-10-29 | Jaunt, Inc. | Systems and methods for reference-model-based modification of a three-dimensional (3D) mesh data model |
WO2019193699A1 (en) * | 2018-04-04 | 2019-10-10 | 株式会社ソニー・インタラクティブエンタテインメント | Reference image generation device, display image generation device, reference image generation method, and display image generation method |
US20210149441A1 (en) * | 2020-08-18 | 2021-05-20 | Marko Bartscherer | Lid controller hub |
-
2019
- 2019-04-01 JP JP2019069989A patent/JP7315821B2/en active Active
-
2020
- 2020-03-30 WO PCT/JP2020/014529 patent/WO2020203962A1/en active Application Filing
- 2020-03-30 US US17/600,009 patent/US11800129B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088801A (en) | 1997-02-13 | 2004-03-18 | Mitsubishi Electric Corp | Moving image decoding apparatus and moving image decoding method |
JP2017092886A (en) | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | Video encoding method, video encoder and video encoding program |
Non-Patent Citations (3)
Title |
---|
OREIFEJ, Omar et al.,A two-stage reconstruction approach for seeing through water,CVPR 2011,IEEE,2011年08月22日,pp.1153-1160,<URL:https://ieeexplore.ieee.org/document/5995428/citations?tabFilter=papers#citations>,<DOI: 10.1109/CVPR.2011.5995428> |
TAKAMURA, Seishi and SHIMIZU, Atsushi,Water-Bottom Video Coding Based on Coding- Oriented Reference Frame Generation,2019 IEEE Visual Communications and Image Processing (VCIP),2020年01月23日,<URL:http://ieeexplore.ieee.org/document/8965927>,<DOI: 10.1109/VCIP47243.2019.8965927> |
高村 誠之, 清水 淳,水底映像符号化の効率改善に関する一検討,第32回 画像符号化シンポジウム 第22回 映像メディア処理シンポジウム,日本,電子情報通信学会画像工学研究専門委員会 映像情報メディア学会メディア工学研究委員会 情報処理学会オーディオビジュアル複合情報処理研究会 電子情報通信学会信号処理研究専門委員会,2017年11月20日,pp.70-71,(TAKAMURA, Seishi and SHIMIZU, Atsushi "A Consideration on Efficient Coding for Underwater Video") |
Also Published As
Publication number | Publication date |
---|---|
US20220141480A1 (en) | 2022-05-05 |
US11800129B2 (en) | 2023-10-24 |
JP2020170891A (en) | 2020-10-15 |
WO2020203962A1 (en) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102646890B1 (en) | Method and device for encoding or decoding image | |
KR101446771B1 (en) | Apparatus of encoding image and apparatus of decoding image | |
US7885341B2 (en) | Spatial filtering for improving compression efficiency of motion compensated interframe coding | |
KR102140331B1 (en) | Method for intra prediction and apparatus thereof | |
JP5579936B2 (en) | Optimized deblocking filter | |
JP4987086B2 (en) | Image encoding method and decoding method, apparatus thereof, program thereof, and recording medium recording the program | |
KR102518627B1 (en) | Image encoding method, decoding method, encoder and decoder | |
KR100790178B1 (en) | Method for converting frame rate of moving picturer | |
TWI715508B (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
JP2006211152A (en) | Device and method for coding image and decoding image, and programs for coding and decoding image | |
CN107646194B (en) | Apparatus and method for video motion compensation | |
CN113259661A (en) | Method and device for video decoding | |
KR101375667B1 (en) | Method and apparatus for Video encoding and decoding | |
CN114787870A (en) | Method and apparatus for inter-picture prediction with virtual reference pictures for video coding | |
JPWO2009050766A1 (en) | Video compression encoding / restoration device, video compression encoding / restoration program, and video generation / output device | |
CN108353180B (en) | Video coding with delayed reconstruction | |
JP5943733B2 (en) | Image encoding apparatus, control method therefor, and program | |
JP6454229B2 (en) | Image encoding device, image decoding device, image encoding program, and image decoding program | |
JP7315821B2 (en) | Image generation device, image generation method, and program | |
KR20110024574A (en) | Integrated video encoding method and apparatus | |
JP2010010917A (en) | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, and dynamic image decoding method | |
CN116982262A (en) | State transition for dependent quantization in video coding | |
JP4784386B2 (en) | Decoding device, inverse quantization method, and program | |
JP2020150441A (en) | Image padding method, image padding apparatus, and program | |
KR20180113868A (en) | Image Reencoding Method based on Decoding Data of Image of Camera and System thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7315821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |