JPH10233997A - Video signal reproducing device and video signal reproducing method - Google Patents
Video signal reproducing device and video signal reproducing methodInfo
- Publication number
- JPH10233997A JPH10233997A JP9036763A JP3676397A JPH10233997A JP H10233997 A JPH10233997 A JP H10233997A JP 9036763 A JP9036763 A JP 9036763A JP 3676397 A JP3676397 A JP 3676397A JP H10233997 A JPH10233997 A JP H10233997A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion vector
- search area
- intermittent
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、映像信号の各フレ
ーム間に補間フレームを内挿する映像信号再生装置およ
び映像信号再生方法に関し、特に間欠画像からなる映像
信号から補間画像を生成してこの補間画像を元の間欠画
像に合成する映像信号再生装置および映像信号再生方法
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video signal reproducing apparatus and a video signal reproducing method for interpolating an interpolated frame between frames of a video signal. The present invention relates to a video signal reproducing apparatus and a video signal reproducing method for combining an interpolated image with an original intermittent image.
【０００２】[0002]
【従来の技術】例えば、監視ビデオやＡＶ（オーディオ
ビジュアル）サーバ等で用いられる長時間記録を目的と
した映像信号の記録装置では、記録媒体の容量の制限か
らフレームのコマ落としを行いいわゆる間欠的な映像信
号の記録がされている。2. Description of the Related Art For example, in a video signal recording apparatus used for surveillance video or AV (audiovisual) servers for long-time recording, frames are dropped due to the limitation of the capacity of a recording medium, so-called intermittent. Video signals are recorded.
【０００３】また、テレビジョン電話等のように映像信
号を伝送する場合も、その伝送系の伝送容量の制限によ
りフレームのコマ落としを行い間欠的な映像信号の伝送
がされている。[0003] Also, in the case of transmitting a video signal as in a television telephone or the like, intermittent transmission of a video signal is performed by dropping a frame due to the limitation of the transmission capacity of the transmission system.
【０００４】[0004]
【発明が解決しようとする課題】ところが、そのコマ落
としを行い記録された映像や伝送された映像、すなわち
間欠画像を再生する際、画像の内容に応じた表示処理が
行われていない。そのため、その映像の視聴者は映像に
違和感が生じ、また、再生する画像の内容によっては若
干のレートダウンであっても非常に大きな違和感を間欠
画像により受けることとなる。However, when the recorded video or the transmitted video, that is, the intermittent image is reproduced by dropping the frames, a display process according to the content of the image is not performed. For this reason, the viewer of the video experiences a discomfort in the video, and depending on the content of the image to be reproduced, even if the rate is slightly reduced, the intermittent image causes a very large discomfort.
【０００５】本発明は、このような実情を鑑みてなされ
たものであり、間欠的に記録され、又は、伝送された映
像信号を再生する際に、その映像の内容に応じた補間処
理を行い違和感の少ない画像を再生する映像信号再生装
置および映像信号再生方法を提供することを目的とす
る。The present invention has been made in view of such circumstances, and when reproducing an intermittently recorded or transmitted video signal, an interpolation process according to the content of the video is performed. It is an object of the present invention to provide a video signal reproducing device and a video signal reproducing method for reproducing an image with less discomfort.
【０００６】[0006]
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る映像信号再生装置は、間欠的な映像
信号を再生する再生手段と、上記間欠的な映像信号から
時間的に連続した２つのフレーム間の動きベクトルを検
出する動きベクトル検出手段と、上記動きベクトルを検
出する為のサーチエリアを制御するサーチエリア制御手
段と、上記動きベクトルと上記時間的に連続した２つの
フレームとに基づき、この時間的に連続した２つのフレ
ームを補間する内挿フレームを生成する内挿フレーム生
成手段と、上記内挿フレームを上記間欠的な映像信号に
合成して出力する出力手段とを備えることを特徴とす
る。In order to solve the above-mentioned problems, a video signal reproducing apparatus according to the present invention comprises: a reproducing means for reproducing an intermittent video signal; Motion vector detection means for detecting a motion vector between two consecutive frames, search area control means for controlling a search area for detecting the motion vector, and two frames temporally continuous with the motion vector And interpolated frame generating means for generating an interpolated frame for interpolating two temporally continuous frames, and output means for synthesizing the interpolated frame with the intermittent video signal and outputting the interpolated frame. It is characterized by having.
【０００７】この映像信号再生装置では、サーチエリア
制御手段が、動きベクトルを検出する為のサーチエリア
を制御して、内挿フレームを生成する。In this video signal reproducing apparatus, the search area control means controls a search area for detecting a motion vector and generates an interpolation frame.
【０００８】本発明に係る映像信号再生方法では、間欠
的な映像信号を再生し、動きベクトルを検出する際のサ
ーチエリアを確定し、この確定したサーチエリア内で再
生した上記映像信号から時間的に連続した２つのフレー
ム間の動きベクトルを検出し、上記動きベクトルと上記
時間的に連続した２つのフレームとに基づき、この時間
的に連続した２つのフレームを補間する内挿フレームを
生成し、上記内挿フレームを上記映像信号に合成して出
力することを特徴とする。In the video signal reproducing method according to the present invention, an intermittent video signal is reproduced, a search area for detecting a motion vector is determined, and the video signal reproduced in the determined search area is temporally determined. A motion vector between two consecutive frames, and generating an interpolation frame for interpolating the two temporally continuous frames based on the motion vector and the two temporally continuous frames, The interpolation frame is synthesized with the video signal and output.
【０００９】[0009]
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１０】図１は、本発明を適用した映像信号再生装
置１のブロック構成図である。FIG. 1 is a block diagram of a video signal reproducing apparatus 1 to which the present invention is applied.
【００１１】映像信号再生装置１は、記録媒体１０に記
録された信号を再生する信号再生部２と、信号再生部２
により再生した信号から映像信号を再生する映像信号処
理部３と、信号再生部２により再生した信号から付加情
報を検出する付加情報処理部４と、映像信号処理部３に
より再生した映像信号から動きベクトルを検出する動き
ベクトル検出部５と、映像信号処理部３により再生した
映像信号に内挿処理をする内挿処理部６と、内挿処理部
６により内挿処理をした映像信号を出力する出力信号処
理部７と、付加情報と動きベクトルに基づき内挿処理部
６を制御するシステムコントロール部８と、外部操作入
力がされる操作入力部９とを備える。A video signal reproducing apparatus 1 includes a signal reproducing unit 2 for reproducing a signal recorded on a recording medium 10 and a signal reproducing unit 2.
A video signal processing unit 3 for reproducing a video signal from a signal reproduced by the video signal processing unit, an additional information processing unit 4 for detecting additional information from a signal reproduced by the signal reproduction unit 2, and a motion from a video signal reproduced by the video signal processing unit 3. A motion vector detecting unit 5 for detecting a vector, an interpolation processing unit 6 for performing an interpolation process on the video signal reproduced by the video signal processing unit 3, and a video signal subjected to an interpolation process by the interpolation processing unit 6 The system includes an output signal processing unit 7, a system control unit 8 that controls the interpolation processing unit 6 based on the additional information and the motion vector, and an operation input unit 9 that receives an external operation input.
【００１２】信号再生部２は、記録媒体１０に記録され
た信号を再生する処理を行う。この記録媒体１０は、例
えば、光ディスク、磁気ディスク、磁気テープ等であ
る。この記録媒体１０には、映像信号が記録されてい
る。ここで、この記録媒体１０に記録されている映像信
号は、動画像から一定の映像信号が間引かれたコマ落ち
画像、すなわち、間欠画像である。この間欠画像は、所
定の間欠間隔のフレームにより構成されている。The signal reproducing section 2 performs a process of reproducing a signal recorded on the recording medium 10. The recording medium 10 is, for example, an optical disk, a magnetic disk, a magnetic tape, or the like. On this recording medium 10, a video signal is recorded. Here, the video signal recorded on the recording medium 10 is a skipped frame image in which a fixed video signal is thinned out from a moving image, that is, an intermittent image. This intermittent image is composed of frames at predetermined intermittent intervals.
【００１３】映像信号処理部３は、上記信号再生部２に
より再生された信号からデジタルの映像信号を再生す
る。映像信号処理部３は、例えば、記録媒体１０にアナ
ログデータとして記録されている場合はアナログ／デジ
タル変換をし、また、エラー訂正処理や画像圧縮処理を
されている場合は対応したデコード処理を行う。映像信
号処理部３は、間欠画像を動きベクトル検出部５及び内
挿処理部６に供給する。付加情報処理部４は、上記信号
再生部２により再生された信号から付加情報を再生す
る。この付加情報は、映像信号や音声信号の他に付加的
に記録媒体１０に記録されている情報や伝送されてくる
情報であり、いわゆるサブコード、垂直帰線期間又はパ
イロット信号などに含まれている情報である。この付加
情報には、映像のジャンル情報（ニュース、スポーツ
等）、カメラワーク情報（パンニング、ズームアップ
等）、映像信号の信号形式、間欠画像情報（間欠間
隔）、動きベクトルのベクトル情報、画像が圧縮の情報
などが含まれている。付加情報処理部４は、再生した付
加情報をシステムコントロール部８に供給する。The video signal processor 3 reproduces a digital video signal from the signal reproduced by the signal reproducer 2. The video signal processing unit 3 performs, for example, analog / digital conversion when analog data is recorded on the recording medium 10, and performs corresponding decoding processing when error correction processing or image compression processing is performed. . The video signal processing unit 3 supplies the intermittent image to the motion vector detection unit 5 and the interpolation processing unit 6. The additional information processing section 4 reproduces additional information from the signal reproduced by the signal reproducing section 2. This additional information is information that is additionally recorded on the recording medium 10 or transmitted information in addition to the video signal and the audio signal, and is included in a so-called subcode, a vertical blanking period, a pilot signal, or the like. Information. The additional information includes video genre information (news, sports, etc.), camera work information (panning, zoom up, etc.), signal format of video signal, intermittent image information (intermittent interval), motion vector information, and image. It contains information on compression. The additional information processing unit 4 supplies the reproduced additional information to the system control unit 8.
【００１４】動きベクトル検出部５は、映像信号処理部
３により再生された映像信号から、間欠画像の各フレー
ム間の動きベクトルを検出する。この動きベクトルの検
出処理についての詳細は後述する。動きベクトル検出部
５は、検出した動きベクトルをシステムコントロール部
８に供給する。The motion vector detecting section 5 detects a motion vector between each frame of the intermittent image from the video signal reproduced by the video signal processing section 3. Details of the motion vector detection processing will be described later. The motion vector detection unit 5 supplies the detected motion vector to the system control unit 8.
【００１５】内挿処理部６は、映像信号処理部３により
再生された映像信号の各フレームから補間フレームを生
成して、この各フレーム間に補間フレームを挿入する内
挿処理を行う。この内挿処理についは詳しくは後述す
る。内挿処理部６は、補間フレームを内挿した映像信号
を出力信号処理部７に供給する。The interpolation processing unit 6 generates an interpolation frame from each frame of the video signal reproduced by the video signal processing unit 3 and performs an interpolation process of inserting an interpolation frame between the frames. The details of this interpolation processing will be described later. The interpolation processing unit 6 supplies a video signal in which the interpolation frame has been interpolated to the output signal processing unit 7.
【００１６】システムコントロール部８は、供給された
付加情報や動きベクトルに応じて間欠画像の内挿処理を
行うかどうかを決定し、信号再生部２、内挿処理部６を
制御する。この制御内容についての詳細は後述する。The system control unit 8 determines whether or not to perform the intermittent image interpolation processing according to the supplied additional information and the motion vector, and controls the signal reproduction unit 2 and the interpolation processing unit 6. The details of this control will be described later.
【００１７】出力信号処理部７は、デジタルの映像信号
をモニタにより再生することができるようにデジタル／
アナログ変換処理や、増幅処理等を行う。この出力信号
処理部７からの出力をモニタ等に接続することにより、
内挿処理をされた映像をみることができる。The output signal processing unit 7 outputs a digital / video signal so that a digital video signal can be reproduced on a monitor.
It performs analog conversion processing, amplification processing, and the like. By connecting the output from the output signal processing unit 7 to a monitor or the like,
You can see the interpolated video.
【００１８】操作入力部９は、この映像信号再生装置１
の対して外部からの入力操作がされるもので、例えば、
外部からの入力により付加情報を供給したり、内挿処理
の許可等を外部で操作するものである。The operation input unit 9 is provided in the video signal reproducing device 1.
In response to the input operation from the outside, for example,
The external information is supplied by an external input, and the permission of the interpolation processing is externally operated.
【００１９】次に、上述した動きベクトル検出部５が行
う動きベクトルの検出処理とこの動きベクトル検出部５
の構成について説明する。この動きベクトル検出部５で
は、再生する間欠画像の連続したフレーム間の動きベク
トルを求める。この動きベクトルの検出処理として、こ
こでは、代表点マッチング法を例に挙げて説明する。こ
の動きベクトル検出処理では、画面上に、いくつかの検
出領域を設定する。各検出領域をさらに分割してサーチ
エリアを設定し、そのサーチエリアに代表する点（代表
点）を設ける。例えば、図２（ａ）に示すように、画面
上に４個の検出領域を設定し、この検出領域の中に１２
個のサーチエリアを設定する。Next, the motion vector detecting process performed by the above-described motion vector detecting unit 5 and the motion vector detecting unit 5
Will be described. The motion vector detecting section 5 obtains a motion vector between consecutive frames of the intermittent image to be reproduced. Here, as the motion vector detection processing, a representative point matching method will be described as an example. In this motion vector detection processing, several detection areas are set on the screen. Each detection area is further divided to set a search area, and points (representative points) representative of the search area are provided. For example, as shown in FIG. 2A, four detection areas are set on the screen, and 12
Set search areas.
【００２０】そして、このサーチエリアの代表点を、図
２（ｂ）に示すように、現フレームの１のフィールド
（ここでは、ｎ＋１フィールド）を前フレームの１のフ
ィールド（ここでは、ｎフィールド）と比較し、フィー
ルド（ｎ）の代表点のフィールド（ｎ＋１）においての
位置を求め、この代表点の移動した距離と方向、すなわ
ち、動きベクトルを検出する。Then, as shown in FIG. 2B, the representative point of the search area is changed from one field of the current frame (here, n + 1 field) to one field of the previous frame (here, n field). Then, the position of the representative point of the field (n) in the field (n + 1) is obtained, and the moved distance and direction of the representative point, that is, the motion vector is detected.
【００２１】具体的に、前フィールド（ｎ）のサーチエ
リアＡとこのサーチエリアＡに対応する現フィールド
（ｎ＋１）のサーチエリアＡ′を用いて説明する。More specifically, a description will be given using a search area A of the previous field (n) and a search area A 'of the current field (n + 1) corresponding to the search area A.
【００２２】サーチエリアＡ及びＡ′は、図３に示すよ
うに、それぞれ７Ｌｉｎｅと７ｐｉｘｅｌの画素を有し
ている。サーチエリアＡとサーチエリアＡ′の各画素の
輝度の値は、図３に示すとおりである。また、サーチエ
リアＡの中点のアドレス（４，４）に代表点を設けてい
る。As shown in FIG. 3, the search areas A and A 'have 7 Line and 7 pixel pixels, respectively. The luminance values of the pixels in the search area A and the search area A 'are as shown in FIG. A representative point is provided at the middle address (4, 4) of the search area A.
【００２３】このサーチエリアＡの代表点がサーチエリ
アＡ′においてどこに移動したかを求めるため、サーチ
エリアＡとサーチエリアＡ′の各画素の輝度の値を減算
する。この減算した値が、図４（ａ）に示す値である。
ここで減算した値の最小値は、アドレス（６，２）の０
である。つまり、図４（ｂ）に示すように、代表点のア
ドレスの移動量は、（６，２）−（４，４）＝（２，−
２）となり、これが動きベクトルとなる。To determine where the representative point of the search area A has moved in the search area A ', the luminance value of each pixel in the search area A and the search area A' is subtracted. This subtracted value is the value shown in FIG.
Here, the minimum value of the subtracted value is 0 in the address (6, 2).
It is. That is, as shown in FIG. 4B, the moving amount of the address of the representative point is (6, 2)-(4, 4) = (2,-
2), which is a motion vector.
【００２４】このように、各サーチエリア毎に動きベク
トルが検出できる。図２（ａ）に示した場合には、１２
×４個の動きベクトルが検出できることとなる。また、
各動きベクトルの信頼性の向上のため、各検出領域内で
各サーチエリアの差分データの同じアドレス同士での積
和をとり、各検出領域毎にベクトルを求める。この場合
は、最終的に４個のベクトルを得ることとなる。Thus, a motion vector can be detected for each search area. In the case shown in FIG.
× 4 motion vectors can be detected. Also,
In order to improve the reliability of each motion vector, the product sum of the difference data of each search area at the same address in each detection area is obtained, and a vector is obtained for each detection area. In this case, four vectors are finally obtained.
【００２５】このような動きベクトルの検出範囲となる
サーチエリアは、再生される映像信号の間欠間隔に応じ
てその範囲が拡大され、また、縮小される。例えば、図
５に示すように、間欠間隔が大きいときは、サーチエリ
アを拡大し、間欠間隔が小さいときはサーチエリアを縮
小する。すなわち、映像信号の間欠間隔が大きいとき、
つまり、コマ落ちが多いときは、画像間の時間経過が大
きくなるため、被写体の動きも大きくなるからであり、
その反対に、映像信号の間欠間隔が小さいときは被写体
の動きが小さくなるからである。The search area serving as the motion vector detection range is expanded or reduced according to the intermittent interval of the reproduced video signal. For example, as shown in FIG. 5, when the intermittent interval is large, the search area is enlarged, and when the intermittent interval is small, the search area is reduced. That is, when the intermittent interval of the video signal is large,
In other words, when the number of dropped frames is large, the time lapse between images becomes large, and the movement of the subject also becomes large.
On the contrary, when the intermittent interval of the video signal is small, the movement of the subject becomes small.
【００２６】また、このサーチエリアは、図６に示すよ
うに、検出範囲を直前に求めた動きベクトルの方向に移
動させて検出範囲を拡大することもできる。すなわち、
画像の動きベクトルは連続性があるため、サーチエリア
を動きベクトルの方向に移動することによって、画像の
内容に応じた検出ができる。In this search area, as shown in FIG. 6, the detection range can be expanded by moving the detection range in the direction of the motion vector obtained immediately before. That is,
Since the motion vector of the image has continuity, it is possible to detect according to the content of the image by moving the search area in the direction of the motion vector.
【００２７】このような動きベクトルの検出を行う動き
ベクトル検出部５は、図７に示すように、代表点を記憶
するメモリ１１と、代表点の画素とサーチエリアの各画
素との差分をとる加算器１２と、メモリ１４を用いて各
検出領域の演算処理を行う演算処理回路１３と、最終的
な動きベクトルの決定を行うベクトル判定回路１５と、
これらを制御するコントローラ１６とを有する。As shown in FIG. 7, the motion vector detecting section 5 for detecting such a motion vector calculates the difference between the memory 11 for storing the representative point and the pixel of the representative point and each pixel in the search area. An adder 12, an arithmetic processing circuit 13 for performing arithmetic processing on each detection area using the memory 14, a vector determination circuit 15 for determining a final motion vector,
And a controller 16 for controlling these.
【００２８】この動きベクトル検出部５には、映像信号
処理部３からのデジタル輝度信号と、その同期信号が入
力される。また、映像信号処理部３からアナログの映像
信号が供給される場合は、例えば、図８に示すような、
映像信号から同期信号を分離する同期分離回路２１と、
映像信号から色信号と輝度信号に分離するクロマデコー
ダ２２と、輝度信号及び色信号をデジタル信号に変換す
るアナログ／デジタルコンバータ２３，２４とを上述の
図７に示した回路の前段に設ければよい。なお、ベクト
ル検出は、輝度信号のみにより演算が行われる。The motion vector detector 5 receives the digital luminance signal from the video signal processor 3 and its synchronization signal. When an analog video signal is supplied from the video signal processing unit 3, for example, as shown in FIG.
A synchronization separation circuit 21 for separating a synchronization signal from a video signal;
If a chroma decoder 22 that separates a video signal into a color signal and a luminance signal and analog / digital converters 23 and 24 that convert the luminance signal and the color signal into digital signals are provided at a stage preceding the circuit shown in FIG. Good. It should be noted that the vector detection is performed only by the luminance signal.
【００２９】図７に示すメモリ１１及び加算器１２に
は、デジタル輝度信号が供給される。また、コントロー
ラ１６には、同期信号が供給される。The digital luminance signal is supplied to the memory 11 and the adder 12 shown in FIG. Further, a synchronization signal is supplied to the controller 16.
【００３０】コントローラ１６は、メモリ１１に供給さ
れたデジタル輝度信号から代表点を検出し、加算器１２
に供給する。加算器１２では、代表点とサーチエリアの
各画素との差分をとる。このとき、代表点は、前フレー
ムのフィールドのものである。すなわち、コントローラ
１６によりタイミングを制御され、メモリ１１において
１フィールド分遅れた代表点が加算器１２に供給され
る。The controller 16 detects a representative point from the digital luminance signal supplied to the memory 11 and
To supply. The adder 12 calculates a difference between the representative point and each pixel in the search area. At this time, the representative point is that of the field of the previous frame. That is, the timing is controlled by the controller 16, and the representative point delayed by one field in the memory 11 is supplied to the adder 12.
【００３１】各サーチエリアの画素の差分のデータは、
演算処理回路１３に供給される。演算処理回路１３は、
サーチエリア毎の動きベクトルを求め、メモリ１４上で
検出領域毎に積和演算をして各検出領域毎の動きベクト
ルを求める。The data of the difference between the pixels in each search area is
It is supplied to the arithmetic processing circuit 13. The arithmetic processing circuit 13
A motion vector for each search area is obtained, and a product-sum operation is performed for each detection area on the memory 14 to obtain a motion vector for each detection area.
【００３２】そして、ベクトル判定回路１５で各検出領
域の動きベクトルに基づき、時間的に連続したフレーム
間の最終的な動きベクトルを求めて出力する。Then, based on the motion vector of each detection area, the vector determination circuit 15 obtains and outputs the final motion vector between temporally continuous frames.
【００３３】なお、上述したようなサーチエリアの変更
は、コントローラ１６がシステムコントロール部８から
の制御入力に基づきサーチエリアの拡大縮小をし、ま
た、演算処理を行った動きベクトルを演算処理回路１３
からコントローラ１６にフィードバックさせることによ
り実現できる。The change of the search area as described above is performed by the controller 16 enlarging or reducing the search area based on the control input from the system control unit 8, and using the motion vector subjected to the arithmetic processing by the arithmetic processing circuit 13.
From the controller 16 to the controller 16.
【００３４】また、ここでは、動きベクトル検出手法と
して、代表点マッチング方法について説明したが、この
他にブロックマッチング法等でも実現ができる。Here, the representative point matching method has been described as a motion vector detection method, but a block matching method or the like can also be realized.
【００３５】次に上述した内挿処理部６が行う各フレー
ム間に補間フレームを内挿する処理と、この内挿処理部
６の構成について説明する。Next, a process of interpolating an interpolated frame between frames performed by the above-described interpolation processing unit 6 and a configuration of the interpolation processing unit 6 will be described.
【００３６】例えば、図９（ａ）に示す撮影風景がパン
ニングにより撮影された場合について説明する。間欠的
な映像信号には、図９（ｂ）に示すフレーム画像Ａと図
９（ｃ）に示すフレーム画像Ｂの連続した２フレームの
画像が含まれている。このフレーム画像Ａとフレーム画
像Ｂとの間に補間フレーム画像Ｃを生成するには、ま
ず、フレーム画像Ａとフレーム画像Ｂの共通部分を切り
出す。そして、この切り出した共通部分の両側に、図９
（ｄ）に示すように、フレーム画像Ａとフレーム画像Ｂ
とから切り出した映像を張り付ける。For example, a case where the photographed scene shown in FIG. 9A is photographed by panning will be described. The intermittent video signal includes two consecutive frames of a frame image A shown in FIG. 9B and a frame image B shown in FIG. 9C. To generate an interpolated frame image C between the frame images A and B, first, a common part of the frame images A and B is cut out. Then, on both sides of the cut out common part, FIG.
As shown in (d), the frame image A and the frame image B
And paste the video clipped from.
【００３７】ここで、動きベクトルをＶ、フレーム画像
Ａとフレーム画像Ｂの間に内挿する補間フレームの内挿
枚数をＭ−１とするとそれぞれフレーム画像Ａとフレー
ム画像Ｂから切り出す映像は、 フレーム画像Ａからの切り出し画像 ＝ ａ＊１／Ｍ＊Ｖ ・・・（式１） フレーム画像Ｂからの切り出し画像 ＝ ｂ＊１／Ｍ＊Ｖ ・・・（式２） 但し ａ＝１，２，・・・，Ｍ−１、ｂ＝Ｍ−ａとな
る。Here, assuming that the motion vector is V, and the number of interpolation frames to be interpolated between the frame images A and B is M-1, the video cut out from the frame images A and B is Image cut out from image A = a * 1 / M * V (Equation 1) Image cut out from frame image B = b * 1 / M * V (Equation 2) where a = 1, 2, .., M−1, b = M−a.
【００３８】なお、上述した図９（ａ）に示すような画
面に完全に平行なパンニングやチルティングの場合は前
後のフレーム画像から補間フレーム画像をすべて作り出
せるが、このようなパンニング等でない場合は補間でき
ない部分がでてくる。この場合には、フレーム画像の他
の部分を利用してその部分を作りだす。In the case of panning or tilting completely parallel to the screen as shown in FIG. 9A, all the interpolated frame images can be created from the preceding and succeeding frame images. Some parts cannot be interpolated. In this case, that part is created using another part of the frame image.
【００３９】このような補間フレーム画像を生成してこ
の補間フレーム画像を間欠的な映像信号に挿入する内挿
処理部６は、図１０に示すように、映像信号をフレーム
毎に記憶する第１と第２のメモリ３１，３２と、これら
のメモリ３１，３２の書き込み及び読出しを制御するメ
モリライトコントローラ３３とメモリリードコントロー
ラ３４と、メモリ３１，３２から読み出す信号を切り換
える切換スイッチ３５と、同期信号及び動きベクトルに
基づきこれらの回路を制御するコントローラ３６とを有
する。The interpolation processing section 6, which generates such an interpolated frame image and inserts the interpolated frame image into the intermittent video signal, stores a video signal for each frame as shown in FIG. And second memories 31 and 32; a memory write controller 33 and a memory read controller 34 for controlling writing and reading of these memories 31 and 32; a changeover switch 35 for switching signals read from the memories 31 and 32; And a controller 36 for controlling these circuits based on the motion vector.
【００４０】コントローラ３６には、同期信号と動きベ
クトル信号が入力される。コントローラ３６は、この同
期信号により各メモリ３１，３２への映像信号の書き込
み、及び、読出しのタイミングを生成しメモリライトコ
ントローラ３３とメモリリードコントローラ３４に供給
する。The controller 36 receives a synchronization signal and a motion vector signal. The controller 36 generates timings for writing and reading the video signal to and from the memories 31 and 32 based on the synchronization signal, and supplies the timings to the memory write controller 33 and the memory read controller 34.
【００４１】メモリ３１とメモリ３２とには、間欠的な
映像信号がフレーム単位で記憶される。このとき、メモ
リ３１とメモリ３２とには、時間的に連続した間欠画像
の映像が記憶される。なお、メモリ３１に必ず時間的に
先行したフレーム画像が記憶されるものとしてもよい
し、また、容量等の節約のため、時間的に先行するフレ
ーム画像を記憶するメモリを、１フレーム毎にメモリ３
１とメモリ３２とで切り換えるものとしてもよい。The memories 31 and 32 store intermittent video signals in frame units. At this time, the memory 31 and the memory 32 store videos of temporally continuous intermittent images. It should be noted that the memory 31 may always store the temporally preceding frame image, or a memory for storing the temporally preceding frame image may be stored for each frame in order to save capacity and the like. 3
1 and the memory 32 may be switched.
【００４２】メモリライトコントローラ３３は、コント
ローラ３６のタイミング制御に基づき、メモリ３１，３
２に記憶させるフレーム画像を制御する。すなわち、入
力される映像信号をフレーム単位でメモリ３１とメモリ
３２とに振り分けて記憶させている。The memory write controller 33 controls the memories 31, 3 based on the timing control of the controller 36.
2 is controlled. That is, the input video signal is divided and stored in the memory 31 and the memory 32 in frame units.
【００４３】メモリリードコントローラ３４は、間欠画
像に内挿する補間フレームを生成するため、メモリ３１
とメモリ３２とに記憶されているフレーム画像を読み出
す。このとき、メモリリードコントローラ３４は、コン
トローラ３６からの動きベクトルと同期信号とに基づき
各メモリ３１，３２から画像を読み出す。また、例えば
フレーム画像Ａとフレーム画像Ｂとの間にＭ−１個の補
間フレーム画像を内挿する場合には、上述した（式１）
及び（式２）に基づき各メモリ３１，３２から画像の位
置をずらして読み出す。The memory read controller 34 generates the interpolation frame to be interpolated into the intermittent image.
And the frame image stored in the memory 32. At this time, the memory read controller 34 reads an image from each of the memories 31 and 32 based on the motion vector and the synchronization signal from the controller 36. For example, when interpolating M-1 interpolated frame images between the frame image A and the frame image B, the above-described (Equation 1)
The position of the image is read out from each of the memories 31 and 32 based on (Equation 2).
【００４４】切換スイッチ３５は、メモリリードコント
ローラ３４で画像の位置をずらして読みだしたメモリ３
１又はメモリ３２の画像を切り換えて補間フレームを生
成して、図１１に示すような間欠画像に補間フレーム内
挿した映像信号を出力する。The changeover switch 35 is provided for the memory 3 read out by shifting the position of the image by the memory read controller 34.
1 or the image in the memory 32 is switched to generate an interpolation frame, and a video signal in which the interpolation frame is interpolated into an intermittent image as shown in FIG. 11 is output.
【００４５】つぎに、この映像信号再生装置１の処理内
容について、図１２に示すフローチャートを用いて説明
する。Next, the processing contents of the video signal reproducing apparatus 1 will be described with reference to the flowchart shown in FIG.
【００４６】この映像信号再生装置１は、操作入力部９
により電源投入の操作がされることによりステップＳ１
からの制御が開始される。The video signal reproducing apparatus 1 includes an operation input unit 9
The power-on operation is performed by step S1.
Is started.
【００４７】ステップＳ１において、各ブロックの初期
化が行われる。次に、ステップＳ２において、システム
コントロール部８が付加情報を読み込む。上述したよう
にこの付加情報には、映像のジャンル情報（ニュース、
スポーツ等）、カメラワーク情報（パンニング、ズーム
アップ等）、間欠画像情報（間欠間隔）、動きベクトル
のベクトル情報等が含まれている。In step S1, each block is initialized. Next, in step S2, the system control unit 8 reads the additional information. As described above, this additional information includes the genre information of the video (news,
Sports information), camera work information (panning, zoom up, etc.), intermittent image information (intermittent intervals), motion vector information, and the like.
【００４８】ステップＳ３において、操作入力部９から
の操作入力が有るかないかを判断し、操作入力が有るま
で、このステップＳ３で待機する。In step S3, it is determined whether or not there is an operation input from the operation input unit 9, and the process waits in step S3 until there is an operation input.
【００４９】操作入力があった場合は、ステップＳ４に
進み、ここで再生処理を開始する。そして、ステップＳ
５において、付加情報に基づき再生する映像信号に補間
フレームを内挿するか否かを判断する。このステップＳ
５における判断は、付加情報に基づき行われる。If there is an operation input, the process proceeds to step S4, where the reproduction process is started. And step S
At 5, it is determined whether or not to interpolate the interpolated frame into the video signal to be reproduced based on the additional information. This step S
The determination in 5 is made based on the additional information.
【００５０】例えば、ニュース映像を再生する場合は、
間欠画像であっても試聴した際に違和感を生じることは
少ないので補間を行わず、スポーツ映像で有れば補間を
行う。また、間欠間隔が小さければ補間の必要がなく、
さらに、予め付加情報にある動きベクトルが小さいもの
で有れば補間の必要がない。また、パンニングやチルテ
ィング等のカメラワーク情報に基づき補間をするか否か
を判断することもできる。For example, when reproducing a news video,
Even if the image is intermittent, it is unlikely that a sense of incongruity will occur at the time of the audition. Therefore, the interpolation is not performed. Also, if the intermittent interval is small, there is no need for interpolation,
Further, if the motion vector in the additional information is small in advance, there is no need for interpolation. It is also possible to determine whether or not to perform interpolation based on camera work information such as panning and tilting.
【００５１】ステップＳ５で内挿をしないと判断した場
合は、ステップＳ６において、補間をせず又は他の補間
処理をしてステップＳ３に戻る。また、ステップＳ５で
内挿をすると判断した場合はステップＳ７に進む。If it is determined in step S5 that no interpolation is performed, in step S6, no interpolation is performed or another interpolation process is performed, and the process returns to step S3. If it is determined in step S5 to perform interpolation, the process proceeds to step S7.
【００５２】ステップＳＳ７において、動きベクトルを
検出する際のサーチエリアを決定する。ここでは、付加
情報に含まれる間欠間隔の情報に基づき、サーチエリア
を決定する。上述の図５において説明したように、間欠
間隔が大きい場合は動きベクトルが大きくなるのでサー
チエリアを大きくし、また、間欠間隔が小さい場合は動
きベクトルが小さくなるのでサーチエリアを小さくす
る。なお、このステップＳ７でのサーチエリアの決定
は、この間欠間隔に応じてサーチエリアを拡大縮小する
代わりに又はこれとともに、図６において説明したよう
な、先に求めた動きベクトルに応じてサーチエリアの位
置を変更するものであってもよい。つまり、間欠画像の
各フレーム画像の動きベクトルを求めるに当たり、前フ
レーム画像の動きベクトルをこのステップＳ７で取得
し、この値を反映させてサーチエリアを決定するように
してもよい。In step SS7, a search area for detecting a motion vector is determined. Here, the search area is determined based on the intermittent interval information included in the additional information. As described above with reference to FIG. 5, when the intermittent interval is large, the search area is increased because the motion vector is large, and when the intermittent interval is small, the search area is reduced because the motion vector is small. It should be noted that the determination of the search area in this step S7 is performed instead of or together with the enlargement / reduction of the search area in accordance with the intermittent interval, as described with reference to FIG. May be changed. That is, in obtaining the motion vector of each frame image of the intermittent image, the motion vector of the previous frame image may be obtained in step S7, and the search area may be determined by reflecting this value.
【００５３】ステップＳ７でサーチエリアを決定した後
ステップＳ８において、動きベクトルの検出をおこな
う。そして、ステップＳ９において、ステップＳ８で求
めた動きベクトルに基づき、再生する間欠画像に補間画
像を内挿するか否かを判断する。内挿しないと判断する
場合は、ステップＳ１０において、内挿をせず又は他の
補間処理をしてステップＳ３に戻る。内挿をすると判断
した場合は、ステップＳ１１に進み、上述した内挿処理
を行う。After the search area is determined in step S7, a motion vector is detected in step S8. Then, in step S9, based on the motion vector obtained in step S8, it is determined whether to interpolate the interpolated image into the intermittent image to be reproduced. When it is determined that no interpolation is performed, in step S10, no interpolation is performed or another interpolation process is performed, and the process returns to step S3. When it is determined that the interpolation is performed, the process proceeds to step S11, and the above-described interpolation process is performed.
【００５４】以上のように、本発明を適用した実施の形
態である映像信号再生装置１では、間欠的に記録された
映像信号を再生する際に、その映像の内容に応じた補間
処理を行い違和感の少ない画像を再生することができ
る。As described above, in the video signal reproducing apparatus 1 according to the embodiment to which the present invention is applied, when reproducing an intermittently recorded video signal, the video signal reproducing apparatus 1 performs an interpolation process according to the content of the video. An image with less discomfort can be reproduced.
【００５５】また、本発明を適用した他の実施の形態と
して、図１３に示す映像信号変換装置５０がある。この
映像信号変換装置５０は、信号受信部５２と、映像信号
処理部３と、付加情報処理部４と、動きベクトル検出部
５と、内挿処理部６と、出力信号処理部７と、システム
コントロール部８と、操作入力部９とを備える。この映
像信号変換装置５０は、上述した映像信号再生装置１と
記録媒体１０から再生した信号の処理を行うか、伝送さ
れた信号の処理を行うかという点で機能の相違がある。
従って、この映像信号変換装置５０は、信号受信部５２
以外の各構成要素の機能は映像信号再生装置１と同一で
ある。As another embodiment to which the present invention is applied, there is a video signal conversion device 50 shown in FIG. The video signal conversion device 50 includes a signal reception unit 52, a video signal processing unit 3, an additional information processing unit 4, a motion vector detection unit 5, an interpolation processing unit 6, an output signal processing unit 7, a system A control unit 8 and an operation input unit 9 are provided. The video signal conversion device 50 has a difference in function in whether to process a signal reproduced from the above-described video signal reproduction device 1 and the recording medium 10 or to process a transmitted signal.
Therefore, the video signal conversion device 50 includes a signal receiving unit 52
The function of each component other than the above is the same as that of the video signal reproducing device 1.
【００５６】信号受信部５２には、伝送された映像信号
が入力され、この映像信号の再生処理をする。この伝送
される入力信号は、例えば、通信又は放送により伝送さ
れた映像信号から一定の映像信号を間引いたコマ落ち画
像、すなわち、間欠画像である。The transmitted video signal is input to the signal receiving unit 52, and the video signal is reproduced. The transmitted input signal is, for example, a dropped frame image in which a certain video signal is thinned out from a video signal transmitted by communication or broadcasting, that is, an intermittent image.
【００５７】以上のように、本発明を適用した実施の形
態である映像信号変換装置５０では、間欠的に伝送され
た映像信号を再生する際に、その映像の内容に応じた補
間処理を行い違和感の少ない画像を再生することができ
る。As described above, in the video signal conversion device 50 according to the embodiment to which the present invention is applied, when reproducing the video signal transmitted intermittently, the video signal conversion device 50 performs the interpolation processing according to the content of the video. An image with less discomfort can be reproduced.
【００５８】なお、上述した実施の形態の映像信号再生
装置１及び映像信号変換装置５０では、映像信号をアッ
プコンバートするものであっても適用ができる。The video signal reproducing device 1 and the video signal converting device 50 according to the above-described embodiments can be applied to a device that up-converts a video signal.
【００５９】[0059]
【発明の効果】本発明に係る映像信号再生装置では、サ
ーチエリア制御手段が、動きベクトルを検出する為のサ
ーチエリアを制御して内挿フレームを生成することによ
り、間欠的に記録された映像信号を再生する際に、その
映像の内容に応じた補間処理を行い違和感の少ない画像
を再生することができる。In the video signal reproducing apparatus according to the present invention, the search area control means controls the search area for detecting the motion vector to generate an interpolated frame, so that the intermittently recorded video is generated. When reproducing a signal, an interpolation process according to the content of the video can be performed to reproduce an image with less discomfort.
【００６０】また、本発明に係る映像信号再生装置で
は、動きベクトルを検出する為のサーチエリアを制御し
て内挿フレームを生成することにより、間欠的に記録さ
れた映像信号を再生する際に、その映像の内容に応じた
補間処理を行い違和感の少ない画像を再生することがで
きる。Further, in the video signal reproducing apparatus according to the present invention, by controlling the search area for detecting the motion vector and generating the interpolated frame, when reproducing the intermittently recorded video signal, By performing interpolation processing according to the contents of the video, an image with less discomfort can be reproduced.
【図１】本発明を適用した映像信号再生装置のブロック
構成図である。FIG. 1 is a block diagram of a video signal reproducing apparatus to which the present invention is applied.
【図２】動きベクトル検出処理についての説明図であ
る。FIG. 2 is an explanatory diagram of a motion vector detection process.
【図３】動きベクトル検出処理についての説明図であ
る。FIG. 3 is an explanatory diagram of a motion vector detection process.
【図４】動きベクトル検出処理についての説明図であ
る。FIG. 4 is an explanatory diagram of a motion vector detection process.
【図５】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。FIG. 5 is an explanatory diagram of a search area used in a motion vector detection process.
【図６】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。FIG. 6 is an explanatory diagram of a search area used in a motion vector detection process.
【図７】本発明を適用した映像信号再生装置の動きベク
トル検出部のブロック構成図である。FIG. 7 is a block diagram of a motion vector detecting unit of the video signal reproducing apparatus to which the present invention is applied.
【図８】映像信号からデジタル輝度信号と同期信号を分
離する回路のブロック構成図である。FIG. 8 is a block diagram of a circuit that separates a digital luminance signal and a synchronization signal from a video signal.
【図９】内挿処理についての説明図である。FIG. 9 is a diagram illustrating an interpolation process.
【図１０】本発明を適用した映像信号再生装置の内挿処
理部のブロック構成図である。FIG. 10 is a block diagram of an interpolation processing unit of a video signal reproducing apparatus to which the present invention has been applied.
【図１１】本発明の内挿処理部により出力される映像信
号についての説明図である。FIG. 11 is an explanatory diagram of a video signal output by an interpolation processing unit according to the present invention.
【図１２】本発明を適用した映像信号再生装置のシステ
ムコントロール部の処理内容を示すフローチャートであ
る。FIG. 12 is a flowchart showing processing contents of a system control unit of the video signal reproducing apparatus to which the present invention is applied.
【図１３】本発明を適用した映像信号変換装置のブロッ
ク構成図である。FIG. 13 is a block diagram of a video signal conversion device to which the present invention is applied.
１ 映像信号再生装置、２ 信号生成部、３ 映像信号
処理部、４ 付加情報処理部、５ 動きベクトル検出
部、６ 内挿処理部、７ 出力信号処理部、８システム
コントロール部、３１ 第１のメモリ、３２ 第２のメ
モリ、３３ メモリライトコントローラ、３４ メモリ
リードコントローラ、３５ 合成回路、３６ コントロ
ーラ５０、５０ 映像信号変換装置、５２ 信号受信部REFERENCE SIGNS LIST 1 video signal reproducing device, 2 signal generation unit, 3 video signal processing unit, 4 additional information processing unit, 5 motion vector detection unit, 6 interpolation processing unit, 7 output signal processing unit, 8 system control unit, 31 first Memory, 32 second memory, 33 memory write controller, 34 memory read controller, 35 combining circuit, 36 controller 50, 50 video signal converter, 52 signal receiving unit
Claims (6)
と、 上記間欠的な映像信号から時間的に連続した２つのフレ
ーム間の動きベクトルを検出する動きベクトル検出手段
と、 上記動きベクトルを検出する為のサーチエリアを制御す
るサーチエリア制御手段と、 上記動きベクトルと上記時間的に連続した２つのフレー
ムとに基づき、この時間的に連続した２つのフレームを
補間する内挿フレームを生成する内挿フレーム生成手段
と、 上記内挿フレームを上記間欠的な映像信号に合成して出
力する出力手段とを備える映像信号再生装置。1. A reproducing means for reproducing an intermittent video signal; a motion vector detecting means for detecting a motion vector between two temporally continuous frames from the intermittent video signal; Search area control means for controlling a search area for performing interpolation, and generating an interpolation frame for interpolating two temporally continuous frames based on the motion vector and the two temporally continuous frames. A video signal reproducing apparatus, comprising: an insertion frame generation unit; and an output unit that combines the interpolation frame with the intermittent video signal and outputs the combined signal.
信号に付加されている付加信号に基づき動きベクトルの
サーチエリアを制御することを特徴とする請求項１に記
載の映像信号再生装置。2. The video signal reproducing apparatus according to claim 1, wherein said search area control means controls a search area of a motion vector based on an additional signal added to said video signal.
ベクトル検出手段により直前に検出した動きベクトルに
基づき、動きベクトルのサーチエリアを制御することを
特徴とする請求項１に記載の映像信号再生装置。3. The video signal reproducing apparatus according to claim 1, wherein said search area control means controls a search area of a motion vector based on a motion vector detected immediately before by said motion vector detection means. .
ら時間的に連続した２つのフレーム間の動きベクトルを
検出し、 上記動きベクトルと上記時間的に連続した２つのフレー
ムとに基づき、この時間的に連続した２つのフレームを
補間する内挿フレームを生成し、 上記内挿フレームを上記映像信号に合成して出力するこ
とを特徴とする映像信号再生方法。4. An intermittent video signal is reproduced, a search area for detecting a motion vector is determined, and a time interval between two frames successive from the video signal reproduced in the determined search area is determined. Detecting a motion vector, generating an interpolation frame for interpolating the two temporally continuous frames based on the motion vector and the two temporally continuous frames, and A video signal reproducing method characterized in that the video signal is synthesized and output.
に基づき動きベクトルのサーチエリアを確定することを
特徴とする請求項４に記載の映像信号再生方法。5. The video signal reproducing method according to claim 4, wherein a search area of a motion vector is determined based on an additional signal added to the video signal.
きベクトルのサーチエリアを確定することを特徴とする
請求項４に記載の映像信号再生方法。6. The video signal reproducing method according to claim 4, wherein a search area for a motion vector is determined based on a motion vector detected immediately before.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9036763A JPH10233997A (en) | 1997-02-20 | 1997-02-20 | Video signal reproducing device and video signal reproducing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9036763A JPH10233997A (en) | 1997-02-20 | 1997-02-20 | Video signal reproducing device and video signal reproducing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10233997A true JPH10233997A (en) | 1998-09-02 |
Family
ID=12478802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9036763A Withdrawn JPH10233997A (en) | 1997-02-20 | 1997-02-20 | Video signal reproducing device and video signal reproducing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10233997A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432973B2 (en) | 2007-12-26 | 2013-04-30 | Kabushiki Kaisha Toshiba | Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus |
-
1997
- 1997-02-20 JP JP9036763A patent/JPH10233997A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432973B2 (en) | 2007-12-26 | 2013-04-30 | Kabushiki Kaisha Toshiba | Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0809399B1 (en) | Apparatus for reproducing downwards compatible video signals with increased vertical resolution | |
| JP3495485B2 (en) | Image conversion device | |
| US6137947A (en) | Method and apparatus for reproducing a video signal | |
| US7269342B1 (en) | Video signal reproducing device | |
| JPH10233996A (en) | Video signal reproducing device and video signal reproducing method | |
| JPH10233997A (en) | Video signal reproducing device and video signal reproducing method | |
| KR20010092316A (en) | Image recording/reproducing apparatus and method | |
| JP2002077780A (en) | Image signal record reproduction control device | |
| JP3312456B2 (en) | Video signal processing device | |
| JP2001339637A (en) | Image processing device, method and recording medium | |
| JP2002185980A (en) | Multi-format recording and reproducing device | |
| JP2007300568A (en) | Video signal processing apparatus | |
| US20010043207A1 (en) | Image display device | |
| JP2002094949A (en) | Video information reproducing device and repoducing method | |
| JP3336085B2 (en) | Imaging recording and playback device | |
| KR100223568B1 (en) | Controller of stationary picture reproduction memory in a digital vcr | |
| JP2687881B2 (en) | HDTV signal decoding device | |
| JPH11220702A (en) | Video recording and reproducing device, video display device and video transmission system | |
| JPH08195936A (en) | Slow image reproducing device | |
| JPH0795539A (en) | Image recording and reproducing device | |
| JPH01186086A (en) | Still picture reproduction device | |
| JPH10243341A (en) | Image detector and image detecting method | |
| JPS6239990A (en) | Moving part detecting circuit | |
| JPS6053124A (en) | Digital subtraction system | |
| JPH0575916A (en) | Video camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040511 |