JP3656438B2

JP3656438B2 - High-speed image input conversion device

Info

Publication number: JP3656438B2
Application number: JP31177798A
Authority: JP
Inventors: 宏明由雄; 上野山　　努; 大作小宮; 山田　　和範; 孝夫松本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1998-11-02
Filing date: 1998-11-02
Publication date: 2005-06-08
Anticipated expiration: 2018-11-02
Also published as: JP2000138929A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラやデッキなどからパソコンに入力した映像に対して、フォーマット変換などの画像処理を施す画像入力変換装置に関し、特に、入力画像から所望の画像に高速に変換できるようにしたものである。
【０００２】
【従来の技術】
近年、リアルタイム伝送機能を備える高速インターフェース、IEEE1394等の登場により、カメラ・VTRなどの画像出力装置からパソコンにDV(Digital Video)等の高画質なデジタル画像を入力することが可能になってきた。パソコンに入力したDVは、多チャンネルサービスを提供する衛星放送やVOD(Video On Demand)システムに用いられる時間軸方向および空間軸方向に圧縮を施したMPEG(Moving Picture Coding Experts Group)フォーマットに変換して、衛星やネットワークに送信することが多い。パソコンに入力したDVをMPEGに変換を行なうためには、DCT(Discrete Cosine Transform)復号化・可変長復号化(VLD:Variable Length Decode)を施すDVデコードおよびDCT符号化・可変長符号化(VLC:Variable Length Coding)・動き補償符号化等を施すMPEGエンコードの画像処理を行なう必要がある。
【０００３】
一般に、画像処理は、画像入力・演算処理・画像出力など各モジュールが連結して一連の処理を並列に高速に行なうことのできるパイプライン方式を取る。パイプライン処理を行なう画像処理方法は、例えば、特開平8-263628号公報にも開示されている。その方法は、特開平8-263628号公報中の図2に相当する、図２６に示すように、画像入出力部、特徴抽出部、システム制御部の画像メモリへのアクセスが並列に実行できるように、画像処理部が画像データを処理し、その結果を画像メモリに出力すると同時に、各部に起動をかける手段を備えることにより、画像メモリへのアクセスを並列に実行できるようにして高速処理およびシステムのスループット向上を実現している。また、画像処理部で処理を行ないたい画像データがビデオメモリから画像メモリに転送される前に書き替えられるのを防止するために、ビデオメモリの内容の更新を禁止する排他制御を行なっている。
【０００４】
【発明が解決しようとする課題】
しかし、従来の技術を用いて、パソコンに入力したDVをMPEGにリアルタイムに変換する場合、画像入力、可変長復号化等の処理を行なうモジュール間でのデータ転送にかかる時間が膨大し、高速なパイプライン処理が実現できない問題が生じる。
そこで本発明では第一に、モジュール間のデータ転送に要する処理を削減することを目的とする。
【０００５】
また、フレームを複数のパケットに分割して画像データを転送するIEEE1394等に従来の技術を用いると、IEEE1394転送方式ではフレームあたりのパケット数は固定でないため、画像処理の基本単位であるフレーム単位で、ビデオメモリのバッファの排他制御を行なうことは困難である。
そこで本発明では第二に、フレーム単位での排他制御を実現することを目的とする。
【０００６】
また、従来の技術では、ビデオメモリ内の排他制御が画像処理部の処理速度に連動しているため、画像処理部の処理速度が遅い場合、受信画像の欠落が頻繁に生じる。
そこで本発明では第三に、ビデオメモリ内の受信画像量に応じて画像処理部の処理速度を調整し受信画像の欠落を抑制することを目的とする。
【０００７】
また、従来の技術では、画像データをビデオメモリから画像メモリへ転送されるまで、該当するビデオメモリ領域に受信画像を書き込むことが出来ないため、プロセッサ全体に負荷がかかっているときは、数フレームという単位で画像が欠落する問題が生じる。
そこで本発明では第四に、受信画像のオーバフロー時に受信画像の欠落を間引くこと、あるいはVTRやカメラ等の画像出力装置を制御して受信画像の欠落を抑制することを目的とする。
【０００８】
また、ビデオとオーディオを多重化して転送するIEEE1394等に従来の技術を用いると、受信画像のオーバフロー時にビデオだけでなくオーディオも欠落する問題が生じる。
そこで本発明では第五に、受信画像のオーバフロー時にオーディオ処理を優先し、オーディオの欠落を抑制することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、
第一に、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送するようにしたものである。図２５は、ＤＶ受信モジュール2502とデコードモジュール2504間で、フレームバッファ2503を介してデータを転送するのではなく、パケットバッファ2501内のデータのアクセス情報2505を転送することにより、データ転送に要する処理を削減出来る。これにより、パイプライン処理の構造のまま、データ転送に要する処理を削減する効果を奏するものである。
【００１０】
第二に、フレームあたりのパケット数が固定でない場合、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定するようにしたものである。これにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にする効果を奏するものである。
【００１１】
第三に、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制できる効果を奏するものである。
【００１２】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できる効果を奏するものである。
【００１３】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にしたものである。これにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１４】
第四に、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定するようにしたものである。これにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１５】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できる効果を奏するものである。
【００１６】
第五に、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写するようにしたものである。これにより、受信画像のオーバフロー時にオーディオの欠落は抑制できる効果を奏するものである。
【００１７】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写するようにしたものである。これにより、データ転送に要する処理を削減してオーディオの欠落を抑制できる効果を奏するものである。
【００１８】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにしたものである。これにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できる効果を奏するものである。
【００１９】
【発明の実施の形態】
以下、本発明の各実施の形態について、図１から図２４を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００２０】
（実施の形態１）
まず最初に、パイプライン構造のまま、データ転送に要する処理を削減する高速画像入力変換装置の実現方法および前記高速画像入力変換装置の排他制御の実現方法について述べる。
【００２１】
本高速画像入力変換装置は、図1において、カメラ・VTR等の画像出力装置から画像を受信し、受信バッファに1〜Nの順番に繰り返し格納する画像受信手段101と、画像受信手段101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報を、バッファ単位で（：受信バッファ内の各バッファ毎に）生成するアクセス情報生成手段102と、アクセス情報生成手段102により生成したアクセス情報を参照し、画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段103から構成される。
【００２２】
画像受信手段101で受信する画像データはIEEE1394の場合、図3-aに示すように、1フレームの画像データを複数のパケットに分割してアイソクロナス方式で送信側から転送される。アイソクロナス方式は転送帯域を保証したリアルタイム転送方式で、一定間隔でパケットを転送する必要がある。このため、一定時間内に画像データのパケット(以下、画像パケットと呼ぶ)を生成できない場合には、画像データが含まれていないヘッダのみのパケット(以下、空パケットと呼ぶ)が転送されるようになっている。受信側では、送信側で転送された画像パケットと空パケットを受信バッファに書き込む。空パケットの発生する頻度が不定なため、受信バッファ内にある実際の画像データの格納箇所は、受信バッファによって異なる。このため、図3-bに示すように、フレーム毎に画像データが格納されているバッファの格納箇所が異なり、1フレーム分の画像データが複数のバッファに格納されることになる。IEEE1394の画像データ転送方法には、例えば、デジタルカメラなどのフォーマットであるDVを用いたものがあり、1フレームあたり120KBのDVを250個のパケットに分割してアイソクロナス方式で転送される。
【００２３】
一般に、画像を受信して画像処理を行なう場合は、画像受信手段101と画像処理手段103が並列に高速処理できるようにパイプライン方式を採る。パイプライン方式では、画像受信手段101で受信した画像データを画像処理手段103に転送し、画像処理手段103内のメモリに画像処理前の画像データを蓄積するため、DV等高画質な画像を扱う場合、データ転送の処理に時間がかかる。
【００２４】
この問題を解決するため、本高速画像入力変換装置では、受信バッファを共有化し、アクセス情報生成手段102が受信バッファ内の画像データのアクセス情報を生成し、画像処理手段103にアクセス情報を転送するようにしている。
【００２５】
DVのアクセス情報は、図3-cに示すように、1フレームあたり1500個からなるDifブロックの格納箇所をバッファ単位で生成している。Difブロックは80Bの大きさで、1フレームあたりのビデオ・オーディオのデータやヘッダ情報等を分割してDifブロック内に格納している。図3-cでは、フレームの先頭からDifブロック番号(DifNo)を1からカウントし、DifNoとDifブロックの格納箇所(offset)をセットにして生成する。アクセス情報生成手段102で生成したバッファ単位のアクセス情報のサイズは、受信バッファ内の画像データサイズに比べて格段に小さい。従って、本高速画像入力変換装置では、パイプライン処理の構造のまま、データ転送に要する処理を削減できる効果が期待できる。
【００２６】
また、アクセス情報をバッファ単位でなくフレーム単位で生成することもできる。図3-dに示すように、フレーム内のDifNo=1〜1500に対する格納箇所(バッファ番号(BufNo),offset)をセットにして生成する。フレーム単位でアクセス情報を生成することにより、画像処理手段103もフレーム単位で画像処理を行なうことが可能になる。
また、画像処理手段103が処理に必要な画像データのみアクセス情報からランダムに抽出することも可能である。
【００２７】
また、画像処理手段103が処理を行ない易いように、アクセス情報生成手段102がアクセス情報の(DifNo,offset)の順番を並び替えることも可能である。例えば、DVの場合、1ビデオセグメントを構成する5MB(MB=Macro Block:8x8の画素が4つ)の情報量を均一化するため、1画面内から所定のルールでシャッフリングして5つのMBを集めセグメント化する。DifNo=1とDifNo=2のDifブロック(Difブロック=1MB)は、1画面内では離れたところにあるブロックとなるため、画像処理手段103でシャッフリングを解く作業を行ない指定された領域の画像データを抽出して画像処理を行なう必要がある。従って、アクセス情報生成手段102がシャッフリングを解く作業を行ないながら元画像のMBの並びでアクセス情報を生成することで、画像処理手段103の処理速度を向上することが可能となる。
【００２８】
図4-aは画像受信手段101、図4-bはアクセス情報生成手段102、図4-cは画像処理手段103の処理の流れを示したフローチャートで、以下その動作を説明する。
step401: 受信バッファの番号を示すBufNoの値を初期化する。
step402: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step403: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step404: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step402に戻る。
step405: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段102に通知する。
step406: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step407: 画像受信手段101の処理終了の合図があるまで、step402〜step406を繰り返す。
終了の合図があれば、画像受信手段101の処理を終了する。
step411: 画像受信手段101の受信バッファ処理要求の通知を受信する。
step412: アクセス情報を生成する。
step413: 生成したアクセス情報を格納する。
step414: アクセス情報生成手段102の処理終了の合図があるまで、step411〜step413を繰り返す。終了の合図があれば、アクセス情報生成手段102の処理を終了する。
step421: アクセス情報生成手段421により生成したアクセス情報を取得する。
step422: アクセス情報を参照して、受信バッファから画像データを取得する。
step423: 取得した画像データから画像処理を行なう。
step424: 画像処理手段103の処理終了の合図があるまで、step421〜step423を繰り返す。終了の合図があれば、画像処理手段103の処理を終了する。
【００２９】
以上のように、本高速画像入力変換装置は、
モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減でき、その実用的効果は大きい。
なお、パケットの格納方法として、ヘッダをつけて格納する場合を説明したが、ヘッダを除去して格納する方法でも同様の効果が得られる。
【００３０】
（実施の形態２）
次に、本高速画像入力変換装置における受信バッファの"排他制御"の実現方法について述べる．
アクセス情報をバッファ単位で生成する場合は、図2に示すように、画像処理手段203が処理終了した受信バッファのバッファ番号を画像受信手段201に通知し、画像受信手段201が画像処理手段203により受信バッファの処理終了通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。しかし、アクセス情報がフレーム単位で生成される場合は、図3-bのようにフレーム内の画像処理が終了しても、次フレームの画像処理が終了するまで受信バッファの再受信通知を行なうことのできない場合が生じる。
【００３１】
本高速画像入力変換装置でアクセス情報がフレーム単位で生成される場合の排他制御は、図5において、カメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段501と、画像受信手段501により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段502と、フレームアクセス情報生成手段502により生成したフレームアクセス情報を用いて画素ブロックの画像処理を施す画像処理手段503と、画像処理手段503により処理したフレームに該当する受信バッファで再受信可能な受信バッファ番号をスケジュールして画像受信手段501に通知する受信バッファスケジュール手段504と、から構成され、画像受信手段501は受信バッファスケジュール手段504により受信バッファに対する再受信の通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。
【００３２】
図6は画像処理手段503と受信バッファスケジュール手段504の受信バッファにおける排他制御の処理の流れを示したフローチャートで、以下その動作を説明する．
なお画像受信手段501の処理は、図4-aのstep406に、更新したBufNoの再受信通知が行なわれるまで待機する処理を追加したものと同様で、フレームアクセス情報生成手段502の処理は、図4-bのstep412の処理をフレーム単位で行なうようにしたものと同様である。
step601: フレームアクセス情報生成手段502により生成したフレームアクセス情報を取得する。
step602: フレームアクセス情報を参照して、受信バッファから画像データを取得する。
step603: 取得した画像データから画像処理を行なう。
step604: フレームアクセス情報を用いてフレーム内の画像処理が終了したら、フレームアクセス情報に含まれている受信バッファ番号(BufNo)を受信バッファスケジュール手段504に通知する。
step605: 画像処理手段503の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、画像処理手段503の処理を終了する。
step611: 画像処理手段503により処理終了した受信バッファ番号(BufNo)を受理する。
step612: 受理した受信バッファ番号(BufNo)の中で、再受信可能なバッファを決定する。再受信可能バッファ決定方法は、図6-cのように、受信バッファ番号iに対して、i+1(i+1がNより大きい場合、1とする)の受信バッファ番号が受理されている場合、受信バッファ番号iは再受信可能バッファとする方法である。
step613: step612で決定した受信バッファ番号を画像受信手段501に通知する。
step614:受信バッファスケジュール手段504の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、受信バッファスケジュール手段504の処理を終了する。
【００３３】
以上のように、本高速画像入力変換装置は、
フレームあたりのパケット数が固定でない場合でも、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御が可能となり、その実用的効果は大きい。
【００３４】
（実施の形態３）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ方法について述べる。
【００３５】
図7において、701は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し、現在受信している受信バッファの番号を現受信バッファ番号に格納する画像受信手段、702は画像受信手段701により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、703はアクセス情報生成手段702により生成したアクセス情報から画像処理を行ない、画像処理中の受信バッファの番号が現受信バッファ番号に対してある閾値以下の場合、処理中の受信バッファの画像処理を中断し次受信バッファの画像処理を行なう画像処理手段を示す。
【００３６】
図9-aは画像受信手段701、図9-bは画像処理手段703の処理の流れを示したフローチャートで、以下その動作を説明する。アクセス情報生成手段702のフローチャートは図4-bと同様である。
step901: 受信バッファの番号を示すBufNoの値を初期化する。また、現受信バッファ番号の値も初期化(現受信バッファ番号=1)する。
step902: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step903: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step904: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step902に戻る。
step905: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段702に通知する。
step906: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step907: 現受信バッファ番号の値をBufNoにする。
step908: 画像受信手段701の処理終了の合図があるまで、step902〜step907を繰り返す。
終了の合図があれば、画像受信手段701の処理を終了する。
step911: アクセス情報生成手段702により生成したアクセス情報を取得する。
step912: "現受信バッファ番号(RecBuf)"と"画像処理中のバッファ番号(CurBuf)"との差(受信可能な受信バッファ数)をf(RecBuf,CurBuf)より求め、その値がM以下の場合は、画像処理中の処理を中断し、step911に戻り、次のアクセス情報を取得する。差がMより大きい場合は、step913に進む。
step913: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step914: 取得した画像データから画像処理を行なう。
step915: バッファ内の画像処理が終了した場合、step916に進む。バッファ内の画像処理が途中の場合、step912に戻る。
step916: 画像処理手段703の処理終了の合図があるまで、step911〜step915を繰り返す。終了の合図があれば、画像処理手段703の処理を終了する。
【００３７】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step912等）を設け、受信画像量に応じて画像処理速度を調整できるため、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００３８】
（実施の形態４）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像の解像度を変更して画像処理を行なう方法について述べる。
【００３９】
図8において、801はカメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し現受信バッファ番号に現在受信している受信バッファの番号を格納する画像受信手段、802は画像受信手段801により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、803はアクセス情報生成手段802により生成したアクセス情報に対応する受信バッファの番号と現受信バッファ番号を比較し画像処理を行なう上での解像度を決定する解像度決定手段、804は解像度決定手段803により決定した解像度で画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段を示す。
解像度決定方法は、例えばDVの符号化であるDCTを用いると、受信画像量に応じて4段階の解像度を指定することができる。図10-aでは、8x8DCTブロックから8x8の画素ブロックを求める画像処理を示しており、まず、指定した解像度(4種類)に応じて、8x8DCTブロックの低周波の領域から (直流成分、2x2DCT成分、4x4DCT成分、8x8DCT成分)の一つを抽出し、逆DCT（IDCT）を施す。ただし、直流成分に関しては、IDCTは行なわない。次に、YxYDCTブロック（Y=2、4、8）のIDCTはYxYの画素ブロックとなるため、元サイズの8x8の画素ブロックとなるよう拡大する。一般に、IDCTの処理は、画素ブロック拡大の処理より数倍時間がかかるため、受信画像量に応じて、IDCTを行なう数を調整することは有効である。
【００４０】
図10-bは解像度決定手段803と画像処理手段804の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段801、アクセス情報生成手段802のフローチャートはそれぞれ図9-a、図4-bと同様である。
step1001: アクセス情報生成手段802により生成したアクセス情報を取得する。
step1002: 現受信バッファ番号と画像処理を行なうバッファ番号の差を求め、その差に応じて、画像処理を行なう上での解像度を決定する。
step1003: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step1004: 取得した画像データから指定した解像度で画像処理を行なう。
step1005: バッファ内の画像処理が終了した場合、step1006に進む。バッファ内の画像処理が途中の場合、step1002に戻る。
step1006: 画像処理手段804の処理終了の合図があるまで、step1001〜step1005を繰り返す。終了の合図があれば、画像処理手段804の処理を終了する。
【００４１】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step1002等）を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落および画像処理した画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００４２】
（実施の形態５）
次に、本高速画像入力変換装置のオーバフロー制御実現方法およびオーバフロー検出時の受信画像間引き方法あるいはカメラ・VTR等の映像出力装置を操作して受信画像の欠落を防ぐ方法について述べる。
【００４３】
本高速画像入力変換装置のオーバフロー制御は、図11のように、
カメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段1101と、画像受信手段1101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成し、キュー管理手段1104によりオーバフローの指示があった場合にはアクセス情報を一定の割合で削除し（：例えば、割合として１/２に削除するときは、１アクセス情報おきに削除することを意味し、削除する割合値は任意である）、削除したアクセス情報に対応する受信バッファ番号をキュー管理手段1104に通知するアクセス情報生成削除手段1102と、
アクセス情報生成削除手段1102により生成したアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、受信バッファ番号をキュー管理手段1104に通知する画像処理手段と、
アクセス情報生成削除手段1102または画像処理手段1103により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはアクセス情報生成削除手段1102にオーバフローの指示を送るキュー管理手段1104と、から構成される。
【００４４】
図13-aは画像受信手段1101、図13-bはアクセス情報生成削除手段1102、図13-cはキュー管理手段1104、図13-dは画像処理手段1103の処理の流れを示したフローチャートで、以下その動作を説明する。
step1301〜1305,1307: step401〜405,407と同様の処理を行なう。
step1306: 次の受信バッファの番号をキューから取得する。
step1311: 画像受信手段1101からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段1104からのオーバフロー処理要求を受信する。
step1312: 受信した要求がアクセス情報生成処理要求の場合、step1313に進む。オーバフロー処理要求の場合、step1315に進む。
step1313: 受信バッファからアクセス情報を生成する。
step1314: 生成したアクセス情報を格納する。
step1315: step1314で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step1316: 削除すると決定したアクセス情報に対応する受信バッファ番号をキュー管理手段1104にすべて通知する。
step1317: step1315で決定したアクセス情報を削除する。
step1318: アクセス情報生成削除手段1102の処理終了の合図があるまで、step1311〜step1317を繰り返す。終了の合図があれば、アクセス情報生成削除手段1102の処理を終了する。
step1321:アクセス情報生成手段1102または画像処理手段1103より受信可能な受信バッファ番号を受信する。
step1322: 受信した受信バッファ番号をキューに格納する。
step1323: キューにある受信バッファ番号の数がM(整数)未満なら、step1324に進む。M以上ならstep1325に進む。
step1324: 受信画像量がオーバフローを起こしたことをアクセス情報生成手段1102に通知する。
step1325: キュー管理手段1104の終了処理の合図があるまで、step1321〜step1324を繰り返す。終了の合図があれば、キュー管理手段1104の処理を終了する。
step1331〜1333: step421〜step423と同様の処理を行なう。
step1334: 画像処理終了した受信バッファの番号をキュー管理手段1104に通知する。
step1335: 画像処理手段1103の終了処理の合図があるまで、step1331〜step1334を繰り返す。終了の合図があれば、画像処理手段1103の処理を終了する。
【００４５】
図14は図11に示す各手段の処理過程におけるキューの状態遷移を表したものである。
step1401: 画像受信手段1101が、開始後、受信バッファ１〜Nまで画像を受信し、画像処理手段1103が受信バッファ5の処理を行なっている場合は、キューには、1〜4までの受信バッファ番号が格納されている。(画像処理手段1103が受信バッファ4の処理終了時、画像受信手段1101は受信バッファN-3の処理を行なっていたので、キューには5個以上の受信バッファ番号が格納されており、キュー管理手段1104によりオーバフロー検出はおきなかったものとする。)
ｓｔｅｐ１４０２：画像受信手段1101が、受信バッファ１に受信を開始し、画像処理手段1103が受信バッファ5の処理を終了し、キュー管理手段1104がキューに受信バッファ5を格納した場合、キューには、2〜5の受信バッファ番号が格納されている。
step1403: キュー管理手段1104がオーバフロー検出後、アクセス情報生成削除手段1102に通知し、アクセス情報生成削除手段1102がオーバフロー時の処理( 1バッファおきに削除)を終了し、画像受信手段1101が、受信バッファ１に受信途中で、画像処理手段1103が受信バッファ6の処理途中の場合、キューには、2〜5,7,9,11,13,...の受信バッファ番号が格納されることになる。
【００４６】
以上のように、本オーバフロー制御方法は、
受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、オーバフロー検出方法として、キューイングを行なった後、オーバフローの判定を行なう場合を説明したが、一定間隔でキューの状態を監視してオーバフロー検出する方法でも、同様の効果が得られる。
【００４７】
（実施の形態６）
次に、本高速画像入力変換装置でオーバフローを検出した場合に、フレーム単位で一定のフレームレートなるように画像を間引く方法について述べる。
【００４８】
図12において、1201はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、1202は画像受信手段1201により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位でフレームアクセス情報として生成し、キュー管理手段1205によりオーバフローの指示があった場合にはフレームアクセス情報を一定の割合で削除し、削除したフレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知するフレームアクセス情報生成削除手段、1203はフレームアクセス情報生成削除手段1202により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知する画像処理手段、1204はフレームアクセス情報生成手段1202または画像処理手段1203により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1205に通知する受信バッファスケジュール手段、1205は受信バッファスケジュール手段1204により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはフレームアクセス情報生成削除手段1202にオーバフローの指示を送るキュー管理手段を示す。
【００４９】
図15-aは受信バッファスケジュール手段1204の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1201、画像処理手段1203、キュー管理手段1205のフローチャートはそれぞれ図13-a、図6-a、図13-cと同様で、フレームアクセス情報生成削除手段1202の処理は、図13-bの処理をフレーム単位で行なうようにしたものと同様である。
step1501: 画像処理手段1203により処理終了した受信バッファ番号またはフレームアクセス情報生成削除手段1202により削除処理終了した受信バッファ番号を受理する。画像処理手段1203とフレームアクセス情報生成削除手段1202での処理終了バッファ転送方法を図15-cに示す。まず、受信バッファに対してフレームアクセス情報の参照箇所(先頭,全部、最後)を求める。もし、フレームアクセス情報の参照箇所が先頭の場合、処理終了後、受信バッファ番号を1回送り、最後の場合、受信バッファ番号を2回送り、全部の場合、受信バッファ番号を3回送る。例えば、図15-bの場合を考えると、m+1フレーム目のフレームアクセス情報を削除する場合、受信バッファ番号6を2回、10を3回、1を1回送ることになる。なお、受信バッファの大きさは、1フレーム分相当とする。
step1502: 受理した受信バッファ番号の中で、再受信可能な受信バッファ番号を決定する。再受信可能バッファ決定方法は、同じ受信バッファ番号を3回受信した時点で再受信可能バッファと決定し、その受信バッファ番号をキュー管理手段1205へ通知する。
step1503: step1502で決定した受信バッファ番号をキュー管理手段1205に通知する。
step1504:受信バッファスケジュール手段1204の処理終了の合図があるまで、step1501〜step1504を繰り返す。終了の合図があれば、受信バッファスケジュール手段1204の処理を終了する。
【００５０】
以上のように、本フレーム単位での間引き方法は、
オーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、画像処理中による数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
【００５１】
（実施の形態７）
次に、オーバフロー検出時にカメラ・VTR等の画像出力装置を制御して受信画像の欠落を防ぐ方法について述べる．
図16において、1601はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、
1602は画像受信手段1601により受信した受信画像から同一フレームの画像を削除し、削除フレームに対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する同一フレーム削除手段、
1603は同一フレーム削除手段1602により未削除のフレームに対して複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段、
1604はフレームアクセス情報生成手段1603により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する画像処理手段、
1605は同一フレーム削除手段1602または画像処理手段1604により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1606に通知する受信バッファスケジュール手段、
1606は受信バッファスケジュール手段1605により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合には画像出力装置にテープ一時停止要求を出し、キューに格納されているバッファ番号の数がある閾値以上になった場合には画像出力装置にテープ再生要求を出すキュー管理手段を示す。
【００５２】
テープが一時停止状態の場合、画像出力装置は同一フレームの画像データを転送するため、受信側で同一フレームを削除する機構が必要となる。キュー管理手段1606から画像出力装置にテープ制御を送る方法は、例えば、IEEE1394を用いた場合、アシンクロナス(非同期)方式で、画像出力装置にテープ再生・一時停止等の要求を転送することができる。図17-aは同一フレーム削除手段1602、図17-bはフレームアクセス情報生成手段1603、図17-cはキュー管理手段1606の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1601、画像処理手段1604のフローチャートはそれぞれ図13-a、図6-aと同様である。
step1701: 画像受信手段1601の受信バッファ処理要求の通知を受信する。
step1702: 受信バッファからフレーム単位で画像データの特徴量を抽出する。
step1703: 受信バッファ内にフレームの切れ目があるか判定し、フレームの切れ目があれば、step1704に進む。フレームの切れ目がなければ、step1701に戻る。
step1704: step1702で抽出した特徴量を用いて現フレームが前フレームと同一か判定する。
同一フレームの場合、step1705に進む。同一フレームでない場合、step1706に進む。
step1705: 現フレームに対応する受信バッファを受信バッファスケジュール手段1605に図15-cの通知方法で通知する。
step1706: フレームアクセス情報生成手段1603にフレームのアクセス情報生成要求を送る。要求内容としては、フレームの格納箇所(複数の受信バッファ番号とフレームの先頭の受信バッファ内オフセット)を転送する。
step1707: 同一フレーム削除手段1602の処理終了の合図があるまで、step1701〜step1707を繰り返す。終了の合図があれば、同一フレーム削除手段1602の処理を終了する。
step1711: 同一フレーム削除手段1602からのアクセス情報生成要求を受信する。
step1712: フレームの先頭からフレームアクセス情報を生成する。
step1713: 生成したアクセス情報を格納する。
step1714: フレームアクセス情報生成手段1603の処理終了の合図があるまで、step1711〜step1714を繰り返す。終了の合図があれば、フレームアクセス情報生成手段1603の処理を終了する。
step1721:受信バッファスケジュール手段1605より受信可能な受信バッファ番号を受信する。
step1722: 受信した受信バッファ番号をキューに格納する。
step1723: キューにある受信バッファ番号の数がM(整数)未満なら、step1724に進む。M以上ならstep1725に進む。
step1724: 画像出力装置にテープ一時停止要求を送る。
step1725: キューにある受信バッファ番号の数がL(整数、M < L)より大きい場合、step1726に進む。L以下ならstep1727に進む。
step1726: 画像出力装置にテープ再生要求を送る。
step1727: キュー管理手段1606の処理終了の合図があるまで、step1721〜step1726を繰り返す。終了の合図があれば、キュー管理手段1606の処理を終了する。
【００５３】
フレーム内の特徴量を抽出して同一フレームを判定する方法は、例えば、DCTの直流成分を抽出して比較する方法が考えられる。しかし、動きがない画像の場合、テープ再生中でも同一フレームと誤判定してしまう可能性や、フレーム内から直流成分を取出すため処理速度が遅くなると言った問題点が生じる。本機器制御連動装置では、画像がDVの場合に、一部の画像データから高速に同一フレームの判定を行なうことができる。その方法には、
ａ．DVのDifブロック内にあるSequence Numberの値を用いる方法、
ｂ．DVのHeader SectionにあるDFTIAの値を用いる方法、
ｃ．DVのSubcode SectionにあるTimecodeの値を用いる方法
が挙げられる。
【００５４】
DVは図18-aのように、1フレームあたり10個のDif Sequenceから構成されており、各Dif Sequenceには、ヘッダ情報・ビデオ・オーディオデータ等を格納している150個のDif Blockから構成される。aのSequence NumberはDifブロック毎に4ビットの大きさで格納されているが、DVのHeader Section、Subcode SectionおよびVAUX Section内のSequence Numberは、映像出力装置からの転送時に書き替えられることが多い。
【００５５】
本機器制御連動装置では、Sequence Numberを映像出力装置からの転送時に書き替えられないAudio&Video Sectionから取得している。Sequence Numberは0〜11までの値をフレーム単位で持っており、図18-bのように、テープ再生時には0〜11の値のフレームが繰り返し転送され、テープ一時停止時には、同じ値のフレームが繰り返し転送される。bのDFTIAはフレーム内のHeader Sectionに4ビット(0〜15までの値)の大きさで格納されており、図18-bのように、テープ再生時には0〜15の内、二つの値が繰り返し転送され、テープ一時停止時には、同じ値が繰り返し転送される。cのTimecodeはフレーム内のSubcode Sectionに4バイトの大きさで格納されており、図18-bのように、テープ再生時にはフレームの時間が昇順に転送され、テープ一時停止時にはフレームの時間が格納されずに転送される。よって、上記a,b,cの値が連続して同じ場合、同一フレームと判断し、同一フレームを削除することができる。
【００５６】
なお、Timecodeが未記録のテープを再生した場合、テープ一時停止状態とみなし、Timecode未記録部分を削除することにする。また、テープ一時停止状態からテープ再生状態にした場合に生じる画像の乱れを抑制するために、数フレーム巻戻し後テープ再生を行ない、巻き戻しフレームの削除を上記a,b,cの値を用いて行なうことも可能である。また、画像出力装置にテープ一時停止要求を出し、一定時間内に同一フレームが検出されない場合、画像出力装置はライブモードと判定し、オーバフロー時にフレーム間引き処理を行なう図12の高速画像入力変換装置に切り替えることも可能である。
【００５７】
以上のように、同一フレームを削除する方法に、上記a,b,cの値を用いることで、同一フレーム判定の高速化および受信画像の欠落防止を実現でき、その実用的効果は大きい。なお、画像の乱れ抑制法として、テープ一時停止状態から数フレーム巻戻し後テープ再生を行なう場合を説明したが、テープ停止状態(画像データ未転送状態)から数フレーム巻戻し後テープ再生を行なう場合でも同様の効果が得られる。
【００５８】
（実施の形態８）
次に、ビデオとオーディオを多重化して転送する場合に、オーディオ処理を優先してオーディオデータの欠落を抑制する方法について述べる。
【００５９】
図19において、1901は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段、1902は画像受信手段1901により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のビデオのアクセス情報をバッファ単位で生成し、オーディオのデータを受信バッファからオーディオデータメモリに複写するアクセス情報生成手段、1903はアクセス情報生成手段1902により生成したアクセス情報を参照しビデオの画素ブロックを受信バッファから直接読み出し処理を行ない、オーディオデータメモリからオーディオの処理を行なう画像処理手段を示す。
【００６０】
図21-aはアクセス情報生成手段1902、図21-bは画像処理手段1903の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1901のフローチャートは図4-aと同様である。
step2101: 画像受信手段1901の受信バッファ処理要求の通知を受信する。
step2102: 生成するアクセス情報がビデオブロックに関する場合、step2103に進む。オーディオに関する場合、step2105に進む。
step2103: ビデオのアクセス情報を生成する。
step2104: 生成したビデオのアクセス情報を格納する。
step2105: オーディオのデータをオーディオデータメモリに複写する。
step2106: バッファ内の処理が終了するまで、step2102からstep2105を繰り返す。バッファ内の処理が終了した場合、step2107に進む。
step2107: アクセス情報生成手段1902の処理の合図があるまで、step2101〜step2106を繰り返す。終了の合図があれば、アクセス情報生成手段1902の処理を終了する。
step2111: ビデオ処理の場合、step2112に進む。オーディオ処理の場合、step2114に進む。
step2112: アクセス情報生成手段1902により生成したビデオのアクセス情報を取得する。
step2113: アクセス情報を参照して、受信バッファからビデオデータを取得する。
step2114: アクセス情報生成手段1902により複写したオーディオのデータをオーディオデータメモリから取得する。
step2115: ビデオあるいはオーディオの処理を行なう。
step2116: 画像処理手段1903の処理の合図があるまで、step2111〜step2115を繰り返す。終了の合図があれば、画像処理手段1903の処理を終了する。
【００６１】
以上のように、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６２】
（実施例９）
次に、オーディオデータの複写を受信画像のオーバフロー時のみ行なう方法について述べる．
本高速画像入力変換装置は、図20において、図11の高速画像入力変換装置にオーディオデータメモリを追加し、アクセス情報生成削除手段2002がオーディオのアクセス情報も生成し、キュー管理手段2004によりオーバフローの通知がなされた場合にはオーディオのアクセス情報に基づいて受信バッファからオーディオのデータを抽出しオーディオデータメモリに複写を行なってからアクセス情報を削除し、画像処理手段2003がアクセス情報生成削除手段2002により生成したアクセス情報がある場合にはアクセス情報からビデオとオーディオの処理を行ない、アクセス情報がない場合(削除された場合)にはオーディオデータメモリからオーディオの処理を行なうように動作する。
【００６３】
図22-aはアクセス情報生成削除手段2002、図22-bは画像処理手段2003の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段2001、キュー管理手段2004のフローチャートは図13-a、図13-cと同様である。
step2201: 画像受信手段2001からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段2004からのオーバフロー処理要求を受信する。
step2202: 受信した要求がアクセス情報生成処理要求の場合、step2203に進む。オーバフロー処理要求の場合、step2205に進む。
step2203: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。
step2204: 生成したアクセス情報を格納する。
step2205: step2204で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step2206: step2205で削除すると決定したアクセス情報に含まれるオーディオのデータをオーディオデータメモリに複写する。
step2207: 削除すると決定したアクセス情報に含まれる受信バッファ番号をキュー管理手段2004にすべて通知する。
step2208: step2205で決定したアクセス情報を削除する。
step2209: アクセス情報生成削除手段2002の処理終了の合図があるまで、step2201〜step2208を繰り返す。終了の合図があれば、アクセス情報生成削除手段2002の処理を終了する。
step2211: 受信画像のオーバフロー時に、アクセス情報生成削除手段2002により次のアクセス情報が削除されていた場合、step2214に進む。次のアクセス情報がある場合、step2212に進む。
step2212: アクセス情報生成削除手段2002により生成したアクセス情報を取得する。
step2213: アクセス情報を参照して、受信バッファからビデオあるいはオーディオのデータを取得する。
step2214: アクセス情報生成削除手段2002により複写したオーディオのデータをオーディオデータメモリから取得する。
step2215: ビデオあるいはオーディオの処理を行なう。
step2216: 画像処理終了した受信バッファ番号をキュー管理手段2004に通知する。
step2217: 画像処理手段2003の処理の合図があるまで、step2211〜step2216を繰り返す。終了の合図があれば、画像処理手段2003の処理を終了する。
【００６４】
以上のように、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分のみ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６５】
（実施例１０）
次に、オーディオのデータを複写しないでオーディオの欠落を抑制する方法について述べる．
本高速画像入力変換装置は、図23において、図11の高速画像入力変換装置に、書込み禁止情報メモリを追加し、アクセス情報生成削除手段2302がオーディオのアクセス情報も生成し、キュー管理手段2304によりオーバフローの通知がなされた場合にはオーディオのアクセス情報を書込み禁止情報メモリに複写を行なってからビデオのアクセス情報のみを削除し、画像受信手段2301は書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込むように動作する。
【００６６】
図24-aは画像受信手段2301、図24-bはアクセス情報生成削除手段2302、図24-cは画像処理手段2303の処理の流れを示したフローチャートで、以下その動作を説明する。キュー管理手段2304のフローチャートは図13-cと同様である。
step2401〜2402,2405〜2408: step1301〜1302,1304〜1307と同様の処理を行なう。
step2403: 書込みを行なっている受信バッファに対応する書込み禁止情報を取得する。
step2404: 書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込む。
step2411〜2412,2414〜2415,2417〜2419: step2201〜2202,2204〜2205,2207〜2209と同様の処理を行なう。
step2413: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。なお、画像受信手段2301でスキップした領域のオーディオのアクセス情報は生成しないものとする。
step2416: step2415で削除すると決定したアクセス情報内のオーディオアクセス情報を書込み禁止情報メモリに複写する。
step2421: アクセス情報生成削除手段2302により生成したアクセス情報を取得する。
step2422: 取得したアクセス情報がオーディオのみのアクセス情報の場合、step2423に進む。ビデオ・オーディオのアクセス情報の場合、step2426に進む。
step2423: アクセス情報を参照して、受信バッファからオーディオのデータを取得する。
step2424: オーディオの処理を行なう。
step2425: 処理終了したオーディオの書込み禁止情報を削除する。
step2426: アクセス情報を参照して、受信バッファからビデオ・オーディオのデータを取得する。
step2427: ビデオあるいはオーディオの処理を行なう。
step2428: 処理終了した受信バッファ番号をキュー管理手段2304に通知する。
step2429: 画像処理手段2303の終了処理の合図があるまで、step2421〜step2428を繰り返す。終了の合図があれば、画像処理手段2303の処理を終了する。
【００６７】
以上のように、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６８】
【発明の効果】
以上のように、第一の発明では、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減できるという有利な効果が得られる。
【００６９】
第二の発明では、フレームあたりのパケット数が固定でない場合に、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にするという有利な効果が得られる。
【００７０】
第三の発明では、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制できるという有利な効果が得られる。
【００７１】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できるという有利な効果が得られる。
【００７２】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７３】
第四の発明では、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数のフレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７４】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いることにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できるという有利な効果が得られる。
【００７５】
第五の発明では、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落は抑制できるという有利な効果が得られる。
【００７６】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制できるという有利な効果が得られる。
【００７７】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の構成を示すブロック図
【図２】第２の実施の形態における受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図３】受信バッファ内のパケット格納状態とアクセス情報生成方法を説明する図
【図４】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の動作を示す流れ図
【図５】第２の実施の形態におけるフレーム単位で受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図６】第２の実施の形態におけるフレーム単位で受信バッファ内排他制御を実現した高速画像入力変換装置の動作を示す流れ図および再受信可能バッファ決定方法を説明する図
【図７】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図８】第４の実施の形態における受信画像量に応じて画像の解像度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図９】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１０】 DCTを用いた解像度調整方法を説明する図および第４の実施の形態における受信画像量に応じて画像の解像度を調節して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１１】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１２】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１３】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図
【図１４】キューの状態遷移の例を示す説明図
【図１５】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図および処理終了バッファ転送方法と再受信可能バッファ決定方法を説明する図
【図１６】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の構成を示すブロック図
【図１７】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の動作を示す流れ図
【図１８】 DVフォーマット構造を説明する図およびテープ再生・一時停止状態時のフレーム内情報の変化例を示す図
【図１９】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２０】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２１】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２２】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２３】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２４】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２５】本願発明における、各モジュール間のデータ転送を省略した、アクセス情報の転送による高速なデータ転送方式の例図
【図２６】従来のパイプライン処理を用いた画像処理の構成図
【符号の説明】
１０１・・・画像受信手段
１０２・・・アクセス情報生成手段
１０３・・・画像処理手段
５０４・・・受信バッファスケジュール手段
８０３・・・解像度決定手段
１１０４・・・キュー管理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image input conversion device that performs image processing such as format conversion on video input to a personal computer from a camera or a deck, and in particular, can convert an input image to a desired image at high speed. is there.
[0002]
[Prior art]
In recent years, with the advent of IEEE1394, a high-speed interface with a real-time transmission function, it has become possible to input high-quality digital images such as DV (Digital Video) from a video output device such as a camera / VTR to a personal computer. DV input to a personal computer is converted to MPEG (Moving Picture Coding Experts Group) format that is compressed in the time axis direction and the spatial axis direction used in satellite broadcasting and VOD (Video On Demand) systems that provide multi-channel services. Often sent to a satellite or network. In order to convert DV input to a personal computer into MPEG, DVT with DCT (Discrete Cosine Transform) decoding / variable length decoding (VLD) and DCT coding / variable length coding (VLC) : Variable Length Coding) / MPEG-encoded image processing that performs motion compensation coding, etc. is required.
[0003]
In general, image processing takes a pipeline system in which modules such as image input, arithmetic processing, and image output are connected to perform a series of processing in parallel at high speed. An image processing method for performing pipeline processing is also disclosed in, for example, Japanese Patent Laid-Open No. 8-263628. The method corresponds to FIG. 2 in JP-A-8-263628, and as shown in FIG. 26, the image input / output unit, the feature extraction unit, and the system control unit can access the image memory in parallel. In addition, the image processing unit processes the image data and outputs the result to the image memory. At the same time, the image processing unit is provided with means for starting up each unit, so that the access to the image memory can be executed in parallel, and high-speed processing and system Improved throughput. Further, in order to prevent the image data to be processed by the image processing unit from being rewritten before being transferred from the video memory to the image memory, exclusive control for prohibiting updating of the contents of the video memory is performed.
[0004]
[Problems to be solved by the invention]
However, when converting DV input to a personal computer to MPEG in real time using conventional technology, the time required for data transfer between modules that perform processing such as image input and variable length decoding is enormous and high speed. There arises a problem that pipeline processing cannot be realized.
Therefore, a first object of the present invention is to reduce processing required for data transfer between modules.
[0005]
In addition, when the conventional technology is used for IEEE1394, which transfers image data by dividing a frame into a plurality of packets, the number of packets per frame is not fixed in the IEEE1394 transfer method, so it is a basic unit of image processing. It is difficult to perform exclusive control of the video memory buffer.
Therefore, a second object of the present invention is to realize exclusive control in units of frames.
[0006]
In the conventional technique, exclusive control in the video memory is linked to the processing speed of the image processing unit. Therefore, when the processing speed of the image processing unit is low, missing received images frequently occur.
Therefore, a third object of the present invention is to adjust the processing speed of the image processing unit in accordance with the amount of received image in the video memory, thereby suppressing missing of the received image.
[0007]
Further, in the conventional technique, the received image cannot be written in the corresponding video memory area until the image data is transferred from the video memory to the image memory. There arises a problem that an image is lost in units of.
Accordingly, a fourth object of the present invention is to thin out the missing of the received image when the received image overflows or to control the image output device such as a VTR or a camera to suppress the missing of the received image.
[0008]
In addition, when a conventional technique is used for IEEE1394 or the like that multiplexes and transfers video and audio, there is a problem that not only video but also audio is lost when the received image overflows.
Accordingly, a fifth object of the present invention is to prioritize audio processing at the time of overflow of a received image and suppress audio loss.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides:
First, a shared buffer is provided between modules so that only access information is transferred without transferring data between modules. FIG. 25 shows processing required for data transfer by transferring access information 2505 of data in the packet buffer 2501 instead of transferring data between the DV receiving module 2502 and the decoding module 2504 via the frame buffer 2503. Can be reduced. As a result, the processing required for data transfer can be reduced while maintaining the pipeline processing structure.
[0010]
Second, when the number of packets per frame is not fixed, multiple receive buffers are managed in units of frames, and after image processing is performed in units of frames, re-receivable receive buffers are scheduled and determined. is there. As a result, there is an effect that enables exclusive control and overflow control of the reception buffer in units of frames.
[0011]
Third, a mechanism is provided that allows the image processing means to grasp the amount of received image in the reception buffer so that the image processing speed can be adjusted according to the amount of received image. As a result, it is possible to suppress the loss of the received image due to the delay of the image processing speed.
[0012]
In addition, a mechanism that allows the image processing means to grasp the received image amount of the reception buffer is provided so that the processing speed can be adjusted by changing the resolution of the image according to the received image amount. Thereby, it is possible to suppress the loss of the received image due to the delay of the image processing speed, and further, it is possible to suppress the loss of the image processed image.
[0013]
In addition, a queue mechanism that manages which reception buffer to store the received video is provided, and when the received image overflows, a random buffering structure that issues a re-reception request to the queue from something other than the reception buffer currently used in image processing It is a thing. Thus, a re-reception request for the reception buffer during the image processing can be made after the image processing, and there is an effect that the missing of the received image in units of several frames generated during the image processing can be suppressed.
[0014]
Fourthly, a queue mechanism for managing which reception buffer to store the received video and a mechanism for managing a plurality of reception buffers in units of frames are provided, and when a received image overflows, from a plurality of frames other than the frame being processed. Frames are selected at a certain rate, and a re-receivable buffer is scheduled and determined from among a plurality of reception buffers corresponding to the selected frame. As a result, a random buffering structure in units of frames can be realized, and the effect of suppressing the loss of received images in units of several frames during image processing can be achieved.
[0015]
Also, when the received image overflows, the amount of change in the DV Sequence Number is used for the method of controlling the camera, VTR, etc. to pause the tape and deleting the same frame. As a result, the same frame can be determined at a high speed, and further, the loss of the received image can be suppressed.
Alternatively, the amount of change in DFTIA in the DV Header section is used as a method for deleting the same frame. As a result, the same frame can be determined at a high speed, and further, the loss of the received image can be suppressed.
Alternatively, the timecode value in the subcode section of DV is used as a method for deleting the same frame. As a result, the same frame can be determined at high speed, and when the timecode is continuously attached, the effect of suppressing the loss of the received image can be achieved.
[0016]
Fifth, only the audio part is extracted from the reception buffer in which video and audio are multiplexed and copied to the audio data memory. Thus, there is an effect that audio loss can be suppressed when the received image overflows.
[0017]
Further, when the received image overflows, only the audio portion is extracted from the reception buffer in which video and audio are multiplexed and copied to the audio data memory. As a result, it is possible to reduce the processing required for data transfer and suppress the loss of audio.
[0018]
Further, when the received image overflows, the received image is not stored in the audio area of the receive buffer. As a result, there is an effect that audio loss can be suppressed without performing data transfer in the audio area.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to FIGS. Note that the present invention is not limited to these embodiments, and can be implemented in various modes without departing from the scope of the present invention.
[0020]
(Embodiment 1)
First, a method for realizing a high-speed image input conversion device that reduces processing required for data transfer while maintaining a pipeline structure, and a method for realizing exclusive control of the high-speed image input conversion device will be described.
[0021]
In FIG. 1, the high-speed image input conversion apparatus receives an image from an image output apparatus such as a camera or a VTR, and receives the image by the image receiving means 101, which is repeatedly stored in the receiving buffer in the order of 1 to N. Access information generating means 102 for generating access information in a reception buffer for a pixel block composed of a plurality of pixels from the received image in units of buffers (for each buffer in the reception buffer), and access information generation means Reference is made to the access information generated by 102, and the image processing means 103 is configured to read the pixel block directly from the reception buffer and perform image processing.
[0022]
When the image data received by the image receiving means 101 is IEEE1394, as shown in FIG. 3A, one frame of image data is divided into a plurality of packets and transferred from the transmission side in an isochronous manner. The isochronous method is a real-time transfer method that guarantees the transfer bandwidth, and it is necessary to transfer packets at regular intervals. Therefore, if a packet of image data (hereinafter referred to as an image packet) cannot be generated within a certain period of time, a header-only packet that does not include image data (hereinafter referred to as an empty packet) is transferred. It has become. On the reception side, the image packet and the empty packet transferred on the transmission side are written in the reception buffer. Since the frequency of occurrence of empty packets is indefinite, the actual image data storage location in the reception buffer differs depending on the reception buffer. Therefore, as shown in FIG. 3B, the storage location of the buffer storing the image data for each frame is different, and the image data for one frame is stored in a plurality of buffers. An IEEE1394 image data transfer method uses, for example, DV which is a format of a digital camera or the like, and 120 KB DV per frame is divided into 250 packets and transferred in an isochronous manner.
[0023]
In general, when an image is received and image processing is performed, a pipeline system is adopted so that the image receiving means 101 and the image processing means 103 can perform high-speed processing in parallel. In the pipeline method, the image data received by the image receiving means 101 is transferred to the image processing means 103, and the image data before image processing is stored in the memory in the image processing means 103, so that high-quality images such as DV are handled. In this case, the data transfer process takes time.
[0024]
In order to solve this problem, in the high-speed image input conversion apparatus, the reception buffer is shared, the access information generation unit 102 generates access information of the image data in the reception buffer, and transfers the access information to the image processing unit 103. I am doing so.
[0025]
As shown in FIG. 3C, DV access information is generated in buffer units at 1500 Dif block storage locations per frame. The Dif block is 80B in size, and video / audio data, header information, etc. per frame are divided and stored in the Dif block. In FIG. 3-c, the Dif block number (DifNo) is counted from 1 from the beginning of the frame, and the DifNo and the Dif block storage location (offset) are generated as a set. The size of the access information for each buffer generated by the access information generating means 102 is much smaller than the image data size in the reception buffer. Therefore, this high-speed image input conversion apparatus can be expected to reduce the processing required for data transfer while maintaining the pipeline processing structure.
[0026]
It is also possible to generate access information not in units of buffers but in units of frames. As shown in FIG. 3D, the storage locations (buffer numbers (BufNo), offset) for DifNo = 1 to 1500 in the frame are generated as a set. By generating access information in units of frames, the image processing means 103 can also perform image processing in units of frames.
It is also possible for the image processing means 103 to randomly extract only the image data necessary for processing from the access information.
[0027]
Further, the access information generating unit 102 can rearrange the order of (DifNo, offset) of the access information so that the image processing unit 103 can easily perform the processing. For example, in the case of DV, in order to equalize the amount of information of 5 MB (MB = Macro Block: 4 pixels of 8x8) that make up one video segment, shuffle it with a predetermined rule from 1 screen and 5 MB Collect and segment. Since the Dif block with DifNo = 1 and DifNo = 2 (Dif block = 1MB) is a distant block in one screen, the image processing means 103 performs the work of solving the shuffling and the image data of the specified area Must be extracted to perform image processing. Therefore, it is possible to improve the processing speed of the image processing means 103 by generating the access information in the order of MB of the original image while the access information generating means 102 performs the work of solving the shuffling.
[0028]
FIG. 4-a is a flowchart showing the processing flow of the image receiving means 101, FIG. 4-b is the access information generating means 102, and FIG. 4-c is the processing flow of the image processing means 103. The operation will be described below.
step401: Initialize the BufNo value indicating the receive buffer number.
Step 402: Receive a packet of image data from an image output device such as a camera / VTR.
step 403: The received image data packet is stored in the reception buffer (BufNo).
Step 404: It is determined whether or not the packet has been stored up to the end of the reception buffer.
Step 405: When the packet is stored up to the end of the reception buffer, the access information generation means 102 is notified that the image data has been accumulated in the reception buffer.
step406: Increase the receive buffer number (BufNo) by one. If BufNo exceeds the buffer size (N), BufNo = 1.
Step 407: Step 402 to step 406 are repeated until there is a signal to end the processing of the image receiving means 101.
If there is an end signal, the processing of the image receiving means 101 is ended.
step 411: The notification of the reception buffer processing request of the image receiving means 101 is received.
step412: Generate access information.
step413: Store the generated access information.
step 414: Steps 411 to 413 are repeated until there is a signal to terminate the processing of the access information generating means 102. If there is an end signal, the process of the access information generating means 102 is ended.
step 421: The access information generated by the access information generating means 421 is acquired.
Step 422: Obtain image data from the reception buffer with reference to the access information.
step423: Image processing is performed from the acquired image data.
step 424: Steps 421 to 423 are repeated until there is a signal to end the processing of the image processing means 103. If there is an end signal, the processing of the image processing means 103 is ended.
[0029]
As described above, the high-speed image input conversion device
By providing a shared buffer between modules and transferring only access information without transferring data between modules, the processing required for data transfer can be reduced while maintaining the pipeline processing structure, and its practical effect is great.
Although the case where the packet is stored with the header added has been described, the same effect can be obtained by storing the packet with the header removed.
[0030]
(Embodiment 2)
Next, the implementation method of "exclusive control" of the reception buffer in this high-speed image input conversion device is described.
When generating access information in units of buffers, as shown in FIG. 2, the image processing unit 203 notifies the image receiving unit 201 of the buffer number of the reception buffer that has been processed, and the image receiving unit 201 uses the image processing unit 203 to This can be realized by prohibiting re-reception of the buffer until the end of processing of the reception buffer is notified. However, when the access information is generated in units of frames, even if the image processing within the frame is completed as shown in FIG. 3B, the reception buffer re-reception notification is performed until the image processing for the next frame is completed. There are cases where it is impossible.
[0031]
The exclusive control when access information is generated in units of frames in this high-speed image input conversion device is shown in FIG. 5, receiving images from image output devices such as cameras and VTRs, and repeatedly storing them in the receive buffer in the order of 1 to N A frame access information generating unit 502 for generating, in a frame unit, access information in a reception buffer for a pixel block composed of a plurality of pixels from a received image received by the image receiving unit 501; The image processing unit 503 performs image processing of the pixel block using the frame access information generated by the information generation unit 502, and schedules the reception buffer number that can be received again by the reception buffer corresponding to the frame processed by the image processing unit 503. Receiving buffer schedule means 504 for notifying the image receiving means 501 Shin means 501 until the re-reception notification is performed on the receiving buffer by the receiving buffer scheduling means 504 can be realized by inhibiting the re-reception for that buffer.
[0032]
FIG. 6 is a flowchart showing the flow of exclusive control processing in the reception buffer of the image processing means 503 and the reception buffer scheduling means 504. The operation will be described below.
The processing of the image receiving unit 501 is the same as the step 406 of FIG. 4-a in which processing for waiting until the re-reception notification of the updated BufNo is performed is similar to the processing of the frame access information generating unit 502. This is the same as the processing in which step 412 of 4-b is performed in units of frames.
step 601: The frame access information generated by the frame access information generating means 502 is acquired.
step 602: Refer to the frame access information to acquire image data from the reception buffer.
step 603: Image processing is performed from the acquired image data.
step 604: When the image processing in the frame is completed using the frame access information, the reception buffer scheduling means 504 is notified of the reception buffer number (BufNo) included in the frame access information.
step 605: Steps 601 to 604 are repeated until there is a signal to end the processing of the image processing means 503. If there is an end signal, the processing of the image processing means 503 is ended.
step 611: The reception buffer number (BufNo) that has been processed by the image processing means 503 is received.
step 612: The receivable buffer is determined from the received reception buffer numbers (BufNo). As shown in FIG. 6-c, the receivable buffer determination method accepts a reception buffer number i + 1 (if i + 1 is greater than N, 1) as the reception buffer number i. In this case, the reception buffer number i is a re-receivable buffer.
step 613: The reception buffer number determined in step 612 is notified to the image receiving means 501.
step 614: Steps 601 to 604 are repeated until there is a signal to end the processing of the reception buffer scheduling means 504. If there is an end signal, the processing of the reception buffer scheduling means 504 is terminated.
[0033]
As described above, the high-speed image input conversion device
Even if the number of packets per frame is not fixed, multiple receive buffers are managed in units of frames, image processing is performed in units of frames, and then a receivable receive buffer is scheduled and determined to receive in units of frames. Buffer exclusive control is possible, and its practical effect is great.
[0034]
(Embodiment 3)
Next, a method for preventing leakage of received images by adjusting the image processing speed according to the amount of received images without performing exclusive control of the reception buffer in the high-speed image input conversion apparatus will be described.
[0035]
In FIG. 7, 701 is an image receiving means for receiving an image from the image output device and repeatedly storing it in the receiving buffer in the order of 1 to N, and storing the currently received receiving buffer number in the current receiving buffer number; Access information generating means for generating access information in the reception buffer for the pixel block composed of a plurality of pixels from the received image received by the image receiving means 701, and 703 is an image from the access information generated by the access information generating means 702 An image processing means that performs processing and interrupts image processing of the receiving buffer being processed and performs image processing of the next receiving buffer when the number of the receiving buffer being processed is equal to or smaller than a certain threshold with respect to the current receiving buffer number. .
[0036]
FIG. 9-a is a flowchart showing the processing flow of the image receiving means 701, and FIG. 9-b is a flowchart showing the processing flow of the image processing means 703. The operation will be described below. The flowchart of the access information generating unit 702 is the same as that in FIG.
step901: The value of BufNo indicating the receive buffer number is initialized. Also, the value of the current reception buffer number is initialized (current reception buffer number = 1).
step 902: Receive a packet of image data from an image output device such as a camera or VTR.
step 903: The received image data packet is stored in the reception buffer (BufNo).
Step 904: It is determined whether the packet has been stored up to the end of the reception buffer.
step 905: When the packet is stored up to the end of the reception buffer, the access information generation means 702 is notified that the image data has been accumulated in the reception buffer.
step906: Increase the receive buffer number (BufNo) by one. If BufNo exceeds the buffer size (N), BufNo = 1.
step907: The value of the current reception buffer number is set to BufNo.
Step 908: Step 902 to step 907 are repeated until there is a signal to end the processing of the image receiving means 701.
If there is an end signal, the processing of the image receiving means 701 is ended.
Step 911: Access information generated by the access information generating means 702 is acquired.
step912: Find the difference (number of receive buffers that can be received) between "Current receive buffer number (RecBuf)" and "Buffer number during image processing (CurBuf)" from f (RecBuf, CurBuf), and the value is less than M In this case, the process during the image processing is interrupted, and the process returns to step 911 to acquire the next access information. If the difference is greater than M, the process proceeds to step 913.
step 913: Referring to the access information, pixel block data composed of a plurality of pixels is acquired from the reception buffer. For example, in the case of DV, image data is acquired in units of Dif blocks.
step 914: Perform image processing from the acquired image data.
step 915: When the image processing in the buffer is completed, the process proceeds to step 916. If the image processing in the buffer is in progress, the process returns to step 912.
Step 916: Steps 911 to 915 are repeated until there is a signal to end the processing of the image processing means 703. If there is an end signal, the processing of the image processing means 703 is ended.
[0037]
As described above, the high-speed image input conversion device
A mechanism (such as step 912) that allows the image processing means to grasp the received image amount of the receive buffer is provided, and the image processing speed can be adjusted according to the received image amount. The loss of the received image can be suppressed, and its practical effect is great.
Although the case of the buffer unit has been described as the access information generation method, the same effect can be obtained with the access information of the frame unit.
[0038]
(Embodiment 4)
Next, a method for performing image processing by changing the resolution of an image according to the amount of received image without performing exclusive control of the reception buffer in the high-speed image input conversion apparatus will be described.
[0039]
In FIG. 8, 801 receives an image from an image output device such as a camera or VTR, repeatedly stores it in the receiving buffer in the order of 1 to N, and stores the receiving buffer number currently received in the current receiving buffer number. Means 802 is an access information generating means for generating access information in a receiving buffer for a pixel block composed of a plurality of pixels from the received image received by the image receiving means 801, and 803 is generated by the access information generating means 802 A resolution determination unit that determines the resolution for performing image processing by comparing the number of the reception buffer corresponding to the access information with the current reception buffer number, and 804 directly receives the pixel block from the reception buffer at the resolution determined by the resolution determination unit 803. An image processing means for performing read image processing is shown.
For example, when DCT, which is DV encoding, is used as the resolution determination method, four levels of resolution can be designated according to the amount of received images. Fig. 10-a shows image processing to obtain an 8x8 pixel block from an 8x8DCT block. 4x4DCT component and 8x8DCT component) are extracted and subjected to inverse DCT (IDCT). However, IDCT is not performed for DC components. Next, since the IDCT of the YxYDCT block (Y = 2, 4, 8) is a YxY pixel block, the IDCT is enlarged so as to be an 8x8 pixel block of the original size. In general, IDCT processing takes several times longer than pixel block enlargement processing, so it is effective to adjust the number of IDCT to be performed according to the amount of received images.
[0040]
FIG. 10-b is a flowchart showing the processing flow of the resolution determining means 803 and the image processing means 804. The operation will be described below. The flowcharts of the image receiving unit 801 and the access information generating unit 802 are the same as those in FIGS. 9A and 4-B, respectively.
step 1001: Access information generated by the access information generating means 802 is acquired.
Step 1002: The difference between the current reception buffer number and the buffer number for performing image processing is obtained, and the resolution for performing image processing is determined according to the difference.
step 1003: Referring to the access information, pixel block data composed of a plurality of pixels is acquired from the reception buffer. For example, in the case of DV, image data is acquired in units of Dif blocks.
step 1004: Perform image processing with the specified resolution from the acquired image data.
step 1005: When the image processing in the buffer is completed, the process proceeds to step 1006. If image processing in the buffer is in progress, the process returns to step 1002.
Step 1006: Step 1001 to step 1005 are repeated until there is a cue to end the processing of the image processing means 804. If there is an end signal, the processing of the image processing means 804 is ended.
[0041]
As described above, the high-speed image input conversion device
There is no exclusive control of the receive buffer by providing a mechanism (step1002 etc.) that allows the image processing means to grasp the received image amount of the receive buffer, and adjusting the processing speed by changing the image resolution according to the received image amount In addition, it is possible to suppress the loss of the received image and the loss of the image processed image due to the delay of the image processing speed, and the practical effect is great.
Although the case of the buffer unit has been described as the access information generation method, the same effect can be obtained with the access information of the frame unit.
[0042]
(Embodiment 5)
Next, a method for realizing overflow control of the high-speed image input conversion device, a method for thinning out received images at the time of overflow detection, or a method for preventing loss of received images by operating a video output device such as a camera / VTR will be described.
[0043]
The overflow control of this high-speed image input conversion device is as shown in FIG.
From the received image received by the image receiving means 1101 and the image receiving means 1101 for receiving the image from the image output device such as a camera / VTR and storing the received image in the receiving buffer corresponding to the receiving buffer number stored in the queue, Access information in the reception buffer for a pixel block composed of a plurality of pixels is generated in units of buffers, and when there is an overflow instruction from the queue management means 1104, the access information is deleted at a certain rate (for example: When deleting to 1/2 as a ratio, it means deleting every other access information, and the ratio value to be deleted is arbitrary), and the reception buffer number corresponding to the deleted access information is notified to the queue management means 1104 Access information generation / deletion means 1102
An image processing unit that directly reads out a pixel block from the reception buffer and performs image processing with reference to the access information generated by the access information generation / deletion unit 1102, and notifies the reception buffer number to the queue management unit 1104;
When the reception buffer number notified by the access information generation / deletion unit 1102 or the image processing unit 1103 is added to the queue, and the number of reception buffer numbers stored in the queue falls below a certain threshold, the access information generation / deletion unit 1102 Queue management means 1104 for sending an overflow instruction to
[0044]
13-a is a flow chart showing the flow of processing of the image receiving means 1101, FIG. 13-b is the access information generation / deleting means 1102, FIG. 13-c is the queue management means 1104, and FIG. 13-d is the flow chart of the image processing means 1103. The operation will be described below.
Steps 1301 to 1305 and 1307: The same processing as in steps 401 to 405 and 407 is performed.
step 1306: Get the next receive buffer number from the queue.
Step 1311: An access information generation processing request (including a reception buffer number) from the image receiving means 1101 or an overflow processing request from the queue management means 1104 is received.
step 1312: If the received request is an access information generation processing request, the process proceeds to step 1313. If it is an overflow processing request, the process proceeds to step 1315.
step1313: Generate access information from the reception buffer.
step1314: Store the generated access information.
Step 1315: Determine what to delete from the access information stored in step 1314. The determination method is, for example, access information at regular intervals.
step 1316: Notify the queue management means 1104 of all the reception buffer numbers corresponding to the access information determined to be deleted.
step1317: The access information determined in step1315 is deleted.
Step 1318: Step 1311 to step 1317 are repeated until there is a signal to terminate the processing of the access information generation / deletion means 1102. If there is an end signal, the process of the access information generation / deletion means 1102 is ended.
Step 1321: Receive receivable buffer numbers are received from the access information generating means 1102 or the image processing means 1103.
step1322: The received reception buffer number is stored in the queue.
step 1323: If the number of reception buffer numbers in the queue is less than M (integer), the process proceeds to step 1324. If more than M, go to step1325.
step 1324: Notifying the access information generating means 1102 that the received image amount has overflowed.
Step 1325: Steps 1321 to 1324 are repeated until there is a signal for completion processing of the queue management means 1104. If there is an end signal, the processing of the queue management means 1104 is ended.
step 1331 to 1333: The same processing as step 421 to step 423 is performed.
step 1334: The queue management means 1104 is notified of the number of the reception buffer for which image processing has been completed.
step 1335: Steps 1331 to 1334 are repeated until there is a signal for termination processing of the image processing means 1103. If there is an end signal, the processing of the image processing means 1103 is ended.
[0045]
FIG. 14 shows the state transition of the queue in the process of each means shown in FIG.
Step 1401: When the image receiving means 1101 starts receiving images from the receiving buffers 1 to N and the image processing means 1103 is processing the receiving buffer 5, the queue receives 1 to 4 receiving buffers. Number is stored. (When the image processing means 1103 finishes the processing of the reception buffer 4, the image reception means 1101 was processing the reception buffer N-3, so that the queue has five or more reception buffer numbers stored therein. (It is assumed that overflow detection has not occurred by means 1104.)
Step 1402: When the image receiving means 1101 starts receiving in the receiving buffer 1, the image processing means 1103 finishes processing of the receiving buffer 5, and the queue managing means 1104 stores the receiving buffer 5 in the queue, 2 to 5 receive buffer numbers are stored.
step1403: After the queue management means 1104 detects the overflow, it notifies the access information generation / deletion means 1102, the access information generation / deletion means 1102 finishes the processing at the time of overflow (deletion every other buffer), and the image reception means 1101 receives When the image processing means 1103 is in the process of receiving the buffer 6 while receiving it in the buffer 1, the receiving buffer numbers 2 to 5, 7, 9, 11, 13,... Are stored in the queue. Become.
[0046]
As described above, this overflow control method is
Provide a queue mechanism for managing which reception buffer to store the received video, and use a random buffering structure that issues a re-reception request to the queue from other than the reception buffer being used for image processing when the received image overflows Therefore, it is possible to suppress the loss of received images in units of several frames generated during image processing, and the practical effect is great.
As an overflow detection method, the case where the overflow is determined after queuing has been described. However, the same effect can be obtained by a method of detecting the overflow by monitoring the queue state at regular intervals.
[0047]
(Embodiment 6)
Next, a method for thinning out images so as to obtain a constant frame rate in units of frames when an overflow is detected by the high-speed image input conversion apparatus will be described.
[0048]
In FIG. 12, 1201 is an image receiving means for receiving an image from an image output device such as a camera / VTR and storing the received image in a receiving buffer corresponding to the receiving buffer number stored in the queue, and 1202 is an image receiving means 1201 Access information in the reception buffer for the pixel block composed of a plurality of pixels is generated from the received image as frame access information in units of frames, and when the overflow is instructed by the queue management means 1205, the frame access information is fixed. Frame access information generation / deletion means for notifying the reception buffer scheduling means 1204 of the reception buffer number corresponding to the deleted frame access information, and 1203 refers to the frame access information generated by the frame access information generation / deletion means 1202 Read the pixel block directly from the receive buffer. The image processing unit performs the outgoing image processing and notifies the reception buffer scheduling unit 1204 of the reception buffer number corresponding to the frame access information after the image processing for the frame is completed. 1204 is notified by the frame access information generation unit 1202 or the image processing unit 1203 Receive buffer scheduling means that schedules a receivable reception buffer number with the received reception buffer number and notifies the queue management means 1205, and 1205 adds the reception buffer number notified by the reception buffer scheduling means 1204 to the queue and stores it in the queue The queue management means for sending an overflow instruction to the frame access information generation / deletion means 1202 when the number of received buffer numbers falls below a certain threshold.
[0049]
FIG. 15-a is a flowchart showing the processing flow of the reception buffer scheduling means 1204. The operation will be described below. The flowcharts of the image receiving unit 1201, the image processing unit 1203, and the queue management unit 1205 are the same as those in FIGS. 13-a, 6-a, and 13-c, respectively. This is the same as the processing in which b is performed in units of frames.
Step 1501: The reception buffer number processed by the image processing unit 1203 or the reception buffer number deleted by the frame access information generation / deletion unit 1202 is accepted. A processing end buffer transfer method in the image processing unit 1203 and the frame access information generation / deletion unit 1202 is shown in FIG. First, the reference location (first, all, last) of the frame access information is obtained from the reception buffer. If the reference location of the frame access information is the head, the reception buffer number is sent once after the end of processing, the reception buffer number is sent twice in the last case, and in all cases, the reception buffer number is sent three times. For example, in the case of FIG. 15-b, when the frame access information of the (m + 1) th frame is deleted, the reception buffer number 6 is sent twice, 10 is sent three times, and 1 is sent once. Note that the size of the reception buffer is equivalent to one frame.
step 1502: Receivable receive buffer numbers are determined from the received receive buffer numbers. The re-receivable buffer determination method determines a re-receivable buffer when the same reception buffer number is received three times, and notifies the queue management means 1205 of the reception buffer number.
step 1503: The queue management means 1205 is notified of the reception buffer number determined in step 1502.
Step 1504: Step 1501 to step 1504 are repeated until there is a signal to end the processing of the reception buffer scheduling means 1204. If there is an end signal, the processing of the reception buffer scheduling means 1204 is terminated.
[0050]
As described above, the thinning method for each frame is as follows.
When overflow occurs, image processing is performed by selecting frames at a fixed rate from a plurality of frames other than the frame being processed, and scheduling and determining a re-receivable buffer among the plurality of reception buffers corresponding to the selected frame. The loss of the received image in units of several frames inside can be suppressed, and its practical effect is great.
[0051]
(Embodiment 7)
Next, a method for preventing the loss of received images by controlling the image output devices such as cameras and VTRs when overflow is detected is described.
In FIG. 16, 1601 is an image receiving means for receiving an image from an image output device such as a camera / VTR and storing the received image in a reception buffer corresponding to the reception buffer number stored in the queue,
1602 is the same frame deleting means for deleting the image of the same frame from the received image received by the image receiving means 1601 and notifying the reception buffer scheduling means 1605 of the reception buffer number corresponding to the deleted frame,
1603 is a frame access information generating unit that generates access information in a reception buffer for a pixel block composed of a plurality of pixels with respect to a frame that has not been deleted by the same frame deleting unit 1602;
1604 refers to the frame access information generated by the frame access information generating means 1603, directly reads out the pixel block from the reception buffer, performs image processing, and after the image processing for the frame is completed, the reception buffer number corresponding to the frame access information is set in the reception buffer schedule. Image processing means for notifying means 1605;
1605 is a reception buffer scheduling means for scheduling a reception buffer number that can be received again by the reception buffer number notified by the same frame deletion means 1602 or the image processing means 1604 and notifying the queue management means 1606,
1606 adds the reception buffer number notified by the reception buffer scheduling means 1605 to the queue, and issues a tape pause request to the image output device when the number of reception buffer numbers stored in the queue falls below a certain threshold. The queue management means for issuing a tape reproduction request to the image output apparatus when the number of buffer numbers stored in the queue exceeds a certain threshold value.
[0052]
When the tape is in a paused state, the image output apparatus transfers the image data of the same frame, so a mechanism for deleting the same frame on the receiving side is required. As a method for sending the tape control from the queue management unit 1606 to the image output apparatus, for example, when IEEE1394 is used, a request for tape reproduction / pause can be transferred to the image output apparatus by an asynchronous method. 17A is a flowchart showing the processing flow of the same frame deleting means 1602, FIG. 17B is the frame access information generating means 1603, and FIG. 17C is the flowchart showing the processing flow of the queue management means 1606. The operation will be described below. The flowcharts of the image receiving unit 1601 and the image processing unit 1604 are the same as those in FIGS. 13-a and 6-a, respectively.
Step 1701: Receive notification of the reception buffer processing request of the image receiving means 1601.
step1702: Extract feature values of image data from the reception buffer in units of frames.
Step 1703: It is determined whether there is a frame break in the reception buffer. If there is a frame break, the process proceeds to step 1704. If there is no frame break, the process returns to step 1701.
Step 1704: It is determined whether the current frame is the same as the previous frame using the feature amount extracted in step 1702.
In the case of the same frame, the process proceeds to step 1705. If they are not the same frame, go to step 1706.
step 1705: The reception buffer corresponding to the current frame is notified to the reception buffer scheduling means 1605 by the notification method of FIG. 15-c.
step 1706: A frame access information generation request is sent to the frame access information generation means 1603. As the request contents, a frame storage location (a plurality of reception buffer numbers and an offset in the reception buffer at the beginning of the frame) is transferred.
step 1707: Steps 1701 to 1707 are repeated until there is a signal to end the processing of the same frame deleting means 1602. If there is an end signal, the process of the same frame deleting means 1602 is ended.
Step 1711: The access information generation request from the same frame deletion means 1602 is received.
step 1712: Generate frame access information from the head of the frame.
step1713: Store the generated access information.
Step 1714: Step 1711 to step 1714 are repeated until there is a signal to end the processing of the frame access information generation means 1603. If there is an end signal, the processing of the frame access information generating means 1603 is ended.
Step 1721: Received reception buffer numbers are received from the reception buffer scheduling means 1605.
step1722: The received reception buffer number is stored in the queue.
Step 1723: If the number of reception buffer numbers in the queue is less than M (integer), the process proceeds to step 1724. If more than M, go to step1725.
step 1724: Send a tape pause request to the image output device.
step1725: The number of receive buffer numbers in the queue is L (integer, M If greater than <L), go to step 1726. If it is below L, go to step 1727.
step 1726: Send a tape playback request to the image output device.
step 1727: Steps 1721 to 1726 are repeated until there is a cue to end the processing of the queue management means 1606. If there is an end signal, the processing of the queue management means 1606 is ended.
[0053]
As a method of extracting the feature amount in the frame and determining the same frame, for example, a method of extracting and comparing DC components of DCT can be considered. However, in the case of an image that does not move, there are problems that it may be erroneously determined as the same frame even during tape reproduction, and that the processing speed is slowed down because a DC component is extracted from the frame. In the device control interlocking apparatus, when the image is DV, the same frame can be determined from a part of the image data at high speed. In that way,
a. A method using the value of the Sequence Number in the DV Dif block,
b. Using DFTIA values in the Header section of the DV,
c. Using the timecode value in the subcode section of DV
Is mentioned.
[0054]
As shown in Fig. 18-a, DV is composed of 10 Dif Sequences per frame, and each Dif Sequence is composed of 150 Dif Blocks that store header information, video, audio data, etc. Is done. The Sequence Number in a is stored in a 4-bit size for each Dif block, but the Sequence Number in DV Header Section, Subcode Section, and VAUX Section is often rewritten when transferred from the video output device. .
[0055]
In this device control interlocking device, the Sequence Number is acquired from the Audio & Video Section that cannot be rewritten when transferred from the video output device. Sequence Number has values from 0 to 11 in units of frames. As shown in Fig. 18-b, frames with values from 0 to 11 are repeatedly transferred during tape playback, and frames with the same value are displayed when tape is paused. It is transferred repeatedly. The DFTIA of b is stored in the Header Section in the frame with a size of 4 bits (values from 0 to 15). As shown in Fig. 18-b, two values from 0 to 15 are displayed during tape playback. It is repeatedly transferred, and the same value is repeatedly transferred when the tape is paused. The timecode of c is stored in the Subcode Section in the frame in a 4-byte size. As shown in Figure 18-b, the frame time is transferred in ascending order during tape playback, and the frame time is stored when the tape is paused. It is transferred without being. Therefore, when the values of a, b, and c are continuously the same, it is determined that they are the same frame, and the same frame can be deleted.
[0056]
Note that when a timecode-unrecorded tape is played back, it is assumed that the tape has been paused, and the timecode-unrecorded portion is deleted. Also, in order to suppress image distortion that occurs when the tape is paused to the tape playback state, tape playback is performed after rewinding several frames, and the values of a, b, and c are used to delete the rewind frame. It is also possible to do this. In addition, when the same frame is not detected within a certain period of time when the tape output is issued to the image output apparatus, the image output apparatus determines that the live mode is selected, and the high-speed image input conversion apparatus shown in FIG. It is also possible to switch.
[0057]
As described above, by using the values a, b, and c in the method of deleting the same frame, it is possible to realize the same frame determination speedup and prevention of missing of received images, and the practical effect is great. In addition, as a method of suppressing image distortion, the case where tape playback is performed after rewinding several frames from the tape pause state has been described. However, when tape playback is performed after rewinding several frames from the tape stopped state (image data not transferred state) But the same effect can be obtained.
[0058]
(Embodiment 8)
Next, a method for suppressing audio data loss by giving priority to audio processing when video and audio are multiplexed and transferred will be described.
[0059]
In FIG. 19, 1901 is an image receiving unit that receives an image from the image output device and repeatedly stores it in the receiving buffer in the order of 1 to N, and 1902 is a pixel block composed of a plurality of pixels from the received image received by the image receiving unit 1901. Access information generating means for generating video access information in the reception buffer for each buffer, and copying audio data from the reception buffer to the audio data memory, 1903 refers to the access information generated by the access information generating means 1902 and video The image processing means for directly reading out the pixel block from the reception buffer and processing the audio from the audio data memory is shown.
[0060]
FIG. 21-a is a flowchart showing the processing flow of the access information generating means 1902 and FIG. 21-b is the processing flow of the image processing means 1903. The operation will be described below. The flowchart of the image receiving unit 1901 is the same as that in FIG.
Step 2101: Receive notification of the reception buffer processing request of the image receiving means 1901.
step 2102: If the access information to be generated relates to a video block, the process proceeds to step 2103. In the case of audio, the process proceeds to step 2105.
step2103: Generate video access information.
step 2104: Store access information of the generated video.
step 2105: Copy the audio data to the audio data memory.
step 2106: Step 2102 to step 2105 are repeated until the processing in the buffer is completed. When the processing in the buffer is completed, the process proceeds to step 2107.
step 2107: Steps 2101 to 2106 are repeated until there is a cue for processing of the access information generating means 1902. If there is an end signal, the processing of the access information generating means 1902 is ended.
step 2111: In the case of video processing, the process proceeds to step 2112. In the case of audio processing, the process proceeds to step 2114.
step 2112: The access information of the video generated by the access information generating means 1902 is acquired.
step 2113: The video data is acquired from the reception buffer with reference to the access information.
Step 2114: The audio data copied by the access information generating means 1902 is acquired from the audio data memory.
step 2115: Perform video or audio processing.
step 2116: Steps 2111 to 2115 are repeated until there is a signal for processing by the image processing means 1903. If there is an end signal, the processing of the image processing means 1903 is ended.
[0061]
As described above, by extracting only the audio part from the reception buffer in which video and audio are multiplexed and copying it to the audio data memory, it is possible to suppress the loss of audio when the received image overflows, and its practical effect is great. Although the case of the buffer unit has been described as the access information generation method, the same effect can be obtained with the access information of the frame unit.
[0062]
Example 9
Next, a method for copying audio data only when the received image overflows is described.
In FIG. 20, this high-speed image input conversion apparatus adds an audio data memory to the high-speed image input conversion apparatus of FIG. 11, and the access information generation / deletion means 2002 generates audio access information. When the notification is made, audio data is extracted from the reception buffer based on the audio access information, copied to the audio data memory, and then the access information is deleted. If the access information is generated, the video and audio are processed from the access information. If the access information is not present (deleted), the audio data is processed from the audio data memory.
[0063]
FIG. 22-a is a flowchart showing the flow of processing of the access information generation / deletion means 2002, and FIG. The flowcharts of the image receiving unit 2001 and the queue management unit 2004 are the same as those in FIGS. 13-a and 13-c.
Step 2201: An access information generation processing request (including a reception buffer number) from the image receiving unit 2001 or an overflow processing request from the queue management unit 2004 is received.
step 2202: If the received request is an access information generation processing request, the process proceeds to step 2203. If it is an overflow processing request, the process proceeds to step 2205.
step 2203: Generate access information of video / audio data from the reception buffer.
step2204: Store the generated access information.
step 2205: Determine what to delete from the access information stored in step 2204. The determination method is, for example, access information at regular intervals.
Step 2206: The audio data included in the access information determined to be deleted in step 2205 is copied to the audio data memory.
step 2207: Notifying the queue management means 2004 of all the reception buffer numbers included in the access information determined to be deleted.
step 2208: The access information determined in step 2205 is deleted.
Step 2209: Steps 2201 to 2208 are repeated until there is a signal to terminate the processing of the access information generation / deletion means 2002. If there is an end signal, the process of the access information generation / deletion means 2002 is ended.
Step 2211: If the next access information has been deleted by the access information generation / deletion means 2002 when the received image overflows, the process proceeds to step 2214. If there is next access information, the process proceeds to step 2212.
Step 2212: Access information generated by the access information generation / deletion means 2002 is acquired.
step 2213: The video or audio data is acquired from the reception buffer with reference to the access information.
Step 2214: The audio data copied by the access information generation / deletion means 2002 is acquired from the audio data memory.
step2215: Perform video or audio processing.
step 2216: The queue management means 2004 is notified of the reception buffer number for which image processing has been completed.
step 2217: Step 2211 to step 2216 are repeated until a signal for processing of the image processing means 2003 is received. If there is an end signal, the processing of the image processing means 2003 is ended.
[0064]
As described above, when the received image overflows, only the audio part is extracted from the reception buffer in which video and audio are multiplexed and copied to the audio data memory, thereby reducing the processing required for data transfer and suppressing audio loss. The practical effect is great. Although the case of the buffer unit has been described as the access information generation method, the same effect can be obtained with the access information of the frame unit.
[0065]
(Example 10)
Next, a method for suppressing audio loss without copying audio data is described.
In FIG. 23, the high-speed image input conversion apparatus adds a write prohibition information memory to the high-speed image input conversion apparatus of FIG. 11, and the access information generation / deletion means 2302 also generates audio access information by the queue management means 2304. When an overflow notification is made, the audio access information is copied to the write prohibition information memory and then only the video access information is deleted, and the image receiving means 2301 skips the area described in the write prohibition information memory. And operates to write the received image.
[0066]
FIG. 24-a is a flowchart showing the processing flow of the image receiving means 2301, FIG. 24-b is the access information generating / deleting means 2302, and FIG. 24-c is a flowchart showing the processing flow of the image processing means 2303. The operation will be described below. The flowchart of the queue management means 2304 is the same as FIG. 13-c.
Steps 2401 to 2402, 2405 to 2408: The same processing as in steps 1301 to 1302, 1304 to 1307 is performed.
step2403: Acquire write prohibition information corresponding to the receive buffer that is performing the writing.
step 2404: The received image is written by skipping the area described in the write prohibition information memory.
Steps 2411 to 2412, 2414 to 2415, 2417 to 2419: The same processing as in steps 2201 to 2202, 2204 to 2205, and 2207 to 2209 is performed.
step 2413: Generate access information of video / audio data from the reception buffer. Note that audio access information in the area skipped by the image receiving unit 2301 is not generated.
Step 2416: The audio access information in the access information determined to be deleted in step 2415 is copied to the write prohibition information memory.
Step 2421: Access information generated by the access information generation / deletion means 2302 is acquired.
Step 2422: If the acquired access information is audio-only access information, the process proceeds to step 2423. In the case of video / audio access information, the process proceeds to step 2426.
step 2423: Audio data is obtained from the reception buffer with reference to the access information.
step2424: Audio processing is performed.
step2425: The write-protection information of the audio that has been processed is deleted.
step 2426: Referring to the access information, obtain video / audio data from the reception buffer.
step2427: Perform video or audio processing.
step 2428: The queue management means 2304 is notified of the reception buffer number that has been processed.
step 2429: Step 2421 to step 2428 are repeated until there is a signal for termination processing of the image processing means 2303. If there is an end signal, the processing of the image processing means 2303 is ended.
[0067]
As described above, by not storing the received image in the audio area of the reception buffer when the received image overflows, audio loss can be suppressed without performing data transfer in the audio area, and its practical effect is great. . Although the case of the buffer unit has been described as the access information generation method, the same effect can be obtained with the access information of the frame unit.
[0068]
【The invention's effect】
As described above, according to the first aspect of the present invention, by providing a shared buffer between modules and transferring only access information without transferring data between modules, the processing required for data transfer remains in the pipeline processing structure. The advantageous effect of reducing the amount can be obtained.
[0069]
In the second invention, when the number of packets per frame is not fixed, a plurality of reception buffers are managed in units of frames, and after image processing is performed in units of frames, a receivable reception buffer is scheduled and determined. The advantageous effect of enabling exclusive control and overflow control of the reception buffer in units of frames can be obtained.
[0070]
In the third aspect of the invention, a mechanism that allows the image processing means to grasp the received image amount of the reception buffer is provided, and the loss of the received image due to the delay in the image processing speed is suppressed by adjusting the image processing speed according to the received image amount. The advantageous effect that it can be obtained.
[0071]
In addition, a mechanism that allows the image processing means to grasp the amount of received image in the reception buffer is provided, and by adjusting the processing speed by changing the resolution of the image according to the amount of received image, missing received images due to a delay in the image processing speed In addition, it is possible to suppress the loss of the image-processed image and to obtain an advantageous effect that the image can be suppressed.
[0072]
In addition, a queue mechanism that manages which reception buffer to store the received video is provided, and when the received image overflows, a random buffering structure that issues a re-reception request to the queue from something other than the reception buffer currently used in image processing By doing so, it is possible to make a re-reception request for the reception buffer during image processing after the image processing, and it is possible to obtain an advantageous effect that it is possible to suppress missing of received images in units of several frames generated during image processing.
[0073]
In the fourth invention, a queue mechanism for managing in which reception buffer the received video is stored and a mechanism for managing a plurality of reception buffers in units of frames are provided, and when a received image overflows, a plurality of frames other than the frame being processed are processed. By selecting a frame at a certain ratio from the frames of the above, and scheduling and deciding a re-receivable buffer among a plurality of reception buffers corresponding to the selected frame, a random buffering structure in units of frames can be realized, An advantageous effect is obtained that it is possible to suppress missing of received images in units of several frames during image processing.
[0074]
In addition, when the received image overflows, the camera and VTR are controlled to temporarily stop the tape, and the same frame can be determined at high speed by using the amount of change in the DV Sequence Number in the method of deleting the same frame. Furthermore, an advantageous effect that the loss of the received image can be suppressed can be obtained.
Alternatively, by using the amount of change in DFTIA in the DV Header section as a method for deleting the same frame, it is possible to determine the same frame at high speed and to further suppress the loss of received images.
Alternatively, by using the timecode value in the DV subcode section as a method of deleting the same frame, the same frame can be determined at high speed, and if the timecode is continuously attached, the loss of the received image can also be suppressed. The advantageous effect is obtained.
[0075]
According to the fifth aspect of the invention, by extracting only the audio portion from the reception buffer in which video and audio are multiplexed and copying it to the audio data memory, it is possible to obtain an advantageous effect that audio loss can be suppressed when the received image overflows. .
[0076]
Further, when the received image overflows, only the audio portion is extracted from the reception buffer in which video and audio are multiplexed and copied to the audio data memory, so that it is possible to reduce processing required for data transfer and suppress audio loss. An effect is obtained.
[0077]
Further, by not storing the received image in the audio area of the reception buffer when the received image overflows, there is an advantageous effect that audio loss can be suppressed without performing data transfer in the audio area.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a high-speed image input conversion apparatus with a reduced data transfer amount according to a first embodiment.
FIG. 2 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that realizes exclusive control in a reception buffer according to the second embodiment.
FIG. 3 is a diagram for explaining a packet storage state in the reception buffer and an access information generation method;
FIG. 4 is a flowchart showing the operation of the high-speed image input conversion apparatus with reduced data transfer amount in the first embodiment.
FIG. 5 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that realizes exclusive control in a reception buffer in units of frames in the second embodiment.
FIG. 6 is a flowchart illustrating the operation of a high-speed image input conversion apparatus that realizes exclusive control within a reception buffer in units of frames in the second embodiment, and a diagram illustrating a re-receivable buffer determination method
FIG. 7 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that adjusts an image processing speed according to a received image amount and prevents leakage of a received image in the third embodiment.
FIG. 8 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that prevents image leakage by adjusting image resolution according to the amount of received image in the fourth embodiment.
FIG. 9 is a flowchart showing the operation of the high-speed image input conversion apparatus that adjusts the image processing speed according to the amount of received image to prevent leakage of the received image in the third embodiment.
FIG. 10 is a diagram for explaining a resolution adjustment method using DCT, and the operation of the high-speed image input conversion apparatus that prevents the leakage of a received image by adjusting the resolution of the image according to the amount of received image in the fourth embodiment. Flow chart shown
FIG. 11 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that realizes overflow control in a reception buffer according to the fifth embodiment.
FIG. 12 is a block diagram illustrating a configuration of a high-speed image input conversion apparatus that realizes overflow control in a reception buffer in frame units in the sixth embodiment.
FIG. 13 is a flowchart showing the operation of the high-speed image input conversion apparatus realizing overflow control in the reception buffer in the fifth embodiment.
FIG. 14 is an explanatory diagram showing an example of queue state transition
FIG. 15 is a flowchart illustrating the operation of the high-speed image input conversion apparatus that realizes overflow control in the reception buffer in units of frames in the sixth embodiment, and a diagram illustrating a process end buffer transfer method and a re-receivable buffer determination method;
FIG. 16 is a block diagram showing the configuration of a device control interlocking device that controls a device to prevent leakage of a received image when an overflow is detected in the seventh embodiment
FIG. 17 is a flowchart showing an operation of a device control interlocking device that controls a device to prevent a received image from being leaked when an overflow is detected in the seventh embodiment;
FIG. 18 is a diagram for explaining the DV format structure and a diagram showing an example of changes in the information in the frame during the tape playback / pause state.
FIG. 19 is a block diagram showing the configuration of a high-speed image input conversion device that prevents audio from being lost by avoiding audio in another memory according to the eighth embodiment.
FIG. 20 is a block diagram showing a configuration of a high-speed image input conversion apparatus that prevents audio from being lost by avoiding audio in another memory only at the time of overflow in the ninth embodiment.
FIG. 21 is a flowchart showing the operation of the high-speed image input conversion apparatus for preventing audio data from being lost by avoiding audio in another memory according to the eighth embodiment.
FIG. 22 is a flowchart showing the operation of the high-speed image input conversion apparatus for preventing audio data from being lost by avoiding audio in another memory only at the time of overflow in the ninth embodiment.
FIG. 23 is a block diagram showing a configuration of a high-speed image input conversion apparatus that prevents audio data from being lost without avoiding audio in another memory according to the tenth embodiment;
FIG. 24 is a flowchart showing the operation of the high-speed image input conversion apparatus that prevents audio data from being lost without avoiding audio in another memory according to the tenth embodiment.
FIG. 25 is a diagram showing an example of a high-speed data transfer method by transfer of access information in which data transfer between modules is omitted in the present invention.
FIG. 26 is a configuration diagram of image processing using conventional pipeline processing.
[Explanation of symbols]
101: Image receiving means
102: Access information generating means
103: Image processing means
504 ... Reception buffer scheduling means
803 ... Resolution determining means
1104: Queue management means

Claims

複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納する画像受信手段と、前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成するアクセス情報生成手段と、
前記アクセス情報生成手段により生成した前記アクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行なう画像処理手段と
を備えた、高速画像入力変換装置。 An image which receives image information in which an image data packet including a combination of image data and header data including a pixel block including a plurality of pixels and a header data packet including only header data is received and stored in a reception buffer reception means, from the image information received by the image receiving means, said pixel blocks in the image processing order, and the access information generating means for access information for reading from the receive buffer to produce the buffer unit,
The access information by referring to the access information generated by the generating means, said pixel blocks and image processing means for performing a direct readout image processing from the reception buffer, high-speed image input conversion device.

前記アクセス情報生成手段により生成する前記アクセス情報をフレーム単位で構成する請求項１記載の高速画像入力変換装置。Fast image input conversion device to that請 Motomeko 1 wherein configuring the access information generated by said access information generating means in units of frames.

前記画像処理手段が、処理終了した前記受信バッファの格納位置を前記画像受信手段に通知し、前記画像受信手段が前記画像処理手段により前記受信バッファの処理終了通知が行なわれるまで、その受信バッファに対する再受信を禁止する請求項１記載の高速画像入力変換装置。Until said image processing means, the processing has finished storage location of the receive buffer and notifies the image receiving means, said image receiving means processing end notification of the receiving buffer by the image processing means is performed, for the receiving buffer fast image input conversion device 請 Motomeko 1, wherein you prohibit re received.

前記画像受信手段が、現在受信している前記受信バッファの番号を格納する現受信バッファ番号を認識し、前記画像処理手段で処理中の受信バッファの番号が、現受信バッファ番号と予め定めた閾値以下の場合、当バッファの画像処理を中断し、次バッファの画像処理を行なう請求項１記載の高速画像入力変換装置。Threshold the image receiving means, recognizes the current reception buffer number for storing the number of the receiving buffer currently being received, the number of receive buffers being processed by the image processing means, a predetermined and current receive buffer number the following case, interrupt the image processing of this buffer, high-speed image input conversion device of the image processing of the next buffer line of the Hare請 Motomeko 1 wherein.

複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納し、現受信バッファ番号に現在受信している受信バッファの番号を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成するアクセス情報生成手段と、前記アクセス情報生成手段により生成した前記アクセス情報に対応する前記受信バッファの番号と現受信バッファ番号を比較して画像処理を行なう上での解像度を決定する解像度決定手段と、
前記解像度決定手段により決定した解像度で前記画素ブロックを前記受信バッファから直接読み出し画像処理を行なう画像処理手段と、
を備えた高速画像入力変換装置。Receiving image information in which image data packets including a block of pixels composed of a plurality of pixels and image data packets combining header data and header data packets composed only of header data are received and stored in a reception buffer; Image receiving means for storing the number of the reception buffer currently received in the current reception buffer number;
From the image information received by the image receiving means, said pixel blocks in the image processing order, an access information generation means for generating access information for reading from the receive buffer by the buffer unit, said generated by said access information generating means a resolution determination means that determines the resolution of the in performing image processing by comparing the number and the current reception buffer number of the receiving buffer corresponding to the access information,
An image processing unit the pixel block determined resolution that directly read the image processing from the receiving buffer by the resolution determination means,
A high-speed image input conversion device.

複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成し、キュー管理手段によりオーバフローの指示があった場合には前記アクセス情報を一定の割合で削除し、削除したアクセス情報に対応する前記受信バッファ番号を前記キュー管理手段に通知するアクセス情報生成削除手段と、
前記アクセス情報生成削除手段により生成した前記アクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行ない、前記受信バッファ番号を前記キュー管理手段に通知する画像処理手段と、
前記アクセス情報生成削除手段または前記画像処理手段により通知した前記受信バッファ番号をキューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記アクセス情報生成削除手段にオーバフローの指示を送るキュー管理手段と、
を備えた高速画像入力変換装置。Image information including a combination of image data packet including a pixel block composed of a plurality of pixels and header data and header data packet composed only of header data is received and stored in the queue. Image receiving means for storing the received image in the reception buffer corresponding to the reception buffer number;
From the image information received by the image receiving means, said pixel blocks in the image processing order, the access information for reading from the receive buffer generated in the buffer unit, said under the direction of the overflow by the queue managing means remove the access information at a constant rate, and the access information generating deletion means for notifying the reception buffer number corresponding to the deleted access information to the queue management unit,
Image processing means for referring to said access information generated by said access information generating deleting unit, the pixel block is performed directly read the image processing from the reception buffer, and notifies the reception buffer number to the queue managing means,
Wherein in the case where the said reception buffer number notified by the access information generating deletion means or said image processing means is added to the queue, the number of the reception buffer number stored in the queue is below a predetermined threshold Queue management means for sending an overflow instruction to the access information generation and deletion means;
A high-speed image input conversion device.

複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をフレーム単位でフレームアクセス情報として生成し、キュー管理手段によりオーバフローの指示があった場合には前記フレームアクセス情報を一定の割合で削除し、削除した前記フレームアクセス情報に対応する前記受信バッファ番号を受信バッファスケジュール手段に通知するフレームアクセス情報生成削除手段と、
前記フレームアクセス情報生成削除手段により生成したフレームアクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、前記フレームアクセス情報に対応する前記受信バッファ番号を受信バッファスケジュール手段に通知する画像処理手段と、
前記フレームアクセス情報生成手段または前記画像処理手段により通知した前記受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段に通知する受信バッファスケジュール手段と、
前記受信バッファスケジュール手段により通知した受信バッファ番号をキューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記フレームアクセス情報生成削除手段にオーバフローの指示を送るキュー管理手段と、
を備えた高速画像入力変換装置。Are stored in a queue receives the image information and the header data packet consists of only the image data packet and header data that combines image data and header Dadeta include configured pixel block are mixed from a plurality of pixels Image receiving means for storing the received image in the reception buffer corresponding to the reception buffer number;
From the image information received by the image receiving means, said pixel blocks in the image processing order, the access information for reading from the receive buffer to produce a frame access information in frame units, there is an instruction to overflow by the queue managing means said frame access information remove at a constant rate, frame access information generating and deleting means for notifying the reception buffer scheduling means the receive buffer number corresponding to the deleted the frame access information in the case,
Referring to frame access information generated by the frame access information generating deleting unit, the pixel block is performed directly read the image processing from the reception buffer, after the image processing is completed for a frame, the receiving buffer number corresponding to the frame access information Image processing means for notifying the reception buffer scheduling means,
A reception buffer scheduling means for notifying the queue management means to schedule re-receiving a receiving buffer number in the reception buffer number notified by the frame access information generating means or the image processing means,
Add the receive buffer number notified by the reception buffer scheduling means in the queue, the frame access information generating deletion means if the number of the reception buffer number stored in the queue is below a predetermined threshold A queue management means for sending an overflow instruction;
A high-speed image input conversion device.

画像出力装置から複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から同一フレームの画像データを削除し、削除フレームに対応する受信バッファ番号を受信バッファスケジュール手段に通知する同一フレーム削除手段と、
前記同一フレーム削除手段により未削除のフレームに対して前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段と、
前記フレームアクセス情報生成手段により生成した前記フレームアクセス情報を参照し、前記画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、前記フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段に通知する画像処理手段と、
前記同一フレーム削除手段または前記画像処理手段により通知した前記受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段に通知する受信バッファスケジュール手段と、
前記受信バッファスケジュール手段により通知した前記受信バッファ番号を前記キューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記画像出力装置にテープ一時停止要求を出すキュー管理手段と、
を備えた高速画像入力変換装置。 It receives the image information and the image data and header data packet is composed of only the image data packet and header data that combines the header data includes a pixel block including a plurality of pixels from the image output device are mixed in a queue Image receiving means for storing the received image in a reception buffer corresponding to the stored reception buffer number;
Same frame deleting means deletes the image data of the same frame, and notifies the reception buffer scheduling means receive buffer number corresponding to the deleted frame from the image information received by the image receiving means,
And the pixel block in the image processing order with respect to undeleted frame, frame access information generating means for generating access information for reading from the receive buffer in frame units by the same frame deleting means,
Wherein said reference frame access information generated by the frame access information generating means performs a direct read image processing the pixel block from the receive buffer, after the image processing is completed for a frame, receiving the receive buffer number corresponding to the frame access information Image processing means for notifying the buffer schedule means;
A reception buffer scheduling means for notifying the queue management means to schedule re-receiving a receiving buffer number in the same frame deleting means or the reception buffer number notified by the image processing means,
Add the receive buffer number notified by the reception buffer scheduling means in the queue, the tape to the image output apparatus when the number becomes equal to or less than a predetermined threshold value of the reception buffer number stored in the queue A queue management means for issuing a suspension request;
A high-speed image input conversion device.

前記キュー管理手段が、キューに格納されているバッファ番号の数が予め定めた閾値以上になった場合には、前記画像出力装置に再生要求を出力する請求項８記載の高速画像入力変換装置。 The queue management means, when the number of buffer number stored in the queue is equal to or greater than a predetermined threshold value, high-speed image input conversion device according to claim 8 wherein the output the reproduction request to the image output device .

前記キュー管理手段が、前記画像出力装置に再生要求を出す前に、数フレーム分戻す要求を出し、
前記同一フレーム削除手段が、さらに重複フレームを削除することを特徴とする請求項９記載の高速画像入力変換装置。 The queue management unit, before issuing a reproduction request to the image output apparatus, yields the number back frames request,
10. The high-speed image input conversion apparatus according to claim 9 , wherein the same frame deleting means further deletes duplicate frames.

前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶのＤｉｆブロック内にある Sequence Number の値を用いて同一フレームの判定を行なう請求項８記載の高速画像入力変換装置。Image information outputted from said image output apparatus, DV case of (Digital Video) format, the same frame deleting unit rows of cormorants billed the determination of the same frame by using the value of Sequence Number in the inside Dif block DV Item 9. The high-speed image input conversion device according to Item 8 .

前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶの Header Section にあるＤＦＴＩＡの値を用いて同一フレームの判定を行なう請求項８記載の高速画像入力変換装置。Image information outputted from said image output apparatus, DV (Digital Video) For format, cormorants row determines the same frame same frame deletion means using the value of DFTIA in Header Section of DV 請 Motomeko 8 The high-speed image input conversion apparatus described.

前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶの Subcode Section にある Timecode の値を用いて、同一Timecodeのフレームの削除を行なう請求項８記載の高速画像入力変換装置。Image information outputted from said image output apparatus, in the case of DV (Digital Video) format, using the value of Timecode that same frame deleting means is in the Subcode Section of DV, cormorants row deletion of frames of the same Timecode 請 The high-speed image input conversion device according to claim 8.

前記キュー管理手段が、画像出力装置に一時停止要求を出してから一定時間内に同一フレーム削除手段で同一フレームが検出されなかった場合、
前記画像出力装置は、ライブモードと判定し、請求項７記載の高速画像入力変換装置に切り替える請求項８記載の高速画像入力変換装置。If the queue management means, the same frame with the same frame deleting means within a predetermined time after issuing a pause request to the image output apparatus is not detected,
The image output apparatus, determines that the live mode, high-speed image input conversion device toggle its請 Motomeko 8 according to high-speed image input conversion device according to claim 7.

オーディオデータ、複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのビデオのアクセス情報をバッファ単位で生成し、オーディオのデータを受信バッファからオーディオデータメモリに複写するアクセス情報生成手段と、
前記アクセス情報生成手段により生成した前記アクセス情報を参照し、前記画素ブロックを受信バッファから直接読み出し処理を行ない、オーディオデータメモリからオーディオの処理を行なう画像処理手段と
を備えた、高速画像入力変換装置。Receives image data including a mixture of audio data, an image data packet including a pixel block composed of a plurality of pixels, and a header data packet composed only of header data and a header data packet composed only of header data, and receives it in a reception buffer. Image receiving means for storing;
Copied from the image information received by the image receiving means, said pixel blocks in the image processing order, the access information of the video for reading from the receive buffer generated in the buffer unit, the audio data memory data of the audio from the receive buffer Access information generating means for
Referring to the access information generated by said access information generating means performs a direct reading process said pixel block from the receive buffer, and a picture processing unit for processing the audio from the audio data memory, high-speed image input conversion device .

オーディオデータメモリを追加し、アクセス情報生成削除手段がオーディオのアクセス情報も生成し、キュー管理手段によりオーバフローの通知がなされた場合にはオーディオのアクセス情報に基づいて受信バッファからオーディオのデータを抽出しオーディオデータメモリに複写を行なってからアクセス情報を削除し、画像処理手段が前記アクセス情報生成削除手段により生成したアクセス情報がある場合にはアクセス情報からビデオとオーディオの処理を行ない、アクセス情報がない場合にはオーディオデータメモリからオーディオの処理を行なう請求項６又は７記載の高速画像入力変換装置。The audio data memory is added, the access information generation / deletion means also generates audio access information, and when the queue management means is notified of overflow, the audio data is extracted from the reception buffer based on the audio access information. Access information is deleted after copying to the audio data memory, and when there is access information generated by the access information generation / deletion means by the image processing means, video and audio are processed from the access information, and there is no access information. fast image input conversion device row of the Hare請 Motomeko 6 or 7, wherein the processing of the audio from the audio data memory in the case.

書込み禁止情報メモリを追加し、アクセス情報生成削除手段がオーディオのアクセス情報も生成し、キュー管理手段によりオーバフローの通知がなされた場合にはオーディオのアクセス情報を書込み禁止情報メモリに複写を行なってからビデオのアクセス情報のみを削除し、画像受信手段は書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込む請求項６又は７記載の高速画像入力変換装置。The write prohibition information memory is added, the access information generation / deletion means also generates the audio access information, and if the overflow is notified by the queue management means, the audio access information is copied to the write prohibition information memory. delete only access information of the video, the image receiving means fast image input conversion device skips write the received image free請 Motomeko 6 or 7, wherein the regions are described write-protected information memory.