JP3656438B2 - 高速画像入力変換装置 - Google Patents
高速画像入力変換装置 Download PDFInfo
- Publication number
- JP3656438B2 JP3656438B2 JP31177798A JP31177798A JP3656438B2 JP 3656438 B2 JP3656438 B2 JP 3656438B2 JP 31177798 A JP31177798 A JP 31177798A JP 31177798 A JP31177798 A JP 31177798A JP 3656438 B2 JP3656438 B2 JP 3656438B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- access information
- reception buffer
- buffer
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラやデッキなどからパソコンに入力した映像に対して、フォーマット変換などの画像処理を施す画像入力変換装置に関し、特に、入力画像から所望の画像に高速に変換できるようにしたものである。
【０００２】
【従来の技術】
近年、リアルタイム伝送機能を備える高速インターフェース、IEEE1394等の登場により、カメラ・VTRなどの画像出力装置からパソコンにDV(Digital Video)等の高画質なデジタル画像を入力することが可能になってきた。パソコンに入力したDVは、多チャンネルサービスを提供する衛星放送やVOD(Video On Demand)システムに用いられる時間軸方向および空間軸方向に圧縮を施したMPEG(Moving Picture Coding Experts Group)フォーマットに変換して、衛星やネットワークに送信することが多い。パソコンに入力したDVをMPEGに変換を行なうためには、DCT(Discrete Cosine Transform)復号化・可変長復号化(VLD:Variable Length Decode)を施すDVデコードおよびDCT符号化・可変長符号化(VLC:Variable Length Coding)・動き補償符号化等を施すMPEGエンコードの画像処理を行なう必要がある。
【０００３】
一般に、画像処理は、画像入力・演算処理・画像出力など各モジュールが連結して一連の処理を並列に高速に行なうことのできるパイプライン方式を取る。パイプライン処理を行なう画像処理方法は、例えば、特開平8-263628号公報にも開示されている。その方法は、特開平8-263628号公報中の図2に相当する、図２６に示すように、画像入出力部、特徴抽出部、システム制御部の画像メモリへのアクセスが並列に実行できるように、画像処理部が画像データを処理し、その結果を画像メモリに出力すると同時に、各部に起動をかける手段を備えることにより、画像メモリへのアクセスを並列に実行できるようにして高速処理およびシステムのスループット向上を実現している。また、画像処理部で処理を行ないたい画像データがビデオメモリから画像メモリに転送される前に書き替えられるのを防止するために、ビデオメモリの内容の更新を禁止する排他制御を行なっている。
【０００４】
【発明が解決しようとする課題】
しかし、従来の技術を用いて、パソコンに入力したDVをMPEGにリアルタイムに変換する場合、画像入力、可変長復号化等の処理を行なうモジュール間でのデータ転送にかかる時間が膨大し、高速なパイプライン処理が実現できない問題が生じる。
そこで本発明では第一に、モジュール間のデータ転送に要する処理を削減することを目的とする。
【０００５】
また、フレームを複数のパケットに分割して画像データを転送するIEEE1394等に従来の技術を用いると、IEEE1394転送方式ではフレームあたりのパケット数は固定でないため、画像処理の基本単位であるフレーム単位で、ビデオメモリのバッファの排他制御を行なうことは困難である。
そこで本発明では第二に、フレーム単位での排他制御を実現することを目的とする。
【０００６】
また、従来の技術では、ビデオメモリ内の排他制御が画像処理部の処理速度に連動しているため、画像処理部の処理速度が遅い場合、受信画像の欠落が頻繁に生じる。
そこで本発明では第三に、ビデオメモリ内の受信画像量に応じて画像処理部の処理速度を調整し受信画像の欠落を抑制することを目的とする。
【０００７】
また、従来の技術では、画像データをビデオメモリから画像メモリへ転送されるまで、該当するビデオメモリ領域に受信画像を書き込むことが出来ないため、プロセッサ全体に負荷がかかっているときは、数フレームという単位で画像が欠落する問題が生じる。
そこで本発明では第四に、受信画像のオーバフロー時に受信画像の欠落を間引くこと、あるいはVTRやカメラ等の画像出力装置を制御して受信画像の欠落を抑制することを目的とする。
【０００８】
また、ビデオとオーディオを多重化して転送するIEEE1394等に従来の技術を用いると、受信画像のオーバフロー時にビデオだけでなくオーディオも欠落する問題が生じる。
そこで本発明では第五に、受信画像のオーバフロー時にオーディオ処理を優先し、オーディオの欠落を抑制することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、
第一に、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送するようにしたものである。図２５は、ＤＶ受信モジュール2502とデコードモジュール2504間で、フレームバッファ2503を介してデータを転送するのではなく、パケットバッファ2501内のデータのアクセス情報2505を転送することにより、データ転送に要する処理を削減出来る。これにより、パイプライン処理の構造のまま、データ転送に要する処理を削減する効果を奏するものである。
【００１０】
第二に、フレームあたりのパケット数が固定でない場合、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定するようにしたものである。これにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にする効果を奏するものである。
【００１１】
第三に、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制できる効果を奏するものである。
【００１２】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できる効果を奏するものである。
【００１３】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にしたものである。これにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１４】
第四に、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定するようにしたものである。これにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１５】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できる効果を奏するものである。
【００１６】
第五に、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写するようにしたものである。これにより、受信画像のオーバフロー時にオーディオの欠落は抑制できる効果を奏するものである。
【００１７】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写するようにしたものである。これにより、データ転送に要する処理を削減してオーディオの欠落を抑制できる効果を奏するものである。
【００１８】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにしたものである。これにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できる効果を奏するものである。
【００１９】
【発明の実施の形態】
以下、本発明の各実施の形態について、図１から図２４を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００２０】
（実施の形態１）
まず最初に、パイプライン構造のまま、データ転送に要する処理を削減する高速画像入力変換装置の実現方法および前記高速画像入力変換装置の排他制御の実現方法について述べる。
【００２１】
本高速画像入力変換装置は、図1において、カメラ・VTR等の画像出力装置から画像を受信し、受信バッファに1〜Nの順番に繰り返し格納する画像受信手段101と、画像受信手段101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報を、バッファ単位で（：受信バッファ内の各バッファ毎に）生成するアクセス情報生成手段102と、アクセス情報生成手段102により生成したアクセス情報を参照し、画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段103から構成される。
【００２２】
画像受信手段101で受信する画像データはIEEE1394の場合、図3-aに示すように、1フレームの画像データを複数のパケットに分割してアイソクロナス方式で送信側から転送される。アイソクロナス方式は転送帯域を保証したリアルタイム転送方式で、一定間隔でパケットを転送する必要がある。このため、一定時間内に画像データのパケット(以下、画像パケットと呼ぶ)を生成できない場合には、画像データが含まれていないヘッダのみのパケット(以下、空パケットと呼ぶ)が転送されるようになっている。受信側では、送信側で転送された画像パケットと空パケットを受信バッファに書き込む。空パケットの発生する頻度が不定なため、受信バッファ内にある実際の画像データの格納箇所は、受信バッファによって異なる。このため、図3-bに示すように、フレーム毎に画像データが格納されているバッファの格納箇所が異なり、1フレーム分の画像データが複数のバッファに格納されることになる。IEEE1394の画像データ転送方法には、例えば、デジタルカメラなどのフォーマットであるDVを用いたものがあり、1フレームあたり120KBのDVを250個のパケットに分割してアイソクロナス方式で転送される。
【００２３】
一般に、画像を受信して画像処理を行なう場合は、画像受信手段101と画像処理手段103が並列に高速処理できるようにパイプライン方式を採る。パイプライン方式では、画像受信手段101で受信した画像データを画像処理手段103に転送し、画像処理手段103内のメモリに画像処理前の画像データを蓄積するため、DV等高画質な画像を扱う場合、データ転送の処理に時間がかかる。
【００２４】
この問題を解決するため、本高速画像入力変換装置では、受信バッファを共有化し、アクセス情報生成手段102が受信バッファ内の画像データのアクセス情報を生成し、画像処理手段103にアクセス情報を転送するようにしている。
【００２５】
DVのアクセス情報は、図3-cに示すように、1フレームあたり1500個からなるDifブロックの格納箇所をバッファ単位で生成している。Difブロックは80Bの大きさで、1フレームあたりのビデオ・オーディオのデータやヘッダ情報等を分割してDifブロック内に格納している。図3-cでは、フレームの先頭からDifブロック番号(DifNo)を1からカウントし、DifNoとDifブロックの格納箇所(offset)をセットにして生成する。アクセス情報生成手段102で生成したバッファ単位のアクセス情報のサイズは、受信バッファ内の画像データサイズに比べて格段に小さい。従って、本高速画像入力変換装置では、パイプライン処理の構造のまま、データ転送に要する処理を削減できる効果が期待できる。
【００２６】
また、アクセス情報をバッファ単位でなくフレーム単位で生成することもできる。図3-dに示すように、フレーム内のDifNo=1〜1500に対する格納箇所(バッファ番号(BufNo),offset)をセットにして生成する。フレーム単位でアクセス情報を生成することにより、画像処理手段103もフレーム単位で画像処理を行なうことが可能になる。
また、画像処理手段103が処理に必要な画像データのみアクセス情報からランダムに抽出することも可能である。
【００２７】
また、画像処理手段103が処理を行ない易いように、アクセス情報生成手段102がアクセス情報の(DifNo,offset)の順番を並び替えることも可能である。例えば、DVの場合、1ビデオセグメントを構成する5MB(MB=Macro Block:8x8の画素が4つ)の情報量を均一化するため、1画面内から所定のルールでシャッフリングして5つのMBを集めセグメント化する。DifNo=1とDifNo=2のDifブロック(Difブロック=1MB)は、1画面内では離れたところにあるブロックとなるため、画像処理手段103でシャッフリングを解く作業を行ない指定された領域の画像データを抽出して画像処理を行なう必要がある。従って、アクセス情報生成手段102がシャッフリングを解く作業を行ないながら元画像のMBの並びでアクセス情報を生成することで、画像処理手段103の処理速度を向上することが可能となる。
【００２８】
図4-aは画像受信手段101、図4-bはアクセス情報生成手段102、図4-cは画像処理手段103の処理の流れを示したフローチャートで、以下その動作を説明する。
step401: 受信バッファの番号を示すBufNoの値を初期化する。
step402: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step403: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step404: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step402に戻る。
step405: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段102に通知する。
step406: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step407: 画像受信手段101の処理終了の合図があるまで、step402〜step406を繰り返す。
終了の合図があれば、画像受信手段101の処理を終了する。
step411: 画像受信手段101の受信バッファ処理要求の通知を受信する。
step412: アクセス情報を生成する。
step413: 生成したアクセス情報を格納する。
step414: アクセス情報生成手段102の処理終了の合図があるまで、step411〜step413を繰り返す。終了の合図があれば、アクセス情報生成手段102の処理を終了する。
step421: アクセス情報生成手段421により生成したアクセス情報を取得する。
step422: アクセス情報を参照して、受信バッファから画像データを取得する。
step423: 取得した画像データから画像処理を行なう。
step424: 画像処理手段103の処理終了の合図があるまで、step421〜step423を繰り返す。終了の合図があれば、画像処理手段103の処理を終了する。
【００２９】
以上のように、本高速画像入力変換装置は、
モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減でき、その実用的効果は大きい。
なお、パケットの格納方法として、ヘッダをつけて格納する場合を説明したが、ヘッダを除去して格納する方法でも同様の効果が得られる。
【００３０】
（実施の形態２）
次に、本高速画像入力変換装置における受信バッファの"排他制御"の実現方法について述べる．
アクセス情報をバッファ単位で生成する場合は、図2に示すように、画像処理手段203が処理終了した受信バッファのバッファ番号を画像受信手段201に通知し、画像受信手段201が画像処理手段203により受信バッファの処理終了通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。しかし、アクセス情報がフレーム単位で生成される場合は、図3-bのようにフレーム内の画像処理が終了しても、次フレームの画像処理が終了するまで受信バッファの再受信通知を行なうことのできない場合が生じる。
【００３１】
本高速画像入力変換装置でアクセス情報がフレーム単位で生成される場合の排他制御は、図5において、カメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段501と、画像受信手段501により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段502と、フレームアクセス情報生成手段502により生成したフレームアクセス情報を用いて画素ブロックの画像処理を施す画像処理手段503と、画像処理手段503により処理したフレームに該当する受信バッファで再受信可能な受信バッファ番号をスケジュールして画像受信手段501に通知する受信バッファスケジュール手段504と、から構成され、画像受信手段501は受信バッファスケジュール手段504により受信バッファに対する再受信の通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。
【００３２】
図6は画像処理手段503と受信バッファスケジュール手段504の受信バッファにおける排他制御の処理の流れを示したフローチャートで、以下その動作を説明する．
なお画像受信手段501の処理は、図4-aのstep406に、更新したBufNoの再受信通知が行なわれるまで待機する処理を追加したものと同様で、フレームアクセス情報生成手段502の処理は、図4-bのstep412の処理をフレーム単位で行なうようにしたものと同様である。
step601: フレームアクセス情報生成手段502により生成したフレームアクセス情報を取得する。
step602: フレームアクセス情報を参照して、受信バッファから画像データを取得する。
step603: 取得した画像データから画像処理を行なう。
step604: フレームアクセス情報を用いてフレーム内の画像処理が終了したら、フレームアクセス情報に含まれている受信バッファ番号(BufNo)を受信バッファスケジュール手段504に通知する。
step605: 画像処理手段503の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、画像処理手段503の処理を終了する。
step611: 画像処理手段503により処理終了した受信バッファ番号(BufNo)を受理する。
step612: 受理した受信バッファ番号(BufNo)の中で、再受信可能なバッファを決定する。 再受信可能バッファ決定方法は、図6-cのように、受信バッファ番号iに対して、i+1(i+1がNより大きい場合、1とする)の受信バッファ番号が受理されている場合、受信バッファ番号iは再受信可能バッファとする方法である。
step613: step612で決定した受信バッファ番号を画像受信手段501に通知する。
step614:受信バッファスケジュール手段504の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、受信バッファスケジュール手段504の処理を終了する。
【００３３】
以上のように、本高速画像入力変換装置は、
フレームあたりのパケット数が固定でない場合でも、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御が可能となり、その実用的効果は大きい。
【００３４】
（実施の形態３）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ方法について述べる。
【００３５】
図7において、701は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し、現在受信している受信バッファの番号を現受信バッファ番号に格納する画像受信手段、702は画像受信手段701により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、703はアクセス情報生成手段702により生成したアクセス情報から画像処理を行ない、画像処理中の受信バッファの番号が現受信バッファ番号に対してある閾値以下の場合、処理中の受信バッファの画像処理を中断し次受信バッファの画像処理を行なう画像処理手段を示す。
【００３６】
図9-aは画像受信手段701、図9-bは画像処理手段703の処理の流れを示したフローチャートで、以下その動作を説明する。アクセス情報生成手段702のフローチャートは図4-bと同様である。
step901: 受信バッファの番号を示すBufNoの値を初期化する。また、現受信バッファ番号の値も初期化(現受信バッファ番号=1)する。
step902: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step903: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step904: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step902に戻る。
step905: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段702に通知する。
step906: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step907: 現受信バッファ番号の値をBufNoにする。
step908: 画像受信手段701の処理終了の合図があるまで、step902〜step907を繰り返す。
終了の合図があれば、画像受信手段701の処理を終了する。
step911: アクセス情報生成手段702により生成したアクセス情報を取得する。
step912: "現受信バッファ番号(RecBuf)"と"画像処理中のバッファ番号(CurBuf)"との差(受信可能な受信バッファ数)をf(RecBuf,CurBuf)より求め、その値がM以下の場合は、画像処理中の処理を中断し、step911に戻り、次のアクセス情報を取得する。差がMより大きい場合は、step913に進む。
step913: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step914: 取得した画像データから画像処理を行なう。
step915: バッファ内の画像処理が終了した場合、step916に進む。バッファ内の画像処理が途中の場合、step912に戻る。
step916: 画像処理手段703の処理終了の合図があるまで、step911〜step915を繰り返す。終了の合図があれば、画像処理手段703の処理を終了する。
【００３７】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step912等）を設け、受信画像量に応じて画像処理速度を調整できるため、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００３８】
（実施の形態４）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像の解像度を変更して画像処理を行なう方法について述べる。
【００３９】
図8において、801はカメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し現受信バッファ番号に現在受信している受信バッファの番号を格納する画像受信手段、802は画像受信手段801により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、803はアクセス情報生成手段802により生成したアクセス情報に対応する受信バッファの番号と現受信バッファ番号を比較し画像処理を行なう上での解像度を決定する解像度決定手段、804は解像度決定手段803により決定した解像度で画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段を示す。
解像度決定方法は、例えばDVの符号化であるDCTを用いると、受信画像量に応じて4段階の解像度を指定することができる。図10-aでは、8x8DCTブロックから8x8の画素ブロックを求める画像処理を示しており、まず、指定した解像度(4種類)に応じて、8x8DCTブロックの低周波の領域から (直流成分、2x2DCT成分、4x4DCT成分、8x8DCT成分)の一つを抽出し、逆DCT（IDCT）を施す。ただし、直流成分に関しては、IDCTは行なわない。次に、YxYDCTブロック（Y=2、4、8）のIDCTはYxYの画素ブロックとなるため、元サイズの8x8の画素ブロックとなるよう拡大する。一般に、IDCTの処理は、画素ブロック拡大の処理より数倍時間がかかるため、受信画像量に応じて、IDCTを行なう数を調整することは有効である。
【００４０】
図10-bは解像度決定手段803と画像処理手段804の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段801、アクセス情報生成手段802のフローチャートはそれぞれ図9-a、図4-bと同様である。
step1001: アクセス情報生成手段802により生成したアクセス情報を取得する。
step1002: 現受信バッファ番号と画像処理を行なうバッファ番号の差を求め、その差に応じて、画像処理を行なう上での解像度を決定する。
step1003: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step1004: 取得した画像データから指定した解像度で画像処理を行なう。
step1005: バッファ内の画像処理が終了した場合、step1006に進む。バッファ内の画像処理が途中の場合、step1002に戻る。
step1006: 画像処理手段804の処理終了の合図があるまで、step1001〜step1005を繰り返す。終了の合図があれば、画像処理手段804の処理を終了する。
【００４１】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step1002等）を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落および画像処理した画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００４２】
（実施の形態５）
次に、本高速画像入力変換装置のオーバフロー制御実現方法およびオーバフロー検出時の受信画像間引き方法あるいはカメラ・VTR等の映像出力装置を操作して受信画像の欠落を防ぐ方法について述べる。
【００４３】
本高速画像入力変換装置のオーバフロー制御は、図11のように、
カメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段1101と、画像受信手段1101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成し、キュー管理手段1104によりオーバフローの指示があった場合にはアクセス情報を一定の割合で削除し（：例えば、割合として１/２に削除するときは、１アクセス情報おきに削除することを意味し、削除する割合値は任意である）、削除したアクセス情報に対応する受信バッファ番号をキュー管理手段1104に通知するアクセス情報生成削除手段1102と、
アクセス情報生成削除手段1102により生成したアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、受信バッファ番号をキュー管理手段1104に通知する画像処理手段と、
アクセス情報生成削除手段1102または画像処理手段1103により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはアクセス情報生成削除手段1102にオーバフローの指示を送るキュー管理手段1104と、から構成される。
【００４４】
図13-aは画像受信手段1101、図13-bはアクセス情報生成削除手段1102、図13-cはキュー管理手段1104、図13-dは画像処理手段1103の処理の流れを示したフローチャートで、以下その動作を説明する。
step1301〜1305,1307: step401〜405,407と同様の処理を行なう。
step1306: 次の受信バッファの番号をキューから取得する。
step1311: 画像受信手段1101からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段1104からのオーバフロー処理要求を受信する。
step1312: 受信した要求がアクセス情報生成処理要求の場合、step1313に進む。オーバフロー処理要求の場合、step1315に進む。
step1313: 受信バッファからアクセス情報を生成する。
step1314: 生成したアクセス情報を格納する。
step1315: step1314で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step1316: 削除すると決定したアクセス情報に対応する受信バッファ番号をキュー管理手段1104にすべて通知する。
step1317: step1315で決定したアクセス情報を削除する。
step1318: アクセス情報生成削除手段1102の処理終了の合図があるまで、step1311〜step1317を繰り返す。終了の合図があれば、アクセス情報生成削除手段1102の処理を終了する。
step1321:アクセス情報生成手段1102または画像処理手段1103より受信可能な受信バッファ番号を受信する。
step1322: 受信した受信バッファ番号をキューに格納する。
step1323: キューにある受信バッファ番号の数がM(整数)未満なら、step1324に進む。M以上ならstep1325に進む。
step1324: 受信画像量がオーバフローを起こしたことをアクセス情報生成手段1102に通知する。
step1325: キュー管理手段1104の終了処理の合図があるまで、step1321〜step1324を繰り返す。終了の合図があれば、キュー管理手段1104の処理を終了する。
step1331〜1333: step421〜step423と同様の処理を行なう。
step1334: 画像処理終了した受信バッファの番号をキュー管理手段1104に通知する。
step1335: 画像処理手段1103の終了処理の合図があるまで、step1331〜step1334を繰り返す。終了の合図があれば、画像処理手段1103の処理を終了する。
【００４５】
図14は図11に示す各手段の処理過程におけるキューの状態遷移を表したものである。
step1401: 画像受信手段1101が、開始後、受信バッファ１〜Nまで画像を受信し、画像処理手段1103が受信バッファ5の処理を行なっている場合は、キューには、1〜4までの受信バッファ番号が格納されている。(画像処理手段1103が受信バッファ4の処理終了時、画像受信手段1101は受信バッファN-3の処理を行なっていたので、キューには5個以上の受信バッファ番号が格納されており、キュー管理手段1104によりオーバフロー検出はおきなかったものとする。)
ｓｔｅｐ１４０２： 画像受信手段1101が、受信バッファ１に受信を開始し、画像処理手段1103が受信バッファ5の処理を終了し、キュー管理手段1104がキューに受信バッファ5を格納した場合、キューには、2〜5の受信バッファ番号が格納されている。
step1403: キュー管理手段1104がオーバフロー検出後、アクセス情報生成削除手段1102に通知し、アクセス情報生成削除手段1102がオーバフロー時の処理( 1バッファおきに削除)を終了し、画像受信手段1101が、受信バッファ１に受信途中で、画像処理手段1103が受信バッファ6の処理途中の場合、キューには、2〜5,7,9,11,13,...の受信バッファ番号が格納されることになる。
【００４６】
以上のように、本オーバフロー制御方法は、
受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、オーバフロー検出方法として、キューイングを行なった後、オーバフローの判定を行なう場合を説明したが、一定間隔でキューの状態を監視してオーバフロー検出する方法でも、同様の効果が得られる。
【００４７】
（実施の形態６）
次に、本高速画像入力変換装置でオーバフローを検出した場合に、フレーム単位で一定のフレームレートなるように画像を間引く方法について述べる。
【００４８】
図12において、1201はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、1202は画像受信手段1201により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位でフレームアクセス情報として生成し、キュー管理手段1205によりオーバフローの指示があった場合にはフレームアクセス情報を一定の割合で削除し、削除したフレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知するフレームアクセス情報生成削除手段、1203はフレームアクセス情報生成削除手段1202により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知する画像処理手段、1204はフレームアクセス情報生成手段1202または画像処理手段1203により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1205に通知する受信バッファスケジュール手段、1205は受信バッファスケジュール手段1204により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはフレームアクセス情報生成削除手段1202にオーバフローの指示を送るキュー管理手段を示す。
【００４９】
図15-aは受信バッファスケジュール手段1204の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1201、画像処理手段1203、キュー管理手段1205のフローチャートはそれぞれ図13-a、図6-a、図13-cと同様で、フレームアクセス情報生成削除手段1202の処理は、図13-bの処理をフレーム単位で行なうようにしたものと同様である。
step1501: 画像処理手段1203により処理終了した受信バッファ番号またはフレームアクセス情報生成削除手段1202により削除処理終了した受信バッファ番号を受理する。画像処理手段1203とフレームアクセス情報生成削除手段1202での処理終了バッファ転送方法を図15-cに示す。まず、受信バッファに対してフレームアクセス情報の参照箇所(先頭,全部、最後)を求める。もし、フレームアクセス情報の参照箇所が先頭の場合、処理終了後、受信バッファ番号を1回送り、最後の場合、受信バッファ番号を2回送り、全部の場合、受信バッファ番号を3回送る。例えば、図15-bの場合を考えると、m+1フレーム目のフレームアクセス情報を削除する場合、受信バッファ番号6を2回、10を3回、1を1回送ることになる。なお、受信バッファの大きさは、1フレーム分相当とする。
step1502: 受理した受信バッファ番号の中で、再受信可能な受信バッファ番号を決定する。再受信可能バッファ決定方法は、同じ受信バッファ番号を3回受信した時点で再受信可能バッファと決定し、その受信バッファ番号をキュー管理手段1205へ通知する。
step1503: step1502で決定した受信バッファ番号をキュー管理手段1205に通知する。
step1504:受信バッファスケジュール手段1204の処理終了の合図があるまで、step1501〜step1504を繰り返す。終了の合図があれば、受信バッファスケジュール手段1204の処理を終了する。
【００５０】
以上のように、本フレーム単位での間引き方法は、
オーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、画像処理中による数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
【００５１】
（実施の形態７）
次に、オーバフロー検出時にカメラ・VTR等の画像出力装置を制御して受信画像の欠落を防ぐ方法について述べる．
図16において、1601はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、
1602は画像受信手段1601により受信した受信画像から同一フレームの画像を削除し、削除フレームに対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する同一フレーム削除手段、
1603は同一フレーム削除手段1602により未削除のフレームに対して複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段、
1604はフレームアクセス情報生成手段1603により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する画像処理手段、
1605は同一フレーム削除手段1602または画像処理手段1604により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1606に通知する受信バッファスケジュール手段、
1606は受信バッファスケジュール手段1605により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合には画像出力装置にテープ一時停止要求を出し、キューに格納されているバッファ番号の数がある閾値以上になった場合には画像出力装置にテープ再生要求を出すキュー管理手段を示す。
【００５２】
テープが一時停止状態の場合、画像出力装置は同一フレームの画像データを転送するため、受信側で同一フレームを削除する機構が必要となる。キュー管理手段1606から画像出力装置にテープ制御を送る方法は、例えば、IEEE1394を用いた場合、アシンクロナス(非同期)方式で、画像出力装置にテープ再生・一時停止等の要求を転送することができる。図17-aは同一フレーム削除手段1602、図17-bはフレームアクセス情報生成手段1603、図17-cはキュー管理手段1606の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1601、画像処理手段1604のフローチャートはそれぞれ図13-a、図6-aと同様である。
step1701: 画像受信手段1601の受信バッファ処理要求の通知を受信する。
step1702: 受信バッファからフレーム単位で画像データの特徴量を抽出する。
step1703: 受信バッファ内にフレームの切れ目があるか判定し、フレームの切れ目があれば、step1704に進む。フレームの切れ目がなければ、step1701に戻る。
step1704: step1702で抽出した特徴量を用いて現フレームが前フレームと同一か判定する。
同一フレームの場合、step1705に進む。同一フレームでない場合、step1706に進む。
step1705: 現フレームに対応する受信バッファを受信バッファスケジュール手段1605に図15-cの通知方法で通知する。
step1706: フレームアクセス情報生成手段1603にフレームのアクセス情報生成要求を送る。要求内容としては、フレームの格納箇所(複数の受信バッファ番号とフレームの先頭の受信バッファ内オフセット)を転送する。
step1707: 同一フレーム削除手段1602の処理終了の合図があるまで、step1701〜step1707を繰り返す。終了の合図があれば、同一フレーム削除手段1602の処理を終了する。
step1711: 同一フレーム削除手段1602からのアクセス情報生成要求を受信する。
step1712: フレームの先頭からフレームアクセス情報を生成する。
step1713: 生成したアクセス情報を格納する。
step1714: フレームアクセス情報生成手段1603の処理終了の合図があるまで、step1711〜step1714を繰り返す。終了の合図があれば、フレームアクセス情報生成手段1603の処理を終了する。
step1721:受信バッファスケジュール手段1605より受信可能な受信バッファ番号を受信する。
step1722: 受信した受信バッファ番号をキューに格納する。
step1723: キューにある受信バッファ番号の数がM(整数)未満なら、step1724に進む。M以上ならstep1725に進む。
step1724: 画像出力装置にテープ一時停止要求を送る。
step1725: キューにある受信バッファ番号の数がL(整数、M < L)より大きい場合、step1726に進む。L以下ならstep1727に進む。
step1726: 画像出力装置にテープ再生要求を送る。
step1727: キュー管理手段1606の処理終了の合図があるまで、step1721〜step1726を繰り返す。終了の合図があれば、キュー管理手段1606の処理を終了する。
【００５３】
フレーム内の特徴量を抽出して同一フレームを判定する方法は、例えば、DCTの直流成分を抽出して比較する方法が考えられる。しかし、動きがない画像の場合、テープ再生中でも同一フレームと誤判定してしまう可能性や、フレーム内から直流成分を取出すため処理速度が遅くなると言った問題点が生じる。本機器制御連動装置では、画像がDVの場合に、一部の画像データから高速に同一フレームの判定を行なうことができる。その方法には、
ａ．DVのDifブロック内にあるSequence Numberの値を用いる方法、
ｂ．DVのHeader SectionにあるDFTIAの値を用いる方法、
ｃ．DVのSubcode SectionにあるTimecodeの値を用いる方法
が挙げられる。
【００５４】
DVは図18-aのように、1フレームあたり10個のDif Sequenceから構成されており、各Dif Sequenceには、ヘッダ情報・ビデオ・オーディオデータ等を格納している150個のDif Blockから構成される。aのSequence NumberはDifブロック毎に4ビットの大きさで格納されているが、DVのHeader Section、Subcode SectionおよびVAUX Section内のSequence Numberは、映像出力装置からの転送時に書き替えられることが多い。
【００５５】
本機器制御連動装置では、Sequence Numberを映像出力装置からの転送時に書き替えられないAudio&Video Sectionから取得している。Sequence Numberは0〜11までの値をフレーム単位で持っており、図18-bのように、テープ再生時には0〜11の値のフレームが繰り返し転送され、テープ一時停止時には、同じ値のフレームが繰り返し転送される。bのDFTIAはフレーム内のHeader Sectionに4ビット(0〜15までの値)の大きさで格納されており、図18-bのように、テープ再生時には0〜15の内、二つの値が繰り返し転送され、テープ一時停止時には、同じ値が繰り返し転送される。cのTimecodeはフレーム内のSubcode Sectionに4バイトの大きさで格納されており、図18-bのように、テープ再生時にはフレームの時間が昇順に転送され、テープ一時停止時にはフレームの時間が格納されずに転送される。よって、上記a,b,cの値が連続して同じ場合、同一フレームと判断し、同一フレームを削除することができる。
【００５６】
なお、Timecodeが未記録のテープを再生した場合、テープ一時停止状態とみなし、Timecode未記録部分を削除することにする。また、テープ一時停止状態からテープ再生状態にした場合に生じる画像の乱れを抑制するために、数フレーム巻戻し後テープ再生を行ない、巻き戻しフレームの削除を上記a,b,cの値を用いて行なうことも可能である。また、画像出力装置にテープ一時停止要求を出し、一定時間内に同一フレームが検出されない場合、画像出力装置はライブモードと判定し、オーバフロー時にフレーム間引き処理を行なう図12の高速画像入力変換装置に切り替えることも可能である。
【００５７】
以上のように、同一フレームを削除する方法に、上記a,b,cの値を用いることで、同一フレーム判定の高速化および受信画像の欠落防止を実現でき、その実用的効果は大きい。なお、画像の乱れ抑制法として、テープ一時停止状態から数フレーム巻戻し後テープ再生を行なう場合を説明したが、テープ停止状態(画像データ未転送状態)から数フレーム巻戻し後テープ再生を行なう場合でも同様の効果が得られる。
【００５８】
（実施の形態８）
次に、ビデオとオーディオを多重化して転送する場合に、オーディオ処理を優先してオーディオデータの欠落を抑制する方法について述べる。
【００５９】
図19において、1901は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段、1902は画像受信手段1901により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のビデオのアクセス情報をバッファ単位で生成し、オーディオのデータを受信バッファからオーディオデータメモリに複写するアクセス情報生成手段、1903はアクセス情報生成手段1902により生成したアクセス情報を参照しビデオの画素ブロックを受信バッファから直接読み出し処理を行ない、オーディオデータメモリからオーディオの処理を行なう画像処理手段を示す。
【００６０】
図21-aはアクセス情報生成手段1902、図21-bは画像処理手段1903の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1901のフローチャートは図4-aと同様である。
step2101: 画像受信手段1901の受信バッファ処理要求の通知を受信する。
step2102: 生成するアクセス情報がビデオブロックに関する場合、step2103に進む。オーディオに関する場合、step2105に進む。
step2103: ビデオのアクセス情報を生成する。
step2104: 生成したビデオのアクセス情報を格納する。
step2105: オーディオのデータをオーディオデータメモリに複写する。
step2106: バッファ内の処理が終了するまで、step2102からstep2105を繰り返す。バッファ内の処理が終了した場合、step2107に進む。
step2107: アクセス情報生成手段1902の処理の合図があるまで、step2101〜step2106を繰り返す。終了の合図があれば、アクセス情報生成手段1902の処理を終了する。
step2111: ビデオ処理の場合、step2112に進む。オーディオ処理の場合、step2114に進む。
step2112: アクセス情報生成手段1902により生成したビデオのアクセス情報を取得する。
step2113: アクセス情報を参照して、受信バッファからビデオデータを取得する。
step2114: アクセス情報生成手段1902により複写したオーディオのデータをオーディオデータメモリから取得する。
step2115: ビデオあるいはオーディオの処理を行なう。
step2116: 画像処理手段1903の処理の合図があるまで、step2111〜step2115を繰り返す。終了の合図があれば、画像処理手段1903の処理を終了する。
【００６１】
以上のように、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６２】
（実施例９）
次に、オーディオデータの複写を受信画像のオーバフロー時のみ行なう方法について述べる．
本高速画像入力変換装置は、図20において、図11の高速画像入力変換装置にオーディオデータメモリを追加し、アクセス情報生成削除手段2002がオーディオのアクセス情報も生成し、キュー管理手段2004によりオーバフローの通知がなされた場合にはオーディオのアクセス情報に基づいて受信バッファからオーディオのデータを抽出しオーディオデータメモリに複写を行なってからアクセス情報を削除し、画像処理手段2003がアクセス情報生成削除手段2002により生成したアクセス情報がある場合にはアクセス情報からビデオとオーディオの処理を行ない、アクセス情報がない場合(削除された場合)にはオーディオデータメモリからオーディオの処理を行なうように動作する。
【００６３】
図22-aはアクセス情報生成削除手段2002、図22-bは画像処理手段2003の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段2001、キュー管理手段2004のフローチャートは図13-a、図13-cと同様である。
step2201: 画像受信手段2001からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段2004からのオーバフロー処理要求を受信する。
step2202: 受信した要求がアクセス情報生成処理要求の場合、step2203に進む。オーバフロー処理要求の場合、step2205に進む。
step2203: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。
step2204: 生成したアクセス情報を格納する。
step2205: step2204で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step2206: step2205で削除すると決定したアクセス情報に含まれるオーディオのデータをオーディオデータメモリに複写する。
step2207: 削除すると決定したアクセス情報に含まれる受信バッファ番号をキュー管理手段2004にすべて通知する。
step2208: step2205で決定したアクセス情報を削除する。
step2209: アクセス情報生成削除手段2002の処理終了の合図があるまで、step2201〜step2208を繰り返す。終了の合図があれば、アクセス情報生成削除手段2002の処理を終了する。
step2211: 受信画像のオーバフロー時に、アクセス情報生成削除手段2002により次のアクセス情報が削除されていた場合、step2214に進む。次のアクセス情報がある場合、step2212に進む。
step2212: アクセス情報生成削除手段2002により生成したアクセス情報を取得する。
step2213: アクセス情報を参照して、受信バッファからビデオあるいはオーディオのデータを取得する。
step2214: アクセス情報生成削除手段2002により複写したオーディオのデータをオーディオデータメモリから取得する。
step2215: ビデオあるいはオーディオの処理を行なう。
step2216: 画像処理終了した受信バッファ番号をキュー管理手段2004に通知する。
step2217: 画像処理手段2003の処理の合図があるまで、step2211〜step2216を繰り返す。終了の合図があれば、画像処理手段2003の処理を終了する。
【００６４】
以上のように、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分のみ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６５】
（実施例１０）
次に、オーディオのデータを複写しないでオーディオの欠落を抑制する方法について述べる．
本高速画像入力変換装置は、図23において、図11の高速画像入力変換装置に、書込み禁止情報メモリを追加し、アクセス情報生成削除手段2302がオーディオのアクセス情報も生成し、キュー管理手段2304によりオーバフローの通知がなされた場合にはオーディオのアクセス情報を書込み禁止情報メモリに複写を行なってからビデオのアクセス情報のみを削除し、画像受信手段2301は書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込むように動作する。
【００６６】
図24-aは画像受信手段2301、図24-bはアクセス情報生成削除手段2302、図24-cは画像処理手段2303の処理の流れを示したフローチャートで、以下その動作を説明する。キュー管理手段2304のフローチャートは図13-cと同様である。
step2401〜2402,2405〜2408: step1301〜1302,1304〜1307と同様の処理を行なう。
step2403: 書込みを行なっている受信バッファに対応する書込み禁止情報を取得する。
step2404: 書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込む。
step2411〜2412,2414〜2415,2417〜2419: step2201〜2202,2204〜2205,2207〜2209と同様の処理を行なう。
step2413: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。なお、画像受信手段2301でスキップした領域のオーディオのアクセス情報は生成しないものとする。
step2416: step2415で削除すると決定したアクセス情報内のオーディオアクセス情報を書込み禁止情報メモリに複写する。
step2421: アクセス情報生成削除手段2302により生成したアクセス情報を取得する。
step2422: 取得したアクセス情報がオーディオのみのアクセス情報の場合、step2423に進む。ビデオ・オーディオのアクセス情報の場合、step2426に進む。
step2423: アクセス情報を参照して、受信バッファからオーディオのデータを取得する。
step2424: オーディオの処理を行なう。
step2425: 処理終了したオーディオの書込み禁止情報を削除する。
step2426: アクセス情報を参照して、受信バッファからビデオ・オーディオのデータを取得する。
step2427: ビデオあるいはオーディオの処理を行なう。
step2428: 処理終了した受信バッファ番号をキュー管理手段2304に通知する。
step2429: 画像処理手段2303の終了処理の合図があるまで、step2421〜step2428を繰り返す。終了の合図があれば、画像処理手段2303の処理を終了する。
【００６７】
以上のように、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６８】
【発明の効果】
以上のように、第一の発明では、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減できるという有利な効果が得られる。
【００６９】
第二の発明では、フレームあたりのパケット数が固定でない場合に、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にするという有利な効果が得られる。
【００７０】
第三の発明では、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制できるという有利な効果が得られる。
【００７１】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できるという有利な効果が得られる。
【００７２】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７３】
第四の発明では、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数のフレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７４】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いることにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できるという有利な効果が得られる。
【００７５】
第五の発明では、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落は抑制できるという有利な効果が得られる。
【００７６】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制できるという有利な効果が得られる。
【００７７】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の構成を示すブロック図
【図２】第２の実施の形態における受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図３】受信バッファ内のパケット格納状態とアクセス情報生成方法を説明する図
【図４】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の動作を示す流れ図
【図５】第２の実施の形態におけるフレーム単位で受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図６】第２の実施の形態におけるフレーム単位で受信バッファ内排他制御を実現した高速画像入力変換装置の動作を示す流れ図および再受信可能バッファ決定方法を説明する図
【図７】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図８】第４の実施の形態における受信画像量に応じて画像の解像度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図９】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１０】 DCTを用いた解像度調整方法を説明する図および第４の実施の形態における受信画像量に応じて画像の解像度を調節して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１１】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１２】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１３】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図
【図１４】キューの状態遷移の例を示す説明図
【図１５】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図および処理終了バッファ転送方法と再受信可能バッファ決定方法を説明する図
【図１６】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の構成を示すブロック図
【図１７】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の動作を示す流れ図
【図１８】 DVフォーマット構造を説明する図およびテープ再生・一時停止状態時のフレーム内情報の変化例を示す図
【図１９】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２０】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２１】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２２】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２３】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２４】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２５】本願発明における、各モジュール間のデータ転送を省略した、アクセス情報の転送による高速なデータ転送方式の例図
【図２６】従来のパイプライン処理を用いた画像処理の構成図
【符号の説明】
１０１・・・画像受信手段
１０２・・・アクセス情報生成手段
１０３・・・画像処理手段
５０４・・・受信バッファスケジュール手段
８０３・・・解像度決定手段
１１０４・・・キュー管理手段
【発明の属する技術分野】
本発明は、カメラやデッキなどからパソコンに入力した映像に対して、フォーマット変換などの画像処理を施す画像入力変換装置に関し、特に、入力画像から所望の画像に高速に変換できるようにしたものである。
【０００２】
【従来の技術】
近年、リアルタイム伝送機能を備える高速インターフェース、IEEE1394等の登場により、カメラ・VTRなどの画像出力装置からパソコンにDV(Digital Video)等の高画質なデジタル画像を入力することが可能になってきた。パソコンに入力したDVは、多チャンネルサービスを提供する衛星放送やVOD(Video On Demand)システムに用いられる時間軸方向および空間軸方向に圧縮を施したMPEG(Moving Picture Coding Experts Group)フォーマットに変換して、衛星やネットワークに送信することが多い。パソコンに入力したDVをMPEGに変換を行なうためには、DCT(Discrete Cosine Transform)復号化・可変長復号化(VLD:Variable Length Decode)を施すDVデコードおよびDCT符号化・可変長符号化(VLC:Variable Length Coding)・動き補償符号化等を施すMPEGエンコードの画像処理を行なう必要がある。
【０００３】
一般に、画像処理は、画像入力・演算処理・画像出力など各モジュールが連結して一連の処理を並列に高速に行なうことのできるパイプライン方式を取る。パイプライン処理を行なう画像処理方法は、例えば、特開平8-263628号公報にも開示されている。その方法は、特開平8-263628号公報中の図2に相当する、図２６に示すように、画像入出力部、特徴抽出部、システム制御部の画像メモリへのアクセスが並列に実行できるように、画像処理部が画像データを処理し、その結果を画像メモリに出力すると同時に、各部に起動をかける手段を備えることにより、画像メモリへのアクセスを並列に実行できるようにして高速処理およびシステムのスループット向上を実現している。また、画像処理部で処理を行ないたい画像データがビデオメモリから画像メモリに転送される前に書き替えられるのを防止するために、ビデオメモリの内容の更新を禁止する排他制御を行なっている。
【０００４】
【発明が解決しようとする課題】
しかし、従来の技術を用いて、パソコンに入力したDVをMPEGにリアルタイムに変換する場合、画像入力、可変長復号化等の処理を行なうモジュール間でのデータ転送にかかる時間が膨大し、高速なパイプライン処理が実現できない問題が生じる。
そこで本発明では第一に、モジュール間のデータ転送に要する処理を削減することを目的とする。
【０００５】
また、フレームを複数のパケットに分割して画像データを転送するIEEE1394等に従来の技術を用いると、IEEE1394転送方式ではフレームあたりのパケット数は固定でないため、画像処理の基本単位であるフレーム単位で、ビデオメモリのバッファの排他制御を行なうことは困難である。
そこで本発明では第二に、フレーム単位での排他制御を実現することを目的とする。
【０００６】
また、従来の技術では、ビデオメモリ内の排他制御が画像処理部の処理速度に連動しているため、画像処理部の処理速度が遅い場合、受信画像の欠落が頻繁に生じる。
そこで本発明では第三に、ビデオメモリ内の受信画像量に応じて画像処理部の処理速度を調整し受信画像の欠落を抑制することを目的とする。
【０００７】
また、従来の技術では、画像データをビデオメモリから画像メモリへ転送されるまで、該当するビデオメモリ領域に受信画像を書き込むことが出来ないため、プロセッサ全体に負荷がかかっているときは、数フレームという単位で画像が欠落する問題が生じる。
そこで本発明では第四に、受信画像のオーバフロー時に受信画像の欠落を間引くこと、あるいはVTRやカメラ等の画像出力装置を制御して受信画像の欠落を抑制することを目的とする。
【０００８】
また、ビデオとオーディオを多重化して転送するIEEE1394等に従来の技術を用いると、受信画像のオーバフロー時にビデオだけでなくオーディオも欠落する問題が生じる。
そこで本発明では第五に、受信画像のオーバフロー時にオーディオ処理を優先し、オーディオの欠落を抑制することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、
第一に、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送するようにしたものである。図２５は、ＤＶ受信モジュール2502とデコードモジュール2504間で、フレームバッファ2503を介してデータを転送するのではなく、パケットバッファ2501内のデータのアクセス情報2505を転送することにより、データ転送に要する処理を削減出来る。これにより、パイプライン処理の構造のまま、データ転送に要する処理を削減する効果を奏するものである。
【００１０】
第二に、フレームあたりのパケット数が固定でない場合、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定するようにしたものである。これにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にする効果を奏するものである。
【００１１】
第三に、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制できる効果を奏するものである。
【００１２】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整できるようにしたものである。これにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できる効果を奏するものである。
【００１３】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にしたものである。これにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１４】
第四に、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定するようにしたものである。これにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できる効果を奏するものである。
【００１５】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できる効果を奏するものである。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いるようにしたものである。これにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できる効果を奏するものである。
【００１６】
第五に、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写するようにしたものである。これにより、受信画像のオーバフロー時にオーディオの欠落は抑制できる効果を奏するものである。
【００１７】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写するようにしたものである。これにより、データ転送に要する処理を削減してオーディオの欠落を抑制できる効果を奏するものである。
【００１８】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにしたものである。これにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できる効果を奏するものである。
【００１９】
【発明の実施の形態】
以下、本発明の各実施の形態について、図１から図２４を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００２０】
（実施の形態１）
まず最初に、パイプライン構造のまま、データ転送に要する処理を削減する高速画像入力変換装置の実現方法および前記高速画像入力変換装置の排他制御の実現方法について述べる。
【００２１】
本高速画像入力変換装置は、図1において、カメラ・VTR等の画像出力装置から画像を受信し、受信バッファに1〜Nの順番に繰り返し格納する画像受信手段101と、画像受信手段101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報を、バッファ単位で（：受信バッファ内の各バッファ毎に）生成するアクセス情報生成手段102と、アクセス情報生成手段102により生成したアクセス情報を参照し、画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段103から構成される。
【００２２】
画像受信手段101で受信する画像データはIEEE1394の場合、図3-aに示すように、1フレームの画像データを複数のパケットに分割してアイソクロナス方式で送信側から転送される。アイソクロナス方式は転送帯域を保証したリアルタイム転送方式で、一定間隔でパケットを転送する必要がある。このため、一定時間内に画像データのパケット(以下、画像パケットと呼ぶ)を生成できない場合には、画像データが含まれていないヘッダのみのパケット(以下、空パケットと呼ぶ)が転送されるようになっている。受信側では、送信側で転送された画像パケットと空パケットを受信バッファに書き込む。空パケットの発生する頻度が不定なため、受信バッファ内にある実際の画像データの格納箇所は、受信バッファによって異なる。このため、図3-bに示すように、フレーム毎に画像データが格納されているバッファの格納箇所が異なり、1フレーム分の画像データが複数のバッファに格納されることになる。IEEE1394の画像データ転送方法には、例えば、デジタルカメラなどのフォーマットであるDVを用いたものがあり、1フレームあたり120KBのDVを250個のパケットに分割してアイソクロナス方式で転送される。
【００２３】
一般に、画像を受信して画像処理を行なう場合は、画像受信手段101と画像処理手段103が並列に高速処理できるようにパイプライン方式を採る。パイプライン方式では、画像受信手段101で受信した画像データを画像処理手段103に転送し、画像処理手段103内のメモリに画像処理前の画像データを蓄積するため、DV等高画質な画像を扱う場合、データ転送の処理に時間がかかる。
【００２４】
この問題を解決するため、本高速画像入力変換装置では、受信バッファを共有化し、アクセス情報生成手段102が受信バッファ内の画像データのアクセス情報を生成し、画像処理手段103にアクセス情報を転送するようにしている。
【００２５】
DVのアクセス情報は、図3-cに示すように、1フレームあたり1500個からなるDifブロックの格納箇所をバッファ単位で生成している。Difブロックは80Bの大きさで、1フレームあたりのビデオ・オーディオのデータやヘッダ情報等を分割してDifブロック内に格納している。図3-cでは、フレームの先頭からDifブロック番号(DifNo)を1からカウントし、DifNoとDifブロックの格納箇所(offset)をセットにして生成する。アクセス情報生成手段102で生成したバッファ単位のアクセス情報のサイズは、受信バッファ内の画像データサイズに比べて格段に小さい。従って、本高速画像入力変換装置では、パイプライン処理の構造のまま、データ転送に要する処理を削減できる効果が期待できる。
【００２６】
また、アクセス情報をバッファ単位でなくフレーム単位で生成することもできる。図3-dに示すように、フレーム内のDifNo=1〜1500に対する格納箇所(バッファ番号(BufNo),offset)をセットにして生成する。フレーム単位でアクセス情報を生成することにより、画像処理手段103もフレーム単位で画像処理を行なうことが可能になる。
また、画像処理手段103が処理に必要な画像データのみアクセス情報からランダムに抽出することも可能である。
【００２７】
また、画像処理手段103が処理を行ない易いように、アクセス情報生成手段102がアクセス情報の(DifNo,offset)の順番を並び替えることも可能である。例えば、DVの場合、1ビデオセグメントを構成する5MB(MB=Macro Block:8x8の画素が4つ)の情報量を均一化するため、1画面内から所定のルールでシャッフリングして5つのMBを集めセグメント化する。DifNo=1とDifNo=2のDifブロック(Difブロック=1MB)は、1画面内では離れたところにあるブロックとなるため、画像処理手段103でシャッフリングを解く作業を行ない指定された領域の画像データを抽出して画像処理を行なう必要がある。従って、アクセス情報生成手段102がシャッフリングを解く作業を行ないながら元画像のMBの並びでアクセス情報を生成することで、画像処理手段103の処理速度を向上することが可能となる。
【００２８】
図4-aは画像受信手段101、図4-bはアクセス情報生成手段102、図4-cは画像処理手段103の処理の流れを示したフローチャートで、以下その動作を説明する。
step401: 受信バッファの番号を示すBufNoの値を初期化する。
step402: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step403: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step404: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step402に戻る。
step405: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段102に通知する。
step406: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step407: 画像受信手段101の処理終了の合図があるまで、step402〜step406を繰り返す。
終了の合図があれば、画像受信手段101の処理を終了する。
step411: 画像受信手段101の受信バッファ処理要求の通知を受信する。
step412: アクセス情報を生成する。
step413: 生成したアクセス情報を格納する。
step414: アクセス情報生成手段102の処理終了の合図があるまで、step411〜step413を繰り返す。終了の合図があれば、アクセス情報生成手段102の処理を終了する。
step421: アクセス情報生成手段421により生成したアクセス情報を取得する。
step422: アクセス情報を参照して、受信バッファから画像データを取得する。
step423: 取得した画像データから画像処理を行なう。
step424: 画像処理手段103の処理終了の合図があるまで、step421〜step423を繰り返す。終了の合図があれば、画像処理手段103の処理を終了する。
【００２９】
以上のように、本高速画像入力変換装置は、
モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減でき、その実用的効果は大きい。
なお、パケットの格納方法として、ヘッダをつけて格納する場合を説明したが、ヘッダを除去して格納する方法でも同様の効果が得られる。
【００３０】
（実施の形態２）
次に、本高速画像入力変換装置における受信バッファの"排他制御"の実現方法について述べる．
アクセス情報をバッファ単位で生成する場合は、図2に示すように、画像処理手段203が処理終了した受信バッファのバッファ番号を画像受信手段201に通知し、画像受信手段201が画像処理手段203により受信バッファの処理終了通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。しかし、アクセス情報がフレーム単位で生成される場合は、図3-bのようにフレーム内の画像処理が終了しても、次フレームの画像処理が終了するまで受信バッファの再受信通知を行なうことのできない場合が生じる。
【００３１】
本高速画像入力変換装置でアクセス情報がフレーム単位で生成される場合の排他制御は、図5において、カメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段501と、画像受信手段501により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段502と、フレームアクセス情報生成手段502により生成したフレームアクセス情報を用いて画素ブロックの画像処理を施す画像処理手段503と、画像処理手段503により処理したフレームに該当する受信バッファで再受信可能な受信バッファ番号をスケジュールして画像受信手段501に通知する受信バッファスケジュール手段504と、から構成され、画像受信手段501は受信バッファスケジュール手段504により受信バッファに対する再受信の通知が行なわれるまで、そのバッファに対する再受信を禁止することにより実現できる。
【００３２】
図6は画像処理手段503と受信バッファスケジュール手段504の受信バッファにおける排他制御の処理の流れを示したフローチャートで、以下その動作を説明する．
なお画像受信手段501の処理は、図4-aのstep406に、更新したBufNoの再受信通知が行なわれるまで待機する処理を追加したものと同様で、フレームアクセス情報生成手段502の処理は、図4-bのstep412の処理をフレーム単位で行なうようにしたものと同様である。
step601: フレームアクセス情報生成手段502により生成したフレームアクセス情報を取得する。
step602: フレームアクセス情報を参照して、受信バッファから画像データを取得する。
step603: 取得した画像データから画像処理を行なう。
step604: フレームアクセス情報を用いてフレーム内の画像処理が終了したら、フレームアクセス情報に含まれている受信バッファ番号(BufNo)を受信バッファスケジュール手段504に通知する。
step605: 画像処理手段503の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、画像処理手段503の処理を終了する。
step611: 画像処理手段503により処理終了した受信バッファ番号(BufNo)を受理する。
step612: 受理した受信バッファ番号(BufNo)の中で、再受信可能なバッファを決定する。 再受信可能バッファ決定方法は、図6-cのように、受信バッファ番号iに対して、i+1(i+1がNより大きい場合、1とする)の受信バッファ番号が受理されている場合、受信バッファ番号iは再受信可能バッファとする方法である。
step613: step612で決定した受信バッファ番号を画像受信手段501に通知する。
step614:受信バッファスケジュール手段504の処理終了の合図があるまで、step601〜step604を繰り返す。終了の合図があれば、受信バッファスケジュール手段504の処理を終了する。
【００３３】
以上のように、本高速画像入力変換装置は、
フレームあたりのパケット数が固定でない場合でも、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御が可能となり、その実用的効果は大きい。
【００３４】
（実施の形態３）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ方法について述べる。
【００３５】
図7において、701は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し、現在受信している受信バッファの番号を現受信バッファ番号に格納する画像受信手段、702は画像受信手段701により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、703はアクセス情報生成手段702により生成したアクセス情報から画像処理を行ない、画像処理中の受信バッファの番号が現受信バッファ番号に対してある閾値以下の場合、処理中の受信バッファの画像処理を中断し次受信バッファの画像処理を行なう画像処理手段を示す。
【００３６】
図9-aは画像受信手段701、図9-bは画像処理手段703の処理の流れを示したフローチャートで、以下その動作を説明する。アクセス情報生成手段702のフローチャートは図4-bと同様である。
step901: 受信バッファの番号を示すBufNoの値を初期化する。また、現受信バッファ番号の値も初期化(現受信バッファ番号=1)する。
step902: カメラ・VTR等の画像出力装置から画像データのパケットを受信する。
step903: 受信した画像データのパケットを受信バッファ(BufNo)に格納する。
step904: 受信バッファの最後までパケットを格納したか判定し、途中の場合は、step902に戻る。
step905: 受信バッファの最後までパケットを格納した場合、受信バッファに画像データを蓄積したことをアクセス情報生成手段702に通知する。
step906: 受信バッファの番号(BufNo)を1増やす。BufNoがバッファサイズ(N)を超えた場合、BufNo=1とする。
step907: 現受信バッファ番号の値をBufNoにする。
step908: 画像受信手段701の処理終了の合図があるまで、step902〜step907を繰り返す。
終了の合図があれば、画像受信手段701の処理を終了する。
step911: アクセス情報生成手段702により生成したアクセス情報を取得する。
step912: "現受信バッファ番号(RecBuf)"と"画像処理中のバッファ番号(CurBuf)"との差(受信可能な受信バッファ数)をf(RecBuf,CurBuf)より求め、その値がM以下の場合は、画像処理中の処理を中断し、step911に戻り、次のアクセス情報を取得する。差がMより大きい場合は、step913に進む。
step913: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step914: 取得した画像データから画像処理を行なう。
step915: バッファ内の画像処理が終了した場合、step916に進む。バッファ内の画像処理が途中の場合、step912に戻る。
step916: 画像処理手段703の処理終了の合図があるまで、step911〜step915を繰り返す。終了の合図があれば、画像処理手段703の処理を終了する。
【００３７】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step912等）を設け、受信画像量に応じて画像処理速度を調整できるため、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００３８】
（実施の形態４）
次に、本高速画像入力変換装置における受信バッファの排他制御を行なわずに、受信画像量に応じて画像の解像度を変更して画像処理を行なう方法について述べる。
【００３９】
図8において、801はカメラ・VTR等の画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納し現受信バッファ番号に現在受信している受信バッファの番号を格納する画像受信手段、802は画像受信手段801により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成するアクセス情報生成手段、803はアクセス情報生成手段802により生成したアクセス情報に対応する受信バッファの番号と現受信バッファ番号を比較し画像処理を行なう上での解像度を決定する解像度決定手段、804は解像度決定手段803により決定した解像度で画素ブロックを受信バッファから直接読み出し画像処理を行なう画像処理手段を示す。
解像度決定方法は、例えばDVの符号化であるDCTを用いると、受信画像量に応じて4段階の解像度を指定することができる。図10-aでは、8x8DCTブロックから8x8の画素ブロックを求める画像処理を示しており、まず、指定した解像度(4種類)に応じて、8x8DCTブロックの低周波の領域から (直流成分、2x2DCT成分、4x4DCT成分、8x8DCT成分)の一つを抽出し、逆DCT（IDCT）を施す。ただし、直流成分に関しては、IDCTは行なわない。次に、YxYDCTブロック（Y=2、4、8）のIDCTはYxYの画素ブロックとなるため、元サイズの8x8の画素ブロックとなるよう拡大する。一般に、IDCTの処理は、画素ブロック拡大の処理より数倍時間がかかるため、受信画像量に応じて、IDCTを行なう数を調整することは有効である。
【００４０】
図10-bは解像度決定手段803と画像処理手段804の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段801、アクセス情報生成手段802のフローチャートはそれぞれ図9-a、図4-bと同様である。
step1001: アクセス情報生成手段802により生成したアクセス情報を取得する。
step1002: 現受信バッファ番号と画像処理を行なうバッファ番号の差を求め、その差に応じて、画像処理を行なう上での解像度を決定する。
step1003: アクセス情報を参照して、受信バッファから複数の画素から構成する画素ブロックのデータを取得する。例えば、DVの場合、Difブロック単位で画像データを取得する。
step1004: 取得した画像データから指定した解像度で画像処理を行なう。
step1005: バッファ内の画像処理が終了した場合、step1006に進む。バッファ内の画像処理が途中の場合、step1002に戻る。
step1006: 画像処理手段804の処理終了の合図があるまで、step1001〜step1005を繰り返す。終了の合図があれば、画像処理手段804の処理を終了する。
【００４１】
以上のように、本高速画像入力変換装置は、
受信バッファの受信画像量を画像処理手段が把握できる機構（step1002等）を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、受信バッファの排他制御がなくても画像処理速度の遅延による受信画像の欠落および画像処理した画像の欠落を抑制でき、その実用的効果は大きい。
なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００４２】
（実施の形態５）
次に、本高速画像入力変換装置のオーバフロー制御実現方法およびオーバフロー検出時の受信画像間引き方法あるいはカメラ・VTR等の映像出力装置を操作して受信画像の欠落を防ぐ方法について述べる。
【００４３】
本高速画像入力変換装置のオーバフロー制御は、図11のように、
カメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段1101と、画像受信手段1101により受信した受信画像から、複数の画素から構成される画素ブロックに対する受信バッファ内のアクセス情報をバッファ単位で生成し、キュー管理手段1104によりオーバフローの指示があった場合にはアクセス情報を一定の割合で削除し（：例えば、割合として１/２に削除するときは、１アクセス情報おきに削除することを意味し、削除する割合値は任意である）、削除したアクセス情報に対応する受信バッファ番号をキュー管理手段1104に通知するアクセス情報生成削除手段1102と、
アクセス情報生成削除手段1102により生成したアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、受信バッファ番号をキュー管理手段1104に通知する画像処理手段と、
アクセス情報生成削除手段1102または画像処理手段1103により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはアクセス情報生成削除手段1102にオーバフローの指示を送るキュー管理手段1104と、から構成される。
【００４４】
図13-aは画像受信手段1101、図13-bはアクセス情報生成削除手段1102、図13-cはキュー管理手段1104、図13-dは画像処理手段1103の処理の流れを示したフローチャートで、以下その動作を説明する。
step1301〜1305,1307: step401〜405,407と同様の処理を行なう。
step1306: 次の受信バッファの番号をキューから取得する。
step1311: 画像受信手段1101からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段1104からのオーバフロー処理要求を受信する。
step1312: 受信した要求がアクセス情報生成処理要求の場合、step1313に進む。オーバフロー処理要求の場合、step1315に進む。
step1313: 受信バッファからアクセス情報を生成する。
step1314: 生成したアクセス情報を格納する。
step1315: step1314で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step1316: 削除すると決定したアクセス情報に対応する受信バッファ番号をキュー管理手段1104にすべて通知する。
step1317: step1315で決定したアクセス情報を削除する。
step1318: アクセス情報生成削除手段1102の処理終了の合図があるまで、step1311〜step1317を繰り返す。終了の合図があれば、アクセス情報生成削除手段1102の処理を終了する。
step1321:アクセス情報生成手段1102または画像処理手段1103より受信可能な受信バッファ番号を受信する。
step1322: 受信した受信バッファ番号をキューに格納する。
step1323: キューにある受信バッファ番号の数がM(整数)未満なら、step1324に進む。M以上ならstep1325に進む。
step1324: 受信画像量がオーバフローを起こしたことをアクセス情報生成手段1102に通知する。
step1325: キュー管理手段1104の終了処理の合図があるまで、step1321〜step1324を繰り返す。終了の合図があれば、キュー管理手段1104の処理を終了する。
step1331〜1333: step421〜step423と同様の処理を行なう。
step1334: 画像処理終了した受信バッファの番号をキュー管理手段1104に通知する。
step1335: 画像処理手段1103の終了処理の合図があるまで、step1331〜step1334を繰り返す。終了の合図があれば、画像処理手段1103の処理を終了する。
【００４５】
図14は図11に示す各手段の処理過程におけるキューの状態遷移を表したものである。
step1401: 画像受信手段1101が、開始後、受信バッファ１〜Nまで画像を受信し、画像処理手段1103が受信バッファ5の処理を行なっている場合は、キューには、1〜4までの受信バッファ番号が格納されている。(画像処理手段1103が受信バッファ4の処理終了時、画像受信手段1101は受信バッファN-3の処理を行なっていたので、キューには5個以上の受信バッファ番号が格納されており、キュー管理手段1104によりオーバフロー検出はおきなかったものとする。)
ｓｔｅｐ１４０２： 画像受信手段1101が、受信バッファ１に受信を開始し、画像処理手段1103が受信バッファ5の処理を終了し、キュー管理手段1104がキューに受信バッファ5を格納した場合、キューには、2〜5の受信バッファ番号が格納されている。
step1403: キュー管理手段1104がオーバフロー検出後、アクセス情報生成削除手段1102に通知し、アクセス情報生成削除手段1102がオーバフロー時の処理( 1バッファおきに削除)を終了し、画像受信手段1101が、受信バッファ１に受信途中で、画像処理手段1103が受信バッファ6の処理途中の場合、キューには、2〜5,7,9,11,13,...の受信バッファ番号が格納されることになる。
【００４６】
以上のように、本オーバフロー制御方法は、
受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
なお、オーバフロー検出方法として、キューイングを行なった後、オーバフローの判定を行なう場合を説明したが、一定間隔でキューの状態を監視してオーバフロー検出する方法でも、同様の効果が得られる。
【００４７】
（実施の形態６）
次に、本高速画像入力変換装置でオーバフローを検出した場合に、フレーム単位で一定のフレームレートなるように画像を間引く方法について述べる。
【００４８】
図12において、1201はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、1202は画像受信手段1201により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位でフレームアクセス情報として生成し、キュー管理手段1205によりオーバフローの指示があった場合にはフレームアクセス情報を一定の割合で削除し、削除したフレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知するフレームアクセス情報生成削除手段、1203はフレームアクセス情報生成削除手段1202により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1204に通知する画像処理手段、1204はフレームアクセス情報生成手段1202または画像処理手段1203により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1205に通知する受信バッファスケジュール手段、1205は受信バッファスケジュール手段1204により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合にはフレームアクセス情報生成削除手段1202にオーバフローの指示を送るキュー管理手段を示す。
【００４９】
図15-aは受信バッファスケジュール手段1204の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1201、画像処理手段1203、キュー管理手段1205のフローチャートはそれぞれ図13-a、図6-a、図13-cと同様で、フレームアクセス情報生成削除手段1202の処理は、図13-bの処理をフレーム単位で行なうようにしたものと同様である。
step1501: 画像処理手段1203により処理終了した受信バッファ番号またはフレームアクセス情報生成削除手段1202により削除処理終了した受信バッファ番号を受理する。画像処理手段1203とフレームアクセス情報生成削除手段1202での処理終了バッファ転送方法を図15-cに示す。まず、受信バッファに対してフレームアクセス情報の参照箇所(先頭,全部、最後)を求める。もし、フレームアクセス情報の参照箇所が先頭の場合、処理終了後、受信バッファ番号を1回送り、最後の場合、受信バッファ番号を2回送り、全部の場合、受信バッファ番号を3回送る。例えば、図15-bの場合を考えると、m+1フレーム目のフレームアクセス情報を削除する場合、受信バッファ番号6を2回、10を3回、1を1回送ることになる。なお、受信バッファの大きさは、1フレーム分相当とする。
step1502: 受理した受信バッファ番号の中で、再受信可能な受信バッファ番号を決定する。再受信可能バッファ決定方法は、同じ受信バッファ番号を3回受信した時点で再受信可能バッファと決定し、その受信バッファ番号をキュー管理手段1205へ通知する。
step1503: step1502で決定した受信バッファ番号をキュー管理手段1205に通知する。
step1504:受信バッファスケジュール手段1204の処理終了の合図があるまで、step1501〜step1504を繰り返す。終了の合図があれば、受信バッファスケジュール手段1204の処理を終了する。
【００５０】
以上のように、本フレーム単位での間引き方法は、
オーバフロー時に、画像処理中のフレーム以外の複数フレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、画像処理中による数フレームという単位での受信画像の欠落を抑制でき、その実用的効果は大きい。
【００５１】
（実施の形態７）
次に、オーバフロー検出時にカメラ・VTR等の画像出力装置を制御して受信画像の欠落を防ぐ方法について述べる．
図16において、1601はカメラ・VTR等の画像出力装置から画像を受信しキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段、
1602は画像受信手段1601により受信した受信画像から同一フレームの画像を削除し、削除フレームに対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する同一フレーム削除手段、
1603は同一フレーム削除手段1602により未削除のフレームに対して複数の画素から構成する画素ブロックに対する受信バッファ内のアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段、
1604はフレームアクセス情報生成手段1603により生成したフレームアクセス情報を参照し画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段1605に通知する画像処理手段、
1605は同一フレーム削除手段1602または画像処理手段1604により通知した受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段1606に通知する受信バッファスケジュール手段、
1606は受信バッファスケジュール手段1605により通知した受信バッファ番号をキューに追加し、キューに格納されている受信バッファ番号の数がある閾値以下になった場合には画像出力装置にテープ一時停止要求を出し、キューに格納されているバッファ番号の数がある閾値以上になった場合には画像出力装置にテープ再生要求を出すキュー管理手段を示す。
【００５２】
テープが一時停止状態の場合、画像出力装置は同一フレームの画像データを転送するため、受信側で同一フレームを削除する機構が必要となる。キュー管理手段1606から画像出力装置にテープ制御を送る方法は、例えば、IEEE1394を用いた場合、アシンクロナス(非同期)方式で、画像出力装置にテープ再生・一時停止等の要求を転送することができる。図17-aは同一フレーム削除手段1602、図17-bはフレームアクセス情報生成手段1603、図17-cはキュー管理手段1606の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1601、画像処理手段1604のフローチャートはそれぞれ図13-a、図6-aと同様である。
step1701: 画像受信手段1601の受信バッファ処理要求の通知を受信する。
step1702: 受信バッファからフレーム単位で画像データの特徴量を抽出する。
step1703: 受信バッファ内にフレームの切れ目があるか判定し、フレームの切れ目があれば、step1704に進む。フレームの切れ目がなければ、step1701に戻る。
step1704: step1702で抽出した特徴量を用いて現フレームが前フレームと同一か判定する。
同一フレームの場合、step1705に進む。同一フレームでない場合、step1706に進む。
step1705: 現フレームに対応する受信バッファを受信バッファスケジュール手段1605に図15-cの通知方法で通知する。
step1706: フレームアクセス情報生成手段1603にフレームのアクセス情報生成要求を送る。要求内容としては、フレームの格納箇所(複数の受信バッファ番号とフレームの先頭の受信バッファ内オフセット)を転送する。
step1707: 同一フレーム削除手段1602の処理終了の合図があるまで、step1701〜step1707を繰り返す。終了の合図があれば、同一フレーム削除手段1602の処理を終了する。
step1711: 同一フレーム削除手段1602からのアクセス情報生成要求を受信する。
step1712: フレームの先頭からフレームアクセス情報を生成する。
step1713: 生成したアクセス情報を格納する。
step1714: フレームアクセス情報生成手段1603の処理終了の合図があるまで、step1711〜step1714を繰り返す。終了の合図があれば、フレームアクセス情報生成手段1603の処理を終了する。
step1721:受信バッファスケジュール手段1605より受信可能な受信バッファ番号を受信する。
step1722: 受信した受信バッファ番号をキューに格納する。
step1723: キューにある受信バッファ番号の数がM(整数)未満なら、step1724に進む。M以上ならstep1725に進む。
step1724: 画像出力装置にテープ一時停止要求を送る。
step1725: キューにある受信バッファ番号の数がL(整数、M < L)より大きい場合、step1726に進む。L以下ならstep1727に進む。
step1726: 画像出力装置にテープ再生要求を送る。
step1727: キュー管理手段1606の処理終了の合図があるまで、step1721〜step1726を繰り返す。終了の合図があれば、キュー管理手段1606の処理を終了する。
【００５３】
フレーム内の特徴量を抽出して同一フレームを判定する方法は、例えば、DCTの直流成分を抽出して比較する方法が考えられる。しかし、動きがない画像の場合、テープ再生中でも同一フレームと誤判定してしまう可能性や、フレーム内から直流成分を取出すため処理速度が遅くなると言った問題点が生じる。本機器制御連動装置では、画像がDVの場合に、一部の画像データから高速に同一フレームの判定を行なうことができる。その方法には、
ａ．DVのDifブロック内にあるSequence Numberの値を用いる方法、
ｂ．DVのHeader SectionにあるDFTIAの値を用いる方法、
ｃ．DVのSubcode SectionにあるTimecodeの値を用いる方法
が挙げられる。
【００５４】
DVは図18-aのように、1フレームあたり10個のDif Sequenceから構成されており、各Dif Sequenceには、ヘッダ情報・ビデオ・オーディオデータ等を格納している150個のDif Blockから構成される。aのSequence NumberはDifブロック毎に4ビットの大きさで格納されているが、DVのHeader Section、Subcode SectionおよびVAUX Section内のSequence Numberは、映像出力装置からの転送時に書き替えられることが多い。
【００５５】
本機器制御連動装置では、Sequence Numberを映像出力装置からの転送時に書き替えられないAudio&Video Sectionから取得している。Sequence Numberは0〜11までの値をフレーム単位で持っており、図18-bのように、テープ再生時には0〜11の値のフレームが繰り返し転送され、テープ一時停止時には、同じ値のフレームが繰り返し転送される。bのDFTIAはフレーム内のHeader Sectionに4ビット(0〜15までの値)の大きさで格納されており、図18-bのように、テープ再生時には0〜15の内、二つの値が繰り返し転送され、テープ一時停止時には、同じ値が繰り返し転送される。cのTimecodeはフレーム内のSubcode Sectionに4バイトの大きさで格納されており、図18-bのように、テープ再生時にはフレームの時間が昇順に転送され、テープ一時停止時にはフレームの時間が格納されずに転送される。よって、上記a,b,cの値が連続して同じ場合、同一フレームと判断し、同一フレームを削除することができる。
【００５６】
なお、Timecodeが未記録のテープを再生した場合、テープ一時停止状態とみなし、Timecode未記録部分を削除することにする。また、テープ一時停止状態からテープ再生状態にした場合に生じる画像の乱れを抑制するために、数フレーム巻戻し後テープ再生を行ない、巻き戻しフレームの削除を上記a,b,cの値を用いて行なうことも可能である。また、画像出力装置にテープ一時停止要求を出し、一定時間内に同一フレームが検出されない場合、画像出力装置はライブモードと判定し、オーバフロー時にフレーム間引き処理を行なう図12の高速画像入力変換装置に切り替えることも可能である。
【００５７】
以上のように、同一フレームを削除する方法に、上記a,b,cの値を用いることで、同一フレーム判定の高速化および受信画像の欠落防止を実現でき、その実用的効果は大きい。なお、画像の乱れ抑制法として、テープ一時停止状態から数フレーム巻戻し後テープ再生を行なう場合を説明したが、テープ停止状態(画像データ未転送状態)から数フレーム巻戻し後テープ再生を行なう場合でも同様の効果が得られる。
【００５８】
（実施の形態８）
次に、ビデオとオーディオを多重化して転送する場合に、オーディオ処理を優先してオーディオデータの欠落を抑制する方法について述べる。
【００５９】
図19において、1901は画像出力装置から画像を受信し受信バッファに1〜Nの順番に繰り返し格納する画像受信手段、1902は画像受信手段1901により受信した受信画像から複数の画素から構成する画素ブロックに対する受信バッファ内のビデオのアクセス情報をバッファ単位で生成し、オーディオのデータを受信バッファからオーディオデータメモリに複写するアクセス情報生成手段、1903はアクセス情報生成手段1902により生成したアクセス情報を参照しビデオの画素ブロックを受信バッファから直接読み出し処理を行ない、オーディオデータメモリからオーディオの処理を行なう画像処理手段を示す。
【００６０】
図21-aはアクセス情報生成手段1902、図21-bは画像処理手段1903の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段1901のフローチャートは図4-aと同様である。
step2101: 画像受信手段1901の受信バッファ処理要求の通知を受信する。
step2102: 生成するアクセス情報がビデオブロックに関する場合、step2103に進む。オーディオに関する場合、step2105に進む。
step2103: ビデオのアクセス情報を生成する。
step2104: 生成したビデオのアクセス情報を格納する。
step2105: オーディオのデータをオーディオデータメモリに複写する。
step2106: バッファ内の処理が終了するまで、step2102からstep2105を繰り返す。バッファ内の処理が終了した場合、step2107に進む。
step2107: アクセス情報生成手段1902の処理の合図があるまで、step2101〜step2106を繰り返す。終了の合図があれば、アクセス情報生成手段1902の処理を終了する。
step2111: ビデオ処理の場合、step2112に進む。オーディオ処理の場合、step2114に進む。
step2112: アクセス情報生成手段1902により生成したビデオのアクセス情報を取得する。
step2113: アクセス情報を参照して、受信バッファからビデオデータを取得する。
step2114: アクセス情報生成手段1902により複写したオーディオのデータをオーディオデータメモリから取得する。
step2115: ビデオあるいはオーディオの処理を行なう。
step2116: 画像処理手段1903の処理の合図があるまで、step2111〜step2115を繰り返す。終了の合図があれば、画像処理手段1903の処理を終了する。
【００６１】
以上のように、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６２】
（実施例９）
次に、オーディオデータの複写を受信画像のオーバフロー時のみ行なう方法について述べる．
本高速画像入力変換装置は、図20において、図11の高速画像入力変換装置にオーディオデータメモリを追加し、アクセス情報生成削除手段2002がオーディオのアクセス情報も生成し、キュー管理手段2004によりオーバフローの通知がなされた場合にはオーディオのアクセス情報に基づいて受信バッファからオーディオのデータを抽出しオーディオデータメモリに複写を行なってからアクセス情報を削除し、画像処理手段2003がアクセス情報生成削除手段2002により生成したアクセス情報がある場合にはアクセス情報からビデオとオーディオの処理を行ない、アクセス情報がない場合(削除された場合)にはオーディオデータメモリからオーディオの処理を行なうように動作する。
【００６３】
図22-aはアクセス情報生成削除手段2002、図22-bは画像処理手段2003の処理の流れを示したフローチャートで、以下その動作を説明する。画像受信手段2001、キュー管理手段2004のフローチャートは図13-a、図13-cと同様である。
step2201: 画像受信手段2001からのアクセス情報生成処理要求(受信バッファ番号を含む)またはキュー管理手段2004からのオーバフロー処理要求を受信する。
step2202: 受信した要求がアクセス情報生成処理要求の場合、step2203に進む。オーバフロー処理要求の場合、step2205に進む。
step2203: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。
step2204: 生成したアクセス情報を格納する。
step2205: step2204で格納したアクセス情報から削除するものを決定する。決定方法は、例えば、一定間隔おきのアクセス情報とする。
step2206: step2205で削除すると決定したアクセス情報に含まれるオーディオのデータをオーディオデータメモリに複写する。
step2207: 削除すると決定したアクセス情報に含まれる受信バッファ番号をキュー管理手段2004にすべて通知する。
step2208: step2205で決定したアクセス情報を削除する。
step2209: アクセス情報生成削除手段2002の処理終了の合図があるまで、step2201〜step2208を繰り返す。終了の合図があれば、アクセス情報生成削除手段2002の処理を終了する。
step2211: 受信画像のオーバフロー時に、アクセス情報生成削除手段2002により次のアクセス情報が削除されていた場合、step2214に進む。次のアクセス情報がある場合、step2212に進む。
step2212: アクセス情報生成削除手段2002により生成したアクセス情報を取得する。
step2213: アクセス情報を参照して、受信バッファからビデオあるいはオーディオのデータを取得する。
step2214: アクセス情報生成削除手段2002により複写したオーディオのデータをオーディオデータメモリから取得する。
step2215: ビデオあるいはオーディオの処理を行なう。
step2216: 画像処理終了した受信バッファ番号をキュー管理手段2004に通知する。
step2217: 画像処理手段2003の処理の合図があるまで、step2211〜step2216を繰り返す。終了の合図があれば、画像処理手段2003の処理を終了する。
【００６４】
以上のように、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分のみ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６５】
（実施例１０）
次に、オーディオのデータを複写しないでオーディオの欠落を抑制する方法について述べる．
本高速画像入力変換装置は、図23において、図11の高速画像入力変換装置に、書込み禁止情報メモリを追加し、アクセス情報生成削除手段2302がオーディオのアクセス情報も生成し、キュー管理手段2304によりオーバフローの通知がなされた場合にはオーディオのアクセス情報を書込み禁止情報メモリに複写を行なってからビデオのアクセス情報のみを削除し、画像受信手段2301は書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込むように動作する。
【００６６】
図24-aは画像受信手段2301、図24-bはアクセス情報生成削除手段2302、図24-cは画像処理手段2303の処理の流れを示したフローチャートで、以下その動作を説明する。キュー管理手段2304のフローチャートは図13-cと同様である。
step2401〜2402,2405〜2408: step1301〜1302,1304〜1307と同様の処理を行なう。
step2403: 書込みを行なっている受信バッファに対応する書込み禁止情報を取得する。
step2404: 書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込む。
step2411〜2412,2414〜2415,2417〜2419: step2201〜2202,2204〜2205,2207〜2209と同様の処理を行なう。
step2413: 受信バッファからビデオ・オーディオデータのアクセス情報を生成する。なお、画像受信手段2301でスキップした領域のオーディオのアクセス情報は生成しないものとする。
step2416: step2415で削除すると決定したアクセス情報内のオーディオアクセス情報を書込み禁止情報メモリに複写する。
step2421: アクセス情報生成削除手段2302により生成したアクセス情報を取得する。
step2422: 取得したアクセス情報がオーディオのみのアクセス情報の場合、step2423に進む。ビデオ・オーディオのアクセス情報の場合、step2426に進む。
step2423: アクセス情報を参照して、受信バッファからオーディオのデータを取得する。
step2424: オーディオの処理を行なう。
step2425: 処理終了したオーディオの書込み禁止情報を削除する。
step2426: アクセス情報を参照して、受信バッファからビデオ・オーディオのデータを取得する。
step2427: ビデオあるいはオーディオの処理を行なう。
step2428: 処理終了した受信バッファ番号をキュー管理手段2304に通知する。
step2429: 画像処理手段2303の終了処理の合図があるまで、step2421〜step2428を繰り返す。終了の合図があれば、画像処理手段2303の処理を終了する。
【００６７】
以上のように、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制でき、その実用的効果は大きい。なお、アクセス情報生成方法としてバッファ単位の場合を説明したが、フレーム単位のアクセス情報でも同様の効果が得られる。
【００６８】
【発明の効果】
以上のように、第一の発明では、モジュール間に共有バッファを設け、モジュール間でデータ転送を行なわず、アクセス情報のみを転送することにより、パイプライン処理の構造のまま、データ転送に要する処理を削減できるという有利な効果が得られる。
【００６９】
第二の発明では、フレームあたりのパケット数が固定でない場合に、フレーム単位で複数の受信バッファを管理し、フレーム単位で画像処理した後、再受信可能な受信バッファをスケジュールして決定することにより、フレーム単位での受信バッファの排他制御およびオーバフロー制御を可能にするという有利な効果が得られる。
【００７０】
第三の発明では、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制できるという有利な効果が得られる。
【００７１】
また、受信バッファの受信画像量を画像処理手段が把握できる機構を設け、受信画像量に応じて画像の解像度を変更して処理速度を調整することにより、画像処理速度の遅延による受信画像の欠落を抑制でき、さらに、画像処理した画像の欠落も抑制できるという有利な効果が得られる。
【００７２】
また、受信映像をどの受信バッファに格納するかを管理するキュー機構を設け、受信画像のオーバフロー時に、画像処理で使用中の受信バッファ以外のものからキューに再受信要求を出すランダムバッファリング構造にすることにより、画像処理中の受信バッファの再受信要求を画像処理後に行なうことができ、画像処理中に発生する数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７３】
第四の発明では、受信映像をどの受信バッファに格納するかを管理するキュー機構とフレーム単位で複数の受信バッファを管理する機構を設け、受信画像のオーバフロー時に、画像処理中のフレーム以外の複数のフレームから一定の割合でフレームを選択し、選択フレームに対応する複数の受信バッファの内、再受信可能なバッファをスケジュールして決定することにより、フレーム単位でのランダムバッファリング構造を実現でき、画像処理中による数フレームという単位での受信画像の欠落を抑制できるという有利な効果が得られる。
【００７４】
また、受信画像のオーバフロー時にカメラ・VTR等を制御してテープを一時停止状態にし、同一フレームを削除する方法に、DVのSequence Numberの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのHeader Section内のDFTIAの変化量を用いることにより、高速に同一フレーム判定ができ、さらに、受信画像の欠落も抑制できるという有利な効果が得られる。
あるいは、同一フレームを削除する方法に、DVのSubcode Section内のTimecodeの値を用いることにより、高速に同一フレーム判定ができ、Timecodeが連続してついている場合には、受信画像の欠落も抑制できるという有利な効果が得られる。
【００７５】
第五の発明では、ビデオとオーディオが多重化された受信バッファからオーディオ部分だけを抽出しオーディオデータメモリに複写することにより、受信画像のオーバフロー時にオーディオの欠落は抑制できるという有利な効果が得られる。
【００７６】
また、受信画像のオーバフロー時にビデオとオーディオが多重化された受信バッファからオーディオ部分だけ抽出しオーディオデータメモリに複写することにより、データ転送に要する処理を削減してオーディオの欠落を抑制できるという有利な効果が得られる。
【００７７】
また、受信画像のオーバフロー時に受信バッファのオーディオ領域には受信画像を格納しないようにすることにより、オーディオ領域のデータ転送を行なわずにオーディオの欠落を抑制できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の構成を示すブロック図
【図２】第２の実施の形態における受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図３】受信バッファ内のパケット格納状態とアクセス情報生成方法を説明する図
【図４】第１の実施の形態におけるデータ転送量を削減した高速画像入力変換装置の動作を示す流れ図
【図５】第２の実施の形態におけるフレーム単位で受信バッファ内の排他制御を実現した高速画像入力変換装置の構成を示すブロック図
【図６】第２の実施の形態におけるフレーム単位で受信バッファ内排他制御を実現した高速画像入力変換装置の動作を示す流れ図および再受信可能バッファ決定方法を説明する図
【図７】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図８】第４の実施の形態における受信画像量に応じて画像の解像度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の構成を示すブロック図
【図９】第３の実施の形態における受信画像量に応じて画像処理速度を調整して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１０】 DCTを用いた解像度調整方法を説明する図および第４の実施の形態における受信画像量に応じて画像の解像度を調節して受信画像の漏れを防ぐ高速画像入力変換装置の動作を示す流れ図
【図１１】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１２】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の構成を示すブロック図
【図１３】第５の実施の形態における受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図
【図１４】キューの状態遷移の例を示す説明図
【図１５】第６の実施の形態におけるフレーム単位で受信バッファ内のオーバフロー制御を実現した高速画像入力変換装置の動作を示す流れ図および処理終了バッファ転送方法と再受信可能バッファ決定方法を説明する図
【図１６】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の構成を示すブロック図
【図１７】第７の実施の形態におけるオーバフロー検出時に機器を制御して受信画像の漏れを防ぐ機器制御連動装置の動作を示す流れ図
【図１８】 DVフォーマット構造を説明する図およびテープ再生・一時停止状態時のフレーム内情報の変化例を示す図
【図１９】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２０】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２１】第８の実施の形態におけるオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２２】第９の実施の形態におけるオーバフロー時にのみオーディオを他メモリに回避してオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２３】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の構成を示すブロック図
【図２４】第１０の実施の形態におけるオーディオを他メモリに回避せずにオーディオデータの欠落を防ぐ高速画像入力変換装置の動作を示す流れ図
【図２５】本願発明における、各モジュール間のデータ転送を省略した、アクセス情報の転送による高速なデータ転送方式の例図
【図２６】従来のパイプライン処理を用いた画像処理の構成図
【符号の説明】
１０１・・・画像受信手段
１０２・・・アクセス情報生成手段
１０３・・・画像処理手段
５０４・・・受信バッファスケジュール手段
８０３・・・解像度決定手段
１１０４・・・キュー管理手段
Claims (17)
- 複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納する画像受信手段と、前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成するアクセス情報生成手段と、
前記アクセス情報生成手段により生成した前記アクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行なう画像処理手段と
を備えた、高速画像入力変換装置。 - 前記アクセス情報生成手段により生成する前記アクセス情報をフレーム単位で構成する請求項１記載の高速画像入力変換装置。
- 前記画像処理手段が、処理終了した前記受信バッファの格納位置を前記画像受信手段に通知し、前記画像受信手段が前記画像処理手段により前記受信バッファの処理終了通知が行なわれるまで、その受信バッファに対する再受信を禁止する請求項１記載の高速画像入力変換装置。
- 前記画像受信手段が、現在受信している前記受信バッファの番号を格納する現受信バッファ番号を認識し、前記画像処理手段で処理中の受信バッファの番号が、現受信バッファ番号と予め定めた閾値以下の場合、当バッファの画像処理を中断し、次バッファの画像処理を行なう請求項１記載の高速画像入力変換装置。
- 複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納し、現受信バッファ番号に現在受信している受信バッファの番号を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成するアクセス情報生成手段と、前記アクセス情報生成手段により生成した前記アクセス情報に対応する前記受信バッファの番号と現受信バッファ番号を比較して画像処理を行なう上での解像度を決定する解像度決定手段と、
前記解像度決定手段により決定した解像度で前記画素ブロックを前記受信バッファから直接読み出し画像処理を行なう画像処理手段と、
を備えた高速画像入力変換装置。 - 複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をバッファ単位で生成し、キュー管理手段によりオーバフローの指示があった場合には前記アクセス情報を一定の割合で削除し、削除したアクセス情報に対応する前記受信バッファ番号を前記キュー管理手段に通知するアクセス情報生成削除手段と、
前記アクセス情報生成削除手段により生成した前記アクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行ない、前記受信バッファ番号を前記キュー管理手段に通知する画像処理手段と、
前記アクセス情報生成削除手段または前記画像処理手段により通知した前記受信バッファ番号をキューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記アクセス情報生成削除手段にオーバフローの指示を送るキュー管理手段と、
を備えた高速画像入力変換装置。 - 複数の画素から構成された画素ブロックが含まれる画像データ及びヘッ ダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をフレーム単位でフレームアクセス情報として生成し、キュー管理手段によりオーバフローの指示があった場合には前記フレームアクセス情報を一定の割合で削除し、削除した前記フレームアクセス情報に対応する前記受信バッファ番号を受信バッファスケジュール手段に通知するフレームアクセス情報生成削除手段と、
前記フレームアクセス情報生成削除手段により生成したフレームアクセス情報を参照し、前記画素ブロックを前記受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、前記フレームアクセス情報に対応する前記受信バッファ番号を受信バッファスケジュール手段に通知する画像処理手段と、
前記フレームアクセス情報生成手段または前記画像処理手段により通知した前記受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段に通知する受信バッファスケジュール手段と、
前記受信バッファスケジュール手段により通知した受信バッファ番号をキューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記フレームアクセス情報生成削除手段にオーバフローの指示を送るキュー管理手段と、
を備えた高速画像入力変換装置。 - 画像出力装置から複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信してキューに格納されている受信バッファ番号に対応する受信バッファに受信画像を格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から同一フレームの画像データを削除し、削除フレームに対応する受信バッファ番号を受信バッファスケジュール手段に通知する同一フレーム削除手段と、
前記同一フレーム削除手段により未削除のフレームに対して前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのアクセス情報をフレーム単位で生成するフレームアクセス情報生成手段と、
前記フレームアクセス情報生成手段により生成した前記フレームアクセス情報を参照し、前記画素ブロックを受信バッファから直接読み出し画像処理を行ない、フレームに対する画像処理終了後、前記フレームアクセス情報に対応する受信バッファ番号を受信バッファスケジュール手段に通知する画像処理手段と、
前記同一フレーム削除手段または前記画像処理手段により通知した前記受信バッファ番号で再受信可能な受信バッファ番号をスケジュールしてキュー管理手段に通知する受信バッファスケジュール手段と、
前記受信バッファスケジュール手段により通知した前記受信バッファ番号を前記キューに追加し、前記キューに格納されている前記受信バッファ番号の数が予め定めた閾値以下になった場合には前記画像出力装置にテープ一時停止要求を出すキュー管理手段と、
を備えた高速画像入力変換装置。 - 前記キュー管理手段が、キューに格納されているバッファ番号の数が予め定めた閾値以上になった場合には、前記画像出力装置に再生要求を出力する請求項８記載の高速画像入力変換装置。
- 前記キュー管理手段が、前記画像出力装置に再生要求を出す前に、数フレーム分戻す要求を出し、
前記同一フレーム削除手段が、さらに重複フレームを削除することを特徴とする請求項９記載の高速画像入力変換装置。 - 前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶのＤｉｆブロック内にある Sequence Number の値を用いて同一フレームの判定を行なう請求項８記載の高速画像入力変換装置。
- 前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶの Header Section にあるＤＦＴＩＡの値を用いて同一フレームの判定を行なう請求項８記載の高速画像入力変換装置。
- 前記画像出力装置から出力される画像情報が、ＤＶ(Digital Video)フォーマットの場合、同一フレーム削除手段がＤＶの Subcode Section にある Timecode の値を用いて、同一Timecodeのフレームの削除を行なう請求項８記載の高速画像入力変換装置。
- 前記キュー管理手段が、画像出力装置に一時停止要求を出してから一定時間内に同一フレーム削除手段で同一フレームが検出されなかった場合、
前記画像出力装置は、ライブモードと判定し、請求項７記載の高速画像入力変換装置に切り替える請求項８記載の高速画像入力変換装置。 - オーディオデータ、複数の画素から構成された画素ブロックが含まれる画像データ及びヘッダデータを組み合わせた画像データパケットとヘッダデータのみから構成されたヘッダデータパケットとが混在した画像情報を受信して受信バッファに格納する画像受信手段と、
前記画像受信手段により受信した前記画像情報から、前記画素ブロックを画像処理順に、前記受信バッファから読み出すためのビデオのアクセス情報をバッファ単位で生成し、オーディオのデータを受信バッファからオーディオデータメモリに複写するアクセス情報生成手段と、
前記アクセス情報生成手段により生成した前記アクセス情報を参照し、前記画素ブロックを受信バッファから直接読み出し処理を行ない、オーディオデータメモリからオーディオの処理を行なう画像処理手段と
を備えた、高速画像入力変換装置。 - オーディオデータメモリを追加し、アクセス情報生成削除手段がオーディオのアクセス情報も生成し、キュー管理手段によりオーバフローの通知がなされた場合にはオーディオのアクセス情報に基づいて受信バッファからオーディオのデータを抽出しオーディオデータメモリに複写を行なってからアクセス情報を削除し、画像処理手段が前記アクセス情報生成削除手段により生成したアクセス情報がある場合にはアクセス情報からビデオとオーディオの処理を行ない、アクセス情報がない場合にはオーディオデータメモリからオーディオの処理を行なう請求項６又は７記載の高速画像入力変換装置。
- 書込み禁止情報メモリを追加し、アクセス情報生成削除手段がオーディオのアクセス情報も生成し、キュー管理手段によりオーバフローの通知がなされた場合にはオーディオのアクセス情報を書込み禁止情報メモリに複写を行なってからビデオのアクセス情報のみを削除し、画像受信手段は書込み禁止情報メモリに記されている領域をスキップして受信画像を書き込む請求項６又は７記載の高速画像入力変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31177798A JP3656438B2 (ja) | 1998-11-02 | 1998-11-02 | 高速画像入力変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31177798A JP3656438B2 (ja) | 1998-11-02 | 1998-11-02 | 高速画像入力変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000138929A JP2000138929A (ja) | 2000-05-16 |
| JP3656438B2 true JP3656438B2 (ja) | 2005-06-08 |
Family
ID=18021354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31177798A Expired - Fee Related JP3656438B2 (ja) | 1998-11-02 | 1998-11-02 | 高速画像入力変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3656438B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4610523B2 (ja) * | 2006-06-13 | 2011-01-12 | Ｏｋｉセミコンダクタ株式会社 | 動画処理装置 |
| JP5968463B2 (ja) * | 2012-01-06 | 2016-08-10 | インテル コーポレイション | データを別の記憶装置にコピーせずにデータソースによりバッファに格納されたデータを処理するためのポインタのスワッピング |
| US9235260B2 (en) * | 2012-12-27 | 2016-01-12 | Intel Corporation | Camera command set host command translation |
-
1998
- 1998-11-02 JP JP31177798A patent/JP3656438B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000138929A (ja) | 2000-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4589466B2 (ja) | ビデオ配信システムにおいてトリック再生ストリームおよび通常再生ストリーム間でインデックスを設定するシステムおよび方法 | |
| US6871006B1 (en) | Processing of MPEG encoded video for trick mode operation | |
| US7023924B1 (en) | Method of pausing an MPEG coded video stream | |
| US5267334A (en) | Encoding/decoding moving images with forward and backward keyframes for forward and reverse display | |
| US5461679A (en) | Method and apparatus for encoding/decoding image data | |
| US6219381B1 (en) | Image processing apparatus and method for realizing trick play | |
| US7158571B2 (en) | System and method for balancing video encoding tasks between multiple processors | |
| US7006575B2 (en) | Picture and sound decoding apparatus picture and sound encoding apparatus and information transmission system | |
| US20090201949A1 (en) | Information Processing Apparatus And Method, And Program | |
| KR100772343B1 (ko) | 데이터 재생 전송 장치 및 데이터 재생 전송 방법 | |
| JPH0779432A (ja) | コード化ビデオ信号の処理装置 | |
| JP4440863B2 (ja) | 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム | |
| US20070201819A1 (en) | Apparatus and method for variable speed playback of digital broadcasting stream | |
| Andersen | A proposed method for creating VCR functions using MPEG streams | |
| JP3656438B2 (ja) | 高速画像入力変換装置 | |
| US7558323B2 (en) | Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor | |
| EP1278378A1 (en) | Recording apparatus, special playback system, medium and information object | |
| US5760847A (en) | Processing moving image data based on an arbitrarily designated frame | |
| JP3850015B2 (ja) | ディジタルビデオ信号記録再生装置および伝送装置 | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| KR19990028747A (ko) | 감소된 메모리 요구를 갖는 압축 비디오 데이터 스트림을디코딩 및 코딩하기 위한 방법 | |
| JP3312597B2 (ja) | 可変長符号化方法 | |
| KR100434740B1 (ko) | 디지털 방송 프로그램에서의 저배속 재생방법 | |
| JP2004158929A (ja) | 動画像処理方法および動画像処理装置ならびに動画像伝送装置 | |
| JP4569847B2 (ja) | データ再構築装置及びデータ再構築方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080318 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090318 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100318 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |