JP2011146930A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011146930A JP2011146930A JP2010006138A JP2010006138A JP2011146930A JP 2011146930 A JP2011146930 A JP 2011146930A JP 2010006138 A JP2010006138 A JP 2010006138A JP 2010006138 A JP2010006138 A JP 2010006138A JP 2011146930 A JP2011146930 A JP 2011146930A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- multiplexed
- video
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにする。
【解決手段】各系統のビデオの1フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各ビデオフレームの通し番号を表す情報と、各オーディオサンプルの通し番号を表す情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図1
【解決手段】各系統のビデオの1フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各ビデオフレームの通し番号を表す情報と、各オーディオサンプルの通し番号を表す情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。
【選択図】図1
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
[ビデオ型インタフェース]
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。
以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。
[ビデオポートの帯域幅]
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec=186MB/sの安定的なデータ転送を保証する。
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec=186MB/sの安定的なデータ転送を保証する。
ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。
[ビデオ・オーディオの多チャンネル化]
ところで、近年、映像音響機器は多数のビデオ/オーディオ信号を扱うようになってきている。
ところで、近年、映像音響機器は多数のビデオ/オーディオ信号を扱うようになってきている。
例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力(ビデオ出力)。
・メニューやガイドが入る映像出力(モニタ出力)。
・アンテナからのビットストリームをデコードした映像出力(デコーダ出力)。
・メニューやガイドが入らない映像出力(ビデオ出力)。
・メニューやガイドが入る映像出力(モニタ出力)。
・アンテナからのビットストリームをデコードした映像出力(デコーダ出力)。
また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力(プログラム出力、ビデオ出力)。
・スーパーインポーズした映像出力(モニタ出力)。
・数秒前の映像(プレビュー出力)。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
・標準の映像出力(プログラム出力、ビデオ出力)。
・スーパーインポーズした映像出力(モニタ出力)。
・数秒前の映像(プレビュー出力)。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース/プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数(リフレッシュレート)のデータが混在する。
入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。
このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。
例えば、特許文献2には、入力された複数のフォーマットのビデオデータを、画面サイズの大きいビデオフレームである多重ビデオフレームのデータとして多重化し、ビデオポートからプロセッサに入力する技術が開示されている。
また、特許文献2には、多重ビデオフレームから抽出された各フォーマットのビデオデータに対してプロセッサにおいて処理が行われ、処理後の各フォーマットのビデオデータが、多重ビデオフレームにプロセッサにおいて再度多重化されることも記載されている。プロセッサのビデオポートから出力された多重ビデオフレームからは、処理後の各フォーマットのビデオデータが抽出され、装置の外部に出力されるようになされている。
特許文献2に記載されている技術によっては、多重ビデオフレームを用いて多重化されたデータを入力側の回路から取得したプロセッサ、またはプロセッサから取得した出力側の回路は、取得したデータの連続性や信頼性を判断することができない。
例えば、一部のビデオ入力の同期が入力側の回路の受信回路において外れてしまっていたとしても、データの入力を受けたプロセッサは、どのビデオ入力の同期が外れているのかを判断することができない。
また、あるフレームが欠落し、その代わりに、他のフレームが入力側の回路において多重ビデオフレームに挿入されているような場合であっても、データの入力を受けたプロセッサは、フレームの連続性が保たれているものとして処理を行ってしまう。
上述したように処理後の各フォーマットのビデオデータはプロセッサにおいて再度多重化されるが、プロセッサによる処理が間に合わず、この再度の多重化が最後まで完了していないような場合であっても、出力側の回路はそのことを判断することができない。各系統のデータが多重化された多重ビデオフレームは入力側の回路から周期的に入力されるから、プロセッサは、1つの多重ビデオフレームを対象とした処理を、次の多重ビデオフレームが入力されるまでに行う必要がある。
本発明はこのような状況に鑑みてなされたものであり、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができるようにするものである。
本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入する生成手段と、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入する第1の多重化手段と、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する第2の多重化手段とを備える。
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータと前記分割後のオーディオデータに処理を施し、処理後の前記フレームのデータと前記分割後のオーディオデータを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段をさらに設けることができる。前記処理手段には、処理後の前記フレームのデータと前記分割後のオーディオデータのそれぞれの多重化が完了したか否かを表す情報を前記多重ビデオフレームに挿入させることができる。
前記処理手段には、前記フレームの連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが、連続性が確保されていないデータであると判断した場合、他のフレームのデータを前記多重ビデオフレームに多重化させ、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータが、連続性が確保されていないデータであると判断した場合、他のオーディオサンプルのデータを前記多重ビデオフレームに多重化させることができる。
前記処理手段から出力された前記多重ビデオフレームから、前記フレームのデータと、前記フレームのデータの多重化が完了したか否かを表す情報を抽出する第1の抽出手段と、抽出された前記フレームのデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記フレームのデータに代えて、他のフレームのデータを外部に出力する第1の送信手段とをさらに設けることができる。
前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータと、前記分割後のオーディオデータの多重化が完了したか否かを表す情報を抽出する第2の抽出手段と、抽出された前記分割後のオーディオデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記分割後のオーディオデータに代えて、他のオーディオサンプルのデータを、1サンプルのデータずつ外部に出力する第2の送信手段とをさらに設けることができる。
前記第1の多重化手段には、複数のフォーマットの前記ビデオデータの各フォーマットの1フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第1のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化させることができる。
前記第2の多重化手段には、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第1のビデオ用の領域の下方に設定された第1のオーディオ用の領域のデータとして伝送されるように多重化させることができる。
前記処理手段には、処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第2のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化させ、処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第2のビデオ用の領域の上方に設定された第2のオーディオ用の領域のデータとして伝送されるように多重化させ、処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力させることができる。
前記生成手段には、さらに、前記多重ビデオフレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入させ、前記第1の多重化手段には、さらに、前記フレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入させ、前記第2の多重化手段には、前記分割後のオーディオデータの信頼性を表す情報を前記多重ビデオフレームに挿入させることができる。
本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入するステップを含む。
本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入するステップを含む処理をコンピュータに実行させる。
本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、前記多重ビデオフレームの連続性に関する情報が前記多重ビデオフレームに挿入される。また、入力されたビデオデータを構成する1フレームが前記多重ビデオフレームに配置され、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータが多重化されるとともに、前記フレームの連続性に関する情報が前記多重ビデオフレームに挿入される。入力されたオーディオデータが、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割され、分割後のオーディオデータが前記多重ビデオフレームに配置され、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化されるとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とが前記多重ビデオフレームに挿入される。
本発明によれば、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、少なくとも各系統のデータの連続性に関する情報を伝送することができる。
[情報処理装置の全体構成]
図1は、本発明の一実施形態に係る情報処理装置1の構成例を示すブロック図である。
図1は、本発明の一実施形態に係る情報処理装置1の構成例を示すブロック図である。
情報処理装置1は、1入力1出力のビデオポートを有するプロセッサ43を用いて2系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを2系統ずつ出力する機器である。
外部から供給されたビデオ#1のビデオ信号は同期信号とともにビデオ受信回路21−1に入力され、ビデオ#2のビデオ信号は同期信号とともにビデオ受信回路21−2に入力される。
解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ#1とビデオ#2のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ#1のフレームとビデオ#2のフレームの入力タイミングは同期していなくてもよい。
また、外部から供給されたオーディオ#1のオーディオ信号はオーディオ受信回路31−1に入力され、オーディオ#2のオーディオ信号はオーディオ受信回路31−2に入力される。例えば、オーディオ受信回路31−1と31−2には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。
サンプリング周波数、ビット数、チャンネル数等の、オーディオ#1とオーディオ#2のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ#1のデータとオーディオ#2のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。
ビデオ受信回路21−1は、PLL(Phase Lock Loop)回路、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2/4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路21−1は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ#1を構成する各フレーム、またはフィールドのデータを生成する。
ビデオ受信回路21−1は、生成した各フレーム、またはフィールドのデータをフレームシンクロナイザ22−1に出力する。以下、主に、各回路において処理されるビデオデータがフレームのデータである場合について説明するが、フレームのデータではなく、フィールドのデータの処理が行われることもある。
また、ビデオ受信回路21−1は、ビデオ受信回路21−1内に設けられるPLL回路が出力するPLL Lock信号を、ビデオ#1のビデオ信号の同期安定性フラグとしてフレームシンクロナイザ22−1に出力する。ビデオ信号の同期安定性フラグは、出力したビデオデータが、入力信号と出力信号の同期が確保されているときに出力されたデータであるか否かを表す。
さらに、ビデオ受信回路21−1は、出力したビデオ#1のデータのフレーム/フィールド識別情報、ビデオ#1のフレームの通しフレーム番号を表す情報、およびTimecodeを出力する。フレーム/フィールド識別情報は、出力したビデオデータが、フレームのデータであるのか、フィールド(Top FieldとBottom Fieldのうちのいずれか)のデータであるのかを表す。
同期安定性フラグ、フレーム/フィールド識別情報、通しフレーム番号を表す情報、およびTimecodeは、後述する多重フレーム状態情報に含まれる情報である。
フレームシンクロナイザ22−1は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路21−1から供給された1フレームのデータをフレームメモリ23−1に記憶させる。また、フレームシンクロナイザ22−1は、ビデオ受信回路21−1から供給されたビデオ#1に関する多重フレーム状態情報をフレームメモリ23−1に記憶させる。
フレームシンクロナイザ22−1は、多重回路42−1からの要求に応じてフレームメモリ23−1からデータを読み出し、出力する。
実装上、ビデオ受信回路21−1、フレームシンクロナイザ22−1、多重回路42−1の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路21−1とフレームシンクロナイザ22−1の間、フレームシンクロナイザ22−1と多重回路42−1の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
ビデオ受信回路21−2とフレームシンクロナイザ22−2の間、フレームシンクロナイザ22−2と多重回路42−2の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路31−1とメモリ制御回路32−1の間、メモリ制御回路32−1と多重回路42−3の間や、オーディオ受信回路31−2とメモリ制御回路32−2の間、メモリ制御回路32−2と多重回路42−4の間にも、適宜、FIFOが設けられる。
ここで、入力されたビデオ#1のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ22−1は、フレームメモリ23−1に記憶されているビデオデータを重複して(同じフレームのデータを続けて)多重回路42−1に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ#1のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開2009−71701号公報に記載されている。
ビデオ受信回路21−2は、ビデオ受信回路21−1と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ#2を構成する各フレームのデータを生成する。ビデオ受信回路21−2は、生成した各フレームのデータをフレームシンクロナイザ22−2に出力する。
また、ビデオ受信回路21−2は、ビデオ受信回路21−2内に設けられるPLL回路が出力するPLL Lock信号を、ビデオ#2のビデオ信号の同期安定性フラグとして出力する。さらに、ビデオ受信回路21−2は、出力したビデオ#2のデータのフレーム/フィールド識別情報、ビデオ#2のフレームの通しフレーム番号を表す情報、およびTimecodeを出力する。
フレームシンクロナイザ22−2は、フレームシンクロナイザ22−1と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路21−2から供給されたフレームデータと、ビデオ#2に関する多重フレーム状態情報をフレームメモリ23−2に記憶させる。
フレームシンクロナイザ22−2は、多重回路42−2からの要求に応じてフレームメモリ23−2からデータを読み出し、出力する。フレームシンクロナイザ22−2においても、フレームメモリ23−2に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。
オーディオ受信回路31−1は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ#1を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。
オーディオ受信回路31−1は、オーディオ#1のオーディオデータを、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する(切り出す)。また、オーディオ受信回路31−1は、分割したオーディオサンプルのデータをメモリ制御回路32−1に出力する。オーディオ受信回路31−1に対しては、多重ビデオフレームの1フレーム期間を表す同期信号が多重ビデオ信号発生回路41から供給される。多重ビデオフレームについては後述する。
図2は、オーディオサンプルの切り出しの例を示す図である。
図2の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図2の例においては、多重ビデオ信号発生回路41から供給される同期信号(垂直同期信号)により、時刻t1から時刻t2までの時間である時間T1、および、時刻t2から時刻t3までの時間である時間T2が、それぞれ多重ビデオフレームの1フレーム期間とされている。
オーディオ受信回路31−1は、時間T1に入力されたオーディオサンプルの数をカウントし、時刻t2になったタイミングで、時間T1に入力されたオーディオサンプルを切り出す。オーディオ受信回路31−1は、切り出したオーディオサンプルのデータを、時間T1に多重ビデオ信号発生回路41から出力された多重ビデオフレームに多重化するデータとしてメモリ制御回路32−1に出力する。
同様に、オーディオ受信回路31−1は、時間T2に入力されたオーディオサンプルを切り出し、時間T2に多重ビデオ信号発生回路41から出力された多重ビデオフレームに多重化するデータとして出力する。
オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路31−1においては、多重ビデオフレームの同期信号を基準として、1フレーム期間内に入力されたオーディオサンプルが、そのまま、1つの多重ビデオフレームに多重化するオーディオデータとして切り出される。
オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、1フレーム期間内にオーディオ受信回路31−1に入力されるオーディオサンプルの数にばらつきが生じる。後述するサンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ43等は判断することが可能になる。
図1の説明に戻り、オーディオ受信回路31−1は、分割したオーディオ#1のオーディオサンプルの数を表す情報であるサンプル数情報と、各オーディオサンプルに割り当てたオーディオサンプルの通し番号を表す情報を出力する。オーディオ受信回路31−1に入力された各オーディオサンプルには、入力された順に番号が割り当てられる。
さらに、オーディオ受信回路31−1は、入力されたオーディオ#1のデータがAES3規格のオーディオデータである場合、AES3規格で定義されているValidity Bitをメモリ制御回路32−1に出力する。Validity Bitはオーディオデータの信頼性を表すデータである。
サンプル数情報、オーディオサンプルの通し番号を表す情報、およびValidity Bitは多重フレーム状態情報に含まれる情報である。
メモリ制御回路32−1は、オーディオ受信回路31−1から供給されたオーディオサンプルのデータと、オーディオ#1に関する多重フレーム状態情報をメモリ33−1に記憶させる。メモリ制御回路32−1は、多重回路42−3からの要求に応じて、メモリ33−1からデータを読み出し、出力する。
オーディオ受信回路31−2は、オーディオ受信回路31−1と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ#2を構成するオーディオデータを生成する。オーディオ受信回路31−2は、オーディオ#2のオーディオデータを、多重ビデオフレームの1フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、メモリ制御回路32−2に出力する。
また、オーディオ受信回路31−2は、分割したオーディオ#2のオーディオサンプルの数を表すサンプル数情報、オーディオサンプルの通し番号を表す情報、およびValidity Bitをメモリ制御回路32−2に出力する。
メモリ制御回路32−2は、オーディオ受信回路31−2から供給されたオーディオサンプルのデータと、オーディオ#2に関する多重フレーム状態情報をメモリ33−2に記憶させる。メモリ制御回路32−2は、多重回路42−4からの要求に応じて、メモリ33−2からデータを読み出し、出力する。
多重ビデオ信号発生回路41は、発振子とPLL回路を有する周波数マルチプライヤである。多重ビデオ信号発生回路41は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ43に入力、またはプロセッサ43から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路41により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ43のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ(画素数)を有するフレームとされる。
以下、ビデオデータ、オーディオデータ等の多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。
図3は、多重ビデオフレームの例を示す図である。
図3に示すように、多重ビデオ信号発生回路41により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていない画像である。
多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの1フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプルのデータを挿入することが可能とされる。
多重ビデオ信号発生回路41は、生成した多重ビデオフレームに通し番号を設定し、通し番号を表す情報を多重ビデオフレームに挿入する。また、多重ビデオ信号発生回路41は、多重ビデオ信号発生回路41内に設けられるPLL回路が出力するPLL Lock信号を多重ビデオ信号の同期安定性フラグとして多重ビデオフレームに挿入する。多重ビデオフレームの通し番号を表す情報と多重ビデオ信号の同期安定性フラグも、多重フレーム状態情報に含まれる情報である。
多重ビデオ信号発生回路41は、多重ビデオフレームのデータと同期信号を多重回路42−1に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路42−1より後段の各回路に供給される。多重ビデオ信号発生回路41から出力された同期信号は、オーディオ受信回路31−1と31−2にも供給される。
多重回路42−1は、要求に応じてフレームシンクロナイザ22−1からデータが供給されたビデオ#1のフレームを多重ビデオ信号発生回路41から供給された多重ビデオフレームに貼り付ける(挿入する)。
また、多重回路42−1は、フレームシンクロナイザ22−1から供給されたビデオ#1に関する多重フレーム状態情報を多重ビデオフレームに挿入する。ビデオ#1のフレームデータ、通しフレーム番号を表す情報、フレーム/フィールド識別情報、Timecode、同期安定性フラグが多重ビデオフレームに挿入される。
多重回路42−1は、各種のデータを挿入した多重ビデオフレームのデータを多重回路42−2に出力する。
多重回路42−2は、要求に応じてフレームシンクロナイザ22−2からデータが供給されたビデオ#2のフレームを多重回路42−1から供給された多重ビデオフレームに貼り付ける。ビデオ#2の1フレームは、ビデオ#1のフレームと重ならない位置に貼り付けられる。
また、多重回路42−2は、フレームシンクロナイザ22−2から供給されたビデオ#2に関する多重フレーム状態情報を多重ビデオフレームに挿入する。ビデオ#2のフレームデータ、通しフレーム番号を表す情報、フレーム/フィールド識別情報、Timecode、同期安定性フラグが多重ビデオフレームに挿入される。
多重回路42−2は、各種のデータを挿入した多重ビデオフレームのデータを多重回路42−3に出力する。
多重回路42−3は、要求に応じてメモリ制御回路32−1から供給されたオーディオ#1のオーディオサンプルのデータと、オーディオ#1に関する多重フレーム状態情報を、多重回路42−2から供給された多重ビデオフレームに挿入する。オーディオ#1のオーディオサンプルの通し番号、サンプル数情報、および同期安定性フラグが、オーディオ#1に関する多重フレーム状態情報として多重ビデオフレームに挿入される。
多重回路42−3は、データを挿入した多重ビデオフレームのデータを多重回路42−4に出力する。
多重回路42−4は、要求に応じてメモリ制御回路32−2から供給されたオーディオ#2のオーディオサンプルのデータと、オーディオ#2に関する多重フレーム状態情報を、多重回路42−3から供給された多重ビデオフレームに挿入する。オーディオ#2に関する多重フレーム状態情報として、オーディオ#2のオーディオサンプルの通し番号、サンプル数情報、および同期安定性フラグが多重ビデオフレームに挿入される。
多重回路42−4は、データを挿入した多重ビデオフレームのデータをプロセッサ43に出力する。プロセッサ43に対する入力は1系統のビデオデータになる。
図4は、多重化後の多重ビデオフレームの例を示す図である。
ここでは、多重ビデオフレームを使ったビデオデータ、オーディオデータの多重化について説明する。多重フレーム状態情報についても同様にして多重化が行われる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。
図4の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ#1のフレームが貼り付けられている。ビデオ#1のフレームの1ライン目と、多重ビデオフレームの1ライン目は一致する。
また、ビデオ#1のフレームと重ならず、かつ、1ライン目が、多重ビデオフレームのmライン目にくるようにビデオ#2のフレームが貼り付けられている。
さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ#1のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるnライン目にオーディオ#2のオーディオデータが挿入されている。
各データの多重位置に関する情報は、多重回路42−1乃至42−4、プロセッサ43、および抽出回路45−1乃至45−4のそれぞれに予め設定される。多重位置に関する情報には、どのデータを多重ビデオフレームのどこに貼り付けるのかを表す、水平位置、垂直位置、横サイズ、縦サイズ、ライン間隔などの情報が含まれる。
図5は、図4に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。
図5に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの1ライン目からnライン目までの各ラインのデータを伝送する区間毎の信号から構成される。
図5の例においては、時刻t1からt2までの区間である区間T1は、多重ビデオフレームの1ライン目のデータを伝送する区間であり、時刻t2からt3までの区間である区間T2は、多重ビデオフレームの2ライン目のデータを伝送する区間である。
また、時刻tmからtm+1までの区間である区間Tmは、多重ビデオフレームのmライン目のデータを伝送する区間であり、時刻tn-2からtn-1までの区間である区間Tn-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻tn-1からtnまでの区間である区間Tn-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻tnからtn+1までの区間である区間Tnは、多重ビデオフレームのnライン目のデータを伝送する区間である。
図4に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間T1には、ビデオ#1のフレームの1ライン目の信号が挿入される。また、多重ビデオ信号の区間T2には、ビデオ#1のフレームの2ライン目の信号が挿入される。
また、多重ビデオフレームの区間Tmには、その前半に、ビデオ#1のフレームのmライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ#2のフレームの1ライン目の信号が挿入される。
多重ビデオフレームの区間Tn-2と区間Tn-1には、サンプル数情報により表される数のオーディオ#1のオーディオサンプルの信号が挿入される。
多重ビデオフレームの区間Tnには、サンプル数情報により表される数のオーディオ#2のオーディオサンプルの信号が挿入される。
このように、プロセッサ43に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおけるデータの挿入位置に応じた区間に挿入することによって実現される。
フレームデータ、オーディオデータ等のデータを多重ビデオフレームに貼り付ける、または挿入するということは、データを、貼り付け位置、または挿入位置に応じた多重ビデオフレームのデータとして伝送することを意味する。多重ビデオフレームのデータは、貼り付け、または挿入されたデータが多重化されたデータになる。
図1の説明に戻り、プロセッサ43は、ビデオポート(Video In)に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ43は、CPU,GPU,DSP,SoCなどの演算装置である。
例えば、ビデオデータの抽出は、後述する抽出回路45−3および45−4による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路45−1および45−2による抽出と同様にして行われる。
各系統のビデオのフレームデータを対象とした処理においては、多重フレーム状態情報に含まれる情報が適宜参照される。
例えば、プロセッサ43は、多重フレーム状態情報に含まれるビデオの同期安定性フラグに基づいて、多重ビデオフレームに挿入されているフレームのデータが、同期が確保されているときに生成されたデータであるか否かを判断する。プロセッサ43は、多重ビデオフレームに挿入されているフレームのデータが、同期が確保されていないときに生成されたデータであると判断した場合、多重ビデオフレームに挿入されているフレームデータを無効なデータとし、その処理を行わない。
プロセッサ43は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。
プロセッサ43は、処理後の各系統のビデオデータの挿入が完了する毎に、ビデオ書き込み完了フラグを多重ビデオフレームに挿入する。ビデオ書き込み完了フラグが立っている(所定の値が設定されている)ことは、そのフラグが設定されている系統の処理後のフレームの挿入が最後まで完了していることを表す。
また、プロセッサ43は、処理後の各系統のオーディオデータの挿入が完了する毎に、オーディオ書き込み完了フラグを多重ビデオフレームに挿入する。オーディオ書き込み完了フラグが立っていることは、そのフラグが設定されている系統の処理後のオーディオサンプルのデータの挿入が最後まで完了していることを表す。
プロセッサ43は、全系統のビデオデータ、オーディオデータの挿入が完了した後、全系統のデータの挿入が完了したことを表す全系統書き込み完了フラグを多重ビデオフレームに挿入する。
ビデオ書き込み完了フラグ、オーディオ書き込み完了フラグ、全系統書き込み完了フラグは多重フレーム状態情報に含まれる情報である。
プロセッサ43は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポート(Video Out)から出力する。プロセッサ43からの出力も、1系統のビデオデータになる。プロセッサ43から出力された多重ビデオフレームのデータは同期信号とともに抽出回路45−1に供給される。プロセッサ43から出力された同期信号はタイミング発生回路44にも供給される。
タイミング発生回路44は、プロセッサ43から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる出力タイミング信号を生成する。各系統のビデオ、オーディオのフォーマットに関する情報は、タイミング発生回路44に予め設定されている。
タイミング発生回路44は、生成したビデオ#1用の出力タイミング信号をビデオ送信回路53−1に出力し、ビデオ#2用の出力タイミング信号をビデオ送信回路53−2に出力する。
また、タイミング発生回路44は、生成したオーディオ#1用の出力タイミング信号をオーディオ送信回路63−1に出力し、オーディオ#2用の出力タイミング信号をオーディオ送信回路63−2に出力する。
抽出回路45−1は、プロセッサ43から供給された多重ビデオフレームのデータから、オーディオ#2のオーディオサンプルのデータを抽出する。
図4の例を用いてデータの抽出について説明すると、抽出回路45−1が抽出対象とするオーディオ#2のオーディオデータの多重位置は、多重ビデオフレームの例えばnライン目として予め設定されている。また、nライン目に挿入されているオーディオ#2のオーディオサンプルの数は、多重フレーム状態情報に含まれるサンプル数情報により表される。
抽出回路45−1は、多重ビデオフレームが供給されたとき、オーディオ#2のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ#2のオーディオサンプルの数を特定する。また、抽出回路45−1は、予め設定されているnライン目に挿入されているデータを、特定したサンプル数に相当する分だけ、オーディオ#2のオーディオサンプルとして抽出する。
抽出回路45−1は、抽出したオーディオ#2のオーディオサンプルのデータをメモリ制御回路61−2に出力する。また、抽出回路45−1は、サンプル数情報以外のオーディオ#2に関する多重フレーム状態情報についても多重ビデオフレームから抽出し、サンプル数情報とともにメモリ制御回路61−2に出力する。
抽出回路45−1は、プロセッサ43から供給された多重ビデオフレームのデータを抽出回路45−2に出力する。
抽出回路45−2は、抽出回路45−1から供給された多重ビデオフレームから、抽出回路45−1と同様にしてオーディオ#1のオーディオサンプルのデータを抽出する。
すなわち、抽出回路45−2は、オーディオ#1のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ#1のオーディオサンプルの数を特定する。また、抽出回路45−2は、予め設定されているラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ#1のオーディオサンプルのデータとして抽出する。
抽出回路45−2は、サンプル数情報以外のオーディオ#1に関する多重フレーム状態情報についても多重ビデオフレームから抽出し、サンプル数情報とともにメモリ制御回路61−1に出力する。
抽出回路45−2は、抽出回路45−1から供給された多重ビデオフレームのデータを抽出回路45−3に出力する。
抽出回路45−3は、抽出回路45−2から供給された多重ビデオフレームのデータから、ビデオ#2のフレームデータを抽出する。
抽出回路45−3が抽出対象とするビデオ#2のフレームデータの挿入位置は予め設定されている。抽出回路45−3は、予め設定されている位置のデータをビデオ#2のフレームのデータとして多重ビデオフレームから抽出する。
抽出回路45−3は、抽出したビデオ#2のフレームデータをフレームシンクロナイザ51−2に出力する。また、抽出回路45−3は、多重ビデオフレームに挿入されているビデオ#2に関する多重フレーム状態情報を抽出し、フレームシンクロナイザ51−2に出力する。
抽出回路45−3は、抽出回路45−2から供給された多重ビデオフレームのデータを抽出回路45−4に出力する。
抽出回路45−4は、抽出回路45−3から供給された多重ビデオフレームのデータから、ビデオ#1のフレームデータを抽出する。
抽出回路45−4が抽出対象とするビデオ#1のフレームデータの挿入位置は予め設定されている。抽出回路45−4は、予め設定されている位置のデータをビデオ#1のフレームのデータとして多重ビデオフレームから抽出する。
抽出回路45−4は、抽出したビデオ#1のフレームデータをフレームシンクロナイザ51−1に出力する。また、抽出回路45−4は、多重ビデオフレームに挿入されているビデオ#1に関する多重フレーム状態情報を抽出し、フレームシンクロナイザ51−1に出力する。
フレームシンクロナイザ51−1は、抽出回路45−4から供給されたビデオ#1のフレームデータとビデオ#1に関する多重フレーム状態情報をフレームメモリ52−1に記憶させる。フレームシンクロナイザ51−1は、ビデオ送信回路53−1からの要求に応じてフレームメモリ52−1からデータを読み出し、出力する。
ビデオ送信回路53−1は、ケーブルドライバ(Cable Driver)、シリアライザ(Serializer)、各種エンコーダ(Encoder)、4:2:2/4:4:4コンバータ、およびD/A(Digital / Analog)コンバータ等を有する。
ビデオ送信回路53−1は、要求に応じてフレームシンクロナイザ51−1から供給されたビデオ#1のフレームデータを、タイミング発生回路44から供給された出力タイミング信号に従って同期信号とともに情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、ビデオ送信回路53−1においては、ビデオ#1の多重フレーム状態情報に含まれる情報が適宜参照され、処理が行われる。
例えば、ビデオ送信回路53−1は、多重フレーム状態情報に含まれるビデオ#1のビデオ書き込み完了フラグに基づいて、多重ビデオフレームに挿入されているビデオデータが、フレーム全体のデータであるか否かを判断する。
ビデオ送信回路53−1は、多重ビデオフレームに挿入されているビデオ#1のフレームのデータが、書き込みが完了したデータではない、すなわち処理後のビデオ#1の全体のフレームデータではないと判断した場合、多重ビデオフレームに挿入されているフレームデータを無効なデータとし、そのフレームデータに代えて、グレイ画のデータを出力するなどの処理を行う。
実装上、抽出回路45−4、フレームシンクロナイザ51−1、ビデオ送信回路53−1の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路45−4とフレームシンクロナイザ51−1の間、フレームシンクロナイザ51−1とビデオ送信回路53−1の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
抽出回路45−3とフレームシンクロナイザ51−2の間、フレームシンクロナイザ51−2とビデオ送信回路53−2の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路45−2とメモリ制御回路61−1の間、メモリ制御回路61−1とオーディオ送信回路63−1の間や、抽出回路45−1とメモリ制御回路61−2の間、メモリ制御回路61−2とオーディオ送信回路63−2の間にも、適宜、FIFOが設けられる。
ここで、出力するビデオ#1のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ51−1は、フレームメモリ52−1に記憶されているビデオデータを重複して(同じフレームのビデオデータを続けて)ビデオ送信回路53−1に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。
フレームシンクロナイザ51−2は、抽出回路45−3から供給されたビデオ#2のフレームデータとビデオ#2に関する多重フレーム状態情報をフレームメモリ52−2に記憶させる。フレームシンクロナイザ51−2は、ビデオ送信回路53−2からの要求に応じてフレームメモリ52−2からデータを読み出し、出力する。
ビデオ送信回路53−2は、ビデオ送信回路53−1と同様に、要求に応じてフレームシンクロナイザ51−2から供給されたビデオ#2のフレームデータを、タイミング発生回路44から供給された出力タイミング信号に従って同期信号とともに外部に出力する。
情報処理装置1の外部に出力する前、ビデオ送信回路53−2は、ビデオ#2の多重フレーム状態情報に含まれる情報を適宜参照し、上述したビデオ送信回路53−1の処理と同様の処理を行う。
メモリ制御回路61−1は、抽出回路45−2から供給されたオーディオ#1のデータとオーディオ#1に関する多重フレーム状態情報をメモリ62−1に一時的に記憶させる。メモリ62−1には、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプル単位で、オーディオ#1のオーディオデータが記憶される。
メモリ制御回路61−1は、オーディオ送信回路63−1からの要求に応じて、メモリ62−1からデータを読み出し、出力する。
オーディオ送信回路63−1は、メモリ制御回路61−1から供給されたオーディオ#1のオーディオサンプルのデータを、1サンプルのデータずつ、タイミング発生回路44から供給された出力タイミング信号に従って情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、オーディオ送信回路63−1においては、オーディオ#1の多重フレーム状態情報に含まれる情報が適宜参照され、処理が行われる。
例えば、オーディオ送信回路63−1は、多重フレーム状態情報に含まれるオーディオ#1のオーディオ書き込み完了フラグに基づいて、多重ビデオフレームに挿入されているオーディオデータが、オーディオサンプル全体のデータであるか否かを判断する。
オーディオ送信回路63−1は、多重ビデオフレームに挿入されているオーディオ#1のサンプルのデータが、書き込みが完了したデータではない、すなわち処理後のオーディオ#1の全体のオーディオサンプルのデータではないと判断した場合、多重ビデオフレームに挿入されているオーディオサンプルのデータを無効なデータとし、出力をミュートするなどの処理を行う。
メモリ制御回路61−2は、抽出回路45−1から供給されたオーディオ#2のオーディオサンプルのデータとオーディオ#2に関する多重フレーム状態情報をメモリ62−2に一時的に記憶させる。メモリ62−2には、多重ビデオフレームの1フレーム期間内に入力されたオーディオサンプル単位で、オーディオ#2のオーディオデータが記憶される。
メモリ制御回路61−2は、オーディオ送信回路63−2からの要求に応じて、メモリ62−2からデータを読み出し、出力する。
オーディオ送信回路63−2は、メモリ制御回路61−2から供給されたオーディオ#2のオーディオサンプルのデータを、1サンプルのデータずつ、タイミング発生回路44から供給された出力タイミング信号に従って情報処理装置1の外部に出力する。
情報処理装置1の外部に出力する前、オーディオ送信回路63−2は、オーディオ#2の多重フレーム状態情報に含まれる情報を適宜参照し、上述したオーディオ送信回路63−1の処理と同様の処理を行う。
なお、図1においては、2系統のビデオデータと2系統のオーディオデータが情報処理装置1に入力され、処理が行われるものとしたが、入力されるデータの系統の数は変更可能である。
例えば、情報処理装置1には、1系統のビデオデータ毎に、入力側の構成として、ビデオ受信回路21−1、フレームシンクロナイザ22−1、フレームメモリ23−1、多重回路42−1と同様の構成が設けられる。また、出力側の構成として、抽出回路45−4、フレームシンクロナイザ51−1、フレームメモリ52−1、ビデオ送信回路53−1と同様の構成が設けられる。
情報処理装置1には、1系統のオーディオデータ毎に、入力側の構成として、オーディオ受信回路31−1、メモリ制御回路32−1、メモリ33−1、多重回路42−3と同様の構成が設けられる。また、出力側の構成として、抽出回路45−2、メモリ制御回路61−1、メモリ62−1、オーディオ送信回路63−1と同様の構成が設けられる。
以下、適宜、同じ名称を有する回路、構成を区別する必要がない場合、「−」とそれに続く数字を省略して説明する。
[ビデオ型インタフェース]
図6は、ビデオ型インタフェースを模式的に示す図である。
図6は、ビデオ型インタフェースを模式的に示す図である。
ビデオ型インタフェースにおいては、水平同期信号(H-Sync)、垂直同期信号(V-Sync)、フィールドフラグ信号(Field Flag)、画像や音声よりなるデータ信号(Data)、クロックを示すイネーブル信号(EN)などが送信側から受信側に伝送される。フィールドフラグ信号は、第1フィールドであるか第2フィールドであるかを示す。
図6のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図7に示す。図7の上段の信号群#11は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群#12は、プログレッシブ方式のビデオ信号の波形の例を示す。
図7の信号群#11に示す波形のうち、実線矢印で示す範囲の波形の詳細を図8に示す。図8は、HD(High-Definition)画像のビデオ信号の波形の例を示す。
図8に示すように、垂直同期信号(V)の1周期の間に、1フィールド(540ライン)分のデータ(Data)が伝送される(Active Video)。また、水平同期信号(H)の1周期の間に1ライン(1920画素)分のデータ(Data)が伝送される。
[多重フレーム状態情報]
図9は、多重フレーム状態情報に含まれる情報を示す図である。
図9は、多重フレーム状態情報に含まれる情報を示す図である。
図9に示すように、多重フレーム状態情報に含まれる情報は、データの連続性に関する情報と、データの信頼性に関する情報と、書き込み完了フラグに分けられる。
多重ビデオフレームの通し番号を表す情報、フレーム/フィールド識別情報、通しフレーム番号を表す情報、Timecode、オーディオサンプルの通し番号を表す情報、サンプル数情報は、データの連続性に関する情報に含まれる。
フレーム/フィールド識別情報、通しフレーム番号を表す情報、Timecodeは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオサンプルの通し番号を表す情報とサンプル数情報は、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。
多重ビデオ信号の同期安定性フラグ、ビデオ信号の同期安定性フラグ、およびオーディオデータのValidity Bitは、データの信頼性に関する情報に含まれる。
ビデオ信号の同期安定性フラグは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオデータのValidity Bitは、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。
プロセッサ43により設定されるビデオ書き込み完了フラグは、多重ビデオフレームにフレームデータが挿入されているビデオデータの系統毎に設定される。オーディオ書き込み完了フラグは、多重ビデオフレームにオーディオサンプルのデータが挿入されているオーディオデータの系統毎に設定される。全系統書き込み完了フラグは、多重ビデオフレーム毎に設定される。
多重フレーム状態情報に含まれる各情報の挿入位置を表す情報は、入力回路とプロセッサ43の間、プロセッサ43と出力回路の間でそれぞれ共通の位置を表すように予め設定されている。
入力回路は、プロセッサ43に対してデータを入力する回路全体をいい、出力回路は、プロセッサ43から出力されたデータを情報処理装置1の外部に出力する回路全体をいう。
入力回路は、図1のビデオ受信回路21、フレームシンクロナイザ22、フレームメモリ23、オーディオ受信回路31、メモリ制御回路32、メモリ33、多重ビデオ信号発生回路41、および多重回路42から構成される。また、出力回路は、図1のタイミング発生回路44、抽出回路45、フレームシンクロナイザ51、フレームメモリ52、ビデオ送信回路53、メモリ制御回路61、メモリ62、およびオーディオ送信回路63から構成される。
[入力回路の動作]
多重フレーム状態情報に含まれる各情報に関する入力回路の処理について説明する。
多重フレーム状態情報に含まれる各情報に関する入力回路の処理について説明する。
多重ビデオフレームの通し番号を表す情報は、多重ビデオ信号発生回路41により多重ビデオフレームに挿入される。多重ビデオフレームの通し番号を表す情報は、多重ビデオフレームに挿入された形でプロセッサ43に供給される。
プロセッサ43は、多重ビデオフレームの通し番号を表す情報に基づいて、多重ビデオフレームの通し番号が1ずつ増えるか否かを判断し、1ずつ増えている場合には、入力回路が正常に動作していると判断する。
多重ビデオフレームの通し番号が1ずつ増えていない場合、入力回路が正常に動作していない可能性が高い。この場合、プロセッサ43は、多重ビデオ信号全体の受信処理をスキップする(多重ビデオフレームを受信しない)などの処理を行う。これにより、無駄な動作を省略して、プロセッサ43の負荷を低減させることが可能になる。
ビデオデータの通しフレーム番号を表す情報は、ビデオ受信回路21により生成され、フレームメモリ23に一時的に記憶された後、ビデオデータを処理する多重回路42(図1の場合、多重回路42−1と42−2)によって多重ビデオフレームに挿入される。ビデオデータの通しフレーム番号を表す情報は、多重ビデオフレームに挿入された形でプロセッサ43に供給される。
プロセッサ43は、ビデオデータの通しフレーム番号を表す情報に基づいて、通しフレーム番号が1ずつ増えるか否かを判断し、1ずつ増える場合には、ビデオデータの連続性が確保されていると判断する(フレームの欠落や重複がないと判断する)。
ビデオ信号の同期安定性フラグが立っているのに通しフレーム番号が1ずつ増えていない場合、プロセッサ43は、フレームシンクロナイザ22によるフレームの欠落や重複が生じているものと判断する。プロセッサ43は、何フレームが欠落したか、どのフレームまでが欠落したか、何フレーム重複したか等の情報を、通しフレーム番号に基づいて正確に判断することができる。
例えば、フレームの重複を検出した場合、プロセッサ43は、重複して伝送されてきた2フレーム目以降の処理を省略する。これにより、プロセッサ43の負荷を低減させることが可能になる。フレームの欠落を検出した場合、欠落したフレームを補間したり、グレイ画やブラック画に差し替えたりするなどの処理をプロセッサ43に行わせることも可能である。
ビデオのフレーム/フィールド識別情報とTimecodeは、ビデオ受信回路31が入力ビデオ信号から読み取り、フレームメモリ23に一時的に記憶された後、ビデオデータを処理する多重回路42によって多重ビデオフレームに挿入される。プロセッサ43は、フレーム/フィールド識別情報とTimecodeからも、ビデオデータの連続性が確保されているか否かを判断することができる。
オーディオサンプルの通し番号を表す情報とサンプル数情報は、例えばオーディオ受信回路31により生成される。これらの情報がメモリ制御回路32により生成されるようにしてもよい。オーディオサンプルの通し番号を表す情報とサンプル数情報は、メモリ33に一時的に記憶された後、オーディオデータを処理する多重回路(図1の場合、多重回路42−3と42−4)によって多重ビデオフレームに挿入される。
プロセッサ43は、多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と、サンプル数情報により表されるサンプル数との和を計算する。プロセッサ43は、計算結果の値が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致する場合、オーディオデータの連続性が確保されていると判断する。
計算結果の値が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致しない場合、オーディオデータの連続性は保証できない。この場合、プロセッサ43は、信頼できないオーディオデータの読み取り処理と音声信号処理をスキップし、無音のオーディオサンプルのデータに差し替える等の処理を行う。これにより、無駄な動作を省略して、プロセッサ43の負荷を低減させることが可能になる。
多重ビデオ信号の同期安定性フラグは、多重ビデオ信号発生回路41により多重ビデオフレームに挿入される。多重ビデオ信号の同期安定性フラグは、多重ビデオフレームに挿入された形でプロセッサ43に供給される。
プロセッサ43は、多重ビデオ信号の同期安定性フラグに基づいて、供給された多重ビデオフレームを伝送する多重ビデオ信号が、同期が確保されているときに多重ビデオ信号発生回路41から出力された信号であるか否かを判断する。プロセッサ43は、同期安定性フラグが立っている場合、多重ビデオ信号発生回路41が正常に動作していると判断する。
多重ビデオ信号の同期安定性フラグが立っていない場合、多重ビデオ信号自体の信頼性が低いといえる。この場合、プロセッサ43は、多重ビデオ信号全体の受信処理をスキップするなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ43の負荷を低減させることが可能になる。
ビデオ信号の同期安定性フラグは、ビデオ受信回路31から出力され、ビデオデータを処理する多重回路42により多重ビデオフレームに挿入される。ビデオ信号の同期安定性フラグは、多重ビデオフレームに挿入された形でプロセッサ43に供給される。
プロセッサ43は、ビデオ信号の同期安定性フラグに基づいて、多重ビデオフレームに挿入されているビデオフレームがビデオ受信回路31から出力されたときに、入力ビデオ信号の同期乱れがビデオ受信回路31において生じていたか否かを判断する。プロセッサ43は、ビデオ信号の同期安定性フラグが立っている場合には、同期乱れが生じていないと判断する。
ビデオ信号の同期安定性フラグが立っていない場合、多重ビデオフレームに挿入されているビデオフレームのデータの信頼性が低いといえる。この場合、プロセッサ43は、多重ビデオフレームに挿入されているビデオフレームのデータを無効なデータであると判断し、無効なビデオデータの読取り処理と画像処理をスキップする。
また、プロセッサ43は、多重ビデオフレームに挿入されているビデオフレームを、グレイ画やブラック画やフリーズ画などの他のフレームに差し替えるなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ43の負荷を低減させることが可能になる。
Validity Bitは、多重ビデオフレームの1フレーム期間のオーディオサンプルのデータと共にオーディオ受信回路31により切り出される。Validity Bitは、オーディオサンプルのデータとともに多重ビデオフレームに挿入された形でプロセッサ43に供給される。
Validity Bitが立っていない場合、多重ビデオフレームに挿入されているオーディオサンプルのデータの信頼性は保証されない。プロセッサ43は、信頼できないオーディオサンプルのデータの読み取り処理と音声信号処理をスキップする。
また、プロセッサ43は、多重ビデオフレームに挿入されているオーディオサンプルのデータを、無音のデータに差し替えるなどの処理を行う。これにより、無駄な動作を省略して、プロセッサ43の負荷を低減させることが可能になる。
[出力回路の動作]
多重フレーム状態情報に含まれる各情報に関する出力回路の処理について説明する。
多重フレーム状態情報に含まれる各情報に関する出力回路の処理について説明する。
プロセッサ43は、入力ビデオポートから多重ビデオフレームが入力される毎に、多重ビデオフレームに挿入されている各系統のデータに対して処理を施し、処理後のデータを多重化した後、出力ビデオポートから出力する。多重ビデオフレームの1フレーム期間内にその処理が終わらないという事態が想定される。
多重ビデオフレームの1フレーム期間内に処理が終わらないという事態がプロセッサ43において生じたか否かを確認するために、ビデオ書込み完了フラグ、オーディオ書込み完了フラグ、全系統書込み完了フラグが用いられる。
プロセッサ43は、処理後のビデオデータを多重ビデオフレームに挿入した後、その系統のビデオのフレームのデータの挿入が完了したことを表すビデオ書込み完了フラグを設定する。
また、プロセッサ43は、処理後のオーディオデータを多重ビデオフレームに挿入した後、その系統のオーディオのオーディオサンプルのデータの挿入が完了したことを表すオーディオ書込み完了フラグを設定する。
プロセッサ43は、全系統のデータを挿入し、出力回路に出力する多重ビデオフレームが完成した後、その多重ビデオフレームに対して全系統書込み完了フラグを設定する。
ビデオ書き込み完了フラグは、ビデオデータを処理する抽出回路45(図1の場合、抽出回路45−3および45−4)により読み取られ、ビデオ送信回路53により用いられる。
ビデオ書込み完了フラグが立っていない場合(書き込みが完了したことを示していない場合)、そのフラグが設定された系統のビデオデータは、書き込みが最後まで終了していないか、書き込みが全く行われていないかのどちらかである可能性が高い。
この場合、ビデオ送信回路53は、例えば、多重ビデオフレームから抽出されたビデオフレームに代えて、1フレーム前のフレームを用いたフリーズ画、グレイ画、ブラック画を出力するなどの処理を行う。
フリーズ画の出力は、フレームメモリ52に残されている1フレーム前のフレームを用いて行われる。この場合、フレームシンクロナイザ51は、フレームメモリ52にデータの書込みを行わないように動作することによって、1フレーム前のフレームをフレームメモリ52に残しておく。グレイ画やブラック画は固定値からなるフレームであるため、出力データを差し替えるのは容易である。
オーディオ書き込み完了フラグは、オーディオデータを処理する抽出回路45(図1の場合、抽出回路45−1および45−2)により読み取られ、オーディオ送信回路63により用いられる。
オーディオ書込み完了フラグが立っていない場合、そのフラグが設定された系統のオーディオデータは、書き込みが最後まで終了していないか、書き込みが全く行われていないかのどちらかである可能性が高い。
この場合、オーディオ送信回路63は、例えば、多重ビデオフレームから抽出されたビデオフレームを出力しないで、出力をミュートする等の処理を行う。無音のデータを生成するのは容易である。このとき、出力をミュートするのではなく、フェードアウト、フェードインの処理が行われるようにしてもよい。
多重ビデオフレームの通し番号、ビデオデータの通しフレーム番号、オーディオサンプルの通し番号およびサンプル数情報も、プロセッサ43により正常に処理が行われたか否かを判断するのに用いることが可能である。ビデオデータの連続性やオーディオデータの連続性が確保されていない場合、ビデオ送信回路53やオーディオ送信回路63において、書き込み完了フラグが立っていない場合の処理と同様の処理が行われるようにしてもよい。
例えば、ビデオデータの通しフレーム番号が1ずつ増えていない場合、ビデオデータの連続性が確保されていないと判断される。また、先頭のオーディオサンプルの通し番号と、サンプル数情報により表されるサンプル数との和が、次の多重ビデオフレームに挿入されている先頭のオーディオサンプルの通し番号と一致しない場合、連続性が確保されていないと判断される。
[情報処理装置の動作]
ここで、図10のフローチャートを参照して、図1の情報処理装置1の処理について説明する。
ここで、図10のフローチャートを参照して、図1の情報処理装置1の処理について説明する。
ステップS1において、ビデオ受信回路21−1および21−2によりビデオ受信処理が行われる。
ステップS2において、オーディオ受信回路31−1および31−2によりオーディオ受信処理が行われる。
ステップS3において、多重ビデオ信号発生回路41は、多重ビデオフレームを生成し、多重ビデオフレームの通し番号を表す情報と同期安定性フラグを挿入する。
ステップS4において、多重回路42−1乃至42−4により多重化処理が行われる。
ステップS5において、プロセッサ43は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを抽出し、所定の処理を行う。
ステップS6において、プロセッサ43は、処理後のビデオデータを多重ビデオフレームに挿入し、ビデオデータの系統毎に、挿入が完了したタイミングでビデオ書き込み完了フラグを設定する。また、プロセッサ43は、処理後のオーディオデータを多重ビデオフレームに挿入し、オーディオデータの系統毎に、挿入が完了したタイミングでオーディオ書き込み完了フラグを設定する。プロセッサ43は、データを多重化した多重ビデオフレームのデータをビデオポートから出力する。
ステップS7において、抽出回路45−1乃至45−4により抽出処理が行われる。
ステップS8において、オーディオ送信回路63−1および63−2によりオーディオ出力処理が行われる。
ステップS9において、ビデオ送信回路53−1および53−2によりビデオ出力処理が行われる。ビデオ出力処理が終了した後、処理は終了される。
次に、図11のフローチャートを参照して、図10のステップS1において行われるビデオ受信処理について説明する。
ステップS11において、ビデオ受信回路21−1は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ#1を構成する各フレームのデータを生成する。また、ビデオ受信回路21−1は、ビデオ#1のビデオ信号に基づいて、フレーム/フィールド識別とTimecodeを読み取る。
ステップS12において、ビデオ受信回路21−1は、ステップS11で生成した各フレームに通しフレーム番号を設定する。
ステップS13において、フレームシンクロナイザ22−1は、ビデオ#1のフレームデータ、フレーム/フィールド識別情報、Timecode、および通しフレーム番号を表す情報をフレームメモリ23−1に記憶させる。
ステップS11乃至S13の処理がビデオ受信回路21−2とフレームシンクロナイザ22−2においても行われ、ビデオ#2のフレームデータ、フレーム/フィールド識別情報、Timecode、および通しフレーム番号を表す情報がフレームメモリ23−2に記憶される。
ビデオ#1および#2のデータがフレームメモリ23に記憶された後、図10のステップS1に戻り、それ以降の処理が行われる。
次に、図12のフローチャートを参照して、図10のステップS2において行われるオーディオ受信処理について説明する。
ステップS21において、オーディオ受信回路31−1は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ#1のオーディオデータを生成する。
ステップS22において、オーディオ受信回路31−1は、オーディオ#1のオーディオ信号に基づいてValidity Bitを検出する。
ステップS23において、オーディオ受信回路31−1は、サンプル数をカウントしつつ、多重ビデオフレームの1フレーム期間内に入力されたオーディオ#1のオーディオサンプルを切り出す。
ステップS24において、オーディオ受信回路31−1は、切り出したオーディオサンプルに通し番号を設定してオーディオサンプルの通し番号を表す情報を生成するとともに、カウントしたオーディサンプルの数を表すサンプル数情報を生成する。
ステップS25において、メモリ制御回路32−1は、切り出されたオーディオ#1のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報をメモリ33−1に記憶させる。
ステップS21乃至S25の処理がオーディオ受信回路31−2とメモリ制御回路32−2においても行われ、オーディオ#2のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報がメモリ33−2に記憶される。
オーディオ#1および#2のデータがメモリ33に記憶された後、図10のステップS2に戻り、それ以降の処理が行われる。
次に、図13のフローチャートを参照して、図10のステップS4において行われる多重化処理について説明する。図10のステップS3において生成された多重ビデオフレームのデータは多重回路42−1に供給される。
ステップS31において、多重回路42−1は、フレームシンクロナイザ22−1に対して要求することによって、ビデオ#1のデータをフレームメモリ23−1から読み出す。フレームメモリ23−1からは、ビデオ#1のフレームデータ、フレーム/フィールド識別情報、Timecode、通しフレーム番号を表す情報が読み出される。
ステップS32において、多重回路42−1は、フレームメモリ23−1から読み出したビデオ#1のフレームデータを多重ビデオフレームに挿入する。
ステップS33において、多重回路42−1は、フレームメモリ23−1から読み出したビデオ#1に関する多重フレーム状態情報を多重ビデオフレームに挿入する。
ステップS31乃至S33の処理と同様の処理が多重回路42−2においても行われ、フレームメモリ23−2から読み出されたビデオ#2のフレームデータと多重フレーム状態情報が、多重回路42−1から供給された多重ビデオフレームに挿入される。
ステップS34において、多重回路42−3は、メモリ制御回路32−1に対して要求することによって、メモリ33−1からデータを読み出す。メモリ33−1からは、オーディオ#1のオーディオサンプルのデータ、Validity Bit、通し番号を表す情報、およびサンプル数情報が読み出される。
ステップS35において、多重回路42−3は、オーディオ#1のオーディオサンプルのデータを、多重回路42−2から供給された多重ビデオフレームに挿入する。
ステップS36において、多重回路42−3は、オーディオ#1に関する多重フレーム状態情報を、多重回路42−2から供給された多重ビデオフレームに挿入する。
ステップS34乃至S36の処理と同様の処理が多重回路42−4においても行われ、メモリ33−2から読み出されたオーディオ#2のオーディオサンプルのデータと多重フレーム状態情報が、多重回路42−3から供給された多重ビデオフレームに挿入される。
全系統のビデオデータとオーディオデータが多重ビデオフレームに挿入された後、図10のステップS4に戻り、それ以降の処理が行われる。
次に、図14のフローチャートを参照して、図10のステップS7において行われる抽出処理について説明する。
ステップS51において、抽出回路45−1は、プロセッサ43から出力された多重ビデオフレームのデータを受信する。プロセッサ43から出力された多重ビデオフレームに挿入されている多重フレーム状態情報には、プロセッサ43により設定された書き込み完了フラグも含まれている。
ステップS52において、抽出回路45−1は、多重ビデオフレームに挿入されているオーディオ#2に関する多重フレーム状態情報を抽出する。
ステップS53において、抽出回路45−1は、抽出した多重フレーム状態情報に含まれるサンプル数情報に基づいて、オーディオ#2のオーディオサンプルのデータを多重ビデオフレームから抽出する。
ステップS54において、メモリ制御回路61−2は、抽出回路45−1により抽出されたオーディオ#2のオーディオサンプルのデータと、多重フレーム状態情報に含まれる例えばオーディオ書き込み完了フラグをメモリ62−2に記憶させる。
ステップS52乃至S54の処理と同様の処理が抽出回路45−2、メモリ制御回路61−1においても行われ、多重ビデオフレームから抽出されたオーディオ#1のオーディオサンプルのデータと多重フレーム状態情報がメモリ62−1に記憶される。
ステップS55において、抽出回路45−3は、多重ビデオフレームに挿入されているビデオ#2の多重フレーム状態情報を抽出する。
ステップS56において、抽出回路45−3は、多重ビデオフレームに挿入されているビデオ#2のフレームデータを多重ビデオフレームから抽出する。
ステップS57において、フレームシンクロナイザ51−2は、抽出回路45−3により抽出されたビデオ#2のフレームデータと、多重フレーム状態情報に含まれる例えばビデオ書き込み完了フラグをフレームメモリ52−2に記憶させる。
ステップS55乃至S57の処理と同様の処理が抽出回路45−4、フレームシンクロナイザ51−1においても行われる。多重ビデオフレームから抽出されたビデオ#1のフレームデータと多重フレーム状態情報に含まれるビデオ書き込み完了フラグがフレームメモリ52−1に記憶される。
全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図10のステップS7に戻り、それ以降の処理が行われる。
次に、図15のフローチャートを参照して、図10のステップS8において行われるオーディオ出力処理について説明する。
ステップS61において、オーディオ送信回路63−2は、メモリ制御回路61−2に対して要求することによって、オーディオ#2のオーディオサンプルのデータとオーディオ書き込み完了フラグをメモリ62−2から読み出す。
ステップS62において、オーディオ送信回路63−2は、オーディオ書き込み完了フラグの値に応じたデータを、1サンプルのデータずつ、オーディオ#2のオーディオデータとして外部に出力する。
すなわち、オーディオ書き込み完了フラグが立っている場合、オーディオ書き込み完了フラグの値に応じたオーディオデータとして、多重ビデオフレームから抽出されたオーディオサンプルのデータが出力される。一方、オーディオ書き込み完了フラグが立っていない場合、オーディオ書き込み完了フラグの値に応じたオーディオデータとして、多重ビデオフレームから抽出されたオーディオサンプルに代えて、無音のデータなどが出力される。
ステップS61およびS62の処理と同様の処理がオーディオ送信回路63−1においても行われ、メモリ62−1から読み出されたオーディオ書き込み完了フラグの値に応じたオーディオ#1のオーディオデータが外部に出力される。
全系統のオーディオデータが出力された後、図10のステップS8に戻り、それ以降の処理が行われる。
次に、図16のフローチャートを参照して、図10のステップS9において行われるビデオ出力処理について説明する。
ステップS71において、ビデオ送信回路53−2は、フレームシンクロナイザ51−2に対して要求することによって、ビデオ#2のフレームデータとビデオ書き込み完了フラグをフレームメモリ52−2から読み出す。
ステップS72において、ビデオ送信回路53−2は、ビデオ書き込み完了フラグの値に応じたデータを、ビデオ#2のフレームデータとして外部に出力する。
すなわち、ビデオ書き込み完了フラグが立っている場合、ビデオ書き込み完了フラグの値に応じたビデオデータとして、多重ビデオフレームから抽出されたフレームデータが出力される。一方、ビデオ書き込み完了フラグが立っていない場合、ビデオ書き込み完了フラグの値に応じたビデオデータとして、多重ビデオフレームから抽出されたフレームデータに代えて、フリーズ画などの他のフレームのデータが出力される。
ステップS71およびS72の処理と同様の処理がビデオ送信回路53−1においても行われ、フレームメモリ52−1から読み出されたビデオ書き込み完了フラグの値に応じたビデオ#1のフレームデータが外部に出力される。
全系統のビデオのフレームデータが出力された後、図10のステップS9に戻り、それ以降の処理が行われる。
以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。
以上の一連の処理により、1つの入力ビデオポートを備えるプロセッサ43に対して複数の系統のビデオデータとオーディオデータを入力することができる。また、1つの出力ビデオポートを備えるプロセッサ43から、複数の系統のビデオデータとオーディオデータを出力させることができる。すなわち、プロセッサ43に対するデータの入力、およびプロセッサ43からのデータの出力を、1つのビデオポートを使って効率的に行うことができる。
また、多重フレーム状態情報に含まれる情報に基づいて、多重ビデオフレームを用いて多重化されたビデオデータやオーディオデータを受信したプロセッサ43や出力回路はデータの連続性が確保されているか否かを判断することができる。これにより、システムとして安定性の高い動作を保証することができる。
連続性が確保されていないと判断された場合やデータの信頼性が低い場合、例えばビデオデータについては上述したようにしてフリーズ画、グレイ画、ブラック画が出力されるようにすることによって、システムとしての安全性を高めることができる。
[多重化の例]
以上においては、2系統のビデオ信号と2系統のオーディオ信号が情報処理装置1に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が4系統ずつ入力されるようにしてもよい。
以上においては、2系統のビデオ信号と2系統のオーディオ信号が情報処理装置1に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が4系統ずつ入力されるようにしてもよい。
図17は、ビデオ信号とオーディオ信号が4系統ずつ入力された場合の多重ビデオフレームの例を示す図である。
図17の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の1ライン目から所定のラインまでの領域が、多重フレーム状態情報用の領域A1として設定されている。図9に示す各情報が、領域A1のうちの、各情報に対して割り当てられた位置に挿入される。
図17に示すように連続した領域にまとめて挿入されるのではなく、多重フレーム状態情報に含まれる各情報が、多重ビデオフレーム内に離れて設定された複数の領域に挿入されるようにしてもよい。
また、図17の多重ビデオフレームにおいては、領域A1の下に、ビデオ用の領域であるビデオ領域A2が設定されている。ビデオ領域A2には、ビデオ#0乃至#3のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま貼り付けられている。
ビデオ領域A2の下に、オーディオデータ用の領域であるオーディオ領域A3が設定されている。オーディオデータ領域A3の各ラインには、オーディオ#0乃至#3のオーディオデータが、情報処理装置1に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。
図17において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。オーディオデータに割り当てられたラインのうち、データの記録されている領域が、上述した、オーディオデータの有効領域になる。
図18は、ビデオ信号とオーディオ信号が4系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。
図18の多重ビデオフレームのビデオ領域A2には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図18の例においては、ビデオ#0乃至#3のフレームのデータを挿入するための領域が上から順に設定されている。
このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。
[変形例]
図19は、情報処理装置1の他の構成例を示すブロック図である。
図19は、情報処理装置1の他の構成例を示すブロック図である。
図19に示す構成のうち、図1に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図19に示す構成は、多重ビデオ信号発生回路41の前段に切り替え回路111が設けられている点で図1に示す情報処理装置1の構成と異なる。
切り替え回路111に対しては、ビデオ#1の同期信号、ビデオ#2の同期信号、および、その2つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路44にも供給される。
切り替え回路111は、ビデオ#1の同期信号、ビデオ#2の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路41に出力する。
多重ビデオ信号発生回路41は、切り替え回路111から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路111から供給された同期信号とともに多重回路42−1に出力する。
タイミング発生回路44は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。
このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。
[入力用の多重ビデオフレームを用いた多重化について]
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。
はじめに、多重回路42により行われる、プロセッサ43に対する入力用の多重ビデオフレームを用いた多重化について説明する。
図20は、入力用の多重ビデオフレームの領域構成の例を示す図である。
図20に示すように、入力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図20の例においては、有効画枠内の1ライン目からm1ライン目までの領域が、ビデオ用の領域であるビデオ領域A11として設定されている。また、有効画枠内のm1+1ライン目から、m2ライン目までの領域が、オーディオ用の領域であるオーディオ領域A12として設定されている。m2+1ライン目から最終ラインであるnライン目までの領域が、多重フレーム状態情報用の領域A13として設定されている。
このように、入力用の多重ビデオフレームには、その上側にビデオ領域A11が設定され、ビデオ領域A11の下側にオーディオ領域A12が設定される。入力用の多重ビデオフレームを時間軸上に表した場合、処理順でいうと、入力用の多重ビデオフレームの上側が時間軸上では前側、下側が時間軸上では後ろ側になる。
図21は、図20の入力用の多重ビデオフレームに貼り付けるビデオフレームの例を示す図である。
ここでは、ビデオ#0乃至#3の4系統のビデオデータを多重化する場合について説明する。
図21の例においては、ビデオ#0のフレームサイズは720×486i(SD)であり、ビデオ#1のフレームサイズは1280×720p(720p)とされている。また、ビデオ#2のフレームサイズは、ビデオ#1のフレームサイズと同じ1280×720p(720p)であり、ビデオ#3のフレームサイズは1920×1080i(HD)とされている。
入力用の多重ビデオフレームへの貼り付け対象となるフレームは例えばライン毎に分割され、各ラインが、入力用の多重ビデオフレームのそれぞれ異なるラインに貼り付けられる。
また、貼り付け対象となる各フレームのデータが重ならないように、かつ、インタリーブして貼り付けられる。インタリーブとは、同じフレームのラインが垂直方向に連続しないように入力用の多重ビデオフレームに配置することをいう。
なお、ビデオ#0,#3はインタレース方式のフレームである。ビデオ#0,#3については、実際には、1フィールドを構成するラインが1つの入力用の多重ビデオフレームに貼り付けられるが、フレームを貼り付けるものとして説明する。
図22は、多重回路42による多重化後の入力用の多重ビデオフレームの例を示す図である。
図22の例においては、ビデオ#0のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に720画素の範囲であり、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に243×2ラインの範囲である。図22には、ビデオ#0のフレームのラインとして4ラインしか示していないが、1フィールドのライン数である243ラインが、1ライン毎に、1ラインずつ空けて挿入される。
また、図22の例においては、ビデオ#1のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に720×2ラインの範囲である。図22には、ビデオ#1のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#0のフレームのラインと重ならないように挿入される。
ビデオ#2のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に720×2ラインの範囲である。図22には、ビデオ#2のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて挿入される。
ビデオ#3のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域A11の最終ラインであるm1ラインから上に540×2ラインの範囲である。図22には、ビデオ#3のフレームのラインとして7ラインしか示していないが、1フィールドのライン数である540ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#2のフレームのラインと重ならないように挿入される。
この例においては、入力用の多重ビデオフレームの有効画枠の水平方向の画素数は3200画素(1280+1920画素)とされている。
また、図22に示すように、入力用の多重ビデオフレームのオーディオ領域A12には、オーディオ#0乃至#3のオーディオデータが、情報処理装置1に入力された順に、各ラインの左側を先頭にして詰めて挿入される。
図22の例においては、オーディオ領域A12の開始位置であるm1+1ライン目とm1+2ライン目がオーディオ#0のオーディオデータに割り当てられている。m1+1ライン目とm1+2ライン目には、m1+1ライン目の全体と、m1+2ライン目の途中までに渡って、オーディオ#0のオーディオデータが挿入される。
また、m1+3ライン目とm1+4ライン目がオーディオ#1のオーディオデータに割り当てられている。m1+3ライン目とm1+4ライン目には、m1+3ライン目の全体と、m1+4ライン目の途中までに渡って、オーディオ#1のオーディオデータが挿入される。
m1+5ライン目とm1+6ライン目がオーディオ#2のオーディオデータに割り当てられている。m1+5ライン目とm1+6ライン目には、m1+5ライン目の全体と、m1+6ライン目の途中までに渡って、オーディオ#2のオーディオデータが挿入される。
m1+7ライン目とm1+8ライン目(m2ライン目)がオーディオ#3のオーディオデータに割り当てられている。m1+7ライン目とm1+8ライン目には、m1+7ライン目の全体と、m1+8ライン目の途中までに渡って、オーディオ#3のオーディオデータが挿入される。
入力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、各多重回路42において処理されるオーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数(1フレーム期間)などから決定される。
従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、設計時に決定することが可能である。図22の例においては、各系統のオーディオデータに2ラインずつ割り当てられている。
例えば、オーディオ領域A12のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図22の例においてもそのようにしてオーディオ領域A12のライン数が設定されている。
以上のように、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、入力用の多重ビデオフレームのビデオ領域A11に下詰めで貼り付けられる。また、挿入の対象となる各オーディオデータは、ビデオ領域A11の下に設定されたオーディオ領域A12に、例えばオーディオ領域A12全体のラインを使って挿入される。多重フレーム状態情報は、オーディオ領域A12の下に設定された領域A13に挿入される。
入力用の多重ビデオフレーム全体を見た場合、各系統のデータは、下詰めの形で配置されることになる。
これにより、入力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ43に入力する場合であっても入力遅延を抑えることが可能になる。入力遅延は、プロセッサ43による処理の対象のデータが情報処理装置1に入力された時刻と、プロセッサ43に入力された時刻の差で表される。
図23は、下詰めのメリットについて説明する図である。図23の横軸は時間を表す。
図23の例においては、ビデオ#0乃至#3のビデオデータ(入力ビデオ信号)が、それぞれ異なるタイミングで入力される。
例えば、ビデオ#0のある1フレームのデータは、時刻t3から時刻t7のタイミングで情報処理装置1に入力される。また、ビデオ#1のある1フレームのデータは、時刻t1から時刻t5のタイミングで情報処理装置1に入力される。
ビデオ#2のある1フレームのデータは、時刻t4から時刻t8のタイミングで情報処理装置1に入力される。ビデオ#3のある1フレームのデータは、時刻t2から時刻t6のタイミングで情報処理装置1に入力される。
例えばビデオについては、入力用の多重ビデオフレームの1フレームの期間内に最終ラインのデータが入力されたビデオフレームが、その期間内に生成された入力用の多重ビデオフレームに貼り付けられる。
従って、この場合、図23において各ラインに斜線を付して示すビデオ#0乃至#3のフレームが、時刻t4から時刻t8までの期間Tに生成された入力用の多重ビデオフレーム(多重ビデオ信号)である多重ビデオフレームF1に多重化されることになる。
各ラインに斜線を付して示すビデオ#0のフレームの最終ラインのデータは、期間T内の時刻である時刻t7の直前の時刻に入力されている。同様に、各ラインに斜線を付して示すビデオ#1乃至#3のフレームの最終ラインのデータは、期間T内の時刻に入力されている。
また、オーディオについては、上述したように、入力用の多重ビデオフレームの1フレームの期間内に入力されたオーディオサンプルが、その期間内に生成された入力用の多重ビデオフレームに挿入される。
従って、図23の例の場合、オーディオ#0のオーディオサンプル全体のうち、期間Tに含まれる、太線で示すオーディオサンプルが、多重ビデオフレームF1に挿入されることになる。図23にはオーディオ#0だけを示しているが、他の系統のオーディオデータについても同様にして多重ビデオフレームF1に挿入される。
入力用の多重ビデオフレームの1フレームの期間は、多重ビデオ信号発生回路41により生成された同期信号により規定される。図23の同期信号sync-1は、多重ビデオ信号発生回路41により生成された同期信号を表す。
なお、図23の例においては、同期信号sync-1は、ビデオ#2の同期信号と同期している。図19を参照して説明したように、入力用の多重ビデオフレームの1フレーム期間を規定する同期信号として、外部から入力されたビデオの同期信号を用いることも可能である。
同期信号sync-2は、プロセッサ43に入力用の多重ビデオフレームを出力する最終段の多重回路42が出力する、入力用の多重ビデオフレームの1フレーム期間を規定する同期信号を表す。最終段の多重回路42からプロセッサ43に対しては、同期信号sync-2に従って、各系統のデータを多重化した多重化後の入力用の多重ビデオフレームが出力される。図1の例においては多重回路42−4が最終段の多重回路になる。
各多重回路42においては、多重化の対象のデータが入力されるのを待って多重化が行われる。多重ビデオ信号発生回路41から、あるいは前段の多重回路42から入力用の多重ビデオフレームが入力される時刻と、入力用の多重ビデオフレームにデータを多重化し、多重化後の入力用の多重ビデオフレームをある多重回路42が出力する時刻には、多重化の対象のデータのうちの、最終のデータが入力される時刻に応じて差が生じる。ここでは、ビデオ受信回路21やオーディオ受信回路31におけるデータの受信や、フレームメモリ23やメモリ33にデータを一時的に記憶するのにかかる時間を無視するものとする。
同期信号sync-1とsync-2のタイミング(1の値の時刻)が近いことは、多重ビデオ信号発生回路41から入力用の多重ビデオフレームが出力された時刻と、多重化後の入力用の多重ビデオフレームがプロセッサ43に入力される時刻の差が小さいことを表す。すなわち、同期信号sync-1とsync-2のタイミングが近いことは、入力遅延が抑えられていることを表す。
このことを前提として、入力用の多重ビデオフレームに下詰めでデータを挿入した場合について説明する。
図23の多重ビデオフレームF1は、図22を参照して説明したようにして各データが下詰めで挿入された多重化後の入力用の多重ビデオフレームを示す。
図23に示すように、左側を時間的に前、右側を時間的に後ろとする時間軸上に表した場合、ビデオ領域A11は多重ビデオフレームF1において左側に示され、オーディオ領域A12は右側に示される。図23の多重ビデオフレームF1内の右側に示す1本の太線は、オーディオ領域A12に挿入されたオーディオ#0のオーディオデータを表す。
多重ビデオフレームF1に貼り付けるビデオ#0のフレームの最終ラインのデータは、それが入力された、時刻t7の直前の時刻以降であれば挿入することが可能になる。ビデオ#0のフレームの最終ラインのデータを多重ビデオフレームF1のビデオ領域A11の上の方(前の方)に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t7より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図23に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、ビデオ#0のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームF1の、時刻t7の直前の時刻より後の時刻に対応する位置であることが好ましい。実際に挿入される時刻より前に入力されたデータは、挿入時刻までメモリに記憶される。
また、多重ビデオフレームF1に多重化するビデオ#2のフレームの最終ラインのデータは、それが入力された、時刻t8の直前の時刻以降(時刻t8の直前の時刻を含む)であれば挿入することが可能になる。ビデオ#2のフレームの最終ラインのデータを多重ビデオフレームF1のビデオ領域A11の上の方に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t8の直前の時刻より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図23に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、ビデオ#2のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームF1の、時刻t8の直前の時刻より後の時刻に対応する位置であることが好ましい。
ビデオ#1,3のフレームの最終ラインのデータについても同様である。
また、多重ビデオフレームF1に挿入するオーディオ#0のオーディオサンプルのデータは、同期信号sync-1によって定まる。期間Tの終了時刻である時刻t8以降(時刻t8を含む)であれば、オーディオ#0のオーディオデータを挿入することが可能になる。
オーディオ#0のオーディオデータを、多重ビデオフレームF1の上の方に設定された領域内に挿入するとした場合、その挿入位置となる多重ビデオフレームF1のラインの時刻は、時刻t8より後の時刻になってしまう。イメージとしては、多重ビデオフレームF1全体が図23に示す位置より右側の位置になってしまう。
従って、入力遅延を抑えるという点からは、オーディオ#0のオーディオデータの挿入位置は、多重ビデオフレームF1の、時刻t8より後の時刻に対応する位置であることが好ましい。
また、多重フレーム状態情報については、それに含まれる例えばサンプル数情報を挿入することが可能になる時刻は、多重ビデオフレームに多重化するサンプルの数が決定した後の時刻である。従って、多重フレーム状態情報をまとめて挿入する場合、サンプル数情報を挿入する位置は、多重化するサンプルの数が決まる時刻t8以降の時刻に対応する位置であることが好ましい。
以上のことから、入力用の多重ビデオフレーム全体としてデータが下詰めで配置されるように、各ビデオのビデオデータについてはフレームをライン毎にインタリーブしてビデオ領域A11に下詰めで挿入し、各オーディオのオーディオデータについてはビデオ領域A11の下に設定されたオーディオ領域A12に挿入することによって、入力遅延を抑えることが可能になることがわかる。また、多重フレーム状態情報は、オーディオ領域A12の下に設定された領域A13に挿入される。
図23の例においては、入力遅延は、時刻t4と、プロセッサ43に対する多重ビデオフレームF1の入力の開始時刻である時刻t11との差である数ラインに相当する時間に抑えられている。
図23に示すように、ビデオ#0乃至#3のフレームデータがそれぞれ異なるタイミングで入力される場合、時間的に前に最終ラインのデータが入力される系統のビデオデータは、より前段の多重回路42により処理される。また、時間的に後に最終ラインのデータが入力される系統のビデオデータは、より後段の多重回路42により処理される。これにより、以上のような、ビデオフレームの各ラインを下詰めで挿入することが可能になる。
さらに、オーディオデータは、ビデオデータを処理する多重回路42より後段の多重回路42によって処理される。これにより、以上のような、入力用の多重ビデオフレームの下の方に設定されたオーディオ領域A12にオーディオデータを挿入することが可能になる。
多重フレーム状態情報に含まれる各情報は、最終段の多重回路42に供給され、最終段の多重回路42によりまとめて多重ビデオフレームに挿入される。これにより、入力用の多重ビデオフレームのオーディオ領域A12の下に設定された領域A13に多重フレーム状態情報を挿入することが可能になる。
図1に示す多重回路42−1乃至42−4を1つの回路として統合するようにしてもよい。統合した1つの回路において全てのデータの多重化が行われるようにすることによって、図1に示すように直列に接続された複数の多重回路42のうちのどの多重回路42においてどの系統のデータが処理されるようにするかを考慮する必要が無くなる。
[出力用の多重ビデオフレームを用いた多重化について]
次に、出力用の多重ビデオフレームを用いた多重化について説明する。
次に、出力用の多重ビデオフレームを用いた多重化について説明する。
出力用の多重ビデオフレームには、入力用の多重ビデオフレームから抽出され、各種の処理が施された各系統のデータが多重化される。すなわち、出力用の多重ビデオフレームを用いたデータ(処理後のデータ)の多重化は、プロセッサ43により行われる。
プロセッサ43においては、入力用の多重ビデオフレームを用いた多重化とは異なり、各系統のデータが、上詰めで挿入される。
図24は、出力用の多重ビデオフレームの領域構成の例を示す図である。
図24に示すように、出力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図24の例においては、有効画枠内の1ライン目からm11ライン目までの領域が、多重フレーム状態情報用の領域A21として設定されている。また、有効画枠内のm11+1ライン目から、m12ライン目までの領域が、オーディオ用の領域であるオーディオ領域A22として設定されている。有効画枠内のm12+1ライン目から、最終ラインであるnライン目までの領域が、ビデオ用の領域であるビデオ領域A23として設定されている。
このように、出力用の多重ビデオフレームには、その上側にオーディオ領域A22が設定され、オーディオ領域A22の下にビデオ領域A23が設定される。
図25は、プロセッサ43による多重化後の出力用の多重ビデオフレームの例を示す図である。
入力用の多重ビデオフレームが入力された場合、プロセッサ43においては、ビデオ#0乃至#3のフレームのデータと、オーディオ#0乃至#3のオーディオデータが抽出され、適宜、処理が施される。出力用の多重ビデオフレームには、処理が適宜施された後の、ビデオ#0乃至#3のフレームのデータと、オーディオ#0乃至#3のオーディオデータが挿入される。
図25に示すように、多重フレーム状態情報は、出力用の多重ビデオフレームの領域A21に挿入される。
また、出力用の多重ビデオフレームのオーディオ領域A22には、オーディオ#0乃至#3のオーディオデータが、各ラインの左側を先頭にして詰めて挿入される。
図25の例においては、オーディオ領域A22の開始位置であるm11+1ライン目とm11+2ライン目がオーディオ#0のオーディオデータに割り当てられている。m11+1ライン目とm11+2ライン目には、m11+1ライン目の全体と、m11+2ライン目の途中までに渡って、オーディオ#0のオーディオデータが挿入される。
また、図25の例においては、m11+3ライン目とm11+4ライン目がオーディオ#1のオーディオデータに割り当てられている。m11+3ライン目とm11+4ライン目には、m11+3ライン目の全体と、m11+4ライン目の途中までに渡って、オーディオ#1のオーディオデータが挿入される。
m11+5ライン目とm11+6ライン目がオーディオ#2のオーディオデータに割り当てられている。m11+5ライン目とm11+6ライン目には、m11+5ライン目の全体と、m11+6ライン目の途中までに渡って、オーディオ#2のオーディオデータが挿入される。
m11+7ライン目とm11+8ライン目(m12ライン目)がオーディオ#3のオーディオデータに割り当てられている。m11+7ライン目とm11+8ライン目には、m11+7ライン目の全体と、m11+8ライン目の途中までに渡って、オーディオ#3のオーディオデータが挿入される。
例えば、オーディオ領域A22のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図25の例においてもそのようにしてオーディオ領域A22のライン数が設定されている。
また、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、出力用の多重ビデオフレームのビデオ領域A23内に上詰めで貼り付けられる。
図25の例においては、ビデオ#0のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に720画素の範囲である。また、垂直方向の範囲は、ビデオ領域A23の先頭のラインであるm12+1ラインから下に243×2ラインの範囲である。図25には、ビデオ#0のフレームのラインとして4ラインしか示していないが、1フィールドのライン数である243ラインが、1ライン毎に、1ラインずつ空けて挿入される。
また、ビデオ#1のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲はm12+1ラインから下に720×2ラインの範囲である。図25には、ビデオ#1のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#0のフレームのラインと重ならないように挿入される。
ビデオ#2のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲はm12+1ラインから下に720×2ラインの範囲である。図25には、ビデオ#2のフレームのラインとして10ラインしか示していないが、1フレームのライン数である720ラインが、1ライン毎に、1ラインずつ空けて挿入される。
ビデオ#3のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を1画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲はm12+1ラインから下に540×2ラインの範囲である。図25には、ビデオ#3のフレームのラインとして7ラインしか示していないが、1フィールドのライン数である540ラインが、1ライン毎に、1ラインずつ空けて、ビデオ#2のフレームのラインと重ならないように挿入される。
この例においては、出力用の多重ビデオフレームの有効画枠の水平方向の画素数も3200画素とされている。入力用の多重ビデオフレームのサイズと出力用の多重ビデオフレームのサイズが異なるようにすることも可能である。
このように、出力用の多重ビデオフレーム全体を見た場合、各系統のデータは、上詰めで挿入されることになる。
これにより、出力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ43から出力する場合であっても出力遅延を抑えることが可能になる。出力遅延は、処理後のデータがプロセッサ43から出力された時刻と、処理後のデータが情報処理装置1の外部に出力された時刻との差で表される。
図26は、上詰めのメリットについて説明する図である。図26の横軸は時間を表す。
図26の多重ビデオフレームF2は、プロセッサ43から出力された出力用の多重ビデオフレームを表す。同期信号sync-3は、プロセッサ43が出力する同期信号であり、多重ビデオフレームF2の1フレーム期間を規定する。時刻t1から時刻t2までの期間において、多重ビデオフレームF2がプロセッサ43から出力されている。
各ラインに斜線を付して示すビデオ#0乃至#3のフレームのデータは、多重ビデオフレームF2から抽出され、ビデオ送信回路53から情報処理装置1の外部に出力されるデータ(出力ビデオ信号)を表す。また、太線で示すオーディオ#0のオーディオサンプルのデータは、多重ビデオフレームF2から抽出され、オーディオ送信回路63から情報処理装置1の外部に出力されるデータ(出力オーディオ信号)を表す。
例えば、同じ出力用の多重ビデオフレームに多重化されていたデータは、タイミング発生回路44から出力された同期信号に従って、同じタイミングで、情報処理装置1の外部に出力される。
図26の同期信号sync-4は、タイミング発生回路44により生成され、各ビデオ送信回路53、各オーディオ送信回路63に供給される同期信号である。時刻t11から時刻t12までの期間において、多重ビデオフレームF2から抽出された各系統のデータが情報処理装置1の外部に出力されている。
各ビデオ送信回路53においては、出力対象のフレームのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
また、各オーディオ送信回路63においては、出力対象のオーディオサンプルのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
同じ出力用の多重ビデオフレームに多重化されていたデータについては同じタイミングで出力する場合、各ビデオ送信回路53、各オーディオ送信回路63がデータを出力するには、同じ出力用の多重ビデオフレームから抽出された出力対象となるデータを、全てのビデオ送信回路53とオーディオ送信回路63が受信している必要がある。
プロセッサ43から出力用の多重ビデオフレームが出力される時刻と、データを外部に出力する時刻には、出力対象のデータのうちの、先頭のデータが各ビデオ送信回路52と各オーディオ送信回路63に入力される時刻に応じて差が生じる。ここでは、抽出回路45におけるデータの抽出や、フレームメモリ52やメモリ62にデータを一時的に記憶するのにかかる時間を無視するものとする。
同期信号sync-3と同期信号sync-4のタイミング(1の値の時刻)が近いことは、プロセッサ43から出力用の多重ビデオフレームが出力された時刻と、各系統のデータが外部に出力される時刻の差が小さいことを表す。すなわち、同期信号sync-3と同期信号sync-4のタイミングが近いことは、出力遅延が抑えられていることを表す。
このことを前提として、出力用の多重ビデオフレームに上詰めでデータを挿入した場合について説明する。
多重フレーム状態情報は、オーディオデータの抽出に用いられるサンプル数情報を含む情報である。従って、多重フレーム状態情報が多重ビデオフレームから抽出されていなければオーディオデータを抽出することはできない。出力遅延を抑えるという点からは、多重フレーム状態情報の挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
オーディオデータについては、仮に、多重ビデオフレームF2の下の方に設定された領域内にオーディオデータを挿入するとした場合、オーディオ#0のオーディオデータの出力の開始時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。
イメージとしては、オーディオ#0の出力タイミングが、図26に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ#0乃至#3の出力タイミングも、図26に示す位置より右側の位置になってしまう。
従って、出力遅延を抑えるという点からは、オーディオ#0のオーディオデータの挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
また、各ビデオのフレームがライン毎にインタリーブされて下詰めで出力用の多重ビデオフレームに挿入されている場合を考える。この場合、ビデオ#0のフレームの先頭ラインのデータの出力時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。特に、ビデオ#0のフレーム全体のライン数が少ないほど、後の時刻になってしまう。
イメージとしては、ビデオ#0の出力タイミングが、図26に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ#1乃至#3の出力タイミングと、オーディオ#0の出力タイミングも、図26に示す位置より右側の位置になってしまう。
従って、出力遅延を抑えるという点からは、ビデオ#0のフレームの先頭ラインのデータの挿入位置は、多重ビデオフレームF2のビデオ領域A23内であって、より上の方の位置であることが好ましい。ビデオ#1乃至3についても同様である。
以上のことから、出力用の多重ビデオフレーム全体としてデータが上詰めで配置されるように、各オーディオのオーディオデータについては出力用の多重ビデオフレームの上の方に設定されたオーディオ領域A22に挿入し、各ビデオのビデオデータについてはフレームをライン毎にインタリーブして、オーディオ領域A22の下に設定されたビデオ領域A23に上詰めで挿入することによって、出力遅延を抑えることが可能になることがわかる。
図26の例においては、出力遅延は、多重ビデオフレームF2のプロセッサ43からの出力の開始時刻である時刻t1と、外部へのデータの出力の開始時刻である時刻t11との差である数ラインに相当する時間に抑えられている。
[その他の変形例]
以上においては、1入力1出力のビデオポートがプロセッサ43に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ43に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ43から出力されるようにすることが可能である。
以上においては、1入力1出力のビデオポートがプロセッサ43に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ43に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ43から出力されるようにすることが可能である。
以上においては、主に、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。
[コンピュータの構成例]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図27は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウスなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207が接続される。また、入出力インタフェース205には、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、リムーバブルメディア211を駆動するドライブ210が接続される。
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを入出力インタフェース205及びバス204を介してRAM203にロードして実行することにより、上述した一連の処理が行われる。
CPU201が実行するプログラムは、例えばリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部208にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 情報処理装置, 21−1および21−2 ビデオ受信回路, 22−1および22−2 フレームシンクロナイザ, 23−1および23−2 フレームメモリ, 31−1および31−2 オーディオ受信回路, 32−1および32−2 メモリ制御回路, 33−1および33−2 メモリ, 41 多重ビデオ信号発生回路, 42−1乃至42−4 多重回路, 43 プロセッサ, 44 タイミング発生回路, 45−1乃至45−4 抽出回路, 51−1および51−2 フレームシンクロナイザ, 52−1および52−2 フレームメモリ, 53−1および53−2 ビデオ送信回路, 61−1および61−2 メモリ制御回路, 62−1および62−2 メモリ, 63−1および63−2 オーディオ送信回路
Claims (11)
- 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入する生成手段と、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入する第1の多重化手段と、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する第2の多重化手段と
を備える情報処理装置。 - 入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータと前記分割後のオーディオデータに処理を施し、処理後の前記フレームのデータと前記分割後のオーディオデータを多重化した前記多重ビデオフレームを出力ビデオポートから出力する処理手段をさらに備え、
前記処理手段は、処理後の前記フレームのデータと前記分割後のオーディオデータのそれぞれの多重化が完了したか否かを表す情報を前記多重ビデオフレームに挿入する
請求項1に記載の情報処理装置。 - 前記処理手段は、
前記フレームの連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが、連続性が確保されていないデータであると判断した場合、他のフレームのデータを前記多重ビデオフレームに多重化し、
前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報に基づいて、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータが、連続性が確保されていないデータであると判断した場合、他のオーディオサンプルのデータを前記多重ビデオフレームに多重化する
請求項2に記載の情報処理装置。 - 前記処理手段から出力された前記多重ビデオフレームから、前記フレームのデータと、前記フレームのデータの多重化が完了したか否かを表す情報を抽出する第1の抽出手段と、
抽出された前記フレームのデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記フレームのデータに代えて、他のフレームのデータを外部に出力する第1の送信手段と
をさらに備える請求項2に記載の情報処理装置。 - 前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータと、前記分割後のオーディオデータの多重化が完了したか否かを表す情報を抽出する第2の抽出手段と、
抽出された前記分割後のオーディオデータが、多重化が完了していないデータである場合に、前記多重ビデオフレームから抽出された前記分割後のオーディオデータに代えて、他のオーディオサンプルのデータを、1サンプルのデータずつ外部に出力する第2の送信手段と
をさらに備える請求項4に記載の情報処理装置。 - 前記第1の多重化手段は、複数のフォーマットの前記ビデオデータの各フォーマットの1フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第1のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化する
請求項2に記載の情報処理装置。 - 前記第2の多重化手段は、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第1のビデオ用の領域の下方に設定された第1のオーディオ用の領域のデータとして伝送されるように多重化する
請求項6に記載の情報処理装置。 - 前記処理手段は、
処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第2のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化し、
処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第2のビデオ用の領域の上方に設定された第2のオーディオ用の領域のデータとして伝送されるように多重化し、
処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力する
請求項7に記載の情報処理装置。 - 前記生成手段は、さらに、前記多重ビデオフレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入し、
前記第1の多重化手段は、さらに、前記フレームの同期が確保されているか否かを表す情報を前記多重ビデオフレームに挿入し、
前記第2の多重化手段は、前記分割後のオーディオデータの信頼性を表す情報を前記多重ビデオフレームに挿入する
請求項1に記載の情報処理装置。 - 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する
ステップを含む情報処理方法。 - 所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する1フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの連続性に関する情報を前記多重ビデオフレームに挿入し、
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの1フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割し、
分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報と連続性に関する情報とを前記多重ビデオフレームに挿入する
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006138A JP2011146930A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
US12/986,297 US8503490B2 (en) | 2010-01-14 | 2011-01-07 | Information processing apparatus, information processing method, and program |
CN2011100061162A CN102131105A (zh) | 2010-01-14 | 2011-01-07 | 信息处理设备、信息处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006138A JP2011146930A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011146930A true JP2011146930A (ja) | 2011-07-28 |
Family
ID=44461392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010006138A Withdrawn JP2011146930A (ja) | 2010-01-14 | 2010-01-14 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011146930A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019004073A1 (ja) * | 2017-06-28 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム |
CN113949881A (zh) * | 2021-11-15 | 2022-01-18 | 赵茜茜 | 一种基于智慧城市数据的业务处理方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62259557A (ja) * | 1986-05-02 | 1987-11-11 | Marubun Tekko Kk | 麺類製造装置 |
JPH07304026A (ja) * | 1994-05-10 | 1995-11-21 | Takuo Mochizuki | 粉粒体混練装置 |
JPH0841795A (ja) * | 1993-06-21 | 1996-02-13 | Osaka Gas Co Ltd | 短繊維予備分散体と、その製造方法および製造装置 |
JPH0937746A (ja) * | 1995-07-28 | 1997-02-10 | Kibun Foods Inc | 練り製品製造用原料を製造する方法 |
JP2001191321A (ja) * | 2000-01-14 | 2001-07-17 | Kumagai Gumi Co Ltd | スラリーの製造方法および製造装置 |
JP2003047987A (ja) * | 2001-08-08 | 2003-02-18 | Hitachi Electronics Eng Co Ltd | 動植物油含有食品廃液処理装置及び動植物油含有食品廃液処理方法 |
-
2010
- 2010-01-14 JP JP2010006138A patent/JP2011146930A/ja not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62259557A (ja) * | 1986-05-02 | 1987-11-11 | Marubun Tekko Kk | 麺類製造装置 |
JPH0841795A (ja) * | 1993-06-21 | 1996-02-13 | Osaka Gas Co Ltd | 短繊維予備分散体と、その製造方法および製造装置 |
JPH07304026A (ja) * | 1994-05-10 | 1995-11-21 | Takuo Mochizuki | 粉粒体混練装置 |
JPH0937746A (ja) * | 1995-07-28 | 1997-02-10 | Kibun Foods Inc | 練り製品製造用原料を製造する方法 |
JP2001191321A (ja) * | 2000-01-14 | 2001-07-17 | Kumagai Gumi Co Ltd | スラリーの製造方法および製造装置 |
JP2003047987A (ja) * | 2001-08-08 | 2003-02-18 | Hitachi Electronics Eng Co Ltd | 動植物油含有食品廃液処理装置及び動植物油含有食品廃液処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019004073A1 (ja) * | 2017-06-28 | 2019-12-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム |
US11297378B2 (en) | 2017-06-28 | 2022-04-05 | Sony Interactive Entertainment Inc. | Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program |
CN113949881A (zh) * | 2021-11-15 | 2022-01-18 | 赵茜茜 | 一种基于智慧城市数据的业务处理方法及*** |
CN113949881B (zh) * | 2021-11-15 | 2023-10-03 | 山东瑞瀚网络科技有限公司 | 一种基于智慧城市数据的业务处理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8503490B2 (en) | Information processing apparatus, information processing method, and program | |
JP4623069B2 (ja) | 情報処理装置および方法、プログラム、並びに、記録媒体 | |
JP4991129B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
US7865021B2 (en) | Compressed stream decoding apparatus and method | |
US8760579B2 (en) | Video display apparatus, video display system and video display method | |
US9288418B2 (en) | Video signal transmitter apparatus and receiver apparatus using uncompressed transmission system of video signal | |
JP2009296383A (ja) | 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 | |
WO2013042264A1 (ja) | 映像処理装置および映像処理方法 | |
CN111479154B (zh) | 音画同步的实现设备、方法及计算机可读存储介质 | |
KR20050046821A (ko) | 신호 송신 장치 및 신호 수신 장치 | |
US8755410B2 (en) | Information processing apparatus, information processing method, and program | |
US8238446B2 (en) | Method and apparatus for reproducing digital broadcasting | |
JP2011146930A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9866898B2 (en) | Elementary stream multiplexing method, multiplexing system, encoding or decoding method and apparatus | |
JP2011146929A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US7071991B2 (en) | Image decoding apparatus, semiconductor device, and image decoding method | |
JP6717670B2 (ja) | タイムコード送信装置、タイムコード受信装置、映像信号送信装置及び映像信号受信装置 | |
JP2011146928A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5187134B2 (ja) | 信号処理装置及び信号処理方法 | |
JP2006191538A (ja) | 圧縮ストリーム復号装置及び圧縮ストリーム復号方法 | |
JP2011146927A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2008306660A (ja) | 映像信号処理装置 | |
JP2005338498A (ja) | 表示メモリ装置 | |
KR100458447B1 (ko) | 방송용 그래픽 시스템 | |
WO2022137326A1 (ja) | 映像音響合成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130402 |