JP2012060280A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】タイムコードが採用された既存の放送関連機器や映像素材と同期して、リアルタイムレンダリングされるＣＧアニメーションを違和感なく進行させる。
【解決手段】ステップＳ１で再開が指示されたＣＧアニメーションの進行速度Ｓが取得され、ステップＳ２で、保持されているタイムコードＴ０が取得される。ステップＳ３では、取得したタイムコードＴ０のフレームの値ＦＦに端数があるか判定され、ステップＳ４で、再開時の進行速度Ｓが所定の条件を満たすか否かを判定される。そして、タイムコードＴ０のフレームの値ＦＦに端数があり、再開時の進行速度Ｓが所定の条件を満たす場合、ステップＳ５で、タイムコードＴ０の端数を切り捨てる調整が行われる。そして、ステップＳ６で、調整後のタイムコードＴ０がタイムライン時刻に変換される。本発明は、ＣＧアニメーションを映像素材として用いる場合に適用できる。
【選択図】図６

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ＣＧ(computer graphics)アニメーションをテレビジョン番組などの映像素材として用いる場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

テレビジョン放送の映像は、放送規格によってフレームレートが所定の値（例えば３０フレーム／秒）に決定されている。よって、番組に用いる映像素材も同一のフレームレートを有しているものが多く、映像素材には、時間的位置を示す情報として、フレームを最小単位としたタイムコードが付与されている（例えば、特許文献１参照）。

そして、これらの映像素材を編集する機器においても、映像素材の時間的位置や区間を指定する場合、タイムコードを用いている。

タイムコードは、ＨＨ時ＭＭ分ＳＳ秒ＦＦフレームを示すHH:MM:SS:FFと表記される。例えば、フレームレートが３０フレーム／秒の場合、ＦＦは０乃至２９の整数となる。ただし、映像素材がインタレースの場合、ODDフィールドとEVENフィールドを区別するため、実質的にはＦＦの値が0.5刻みとなる。

従来のＣＧアニメーションを映像素材とした場合についても同様であり、予め３０フレーム／秒のフレームレートで制作されレンダリングされたＣＧによる動画像の各フレームに対してタイムコードHH:MM:SS:FFが付与されている。

ところで、ＣＧアニメーションを制作するコンピュータの処理速度の高速化により、放送素材として用いるＣＧアニメーションを予め制作しておくのではなく、放送素材として用いるときに画像にする（リアルタイムレンダリングを行う）ことが可能となった。

さらに、可変速でも、例えば、１倍速よりも早い速度（例えば、１．５番速、２倍速、３倍速など）、または１倍速よりも遅い速度（例えば、１／２倍速、１／４倍速、１／１０倍速など）でもリアルタイムレンダリングしてＣＧアニメーションの進行が可能となった。

図１は、ＣＧアニメーションのリアルタイムレンダリングについて説明するための図である。

同図に示すように、開始時刻01:00:00:00、終了01:00:20:00の２０秒間のＣＧアニメーションをリアルタイムレンダリングする場合、その２０秒間のうちのキーフレーム点のフレームについてのみ、ＣＧ仮想空間の内容を記述するデータが用意されている。同図の場合、タイムコード01:00:00:00、01:00:09:00、01:00:20:00がキーフレーム点とされている。そして、キーフレーム点以外のフレームについては、キーフレームに基づいてデータが補間される。補間によるフレームのデータの作成では、ＣＧ仮想空間内のオブジェクトの移動だけでなく、拡大、縮小にも対応できる。

図２は、ＣＧアニメーションを様々な速度で進行させたときの２番目のフレームが表示されるタイミングを示している。このタイミングは、各フレーム間の表示間隔とみなすこともできる。

２番目のフレームが表示されるタイミングは、フレームレートが３０フレーム／秒で１倍速であれば、タイムコード01:00:00:01であり、これを秒の単位に整数以下の値を許容したタイムライン時刻で表せば、タイムライン時刻01:00:00.033となる（同図では分数で1/30と表記している）。２倍速であれば、タイムコード01:00:00:02であり、これをタイムライン時刻で表せば、タイムライン時刻01:00:00.067（同図では分数で2/30と表記している）となる。

１／２倍速であれば、タイムコード01:00:00:0.5であり、これをタイムライン時刻で表せば、タイムライン時刻01:00:00.017となる（同図では分数で1/60と表記している）。１／４倍速であれば、タイムコード01:00:00:0.25であり、これをタイムライン時刻で表せば、タイムライン時刻01:00:00.008となる（同図では分数で1/120と表記している）。したがって、１／４倍速で進行させた場合、タイムコードのフレームの値は0.25刻みとなり、タイムライン時刻の値は1/120秒刻みとなることがわかる。

つまり、１／４倍速であれば、２番目のフレームはタイムライン時刻01:00:00.008に対応した補間により生成され、３番目のフレームはタイムライン時刻01:00:00.017に対応した補間により生成されることになる。

ただし、タイムコードはフレームレートに依存して変化してしまうので、ＣＧアニメーションのデータ形式の１つにおいては、任意のフレームレートに対応できる汎用性を保持するために、最小単位の秒に整数以下の値を許容したタイムライン時刻が採用されている。

特開平４−２４５０８８号公報

上述したように、ＣＧアニメーションをリアルタイムレンダリングする場合においてはタイムライン時刻が採用されているものの、これを放送素材として用いる場合、他の機器との同期を取るためにタイムコードが適用されるので以下のような不都合が生じ得る。

例えば、放送映像の編集により、１／４倍速でＣＧアニメーションを進行させ、その途中で停止指示により停止した場合、制作時のタイムラインのタイムコードに端数（少数点以下の値の意）が生じた状態の出力画像で停止することが起こり得る。つまり、例えば、タイムコード01:00:11:16.75のようなフレームの値に端数が生じた位置で停止することが起こり得る。

しかしながら、タイムコードではフレームの値として整数のみ（インタレースの場合には、0.5までが可）を扱うことができるので、例えば上記の停止した状態はタイムコード01:00:11:16として保持されてしまう。したがって、ＣＧアニメーションの進行を再開した場合、その映像は停止時から逆行したタイムコード01:00:11:16から再開されてしまうので、不自然で違和感を与えるものになってしまう。

本発明はこのような状況に鑑みてなされたものであり、タイムコードが採用された既存の放送関連機器や映像素材と同期して、リアルタイムレンダリングされるＣＧアニメーションを違和感なく可変速進行できるようにするものである。

本発明の一側面である情報処理装置は、映像を編集する情報処理装置において、ＣＧアニメーションの時間的位置を示すパラメータとして、最小単位の秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段と、前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力手段と、入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御手段とを備え、前記制御手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持する保持手段と、保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する変換手段とを含む。

前記制御手段は、保持された前記タイムコードHH:MM:SS:FFのフレームの値FFに生じている端数を除去する調整を行う調整手段をさらに含むことができ、前記変換手段は、調整後の前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換することができる。

前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止された後に再開される場合、再開後の進行速度が所定の条件を満たすときのみ、前記調整を行うことができる。

前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止された後に再開される場合、再開後の進行速度が停止前の進行速度を同じときには前記調整を行わないことができる。

前記制御手段は、さらに、入力された前記ユーザの操作に対応して、時間的位置示すパラメータとして前記タイムコードを用いる映像出力手段も制御することができ、前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行と、前記映像出力手段から出力される映像素材を同期させるときのみ、前記調整を行うことができる。

本発明の一側面である情報処理方法は、ＣＧアニメーションの時間的位置を示すパラメータとして、最小単位の秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段を備える情報処理装置の情報処理方法において、前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力ステップと、入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御ステップとを含み、前記制御ステップは、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持し、保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する。

本発明の一側面であるプログラムは、コンピュータを、ＣＧアニメーションの時間的位置を示すパラメータとして、最小単位の秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段と、前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力手段と、入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御手段として機能させ、前記制御手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持する保持手段と、
保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する変換手段として動作させる。

本発明の一側面においては、リアルタイムレンダリングされているＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、タイムコードHH:MM:SS:FFが保持され、保持されたタイムコードHH:MM:SS:FFがタイムライン時刻に変換されてＣＧ画像生成手段に通知される。

本発明の一側面によれば、タイムコードが採用された既存の放送関連機器や映像素材と同期して、リアルタイムレンダリングされるＣＧアニメーションを違和感なく可変速進行させることができる。これにより、操作性が向上し、放送等に使う画像の付加価値を高めることができる。

ＣＧアニメーションのリアルタイムレンダリングを説明する図である。 ＣＧアニメーションを可変速で進行させた場合のタイムコードとタイムライン時刻の関係を示す図である。 本発明を適用した映像編集装置の構成例を示すブロック図である。 図３の画像生成部の詳細な構成例を示すブロック図である。 操作入力部におけるユーザインタフェースの構成例を示す図である。 画像生成部による制御処理を説明するフローチャートである。 汎用コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［映像編集装置の構成例］
図３は、実施の形態である映像編集装置の構成例を示すブロック図である。

この映像編集装置１０は、例えば、テレビジョン番組の映像を編集する編集者などによって操作されるものである。

映像編集装置１０は、ＣＧ画像生成部１１、VTR(video tape recorder)１２、ビデオサーバ１３、マトリクススイッチ１４、画像合成部１５、および操作入力部１６から構成される。映像編集装置１０の各構成要素には、動作の位相を揃えるために、共通の同期信号が供給されている。映像編集装置１０の全体としては、映像素材の時間的位置を示すパラメータとしてタイムコードHH:MM:SS:FFを用いている。ただし、ＣＧ画像生成部１１に対する制御にのみ、時間的位置を示すパラメータとしてタイムライン時刻を用いる。

ＣＧ画像生成部１１は、操作入力部１６からのタイムライン時刻等をパラメータとして用いた制御等に従い、ＣＧアニメーションを可変速で進行させてリアルタイムレンダリングし、その結果得られる映像をマトリクススイッチ１４に出力する。

VTR１２は、操作入力部１６からのタイムコードをパラメータとして用いた制御に従い、記録媒体としてのビデオテープに記録されている映像素材をマトリクススイッチ１４に出力する。ビデオサーバ１３は、操作入力部１６からのタイムコードをパラメータとして用いた制御に従い、ハードディスクなどの記録媒体に符号化されて記録されている映像素材を復号してマトリクススイッチ１４に出力する。なお、ＣＧ画像生成部１１、VTR１２、およびビデオサーバ１３以外にも、マトリクススイッチ１４に対して映像素材を出力する機器があってもよい。

マトリクススイッチ１４は、編集者から入力される選択操作に従い、ＣＧ画像生成部１１、VTR１２、ビデオサーバ１３などから入力された複数の映像素材のうちのいくつかを選択して画像合成部１５に出力する。

操作入力部１６は、入力された編集者の映像素材に対する再生などの操作に従い、ＣＧ画像生成部１１、VTR１２、およびビデオサーバ１３を制御して映像素材をマトリクススイッチ１４に出力させる。画像合成部１５は、操作入力部１６を用いて入力された編集者の編集操作に従い、マトリクススイッチ１４から入力された映像素材を合成加工して後段に出力する。

図４は、操作入力部１６の内部の構成要素のうち、ＣＧ画像生成部１１の制御に関わるものを示している。

タイムコード保持部２１は、ＣＧ画像生成部１１において進行させているＣＧアニメーションの時間的位置を示すパラメータを、VTR１２およびビデオサーバ１３などに対しても適用しているタイムコードにより保持する。ただし、ここで保持されるタイムコードは、そのフレーム値ＦＦに端数が許容されている（一定桁数の小数部を保持する手段を備えた）ものとする。

タイムコード調整部２２は、保持されているタイムコードをその再生速度に応じ、フレーム値に生じた端数を切り捨てることによりタイムコードの調整を行う。

タイムコード／タイムライン時刻変換部２３は、調整されたタイムコード（調整が不要なために調整されていない場合もある）を、フレームレートに基づいてタイムライン時刻に変換する。そして、変換されたライムライン時刻がＣＧ画像生成部１１に対する制御に用いられる。フレームレートの初期値は３０フレーム／秒とするが運用に応じて変更可能である。

図３に戻る。操作入力部１６は、ＣＧ画像生成部１１におけるＣＧアニメーションの進行、VTR１２およびビデオサーバ１３における映像素材の再生を制御するためのユーザインタフェースであり、映像素材の時間的位置示すパラメータにタイムコードを用いる。操作入力部１６は、後述する処理を行う制御手段を内蔵しており、当該ユーザインタフェースに対する編集者の操作に対応する制御信号を各部に出力する。

図５は、操作入力部１６のユーザインタフェースの一例を示している。当該ユーザインタフェースは、表示部３１、プログラムボタンブロック３２、編集ボタンブロック３３、およびジョグシャトルダイアル３４などを備える。

表示部３１は、制御対象としている映像素材の現在の時間的位置(CURRENT)、開始位置（START TC）、および終了位置（STOP TC）をタイムコードHH:MM:SS:FFにより表示する。映像素材の開始位置は、通常、01:00:00:00とするが00:00:00:00とすることもできる。

プログラムボタンブロック３２は、制御対象とする機器（ＣＧ画像生成部１１、VTR１２、またはビデオサーバ１３）を選択したり、さらに制御対象とした機器において制御対象とする映像素材を選択したりする複数のボタンから成る。

編集ボタンブロック３３は、制御対象とされた映像素材に対する各種の操作（CUE、REW、PLAY、FF、ALL STOP、RECなど）を入力するための複数のボタンから成る。

ジョグシャトルダイアル３４は、映像素材に対する再生（ＣＧアニメーションの場合は進行）させているときにはその速度を変更する際に操作される。例えば、右回転させることにより増速させ、左回転させることにより減速させることができる。

なお、ジョグシャトルダイアル３４にて、再生速度を任意の実数値に設定できる（任意の実数値で送信できる）ようにしてもよいが、その値が浮動小数点を含む値である場合、内部的な処理により誤差が生じ、長時間再生した結果が、編集者（操作者）の意図とずれることが生じ得る。そこで、ジョグシャトルダイアル３４にて設定可能な値を誤差が生じない値に制限するようにしてもよい。具体的には、小数点以下の値を、２のべき乗の逆数の和に制限すればよく、例えば、1/(2exp(-5))＝0.0625の倍数に限定すればよい。

上述したように、操作入力部１６では、映像素材の時間的位置示すパラメータにタイムコードを用いるが、ＣＧアニメーションを映像素材としたときのために、時間的位置示すパラメータにタイムコード時刻を用いたユーザインタフェースも設けるようにしてもよい。
［動作説明］
次に、映像編集装置１０におけるＣＧ画像生成部１１に対する制御について説明する。

操作入力部１６からの制御に従い、ＣＧ画像生成部１１にて進行されているＣＧアニメーションが停止された場合、その停止位置を示すタイムコード（フレームの値ＦＦに端数が許容されている）がタイムコード保持部２１に保持される。

したがって、１倍速よりも遅い速度でＣＧアニメーションが進行されていた（以下、スロー進行を称する）ときに停止されると、タイムコード保持部２１のタイムコードのフレームの値ＦＦに端数が生じ得る。

第１のパターン
そのようなスロー進行から停止した後に停止前と同じ速度でＣＧアニメーションの進行を再開させる場合、タイムコード保持部２１に保持されているタイムコードを調整することなく、そのままタイムライン時刻に変換してＣＧ画像生成部１１に通知して進行を再開させる。

第２のパターン
スロー進行から停止した後に、停止前と異なり、１倍速でＣＧアニメーションの進行を再開させる場合、タイムコード保持部２１に保持されているタイムコード（例えば、01:00:10:07.3）のフレームの値ＦＦの端数を切り捨てる調整を行い、調整後のタイムコード（例えば、01:00:10:07）をタイムライン時刻に変換してＣＧ画像生成部１１に通知して進行を再開させる。このような調整を行うことにより、進行が再開されたＣＧアニメーションはタイムコード01:00:10:08のフレームから出力されることになる。したがって、出力されるフレームと、操作入力部１６の表示部３１に表示されるタイムコードとを完全に一致させることができる。また、フレームの値に端数が無いタイムコードを用いるVTR１２およびビデオサーバ１３の映像素材の再生とＣＧアニメーションとの進行を完全に同期させることができる。すなわち、VTR１２などの素材では、フレームの値FFが01:00:10:07.3のような端数を持つ状態はなく、画像としては01:00:10:07フレームを複数回出力しているだけであるので、その途中で停止されても、01:00:10:07フレームの画像のままであるから、次に進行を再開して01:00:10:08のフレームから出力することで元々問題ない。このため、ＣＧ画像生成部と画のずれを起こさず、操作者が意図した画の同期を維持できる。

第３のパターン
スロー進行から停止した後に、停止前と異なり、−１倍速でＣＧアニメーションの進行を再開させる（すなわち、逆方向に進行させる）場合にも、タイムコード保持部２１に保持されているタイムコード（例えば、01:00:10:07.3）のフレームの値ＦＦの端数を切り捨てる調整を行い、調整後のタイムコード（01:00:10:07）をタイムライン時刻に変換してＣＧ画像生成部１１に通知して進行を再開させる。このような調整を行うことにより、再開されたＣＧアニメーションはタイムコード01:00:10:06のフレームから出力されることになる。またVTRなどの機器との画の同期も維持できる。

ただし、−１倍速で再開させる場合には、フレームの値ＦＦの端数を切り上げる調整を行ってもよい。この場合、調整後のタイムコードは01:00:10:08となるので、再開されたＣＧアニメーションはタイムコード01:00:10:07のフレームから出力されることになるので、このような調整でも映像が停止前に遡ってから進行される逆行が生じ無い。

第４のパターン
また、スロー進行から停止した後に、絶対値が１以上の速度でＣＧアニメーションの進行を再開させる場合（逆方向の進行も含む）にも、速度が速い故に見た目の違和感を与えることが無いので、タイムコード保持部２１に保持されているタイムコード（例えば、01:00:10:07.3）のフレームの値ＦＦの端数を切り捨てる調整を行い、調整後のタイムコード（例えば、01:00:10:07）をタイムライン時刻に変換してＣＧ画像生成部１１に通知して進行を再開させてもよい。ただし、逆方向の進行の場合には、フレームの値ＦＦの端数を切り上げる調整を行ってもよい。

これにより、進行の速度が例えば、２．１倍速などの値であっても、再開時のタイムコードのフレームの値が整数であれば、数フレーム目（２．１の場合、１０フレーム目）にはタイムコードが再び整数となり、VTR１２などの映像素材の再生と画を同期させる上で好都合となる。

第５のパターン
なお、スロー進行から停止した後にＣＧアニメーションの進行を再開させる速度の絶対値が所定の閾値以上である場合にのみ、タイムコード保持部２１に保持されているタイムコードのフレームの値ＦＦの端数を切り捨てる調整を行うようにしてもよい。

ＣＧ画像生成部１１に対してキューアップ動作（進行位置を指定したタイムコードまで瞬時に移動させる動作）を実行させる場合には、タイムコード保持部２１に保持されているタイムコードのフレームの値ＦＦに端数があるか否かに拘わらず、移動先のタイムコードをフレームの値ＦＦに端数がないタイムコードを移動先に指定し、その値をタイムライン時刻に変換してＣＧ画像生成部１１に通知するようにする。この結果、フレームの値ＦＦに端数がある状態で停止しているときに、端数を除いたタイムコードに対してキューアップ動作を指示すると、端数のない状態まで、タイムライン上で移動されることになる。

図６は、第１乃至５のパターンの動作をまとめた処理、すなわち、操作入力部１６によるＣＧ画像生成部１１を制御する処理（以下、単に制御処理と称する）を説明するフローチャートである。

この制御処理は、ＣＧアニメーションの進行が停止された後、その再開が指示されたときに開始される。

なお、この制御処理以前にＣＧアニメーションの進行が停止されたとき、図４のタイムコード調整部２２は、それまでの進行速度Ｓ０を記憶しているものとする。また、図４のタイムコード保持部２１は、停止されたＣＧアニメーションの時間的な位置を示す情報として、フレームの値ＦＦに端数が許容されたタイムコードＴ０を保持しているものとする。

ステップＳ１において、タイムコード調整部２２は、再開が指示されたＣＧアニメーションの進行速度Ｓ、すなわち、操作入力部１６のジョグシャトルダイアル３４を用いて編集者が指示した値を取得する。ステップＳ２において、タイムコード調整部２２は、タイムコード保持部２１に保持されているタイムコードＴ０を取得する。

ステップＳ３において、タイムコード調整部２２は、取得したタイムコードＴ０のフレームの値ＦＦに端数があるか否かを判定し、端数があると判定した場合、処理をステップＳ４に進める。反対に、取得したタイムコードＴ０のフレームの値ＦＦに端数が無いと判定した場合、タイムコードＴ０をタイムコード／タイムライン時刻変換部２３に通知して、処理をステップＳ６に進める。

ステップＳ４において、タイムコード調整部２２は、ステップＳ１で取得した再開時の進行速度Ｓが所定の条件を満たすか否かを判定し、判定結果に応じて処理をステップＳ５に進めるか、または、ステップＳ５を省略してステップＳ６に進める。

具体的には、進行速度Ｓが進行速度Ｓ０と同じである場合（パターン１）、フレームの値ＦＦに端数が生じているタイムコードＴ０をタイムコード／タイムライン時刻変換部２３に通知して、処理をステップＳ６に進める。進行速度Ｓの絶対値が１以上である場合（パターン２乃至４）、処理をステップＳ５に進める。なお、進行速度Ｓの絶対値が所定の閾値以上であ場合（パターン５）にのみ、処理をステップＳ５に進めるようにしてもよい。

ステップＳ５において、タイムコード調整部２２は、ステップＳ２で取得した、フレームの値ＦＦに端数が生じているタイムコードＴ０の当該端数を切り捨てる調整を行って調整後のタイムコードＴ０をタイムコード／タイムライン時刻変換部２３に通知する。

ステップＳ６において、タイムコード／タイムライン時刻変換部２３は、タイムコード調整部２２から通知されたタイムコードＴ０をタイムライン時刻に変換し、進行再開後の各フレームに対応するタイムライン時刻を順次算出してＣＧ画像生成部１１に通知する。

例えば、ＣＧアニメーションの停止時のタイムコードＴ０が01:00:00:05.75であり、それまでの進行速度Ｓ０が１／４番速であって、再開後の進行速度が２倍速である場合、処理はステップＳ５に進められて、タイムコードＴ０が01:00:00:05に調整される。

そして、タイムコードＴ０＝01:00:00:05がタイムライン時刻01:00:(5×1/30)に変換される。さらに、２倍速での進行再開後は、タイムコード01:00:00:07のフレーム、次にタイムコード01:00:00:09のフレーム、その次に01:00:00:11のフレームがレンダリングされるように、出力する各フレームに対して、これらのタイムコードに対する様なタイムライン時刻が算出される。

具体的には、タイムコード01:00:00:07を得るにはタイムライン時刻が01:00:((5×1/30)+(2×1×1/30))のように算出される。次に、タイムコード01:00:00:09を得るにはタイムライン時刻が01:00:((5×1/30)+(2×2×1/30))のように算出される。さらに、次に、タイムコード01:00:00:11を得るにはタイムライン時刻が01:00:((5×1/30)+(2×3×1/30))のように算出される。このように、進行中の各時刻においてタイムライン時刻を加算ではなく乗算により算出することにより、端数の累積誤差を抑止することができる。

なお、上述したステップＳ３の処理そのものを省略するようにしてもよい。すなわち、ステップＳ２の後、処理をステップＳ４に進めるようにしてもよい。この場合、ステップＳ５において、タイムコードＴ０のフレームの値ＦＦに端数が生じていなければ、実質的には当該端数を切り捨てる調整が行われないからである。

以上で、操作入力部１６による制御処理の説明を終了する。なお、制御処理を、VTR１２やビデオサーバ１３からの映像素材とＣＧアニメーションを同期させるときのみ実行するようにしてもよい。すなわち、操作入力部１６からはＣＧ画像生成部１１とVTR１２とビデオサーバ１３とに、同時に同じ様な指示（制御信号）を送信することができ、同期した画の進行、停止を行うことができる。

また、VTR１２やビデオサーバ１３からの映像素材とＣＧアニメーションを同期させるときには、進行速度Ｓが進行速度Ｓ０と同じであっても、タイムコードＴ０を調整するようにしてもよい。ＣＧ画像生成部１１以外は、停止した際にもフレームの値ＦＦ（フレーム番号）に端数は、ないため、常にそれに揃えた方がよいためである。

なお、上述した端数を切り捨てる説明は、映像がプログレッシブであることを想定したのであり、映像がインタレースの場合、端数を0.5単位で切り捨てるようにすればよい。

上記の実施の形態では、タイムコードまたはタイムライン時刻のフレーム単位以下の小数部（端数）を保持し管理するのが、その他の機器との共通の制御部分である操作入力部１６としていたが、この端数の管理を例えばＣＧ画像生成部１１内部で行う構成としてもよい。この場合、端数の処理についてどういう基準で処理するかの設定値をＣＧ画像生成部１１内部に保持させる様にし、操作入力部１６からそれらを設定するようにできる。

この場合、操作入力部１６からは常に端数のないタイムコードを使って、ＣＧ画像生成部１１とVTR１２とビデオサーバ１３とを制御する。ＣＧ画像生成部１１は、操作入力部１６に対しては、端数のないタイムコードを使って通信し、VTR１２等と同様の機能のように見せることができる。

本発明の特徴である、所定の場合に端数を切り捨てる処理をＣＧ画像生成部１１で行う場合でも、操作入力部１６からVTR１２などとＣＧ画像生成部１１に対して、同時に再生（進行）、停止の指示を出すことを繰り返した場合に、機器のタイムコードの進行がずれることなく、同期を維持してシステムを制御できる。

例えば、VTR１２のタイムコードが01:30:00:00で、ＣＧ画像生成部１１のタイムコードが02:10:20:00である状態から、0.125の速度で進行を、操作入力部１６から指示したとする。そして、31秒後に停止を指示すると、31×0.125×30＝116.25フレームだけ進行するので、VTR１２の内部のタイムコードは01:30:03:26で停止し、ＣＧ画像生成部１１の内部のタイムコードは02:10:23:26.25で停止する。つぎに例えば速度での進行を指示された際に、もし端数の処理を行わないとVTR１２とＣＧ画像生成部１１とでは、内部のタイムコードに0.25の差が生じたまま進行する。この停止と再侵攻を繰り返していくと、差が累積し、端数を除いたフレーム単位でも、VTR１２とＣＧ画像生成部１１とで進行に差が出てしまう。この結果、同じ長さ（尺）の素材であっても、VTR１２とＣＧ画像生成部１１とで素材の終了に差が生じたり、あるいは画像合成部１５でそれらの画を重畳させる際に動きを合わせる意図の場合に、次第にずれが生じてしまう。本発明は、このような差・ずれを防止するものである。

なお、ＣＧ画像生成部１１に関して、端数として保持されるタイムライン時刻は、タイムコード形式ではなく、秒のみの形式でもよい。コンピュータ内部での時刻のデータ形式に関係なく、端数（小数部）を管理することで、本発明の効果を発揮できる。指示されるスローなど端数を持つ再生速度に応じて小数部を十分な桁数用意することで、本発明の特徴を実現できる。

本発明を適用可能なシステムとしては、放送する映像の選択、合成、加工などを行うスタジオ副調整室で制御する機器（スタジオ回路）の他、映像の編集を行う編集システムや、スポーツ競技等の現場で中継映像を作成する中継車に搭載するシステムなどがあり、いずれにおいても、タイムコードで制御される機器とＣＧ装置との連携に効果がある。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

１０ 映像編集装置， １１ ＣＧ画像生成部， １２ VTR， １３ ビデオサーバ， １４ マトリクススイッチ， １５ 画像生成部， １６ 操作入力部， ２１ タイムコード保持部， ２２ タイムコード調整部， ２３ タイムコード／タイムライン時刻変換部，３１ 表示部， ３４ ジョグシャトルダイアル

Claims (7)

1. 映像を編集する情報処理装置において、
   ＣＧアニメーションの時間的位置示すパラメータとして、最小単位である秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段と、
   前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力手段と、
   入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御手段と
   を備え、
   前記制御手段は、
   リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持する保持手段と、
   保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する変換手段と
   を含む
   情報処理装置。
2. 前記制御手段は、
   保持された前記タイムコードHH:MM:SS:FFのフレームの値FFに生じている端数を除去する調整を行う調整手段を
   さらに含み、
   前記変換手段は、調整後の前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換する
   請求項１に記載の情報処理装置。
3. 前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止された後に再開される場合、再開後の進行速度が所定の条件を満たすときのみ、前記調整を行う
   請求項２に記載の情報処理装置。
4. 前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止された後に再開される場合、再開後の進行速度が停止前の進行速度を同じときには前記調整を行わない
   請求項２または３に記載の情報処理装置。
5. 前記制御手段は、さらに、入力された前記ユーザの操作に対応して、時間的位置示すパラメータとして前記タイムコードを用いる映像出力手段も制御し、
   前記調整手段は、リアルタイムレンダリングされている前記ＣＧアニメーションの進行と、前記映像出力手段から出力される映像素材を同期させるときのみ、前記調整を行う
   請求項２に記載の情報処理装置。
6. ＣＧアニメーションの時間的位置示すパラメータとして、最小単位の秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段を備える情報処理装置の情報処理方法において、
   前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力ステップと、
   入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御ステップと
   を含み、
   前記制御ステップは、
   リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持し、
   保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する
   情報処理方法。
7. コンピュータを、
   ＣＧアニメーションの時間的位置示すパラメータとして、最小単位の秒の値に端数が許容されているタイムライン時刻を用い、前記ＣＧアニメーションのリアルタイムレンダリングを行うＣＧ画像生成手段と、
   前記ＣＧアニメーションの進行を指示するユーザの操作を入力する操作入力手段と、
   入力された前記ユーザの操作に対応して、前記ＣＧ画像生成手段を制御する制御手段と
   して機能させ、
   前記制御手段は、
   リアルタイムレンダリングされている前記ＣＧアニメーションの進行が停止されたとき、停止された時間的位置を示すパラメータとして、最小単位のフレームの値FFに端数が許容されているタイムコードHH:MM:SS:FFを保持する保持手段と、
   保持された前記タイムコードHH:MM:SS:FFを前記タイムライン時刻に変換して前記ＣＧ画像生成手段に通知する変換手段と
   を含む
   プログラム。

Images