JP3849542B2

JP3849542B2 - Video output device

Info

Publication number: JP3849542B2
Application number: JP2002043449A
Authority: JP
Inventors: 裕之岩瀬; 朗飯塚
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-02-20
Filing date: 2002-02-20
Publication date: 2006-11-22
Anticipated expiration: 2022-02-20
Also published as: JP2003244651A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の再生態様をイベントに応じて任意に制御して多彩な映像を演出することができる映像出力システムに関する。
【０００２】
【従来の技術】
複数の映像データを記憶し編集する映像編集装置は、従来より、数多く存在する。しかしながら、この種の映像編集装置は、編集した後で映像出力させるようにしたものであって、その場の状況に応じて映像を選択的に出力するようなものではなく、リアルタイム性がない。
【０００３】
この種の映像編集装置は、また、画像データの画像配置などの再生条件をかえても、その場だけその条件で再生されるものである。さらに、画像データにエフェクトを一度加えてしまって記憶させると、元の状態には戻らなくなってしまう。一方、エフェクトを付加した画像データを記憶させなかった場合は、元の画像データを読み直せば元の状態が得られるが、装置をパワーオフしたときに、エフェクトをかけた状態を喪失しまうことになる。
【０００４】
【発明が解決しようとする課題】
この発明は、このような従来技術の不都合に鑑み、オリジナル画像データに種々の再生条件を与えることにより、オリジナルを保ったまま画像データの再生態様を種々に制御して多彩な映像表現を演出することができる映像出力システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の１つの特徴に従うと、複数の操作子（Ｐｄｊ：Ｐｄ１〜Ｐｄ８；１２）と、これら操作子（Ｐｄｊ）の夫々に対応して任意の画像データ（ＩＭ：ＩＭａ１〜ＩＭａ８，ＩＭｂ１〜ＩＭｂ８又はＩＭｃ１〜ＩＭｃ８）をそれぞれ記憶する複数の画像記憶手段（ＰＡＤ：ＰＡＤ１〜ＰＡＤ８；７２）と、各画像記憶手段（ＰＡＤ）に記憶される各画像データ（ＩＭ）の再生態様を制御するための再生パラメータ（図５，図６）を各画像データ（ＩＭ）それぞれに対応して記憶するパラメータ記憶手段（７２）と、操作子（Ｐｄｊ）に対する操作を検出する操作検出手段（Ｐ１，Ｓ１；５）と、操作が検出されたことに応じて、当該操作が検出された操作子に対応する画像記憶手段（ＰＡＤ；７２）から画像データ（ＩＭ）を読み出すと共に、当該画像データ（ＩＭ）に対応する再生パラメータをパラメータ記憶手段（７２）から読み出す読出し手段（Ｓ３，Ｓ４；７３）と、読み出された再生パラメータに基づいて、読み出された画像データ（ＩＭ）の再生態様を制御し、当該再生パラメータが反映された画像データを生成する映像再生手段（Ｓ４〜Ｓ６，Ｓ８，Ｓ１０，Ｓ１８，Ｓ２１；７３，７４）とを具備する映像出力装置〔請求項１〕が提供される。なお、括弧書きは、理解の便のために、後で詳述する実施例の対応する参照記号、用語、箇所等を付記したものであり、以下においても同様である。
【０００６】
この発明の別の特徴に従うと、複数種類のイベント（Ｉｖ：Ａ−１〜Ｃ−８）の夫々に対応して任意の画像データ（ＩＭ：ＩＭａ１〜ＩＭｃ８）をそれぞれ記憶する複数の画像記憶手段（ＰＡＤ：ＢＡＮＫ−Ａ〜ＣのＰＡＤ１〜ＰＡＤ８；７２）と、各画像記憶手段（ＰＡＤ）に記憶される各画像データ（ＩＭ）の再生態様を制御するための再生パラメータ（図５，図６）を各画像データ（ＩＭ）それぞれに対応して記憶するパラメータ記憶手段（７２）と、イベント（Ｉｖ）の入力に応じて、当該イベント（Ｉｖ）の種類に対応する画像記憶手段（ＰＡＤ；７２）から画像データ（ＩＭ）を読み出すと共に、当該画像データに対応する再生パラメータをパラメータ記憶手段（７２）から読み出す読出し手段（Ｐ１，Ｐ２，Ｓ１，Ｓ３，Ｓ４；７３）と、読み出された再生パラメータに基づいて、読み出された画像データ（ＩＭ）の再生態様を制御し、当該再生パラメータが反映された画像データを生成する映像再生手段（Ｓ４〜Ｓ６，Ｓ８，Ｓ１０，Ｓ１８，Ｓ２１；７３）とを具備する映像出力装置〔請求項２〕が提供される。
【０００７】
この発明による映像出力装置における再生パラメータ（図５，図６）は、対応する画像データ（ＩＭ）の再生手順を制御する再生出力パラメータを含む〔請求項３〕ように構成したり、対応する画像データ（ＩＭ）の映像効果を制御する再生加工パラメータを含む〔請求項４〕ように構成することができる。この発明による映像出力装置は、さらに、再生パラメータを設定するためのパラメータ操作子手段（Ｒ１〜Ｒ３；ＥＰ，Ｄ１，Ｄ２）を具備する〔請求項５〕ように構成したり、さらに、画像記憶手段（ＰＡＤ；７２）に記憶された画像データ（ＩＭ）及びパラメータ記憶手段（７２）に記憶された再生パラメータを保存するデータ保存手段（Ｐ１５；４）と、データ保存手段（４）に保存された画像データ（ＩＭ）及び再生パラメータを読み出して、それぞれ、画像記憶手段（ＰＡＤ；７２）及びパラメータ記憶手段（７２）に記憶させるデータ転送手段（Ｐ１５；７６）とを具備する〔請求項６〕ように構成することができる。
【０００８】
この発明による映像出力装置は、さらに、ビデオ信号を入力するビデオ入力手段（１４）と、ビデオ入力手段（１４）により入力されるビデオ信号の記録開始及び記録終了を指示する記録指示手段（Ｐ１９，Ｐ２２）と、複数の画像記憶手段（ＰＡＤ；７２）のうち何れかを選択する選択手段（Ｐ１７）と、記録指示手段（Ｐ１９，Ｐ２２）により記録開始が指示されてから記録終了が指示されるまでのビデオ信号に基づく画像データを、選択手段（Ｐ１７）により選択された画像記憶手段（ＰＡＤ）に記憶させる録画手段（Ｐ２０，Ｐ２１；７１）とを具備する〔請求項７〕ように構成することができる。また、この発明による映像出力装置は、さらに、ビデオ信号を入力するビデオ入力手段（Ｐ８；１４）と、ビデオ入力手段（Ｐ８；１４）により入力されたビデオ信号と映像再生手段（Ｓ６；７３）により生成された映像信号とを合成した合成映像信号を生成する合成映像生成手段（Ｐ８，Ｓ６；７４）と、合成映像生成手段により生成された合成映像信号を出力する出力手段（７４）とを具備する〔請求項８〕ように構成することができる。
【０００９】
〔発明の作用〕
この発明による映像出力装置においては（請求項１，２）、画像データ取得手段（７１）などから取り込まれ、所謂「動画」や複数枚の静止画像などから成り動画映像として再生される任意の画像データ（ＩＭ）と、この画像データ（ＩＭ）を再生する際にその再生態様を制御するのに用いられる再生パラメータ（図５，図６）とが対応して記憶装置（専用ＲＡＭ７２）に記憶される（図４）。記憶装置（７２）には複数の画像記憶手段（ＰＡＤ）が構成され、複数の操作子（Ｐｄｊ）又は複数種類のイベント（Ｉｖ）に対応して任意の画像データが複数の画像記憶手段（ＰＡＤ）の夫々に記憶される。また、各画像データに対応する再生パラメータも記憶装置（７２）のパラメータ記憶手段に記憶される。そして、操作子の操作又はイベントの入力があると（Ｐ１／Ｐ２，Ｓ１）、当該操作子（Ｐｄｊ）又はイベント種類（Ｉｖ）に対応する画像記憶手段（ＰＡＤ）から画像データ（ＩＭ）を読み出すと共に、取り出される画像データ（ＩＭ）に対応する再生パラメータを読み出し、当該画像データ（ＩＭ）を当該再生パラメータで制御しながら再生する（Ｓ３〜Ｓ６等）。従って、この発明によれば、操作子の操作又はイベントの入力に応じて、複数の画像記憶手段のうち当該操作子又は入力イベントにより指定された画像記憶手段から画像データを順次取り出し、取り出された各画像データに対し、対応する夫々の再生パラメータに基づく種々の再生態様で映像処理を施して、多彩な映像表現を演出することができ、しかも、各画像記憶手段の画像データ自体はオリジナルな状態を保ち、各再生パラメータもパラメータ記憶手段に保持することができる。
【００１０】
より詳しくいえば、この発明の１つの特徴（請求項１）によると、「パッドスイッチ」と呼ばれる複数の操作子（Ｐｄｊ：Ｐｄ１〜Ｐｄ８）が設けられ、これら操作子（Ｐｄｊ）の夫々に対応して、「パッド」と呼ばれる複数の記憶領域（ＰＡＤ：ＰＡＤ１〜ＰＡＤ８）が記憶装置（７２）に設定され、これらの記憶領域（ＰＡＤ）が、任意の画像データ（ＩＭ：ＩＭａ１〜ＩＭａ８，ＩＭｂ１〜ＩＭｂ８又はＩＭｃ１〜ＩＭｃ８）をそれぞれ記憶する複数の画像記憶手段として機能する。各画像記憶手段（ＰＡＤ）に記憶された画像データ（ＩＭ）を再生するに当って（プレイモードＰＭ）、操作子（Ｐｄｊ）に対するユーザ操作を検出すると（Ｐ１，Ｓ１）、当該操作子（Ｐｄｊ）に対応する画像記憶手段（ＰＡＤ）から画像データ（ＩＭ）を読み出すと共に、当該画像データ（ＩＭ）に対応する再生パラメータ（図５，図６）をパラメータ記憶手段（７２）から読み出し（Ｓ３，Ｓ４；７３）、読み出された再生パラメータに基づいて当該画像データ（ＩＭ）の再生態様を制御し、当該再生パラメータが反映された画像データを生成する（Ｓ４〜Ｓ６，Ｓ８，Ｓ１０，Ｓ１８，Ｓ２１；７３，７４）。従って、この発明によると、任意の操作子が操作される毎に、順次、複数の画像記憶手段のうち当該パッド操作子に対応する画像記憶手段から画像データを取り出し、取り出された各画像データに対して、対応する夫々の再生パラメータに基づく種々の再生態様で映像処理を施すことができ、多彩な映像表現を演出することができる。
【００１１】
また、この発明の別の特徴（請求項２）によると、記憶装置（７２）に設定され「パッド」と呼ばれる複数の記憶領域（ＰＡＤ：ＢＡＮＫ−Ａ〜ＣのＰＡＤ１〜ＰＡＤ８）は、複数種類のイベント（Ｉｖ：Ａ−１〜Ｃ−８）の夫々に対応しており、任意の画像データ（ＩＭ：ＩＭａ１〜ＩＭｃ８）をそれぞれ記憶する複数の画像記憶手段として機能する。ここで、「イベント」とは、例えば、複数種類のイベント入力操作子（Ｂｉ，ＢＤｊ）の操作信号又は外部入力信号（ＭＩＤＩ信号）の複数種類のノートオン／オフから、種々、検出されるものである。各画像記憶手段（ＰＡＤ）に記憶された画像データ（ＩＭ）を再生するに当って（プレイ及び外部制御モードＰＭ，ＭＭ）、イベント入力操作子の操作や外部入力信号のノートオン検出などによりイベントが入力されると（Ｐ１，Ｐ２，Ｓ１）、当該イベントの種類に対応する画像記憶手段（ＰＡＤ；７２）から画像データ（ＩＭ）を読み出すと共に、当該画像データ（ＩＭ）に対応する再生パラメータ（図５，図６）をパラメータ記憶手段（７２）から読み出す（Ｓ３，Ｓ４）。そして、読み出された再生パラメータに基づいて当該画像データ（ＩＭ）の再生態様を制御し、この再生制御によって、当該再生パラメータが反映された画像データを生成する（Ｓ４〜Ｓ６，Ｓ８，Ｓ１０，Ｓ１８，Ｓ２１；７３，７４）。従って、この発明によると、イベントが入力される毎に、順次、当該入力イベントにより指定された画像記憶手段から画像データを取り出し、取り出された各画像データに対して、対応する夫々の再生パラメータに基づく種々の再生態様で映像処理を施すことができ、多彩な映像表現を演出することができる。
【００１２】
なお、画像データに対応する再生パラメータは、画像データに対応付け（リンク）してもよいし、パッドに対応付け（リンク）してもよいが、通常は画像データにリンクさせる。例えば、再生パラメータを画像データにリンクさせておくと、画像データを別のパッドに移し換えた場合、自動的に、当該画像データの再生パラメータも移し変えられるので、当該画像データは、パッドが変えられても同様な再生態様で再生することができるので、ユーザによって新たな態様の設定をしなくてもよい。一方、再生パラメータをパッドにリンクさせると、パッドに対して画像データが変更されても、変更された新たな画像データは、当該パッドに設定されている再生パラメータに基づいて再生されることになる。
【００１３】
この発明による映像出力装置で用いられる再生パラメータには、再生出力パラメータ及び再生加工パラメータが含まれる（請求項３，４）。再生出力パラメータ（請求項３）は、入力イベントに対応する画像データの再生手順（読出し態様など）を制御するものであり、例えば、「ゲート」又は「トリガ」パラメータを選択的に設定することができる。この場合、「ゲート」パラメータを適用すると、イベントの発生（オンイベント）に応じて画像データのスタート（開始）位置から再生を開始し、イベントの消滅（オフイベント）に応じて再生を停止し、要するに、オン期間だけ画像再生を行うことができる。一方、「トリガ」パラメータを用いると、イベントの再発生（オンイベント）により再生が停止され、オンイベントの順次到来に応じて映像再生を開始及び停止に切り換えることができる。また、再生出力パラメータにより、画像データの読出し度〔ワンショット（１回再生）／ループ（ループ）再生〕、読出し方向〔ノーマル（順方向）／リバース（逆方向）〕、再生停止時の表示態様〔タイプＡ／Ｂ（静止画表示／非表示）〕、停止後の再生開始位置〔タイプ１（現在位置）／２（スタート位置）〕などを制御することができる。例えば、「ワンショット」パラメータでは画像データのエンド（停止）位置で再生を停止して画像データを１回だけ再生するのに対して、「ループ」パラメータでは、画像データの再生を開始すると、オフを指示するイベントが発生するまで、スタート位置からエンド位置までを繰り返し再生する。なお、各パラメータにおけるスタート位置及びエンド位置については、１つの画像データの始まり（冒頭位置）から終り（最終位置）までの間において、スタート及びエンド位置の少なくとも何れかの位置をユーザが任意に設定できるようにしておくことが好ましい。
【００１４】
また、再生加工パラメータ（請求項４）は、画像データ再生時に映像エフェクトや画面上での表示の仕方を制御するものであり、これにより、入力イベントで指定された画像データに基づいて再生される映像の輝度や色合いなどの映像効果を制御したり、再生映像の画面に対する大きさや、画面上の位置、他の映像との重なりにおける優先度などを制御することができる。
【００１５】
この発明による映像出力装置においては、このような再生パラメータを設定するためのパラメータ操作子手段（ＥＰ，Ｄ１，Ｄ２；Ｒ１〜Ｒ３）が設けられるので（請求項５）、ユーザにより所望の再生パラメータに任意に変更することができる。
【００１６】
この発明による映像出力装置においては、設定時（ジョブモードＪＭ）には、ユーザ操作に基づくセーブ／ロードの指示に従って、画像記憶手段（ＰＡＤ；７２）に記憶された画像データ（ＩＭ）及びパラメータ記憶手段（７２）に記憶された再生パラメータをメモリカードなどの外部記憶装置（４）に保存（セーブ）し（Ｐ１５；４）、また、外部記憶装置（４）に保存された画像データ（ＩＭ）及び再生パラメータを読み出して、それぞれ、画像記憶手段（ＰＡＤ；７２）及びパラメータ記憶手段（７２）に記憶（ロード）させる（Ｐ１５；７６）ことにより（請求項６）、画像及びパラメータ記憶手段に記憶された画像データ及び再生パラメータを外部記憶装置にセーブしたり、外部記憶装置に保存された画像データ及び再生パラメータを画像記憶手段にロードして映像表示に利用することができる。
【００１７】
この発明による映像出力装置においては、画像データ（ＩＭ）の録画時（録画モードＲＭ）に、複数の画像記憶手段（ＰＡＤ；７２）のうち何れかを選択し（Ｐ１７）、ビデオ入力手段（１４）から入力されるビデオ信号の記録開始及び記録終了を指示すると（Ｐ１９，Ｐ２２）、記録開始が指示されてから記録終了が指示されるまでのビデオ信号に基づく画像データを、選択された画像記憶手段（ＰＡＤ）に記憶させる（Ｐ２０，Ｐ２１；７１）ことにより（請求項７）、ビデオ信号に基づく任意の画像データを各画像記憶手段に録画しておくことができる。
【００１８】
また、この発明による映像出力装置においては、映像再生器などの外部映像情報機器（１４）から入力されたビデオ信号（Ｐ８）と映像再生手段（７３）により生成された映像信号（Ｓ６）とを合成した合成映像信号を生成し（Ｐ８，Ｓ６；７４）、生成された合成映像信号を出力する（７４）ことにより（請求項８）、画像記憶手段に記憶されている画像データによる映像と外部映像情報機器から実時間で入力されてくる別の映像とを合成して更に多彩な映像を演出することができる。
【００１９】
なお、この映像出力装置については、さらに、次の（１）〜（３）のように構成することができる：
（１）再生パラメータが反映された画像データを記憶する映像記憶手段（ＷＲ；７４→７１→７２；Ｓ１４）を具備する構成。つまり、再生パラメータが反映された画像データを記憶する映像記憶手段（ＷＲ；Ｓ１４）を設けることにより、画像データを再生パラメータに応じて映像処理した後で、再生パラメータを反映させた映像処理後の画像データを記録することが可能となる。
（２）イベント入力操作子（Ｂｉ＝Ｂ１〜Ｂ３，Ｐｄｊ＝Ｐｄ１〜Ｐｄ８）の操作信号又は外部入力信号（ＭＩＤＩ信号）からイベント（Ｉｖ）を検出するイベント検出手段（Ｓ１，Ｓ１６）を具備し、パラメータ読出し手段（７３）は、検出されたイベントに対応する再生パラメータを読み出し、映像再生手段（７３，７４）は、検出されたイベントに対応する画像データの再生態様を制御する構成。つまり、映像出力装置に設けられた入力操作子（Ｂｉ，Ｂｄｊ）や、遠隔した外部機器（１６）から送信されてくるＭＩＤＩ信号などの制御信号を用いて、ユーザ操作又は自動進行方式で画像データ及び再生パラメータを指示するイベントを得るようにし、ユーザ操作又は自動進行により入力されるイベントの指定によって、より多彩な映像表現を演出することができる。
（３）或る画像データ（ＩＭ）乃至イベント（Ｉｖ）に対応する再生パラメータを別の画像データ乃至イベントに対応させる複写操作子手段（Ｍ３＋Ｐｄ３；Ｐ１６）を具備する構成。つまり、複写操作子手段（Ｍ３＋Ｐｄ３）を用いて或る画像データ又はイベントに対応する再生パラメータを別の画像データ又はイベントに対応させることにより（Ｐ１６）、既に作成された作成済み再生パラメータを他の画像に対しても使いまわしができ、ユーザ成果物である再生パラメータを有効に利用することができる。
【００２０】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００２１】
〔ハードウエア構成〕
図１は、この発明の一実施例による映像出力システムのハードウエア構成のブロック図を示す。この例では、映像出力システムは、本体システム（本体制御部）、動画処理システム（動画処理部）及びインターフェース（Ｉ／Ｆ）部を備える。本体システムには、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、本体側ランダムアクセスメモリ（本体ＲＡＭ）３、外部記憶装置４、検出回路５及び表示回路６が含まれる。また、動画処理システムは動画処理回路７を含み、Ｉ／Ｆ部は、ＭＩＤＩインターフェース（ＭＩＤＩ・Ｉ／Ｆ）８及び通信インターフェース（通信Ｉ／Ｆ）９を含む。そして、これらの装置１〜９は、バス１０を介して互いに接続される。
【００２２】
映像出力システム全体を制御するＣＰＵ１は、所定のソフトウエア・プログラムに従いタイマ１１によるクロックを利用して種々の制御を行い、特に、後述する動画処理回路７による映像出力処理を管理する。ＲＯＭ２には、この映像出力システムを制御するための所定の制御プログラムが記憶されており、これらの制御プログラムには、基本的な情報処理と共に、この発明による映像出力処理などを管理するためのプログラムや、各種テーブル、各種データが含まれる。本体ＲＡＭ３は、各種処理に際して必要なデータやパラメータを記憶する一時記憶手段として機能し、例えば、再生フラグＲＦなどを記憶する。
【００２３】
外部記憶装置４は、ハードディスクドライブ（ＨＤＤ）の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、ＺＩＰ、メモリカード（スマートメディア）、半導体メモリ等の可搬型記憶媒体を用いた装置から成り、各種制御プログラムや各種データを記憶することができる。従って、映像出力処理などに必要なプログラムや各種制御データは、ＲＯＭ２を利用するだけでなく、外部記憶装置４からＲＡＭ３内に読み込むことができ、必要に応じて、処理結果を外部記憶装置４に記録しておくこともできる。また、スマートメディアと呼ばれるメモリカードなどの外部記憶装置４には、画像データや、画像データに付随する映像効果などの再生パラメータ（再生条件）を含む管理データを保存しておくことができる。
【００２４】
検出回路５にはパネル操作子装置１２が接続され、パネル操作子装置１２は、各種のスイッチやキー、その他のタイプの操作子を備える。これらの操作子は、パネル操作子とも呼ばれ、映像出力処理などのために、ユーザによって、画像の記録や標準プレイ（再生）などのモード設定、各種のパラメータ設定や指示の情報に入力するために用いられる。例えば、モード指定スイッチ（Ｍ１〜Ｍ３）は、プレイモード以外のモードを指定するのに用いられ、バンク及びパッドスイッチ（Ｂ１〜Ｂ３，Ｐｄ１〜Ｐｄ８）は、複数の画像データから所望の画像データを選択的に指示するのに用いられる。
【００２５】
表示回路６は、ＬＣＤなどの本体ディスプレイ１３や各種インジケータを制御するものであり、これらの表示援助に従ってパネル操作子装置１３の操作子で必要な操作を行うことにより、映像出力制御に関する設定や指示を行うことができる。そして、上述した要素１〜６、１０〜１３により本体システム（本体制御部）が構成され、また、動画処理回路７及びインターフェース８，９を加えた点線内の要素１〜１３によって映像出力装置が構成される。
【００２６】
動画処理回路７は専用ＲＡＭを備え、この専用ＲＡＭは、画像データを記録するための画像メモリとして機能し、併せて、画像データを管理する管理データを記憶することができる。動画処理回路７には、ＶＴＲやビデオディスク再生器などの映像再生器１４、及び、大型ＣＲＴやプロジェクタのような比較的大きな画面をもつ映像ディスプレイ１５が接続され、動画処理回路７によって、映像再生器１４からのビデオ信号（映像信号）を画像データとして専用ＲＡＭに一旦記録した後、この画像データに多様な態様で映像処理をかけて所望の映像を再生し、映像ディスプレイ１５に表示させることができる。これらの動画処理回路７、映像再生器１４及び映像ディスプレイ１５によって、動画処理システム（動画処理部）が構成される。
【００２７】
一方、ＭＩＤＩＩ／Ｆ８には、楽音情報生成機能を有するオーディオシーケンサ（ＭＩＤＩシーケンサ）やパーソナルコンピュータ（ＰＣ）で構成されるＭＩＤＩ機器１６が接続され、ＭＩＤＩ機器１６には、さらに、音源１７を介してＤＳＰ（ディジタル信号処理器）やスピーカを含むサウンドシステム１８が接続される。これらの機器１６〜１８は、この映像出力装置に外部接続される音楽演奏システム（音楽演奏部）を構成する。
【００２８】
ＭＩＤＩ機器１６は、自身のもつ音楽データや、ＲＯＭ２や外部記憶装置４に格納されている音楽データに基づく楽音を音源１７及びサウンドシステム１８を介して放音し音楽を演奏することができる。また、映像出力装置に対しては、ＭＩＤＩ機器１６から送出されるＭＩＤＩイベント（ノートオン／オフなどのノートデータ）や、ＭＩＤＩクロック、制御コードなどに従って動画処理回路７を制御する制御要素として機能する。
【００２９】
また、通信インターフェイス（Ｉ／Ｆ）９には、ローカルエリアネットワーク（ＬＡＮ）やインターネット、電話回線等の通信ネットワーク１９を介してサーバコンピュータ２０等に交信可能に接続される。このサーバコンピュータ１６や、ＭＩＤＩ機器１６、動画処理回路７などから、制御プログラムや音楽データ、画像データなどの各種データを外部記憶装置４にストアすることもできる。
【００３０】
〔動画処理システム〕
図２は、この発明の一実施例による動画処理システム（動画処理部）の機能ブロック図を示す。動画処理回路７は、動画録画部（ビデオサンプラー）７１、専用ＲＡＭ（画像メモリ）７２、データ読出部７３、映像制御部７４、管理データ入出力部７５及び画像転送部７６を備える。これら各部を管制するＣＰＵ１は、パネル操作子装置１２のモード指定スイッチＭ１〜Ｍ３が操作されないときは（モード指定なし＝図示のスイッチ機能要素ｍ１〜ｍ３が全てオン）、プレイモード（操作子再生モード又はＰＬＡＹモード）ＰＭで動作し、各モード指定スイッチＭ１〜Ｍ３が操作されたときは、それぞれ、録画モードＲＭ、外部制御モードＭＭ又はジョブモードＪＭで動作し、各部をモードに対応して制御する。
【００３１】
動画録画部７１は、録画モードＲＭにおいて、ＶＴＲなどの外部の映像再生器１４からのビデオ信号（映像信号）を取り込みサンプリングしてディジタル画像データに変換し、専用ＲＡＭ７２は、動画録画部７１からのディジタル画像データを記憶する。専用ＲＡＭ７２は、画像データのストレージ（画像メモリ）として機能すると共に、画像データ処理上の管理データを記憶することができ、管理データには、画像データに対する再生条件（「再生パラメータ」ともいう。）が含まれる。
【００３２】
データ読出部７３は、プレイモードＰＭや外部制御モードＭＭなどの再生モードで、専用ＲＡＭ７２から、先ず、画像データに対応する管理データから再生条件を読み出し、次いで、再生条件に従って画像データを読み出す。映像制御部７４は、再生条件に従って、読み出された画像データに映像効果を付与して映像再生を行い、画像データに再生条件の内容を反映した映像データを生成し、この映像データに対応する映像を映像ディスプレイ１５に表示させる。再生モードＰＭ，ＭＭでは、映像制御部７４で、映像再生器１４からの外部映像信号との合成を行ったり、映像制御部７４で生成した映像データを動画記録部７１を介して専用ＲＡＭ７２に記憶することもできる。
【００３３】
管理データ入出力部７５は、ＣＰＵ１・専用ＲＡＭ７２間で再生条件を授受する媒介手段として機能する。例えば、上述した各モードにおいて、パネル操作子装置１２を用いて設定又は変更される再生パラメータを管理データ中の再生条件として専用ＲＡＭ７２に記憶させる。また、再生モードＰＭ，ＭＭにおいては、専用ＲＡＭ７２に記憶されている管理データから再生条件をＣＰＵ１に呼び込んで、ＣＰＵ１にデータ読出部７３及び映像制御部７４を制御させる。
【００３４】
そして、画像転送部７６は、ジョブモードＪＭにおいて、パッド画像データや管理データの保存及びロード処理が行われる場合、ＣＰＵ１の制御指示に従って、専用ＲＡＭ７２とメモリカード（スマートメディア）などの外部記憶装置４との間でパッド画像データや管理データを授受させる媒介手段として機能し、専用ＲＡＭ７２に記憶されているパッド画像データや管理データを外部記憶装置４に記録したり、或いは、外部記憶装置４に記録された画像データや管理データを専用ＲＡＭ７２にロードする。
【００３５】
〔パネル構成及びイベント割当て例〕
図３は、この発明の一実施例による映像出力装置のフロント面に設けられる操作パネルの一構成例（一部分）を示す。この操作パネルには、上述したモード指定スイッチＭ１〜Ｍ３外に、パネル操作子装置１２の操作状態や各種設定状態などを表示するためのディスプレイ１３や、画像データの格納領域を指定するための複数（ｍ）のバンクスイッチＢｉ（ｉ＝１，２，…，ｍ）及び複数（ｎ）のパッドスイッチＰｄｊ（ｊ＝１，２，…，ｎ）、各種映像効果を指定及び設定するための効果指定スイッチ群ＥＰ及び効果設定ダイヤルＤ１，Ｄ２などが設けられている。
【００３６】
モード指定スイッチＭ１〜Ｍ３には、外部制御モード指定スイッチ（ＭＩＤＩボタン）Ｍ１、録画モード指定スイッチ（ＲＥＣボタン）Ｍ２及びジョブモード指定スイッチ（ＪＯＢボタン）Ｍ３などがあり、これらのスイッチＭ１〜Ｍ３を操作することによって、この映像出力装置をプレイモードＰＭ以外の種々のモードに入れることができる。
【００３７】
つまり、この実施例では、映像出力装置の電源投入直後の状態で、映像出力装置はプレイモードになる。一方、モード指定スイッチＭ１〜Ｍ３を操作すると、当該スイッチのバックライトが点灯し、映像出力装置に対して、操作されたスイッチに対応するモードを設定することができる。なお、これらのモードに入った後は、当該モード指定スイッチのＭ１〜Ｍ３の再操作や別のモード指定スイッチＭ１〜Ｍ３の操作などによって、当該モードが終了し、当該モード指定スイッチＭ１〜Ｍ３のバックライトは消灯され、プレイモードに復帰したり別のモードに移行する。
【００３８】
任意のバンクスイッチＢｉ及びパッドスイッチＰｄｊを操作することにより、「パッド操作イベント」と呼ばれる個別のイベントＩｖが発生され、このパッド操作イベントによって、画像データの格納領域を指定することができる。なお、これらのスイッチも、モード指定スイッチＭ１〜Ｍ３と同様に、選択操作によりバックライトが点灯してパッド選択状態をユーザに知らせ、点灯していたバックライトは、他のパッドスイッチ操作又は他の所定の非動作条件で消灯する。
【００３９】
図３に示される例では、３つのバンクスイッチＢ１〜Ｂ３及び８つのパッドスイッチＰｄ１〜Ｐｄ８が設けられており（ｍ＝３、ｎ＝８）、２４個のイベントＩｖを割り当てることができ、各イベントＩｖには、バンクスイッチＢ１〜Ｂ３毎のパッドスイッチＰｄ１〜Ｐｄ８に対応して“Ａ−１”〜“Ａ−８”、“Ｂ−１”〜“Ｂ−８”又は“Ｃ−１”〜“Ｃ−８”で示されるイベントＩＤが与えられる。
【００４０】
この発明の一実施例においては、画像メモリ（専用ＲＡＭ）には、イベントＩｖに対応付けられる画像データ格納領域を上述のバンクスイッチＢｉ及びパッドスイッチＰｄｊの構成に対応させて、「バンク（ＢＡＮＫ）」と呼ばれる複数（ｍ）の大記憶領域及び「パッド（ＰＡＤ）」と呼ばれる複数（ｎ）の小記憶領域を設定し、各大記憶領域ＢＡＮＫ内に設定された複数の小記憶領域ＰＡＤのそれぞれに画像データを記憶することができる。図４は、この発明の一実施例による画像メモリ構成の一例を示す。
【００４１】
図４に示された３バンク・８パッドのメモリ構成例では、画像データを格納する専用ＲＡＭには、バンクスイッチＢ１〜Ｂ３に対応して３つのバンク“ＢＡＮＫ−Ａ”〜“ＢＡＮＫ−Ｃ”が設定され、各バンクには、パッドスイッチＰｄ１〜Ｐｄ８の夫々に対応して８つの画像データ格納領域即ちパッドＰＡＤ１〜ＰＡＤ８が設定されている。つまり、２４個のパッド（画像データ格納領域）“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”は、２４個のイベントＩＤ“Ａ−１”〜“Ｃ−８”にそれぞれ対応付けられる。
【００４２】
従って、バンクスイッチＢｉ及びパッドスイッチＰｄｊを操作することによって、パッド操作イベントＩｖが発生し、このパッド操作イベントＩｖにより決定されるイベントＩＤ（“Ａ−１”〜“Ｃ−８”）に基づいて、画像メモリ（専用ＲＡＭ）７２内から、対応する所望のパッド（“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”）を指定することができる。
【００４３】
これにより、録画モードＲＭでは、バンクスイッチＢ１〜Ｂ３及びパッドスイッチＰｄ１〜Ｐｄ８の操作で指定されるパッド“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”に画像データＩＭａ１〜ＩＭｃ８を記憶しておき、プレイモードＰＭでは、バンクスイッチＢｉ及びパッドスイッチＰｄｊの操作によるパッド操作イベントＩｖで指定されるパッド（ＢＡＮＫ・ＰＡＤ）から画像データＩＭを選択的に読み出して再生することができる。なお、各パッド“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”に記憶されている画像データＩＭａ１〜ＩＭｃ８は「パッド画像データ」と呼ばれる。
【００４４】
この発明の一実施例においては、外部入力信号中から検出される外部入力イベントを画像メモリのパッド画像データ格納領域即ち「パッド」に対応付けておき、外部入力イベントの発生に基づいて、画像メモリから、外部入力イベントに対応するパッド画像データを読み出して再生することもできる。外部入力信号は、例えば、外部制御モードＭＭにおいて、外部のＭＩＤＩ機器１６からＭＩＤＩ・Ｉ／Ｆ８を介して映像出力装置に入力されるＭＩＤＩ信号である。この場合、ＭＩＤＩ信号中のノートデータを検出すると、「ＭＩＤＩイベント」（又は「音楽イベント」）と呼ばれる外部入力イベントが発生される。
【００４５】
例えば、画像メモリ（専用ＲＡＭ）７２における２４個のパッド“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”のイベントＩＤ“Ａ−１”〜“Ｃ−８”）に対して、ＭＩＤＩ信号のノート（オン／オフ）データに含まれる２４段階のノート番号“Ｃ１”〜“Ｅ４”をそれぞれ対応させる。図３の外部制御モード指定スイッチＭ１の操作で外部制御モードＭＭに入ると、ＭＩＤＩ信号からノートオンデータが検出される毎に、そのノート番号“Ｃ１”〜“Ｅ４”に対応するパッド（“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”）を指定する。そして、指定されたパッドに記憶されているパッド画像データＩＭａ１〜ＩＭｃ８を選択的に読み出し、このパッド画像データに基づいて映像を再生することができる。
【００４６】
なお、再生されているパッド画像データは、原則として、当該ノート番号のノートに対するノートオフデータ（オフイベント）を検出した時点で読み出しが中止されるが、再生パラメータの設定によって、全パッド画像データの読出し後或いは一定時間後に再生を中止したり、これらの再生中止時点に達していなくても、次のＭＩＤＩイベントＩｖを新たに検出すると再生を中止するなど、必要に応じて任意に変更することができ、変更された再生パラメータは、再生出力条件として管理データに含めることができる。
【００４７】
さて、図３において、ＪＯＢボタンＭ３を操作して映像出力装置がジョブモードＪＭに入った場合、パッドスイッチＰｄ１〜Ｐｄ８は、単独操作した場合、所定のジョブ機能を呼び出すための操作子に転用され、この転用時の処理を特に「ジョブ処理」と呼ぶ。また、このジョブ処理を含むジョブモードＪＭでの各種パネル設定において、設定の過程や結果は、ディスプレイ１３上に表示され、ユーザ操作を援助する。
【００４８】
このジョブ処理では、例えば、パッドスイッチＰｄ１（ＤＳＰＬ）は、本体ディスプレイ１３の表示態様の設定に用い、パッドスイッチＰｄ２（ＰＲＲＳ）は、各種パラメータの標準値へのリセットに用いることができる。また、パッドスイッチＰｄ３（ＣＯＰＹ）は、或るパッドのパッド画像データＩＭａ１〜ＩＭｃ８又はその管理データを別パッドにコピーするのに用いられる。この管理データのコピーに際しては、スイッチＰｄ３でコピーを指示した後、ディスプレイ１３上の案内画面に従って、カーソルキー（図示せず）で管理データを指示し、ディスプレイバンクスイッチＢｉ及びパッドスイッチＰｄｊの同時操作を順次行って所望のコピー元パッド及びコピー先パッドを指示し、スタートストップスイッチ（Ｓ／Ｓ）を操作する。
【００４９】
さらに、スイッチＰｄ４（ＴＨＭＬ）は各パッド画像データＩＭａ１〜ＩＭｃ８のサムネイル表示に用いられる。また、パッドスイッチＰｄ５（ＳＡＶＥ）は、専用ＲＡＭ７２上のパッド画像データ（ＩＭａ１〜ＩＭｃ８）及び管理データを外部記憶装置（例えば、スマートメディア）４にセーブするのに用いられ、スイッチＰｄ６（ＬＯＡＤ）は、逆に、外部記憶装置４に保存されているパッド画像データ（ＩＭａ１〜ＩＭｃ８）及び管理データをＲＡＭ７２にロードするのに使用される。パッドスイッチＰｄ７（ＤＥＬＴ）は、外部記憶装置４に保存されているパッド画像データ（ＩＭａ１〜ＩＭｃ８）及び管理データの消去に、スイッチＰｄ８（ＭＭＣＨ）は受信ＭＩＤＩチャンネルの設定に夫々用いられる。
【００５０】
パッドスイッチＰｄ６〜Ｐｄ８の上部右側に設けられた画像選択スイッチ群ＰＶは、後述する効果指定スイッチ群ＥＰ及びダイヤルＤ１，Ｄ２や、他のリアルタイム操作子の操作、管理データの映像効果パラメータなどに基づく映像効果をかける対象となる画像を指定する操作子である。すなわち、このスイッチ群ＰＶ内の“ＰＡＤ”スイッチを操作することによってパッド画像データを効果付与対象として選択することができる。また、このスイッチ群ＰＶ内の“ＶＩＮ”スイッチの操作により、映像再生器１４から入力される実時間のビデオ信号を効果付与対象に選択し、“ＴＯＴ”スイッチを操作することによって、パッド画像データ及び入力ビデオ信号の両者（「映像全体」という）を効果付与対象に選択することができる。
【００５１】
この発明による一実施例においては、モードに拘わらず、“ＰＡＤ”スイッチ操作後のバンク及びパッドスイッチＢｉ，Ｐｄｊの同時操作により指示されたパッド画像データに対して、以下に説明するように、パネル操作子Ｒ１〜Ｒ３を用いて再生出力（再生手順）パラメータを設定し、パネル操作子ＥＰ，Ｄ１，Ｄ２を用いて再生加工（映像効果）パラメータを設定することができ、これらのパラメータは「再生パラメータ」と呼ばれる。また、“ＶＩＮ”又は“ＴＯＴ”スイッチの操作後パネル操作子ＥＰ，Ｄ１，Ｄ２を用いることにより、ビデオ信号に又は映像全体に対して夫々映像効果パラメータを設定することができ、各パラメータは、夫々、ビデオ映像効果パラメータ又は全体映像効果パラメータと呼ばれる。これらの再生パラメータ及びビデオ乃至全体映像効果パラメータは、管理データとして記憶しておくことができる。
【００５２】
パッドスイッチＰｄ１〜Ｐｄ３の上部左側に設けられた３つのスイッチＲ１〜Ｒ３は、再生モードＰＭ，ＭＭにおけるパッド画像データの出力のさせ方（再生手順）つまり「再生出力パラメータ」を設定するための再生出力設定スイッチ群を構成する。この例では、「ゲート／トリガ」スイッチ（“Ｇａｔｅ／Ｔｒｉｇ”）Ｒ１はイベントによる再生の開始終了とパッド画像データの読出し再開位置とを設定するのに用いられる。また、「ワンショット／ループ」スイッチ（“１ｓｈｔ／Ｌｏｏｐ”）Ｒ２はパッド画像データの１回再生又はループ再生を設定するのに用いられ、「ノーマル／リバース」スイッチ（“Ｎｏｒｍ／Ｒｅｖｒ”）Ｒ３は読出し方向と一時停止の仕方とを設定するのに用いられる。
【００５３】
画像選択スイッチ群ＰＶの上部に設けられた効果指定スイッチ群ＥＰは、再生モードＰＭ，ＭＭで映像処理されるパッド画像データや外部映像信号に対する映像効果を指定するのに用いられる。なお、この映像効果は、ジョブモードでも設定することができ、例えば、“ＰＡＤ”を操作し更にバンクスイッチＢｉ及びパッドスイッチＰｄｊの同時操作で所望のパッドを指示して、当該パッド画像データの管理データにアクセスし、スイッチ群ＥＰ及びダイヤルＤ１，Ｄ２を用いて、オフラインで、当該管理データの再生パラメータを設定／変更することができる。この場合、“ＴＯＴ”スイッチの操作により映像全体に対する管理データにアクセスしたり、“ＶＩＮ”スイッチ操作で入力ビデオ信号に対する管理データにアクセスした後、同様にして、当該管理データの映像効果パラメータを設定／変更することもできる。
【００５４】
さて、図３における効果指定スイッチ群ＥＰの例では、“ＰＩＣＴａ”及び“ＰＩＣＴｂ”スイッチは、映像ディスプレイ１５に表示される映像の「輝度」の設定を指定するための第１及び第２輝度指定スイッチであり、“ＣＯＬＲａ”及び“ＣＯＬＲｂ”スイッチは、映像の「色合い」を指定するための第１及び第２色調整指定スイッチである。
【００５５】
また、“ＳＩＺＥ”スイッチは、画像選択スイッチ群ＰＶ中の“ＰＡＤ”スイッチの操作でパッド画像データが選択されているときは、バンク及びパッドスイッチＢｉ−Ｐｄｊで指示されるパッド画像データによる再生映像の表示画面上での映像の「大きさ」及び他のパッド画像データによる再生映像との「混合」の仕方（ＭＩＸ）を指定し、“ＶＩＮ”スイッチ操作によるビデオ信号の選択時には、ビデオ信号による映像の表示画面上での映像の「大きさ」などを指定し、“ＴＯＴ”スイッチの操作時には、再生映像及びビデオ映像間の「混合」の仕方（ＭＩＸ）と「重合せ」の仕方（ＯＶＥＲＬＡＰ）を指定するために用いられる大きさ（サイズ）・合成（混合／重合せ）指定スイッチである。“ＰＯＳＩＴＮ”スイッチは、“ＰＡＤ”又は“ＶＩＮ”スイッチ操作時に有効であり、各再生映像又はビデオ映像の表示画面での「位置」を指定するための位置指定スイッチである。
【００５６】
例えば、第１及び第２輝度指定スイッチの操作時には輝度（Ｙ）パラメータを設定し、第１及び第２色調整指定スイッチの操作時には色合い（Ｃ，Ｃｂ，Ｃｒ）パラメータを設定して、画像選択スイッチ群ＰＶで選択された対象データに、対応する映像効果を付与することができる。また、大きさ・合成指定スイッチの操作時には、各パッド画像データやビデオ信号により映像ディスプレイ１５に表示される映像の大きさを設定するだけでなく、或るパッド画像データと他のパッド画像データとの混合態様（ＭＩＸ）やビデオ信号との重合せ態様（ＯＶＥＲＬＡＰ）などの複数映像の合成の仕方（合成パラメータ）を設定することができる。例えば、混合態様については、“Ａｄｄ”／“Ａｎｄ”／“Ｏｒ”／“Ｘｏｒ”などの混合パラメータを設定することができ、重合せの優先度については、“ＰＡＤ＆ＶＩＤＥＯ”／“ＰＡＤｏｎＶＩＤＥＯ”／“ＶＩＤＥＯｏｎＰＡＤ”などの重合せパラメータを設定することができる。さらに、位置指定スイッチを操作したときは、映像ディスプレイ１５の画面上の映像の位置（Ｘ，Ｙ）を設定することができる。
【００５７】
このような映像効果は、上述の効果指定スイッチ群ＥＰによりパラメータ種別を選択した上、ディスプレイ１３上に表示される効果設定画面に従って、ロータリーエンコーダ形の効果設定ダイヤルＤ１，Ｄ２を操作し、所望のパラメータ値又はパラメータテーブルを選択することにより、設定／変更することができる。パラメータ設定には、具体的な言葉を用いてその数値を付加するなど、任意の方法を適用することができる。例えば、「色合い」パラメータを設定する場合、“赤く”、“青く”、“黄色っぽく”、“セピア調に”などの分かり易い言葉で色調を選択し、その標準値（“０”）に対する割合を指定するようにしてもよい。
【００５８】
この映像出力装置のフロントパネルには、また、パッド画像データ記録スイッチＷＲが設けられ、再生モードＰＭ，ＭＭにおいて、この記録スイッチＷＲを操作すると、再生条件に従って映像再生の処理がなされたパッド画像データを記録しておく旨の指示を発生することができる。さらに、フロントパネルには、上述したスイッチの外に、映像ディスプレイ１５に表示される映像全体のゲインを調整するボリュームダイヤルＤ０や、パッド画像データ読出しのスタート位置（当初開始位置やループ開始位置）及びエンド位置（終了位置）を設定するための読出し位置設定用操作子、再生速度や複数映像の混合比などの映像再生パラメータをリアルタイムで制御するためのリボンコントローラやスクラッチパッドなどのリアルタイム操作子などの再生時の他のパラメータに関する設定スイッチ、等々、種々の操作子が設けられる。
【００５９】
ここで、モード毎の動作を説明しておくと、以下のとおりである。
【００６０】
（１）記録モードＲＭ
まず、録画モード（サンプリングモード又はＲＥＣモード）ＲＭについては、録画モード指定スイッチ（ＲＥＣボタン）Ｍ２が押圧操作されたとき録画モードＲＭとなる（スイッチ機能要素ｍ２がオフ）。録画モードＲＭでは、ＶＴＲなどの外部の映像再生器１４から入力された映像信号が動画処理回路７内の動画録画部７１に取り込まれる。動画録画部７１は、ＣＰＵ１の制御指示に従って、取り込んだ映像信号をサンプリングして録画に適したディジタル画像データに変換しする。そして、この変換により得られた画像データを、バンク及びパッドスイッチＢｉ，Ｐｄｊで指示される専用ＲＡＭ７２内の所定の画像データ格納領域即ちパッド（ＢＡＮＫ・ＰＡＤ）に記録する。
【００６１】
つまり、或る画像データを録画する場合には、録画モードＲＭにおいて、バンク及びパッドスイッチＢｉ，Ｐｊを操作してパッド操作イベントＩｖを発生させると、パッド操作イベントＩｖに対応するパッド（ＢＡＮＫ・ＰＡＤ）が指定される。次いで、スタート／ストップスイッチ（Ｓ／Ｓ）を操作すると、指定されたパッドへの画像データの記録が開始され、当該画像データがパッド画像データとして記憶される。また、点灯中のＲＥＣボタンＭ２を再操作すると記録動作が終了し、プレイモードＰＭに復帰する。
【００６２】
なお、各画像データは、動画であるか静止画であるかや時間などには拘束されず、任意の画像データでよいが、数秒〜数十秒程度の比較的短時間の動画像データ或いは比較的低速度で切換え再生される複数枚の静止画像データが好ましい。
【００６３】
（２）再生モードＰＭ，ＭＭ
次に、プレイモード（操作子再生モード又はＰＬＡＹモード）ＰＭは、この映像出力装置の電源を入れたときのモード状態である。プレイモードＰＭでは、データ読出部７３によって、パネル操作子装置１２のバンク及びパッドスイッチＢ１〜Ｂ３，Ｐｄ１〜Ｐｄ８を操作すると、録画モードＲＭにおける画像データ格納と同様に、この操作により発生されるパッド操作イベントＩｖのイベントＩＤに対応する専用ＲＡＭ７２内のパッドから、パッド画像データが読み出されて再生される。
【００６４】
これに対して、外部制御モード（ＭＩＤＩモード）ＭＭは、外部制御モード指定スイッチ（ＭＩＤＩボタン）Ｍ１が押圧操作されたときの再生モードである（スイッチ機能要素ｍ１がオフ）。外部制御モードＭＭでは、データ読出部７３によって、外部のＭＩＤＩ機器１６から入力されるＭＩＤＩ信号からＭＩＤＩイベントのノートデータを検出すると、このノートデータに対応するイベントＩＤに基づいて、専用ＲＡＭ７２の所定パッドからパッド画像データが選択的に読み出されて再生される。
【００６５】
つまり、各パッド操作イベント及びＭＩＤＩイベントにはイベントＩＤ（“Ａ−１”〜“Ｃ−８”）が割当て設定され、専用ＲＡＭ７２の各パッド（“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”）に個々に対応しているので、画像再生時ＰＭ，ＭＭにおいて、パッド操作イベント又はＭＩＤＩイベントが発生すると、ＣＰＵ１は、この設定に従って専用ＲＡＭ７２内のパッド（ＢＡＮＫ・ＰＡＤ）を指定する。そして、データ読出部７３は、ＣＰＵ１の制御指示に従って、専用ＲＡＭ７２の複数のパッドにそれぞれ記憶された複数のパッド画像データの中から、パッド操作イベント又はＭＩＤＩイベントに対応するパッド画像データを選択的に順次読み出して映像制御部７４に送り出す。
【００６６】
データ読出部７３によるデータ読出し態様などの再生手順については、再生出力パラメータ（再生出力条件）に従って、通常の読出し手順の外に、逆方向から読み出したり（リバース）、専用ＲＡＭ７２中から選択された画像データの一部又は全部を何回も繰り返して再生する（ループ）などの手順が適用することができる。この場合、ループ再生に対しては、記録モードＲＭやジョブモードＪＭで、予めパッド画像データのエンド（終了）位置とループ開始位置を適切に設定して、画像の切落しや空白画像の発生などの破綻をなくしてシームレスに再生するよう考慮する必要がある。
【００６７】
映像制御部７４は、ＣＰＵ１の制御指示のもと、データ読出部７３で読み出されたパッド画像データを、パネル操作子装置１２での設定に基づく再生加工パラメータ（再生加工条件）に従って、所望の映像効果（エフェクト）が施された映像信号に変換すると共に、ビデオ乃至全体映像効果パラメータに従って、映像再生器１４から実時間で入力されるビデオ信号との合成処理なども実行する。なお、この映像効果は、パッド画像データ及びビデオ信号の何れの画像にも掛けることができる。
【００６８】
映像再生時に付与される映像効果には、輝度、色合い、映像ディスプレイ１５の画面に対する大きさ、画面上の画像位置（Ｘ，Ｙ）、他の映像との合成の仕方などが含まれる。なお、発生されたイベントに対応するパッドにパッド画像データが録画されていないときには、透過画面となる。
【００６９】
合成処理については、映像制御部７４は、データ読出部７３からのパッド画像情報を（例えば、主画像として）受けると共に、映像再生器１４からのビデオ信号により実時間で再生される（所謂“たれ流し”）ビデオ情報を（例えば、背景画像として）受けて、両情報を合成した映像信号を生成し、映像ディスプレイ１５に両者を合成した映像を表示させる。この場合、再生映像及びビデオ映像の大きさ及び位置パラメータの設定や、映像全体の合成パラメータ（例えば、Ａｎｄなどの混合パラメータやＰＡＤｏｎＶＩＤＥＯなどの重合せパラメータ）によって、パッド画像データによる再生映像をビデオ実時間映像に重ね合せたり、これらの映像を別々の画面領域に表示させ各表示領域を変化させていくなど、必要に応じて、種々の映像演出効果を採用することができる。
【００７０】
また、合成処理には、複数のパッド画像データを同時に再生することも含まれる。この場合も、パッド画像データ同士の混合態様（Ａｄｄ／Ａｎｄ／Ｏｒ／Ｘｏｒなど）を混合パラメータで設定して、複数の再生映像について論理和（Ｏｒ）や論理積（Ａｎｄ）などの単純な論理演算で混合したり、それぞれに関連するクロスフェードなどをかけるなど、必要な映像効果を任意に適用することができる。
【００７１】
なお、画像再生モードＰＭ，ＭＭにおいては、オーディオシーケンサなどの外部ＭＩＤＩ機器１６からのＭＩＤＩ信号に含まれる制御コードやＭＩＤＩクロックにより、動画処理回路７の動作を制御することができる。パネル操作子装置１２によりＭＩＤＩチャンネルをセットしておくと、例えば、ＭＩＤＩ信号中の制御コードにより、パネル操作子装置１２の各種パラメータ設定スイッチに代って同様のパラメータ設定を行うことができる。また、ＭＩＤＩ信号中のＭＩＤＩクロック（Ｆ８）によって映像の再生時間をテンポに合わせることができる。
【００７２】
後者については、「テンポに合わせた再生」（ＬｏｏｐＴｒＰｌａｙ）をセットしておくと、ＣＰＵ１は、テンポ設定の対象となるＭＩＤＩチャンネルのＭＩＤＩ信号に含まれるＭＩＤＩクロック（Ｆ８）に基づいて読出し速度を演算し、データ読出部７３を制御する。これにより、専用ＲＡＭ７２から読み出すパッド画像データの再生時間を制御しつつループ読出しを行い、パッド画像データの再生と外部ＭＩＤＩ機器１６の演奏との同期を取ることができる。
【００７３】
さらに、再生モードＰＭ，ＭＭにおいて、再生パラメータに基づき映像処理された各パッド画像データは、必要に応じて、パッド画像データ記録スイッチＷＲの操作により、映像制御部７４から動画録画部７１を介して、専用ＲＡＭ７２内の元のパッド画像データに対応する所定記憶領域に記憶しておくことができる。
【００７４】
＜再生フラグＲＦ＞
この発明の一実施例においては、再生モードＰＭ，ＭＭにおけるパッド画像データの再生状態を表わす指標として、パッド画像データ毎に設けられる「再生フラグＲＦ」が用いられる。この再生フラグＲＦは、再生モードの初期状態では“００”であり、例えば、或るパッド画像データについてオンイベントが発生すると、このパッド画像データは、再生フラグＲＦが“１１”となり、その映像の再生が開始される。この再生が、イベント発生やパッド画像データの読出し終了などによって、中断乃至停止されると、再生フラグＲＦが“１０”となり、再生を一時停止した状態になる。
【００７５】
なお、プレイモードＰＭにおいて、バンクスイッチＢｉ及びパッドスイッチＢｄｊの押圧（同一バンクの指定が続くときはパッドスイッチＰｄｊの操作）により発生するパッド操作イベントや、外部制御モードＭＭにおいて、外部ＭＩＤＩ機器１６からのＭＩＤＩ信号のノートデータの受信により発生するＭＩＤＩイベントを、単に「イベント」と呼び、パッドスイッチＰｄｊの押圧開始やＭＩＤＩイベントのノートオン検出によるイベントの開始を「オンイベント」、パッドスイッチＰｄｊの押圧状態からの離脱（押圧解除）やノートオフ検出などによるイベントの終了を「オフイベント」という。
【００７６】
また、再生の一時停止中（ＲＦ＝“１０”）に、同一パッド画像データに対してオンイベントが再発生すると、再生フラグＲＦが“１１”に戻って映像再生が再開される。或るパッド画像データの再生中（ＲＦ＝“１１”）或いは一時停止中の状態は「再生動作中」と呼ばれ、再生動作中（ＲＦ＝“１１”又は“１０”）のパッド画像データの数が所定数（パッド画像データの効果付与に利用可能な効果モジュールの数に応じて決定される。例えば、“３”）に応じた数に達している場合に、他のパッド画像データのオンイベントが発生すると、再生フラグＲＦは“００”にリセットされる。また、他の録画モードやジョブモードに切り換わった場合は、全てのパッド画像データの再生フラグＲＦが強制的に“００”にリセットされる。
【００７７】
なお、先のイベントによる動画を再生動作中に次のイベントが新たに発生した場合には、この実施例では、先のイベントに応じた動画の再生を中止し（ＲＦ→“００”）、新たなイベントに応じた動画を再生開始することを原則としているが、先のイベントに対して何らかのオフ指令がない限り、先のイベントに応じた動画の再生動作を継続しつつ（ＲＦ＝“１１”又は“１０”）、次のイベントに応じた動画の再生を開始するようにしてもよい。
【００７８】
（３）ジョブモードＪＭ
ジョブモード（ＪＯＢモード）ＪＭは、ジョブモード指定スイッチ（ＪＯＢボタン）Ｍ３が押圧操作されたときのモードである（スイッチ機能要素ｍ３がオフ）。ジョブモードＪＭでは、まず、各種ジョブ処理の指示に転用されるパッドスイッチＰｄ１〜Ｐｄ８を用いて、各種ジョブ処理を行うことができる。ジョブ処理では、前述したように、ディスプレイ１３の表示制御、パラメータの標準値へのリセット、パッド画像データの移動、複写、保存、ロード、消去、受信ＭＩＤＩチャンネルの設定などを行うことができる。
【００７９】
例えば、再生モードＰＭ，ＭＭで専用ＲＡＭ７２に記録された再生パラメータが反映された映像処理済みパッド画像データは、このジョブモードＪＢにおいて、セーブ操作（Ｐｄ５）によって、ＲＡＭ７２からデータ転送部を介して外部記憶装置４に保存することができる。なお、この保存に当っては、映像処理済みパッド画像データにリンクされて同時に保存される管理データ中の再生パラメータは、標準値にリセットされる。
【００８０】
ジョブモードＪＭでは、上述のジョブ処理の外に、他のパネル操作子を用いて種々の設定が可能であり、例えば、オフラインで、再生パラメータの設定／変更や、複数パッド画像データ間における再生加工（映像効果）パラメータ適用の優先度、スタート及びエンド位置などの設定を行うことができる。
【００８１】
〔再生パラメータ〕
上述した再生出力設定スイッチＲ１〜Ｒ３により設定される再生出力（再生手順）パラメータ（再生出力条件とも呼ばれる）や、効果指定スイッチ群ＥＰ及び効果設定ダイヤルＤ１，Ｄ２で設定される再生加工（映像効果）パラメータ（再生加工条件とも呼ばれる）は、各パッド画像データについては「再生パラメータ」又は「再生条件」と総称され、専用ＲＡＭ７２に記憶される。また、ビデオ信号（“ＶＩＮ”）に対するビデオ映像効果パラメータや、パッド画像データ及びビデオ信号の映像全体（“ＴＯＴ”）に対する全体映像効果パラメータも、全パッド画像データ（ＩＭａ１〜ＩＭｃ８）のセットに対応して専用ＲＡＭ７２に記憶される。そして、これら各パッド画像データ毎の再生パラメータ及びビデオ乃至全体映像効果パラメータは、ジョブモードでのセーブスイッチＰＤ５の操作によって外部記憶装置４に、管理データとして保存することができる。また、外部記憶装置４に保存された再生パラメータや映像効果パラメータを含む管理データは、再度、専用ＲＡＭ７２上にロードすることができる。
【００８２】
図５は、この発明の一実施例による再生パラメータの簡単な一構成例を示す。再生パラメータのうち、再生出力（再生手順）パラメータ（再生出力条件）は、例えば、図５の上段に示すように、イベントの発生及び終了（オン／オフイベント）による再生の開始及び停止の仕方を設定する「ゲート／トリガ」パラメータ、再生を再開する場合の再開位置を設定する「タイプ１／タイプ２」パラメータ、１回再生又はループ再生を設定する「ワンショット／ループ」パラメータ、並びに、読出し方向を設定する「ノーマル／リバース」パラメータ、一時停止態様を設定する「タイプＡ／Ｂ」パラメータから成る。
【００８３】
これら５種のパラメータは、図３のスイッチ構成例では、３つの再生出力設定スイッチＲ１〜Ｒ３を用いて設定することができ、設定中及び設定後の各パラメータは、本体ディスプレイ１３の表示で確認することができる。このスイッチ構成に対応して、図５の上段の例では、図３のスイッチ構成に対応して、「ゲート／トリガ」パラメータには、「タイプ１／タイプ２」と呼ばれる再開位置パラメータを含ませ、「ノーマル／リバース」には、「タイプＡ／タイプＢ」の一時停止パラメータを含ませている。
【００８４】
「ゲート／トリガ」パラメータによる再生開始・終了モードと「タイプ１／タイプ２」パラメータによる再開モードは、「ゲート／トリガ」スイッチ（“Ｇａｔｅ／Ｔｒｉｇ”）Ｒ１を用いてセットされる。この場合、「ゲート／トリガ」スイッチＲ１を操作する毎に、図５に示されるように、“ｇａｔｅ１”→“ｇａｔｅ２”→“ｔｒｉｇｇｅｒ１”→“ｔｒｉｇｇｅｒ２”の順で循環的に本体ディスプレイ１３にパラメータ名が表示されるので、操作を停止したところで所望のパラメータをセットすることができる。
【００８５】
システムが再生モード（プレイモードＰＭ及び外部制御モードＭＭ）にあるときに“ｇａｔｅ１”又は“ｇａｔｅ２”が設定されている場合は、「ゲート」モードとなり、オンイベントが発生すると、対応するパッド画像データの再生を開始し、再生フラグＲＦを“１１”とする。また、同じパッド画像データに対してオフイベントが発生すると、再生フラグＲＦを“１０”として、再生を中断し一時停止状態となる。
【００８６】
これに対して、“ｔｒｉｇｇｅｒ１”又は“ｔｒｉｇｇｅｒ２”が設定された場合は「トリガ」モードとなり、オンイベントで一旦再生を開始すると（ＲＦ→“１１”）、オフイベントの発生に拘わらず再生を続行する（ＲＦ＝“１１”）、次に、同じパッドのオンイベントが再発生すると、映像再生中であれば（ＲＦ＝“１１”）再生を中断する（ＲＦ→“１０”）。ただし、次のオンイベントの再発生時点で、後述する「ワンショット」モードで画像データの読出しがエンド位置に到達するなどによって当該画像データの再生が既に一時停止していれば（ＲＦ＝“１０”）、映像再生が再開される（ＲＦ→“１１”に復帰）。
【００８７】
また、再生モードＰＭ，ＭＭにおいて、“ｇａｔｅ１”又は“ｔｒｉｇｇｅｒ１”が設定されている場合は、「タイプ１」の再開モードとなり、再生を中断又は停止しているときに（ＲＦ＝“１０”）、再度、オンイベントが生じると、前回中断又は停止した位置（現在位置）からパッド画像データの再生を開始する（ＲＦ→“１１”）。一方、“ｇａｔｅ２”又は“ｔｒｉｇｇｅｒ２”の設定時には、「タイプ２」の再開モードとなり、必ず、パッド画像データの先頭位置（冒頭又は予め設定されたスタート位置）から再生を再開する。
【００８８】
なお、「ゲート」モードが設定されている場合、ＭＩＤＩ信号を利用する外部制御モードＭＭにおいては、或るパッド画像データについてオンイベントが発生した後オフイベントが発生する前に（ＰＦ＝“１０”）、同一パッドのオンイベントが再発生した場合は、このオンイベント再発生によって再生が続行される。この場合、当該パッド画像データに設定されている再開位置パラメータ（タイプ１／２）が有効となり、「タイプ１」の設定時には、オンイベント再発生時点でパッド画像データを読み出していた位置（現在位置）で再生を持続し、「タイプ２」の設定時には、パッド画像データの先頭位置〔冒頭位置（非設定の場合のスタート位置）又は予め設定されたスタート位置〕から再生をし直す。
【００８９】
「ワンショット／ループ」パラメータについては、「ワンショット／ループ」スイッチ（“１ｓｈｔ／Ｌｏｏｐ”）Ｒ２を操作する毎に、パラメータ名“ｏｎｓｈｏｔ”，“ｌｏｏｐ”が交互に表示されるので、操作を停止したところで何れかのパラメータをセットすることができる。
【００９０】
システムが再生モードにあるときに“ｏｎｓｈｏｔ”が設定されている場合は、「ワンショット」モードとなり、パッド画像データを終了位置〔最終位置（非設定の場合のエンド位置）又は予め設定されたエンド位置〕まで再生し終えると、再生を停止する（ＲＦ→“１０”）。一方、“ｌｏｏｐ”が設定された「ループ」モードにおいては、パッド画像データの最後まで再生すると、先頭位置〔冒頭位置、或いは、予め設定されたスタート位置又はループ開始位置（画像データ終了位置からループ動作のために戻る先頭位置であり、読取り当初のスタート位置とは異なる位置に設定されている場合、特に、「ループ開始位置」と呼ぶ。）〕に戻って再生を続行する（ＲＦ＝“１１”）。
【００９１】
「ノーマル／リバース」パラメータによる方向モードと「タイプＡ／タイプＢ」パラメータによる一時停止モードは、「ノーマル／リバース」スイッチ（“Ｎｏｒｍ／Ｒｅｖｒ”）Ｒ３を用いてセットされる。この場合、「ノーマル／リバース」スイッチＲ３を操作する毎に、図５に示されるように、“ｎｏｒｍａｌＡ”→“ｎｏｒｍａｌＢ”→“ｒｅｖｅｒｓｅＡ”→“ｒｅｖｅｒｓｅＢ”の順で循環的に本体ディスプレイ１３にパラメータ名が表示されるので、操作を停止したところで所望のパラメータをセットすることができる。
【００９２】
システムが再生モードにあるときに“ｎｏｒｍａｌＡ”又は“ｎｏｒｍａｌＢ”が設定されている場合は、「ノーマル」モードとなり、パッド画像データを順方向に再生する。これに対して、“ｒｅｖｅｒｓｅＡ”又は“ｒｅｖｅｒｓｅＢ”が設定された場合は「リバース」モードとなって逆方向に再生する。
【００９３】
この設定スイッチの例では、ノーマル又はリバースモードの設定に併せて、パッド画像データの再生を中断又は停止（「一時停止」と呼ぶ。）させるときの映像表示の仕方を、一時停止モードの「タイプＡ／Ｂ」で設定することができる。まず、一時停止モードが「タイプＡ」（“ｎｏｒｍａｌＡ”又は“ｒｅｖｅｒｓｅＡ”）に設定されている場合は、一時停止（ＲＦ＝“１１”→“１０”）が指令されると、その時点で再生していた映像を映像ディスプレイ１５に静止画で表示したままにしておく。一方、「タイプＢ」（“ｎｏｒｍａｌＢ”又は“ｒｅｖｅｒｓｅＢ”）の設定時には、一時停止（ＲＦ→“１０”）の指令によって、映像をディスプレイ表示から消去し黒レベル（透過）とする。
【００９４】
なお、上述の設定例では、３つのスイッチＲ１〜Ｒ３を用いて、「ゲート（イベントのオン期間だけ画像再生）／トリガ（オンイベントに応じて再生又は停止）」、「タイプ１（一時停止位置から再生を再開）／タイプ２（常に頭から再生）」、「ワンショット（１回だけ再生）／ループ（繰返し再生）」、「ノーマル（正方向に再生）／リバース（逆方向に再生）」及び「タイプＡ（一時停止指示で静止映像表示）／タイプＢ（一時停止指示で映像消去）」という５種の再生出力パラメータの選択を行うようにしたが、これに限らず、パラメータ種別に１対１で対応するスイッチを用いるなど、任意のスイッチ構成を採用することができる。
【００９５】
再生加工パラメータ（再生加工条件）については、既に説明したように、「輝度」パラメータは、記録されているパッド画像データに基づいて映像の輝度を明るくしたり暗くしつつ再生させ、「色合い」パラメータは、記録されている画像の色合いを修正しつつ再生させ、「大きさ」パラメータは、映像ディスプレイ１５の画面に対して再生される映像の割合を指示し、「合成（混合）」パラメータは、複数の再生映像間の混合態様を指示し、「位置」パラメータは、画面に対する再生映像の位置を指示するのに用いられる。これらの再生加工パラメータは、パッド画像データの指定後、効果指定スイッチ群ＥＰ及び効果設定ダイヤル（ＥＦＦＣＴＣＮＴＲ．１，２）Ｄ１，Ｄ２を操作し、所望のパラメータ値又はパラメータテーブルを選択することによって、例えば、図５の下段に示されるようにセットすることができる。なお、この例以下では、合成（混合）パラメータの例示が省略されている。
【００９６】
再生加工パラメータの設定手順の一例を挙げると、バンクスイッチＢ１〜Ｂ３及びパッドスイッチＰｄ１〜Ｐｄ８により或るパッド画像データを指定し、効果指定スイッチ群ＥＰ内の何れかのスイッチを操作する。これにより、本体ディスプレイ１３には、当該パッド画像データについて、全効果指定スイッチに対応する映像効果の現在の設定状態（当初は標準デフォルト値）を効果設定ダイヤルＤ１，Ｄ２毎に一覧表示した効果設定画面が現れる。ここで、効果設定ダイヤルＤ１，Ｄ２を操作すると、操作した効果指定スイッチで指定された映像効果のパラメータ値が調整され、効果設定画面上の当該再生加工パラメータは、この操作に対応して調整されたパラメータ値に変更される。
【００９７】
この場合、指定された映像効果の種類によっては（例えば、「輝度」や「色合い」など）、効果設定ダイヤルＤ１，Ｄ２により所望の効果テーブルを選択し、選択された効果テーブルで所望の映像効果を設定することができる。なお、図３の例では、２つの効果設定ダイヤルＤ１，Ｄ２を用いているので、「輝度」及び「色合い」については最大４種の再生加工パラメータ（輝度又は色合いのテーブルタイプ、ゲイン、オフセット等）を設定することができ、「大きさ・合成」及び「位置」については夫々２種の再生加工パラメータ〔サイズ（大きさ）及び他のパッド画像データ混合態様、Ｘ及びＹ座標値（位置）〕を設定することができる。
【００９８】
再生加工パラメータは、上述したものに限らず、例えば、映像の各ピクセル色をパッド画像データの補色に反転させる「ネガ効果」、ぼかしや先鋭化などの「フィルタ効果」、閾値による「白黒化効果」、或いは、フェードイン／アウトなどパッド画像データ切換時の「切換え効果」など、必要に応じて、任意のパラメータを適用することができる。
【００９９】
再生出力パラメータや再生加工パラメータなどの再生パラメータは、プレイモードＰＭやジョブモードＪＭで、パネル操作子装置１２及び本体ディスプレイ１３を用いて設定／変更が可能である。設定された再生パラメータは、各パッド画像データ“ＩＭａ１”〜“ＩＭｃ８”にリンクされ、再生条件（再生出力条件及び再生加工条件）として管理データ中に記録される。図６は、この発明の一実施例による管理テーブル中の再生パラメータの簡単な一設定例を示す。図６の例では、２４個のパッド画像データ“ＩＭａ１”〜“ＩＭｃ８”の夫々に対応して、５種の再生出力条件と４種の再生加工条件から成る９種の再生条件が管理データ中に記憶される。
【０１００】
図６に示されるような再生条件を含む管理データは、ジョブモード下のセーブスイッチＰｄ５（ＳＡＶＥ）により外部記憶装置４にセーブすることができる。また、ジョブモード下のロードスイッチＰｄ６（ＬＯＡＤ）により、パッド画像データセット（ＩＭａ１〜ＩＭｃ８）と共に外部記憶装置４から専用ＲＡＭ７２上に管理データをロードした後、再生モードにおいて、この再生パラメータに基づいて各パッド画像データを再生することができる。
【０１０１】
図６を用いてこの発明による映像出力システムの機能の概略を説明すると、次のとおりである。複数の画像データ（パッド画像データ）ＩＭａ１〜ＩＭｃ８及び管理データが、複数のイベントＡ−１〜Ｃ−８にそれぞれ対応して、画像メモリ（動画処理回路７内の専用ＲＡＭ）に記憶される。管理データには、対応する画像データＩＭａ１〜ＩＭｃ８の再生態様を制御するための再生条件（再生パラメータ）が含まれ、再生条件には、各画像データＩＭａ１〜ＩＭｃ８の読出し態様を制御する再生出力条件（再生出力パラメータ）と、読み出された画像データの映像効果を制御する再生加工条件（再生加工パラメータ）が含まれる。例えば、或るイベントＡ−２が入力されると、イベントＡ−２に対応する再生条件“ｔｒｉｇｇｅｒ２”〜“左上”が専用ＲＡＭから読み出され、読み出された再生条件に基づいて、イベントＡ−２に対応する画像データＩＭａ２の再生態様を制御し、再生パラメータが反映された画像データが生成される。
【０１０２】
〔処理例〕
図７〜図９は、この発明の一実施例による映像出力処理のフローチャートである。電源投入によりこの映像出力処理プログラムの実行を開始すると、ＲＡＭ３，７２の内容がクリアされシステムの初期設定が行われ、例えば、各種映像出力制御パラメータが標準値にリセットされる。そして、図７〜図９に示される映像出力処理フローに基づく処理が電源オフまで繰り返し実行される。なお、この映像出力処理においては、パネル操作子装置１２の操作状況や外部機器からの信号を受け付けて、各種モードやパラメータの設定を行うパネル設定や、パネル設定されたモードやパラメータに基づいてパッド画像データや映像信号の入出力を制御する再生処理の外に、パッド画像データの入力（録画）及び転送（保存／ロード）などの処理も行われる。
【０１０３】
図７において、最初のステップＰ１では、パネル操作子装置１２の何れかの操作子が操作され設定入力があったか否かの判定を行い、パネル設定操作子の入力がなければ、ステップＰ２に進み、外部ＭＩＤＩ機器１６からの信号入力があったか否かの判定を行う。ここで、パネル操作子装置１２或いは外部ＭＩＤＩ機器１６から何らかの入力があると（Ｐ１，Ｐ２→ＹＥＳ）、ステップＰ３に進んで、入力が映像出力に関連する指示であるか否かを判定し、映像出力に関連する指示が検出されると（Ｐ３→ＹＥＳ）ステップＰ４に進む。
【０１０４】
ステップＰ４では、パッド記録データ再生の指示であるか否かを判定し、パッド操作イベント或いはＭＩＤＩイベントが発生したことによるパッド記録データの再生指示であれば（Ｐ４→ＹＥＳ）、ステップＰ５で再生処理（図１０及び図１１）を実行する。
【０１０５】
また、ステップＰ２で、外部ＭＩＤＩ機器１６からの信号入力もないと判定されたときは（Ｐ１，Ｐ２→ＮＯ）、ステップＰ６に進んで、パッド画像データに基づく映像再生の動作中であるか否かを再生フラグＲＦから判定する。ここで、映像再生の動作中であれば（Ｐ６→ＹＥＳ）、ステップＰ５の再生処理（図１０及び図１１）に進む。すなわち、データ読出部７３及び映像制御部７４により再生専用ＲＡＭ７２のパッド画像データに基づいて映像を再生する動作を行っているときは、当該パッド画像データの再生フラグＲＦ＝“１１”（動的に映像表示中）又は“１０”（動的な映像表示を一時停止中）であるので、ステップＰ５に進む。これに対して、このような映像再生の動作を行っていないときは、再生フラグＲＦ＝“００”であるため（Ｐ６→ＮＯ）、ステップＰ１にリターンする。
【０１０６】
一方、ステップＰ４で、パッド記録データ再生の指示ではないと判定されたときは（Ｐ４→ＮＯ）、ステップＰ７（図８）に進み、さらに、外部の映像再生器１４からの実時間映像信号を取り込んで出力する指示であるか否かを判定する。ここで、外部映像信号の出力指示であると（Ｐ７→ＹＥＳ）、ステップＰ８で、入力映像信号を出力する指令を発生する。すなわち、映像再生器１４から入力される外部映像信号を映像制御部７４を介して映像ディスプレイ１５の映像出力画面に出力させる指令を発生する。
【０１０７】
これに対して、ステップＰ７で外部映像信号の出力指示でないと判定されると（Ｐ７→ＮＯ）、ステップＰ９に進んで、外部映像信号の出力を停止する指示であるか否かを判定し、映像信号出力停止の指示であれば（Ｐ９→ＹＥＳ）、更にステップＰ１０に進み、入力映像信号の出力を停止させる指令を出す。ステップＰ８，Ｐ１０の処理後は、次のステップＰ１１で各指令を映像制御部７４に与え、映像出力画面における入力映像を、映像制御部７４により各指令に対応するように制御する。
【０１０８】
また、ステップＰ９で、入力映像信号の出力停止の指示でもないと判定されたときは（Ｐ９→ＮＯ）、ステップＰ１２に進み、映像出力に関連するその他の指示を受け付けて実行する。この場合のその他の指示には、パッド画像データの再生中でない場合のビデオ映像乃至映像全体に対するビデオ乃至全体映像効果パラメータに関する諸設定や、リボンコントローラ、スクラッチパッド、映像ディスプレイ１５に表示される映像全体のゲインを調整するボリュームダイヤルＤ０などのリアルタイム操作による映像信号への制御指示などがあり、これらの指示に基づき設定される実時間パラメータなどに従って、随時、映像制御部７４を動作させることができる。そして、ステップＰ１１，Ｐ１２の処理後は、ステップＰ１（図７）にリターンする。
【０１０９】
さて、ステップＰ３（図７）において、映像出力に関連する指示でないと判定されると（Ｐ３→ＮＯ）、ステップＰ１３（図８）に進んで、画像データを記録する指示であるか否かを判定し、画像データ記録の指示でないときは（Ｐ１３→→ＮＯ）、さらに、ステップＰ１４に進む。ステップＰ１４では、データの保存／ロードに関する指示であるか否かを判定し、ＪＯＢボタンＭ３に加えてパッドスイッチＰｄ５，Ｐｄ６を操作してデータの保存又はロードを指示したときは（Ｐ１４→ＹＥＳ）、ステップＰ１５に進み、指示に対応してデータの保存又はロードを行い、その後、ステップＰ１（図７）にリターンする。
【０１１０】
つまり、プレイモードＰＭを含む各種モードでは、パッド画像データやこれに付随する管理データ（再生出力条件や再生加工条件などの再生条件を含む）などが得られるが、これらのデータは、ステップＰ１５において、画像転送部７６を介して専用ＲＡＭ７２からメモリカード等の外部記憶装置４にセーブすることができる。また、このステップＰ１５では、ジョブモードＪＭで、逆に、外部記憶装置４に保存されたパッド画像データや管理データのセットを画像転送部７６を介してＲＡＭ７２上にロードし、再生モードにおいて、これらのデータセットをプレイモードＰＭでの映像再生に用いることができる。
【０１１１】
一方、データの保存又はロードでなければ（Ｐ１４→ＮＯ）、ステップＰ１６に進み、受け付けたその他の指示に基づいて、その他の処理を実行した後、ステップＰ１にリターンする。ステップＰ１６におけるその他の処理には、ＪＯＢボタンＭ３を押圧操作してジョブモードＪＭとした後ユーザのパネル操作に基づいて行われるジョブモードＪＭでの各種処理（上述した「データ保存又はロード」のジョブ処理を除く）が含まれる。例えば、ＪＯＢボタンＭ３の操作後に他のパッドスイッチ（Ｐｄ１〜Ｐｄ４，Ｐｄ７，Ｐｄ８）を用いて行われるジョブ処理では、ディスプレイ１３の表示制御、パラメータの標準値へのリセット、ＲＡＭ７２内でのパッド画像データや再生パラメータの移動、複写、消去、受信ＭＩＤＩチャンネルの設定などを行うことができる。
【０１１２】
また、このジョブモードＪＭでは、他のパネル操作子を用いて種々の設定作業を行うことができる。例えば、パッド画像データの再生出力（再生手順）パラメータや映像効果（エフェクト）パラメータなどの再生パラメータや、ビデオ映像乃至映像全体に対するビデオ乃至全体映像効果パラメータに関する諸設定やそれらの変更を、本体ディスプレイ１３の表示援助によりオフラインで行うことができ、設定／変更されたパラメータは管理データとして記憶／更新させておくことが可能である。
【０１１３】
さて、ステップＰ１３で、ＲＥＣボタンＭ２が操作されて画像データを記録する指示であると判定されたときは（Ｐ１３→ＹＥＳ）、ステップＰ１７〜Ｐ２４（図９）の記録モードＲＭでの処理に進む。まず、ステップＰ１７では、バンク及びパッドスイッチＢｉ，Ｐｄｊの選択的操作に基づく割当て位置（パッド）の選択を受け付ける。つまり、バンク及びパッドスイッチＢｉ，Ｐｄｊの操作で選択された記録時パッド操作イベントＩｖを受け付け、このイベントＩｖに対応するイベントＩＤ記号（Ａ−１〜Ｃ−３）により、記録すべき画像データが割り当てられる専用ＲＡＭ７２（画像メモリ）上の記録領域（パッド）を決定する。
【０１１４】
次いで、ステップＰ１８で記録開始の受付けを行い、さらに、ステップＰ１９で記録開始の指示があったか否か判定し、記録開始が指示されるまで（Ｐ１９→ＮＯである間は）、ステップＰ１８，Ｐ１９の動作を繰り返す。ここで、スタート／ストップスイッチ（Ｓ／Ｓ）が操作されて記録開始が指示されると（Ｐ１９→ＹＥＳ）、ステップＰ２０に進んで、動画録画部７１を動作させて記録を開始し、ステップＰ１７で決定されたイベントＩＤ（Ａ−１〜Ｃ−８）をもつ専用ＲＡＭ７２上の記録領域即ちパッド（ＢＡＮＫ−Ａ・ＰＡＤ１〜ＢＡＮＫ−Ｃ・ＰＡＤ８）に、映像再生器１４からの入力映像信号に基づく画像データを記憶する。
【０１１５】
次のステップＰ２１では、記録停止の受付けを行い、さらに、ステップＰ２２で記録停止の指示があったか否か判定し、記録停止が指示されるまで（Ｐ２２→ＮＯである間は）ステップＰ２１，Ｐ２２の動作を繰り返す。ここで、スタート／ストップスイッチ（Ｓ／Ｓ）が再操作されて記録停止が指示されると（Ｐ２２→ＹＥＳ）、ステップＰ２３に進んで記録を停止し、続くステップＰ２４では、画像データ録画条件（画質、分解能など）に関する管理データを作成し、記録されたパッド画像データに対応させて専用ＲＡＭ７２に記憶する。
【０１１６】
そして、管理データ作成後は、今回の記録モード処理（Ｐ１７〜Ｐ２４）を終えてステップＰ１（図７）にリターンする。従って、前回の記録モード処理で得られたパッド画像データ及び管理データ（録画条件）は、この後の回で実行される映像出力処理において、ジョブ処理の保存モードでステップＰ１５に進んだ際に、専用ＲＡＭ７２から外部記憶装置４に保存することができる。
【０１１７】
〔再生処理〕
図１０及び図１１は、この発明の一実施例による再生処理のフローチャートである。この再生処理は、映像出力処理のステップＰ５（図７）で実行され、以下の説明では、ステップＰ１５（図８）のロード処理により、所望のパッド画像データセット及びこれに対応する管理データセットが専用ＲＡＭ７２上に既にロードされているものとして説明する。
【０１１８】
この再生処理フローでは、まず、ステップＳ１では、入力がオンイベントであるか否かを判定し、オンイベントであるときは（Ｓ１→ＹＥＳ）、ステップＳ２に進む。ステップＳ２では、当該オンイベントにより指定されるパッド画像データの再生フラグＲＦを調べて、指定されたパッドに記憶されているパッド画像データについて、現在、映像の再生動作中であるか否かを判定する。ここで、指定されたパッド画像データの再生フラグＲＦ＝“００”であり、この画像データが未だ再生動作段階に入っていない（新たなパッド画像データの再生が指示されている）ときは（Ｓ２→ＮＯ）、ステップＳ３に進む。
【０１１９】
ステップＳ３では、新たに指定されたパッド画像データの再生フラグＲＦを“００”→“１０”とし、データ読出部７３によって、指定されたパッド画像データに対応する管理データを専用ＲＡＭ７２から読み出して再生条件（再生パラメータ）の設定を行う。この場合、他のパッド画像データに再生フラグＲＦ＝“１１”又は“１０”で再生動作中のものがあり、再生動作中のパッド画像データの数が所定数（例えば“３”）に達していたときは、新たなパッド画像データに対応する管理データの読出しの前に、再生動作中のパッド画像データのうち、最初に再生動作に入ったパッド画像データの再生フラグＲＦを“００”にクリアして当該パッド画像データの再生動作の終了処理を指示する。
【０１２０】
次のステップＳ４では、設定された再生条件のうち再生出力条件（再生出力パラメータ）に従って当該パッド画像データを専用ＲＡＭ７２から読み出して映像制御部７４に送り出すように指令する。例えば、再生出力パラメータとして「ノーマル（ｎｏｒｍａｌ）」が設定されている場合には、オンイベントに応じてパッド画像データを正方向に再生し「リバース（ｒｅｖｅｒｓｅ）」が設定されている場合には、逆方向に再生する。
【０１２１】
続いて、ステップＳ５では、映像制御部７４により、再生出力パラメータに従ってデータ読出部７３から読み出される画像データに対して、設定されている再生条件のうち再生加工条件（再生加工パラメータ）に従った再生加工（映像効果の付加）手順で映像処理を実行する。ステップＳ６で実行される映像処理には、再生加工パラメータに基づいて、輝度、色合い、大きさ、位置などを調整する効果付加処理が含まれる。そして、ステップＳ６において、この映像処理により得られる映像を映像ディスプレイ上に出力するように指令し、その後、映像出力処理のステップＰ１（図７）にリターンする。
【０１２２】
一方、ステップＳ２において、指定されたパッド画像データの再生フラグＲＦ＝“１１”又は“１０”であり、この画像データに基づく映像の再生動作中であると判断されたときは（Ｓ２→ＹＥＳ）、ステップＳ７に進む。ステップＳ７では、さらに、当該パッド画像データの再生フラグＲＦ＝“１０”であり、映像の一時停止中であるか否かを判定する。
【０１２３】
ここで、指定されたパッド画像データの再生フラグＲＦが“１０”であり映像の再生が一時的に停止した状態であれば（Ｓ７→ＹＥＳ）、ステップＳ８に進んで、再生フラグＲＦを“１０”→“１１”とした上、ステップＳ４と同様に、データ読出部７３により、当該画像データを、対応する再生加工パラメータに従って所定位置から読み出して、再生加工条件と共に映像制御部７４に送り出し、映像制御部７４に、当該画像データの再生を再開位置パラメータ（タイプ１／２）に応じた所定位置から開始させる。
【０１２４】
例えば、当該画像データに「タイプ１」の再開位置パラメータ（ｇａｔｅ１，ｔｒｉｇｇｅｒ１）が設定されているときは現在位置即ち一時停止位置から再生を開始し、「タイプ２」の再開位置パラメータ（ｇａｔｅ２，ｔｒｉｇｇｅｒ２）のときは先頭（冒頭位置又は予め設定されたスタート位置）から再生を再開する。そして、ステップＳ５，Ｓ６の映像処理及び表示処理を実行した後、映像出力処理のステップＰ１（図７）にリターンする。
【０１２５】
一方、ステップＳ７で、当該パッド画像データの再生フラグＲＦ＝“１１”であり、この画像データに基づく映像が、一時停止中ではなく、再生中であると判断されたときは（Ｓ７→ＹＥＳ）、ステップＳ９に進んで、当該パッド画像データに「トリガ（ｔｒｉｇｇｅｒ）」が設定されているか否かを判定する。
【０１２６】
ここで、「トリガ」が設定されているときには（Ｓ９→ＹＥＳ）、ステップＳ１０に進み、再生中のパッド画像データの再生フラグＲＦを“１１”→“１０”とした上、設定されている一時停止パラメータ（タイプＡ／Ｂ）に応じて、この映像再生を一時停止させた後、映像出力処理のステップＰ１（図７）にリターンする。
【０１２７】
すなわち、「トリガ（ｔｒｉｇｇｅｒ）」が設定されている場合には、一旦オンイベントが発生すると（例えば、パッドスイッチＰｄｊを押して直ぐに離しても）、パッド画像データに基づく映像の再生が持続されるので（ＲＦ＝“１１”）、映像再生中に次に同じオンイベントが発生すると（例えば、もう一度同じパッドスイッチＰｄｊを押す）、ステップＳ１０にて、映像再生を一時的に停止する。この場合、一時停止パラメータに「タイプＡ」（ｎｏｒｍａｌＡ，ｒｅｖｅｒｓｅＡ）が設定されていれば、オンイベント時点で再生していた映像を映像ディスプレイ１５上に静止したままで表示する「静止表示」とする。また、「タイプＢ」（ｎｏｒｍａｌＢ，ｒｅｖｅｒｓｅＢ）の場合には、映像をディスプレイ表示から消去（透過）させ「非表示」（黒レベル）とする。
【０１２８】
これに対して、「トリガ」が設定されておらず「ゲート（ｇａｔｅ）」が設定されていると（Ｓ９→ＮＯ）、ステップＳ８に進み、再生している当該画像データを、その「タイプ１／２」パラメータに対応する所定位置から読み出して再生を続行し、再生フラグＲＦ＝“１１”を持続する。すなわち、既に説明したステップＳ７（ＹＥＳ）→Ｓ８の場合と同様に、「タイプ１」の再開位置パラメータ（ｇａｔｅ１）が設定されているときは現在読み出している位置から再生を続行し、「タイプ２」の再開位置パラメータ（ｇａｔｅ２）のときは先頭位置から再生をやり直す。そして、ステップＳ５，Ｓ６の映像処理及び表示処理を実行した後、映像出力処理のステップＰ１（図７）にリターンする。
【０１２９】
さて、ステップＳ１でオンイベントが指令されていないと判定されると（Ｓ１→ＮＯ）、ステップＳ１１に進み、再生パラメータ（パッド画像）や映像効果パラメータ（ビデオ又は全体）を設定する操作による入力であるか否かを判定する。ここで、再生出力パラメータ（例えば、ゲート／トリガ、タイプ１／２、ワンショット／ループ、ノーマル／リバース、タイプＡ／Ｂなど）の設定操作（Ｒ１〜Ｒ３）や再生加工又は映像効果パラメータ（例えば、輝度、色合い、大きさ、位置など）を設定する操作（ＥＰ；Ｄ１，Ｄ２）による入力があったときは（Ｓ１１→ＹＥＳ）ステップＳ１２に進む。
【０１３０】
ステップＳ１２では、検出された設定操作に応じて、再生中のパッド画像データに設定されている再生パラメータ（再生出力又は再生加工パラメータ）やビデオ又は全体映像に設定されている映像効果パラメータを変更し、その結果を専用ＲＡＭ７２に記録しておき、以後、当該パッド画像データについては、設定変更された再生条件に従ってパッド画像データを読み出し或いは映像処理を行い、ビデオ又は全体映像についても同様に映像処理を行うものとする。
【０１３１】
ステップＳ１１で再生パラメータや映像効果パラメータを設定する操作ではないと判定されたとき（Ｓ１１→ＮＯ）或いはステップＳ１２の処理後は、ステップＳ１３に進み、映像処理されたパッド画像データを記録すべき指示であるか否かを判定する。ここで、パッド画像データ記録スイッチＷＲの操作による画像データ記録の指示があると（Ｓ１３→ＹＥＳ）、ステップＳ１４に進んで、再生中のパッド画像データに現在設定されている再生条件を基にして映像再生の処理がなされたパッド画像データを、以後、専用ＲＡＭ７２の所定の記憶領域に記録しておく旨の指令を動画録画部７１に対して発生する。
【０１３２】
ステップＳ１３で画像データ記録指示でないと判定されたとき（Ｓ１３→ＮＯ）或いはステップＳ１４の処理後は、ステップＳ１５に進み、現在、再生動作中のパッド画像データの再生フラグＲＦが“１０”であって映像再生が一時停止中であるか否かを判定する。ここで、当該パッド画像データについて、映像再生動作が一時停止中（ＲＦ＝“１０”）であれば（Ｓ１５→ＹＥＳ）、直ちに、映像出力処理のステップＰ１（図７）にリターンし、再生フラグＲＦが“１１”で映像再生中であれば（Ｓ１５→ＮＯ）、ステップＳ１６に進む。
【０１３３】
ステップＳ１６においては、当該パッド画像データのオフイベントであるか否かを判定し、パッドスイッチＰｄｊの押圧解除やＭＩＤＩイベントのノートオフ検出などによりオフイベントが発生したときは（Ｓ１６→ＹＥＳ）、ステップＳ１７に進んで、さらに、当該パッド画像データに「ゲート」が設定されているか否かを判定する。ここで、「ゲート」が設定されていると（Ｓ１７→ＹＥＳ）、当該パッド画像データの再生フラグＲＦを“１０”として映像再生を一時停止させ、ステップＳ１０と同様に、設定されている一時停止パラメータが「タイプＡ」であるか或いは「タイプＢ」であるかに応じて、映像表示を静止表示或いは非表示とする。そして、この後、映像出力処理のステップＰ１（図７）にリターンする。
【０１３４】
すなわち、再生出力条件に「ゲート」が設定されている場合には（Ｓ１７→ＹＥＳ）、オン・オフイベント間のイベント持続期間だけパッド画像データに基づく映像の再生が行われるので（ＲＦ＝“１１”）、オフイベントによって当該イベントが解除されたときは（Ｓ１６→ＹＥＳ）、ステップＳ１８で映像再生を一時停止する（ＲＦ→“１０”）。また、この一時停止に当って、映像ディスプレイ１５の表示は、ステップＳ１０と同様に、そのときに設定されている一時停止パラメータ（タイプＡ／Ｂ）に従う。
【０１３５】
ステップＳ１６でオフイベントでないと判断されたとき（Ｓ１６→ＮＯ）或いはステップＳ１７で「ゲート」が設定されていないと判定されたときは（Ｓ１７→ＮＯ）、ステップＳ１９に進んで、再生中のパッド画像データの読出しが終了（エンド）位置に達したか否かを判定する。ここで、終了位置に到達していれば（Ｓ１９→ＹＥＳ）、ステップＳ２０に進み、さらに、当該パッド画像データに「ループ（ｌｏｏｐ）」が設定されているか否かを判断し、「ループ」ではなく、「ワンショット（ｏｎｓｈｏｔ）」が設定されていれば（Ｓ２０→ＮＯ）、ステップＳ１８に進む。ステップＳ１８では、上述と同様に、当該パッド画像データの再生フラグＲＦを“１０”として、一時停止パラメータ（タイプＡ／Ｂ）に従った表示態様にて映像再生を一時停止させた後、映像出力処理のステップＰ１にリターンする。
【０１３６】
すなわち、再生出力条件に「ワンショット」が設定されている場合には（Ｓ２０→ＮＯ）、イベントが持続している間、当該パッド画像データを１回だけ再生し（ＲＦ＝“１１”）、終了位置（最終位置又は予め設定されたエンド位置）まで再生されて終了位置への到達が検出されると（Ｓ１９→ＹＥＳ）、ステップＳ１８にて映像再生を一時停止する（ＲＦ→“１０”）。この場合、一時停止時の映像表示は、前述したように、そのときに設定されている一時停止パラメータ（タイプＡ／Ｂ）に従う。なお、この終了位置到達により一時停止後に一時停止状態が維持されている間（ＲＦ＝“１０”）は、「ゲート」が設定されていても、オフイベント検出（Ｓ１６）は行われない（Ｓ１５→ＮＯ）。
【０１３７】
一方、ステップＳ１９でパッド画像データ読出しが終了位置に達していないと判定されたとき（Ｓ１９→ＮＯ）或いはステップＳ２０で「ループ」が設定されていると判断されたときは（Ｓ２０→ＹＥＳ）、ステップＳ２１に進んで、現在設定されている再生出力条件に従ってパッド画像データを読み出し、映像再生を続行するものとする（ＲＦ＝“１１”）。例えば、「ループ」が設定されている場合は、オンイベント発生に応じて再生を開始してパッド画像データの最後まで再生したときは、先頭位置（冒頭位置或いは予め設定されたループ開始位置）に戻って再生を続行し、再生動作の終了が指示される〔例えば、他のオンイベント発生：Ｓ１（ＹＥＳ）→Ｓ２（ＮＯ）→Ｓ３〕まで再生を続ける。そして、ステップＳ５，Ｓ６（図１０）で、対応する映像処理及び表示処理を実行した後、映像出力処理のステップＰ１（図７）にリターンする。
【０１３８】
なお、ステップＳ１→Ｓ３に進んで、或るパッド画像データの映像再生中に新たなパッド画像データによる映像再生の指示があったとき場合は、複数のパッド画像データの再生が個々の再生条件に基づいて同時に映像再生処理が行われる。この場合、各映像（ビデオ映像を含む）間の混合態様などを設定する合成パラメータについては、パッド映像間で異なることがあり、また、輝度パラメータや色合いパラメータなどの各映像自体の映像効果パラメータについてもそのハードウエア（又はソフトウエア）資源上の制約があるので、映像効果の付与態様については、予め定めておいたルールに従って、適用すべき映像効果パラメータの優先度を決定し、映像効果の付与処理を実行する。このように複数の映像を同時出力する場合には、予めルールを予め定めて以下のような処理を適用することできる。
【０１３９】
（１）通常は、可能な限り、各パッド画像データに設定されている再生条件に従って映像効果の付与を行い、各再生条件のとおり映像効果処理ができないときは、前述したように（ステップＳ３参照）、後着優先により映像処理を行って、新たに指定されたパッド画像データの再生条件の指示に従って映像効果を付与することを原則とする。この場合、例えば、次の方法を用いてもよい：
（１−１）２つ又は更に多くの映像が一部または全部が重なるように映像の再生位置が設定されている場合は、各映像に対応して設定されている再生条件（混合パラメータ）の内容に拘わらず、先に再生されている映像の上に、後から再生開始された映像を重ねるように表示する。
（１−２）また、輝度や色合いなどの各映像自体にかける効果処理については、効果処理するための効果回路（又は効果モジュール）に空きがある場合には、複数の映像に対して複数の効果処理をそれぞれ行うことが可能である。空きがない場合には、空きがないことを検出すると、前述したように（ステップＳ３参照）後着優先の原則に従って、前の映像再生で付けられている映像効果を停止し、停止した効果回路を用いて、新たに再生開始された映像に設定された映像効果を付加させるようにする。
【０１４０】
（２）上述の（１）の処理とは逆に、先に映像処理を行っている映像効果パラメータを、後で再生される映像に対して優先処理（先着優先）することもできる。例えば、複数映像の重ね状態、効果回路の占有状態に関わる処理手法として、次の（２−１）及び（２−２）のように、再生指示の順番で処理条件を決めるよにすることができる：
（２−１）先に再生中の映像が後からの再生された映像でかくれてしまうことをなくすように、先の映像再生が終了又は停止（オフ）されて消えるまでは（先の映像再生が完了するまで）先の映像処理を優先させ、後の映像は、その裏側で再生を行うだけとする。
（２−２）また、映像自体にかける効果処理（輝度や色合い）については、先に再生中の効果処理が終了して効果回路が空いたときに、その効果回路を使用して効果をかけるようにしてもよい。
【０１４１】
（３）例えば、ステップＰ１６又はステップＳ１２で再生条件設定を行い、再生条件として各パッド画像データごとに優先度を定めておき、この優先度に基づいて映像効果付与処理を行うようにし、映像効果の優先性をユーザ設定可能となるようにしてもよい。例えば、ユーザの設定操作に基づいて優先度ランクを設定しておき、ステップＳ５の映像処理で、再生指示された複数のパッド画像データ間で優先度ランクを比較して高い優先度の方の再生条件を採用するものとすれば、ユーザ操作に対応させて設定した優先度に従って、映像効果処理を行うことが可能となる。
【０１４２】
（４）なお、適用される映像効果が途中から切り替わるのに違和感がある場合には、先着優先で処理し、後着の映像処理については、その時点で利用可能な効果回路がないときは、先着の映像処理が終了するまで（効果回路の空きが途中でできたときでも）使用させないようにすることもできる。
【０１４３】
（５）上述のように、映像効果処理されるべき映像の数が効果回路の数を超える場合でなくとも、効果回路の空きの有無に拘わらず、処理中の映像の中で最初或いは最後に再生が指令された映像の効果パラメータを採用するなど、再生指令の順番だけで適用される映像効果パラメータを決定するようにしてもよい。
【０１４４】
〔種々の実施態様〕
以上、一実施例について説明したが、種々の実施態様を適用することができる。例えば、実施例の映像出力装置では、電源投入時や他のモードがリセットされたときにプレイモード（ＰＭ）になるようにしているが、別途、プレイモード指定スイッチを設けて、このスイッチ操作によりプレイモード（ＰＭ）になるようにしてもよい。
【０１４５】
実施例においては、スマートメディアなどの外部記憶装置に保存されるパッド画像データは、外部の映像再生器からの映像信号から動画録画部及び専用ＲＡＭを介して取得するようにしているが、予め画像データを記録したスマートメディアなどの可搬記録媒体を用いても、別の画像データ入力手段を用いて外部記憶装置に画像データを記録しておいてもよい。
【０１４６】
また、パッドスイッチの同時操作などによってパッド画像データの読出しを指示するイベントが同時に発生した場合は、両イベントをほぼ同時に読み出して、両イベントに対応するパッド画像データに基づく映像を同時に表示させてもよいし、これらのイベントを無効にしてもよいし、或いは、予め定められた優先順位に基づいて１つのイベントのみを有効としてもよい。
【０１４７】
【発明の効果】
以上説明したように、この発明の映像出力装置によれば、複数の操作子（Ｐｄｊ）又は複数種類のイベント（Ｉｖ）の夫々に対応して任意の画像データ（ＩＭ）を複数の画像記憶手段（ＰＡＤ）の夫々に記憶すると共に、各画像データ（ＩＭ）に対応する再生パラメータ（図５，図６）をパラメータ記憶手段（７２）に記憶しておき、操作子（Ｐｄｊ）の操作又はイベント（Ｉｖ）の入力（Ｐ１／Ｐ２，Ｓ１）に応じて、操作された操作子（Ｐｄｊ）又は入力イベント（Ｉｖ）の種類に対応する画像記憶手段（ＰＡＤ；７２）から画像データ（ＩＭ）を読み出すと共に、画像データ（ＩＭ）に対応する再生パラメータを読み出し、当該画像データ（ＩＭ）を、読み出された再生パラメータで制御しながら再生する（Ｓ３〜Ｓ６）ように構成しているので、操作子の操作又はイベントの入力に応じて、順次、複数の画像記憶手段のうち当該操作子又は入力イベントにより指定される画像記憶手段から画像データを取り出し、取り出された各画像データに対し、対応する夫々の再生パラメータに基づく種々の再生態様で映像処理を施して、多彩な映像表現を演出することができ、しかも、各画像記憶手段の画像データ自体はオリジナルな状態を保ち、各再生パラメータもパラメータ記憶手段に保持することができる（請求項１，２）。
【０１４８】
この発明の映像出力装置で用いられる再生パラメータには、画像データの再生手順を制御する再生出力パラメータ（ゲート／トリガ、ワンショット／ループ、ノーマル／リバース〕、再生停止時の表示タイプＡ／Ｂ、停止後の再生開始位置タイプ１／２など）や、画像データの映像効果を制御する再生加工パラメータ（輝度、色合い、大きさ、位置、合成態様など）を用いて、多彩な映像再生態様で映像表現を演出することができる（請求項３，４）。また、これらの再生パラメータは、ユーザがパラメータ操作子手段を用いて任意に設定及び変更可能である（請求項５）。
【０１４９】
この発明の映像出力装置では、画像及びパラメータ記憶手段に記憶された画像データ及び再生パラメータをメモリカードなどの外部記憶装置にセーブしたり、外部記憶装置に保存された画像データ及び再生パラメータを画像記憶手段にロードして映像表示に利用することができる（請求項６）。また、ビデオ信号に基づく任意の画像データを各画像記憶手段に録画しておくことができる（請求項７）。さらに、映像再生器などの外部映像情報機器（１４）から入力されたビデオ信号（Ｐ８）と映像再生手段（７３）により生成された映像信号（Ｓ６）とを合成した合成映像信号を生成し（Ｐ８，Ｓ６；７４）、生成された合成映像信号を出力する（７４）ことにより（請求項８）、画像記憶手段に記憶されている画像データによる映像と映像再生器などの外部映像情報機器から実時間で入力されてくる別の映像とを合成して更に多彩な映像を演出することができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による映像出力システムのハードウエア構成を示すブロック図である。
【図２】図２は、この発明の一実施例による映像出力システムにおける動画処理部の機能ブロック図である。
【図３】図３は、この発明の一実施例による映像出力装置のフロント面に設けられる操作パネルの一構成例（一部分）を示す。
【図４】図４は、この発明の一実施例による画像メモリの一構成例を表わす図である。
【図５】図５は、この発明の一実施例による再生パラメータの構成例を表わす図である。
【図６】図６は、この発明の一実施例による管理テーブル中の再生パラメータの設定例を表わす図である。
【図７】図７は、この発明の一実施例による映像出力処理を表わすフローチャートの第１部分（１／３）である。
【図８】図８は、この発明の一実施例による映像出力処理を表わすフローチャートの第２部分（２／３）である。
【図９】図９は、この発明の一実施例による映像出力処理を表わすフローチャートの第３部分（３／３）である。
【図１０】図１０は、この発明の一実施例による再生処理を表わすフローチャートの一部である。
【図１１】図１１は、この発明の一実施例による再生処理を表わすフローチャートの他部である。
【符号の説明】
Ｍ１〜Ｍ３モード指定スイッチ、
Ｂｉ＝Ｂ１〜Ｂ３（１≦ｉ≦ｍ＝３）バンクスイッチ、
Ｐｄｊ＝Ｐｄ１〜Ｐｄ８（１≦ｊ≦ｎ＝８）パッドスイッチ
ＢＡＮＫ−Ａ〜ＢＡＮＫ−Ｃバンク（大記憶領域）、
ＰＡＤ１〜ＰＡＤ８パッド（小記憶領域）、
ＩＭ＝ＩＭａ１〜ＩＭｃ８パッド画像データ、
ＢＡＮＫ・ＰＡＤ＝“ＢＡＮＫ−Ａ・ＰＡＤ１”〜“ＢＡＮＫ−Ｃ・ＰＡＤ８”パッド画像データ及びその管理データを記憶するパッド、
Ｉｖ；Ａ−１〜Ｃ−８イベント及びイベントＩＤ、
ＩＭ：ＩＭａ１〜ＩＭｃ８、
Ｒ１〜Ｒ３再生出力設定スイッチ、
ＥＰ；Ｄ１，Ｄ２効果指定スイッチ群及び効果設定ダイヤル、
ＷＲパッド画像データ記録スイッチ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video output system capable of producing a variety of videos by arbitrarily controlling an image reproduction mode according to an event.
[0002]
[Prior art]
There have been many video editing apparatuses for storing and editing a plurality of video data. However, this type of video editing apparatus is designed to output video after editing, and does not selectively output video according to the situation on the spot, and has no real-time property.
[0003]
This type of video editing apparatus can also be played back on the spot only when the playback conditions such as the image layout of the image data are changed. Furthermore, once the effect is added to the image data and stored, the original state cannot be restored. On the other hand, if the image data to which the effect is added is not stored, the original state can be obtained by re-reading the original image data, but the effected state is lost when the apparatus is powered off. .
[0004]
[Problems to be solved by the invention]
In view of such disadvantages of the prior art, the present invention provides various reproduction conditions to the original image data, thereby variously controlling the reproduction mode of the image data while maintaining the original to produce various video expressions. An object of the present invention is to provide a video output system capable of performing the above.
[0005]
[Means for Solving the Problems]
According to one aspect of the present invention, a plurality of operators (Pdj: Pd1 to Pd8; 12) and arbitrary image data (IM: IMa1 to IMa8, IMb1 to IMb8) corresponding to each of these operators (Pdj). Or a plurality of image storage means (PAD: PAD1 to PAD8; 72) for storing each of IMc1 to IMc8), and for controlling the reproduction mode of each image data (IM) stored in each image storage means (PAD) Parameter storage means (72) for storing the reproduction parameters (FIGS. 5 and 6) corresponding to each image data (IM), and operation detection means (P1, S1; 5) for detecting an operation on the operation element (Pdj) When the image data (IM) is read from the image storage means (PAD; 72) corresponding to the operation element in which the operation is detected in response to the detection of the operation. Further, reading means (S3, S4; 73) for reading the reproduction parameter corresponding to the image data (IM) from the parameter storage means (72), and the read image data (based on the read reproduction parameter) IM) and a video playback means (S4 to S6, S8, S10, S18, S21; 73, 74) for controlling the playback mode and generating image data reflecting the playback parameters. Item 1] is provided. For the convenience of understanding, the parentheses are added with reference symbols, terms, portions, and the like corresponding to examples described later in detail, and the same applies to the following.
[0006]
According to another feature of the present invention, a plurality of image storage means for storing arbitrary image data (IM: IMa1-IMc8) corresponding to each of a plurality of types of events (Iv: A-1 to C-8). (PAD: PAD1 to PAD8 of BANK-A to C; 72) and reproduction parameters for controlling the reproduction mode of each image data (IM) stored in each image storage means (PAD) (FIGS. 5 and 6). ) Corresponding to each image data (IM), and according to the input of the event (Iv), the image storage means (PAD; 72) corresponding to the type of the event (Iv). ) Read out image data (IM) and read out parameters (P1, P2, S1, S3, S4) from the parameter storage means (72) corresponding to the image data. 73) and video reproduction means (S4 to S6) for controlling the reproduction mode of the read image data (IM) based on the read reproduction parameter and generating image data reflecting the reproduction parameter. S8, S10, S18, S21; 73) is provided.
[0007]
The reproduction parameters (FIGS. 5 and 6) in the video output device according to the present invention include a reproduction output parameter for controlling the reproduction procedure of the corresponding image data (IM). The reproduction processing parameters for controlling the video effect of the data (IM) can be included. The video output apparatus according to the present invention further comprises parameter operator means (R1 to R3; EP, D1, D2) for setting a reproduction parameter. The data storage means (P15; 4) for saving the image data (IM) stored in the means (PAD; 72) and the reproduction parameter stored in the parameter storage means (72), and the data storage means (4) The image data (IM) and the reproduction parameters are read out and stored in the image storage means (PAD; 72) and the parameter storage means (72), respectively (Claim 6). It can be constituted as follows.
[0008]
The video output device according to the present invention further includes a video input means (14) for inputting a video signal, and a recording instruction means (P19, P) for instructing recording start and recording end of the video signal input by the video input means (14). P22), selection means (P17) for selecting one of the plurality of image storage means (PAD; 72), and recording end are instructed after the recording start is instructed by the recording instruction means (P19, P22). And image recording means (P20, P21; 71) for storing the image data based on the video signals up to the image storage means (PAD) selected by the selection means (P17). be able to. The video output device according to the present invention further includes a video input means (P8; 14) for inputting a video signal, a video signal input by the video input means (P8; 14), and a video reproduction means (S6; 73). Combined video generation means (P8, S6; 74) for generating a composite video signal obtained by combining the video signal generated by the above and an output means (74) for outputting the composite video signal generated by the composite video generation means. [Claim 8] It can comprise.
[0009]
[Effects of the Invention]
In the video output device according to the present invention (Claims 1 and 2), an arbitrary image that is taken in from the image data acquisition means (71) or the like and is composed of a so-called “moving image” or a plurality of still images and reproduced as a moving image. The data (IM) and the reproduction parameters (FIGS. 5 and 6) used to control the reproduction mode when reproducing the image data (IM) are stored in the storage device (dedicated RAM 72) correspondingly. (FIG. 4). The storage device (72) includes a plurality of image storage means (PAD), and any image data corresponding to a plurality of operators (Pdj) or a plurality of types of events (Iv) is stored in a plurality of image storage means (PAD). ) Is stored in each. Also, the reproduction parameters corresponding to each image data are stored in the parameter storage means of the storage device (72). Then, when there is an operation of the operator or an input of an event (P1 / P2, S1), image data (IM) is read out from the image storage means (PAD) corresponding to the operator (Pdj) or event type (Iv). At the same time, the reproduction parameter corresponding to the extracted image data (IM) is read, and the image data (IM) is reproduced while being controlled by the reproduction parameter (S3 to S6, etc.). Therefore, according to the present invention, in response to an operation of the operation element or an input of an event, image data is sequentially extracted from the image storage means designated by the operation element or the input event among a plurality of image storage means and extracted. Each image data can be subjected to video processing in various playback modes based on the corresponding playback parameters to produce various video expressions, and the image data itself of each image storage means is in an original state. Each reproduction parameter can also be held in the parameter storage means.
[0010]
More specifically, according to one feature (claim 1) of the present invention, a plurality of operators (Pdj: Pd1 to Pd8) called “pad switches” are provided, and each of these operators (Pdj) is provided. Then, a plurality of storage areas (PAD: PAD1 to PAD8) called “pads” are set in the storage device (72), and these storage areas (PAD) are stored in arbitrary image data (IM: IMa1 to IMa8, IMb1). -IMb8 or IMc1-IMc8) function as a plurality of image storage means. In reproducing the image data (IM) stored in each image storage means (PAD) (play mode PM), when a user operation on the operation element (Pdj) is detected (P1, S1), the operation element (Pdj) ) Is read from the image storage means (PAD) corresponding to the image data (IM), and the reproduction parameters (FIGS. 5 and 6) corresponding to the image data (IM) are read from the parameter storage means (72) (S3, S3). (S4; 73), the reproduction mode of the image data (IM) is controlled based on the read reproduction parameter, and the image data reflecting the reproduction parameter is generated (S4 to S6, S8, S10, S18, S21; 73, 74). Therefore, according to the present invention, each time an arbitrary operation element is operated, image data is sequentially extracted from the image storage means corresponding to the pad operation element among the plurality of image storage means, and the extracted image data is stored in each extracted image data. On the other hand, video processing can be performed in various playback modes based on the corresponding playback parameters, and various video expressions can be produced.
[0011]
According to another feature of the present invention (Claim 2), a plurality of storage areas (PAD: PAD1 to PAD8 of BANK-A to C) set in the storage device (72) are called a plurality of types. Correspond to each of the events (Iv: A-1 to C-8) and function as a plurality of image storage means for storing arbitrary image data (IM: IMa1 to IMc8), respectively. Here, the “event” is variously detected from, for example, operation signals of a plurality of types of event input operators (Bi, BDj) or a plurality of types of note on / off of an external input signal (MIDI signal). It is. In reproducing the image data (IM) stored in each image storage means (PAD) (play and external control modes PM and MM), an event is detected by operating an event input operator or detecting a note-on of an external input signal. Is input (P1, P2, S1), the image data (IM) is read out from the image storage means (PAD; 72) corresponding to the type of the event, and the reproduction parameter (IM) corresponding to the image data (IM) is read out. 5 and 6) are read from the parameter storage means (72) (S3, S4). Then, the reproduction mode of the image data (IM) is controlled based on the read reproduction parameter, and image data reflecting the reproduction parameter is generated by the reproduction control (S4 to S6, S8, S10, S18, S21; 73, 74). Therefore, according to the present invention, every time an event is input, the image data is sequentially extracted from the image storage means designated by the input event, and the corresponding reproduction parameter is set for each of the extracted image data. The video processing can be performed in various reproduction modes based on it, and various video expressions can be produced.
[0012]
The reproduction parameter corresponding to the image data may be associated (linked) with the image data or associated (linked) with the pad, but is usually linked with the image data. For example, if the playback parameter is linked to the image data, when the image data is transferred to another pad, the playback parameter of the image data is automatically transferred. However, since it can be played back in the same playback mode, it is not necessary for the user to set a new mode. On the other hand, when the playback parameter is linked to the pad, even if the image data is changed for the pad, the new changed image data is played back based on the playback parameter set for the pad. .
[0013]
The playback parameters used in the video output apparatus according to the present invention include playback output parameters and playback processing parameters. The reproduction output parameter (Claim 3) controls the reproduction procedure (reading mode, etc.) of the image data corresponding to the input event. For example, the “gate” or “trigger” parameter can be selectively set. it can. In this case, applying the “gate” parameter will start playback from the start (start) position of the image data in response to the occurrence of the event (on event), stop playback in response to the disappearance of the event (off event), In short, image reproduction can be performed only during the ON period. On the other hand, when the “trigger” parameter is used, the playback is stopped by the reoccurrence of the event (on event), and the video playback can be switched between start and stop according to the sequential arrival of the on event. Also, depending on the playback output parameters, the image data read degree [one-shot (single playback) / loop (loop) playback], read direction [normal (forward) / reverse (reverse)], and display mode when playback is stopped [Type A / B (still image display / non-display)], playback start position after stop [type 1 (current position) / 2 (start position)], and the like can be controlled. For example, the “one-shot” parameter stops playback at the end (stop) position of the image data and plays the image data only once, whereas the “loop” parameter turns off when playback of the image data is started. Until an event instructing is generated, playback is repeated from the start position to the end position. As for the start position and end position in each parameter, the user arbitrarily sets at least one of the start and end positions between the start (start position) and end (end position) of one image data. It is preferable to be able to do so.
[0014]
The reproduction processing parameter (Claim 4) controls the video effect and the display method on the screen when reproducing the image data, and is reproduced based on the image data designated by the input event. It is possible to control video effects such as brightness and color of video, control the size of the playback video on the screen, the position on the screen, the priority in overlapping with other video, and the like.
[0015]
In the video output apparatus according to the present invention, parameter operation means (EP, D1, D2; R1 to R3) for setting such reproduction parameters are provided (claim 5), so that the user can obtain desired reproduction parameters. It can be changed arbitrarily.
[0016]
In the video output apparatus according to the present invention, at the time of setting (job mode JM), image data (IM) and parameter storage stored in the image storage means (PAD; 72) according to a save / load instruction based on a user operation. The reproduction parameter stored in the means (72) is saved in the external storage device (4) such as a memory card (P15; 4), and the image data (IM) saved in the external storage device (4) And the playback parameters are read out and stored (P15; 76) in the image storage means (PAD; 72) and the parameter storage means (72), respectively (Claim 6), and stored in the image and parameter storage means. Saved image data and playback parameters in an external storage device, or image data and playback parameters stored in an external storage device It can be a load to the image storage means used for image display.
[0017]
In the video output apparatus according to the present invention, when image data (IM) is recorded (recording mode RM), one of the plurality of image storage means (PAD; 72) is selected (P17), and the video input means (14 (P19, P22), the image data based on the video signal from the start of recording to the end of recording is selected as the selected image storage. By storing (P20, P21; 71) in the means (PAD) (Claim 7), arbitrary image data based on the video signal can be recorded in each image storage means.
[0018]
In the video output device according to the present invention, the video signal (P8) input from the external video information device (14) such as a video player and the video signal (S6) generated by the video playback means (73) are used. A synthesized synthesized video signal is generated (P8, S6; 74), and the generated synthesized video signal is output (74) (Claim 8), whereby the video based on the image data stored in the image storage means and the external It is possible to produce a wider variety of video by synthesizing with another video input in real time from the video information device.
[0019]
The video output device can be further configured as the following (1) to (3):
(1) A configuration comprising video storage means (WR; 74 → 71 → 72; S14) for storing image data reflecting the reproduction parameter. That is, by providing video storage means (WR; S14) for storing image data in which the reproduction parameter is reflected, the image data is subjected to video processing according to the reproduction parameter and then subjected to the video processing in which the reproduction parameter is reflected. Image data can be recorded.
(2) Event detection means (S1, S16) for detecting an event (Iv) from an operation signal of an event input operator (Bi = B1 to B3, Pdj = Pd1 to Pd8) or an external input signal (MIDI signal) is provided. The parameter reading means (73) reads the reproduction parameter corresponding to the detected event, and the video reproduction means (73, 74) controls the reproduction mode of the image data corresponding to the detected event. In other words, image data is input by a user operation or an automatic progression method using a control signal such as a MIDI signal transmitted from an input operator (Bi, Bdj) provided in the video output device or a remote external device (16). In addition, an event indicating a playback parameter is obtained, and by specifying an event input by a user operation or automatic progression, more various video expressions can be produced.
(3) A configuration comprising copy operator means (M3 + Pd3; P16) for associating a reproduction parameter corresponding to a certain image data (IM) to event (Iv) with another image data or event. That is, by using the copy operator means (M3 + Pd3), a reproduction parameter corresponding to a certain image data or event is made to correspond to another image data or event (P16), and the already created reproduction parameter already created is changed to another one. The image can be reused for the image, and the reproduction parameter as the user product can be used effectively.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments are merely examples, and various modifications can be made without departing from the spirit of the present invention.
[0021]
[Hardware configuration]
FIG. 1 is a block diagram showing a hardware configuration of a video output system according to an embodiment of the present invention. In this example, the video output system includes a main body system (main body control unit), a moving image processing system (moving image processing unit), and an interface (I / F) unit. The main body system includes a central processing unit (CPU) 1, a read only memory (ROM) 2, a main body side random access memory (main body RAM) 3, an external storage device 4, a detection circuit 5, and a display circuit 6. The moving image processing system includes a moving image processing circuit 7, and the I / F unit includes a MIDI interface (MIDI • I / F) 8 and a communication interface (communication I / F) 9. These devices 1 to 9 are connected to each other via the bus 10.
[0022]
The CPU 1 that controls the entire video output system performs various controls using a clock by the timer 11 in accordance with a predetermined software program, and particularly manages video output processing by the moving image processing circuit 7 described later. The ROM 2 stores predetermined control programs for controlling the video output system. These control programs include basic information processing and a program for managing the video output processing according to the present invention. And various tables and various data. The main body RAM 3 functions as temporary storage means for storing data and parameters necessary for various processes, and stores, for example, a reproduction flag RF.
[0023]
The external storage device 4 is not only a hard disk drive (HDD) but also a compact disk read only memory (CD-ROM), a flexible disk (FD), a magneto-optical (MO) disk, a digital multipurpose disk (DVD), ZIP And a device using a portable storage medium such as a memory card (smart media) or a semiconductor memory, and can store various control programs and various data. Accordingly, programs and various control data necessary for video output processing can be read not only from the ROM 2 but also from the external storage device 4 into the RAM 3, and the processing results are stored in the external storage device 4 as necessary. It can also be recorded. In addition, management data including image data and reproduction parameters (reproduction conditions) such as video effects attached to the image data can be stored in an external storage device 4 such as a memory card called smart media.
[0024]
A panel operating device 12 is connected to the detection circuit 5, and the panel operating device 12 includes various switches, keys, and other types of operating devices. These controls are also referred to as panel controls, and are used by the user to input mode settings such as image recording and standard play (playback), various parameter settings, and instruction information for video output processing and the like. Used for. For example, the mode designation switches (M1 to M3) are used to designate a mode other than the play mode, and the bank and pad switches (B1 to B3, Pd1 to Pd8) select desired image data from a plurality of image data. Used to selectively indicate.
[0025]
The display circuit 6 controls the main body display 13 such as an LCD and various indicators. By performing necessary operations with the operator of the panel operator device 13 in accordance with these display aids, settings and instructions relating to video output control are performed. It can be performed. The main unit system (main unit control unit) is configured by the elements 1 to 6 and 10 to 13 described above, and the video output device is configured by the elements 1 to 13 within the dotted line to which the moving image processing circuit 7 and the interfaces 8 and 9 are added. Composed.
[0026]
The moving image processing circuit 7 includes a dedicated RAM. The dedicated RAM functions as an image memory for recording image data, and can also store management data for managing the image data. Connected to the video processing circuit 7 are a video playback device 14 such as a VTR or a video disk playback device, and a video display 15 having a relatively large screen such as a large CRT or projector. The video signal (video signal) from the device 14 is once recorded in the dedicated RAM as image data, and then the image data is subjected to video processing in various ways to reproduce a desired video and displayed on the video display 15. it can. The moving image processing circuit 7 (moving image processing unit) is configured by the moving image processing circuit 7, the video player 14, and the video display 15.
[0027]
On the other hand, MIDII / F8 is connected to a MIDI device 16 composed of an audio sequencer (MIDI sequencer) having a musical sound information generation function and a personal computer (PC). The MIDI device 16 is further connected via a sound source 17. A sound system 18 including a DSP (digital signal processor) and a speaker is connected. These devices 16 to 18 constitute a music performance system (music performance unit) externally connected to the video output device.
[0028]
The MIDI device 16 can play music by emitting a musical sound based on its own music data or music data stored in the ROM 2 or the external storage device 4 via the sound source 17 and the sound system 18. For the video output device, it functions as a control element that controls the moving image processing circuit 7 in accordance with a MIDI event (note data such as note on / off) transmitted from the MIDI device 16, a MIDI clock, a control code, or the like. .
[0029]
The communication interface (I / F) 9 is communicably connected to a server computer 20 or the like via a communication network 19 such as a local area network (LAN), the Internet, or a telephone line. Various data such as control programs, music data, and image data can be stored in the external storage device 4 from the server computer 16, the MIDI device 16, the moving image processing circuit 7, and the like.
[0030]
[Video processing system]
FIG. 2 is a functional block diagram of a moving image processing system (moving image processing unit) according to an embodiment of the present invention. The moving image processing circuit 7 includes a moving image recording unit (video sampler) 71, a dedicated RAM (image memory) 72, a data reading unit 73, a video control unit 74, a management data input / output unit 75, and an image transfer unit 76. The CPU 1 that controls each of these units, when the mode designation switches M1 to M3 of the panel operator device 12 are not operated (no mode designation = the illustrated switch functional elements m1 to m3 are all on), play mode (operator reproduction mode) (Or PLAY mode) When operating in PM and each mode designation switch M1 to M3 is operated, it operates in recording mode RM, external control mode MM or job mode JM, respectively, and controls each part corresponding to the mode. .
[0031]
In the recording mode RM, the video recording unit 71 takes a video signal (video signal) from an external video player 14 such as a VTR, samples and converts it into digital image data, and the dedicated RAM 72 receives from the video recording unit 71. Store digital image data. The dedicated RAM 72 functions as a storage for image data (image memory) and can store management data for image data processing. The management data includes playback conditions (also referred to as “playback parameters”) for the image data. Is included.
[0032]
The data reading unit 73 reads the playback condition from the management data corresponding to the image data from the dedicated RAM 72 in the playback mode such as the play mode PM or the external control mode MM, and then reads the image data according to the playback condition. The video control unit 74 performs video playback by adding video effects to the read image data in accordance with the playback conditions, generates video data reflecting the content of the playback conditions in the image data, and corresponds to the video data. The video is displayed on the video display 15. In the playback modes PM and MM, the video controller 74 combines the external video signal from the video player 14 and stores the video data generated by the video controller 74 in the dedicated RAM 72 via the moving picture recording unit 71. You can also
[0033]
The management data input / output unit 75 functions as an intermediary unit that exchanges playback conditions between the CPU 1 and the dedicated RAM 72. For example, in each mode described above, the reproduction parameter set or changed using the panel operator device 12 is stored in the dedicated RAM 72 as a reproduction condition in the management data. In the reproduction modes PM and MM, the reproduction conditions are called into the CPU 1 from the management data stored in the dedicated RAM 72, and the CPU 1 controls the data reading unit 73 and the video control unit 74.
[0034]
Then, when the pad image data and management data are stored and loaded in the job mode JM, the image transfer unit 76 follows the control instructions of the CPU 1 and the external storage device 4 such as a dedicated RAM 72 and a memory card (smart media). Functions as an intermediary means for sending and receiving pad image data and management data to and from the computer, and the pad image data and management data stored in the dedicated RAM 72 are recorded in the external storage device 4 or recorded in the external storage device 4 The processed image data and management data are loaded into the dedicated RAM 72.
[0035]
[Panel configuration and event assignment example]
FIG. 3 shows a configuration example (part) of an operation panel provided on the front surface of the video output apparatus according to the embodiment of the present invention. In addition to the mode designation switches M1 to M3 described above, the operation panel includes a display 13 for displaying the operation state and various setting states of the panel operator device 12, and a plurality of image data storage areas. (M) bank switch Bi (i = 1, 2,..., M) and a plurality (n) of pad switches Pdj (j = 1, 2,..., N), effects for designating and setting various video effects. A designated switch group EP and effect setting dials D1 and D2 are provided.
[0036]
The mode designation switches M1 to M3 include an external control mode designation switch (MIDI button) M1, a recording mode designation switch (REC button) M2, a job mode designation switch (JOB button) M3, and the like. By operating, this video output device can be put into various modes other than the play mode PM.
[0037]
In other words, in this embodiment, the video output device is in the play mode immediately after the video output device is turned on. On the other hand, when the mode designation switches M1 to M3 are operated, the backlight of the switch is turned on, and the mode corresponding to the operated switch can be set for the video output device. After entering these modes, the mode is terminated by re-operation of the mode designation switch M1 to M3 or operation of another mode designation switch M1 to M3. The backlight is turned off, and the play mode is restored or another mode is entered.
[0038]
By operating any bank switch Bi and pad switch Pdj, an individual event Iv called a “pad operation event” is generated, and a storage area for image data can be designated by this pad operation event. In addition, as with the mode designation switches M1 to M3, these switches also turn on the backlight by the selection operation to notify the user of the pad selection state, and the lit backlight can be used for other pad switch operations or other operations. Turns off under specified non-operating conditions.
[0039]
In the example shown in FIG. 3, three bank switches B1 to B3 and eight pad switches Pd1 to Pd8 are provided (m = 3, n = 8), and 24 event Ivs can be assigned. The event Iv includes “A-1” to “A-8”, “B-1” to “B-8”, or “C-1” corresponding to the pad switches Pd1 to Pd8 for each of the bank switches B1 to B3. ~ An event ID indicated by "C-8" is given.
[0040]
In one embodiment of the present invention, the image memory (dedicated RAM) has an image data storage area associated with the event Iv corresponding to the configuration of the bank switch Bi and the pad switch Pdj described above, and the “bank (BANK)”. A plurality of (m) large storage areas called “m” and a plurality (n) small storage areas called “pads (PAD)” are set, and each of the plurality of small storage areas PAD set in each large storage area BANK is set. Can store image data. FIG. 4 shows an example of an image memory configuration according to an embodiment of the present invention.
[0041]
In the memory configuration example of 3 banks and 8 pads shown in FIG. 4, the dedicated RAM for storing image data has three banks “BANK-A” to “BANK-C” corresponding to the bank switches B1 to B3. In each bank, eight image data storage areas, that is, pads PAD1 to PAD8 are set corresponding to the pad switches Pd1 to Pd8. That is, 24 pads (image data storage areas) “BANK-A · PAD1” to “BANK-C · PAD8” are associated with 24 event IDs “A-1” to “C-8”, respectively. .
[0042]
Therefore, by operating the bank switch Bi and the pad switch Pdj, a pad operation event Iv is generated, and based on the event ID (“A-1” to “C-8”) determined by the pad operation event Iv. Corresponding desired pads (“BANK-A • PAD1” to “BANK-C • PAD8”) can be designated from the image memory (dedicated RAM) 72.
[0043]
Thereby, in the recording mode RM, the image data IMa1 to IMc8 are stored in the pads “BANK-A · PAD1” to “BANK-C · PAD8” designated by the operations of the bank switches B1 to B3 and the pad switches Pd1 to Pd8. In the play mode PM, the image data IM can be selectively read and reproduced from the pad (BANK / PAD) designated by the pad operation event Iv by the operation of the bank switch Bi and the pad switch Pdj. The image data IMa1 to IMc8 stored in each of the pads “BANK-A · PAD1” to “BANK-C · PAD8” are referred to as “pad image data”.
[0044]
In one embodiment of the present invention, an external input event detected from an external input signal is associated with a pad image data storage area or “pad” of the image memory, and the image memory is generated based on the occurrence of the external input event. Thus, the pad image data corresponding to the external input event can be read and reproduced. The external input signal is, for example, a MIDI signal input from the external MIDI device 16 to the video output device via the MIDI I / F 8 in the external control mode MM. In this case, when note data in the MIDI signal is detected, an external input event called “MIDI event” (or “music event”) is generated.
[0045]
For example, MIDI signals are output for 24 pads “BANK-A • PAD1” to “BANK-C • PAD8” in event IDs “A-1” to “C-8”) in the image memory (dedicated RAM) 72. The 24 note numbers “C1” to “E4” included in the note (on / off) data are associated with each other. When the external control mode MM is entered by operating the external control mode designation switch M1 in FIG. 3, every time note-on data is detected from the MIDI signal, the pads ("BANK") corresponding to the note numbers "C1" to "E4" are detected. -A • PAD1 ”to“ BANK-C • PAD8 ”). Then, the pad image data IMa1 to IMc8 stored in the designated pad can be selectively read, and a video can be reproduced based on the pad image data.
[0046]
Note that, as a general rule, the read pad image data is stopped when the note-off data (off event) for the note of the note number is detected, but depending on the playback parameter setting, all the pad image data Even if the playback is stopped after reading or after a certain time, or when the next playback stop time is not reached, the playback is stopped when the next MIDI event Iv is newly detected. The changed playback parameter can be included in the management data as a playback output condition.
[0047]
In FIG. 3, when the JOB button M3 is operated and the video output device enters the job mode JM, the pad switches Pd1 to Pd8 are diverted to an operator for calling a predetermined job function when operated alone. The process at the time of diversion is particularly called “job processing”. In various panel settings in the job mode JM including the job processing, the setting process and result are displayed on the display 13 to assist the user operation.
[0048]
In this job processing, for example, the pad switch Pd1 (DSPL) can be used for setting the display mode of the main body display 13, and the pad switch Pd2 (PRRS) can be used for resetting various parameters to standard values. The pad switch Pd3 (COPY) is used to copy pad image data IMa1 to IMc8 of a certain pad or management data thereof to another pad. When copying the management data, after instructing the copy with the switch Pd3, the management data is instructed with a cursor key (not shown) according to the guidance screen on the display 13, and the display bank switch Bi and the pad switch Pdj are operated simultaneously. Are sequentially performed to designate a desired copy source pad and copy destination pad, and a start / stop switch (S / S) is operated.
[0049]
Further, the switch Pd4 (THML) is used for displaying thumbnails of the pad image data IMa1 to IMc8. The pad switch Pd5 (SAVE) is used to save pad image data (IMa1 to IMc8) and management data on the dedicated RAM 72 in the external storage device (for example, smart media) 4, and the switch Pd6 (LOAD) is used. On the contrary, the pad image data (IMa1 to IMc8) and the management data stored in the external storage device 4 are used to load the RAM 72. The pad switch Pd7 (DELT) is used for erasing pad image data (IMa1 to IMc8) and management data stored in the external storage device 4, and the switch Pd8 (MMCH) is used for setting a receiving MIDI channel.
[0050]
The image selection switch group PV provided on the upper right side of the pad switches Pd6 to Pd8 is based on an effect designation switch group EP and dials D1 and D2, which will be described later, operation of other real-time operators, video effect parameters of management data, and the like. An operator that designates an image to which a video effect is to be applied. That is, by operating the “PAD” switch in the switch group PV, the pad image data can be selected as an effect application target. Further, by operating the “VIN” switch in the switch group PV, the real-time video signal input from the video player 14 is selected as an effect application target, and the “TOT” switch is operated, thereby enabling pad image data. Both the input video signal and the input video signal (referred to as “whole video”) can be selected as the subject of effect.
[0051]
In one embodiment according to the present invention, regardless of the mode, the panel after the “PAD” switch operation and the pad image data instructed by the simultaneous operation of the pad switches Bi and Pdj will be described as follows. Playback output (playback procedure) parameters can be set using the controls R1 to R3, and playback processing (video effect) parameters can be set using the panel controls EP, D1, and D2. Called "parameter". Further, by using the panel operators EP, D1, and D2 after the operation of the “VIN” or “TOT” switch, the video effect parameters can be set for the video signal or the entire video, respectively. Each is called a video image effect parameter or an overall image effect parameter. These playback parameters and video or overall video effect parameters can be stored as management data.
[0052]
Three switches R1 to R3 provided on the upper left side of the pad switches Pd1 to Pd3 are used for outputting pad image data (reproduction procedure) in the reproduction modes PM and MM, that is, reproduction for setting “reproduction output parameters”. The output setting switch group is configured. In this example, a “gate / trigger” switch (“Gate / Trig”) R1 is used to set the start / end of reproduction by an event and the reading resume position of pad image data. A “one-shot / loop” switch (“1sht / Loop”) R2 is used to set one-time reproduction or loop reproduction of pad image data, and a “normal / reverse” switch (“Norm / Revr”) R3. Is used to set the reading direction and how to pause.
[0053]
The effect designation switch group EP provided above the image selection switch group PV is used to designate a video effect for pad image data or an external video signal subjected to video processing in the reproduction modes PM and MM. This video effect can also be set in the job mode. For example, the pad image data can be managed by operating “PAD” and instructing a desired pad by simultaneous operation of the bank switch Bi and the pad switch Pdj. The data can be accessed, and the reproduction parameter of the management data can be set / changed offline using the switch group EP and the dials D1 and D2. In this case, after accessing the management data for the entire video by operating the “TOT” switch or accessing the management data for the input video signal by operating the “VIN” switch, the video effect parameters of the management data are set in the same manner. / Can be changed.
[0054]
Now, in the example of the effect designation switch group EP in FIG. 3, the “PICTa” and “PICTb” switches are the first and second luminance designations for designating the “luminance” setting of the video displayed on the video display 15. “COLRa” and “COLRb” switches are first and second color adjustment designation switches for designating “tone” of an image.
[0055]
In addition, when the pad image data is selected by the operation of the “PAD” switch in the image selection switch group PV, the “SIZE” switch is a reproduced video by the pad image data instructed by the bank and the pad switch Bi-Pdj. When the video signal is selected by the “VIN” switch operation, the “size” of the video on the display screen and the “mixing” method (MIX) with the playback video by other pad image data are designated. When the “TOT” switch is operated by specifying the “size” of the video on the video display screen, the “mixing” method (MIX) and the “overlapping” method (OVERLAP) between the playback video and the video video ) Is a size (size) / synthesis (mixing / superposition) designation switch used for designating. The “POSITN” switch is effective when the “PAD” or “VIN” switch is operated, and is a position designation switch for designating the “position” on the display screen of each playback video or video video.
[0056]
For example, a luminance (Y) parameter is set when the first and second luminance designation switches are operated, and a hue (C, Cb, Cr) parameter is set when the first and second color adjustment designation switches are operated. A corresponding video effect can be given to the target data selected by the switch group PV. Further, when the size / composition designation switch is operated, not only the size of the image displayed on the image display 15 is set by each pad image data or video signal, but also certain pad image data and other pad image data It is possible to set a method (synthesizing parameter) of a plurality of images such as a mixing mode (MIX) of the above and a superposition mode (OVERLAP) with a video signal. For example, for the mixing mode, a mixing parameter such as “Add” / “And” / “Or” / “Xor” can be set, and for the priority of polymerization, “PAD & VIDEO” / “PADON VIDEO” / “ Superposition parameters such as “VIDEOOnPAD” can be set. Further, when the position designation switch is operated, the position (X, Y) of the image on the screen of the image display 15 can be set.
[0057]
Such a video effect is obtained by selecting a parameter type by the above-described effect specifying switch group EP and operating the rotary encoder type effect setting dials D1 and D2 according to the effect setting screen displayed on the display 13 to obtain a desired effect. It can be set / changed by selecting a parameter value or parameter table. For the parameter setting, an arbitrary method such as adding a numerical value using specific words can be applied. For example, when setting the “Hue” parameter, select a color with easy-to-understand words such as “red”, “blue”, “yellowish”, “sepia”, and the ratio to the standard value (“0”) May be specified.
[0058]
The front panel of the video output device is also provided with a pad image data recording switch WR. When the recording switch WR is operated in the playback modes PM and MM, the pad image data subjected to video playback processing according to the playback conditions is provided. Can be issued to record. Further, on the front panel, in addition to the switches described above, a volume dial D0 for adjusting the gain of the entire video displayed on the video display 15, a start position (initial start position and loop start position) for reading pad image data, and Read position setting controls for setting the end position (end position), real time controls such as ribbon controllers and scratch pads for controlling playback parameters such as playback speed and mixing ratio of multiple images in real time Various controls such as setting switches for other parameters during reproduction are provided.
[0059]
Here, the operation for each mode will be described as follows.
[0060]
(1) Recording mode RM
First, the recording mode (sampling mode or REC mode) RM is set to the recording mode RM when the recording mode designation switch (REC button) M2 is pressed (switch function element m2 is off). In the recording mode RM, a video signal input from an external video player 14 such as a VTR is taken into the video recording unit 71 in the video processing circuit 7. The moving picture recording unit 71 samples the captured video signal and converts it into digital image data suitable for recording according to the control instruction of the CPU 1. The image data obtained by this conversion is recorded in a predetermined image data storage area, that is, a pad (BANK / PAD) in the dedicated RAM 72 designated by the bank and pad switches Bi and Pdj.
[0061]
That is, when recording certain image data, when a pad operation event Iv is generated by operating a bank and pad switches Bi and Pj in the recording mode RM, a pad (BANK / PAD) corresponding to the pad operation event Iv is generated. ) Is specified. Next, when the start / stop switch (S / S) is operated, recording of the image data to the designated pad is started, and the image data is stored as pad image data. Further, when the REC button M2 that is lit is operated again, the recording operation is ended and the play mode PM is restored.
[0062]
It should be noted that each image data is not limited by whether it is a moving image or a still image or time, and any image data may be used. However, moving image data or a comparatively short time of about several seconds to several tens of seconds may be used. A plurality of still image data to be switched and reproduced at a low speed is preferable.
[0063]
(2) Playback mode PM, MM
Next, the play mode (operator playback mode or PLAY mode) PM is a mode state when the video output apparatus is turned on. In the play mode PM, when the bank and the pad switches B1 to B3 and Pd1 to Pd8 of the panel operation device 12 are operated by the data reading unit 73, the pad generated by this operation is stored in the same manner as the image data storage in the recording mode RM. The pad image data is read from the pad in the dedicated RAM 72 corresponding to the event ID of the operation event Iv and reproduced.
[0064]
On the other hand, the external control mode (MIDI mode) MM is a playback mode when the external control mode designation switch (MIDI button) M1 is pressed (switch function element m1 is off). In the external control mode MM, when the data reading unit 73 detects the note data of the MIDI event from the MIDI signal input from the external MIDI device 16, the predetermined pad of the dedicated RAM 72 is used based on the event ID corresponding to the note data. The pad image data is selectively read out from and reproduced.
[0065]
That is, an event ID (“A-1” to “C-8”) is assigned and set to each pad operation event and MIDI event, and each pad (“BANK-A / PAD1” to “BANK-C • Therefore, when a pad operation event or MIDI event occurs in the PM and MM during image reproduction, the CPU 1 designates a pad (BANK / PAD) in the dedicated RAM 72 according to this setting. Then, the data reading unit 73 selectively selects pad image data corresponding to a pad operation event or a MIDI event from among a plurality of pad image data respectively stored in a plurality of pads of the dedicated RAM 72 according to a control instruction of the CPU 1. The data are sequentially read out and sent to the video control unit 74.
[0066]
Regarding the reproduction procedure such as the data reading mode by the data reading unit 73, in accordance with the reproduction output parameter (reproduction output condition), in addition to the normal reading procedure, the image is read from the reverse direction (reverse) or selected from the dedicated RAM 72. A procedure such as reproducing a part or all of data repeatedly (loop) can be applied. In this case, for loop playback, the end (end) position and the loop start position of the pad image data are appropriately set in advance in the recording mode RM or job mode JM, so that an image is cut off or a blank image is generated. It is necessary to consider seamless playback without the failure of.
[0067]
The video control unit 74 performs the desired processing on the pad image data read by the data reading unit 73 according to the playback processing parameters (playback processing conditions) based on the settings in the panel operator device 12 under the control instruction of the CPU 1. The video signal is converted into a video signal to which a video effect (effect) has been applied, and is combined with a video signal input in real time from the video player 14 in accordance with the video or overall video effect parameters. This video effect can be applied to either the pad image data or the video signal.
[0068]
The video effects given at the time of video playback include brightness, hue, size of the video display 15 with respect to the screen, image position (X, Y) on the screen, how to synthesize with other video, and the like. When pad image data is not recorded on the pad corresponding to the generated event, a transparent screen is displayed.
[0069]
As for the composition processing, the video control unit 74 receives the pad image information from the data reading unit 73 (for example, as a main image) and reproduces it in real time by the video signal from the video player 14 (so-called “flowing”). ") Receives video information (for example, as a background image), generates a video signal in which both pieces of information are combined, and causes the video display 15 to display a combined video. In this case, the playback image based on the pad image data is converted into the actual video by setting the size and position parameters of the playback video and video video, and by combining parameters of the entire video (for example, mixing parameters such as And and superposition parameters such as PADONVIDEO). Various video effects can be employed as necessary, such as superimposing on time video, or displaying these videos in different screen areas and changing each display area.
[0070]
Further, the compositing process includes simultaneously reproducing a plurality of pad image data. Also in this case, the mixing mode (Add / And / Or / Xor, etc.) between the pad image data is set by the mixing parameter, and a simple logic such as a logical sum (Or) or logical product (And) is set for a plurality of reproduced videos. Necessary image effects can be arbitrarily applied, such as mixing by calculation or applying cross-fades related to each.
[0071]
In the image reproduction modes PM and MM, the operation of the moving image processing circuit 7 can be controlled by a control code or MIDI clock included in the MIDI signal from the external MIDI device 16 such as an audio sequencer. If the MIDI channel is set by the panel operator device 12, the same parameter setting can be performed instead of the various parameter setting switches of the panel operator device 12 by a control code in the MIDI signal, for example. Further, the playback time of the video can be matched with the tempo by the MIDI clock (F8) in the MIDI signal.
[0072]
For the latter, if “playback in sync with tempo” (LoopTrPlay) is set, the CPU 1 calculates the reading speed based on the MIDI clock (F8) included in the MIDI signal of the MIDI channel that is the target of tempo setting. Then, the data reading unit 73 is controlled. Thus, loop reading is performed while controlling the reproduction time of the pad image data read from the dedicated RAM 72, and the reproduction of the pad image data and the performance of the external MIDI device 16 can be synchronized.
[0073]
Furthermore, in the playback modes PM and MM, each pad image data that has been subjected to video processing based on the playback parameters is operated from the video control unit 74 via the video recording unit 71 by operation of the pad image data recording switch WR as necessary. The data can be stored in a predetermined storage area corresponding to the original pad image data in the dedicated RAM 72.
[0074]
<Reproduction flag RF>
In one embodiment of the present invention, a “reproduction flag RF” provided for each pad image data is used as an index representing the reproduction state of the pad image data in the reproduction modes PM and MM. The playback flag RF is “00” in the initial state of the playback mode. For example, when an on event occurs for certain pad image data, the playback flag RF is set to “11”, and the video image Playback starts. When this reproduction is interrupted or stopped due to the occurrence of an event or the completion of reading pad image data, the reproduction flag RF becomes “10”, and the reproduction is temporarily stopped.
[0075]
In the play mode PM, in the pad operation event generated by pressing the bank switch Bi and the pad switch Bdj (the operation of the pad switch Pdj when the same bank is specified) or in the external control mode MM, the external MIDI device 16 The MIDI event generated by receiving the note data of the MIDI signal is simply referred to as “event”. The start of pressing the pad switch Pdj or the start of the event by detecting the note-on of the MIDI event is “on event”, and the pressing of the pad switch Pdj. The end of an event due to departure from the state (press release) or note-off detection is called an “off event”.
[0076]
In addition, when an on event occurs again for the same pad image data while playback is paused (RF = “10”), the playback flag RF returns to “11” and video playback is resumed. A state in which certain pad image data is being reproduced (RF = “11”) or paused is called “reproducing operation”, and the pad image data being reproduced (RF = “11” or “10”) When the number reaches a predetermined number (determined according to the number of effect modules that can be used to apply the pad image data effect, for example, “3”), the other pad image data is turned on. When the event occurs, the reproduction flag RF is reset to “00”. When the recording mode is switched to another recording mode or job mode, the reproduction flags RF of all pad image data are forcibly reset to “00”.
[0077]
In the case where a new event occurs during the playback operation of the moving image based on the previous event, in this embodiment, the playback of the moving image corresponding to the previous event is stopped (RF → “00”) and a new event is generated. In principle, the reproduction of a moving image corresponding to a previous event is started. However, unless there is any off command for the previous event, the reproduction operation of the moving image corresponding to the previous event is continued (RF = “11”). Alternatively, “10”), the reproduction of a moving image corresponding to the next event may be started.
[0078]
(3) Job mode JM
The job mode (JOB mode) JM is a mode when the job mode designation switch (JOB button) M3 is pressed (the switch function element m3 is off). In the job mode JM, first, various job processes can be performed using the pad switches Pd1 to Pd8 diverted to various job process instructions. In the job processing, as described above, display control of the display 13, resetting of parameters to standard values, movement, copying, saving, loading, erasing of pad image data, setting of a receiving MIDI channel, and the like can be performed.
[0079]
For example, the image-processed pad image data reflecting the reproduction parameters recorded in the dedicated RAM 72 in the reproduction modes PM and MM is externally transferred from the RAM 72 via the data transfer unit by the save operation (Pd5) in this job mode JB. It can be stored in the storage device 4. In this storage, the reproduction parameter in the management data linked to the video processed pad image data and simultaneously stored is reset to the standard value.
[0080]
In the job mode JM, in addition to the job processing described above, various settings can be made using other panel controls. For example, setting / changing of playback parameters and playback processing between multiple pad image data can be performed offline. (Video effect) Parameter application priority, start and end positions, etc. can be set.
[0081]
[Playback parameters]
Playback output (playback procedure) parameters (also called playback output conditions) set by the playback output setting switches R1 to R3 described above, and playback processing (video effects) set by the effect designation switch group EP and the effect setting dials D1 and D2. ) Parameters (also called playback processing conditions) are collectively referred to as “playback parameters” or “playback conditions” for each pad image data, and are stored in the dedicated RAM 72. Also, the video image effect parameter for the video signal (“VIN”) and the overall image effect parameter for the entire image (“TOT”) of the pad image data and video signal also correspond to the set of all pad image data (IMa1 to IMc8). And stored in the dedicated RAM 72. Then, the playback parameters and video or overall video effect parameters for each pad image data can be saved as management data in the external storage device 4 by operating the save switch PD5 in the job mode. Also, management data including playback parameters and video effect parameters stored in the external storage device 4 can be loaded onto the dedicated RAM 72 again.
[0082]
FIG. 5 shows a simple configuration example of the reproduction parameter according to one embodiment of the present invention. Among the playback parameters, the playback output (playback procedure) parameter (playback output condition) indicates, for example, how to start and stop playback when an event occurs and ends (on / off event) as shown in the upper part of FIG. “Gate / Trigger” parameter to be set, “Type 1 / Type 2” parameter to set the restart position when resuming playback, “One Shot / Loop” parameter to set once playback or loop playback, and reading direction “Normal / Reverse” parameter for setting the “Stop” and “Type A / B” parameter for setting the pause mode.
[0083]
These five parameters can be set using the three reproduction output setting switches R1 to R3 in the switch configuration example of FIG. 3, and the parameters during and after the setting are confirmed on the display of the main body display 13. can do. Corresponding to this switch configuration, in the upper example of FIG. 5, the “gate / trigger” parameter includes a restart position parameter called “type 1 / type 2” corresponding to the switch configuration of FIG. “Normal / Reverse” includes “Type A / Type B” pause parameters.
[0084]
The playback start / end mode based on the “gate / trigger” parameter and the restart mode based on the “type 1 / type 2” parameter are set by using a “gate / trigger” switch (“Gate / Trig”) R1. In this case, every time the “gate / trigger” switch R1 is operated, as shown in FIG. 5, the parameters are cyclically displayed on the main body display 13 in the order of “gate1” → “gate2” → “trigger1” → “trigger2”. Since the name is displayed, the desired parameter can be set when the operation is stopped.
[0085]
When “gate1” or “gate2” is set when the system is in the playback mode (play mode PM and external control mode MM), the “gate” mode is set, and when an on event occurs, the corresponding pad image data Reproduction is started, and the reproduction flag RF is set to “11”. When an off event occurs for the same pad image data, the reproduction flag RF is set to “10”, the reproduction is interrupted, and a pause state is entered.
[0086]
On the other hand, when “trigger1” or “trigger2” is set, “trigger” mode is set, and once playback is started by an on event (RF → “11”), playback continues even if an off event occurs. Next, when the same pad on-event occurs again, if the video is being played back (RF = "11"), the playback is interrupted (RF → "10"). However, at the time of the next occurrence of the on event, if the reproduction of the image data has already been paused (RF = “10”), for example, when reading of the image data reaches the end position in the “one-shot” mode described later. "), The video reproduction is resumed (from RF to" 11 ").
[0087]
In addition, when “gate1” or “trigger1” is set in the playback modes PM and MM, the mode is the “type 1” restart mode, and playback is interrupted or stopped (RF = “10”). When the ON event occurs again, the reproduction of the pad image data is started from the position where the previous interruption or stop (current position) was performed (RF → “11”). On the other hand, when “gate2” or “trigger2” is set, the “type 2” restart mode is set, and the playback is always restarted from the top position of the pad image data (the beginning or a preset start position).
[0088]
When the “gate” mode is set, in the external control mode MM using the MIDI signal, after an on event occurs for a certain pad image data and before an off event occurs (PF = “10”). ) When an on-event of the same pad occurs again, the reproduction is continued by this on-event reoccurrence. In this case, the restart position parameter (type 1/2) set in the pad image data becomes valid, and when “type 1” is set, the position (current position) from which the pad image data was read when the on-event occurred again ), And when “type 2” is set, the playback is restarted from the top position of the pad image data (the start position (start position when not set) or a preset start position).
[0089]
For the “One Shot / Loop” parameter, the parameter names “onshot” and “loop” are displayed alternately each time the “One Shot / Loop” switch (“1sh / Loop”) R2 is operated. Any parameter can be set when stopped.
[0090]
If “onshot” is set when the system is in the playback mode, the “one-shot” mode is set, and the pad image data is set to the end position (final position (end position in the case of non-setting) or preset end position). When playback is completed up to [position], playback stops (RF → “10”). On the other hand, in the “loop” mode in which “loop” is set, when the pad image data is reproduced to the end, the start position [the start position, or a preset start position or loop start position (from the image data end position to the loop) If it is the head position returned for operation and is set to a position different from the start position at the beginning of reading, it is called “loop start position” in particular.)] And playback is continued (RF = “11”). ").
[0091]
The direction mode based on the “normal / reverse” parameter and the pause mode based on the “type A / type B” parameter are set using a “normal / reverse” switch (“Norm / Revr”) R3. In this case, each time the “normal / reverse” switch R3 is operated, as shown in FIG. 5, the parameters are cyclically displayed on the main body display 13 in the order of “normal A” → “normal B” → “reverse A” → “reverse B”. Since the name is displayed, the desired parameter can be set when the operation is stopped.
[0092]
When “normal A” or “normal B” is set when the system is in the playback mode, the “normal” mode is set and the pad image data is played back in the forward direction. On the other hand, when “reverse A” or “reverse B” is set, the “reverse” mode is set and playback is performed in the reverse direction.
[0093]
In the example of this setting switch, in addition to the setting of the normal or reverse mode, the video display method when the reproduction of the pad image data is interrupted or stopped (referred to as “pause”) is referred to as “type” of the pause mode. A / B "can be set. First, when the pause mode is set to “type A” (“normal A” or “reverse A”), when a pause (RF = “11” → “10”) is commanded, playback is performed at that time. The displayed video is displayed as a still image on the video display 15. On the other hand, when “type B” (“normal B” or “reverse B”) is set, the video is erased from the display display and set to the black level (transmission) by a temporary stop (RF → “10”) command.
[0094]
In the above setting example, the three switches R1 to R3 are used to select “gate (image reproduction during the event ON period) / trigger (reproduction or stop according to the on event)”, “type 1 (pause position). "Restart playback from" / Type 2 (always play from the head), "One shot (play only once) / Loop (repeated playback)", "Normal (play forward) / Reverse (play backward)" And five types of playback output parameters “Type A (display still image by pause instruction) / Type B (video deletion by pause instruction)” are selected. Arbitrary switch configurations can be employed, such as using corresponding switches on a one-to-one basis.
[0095]
Regarding the playback processing parameters (playback processing conditions), as described above, the “brightness” parameter is played back while increasing or decreasing the brightness of the video based on the recorded pad image data. Is reproduced while correcting the hue of the recorded image, the “size” parameter indicates the ratio of the video to be reproduced with respect to the screen of the video display 15, and the “composite (mixed)” parameter is The mode of mixing between a plurality of reproduced videos is indicated, and the “position” parameter is used to indicate the position of the reproduced video with respect to the screen. These reproduction processing parameters are obtained by operating the effect designation switch group EP and the effect setting dials (EFFCT CNTR.1, 2) D1, D2 after selecting the pad image data and selecting a desired parameter value or parameter table. For example, it can be set as shown in the lower part of FIG. In this example and below, illustration of synthesis (mixing) parameters is omitted.
[0096]
As an example of the procedure for setting the reproduction processing parameters, certain pad image data is designated by the bank switches B1 to B3 and the pad switches Pd1 to Pd8, and any switch in the effect designation switch group EP is operated. As a result, on the main body display 13, for the pad image data, the current setting state (initial default value) of the video effect corresponding to all effect designation switches is displayed as a list for each effect setting dial D1, D2. A screen appears. Here, when the effect setting dials D1 and D2 are operated, the parameter value of the video effect designated by the operated effect designation switch is adjusted, and the reproduction processing parameter on the effect setting screen is adjusted corresponding to this operation. The parameter value is changed.
[0097]
In this case, depending on the type of the designated video effect (for example, “brightness” or “color”), a desired effect table is selected by the effect setting dials D1 and D2, and the desired video effect is selected from the selected effect table. Can be set. In the example of FIG. 3, since two effect setting dials D1 and D2 are used, a maximum of four types of reproduction processing parameters (brightness or hue table type, gain, offset, etc.) are used for “brightness” and “hue”. ) For “size / composition” and “position”, respectively, two types of reproduction processing parameters [size (size) and other pad image data mixing modes, X and Y coordinate values (position) ] Can be set.
[0098]
The reproduction processing parameters are not limited to those described above. For example, the “negative effect” for inverting each pixel color of the video to the complementary color of the pad image data, the “filter effect” such as blurring or sharpening, and the “monochrome effect” by the threshold ”Or“ switching effect ”at the time of pad image data switching such as fade-in / out, etc., and arbitrary parameters can be applied as necessary.
[0099]
Playback parameters such as playback output parameters and playback processing parameters can be set / changed using the panel operation device 12 and the main body display 13 in the play mode PM and job mode JM. The set reproduction parameter is linked to each pad image data “IMa1” to “IMc8”, and is recorded in the management data as reproduction conditions (reproduction output condition and reproduction processing condition). FIG. 6 shows a simple setting example of the reproduction parameter in the management table according to one embodiment of the present invention. In the example of FIG. 6, nine types of reproduction conditions including five types of reproduction output conditions and four types of reproduction processing conditions are included in the management data corresponding to each of the 24 pad image data “IMa1” to “IMc8”. Is remembered.
[0100]
Management data including reproduction conditions as shown in FIG. 6 can be saved in the external storage device 4 by the save switch Pd5 (SAVE) under the job mode. Also, after loading the management data from the external storage device 4 onto the dedicated RAM 72 together with the pad image data sets (IMa1 to IMc8) by the load switch Pd6 (LOAD) under the job mode, in the playback mode, based on the playback parameters. Each pad image data can be reproduced.
[0101]
The outline of the function of the video output system according to the present invention will be described with reference to FIG. A plurality of image data (pad image data) IMa1 to IMc8 and management data are stored in the image memory (dedicated RAM in the moving image processing circuit 7) corresponding to the plurality of events A-1 to C-8, respectively. The management data includes a reproduction condition (reproduction parameter) for controlling the reproduction mode of the corresponding image data IMa1 to IMc8. The reproduction condition includes a reproduction output condition for controlling the reading mode of each image data IMa1 to IMc8. (Reproduction output parameters) and reproduction processing conditions (reproduction processing parameters) for controlling the video effect of the read image data are included. For example, when an event A-2 is input, the playback conditions “trigger2” to “upper left” corresponding to the event A-2 are read from the dedicated RAM, and based on the read playback conditions, the event A The reproduction mode of the image data IMa2 corresponding to -2 is controlled, and image data reflecting the reproduction parameter is generated.
[0102]
[Example of processing]
7 to 9 are flowcharts of the video output process according to one embodiment of the present invention. When the execution of the video output processing program is started by turning on the power, the contents of the RAMs 3 and 72 are cleared and the system is initialized, for example, various video output control parameters are reset to standard values. The processing based on the video output processing flow shown in FIGS. 7 to 9 is repeatedly executed until the power is turned off. In this video output processing, the panel setting for accepting the operation status of the panel operator device 12 and a signal from an external device and setting various modes and parameters, and the pad based on the mode and parameters set on the panel. In addition to the reproduction process for controlling the input / output of image data and video signals, processes such as pad image data input (recording) and transfer (save / load) are also performed.
[0103]
In FIG. 7, in the first step P1, it is determined whether or not any operator of the panel operator device 12 has been operated and a setting input has been made. If there is no input from the panel setting operator, the process proceeds to step P2. It is determined whether or not there is a signal input from the external MIDI device 16. Here, if there is any input from the panel operator device 12 or the external MIDI device 16 (P1, P2 → YES), the process proceeds to step P3 to determine whether the input is an instruction related to video output, When an instruction related to video output is detected (P3 → YES), the process proceeds to Step P4.
[0104]
In step P4, it is determined whether or not it is an instruction to reproduce pad recording data, and if it is a pad recording data reproduction instruction due to occurrence of a pad operation event or MIDI event (P4 → YES), reproduction processing is performed in step P5. (FIGS. 10 and 11) are executed.
[0105]
If it is determined in step P2 that there is no signal input from the external MIDI device 16 (P1, P2 → NO), the process proceeds to step P6, and whether or not video reproduction based on the pad image data is being performed. Is determined from the reproduction flag RF. Here, if a video playback operation is in progress (P6 → YES), the process proceeds to the playback process (FIGS. 10 and 11) in step P5. That is, when the data reading unit 73 and the video control unit 74 are performing an operation of reproducing a video based on the pad image data of the reproduction-only RAM 72, the reproduction flag RF = "11" (dynamically) of the pad image data. Since the video is being displayed) or “10” (dynamic video display is being paused), the process proceeds to step P5. On the other hand, when such a video reproduction operation is not performed, since the reproduction flag RF is “00” (P6 → NO), the process returns to Step P1.
[0106]
On the other hand, if it is determined in step P4 that the command is not an instruction to reproduce pad recording data (P4 → NO), the process proceeds to step P7 (FIG. 8), and the real-time video signal from the external video player 14 is further received. It is determined whether or not it is an instruction to capture and output. If the output instruction is an external video signal (P7 → YES), a command to output the input video signal is generated in step P8. That is, a command for outputting the external video signal input from the video player 14 to the video output screen of the video display 15 via the video control unit 74 is generated.
[0107]
On the other hand, if it is determined in step P7 that the instruction is not an external video signal output instruction (P7 → NO), the process proceeds to step P9 to determine whether or not the instruction is to stop the output of the external video signal. If it is an instruction to stop the output of the video signal (P9 → YES), the process further proceeds to Step P10 to issue a command to stop the output of the input video signal. After the processing of Steps P8 and P10, each command is given to the video control unit 74 in the next Step P11, and the video image on the video output screen is controlled by the video control unit 74 so as to correspond to each command.
[0108]
If it is determined in step P9 that the instruction is not an instruction to stop the output of the input video signal (P9 → NO), the process proceeds to step P12, and other instructions related to video output are received and executed. Other instructions in this case include various settings relating to the video to the entire video effect parameter for the video video to the entire video when the pad image data is not being reproduced, and the entire video displayed on the ribbon controller, the scratch pad, and the video display 15. There is a control instruction to the video signal by a real-time operation such as the volume dial D0 for adjusting the gain of the video, and the video control unit 74 can be operated at any time according to a real-time parameter set based on these instructions. And after the process of step P11, P12, it returns to step P1 (FIG. 7).
[0109]
If it is determined in step P3 (FIG. 7) that the instruction is not related to video output (P3 → NO), the process proceeds to step P13 (FIG. 8) to determine whether or not the instruction is to record image data. If the determination is not an instruction to record image data (P13 →→ NO), the process further proceeds to Step P14. In Step P14, it is determined whether or not the instruction is related to data storage / loading, and when data storage or loading is instructed by operating the pad switches Pd5 and Pd6 in addition to the JOB button M3 (P14 → YES). In step P15, data is stored or loaded in response to the instruction, and then the process returns to step P1 (FIG. 7).
[0110]
That is, in various modes including the play mode PM, pad image data and management data associated therewith (including reproduction conditions such as reproduction output conditions and reproduction processing conditions) and the like are obtained. The image data can be saved from the dedicated RAM 72 to the external storage device 4 such as a memory card via the image transfer unit 76. In Step P15, in the job mode JM, on the contrary, a set of pad image data and management data stored in the external storage device 4 is loaded onto the RAM 72 via the image transfer unit 76, and in the playback mode, these are set. Can be used for video reproduction in the play mode PM.
[0111]
On the other hand, if the data is not stored or loaded (P14 → NO), the process proceeds to Step P16, and after performing other processes based on the received other instructions, the process returns to Step P1. The other processes in step P16 include pressing the JOB button M3 to set the job mode JM, and then performing various processes in the job mode JM performed based on the user's panel operation (the “data saving or loading” job described above). Excluding processing). For example, in job processing performed using other pad switches (Pd1 to Pd4, Pd7, Pd8) after the operation of the JOB button M3, display control of the display 13, reset of parameters to standard values, pad image in the RAM 72 Data, playback parameters can be moved, copied, erased, and a receiving MIDI channel can be set.
[0112]
In the job mode JM, various setting operations can be performed using other panel controls. For example, the main body display 13 can be used to set playback parameters such as playback output (playback procedure) parameters of pad image data and video effect (effect) parameters, various settings related to video or overall video effect parameters for video video or the entire video, and changes thereof. This can be done offline with the display assistance, and the set / changed parameters can be stored / updated as management data.
[0113]
If it is determined in step P13 that the REC button M2 has been operated to instruct to record image data (P13 → YES), the process proceeds to the recording mode RM in steps P17 to P24 (FIG. 9). . First, in step P17, selection of an allocation position (pad) based on a selective operation of the bank and pad switches Bi and Pdj is accepted. In other words, the pad operation event Iv at the time of recording selected by the operation of the bank and pad switches Bi and Pdj is received, and the image data to be recorded is determined by the event ID symbols (A-1 to C-3) corresponding to the event Iv. A recording area (pad) on the dedicated RAM 72 (image memory) to be allocated is determined.
[0114]
Next, in step P18, the start of recording is accepted. Further, in step P19, it is determined whether or not an instruction to start recording is given. Until the start of recording is instructed (while P19 → NO), steps P18 and P19 are performed. Repeat the operation. Here, when the start / stop switch (S / S) is operated to start recording (P19 → YES), the process proceeds to Step P20, the moving image recording unit 71 is operated to start recording, and Step P17 is started. In the recording area or pad (BANK-A • PAD1 to BANK-C • PAD8) on the dedicated RAM 72 having the event IDs (A-1 to C-8) determined in (4), the input video signal from the video player 14 is Based image data is stored.
[0115]
In the next step P21, recording stop is accepted, and further, it is determined whether or not a recording stop instruction is issued in step P22. Until the recording stop is instructed (while P22 → NO), steps P21 and P22 are performed. Repeat the operation. Here, when the start / stop switch (S / S) is operated again and a recording stop is instructed (P22 → YES), the process proceeds to Step P23 to stop the recording. In the subsequent Step P24, the image data recording condition ( Management data relating to image quality, resolution, etc.) is created and stored in the dedicated RAM 72 in correspondence with the recorded pad image data.
[0116]
After the management data is created, the current recording mode process (P17 to P24) is finished, and the process returns to step P1 (FIG. 7). Therefore, the pad image data and the management data (recording conditions) obtained in the previous recording mode process are processed when the process proceeds to step P15 in the job process storage mode in the video output process to be executed later. The data can be stored in the external storage device 4 from the dedicated RAM 72.
[0117]
[Reproduction processing]
10 and 11 are flowcharts of the reproduction process according to one embodiment of the present invention. This reproduction process is executed in step P5 (FIG. 7) of the video output process. In the following description, a desired pad image data set and a management data set corresponding thereto are obtained by the load process in step P15 (FIG. 8). The description will be made assuming that the data is already loaded on the dedicated RAM 72.
[0118]
In this reproduction processing flow, first, in step S1, it is determined whether or not the input is an on event. If the input is an on event (S1 → YES), the process proceeds to step S2. In step S2, the reproduction flag RF of the pad image data designated by the on-event is checked to determine whether or not the image reproduction operation is currently being performed for the pad image data stored in the designated pad. To do. Here, when the reproduction flag RF of the designated pad image data is “00” and this image data has not yet entered the reproduction operation stage (reproduction of new pad image data is instructed) (S2). → NO), go to step S3.
[0119]
In step S3, the reproduction flag RF of the newly designated pad image data is changed from “00” to “10”, and the data reading unit 73 reads the management data corresponding to the designated pad image data from the dedicated RAM 72 and reproduces it. Set conditions (playback parameters). In this case, some other pad image data is being reproduced with the reproduction flag RF = "11" or "10", and the number of pad image data during the reproduction operation has reached a predetermined number (for example, "3"). When the management data corresponding to the new pad image data is read, the reproduction flag RF of the pad image data that has entered the reproduction operation first among the pad image data being reproduced is cleared to “00”. Then, an instruction to end the playback operation of the pad image data is given.
[0120]
In the next step S4, it is instructed to read the pad image data from the dedicated RAM 72 and send it to the video control unit 74 in accordance with the reproduction output condition (reproduction output parameter) among the set reproduction conditions. For example, when “normal” is set as the playback output parameter, the pad image data is played back in the forward direction in response to the ON event, and when “reverse” is set, Play backwards.
[0121]
Subsequently, in step S5, the video control unit 74 reproduces the image data read from the data reading unit 73 according to the reproduction output parameter according to the reproduction processing condition (reproduction processing parameter) among the set reproduction conditions. Video processing is executed in the processing (addition of video effect) procedure. The video processing executed in step S6 includes an effect addition process for adjusting brightness, hue, size, position, and the like based on the reproduction processing parameters. In step S6, an instruction is given to output the image obtained by the image processing on the image display, and then the process returns to step P1 (FIG. 7) of the image output processing.
[0122]
On the other hand, when it is determined in step S2 that the reproduction flag RF of the designated pad image data is “11” or “10” and the video reproduction operation based on this image data is being performed (S2 → YES). The process proceeds to step S7. In step S7, it is further determined whether or not the reproduction flag RF of the pad image data is “10” and the video is paused.
[0123]
Here, if the reproduction flag RF of the designated pad image data is “10” and the reproduction of the video is temporarily stopped (S7 → YES), the process proceeds to step S8, and the reproduction flag RF is set to “10”. As in step S4, the data reading unit 73 reads out the image data from a predetermined position according to the corresponding playback processing parameter, and sends it to the video control unit 74 together with the playback processing conditions. The controller 74 causes the reproduction of the image data to start from a predetermined position corresponding to the restart position parameter (type 1/2).
[0124]
For example, when the “type 1” resume position parameter (gate1, trigger1) is set in the image data, playback starts from the current position, that is, the pause position, and the “type 2” resume position parameter (gate2, trigger2). ), The playback is resumed from the beginning (the start position or a preset start position). Then, after executing the video processing and display processing of steps S5 and S6, the process returns to step P1 (FIG. 7) of the video output processing.
[0125]
On the other hand, when it is determined in step S7 that the reproduction flag RF of the pad image data is “11” and the video based on the image data is not being paused but is being reproduced (S7 → YES). In step S9, it is determined whether or not “trigger” is set in the pad image data.
[0126]
If “trigger” is set (S9 → YES), the process proceeds to step S10, the playback flag RF of the pad image data being played is changed from “11” to “10”, and the set temporary time is set. After the video reproduction is paused according to the stop parameter (type A / B), the process returns to step P1 (FIG. 7) of the video output process.
[0127]
That is, when “trigger” is set, once an on-event occurs (for example, even if the pad switch Pdj is pressed and released immediately), video playback based on the pad image data is continued. (RF = “11”) When the same on-event occurs next during video playback (for example, the same pad switch Pdj is pressed again), video playback is temporarily stopped in step S10. In this case, if “type A” (normal A, reverse A) is set as the pause parameter, the video that has been played back at the time of the on-event is displayed as “still display” that remains stationary on the video display 15. . In the case of “type B” (normal B, reverse B), the video is erased (transmitted) from the display to be “non-display” (black level).
[0128]
On the other hand, if “trigger” is not set and “gate” is set (S9 → NO), the process proceeds to step S8, and the image data being reproduced is displayed as “type 1”. The reproduction is continued from the predetermined position corresponding to the “/ 2” parameter, and the reproduction flag RF = “11” is maintained. That is, as in the case of step S7 (YES) → S8 already described, when the “type 1” restart position parameter (gate1) is set, the playback is continued from the currently read position, and “type 2 "Is restart position parameter (gate2), reproduction is restarted from the head position. Then, after executing the video processing and display processing of steps S5 and S6, the process returns to step P1 (FIG. 7) of the video output processing.
[0129]
If it is determined in step S1 that an on-event has not been commanded (S1 → NO), the process proceeds to step S11, where an input by an operation for setting a playback parameter (pad image) or a video effect parameter (video or the whole) is performed. It is determined whether or not there is. Here, setting operations (R1 to R3) of playback output parameters (for example, gate / trigger, type 1/2, one shot / loop, normal / reverse, type A / B, etc.) and playback processing or video effect parameters (for example, When there is an input by an operation (EP; D1, D2) for setting brightness, hue, size, position, etc.) (S11 → YES), the process proceeds to step S12.
[0130]
In step S12, the playback parameter (playback output or playback processing parameter) set in the pad image data being played back or the video effect parameter set in the video or the entire video is changed according to the detected setting operation. The result is recorded in the dedicated RAM 72. Thereafter, the pad image data is read or video-processed for the pad image data in accordance with the changed reproduction condition, and the video process is similarly performed for the video or the entire video. Assumed to be performed.
[0131]
When it is determined in step S11 that the operation is not an operation for setting a reproduction parameter or a video effect parameter (S11 → NO) or after the process of step S12, the process proceeds to step S13, and an instruction to record the video-processed pad image data It is determined whether or not. If there is an instruction to record image data by operating the pad image data recording switch WR (S13 → YES), the process proceeds to step S14, based on the reproduction conditions currently set for the pad image data being reproduced. A command to record the pad image data subjected to the video reproduction processing in a predetermined storage area of the dedicated RAM 72 is then issued to the moving picture recording unit 71.
[0132]
When it is determined in step S13 that the instruction is not an image data recording instruction (S13 → NO) or after the processing in step S14, the process proceeds to step S15, and the reproduction flag RF of the pad image data currently being reproduced is “10”. To determine whether video playback is paused. Here, if the video playback operation is paused (RF = “10”) for the pad image data (S15 → YES), the process immediately returns to step P1 (FIG. 7) of the video output process, and the playback flag is set. If the RF is “11” and the video is being reproduced (S15 → NO), the process proceeds to step S16.
[0133]
In step S16, it is determined whether or not the pad image data is an off event. If an off event has occurred due to the release of pressing of the pad switch Pdj or a note-off detection of a MIDI event (S16 → YES), step S16 is performed. Proceeding to S17, it is further determined whether or not “gate” is set in the pad image data. If “gate” is set (S17 → YES), the playback flag RF of the pad image data is set to “10”, and video playback is paused, and the set pause is performed as in step S10. Depending on whether the parameter is “type A” or “type B”, the video display is statically displayed or not displayed. Thereafter, the process returns to step P1 (FIG. 7) of the video output process.
[0134]
That is, when “gate” is set as the playback output condition (S17 → YES), video based on the pad image data is played back only during the event duration between on / off events (RF = “11”). “) When the event is canceled by the off event (S16 → YES), the video reproduction is temporarily stopped in step S18 (RF →“ 10 ”). In this pause, the display on the video display 15 follows the pause parameter (type A / B) set at that time, as in step S10.
[0135]
When it is determined in step S16 that the event is not an off event (S16 → NO), or when it is determined in step S17 that “gate” is not set (S17 → NO), the process proceeds to step S19, and the pad being reproduced is displayed. It is determined whether reading of image data has reached an end position. If the end position has been reached (S19 → YES), the process proceeds to step S20, and it is further determined whether or not “loop” is set in the pad image data. If “one shot” is set (S20 → NO), the process proceeds to step S18. In step S18, as described above, the playback flag RF of the pad image data is set to “10”, video playback is paused in a display mode according to the pause parameter (type A / B), and then video output is performed. The process returns to step P1 of the process.
[0136]
That is, when “one shot” is set as the reproduction output condition (S20 → NO), the pad image data is reproduced only once (RF = “11”) while the event continues. When playback is performed up to the end position (final position or preset end position) and arrival at the end position is detected (S19 → YES), video playback is paused in step S18 (RF → “10”). . In this case, the video display at the time of pause follows the pause parameter (type A / B) set at that time, as described above. It should be noted that the off-event detection (S16) is not performed (S15) even if the “gate” is set while the pause state is maintained after the pause due to the arrival of the end position (RF = “10”) (S15). → NO).
[0137]
On the other hand, when it is determined in step S19 that the reading of the pad image data has not reached the end position (S19 → NO), or when it is determined that “loop” is set in step S20 (S20 → YES), In step S21, the pad image data is read according to the currently set reproduction output condition, and the video reproduction is continued (RF = "11"). For example, when “Loop” is set, when playback is started to the end of the pad image data in response to the occurrence of an on event, the head position (the start position or a preset loop start position) is reached. The reproduction is continued and the reproduction is continued, and the reproduction operation is instructed [for example, another on-event occurrence: S1 (YES) → S2 (NO) → S3]. Then, in steps S5 and S6 (FIG. 10), the corresponding video processing and display processing are executed, and then the process returns to step P1 (FIG. 7) of the video output processing.
[0138]
When the process proceeds from step S1 to step S3 and a video playback instruction using new pad image data is issued during video playback of certain pad image data, playback of a plurality of pad image data is subject to individual playback conditions. At the same time, video reproduction processing is performed. In this case, the composition parameter for setting the mixing mode between the videos (including the video video) may be different between the pad videos, and the video effect parameters of each video itself such as the luminance parameter and the hue parameter. Since there are restrictions on the hardware (or software) resources, the priority of the video effect parameters to be applied is determined according to a predetermined rule for the video effect assignment mode, and the video effect is given. Execute the process. In this way, when a plurality of videos are simultaneously output, the following processing can be applied by setting rules in advance.
[0139]
(1) Normally, video effects are applied according to the playback conditions set in each pad image data as much as possible, and when video effect processing cannot be performed according to the playback conditions, as described above (see step S3). ) In principle, the video processing is performed with the first arrival priority, and the video effect is given according to the instruction of the reproduction condition of the newly designated pad image data. In this case, for example, the following method may be used:
(1-1) When the video playback position is set so that two or more videos partially or entirely overlap, the playback conditions (mixing parameters) set for each video are set. Regardless of the content, the video that has been played back is displayed so as to overlap the video that has been played back earlier.
(1-2) In addition, regarding the effect processing applied to each image itself such as luminance and hue, when there is a space in the effect circuit (or effect module) for effect processing, a plurality of images for a plurality of images Each effect process can be performed. If there is no free space, when it is detected that there is no free space, as described above (see step S3), the video effect attached in the previous video playback is stopped according to the late arrival priority principle, and the stopped effect circuit Is used to add the set video effect to the newly started video.
[0140]
(2) Contrary to the above-described processing (1), the video effect parameter that has been subjected to video processing first can be preferentially processed (first-come-first-served) with respect to video to be reproduced later. For example, as a processing method related to the overlapping state of a plurality of images and the occupation state of the effect circuit, the processing conditions may be determined in the order of reproduction instructions as in (2-1) and (2-2) below. it can:
(2-1) Until the previous video playback ends or is stopped (turned off) and disappears (previous video playback) so that the video being played first is not lost in the video played later. Priority is given to the previous video processing and the subsequent video is only played back on the back side.
(2-2) Also, with regard to the effect processing (luminance and hue) applied to the video itself, when the effect processing being played is finished and the effect circuit becomes free, the effect circuit is used to apply the effect. You may do it.
[0141]
(3) For example, the reproduction condition is set in step P16 or step S12, the priority is determined for each pad image data as the reproduction condition, and the video effect applying process is performed based on this priority. Priority may be set by the user. For example, the priority rank is set based on the user's setting operation, and the priority rank is compared among the plurality of pad image data instructed to be reproduced in the video processing in step S5, and the higher priority is reproduced. If the condition is adopted, it is possible to perform the video effect processing according to the priority set corresponding to the user operation.
[0142]
(4) Note that if there is a sense of incongruity when the applied video effect changes from the middle, processing is done with the first-come-first-served basis, and for the later-arrived video processing, if there is no effect circuit available at that time, It is also possible to prevent the first video processing from being used until the first video processing is completed (even if the effect circuit is vacant on the way).
[0143]
(5) As described above, even if the number of images to be subjected to image effect processing does not exceed the number of effect circuits, the first or last of the images being processed regardless of whether or not the effect circuits are free. The video effect parameters to be applied may be determined only in the order of the playback commands, such as adopting the effect parameters of the video for which playback has been commanded.
[0144]
[Various Embodiments]
Although one embodiment has been described above, various embodiments can be applied. For example, in the video output device of the embodiment, the play mode (PM) is set when the power is turned on or when another mode is reset, but a play mode designation switch is separately provided, and this switch operation is performed. You may make it become play mode (PM).
[0145]
In the embodiment, pad image data stored in an external storage device such as a smart media is acquired from a video signal from an external video player via a video recording unit and a dedicated RAM. Even if a portable recording medium such as smart media in which data is recorded may be used, the image data may be recorded in the external storage device using another image data input means.
[0146]
Also, if events that instruct the reading of pad image data occur simultaneously due to simultaneous operation of the pad switch, etc., both events may be read almost simultaneously, and video based on the pad image data corresponding to both events may be displayed simultaneously. These events may be invalidated, or only one event may be validated based on a predetermined priority order.
[0147]
【The invention's effect】
As described above, according to the video output device of the present invention, arbitrary image data (IM) corresponding to each of a plurality of operators (Pdj) or a plurality of types of events (Iv) is stored in a plurality of image storage means. (PAD) and the reproduction parameters (FIGS. 5 and 6) corresponding to each image data (IM) are stored in the parameter storage means (72), and the operation or event of the operator (Pdj) is stored. In response to the input (Iv) (P1 / P2, S1), the image data (IM) is obtained from the image storage means (PAD; 72) corresponding to the type of the operated operator (Pdj) or input event (Iv). In addition to reading, the reproduction parameter corresponding to the image data (IM) is read, and the image data (IM) is reproduced while being controlled by the read reproduction parameter (S3 to S6). Therefore, in response to the operation of the operation element or the input of the event, the image data is sequentially extracted from the image storage means designated by the operation element or the input event among the plurality of image storage means, and each extracted image data On the other hand, it is possible to produce various video expressions by performing video processing in various playback modes based on the corresponding playback parameters, and the image data itself of each image storage means keeps the original state, Reproduction parameters can also be held in the parameter storage means (claims 1 and 2).
[0148]
The playback parameters used in the video output apparatus of the present invention include playback output parameters (gate / trigger, one-shot / loop, normal / reverse) for controlling the playback procedure of image data, display type A / B when playback is stopped, Playback start position type 1/2 after stop) and playback processing parameters that control the video effect of image data (luminance, hue, size, position, composition, etc.) An expression can be produced (claims 3 and 4). These playback parameters can be arbitrarily set and changed by the user using the parameter operator means.
[0149]
In the video output device of the present invention, the image data and the playback parameters stored in the image and parameter storage means are saved in an external storage device such as a memory card, and the image data and playback parameters stored in the external storage device are stored in the image. It can be loaded into the means and used for video display (claim 6). Arbitrary image data based on the video signal can be recorded in each image storage means (claim 7). Further, a composite video signal is generated by combining the video signal (P8) input from the external video information device (14) such as a video player and the video signal (S6) generated by the video playback means (73) ( P8, S6; 74) By outputting the generated composite video signal (74) (Claim 8), the video based on the image data stored in the image storage means and the external video information device such as a video player A variety of images can be produced by synthesizing with other images input in real time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of a video output system according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of a moving image processing unit in a video output system according to an embodiment of the present invention.
FIG. 3 shows a configuration example (part) of an operation panel provided on the front surface of the video output apparatus according to the embodiment of the present invention.
FIG. 4 is a diagram showing a configuration example of an image memory according to an embodiment of the present invention.
FIG. 5 is a diagram showing a configuration example of a reproduction parameter according to one embodiment of the present invention.
FIG. 6 is a diagram showing a setting example of a reproduction parameter in a management table according to an embodiment of the present invention.
FIG. 7 is a first part (1/3) of a flowchart showing video output processing according to one embodiment of the present invention;
FIG. 8 is a second part (2/3) of the flowchart showing the video output processing according to one embodiment of the present invention;
FIG. 9 is a third part (3/3) of the flowchart representing the video output processing according to one embodiment of the present invention;
FIG. 10 is a part of a flowchart showing a reproduction process according to an embodiment of the present invention.
FIG. 11 is another part of the flowchart showing the reproduction process according to the embodiment of the present invention.
[Explanation of symbols]
M1-M3 mode specification switch,
Bi = B1 to B3 (1 ≦ i ≦ m = 3) Bank switch,
Pdj = Pd1 to Pd8 (1 ≦ j ≦ n = 8) Pad switch
BANK-A to BANK-C bank (large storage area),
PAD1-PAD8 pad (small storage area),
IM = IMa1 to IMc8 pad image data,
BANK • PAD = “BANK-A • PAD1” to “BANK-C • PAD8” Pads that store pad image data and management data thereof,
Iv; A-1 to C-8 event and event ID,
IM: IMa1 to IMc8,
R1 to R3 playback output setting switch,
EP; D1, D2 effect designation switch group and effect setting dial,
WR Pad image data recording switch.

Claims

複数の操作子と、
これら操作子の夫々に対応して任意の画像データをそれぞれ記憶する複数の画像記憶手段と、
各画像記憶手段に記憶される各画像データの再生態様を制御するための再生パラメータを各画像データそれぞれに対応して記憶するパラメータ記憶手段と、
上記操作子に対する操作を検出する操作検出手段と、
上記操作が検出されたことに応じて、当該操作が検出された操作子に対応する画像記憶手段から画像データを読み出すと共に、当該画像データに対応する再生パラメータをパラメータ記憶手段から読み出す読出し手段と、
読み出された再生パラメータに基づいて、読み出された画像データの再生態様を制御し、当該再生パラメータが反映された画像データを生成する映像再生手段と
を具備することを特徴とする映像出力装置。Multiple controls,
A plurality of image storage means for storing arbitrary image data corresponding to each of these operators;
Parameter storage means for storing a reproduction parameter for controlling the reproduction mode of each image data stored in each image storage means corresponding to each image data;
Operation detecting means for detecting an operation on the operation element;
In response to the detection of the operation, the image data is read from the image storage unit corresponding to the operation element in which the operation is detected, and the reading unit is configured to read the reproduction parameter corresponding to the image data from the parameter storage unit;
A video output device comprising: video playback means for controlling a playback mode of the read image data based on the read playback parameter and generating image data reflecting the playback parameter .

複数種類のイベントの夫々に対応して任意の画像データをそれぞれ記憶する複数の画像記憶手段と、
各画像記憶手段に記憶される各画像データの再生態様を制御するための再生パラメータを各画像データそれぞれに対応して記憶するパラメータ記憶手段と、
イベントの入力に応じて、当該イベントの種類に対応する画像記憶手段から画像データを読み出すと共に、当該画像データに対応する再生パラメータをパラメータ記憶手段から読み出す読出し手段と、
読み出された再生パラメータに基づいて、読み出された画像データの再生態様を制御し、当該再生パラメータが反映された画像データを生成する映像再生手段と
を具備することを特徴とする映像出力装置。A plurality of image storage means for storing arbitrary image data corresponding to each of a plurality of types of events;
Parameter storage means for storing a reproduction parameter for controlling the reproduction mode of each image data stored in each image storage means corresponding to each image data;
In response to the input of the event, the image data is read from the image storage means corresponding to the type of the event, and the reading means for reading the reproduction parameter corresponding to the image data from the parameter storage means;
A video output device comprising: video playback means for controlling a playback mode of the read image data based on the read playback parameter and generating image data reflecting the playback parameter .

前記再生パラメータは、対応する画像データの再生手順を制御する再生出力パラメータを含むことを特徴とする請求項１又は２に記載の映像出力装置。 The video output apparatus according to claim 1, wherein the reproduction parameter includes a reproduction output parameter for controlling a reproduction procedure of corresponding image data.

前記再生パラメータは、対応する画像データの映像効果を制御する再生加工パラメータを含むことを特徴とする請求項１〜３の何れか１項に記載の映像出力装置。 The video output apparatus according to claim 1, wherein the playback parameter includes a playback processing parameter for controlling a video effect of corresponding image data.

さらに、
前記再生パラメータを設定するためのパラメータ操作子手段
を具備することを特徴とする請求項１〜４の何れか１項に記載の映像出力装置。further,
5. The video output apparatus according to claim 1, further comprising parameter operator means for setting the reproduction parameter.

さらに、
前記画像記憶手段に記憶された画像データ及び前記パラメータ記憶手段に記憶された再生パラメータを保存するデータ保存手段と、
データ保存手段に保存された画像データ及び再生パラメータを読み出して、それぞれ、前記画像記憶手段及びパラメータ記憶手段に記憶させるデータ転送手段と
を具備することを特徴とする請求項１〜５の何れか１項に記載の映像出力装置。further,
Data storage means for storing the image data stored in the image storage means and the reproduction parameters stored in the parameter storage means;
6. Data transfer means for reading image data and reproduction parameters stored in the data storage means and storing them in the image storage means and parameter storage means, respectively. The video output device according to item.

さらに、
ビデオ信号を入力するビデオ入力手段と、
上記ビデオ入力手段により入力されるビデオ信号の記録開始及び記録終了を指示する記録指示手段と、
前記複数の画像記憶手段のうち何れかを選択する選択手段と、
上記記録指示手段により記録開始が指示されてから記録終了が指示されるまでのビデオ信号に基づく画像データを、上記選択手段により選択された画像記憶手段に記憶させる録画手段と
を具備することを特徴とする請求項１〜６の何れか１項に記載の映像出力装置。further,
Video input means for inputting a video signal;
Recording instruction means for instructing recording start and recording end of the video signal input by the video input means;
Selecting means for selecting any of the plurality of image storage means;
A recording unit that stores image data based on a video signal from the start of recording by the recording instruction unit until the end of recording is instructed by the image storage unit selected by the selection unit. The video output device according to any one of claims 1 to 6.

さらに、
ビデオ信号を入力するビデオ入力手段と、
上記ビデオ入力手段により入力されたビデオ信号と前記映像再生手段により生成された映像信号とを合成した合成映像信号を生成する合成映像生成手段と、
上記合成映像生成手段により生成された合成映像信号を出力する出力手段と
を具備することを特徴とする請求項１〜６の何れか１項に記載の映像出力装置。further,
Video input means for inputting a video signal;
Synthetic video generation means for generating a composite video signal by combining the video signal input by the video input means and the video signal generated by the video reproduction means;
The video output apparatus according to claim 1, further comprising an output unit that outputs a composite video signal generated by the composite video generation unit.