JP3933589B2 - 動画像変換装置と監視システム - Google Patents
動画像変換装置と監視システム Download PDFInfo
- Publication number
- JP3933589B2 JP3933589B2 JP2003045050A JP2003045050A JP3933589B2 JP 3933589 B2 JP3933589 B2 JP 3933589B2 JP 2003045050 A JP2003045050 A JP 2003045050A JP 2003045050 A JP2003045050 A JP 2003045050A JP 3933589 B2 JP3933589 B2 JP 3933589B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- encoded data
- image
- encoding
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像データを変換し、利用者の携帯端末に送信する動画像変換装置、及び、この動画像変換装置を用いた監視システムに関するものである。
【０００２】
【従来の技術】
動画像処理技術の急速な発展により、動画像をデジタルデータとして扱うことが広く行われている。近年では、動画像を、例えば、ＭＰＥＧ−１、２、４等の符号化方式の符号化データとして配信・保存することが一般的となってきている。
【０００３】
また、映像機器やコンピュータで符号化データを復号化して動画像を視聴するだけではなく、携帯端末（例えば、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｐｐｌｉａｎｃｅ）等）において符号化データを復号化して動画像を視聴するサービスも実用化されている。
【０００４】
ところが、ＭＰＥＧ−１、２、４等の符号化方式にて符号化された監視映像をネットワーク経由で視聴する場合には、符号化データのビットレートが高いと携帯端末での視聴が困難となる。
【０００５】
そのために、携帯端末で動画像を視聴する場合に問題となっていたのは、通信帯域の狭さである。これを解決するために、符号化データのビットレートを低減する手法が提案されている（特許文献１）。
【０００６】
しかし、ビットレートを低減させると動画像の画質の劣化が著しくなる。そこで、低ビットレートでも画質が良い符号化方式に変換することが望ましい。特許文献２では、動画像の符号化方式を変換する一手法が提案されている。
【０００７】
これらビットレートの低減や符号化方式の変換等の手法により、通信帯域が狭い場合でも符号化データを携帯端末でリアルタイムに受信でき、動画像を途切れずに再生することが可能となる。
【０００８】
また、遠隔地で携帯端末を使って常時監視することは現実的ではない。そこで、特許文献３では、監視サイトで異常を検出し、撮影した映像を受信する携帯端末に適したデータ形式に符号化して送付する一手法を提案している。
【０００９】
【特許文献１】
特開２００１−３３９４６０公報
【００１０】
【特許文献２】
特開２００２−１８５９６９公報
【００１１】
【特許文献３】
特開２００２−２７９５５８公報
【００１２】
【発明が解決しようとする課題】
上記のように、異常が検出されたとき、瞬時に携帯端末に映像付きで状況を通報することは有用であるが、一般に携帯端末の画面は家庭用テレビに比べて狭く画素数も少ない。一方、監視映像は家庭用テレビ並みの画質を要求されることが多い。
【００１３】
そのため、携帯端末に適したデータ形式で符号化した場合、監視対象が小さくなってしまい見にくくなる。また、異常事態の内容を確認した後、事後対策でより高精細な監視映像が必要となる場合がある。また、異常が検出されたイベントをメタデータとして、符号化された映像データと共に保存することで事後対策時に異常事態の映像検索が容易となる。なお、「メタデータ」とは映像情報とイベント情報を関連付けるための付加情報であり、例えば、ＭＰＥＧ−７で標準化されているものもある。
【００１４】
そこで、本発明では異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで事後対策が容易となる動画変換装置及びそれを用いた監視システムを提供する。
【００１５】
【課題を解決するための手段】
請求項１の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換装置であって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力手段と、前記入力したデータから前記第１の符号化データを分離する分離手段と、前記分離された第１の符号化データを復号化して動画像を生成する復号化手段と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形手段と、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化手段と、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力手段と、を備えることを特徴とする動画像変換装置である。
【００１６】
請求項２の発明は、前記分離された第１の符号化データからフレームを間引いた第３の符号化データを生成する第３符号化データ生成手段と、前記イベントトリガーが入力した時刻に対応するサムネールを前記第１の符号化データから生成するサムネール生成手段と、前記生成された第３の符号化データと前記生成したサムネールとを蓄積する蓄積手段と、前記蓄積された複数のサムネールの中から一のサムネールを選択する選択手段と、前記選択手段によって選択されたサムネールに対応する第３符号化データを前記蓄積手段から出力する第２の出力手段と、を備えることを特徴とする請求項１記載の動画像変換装置である。
【００１７】
請求項３の発明は、前記蓄積手段は、前記第３の符号化データと前記サムネールと共に前記第２符号化データも蓄積し、前記第２の出力手段は、前記選択手段によって選択されたサムネールに対応する第３符号化データと共に前記第２符号化データも前記蓄積手段から出力することを特徴とする請求項２記載の動画像変換装置である。
【００１８】
請求項４の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像再生装置が携帯端末であることを特徴とする監視システムである。
【００１９】
請求項５の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像取得装置がカメラであり、、前記トリガー発生装置が、異常時にイベントトリガーを供給するセンサーであることを特徴とする監視システムである。
【００２０】
請求項６の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記選択手段が、ネットワークに接続されているクライアント端末であることを特徴とする監視システムである。
【００２１】
請求項７の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法であって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力ステップと、前記入力したデータから前記第１の符号化データを分離する分離ステップと、前記分離された第１の符号化データを復号化して動画像を生成する復号化ステップと、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形ステップと、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化ステップと、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力ステップと、を備えることを特徴とする動画像変換方法である。
【００２２】
請求項８の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法を実現できるコンピュータのプログラムであって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力機能と、前記入力したデータから前記第１の符号化データを分離する分離機能と、前記分離された第１の符号化データを復号化して動画像を生成する復号化機能と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形機能と、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化機能と、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力機能と、を実現できることを特徴とする動画像変換方法のプログラムである。
【００２３】
本発明では、携帯端末等の画像再生装置へ第２符号化データを配信すると共に、事後処理用の第３符号化データを蓄積手段に蓄積する。
【００２４】
事後処理用の第３符号化データは、携帯端末への第２符号化データよりも高品質なもので、また、入力された第１符号化データを間引いて生成する準動画である。また、異常を検出したイベントを、蓄積されている第２符号化データや準動画像の第３符号化データと関連付けたメタデータとして保存する。
【００２５】
【発明の実施の形態】
（１）監視システム３１０の内容
図２は本発明の一実施形態の動画像変換装置であるトランスコードサーバ３００を用いた監視システム３１０の一利用方法を説明する図である。また、図３は本発明の一実施形態の監視システム３１０を説明する図である。
【００２６】
監視サイト２０１には、監視システム３１０が備えられており、カメラ３０１で撮影された映像の解析結果やセンサ３０２を使用して異常を検知している。検知された異常は、イベントトリガーとしてトランスコードサーバ３００へと供給される。
【００２７】
カメラ３０１は、撮影された映像をＭＰＥＧ−１、２、４やモーションＪＰＥＧへと比較的高画質にエンコードする機能を内蔵するか、または、ＭＰＥＧ−１、２、４やモーションＪＰＥＧエンコーダ（図示せず）に接続されており、撮影された映像が高画質に圧縮された後、トランスコードサーバ３００に供給される。ここで、ディジタルカムコーダで使われているＤＶ形式のことも、以後モーションＪＰＥＧと呼ぶことにする。
【００２８】
トランスコードサーバ３００への圧縮された映像の供給は、カメラ３０１やエンコーダから直接行っても良いし、監視サイト２０１内のネットワーク３０３を介して供給しても良い。
【００２９】
なお、先に述べたカメラ３０１で撮影された映像の解析は、カメラ３０１内で行っても良いし、トランスコードサーバ３００に供給された映像を用いてトランスコードサーバ３００内において行っても良い。
【００３０】
トランスコーダサーバ３００内では、イベントトリガーが供給された時刻の前後に撮影された映像を、携帯端末２０２に適した小画面・低ビットレートのＭＰＥＧ−４に変換した後、メールに添付して携帯端末２０２へと送信する。
【００３１】
送信されたメールは、監視サイト２０１内のネットワーク３０３を経由して外部ネットワーク２０３へと供給され、携帯端末２０２へと届けられる。
【００３２】
視聴者は、携帯端末２０２で検知された異常の状況を確認した後、監視サイト２０１へ事後処理の指示を行うことが出来る。
【００３３】
（２）携帯端末２０２で状況確認
図４は、携帯端末２０２で状況を確認する一例を説明している。
【００３４】
携帯端末２０２で送付されたメール４０１を開くと、異常が検知されたことを知らせる文章と共に映像が添付されている。
【００３５】
携帯端末２０２で添付された映像の内容を確認する操作を行うと、異常が検知された時刻の前後の映像４０２が再生される。ここで、映像そのものがメール４０１に添付されていると説明しているが、映像はメールサーバ（図示せず）に蓄積されていて、メールにはポインタだけが添付されて、視聴者が視聴を希望したときのみ携帯端末２０２へと送付する場合もある。
【００３６】
また、トランスコードサーバ３００内の蓄積装置に高画質の監視映像が蓄積されている場合には、視聴者からの指示によっては、監視サイト２０１内のネットワーク３０３に接続されたクライアント端末３０４を用いて詳細な状況の確認が出来る。
【００３７】
以下に、トランスコードサーバ３００の実施形態を説明する。
【００３８】
（３）トランスコードサーバ３００の内容
以下、図面を参照して本発明の第１の実施形態のトランスコードサーバ３００について説明する。
【００３９】
（３−１）トランスコードサーバ３００の構成
図１は、本実施形態のトランスコードサーバ３００の構成図である。
【００４０】
トランスコードサーバ３００は、カメラ３０１等から供給される映像入力には、動画像の符号化データのほかにシステム情報（ＭＰＥＧ−２システム等）、ネットワークプロトコル情報（ＲＴＰヘッダ等）等が含まれている。
【００４１】
そのため、図１に示すように、映像入力から動画像の符号化データを分離するための動画像分離部１０１と、分離された動画像の符号化データをフレーム数や画像の解像度を間引くための動画像間引き部１０２と、分離された動画像の符号化データを視聴者が携帯端末で視聴可能にしたり、トランスコードサーバ３００内に長時間動画像を蓄積しやすいように、動画像の符号化方式・ビットレート・画面サイズ等を変換する動画像変換部（トランスコーダ）１１０と、変換された動画像の符号化データを携帯端末に送信する動画像出力部１０６と、変換された動画像の符号化データや動画像間引き部１０２で間引かれた動画像の符号化データ等を蓄積する動画像蓄積部１０５と、動画像蓄積部１０５に蓄積された任意のデータを読み出す読出制御部１０８を備える。
【００４２】
また、映像を視聴するための携帯端末のプロファイルや、センサ３０２等から供給されるイベントのトリガ情報により、動画像間引き部１０２、動画像出力部１０６、動画像変換部（トランスコーダ）１１０の動作を制御するトランスコード制御部１０７とを備える。
【００４３】
動画像変換部（トランスコーダ）１１０は、読み出した動画像の符号化データを復号化して得られる動画像を、携帯端末２０２で視聴しやすいように変形する動画像変形部１０３と、変形された動画像を利用者の携帯端末で視聴可能な方式で符号化する動画像符号化部１０４とを備える。
【００４４】
本実施形態では、オーディオの符号化データに関しては具体的には触れないが、携帯端末２０２で視聴可能にしたり、トランスコードサーバ内に長時間蓄積しやすいように符号化方式やビットレートを変換することもできる。また、画像のみを監視する場合は、オーディオデータを使用しなくても良い。
【００４５】
なお、上記各部１０１〜１１０の各機能は、コンピュータであるトランスコードサーバ３００に記憶されたプログラムによって実現できる。
【００４６】
（３−２）トランスコードサーバ３００の動作
トランスコードサーバ３００の基本的な動作は、次の通りである。
【００４７】
まず、動画像分離部１０１でカメラ３０１から直接、或いは、ネットワーク３０３等を介して供給される映像入力から動画像の符号化データを分離して、動画像間引き部１０２及び動画像変形部１０３に供給する。
【００４８】
トランスコード制御部１０７は、視聴者の携帯端末２０２のプロファイル（例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等）と、イベントトリガーに応じて、動画像間引き部１０２、動画像変換部（トランスコーダ）１１０、動画像出力部１０６を制御する。
【００４９】
読出間引き部１０２は、動画像の符号化データのフレーム数を間引くと共に、トランスコード制御部１０７からの要求によって、さらに解像度も間引いた画像を作成してサムネールとして動画像蓄積部１０５に蓄積する。ここで、「サムネール」とはイベントの内容の概略をつかむために、イベント発生前後のある時刻のフレームを縮小した静止画像のことである。
【００５０】
動画像変換部（トランスコーダ）１１０は、トランスコード制御部１０７からの要求に基づいて動画像分離部１０１から供給される符号化データを、動画像変形部１０３で復号化して変形処理を行い、動画像符号化部１０４で符号化する。そして、動画像出力部１０６から視聴者の携帯端末２０２に向けて出力する。
【００５１】
さらに、動画像符号化部１０４で符号化された符号化データは、動画像蓄積部１０５にも蓄積される。
【００５２】
読出制御部１０８は、クライアント端末（クライアントＰＣ）３０４からの要求に応じて動画像蓄積部１０５に蓄積されている符号化データを読み出してクライアント端末３０４へ送り出す。
【００５３】
なお、監視システム３１０内に、複数のカメラやセンサやトランスコードサーバが存在してもよく、この場合、複数のトランスコードサーバ間で動画像蓄積部１０５を共有しても良い。
【００５４】
（３−３）動画像分離部１０１
動画像分離部１０１には、カメラ３０１あるいはネットワーク３０３から供給される映像入力から、ＭＰＥＧ−２方式の動画像の符号化データを分離する。そして、分離した符号化データを動画像間引き部１０２及び動画像変形部１０３に順次供給する。
【００５５】
また、本実施形態では、映像入力はＭＰＥＧ−２方式であるものとするが、映像内容の詳細を把握できる品質であれば、これ以外の符号化方式（例えばＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ２６４、モーションＪＰＥＧ）でも良い。
【００５６】
また、配信される動画像は暗号化（スクランブルを含む）されていても良い。この場合、動画像分離部１０１で復号・復元を行うものとする。
【００５７】
（３−４）動画像間引き部１０２
動画像間引き部１０２は動画像分離部１０１から供給されるＭＰＥＧ−２符号化データをパースして、フレーム内符号化のフレーム（ＭＰＥＧ−２ではＩピクチャと呼ばれている）を圧縮されたデータのまま抜き出して動画像蓄積部１０５に蓄積すると共に、イベントトリガーに対応するサムネールを生成し、動画像蓄積部１０５に蓄積する。
【００５８】
図５は、動画像間引き部１０２の動作を具体的に説明する図である。
【００５９】
入力映像には、映像内容の詳細を把握できる品質を確保するために、画面解像度／フレームレート／ビットレートが高いＭＰＥＧ−２方式が用いられる。図５の例では、画面解像度：７２０×４８０画素、フレームレート：３０ｆｐｓとしている。
【００６０】
なお、動画像蓄積部１０５の容量が十分大きな場合は、前述したフレームの間引きを行わずに動画像蓄積部１０５に蓄積しても良い。しかし、動画像蓄積部１０５を複数のトランスコーダで共有したり、長時間の動画像の符号化データを蓄積する場合には、フレームの間引きを行う。
【００６１】
標準的な運用形態では、ＭＰＥＧ−２方式の符号化データには、１５フレーム毎に１回、Ｉピクチャが入っている。そこで、Ｉピクチャだけを抜き出してフレーム間引きを行うことで、図５に示されるような準動画像が得られる。
【００６２】
さらに、トランスコード制御部１０７より線１０７１を介してイベント発生時刻が供給され、イベント発生時刻に近いＩピクチャを、例えば図５に示すように９０×６０画素に縮小し、イベントに対応するサムネールとして動画像蓄積部１０５に蓄積する。
【００６３】
ここで、イベント発生時刻に対して、該当するサムネールと、そのサムネールの元となったＩピクチャを関連付けする情報を、メタデータとして動画像蓄積部１０５に蓄積する。
【００６４】
（３−５）動画像変形部１０３
動画像変形部１０３は、ＭＰＥＧ−２を復号化する復号化器１０３１と、動画像の各フレームに対して変形を行うためのＤＳＰ１０３２とを備える。
【００６５】
動画像変形部１０３は、動画像分離部１０１から供給された符号化データを復号化器１０３１で復号化する。そして、復号化して得られる動画像を、視聴者の携帯端末２０２のプロファイルを信号線１０７２を介してトランスコード制御部１０７から受け取り、ＤＳＰ１０３２を用いて携帯端末に適した画面サイズやフレームレートに変形処理を行う。変形された動画像は動画像符号化部１０４へと供給される。
【００６６】
なお、前記の特許文献２に提案されているように、復号化器１０３１から動きベクトル情報やモード情報も出力することとし、ＤＳＰ１０３２を用いて動きベクトルも視聴者の携帯端末２０２のプロファイルにしたがって変形しても良い。変形された動きベクトルは動画像符号化部１０４へと供給され、ＭＰＥＧ−４符号化時の動きベクトル検出処理を削減することが可能となる。
【００６７】
なお、復号化器１０３１は専用のハードウエア（半導体集積回路）として構成しても良いし、ソフトウエア的に実現しても良い。ＤＳＰ１０３２に関しても汎用のＣＰＵを用いて処理を行うようにしても良い。
【００６８】
（３−６）動画像符号化部１０４
動画像符号化部１０４は、変形された動画像をＭＰＥＧ−４方式で符号化する。符号化にあたっては信号線１０７３を介してトランスコード制御部１０７から受け取った視聴者の携帯端末２０２のプロファイルに合わせてビットレートを決定する。
【００６９】
なお、本実施形態では動画像符号化部１０４ではＭＰＥＧ−４方式で符号化を行うものとするが、これ以外の符号化方式（例えばＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ２６４）で符号化を行うように構成しても良い。また、複数の符号化方式を扱えるように構成して、利用者が符号化方式を選択できるようにしても良い。
【００７０】
複数の符号化方式をサポートする場合、動画像符号化部１０４をメモリとＣＰＵとを備えた構成にして、符号化する機能をソフトウエア的に実現すると実装しやすいと考えられる。
【００７１】
（３−７）動画像蓄積部１０５
動画像蓄積部１０５は、図６に示されるように、メタデータ１０５１、サムネール１０５２、準動画像１０５３、動画像符号化部１０４で生成された符号化データを蓄積する。
【００７２】
メタデータ１０５１は、イベントとサムネール１０５２と準動画像１０５３と動画像符号化部１０４で生成された符号化データとを関連付ける。
【００７３】
関連付けの一例をあげると、イベントＡに対して、
［１］時刻：ＭＭ分ＳＳ秒、
［２］対応するサムネールのファイル名、
［３］対応する準動画のファイル名、
［４］対応する動画像符号化部１０４で生成された符号化データのファイル名を関連付けることができる。
【００７４】
［３］、［４］には、タイムスタンプがつけられており、［１］の時刻を用いてイベントＡに対応する時刻の準動画の１フレームを高精細な静止画として抜き出したり、イベントＡに対応する時刻から動画像符号化部１０４で生成された符号化データを再生することが可能となる。
【００７５】
（３−８）動画像出力部１０６
動画像出力部１０６は、図７に示されるようにリングバッファ１０６１を備えており、動画像符号化部１０４で生成された符号化データはリングバッファ１０６１に一定時間蓄積される。また、符号化データのタイムスタンプはリングバッファのバイト位置と関連付けられている。
【００７６】
ここで、何かイベントが発生すると、トランスコード制御部１０７より信号線１０７４を介して供給されるイベント発生時刻の情報を元に、リングバッファ１０６１上のバイト位置１０６２を特定し、バイト位置１０６２の前後一定時間１０６３分の符号化データを携帯端末２０２に出力する。なお、信号線１０７４を介して供給される視聴者の携帯端末２０２のプロファイルにしたがって、時間１０６３を決定したほうがよい。
【００７７】
（３−９）トランスコード制御部１０７
トランスコード制御部１０７は、視聴者の携帯端末２０２のプロファイル（例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等）とイベントトリガーに応じて、動画像間引き部１０２、動画像変換部（トランスコーダ）１１０、動画像出力部１０６を制御する。
【００７８】
ここで、視聴者の携帯端末２０２のプロファイルは、トランスコード制御部１０７内のメモリに保持していても良いし、また、その都度外部から与えられても良い。
【００７９】
動画像間引き部１０２に対しては、イベントトリガーが入力された時刻を検出し、信号線１０７１を介してイベントの発生時刻を供給する。
【００８０】
動画像変形部１０３に対しては、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適した画面サイズやフレームレートを求めて信号線１０７２を介して供給する。
【００８１】
動画像符号化部１０４に対しては、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適したビットレートや符号化方式を求めて信号線１０７３を介して供給する。
【００８２】
動画像出力部１０６に対しては、イベントトリガーが入力された時刻と、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適したメールに添付する動画像の再生時間を求め、信号線１０７４を介して供給する。
【００８３】
（３−１０）読出制御部１０８
読出制御部１０８は、クライアント端末であるクライアントＰＣ３０４の要求を受け取り、利用者が要求した動画像の符号化データを動画像蓄積部１０５から読み出し、クライアントＰＣ３０４へと配信する装置である。
【００８４】
図８は、クライアントＰＣ３０４からの要求にしたがって、動画像蓄積部１０５に蓄積されている動画像の符号化データを、クライアントＰＣ３０４へと配信して再生する一連の動作の一例を説明する図である。
【００８５】
クライアントＰＣ３０４から、トランスコードサーバ３００内のＨＴＴＰサーバ（図示せず）内で生成されたＷｅｂページにアクセスすると、Ｗｅｂブラウザ８０１が立ち上がり各イベントに対応したサムネールの一覧が表示される。
【００８６】
Ｗｅｂブラウザ８０１上に表示される任意のサムネール８０２をクリックすると、該サムネールを特定する情報が読出制御部１０８に送られる。ここで、クリックとはワンクリックでもダブルクリックいずれを使っても構わない。
【００８７】
まず、読出制御部１０８では、動画像蓄積部１０５内にあるメタデータを参照して、該サムネールに対応する動画像の符号化データファイルと、その再生時刻を特定する。
【００８８】
次に、読出制御部１０８では、動画像の符号化データファイルと、その再生時刻にしたがって、動画像蓄積部１０５内の動画像の符号化データを読み出し、クライアントＰＣ３０４へと配信する。
【００８９】
クライアントＰＣ３０４上では、任意のサムネール８０２をクリックすると同時に、動画像の符号化データを再生するための動画像ビューワ８０３を起動させており、トランスコードサーバ３００から配信される動画像を再生する。
【００９０】
また、動画像の符号化データの代わりに、準動画１０５３の該サムネールに対応するフレームを配信し、クライアントＰＣ３０４上に表示しても良い。
【００９１】
ここで、トランスコードサーバ３００から動画像の符号化データがクライアントＰＣ３０４へと配信される例を示したが、クライアントＰＣ３０４が動画像蓄積部１０５内のファイルをファイル共有することで、リモートファイル再生をしても良い。
【００９２】
（４）変形例
動画像変換部（トランスコーダ）１１０では、変換されて出力される動画像の符号化データは、携帯端末２０２での視聴に適した小画面・低ビットレートのものとなってしまい、事後処理時にクライアントＰＣ３０４で視聴する動画像の品質は低いものになる。
【００９３】
そこで、動画像変換部（トランスコーダ）１１０を図９に示される構成とすることで、動画像蓄積部１０５には動画像出力部１０６に供給されるものよりも高品質な動画像符号化データを蓄積して事後処理時に活用することができる。
【００９４】
ここで、第２ＤＳＰ１０３３（図９中ではＤＳＰ２と標記する）は、ＤＳＰ１０３２と同じ機能を有している。但し、第２ＤＳＰ１０３３はトランスコード制御部１０７にしたがわず、ＤＳＰ１０３２よりも高解像度・高フレームレートに動画像を変換する。
【００９５】
第２動画像符号化部１０４２（図９中では動画像符号化部２と標記する）は、動画像符号化部１０４１と異なる符号化方式でも良く、符号化ビットレートもトランスコード制御部１０７にしたがわず、動画像符号化部１０４１より高い値としても良い。
【００９６】
【発明の効果】
以上、本発明によれば、異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで、事後対策が容易となる。
【図面の簡単な説明】
【図１】本発明の一実施形態のトランスコードサーバの構成を示すブロック図である。
【図２】本発明の一実施形態のトランスコードサーバを用いた監視システムの一利用方法を説明するイメージ図である。
【図３】本発明の一実施形態の監視システムを説明する図である。
【図４】携帯端末で状況を確認する一例を説明する図である。
【図５】動画像間引き部１０２の動作を具体的に説明する図である。
【図６】動画像蓄積部１０５の構成を説明する図である。
【図７】動画像出力部１０６の一連の動作を説明する図である。
【図８】読出制御部１０８に一連の動作の一例を説明する図である。
【図９】動画像変換部（トランスコーダ）１１０の変形例を説明する図である。
【符号の説明】
１０１ 動画像分離部
１０２ 動画像間引き部
１０３ 動画像変形部
１０４ 動画像符号化部
１０５ 動画像蓄積部
１０６ 動画像出力部
１０７ トランスコード制御部
１０８ 読出制御部
１１０ 動画像変換部（トランスコーダ）
２０１ 監視サイト
２０２ 携帯端末
２０３ ネットワーク
３００ トランスコードサーバ
３０１ カメラ
３０４ クライアントＰＣ
【発明の属する技術分野】
本発明は、動画像データを変換し、利用者の携帯端末に送信する動画像変換装置、及び、この動画像変換装置を用いた監視システムに関するものである。
【０００２】
【従来の技術】
動画像処理技術の急速な発展により、動画像をデジタルデータとして扱うことが広く行われている。近年では、動画像を、例えば、ＭＰＥＧ−１、２、４等の符号化方式の符号化データとして配信・保存することが一般的となってきている。
【０００３】
また、映像機器やコンピュータで符号化データを復号化して動画像を視聴するだけではなく、携帯端末（例えば、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｐｐｌｉａｎｃｅ）等）において符号化データを復号化して動画像を視聴するサービスも実用化されている。
【０００４】
ところが、ＭＰＥＧ−１、２、４等の符号化方式にて符号化された監視映像をネットワーク経由で視聴する場合には、符号化データのビットレートが高いと携帯端末での視聴が困難となる。
【０００５】
そのために、携帯端末で動画像を視聴する場合に問題となっていたのは、通信帯域の狭さである。これを解決するために、符号化データのビットレートを低減する手法が提案されている（特許文献１）。
【０００６】
しかし、ビットレートを低減させると動画像の画質の劣化が著しくなる。そこで、低ビットレートでも画質が良い符号化方式に変換することが望ましい。特許文献２では、動画像の符号化方式を変換する一手法が提案されている。
【０００７】
これらビットレートの低減や符号化方式の変換等の手法により、通信帯域が狭い場合でも符号化データを携帯端末でリアルタイムに受信でき、動画像を途切れずに再生することが可能となる。
【０００８】
また、遠隔地で携帯端末を使って常時監視することは現実的ではない。そこで、特許文献３では、監視サイトで異常を検出し、撮影した映像を受信する携帯端末に適したデータ形式に符号化して送付する一手法を提案している。
【０００９】
【特許文献１】
特開２００１−３３９４６０公報
【００１０】
【特許文献２】
特開２００２−１８５９６９公報
【００１１】
【特許文献３】
特開２００２−２７９５５８公報
【００１２】
【発明が解決しようとする課題】
上記のように、異常が検出されたとき、瞬時に携帯端末に映像付きで状況を通報することは有用であるが、一般に携帯端末の画面は家庭用テレビに比べて狭く画素数も少ない。一方、監視映像は家庭用テレビ並みの画質を要求されることが多い。
【００１３】
そのため、携帯端末に適したデータ形式で符号化した場合、監視対象が小さくなってしまい見にくくなる。また、異常事態の内容を確認した後、事後対策でより高精細な監視映像が必要となる場合がある。また、異常が検出されたイベントをメタデータとして、符号化された映像データと共に保存することで事後対策時に異常事態の映像検索が容易となる。なお、「メタデータ」とは映像情報とイベント情報を関連付けるための付加情報であり、例えば、ＭＰＥＧ−７で標準化されているものもある。
【００１４】
そこで、本発明では異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで事後対策が容易となる動画変換装置及びそれを用いた監視システムを提供する。
【００１５】
【課題を解決するための手段】
請求項１の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換装置であって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力手段と、前記入力したデータから前記第１の符号化データを分離する分離手段と、前記分離された第１の符号化データを復号化して動画像を生成する復号化手段と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形手段と、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化手段と、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力手段と、を備えることを特徴とする動画像変換装置である。
【００１６】
請求項２の発明は、前記分離された第１の符号化データからフレームを間引いた第３の符号化データを生成する第３符号化データ生成手段と、前記イベントトリガーが入力した時刻に対応するサムネールを前記第１の符号化データから生成するサムネール生成手段と、前記生成された第３の符号化データと前記生成したサムネールとを蓄積する蓄積手段と、前記蓄積された複数のサムネールの中から一のサムネールを選択する選択手段と、前記選択手段によって選択されたサムネールに対応する第３符号化データを前記蓄積手段から出力する第２の出力手段と、を備えることを特徴とする請求項１記載の動画像変換装置である。
【００１７】
請求項３の発明は、前記蓄積手段は、前記第３の符号化データと前記サムネールと共に前記第２符号化データも蓄積し、前記第２の出力手段は、前記選択手段によって選択されたサムネールに対応する第３符号化データと共に前記第２符号化データも前記蓄積手段から出力することを特徴とする請求項２記載の動画像変換装置である。
【００１８】
請求項４の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像再生装置が携帯端末であることを特徴とする監視システムである。
【００１９】
請求項５の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記画像取得装置がカメラであり、、前記トリガー発生装置が、異常時にイベントトリガーを供給するセンサーであることを特徴とする監視システムである。
【００２０】
請求項６の発明は、請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、前記選択手段が、ネットワークに接続されているクライアント端末であることを特徴とする監視システムである。
【００２１】
請求項７の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法であって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力ステップと、前記入力したデータから前記第１の符号化データを分離する分離ステップと、前記分離された第１の符号化データを復号化して動画像を生成する復号化ステップと、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形ステップと、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化ステップと、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力ステップと、を備えることを特徴とする動画像変換方法である。
【００２２】
請求項８の発明は、動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法を実現できるコンピュータのプログラムであって、前記画像取得装置から前記第１の符号化データを含むデータが入力する入力機能と、前記入力したデータから前記第１の符号化データを分離する分離機能と、前記分離された第１の符号化データを復号化して動画像を生成する復号化機能と、前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形機能と、前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化機能と、前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力機能と、を実現できることを特徴とする動画像変換方法のプログラムである。
【００２３】
本発明では、携帯端末等の画像再生装置へ第２符号化データを配信すると共に、事後処理用の第３符号化データを蓄積手段に蓄積する。
【００２４】
事後処理用の第３符号化データは、携帯端末への第２符号化データよりも高品質なもので、また、入力された第１符号化データを間引いて生成する準動画である。また、異常を検出したイベントを、蓄積されている第２符号化データや準動画像の第３符号化データと関連付けたメタデータとして保存する。
【００２５】
【発明の実施の形態】
（１）監視システム３１０の内容
図２は本発明の一実施形態の動画像変換装置であるトランスコードサーバ３００を用いた監視システム３１０の一利用方法を説明する図である。また、図３は本発明の一実施形態の監視システム３１０を説明する図である。
【００２６】
監視サイト２０１には、監視システム３１０が備えられており、カメラ３０１で撮影された映像の解析結果やセンサ３０２を使用して異常を検知している。検知された異常は、イベントトリガーとしてトランスコードサーバ３００へと供給される。
【００２７】
カメラ３０１は、撮影された映像をＭＰＥＧ−１、２、４やモーションＪＰＥＧへと比較的高画質にエンコードする機能を内蔵するか、または、ＭＰＥＧ−１、２、４やモーションＪＰＥＧエンコーダ（図示せず）に接続されており、撮影された映像が高画質に圧縮された後、トランスコードサーバ３００に供給される。ここで、ディジタルカムコーダで使われているＤＶ形式のことも、以後モーションＪＰＥＧと呼ぶことにする。
【００２８】
トランスコードサーバ３００への圧縮された映像の供給は、カメラ３０１やエンコーダから直接行っても良いし、監視サイト２０１内のネットワーク３０３を介して供給しても良い。
【００２９】
なお、先に述べたカメラ３０１で撮影された映像の解析は、カメラ３０１内で行っても良いし、トランスコードサーバ３００に供給された映像を用いてトランスコードサーバ３００内において行っても良い。
【００３０】
トランスコーダサーバ３００内では、イベントトリガーが供給された時刻の前後に撮影された映像を、携帯端末２０２に適した小画面・低ビットレートのＭＰＥＧ−４に変換した後、メールに添付して携帯端末２０２へと送信する。
【００３１】
送信されたメールは、監視サイト２０１内のネットワーク３０３を経由して外部ネットワーク２０３へと供給され、携帯端末２０２へと届けられる。
【００３２】
視聴者は、携帯端末２０２で検知された異常の状況を確認した後、監視サイト２０１へ事後処理の指示を行うことが出来る。
【００３３】
（２）携帯端末２０２で状況確認
図４は、携帯端末２０２で状況を確認する一例を説明している。
【００３４】
携帯端末２０２で送付されたメール４０１を開くと、異常が検知されたことを知らせる文章と共に映像が添付されている。
【００３５】
携帯端末２０２で添付された映像の内容を確認する操作を行うと、異常が検知された時刻の前後の映像４０２が再生される。ここで、映像そのものがメール４０１に添付されていると説明しているが、映像はメールサーバ（図示せず）に蓄積されていて、メールにはポインタだけが添付されて、視聴者が視聴を希望したときのみ携帯端末２０２へと送付する場合もある。
【００３６】
また、トランスコードサーバ３００内の蓄積装置に高画質の監視映像が蓄積されている場合には、視聴者からの指示によっては、監視サイト２０１内のネットワーク３０３に接続されたクライアント端末３０４を用いて詳細な状況の確認が出来る。
【００３７】
以下に、トランスコードサーバ３００の実施形態を説明する。
【００３８】
（３）トランスコードサーバ３００の内容
以下、図面を参照して本発明の第１の実施形態のトランスコードサーバ３００について説明する。
【００３９】
（３−１）トランスコードサーバ３００の構成
図１は、本実施形態のトランスコードサーバ３００の構成図である。
【００４０】
トランスコードサーバ３００は、カメラ３０１等から供給される映像入力には、動画像の符号化データのほかにシステム情報（ＭＰＥＧ−２システム等）、ネットワークプロトコル情報（ＲＴＰヘッダ等）等が含まれている。
【００４１】
そのため、図１に示すように、映像入力から動画像の符号化データを分離するための動画像分離部１０１と、分離された動画像の符号化データをフレーム数や画像の解像度を間引くための動画像間引き部１０２と、分離された動画像の符号化データを視聴者が携帯端末で視聴可能にしたり、トランスコードサーバ３００内に長時間動画像を蓄積しやすいように、動画像の符号化方式・ビットレート・画面サイズ等を変換する動画像変換部（トランスコーダ）１１０と、変換された動画像の符号化データを携帯端末に送信する動画像出力部１０６と、変換された動画像の符号化データや動画像間引き部１０２で間引かれた動画像の符号化データ等を蓄積する動画像蓄積部１０５と、動画像蓄積部１０５に蓄積された任意のデータを読み出す読出制御部１０８を備える。
【００４２】
また、映像を視聴するための携帯端末のプロファイルや、センサ３０２等から供給されるイベントのトリガ情報により、動画像間引き部１０２、動画像出力部１０６、動画像変換部（トランスコーダ）１１０の動作を制御するトランスコード制御部１０７とを備える。
【００４３】
動画像変換部（トランスコーダ）１１０は、読み出した動画像の符号化データを復号化して得られる動画像を、携帯端末２０２で視聴しやすいように変形する動画像変形部１０３と、変形された動画像を利用者の携帯端末で視聴可能な方式で符号化する動画像符号化部１０４とを備える。
【００４４】
本実施形態では、オーディオの符号化データに関しては具体的には触れないが、携帯端末２０２で視聴可能にしたり、トランスコードサーバ内に長時間蓄積しやすいように符号化方式やビットレートを変換することもできる。また、画像のみを監視する場合は、オーディオデータを使用しなくても良い。
【００４５】
なお、上記各部１０１〜１１０の各機能は、コンピュータであるトランスコードサーバ３００に記憶されたプログラムによって実現できる。
【００４６】
（３−２）トランスコードサーバ３００の動作
トランスコードサーバ３００の基本的な動作は、次の通りである。
【００４７】
まず、動画像分離部１０１でカメラ３０１から直接、或いは、ネットワーク３０３等を介して供給される映像入力から動画像の符号化データを分離して、動画像間引き部１０２及び動画像変形部１０３に供給する。
【００４８】
トランスコード制御部１０７は、視聴者の携帯端末２０２のプロファイル（例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等）と、イベントトリガーに応じて、動画像間引き部１０２、動画像変換部（トランスコーダ）１１０、動画像出力部１０６を制御する。
【００４９】
読出間引き部１０２は、動画像の符号化データのフレーム数を間引くと共に、トランスコード制御部１０７からの要求によって、さらに解像度も間引いた画像を作成してサムネールとして動画像蓄積部１０５に蓄積する。ここで、「サムネール」とはイベントの内容の概略をつかむために、イベント発生前後のある時刻のフレームを縮小した静止画像のことである。
【００５０】
動画像変換部（トランスコーダ）１１０は、トランスコード制御部１０７からの要求に基づいて動画像分離部１０１から供給される符号化データを、動画像変形部１０３で復号化して変形処理を行い、動画像符号化部１０４で符号化する。そして、動画像出力部１０６から視聴者の携帯端末２０２に向けて出力する。
【００５１】
さらに、動画像符号化部１０４で符号化された符号化データは、動画像蓄積部１０５にも蓄積される。
【００５２】
読出制御部１０８は、クライアント端末（クライアントＰＣ）３０４からの要求に応じて動画像蓄積部１０５に蓄積されている符号化データを読み出してクライアント端末３０４へ送り出す。
【００５３】
なお、監視システム３１０内に、複数のカメラやセンサやトランスコードサーバが存在してもよく、この場合、複数のトランスコードサーバ間で動画像蓄積部１０５を共有しても良い。
【００５４】
（３−３）動画像分離部１０１
動画像分離部１０１には、カメラ３０１あるいはネットワーク３０３から供給される映像入力から、ＭＰＥＧ−２方式の動画像の符号化データを分離する。そして、分離した符号化データを動画像間引き部１０２及び動画像変形部１０３に順次供給する。
【００５５】
また、本実施形態では、映像入力はＭＰＥＧ−２方式であるものとするが、映像内容の詳細を把握できる品質であれば、これ以外の符号化方式（例えばＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ２６４、モーションＪＰＥＧ）でも良い。
【００５６】
また、配信される動画像は暗号化（スクランブルを含む）されていても良い。この場合、動画像分離部１０１で復号・復元を行うものとする。
【００５７】
（３−４）動画像間引き部１０２
動画像間引き部１０２は動画像分離部１０１から供給されるＭＰＥＧ−２符号化データをパースして、フレーム内符号化のフレーム（ＭＰＥＧ−２ではＩピクチャと呼ばれている）を圧縮されたデータのまま抜き出して動画像蓄積部１０５に蓄積すると共に、イベントトリガーに対応するサムネールを生成し、動画像蓄積部１０５に蓄積する。
【００５８】
図５は、動画像間引き部１０２の動作を具体的に説明する図である。
【００５９】
入力映像には、映像内容の詳細を把握できる品質を確保するために、画面解像度／フレームレート／ビットレートが高いＭＰＥＧ−２方式が用いられる。図５の例では、画面解像度：７２０×４８０画素、フレームレート：３０ｆｐｓとしている。
【００６０】
なお、動画像蓄積部１０５の容量が十分大きな場合は、前述したフレームの間引きを行わずに動画像蓄積部１０５に蓄積しても良い。しかし、動画像蓄積部１０５を複数のトランスコーダで共有したり、長時間の動画像の符号化データを蓄積する場合には、フレームの間引きを行う。
【００６１】
標準的な運用形態では、ＭＰＥＧ−２方式の符号化データには、１５フレーム毎に１回、Ｉピクチャが入っている。そこで、Ｉピクチャだけを抜き出してフレーム間引きを行うことで、図５に示されるような準動画像が得られる。
【００６２】
さらに、トランスコード制御部１０７より線１０７１を介してイベント発生時刻が供給され、イベント発生時刻に近いＩピクチャを、例えば図５に示すように９０×６０画素に縮小し、イベントに対応するサムネールとして動画像蓄積部１０５に蓄積する。
【００６３】
ここで、イベント発生時刻に対して、該当するサムネールと、そのサムネールの元となったＩピクチャを関連付けする情報を、メタデータとして動画像蓄積部１０５に蓄積する。
【００６４】
（３−５）動画像変形部１０３
動画像変形部１０３は、ＭＰＥＧ−２を復号化する復号化器１０３１と、動画像の各フレームに対して変形を行うためのＤＳＰ１０３２とを備える。
【００６５】
動画像変形部１０３は、動画像分離部１０１から供給された符号化データを復号化器１０３１で復号化する。そして、復号化して得られる動画像を、視聴者の携帯端末２０２のプロファイルを信号線１０７２を介してトランスコード制御部１０７から受け取り、ＤＳＰ１０３２を用いて携帯端末に適した画面サイズやフレームレートに変形処理を行う。変形された動画像は動画像符号化部１０４へと供給される。
【００６６】
なお、前記の特許文献２に提案されているように、復号化器１０３１から動きベクトル情報やモード情報も出力することとし、ＤＳＰ１０３２を用いて動きベクトルも視聴者の携帯端末２０２のプロファイルにしたがって変形しても良い。変形された動きベクトルは動画像符号化部１０４へと供給され、ＭＰＥＧ−４符号化時の動きベクトル検出処理を削減することが可能となる。
【００６７】
なお、復号化器１０３１は専用のハードウエア（半導体集積回路）として構成しても良いし、ソフトウエア的に実現しても良い。ＤＳＰ１０３２に関しても汎用のＣＰＵを用いて処理を行うようにしても良い。
【００６８】
（３−６）動画像符号化部１０４
動画像符号化部１０４は、変形された動画像をＭＰＥＧ−４方式で符号化する。符号化にあたっては信号線１０７３を介してトランスコード制御部１０７から受け取った視聴者の携帯端末２０２のプロファイルに合わせてビットレートを決定する。
【００６９】
なお、本実施形態では動画像符号化部１０４ではＭＰＥＧ−４方式で符号化を行うものとするが、これ以外の符号化方式（例えばＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ２６４）で符号化を行うように構成しても良い。また、複数の符号化方式を扱えるように構成して、利用者が符号化方式を選択できるようにしても良い。
【００７０】
複数の符号化方式をサポートする場合、動画像符号化部１０４をメモリとＣＰＵとを備えた構成にして、符号化する機能をソフトウエア的に実現すると実装しやすいと考えられる。
【００７１】
（３−７）動画像蓄積部１０５
動画像蓄積部１０５は、図６に示されるように、メタデータ１０５１、サムネール１０５２、準動画像１０５３、動画像符号化部１０４で生成された符号化データを蓄積する。
【００７２】
メタデータ１０５１は、イベントとサムネール１０５２と準動画像１０５３と動画像符号化部１０４で生成された符号化データとを関連付ける。
【００７３】
関連付けの一例をあげると、イベントＡに対して、
［１］時刻：ＭＭ分ＳＳ秒、
［２］対応するサムネールのファイル名、
［３］対応する準動画のファイル名、
［４］対応する動画像符号化部１０４で生成された符号化データのファイル名を関連付けることができる。
【００７４】
［３］、［４］には、タイムスタンプがつけられており、［１］の時刻を用いてイベントＡに対応する時刻の準動画の１フレームを高精細な静止画として抜き出したり、イベントＡに対応する時刻から動画像符号化部１０４で生成された符号化データを再生することが可能となる。
【００７５】
（３−８）動画像出力部１０６
動画像出力部１０６は、図７に示されるようにリングバッファ１０６１を備えており、動画像符号化部１０４で生成された符号化データはリングバッファ１０６１に一定時間蓄積される。また、符号化データのタイムスタンプはリングバッファのバイト位置と関連付けられている。
【００７６】
ここで、何かイベントが発生すると、トランスコード制御部１０７より信号線１０７４を介して供給されるイベント発生時刻の情報を元に、リングバッファ１０６１上のバイト位置１０６２を特定し、バイト位置１０６２の前後一定時間１０６３分の符号化データを携帯端末２０２に出力する。なお、信号線１０７４を介して供給される視聴者の携帯端末２０２のプロファイルにしたがって、時間１０６３を決定したほうがよい。
【００７７】
（３−９）トランスコード制御部１０７
トランスコード制御部１０７は、視聴者の携帯端末２０２のプロファイル（例えばメールアドレス、再生可能な符号化方式、ネットワークへのアクセス方法等）とイベントトリガーに応じて、動画像間引き部１０２、動画像変換部（トランスコーダ）１１０、動画像出力部１０６を制御する。
【００７８】
ここで、視聴者の携帯端末２０２のプロファイルは、トランスコード制御部１０７内のメモリに保持していても良いし、また、その都度外部から与えられても良い。
【００７９】
動画像間引き部１０２に対しては、イベントトリガーが入力された時刻を検出し、信号線１０７１を介してイベントの発生時刻を供給する。
【００８０】
動画像変形部１０３に対しては、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適した画面サイズやフレームレートを求めて信号線１０７２を介して供給する。
【００８１】
動画像符号化部１０４に対しては、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適したビットレートや符号化方式を求めて信号線１０７３を介して供給する。
【００８２】
動画像出力部１０６に対しては、イベントトリガーが入力された時刻と、視聴者の携帯端末２０２のプロファイルから、その携帯端末２０２に適したメールに添付する動画像の再生時間を求め、信号線１０７４を介して供給する。
【００８３】
（３−１０）読出制御部１０８
読出制御部１０８は、クライアント端末であるクライアントＰＣ３０４の要求を受け取り、利用者が要求した動画像の符号化データを動画像蓄積部１０５から読み出し、クライアントＰＣ３０４へと配信する装置である。
【００８４】
図８は、クライアントＰＣ３０４からの要求にしたがって、動画像蓄積部１０５に蓄積されている動画像の符号化データを、クライアントＰＣ３０４へと配信して再生する一連の動作の一例を説明する図である。
【００８５】
クライアントＰＣ３０４から、トランスコードサーバ３００内のＨＴＴＰサーバ（図示せず）内で生成されたＷｅｂページにアクセスすると、Ｗｅｂブラウザ８０１が立ち上がり各イベントに対応したサムネールの一覧が表示される。
【００８６】
Ｗｅｂブラウザ８０１上に表示される任意のサムネール８０２をクリックすると、該サムネールを特定する情報が読出制御部１０８に送られる。ここで、クリックとはワンクリックでもダブルクリックいずれを使っても構わない。
【００８７】
まず、読出制御部１０８では、動画像蓄積部１０５内にあるメタデータを参照して、該サムネールに対応する動画像の符号化データファイルと、その再生時刻を特定する。
【００８８】
次に、読出制御部１０８では、動画像の符号化データファイルと、その再生時刻にしたがって、動画像蓄積部１０５内の動画像の符号化データを読み出し、クライアントＰＣ３０４へと配信する。
【００８９】
クライアントＰＣ３０４上では、任意のサムネール８０２をクリックすると同時に、動画像の符号化データを再生するための動画像ビューワ８０３を起動させており、トランスコードサーバ３００から配信される動画像を再生する。
【００９０】
また、動画像の符号化データの代わりに、準動画１０５３の該サムネールに対応するフレームを配信し、クライアントＰＣ３０４上に表示しても良い。
【００９１】
ここで、トランスコードサーバ３００から動画像の符号化データがクライアントＰＣ３０４へと配信される例を示したが、クライアントＰＣ３０４が動画像蓄積部１０５内のファイルをファイル共有することで、リモートファイル再生をしても良い。
【００９２】
（４）変形例
動画像変換部（トランスコーダ）１１０では、変換されて出力される動画像の符号化データは、携帯端末２０２での視聴に適した小画面・低ビットレートのものとなってしまい、事後処理時にクライアントＰＣ３０４で視聴する動画像の品質は低いものになる。
【００９３】
そこで、動画像変換部（トランスコーダ）１１０を図９に示される構成とすることで、動画像蓄積部１０５には動画像出力部１０６に供給されるものよりも高品質な動画像符号化データを蓄積して事後処理時に活用することができる。
【００９４】
ここで、第２ＤＳＰ１０３３（図９中ではＤＳＰ２と標記する）は、ＤＳＰ１０３２と同じ機能を有している。但し、第２ＤＳＰ１０３３はトランスコード制御部１０７にしたがわず、ＤＳＰ１０３２よりも高解像度・高フレームレートに動画像を変換する。
【００９５】
第２動画像符号化部１０４２（図９中では動画像符号化部２と標記する）は、動画像符号化部１０４１と異なる符号化方式でも良く、符号化ビットレートもトランスコード制御部１０７にしたがわず、動画像符号化部１０４１より高い値としても良い。
【００９６】
【発明の効果】
以上、本発明によれば、異常検出時には瞬時に携帯端末へと映像付きで通報すると共に、事後対策の為に携帯端末へと送付した映像よりも高精細な映像と異常を検出したイベントをメタデータとして保存することで、事後対策が容易となる。
【図面の簡単な説明】
【図１】本発明の一実施形態のトランスコードサーバの構成を示すブロック図である。
【図２】本発明の一実施形態のトランスコードサーバを用いた監視システムの一利用方法を説明するイメージ図である。
【図３】本発明の一実施形態の監視システムを説明する図である。
【図４】携帯端末で状況を確認する一例を説明する図である。
【図５】動画像間引き部１０２の動作を具体的に説明する図である。
【図６】動画像蓄積部１０５の構成を説明する図である。
【図７】動画像出力部１０６の一連の動作を説明する図である。
【図８】読出制御部１０８に一連の動作の一例を説明する図である。
【図９】動画像変換部（トランスコーダ）１１０の変形例を説明する図である。
【符号の説明】
１０１ 動画像分離部
１０２ 動画像間引き部
１０３ 動画像変形部
１０４ 動画像符号化部
１０５ 動画像蓄積部
１０６ 動画像出力部
１０７ トランスコード制御部
１０８ 読出制御部
１１０ 動画像変換部（トランスコーダ）
２０１ 監視サイト
２０２ 携帯端末
２０３ ネットワーク
３００ トランスコードサーバ
３０１ カメラ
３０４ クライアントＰＣ
Claims (8)
- 動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換装置であって、
前記画像取得装置から前記第１の符号化データを含むデータが入力する入力手段と、
前記入力したデータから前記第１の符号化データを分離する分離手段と、
前記分離された第１の符号化データを復号化して動画像を生成する復号化手段と、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、またはフレームレートの動画像へ変形する処理を行う変形手段と、
前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化手段と、
前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力手段と、
を備える
ことを特徴とする動画像変換装置。 - 前記分離された第１の符号化データからフレームを間引いた第３の符号化データを生成する第３符号化データ生成手段と、
前記イベントトリガーが入力した時刻に対応するサムネールを前記第１の符号化データから生成するサムネール生成手段と、
前記生成された第３の符号化データと前記生成したサムネールとを蓄積する蓄積手段と、
前記蓄積された複数のサムネールの中から一のサムネールを選択する選択手段と、
前記選択手段によって選択されたサムネールに対応する第３符号化データを前記蓄積手段から出力する第２の出力手段と、
を備える
ことを特徴とする請求項１記載の動画像変換装置。 - 前記蓄積手段は、前記第３の符号化データと前記サムネールと共に前記第２符号化データも蓄積し、
前記第２の出力手段は、前記選択手段によって選択されたサムネールに対応する第３符号化データと共に前記第２符号化データも前記蓄積手段から出力する
ことを特徴とする請求項２記載の動画像変換装置。 - 請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記画像再生装置が携帯端末である
ことを特徴とする監視システム。 - 請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記画像取得装置がカメラであり、、
前記トリガー発生装置が、異常時にイベントトリガーを供給するセンサーである
ことを特徴とする監視システム。 - 請求項１から請求項３のうち少なくとも一項に記載の動画像変換装置を用いた監視システムであり、
前記選択手段が、ネットワークに接続されているクライアント端末である
ことを特徴とする監視システム。 - 動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法であって、
前記画像取得装置から前記第１の符号化データを含むデータが入力する入力ステップと、
前記入力したデータから前記第１の符号化データを分離する分離ステップと、前記分離された第１の符号化データを復号化して動画像を生成する復号化ステップと、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形ステップと、
前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化ステップと、
前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力ステップと、
を備える
ことを特徴とする動画像変換方法。 - 動画像を第１の符号化方式で符号化した第１の符号化データを含むデータを取得できる画像取得装置で取得した前記データを、トリガー発生手段から所定の条件において供給されるイベントトリガーに呼応して、第２の符号化方式で符号化した第２の符号化データを復号化して画像を再生できる画像再生装置に提供する動画像変換方法を実現できるコンピュータのプログラムであって、
前記画像取得装置から前記第１の符号化データを含むデータが入力する入力機能と、
前記入力したデータから前記第１の符号化データを分離する分離機能と、
前記分離された第１の符号化データを復号化して動画像を生成する復号化機能と、
前記生成した動画像を、前記画像再生装置の画像再生に対応した画面サイズ、または、フレームレートの動画像へ変形する処理を行う変形機能と、
前記変形された動画像を第２の符号化方式で符号化して第２の符号化データを生成する符号化機能と、
前記第２の符号化データを前記入力したイベントトリガーに呼応して前記画像再生装置へ出力する出力機能と、
を実現できる
ことを特徴とする動画像変換方法のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045050A JP3933589B2 (ja) | 2003-02-21 | 2003-02-21 | 動画像変換装置と監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045050A JP3933589B2 (ja) | 2003-02-21 | 2003-02-21 | 動画像変換装置と監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004254248A JP2004254248A (ja) | 2004-09-09 |
| JP3933589B2 true JP3933589B2 (ja) | 2007-06-20 |
Family
ID=33027572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003045050A Expired - Lifetime JP3933589B2 (ja) | 2003-02-21 | 2003-02-21 | 動画像変換装置と監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3933589B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311111B2 (ja) * | 2003-07-08 | 2009-08-12 | 日本ビクター株式会社 | メール送信機能付き映像監視装置 |
| JP4575732B2 (ja) * | 2004-09-13 | 2010-11-04 | アイホン株式会社 | 遠隔監視方法、および、遠隔監視用ホームサーバ |
| JP2006163605A (ja) * | 2004-12-03 | 2006-06-22 | Hitachi Kokusai Electric Inc | 画像検索表示装置とそのプログラム |
| JP2006186611A (ja) * | 2004-12-27 | 2006-07-13 | Toshiba Corp | 監視システム |
| JP2010087711A (ja) * | 2008-09-30 | 2010-04-15 | Sanyo Electric Co Ltd | 画像処理装置 |
| JP5553950B1 (ja) * | 2013-11-01 | 2014-07-23 | エヌ・ティ・ティレゾナント・テクノロジー株式会社 | 画像送信システム |
| JP6736307B2 (ja) * | 2016-02-22 | 2020-08-05 | 株式会社キーエンス | 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置 |
| JP2019068115A (ja) * | 2016-02-23 | 2019-04-25 | 三菱電機株式会社 | 映像処理装置、映像処理方法、及び、監視システム |
| JP7068789B2 (ja) * | 2017-02-07 | 2022-05-17 | スカイベル テクノロジーズ，インコーポレーテッド | スマート家庭通信システムおよび方法 |
| JP7310212B2 (ja) * | 2019-03-27 | 2023-07-19 | 日本電気株式会社 | データ中継装置、データ中継方法及びプログラム |
-
2003
- 2003-02-21 JP JP2003045050A patent/JP3933589B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004254248A (ja) | 2004-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8384830B2 (en) | Pre-alarm video buffer | |
| JP5444476B2 (ja) | コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体 | |
| US11700419B2 (en) | Re-encoding predicted picture frames in live video stream applications | |
| US20100272187A1 (en) | Efficient video skimmer | |
| US8854460B2 (en) | Image providing apparatus, image displaying apparatus, image transmitting system and image transmitting method using the same | |
| JP2013521717A (ja) | リモートディスプレイに画像をレンダリングするためのデルタ圧縮ならびに動き予測およびメタデータの修正を可能にすること | |
| US9049362B2 (en) | Photographing apparatus and method of providing photographed video | |
| JP3933589B2 (ja) | 動画像変換装置と監視システム | |
| JP2007053717A (ja) | 静止画像を共に出力する保安監視システム | |
| KR20150145228A (ko) | 정보 처리 장치, 콘텐츠 요구 방법 및 컴퓨터 프로그램 | |
| TW201811057A (zh) | 影像訊框處理方法 | |
| TWI552605B (zh) | 呈現獲取自多重來源的媒體內容的方法及系統 | |
| CN112235600B (zh) | 视频数据及视频业务请求的处理方法、装置及*** | |
| KR20100114748A (ko) | 네트워크 카메라 감시 시스템 | |
| US7929831B2 (en) | Video recording | |
| US20110161515A1 (en) | Multimedia stream recording method and program product and device for implementing the same | |
| KR100490948B1 (ko) | 영상 전송 방법 및 상기 방법을 이용하는 네트워크 카메라시스템 | |
| JP2004326762A (ja) | 映像配信システムおよび映像配信方法 | |
| WO2009108124A1 (en) | A method of recording quality images | |
| TWI443534B (zh) | 使用動態向量的視訊搜尋方法及其裝置 | |
| JP2007324722A (ja) | 動画像データ配信装置及び動画像データ通信システム | |
| WO2017179271A1 (ja) | 監視カメラシステム及び監視カメラデータ保存方法 | |
| JP2007110586A (ja) | 映像配信システム、映像配信サーバ、映像配信方法、映像配信プログラム | |
| JP4612826B2 (ja) | ストレージ装置、ストレージ方法、コンピュータ読み取り可能な記憶媒体、及びプログラム | |
| US20090213220A1 (en) | Active monitoring system with multi-spot image display and a method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070313 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3933589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |