JP2008236389A

JP2008236389A - 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラム

Info

Publication number: JP2008236389A
Application number: JP2007073325A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Sakon Yamamoto; 左近山元
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2008-10-02
Anticipated expiration: 2027-03-20
Also published as: CN101272461B; EP1973342A3; EP1973342A2; JP5087963B2; KR20080085787A; US20080231756A1; CN101272461A

Abstract

【課題】動画像の画像音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示できるようにすると共に、臨場感や迫力のある映像を提供できるようにする。
【解決手段】動画像の画像及び音声情報である入力画像信号ＳＤinを処理する場合であって、画像の動きベクトルから所定の動きベクトルを抽出し、当該動きベクトルに基づいて画像のサイズを判定し、判定された表示サイズに基づいて画像の表示サイズを設定するものである。また、音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定し、判定された表示サイズに基づいて当該画像の表示サイズを設定するものである。
【選択図】図３

Description

本発明は、テレビジョン放送番組や映画等の動画像における画像及び音声情報である画像音声信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラムに関する。詳しくは、画像の動きベクトルから所定の動きベクトルを抽出し、当該動きベクトルに基づいて画像の表示サイズを判定し、判定された表示サイズに基づいて画像のサイズを設定することで、動画像の画像音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示できるようにすると共に、臨場感や迫力のある動画を提供できるようにするものである。

従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、１つの固定された画枠が用いられており、この画枠に合わせた画像サイズで画像提示が行われている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。

さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。このような多画面表示システム等では、画枠を広げて広画角の画像表示を行うことにより、臨場感を高めるものである。

一方、上述の画像表示システムに関連して特許文献１には、テレビジョン受信機が開示されている。このテレビジョン受信機によれば、複数種の表示モードに応じて、所要の偏向電流が供給され、水平または垂直方向のいずれか一方または双方が、ワイドな管面いっぱいに画像が表示される。これにより、拡大された画像を楽しむことができる。

またの特許文献２には、テレビジョン装置が開示されている。このテレビジョン装置によれば、音声信号のレベルをメモリに設定されている閾値と比較し、レベルが閾値以上である否かを判定し、レベルが閾値以上であれば電子ビームの偏向幅が大きくなるように制御パルスＰのパルス幅を変化させて表示映像を拡大する。これにより、視聴者に対して画面接近の視覚的錯覚を与えることができると共に、大音量の音響効果と相俟って視聴者に迫力感を与えることができる。

特開平７−１０７４１２号公報（第４頁、第５図）特開２００６−２１７１１８公報（第６頁、第６図）

しかしながら、従来例に係る特許文献１に記載のテレビジョン受信機によれば、シーンに関係なく常に映像を拡大し続けるため、臨場感や迫力感を与えることが難しい。

また下記の特許文献２に記載のテレビジョン装置によれば、映像の拡大を行う場合に、音量のみの利用のため、音声がない場合では効果がなく、また拡大表示で迫力を与えることが可能なシーンでも音量に変化がない場面では効果を出すことが難しい。

そこで、本発明はこのような従来例に係る課題を解決したものであって、動画像の画像音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示できるようにすると共に、臨場感や迫力のある映像を提供できるようにした画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係る第１の画像処理装置は、動画像の画像信号を処理する装置であって、前記画像信号に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定するサイズ変更判定手段と、前記サイズ変更判定手段により判定された表示サイズに基づいて、前記画像の表示サイズを設定する表示サイズ設定手段とを備えることを特徴とするものである。

本発明に係る第１の画像処理装置によれば、動画像の画像信号を処理する場合であって、サイズ変更判定手段は、画像信号に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定する。表示サイズ設定手段は、サイズ変更判定手段により判定された表示サイズに基づいて、画像の表示サイズを設定する。これにより、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第１の画像処理方法は、動画像の画像信号を処理する方法であって、前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定する第３のステップとを有することを特徴とするものである。本発明に係る第１の画像処理方法によれば、動画像の画像信号を処理する場合に、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第１の画像処理プログラムは、コンピュータに動画像の画像信号を処理させるプログラムであって、前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定する第３のステップとを実行させることを特徴とするものである。

本発明に係る第１の画像処理プログラムによれば、コンピュータに動画像の画像信号を処理させる場合に、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示できるようになる。

上述した課題を解決するために、本発明に係る第２の画像処理装置は、動画像の画像及び音声情報である画像音声信号を処理する装置であって、前記画像音声信号の音声情報を検出する音声検出手段と、前記音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する音声特徴量抽出手段と、前記音声特徴量抽出手段により抽出された音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定するサイズ判定手段と、前記サイズ判定手段により判定された表示サイズに基づいて、当該画像の表示サイズを設定する表示サイズ設定手段とを備えることを特徴とするものである。

本発明に係る第２の画像処理装置によれば、動画像の画像及び音声情報である画像音声信号を処理する場合であって、音声検出手段は画像音声信号の音声情報を検出する。音声特徴量抽出手段は、音声検出手段により検出された音声情報から所定の音声の特徴量を抽出する。サイズ判定手段は、音声特徴量抽出手段により抽出された音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定する。表示サイズ設定手段は、サイズ判定手段により判定された表示サイズに基づいて、当該画像の表示サイズを設定する。これにより、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第２の画像処理方法は、動画像の画像及び音声情報である画像音声信号を処理する方法であって、前記画像音声信号の音声情報を検出する第１のステップと、検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、当該画像の表示サイズを設定する第４のステップとを有することを特徴とするものである。

本発明に係る第２の画像処理方法によれば、動画像の画像及び音声情報である画像音声信号を処理する場合に、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第２の画像処理プログラムは、コンピュータに動画像の画像及び音声情報である画像音声信号を処理させるプログラムであって、前記画像音声信号の音声情報を検出する第１のステップと、検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、当該画像の表示サイズを設定する第４のステップとを実行させることを特徴とするものである。

本発明に係る第２の画像処理プログラムによれば、コンピュータに動画像の画像及び音声情報である画像音声信号を処理させる場合に、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示できるようになる。

上述した課題を解決するために、本発明に係る第３の画像処理装置は、動画像の画像及び音声情報である画像音声信号を処理する装置であって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定する第１のサイズ変更判定手段と、前記画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第２のサイズ変更判定手段と、前記第１及び第２のサイズ変更判定手段により判定された表示サイズに基づいて、前記画像の表示サイズを設定する表示サイズ設定手段とを備えることを特徴とするものである。

本発明に係る第３の画像処理装置によれば、動画像の画像及び音声情報である画像音声信号を処理する場合であって、第１のサイズ変更判定手段は、画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定する。第２のサイズ変更判定手段は、画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定する。表示サイズ設定手段は、第１及び第２のサイズ変更判定手段により判定された表示サイズに基づいて、画像の表示サイズを設定する。これにより、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第３の画像処理方法は、動画像の画像及び音声情報である画像音声信号を処理する方法であって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第３のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第４のステップと、前記第２及び第４のステップで判定された表示サイズに基づいて、前記画像の表示サイズを設定する第５のステップとを有することを特徴とするものである。

本発明に係る第３の画像処理方法によれば、動画像の画像及び音声情報である画像音声信号を処理する場合に、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第３の画像処理プログラムは、コンピュータに動画像の画像及び音声情報である画像音声信号を処理させるプログラムであって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第３のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第４のステップと、前記第２及び第４のステップで判定された表示サイズに基づいて、前記画像の表示サイズを設定する第５のステップとを実行させることを特徴とするものである。

本発明に係る第３の画像処理プログラムによれば、コンピュータに動画像の画像及び音声情報である画像音声信号を処理させる場合に、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示できるようになる。

上述した課題を解決するために、本発明に係る第１の再生情報生成装置は、動画像の画像信号を再生するための再生情報を生成する装置であって、前記画像信号に基づく画像の動きベクトルを検出する動き検出手段と、前記動き検出手段により検出された動きベクトルから、所定の動きベクトルを抽出する動きベクトル抽出手段と、前記動きベクトル抽出手段により抽出された動きベクトルに基づいて前記画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成するサイズ判定手段とを備えることを特徴とするものである。

本発明に係る第１の再生情報生成装置によれば、動画像の画像信号を再生するための再生情報を生成する場合であって、動き検出手段は、画像信号に基づく画像の動きベクトルを検出する。動きベクトル抽出手段は、動き検出手段により検出された動きベクトルから、所定の動きベクトルを抽出する。サイズ判定手段は、動きベクトル抽出手段により抽出された動きベクトルに基づいて画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する。これにより、生成された再生情報に基づいて該当する映像を再生することにより、画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第１の再生情報生成方法は、動画像の画像信号を再生するための再生情報を生成する方法であって、前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルから、所定の動きベクトルを抽出する第２のステップと、抽出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップとを有することを特徴とするものである。

本発明に係る第１の再生情報生成方法によれば、動画像の画像信号を再生するための再生情報を生成する場合に、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

上述した課題を解決するために、本発明に係る第１の再生情報生成プログラムは、コンピュータに動画像の画像信号を再生するための再生情報を生成させるプログラムであって、前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルから、所定の動きベクトルを抽出する第２のステップと、抽出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップとを実行させることを特徴とするものである。

本発明に係る第１の再生情報生成プログラムによれば、コンピュータに動画像の画像信号を再生するための再生情報を生成させる場合に、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

上述した課題を解決するために、本発明に係る第２の再生情報生成装置は、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する装置であって、前記画像音声信号の音声情報を検出する音声検出手段と、前記音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する音声特徴量抽出手段と、前記音声特徴量抽出手段により抽出された音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成するサイズ判定手段とを備えることを特徴とするものである。

本発明に係る第２の再生情報生成装置によれば、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する場合であって、音声検出手段は、画像音声信号の音声情報を検出する。音声特徴量抽出手段は、音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する。サイズ判定手段は、音声特徴量抽出手段により抽出された音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する。これにより、生成された再生情報に基づいて該当する映像を再生することにより、画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第２の再生情報生成方法は、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する方法であって、前記画像音声信号の音声情報を検出する第１のステップと、検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップとを有することを特徴とするものである。

本発明に係る第２の再生情報生成方法によれば、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する場合に、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

上述した課題を解決するために、本発明に係る第２の画像処理プログラムは、コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させるプログラムであって、前記画像音声信号の音声情報を検出する第１のステップと、検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップとを実行させることを特徴とするものである。

本発明に係る第２の画像処理プログラムによれば、コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させる場合に、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

上述した課題を解決するために、本発明に係る第３の再生情報生成装置は、動画像の画像及び音声情報である画像音声信号を処理する装置であって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する第１のサイズ変更判定手段と、前記画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する第２のサイズ変更判定手段とを備えることを特徴とするものである。

本発明に係る第３の再生情報生成装置によれば、動画像の画像及び音声情報である画像音声信号を処理する場合であって、第１のサイズ変更判定手段は、画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する。第２のサイズ変更判定手段は、画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する。これにより、生成された再生情報に基づいて該当する映像を再生することにより、画像の表示サイズを拡大又は縮小して画像を表示することができる。

上述した課題を解決するために、本発明に係る第３の再生情報生成方法は、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する方法であって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２にステップと、前記第２のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第３のステップと、前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第４のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第５のステップと、前記第５のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第６のステップとを有することを特徴とするものである。

本発明に係る第３の再生情報生成方法によれば、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する場合に、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

上述した課題を解決するために、本発明に係る第３の画像処理プログラムは、コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させるプログラムであって、前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２にステップと、前記第２のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第３のステップと、前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第４のステップと、抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第５のステップと、前記第５のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第６のステップとを実行させることを特徴とするものである。

本発明に係る第３の画像処理プログラムによれば、コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させる場合に、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。

本発明に係る第１の画像処理装置と画像処理方法および画像処理プログラムによれば、動画像の画像信号を処理する場合であって、画像信号に基づく画像の動きベクトルから所定の動きベクトルを抽出し、当該動きベクトルに基づいて画像の表示サイズを判定し、判定された表示サイズに基づいて画像の表示サイズを設定するものである。

この構成によって、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。これにより、臨場感や迫力のある動画を提供することができる。

本発明に係る第２の画像処理装置と画像処理方法および画像処理プログラムによれば、動画像の画像及び音声情報である画像音声信号を処理する場合であって、音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定し、判定された表示サイズに基づいて当該画像の表示サイズを設定するものである。

この構成によって、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。これにより、臨場感や迫力のある動画を提供することができる。

本発明に係る第３の画像処理装置と画像処理方法および画像処理プログラムによれば、動画像の画像及び音声情報である画像音声信号を処理する場合であって、動きベクトルに基づいて画像の表示サイズを判定し、かつ、音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定し、判定された２つの表示サイズに基づいて画像の表示サイズを設定するものである。

この構成によって、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。これにより、臨場感や迫力のある動画を提供することができる。

本発明に係る第１の再生情報生成装置と再生情報生成方法および再生情報生成プログラムによれば、動画像の画像音号を再生するための再生情報を生成する場合であって、画像の動きベクトルに基づいて画像の表示サイズを判定し、当該表示サイズに基づいて、画像の表示サイズを設定するための再生情報を生成するものである。

この構成によって、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。これにより、生成された再生情報に基づいて該当する映像を再生することにより、画像の表示サイズが拡大又は縮小され、臨場感や迫力のある動画を提供することができる。

本発明に係る第２の再生情報生成装置と再生情報生成方法および再生情報生成プログラムによれば、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する場合であって、音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定し、当該表示サイズに基づいて画像の表示サイズを設定するための再生情報を生成するものである。

この構成によって、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。これにより、生成された再生情報に基づいて該当する映像を再生することにより画像の表示サイズが拡大又は縮小され、臨場感や迫力のある動画を提供することができる。

本発明に係る第３の再生情報生成装置と再生情報生成方法および再生情報生成プログラムによれば、動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する場合であって、動きベクトルに基づいて画像の表示サイズを判定して当該表示サイズを設定するための再生情報を生成し、更に、音声の特徴量に基づいて画像音声信号における画像の表示サイズを判定して当該表示サイズを設定するための再生情報を生成するものである。

この構成によって、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための再生情報を生成できるようになる。これにより、生成された再生情報に基づいて該当する映像を再生することにより画像の表示サイズが拡大又は縮小され、臨場感や迫力のある動画を提供することができる。

続いて、本発明に係る画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラムの一実施例について、図面を参照しながら説明をする。先ず、図１〜図１６を参照して本発明に係る画像処理装置および画像処理方法についての一実施例を説明する。次に、図１７〜図２５を参照して本発明に係る画像処理プログラムについての一実施例を説明する。続いて図２６〜図２８を参照して本発明に係る再生情報生成装置および再生情報生成方法についての一実施例を説明する。

図１は、本発明に係る画像処理装置を用いた画像表示システム１００の構成例を示す概略図である。この画像表示システム１００は、例えば３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒをユーザの前面と両側面に配置して、１つの画像表示領域を構成する。また、各スクリーン１０Ｌ，１０Ｃ，１０Ｒに対応させてプロジェクタ１２Ｌ，１２Ｃ，１２Ｒを設けている。プロジェクタ１２Ｌ，１２Ｃ，１２Ｒは、画像処理装置２０と接続されている。プロジェクタ１２Ｌは、画像処理装置２０からの出力信号ＳＤＬに基づいてスクリーン１０Ｌに画像を投影する。同様に、プロジェクタ１２Ｃ，１２Ｒは、画像処理装置２０からの出力信号ＳＤＣ，ＳＤＲに基づいてスクリーン１０Ｃ，１０Ｒに画像を投影する。

画像処理装置２０は、動画像の画像及び音声情報である入力画像信号ＳＤｉｎ（画像音声信号）を処理する装置であって、この入力画像信号ＳＤｉｎに基づいて画面内の動きや音声信号の特徴量を抽出し、抽出した特徴量を所定の値と比較し、条件が合う場合に画像のサイズを変える。

図２Ａ及びＢは、画像表示の動作例を示している。各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像はアスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」とする。

図２Ａには、画像のフレームＦ（１）〜Ｆ（４）が示されている。図２Ｂには、これらのフレームＦ（１）〜Ｆ（４）がスクリーン１０Ｌ、１０Ｃ、１０Ｒに示されている。この例で、入力画像の動きの特徴や、音声信号の特徴から、条件に合う場面で画像の表示サイズを変更する。例えば図２Ａに示すフレームＦ（１）からフレームＦ（２）に示す矢印方向に、画面内に急峻な動きの変化が発生した場合、フレームＦ（１）が表示されたスクリーン１０ＣからフレームＦ（２）が表示されたスクリーン１０Ｃ等のように、表示する画像を拡大する。このとき、画像の表示領域を画像のサイズより大きくすることで、拡大しても、映像に表示されない部分が生じないようにする。

また、図２Ａに示すフレームＦ（４）は、フレームＦ（３）と比較して音量が小さくなった状態を示している。この場合、フレームＦ（３）が表示されたスクリーン１０ＣからフレームＦ（４）が表示されたスクリーン１０Ｃのように表示する映像を縮小する。

ここで、上述のように、画像信号の動きの特徴や音声信号の特徴から、画像のサイズの変更する場合、図１に示した画像処理装置２０は、リアルタイム処理あるいはオフライン処理で画像のサイズを変更する。リアルタイム処理の場合、画像処理装置２０は、動画像の入力画像信号ＳＤｉｎに基づいて、画面の動きの検出や音声信号からの特徴量を抽出するとともに、シーンチェンジ検出を行い、シーンチェンジが行われるまで、画像のサイズを変更しつづける。さらにサイズの変更された画像をスクリーンに表示するための出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。

また、オフライン処理の場合、画像処理装置２０は、蓄積されている入力画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行う。また、シーンチェンジ検出によって検出された各シーン毎に、画面の動きの検出や音声信号からの特徴量を抽出し、各シーンでの画像のサイズを決定する。さらにシーンチェンジに合わせて、所定のタイミングで画像のサイズを変更する。

その後、画像表示を行う場合には、動画像の入力画像信号ＳＤｉｎと画像サイズの情報を読み出して、この入力画像信号ＳＤｉｎと画像サイズに基づき、入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。

図３は、リアルタイム処理を行う場合の画像処理装置２０の構成例を示している。動画像の入力画像信号ＳＤｉｎは、シーンチェンジ検出部２１とサイズ変更判定部２２および表示サイズ設定部２３に供給される。

シーンチェンジ検出部２１は、入力画像信号ＳＤｉｎに基づいてシーンチェンジを検出し、すなわち連続シーンとこの連続シーンとは異なるシーンとのつなぎ目部分である画像の不連続位置を検出する。図４はシーンチェンジ検出部２１の構成例（その１）を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。

シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤａとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤｉｎと遅延画像信号ＳＤａに基づき、２フレーム間の差分平均値Ｄａｖを算出して正規化回路２１４に供給する。この差分平均値Ｄａｖの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄａｖとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤｉｎに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤａに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄａｖは式（１）に基づいて算出できる。

ここで、差分平均値Ｄａｖは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄａｖが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄａｖは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。

輝度平均算出回路２１３は、入力画像信号ＳＤｉｎに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙａｖとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤｉｎに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙａｖは式（２）に基づいて算出できる。

正規化回路２１４は、画像の明るさに応じた差分平均値Ｄａｖの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙａｖに応じて差分平均値Ｄａｖを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。

この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。判定回路２１５は、予め設定された閾値Ｌｒを有しており、正規化値Ｅと閾値Ｌｒを比較して、正規化値Ｅが閾値Ｌｒよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌｒ以下であるときにはシーンチェンジでないと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図３に示すサイズ変更判定部２２に供給する。

このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き処理、例えば図５に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。

また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。この相関係数ｒを用いるシーンチェンジ検出部２１’の構成例（その２）を図６に示す。遅延回路２１１は、入力画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤｄａとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤｉｎと遅延画像信号ＳＤｄａに基づき、相関係数ｒの算出を行う。

ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦａｖ」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳａｖ」としたとき、相関係数ｒは式（４）を用いて算出できる。この相関係数算出部２１６で算出された相関係数ｒは、判定部２１７に供給される。

判定回路２１７は、予め設定された閾値Ｌｒを有しており、相関係数ｒと閾値Ｌｒを比較して、相関係数ｒが閾値Ｌｒ以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌｒ以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、サイズ変更判定部２２に供給する。

図７は、サイズ変更判定部２２の構成例（その１）を示している。図７に示すサイズ変更判定部２２は、入力画像信号ＳＤｉｎの画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定する。

この例で、入力画像信号ＳＤｉｎは、サイズ変更判定部２２の遅延回路２２１に供給され、１フレーム遅延した画像信号ＳＤａが生成される。入力画像信号ＳＤｉｎと遅延画像信号ＳＤａは動きベクトル検出回路２２２に供給される。動きベクトル検出回路２２２では、入力画像信号ＳＤｉｎと遅延画像信号ＳＤａから動きベクトルを検出する。動きベクトルの検出には、例えば入力画像信号ＳＤｉｎを８×８のブロックに分割し、遅延画像信号ＳＤａの所定の探索範囲で、例えば差分絶対値和が最小となる位置を動きベクトルとして検出する。検出された動きベクトルは動きベクトル抽出回路２２３に供給される。

動きベクトル抽出回路２２３では、動きベクトル検出回路２２２から供給された動きベクトルから、所定の動きベクトルを抽出する。例えば、動きベクトル抽出回路２２３では、全ての動きベクトルのヒストグラムを生成し、最も動きベクトルの多い動きを背景の動きとし、二番目に多い動きを画面内の主要オブジェクトの動きと定義する。そしてこの二番目に多い動きベクトルを抽出し、当該二番目に多い動きベクトルの数をサイズ判定部２２４に供給する。この際、最も数の多い動きベクトルと二番目に数の多い動きベクトルとで、数に差がない場合は、三番目に数の多い動きベクトルを主要オブジェクトの動きベクトルとして定義してもよい。

サイズ判定部２２４では、動きベクトル抽出回路２２３で抽出された動きベクトルから、表示する画像の表示サイズを判定する。例えば、サイズ判定部２２４では、動きベクトル抽出回路２２３で二番目に多い動きベクトルの数が抽出されていた場合、この二番目に多い動きベクトルの数と所定の閾値とを比較する。二番目に多い動きベクトルの数がこの閾値より大きい場合、ある程度の大きさの主要オブジェクトが動いていると判定し、サイズの拡大を判定して表示サイズ情報ＳＺを生成する。二番目に多い動きベクトルの数がこの閾値より小さい場合は、サイズの維持を判定して表示サイズ情報ＳＺを生成する。

図３に示した表示サイズ設定部２３は、サイズ判定部２２４により判定されて生成された表示サイズ情報ＳＺに基づいて、画像の表示サイズを設定する。これにより、動画像の画像の動きに応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。従って、臨場感や迫力のある動画を提供することができる。

なお、図７に示した動きベクトル抽出回路２２３の動作は、二番目に多い動きベクトルの数を抽出する例に限定されるものでなく、様々な例を同時に実行してもよい。例えば、最も数の多い動きベクトルの方向を抽出して、その後サイズ判定部２２４で、動きベクトルの方向と所定の閾値とを比較する。動きベクトルの方向がこの閾値より大きい場合、画面動きが大きいシーンと判定し、サイズを拡大して表示するように、表示サイズ情報ＳＺを生成する。

その他にも、１フレーム前の動きベクトルと、現フレームの動きベクトルとの差分絶対値を算出し、この差分絶対値が所定の閾値より大きいものの数を抽出する。その後、サイズ判定部２２４で、抽出された差分絶対値の数と所定の閾値と比較し、抽出された差分絶対値の数が閾値より多い場合、動きの変化が発生したと判定し、サイズを拡大して表示するように表示サイズ情報ＳＺを生成する。

また拡大後に、サイズ判定部２２４で、所定の閾値より小さくなった場合は、拡大した画像を元の大きさに戻すように表示サイズ情報ＳＺを生成してもよい。

また動きベクトル抽出回路２２３で抽出する動きベクトルの情報と、サイズ判定部２２４の動作は、ユーザが事前に設定してもよい。このような場合、ユーザの設定した動きベクトルの情報と表示動作に応じて、処理が実行されるものとする。例えば、ユーザが画面動きがないシーンを拡大して表示するように設定したとすると、動きベクトル抽出回路２２３では、動きベクトルが（０，０）となるブロックの数を抽出する。そしてサイズ判定部２２４では、抽出されたブロックの数と所定の閾値とを比較し、抽出されたブロックの数が閾値より大きい場合、画面動きがないシーンと判定し、このような場合に表示サイズを拡大するように表示サイズ情報ＳＺを生成する。

またサイズ判定部２２４では、シーンチェンジ検出部２１からシーンチェンジ情報ＳＣが供給されると、表示サイズを元の大きさに戻すものとする。

図８Ａ及びＢは、表示サイズを拡大及び縮小するズーム率の制御例を示している。図８Ａに示す縦軸にフレーム毎の表示サイズ情報ＳＺを示し、横軸にフレーム（Frame）を示す。この例で、動きベクトル抽出回路２２３では、上記と同様に二番目に多い動きベクトルを抽出してその数を供給する。図８ＡのフレームＭにおいて、二番目に多い動きベクトルの数が所定の閾値を超え、フレームＮにおいて、二番目に多い動きベクトルの数が所定の閾値を下回ると仮定する。

この場合にフレームＭより前のフレームでは、二番目に多い動きベクトルの数が所定の閾値を超えていないため、表示サイズ情報ＳＺは、入力画像をそのままの大きさで表示する情報（Ｘ１）となる。フレームＭにおいて二番目に多い動きベクトルの数が所定の閾値を超えたので、表示サイズ情報ＳＺは、入力画像を例えば２倍に拡大する情報（Ｘ２）となる。その後フレームＮまで二番目に多い動きベクトルの数が所定の閾値を越え続けるため、表示サイズ情報ＳＺは入力画像を２倍に拡大する情報（Ｘ２）のままとなる。そしてフレームＮにおいて二番目に多い動きベクトルの数が所定の閾値を下回った為、表示サイズ情報ＳＺは、入力画像をそのままの大きさで表示する情報（Ｘ１）に戻る。

図８Ａでは拡大する例を示したが、同様に縮小することもできる。その場合の例を図８Ｂに示す。図８Ｂに示す縦軸にフレーム毎の表示サイズ情報ＳＺを示し、横軸にフレーム（Frame）を示す。この例で、動きベクトル抽出回路２２３では、上記と同様に二番目に多い動きベクトルを抽出してその数を供給する。図８ＢのフレームＭにおいて、二番目に多い動きベクトルの数が所定の閾値を超え、フレームＮにおいて、二番目に多い動きベクトルの数が所定の閾値を下回ると仮定する。

この場合にフレームＭより前のフレームでは、二番目に多い動きベクトルの数が所定の閾値を超えていないため、表示サイズ情報ＳＺは、入力画像をそのままの大きさで表示する情報（Ｘ１）となる。フレームＭにおいて二番目に多い動きベクトルの数が所定の閾値を超えたので、表示サイズ情報ＳＺは、入力画像を１／２倍に縮小する情報（Ｘ１／２）となる。その後フレームＮまで二番目に多い動きベクトルの数が所定の閾値を越え続けるため、表示サイズ情報ＳＺは１／２倍に縮小する情報（Ｘ１／２）のままとなる。そしてフレームＮにおいて二番目に多い動きベクトルの数が所定の閾値を下回った為、表示サイズ情報ＳＺは、入力画像をそのままの大きさで表示する情報（Ｘ１）に戻る。このようにして、表示サイズを拡大又は縮小するズーム率を制御する。

図９は、画像の拡大して拡大画像を生成した例を示している。図９は入力画像信号ＳＤｉｎを１．２倍する場合の例であり、図中の「○」は入力画像信号の空間方向の画素を示しており、図中の「●」は拡大表示する際に生成する画素である。「●」の生成は、近傍の４つ「○」を用いて行うものとし、４つの「○」の画素値をＶa、Ｖｂ、Ｖｃ、Ｖｄとし、生成する「●」の位相から「○」の位相までを距離ｒa、ｒｂ、ｒｃ、ｒｄとし、生成する「●」の位相から「○」の位相までの距離の総和をＳｒとすると、「●」の画素値Ｖは式（５）に示すものとなる。

図１０は、画像の縮小して縮小画像を生成した例を示している。図１０は入力画像信号ＳＤｉｎを０．７５倍する場合の例であり、図中の「○」は入力画像信号の空間方向の画素を示しており、図中の「●」は縮小表示する際に生成する画素である。「●」の生成は、近傍の４つ「○」を用いて行うものとし、４つの「○」の画素値をＶa、Ｖｂ、Ｖｃ、Ｖｄとし、生成する「●」の位相から「○」の位相までの距離ｒa、ｒｂ、ｒｃ、ｒｄとし、生成する「●」の位相から「○」の位相までの距離の総和をＳｒとすると、「●」の画素値Ｖは式（５）と同じになる。

以上のように、表示サイズ設定部２３は、表示サイズ情報ＳＺに従って、画像を拡大あるいは縮小して、各プロジェクタに対応した画像信号を信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒに供給する。ここで拡大、縮小の動作は、元のサイズから、指定の倍率の瞬間的に変化させてもよいし、滑らかに変化させてもよい。例えば、入力画像を２倍に拡大する場合、５フレーム利用して、「１．２」→「１．４」→「１．６」→「１．８」→「２．０」と拡大率を徐々に変化させた場合、滑らかな拡大率の変化になり、画像のサイズの変化を認識するのが容易になる。

なお、画像のサイズを変更する際の処理として、式（５）を挙げたが、サイズ変更手法は式（５）に限定されるものでなく、表示する画像を拡大、縮小するものであればなんでもよい。

さらに画像を拡大した場合、拡大率によっては、スクリーンサイズを超えてしまう場合がある。このような場合、スクリーンの全てに画像が表示されるように、拡大率を制限してもよいし、制限をなくし、任意の大きさで表示するようにしてもよい。

図１１Ａ及びＢは、表示サイズを滑らかに拡大及び縮小するズーム率の制御例を示している。図１１Ａに示す縦軸にフレーム毎の表示サイズ情報ＳＺを示し、横軸にフレーム（Frame）を示す。この例で、図７に示した動きベクトル抽出回路２２３では、上記と同様に二番目に多い動きベクトルを抽出してその数を供給する。図１１ＡのフレームＭにおいて、二番目に多い動きベクトルの数が所定の閾値を超え、フレームＮにおいて、二番目に多い動きベクトルの数が所定の閾値を下回ると仮定する。

この場合にフレームＭより前のフレームでは、二番目に多い動きベクトルの数が所定の閾値を超えていないため、サイズ判定部２２４は、入力画像をそのままの大きさ（Ｘ１）で表示する表示サイズ情報ＳＺを生成する。フレームＭにおいて二番目に多い動きベクトルの数が所定の閾値を超えたので、サイズ判定部２２４は、第１画像の表示サイズを変更するために、当該フレームＭから所定後の第２画像までの間における画像の表示サイズを拡大又は縮小する割合を連続的に変更する。

この例で、サイズ判定部２２４は、フレームＭから５フレーム後のフレームＭ＋５において、入力画像を２倍の大きさ（Ｘ２）に拡大するようにフレームＭからフレームＭ＋５までの間の拡大率を連続的に変化させる表示サイズ情報ＳＺを生成する。例えば、フレームＭを基準サイズ「１．０」とし、５フレーム利用して「１．２」→「１．４」→「１．６」→「１．８」→「２．０」倍と拡大率を徐々に変化させる。これにより、滑らからな拡大率の変化になり、画像のサイズ変化の際に違和感がなくなる。

その後フレームＮまで二番目に多い動きベクトルの数が所定の閾値を越え続けるため、表示サイズ情報ＳＺは２倍のままとなる。

そしてフレームＮにおいて二番目に多い動きベクトルの数が所定の閾値を下回った為、サイズ判定部２２４は、５フレーム後のフレームＮ＋５において入力画像をそのままの大きさ（Ｘ１）で表示するようにフレームＮからフレームＮ＋５までの間の縮小率を連続的に変化させる表示サイズ情報ＳＺを生成する。例えば、フレームＮを基準サイズ「２．０」とし、５フレーム利用して「０．９」→「０．８」→「０．７」→「０．６」→「０．５」と縮小率を徐々に変化させる。

なお、主要オブジェクトにおける動きベクトルの数だけでなく、動きベクトルの変化量も同時に抽出した場合、動きの変化量が急峻な場合、拡大率の変化を急峻にし、また動きの変化量が小さければ、拡大率の変化を緩やかなものにする。このようにすることで、同じ拡大率にする場面でも、動きの変化量に応じて、拡大率の変化が変わるため、画像の特徴量に応じて、様々な表示方法が可能となる。

図１１Ａでは拡大する例を示したが、同様に縮小することもできる。その場合の例を図１１Ｂに示す。図１１Ｂに示す縦軸にフレーム毎の表示サイズ情報ＳＺを示し、横軸にフレーム（Frame）を示す。この例で、動きベクトル抽出回路２２３では、上記と同様に二番目に多い動きベクトルを抽出してその数を供給する。図１１ＢのフレームＭにおいて、二番目に多い動きベクトルの数が所定の閾値を超え、フレームＮにおいて、二番目に多い動きベクトルの数が所定の閾値を下回ると仮定する。

この場合にフレームＭより前のフレームでは、二番目に多い動きベクトルの数が所定の閾値を超えていないため、表示サイズ情報ＳＺは、入力画像をそのままの大きさで表示する情報（Ｘ１）となる。フレームＭにおいて二番目に多い動きベクトルの数が所定の閾値を超えたので、表示サイズ情報ＳＺは、５フレーム後のフレームＭ＋５において入力画像を１／２倍に縮小する情報となるようにフレームＭからフレームＭ＋５までの間の拡大率を連続的に変化させる。例えば、フレームＭを基準サイズ「１．０」とし、５フレーム利用して「０．９」→「０．８」→「０．７」→「０．６」→「０．５」と縮小率を徐々に変化させる。これにより、滑らからな縮小率の変化になり、画像のサイズ変化の際に違和感がなくなる。

その後フレームＮまで二番目に多い動きベクトルの数が所定の閾値を越え続けるため、表示サイズ情報ＳＺは０．５倍のままとなる。そしてフレームＮにおいて二番目に多い動きベクトルの数が所定の閾値を下回った為、表示サイズ情報ＳＺは、５フレーム後のフレームＮ＋５において入力画像をそのままの大きさで表示する情報（Ｘ１）に戻るようにフレームＮからフレームＮ＋５までの間の拡大率を連続的に変化させる。例えば、フレームＮを基準サイズ「０．５」とし、５フレーム利用して、「１．２」→「１．４」→「１．６」→「１．８」→「２．０」と拡大率を徐々に変化させる。

図１２は、サイズ変更判定部２２’の構成例（その２）を示している。入力画像信号ＳＤｉｎは音声検出回路２２５に供給される。音声検出回路２２５では、入力画像信号ＳＤｉｎに付随する音声信号ＳＤｂを検出する。なおここでは説明を容易にするため、音声信号ＳＤｂは画像信号に重畳されているものとし、音声信号ＳＤｂはステレオ２ｃｈの音声とする。そして検出された音声信号ＳＤｂは、音声特徴量抽出回路２２６に供給される。

音声特徴量抽出回路２２６では、検出された音声信号ＳＤｂから所定の手法で目的とする音声の特徴量を抽出する。この例で、音声信号ＳＤｂは複数の音声チャンネルを有し、音声特徴量抽出回路２２６は、当該映像の音声信号ＳＤｂから音声チャンネルの各々の音量を抽出し、当該音量を映像のフレーム単位で平均又は合計する。例えば、音声特徴量抽出回路２２６では、フレーム単位でステレオ２ｃｈの音声信号ＳＤｂから「Ｌ」と「Ｒ」それぞれの音量を抽出し、抽出した音量をフレーム単位で平均あるいは合計し、サイズ判定部２２７へ供給する。

サイズ判定部２２７では、音声特徴量抽出回路２２６により抽出された音声の特徴量に基づいて入力画像信号ＳＤｉｎにおける画像の表示サイズを判定する。例えば、サイズ判定部２２７では、抽出された音量の値と所定の閾値とを比較し、抽出された音量の値が閾値より大きい場合は、音量の大きなシーンと判定する。このような場合、サイズ判定部２２７では、表示サイズを拡大するように表示サイズ情報ＳＺを生成する。また別の閾値を用意し、その閾値より音量の値が小さい場合は、音量が小さいシーンと判定し、表示サイズを縮小するように表示サイズ情報ＳＺを生成する。

例えば、サイズ判定部２２７は、第１フレームの表示サイズを変更するために、当該第１フレームから所定後の第２フレームまでの間における画像の表示サイズを拡大又は縮小する割合を連続的に変更するように表示サイズ情報ＳＺを生成する。

表示サイズ設定部２３は、サイズ判定部２２７により生成された表示サイズ情報ＳＺに基づいて当該画像の表示サイズを設定する。これにより、動画像の音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。従って、臨場感や迫力のある動画を提供することができる。

音声特徴量抽出回路２２６の動作は、上記の例に限定されるものでなく、様々な例を同時に実行してもよい。この例で、音声特徴量抽出回路２２６では音声信号ＳＤｂを周波数に変換し、サイズ判定部２２７では、音声特徴量抽出回路２２６により変換された周波数が、所定の周波数範囲の基準周波数に一致する音声であるかを判定し、この判定結果に基づいて画像の表示サイズを拡大するように表示サイズ情報ＳＺを生成してもよい。

また左右の音声チャンネルの音量の差に応じて表示サイズを変更してもよい。その場合、音声特徴量抽出回路２２６では、音声チャンネル毎の同時刻における音量の差分絶対値を算出する。例えばステレオ２ｃｈの音声の同時刻の左右の音量の差分絶対値を算出する。そしてサイズ判定部２２７で、この差分絶対値と所定の閾値とを比較し、この差分絶対値が閾値より大きい場合に、例えば表示サイズを拡大するように表示サイズ情報ＳＺを生成する。

また、例えば映像の中の音声発生オブジェクト（例えば自動車）が画面中央から画面端へ移動した場合に表示サイズを変更するために、左右の音量の変化に応じて表示サイズを変更してもよい。その場合、音声特徴量抽出回路２２６では、音声チャンネル毎の第１の時刻における音量の第１の差分値を算出し、さらに、音声チャンネル毎の第２の時刻における音量の第２の差分値を算出し、当該第１の差分値と当該第２の差分値との差分絶対値を算出する。例えば、音声特徴量抽出回路２２６では、ステレオ２ｃｈの音声の同時刻の音量の差分値Ｄｔ０（例えば左の音量―右の音量）を算出し、さらにある時刻のおける差分値Ｄｔ０と次の時刻における差分値Ｄｔ１同士の差分絶対値|Ｄｔ０−Ｄｔ１|を算出する。そして、この差分絶対値と所定の閾値とを比較し、この差分絶対値が閾値より大きい場合に、例えば表示サイズを拡大する。

以上のように左右の音量の差や、左右の音量の変化量に応じて、表示サイズを変更することで、左右の音量に差をつけるシーンや、左右の音量の変化が起きるシーンにおいて映像の表示サイズを変えることができ、音声に伴い迫力の増すシーンに提示を行うことができる。

また拡大あるいは縮小後に、サイズ判定部２２７で、所定の閾値との比較において変化があった場合は、サイズを変更した画像を元の大きさに戻すように表示サイズ情報ＳＺを生成してもよい。

また音声特徴量抽出回路２２６で抽出する音声の情報と、サイズ判定部２２７の動作は、ユーザが事前に設定してもよい。このような場合、ユーザの設定した音声の情報と表示動作に応じて、処理が実行されるものとする。例えば、ユーザが音量の変化があったシーンを拡大して表示するように設定したとすると、音声特徴量抽出回路２２６では、入力フレームの音量と１フレーム前の音量の差分絶対値を算出する。そしてサイズ判定部２２７では、所定の閾値と比較し、音量の差分絶対値が閾値より大きい場合、音量の変化があったと判定し、このような場合に表示サイズを拡大するように表示サイズ情報ＳＺを生成する。

なお、上記の説明において、音声を検出するフレームは、入力されたフレームに限定されることなく、例えば入力フレームの前後数フレームを用いてもよい。また音声信号も、任意のチャンネルを持つものでよく、例えば５．１ｃｈサラウンドの音声信号を対象としてもよい。

以上のように、サイズ変更判定部２２として、映像、音声を利用した場合の例を説明したが、これらは単独に用いるだけでなく、両者を組にして用いることもできる。例えば図１３は、サイズ変更判定部２２”の構成例（その３）を示している。図１３に示すサイズ変更判定部２２”は、動画像の画像及び音声の両方の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するために、図７に示したサイズ変更判定部２２と図１２に示したサイズ変更判定部２２’とを組み合わせて構成したものである。

例えば、一方で、サイズ変更判定部２２は、入力画像信号ＳＤinの画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定する。この例で、動画像の入力画像信号ＳＤｉｎは遅延回路２２１に供給され、１フレーム遅延した画像信号ＳＤａが生成される。入力画像信号ＳＤｉｎと遅延画像信号ＳＤａは動きベクトル検出回路２２２に供給される。動きベクトル検出回路２２２では、入力画像信号ＳＤｉｎと遅延画像信号ＳＤａから動きベクトルを検出する。検出された動きベクトルは動きベクトル抽出回路２２３に供給される。

動きベクトル抽出回路２２３では、動きベクトル検出回路２２２から供給された動きベクトルから、所定の動きベクトルを抽出する。例えば、二番目に多い動きベクトルを抽出してその数をサイズ判定部２２４に供給する。

サイズ判定部２２４では、動きベクトル抽出回路２２３で抽出された動きベクトルから、表示する画像の表示サイズを判定する。例えば、動きベクトル抽出回路２２３で、二番目に多い動きベクトルの数が抽出されていた場合、この二番目に多い動きベクトルの数と所定の閾値とを比較する。二番目に多い動きベクトルの数がこの閾値より大きい場合、ある程度の大きさの主要オブジェクトが動いていると判定し、サイズを拡大して表示するように表示サイズ情報ＳＺを生成する。二番目に多い動きベクトルの数がこの閾値より小さい場合は、サイズを変更しないように表示サイズ情報ＳＺ１を生成する。

他方で、サイズ変更判定部２２’は、入力画像信号ＳＤinの音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定する。この例で、入力画像信号ＳＤｉｎは音声検出回路２２５に供給される。音声検出回路２２５では、入力画像信号ＳＤｉｎに付随する音声信号ＳＤｂ（例えばステレオ２ｃｈの音声）を検出する。そして検出された音声信号ＳＤｂは、音声特徴量抽出回路２２６に供給される。

音声特徴量抽出回路２２６では、例えば、検出された音声信号Ｓｄｂから音量を抽出する。この場合、ステレオ２ｃｈの音声信号ＳＤｂから「Ｌ」と「Ｒ」それぞれの音量を抽出し、抽出した音量を映像のフレーム単位で平均あるいは合計し、サイズ判定部２２７へ供給する。サイズ判定部２２７では、抽出された音量の値と所定の閾値とを比較し、抽出された音量の値が閾値より大きい場合は、音量の大きなシーンと判定し、表示サイズを拡大するように表示サイズ情報ＳＺを生成する。また別の閾値を用意し、その閾値より音量の値が小さい場合は、音量が小さいシーンと判別し、表示サイズを縮小するように表示サイズ情報ＳＺ２を生成する。

画像の動きベクトルに基づいてサイズ判定部２２４により生成された表示サイズ情報ＳＺ１と、音声の音量に基づいてサイズ判定部２２７により生成された表示サイズ情報ＳＺ２とに基づいて、図３に示した表示サイズ設定部２３により入力画像信号ＳＤｉｎの表示サイズが設定される。

例えば、画像の動きベクトルに基づいてサイズ判定部２２４により表示サイズが２倍（表示サイズ情報ＳＺ１）と設定され、かつ、音声の音量に基づいてサイズ判定部２２７により表示サイズが１．５倍（表示サイズ情報ＳＺ２）と設定された場合、表示サイズ設定部２３は、両者の表示サイズを加算（３．５倍）、あるいは積算（３倍）した値に基づき、入力画像信号ＳＤｉｎの表示サイズを変更する。

この場合、画像の動きベクトルでは２倍で表示されるものが、音声の音量も加味されたことで、さらなる臨場感や迫力を増した映像提示が可能となる。その他にも、画像の動きベクトルからの表示サイズと、音声の音量からの表示サイズの両方が共に拡大、あるいは縮小である場合、拡大率、あるいは縮小率の大きい方のみを利用することもできる。

またサイズ判定部２２４及び２２７は、シーンチェンジ検出部２１からシーンチェンジ情報ＳＣが供給されると、表示サイズを元の大きさに戻すものとする。

図１４は、オフライン処理を行う場合の画像処理装置２０’の構成例を示している。図３に示した画像処理装置２０と同一の構成要素には同一の符号を付し、その詳細な説明は省略する。動画像の入力画像信号ＳＤｉｎは、蓄積部３０に入力される。この蓄積部３０では、入力画像信号ＳＤｉｎを蓄積する。また蓄積部３０は、入力画像信号ＳＤｉｎをシーンチェンジ検出部２１に供給する。

以下、リアルタイム処理の場合と同様に、シーンチェンジ検出部２１では、シーンチェンジが検出されると、シーンチェンジ検出信号ＳＣを生成してサイズ変更判定部２２に供給する。サイズ変更判定部２２では、各シーンでの表示サイズを決定して表示サイズ情報ＳＺを生成して表示サイズ設定部２３に供給する。表示サイズ設定部２３では、表示サイズ情報ＳＺに基づいて、入力画像信号ＳＤｉｎの表示サイズＪＣを決定して蓄積部３０へ供給する。蓄積部３０では、供給された各シーンごとの表示サイズＪＣとシーンチェンジ検出部２１からのシーンチェンジ情報ＳＣから、最終的な画像の表示サイズを調整し、各プロジェクタに対応した画像信号を信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒに供給する。

図１５Ａ及びＢは、蓄積部３０に供給された各シーン毎の表示サイズＪＣの変化例を示している。図１５Ａ及びＢに示す縦軸にシーン毎の表示サイズＪＣを示し、横軸にフレーム（Frame）を示す。この例で、フレームＭにおいて表示サイズＪＣが２倍となり、その後フレームＮにおいて表示サイズＪＣが元の１倍に戻り、フレームＯにおいてシーンチェンジが発生したものと仮定する。

このような場合、蓄積部３０には、シーンチェンジのタイミングに合わせて、フレームを縮小するようになされたフレームが蓄積される。この例で、サイズ変更判定部２２、２２’、２２”は、オフライン処理の場合に、シーンチェンジ検出部２１により検出されたシーンチェンジのタイミングに、フレームが縮小するように当該フレームの表示サイズを変更する。例えば、サイズ変更判定部２２は、図１５Ｂに示すように、シーンチェンジが起きるフレームＯのから所定のフレーム分だけ前のフレームから縮小し、シーンチェンジが起きるフレームＯにおいて再び元の大きさのフレームに戻す。このように調整を加えることで、シーンチェンジのタイミングに合わせて、フレームが縮小されるため、理解のしやすい提示を行うことができる。

またオフライン処理では、表示サイズＪＣの時間的な変動が多い場合、表示サイズの変動を滑らかにすることもできる。図１６Ａ及びＢは、蓄積部３０に供給された各フレーム毎の表示サイズＪＣの変化例を示している。図１６Ａ及びＢに示す縦軸にシーン毎の表示サイズＪＣを示し、横軸にフレーム（Frame）を示す。この例で、フレームＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆにおいて表示サイズＪＣに変化があり、かつ各々のフレームの時間間隔が短いものと仮定する。

このような場合、短い時間の間に表示サイズが頻繁に変わるため、かえって見にくくなることもある。このとき、蓄積部３０では、表示サイズＪＣが、変化を継続しないようになされたフレームが蓄積される。この例で、サイズ変更判定部２２、２２’、２２”は、オフライン処理の場合に、複数のフレームの表示サイズに変化があり、かつ、当該各々のフレームの時間間隔が短い場合、当該フレームの各々の表示サイズを、徐々に変化するように変更する。例えば、図１６Ｂに示すように、表示サイズの変化が起きるまでのフレーム数が所定の値より少なく、かつ、表示サイズの変化が連続しておきる場合（例えば、フレームＡ〜Ｆの例）に、サイズ変更判定部２２は、表示サイズが変化するフレーム同士の中央のフレーム（例えば、ＡとＢの中間のフレーム）において所定の倍率になるよう、前後のフレームにおける表示サイズを直線的（滑らか）な変化となるように設定する。このようにすることで、短い時間のおける拡大率の変動が連続的な変化となるため、見やすい提示を行うことができる。

以上のように、オフライン処理では、シーンチェンジのタイミングに合わせた表示サイズの変更や、表示サイズの時間的な変動を調整することも可能で、より見やすく、理解しやすい提示を行うことができる。さらに画像を表示する領域が、画像のサイズよりも大きいため、拡大率を適切に設定することで、拡大しても画像の一部が途切れることなく、表示することが可能である。

上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合のコンピュータを用いた構成例を図１７に示す。コンピュータは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ＨＤＤ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。

外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤｉｎに基づき出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。

図１８は、リアルタイム処理の場合における、画像処理プログラムの全体構成例を示すフローチャートである。この画像処理プログラムは、コンピュータに動画像の画像及び音声情報である画像音声信号（入力画像信号ＳＤin）を処理させるプログラムである。

図１８に示すステップＳＴ１では、入力画像信号のシーン判別を行う。図１９はシーン判別の動作例を示すフローチャートである。図１９に示すステップＳＴ１１では、入力画像信号のフレーム間の差分平均値Ｄａｖとフレーム内の輝度平均値Ｙａｖを算出してステップＳＴ１２に進む。ステップＳＴ１２では、輝度平均値Ｙａｖを用いて差分平均値Ｄａｖの正規化を行い正規化値Ｅを算出する。

ステップＳＴ１３では、正規化値Ｅと閾値Ｌｒを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌｒ以下であるときにはステップＳＴ１４に進み、同じシーンの画像と判別する。また、正規化値Ｅが閾値Ｌｒよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。このようにして正規化値Ｅに基づきシーンの判別を行う。

なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値を比較してシーンチェンジを検出するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み同じシーンの画像と判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。

図１８に戻り、ステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されたときには、画像のサイズを元に戻し、ステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えがないと判別されたときにはステップＳＴ３に進む。ステップＳＴ３では、表示サイズを判定する。

図２０は、ステップＳＴ３におけるサイズ変更判定の動作例（その１）を示すフローチャートである。ステップＳＴ３１１では、入力画像から例えば８×８画素のブロックごとに、１フレーム前の画像との間で動きベクトルを検出する。ステップＳＴ３１２では、検出された動きベクトルのヒストグラムや動きベクトルの変化量など、所定の特徴量を抽出する。そしてステップＳＴ３１３では、抽出した特徴量を所定の条件と比較し、画像の表示サイズを判定する。条件と一致する場合はステップＳＴ３１４に進む。ステップＳＴ３１４では、所定の表示サイズを設定する。所定の条件と一致しない場合は、画像のサイズを元に戻し、処理を終了する。

図２１は、ステップＳＴ３におけるサイズ変更判定の動作例（その２）を示すフローチャートである。ステップＳＴ３２１では、入力された入力画像信号ＳＤinから音声信号を検出する。ステップＳＴ３２２では、検出された音声から、音量や周波数特性など所定の特徴量を抽出する。ステップＳＴ３３３では、抽出した特徴量を所定の条件と比較し、画像の表示サイズを判定する。条件と一致する場合はステップＳＴ３２４に進む。ステップＳＴ３２４では、所定の表示サイズを設定する。所定の条件と一致しない場合は、画像のサイズを元に戻し、処理を終了する。

図２２は、ステップＳＴ３におけるサイズ変更判定の動作例（その３）を示すフローチャートである。図２２に示すフローチャートは、図２０に示した動きベクトルに基づくフローチャートと、図２１に示した音声に基づくフローチャートとを組み合わせたものであり、同一のステップには同一の符号を付している。すなわち、ステップＳＴ３１１〜ＳＴ３１４において、動きベクトルのヒストグラムや動きベクトルの変化量など、所定の特徴量を抽出し、抽出した特徴量を所定の条件と比較して比較結果に基づいて表示サイズを設定する。更に、ステップＳＴ３２１〜３２４において、音声から音量や周波数特性など所定の特徴量を抽出し、抽出した特徴量を所定の条件と比較して比較結果に基づいて表示サイズを設定する。

図１８に戻り、ステップＳＴ４では、ステップＳＴ３で判定された画像のサイズに応じて画像のサイズを変更し、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。この出力信号の生成では、フレームメモリに画像を記憶させるものとして、画像の表示サイズに応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示サイズに応じて画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

続いてステップＳＴ５に進む。ステップＳＴ５では、入力画像信号が終了したか否かを判定する。入力画像信号が終了していない場合、ステップＳＴ１に戻る。入力画像信号が終了した場合、画像処理の終了となる。

図２３は、オフライン処理の場合における、画像処理プログラムの全体構成例を示すフローチャートである。ステップＳＴ２１では、入力画像信号ＳＤinのシーン判別を行う。

ステップＳＴ２２では、シーンチェンジが検出されたか否かを判別してシーンチェンジが判別されたときにはステップＳＴ２１に戻る。ステップＳＴ２２でシーンチェンジがないと判別されたときにはステップＳＴ２３に進む。

ステップＳＴ２３では、表示サイズを判定する。ステップＳＴ２４では、全シーンにおいてサイズ変更判定を行ったか判定する。全シーンにおいてサイズ変更判定が終了していない場合は、ステップＳＴ２１に戻り処理を継続する。全シーンにおいてサイズ変更判定が終了した場合は、ステップＳＴ２５へ進む。

ステップＳＴ２５では、全シーンで判定された表示サイズから、シーンチェンジのタイミングに合わせて表示サイズを変更したり、表示サイズの時間変動が少なくなるように表示サイズの調整を行う。

図２４は、ステップＳＴ２５において、シーンチェンジのタイミングに合わせて表示サイズを調整する場合の動作例を示すフローチャートである。図２４のステップＳＴ２５１で全フレームにおいて表示サイズ情報の調整が終了したか否かを判定する。調整が終了した場合は、処理を終了する。調整が終了していない場合は、ステップＳＴ２５２に進む。

ステップＳＴ２５２では、入力フレームがシーンチェンジ箇所に該当するか否かを判定する。シーンチェンジ箇所に該当しない場合は、ステップＳＴ２５１へ戻り処理を継続する。シーンチェンジ箇所に該当する場合は、ステップＳＴ２５３へ進む。

ステップＳＴ２５３では、シーンチェンジ箇所に該当するフレームから所定の分だけ前のフレームにおける表示サイズ情報を、例えばシーンチェンジのタイミングに合わせて表示サイズが縮小されるように調整する（図１５参照）。そしてステップＳＴ２５１へ戻り処理を継続する。

図２５は、ステップＳＴ２５において、表示サイズの時間変動が少なくなるように表示サイズを調整する場合の動作例を示すフローチャートである。ステップＳＴ２５４では、全フレームにおいて表示サイズ情報の調整が終了したか否かを判定する。調整が終了した場合は、処理を終了する。調整が終了していない場合は、ステップＳＴ２５５に進む。

ステップＳＴ２５５では、入力フレームの前後において、表示サイズ情報が短い時間間隔で連続して変化しているか否かを判定する。表示サイズ情報が短い時間間隔で連続して変化していない場合は、ステップＳＴ２５４へ戻り処理を継続する。表示サイズ情報が短い時間間隔で連続して変化している場合は、ステップＳＴ２５６へ進む。

ステップＳＴ２５６では、表示サイズ情報が短い時間間隔で連続して変化している箇所に該当するフレームにおいて、前後のフレームにおける表示サイズを直線的な変化となるように設定する（図１６参照）。そしてステップＳＴ２５４へ戻り処理を継続する。

図２３に戻りステップＳＴ２６では、ステップＳＴ２５で調整された表示サイズで画像を表示し、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。この出力信号の生成では、フレームメモリに画像を記憶させるものとして、画像の表示サイズに応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示サイズに応じて画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、画面サイズや数も自由に変更可能である。また、他の種類のディスプレイ、例えば１面の広画角ディスプレイや、シリンドリカルなどの曲面ディスプレイなどを用いてもよい。このように、画像のサイズよりも画像表示領域が大きければ、本発明のように、画像や音声の特徴に応じて、画像のサイズが変更され、より迫力のある提示や理解のしやすい提示が可能となる。また、表示領域が画像のサイズより大きいため、拡大率を適切に設定することで、拡大しても画像の一部が途切れることなく表示することが可能である。

また、上述の実施の形態では、画像処理装置２０の内部に蓄積部３０を設けるものとしたが、外部の情報記憶装置を利用するものとしても良い。また蓄積部３０を着脱可能とすれば、表示制御部の機能を有する他の画像表示システムでも、この蓄積部３０に記憶された入力画像信号ＳＤｉｎや表示位置情報ＪＣ，を利用することで、上述のような臨場感が高く理解しやすい画像表示を行うことが可能となる。

さらに、新たに映像ソースや別のフォーマットを作らなくても、既に存在しているコンテンツの画像信号を用いて本発明の処理を施すことで、従来よりも迫力があり、理解のしやすい画像表示を行うことができる。

このように、本発明に係る画像処理装置２０と画像処理方法および画像処理プログラムによれば、動画像の画像及び音声情報である入力画像信号ＳＤinを処理する場合であって、画像の動きベクトルから所定の動きベクトルを抽出し、当該動きベクトルに基づいて画像のサイズを判定し、判定された表示サイズに基づいて画像の表示サイズを設定するものである。また、音声の特徴量に基づいて入力画像信号ＳＤｉｎにおける画像の表示サイズを判定し、判定された表示サイズに基づいて当該画像の表示サイズを設定するものである。また、動きベクトルに基づいて画像の表示サイズを判定し、かつ、音声の特徴量に基づいて入力画像信号ＳＤｉｎにおける画像の表示サイズを判定し、判定された２つの表示サイズに基づいて画像の表示サイズを設定するものである。

従って、動画像の画像や音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示することができる。これにより、臨場感や迫力のある動画を提供することができる。

上述した画像処理装置２０は、表示サイズ情報ＳＺを生成して外部記憶装置に供給する装置と、外部記憶装置に保存された表示サイズ情報ＳＺに基づいて入力画像信号ＳＤinを再生する装置とに分けて構成することもできる。例えば、図２６は、再生情報生成装置５０の構成例を示し、図２７は情報再生装置６０の構成例を示している。この再生情報生成装置５０及び情報再生装置６０において、上述した画像処理装置２０と同一の構成要素には同一符号を付し、その詳細な説明は省略する。

再生情報生成装置５０及び情報再生装置６０は、画像処理装置２０を分離して構成したものである。すなわち、再生情報生成装置５０は、動画像の入力画像信号ＳＤinを処理して当該動画像の再生情報の一例である画像の表示サイズ情報ＳＺを生成する装置であって、シーンチェンジ検出部２１及びサイズ変更判定部２２（２２’、２２”）から構成される。情報再生装置６０は、この位置情報ＰＤに基づいて、動画像の入力画像信号ＳＤinを処理して当該動画像を再生する装置である。

図２６に示す再生情報生成装置５０のシーンチェンジ検出部２１は入力画像信号ＳＤinが供給され、この入力画像信号ＳＤinに基づいて画像におけるシーンチェンジを検出してシーンチェンジ検出信号ＳＣをサイズ変更判定部２２に出力する。

入力画像信号ＳＤinの画像情報に基づいて画像の表示サイズを判定する場合、図７に示したサイズ変更判定部２２の動きベクトル検出回路２２２は、入力画像信号ＳＤinの画像情報に基づく画像の動きベクトルを検出する。動きベクトル抽出回路２２３は、動きベクトル検出回路２２２により検出された動きベクトルから、所定の動きベクトルを抽出する。サイズ判定部２２４は、動きベクトル抽出回路２２３により抽出された動きベクトルに基づいて画像の表示サイズを判定し、当該画像の表示サイズを設定するための表示サイズ情報ＳＺを生成して出力端子５１に出力する。また、サイズ判定部２２４は、シーンチェンジ検出部２１によりシーンチェンジが検出されたときに、画像の表示サイズを元の大きさに戻すための表示サイズ情報ＳＺを生成して出力端子５１に出力する。

入力画像信号ＳＤinの音声情報に基づいて画像の表示サイズを判定する場合、図１２に示したサイズ変更判定部２２’の音声検出回路２２５は、入力画像信号ＳＤinの音声情報を検出する。音声特徴量抽出回路２２６は、音声検出回路２２５により検出された音声情報から所定の音声の特徴量を抽出する。

サイズ判定部２２７は、音声特徴量抽出回路２２６により抽出された音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定し、当該画像の表示サイズに基づいて、前記画像の表示サイズを設定するための表示サイズ情報ＳＺを生成して出力端子５１に出力する。また、サイズ判定部２２７は、シーンチェンジ検出部２１によりシーンチェンジが検出されたときに、画像の表示サイズを元の大きさに戻すための表示サイズ情報ＳＺを生成して出力端子５１に出力する。

入力画像信号ＳＤinの画像及び音声情報に基づいて画像の表示サイズを判定する場合、図１３に示したサイズ変更判定部２２”のサイズ変更判定部２２は、入力画像信号ＳＤinの画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて画像の表示サイズを判定し、当該画像の表示サイズを設定するための表示サイズ情報ＳＺ１を生成して出力端子５１に出力する。サイズ変更判定部２２’は、入力画像信号ＳＤinの音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定し、当該画像の表示サイズを設定するための表示サイズ情報ＳＺ２を生成して出力端子５１に出力する。また、サイズ変更判定部２２”は、シーンチェンジ検出部２１によりシーンチェンジが検出されたときに、画像の表示サイズを元の大きさに戻すための表示サイズ情報ＳＺを生成して出力端子５１に出力する。

この出力端子５１には、例えばＵＳＢメモリなどの外部記憶媒体（図示せず）が接続される。これにより、動画像の画像及び音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための表示サイズ情報ＳＺを提供できるようになる。

図２７に示す情報再生装置６０は、この外部記憶媒体に保存された表示サイズ情報ＳＺを読み出してこの表示サイズ情報ＳＺに基づいて、動画像の入力画像信号ＳＤinを処理して当該動画像を再生する。もちろん、表示サイズ情報ＳＺが生成された入力画像信号ＳＤinと、この表示サイズ情報ＳＺを用いて再生される入力画像信号ＳＤinとは同じものである。情報再生装置６０は、表示サイズ設定部２３及び信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒから構成される。

この例で、情報再生装置６０の表示サイズ設定部２３は入力端子６１に接続され、表示サイズ情報ＳＺが供給される。また、表示サイズ設定部２３には入力画像信号ＳＤinが供給される。表示サイズ設定部２３は、この表示サイズ情報ＳＺに基づいて、入力画像信号ＳＤinの画像の表示サイズを設定し、各プロジェクタ１２Ｌ、１２Ｃ１２Ｒに対応した画像信号を信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒに供給する。信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒは、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲをプロジェクタ１２Ｌ、１２Ｃ１２Ｒに出力する。プロジェクタ１２Ｌ、１２Ｃ１２Ｒは、これらの出力信号に基づいてスクリーン１０Ｌ、１０Ｃ，１０Ｒに画像を投影する。これにより、映像を再生する際に画像の表示サイズが拡大又は縮小され、臨場感や迫力のある動画を提供することができる。

図２８は、再生情報生プログラムの全体構成例を示すフローチャートである。図２８に示す再生情報生プログラムは、例えば図１８に示したコンピュータに動画像の入力画像信号ＳＤinを再生するための再生情報（表示サイズ情報ＳＺ）を生成させるプログラムである。なお、図１８に示した画像処理プログラムと同一の構成には同一の符号を付し、その詳細な説明は省略する。

図２８のステップＳＴ１ではシーン判別を行う。上述したように、このシーン判別の詳細な動作例を示した図１９のフローチャートに進んでシーン判別を行ってステップＳＴ２に進む。

ステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されたときには、画像のサイズを元に戻し、ステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えがないと判別されたときにはステップＳＴ３に進む。ステップＳＴ３では、表示サイズを判定する。例えば、入力画像信号ＳＤinの画像情報に基づいて画像の表示サイズを判定する場合、この画像情報に基づく画像の動きベクトルを検出し、検出された動きベクトルから、所定の動きベクトルを抽出する。抽出された動きベクトルに基づいて画像の表示サイズを判定してステップＳＴ４’に進む。

また、入力画像信号ＳＤinの音声情報に基づいて画像の表示サイズを判定する場合、入力画像信号ＳＤinの音声情報を検出し、検出された音声情報から所定の音声の特徴量を抽出する。抽出された音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定してステップＳＴ４’に進む。

また、入力画像信号ＳＤinの画像及び音声情報に基づいて画像の表示サイズを判定する場合、入力画像信号ＳＤinの画像情報に基づく画像の動きベクトルを検出し、検出された動きベクトルに基づいて画像の表示サイズを判定する。さらに、入力画像信号ＳＤinの音声情報から所定の音声の特徴量を抽出し、抽出された音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定してステップＳＴ４’に進む。

ステップＳＴ４’では、ステップＳＴ３で判定された画像の表示サイズを設定するための表示サイズ情報ＳＺ（再生情報）を生成してステップＳＴ５へ進む。

ステップＳＴ５では、入力画像信号ＳＤinが終了したか否かを判定する。入力画像信号ＳＤinが終了しなかった場合、ステップＳＴ１に戻る。入力画像信号ＳＤinが終了した場合、処理の終了となる。

このように、本発明に係る再生情報生成装置５０と再生情報生成方法および再生情報生成プログラムによれば、動画像の画像及び音声情報である入力画像信号ＳＤinを再生するための表示サイズ情報ＳＺを生成する場合であって、動きベクトルに基づいて画像の表示サイズを判定し、当該表示サイズに基づいて、画像の表示サイズを設定するための表示サイズ情報ＳＺを生成するものである。また、音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定し、当該表示サイズに基づいて画像の表示サイズを設定するための再生情報を生成するものである。また、動きベクトルに基づいて画像の表示サイズを判定して当該表示サイズを設定するための表示サイズ情報ＳＺ１を生成し、更に、音声の特徴量に基づいて入力画像信号ＳＤinにおける画像の表示サイズを判定して当該表示サイズを設定するための表示サイズ情報ＳＺ２を生成するものである。

従って、動画像の画像や音声の特徴に応じて画像の表示サイズを拡大又は縮小して画像を表示するための表示サイズ情報ＳＺを生成できるようになる。これにより、生成された表示サイズ情報ＳＺに基づいて該当する映像を再生することにより、画像の表示サイズが拡大又は縮小され、臨場感や迫力のある動画を提供することができる。

テレビジョン放送番組や映画等の動画像における入力画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法および再生情報生成プログラムに適用して好適なものである。

画像表示システム１００の構成例を示す概略図である。（Ａ）及び（Ｂ）は画像表示の動作例を示す図である。画像処理装置２０の構成例を示す図である。シーンチェンジ検出部２１の構成例（その１）を示す図である。画素の間引き処理例を示す図である。シーンチェンジ検出部２１’の構成例（その２）を示す図である。サイズ変更判定部２２の構成例（その１）を示す図である。（Ａ）及び（Ｂ）は、表示サイズを拡大及び縮小するズーム率の制御例を示す図である。拡大画像を生成した例を示す図である。縮小画像を生成した例を示す図である。（Ａ）及び（Ｂ）は、表示サイズを滑らかに拡大及び縮小するズーム率の制御例を示す図である。サイズ変更判定部２２’の構成例（その２）を示す図である。サイズ変更判定部２２”の構成例（その３）を示す図である。オフライン処理を行う場合の画像処理装置２０’の構成例を示す図である。（Ａ）及び（Ｂ）は、蓄積部３０に供給された各シーン毎の表示サイズＪＣの変化例を示す図である。（Ａ）及び（Ｂ）は、蓄積部３０に供給された各フレーム毎の表示サイズＪＣの変化例を示す図である。コンピュータを用いた構成例を示す図である。リアルタイム処理の場合における、画像処理プログラムの全体構成例を示すフローチャートである。シーン判別の動作例を示すフローチャートである。サイズ変更判定の動作例（その１）を示すフローチャートである。サイズ変更判定の動作例（その２）を示すフローチャートである。サイズ変更判定の動作例（その３）を示すフローチャートである。オフライン処理の場合における、画像処理プログラムの全体構成例を示すフローチャートである。シーンチェンジのタイミングに合わせて表示サイズを変更する場合の動作例を示すフローチャートである。表示サイズの時間変動が少なくなるように表示サイズを調整する場合の動作例を示すフローチャートである。再生情報生成装置５０の構成例を示す図である。情報再生装置６０の構成例を示す図である。再生情報生成プログラムの全体構成例を示すフローチャートである。

符号の説明

１０Ｌ，１０Ｃ，１０Ｒ・・・スクリーン、１２Ｌ，１２Ｃ，１２Ｒ・・・プロジェクタ、２０・・・画像処理装置、２１、２１’・・・シーンチェンジ検出部、２２、２２’、２２”・・・サイズ変更判定部、２３・・・表示サイズ設定部、３０・・・蓄積部、２１１，２２１・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・動きベクトル検出回路、２２３・・・動きベクトル抽出回路、２２４、２２７・・・サイズ判定部、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部

Claims

動画像の画像信号を処理する装置であって、
前記画像信号に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定するサイズ変更判定手段と、
前記サイズ変更判定手段により判定された表示サイズに基づいて、前記画像の表示サイズを設定する表示サイズ設定手段と
を備えることを特徴とする画像処理装置。
前記サイズ変更判定手段は、
第１画像の表示サイズを変更する場合、
当該第１画像から所定後の第２画像までの間における画像の表示サイズを拡大又は縮小する割合を連続的に変更することを特徴とする請求項１に記載の画像処理装置。
前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
前記サイズ変更判定手段は、オフライン処理の場合に、
前記シーンチェンジ検出手段により検出されたシーンチェンジのタイミングに、前記画像が縮小するように当該画像の表示サイズを変更することを特徴とする請求項１に記載の画像処理装置。
前記サイズ変更判定手段は、オフライン処理の場合に、
複数の画像の表示サイズに変化があり、かつ、当該各々のフレームの時間間隔が短い場合、当該画像の各々の表示サイズを、徐々に変化するように変更することを特徴とする請求項１に記載の画像処理装置。
前記サイズ変更判定手段は、
前記画像信号の画像の動きベクトルを検出する動き検出手段と、
前記動き検出手段により検出された動きベクトルから、所定の動きベクトルを抽出する動きベクトル抽出手段と、
前記動きベクトル抽出手段により抽出された動きベクトルに基づいて前記画像の表示サイズを判定するサイズ判定手段とを備え、
前記表示サイズ設定手段は、
前記サイズ判定手段により判定された表示サイズに前記画像を設定することを特徴とする請求項１に記載の画像処理装置。
前記動きベクトル抽出手段は、
前記動きベクトルのヒストグラムを生成し、最も多い動きベクトルの動きを背景の動きとし、二番目に多い動きベクトルの動きを画面内の主要オブジェクトの動きとし、当該二番目に多い動きベクトルを抽出し、当該二番目に多い動きベクトルの数を供給することを特徴とする請求項５に記載の画像処理装置。
前記サイズ判定手段は、
前記二番目に多い動きベクトルの数と所定の閾値とを比較し、当該二番目に多い動きベクトルの数が当該閾値より大きい場合、前記画像の表示サイズの拡大を判定し、
当該二番目に多い動きベクトルの数が当該閾値より小さい場合、前記画像の表示サイズの維持を判定することを特徴とする請求項６に記載の画像処理装置。
動画像の画像信号を処理する方法であって、
前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定する第３のステップと
を有することを特徴とする画像処理方法。
コンピュータに動画像の画像信号を処理させるプログラムであって、
前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定する第３のステップと
を実行させることを特徴とする画像処理プログラム。
動画像の画像及び音声情報である画像音声信号を処理する装置であって、
前記画像音声信号の音声情報を検出する音声検出手段と、
前記音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定するサイズ判定手段と、
前記サイズ判定手段により判定された表示サイズに基づいて、当該画像の表示サイズを設定する表示サイズ設定手段と
を備えることを特徴とする画像処理装置。
前記サイズ判定手段は、
第１画像の表示サイズを判定する場合、
当該第１画像から所定後の第２画像までの間における画像の表示サイズを拡大又は縮小する割合を連続的に変更するように判定することを特徴とする請求項１０に記載の画像処理装置。
前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
前記サイズ変更判定手段は、オフライン処理の場合に、
前記シーンチェンジ検出手段により検出されたシーンチェンジのタイミングに、前記画像が縮小するように当該画像の表示サイズを変更することを特徴とする請求項１０に記載の画像処理装置。
前記サイズ判定手段は、オフライン処理の場合に、
複数の画像の表示サイズに変化があり、かつ、当該各々のフレームの時間間隔が短い場合、当該画像の各々の表示サイズを、徐々に変化するように判定することを特徴とする請求項１０に記載の画像処理装置。
前記サイズ判定手段は、
前記音声特徴量抽出手段により抽出された前記音声の特徴量と第１の閾値とを比較し、当該音声の特徴量が当該閾値より大きい場合、前記画像の表示サイズを拡大して表示するように判定し、
前記音声の特徴量と第２の閾値とを比較し、当該音声の特徴量が当該閾値より小さい場合、前記画像の表示サイズを縮小して表示するように判定することを特徴とする請求項１０に記載の画像処理装置。
前記音声情報は複数の音声チャンネルを有し、
前記音声特徴量抽出手段は、
前記音声情報から前記音声チャンネルの各々の音量を抽出し、当該音量を画像単位で平均又は合計することを特徴とする請求項１０に記載の画像処理装置。
前記音声特徴量抽出手段は、
前記音声情報を周波数に変換し、
前記サイズ判定手段は、
前記音声特徴量抽出手段により変換された周波数が、所定の周波数範囲の基準周波数に一致する音声であるかを判定し、この判定結果に基づいて前記画像の表示サイズを判定することを特徴とする請求項１０に記載の画像処理装置。
前記音声情報は複数の音声チャンネルを有し、
前記音声特徴量抽出手段は、
前記音声チャンネル毎の同時刻における音量の差分絶対値を算出することを特徴とする請求項１０に記載の画像処理装置。
前記音声情報は複数の音声チャンネルを有し、
前記音声特徴量抽出手段は、
前記音声チャンネル毎の第１の時刻における音量の第１の差分値を算出し、さらに、前記音声チャンネル毎の第２の時刻における音量の第２の差分値を算出し、当該第１の差分値と当該第２の差分値との差分絶対値を算出することを特徴とする請求項１０に記載の画像処理装置。
動画像の画像及び音声情報である画像音声信号を処理する方法であって、
前記画像音声信号の音声情報を検出する第１のステップと、
検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、当該画像の表示サイズを設定する第４のステップとを有することを特徴とする画像処理方法。
コンピュータに動画像の画像及び音声情報である画像音声信号を処理させるプログラムであって、
前記画像音声信号の音声情報を検出する第１のステップと、
検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、当該画像の表示サイズを設定する第４のステップと
を実行させることを特徴とする画像処理プログラム。
動画像の画像及び音声情報である画像音声信号を処理する装置であって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定する第１のサイズ変更判定手段と、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第２のサイズ変更判定手段と、
前記第１及び第２のサイズ変更判定手段により判定された表示サイズに基づいて、前記画像の表示サイズを設定する表示サイズ設定手段と
を備えることを特徴とする画像処理装置。
前記第１のサイズ変更判定手段は、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する動き検出手段と、
前記動き検出手段により検出された動きベクトルから、所定の動きベクトルを抽出する動きベクトル抽出手段と、
前記動きベクトル抽出手段により抽出された動きベクトルに基づいて前記画像の表示サイズを判定する第１サイズ判定手段とを備え、
前記第２のサイズ変更判定手段は、
前記画像音声信号の音声情報を検出する音声検出手段と、
前記音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第２サイズ判定手段とを備え、
前記表示サイズ設定手段は、
前記第１サイズ判定手段及び前記第２サイズ判定手段により判定された表示サイズに基づいて、前記画像の表示サイズを設定することを特徴とする請求項２１に記載の画像処理装置。
動画像の画像及び音声情報である画像音声信号を処理する方法であって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第３のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第４のステップと、
前記第２及び第４のステップで判定された表示サイズに基づいて、前記画像の表示サイズを設定する第５のステップと
を有することを特徴とする画像処理方法。
コンピュータに動画像の画像及び音声情報である画像音声信号を処理させるプログラムであって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２のステップと、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第３のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第４のステップと、
前記第２及び第４のステップで判定された表示サイズに基づいて、前記画像の表示サイズを設定する第５のステップと
を実行させることを特徴とする画像処理プログラム。
動画像の画像信号を再生するための再生情報を生成する装置であって、
前記画像信号に基づく画像の動きベクトルを検出する動き検出手段と、
前記動き検出手段により検出された動きベクトルから、所定の動きベクトルを抽出する動きベクトル抽出手段と、
前記動きベクトル抽出手段により抽出された動きベクトルに基づいて前記画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成するサイズ判定手段とを備えることを特徴とする再生情報生成装置。
前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
前記サイズ判定手段は、
前記シーンチェンジ検出手段によりシーンチェンジが検出されたときに、前記画像の表示サイズを元の大きさに戻すことを特徴とする請求項２５に記載の再生情報生成装置。
動画像の画像信号を再生するための再生情報を生成する方法であって、
前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルから、所定の動きベクトルを抽出する第２のステップと、
抽出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップと
を有することを特徴とする再生情報生成方法。
コンピュータに動画像の画像信号を再生するための再生情報を生成させるプログラムであって、
前記画像信号に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルから、所定の動きベクトルを抽出する第２のステップと、
抽出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップと
を実行させることを特徴とする再生情報生成プログラム。
動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する装置であって、
前記画像音声信号の音声情報を検出する音声検出手段と、
前記音声検出手段に検出された音声情報から所定の音声の特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成するサイズ判定手段と
を備えることを特徴とする再生情報生成装置。
前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
前記サイズ判定手段は、
前記シーンチェンジ検出手段によりシーンチェンジが検出されたときに、前記画像の表示サイズを元の大きさに戻すことを特徴とする請求項２９に記載の再生情報生成装置。
動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する方法であって、
前記画像音声信号の音声情報を検出する第１のステップと、
検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップと
を有することを特徴とする再生情報生成方法。
コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させるプログラムであって、
前記画像音声信号の音声情報を検出する第１のステップと、
検出された前記音声情報から所定の音声の特徴量を抽出する第２のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第３のステップと、
判定された前記表示サイズに基づいて、前記画像の表示サイズを設定するための再生情報を生成する第４のステップと
を実行させることを特徴とする画像処理プログラム。
動画像の画像及び音声情報である画像音声信号を処理する装置であって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出し、当該動きベクトルに基づいて前記画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する第１のサイズ変更判定手段と、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出し、当該音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定し、当該画像の表示サイズを設定するための再生情報を生成する第２のサイズ変更判定手段と
を備えることを特徴とする再生情報生成装置。
前記画像におけるシーンチェンジを検出するシーンチェンジ検出手段を備え、
前記第１及び第２のサイズ変更判定手段は、
前記シーンチェンジ検出手段によりシーンチェンジが検出されたときに、前記画像の表示サイズを元の大きさに戻すことを特徴とする請求項３３に記載の再生情報生成装置。
動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成する方法であって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２にステップと、
前記第２のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第３のステップと、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第４のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第５のステップと、
前記第５のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第６のステップと
を有することを特徴とする再生情報生成方法。
コンピュータに動画像の画像及び音声情報である画像音声信号を再生するための再生情報を生成させるプログラムであって、
前記画像音声信号の画像情報に基づく画像の動きベクトルを検出する第１のステップと、
検出された前記動きベクトルに基づいて前記画像の表示サイズを判定する第２にステップと、
前記第２のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第３のステップと、
前記画像音声信号の音声情報から所定の音声の特徴量を抽出する第４のステップと、
抽出された前記音声の特徴量に基づいて前記画像音声信号における画像の表示サイズを判定する第５のステップと、
前記第５のステップで判定された前記画像の表示サイズを設定するための再生情報を生成する第６のステップと
を実行させることを特徴とする再生情報生成プログラム。