JP4253158B2 - 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 - Google Patents
画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 Download PDFInfo
- Publication number
- JP4253158B2 JP4253158B2 JP2002096665A JP2002096665A JP4253158B2 JP 4253158 B2 JP4253158 B2 JP 4253158B2 JP 2002096665 A JP2002096665 A JP 2002096665A JP 2002096665 A JP2002096665 A JP 2002096665A JP 4253158 B2 JP4253158 B2 JP 4253158B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- correction value
- image
- correction
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 122
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000004519 manufacturing process Methods 0.000 title description 5
- 238000012937 correction Methods 0.000 claims abstract description 446
- 230000008859 change Effects 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。特に本発明は、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。
【０００２】
【従来の技術】
従来、ユーザは、手動でガンマ補正等のパラメータを設定して、動画像の画像処理を行っていた。
【０００３】
【発明が解決しようとする課題】
動画像は、それぞれのフレーム画像が異なる内容を表示しているので、ユーザが、それぞれのフレーム画像に的確なパラメータを設定するのは、困難である。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像処理装置、プログラム、画像処理方法、及び動画像の生産方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置であって、フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、補正値決定部が決定した補正値に基づいて、フレーム画像毎に動画像を補正する補正部と
を備える。
【０００６】
補正値決定部は、複数のフレーム画像毎に一の補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【０００７】
補正値決定部は、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【０００８】
補正値決定部は、複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【０００９】
補正値決定部は、複数のフレーム画像のうち、一定時間おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１０】
補正値決定部は、複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１１】
補正値決定部は、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。
【００１２】
動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１３】
動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目に基づいて、場面毎に補正値を決定してもよい。
【００１４】
検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。
【００１５】
色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００１６】
動画像は、撮像装置によって撮影された被写体の画像であって、検出部は、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。
【００１７】
フレーム画像に関する付随情報をフレーム画像毎に取得する付随情報取得部をさらに備え、補正値決定部は、付随情報取得部が取得した付随情報に基づいて補正値を決定してもよい。
【００１８】
付随情報取得部は、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得してもよい。付随情報取得部は、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００１９】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００２０】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００２１】
動画像は、音声情報をさらに有し、音声情報を取得する音声情報取得部と、音声情報に含まれる音源を解析する音声情報解析部とをさらに備え、補正値決定部は、音声情報解析部が解析した音源を示す情報に基づいて補正値を決定してもよい。
【００２２】
補正値決定部は、フレーム画像毎にホワイトバランスの補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正してもよい。
【００２３】
補正値決定部は、フレーム画像毎にガンマ補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。補正値決定部は、フレーム画像毎に明度の補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像の明度を補正してもよい。
【００２４】
補正値決定部は、フレーム画像毎にエッジ強調のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行ってもよい。
【００２５】
本発明の第２の形態によると、複数のフレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、フレーム画像毎に画像処理のための補正値を決定させる補正値決定モジュールと、決定させた補正値に基づいて、フレーム画像毎に動画像を補正させる補正モジュールとを備える。
【００２６】
補正値決定モジュールは、複数のフレーム画像毎に一の補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【００２７】
補正値決定モジュールは、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正させてもよい。
【００２８】
補正値決定モジュールは、複数のフレーム数のうち、一定間隔おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００２９】
補正値決定モジュールは、複数のフレーム数のうち、一定時間おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３０】
補正値決定モジュールは、複数のフレーム数のうち、一定のフレーム数おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３１】
補正値決定モジュールは、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。
【００３２】
動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定させ、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３３】
動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目に基づいて、場面毎に補正値を決定させてもよい。
【００３４】
検出モジュールは、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。
【００３５】
色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００３６】
動画像は、撮像装置によって撮影された被写体の画像であって、検出モジュールは、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。
【００３７】
フレーム画像に関する付随情報をフレーム画像毎に取得させる付随情報取得モジュールをさらに備え、補正値決定モジュールは、付随情報取得モジュールが取得させた付随情報に基づいて補正値を決定してもよい。
【００３８】
付随情報取得モジュールは、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００３９】
付随情報取得モジュールは、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４０】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４１】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４２】
動画像は、音声情報をさらに有し、音声情報を取得させる音声情報取得モジュールと、音声情報に含まれる音源を解析させる音声情報解析モジュールとをさらに備え、補正値決定モジュールは、音声情報解析モジュールが解析した音源を示す情報に基づいて補正値を決定させてもよい。
【００４３】
補正値決定モジュールは、フレーム画像毎にホワイトバランスの補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正させてもよい。
【００４４】
補正値決定モジュールは、フレーム画像毎にガンマ補正のための補正値を決定し、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。
【００４５】
補正値決定モジュールは、フレーム画像毎に明度の補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像の明度を補正させてもよい。
【００４６】
補正値決定モジュールは、フレーム画像毎にエッジ強調のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行わせてもよい。
【００４７】
本発明の第３の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理方法であって、フレーム画像毎に画像処理のための補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。
【００４８】
本発明の第４の形態によると、複数のフレーム画像を有する動画像の生産方法であって、動画像を取得して、取得した動画像が有するフレーム画像毎に補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。
【００４９】
本発明の第５の形態によると、動画像に含まれるフレーム画像を印刷する印刷装置であって、フレーム画像を取得する画像取得部と、動画像の画像処理に用いる補正値を決定する画像処理装置から、フレーム画像の補正値に関する情報を受信する受信部と、受信部が受信した補正値に関する情報に基づいて、当該印刷装置で用いる補正値に関する情報を算出する補正値算出部と、補正値算出部が算出した補正値に関する情報に基づいて、フレーム画像を補正する補正部とを備える。
【００５０】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００５１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、発明の詳細な説明に記載の「プリンタ」は、特許請求の範囲に記載の「プリンタ」である。また発明の詳細な説明に記載の「補正値算出部」は、特許請求の範囲に記載の「補正値対応表作成部」である。
【００５２】
図１は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。本画像処理装置は、複数のフレーム画像を有する動画像の補正処理を、フレーム画像毎に行う。画像処理装置１０は、補正処理を行った動画像を表示装置１５０に送信する。表示装置１５０は、画像処理装置１０から受け取った動画像を表示する。また画像処理装置１０は、動画像の補正に関する情報をプリンタ２０に送信する。プリンタ２０は、画像処理装置１０から受信した補正に関する情報に基づいて、動画像を補正して、印刷する。
【００５３】
画像処理装置１０は、音声情報取得部１００と、動画像取得部１０２と、音声データベース１０５と、音声情報解析部１０６と、画像処理部１０７と、フレーム分解部１０８と、補正値決定部１１０と、入力部１１５と、検出部１２０と、補正部１３０と、再構成部１４０と、付随情報取得部１６０とを備える。音声データベース１０５は、音声データ毎に補正に関する補正情報を格納する。
【００５４】
動画像取得部１０２は、複数のフレーム画像を有する動画像を取得し、画像処理部１０７に送る。画像処理部１０７は、受け取った動画像のインターレース補正及び高画質化処理を行う。インターレース補正とは、１走査線置きに表示されているテレビ方式の動画像において、走査線と走査線の間の画素値を算出して補完する補正処理である。高画質化処理とは、圧縮等によって生じる画質劣化を補完する補正処理である。画像処理部１０７は、インターレース補正及び高画質化処理を行った動画像をフレーム分解部１０８に送る。フレーム分解部１０８は、受け取った動画像をフレーム画像毎に分解する。またフレーム分解部１０８は、フレーム画像のデータ形式を、ＲＧＢデータから標準化されたＣＭＹデータ（濃度値）に変換する。次にフレーム分解部１０８は、分解したフレーム画像を検出部１２０に送る。またフレーム分解部１０８は、フレーム画像に関連する情報である、フレーム画像に付随する付随情報を付随情報取得部１６０に送る。付随情報取得部１６０は、フレーム分解部１０８から受け取った付随情報を補正値決定部１１０に送る。
【００５５】
音声情報取得部１００は、動画像が有する音声情報を、対応するフレーム画像を識別する同期情報とともに取得し、音声情報解析部１０６に送る。音声情報解析部１０６は、音声情報に含まれる音源を解析する。具体的には、音声情報解析部１０６は、音声情報を解析し、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含むか否かを判断する。ここで音声データベース１０５に格納されている音声データとは、例えば人の声や、波、川のせせらぎ等の音声である。本実施の形態では、人の声を用いて説明する。音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む場合に、音声データに対応する補正情報を音声データベース１０５から抽出する。また音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む旨を示す人声情報と補正情報を、同期情報とともに補正値決定部１１０に送る。
【００５６】
検出部１２０は、フレーム分解部１０８から受け取ったフレーム画像を解析し、動画における場面の変わり目を検出する。検出部１２０は、検出した場面の変わり目の直後のフレーム画像を識別する変わり目識別情報を、場面の変わり目の直後のフレーム画像に添付する。次に検出部１２０は、変わり目識別情報を添付したフレーム画像と、フレーム分解部１０８から受け取った、変わり目識別情報を添付したフレーム画像以外のフレーム画像とを補正値決定部１１０に送る。
【００５７】
補正値決定部１１０は、検出部１２０から受け取ったフレーム画像と、音声情報解析部１０６から受け取った人声情報、補正情報及び同期情報と、付随情報取得部１６０から受け取った付随情報とに基づいて、フレーム画像毎に補正値を決定する。次に補正値決定部１１０は、決定した補正値を、検出部１２０から受け取ったフレーム画像とともに補正部１３０に送る。また補正値決定部１１０は、決定した補正値をプリンタ２０に送信する。
【００５８】
補正部１３０は、補正値決定部１１０から受け取ったフレーム画像を、補正値決定部１１０から受け取った補正値に基づいて、フレーム画像毎に補正する。また補正部１３０は、フレーム画像のデータ形式を、ＣＭＹデータから、複数の機種に共通の標準ＲＧＢデータに変換する。補正部１３０は、補正したフレーム画像を再構成部１４０に送る。
【００５９】
再構成部１４０は、補正部１３０から受け取ったフレーム画像と、音声情報取得部１００から受け取った音声情報を合成して、動画を再構成する。さらに再構成部１４０は、再構成した動画の音声情報のノイズ処理等を行う。次に再構成部１４０は、再構成した動画像を表示装置１５０に送る。表示装置１５０は、再構成部１４０から受け取った動画像を表示する。入力部１１５は、表示装置１５０が表示した動画像に対する補正に関する入力情報をユーザから受け付ける。補正部１３０は、入力情報に基づいて、動画像を補正する。
【００６０】
図２は、プリンタ２０の機能構成の一例を示すブロック図である。プリンタ２０は、画像取得部２０１と、フレーム分解部２０２と、縮小処理部２０４と、受信部２０５と、補正値対応表作成部２０６と、補正部２０８と、拡大処理部２１０と、アンシャープマスク処理部２１２と、出力処理部２１４と、印刷部２１６とを備える。
【００６１】
画像取得部２０１は、複数のフレーム画像を有する動画像を取得し、フレーム分解部２０２に送る。フレーム分解部２０２は、受け取った動画像をフレーム画像毎に分解する。フレーム分解部２０２は、分解したフレーム画像を縮小処理部２０４に送る。縮小処理部２０４は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより大きい場合に、フレーム画像を間引いて縮小し、補正部２０８に送り、当該プリンタ２０に適した大きさと同じ、または小さい場合には、フレーム画像をそのまま補正部２０８に送る。
【００６２】
受信部２０５は、画像処理装置１０の補正値決定部１１０から補正値を受信し、補正値対応表作成部２０６に送る。補正値対応表作成部２０６は、受け取った補正値に基づいて、カラールックアップテーブルを作成する。カラールックアップテーブルは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応した値を保持する。補正値対応表作成部２０６は、作成したカラールックアップテーブルを補正部２０８に送る。
【００６３】
補正部２０８は、補正値対応表作成部２０６から受け取ったカラールックアップテーブルに基づいて、縮小処理部２０４から受け取ったフレーム画像を補正する。また補正部２０８は、縮小処理部２０４から受け取ったフレーム画像のデータ形式を、ＲＧＢデータから複数の機種に共通のデータ形式である標準ＲＧＢデータに変換する。補正部２０８は、補正したフレーム画像を拡大処理部２１０に送る。拡大処理部２１０は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより小さい場合には、フレーム画像を拡大し、大きい場合にはそのままフレーム画像をアンシャープマスク処理部２１２に送る。アンシャープマスク処理部２１２は、受け取ったフレーム画像のアンシャープマスク処理を行い、出力処理部２１４に送る。出力処理部２１４は、標準ＲＧＢデータのフレーム画像を、プリンタ固有のデータに変換して、印刷部２１６に送る。印刷部２１６は、受け取ったフレーム画像を印刷する。
【００６４】
本実施の形態に係るプリンタ２０は、画像取得部２０１が動画像を取得しているが、これに代えて他の例としては、受信部２０５が画像処理装置１０からフレーム画像を受信してもよい。
【００６５】
図３は、補正値決定部１１０の詳細な機能構成を示すブロック図である。補正値決定部１１０は、明度補正値決定部１１２と、ホワイトバランス補正値決定部１１４と、ガンマ補正値決定部１１６と、エッジ強調補正値決定部１１８とを有する。
【００６６】
明度補正値決定部１１２は、フレーム画像毎に明度の補正値を決定する。ホワイトバランス補正値決定部１１４は、フレーム画像毎にホワイトバランスの補正値を決定する。ガンマ補正値決定部１１６は、フレーム画像毎にガンマ補正の補正値を決定する。エッジ強調補正値決定部１１８は、フレーム画像毎にエッジ強調の補正値を決定する。
【００６７】
図４は、補正部１３０の詳細な機能構成を示すブロック図である。補正部１３０は、明度補正部１３２と、ホワイトバランス補正部１３４と、ガンマ補正部１３６と、エッジ強調補正部１３８とを有する。
【００６８】
明度補正部１３２は、明度補正値決定部１１２が決定した補正値に基づいて、フレーム画像の明度を補正する。ホワイトバランス補正部１３４は、ホワイトバランス補正値決定部１１４が決定した補正値に基づいて、フレーム画像のホワイトバランスを補正する。ガンマ補正部１３６は、ガンマ補正値決定部１１６が決定した補正値に基づいて、フレーム画像のガンマ補正を行う。エッジ強調補正部１３８は、エッジ強調補正値決定部１１８が決定した補正値に基づいて、フレーム画像のエッジ強調の補正を行う。
【００６９】
図５は、フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す。フレーム画像は、付随情報１６２と画像データ１６４とを有する。ここでフレーム画像は、例えば撮像装置によって、撮像された被写体の画像である。付随情報１６２は、撮像装置から被写体までの距離を示す距離情報、撮影時刻を示す時刻情報、撮影位置を示す位置情報、及び被写体の輝度を示す輝度情報を含む。また画像データ１６４は、画像を示すデータである。
【００７０】
補正値決定部１１０は、付随情報１６２に含まれる距離情報、時刻情報、位置情報、輝度情報の少なくとも１つの情報に基づいて、補正値を決定する。例えば距離情報が大きい場合は、風景シーンであると想定し、ガンマ補正値決定部１１６は、ガンマをアップする補正値を決定する。
【００７１】
図６は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。まず動画像取得部１０２は、複数のフレーム画像を有する動画像を取得する（Ｓ１００）。次に画像処理部１０７は、動画像取得部１０２が取得した動画像のインターレース補正及び高画質化処理を行う（Ｓ１０１）。次にフレーム分解部１０８は、画像処理部１０７がインターレース補正及び高画質化処理を行った動画像をフレーム画像毎に分解する（Ｓ１０２）。そして付随情報取得部１６０は、フレーム分解部１０８が分解したフレーム画像に付随する付随情報を取得する（Ｓ１０４）。
【００７２】
次に音声情報取得部１００は、動画像が有する音声情報を取得する（Ｓ１０６）。次に音声情報解析部１０６は、音声情報に含まれる音源を解析する（Ｓ１０８）。具体的には、音声情報解析部１０６は、音声情報から人の声を示す人声情報及び人声情報に対応する補正情報を抽出する。
【００７３】
次に検出部１２０は、フレーム分解部１０８が動画像を分解して生成したフレーム画像を解析し、動画における場面の変わり目を検出する（Ｓ１１０）。具体的には、検出部１２０は、一のフレーム画像の色を表す３つの信号（以下、３色信号）と、一のフレーム画像の直前のフレーム画像の３色信号との変化量のうち、少なくとも１つの変化量が予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断する。例えば３色信号の色成分としてＣＭＹデータの他にＲＧＢデータ、ＲＧＢデータを変換して求められるＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００７４】
次に補正値決定部１１０は、付随情報取得部１６０が取得した付随情報と、フレーム分解部１０８が分解したフレーム画像と、検出部１２０が検出した場面の変わり目と、音声情報解析部１０６が音声情報から抽出した人声情報、及び人声情報に対応する補正情報とを用いて、補正値を決定する（Ｓ１１２）。
【００７５】
次に補正部１３０は、補正値決定部１１０が決定した補正値に基づいてフレーム画像を補正する（Ｓ１１４）。次に再構成部１４０は、補正部１３０が補正したフレーム画像を再構成して動画像を生成する（Ｓ１１６）。
【００７６】
図７は、図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像か否かを判断する（Ｓ２００）。検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像ではないと判断した場合に、フレーム画像中のＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）それぞれの平均値を算出する（Ｓ２０２）。次に検出部１２０は、平均値を算出したフレーム画像の直前のフレーム画像のＣ、Ｍ、Ｙそれぞれの平均値を算出する（Ｓ２０４）。
【００７７】
次に検出部１２０は、Ｓ２０２で算出したＣ、Ｍ、Ｙそれぞれの平均値と、Ｓ２０４で算出したＣ、Ｍ、Ｙそれぞれの平均値との差を算出する。検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値以下の場合に、Ｓ２０８に進む。一方検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値より大きい場合に、フレーム画像と直前のフレーム画像との間が場面の変わり目であると判断し、Ｓ２１４にジャンプする（Ｓ２０６）。一のフレーム画像におけるＣの平均値をＣｘ、Ｍの平均値をＭｘ、Ｙの平均値をＹｘ、直前のフレーム画像におけるＣの平均値をＣｘ - １、Ｍの平均値をＭｘ - １、Ｙの平均値をＹｘ - １、予め定められた値をそれぞれＣｔ、Ｍｔ、Ｙｔとして、以下の式のうち、いずれか１式を満たす場合に、場面の変わり目とする。
ΔＣ＝Ｃｘ−Ｃｘ - １＞Ｃｔ
ΔＭ＝Ｍｘ−Ｍｘ - １＞Ｍｔ
ΔＹ＝Ｙｘ−Ｙｘ - １＞Ｙｔ
【００７８】
本実施の形態に係る検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値を用いて場面の変わり目を検出しているが、これに代えてフレーム画像のデータがＲ、Ｇ、Ｂの場合には、Ｒ、Ｇ、Ｂそれぞれの平均値を用いて場面の変わり目を検出してもよい。
【００７９】
次に補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれているか否かを判断する（Ｓ２０８）。補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていると判断した場合に、変数Ｚ（初期値Ｚ＝０）に１をたす（Ｓ２１８）。次に補正値決定部１１０は、Ｚが第２の所定値に達した場合（Ｓ２２０）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２２２）。次にＹ及びＺを初期値０に戻す（Ｓ２２４）。一方、Ｓ２２０において補正値決定部１１０は、Ｚが第２の所定値に達していない場合に、図６のＳ１１０における動作を終了する。
【００８０】
一方、補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていないと判断した場合に、変数Ｙ（初期値Ｙ＝０）に１をたす（Ｓ２１０）。次に補正値決定部１１０は、第２の所定値より大きい値である第１の所定値にＹが達した場合（Ｓ２１２）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２１４）。次にＹ及びＺを初期値０に戻す（Ｓ２１６）。画像処理装置１０は、動画像に含まれるすべてのフレーム画像を処理するまで、Ｓ２００からＳ２２４の動作を繰り返す（Ｓ２２６）。
【００８１】
またＳ２００において検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像であると判断した場合に、Ｓ２１４にジャンプする。
【００８２】
このように画像処理装置１０は、場面の変わり目を検出することができる。一般に場面の変わり目において、画像処理に用いる補正値は大きく変化する。そこで、場面の変わり目を検出することにより、画像処理装置１０は、補正値が大きく変わると想定されるフレーム画像を、選択することができる。
【００８３】
また画像処理装置１０は、予め定められた間隔おきにフレーム画像を選択し、補正値を決定することができる。これにより、画像処理装置１０は、全フレーム画像の補正値を算出する場合と比較して、動作を簡略化することができる。ここで画像処理装置１０は、一定フレーム数おきに補正値を算出するフレーム画像を選択しているが、これに代えて他の例としては、一定時間おきに補正値を算出するフレーム画像を選択してもよい。
【００８４】
また画像処理装置１０は、人の声が含まれる音声情報に対応したフレーム画像を選択することができる。さらに画像処理装置１０は、人の声が含まれる音声情報に対応した動画像に施す処理と、人の声が含まれない音声情報に対応した動画像に施す処理とを異ならせている。具体的には、画像処理装置１０は、動画像に人の声が含まれている音声情報が対応する場合に、人の声が含まれない音声情報が対応する動画像と比較して、補正値を算出するフレーム画像を、より狭い間隔おきに選択している。人の声が含まれる音声情報に対応した動画像は、一般に被写体に人が含まれる可能性がある。そこで画像処理装置１０は、人が含まれる可能性のある動画像を、より頻繁に補正値を算出することにより、的確な補正を行うことができる。
【００８５】
図８は、図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず補正値決定部１１０は、補正値を算出すべきフレーム画像か否かを判断する（Ｓ３００）。次に補正値決定部１１０は、補正値を算出すべきフレーム画像であると判断した場合に、補正値を算出すべきフレーム画像を含む複数のフレーム画像を解析する（Ｓ３０８）。ここで補正値決定部１１０は、補正値を算出すべきフレーム画像の前後のフレーム画像と、補正値を算出すべきフレーム画像に対し、複数フレーム画像全体、フレーム画像毎のＣＭＹ濃度の平均値、特定の濃度域を有する面積の比率等の画像の特徴を表すデータ（以下、特徴データ）を算出する。
【００８６】
次に補正値決定部１１０は、付随情報、補正情報に加えて、算出した特徴データに基づいて、補正値を決定する（Ｓ３１０）。
【００８７】
次に補正値決定部１１０は、算出した補正値を、前に算出した補正値と後に算出した補正値とを用いて修正する（Ｓ３１２）。例えば補正値決定部１１０は、算出した補正値をＡｘ、前に算出した補正値をＡｘ−１、後に算出した補正値をＡｘ＋１とすると、
Ａｘ’＝（Ａｘ−１＋２Ａｘ＋Ａｘ＋１）／４
という式を用いて、補正値ＡｘをＡｘ’に修正する。
【００８８】
一方補正値決定部１１０は、補正値を算出すべきフレーム画像ではないと判断した場合に、フレーム画像の直後に場面の変わり目があるか否かを判断する（Ｓ３０２）。次に補正値決定部１１０は、フレーム画像の直後に場面の変わり目があると判断した場合に、直前に算出したフレーム画像の補正値を適用する（Ｓ３０６）。
【００８９】
Ｓ３０２において、補正値決定部１１０は、フレーム画像の直後に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する（Ｓ３０４）。また補正値決定部１１０は、フレーム画像の直後のみではなく、フレーム画像から所定の範囲内に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定してもよい。
【００９０】
このように画像処理装置１０は、直前に算出した補正値と、直後に算出した補正値とを用いて、フレーム画像の補正値を算出することができる。また画像処理装置１０は、直後に場面の変わり目がある場合には、直前の補正値を、フレーム画像の補正値として適用することができる。
【００９１】
図９は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理装置１０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作する。通信インターフェース７０６は、ネットワーク１０を介して外部と通信する。格納装置の一例としてのハードディスクドライブ７１０は、設定情報及びＣＰＵ７００が動作するプログラムを格納する。
【００９２】
フロッピーディスクドライブ７１２はフロッピーディスク７１４からデータまたはプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１６はＣＤ−ＲＯＭ７１８からデータまたはプログラムを読み取りＣＰＵ７００に提供する。通信インターフェース７０６は、動画像データを送受信する。
【００９３】
ＣＰＵ７００が実行するソフトウエアは、フロッピーディスク７１４またはＣＤ−ＲＯＭ７１８等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたソフトウエアは圧縮されていても非圧縮であっても良い。ソフトウエアは記録媒体からハードディスクドライブ７１０にインストールされ、ＲＡＭ７０４に読み出されてＣＰＵ７００により実行される。
【００９４】
記録媒体に格納されて提供されるソフトウエア、即ちハードディスクドライブ７１０にインストールされるソフトウエアは、機能構成として、音声情報取得モジュール、動画像取得モジュール、付随情報取得モジュール、音声情報解析モジュール、フレーム分解モジュール、補正値決定モジュール、再構成モジュール、検出モジュール、及び補正モジュールを備える。これらの各モジュールがコンピュータに働きかけて、ＣＰＵ７００に行わせる処理は、それぞれ本実施の形態における画像処理装置１０における、対応する部材の機能及び動作と同一であるから説明を省略する。
【００９５】
図９に示した、記録媒体の一例としてのフロッピーディスク７１４またはＣＤ−ＲＯＭ７１８には、本出願で説明する全ての実施形態における画像処理装置１０の動作の一部または全ての機能を格納することができる。
【００９６】
これらのプログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるモジュールは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。
【００９７】
以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フロッピーディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムを画像処理装置１０に提供してもよい。
【００９８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。
【００９９】
例えば、本実施の形態に係る画像処理装置１０は、フレーム画像に含まれる色度を用いて、場面の変わり目を判断しているが、これに代えて他の例としては、画像処理装置１０は、被写体から撮像装置までの距離や撮影日時の変化量が、予め定められた値より大きい場合に、場面の変わり目であると判断してもよい。この場合、画像処理装置１０の付随情報取得部１６０は、距離情報または時刻情報を付随情報として取得し、取得した距離情報または時刻情報を検出部１２０に送る。検出部１２０は、受け取った距離情報または時刻情報に基づいて場面の変わり目を判断する。
【０１００】
その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０１】
【発明の効果】
上記説明から明らかなように、本発明によれば動画像のそれぞれのフレーム画像に適した補正値を決定することができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】プリンタ２０の機能構成の一例を示すブロック図である。
【図３】補正値決定部１１０の詳細な機能構成を示すブロック図である。
【図４】補正部１３０の詳細な機能構成を示すブロック図である。
【図５】フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す図である。
【図６】本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。
【図７】図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。
【図８】図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。
【図９】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
１０ 画像処理装置
２０ プリンタ
１００ 音声情報取得部
１０２ 動画像取得部
１０５ 音声データベース
１０６ 音声情報解析部
１０７ 画像処理部
１０８ フレーム分解部
１１０ 補正値決定部
１１５ 入力部
１２０ 検出部
１３０ 補正部
１４０ 再構成部
１５０ 表示装置
１６０ 付随情報取得部
２０１ 画像取得部
２０２ フレーム分解部
２０４ 縮小処理部
２０５ 受信部
２０６ 補正値対応表作成部
２０８ 補正部
２１０ 拡大処理部
２１２ アンシャープマスク処理部
２１４ 出力処理部
２１６ 印刷部
【発明の属する技術分野】
本発明は、画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。特に本発明は、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。
【０００２】
【従来の技術】
従来、ユーザは、手動でガンマ補正等のパラメータを設定して、動画像の画像処理を行っていた。
【０００３】
【発明が解決しようとする課題】
動画像は、それぞれのフレーム画像が異なる内容を表示しているので、ユーザが、それぞれのフレーム画像に的確なパラメータを設定するのは、困難である。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像処理装置、プログラム、画像処理方法、及び動画像の生産方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置であって、フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、補正値決定部が決定した補正値に基づいて、フレーム画像毎に動画像を補正する補正部と
を備える。
【０００６】
補正値決定部は、複数のフレーム画像毎に一の補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【０００７】
補正値決定部は、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【０００８】
補正値決定部は、複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【０００９】
補正値決定部は、複数のフレーム画像のうち、一定時間おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１０】
補正値決定部は、複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１１】
補正値決定部は、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。
【００１２】
動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。
【００１３】
動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目に基づいて、場面毎に補正値を決定してもよい。
【００１４】
検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。
【００１５】
色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００１６】
動画像は、撮像装置によって撮影された被写体の画像であって、検出部は、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。
【００１７】
フレーム画像に関する付随情報をフレーム画像毎に取得する付随情報取得部をさらに備え、補正値決定部は、付随情報取得部が取得した付随情報に基づいて補正値を決定してもよい。
【００１８】
付随情報取得部は、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得してもよい。付随情報取得部は、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００１９】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００２０】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得してもよい。
【００２１】
動画像は、音声情報をさらに有し、音声情報を取得する音声情報取得部と、音声情報に含まれる音源を解析する音声情報解析部とをさらに備え、補正値決定部は、音声情報解析部が解析した音源を示す情報に基づいて補正値を決定してもよい。
【００２２】
補正値決定部は、フレーム画像毎にホワイトバランスの補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正してもよい。
【００２３】
補正値決定部は、フレーム画像毎にガンマ補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。補正値決定部は、フレーム画像毎に明度の補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像の明度を補正してもよい。
【００２４】
補正値決定部は、フレーム画像毎にエッジ強調のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行ってもよい。
【００２５】
本発明の第２の形態によると、複数のフレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、フレーム画像毎に画像処理のための補正値を決定させる補正値決定モジュールと、決定させた補正値に基づいて、フレーム画像毎に動画像を補正させる補正モジュールとを備える。
【００２６】
補正値決定モジュールは、複数のフレーム画像毎に一の補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正してもよい。
【００２７】
補正値決定モジュールは、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正させてもよい。
【００２８】
補正値決定モジュールは、複数のフレーム数のうち、一定間隔おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００２９】
補正値決定モジュールは、複数のフレーム数のうち、一定時間おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３０】
補正値決定モジュールは、複数のフレーム数のうち、一定のフレーム数おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３１】
補正値決定モジュールは、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。
【００３２】
動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定させ、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。
【００３３】
動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目に基づいて、場面毎に補正値を決定させてもよい。
【００３４】
検出モジュールは、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。
【００３５】
色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００３６】
動画像は、撮像装置によって撮影された被写体の画像であって、検出モジュールは、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。
【００３７】
フレーム画像に関する付随情報をフレーム画像毎に取得させる付随情報取得モジュールをさらに備え、補正値決定モジュールは、付随情報取得モジュールが取得させた付随情報に基づいて補正値を決定してもよい。
【００３８】
付随情報取得モジュールは、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００３９】
付随情報取得モジュールは、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４０】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４１】
動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得させてもよい。
【００４２】
動画像は、音声情報をさらに有し、音声情報を取得させる音声情報取得モジュールと、音声情報に含まれる音源を解析させる音声情報解析モジュールとをさらに備え、補正値決定モジュールは、音声情報解析モジュールが解析した音源を示す情報に基づいて補正値を決定させてもよい。
【００４３】
補正値決定モジュールは、フレーム画像毎にホワイトバランスの補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正させてもよい。
【００４４】
補正値決定モジュールは、フレーム画像毎にガンマ補正のための補正値を決定し、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。
【００４５】
補正値決定モジュールは、フレーム画像毎に明度の補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像の明度を補正させてもよい。
【００４６】
補正値決定モジュールは、フレーム画像毎にエッジ強調のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行わせてもよい。
【００４７】
本発明の第３の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理方法であって、フレーム画像毎に画像処理のための補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。
【００４８】
本発明の第４の形態によると、複数のフレーム画像を有する動画像の生産方法であって、動画像を取得して、取得した動画像が有するフレーム画像毎に補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。
【００４９】
本発明の第５の形態によると、動画像に含まれるフレーム画像を印刷する印刷装置であって、フレーム画像を取得する画像取得部と、動画像の画像処理に用いる補正値を決定する画像処理装置から、フレーム画像の補正値に関する情報を受信する受信部と、受信部が受信した補正値に関する情報に基づいて、当該印刷装置で用いる補正値に関する情報を算出する補正値算出部と、補正値算出部が算出した補正値に関する情報に基づいて、フレーム画像を補正する補正部とを備える。
【００５０】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００５１】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、発明の詳細な説明に記載の「プリンタ」は、特許請求の範囲に記載の「プリンタ」である。また発明の詳細な説明に記載の「補正値算出部」は、特許請求の範囲に記載の「補正値対応表作成部」である。
【００５２】
図１は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。本画像処理装置は、複数のフレーム画像を有する動画像の補正処理を、フレーム画像毎に行う。画像処理装置１０は、補正処理を行った動画像を表示装置１５０に送信する。表示装置１５０は、画像処理装置１０から受け取った動画像を表示する。また画像処理装置１０は、動画像の補正に関する情報をプリンタ２０に送信する。プリンタ２０は、画像処理装置１０から受信した補正に関する情報に基づいて、動画像を補正して、印刷する。
【００５３】
画像処理装置１０は、音声情報取得部１００と、動画像取得部１０２と、音声データベース１０５と、音声情報解析部１０６と、画像処理部１０７と、フレーム分解部１０８と、補正値決定部１１０と、入力部１１５と、検出部１２０と、補正部１３０と、再構成部１４０と、付随情報取得部１６０とを備える。音声データベース１０５は、音声データ毎に補正に関する補正情報を格納する。
【００５４】
動画像取得部１０２は、複数のフレーム画像を有する動画像を取得し、画像処理部１０７に送る。画像処理部１０７は、受け取った動画像のインターレース補正及び高画質化処理を行う。インターレース補正とは、１走査線置きに表示されているテレビ方式の動画像において、走査線と走査線の間の画素値を算出して補完する補正処理である。高画質化処理とは、圧縮等によって生じる画質劣化を補完する補正処理である。画像処理部１０７は、インターレース補正及び高画質化処理を行った動画像をフレーム分解部１０８に送る。フレーム分解部１０８は、受け取った動画像をフレーム画像毎に分解する。またフレーム分解部１０８は、フレーム画像のデータ形式を、ＲＧＢデータから標準化されたＣＭＹデータ（濃度値）に変換する。次にフレーム分解部１０８は、分解したフレーム画像を検出部１２０に送る。またフレーム分解部１０８は、フレーム画像に関連する情報である、フレーム画像に付随する付随情報を付随情報取得部１６０に送る。付随情報取得部１６０は、フレーム分解部１０８から受け取った付随情報を補正値決定部１１０に送る。
【００５５】
音声情報取得部１００は、動画像が有する音声情報を、対応するフレーム画像を識別する同期情報とともに取得し、音声情報解析部１０６に送る。音声情報解析部１０６は、音声情報に含まれる音源を解析する。具体的には、音声情報解析部１０６は、音声情報を解析し、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含むか否かを判断する。ここで音声データベース１０５に格納されている音声データとは、例えば人の声や、波、川のせせらぎ等の音声である。本実施の形態では、人の声を用いて説明する。音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む場合に、音声データに対応する補正情報を音声データベース１０５から抽出する。また音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む旨を示す人声情報と補正情報を、同期情報とともに補正値決定部１１０に送る。
【００５６】
検出部１２０は、フレーム分解部１０８から受け取ったフレーム画像を解析し、動画における場面の変わり目を検出する。検出部１２０は、検出した場面の変わり目の直後のフレーム画像を識別する変わり目識別情報を、場面の変わり目の直後のフレーム画像に添付する。次に検出部１２０は、変わり目識別情報を添付したフレーム画像と、フレーム分解部１０８から受け取った、変わり目識別情報を添付したフレーム画像以外のフレーム画像とを補正値決定部１１０に送る。
【００５７】
補正値決定部１１０は、検出部１２０から受け取ったフレーム画像と、音声情報解析部１０６から受け取った人声情報、補正情報及び同期情報と、付随情報取得部１６０から受け取った付随情報とに基づいて、フレーム画像毎に補正値を決定する。次に補正値決定部１１０は、決定した補正値を、検出部１２０から受け取ったフレーム画像とともに補正部１３０に送る。また補正値決定部１１０は、決定した補正値をプリンタ２０に送信する。
【００５８】
補正部１３０は、補正値決定部１１０から受け取ったフレーム画像を、補正値決定部１１０から受け取った補正値に基づいて、フレーム画像毎に補正する。また補正部１３０は、フレーム画像のデータ形式を、ＣＭＹデータから、複数の機種に共通の標準ＲＧＢデータに変換する。補正部１３０は、補正したフレーム画像を再構成部１４０に送る。
【００５９】
再構成部１４０は、補正部１３０から受け取ったフレーム画像と、音声情報取得部１００から受け取った音声情報を合成して、動画を再構成する。さらに再構成部１４０は、再構成した動画の音声情報のノイズ処理等を行う。次に再構成部１４０は、再構成した動画像を表示装置１５０に送る。表示装置１５０は、再構成部１４０から受け取った動画像を表示する。入力部１１５は、表示装置１５０が表示した動画像に対する補正に関する入力情報をユーザから受け付ける。補正部１３０は、入力情報に基づいて、動画像を補正する。
【００６０】
図２は、プリンタ２０の機能構成の一例を示すブロック図である。プリンタ２０は、画像取得部２０１と、フレーム分解部２０２と、縮小処理部２０４と、受信部２０５と、補正値対応表作成部２０６と、補正部２０８と、拡大処理部２１０と、アンシャープマスク処理部２１２と、出力処理部２１４と、印刷部２１６とを備える。
【００６１】
画像取得部２０１は、複数のフレーム画像を有する動画像を取得し、フレーム分解部２０２に送る。フレーム分解部２０２は、受け取った動画像をフレーム画像毎に分解する。フレーム分解部２０２は、分解したフレーム画像を縮小処理部２０４に送る。縮小処理部２０４は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより大きい場合に、フレーム画像を間引いて縮小し、補正部２０８に送り、当該プリンタ２０に適した大きさと同じ、または小さい場合には、フレーム画像をそのまま補正部２０８に送る。
【００６２】
受信部２０５は、画像処理装置１０の補正値決定部１１０から補正値を受信し、補正値対応表作成部２０６に送る。補正値対応表作成部２０６は、受け取った補正値に基づいて、カラールックアップテーブルを作成する。カラールックアップテーブルは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応した値を保持する。補正値対応表作成部２０６は、作成したカラールックアップテーブルを補正部２０８に送る。
【００６３】
補正部２０８は、補正値対応表作成部２０６から受け取ったカラールックアップテーブルに基づいて、縮小処理部２０４から受け取ったフレーム画像を補正する。また補正部２０８は、縮小処理部２０４から受け取ったフレーム画像のデータ形式を、ＲＧＢデータから複数の機種に共通のデータ形式である標準ＲＧＢデータに変換する。補正部２０８は、補正したフレーム画像を拡大処理部２１０に送る。拡大処理部２１０は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより小さい場合には、フレーム画像を拡大し、大きい場合にはそのままフレーム画像をアンシャープマスク処理部２１２に送る。アンシャープマスク処理部２１２は、受け取ったフレーム画像のアンシャープマスク処理を行い、出力処理部２１４に送る。出力処理部２１４は、標準ＲＧＢデータのフレーム画像を、プリンタ固有のデータに変換して、印刷部２１６に送る。印刷部２１６は、受け取ったフレーム画像を印刷する。
【００６４】
本実施の形態に係るプリンタ２０は、画像取得部２０１が動画像を取得しているが、これに代えて他の例としては、受信部２０５が画像処理装置１０からフレーム画像を受信してもよい。
【００６５】
図３は、補正値決定部１１０の詳細な機能構成を示すブロック図である。補正値決定部１１０は、明度補正値決定部１１２と、ホワイトバランス補正値決定部１１４と、ガンマ補正値決定部１１６と、エッジ強調補正値決定部１１８とを有する。
【００６６】
明度補正値決定部１１２は、フレーム画像毎に明度の補正値を決定する。ホワイトバランス補正値決定部１１４は、フレーム画像毎にホワイトバランスの補正値を決定する。ガンマ補正値決定部１１６は、フレーム画像毎にガンマ補正の補正値を決定する。エッジ強調補正値決定部１１８は、フレーム画像毎にエッジ強調の補正値を決定する。
【００６７】
図４は、補正部１３０の詳細な機能構成を示すブロック図である。補正部１３０は、明度補正部１３２と、ホワイトバランス補正部１３４と、ガンマ補正部１３６と、エッジ強調補正部１３８とを有する。
【００６８】
明度補正部１３２は、明度補正値決定部１１２が決定した補正値に基づいて、フレーム画像の明度を補正する。ホワイトバランス補正部１３４は、ホワイトバランス補正値決定部１１４が決定した補正値に基づいて、フレーム画像のホワイトバランスを補正する。ガンマ補正部１３６は、ガンマ補正値決定部１１６が決定した補正値に基づいて、フレーム画像のガンマ補正を行う。エッジ強調補正部１３８は、エッジ強調補正値決定部１１８が決定した補正値に基づいて、フレーム画像のエッジ強調の補正を行う。
【００６９】
図５は、フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す。フレーム画像は、付随情報１６２と画像データ１６４とを有する。ここでフレーム画像は、例えば撮像装置によって、撮像された被写体の画像である。付随情報１６２は、撮像装置から被写体までの距離を示す距離情報、撮影時刻を示す時刻情報、撮影位置を示す位置情報、及び被写体の輝度を示す輝度情報を含む。また画像データ１６４は、画像を示すデータである。
【００７０】
補正値決定部１１０は、付随情報１６２に含まれる距離情報、時刻情報、位置情報、輝度情報の少なくとも１つの情報に基づいて、補正値を決定する。例えば距離情報が大きい場合は、風景シーンであると想定し、ガンマ補正値決定部１１６は、ガンマをアップする補正値を決定する。
【００７１】
図６は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。まず動画像取得部１０２は、複数のフレーム画像を有する動画像を取得する（Ｓ１００）。次に画像処理部１０７は、動画像取得部１０２が取得した動画像のインターレース補正及び高画質化処理を行う（Ｓ１０１）。次にフレーム分解部１０８は、画像処理部１０７がインターレース補正及び高画質化処理を行った動画像をフレーム画像毎に分解する（Ｓ１０２）。そして付随情報取得部１６０は、フレーム分解部１０８が分解したフレーム画像に付随する付随情報を取得する（Ｓ１０４）。
【００７２】
次に音声情報取得部１００は、動画像が有する音声情報を取得する（Ｓ１０６）。次に音声情報解析部１０６は、音声情報に含まれる音源を解析する（Ｓ１０８）。具体的には、音声情報解析部１０６は、音声情報から人の声を示す人声情報及び人声情報に対応する補正情報を抽出する。
【００７３】
次に検出部１２０は、フレーム分解部１０８が動画像を分解して生成したフレーム画像を解析し、動画における場面の変わり目を検出する（Ｓ１１０）。具体的には、検出部１２０は、一のフレーム画像の色を表す３つの信号（以下、３色信号）と、一のフレーム画像の直前のフレーム画像の３色信号との変化量のうち、少なくとも１つの変化量が予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断する。例えば３色信号の色成分としてＣＭＹデータの他にＲＧＢデータ、ＲＧＢデータを変換して求められるＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。
【００７４】
次に補正値決定部１１０は、付随情報取得部１６０が取得した付随情報と、フレーム分解部１０８が分解したフレーム画像と、検出部１２０が検出した場面の変わり目と、音声情報解析部１０６が音声情報から抽出した人声情報、及び人声情報に対応する補正情報とを用いて、補正値を決定する（Ｓ１１２）。
【００７５】
次に補正部１３０は、補正値決定部１１０が決定した補正値に基づいてフレーム画像を補正する（Ｓ１１４）。次に再構成部１４０は、補正部１３０が補正したフレーム画像を再構成して動画像を生成する（Ｓ１１６）。
【００７６】
図７は、図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像か否かを判断する（Ｓ２００）。検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像ではないと判断した場合に、フレーム画像中のＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）それぞれの平均値を算出する（Ｓ２０２）。次に検出部１２０は、平均値を算出したフレーム画像の直前のフレーム画像のＣ、Ｍ、Ｙそれぞれの平均値を算出する（Ｓ２０４）。
【００７７】
次に検出部１２０は、Ｓ２０２で算出したＣ、Ｍ、Ｙそれぞれの平均値と、Ｓ２０４で算出したＣ、Ｍ、Ｙそれぞれの平均値との差を算出する。検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値以下の場合に、Ｓ２０８に進む。一方検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値より大きい場合に、フレーム画像と直前のフレーム画像との間が場面の変わり目であると判断し、Ｓ２１４にジャンプする（Ｓ２０６）。一のフレーム画像におけるＣの平均値をＣｘ、Ｍの平均値をＭｘ、Ｙの平均値をＹｘ、直前のフレーム画像におけるＣの平均値をＣｘ - １、Ｍの平均値をＭｘ - １、Ｙの平均値をＹｘ - １、予め定められた値をそれぞれＣｔ、Ｍｔ、Ｙｔとして、以下の式のうち、いずれか１式を満たす場合に、場面の変わり目とする。
ΔＣ＝Ｃｘ−Ｃｘ - １＞Ｃｔ
ΔＭ＝Ｍｘ−Ｍｘ - １＞Ｍｔ
ΔＹ＝Ｙｘ−Ｙｘ - １＞Ｙｔ
【００７８】
本実施の形態に係る検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値を用いて場面の変わり目を検出しているが、これに代えてフレーム画像のデータがＲ、Ｇ、Ｂの場合には、Ｒ、Ｇ、Ｂそれぞれの平均値を用いて場面の変わり目を検出してもよい。
【００７９】
次に補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれているか否かを判断する（Ｓ２０８）。補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていると判断した場合に、変数Ｚ（初期値Ｚ＝０）に１をたす（Ｓ２１８）。次に補正値決定部１１０は、Ｚが第２の所定値に達した場合（Ｓ２２０）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２２２）。次にＹ及びＺを初期値０に戻す（Ｓ２２４）。一方、Ｓ２２０において補正値決定部１１０は、Ｚが第２の所定値に達していない場合に、図６のＳ１１０における動作を終了する。
【００８０】
一方、補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていないと判断した場合に、変数Ｙ（初期値Ｙ＝０）に１をたす（Ｓ２１０）。次に補正値決定部１１０は、第２の所定値より大きい値である第１の所定値にＹが達した場合（Ｓ２１２）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２１４）。次にＹ及びＺを初期値０に戻す（Ｓ２１６）。画像処理装置１０は、動画像に含まれるすべてのフレーム画像を処理するまで、Ｓ２００からＳ２２４の動作を繰り返す（Ｓ２２６）。
【００８１】
またＳ２００において検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像であると判断した場合に、Ｓ２１４にジャンプする。
【００８２】
このように画像処理装置１０は、場面の変わり目を検出することができる。一般に場面の変わり目において、画像処理に用いる補正値は大きく変化する。そこで、場面の変わり目を検出することにより、画像処理装置１０は、補正値が大きく変わると想定されるフレーム画像を、選択することができる。
【００８３】
また画像処理装置１０は、予め定められた間隔おきにフレーム画像を選択し、補正値を決定することができる。これにより、画像処理装置１０は、全フレーム画像の補正値を算出する場合と比較して、動作を簡略化することができる。ここで画像処理装置１０は、一定フレーム数おきに補正値を算出するフレーム画像を選択しているが、これに代えて他の例としては、一定時間おきに補正値を算出するフレーム画像を選択してもよい。
【００８４】
また画像処理装置１０は、人の声が含まれる音声情報に対応したフレーム画像を選択することができる。さらに画像処理装置１０は、人の声が含まれる音声情報に対応した動画像に施す処理と、人の声が含まれない音声情報に対応した動画像に施す処理とを異ならせている。具体的には、画像処理装置１０は、動画像に人の声が含まれている音声情報が対応する場合に、人の声が含まれない音声情報が対応する動画像と比較して、補正値を算出するフレーム画像を、より狭い間隔おきに選択している。人の声が含まれる音声情報に対応した動画像は、一般に被写体に人が含まれる可能性がある。そこで画像処理装置１０は、人が含まれる可能性のある動画像を、より頻繁に補正値を算出することにより、的確な補正を行うことができる。
【００８５】
図８は、図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず補正値決定部１１０は、補正値を算出すべきフレーム画像か否かを判断する（Ｓ３００）。次に補正値決定部１１０は、補正値を算出すべきフレーム画像であると判断した場合に、補正値を算出すべきフレーム画像を含む複数のフレーム画像を解析する（Ｓ３０８）。ここで補正値決定部１１０は、補正値を算出すべきフレーム画像の前後のフレーム画像と、補正値を算出すべきフレーム画像に対し、複数フレーム画像全体、フレーム画像毎のＣＭＹ濃度の平均値、特定の濃度域を有する面積の比率等の画像の特徴を表すデータ（以下、特徴データ）を算出する。
【００８６】
次に補正値決定部１１０は、付随情報、補正情報に加えて、算出した特徴データに基づいて、補正値を決定する（Ｓ３１０）。
【００８７】
次に補正値決定部１１０は、算出した補正値を、前に算出した補正値と後に算出した補正値とを用いて修正する（Ｓ３１２）。例えば補正値決定部１１０は、算出した補正値をＡｘ、前に算出した補正値をＡｘ−１、後に算出した補正値をＡｘ＋１とすると、
Ａｘ’＝（Ａｘ−１＋２Ａｘ＋Ａｘ＋１）／４
という式を用いて、補正値ＡｘをＡｘ’に修正する。
【００８８】
一方補正値決定部１１０は、補正値を算出すべきフレーム画像ではないと判断した場合に、フレーム画像の直後に場面の変わり目があるか否かを判断する（Ｓ３０２）。次に補正値決定部１１０は、フレーム画像の直後に場面の変わり目があると判断した場合に、直前に算出したフレーム画像の補正値を適用する（Ｓ３０６）。
【００８９】
Ｓ３０２において、補正値決定部１１０は、フレーム画像の直後に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する（Ｓ３０４）。また補正値決定部１１０は、フレーム画像の直後のみではなく、フレーム画像から所定の範囲内に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定してもよい。
【００９０】
このように画像処理装置１０は、直前に算出した補正値と、直後に算出した補正値とを用いて、フレーム画像の補正値を算出することができる。また画像処理装置１０は、直後に場面の変わり目がある場合には、直前の補正値を、フレーム画像の補正値として適用することができる。
【００９１】
図９は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理装置１０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作する。通信インターフェース７０６は、ネットワーク１０を介して外部と通信する。格納装置の一例としてのハードディスクドライブ７１０は、設定情報及びＣＰＵ７００が動作するプログラムを格納する。
【００９２】
フロッピーディスクドライブ７１２はフロッピーディスク７１４からデータまたはプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１６はＣＤ−ＲＯＭ７１８からデータまたはプログラムを読み取りＣＰＵ７００に提供する。通信インターフェース７０６は、動画像データを送受信する。
【００９３】
ＣＰＵ７００が実行するソフトウエアは、フロッピーディスク７１４またはＣＤ−ＲＯＭ７１８等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたソフトウエアは圧縮されていても非圧縮であっても良い。ソフトウエアは記録媒体からハードディスクドライブ７１０にインストールされ、ＲＡＭ７０４に読み出されてＣＰＵ７００により実行される。
【００９４】
記録媒体に格納されて提供されるソフトウエア、即ちハードディスクドライブ７１０にインストールされるソフトウエアは、機能構成として、音声情報取得モジュール、動画像取得モジュール、付随情報取得モジュール、音声情報解析モジュール、フレーム分解モジュール、補正値決定モジュール、再構成モジュール、検出モジュール、及び補正モジュールを備える。これらの各モジュールがコンピュータに働きかけて、ＣＰＵ７００に行わせる処理は、それぞれ本実施の形態における画像処理装置１０における、対応する部材の機能及び動作と同一であるから説明を省略する。
【００９５】
図９に示した、記録媒体の一例としてのフロッピーディスク７１４またはＣＤ−ＲＯＭ７１８には、本出願で説明する全ての実施形態における画像処理装置１０の動作の一部または全ての機能を格納することができる。
【００９６】
これらのプログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるモジュールは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。
【００９７】
以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フロッピーディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムを画像処理装置１０に提供してもよい。
【００９８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。
【００９９】
例えば、本実施の形態に係る画像処理装置１０は、フレーム画像に含まれる色度を用いて、場面の変わり目を判断しているが、これに代えて他の例としては、画像処理装置１０は、被写体から撮像装置までの距離や撮影日時の変化量が、予め定められた値より大きい場合に、場面の変わり目であると判断してもよい。この場合、画像処理装置１０の付随情報取得部１６０は、距離情報または時刻情報を付随情報として取得し、取得した距離情報または時刻情報を検出部１２０に送る。検出部１２０は、受け取った距離情報または時刻情報に基づいて場面の変わり目を判断する。
【０１００】
その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０１】
【発明の効果】
上記説明から明らかなように、本発明によれば動画像のそれぞれのフレーム画像に適した補正値を決定することができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】プリンタ２０の機能構成の一例を示すブロック図である。
【図３】補正値決定部１１０の詳細な機能構成を示すブロック図である。
【図４】補正部１３０の詳細な機能構成を示すブロック図である。
【図５】フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す図である。
【図６】本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。
【図７】図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。
【図８】図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。
【図９】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
１０ 画像処理装置
２０ プリンタ
１００ 音声情報取得部
１０２ 動画像取得部
１０５ 音声データベース
１０６ 音声情報解析部
１０７ 画像処理部
１０８ フレーム分解部
１１０ 補正値決定部
１１５ 入力部
１２０ 検出部
１３０ 補正部
１４０ 再構成部
１５０ 表示装置
１６０ 付随情報取得部
２０１ 画像取得部
２０２ フレーム分解部
２０４ 縮小処理部
２０５ 受信部
２０６ 補正値対応表作成部
２０８ 補正部
２１０ 拡大処理部
２１２ アンシャープマスク処理部
２１４ 出力処理部
２１６ 印刷部
Claims (39)
- フレーム画像を有する動画像の補正処理を行う画像処理装置であって、
音声データ毎に補正に関する補正情報を格納する音声データベースと、
前記動画像が有する音声情報を、前記音声情報に対応する前記フレーム画像を識別する同期情報とともに取得する音声情報取得部と、
前記音声情報を解析し、前記音声データベースに格納されている前記音声データと同一又は類似した音源を前記音声情報が含む場合に、前記音源と同一または類似した前記音声データに対応する前記補正情報を前記音声データベースから抽出する音声情報解析部と、
予め定められた間隔おきに前記フレーム画像を選択する手段と、
人の声が含まれる音声情報に対応した前記フレーム画像を選択する手段と、
前記音声情報解析部が抽出した前記補正情報に基づいて、選択された前記フレーム画像の画像処理のための補正値を決定する補正値決定部と、
前記補正値に基づいて、前記フレーム画像を補正する補正部と
を備え、
人の声が含まれない音声情報に対応する前記動画像と比較して、前記人の声が含まれる音声情報に対応する前記動画像において、より狭い間隔おきに前記フレーム画像を選択する画像処理装置。 - 前記動画像の場面の変わり目を検出し、検出した場面の変わり目の直後のフレーム画像を前記補正値決定部に送る検出部
をさらに備え、
前記補正値決定部は、前記検出部から受け取った前記フレーム画像の補正値を決定する請求項１に記載の画像処理装置。 - 前記補正値決定部は、前記動画像が有する複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定する請求項１に記載の画像処理装置。
- 前記補正値決定部は、前記複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定することを特徴とする請求項３に記載の画像処理装置。
- 前記補正値決定部は、フレーム画像の直後に場面の変わり目がない場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する請求項２に記載の画像処理装置。
- 前記補正値決定部は、フレーム画像の直後に場面の変わり目がある場合に、直前に算出したフレーム画像の補正値を適用する請求項２に記載の画像処理装置。
- 前記検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、前記一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項２に記載の画像処理装置。
- 前記色成分は、Ｃ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分である請求項７に記載の画像処理装置。
- 前記色成分は、色相、彩度、及び明度の成分である請求項７に記載の画像処理装置。
- 前記色成分は、Ｒ（赤）成分、Ｇ（緑）成分、及びＢ（青）成分である請求項７に記載の画像処理装置。
- 前記動画像は、撮像装置によって撮影された被写体の画像であって、
前記検出部は、一のフレーム画像の被写体から前記撮像装置までの距離と、前記一のフレーム画像の直前のフレーム画像の被写体から前記撮像装置までの距離との変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項２に記載の画像処理装置。 - 前記補正値決定部は、前記フレーム画像のホワイトバランスの補正のための補正値を決定し、
前記補正部は、前記補正値に基づいて、前記フレーム画像のホワイトバランスを補正する請求項１に記載の画像処理装置。 - 前記補正値決定部は、前記フレーム画像のガンマ補正のための補正値を決定し、
前記補正部は、前記補正値に基づいて、前記フレーム画像をガンマ補正する請求項１に記載の画像処理装置。 - 前記補正値決定部は、前記フレーム画像の明度の補正のための補正値を決定し、
前記補正部は、前記補正値に基づいて、前記フレーム画像の明度を補正する請求項１に記載の画像処理装置。 - 前記補正値決定部は、前記フレーム画像のエッジ強調のための補正値を決定し、
前記補正部は、前記補正値に基づいて、前記フレーム画像のエッジ強調を行う請求項１に記載の画像処理装置。 - フレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、前記コンピュータを、
前記動画像が有する音声情報を、前記音声情報に対応する前記フレーム画像を識別する同期情報とともに取得する音声情報取得部、
前記音声情報を解析し、音声データ毎に補正に関する補正情報を格納する音声データベースに格納されている前記音声データと同一又は類似した音源を前記音声情報が含む場合に、前記音源と同一または類似した前記音声データに対応する前記補正情報を前記音声データベースから抽出する音声情報解析部、
予め定められた間隔おきに前記フレーム画像を選択する手段、
人の声が含まれる音声情報に対応した前記フレーム画像を選択する手段、
前記音声情報解析部が抽出した前記補正情報に基づいて、選択された前記フレーム画像の画像処理のための補正値を決定する補正値決定部、
前記補正値に基づいて、前記フレーム画像を補正する補正部、及び
人の声が含まれない音声情報に対応する前記動画像と比較して、前記人の声が含まれる音声情報に対応する前記動画像において、より狭い間隔おきに前記フレーム画像を選択する手段
として機能させるプログラム。 - 前記コンピュータを、
前記動画像の場面の変わり目を検出し、検出した場面の変わり目の直後のフレーム画像を前記補正値決定部に送る検出部
としてさらに機能させ、
前記補正値決定部は、前記検出部から受け取った前記フレーム画像の補正値を決定する請求項１６に記載のプログラム。 - 前記補正値決定部は、前記動画像が有する複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定する請求項１６に記載のプログラム。
- 前記補正値決定部は、前記複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定する請求項１８に記載のプログラム。
- 前記補正値決定部は、フレーム画像の直後に場面の変わり目がない場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する請求項１７に記載のプログラム。
- 前記補正値決定部は、フレーム画像の直後に場面の変わり目がある場合に、直前に算出したフレーム画像の補正値を適用する請求項１７に記載のプログラム。
- 前記検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、前記一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項１７に記載のプログラム。
- 前記動画像は、撮像装置によって撮影された被写体の画像であって、
前記検出部は、一のフレーム画像の被写体から前記撮像装置までの距離と、前記一のフレーム画像の直前のフレーム画像の被写体から前記撮像装置までの距離との変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項１７に記載のプログラム。 - フレーム画像を有する動画像の補正処理を行う画像処理装置による画像処理方法であって、前記画像処理装置が、
前記動画像が有する音声情報を、前記音声情報に対応する前記フレーム画像を識別する同期情報とともに取得する音声情報取得段階と、
前記音声情報を解析し、音声データ毎に補正に関する補正情報を格納する音声データベースに格納されている前記音声データと同一又は類似した音源を前記音声情報が含む場合に、前記音源と同一または類似した前記音声データに対応する前記補正情報を前記音声データベースから抽出する音声情報解析段階と、
予め定められた間隔おきに前記フレーム画像を選択する段階と、
人の声が含まれる音声情報に対応した前記フレーム画像を選択する段階と、
前記音声情報解析段階において抽出した前記補正情報に基づいて、選択された前記フレーム画像の画像処理のための補正値を決定する補正値決定段階と、
前記補正値に基づいて、前記フレーム画像を補正する補正段階と、
人の声が含まれない音声情報に対応する前記動画像と比較して、前記人の声が含まれる音声情報に対応する前記動画像において、より狭い間隔おきに前記フレーム画像を選択する段階と
を備える画像処理方法。 - 前記画像処理装置が、
前記動画像の場面の変わり目を検出し、検出した場面の変わり目の直後のフレーム画像を送る検出段階
をさらに備え、
前記補正値決定段階は、前記検出段階において送られた前記フレーム画像の補正値を決定する請求項２４に記載の画像処理方法。 - 前記補正値決定段階は、前記動画像が有する複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定する請求項２４に記載の画像処理方法。
- 前記補正値決定段階は、前記複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定することを特徴とする請求項２６に記載の画像処理方法。
- 前記補正値決定段階は、フレーム画像の直後に場面の変わり目がない場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する請求項２５に記載の画像処理方法。
- 前記補正値決定段階は、フレーム画像の直後に場面の変わり目がある場合に、直前に算出したフレーム画像の補正値を適用する請求項２５に記載の画像処理方法。
- 前記検出段階は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、前記一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項２５に記載の画像処理方法。
- 前記動画像は、撮像装置によって撮影された被写体の画像であって、
前記検出段階は、一のフレーム画像の被写体から前記撮像装置までの距離と、前記一のフレーム画像の直前のフレーム画像の被写体から前記撮像装置までの距離との変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項２５に記載の画像処理方法。 - フレーム画像を有する動画像の補正方法であって、画像処理装置が、
前記動画像が有する音声情報を、前記音声情報に対応する前記フレーム画像を識別する同期情報とともに取得する音声情報取得段階と、
前記音声情報を解析し、音声データ毎に補正に関する補正情報を格納する音声データベースに格納されている前記音声データと同一又は類似した音源を前記音声情報が含む場合に、前記音源と同一または類似した前記音声データに対応する前記補正情報を前記音声データベースから抽出する音声情報解析段階と、
予め定められた間隔おきに前記フレーム画像を選択する段階と、
人の声が含まれる音声情報に対応した前記フレーム画像を選択する段階と、
前記音声情報解析段階において抽出した前記補正情報に基づいて、選択された前記フレーム画像の画像処理のための補正値を決定する補正値決定段階と、
前記補正値に基づいて、前記フレーム画像を補正する補正段階と、
人の声が含まれない音声情報に対応する前記動画像と比較して、前記人の声が含まれる音声情報に対応する前記動画像において、より狭い間隔おきに前記フレーム画像を選択する段階と
を備える補正方法。 - 前記画像処理装置が、
前記動画像の場面の変わり目を検出し、検出した場面の変わり目の直後のフレーム画像を送る検出段階
をさらに備え、
前記補正値決定段階は、前記検出段階において送られた前記フレーム画像の補正値を決定する請求項３２に記載の補正方法。 - 前記補正値決定段階は、前記動画像が有する複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定する請求項３２に記載の補正方法。
- 前記補正値決定段階は、前記複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、前記一のフレーム画像と前記他のフレーム画像との間のフレーム画像の補正値を決定することを特徴とする請求項３４に記載の補正方法。
- 前記補正値決定段階は、フレーム画像の直後に場面の変わり目がない場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する請求項３３に記載の補正方法。
- 前記補正値決定段階は、フレーム画像の直後に場面の変わり目がある場合に、直前に算出したフレーム画像の補正値を適用する請求項３３に記載の補正方法。
- 前記検出段階は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、前記一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項３３に記載の補正方法。
- 前記動画像は、撮像装置によって撮影された被写体の画像であって、
前記検出段階は、一のフレーム画像の被写体から前記撮像装置までの距離と、前記一のフレーム画像の直前のフレーム画像の被写体から前記撮像装置までの距離との変化量が、予め定められた値より大きい場合に、前記一のフレーム画像と前記直前のフレーム画像との間が前記場面の変わり目であると判断する請求項３３に記載の補正方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002096665A JP4253158B2 (ja) | 2002-03-29 | 2002-03-29 | 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 |
| EP03006717A EP1351493B1 (en) | 2002-03-29 | 2003-03-24 | Image processing apparatus, computer readable medium storing program and image processing method |
| US10/396,373 US7304768B2 (en) | 2002-03-29 | 2003-03-26 | Image processing apparatus, computer readable medium storing program, image processing method, method for producing dynamic image and printer |
| HK03108103.4A HK1056068A1 (en) | 2002-03-29 | 2003-11-07 | Image processing apparatus, computer readable medium storing program and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002096665A JP4253158B2 (ja) | 2002-03-29 | 2002-03-29 | 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007044921A Division JP4451889B2 (ja) | 2007-02-26 | 2007-02-26 | 画像処理装置、プログラム、及び画像処理方法 |
| JP2008151013A Division JP4550129B2 (ja) | 2008-06-09 | 2008-06-09 | 画像処理装置、プログラム、及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299001A JP2003299001A (ja) | 2003-10-17 |
| JP4253158B2 true JP4253158B2 (ja) | 2009-04-08 |
Family
ID=28035873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002096665A Expired - Fee Related JP4253158B2 (ja) | 2002-03-29 | 2002-03-29 | 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7304768B2 (ja) |
| EP (1) | EP1351493B1 (ja) |
| JP (1) | JP4253158B2 (ja) |
| HK (1) | HK1056068A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050001935A1 (en) * | 2003-07-03 | 2005-01-06 | Shinya Kiuchi | Image processing device, image display device, and image processing method |
| JP2005045404A (ja) * | 2003-07-24 | 2005-02-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
| JP4444709B2 (ja) | 2004-03-26 | 2010-03-31 | 富士通株式会社 | 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム |
| US7372507B2 (en) * | 2005-02-08 | 2008-05-13 | Texas Instruments Incorporated | Real-time content based gamma adjustment for digital video display |
| KR101225062B1 (ko) * | 2006-03-10 | 2013-01-23 | 삼성전자주식회사 | 이미지 프레임의 선택적 출력 장치 및 방법 |
| US8095394B2 (en) * | 2006-05-18 | 2012-01-10 | Progressive Casualty Insurance Company | Rich claim reporting system |
| JP4999392B2 (ja) * | 2006-07-28 | 2012-08-15 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4692614B2 (ja) | 2008-11-28 | 2011-06-01 | ブラザー工業株式会社 | 印刷装置及びプログラム |
| JP4692615B2 (ja) | 2008-11-28 | 2011-06-01 | ブラザー工業株式会社 | 印刷装置及びプログラム |
| JP2010130510A (ja) | 2008-11-28 | 2010-06-10 | Brother Ind Ltd | 印刷装置及びプログラム |
| JP5343739B2 (ja) | 2009-07-02 | 2013-11-13 | ブラザー工業株式会社 | 出力装置及びプログラム |
| CN104079861B (zh) * | 2013-03-26 | 2017-07-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| EP4250282A1 (en) * | 2021-06-07 | 2023-09-27 | Samsung Electronics Co., Ltd. | Display device and control method thereof |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0691647B2 (ja) * | 1987-07-03 | 1994-11-14 | 富士写真フイルム株式会社 | ビデオプリンタ |
| JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| JPH07203256A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | カメラのファインダー装置 |
| JP3371405B2 (ja) * | 1994-04-15 | 2003-01-27 | 富士写真フイルム株式会社 | フイルムカートリッジとそのフイルム画像入力装置 |
| JP3454396B2 (ja) * | 1995-10-11 | 2003-10-06 | 株式会社日立製作所 | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| JP3758294B2 (ja) * | 1997-04-10 | 2006-03-22 | 株式会社富士通ゼネラル | ディスプレイ装置の動画補正方法及び動画補正回路 |
| US6571054B1 (en) * | 1997-11-10 | 2003-05-27 | Nippon Telegraph And Telephone Corporation | Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method |
| KR100607018B1 (ko) * | 1998-06-23 | 2006-08-01 | 샤프 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 매체 |
| JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| TW518882B (en) * | 2000-03-27 | 2003-01-21 | Hitachi Ltd | Liquid crystal display device for displaying video data |
| JP2002077723A (ja) * | 2000-09-01 | 2002-03-15 | Minolta Co Ltd | 動画像処理装置、動画像処理方法および記録媒体 |
| US7228061B2 (en) * | 2000-11-17 | 2007-06-05 | Canon Kabushiki Kaisha | Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses |
| JP2002163251A (ja) * | 2000-11-29 | 2002-06-07 | Fuji Photo Film Co Ltd | ホームページ作成更新プログラム |
| JP3739297B2 (ja) * | 2001-03-29 | 2006-01-25 | シャープ株式会社 | 高速応答の為に駆動補償を行う液晶表示装置の制御回路 |
-
2002
- 2002-03-29 JP JP2002096665A patent/JP4253158B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-24 EP EP03006717A patent/EP1351493B1/en not_active Expired - Fee Related
- 2003-03-26 US US10/396,373 patent/US7304768B2/en not_active Expired - Fee Related
- 2003-11-07 HK HK03108103.4A patent/HK1056068A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| HK1056068A1 (en) | 2004-01-30 |
| EP1351493B1 (en) | 2012-06-13 |
| JP2003299001A (ja) | 2003-10-17 |
| EP1351493A3 (en) | 2005-01-19 |
| EP1351493A2 (en) | 2003-10-08 |
| US7304768B2 (en) | 2007-12-04 |
| US20030184826A1 (en) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101843092B (zh) | 成像设备和方法 | |
| JP4253158B2 (ja) | 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法 | |
| KR100605164B1 (ko) | 색역 매핑 장치 및 그 방법 | |
| US7667873B2 (en) | Apparatus and method for image-adaptive color reproduction using pixel frequency information in plural color regions and compression-mapped image information | |
| EP1558019A2 (en) | Image-processing apparatus, image-capturing apparatus, image-processing method and image-processing program | |
| US20050018903A1 (en) | Method and apparatus for image processing and computer product | |
| US6850272B1 (en) | Image processing method and system | |
| EP2384007A2 (en) | Image reproduction using a particular color space | |
| JP4550129B2 (ja) | 画像処理装置、プログラム、及び画像処理方法 | |
| JPH0832827A (ja) | ディジタル画像の階調補正装置 | |
| US7324702B2 (en) | Image processing method, image processing apparatus, image recording apparatus, program, and recording medium | |
| US7466455B2 (en) | Image processing method and system for performing monochrome/color judgement of a pixelised image | |
| JP4451889B2 (ja) | 画像処理装置、プログラム、及び画像処理方法 | |
| EP2672712A1 (en) | Scene-dependent color gamut mapping | |
| JP4150490B2 (ja) | 画像処理システムおよび画像処理方法および記録媒体 | |
| JPH1141622A (ja) | 画像処理装置 | |
| JP4006590B2 (ja) | 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム | |
| JPH0832060B2 (ja) | カラ−画像処理方法 | |
| JP2004112494A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP2002094826A (ja) | 画像処理装置、画像形成装置、並びに画像処理方法 | |
| JP2001078235A (ja) | 画像評価方法および画像評価装置 | |
| JP2002101312A (ja) | 画像処理システム、画像処理方法および画像処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体 | |
| US20050053281A1 (en) | Method and apparatus for acquiring image characteristics | |
| JP3945960B2 (ja) | 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 | |
| JP2001211340A (ja) | 写真イメージデータ用の最適化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040304 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090123 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |