JP5641915B2

JP5641915B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5641915B2
Application number: JP2010278235A
Authority: JP
Inventors: 崇淺賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-14
Filing date: 2010-12-14
Publication date: 2014-12-17
Anticipated expiration: 2030-12-14
Also published as: JP2012129719A

Description

本発明は、ＲＡＷ動画の再生時に、現像パラメータの生成と、ＲＡＷ動画の現像を行う画像処理装置及びその制御方法に関するものである。

静止画のＲＡＷ画像は、撮像素子の出力をそのまま記録したデータである。
ＲＡＷ画像を再生するためには、ＲＡＷ画像を現像する必要がある。ＲＡＷ画像の現像に用いるパラメータを現像パラメータと呼ぶ。現像パラメータの値（現像パラメータ値）によって、ＲＡＷ画像を現像して得られる画像データの色相、明度、ホワイトバランス等が決まる。ＲＡＷ動画は、静止画のＲＡＷ画像と同様に、撮像素子の出力をそのまま記録した動画である。

従来、ＲＡＷ動画を再生するためには、以下のステップで現像を行っていた。予め、ＲＡＷ動画の現像に用いる現像パラメータ値を生成（算出）する。前記現像パラメータ値に従ってＲＡＷ動画を現像して、動画像データを生成する。こうして生成した動画像データを、ユーザは再生して視聴する。この様に、従来、ＲＡＷ動画を再生するためには、予め現像処理を済ませておく（動画像データを生成しておく）必要があった。
一方、現像パラメータ値を自動生成しながら、ＲＡＷ動画を現像しつつ再生を行う視聴形態も考えられる。

また、ユーザがＲＡＷ動画を現像しながら視聴する場合、従来のＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）形式等の動画像データを視聴する際に行う操作を、ＲＡＷ動画を視聴する際にも行うことが考えられる。
例えば、動画像データを視聴する際に、ユーザは再生を途中で一時停止する操作や、停止位置から再生を再開する操作等を行う。

このような動画再生時の一時停止及び再生再開に関連して、特許文献１は、停止位置から再生を再開するために、再生制御プログラムの実行領域を全て保存するという処理方法を開示している。
また特許文献２は、停止位置から再生を再開するために保存する情報を低減するため、ＤＶＤの複数の再生条件情報のうち変化のあった再生条件情報のみを記録するという処理方法を開示している。
従来の動画像の再生では、再生を開始する位置が分かれば、そこから継続して再生を再開することができた。

ＲＡＷ動画の再生では、ある時点のフレーム画像のＲＡＷデータに対応する現像パラメータ値を生成するために、過去のフレーム画像のＲＡＷデータの現像に用いた現像パラメータ値を用いることが考えられる。
図７は、ＲＡＷ動画を現像しながら再生する場合の現像パラメータ値の生成、現像、及び現像結果の画面表示を行うまでの処理を模式的に時系列で示したものである。現像パラメータには一般的に複数の種類があるが、ここでは簡単のために現像パラメータとしてホワイトバランスを例に説明する。
図７の時刻ｔ１から時刻ｔ５の期間は、現像パラメータ値を生成し、ＲＡＷデータを現像しながらＲＡＷ動画を再生している期間である。

時刻ｔ１のＲＡＷ動画のフレームＡ’の現像について説明する。ＲＡＷデータを現像するためには現像パラメータ値（ホワイトバランスの値、色温度値）が必要である。フレー
ムＡ’のＲＡＷデータに対応する現像パラメータ値は、フレームＡ’のＲＡＷデータから算出される。図７の例では、フレームＡ’のＲＡＷデータに対応する現像パラメータ値（色温度値）は、４０００Ｋと算出されている。この現像パラメータ値は、ＲＡＷ動画の１フレーム分（フレームＡ’）のＲＡＷデータから算出された現像パラメータ値である。以下、ＲＡＷ動画の１フレーム分のＲＡＷデータから算出される現像パラメータ値を「中間パラメータ値」と呼ぶ。

時刻ｔ１のＲＡＷ動画のフレームＡ’については、中間パラメータ値をそのままそのフレームのＲＡＷデータの現像に用いる現像パラメータ値として利用する。従って、フレームＡ’のＲＡＷデータの現像に用いる現像パラメータ値を４０００Ｋとする。
時刻ｔ２のＲＡＷ動画のフレームＢ’の現像について説明する。まず、上記のフレームＡ’の場合と同様に、ＲＡＷ動画の１フレーム分（フレームＢ’）のＲＡＷデータから中間パラメータ値を生成する。図７の例では、ＲＡＷ動画のフレームＢ’に関して算出された中間パラメータ値は６０００Ｋである。

ここで、フレームＡ’の現像の場合と同様に、中間パラメータ値６０００ＫをそのままフレームＢ’のＲＡＷデータの現像に用いる現像パラメータ値として利用すると、フレームＡ’とフレームＢ’とで色温度値が大きく異なることになる。そのため、ＲＡＷ動画のフレームＡ’を現像して得られる画像データＡからＲＡＷ動画のフレームＢ’を現像して得られる画像データＢへの遷移で色温度が急激に変化することになり、視聴者が違和感を覚える可能性がある。

そこで、過去のフレームのＲＡＷデータの現像に用いた現像パラメータ値と、現在のフレームのＲＡＷデータに関して算出された中間パラメータ値と、を用いて、現在のフレームのＲＡＷデータの現像に用いる現像パラメータ値を算出することが考えられる。例えば、現在のフレーム（現フレーム）の中間パラメータ値ＷＢ２’、現フレームより１フレーム過去のフレーム（前フレーム）の現像パラメータ値ＷＢ１として、現フレームの現像パラメータ値ＷＢ２を次の式により算出することができる。

ＷＢ２＝（ＷＢ２’−ＷＢ１）／４＋ＷＢ１

例えば、時刻ｔ２のフレームＢ’の現像パラメータ値は、時刻ｔ１のフレームＡ’の現像パラメータ値４０００Ｋと、時刻ｔ２のフレームＢ’の中間パラメータ値６０００Ｋと、を上記の式に代入して４５００Ｋと算出される。これによれば、時刻ｔ２のＲＡＷ動画のフレームＢ’のＲＡＷデータはホワイトバランスの値（色温度値）が４５００Ｋで現像される。従って、色温度値４０００Ｋで現像されるフレームＡ’のＲＡＷデータを現像して得られる画像データＡからフレームＢ’のＲＡＷデータを現像して得られる画像データＢへの遷移における色温度の急激な変化が抑制される。

このように、ＲＡＷ動画の各フレームの現像パラメータ値を、そのフレームより過去のフレームの現像パラメータ値を用いて生成（算出）することで、現像しながらＲＡＷ動画を再生する場合に急激な画質の変化（上記の例では色温度の変化）を抑制できる。

特開２００９−２３２１２３号公報特開２００７−１６４８６０号公報

前述したように、ある時刻のＲＡＷ動画のフレームの中間パラメータ値は、そのフレームのＲＡＷデータから算出される。一方、ある時刻のＲＡＷ動画のフレームの最終的な現像パラメータ値の算出には、その時刻より過去のフレームの現像パラメータ値が必要となる。

図７の例では、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ値として４６９５Ｋが算出されるが、時刻ｔ５においてＲＡＷ動画の再生が一時停止される。フレームＥ’の現像パラメータ値（４６９５Ｋ）の情報は、再生再開時には失われている。そのため、時刻ｔ１０でＲＡＷ動画の再生を再開したときに、時刻ｔ１０のＲＡＷ動画のフレームＦ’の現像パラメータ値を算出する際に、フレームＦ’より過去のフレームの現像パラメータ値を用いることができない。従って、フレームＦ’の現像パラメータ値は、フレームＡ’の場合と同様、フレームＦ’のＲＡＷデータのみから算出される中間パラメータ値となる。この場合、ＲＡＷ動画の連続するフレームＥ’とフレームＦ’の現像パラメータの間に上記の式で規定されるような相関がなくなるため、現像処理により得られる画像データＥと画像データＦとで色温度が急激に変化する可能性があった。

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置において、再生を一時停止した後に再生を再開する場合に、再生再開前後での画質の急激な変化を抑制することができる技術を提供することを目的とする。

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成手段と、
前記生成手段により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像手段と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像パラメータ値を保存する保存手段と、
を有し、
前記生成手段は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存手段により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置である。

本発明は、ＲＡＷ動画を現像しながら再生する画像処理装置の制御方法であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成工程と、
前記生成工程により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像工程と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像パラメータ値を保存する保存工程と、
を有し、
前記生成工程は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存工程により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置の制御方法である。

本発明によれば、ＲＡＷ動画を現像しながら再生する画像処理装置において、再生を一時停止した後に再生を再開する場合に、再生再開前後での画質の急激な変化を抑制することができる技術を提供することができる。

実施例１に係る画像処理装置の概略構成を示すブロック図実施例１に係るＲＡＷ動画の再生に係る処理を時系列に記載した図実施例１に係るＲＡＷ動画の再生に係る処理のフローチャート実施例２に係る画像処理装置の概略構成を示すブロック図実施例２に係るＲＡＷ動画の再生に係る処理を時系列に記載した図実施例２に係るＲＡＷ動画の再生に係る処理のフローチャート本発明の背景技術に係るＲＡＷ動画の再生に係る処理を時系列に記載した図

（実施例１）
以下に、本発明を実施する一例を記載する。
図１は、本実施例に係る画像処理装置１０の構成図である。この画像処理装置１０は、ＲＡＷ動画の各フレームのＲＡＷデータの現像及び現像により得られる各フレームの画像データの出力を並行して行うことによりＲＡＷ動画を現像しながら再生（表示）する画像処理装置である。
ここでは、本実施例に係る画像処理装置１０を構成する各ブロックの役割を説明する。記録媒体１００は、ＲＡＷ動画データを記録する媒体であり、画像処理装置１０から着脱可能である。記録媒体１００は、例えばデジタルカメラやデジタルビデオカメラから取り出したメモリカードや、ＲＡＷ動画データが記録されたハードディスク、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等である。つまり、画像処理装置１０には、このような記録媒体１００を着脱可能であって、記録媒体１００に記録されたＲＡＷ動画データを読み取り後述する各機能部に送ることが可能なデータ読み取り機能部を有する（不図示）。

現像パラメータ生成部１０１は、ＲＡＷ動画の現像に用いる現像パラメータ値を生成する。
現像部１０２は、現像パラメータ生成部１０１が出力する現像パラメータ値を用いて、ＲＡＷ動画を現像する。
現像パラメータ保存部１０３は、ＲＡＷ動画の再生を一時停止する際に、現像パラメータ値を保存する。
表示部１０４は、現像部１０２が現像した結果としての画像データを表示する。なお、本発明の画像処理装置の実施形態としては、表示部１０４は必須ではない。外部機器として接続される画像表示装置に現像部１０２が現像して得られた画像データを出力する構成でも良い。
操作部１０５は、ユーザが画像処理装置１０に対し指示を入力するための操作を行う手段である。

制御部１０６は、操作部１０５で受け付けたユーザの操作に従い、制御信号を出力して、画像処理装置１０を構成する各ブロックの動作を制御する。
システムバス１１０は、制御部１０６の出力する制御信号を、画像処理装置１０を構成する各ブロックに伝送する。

図２は、本実施例の画像処理装置１０においてＲＡＷ動画を現像しながら再生する処理を時系列で模式的に示した図である。ここでは、現像パラメータとしてホワイトバランスを例に説明する。すなわち、ここでは、現像パラメータ値は色温度値である。
本実施例では、ＲＡＷ動画の１フレーム分のＲＡＷデータから算出される現像パラメータ値を「中間パラメータ値」と称する。本実施例の画像処理装置では、現在のフレーム（現フレーム）のＲＡＷデータの現像パラメータ値を、現フレームより１フレーム過去のフレームの現像パラメータ値と、現フレームのＲＡＷデータに関して算出された中間パラメータ値と、を用いて算出する。

現フレームの現像パラメータ値ＷＢ２は、前フレームの現像パラメータ値ＷＢ１と、現フレームのＲＡＷデータから算出した中間パラメータ値ＷＢ２’と、に基づき、以下の式１により算出される。

ＷＢ２＝（ＷＢ１−ＷＢ２’）／４＋ＷＢ１・・・（式１）

現像パラメータ生成部１０１は、時刻ｔ１のＲＡＷ動画のフレームＡ’のＲＡＷデータに基づき、フレームＡ’の中間パラメータ値（色温度値）を算出する。色温度値は、例えば、ＲＡＷデータにおける色データの平均値から算出される。図２の例では、ＲＡＷ動画のフレームＡ’の中間パラメータ値は４０００Ｋである。時刻ｔ１のフレームＡ’はＲＡＷ動画の最初のフレームであり過去のフレーム（前フレーム）は存在しないため、フレームＡ’の中間パラメータ値（４０００Ｋ）をそのままフレームＡ’の現像パラメータ値とする。

現像部１０２は、現像パラメータ生成部１０１が生成したフレームＡ’の現像パラメータ値４０００Ｋを用いて、色温度４０００Ｋに対応したホワイトバランスでフレームＡ’のＲＡＷデータの現像を行う。すなわち、最終的に表示部１０４で表示されるフレームＡ’の現像結果としての画像データＡは、色温度４０００Ｋを白色の基準とする画像データとなる。

次に、現像パラメータ生成部１０１は、時刻ｔ２のＲＡＷ動画のフレームＢ’のＲＡＷデータからフレームＢ’の中間パラメータ値を算出する。図２の例では、フレームＢ’の中間パラメータ値は６０００Ｋである。
現像パラメータ生成部１０１は、時刻ｔ２のＲＡＷ動画のフレームＢ’の中間パラメータ値６０００Ｋと、時刻ｔ１のＲＡＷ動画のフレームＡ’の現像パラメータ値４０００Ｋとから、ＲＡＷ動画のフレームＢ’の現像に用いる現像パラメータ値を算出する。
式１を用いて算出すると、ＲＡＷ動画のフレームＢ’の現像パラメータ値は４５００Ｋとなる。現像部１０２は、現像パラメータ値４５００Ｋを用いてＲＡＷ動画のフレームＢ’を現像し、得られた画像データＢを表示部１０４に出力する。表示部１０４で表示されるフレーム画像データＢは、色温度４５００Ｋを白色の基準とする画像データとなる。

時刻ｔ５において、ユーザによりＲＡＷ動画の再生を一時停止する指示を画像処理装置１０に入力する操作がなされたとする。現像パラメータ生成部１０１は、時刻ｔ５のフレームＥ’の中間パラメータ値５０００Ｋと、時刻ｔ４のフレームＤ’の現像パラメータ値
４５９４Ｋとから、式１により、時刻ｔ５のフレームＥ’の現像パラメータ値を４６９５Ｋと算出する。そして、現像部１０２は、前記算出された現像パラメータ値４５９４ＫでフレームＥ’のＲＡＷデータを現像し、得られたフレーム画像データＥが表示部１０４に表示される。ＲＡＷ動画の再生を一時停止する指示が入力されたことにより、再生再開の指示が入力されるまで、表示部１０４にはフレーム画像データＥが継続的に表示される。表示部１０４は、内蔵するフレームメモリ（不図示）からフレーム画像データＥを読み出して継続的な表示を行う。

このとき、本実施例の画像処理装置１０では、現像パラメータ生成部１０１は、算出したフレームＥ’の現像パラメータ値を、現像パラメータ保存部１０３に送る。現像パラメータ保存部１０３は送られてきたフレームＥ’の現像パラメータ値を、再生再開の指示が入力されるまで保存する。

時刻ｔ１０において、ユーザによりＲＡＷ動画の再生再開の指示を画像処理装置１０に入力する操作がなされたとする。現像パラメータ生成部１０１は、時刻ｔ１０のＲＡＷ動画のフレームＦ’の中間パラメータ値を算出（６０００Ｋ）する。現像パラメータ生成部１０１は、算出したフレームＦ’の中間パラメータ値と、現像パラメータ保存部１０３から読み出したフレームＥ’の現像パラメータ値（４６９５Ｋ）とから、式１を用いて、フレームＦ’の現像パラメータ値を算出する（５０２１Ｋ）。

こうして算出されたフレームＦ’の現像パラメータ値を用いて、現像部１０２はＲＡＷ動画のフレームＦ’の現像を行い、現像により得られたフレーム画像データＦを表示部１０４に送る。表示部１０４には、一時停止期間中継続的に表示されていたフレーム画像データＥから前記現像により得られたフレーム画像データＦへ表示が遷移する。この時、フレームＦ’の現像パラメータ値は、フレームＥ’の現像パラメータ値を用いて式１により算出された値であるので、フレーム画像データＥからフレーム画像データＦへの遷移において画質（色温度）が急激に変化することが抑制される。

図３は、本実施例におけるＲＡＷ動画の再生に係る処理のフローチャートである。
ステップＳ１０１で、ユーザによる操作部１０５の操作により、制御部１０６にＲＡＷ動画の再生を一時停止する指示が入力されると、制御部１０６はシステムバス１１０を通じて、画像処理装置１０の各ブロックにＲＡＷ動画の再生を一時停止するための指示を出す。図２の例では、時刻ｔ５にステップＳ１０１の処理が実行される。

ステップＳ１０２で、現像パラメータ保存部１０３は、再生の一時停止の指示が入力された時刻のＲＡＷ動画のフレームの現像パラメータを現像パラメータ生成部１０１から取得して保存する。図２の例では、現像パラメータ保存部１０３は、一時停止の指示が入力された時刻ｔ５のフレームＥ’のＲＡＷデータの現像に用いるために現像パラメータ生成部１０１が算出した現像パラメータ値（４６９５Ｋ）を保存する。それとともに、表示部１０４は、再生が停止されている期間中、表示部１０４が内蔵するフレームメモリに記憶されたフレーム画像データ（図２の例ではフレーム画像データＥ）を表示しつづける。表示部１０４は、ユーザによる再生再開の指示により新たなフレームのＲＡＷデータの現像結果のフレーム画像データ（図２の例ではフレーム画像データＦ）が入力されるまでの期間、フレームメモリのフレーム画像データを表示し続ける。

ステップＳ１０３で、制御部１０６は、ユーザによる操作部１０５の操作により、制御部１０６にＲＡＷ動画の再生を再開する指示が入力されたか否かを判定する。再生再開の指示が入力されたと判定した場合（肯定判定）、制御部１０６はシステムバス１１０を通じて、画像処理装置１０の各ブロックにＲＡＷ動画の再生を再開するための指示を出す。図２の例では、時刻ｔ１０に本ステップＳ１０３で肯定判定され、以降のステップＳ１０
４〜Ｓ１０７の処理が実行される。
ステップＳ１０４で、現像パラメータ生成部１０１は、現像パラメータ保存部１０３から、ステップＳ１０２で保存した現像パラメータ値を読み出す。図２の例では、現像パラメータ生成部１０１は、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ値４６９５Ｋを現像パラメータ保存部１０３から読み出す。

ステップＳ１０５で、現像パラメータ生成部１０１は、再生再開時のＲＡＷ動画のフレームのＲＡＷデータから中間パラメータ値を算出する。そして、現像パラメータ生成部１０１は、再生再開時のフレームの中間パラメータと、現像パラメータ保存部１０３から読み出した一時停止時のＲＡＷ動画のフレームの現像パラメータとから、再生再開時のフレームの現像パラメータを生成する。図２の例では、再生再開時（時刻ｔ１０）のＲＡＷ動画のフレームＦ’の中間パラメータ値は６０００Ｋであり、現像パラメータ保存部１０３から読み出した一時停止時（時刻ｔ５）のＲＡＷ動画のフレームＥ’の現像パラメータ値が４６９５Ｋである。よって、式１により、再生再開時のフレームＦ’の現像パラメータ値は５０２１Ｋとなる。
ステップＳ１０６で、現像部１０２は、ステップＳ１０５で現像パラメータ生成部１０１が生成した現像パラメータ値を用いて、再生再開時のＲＡＷ動画のフレームの現像を行う。図２の例では、現像部１０２は、現像パラメータ生成部１０１が生成した現像パラメータ値５０２１Ｋを用いて、ＲＡＷ動画のフレームＦ’を現像する。

ステップＳ１０７で、表示部１０４は、ステップＳ１０６で現像により得られたフレーム画像データを表示する。図２の例では、表示部１０４に表示されるフレーム画像データＦは、色温度５０２１Ｋを白色の基準とする画像データとなる。
本実施例の画像処理装置によれば、ＲＡＷ動画を現像しながら再生し、再生を一時停止した場合でも、再生再開時のフレームの現像パラメータ値が、一時停止時のフレームの現像パラメータ値を用いて生成されるので、再生再開時の画質の変化を抑制できる。

（実施例２）
次に本発明の第２の実施形態を説明する。実施例１と同等の機能の構成要素には実施例１と同一の符号をつけ詳しい説明は省略する。
実施例１では、現像パラメータとしてホワイトバランスのみに着目して、ＲＡＷ動画の再生の一時停止期間中、一時停止時のＲＡＷ動画のフレームのホワイトバランスの値（色温度値）を現像パラメータ保存部に保存する例を説明した。
本実施例では、現像パラメータの種類が複数ある場合に、一時停止期間中に値を保存することが必要な現像パラメータを判別して、当該現像パラメータ値のみを保存する例を説明する。

図４は、本実施例の画像処理装置２０の構成図である。ここでは、本実施例の画像処理装置２０を構成する各ブロックの役割を説明する。
図４に記載の記録媒体１００、操作部１０５、制御部１０６、システムバス１１０は実施例１と同一の機能を持つ。現像パラメータ生成部２０１、現像部２０２、現像パラメータ保存部２０３、表示部２０４の動作の詳細は、後述する。
保存パラメータ判定部２００は、現像パラメータの要素を判別して、保存するか否かの判定結果を現像パラメータ保存部２０３に出力する。

図５は、本実施例の画像処理装置２０においてＲＡＷ動画を現像しながら再生する処理を時系列で模式的に示した図である。
以下、図４及び図５を用いて、本実施例の画像処理装置２０によるＲＡＷ動画の再生処理について説明する。本実施例では、複数の現像パラメータとして、ホワイトバランス、コントラスト、及び彩度を例に説明する。以下の説明では、ホワイトバランスを現像（中
間）パラメータ０、コントラストを現像（中間）パラメータ１、彩度を現像（中間）パラメータ２、と称することもある。現像パラメータの種類はこれら例示したものに限らない。

＜現像パラメータ：ホワイトバランス＞
ホワイトバランスの値の生成（算出）方法は、実施例１で説明した通りである。
図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関しては、それより過去のフレームが存在しないので、現像パラメータ生成部２０１は、実施例１同様に、フレームＡ’のデータから中間パラメータ０の値を算出し、それをそのまま現像パラメータ０の値とする。
図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関しては、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから中間パラメータ０の値を算出する。さらに、フレームＡ’の現像パラメータ０の値と、フレームＢ’の中間パラメータ０の値とから、フレームＢ’の現像パラメータ０の値を算出する。ここで、実施例１と同じく、現フレームの現像パラメータ０の値は、前フレームの現像パラメータ０の値と現フレームの中間パラメータ０の値とから、式１により算出する。図５の例では、時刻ｔ２のＲＡＷ動画のフレームＢ’の現像パラメータ０の値は４５００Ｋとなる。よって、ＲＡＷ動画のフレームＢ’を現像して得られるフレーム画像データＢは、色温度４５００Ｋを白色の基準とする画像データとなる。

＜現像パラメータ：コントラスト＞
中間パラメータ１及び現像パラメータ１は、現像結果のコントラストを決定する現像パラメータであり、現像パラメータ１の値は現像結果の画像データのコントラスト比に対応する。本実施例では、現像パラメータ１は０〜１０００の値をとるものとする。
図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関して、現像パラメータ生成部２０１は、フレームＡ’のＲＡＷデータから階調ヒストグラムを求め、この階調ヒストグラムの分布が最小値から最大値まで広く分布するようにコントラスト比を算出する。この算出したコントラスト比をフレームＡ’の中間パラメータ１の値とし、前フレームが無いので、この中間パラメータ１の値をそのままフレームＡ’の現像パラメータ１の値とする。

図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関して、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから階調ヒストグラムを求め、この階調ヒストグラムの分布が最小値から最大値まで広く分布するようにコントラスト比を算出する。現像パラメータ生成部２０１は、この算出したコントラスト比をフレームＢ’の中間パラメータ１の値とする。現像パラメータ生成部２０１は、前述のホワイトバランスの値の算出と同様に、フレームＡ’の現像パラメータ１の値と、フレームＢ’の中間パラメータ１の値とから、式１を用いて、フレームＢ’の現像パラメータ１の値を生成する。図５の例では、ＲＡＷ動画のフレームＢ’の中間パラメータ１の値は５００であり、過去のフレームＡ’の現像パラメータ１の値が１０００であるから、現在のフレームＢ’の現像パラメータ１の値は８７５となる。

＜現像パラメータ：彩度＞
中間パラメータ２及び現像パラメータ２は、現像結果の彩度を決定する現像パラメータであり、現像パラメータ２の値は現像結果の彩度に対応する。
現像パラメータ生成部２０１は、入力される１フレームのＲＡＷ動画データから平均輝度値・平均色差値を求め、当該色差値に対する現像部の増幅ゲインＧを決定する。
１フレームのＲＡＷ動画データの平均色差データＡＲＢ、ＡＲＧ（各値０〜１００）の値が特定の組合せを持つときに、ゲインＧは１．４倍の値となる。ここで、ＡＲＢ、ＡＲＧの値が特定の組み合わせを持つとは、ＡＲＢ，ＡＲＧの値が以下の式２で表される関係を満たすことをいう。
２１≦ＡＲＢ≦３０、２１≦ＡＲＧ≦３０・・・（式２）

平均色差データがこの条件を満たす場合、ＲＡＷ動画データを構成する画面に空や植物等、視聴者にとって記憶色として鮮やかな印象を覚えやすい要素が多く含まれていると判断できる。そのような場合に、ゲインＧを１．４倍することで、そのような要素が強調して表現される。

図５の時刻ｔ１のＲＡＷ動画のフレームＡ’に関して、現像パラメータ生成部２０１は、フレームＡ’のＲＡＷデータから平均色差データＡＲＢ、ＡＲＧを求め、ゲインＧを算出する。ここで、フレームＡ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧの値は式２の条件を満たさず、ゲインＧは５０とする。
現像パラメータ生成部２０１は、この算出したゲインＧの値５０をフレームＡ’の中間パラメータ２の値とする。ＲＡＷ動画のフレームＡ’にはそれより過去のフレームが存在しないため、中間パラメータ２の値５０をそのままフレームＡ’の現像パラメータ２の値とする。

図５の時刻ｔ２のＲＡＷ動画のフレームＢ’に関して、現像パラメータ生成部２０１は、フレームＢ’のＲＡＷデータから平均色差データＡＲＢ、ＡＲＧを求め、ゲインＧを算出する。ここで、フレームＢ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧの値は式２を満たすため、ゲインＧを１．４倍し、７０とする。現像パラメータ生成部２０１は、この算出したゲインＧの値７０をフレームＢ’の中間パラメータ２の値とする。現像パラメータ生成部２０１は、前述のホワイトバランスやコントラストの場合と同様に、フレームＡ’の現像パラメータ２の値と、フレームＢ’の中間パラメータ２の値とから、式１を用いて、フレームＢ’の現像パラメータ２の値を算出する。図５の例では、ＲＡＷ動画のフレームＢ’の中間パラメータ２の値は７０であり、過去のフレームＡ’の現像パラメータ２の値が５０であるから、現在のフレームＢ’の現像パラメータ２の値は５５となる。このように、前フレームの現像パラメータ２の値を用いて現フレームの現像パラメータ２の値を算出するので、現像結果の画像データにおける急激な彩度の変化が抑制される。

＜現像＞
図４の現像部２０２は、現像パラメータ生成部２０１が上記のようにして生成した現像パラメータ０、現像パラメータ１、及び現像パラメータ２の値を用いて、ＲＡＷ動画の各フレームの現像を行う。
表示部２０４は、現像部２０２による現像により得られた画像データを表示する。

＜現像パラメータの判定＞
図６は、実施例２に係るＲＡＷ動画の再生に係る処理のフローチャートである。
ここでは、図４〜図６を用いて、本実施例におけるＲＡＷ動画の再生、一時停止、及び再生再開における複数の現像パラメータの保存に関する処理フローを説明する。
図６のステップＳ１０１、ステップＳ１０３、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７の処理内容は実施例１の図３で説明した処理内容と同等であるから説明を省略する。

ステップＳ２０２で、保存パラメータ判定部２００は、現像パラメータ生成部２０１が生成した現像パラメータ０、現像パラメータ１、及び現像パラメータ２が、ＲＡＷ動画の再生の一時停止中にその値を保存すべき現像パラメータであるか否かを判定する。図５の例では、ＲＡＷ動画の再生を一時停止する指示を入力する操作がユーザによりなされる時刻ｔ５においてステップＳ２０２の処理が実行される。
保存パラメータ判定部２００は、ホワイトバランス及びコントラストについては、その値をＲＡＷ動画の再生一時停止中に保存すべき現像パラメータであると判定する。これは
、ホワイトバランス及びコントラストの急激な変化は、視聴者が気づき易いからである。図５の例では、保存パラメータ判定部２００は、時刻ｔ５のＲＡＷ動画のフレームＥ’の現像パラメータ０の値４６９５Ｋ及び現像パラメータ１の値８６８を、ＲＡＷ動画の再生一時停止中、保存すると判定する。

一方、彩度の変化については、視聴者は気づきにくい場合がある。例えば、現像結果が黒一色や白一色の画像データであった場合、再生再開前後で彩度を決定する現像パラメータ値が大きく変化しても、視聴者は違和感を覚えにくい。
本実施例では、保存パラメータ判定部２００は、１フレーム分のＲＡＷ動画データから求めた平均色差データ（色差値）ＡＲＢ、ＡＲＧが所定範囲内の値（４５〜６５の値）を取るとき、現像パラメータ２の値を保存しない、と判定する。

図５の例では、時刻ｔ５のフレームＥ’のＲＡＷデータから求めた平均色差データＡＲＢ、ＡＲＧが４５〜６５の値を取るものとする。このとき、保存パラメータ判定部２００は、フレームＥ’の中間パラメータ２の値８０及びフレームＤ’の現像パラメータ２の値５５から式１により求めたフレームＥ’の現像パラメータ２の値６１を、ＲＡＷ動画の再生一時停止中に保存しない、と判定する。再生一時停止の指示が入力された時のＲＡＷ動画のフレームの平均色差データＡＲＢ又はＡＲＧの少なくとも一方が４５〜４６の値を取らない場合、保存パラメータ判定部２００は、当該フレームの現像パラメータ２の値を保存する、と判定する。
そして、保存パラメータ判定部２００は、保存すると判定した現像パラメータ値を現像パラメータ保存部２０３に出力する。

ステップＳ２０３において、保存パラメータ判定部２００が保存すると判定したパラメータを、現像パラメータ保存部２０３が保存する。
ステップＳ２０４において、保存パラメータ判定部２００が保存するか否かの判定処理が未処理の現像パラメータがあるか否かが判定され、未処理の現像パラメータがある場合、ステップＳ２０２、ステップＳ２０３の処理が繰り返される。
図５の例では、ＲＡＷ動画の再生の一時停止の指示が入力される時刻ｔ５のフレームＥ’に関して、パラメータ保存部２０３は、現像パラメータ０の値４６９５Ｋと現像パラメータ１の値８６８のみを保存し、現像パラメータ２の値６１は保存しない。

＜再開＞
図６のステップＳ１０３、ステップＳ１０４の処理内容は、実施例１の図３の同番号のステップと同じである。図６のステップＳ１０４の処理は、図５の例では、ＲＡＷ動画の再生再開の指示が入力される時刻ｔ１０に実行される。
ステップＳ２０７において、現像パラメータ生成部２０１は、ＲＡＷ動画の再生再開の指示が入力された時刻における１フレーム分のＲＡＷ動画データから、中間パラメータ値を生成する。図５の例では、現像パラメータ生成部２０１は、時刻ｔ１０のＲＡＷ動画のフレームＦ’のＲＡＷデータから、中間パラメータ０の値（６０００Ｋ）、中間パラメータ１の値（１２００）、及び中間パラメータ２の値（５０）を生成する。

また、現像パラメータ生成部２０１は、現像パラメータ保存部２０３に過去のフレームの現像パラメータ値が保存されている現像パラメータについては、当該過去のフレームの現像パラメータ値を読み出す。そして、当該読み出した過去のフレームの現像パラメータ値と、前記生成した現フレームの中間パラメータ値とから、式１を用いて、現フレームの現像パラメータ値を算出する。図５の例では、再生再開時のＲＡＷ動画のフレームＦ’の１フレーム過去のフレームＥ’の現像パラメータ０の値（４６９５Ｋ）及び現像パラメータ１の値（８６８）が現像パラメータ保存部２０３に保存されている。従って、現像パラメータ生成部２０１は、現像パラメータ保存部２０３からフレームＥ’の現像パラメータ
０の値４６９５Ｋと現像パラメータ１の値８６８を読み出す。そして、現像パラメータ生成部２０１は、読み出したフレームＥ’の現像パラメータ０の値４６９５Ｋと、前記生成したフレームＦ’の中間パラメータ０の値６０００Ｋとから、式１を用いて、フレームＦ’の現像パラメータ０の値を算出する（５０２１Ｋ）。また、現像パラメータ生成部２０１は、読み出したフレームＥ’の現像パラメータ１の値８６８と、前記生成したフレームＦ’の中間パラメータ１の値１２００とから、式１を用いて、フレームＦ’の現像パラメータ１の値を算出する（９５１）。

一方、現像パラメータ生成部２０１は、現像パラメータ保存部２０３に過去のフレームの現像パラメータ値が保存されていない現像パラメータについては、前記生成した現フレームの中間パラメータ値をそのまま現フレームの現像パラメータ値とする。図５の例では、再生再開時のＲＡＷ動画のフレームＦ’の１フレーム過去のフレームＥ’の現像パラメータ２の値は、現像パラメータ保存部２０３に保存されていない。従って、現像パラメータ生成部２０１は、現像パラメータ２については、時刻ｔ１０のフレームＦ’の中間パラメータ２の値５０を現像パラメータ２の値５０とする。

ここで、現像パラメータ２は、前述のように彩度を決定するパラメータである。従って、再生再開時（時刻ｔ１０）のフレームＦ’の現像において一時停止時（時刻ｔ５）のフレームＥ’の現像に用いた現像パラメータ２の値と相関の無い値を用いても現像結果の画像データの視聴時に視聴者が違和感を覚えにくいと考えられる。

本実施例の画像処理装置によれば、現像パラメータ保存部２０３に保存する現像パラメータ値のデータ量を削減することが可能である。
以後は、図５の時刻ｔ２と同様に、ＲＡＷ動画の現像と再生を行う。

＜シーン区切りの判定＞
ＲＡＷ動画のシーンの区切りは、ＲＡＷ動画の１フレーム分のデータにシーン区切りのフラグを付加することで、現像パラメータ生成部２０１が検知することが可能である。この場合、現像パラメータ生成部２０１が検知結果を保存パラメータ判定部２００に伝え、シーン区切りであれば現像パラメータを保存しないと判定することができる。

１０画像処理装置、１０１現像パラメータ生成部、１０２現像部、１０３現像パラメータ保存部

Claims

ＲＡＷ動画を現像しながら再生する画像処理装置であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成手段と、
前記生成手段により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像手段と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像パラメータ値を保存する保存手段と、
を有し、
前記生成手段は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存手段により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置。
前記第１フレームの現像に用いた現像パラメータ値のうち保存しない現像パラメータ値を判定する判定手段を有し、
前記保存手段は、前記第１フレームの現像に用いた現像パラメータ値のうち、前記判定手段により保存しないと判定された現像パラメータ値を保存しないことを特徴とする請求項１に記載の画像処理装置。
前記判定手段は、前記第１フレームから算出される色差値が所定範囲内の値である場合、彩度を決定する現像パラメータ値を保存しないと判定することを特徴とする請求項２に記載の画像処理装置。
前記判定手段は、前記第１フレームがシーンの区切りである場合、全ての現像パラメータ値を保存しないと判定することを特徴とする請求項２に記載の画像処理装置。
ＲＡＷ動画を現像しながら再生する画像処理装置の制御方法であって、
前記ＲＡＷ動画の各フレームの現像に用いる現像パラメータ値を生成する生成工程と、
前記生成工程により生成した現像パラメータ値を用いて前記ＲＡＷ動画の各フレームを現像する現像工程と、
前記ＲＡＷ動画の再生を停止した時のフレームである第１フレームの現像に用いた現像
パラメータ値を保存する保存工程と、
を有し、
前記生成工程は、停止したＲＡＷ動画の再生を再開する時のフレームである第２フレームの現像に用いる現像パラメータ値を、前記第２フレームから生成される現像パラメータ値である中間パラメータ値と、前記保存工程により保存された前記第１フレームの現像に用いた現像パラメータ値と、に基づき生成することを特徴とする画像処理装置の制御方法。
前記第１フレームの現像に用いた現像パラメータ値のうち保存しない現像パラメータ値を判定する判定工程を有し、
前記保存工程では、前記第１フレームの現像に用いた現像パラメータ値のうち、前記判定工程により保存しないと判定された現像パラメータ値を保存しないことを特徴とする請求項５に記載の画像処理装置の制御方法。
前記判定工程では、前記第１フレームから算出される色差値が所定範囲内の値である場合、彩度を決定する現像パラメータ値を保存しないと判定することを特徴とする請求項６に記載の画像処理装置の制御方法。
前記判定工程では、前記第１フレームがシーンの区切りである場合、全ての現像パラメータ値を保存しないと判定することを特徴とする請求項６に記載の画像処理装置の制御方法。