JP5203115B2

JP5203115B2 - Moving picture reproducing apparatus and moving picture reproducing method

Info

Publication number: JP5203115B2
Application number: JP2008251338A
Authority: JP
Inventors: 雅博馬場
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2013-06-05
Anticipated expiration: 2028-09-29
Also published as: JP2010087593A

Description

本発明は、ユーザが行った撮像画像の補正の特徴に基づいて、動画像に対して当該ユーザの好みに合った補正を行うようにした動画像再生装置および動画像再生方法に関するものである。 The present invention relates to a moving image reproduction apparatus and a moving image reproduction method that perform correction according to a user's preference on a moving image based on a feature of correction of a captured image performed by the user.

近年普及した地上波デジタル放送（地デジ；ＩＳＤＢ−Ｔ）に代表されるデジタル放送技術により、テレビ受信機で受信した動画像（映像）を動的に補正して動画像を提供する技術が容易に実現できるようになった。このような従来技術としては、動画像の画質をユーザの好みに補正する技術（例えば特許文献１参照）が提案されている。
一方、被写体をデジタルデータとして取得するデジタルカメラは、撮像した画像の画質をユーザの好みに補正することができる。近年の携帯電話等の電子機器は、機能が多様化し、地上波デジタル放送を受信し、動画像を再生する機能およびデジタルカメラの機能を有するものがある。
特開２００４−７２１５号公報 A technology for providing a moving image by dynamically correcting a moving image (video) received by a television receiver by a digital broadcasting technology represented by terrestrial digital broadcasting (terrestrial digital broadcasting; ISDB-T), which has recently become popular. It became possible to realize. As such a conventional technique, a technique for correcting the image quality of a moving image to the user's preference (for example, see Patent Document 1) has been proposed.
On the other hand, a digital camera that acquires a subject as digital data can correct the image quality of the captured image to the user's preference. Some electronic devices such as mobile phones in recent years have various functions, have functions of receiving digital terrestrial broadcasts and playing back moving images, and functions of digital cameras.
JP 2004-7215 A

画像の補正において、ユーザの画質の好みは動画像と静止画像で変わらないにもかかわらず、前記電子機器では動画像と静止画像の補正を別々に行わなければならなかった。 In the image correction, although the user's preference for the image quality does not change between the moving image and the still image, the electronic device has to perform the correction of the moving image and the still image separately.

本発明は、ユーザが行った撮像画像の補正の特徴に基づいて、動画像に対して当該ユーザの好みに合った補正を行うことができる技術（動画像再生装置および動画像再生方法）を提供することを目的とする。 The present invention provides a technique (moving image reproducing apparatus and moving image reproducing method) capable of performing correction according to a user's preference on a moving image based on a feature of correction of a captured image performed by the user. The purpose is to do.

上記目的を達成するため、本発明の請求項１に係る動画像再生装置は、動画像を表示する表示部と、被写体を撮像する撮像部と、該撮像部によって撮像された撮像画像を補正したときの該補正の特徴を表わす補正情報に基づき、前記表示部に表示される動画像の補正を行うように制御する制御部と、を備えることを特徴とする。 In order to achieve the above object, a moving image reproducing apparatus according to claim 1 of the present invention corrects a captured image captured by a display unit that displays a moving image, an imaging unit that captures a subject, and the imaging unit. And a control unit that controls to correct the moving image displayed on the display unit based on the correction information indicating the correction feature at the time.

本発明の請求項２に係る動画像再生装置は、前記制御部によって行われた補正の補正情報を複数記憶する記憶部を備え、前記制御部は、前記記憶部に記憶された複数の補正情報に基づき、前記表示部に表示される動画像の補正を行うように制御することを特徴とする。 A moving image reproduction apparatus according to a second aspect of the present invention includes a storage unit that stores a plurality of correction information of corrections performed by the control unit, and the control unit stores a plurality of correction information stored in the storage unit. Based on the above, control is performed so as to correct the moving image displayed on the display unit.

本発明の請求項３に係る動画像再生装置は、前記撮像部によって撮像された撮像画像と、該撮像画像の補正の補正情報とを記憶する記憶部を備え、前記制御部は、前記表示部に表示される動画像のフレーム毎の画像の特徴を表わす第１の画像情報と、前記記憶部に記憶された撮像画像の画像の特徴を表わす第２の画像情報とを取得し、前記第１の画像情報と前記第２の画像情報とが略一致した場合、前記第１の画像情報に対応する動画像のフレームの画像を、前記第２の画像情報に対応する前記記憶部に記憶された撮像画像の補正の補正情報に基づいて補正するように制御することを特徴とする。 A moving image reproduction apparatus according to a third aspect of the present invention includes a storage unit that stores a captured image captured by the imaging unit and correction information for correction of the captured image, and the control unit includes the display unit First image information representing image characteristics for each frame of the moving image displayed on the second image information and second image information representing image characteristics of the captured image stored in the storage unit are acquired, and the first image information is acquired. When the image information and the second image information substantially match, an image of a moving image frame corresponding to the first image information is stored in the storage unit corresponding to the second image information. Control is performed so as to perform correction based on correction information for correction of a captured image.

本発明の請求項４に係る動画像再生装置は、前記制御部は、前記表示部に表示される動画像の補正を行うために設定されたパラメータを変更することによって前記動画像の補正を行うように制御するとともに、前記撮像部によって撮像された撮像画像に対して補正を行った場合、前記動画像の補正を行うために設定されたパラメータを変更することによる前記動画像の補正より、前記撮像画像の補正の補正情報に基づく前記動画像の補正の方が優先されるように制御することを特徴とする。 In the moving image reproducing apparatus according to claim 4 of the present invention, the control unit corrects the moving image by changing a parameter set for correcting the moving image displayed on the display unit. And when correcting the captured image captured by the imaging unit, the correction of the moving image by changing the parameters set for correcting the moving image, Control is performed so that the correction of the moving image based on the correction information of the correction of the captured image is given priority.

上記目的を達成するため、本発明の請求項５に係る動画像再生方法は、動画像を表示する表示ステップと、被写体を撮像する撮像ステップと、該撮像ステップによって撮像された撮像画像を補正したときの該補正の特徴を表わす補正情報に基づき、前記表示ステップで表示される動画像の補正を行うように制御する制御ステップと、を含むことを特徴とする。 To achieve the above object, a moving image reproduction method according to claim 5 of the present invention corrects a captured image captured by the imaging step, a display step for displaying a moving image, an imaging step for capturing an image of a subject. And a control step for performing control so as to correct the moving image displayed in the display step based on correction information representing the correction feature at that time.

本発明によれば、ユーザが行った撮像画像の補正の特徴に基づいて、動画像に対して当該ユーザの好みに合った補正を行うことができる動画像再生装置および動画像再生方法を提供することができるので、ユーザは動画像の補正のためだけに複雑な操作を行う必要がなくなり、補正の必要性を意識することなく好みの動画像を視聴できるようになる。 According to the present invention, it is possible to provide a moving image reproduction apparatus and a moving image reproduction method capable of performing correction according to the user's preference on a moving image based on a feature of correction of a captured image performed by the user. Therefore, the user does not need to perform a complicated operation only for correcting the moving image, and can view a favorite moving image without being aware of the necessity of correction.

以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

［動画像再生装置の構成］
図１は本発明の動画像再生装置の構成を例示する図である。本発明の動画像再生装置１００は、例えば、撮像部（カメラ）と、撮影画像の補正装置と、動画像コンテンツ（デジタル放送コンテンツ）の再生装置とが一体となって提供されている携帯電話端末として構成されており、アンテナ１１０，チューナ部１２０，制御部１３０，表示部（ディスプレイ）１４０，撮像部（カメラ）１５０，記憶部１６０，操作部１７０等を備えている。制御部１３０は、復調部１８０，多重分離部１９０，動画像復号部２００，動画像補正部２１０，画像情報取得部２２０，撮像画像補正部２３０を備えている。 [Configuration of video playback device]
FIG. 1 is a diagram illustrating the configuration of a moving image playback apparatus according to the present invention. The moving image reproduction apparatus 100 of the present invention includes, for example, a mobile phone terminal in which an imaging unit (camera), a captured image correction apparatus, and a moving image content (digital broadcast content) reproduction apparatus are provided integrally. And includes an antenna 110, a tuner unit 120, a control unit 130, a display unit (display) 140, an imaging unit (camera) 150, a storage unit 160, an operation unit 170, and the like. The control unit 130 includes a demodulation unit 180, a demultiplexing unit 190, a moving image decoding unit 200, a moving image correction unit 210, an image information acquisition unit 220, and a captured image correction unit 230.

アンテナ１１０は、放送波を受信し、チューナ部に伝達する。
チューナ部１２０は、放送波をデジタル信号に変換して、復調部１８０に伝達する。 The antenna 110 receives broadcast waves and transmits them to the tuner unit.
The tuner unit 120 converts the broadcast wave into a digital signal and transmits the digital signal to the demodulation unit 180.

制御部１３０は、（１）撮像部１５０によって撮像された撮像画像を補正したときの該補正の特徴を表わす補正情報に基づき、表示部１４０に表示される動画像の補正を行うように制御し、（２）記憶部１６０に記憶された複数の補正情報に基づき、表示部１４０に表示される動画像の補正を行うように制御し、（３）表示部１４０に表示される動画像のフレーム毎の画像の特徴を表わす第１の画像情報と、記憶部１６０に記憶された撮像画像の画像の特徴を表わす第２の画像情報とを取得し、前記第１の画像情報と前記第２の画像情報とが略一致した場合、前記第１の画像情報に対応する動画像のフレームの画像を、前記第２の画像情報に対応する記憶部１６０に記憶された撮像画像の補正の補正情報に基づいて補正するように制御し、（４）表示部１４０に表示される動画像の補正を行うために設定されたパラメータを変更することによって前記動画像の補正を行うように制御するとともに、撮像部１５０によって撮像された撮像画像に対して補正を行った場合、前記動画像の補正を行うために設定されたパラメータを変更することによる前記動画像の補正より、前記撮像画像の補正の補正情報に基づく前記動画像の補正の方が優先されるように制御する等の、様々な演算処理を行う。 The control unit 130 (1) performs control so as to correct the moving image displayed on the display unit 140 based on the correction information representing the correction feature when the captured image captured by the imaging unit 150 is corrected. (2) Based on the plurality of correction information stored in the storage unit 160, control is performed so as to correct the moving image displayed on the display unit 140, and (3) the frame of the moving image displayed on the display unit 140. First image information representing the feature of each image and second image information representing the feature of the image of the captured image stored in the storage unit 160 are obtained, and the first image information and the second image information are obtained. When the image information substantially matches, the image of the moving image frame corresponding to the first image information is used as correction information for correcting the captured image stored in the storage unit 160 corresponding to the second image information. Control to correct based on ( ) Control is performed so as to correct the moving image by changing a parameter set for correcting the moving image displayed on the display unit 140, and the captured image captured by the imaging unit 150 is controlled. When the correction is performed, the correction of the moving image based on the correction information of the correction of the captured image has priority over the correction of the moving image by changing the parameters set for correcting the moving image. Various arithmetic processes such as control are performed.

表示部１４０は、制御部１３０によって補正された動画像や文字を出力（表示）する。
撮像部（カメラ）１５０は、被写体の撮像画像（静止画像）を撮像する。
記憶部１６０は、各種処理に必要なデータを一時的に記憶し、制御部１３０によって行われた補正の補正情報を複数記憶するとともに、撮像部１５０によって撮像された撮像画像（第２の画像情報）、表示部１４０に表示される動画像のフレーム毎の画像（第１の画像情報）を記憶する。
操作部１７０は、ユーザ操作に応じた様々な指示を制御部１３０、表示部１４０および撮像部１５０に入力する。 The display unit 140 outputs (displays) the moving image and characters corrected by the control unit 130.
The imaging unit (camera) 150 captures a captured image (still image) of the subject.
The storage unit 160 temporarily stores data necessary for various types of processing, stores a plurality of pieces of correction information for correction performed by the control unit 130, and also takes a captured image (second image information) captured by the imaging unit 150. ), The image (first image information) for each frame of the moving image displayed on the display unit 140 is stored.
The operation unit 170 inputs various instructions according to user operations to the control unit 130, the display unit 140, and the imaging unit 150.

復調部１８０は、デジタル信号をパケットに復調して多重分離部１９０に伝達する。
多重分離部１９０は、多重化されたパケットを、パケットに含まれるＩＤを参照して音声パケットや動画像パケットなど種別毎に分離する。
動画像復号部２００は、動画像パケットから動画像を復元する。
動画像補正部２１０は、記憶部１６０に記憶された補正情報に基づき動画像復号部２００で復号された動画像を自動的に補正する。
画像情報取得部２２０は、表示部１４０に表示される動画像のフレーム毎の画像の特徴を表わす第１の画像情報と、撮像部１５０によって撮像された撮像画像の画像の特徴を表わす第２の画像情報とを取得する。
撮像画像補正部２３０は、撮像部１５０により撮像（取得）された撮像画像に対し、ユーザによる補正を実行し、当該補正の補正情報を取得する。 The demodulator 180 demodulates the digital signal into a packet and transmits the packet to the demultiplexer 190.
The demultiplexing unit 190 refers to the ID included in the packet and separates the multiplexed packet for each type such as a voice packet or a moving image packet.
The moving image decoding unit 200 restores a moving image from the moving image packet.
The moving image correction unit 210 automatically corrects the moving image decoded by the moving image decoding unit 200 based on the correction information stored in the storage unit 160.
The image information acquisition unit 220 includes first image information representing image characteristics for each frame of the moving image displayed on the display unit 140 and second image information representing the image characteristics of the captured image captured by the imaging unit 150. Get image information.
The captured image correction unit 230 performs correction by the user on the captured image captured (acquired) by the imaging unit 150, and acquires correction information of the correction.

なお、上記図１に示す構成は、ＩＳＤＢ−Ｔ方式により送信されるワンセグ放送の受信機とする場合を想定したものであるが、ＭｅｄｉａＦＬＯやＤＶＢ−Ｈの受信機とする場合であっても本発明における動画像再生装置の実装要求を満たすことができる。また、各機能を実現できる代替手段がある場合にはそれを用いてもよく、また、個々の機能を端末の外部に設けるようにしてもよい。また、本発明の動画像再生装置および動画像再生方法は、放送コンテンツに限らず、ＩＰストリーミング配信される動画サービス等にも適用可能である。さらに、本発明の動画像再生装置および動画像再生方法は動画像に関するものであるため、音声や字幕など動画像以外の再生のための構成要素は省略しているが、実際の製品においては音声や字幕の再生に必要な構成要素も実装されているものとする。 The configuration shown in FIG. 1 is assumed to be a one-seg broadcasting receiver that is transmitted by the ISDB-T system. However, even if the receiver is a MediaFLO or DVB-H receiver, the configuration shown in FIG. It is possible to satisfy the mounting requirement of the moving image reproducing apparatus in the invention. Moreover, when there exists an alternative means which can implement | achieve each function, you may use it and you may make it provide each function outside a terminal. In addition, the moving image playback apparatus and the moving image playback method of the present invention are not limited to broadcast content, and can be applied to a moving image service or the like that is distributed by IP streaming. Furthermore, since the moving image playback apparatus and the moving image playback method of the present invention relate to moving images, components for playback other than moving images, such as audio and subtitles, are omitted. It is also assumed that components necessary for playback of subtitles and subtitles are implemented.

次に、本発明の動画像再生装置および動画像再生方法において撮像画像（以下、単に画像ともいう）の補正について説明する。本発明の動画像再生装置および動画像再生方法で用いることができる補正としては、「鮮鋭化」、「彩度補正」、「コントラスト補正」、「新たな画像の上書き」がある。 Next, correction of a captured image (hereinafter also simply referred to as an image) in the moving image reproduction apparatus and the moving image reproduction method of the present invention will be described. Corrections that can be used in the moving image reproduction apparatus and moving image reproduction method of the present invention include “sharpening”, “saturation correction”, “contrast correction”, and “overwriting a new image”.

［鮮鋭化（シャープネス）］
鮮鋭化は、画像の輪郭を強調する処理であり、鮮鋭化処理を行った画像はよりくっきりとした印象になる。鮮鋭化は、一般に、式（１）で示す鮮鋭化フィルタを画像に適用することで行う方法が用いられる。

ここで、ｋは、０より大きな値（例えば０〜１の間の値）であり、ｋの値が大きいほど鮮鋭化効果は大きくなる。 [Sharpness]
Sharpening is a process that emphasizes the outline of an image, and an image that has undergone the sharpening process has a clearer impression. The sharpening is generally performed by applying a sharpening filter represented by Expression (1) to an image.

Here, k is a value larger than 0 (for example, a value between 0 and 1), and the sharpening effect increases as the value of k increases.

［彩度補正］
彩度補正は、画像の鮮やかさを調整する処理であり、画像をより鮮やかな印象に補正したり、あるいは、画像をより落ち着いた印象に補正したりする。ここで、彩度は、画像に含まれる画素の鮮やかさの強度を表わす成分である。撮像部１５０および動画像復号部２００により得られる画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３つの成分で構成されており、彩度はＲＧＢ形式のデータを色相（Ｈ）彩度（Ｓ）明度（Ｖ）形式に変換したときの彩度成分の値である。ＲＧＢ形式からＨＳＶ形式への変換は、式（２）により行われ、逆変換は式（３）により行われる。

ただし、ＭＡＸ、ＭＩＮはそれぞれＲＧＢ成分の最大値および最小値である。 [Saturation correction]
Saturation correction is a process of adjusting the vividness of an image, and corrects the image to a more vivid impression or corrects the image to a more calm impression. Here, the saturation is a component representing the intensity of the vividness of the pixels included in the image. The image obtained by the imaging unit 150 and the moving image decoding unit 200 is composed of three components of red (R), green (G), and blue (B). ) Saturation (S) Value of the saturation component when converted to lightness (V) format. The conversion from the RGB format to the HSV format is performed by the equation (2), and the inverse conversion is performed by the equation (3).

However, MAX and MIN are the maximum and minimum values of the RGB components, respectively.

ここで、ＲＧＢ形式の画像を一旦ＨＳＶ形式の画像に変換し、彩度の成分を変更してからＲＧＢ形式へ逆変換することにより、画像の彩度のみを変更することが可能である。
例えば、入力画像Ｉの座標（ｘ，ｙ）における彩度をＳ（Ｉ（ｘ，ｙ））とすると、出力画像Ｏは式（４）で表わされる。

式（４）において、出力画像Ｏは、γ＞１のとき入力画像より鮮やかになり、γ＜１のとき入力画像より落ち着いた印象の画像になる。 Here, it is possible to change only the saturation of the image by converting the RGB format image into the HSV format image once, changing the saturation component, and then converting back to the RGB format.
For example, when the saturation at the coordinates (x, y) of the input image I is S (I (x, y)), the output image O is expressed by Expression (4).

In Expression (4), the output image O becomes brighter than the input image when γ> 1, and becomes a calmer image than the input image when γ <1.

［コントラスト補正」
コントラスト補正とは、画像のコントラストを変更する処理であり、一般的に、コントラストを強めるとくっきりとした画像になり、コントラストを弱めると落ち着いた印象の画像になる。コントラストの変更には画素の輝度レベルを使用する。
輝度レベルは、ＲＧＢ形式のデータを輝度（Ｙ）色差（Ｃｒ、Ｃｂ）形式に変換したときの輝度成分の値である。ＲＧＢ形式からＹＣｒＣｂ形式への変換は式（５）により行われ、逆変換は式（６）により行われる。

ここで、ＲＧＢ形式の画像を一旦ＹＣｒＣｂ形式の画像に変換し、Ｙの値を変更してからＲＧＢ形式へ逆変換することにより、画像の輝度のみを変更することができる。 [Contrast correction]
Contrast correction is a process for changing the contrast of an image. Generally, when the contrast is increased, a clear image is obtained, and when the contrast is reduced, an image having a calm impression is obtained. The brightness level of the pixel is used to change the contrast.
The luminance level is a value of a luminance component when RGB format data is converted into a luminance (Y) color difference (Cr, Cb) format. Conversion from the RGB format to the YCrCb format is performed according to Equation (5), and inverse conversion is performed according to Equation (6).

Here, it is possible to change only the brightness of the image by converting the RGB format image into the YCrCb format image once, changing the value of Y, and then converting back to the RGB format.

図２はコントラスト補正前の入力画像Ｉのヒストグラムを例示する図であり、図３はコントラスト補正後の出力画像Ｏのヒストグラムを例示する図である。図２のヒストグラムにおいて、ａ１，ａ２は入力画像度数が１以上である下限と上限とを示している。入力画像Ｉのコントラストを強めるためには、図３のヒストグラムにおいて、ｂ２＞ｂ１となるｂ１およびｂ２を決定し、コントラスト変換関数の式（７）により、出力画像Ｏの座標（ｘ、ｙ）における輝度レベルＹ（Ｏ（ｘ，ｙ））が算出できる。

ここで、
Ａ＝ａ２−ａ１
Ｂ＝ｂ２−ｂ１・・・（８）
とすると、（Ｂ／Ａ）＞１のとき出力画像はよりコントラストが強い印象の画像になり、（Ｂ／Ａ）＜１のとき出力画像はよりコントラストが弱い印象の画像になる。 FIG. 2 is a diagram illustrating a histogram of the input image I before contrast correction, and FIG. 3 is a diagram illustrating a histogram of the output image O after contrast correction. In the histogram of FIG. 2, a1 and a2 indicate a lower limit and an upper limit at which the input image frequency is 1 or more. In order to increase the contrast of the input image I, b1 and b2 satisfying b2> b1 are determined in the histogram of FIG. 3, and the coordinates (x, y) of the output image O are determined by the expression (7) of the contrast conversion function. A luminance level Y (O (x, y)) can be calculated.

here,
A = a2-a1
B = b2-b1 (8)
Then, when (B / A)> 1, the output image becomes an image with a higher contrast, and when (B / A) <1, the output image becomes an image with an impression with a lower contrast.

［新たな画像の上書き］
撮像画像に対して新たな画像を上書きする補正方法の一例としては、「スタンプ貼り付け」がある。
スタンプ貼り付けとは、入力画像に対して決まったパターンの画像を上書きする補正方法である。パターンの形および色は、ユーザが自由に選ぶことができる。スタンプを貼り付ける場所や貼り付ける回数もユーザが自由に決めることができる。 [Overwrite new image]
One example of a correction method for overwriting a captured image with a new image is “stamping”.
Stamp pasting is a correction method for overwriting an image of a predetermined pattern on an input image. The shape and color of the pattern can be freely selected by the user. The user can freely determine the place where the stamp is pasted and the number of times the stamp is pasted.

以上説明した４種類の補正を行う際には、ユーザは、図４（ａ）〜（ｄ）に示すようなユーザインタフェースを操作することにより、画像に対して所望の補正を行うことができる。例えば、彩度補正に対応する図４（ａ）の「鮮やかさ補正」を行う場合には、操作部１７０における左方向キーを押下する度に画像がより鮮やかに補正され、右方向キーを押下する度に画像がより控えめに補正される。ここで、ユーザが画像に対する補正が適切だと判断して補正を終了させると、当該補正の特徴を表わす補正情報および撮像画像の画像の特徴を表わす画像情報（第２の画像情報）が処理内容情報として記憶部１６０に記憶される。なお、図４（ａ）〜（ｄ）においては、動画像再生装置の表示部１４０の表示情報の内、画像処理に無関係な情報の記入を省略している。
図５は記憶部１６０に記憶される処理内容情報の１レコードを例示する図である。なお、レコードに収容する情報は図示例に限定されるものではなく、必要に応じて他の情報を追加してもよい。また、記憶部１６０に記憶される画像情報は画像全体の画像情報としても、画像の分割された部分毎の画像情報としてもよい。 When performing the four types of correction described above, the user can perform desired corrections on the image by operating the user interface as shown in FIGS. For example, when performing “brightness correction” of FIG. 4A corresponding to saturation correction, the image is corrected more vividly every time the left direction key on the operation unit 170 is pressed, and the right direction key is pressed. Each time the image is corrected, the image is corrected more conservatively. Here, when the user determines that the correction for the image is appropriate and ends the correction, the correction information indicating the correction feature and the image information (second image information) indicating the image feature of the captured image are processed. It is stored in the storage unit 160 as information. In FIGS. 4A to 4D, entry of information irrelevant to the image processing is omitted from the display information on the display unit 140 of the moving image reproducing apparatus.
FIG. 5 is a diagram illustrating one record of the processing content information stored in the storage unit 160. The information stored in the record is not limited to the illustrated example, and other information may be added as necessary. The image information stored in the storage unit 160 may be image information of the entire image or image information for each divided part of the image.

［第１実施形態］
図６は本発明の動画像再生装置において実施する第１実施形態の動画像補正処理を示すフローチャートである。本実施形態では、動画像復号部２００により復号された動画像の１フレーム毎に補正として鮮鋭化処理を行う場合を例に挙げて説明する。なお、以降の説明では、補正対象とするフレームを「現フレーム」と呼ぶものとする。また、動画像の補正を行うために、補正情報の補正値がユーザ等によって設定されている場合、当該補正値を「規定値」と呼ぶものとする。また、本実施形態では、記憶部１６０から補正情報を検索する場合、撮像画像補正部２３０によって行われた補正の補正情報を検索するものとする。 [First Embodiment]
FIG. 6 is a flowchart showing the moving image correction processing of the first embodiment performed in the moving image reproducing apparatus of the present invention. In the present embodiment, a case where the sharpening process is performed as a correction for each frame of a moving image decoded by the moving image decoding unit 200 will be described as an example. In the following description, a frame to be corrected is referred to as a “current frame”. In addition, when a correction value of correction information is set by a user or the like to correct a moving image, the correction value is referred to as a “specified value”. In the present embodiment, when the correction information is searched from the storage unit 160, the correction information of the correction performed by the captured image correction unit 230 is searched.

まず、図６のステップＳ１００では、現フレームの画像情報を検索する。次にステップＳ１０１では、動画像補正部２１０により、記憶部１６０から鮮鋭化処理の補正情報を検索する。次のステップＳ１０２では、鮮鋭化処理の補正情報が１件以上あったか否かを判定し、１件もなかった場合にはステップＳ１０３に進み、１件以上あった場合にはステップＳ１０４に進む。ステップＳ１０３では、規定値を用いて現フレームの画像情報に対して補正（画像の鮮鋭化処理）を行う。一方、ステップＳ１０４では、該当する補正情報から取得した鮮鋭化処理の補正値の平均値を算出する。例えば式（１）により画像の補正を行った場合には式（１）におけるｋの平均値が算出される。次のステップＳ１０５では、動画像補正部２１０により、算出されたｋの平均値を使用して現フレームの画像情報に対して式（１）を適用して補正（画像の鮮鋭化処理）を行う。これにより、現フレームに対して、ユーザが好む強度で鮮鋭化補正を行うことができる。 First, in step S100 in FIG. 6, the image information of the current frame is searched. In step S101, the moving image correction unit 210 searches the storage unit 160 for correction information for sharpening processing. In the next step S102, it is determined whether or not there is one or more sharpening correction information. If there is no correction information, the process proceeds to step S103. If there is one or more, the process proceeds to step S104. In step S103, the image information of the current frame is corrected (image sharpening process) using the specified value. On the other hand, in step S104, an average value of the correction values of the sharpening process acquired from the corresponding correction information is calculated. For example, when the image is corrected by equation (1), the average value of k in equation (1) is calculated. In the next step S105, the moving image correction unit 210 performs correction (image sharpening processing) by applying the formula (1) to the image information of the current frame using the calculated average value of k. . As a result, sharpening correction can be performed on the current frame with the strength preferred by the user.

［第２実施形態］
図７は本発明の動画像再生装置において実施する第２実施形態の動画像補正処理を示すフローチャートである。本実施形態では、現フレームに対して彩度補正を行う場合を例に挙げて説明する。 [Second Embodiment]
FIG. 7 is a flowchart showing a moving image correction process according to the second embodiment performed in the moving image reproducing apparatus of the present invention. In the present embodiment, a case where saturation correction is performed on the current frame will be described as an example.

まず、図７のステップＳ１１０では、動画像補正部２１０により、記憶部１６０から、現フレームの画像情報（第１の画像情報）である色相の主要値を取得する。色相の主要値は、画像において大きな重みを占める色相の値であり、例えば同じ色相を持つ画素数が最も多い色相の値である。次のステップＳ１１１では、動画像補正部２１０により、記憶部１６０から撮像画像の画像情報（第２の画像情報）のうち色相の主要値が現フレームの色相の主要値と略一致あるいは類似するものを検索する。次のステップＳ１１２では、当該撮像情報から彩度補正の補正情報を検索する。次のステップＳ１１３では、彩度補正の補正情報が１件以上あったか否かを判定し、１件もなかった場合にはステップＳ１１４に進み、１件以上あった場合にはステップＳ１１５に進む。ステップＳ１１４では、規定値を用いて現フレームの画像情報に対して補正（画像の彩度補正）を行う。一方、ステップＳ１１５では、該当する補正情報から取得した彩度補正値の平均値を算出する。例えば式（４）を用いて彩度補正を行った場合には式（４）におけるγの値の平均値が算出される。次のステップＳ１１６では、動画像補正部２１０により、算出されたγの平均値を使用して現フレームの画像情報に対して式（４）を適用して補正（画像の彩度補正）を行う。これにより、現フレームに対してユーザが好む強度で彩度補正を行うことができる。 First, in step S110 of FIG. 7, the moving image correction unit 210 acquires the main value of the hue that is the image information (first image information) of the current frame from the storage unit 160. The main value of the hue is a hue value that occupies a large weight in the image. For example, the hue value has the largest number of pixels having the same hue. In the next step S111, the moving image correcting unit 210 causes the main value of the hue of the image information (second image information) of the captured image from the storage unit 160 to substantially match or similar to the main value of the hue of the current frame. Search for. In the next step S112, saturation correction correction information is searched from the imaging information. In the next step S113, it is determined whether or not there is one or more correction information for saturation correction. If there is no correction information, the process proceeds to step S114. If there is one or more, the process proceeds to step S115. In step S114, the image information of the current frame is corrected (image saturation correction) using the specified value. On the other hand, in step S115, an average value of saturation correction values acquired from the corresponding correction information is calculated. For example, when saturation correction is performed using Expression (4), the average value of γ values in Expression (4) is calculated. In the next step S116, the moving image correction unit 210 uses the calculated average value of γ to apply correction (image saturation correction) to the image information of the current frame by applying Equation (4). . Thereby, it is possible to perform saturation correction with the intensity preferred by the user for the current frame.

なお、画像情報の選択において色相の主要値で比較を行ったのは、例えばユーザが「青色は鮮やかな色が好きだが、赤は落ち着いた色のほうが好きだ」といったように色によって鮮やかさの好みが異なるということを考慮したものである。ここで、比較する画像情報として、必要と感じるならば、画像の平均輝度などを含めてもよい。 It should be noted that the comparison of the main values of hue in the selection of image information is, for example, that the user has a vividness depending on the color, for example, “Blue likes a bright color but red prefers a calm color” It takes into account that preferences are different. Here, as the image information to be compared, if necessary, the average luminance of the image may be included.

［第３実施形態］
図８は本発明の動画像再生装置において実施する第３実施形態の動画像補正処理を示すフローチャートである。本実施形態では、現フレームに対してコントラスト補正を行う場合を例に挙げて説明する。 [Third Embodiment]
FIG. 8 is a flowchart showing the moving image correction processing of the third embodiment performed in the moving image reproducing apparatus of the present invention. In the present embodiment, a case where contrast correction is performed on the current frame will be described as an example.

まず、図８のステップＳ１２０では、現フレームの画像情報（この場合、現フレームのヒストグラム）を取得する。次にステップＳ１２１では、動画像補正部２１０により、記憶部１６０からコントラスト補正の補正情報を検索する。次のステップＳ１２２では、コントラスト補正の補正情報が１件以上あったか否かを判定し、１件もなかった場合にはステップＳ１２３に進み、１件以上あった場合にはステップＳ１２４に進む。ステップＳ１２３では、規定値を用いて現フレームの画像情報に対して補正（画像のコントラスト補正）を行う。一方、ステップＳ１２４では、該当する補正情報から取得したコントラスト補正値の平均値を算出する。例えば、コントラスト変換関数の式（７）により画像のコントラスト補正を行った場合には式（８）における（Ｂ／Ａ）の値の平均値が算出され、この値をＭ（Ｂ／Ａ）とする。 First, in step S120 of FIG. 8, image information of the current frame (in this case, a histogram of the current frame) is acquired. In step S121, the moving image correction unit 210 searches the storage unit 160 for correction information for contrast correction. In the next step S122, it is determined whether or not there is one or more contrast correction information. If there is no correction information, the process proceeds to step S123, and if there is one or more, the process proceeds to step S124. In step S123, the image information of the current frame is corrected (image contrast correction) using the specified value. On the other hand, in step S124, an average value of contrast correction values acquired from the corresponding correction information is calculated. For example, when the contrast correction of the image is performed by the expression (7) of the contrast conversion function, the average value of (B / A) in the expression (8) is calculated, and this value is expressed as M (B / A). To do.

次のステップＳ１２５では、規定のコントラスト補正値にコントラスト補正値の平均値を重畳する。重畳処理では、コントラスト補正値の平均値と規定のコントラスト補正値とを用いて、新たな補正値を算出する。本実施形態では、コントラスト補正値の平均値と規定のコントラスト補正値を、新たな補正値とする。 In the next step S125, the average value of the contrast correction values is superimposed on the specified contrast correction value. In the superimposition process, a new correction value is calculated using the average value of the contrast correction values and the specified contrast correction value. In the present embodiment, the average value of the contrast correction values and the specified contrast correction value are used as new correction values.

次のステップＳ１２６では、重畳された補正値を使用して式（７）を適用して現フレームに対して補正（画像のコントラスト補正）を行う。具体的には、まず、動画像補正部２１０により、取得した図２に示すヒストグラムに対しａ１，ａ２に相当する値を算出し、次に、図３に例示するヒストグラムにおいてｂ１，ｂ２に相当する値をＭ（Ｂ／Ａ）の値と関連付けて算出する。例えば、以下に示す式（９）のように関連付けを行うと、Ｍ（Ｂ／Ａ）＞１のときにはｂ１，ｂ２はａ１，ａ２の外側に位置する値となり、Ｍ（Ｂ／Ａ）＜１のときにはｂ１，ｂ２はａ１，ａ２の内側に位置する値となる。このようにすると、ユーザのコントラストに対する好みがｂ１，ｂ２の値に反映される。次に、動画像補正部２１０により、現フレームの１つ前のフレームに対して行ったコントラスト補正におけるｂ１に相当するパラメータをｂ１’とすると、コントラスト変動制限パラメータｐに対して｜ｂ１’−ｂ１｜≦ｐとなるようにｂ１を補正する。ここで、ｐは前フレームおよび現フレームで補正量の変動が大きくなり過ぎることを抑制するためのパラメータであり、補正量が大きく変動することにより動画像にチラツキが発生することを防止する効果が得られる。ｂ２に関しても上記と同様にｐによりパラメータ変動の制限を行う。次に、動画像補正部２１０により、算出されたｂ１，ｂ２を使用して式（７）により現フレームの画像情報のコントラスト補正を行う。これにより、現フレームに対してユーザが好む強度でコントラスト補正を行うことができる。

In the next step S126, Expression (7) is applied using the superimposed correction value to correct the current frame (image contrast correction). Specifically, first, the moving image correction unit 210 calculates values corresponding to a1 and a2 for the acquired histogram shown in FIG. 2, and then corresponds to b1 and b2 in the histogram illustrated in FIG. The value is calculated in association with the value of M (B / A). For example, when the association is performed as shown in the following formula (9), when M (B / A)> 1, b1 and b2 are values located outside a1 and a2, and M (B / A) <1 In this case, b1 and b2 are values located inside a1 and a2. In this way, the user's preference for contrast is reflected in the values of b1 and b2. Next, assuming that the parameter corresponding to b1 in the contrast correction performed on the frame immediately before the current frame by the moving image correcting unit 210 is b1 ′, | b1′−b1 with respect to the contrast variation limiting parameter p. B1 is corrected so that | ≦ p. Here, p is a parameter for suppressing the fluctuation of the correction amount from becoming too large in the previous frame and the current frame, and has an effect of preventing flickering in the moving image due to the fluctuation of the correction amount. can get. Also for b2, the parameter variation is limited by p in the same manner as described above. Next, the moving image correction unit 210 corrects the contrast of the image information of the current frame using Equation (7) using the calculated b1 and b2. As a result, contrast correction can be performed on the current frame with the intensity preferred by the user.

［第４実施形態］
図９は本発明の動画像再生装置において実施する第４実施形態の動画像補正処理を示すフローチャートである。本実施形態では、現フレームに対して彩度補正を行う場合を例に挙げて説明する。 [Fourth Embodiment]
FIG. 9 is a flowchart showing the moving image correction process of the fourth embodiment performed in the moving image reproducing apparatus of the present invention. In the present embodiment, a case where saturation correction is performed on the current frame will be described as an example.

まず、図９のステップＳ１３０では、現フレームの画像情報を取得する。次にステップＳ１３１では、動画像補正部２１０により、記憶部１６０からスタンプ貼り付けの補正情報（この場合、撮像画像の画像情報（第２の画像情報）の色相の主要値および、スタンプ貼り付けの補正値の情報）を検索する。次のステップＳ１３２では、スタンプ貼り付け補正の補正情報が１件以上あったか否かを判定し、１件もなかった場合にはステップＳ１３３に進み、１件以上あった場合にはステップＳ１３４に進む。ステップＳ１３３では、規定値を用いて現フレームの画像情報に対して補正（画像の彩度補正）を行う。一方、ステップＳ１３４では、該当する補正情報から取得したスタンプ貼り付けの補正値と撮像画像の色相の主要値とを比較して補正値を算出する。次のステップＳ１３５では、算出された補正値の平均値を算出する。 First, in step S130 of FIG. 9, image information of the current frame is acquired. Next, in step S131, the moving image correcting unit 210 causes the stamp pasting correction information (in this case, the main value of the hue of the image information (second image information) of the captured image and the stamp pasting from the storage unit 160). Search for correction value information). In the next step S132, it is determined whether or not there is one or more correction information for stamp pasting correction. If there is no correction information, the process proceeds to step S133. If there is one or more, the process proceeds to step S134. In step S133, the image information of the current frame is corrected (image saturation correction) using the specified value. On the other hand, in step S134, a correction value is calculated by comparing the stamp pasting correction value acquired from the corresponding correction information with the main value of the hue of the captured image. In the next step S135, an average value of the calculated correction values is calculated.

色相は、赤、青、黄、緑等の色の種類に関するものであり、図１０に例示する色相表では、０〜３６０度の角度にそれぞれの色が割り当てられている。２つの色の色相を比較したときに図１０の色相表において角度が近いものは同色系統であり、色同士のコントラストは小さいため、２つの色を並べたときに控えめな印象を受ける。２つの色の色相を比較したときに図１０の色相表において角度が１８０度離れているものは補色関係にあり、色同士のコントラストは大きいため、２つの色を並べたときに鮮やかな印象を受ける。よって、色相の主要値とスタンプの色の色相との差分値が０に近いほどユーザが控えめな色使いを好む傾向にあり、差分値が１８０に近いほどユーザが鮮やかな色使いを好む傾向にある。したがって、色相の差分値および式（４）におけるγの値を、差分値が０に近いほど小さな値に設定し、差分値が１８０に近いほど大きな値に設定することにより、ユーザの好みに合わせた彩度が得られる。 Hue relates to the types of colors such as red, blue, yellow, and green. In the hue table illustrated in FIG. 10, each color is assigned to an angle of 0 to 360 degrees. When the hues of the two colors are compared, those having similar angles in the hue table of FIG. 10 are the same color system, and the contrast between the colors is small, so that a conservative impression is obtained when the two colors are arranged. When the hues of two colors are compared, those with an angle of 180 degrees in the hue table in FIG. 10 are complementary colors, and the contrast between the colors is large, so a vivid impression is obtained when the two colors are arranged. receive. Therefore, the closer the difference value between the main hue value and the hue of the stamp color is to 0, the user tends to use a modest color usage, and the closer the difference value is to 180, the more the user tends to use a vivid color usage. is there. Therefore, the hue difference value and the γ value in the equation (4) are set to a smaller value as the difference value is closer to 0, and set to a larger value as the difference value is closer to 180, so that the user's preference is met. Saturation is obtained.

図９において、次のステップＳ１３６では、動画像補正部２１０により、算出された補正値（γの値）の平均値を使用して式（４）を適用して補正（画像の彩度補正）を行う。これにより、現フレームに対してユーザが好む強度で彩度補正を行うことができる。 In FIG. 9, in the next step S136, the moving image correction unit 210 applies correction using the average value of the calculated correction values (γ values) and applies the equation (4) (image saturation correction). I do. Thereby, it is possible to perform saturation correction with the intensity preferred by the user for the current frame.

上述した第１実施形態〜第４実施形態を組み合わせることにより、より良い効果を得ることも可能である。 By combining the first to fourth embodiments described above, it is possible to obtain better effects.

なお、動画像の補正時までにユーザがまだ画像の補正を行っていない場合には、動画像の補正に必要な補正情報を得ることができないが、このような場合には予め決められて補正値を用いるか、あるいは、補正を行わないものとする。
また、補正情報に何らかの重みを付けて平均値を算出すると、より効果的である。重み付けの例としては、「補正日時が新しいものの重みを大きくする」、「撮像画像のサイズの大きなものの重みを大きくする」、「補正作業に時間をかけたものの重みを大きくする」、「外部メモリにコピーしたり、メールで送信したりした画像の重みを大きくするとともに、活用することなく削除した画像の重みを小さくする」等が挙げられる。
また、鮮鋭化補正、彩度補正、コントラスト補正以外の補正処理であっても、撮像画像（静止画）に対する補正を行うことが可能であり、撮像画像の画像情報および補正情報を定義することが可能な補正処理であれば、本発明を適用することが可能である。 If the user has not yet corrected the image by the time of correcting the moving image, correction information necessary for correcting the moving image cannot be obtained. In such a case, the correction is determined in advance. Values are used or no correction is made.
It is more effective to calculate the average value by adding some weight to the correction information. Examples of weighting include: “Increase the weight of the one with the new correction date / time”, “Increase the weight of the one with a large captured image size”, “Increase the weight of the one that took time for the correction work”, “External memory The weight of the image copied or transmitted by e-mail is increased, and the weight of the deleted image is decreased without use. "
In addition, correction processing other than sharpening correction, saturation correction, and contrast correction can be performed on a captured image (still image), and image information and correction information of the captured image can be defined. The present invention can be applied as long as possible correction processing.

本発明の動画像再生装置の構成を例示する図である。It is a figure which illustrates the structure of the moving image reproducing device of this invention. 本発明の動画像再生装置におけるコントラスト補正前の入力画像のヒストグラムを例示する図である。It is a figure which illustrates the histogram of the input image before contrast correction in the moving image reproducing device of this invention. 本発明の動画像再生装置におけるコントラスト補正後の出力画像のヒストグラムを例示する図である。It is a figure which illustrates the histogram of the output image after contrast amendment in the moving picture reproducing device of the present invention. （ａ）〜（ｄ）はそれぞれ、本発明の動画像再生装置における４種類の動画像補正処理に用いるユーザインタフェースを例示する図である。(A)-(d) is a figure which illustrates the user interface used for four types of moving image correction processes in the moving image reproducing apparatus of this invention, respectively. 本発明の動画像再生装置の記憶部に記憶される処理内容情報の１レコードを例示する図である。It is a figure which illustrates 1 record of the processing content information memorize | stored in the memory | storage part of the moving image reproducing device of this invention. 本発明の動画像再生装置において実施する第１実施形態の動画像補正処理を示すフローチャートである。It is a flowchart which shows the moving image correction process of 1st Embodiment implemented in the moving image reproducing device of this invention. 本発明の動画像再生装置において実施する第２実施形態の動画像補正処理を示すフローチャートである。It is a flowchart which shows the moving image correction process of 2nd Embodiment implemented in the moving image reproducing device of this invention. 本発明の動画像再生装置において実施する第３実施形態の動画像補正処理を示すフローチャートである。It is a flowchart which shows the moving image correction process of 3rd Embodiment implemented in the moving image reproducing device of this invention. 本発明の動画像再生装置において実施する第４実施形態の動画像補正処理を示すフローチャートである。It is a flowchart which shows the moving image correction process of 4th Embodiment implemented in the moving image reproducing device of this invention. 本発明の動画像再生装置において実施する第４実施形態の動画像補正処理に用いる色相表を例示する図である。It is a figure which illustrates the hue table used for the moving image correction process of 4th Embodiment implemented in the moving image reproducing device of this invention.

符号の説明Explanation of symbols

１００動画像再生装置
１１０アンテナ
１２０チューナ部
１３０制御部
１４０表示部（ディスプレイ）
１５０撮像部（カメラ）
１６０記憶部
１６５補正情報蓄積部
１７０操作部
１８０復調部
１９０多重分離部
２００動画像復号部
２１０動画像補正部
２２０画像情報取得部
２３０撮像画像補正部 DESCRIPTION OF SYMBOLS 100 Moving image reproducing apparatus 110 Antenna 120 Tuner part 130 Control part 140 Display part (display)
150 Imaging unit (camera)
160 storage unit 165 correction information storage unit 170 operation unit 180 demodulation unit 190 demultiplexing unit 200 moving image decoding unit 210 moving image correction unit 220 image information acquisition unit 230 captured image correction unit

Claims

動画像を表示する表示部と、
被写体を撮像する撮像部と、
該撮像部によって撮像された撮像画像を補正したときの該補正の特徴を表わす補正情報に基づき、前記表示部に表示される動画像の補正を行うように制御する制御部と、
を備えることを特徴とする動画像再生装置。 A display unit for displaying moving images;
An imaging unit for imaging a subject;
A control unit that controls to correct a moving image displayed on the display unit based on correction information that represents the correction characteristics when the captured image captured by the imaging unit is corrected;
A moving image reproducing apparatus comprising:

前記制御部によって行われた補正の補正情報を複数記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶された複数の補正情報に基づき、前記表示部に表示される動画像の補正を行うように制御することを特徴とする請求項１に記載の動画像再生装置。 A storage unit that stores a plurality of correction information of corrections performed by the control unit;
The moving image reproduction according to claim 1, wherein the control unit performs control so as to correct a moving image displayed on the display unit based on a plurality of correction information stored in the storage unit. apparatus.

前記撮像部によって撮像された撮像画像と、該撮像画像の補正の補正情報とを記憶する記憶部を備え、
前記制御部は、前記表示部に表示される動画像のフレーム毎の画像の特徴を表わす第１の画像情報と、前記記憶部に記憶された撮像画像の画像の特徴を表わす第２の画像情報とを取得し、前記第１の画像情報と前記第２の画像情報とが略一致した場合、前記第１の画像情報に対応する動画像のフレームの画像を、前記第２の画像情報に対応する前記記憶部に記憶された撮像画像の補正の補正情報に基づいて補正するように制御することを特徴とする請求項１に記載の動画像再生装置。 A storage unit that stores a captured image captured by the imaging unit and correction information for correcting the captured image;
The control unit includes first image information representing image characteristics for each frame of a moving image displayed on the display unit, and second image information representing image characteristics of the captured image stored in the storage unit. If the first image information and the second image information substantially match, the image of the moving image frame corresponding to the first image information corresponds to the second image information. The moving image reproduction apparatus according to claim 1, wherein control is performed so as to perform correction based on correction information for correction of a captured image stored in the storage unit.

前記制御部は、前記表示部に表示される動画像の補正を行うために設定されたパラメータを変更することによって前記動画像の補正を行うように制御するとともに、前記撮像部によって撮像された撮像画像に対して補正を行った場合、前記動画像の補正を行うために設定されたパラメータを変更することによる前記動画像の補正より、前記撮像画像の補正の補正情報に基づく前記動画像の補正の方が優先されるように制御することを特徴とする請求項１に記載の動画像再生装置。 The control unit performs control so as to correct the moving image by changing a parameter set for correcting the moving image displayed on the display unit, and captures an image captured by the imaging unit. When the correction is performed on the image, the correction of the moving image based on the correction information of the correction of the captured image is performed rather than the correction of the moving image by changing the parameters set for correcting the moving image. The moving image reproducing apparatus according to claim 1, wherein control is performed so that the priority is given to the video.

動画像を表示する表示ステップと、
被写体を撮像する撮像ステップと、
該撮像ステップによって撮像された撮像画像を補正したときの該補正の特徴を表わす補正情報に基づき、前記表示ステップで表示される動画像の補正を行うように制御する制御ステップと、
を含むことを特徴とする動画像再生方法。 A display step for displaying a moving image;
An imaging step for imaging a subject;
A control step for controlling to correct the moving image displayed in the display step based on correction information representing the characteristics of the correction when the captured image captured in the imaging step is corrected;
A moving image reproduction method comprising: